Transformer a 56k tokens/segundo en una FPGA a 80 MHz

Un desarrollador ha logrado ejecutar un Transformer completo (con KV cache) en una FPGA a solo 80 MHz, alcanzando 56 mil tokens por segundo. El proyecto, llamado GateGPT, demuestra que es posible correr modelos de lenguaje con latencias extremadamente bajas sin depender de GPUs de última generación.

Para los profesionales de tecnología, esto abre una pregunta incómoda: ¿estamos sobredimensionando nuestra infraestructura? La mayoría de los despliegues actuales usan GPUs caras y consumen cientos de vatios para tareas que, con una FPGA bien diseñada, podrían hacerse con una fracción de la energía y el costo. La clave está en la optimización del hardware: al implementar la atención y el KV cache directamente en lógica programable, se eliminan cuellos de botella de memoria y se logra una eficiencia que las GPUs de propósito general no pueden igualar.

Esto no significa que las GPUs vayan a desaparecer, pero sí sugiere que el futuro de la inferencia de modelos pequeños y medianos podría estar en FPGAs o ASICs especializados. Para quienes trabajan en edge computing, IoT o aplicaciones en tiempo real, esta noticia es relevante: podríamos tener asistentes de lenguaje funcionando localmente con hardware modesto.

¿Qué significa para ti? Si trabajas con despliegue de modelos, vale la pena explorar opciones de aceleración por hardware más allá de las GPUs. GateGPT es código abierto, así que puedes revisar su implementación y considerar si un enfoque similar aplica a tu caso de uso.