TurboQuant de Google para comprimir la KV cache en inferencia de IA: eficiencia real, pero sin milagros en DRAM

TurboQuant de Google para comprimir la KV cache en inferencia de IA es la nueva apuesta del equipo de Google Research para recortar el consumo de memoria durante la ejecución de modelos generativos, con una promesa técnica clara: reducir de forma significativa la huella de memoria asociada al contexto (KV cache) sin “encoger” el modelo en sí. El anuncio llega en un momento en el que el coste de DRAM y NAND sigue tensionando presupuestos en data centers, pero el impacto de TurboQuant apunta más a abaratar la inferencia que a resolver la escasez estructural de memoria.

La clave es que TurboQuant de Google para comprimir la KV cache en inferencia de IA se centra en el componente que más crece cuando aumentan los context windows: la memoria dedicada a almacenar keys y values que permiten al modelo mantener el hilo de una conversación o una sesión de trabajo. En cargas de producción, esa KV cache puede escalar hasta consumir más memoria que los propios pesos del modelo, especialmente en escenarios multiusuario y de long-context.

TurboQuant de Google para comprimir la KV cache en inferencia de IA: qué es y por qué importa

En términos prácticos, TurboQuant de Google para comprimir la KV cache en inferencia de IA es un método de cuantización extrema aplicado a la KV cache. En vez de limitarse a bajar precisión de los pesos del modelo, busca representar la KV cache con muy pocos bits manteniendo una calidad cercana a formatos de mayor precisión usados en inferencia (por ejemplo, BF16), y reduciendo overheads típicos de estas técnicas.

Google afirma que la técnica puede lograr reducciones de memoria “de al menos 6x” para la inferencia al comprimir la KV cache a niveles tan bajos como 2,5 bits con pérdidas mínimas en calidad en sus pruebas. También reporta resultados a 3,5 bits con calidad similar a BF16 y, a 4 bits, mejoras de rendimiento en determinados cálculos asociados a la atención en GPUs Nvidia H100 (según las métricas publicadas por los investigadores).

Aunque la cuantización de KV cache no es una idea nueva y ya se emplean aproximaciones como FP8 en motores de inferencia, el objetivo declarado de TurboQuant de Google para comprimir la KV cache en inferencia de IA es empujar el límite de compresión con menos penalización computacional, un punto crítico cuando el coste no solo es memoria sino latencia y throughput.

El cuello de botella: la KV cache como “memoria a corto plazo” del LLM

La KV cache es el mecanismo que permite al modelo reutilizar información del contexto previo sin recalcularlo todo, acelerando la generación token a token. Pero cuanto más largo es el contexto (tokens), más crece esta cache. En la práctica, pasar de 16-bit a 8-bit o 4-bit ya reduce memoria 2x a 4x; TurboQuant de Google para comprimir la KV cache en inferencia de IA busca ir más allá con representaciones de muy baja precisión sin degradar de forma apreciable la utilidad del contexto.

Cómo funciona TurboQuant de Google para comprimir la KV cache en inferencia de IA

Según la descripción técnica publicada, TurboQuant combina dos enfoques: Quantized Johnson-Lindenstrauss (QJL) y PolarQuant. PolarQuant representa vectores (alta dimensionalidad) en un esquema de coordenadas polares, sustituyendo una descripción cartesiana por magnitud (radio) y dirección (ángulo). La motivación es reducir ciertos costes asociados a normalización y a cómo se empaquetan los datos de la KV cache para cálculos de atención.

Después, QJL actúa como un mecanismo para corregir o mitigar errores introducidos en la cuantización inicial, preservando la fidelidad de los scores de atención que determinan qué fragmentos del contexto son relevantes para responder. El resultado, según Google, es que la KV cache puede almacenarse usando una fracción de la memoria, manteniendo la precisión efectiva de la señal necesaria para la atención.

Google también sugiere que el enfoque podría tener aplicaciones más allá de LLM inference, por ejemplo en representaciones vectoriales usadas en sistemas de búsqueda y vector databases, donde el tamaño y la eficiencia de almacenamiento influyen directamente en coste operativo.

Por qué TurboQuant de Google para comprimir la KV cache en inferencia de IA no acabará con la “crisis” de DRAM

La lectura más importante para el mercado es que TurboQuant de Google para comprimir la KV cache en inferencia de IA puede mejorar la eficiencia por petición, pero no garantiza una caída sostenida en demanda total de memoria. Hay dos motivos: primero, los proveedores pueden usar esa eficiencia para servir más sesiones concurrentes con el mismo hardware; segundo, y quizá más probable, para empujar context windows aún mayores.

La industria ha pasado en poco tiempo de ventanas de contexto de decenas o cientos de miles de tokens a propuestas que superan el millón en modelos open weights y ofertas comerciales. Con code assistants y frameworks agentic empujando workflows de long-context, la eficiencia de KV cache tiende a convertirse en “más ambición de contexto” en vez de “menos memoria comprada”. En otras palabras: la compresión libera margen, y ese margen se reinvierte en capacidades.

En ese escenario, TurboQuant de Google para comprimir la KV cache en inferencia de IA funciona como un habilitador de inferencia más barata por token y mayor densidad de servicio, pero no necesariamente como un freno a la presión sobre DRAM en data centers a medio plazo, especialmente si el crecimiento de context windows y la adopción de long-context siguen acelerando.

Fuentes y documentación técnica

• Anuncio y explicación técnica de Google Research: https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/

• Preprint en arXiv sobre TurboQuant: https://arxiv.org/abs/2504.19874

• Referencia de plataforma mencionada en benchmarks (NVIDIA H100): https://www.nvidia.com/en-us/data-center/h100/

Con todo, TurboQuant de Google para comprimir la KV cache en inferencia de IA sí marca un avance relevante: desplaza el debate desde “cuánto pesa el modelo” hacia “cuánto cuesta mantener el contexto”, que es el verdadero multiplicador de memoria en la inferencia moderna. Pero mientras el mercado premie context windows más largos y agentes con más memoria de trabajo, la tecnología aliviará el coste por unidad de servicio sin garantizar un descenso real en la demanda total de DRAM.