Arquitectura de memoria para agentic AI: el KV cache ya es el nuevo cuello de botella
La arquitectura de memoria para agentic AI se está convirtiendo en el factor que determina rendimiento y coste en inferencia de Large Language Models: a diferencia de la inferencia “stateless”, los agentes mantienen continuidad durante flujos multi-turn y prolongados, lo que obliga a conservar el estado intermedio del modelo (en especial el Key-Value cache o KV cache) durante minutos, horas o incluso días. El resultado es un cambio de paradigma: el límite deja de ser solo el compute y pasa a ser capacidad, bandwidth y latencia a lo largo de toda la jerarquía de memoria.
En inferencia clásica, cada petición se atiende y el estado se descarta. En agentic AI, el motor de inferencia no puede “tirar” el contexto tras generar tokens: necesita mantener y alternar entre múltiples estados de atención, incluyendo ramificaciones de razonamiento y recuperación de nodos anteriores. Ese requisito de “residencia” del KV cache aumenta el time-to-live del contexto y multiplica la presión sobre los tiers rápidos, especialmente la HBM de GPU.
Por qué la arquitectura de memoria para agentic AI rompe la jerarquía actual
La infraestructura moderna de AI se apoya en una jerarquía de memoria/almacenamiento: HBM en GPU (máxima velocidad, capacidad limitada), DRAM del host (más barata y amplia, pero con un gap de bandwidth considerable), SSD/NVMe (aún mayor capacidad, latencia superior) y, en despliegues a escala, storage compartido por red (máxima capacidad con la latencia más alta). Esta jerarquía suele equilibrar coste y rendimiento cuando los datos “calientes” caben en HBM y el resto se degrada sin bloquear el token loop.
El problema es que los contextos persistentes y largos de agentic AI disparan el volumen del KV cache y su permanencia. Guardarlo íntegramente en HBM ofrece el mejor rendimiento, pero la capacidad es fija, cara y no ampliable tras fabricación. A su vez, mover KV cache hacia DRAM o NVMe introduce latencias y jitter que pueden bloquear la generación de tokens, dejando GPUs infrautilizadas: ciclos de compute esperando datos en lugar de ejecutar inferencia.
En este escenario, la arquitectura de memoria para agentic AI deja de ser un detalle de plataforma y pasa a ser un requisito de diseño del sistema: hay que crear nuevos escalones de memoria, nuevas interconexiones y una capa de software que gestione placement, prefetch y eviction del KV cache sin romper objetivos de latencia.
Respuestas de la industria: nuevos tiers, CXL y orquestación del KV cache
1) Tiers “near-compute” para KV cache
Una línea de respuesta es insertar un tier intermedio entre HBM y el almacenamiento tradicional, con latencia y bandwidth más cercanas a memoria que a disco. Nvidia ha presentado un enfoque de este tipo con su plataforma Inference Context Memory Storage (ICMS), descrita como un tier adicional orientado a servir contexto de inferencia (KV cache) mediante un fabric de alta velocidad, reduciendo jitter y mejorando el throughput efectivo de tokens frente a backends de storage convencionales.
El objetivo es claro: escala de capacidad con pérdida mínima de rendimiento, evitando que el overflow del KV cache degrade a NVMe o red en rutas críticas del token loop.
2) Compute Express Link (CXL) y memoria desagregada
Otra respuesta es la memoria desagregada: en lugar de atar memoria a un único nodo, se crea un pool compartido accesible por interconexiones coherentes. Aquí entra Compute Express Link (CXL), que permite adjuntar memoria externa con baja latencia y coherencia de caché, habilitando que parte del KV cache se “desplace” fuera de HBM sin caer en el perfil de latencia de un storage tradicional. Investigaciones citadas en el artículo original apuntan a reducciones sustanciales del uso de memoria de GPU al offload del KV cache a memoria conectada por CXL, manteniendo requisitos de latencia.
A nivel de sistema, el pooling reduce duplicación de contexto y mejora la flexibilidad operativa: múltiples agentes o nodos pueden referenciar estados compartidos con rutas más eficientes que transferencias ad hoc por caminos lentos.
3) Software de memory management: el “cerebro” del placement
Ningún cambio de hardware resuelve el problema por sí solo. La arquitectura de memoria para agentic AI necesita software capaz de decidir qué fragmentos del KV cache viven en HBM, cuáles se comprimen, cuáles migran a tiers cercanos y cuándo prefetchear para evitar stalls. El artículo menciona iniciativas como Nvidia Dynamo y su librería de extensiones de inferencia para coordinar movimiento de contenido y gestión por bloques del KV cache, con pre-alloc y prefetch hacia el tier adecuado antes de que el modelo lo demande.
Implicaciones: eficiencia energética, coste por token y escalabilidad
El impacto no es solo rendimiento. Si el sistema fuerza recomputación o traslados constantes de contexto por falta de un tier adecuado, el coste energético y el coste por token se disparan. Además, se agrava una ineficiencia clave: GPUs esperando datos, un patrón especialmente caro en infraestructuras AI modernas donde el precio del accelerator domina el TCO.
A medida que agentic AI se adopte para flujos prolongados (asistentes con continuidad, automatización empresarial multi-step, orquestación de herramientas y procesos asíncronos), la presión sobre la jerarquía de memoria crecerá de forma estructural. La escalabilidad práctica dependerá de cuánta “memoria útil” pueda ofrecer el sistema con latencias compatibles con inferencia.
Qué observar a partir de ahora
La industria parece converger en un diagnóstico: la inferencia de agentes convierte la memoria en el recurso crítico, y el KV cache en el activo que más condiciona diseño de plataforma. El siguiente ciclo competitivo se jugará en (1) nuevos tiers near-compute, (2) interconexiones coherentes como CXL para ampliar memoria efectiva, y (3) orquestación software para mover contexto sin penalizar latencia.
En otras palabras, la arquitectura de memoria para agentic AI será el determinante de cuánto pueden “recordar” los sistemas a coste asumible, y hasta dónde puede escalar la próxima generación de AI sin convertir la inferencia en una cola de espera de datos.
Fuentes y referencias: Nvidia Developer Blog (ICMS), Compute Express Link (CXL Consortium), arXiv (estudio sobre offload de KV cache con CXL).
