noticias de la compañía sobre Inferra es el rompedor del muro de memoria de inferencia de Lightbits

He comprimido el texto completo en 8% de recuento de palabras, he conservado todos los hechos centrales, puntos de referencia, citas y lógica técnica, y he eliminado todos los enlaces:

El software Inferra de Lightbits acelera las operaciones de caché KV, rompe el muro de memoria de la inferencia de IA y mejora drásticamente la utilización de la GPU. La empresa de almacenamiento de bloques de alto rendimiento construyó Inferra para virtualizar la memoria de alto ancho de banda (HBM) de la GPU. Una caché KV almacena claves y valores de atención precalculados durante la inferencia de LLM, evitando la recomputación redundante de datos de secuencia y mejorando el rendimiento de la IA generativa.

El almacenamiento en caché KV estándar confina los datos cacheados a la HBM de la GPU. Una vez que la HBM se satura, los pares KV existentes se desalojan para dar paso a nuevos datos, lo que requiere una recomputación que consume mucho tiempo al reutilizarlos. El almacenamiento en caché KV multinivel moderno extiende el almacenamiento a la DRAM del servidor, las unidades NVMe SSD locales y las unidades NVMe remotas en red. Si bien los niveles superiores incurren en una latencia de acceso más larga, este retraso a menudo es más corto que la recomputación de vectores de tokens extensos.

Inferra aborda los cuellos de botella críticos de memoria derivados de la expansión de las huellas de caché KV de contexto largo. Permite a los usuarios de la nube y empresariales ejecutar inferencias de IA más rápidas y escalables sin costosas actualizaciones de hardware de GPU y HBM para expandir la capacidad de caché.

Avigdor Willenz, cofundador y presidente de Lightbits Labs, señaló que el mercado de inferencia de IA de 117 mil millones de dólares para 2026 obliga a los proveedores heredados centrados en el entrenamiento a reestructurarse. Hizo hincapié en que los sistemas de almacenamiento y entrenamiento heredados no se pueden adaptar para los cuellos de botella de la caché KV, ya que fueron diseñados para paradigmas de carga de trabajo obsoletos. Diseñado específicamente para la eficiencia de la inferencia de GPU, Inferra ha validado su valor en programas beta de clientes, extendiendo la innovación NVMe over TCP del proveedor para resolver los puntos débiles de la inferencia moderna.

Impulsado por algoritmos de prefetching optimizados para caché KV, Inferra carga proactivamente los datos de caché KV próximos antes de la demanda de la GPU. Ofrece tres ventajas principales: hasta 16 veces más sesiones de inferencia concurrentes en hardware de GPU existente con estricto cumplimiento de SLA (sin necesidad de actualizaciones de hardware); hasta 100 veces de mejora de latencia y soporte para ventanas de contexto de 10 millones de tokens, reduciendo TTFT y TPOT a través de prefetching predictivo del estado de atención en lugar de recomputación; y aislamiento seguro de inquilinos con gestión unificada e inteligente de caché KV para clústeres de inferencia compartidos.

Inferra redefine la economía de la inferencia al virtualizar la memoria de la GPU a través de memoria y almacenamiento multinivel, convirtiendo el almacenamiento en caché KV fragmentado en una capa de datos persistente e inteligente. Desplegado en los subsistemas x86 de los servidores, monitorea la actividad de los bloques de caché KV y aprovecha un motor de prefetching de atención dispersa sublineal (SLSAP). Combinando hashing sensible a la localidad y patrones históricos de reutilización de atención, clasifica y prioriza los bloques KV reutilizados con frecuencia, incluidos tokens recientes, contenido semánticamente similar y patrones estructurales en flujos de trabajo de chat multivuelta y RAG. El sistema recupera bloques dirigidos de la DRAM del servidor o SSD externos y los precarga a la HBM de la GPU a través de RDMA.

Yaniv Fdida, Director de Producto y Tecnología de OVH, verificó que Inferra ofrece ganancias sustanciales en la utilización de la GPU, permitiendo una infraestructura escalable y rentable para cargas de trabajo de agentes de IA y RAG.

Los resultados de los puntos de referencia públicos confirman mejoras drásticas en el rendimiento: Qwen 2.5-7B (contexto de 410K) se acelera 102 veces (72,6 s → 711 ms); DeepSeek-R1-70B (contexto de 141K) mejora 152 veces (70,8 s → 465 ms); Llama-4-Scout (contexto de 10M) logra un salto de 380 veces (1,5 horas → 13 s).

Independiente del hardware y compatible con todos los marcos de inferencia de código abierto convencionales, Inferra admite plugins Dynamo, vLLM y LMCache. De manera única, ofrece escalado TTFT sublineal en relación con la longitud del contexto, mientras que competidores como DDN, VAST Data y WEKA solo ofrecen escalado lineal o streaming reactivo. Lightbits ha demostrado una inferencia estable de contexto de 10M de tokens en GPUs L40S de productos básicos, un punto de referencia inigualable por los proveedores rivales.

Ramesh Chettuvetty, SVP de Producto y Negocios de IA de Lightbits Labs, declaró que Inferra ofrece ahorros inmediatos en el TCO, eliminando las interrupciones de inferencia de contexto largo y permitiendo a las empresas ejecutar modelos más grandes y cargas de trabajo de diálogo más largas a menores costos de infraestructura. Los usuarios pueden evaluar los beneficios de optimización de costos de inferencia de Inferra a través de la plataforma pública de evaluación de eficiencia del proveedor. En una demostración conjunta en marzo con ScaleFlux, Inferra logró una aceleración de caché KV de 100x a 280x en cargas de trabajo de SSD de almacenamiento computacional.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Director de Estrategia Global
WhatsApp / WeChat: +86 13426366826
Correo electrónico: yangyd@qianxingdata.com
Sitio web: www.qianxingdata.com/www.storagesserver.com
Enfoque de negocio:
Distribución de productos TIC/Integración de sistemas y servicios/Soluciones de infraestructura
Con más de 20 años de experiencia en distribución de TI, nos asociamos con las principales marcas mundiales para ofrecer productos confiables y servicios profesionales.
¡Construyendo un mundo inteligente a través de la tecnología! Su proveedor de servicios de productos TIC de confianza.