El rack Groq 3 LPX que Nvidia presentó en GTC se desplegará junto con los racks NVL72, brindando capacidad dedicada para inferencia de IA y cargas de trabajo de IA agentiva. Según la presentación de Nvidia, el rack Groq 3 LPX puede albergar hasta 256 aceleradores LPU, equipados con 128 GB de SRAM y un asombroso ancho de banda de memoria SRAM de 40 petabytes por segundo. El rack ofrece hasta 640 TB por segundo de ancho de banda de escalado en total, y Nvidia señala que eventualmente podría escalar para albergar más de 1000 LPU.
Emparejar un rack Groq 3 LPX con un sistema Rubin NVL72 permite a los clientes generar un millón de tokens por solo $45 en un modelo GPT de 1 billón de parámetros con una ventana de contexto de 400k tokens, según Nvidia. Esa cifra representa 35 veces más tokens de los que el sistema Rubin NVL72 puede generar por sí solo.
Las LPU Groq 3 no son los únicos chips nuevos que Nvidia está aprovechando para aumentar la capacidad de inferencia de IA. La compañía también anunció un rack dedicado para sus CPU Vera, los procesadores basados en ARM emparejados con dos GPU Rubin para construir los superchips en el núcleo de los sistemas NVL72 y NVL8 de Nvidia.
Dado que las CPU se han convertido en un cuello de botella clave para la inferencia de IA y las cargas de trabajo de IA agentiva, las empresas demandan cada vez más recursos de CPU. En respuesta, Nvidia ha lanzado un rack independiente solo para CPU, llamado Vera CPU Rack, que presenta 256 CPU Vera conectadas a 400 TB de memoria LPDDR5x que operan a 300 TBps.
El Vera CPU Rack también viene equipado con una columna vertebral Ethernet Spectrum-X y 64 unidades de procesamiento de datos (DPU) BlueField-4. Estas DPU se coordinan con las GPU en los sistemas NVL72 a través de la interconexión NVLink-C2C de Nvidia, entregando 1.8 TBps de ancho de banda coherente, siete veces el ancho de banda de PCIe Gen 6, según la compañía.
Nvidia afirma que el rack Vera puede soportar 22.500 entornos de CPU concurrentes, satisfaciendo la demanda masiva de CPU requerida para ejecutar la inferencia de IA y las cargas de trabajo agentivas sin problemas. El rack utiliza refrigeración líquida y está construido sobre la arquitectura de referencia MGX de Nvidia, que la compañía destaca que está respaldada por 80 socios del ecosistema, y se distribuirá a través de la red global de socios de Nvidia.
Nvidia también anunció un nuevo rack lleno de DPU BlueField-4, uno de los siete nuevos chips que Nvidia promocionó como parte de la nueva supercomputadora de IA. El BlueField-4 STX es la primera implementación a escala de rack de la nueva plataforma CMX (almacenamiento de memoria de contexto) de Nvidia, que expande la memoria de la GPU de HBM al almacenamiento NVMe primario. Reveló CMX en enero, y los socios de almacenamiento de Nvidia, como VAST Data, que presentó su oferta de almacenamiento CMX en su conferencia hace unas semanas, están comenzando a adoptarla a través de la arquitectura de referencia Nvidia STX.
"El STX es una capa compartida de alto ancho de banda optimizada para almacenar y recuperar los datos masivos de caché de clave-valor generados por flujos de trabajo agentivos", dijo Buck. "Esta es una arquitectura de referencia. Si bien Nvidia no la proporcionará directamente, estamos proporcionando [la arquitectura de referencia] a todos nuestros socios de almacenamiento y a todo el ecosistema de almacenamiento para que puedan construir la próxima generación de almacenamiento para fábricas de IA que tenga 4 veces el rendimiento por vatio, el doble de páginas por segundo para datos empresariales y entregando 5 veces los tokens por segundo de memoria de contexto necesarios para fábricas de IA que ejecutan flujos de trabajo agentivos".
Cloudian, DDN, Dell Technologies, Everpure (anteriormente Pure Storage), Hitachi Vantara, HPE, IBM, MinIO, NetApp, Nutanix y WEKA están construyendo nuevo almacenamiento sobre la arquitectura de referencia BlueField-4 STX, dijo Nvidia, mientras que empresas como CoreWeave, Crusoe, IREN, Lambda, Mistral AI, Nebius, Oracle Cloud Infrastructure (OCI) y Vultr la están adoptando.
En total, Nvidia está presentando siete nuevos chips en GTC que cada uno tiene un papel en la potencia de la IA en la plataforma Vera Rubin. Esto incluye Vera CPU, Rubin GPU, NVLink 6 Switch, ConnectX-9 SuperNIC, BlueField-4 DPU, Groq 3 LPU y SpectrumX CPO, el nuevo switch Ethernet de óptica coplanificada que ofrece conectividad de 200 Gbps sobre fotónica de silicio. Nvidia anunció el chip SpectrumX en GTC 2025, y ya está en producción, dijo el CEO Jensen Huang en su discurso de apertura.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Director de Estrategia Global
WhatsApp / WeChat: +86 13426366826
Correo electrónico: yangyd@qianxingdata.com
Sitio web: www.qianxingdata.com/www.storagesserver.com
Enfoque de Negocio:
Distribución de Productos TIC/Integración de Sistemas y Servicios/Soluciones de Infraestructura
Con más de 20 años de experiencia en distribución de TI, nos asociamos con marcas líderes a nivel mundial para ofrecer productos confiables y servicios profesionales.
"Usando la Tecnología para Construir un Mundo Inteligente" ¡Su Proveedor de Servicios de Productos TIC de Confianza!
¡Su mensaje debe tener entre 20 y 3.000 caracteres!
Spanish
