Meta y el proveedor de tecnología CXL, Panmnesia, dicen que los centros de datos de IA deben considerarse como un único recurso de procesamiento coordinado, no como un conjunto de servidores independientes ubicados conjuntamente.
El centro de datos de IA debería ser un recurso estrechamente acoplado, con un único dominio de coherencia, como un chip de CPU. Esto es diferente de los centros de datos empresariales existentes, débilmente acoplados y basados en solicitudes, que tienen muchos dominios de coherencia. Los centros de datos de IA pueden ejecutar un único trabajo en cientos, incluso miles, de GPUs, de forma similar a una carga de trabajo de computación de alto rendimiento que involucra núcleos de procesador, memoria y enlaces de red coordinados.
Panmnesia y Meta han propuesto conjuntamente una arquitectura de centro de datos de IA de próxima generación como esta, en la que el centro de datos opera como un solo chip. El trabajo aparece en NREE, una revista de Nature Portfolio.
Myoungsoo Jung
Myoungsoo Jung, CEO de Panmnesia, dijo: "A medida que los sistemas de IA continúan escalando, la capacidad de conectar un gran número de aceleradores y dispositivos de memoria de manera rápida y eficiente se está volviendo tan importante como el rendimiento de los aceleradores individuales. Esta investigación describe una dirección para la infraestructura de IA de próxima generación, donde CXL permite que todo el centro de datos opere como un único sistema informático".
Los componentes de un solo chip de procesamiento, núcleos, etc., están diseñados y colocados de manera que tengan rutas de enlace uniformes en un único dominio de coherencia y realicen su trabajo de manera sincronizada, coordinada y controlada. En contraste, los centros de datos existentes tienen procesadores de servidor y almacenamiento en estantes de rack con enlaces de red y conmutadores dentro y entre racks. No hay una estructura de control para que el procesamiento del servidor esté coordinado.
Centro de datos similar a un chip
Panmnesia dice: "En los centros de datos actuales, los aceleradores dentro de un rack están unidos por interconexiones rápidas de escalado vertical, mientras que las conexiones que salen del rack, y las conexiones a dispositivos que no son aceleradores, dependen de redes de escalado horizontal más lentas. Las mediciones de tales entornos muestran distribuciones de latencia de cola larga, con una latencia de ida y vuelta del percentil 99 aproximadamente cinco veces la mediana. Esto es lo que frena el trabajo general, y cuanto más dispositivos participan, más a menudo y más gravemente ocurre".
Para que un centro de datos de IA funcione de manera eficiente y rápida, se necesita control y coordinación tanto dentro como entre los racks de GPUs, su memoria y almacenamiento. En la infraestructura de IA a gran escala, dice, reducir la variación de latencia entre dispositivos para que el centro de datos en su conjunto se comporte de manera predecible es tan importante como mejorar el rendimiento de los dispositivos individuales o la velocidad del enlace.
Panmnesia LAU
Meta y Panmnesia proponen usar CXL como base para esto, con nuevos conceptos que le permiten operar a nivel de múltiples racks de GPUs. CXL extendido proporciona coherencia de caché entre racks de aceleradores en su esquema, admitiendo un mayor número de dispositivos que el GB200 NVL72 y UALink basados en NVLink a escala de rack de Nvidia.
Esto define las reglas básicas para unir dispositivos, pero no el enrutamiento de datos y la latencia. Proponen tres elementos de hardware dedicados para reducir y limitar la variación de latencia:
Conmutador no bloqueante de alta dispersión: conecta muchos dispositivos a la vez, reduciendo el número de saltos y manteniendo las longitudes de ruta similares independientemente de la fuente.
Unidad de aceleración de enlace (LAU): mueve el procesamiento de protocolo repetitivo en cada punto de conexión a una canalización de hardware dedicada, haciendo que el comportamiento a nivel de salto sea más regular y limitando la variación de latencia.
Controlador de tejido: aplica la misma política de ordenación para manejar las solicitudes en todo el sistema, de modo que las transacciones se procesen de manera consistente sin importar el dispositivo por el que pasen.
Conmutador no bloqueante de alta dispersión de Panmnesia
El controlador de tejido (un controlador CXL/PCIe combinado) y la LAU han completado la validación de silicio, y el conmutador de tejido se ha fabricado como un chip de silicio físico, con silicio pre-lanzamiento ahora siendo suministrado. Esto demuestra que la arquitectura propuesta se mantiene a nivel de silicio fabricable.
Su arquitectura agrupa CPUs, aceleradores, memoria y conmutadores por función en bandejas, agrupa bandejas en pods y conecta pods a través de un tejido, una jerarquía regular de bandejas-pods-tejido diseñada para preservar rutas de comunicación y temporización de salto fijo y más consistentes.
Controlador de tejido Panmnesia
En comparación con el diseño de Nvidia, en el que una CPU está acoplada a dos aceleradores a través de NVLink-C2C, el interior del rack está conectado por NVLink, y los servidores y racks están unidos por una red de escalado horizontal como Ethernet o InfiniBand, su esquema:
Proporciona un aumento de 8 veces en los aceleradores coordinados directamente por una sola CPU; de 2 a 16,
Permite que hasta 960 aceleradores operen juntos en un único dominio de coherencia,
Reduce la latencia de acceso a datos del nivel de microsegundos a varios cientos de nanosegundos; aproximadamente un orden de magnitud menor,
La unidad de reemplazo de fallas se convierte en un solo dispositivo defectuoso en lugar de un servidor. La separación de recursos por tipo permite al sistema reemplazar solo los dispositivos defectuosos en lugar de un servidor completo, evitando recursos desperdiciados y prolongadas interrupciones operativas.
Panmnesia ya ha implementado los componentes centrales de la arquitectura en silicio, ha completado la validación y ahora los está preparando para el suministro comercial. Los desarrollos futuros están considerando interconexiones ópticas para aumentar la velocidad y la escalabilidad.
Nota al pie
La referencia del artículo de NREE está disponible.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Director de Estrategia Global
WhatsApp / WeChat: +86 13426366826
Correo electrónico: yangyd@qianxingdata.com
Sitio web: www.qianxingdata.com/www.storagesserver.com
Enfoque de negocio:
Distribución de productos TIC/Integración de sistemas y servicios/Soluciones de infraestructura
Con más de 20 años de experiencia en distribución de TI, nos asociamos con las principales marcas mundiales para ofrecer productos confiables y servicios profesionales.
"Usando la tecnología para construir un mundo inteligente" ¡Su proveedor de servicios de productos TIC de confianza!
¡Su mensaje debe tener entre 20 y 3.000 caracteres!
Spanish
