Especificaciones de Dell PERC12 H965i y PERC13 H975i

El controlador frontal PERC13 H975i en los servidores Dell PowerEdge está diseñado para una integración perfecta en la arquitectura del sistema. A diferencia de las tarjetas de expansión tradicionales que ocupan ranuras PCIe traseras, el H975i se conecta directamente al plano posterior de unidades frontales e interactúa con los conectores MCIO frontales de la placa base a través de interfaces PCIe 5.0 dedicadas. Este diseño integrado preserva las ranuras PCIe traseras para GPUs de alto rendimiento y expansión PCIe adicional, al tiempo que reduce significativamente la longitud de los cables. Esto ayuda a mantener la integridad de la señal, haciendo que el sistema sea más fiable y fácil de mantener. El resultado es un diseño interno más limpio y un mejor flujo de aire para implementaciones densas e intensivas en computación.

El H975i implementa una arquitectura de seguridad integral que abarca desde la atestación de hardware a nivel de silicio hasta el cifrado de datos de espectro completo de datos en su lugar con unidades SED. En su base, la Raíz de Confianza de Hardware establece una cadena inmutable de verificación criptográfica desde la ROM de arranque interna a través de cada componente de firmware, asegurando que solo el firmware autenticado y certificado por Dell pueda ejecutarse en el controlador. Esta seguridad basada en hardware se extiende a través de la implementación del Modelo de Datos y Protocolo de Seguridad (SPDM), donde cada controlador contiene un certificado de Identidad de Dispositivo único que permite a iDRAC realizar verificaciones de autenticación en tiempo real. El controlador extiende la protección criptográfica más allá de los escenarios tradicionales de datos en reposo para incluir la memoria caché. Mantiene las claves de cifrado en regiones de memoria seguras inaccesibles para firmware no autorizado. Como resultado, los datos sensibles permanecen protegidos, ya sea en las unidades o procesándose activamente en la caché.

La protección de energía en el H975i es otra evolución significativa de los sistemas tradicionales respaldados por baterías a través de su integración de un supercondensador. El supercondensador proporciona entrega de energía instantánea durante eventos de pérdida de energía inesperados, asegurando un vaciado de caché cifrado y completo al almacenamiento no volátil, donde los datos permanecen protegidos indefinidamente. Además, a diferencia de los sistemas basados en baterías que requieren 4-8 horas para ciclos de aprendizaje, el supercondensador del H975i completa su Ciclo de Aprendizaje Transparente en 5-10 minutos sin degradación del rendimiento durante la calibración. Este diseño elimina la sobrecarga de mantenimiento y las preocupaciones de degradación inherentes a las soluciones de baterías, al tiempo que proporciona una fiabilidad superior para la protección de datos críticos para la misión.

Monitorización y Gestión Integradas

El controlador RAID PERC13 de Dell, al igual que muchas de las soluciones RAID de Dell, se puede gestionar y monitorizar de muchas maneras, incluyendo durante el arranque de la plataforma a través de la Configuración del Sistema en la BIOS, a través de la GUI web de iDRAC, la utilidad PERC12 e incluso Dell OpenManage UI y CLI.

Gestión del Controlador iDRAC

Al ver la interfaz de gestión de iDRAC, la pestaña de controladores ofrece una visión general del hardware de almacenamiento del servidor. Junto con la tarjeta BOSS, verá los controladores duales PERC H975i, completos con información sobre las versiones de firmware, la memoria caché y el estado de la batería. Este resumen le permite verificar rápidamente la preparación y configuración de los controladores sin necesidad de acceder a la BIOS o utilizar herramientas CLI.

La pestaña Discos Virtuales en iDRAC muestra los arrays de almacenamiento que se han creado, incluyendo su nivel RAID, tamaño y política de caché. En este sistema, se enumeran dos grupos RAID-10, todos construidos sobre SSD. Desde esta vista, los administradores pueden confirmar que los volúmenes están en línea, crear nuevos discos virtuales o utilizar el menú Acciones para ajustar o eliminar configuraciones existentes.

Utilidad de Configuración del Controlador RAID

La imagen anterior muestra un ejemplo de entrada en la Utilidad de Configuración del Sistema PERC H975i Front en la plataforma PowerEdge R7715. Desde esta interfaz, puede gestionar todos los ajustes clave del controlador RAID, incluyendo Gestión de Configuración, Gestión del Controlador, Gestión de Dispositivos y más. Esta utilidad proporciona una forma simplificada de configurar discos virtuales y monitorizar componentes de hardware directamente durante el proceso de arranque de la plataforma.

Después de seleccionar el nivel RAID, pasamos a elegir discos físicos para el array. En este ejemplo, se enumeran todas las SSD NVMe disponibles y se marcan como aptas para RAID. Seleccionamos varias unidades Dell DC NVMe de 3,2 TiB del grupo de capacidad no configurada. Filtros como tipo de medio, interfaz y tamaño de sector lógico ayudan a reducir la selección. Una vez marcadas las unidades deseadas, podemos continuar haciendo clic en "Aceptar" para finalizar la selección de discos y continuar creando el Disco Virtual.

Antes de finalizar la creación del disco virtual, el sistema muestra una advertencia que confirma que todos los datos de los discos físicos seleccionados se eliminarán permanentemente. Para continuar, marcamos la casilla "Confirmar" y seleccionamos "Sí" para autorizar la operación. Esta salvaguarda ayuda a prevenir la pérdida accidental de datos durante el proceso de creación de RAID.

Una vez creado el disco virtual, aparece en el menú "Gestión de Discos Virtuales". En este ejemplo, nuestro nuevo disco virtual RAID 5 aparece con una capacidad de 43,656 TiB y un estado de "Listo". Con solo unos pocos pasos sencillos, el almacenamiento está configurado y listo para su uso.

Si bien la Utilidad de Configuración de BIOS PERC y la interfaz iDRAC ofrecen opciones intuitivas para la gestión local y remota, Dell también proporciona una potente herramienta de línea de comandos llamada PERC CLI (perccli2). Esta utilidad es compatible con Windows, Linux y VMware, lo que la hace ideal para scripting, automatización o gestión de controladores PERC en entornos sin interfaz gráfica. Dell también proporciona documentación detallada sobre la instalación y el uso de comandos para PERC CLI en su sitio de soporte.

Pruebas de Rendimiento de Dell PERC13

Antes de sumergirnos en las pruebas de rendimiento, preparamos nuestro entorno utilizando la plataforma Dell PowerEdge R7715 configurada con controladores frontales duales PERC H975i. Estos se combinaron con treinta y dos unidades Dell NVMe de 3,2 TB, cada una con una tasa de hasta 12.000 MB/s de lectura secuencial y 5.500 MB/s de escritura secuencial utilizando tamaños de bloque de 128 KiB. Esta base de alto rendimiento nos permite llevar los límites del rendimiento del controlador PERC13 y evaluar el comportamiento de RAID a escala.

• Plataforma: Dell PowerEdge R7715
• CPU: AMD EPYC 9655P Procesador de 96 núcleos
• RAM: 768 GB (12 x 64 GB) DDR5-5200 ECC
• Controlador RAID: 2 x PERC13 H975i
• Almacenamiento: 32 x Unidades NVMe Dell CD8P de 3,2 TB
• Aceleradores PCIe: 2 x NVIDIA H100 GPU

NVIDIA Magnum IO GPU Direct Storage: IA se une al almacenamiento

Las canalizaciones modernas de IA a menudo están limitadas por E/S, no por computación. Los lotes de datos, las incrustaciones y los puntos de control deben transferirse del almacenamiento a la memoria de la GPU lo suficientemente rápido como para mantener los aceleradores ocupados. Magnum IO GDS de NVIDIA (a través de cuFile) acorta el camino tradicional "SSD → DRAM de CPU → GPU" y permite que los datos se transfieran directamente de NVMe a la memoria de la GPU. Esto elimina la sobrecarga del búfer de rebote de la CPU, reduce la latencia y hace que el rendimiento sea más predecible bajo carga, todo lo cual se traduce en una mayor utilización de la GPU, tiempos de época más cortos y ciclos de guardado/carga de puntos de control más rápidos.

Nuestra prueba GDSIO está diseñada para medir la ruta de datos de almacenamiento a GPU en sí, barriendo tamaños de bloque y recuentos de hilos para mostrar la rapidez con la que el conjunto NVMe respaldado por PERC13 puede transmitirse a la memoria H100. Con cada H975i en un enlace PCIe 5.0 x16 (teórico ~64 GB/s por controlador, unidireccional), dos controladores establecen un techo agregado de ~112 GB/s; donde nuestras curvas se estabilizan indica si está limitado por el enlace o por el medio. Para los profesionales, lea los gráficos como proxies de cargas de trabajo reales: las lecturas secuenciales grandes se corresponden con la transmisión de conjuntos de datos y las restauraciones de puntos de control; las escrituras secuenciales grandes se corresponden con los guardados de puntos de control; las transferencias más pequeñas con concurrencia reflejan los barajados del cargador de datos y la prelectura. En resumen, un fuerte escalado de GDSIO significa menos interrupciones de GPU y un rendimiento más consistente tanto durante el entrenamiento como durante la inferencia de alto rendimiento.

Rendimiento Secuencial de Lectura GDSIO

Comenzando con la lectura secuencial, el rendimiento comenzó modestamente con tamaños de bloque y recuentos de hilos más bajos, comenzando alrededor de 0,3 GiB/s con bloques de 8K y un solo hilo. El rendimiento escaló drásticamente entre los bloques de 16K y 512K, particularmente al aumentar el recuento de hilos de 4 a 16. Las ganancias más sustanciales ocurrieron en los tamaños de bloque de 1M, 5M y 10M, donde el rendimiento aumentó drásticamente, alcanzando un pico de 103 GiB/s con un tamaño de bloque de 10M y 256 hilos. Esta progresión muestra que el array PERC13 se beneficia de tamaños de bloque más grandes y paralelismo multihilo, con una saturación óptima alrededor de 64-128 hilos, más allá de los cuales las ganancias se estabilizan.

Diferencial de Rendimiento Secuencial de Lectura GDSIO

En las pruebas de lectura secuencial en tamaños de bloque de 8K a 10M, el PERC13 (H975i) superó consistentemente al PERC12 (H965i), con ganancias porcentuales que escalaron drásticamente en tamaños de bloque más grandes y recuentos de hilos más altos.

En tamaños de bloque más pequeños (8K-16K), las mejoras fueron modestas (generalmente entre 0-20%), y en algunos casos aislados el H975i se quedó ligeramente atrás debido a la variabilidad de las pruebas en profundidades de cola bajas. Para tamaños de bloque de 32K-64K, la ventaja se volvió más consistente, con el H975i ofreciendo un rendimiento un 30-50% mayor en la mayoría de los recuentos de hilos.

Las diferencias más significativas se observaron en tamaños de bloque más grandes (128K a 10M), donde el controlador PERC13 desbloqueó todo el potencial de lectura secuencial del sistema. Aquí, el H975i demostró ganancias del 50-120% en comparación con el H965i. Por ejemplo, con un tamaño de bloque de 1M y 8-16 hilos, el rendimiento fue más de 55 GiB/s mayor, lo que equivale a un aumento de aproximadamente el 90%. En tamaños de bloque de 5M y 10M, las mejoras superaron regularmente el 100%, con algunas configuraciones que mostraron casi el doble de rendimiento en comparación con la generación anterior.

En general, el PERC13 (H975i) estableció una ventaja dominante en cargas de trabajo de lectura secuencial, especialmente a medida que escalaban el tamaño del bloque y el recuento de hilos. Si bien los tamaños de bloque más pequeños mostraron mejoras incrementales, a partir de 256K, el controlador más nuevo entregó consistentemente un rendimiento un 50-100% mayor, destacando claramente los avances arquitectónicos en la última plataforma RAID de Dell.

Latencia Secuencial de Lectura GDSIO

A medida que aumentaba el rendimiento secuencial de lectura, la latencia se mantuvo manejable en tamaños de bloque más pequeños y recuentos de hilos más bajos. Por ejemplo, la latencia se mantuvo por debajo de 100 µs hasta bloques de 64K y 16 hilos, mostrando un manejo eficiente de las lecturas en ese rango. Una vez que los tamaños de bloque y los recuentos de hilos escalaron más alto, especialmente en 5M y 10M con 64 o más hilos, la latencia aumentó rápidamente, alcanzando un pico de 211,8 ms con un tamaño de bloque de 10M y 256 hilos. Esto resalta cómo surgen cuellos de botella en el controlador o en la cola bajo cargas de trabajo extremas, a pesar de que el rendimiento sigue siendo alto.

El mejor equilibrio de rendimiento y eficiencia se observó en el tamaño de bloque de 1M con 8-16 hilos, donde el array mantuvo un rendimiento de 87,5-93,7 GiB/s manteniendo la latencia entre 179-334 µs. Esta zona representa el punto óptimo para maximizar el ancho de banda manteniendo los retrasos muy por debajo de un milisegundo.

Rendimiento Secuencial de Escritura GDSIO

El rendimiento de escritura mostró un fuerte escalado temprano a medida que aumentaban los tamaños de bloque, con un rendimiento que aumentó de 1,2 GiB/s con 8K y 1 hilo a 13,9 GiB/s con 256K. El crecimiento más sustancial apareció entre los tamaños de bloque de 128K y 1M, donde el rendimiento alcanzó más de 80 GiB/s con 8 a 16 hilos. El rendimiento pico se produjo en los tamaños de bloque de 5M y 10M, manteniendo de 100 a 101 GiB/s a partir de 8 hilos.

El rendimiento se aplanó entre 8 y 64 hilos para estos bloques más grandes, lo que indica que los controladores alcanzaron la saturación temprano en la curva de escalado. En recuentos de hilos más altos, especialmente 128 y 256 hilos, la estabilidad del rendimiento varió, manteniéndose estable en bloques grandes de 5M y 10M a 101 GiB/s pero disminuyendo para tamaños de bloque de rango medio, como 256K, cayendo de 61,2 GiB/s con 32 hilos a 45,3 GiB/s con 256 hilos.

Diferencial de Rendimiento Secuencial de Escritura GDSIO

En las pruebas de escritura secuencial, el PERC13 (H975i) ofreció ganancias sustanciales sobre el PERC12 (H965i), particularmente a medida que escalaban los tamaños de bloque y los recuentos de hilos. En tamaños de bloque pequeños (8K-32K), las mejoras fueron modestas, generalmente dentro del 0-10%, con ruido de prueba ocasional mostrando diferencias insignificantes.

A partir de 64K, la ventaja del H975i se hizo más pronunciada. Con un tamaño de bloque de 64K, las mejoras alcanzaron el 40-70%, con un aumento de rendimiento de más de 12-17 GiB/s en comparación con el H965i. En 128K-256K, el aumento fue más fuerte, donde el H975i entregó consistentemente un rendimiento un 50-70% mayor en recuentos de hilos moderados a altos.

La brecha de rendimiento más dramática apareció en tamaños de bloque más grandes (512K a 10M). En 512K, el H975i logró ganancias de +31 a +56 GiB/s, lo que equivale a una mejora del 60-80% sobre el H965i. Con un tamaño de bloque de 1M, la ventaja se extendió aún más, con aumentos de rendimiento de +40 a +68 GiB/s, lo que representa ganancias del 70-90%. Finalmente, en tamaños de bloque de 5M y 10M, el PERC 13 casi duplicó el rendimiento en comparación con el PERC 12, con diferencias de +75 a +79 GiB/s, lo que se traduce en una mejora del 100% en algunos escenarios con muchos hilos.

En general, el controlador PERC 13 mostró un claro salto generacional en el rendimiento de escritura secuencial. Si bien las diferencias son menores en los tamaños de bloque más pequeños, una vez que las cargas de trabajo superan los 64K, el H975i entrega consistentemente un rendimiento un 50-100% mayor, estableciendo firmemente su superioridad sobre el H965i en cargas de trabajo secuenciales intensivas en escritura.

Latencia Secuencial de Escritura GDSIO

La latencia durante las escrituras secuenciales se mantuvo impresionantemente baja en tamaños de bloque más pequeños y recuentos de hilos más bajos, a menudo manteniéndose por debajo de 50 µs hasta bloques de 128K con hasta 8 hilos. A medida que aumentaban los recuentos de hilos, la latencia escalaba de manera más notable. Por ejemplo, la latencia alcanzó 392 µs con 512K y 32 hilos y superó 1 ms con un tamaño de bloque de 1M y 64 hilos.

Los efectos de saturación se hicieron más evidentes en los tamaños de bloque más grandes y los niveles de concurrencia más altos. La latencia aumentó a 12,4 ms con 5M y 128 hilos y alcanzó un pico de 50,3 ms con 10M y 256 hilos.

El punto de operación más eficiente para cargas de trabajo de escritura secuencial se observó en los tamaños de bloque de 1M o 5M con 8 a 16 hilos, donde el rendimiento alcanzó de 87,9 a 101,2 GiB/s mientras que la latencia se mantuvo dentro de 178 µs – 1,7 ms, proporcionando un rendimiento sostenido sólido sin activar retrasos excesivos en la cola de escritura.

Rendimiento MLPerf Storage 2.0

Para evaluar el rendimiento en el mundo real en entornos de entrenamiento de IA, utilizamos el conjunto de pruebas MLPerf Storage 2.0. MLPerf Storage está diseñado específicamente para probar patrones de E/S en cargas de trabajo de aprendizaje profundo reales y simuladas. Proporciona información sobre cómo los sistemas de almacenamiento manejan desafíos como la creación de puntos de control y el entrenamiento de modelos.

Benchmark de Checkpointing

Al entrenar modelos de aprendizaje automático, los puntos de control son esenciales para guardar periódicamente el estado del modelo. Esto ayuda a prevenir la pérdida de progreso debido a interrupciones, como fallos de hardware, permite la detención temprana durante el entrenamiento y permite a los investigadores ramificarse desde varios puntos de control para experimentos y ablaciones.

La comparación de la duración del guardado de puntos de control reveló que Dell PERC13 superó consistentemente a PERC12 en todas las configuraciones de modelos. PERC 13 logró tiempos de guardado que oscilaron entre 7,61 y 10,17 segundos, mientras que PERC12 requirió de 10,41 a 20,67 segundos para las mismas operaciones. La brecha de rendimiento fue más pronunciada con el modelo de parámetros 1T, donde PERC13 completó los guardados en poco más de 10 segundos en comparación con los más de 20 segundos de PERC12. Esto representa aproximadamente una reducción del 50% en el tiempo de guardado para los modelos más grandes.

Al examinar los resultados de rendimiento de guardado, los datos muestran la utilización superior del ancho de banda de PERC13, entregando consistentemente tasas de transferencia de datos más altas. PERC13 logra un rendimiento entre 11,46 y 14,81 GB/s, con un rendimiento pico en el modelo 1T. En contraste, PERC12 alcanza un máximo de 9,49 GB/s y cae a 6,98 GB/s para la configuración más grande. El controlador más nuevo mantiene un rendimiento más estable en diferentes tamaños de modelo, lo que sugiere una mejor optimización para manejar escrituras secuenciales grandes típicas de las operaciones de puntos de control.