Opciones de backplane NVMe de Dell PowerEdge

Dell ofrece varios backplanes de almacenamiento en sus servidores PowerEdge 16G. Al configurar el R760, hay casi 50 opciones de chasis de unidades. Si bien parte de esto es soporte heredado (PERC 11, por ejemplo), el punto es que la decisión del chasis es importante. Esto ni siquiera tiene en cuenta el próximo soporte para SSD NVMe E3.S, que es la única forma de obtener SSD Gen5 en servidores PowerEdge. Analizamos E3.S en el Dell PowerEdge R660 si desea obtener más información sobre los beneficios de los factores de forma Gen5 y EDSFF.

Volviendo a la tarea que nos ocupa. Para esta revisión, queremos comprender las implicaciones de seleccionar la opción Direct Drives de Dell en comparación con la opción de tarjeta HWRAID PERC 12. Como se mencionó, el enfoque explícito aquí es solo en consideración de SSD NVMe Gen4 U.2/U.3. Por ahora, ignoramos las opciones de chasis para SATA/SAS y HDD de 3.5". Esas configuraciones son mucho más sencillas.

En el R760, Dell ofrece un par de opciones de chasis para obtener unidades NVMe Gen4 a bordo. La opción Direct Drives se puede configurar para admitir 8 o 16 unidades. Para las configuraciones HWRAID, Dell ofrece la tarjeta HWRAID PERC 12 de la misma manera, con una tarjeta RAID por cada lote de 8 SSD. Esta decisión es importante ya que es fundamental para permitir que un R760 completamente poblado con 16 SSD NVMe obtenga el mejor rendimiento posible.

Descripción general de Dell PERC 12

El controlador RAID de Dell PowerEdge (PERC) 12 se basa en el silicio Broadcom SAS4116W. A pesar de SAS en el nombre del producto, el controlador es un dispositivo tri-modo RAID-on-Chip (ROC). El mismo controlador RAID se utiliza en la línea Broadcom MegaRAID. Recientemente revisamos el MegaRAID 9670W destacando las capacidades clave. Sin embargo, con el Dell PERC 12, entran en juego diferencias de diseño esenciales dependiendo del servidor Dell y la familia de almacenamiento que le interese.

En cuanto a PowerEdge, la mayoría de las configuraciones aprovecharán la tarjeta PERC 12 "H965i Front". En nuestra revisión del sistema R760 con HWRAID, tenemos dos de estas tarjetas H965i Front en el sistema, una para cada conjunto de 8 SSD Solidigm P5520. Vale la pena mencionar que estas tarjetas son significativamente más pequeñas que la tarjeta de expansión. El diseño de la PCB y la gestión térmica son realmente impresionantes. Estas tarjetas se montan directamente en el backplane NVMe de 8 unidades y se conectan a la placa base con dos cables PCIe x8. Esto libera ranuras PCIe en el lado trasero del servidor para otros dispositivos.

Hablando de tarjetas de expansión, la PERC 12 H965i estándar es una tarjeta de media altura y media longitud que incluye un ventilador a bordo. Esta versión de PERC 12 aparecerá en algunas configuraciones de PowerEdge y también se puede encontrar en algunos de los nuevos Dell PowerVault MD JBODs. Por último, existe la H965i MX, que es una PCB larga y estrecha diseñada para algo como el chasis modular MX7000.

Dell PERC 11 vs PERC 12

La tarjeta Dell PERC 11 admitía SSD NVMe, pero desafortunadamente, los beneficios del RAID de hardware tenían un costo de rendimiento considerable. Ese golpe es precisamente por lo que la industria está tan entusiasmada con el nuevo silicio Broadcom y la versión de Dell de esa tarjeta, la PERC. Dell ha publicado algunas cifras sobre la diferencia entre PERC 11 y PERC 12, que son asombrosas.

Los beneficios de latencia de PERC 12 son claramente evidentes; pero mire el rendimiento en condiciones de peor caso, el rendimiento durante una reconstrucción. PERC 12 obtiene una mejora de unos pocos miles por ciento, e incluso el tiempo de reconstrucción RAID ve beneficios significativos.

Al observar las cifras de ancho de banda y IOPS que cita Dell, podemos ver nuevamente el paso masivo que da PERC 12 en comparación con PERC 11. En general, todas estas cargas de trabajo ven una mejora mínima de 2 veces en la tarjeta PERC 12. Por supuesto, hemos realizado nuestras pruebas para verificar el rendimiento de PERC 12, y llegaremos a eso.

Rendimiento de Dell Direct Drives vs. Dell PERC 12

Para comparar el rendimiento del almacenamiento en Direct Drives vs. PERC 12, configuramos nuestros "primos" de servidor R760 con SSD Solidigm P5520 de 7.68 TB. El Dell R760 con Direct Drives tiene 8 bahías NVMe. El R760 con PERC 12 tiene 16 bahías NVMe con tarjetas RAID H965i Front gemelas.

A primera vista, puede que no sea obvio que existen ciertas limitaciones de rendimiento en ambos lados. Comenzando con el enfoque Direct Drives, cada SSD tiene su propia conexión PCIe x4, lo que significa que ocho SSD tienen 32 carriles PCIe dedicados a ellos.

Esto permite un ancho de banda increíble, generalmente más de 52 GB/s si cada unidad Gen4 puede saturar su conexión de 6.5 GB/s. En comparación con la configuración PERC 12 H965i, cada grupo de ocho SSD se interconecta directamente con la tarjeta RAID, que se conecta a la placa base con una conexión PCIe x16. Esto reduce a la mitad el ancho de banda que admite la configuración Direct Drives. Entonces, obviamente, ¿las conexiones NVMe nativas ganan? No exactamente.

Al tratar con múltiples dispositivos NVMe en un sistema multiprocesador, el mapeo NUMA entre la unidad y la CPU, así como las interrupciones del sistema, entran en juego. Esto se puede optimizar, pero requiere una afinación significativa. No todas las aplicaciones tienen esto en cuenta.

La virtualización es un área en la que es difícil gestionar el mapeo NUMA, ya que los recursos compartidos se equilibran en tiempo real, a veces a una CPU que podría no tener acceso directo a esos recursos PCIe asignados. Las tarjetas RAID de hardware mitigan muchos de estos problemas y optimizan las interrupciones del sistema y el cambio de contexto, lo que libera recursos de CPU. El mapeo NUMA también se vuelve menos complejo, ya que en lugar de tener 16 SSD individuales divididos entre dos CPU, solo tiene una tarjeta de almacenamiento por CPU para administrar.

Nuestro plan de prueba se centra en dos áreas. La primera son las cargas de trabajo Vdbench que miden el rendimiento JBOD con ocho SSD pasados a cualquiera de los R760. En el R760 Direct Drives hay ocho SSD nativos, mientras que en el R760 HWRAID, el PERC 12 pasa ocho dispositivos de almacenamiento sin procesar. Ambos se prueban tal cual, sin optimizaciones. La segunda etapa de prueba muestra el rendimiento escalado de la solución PERC 12 de una configuración de tarjeta dual optimizada a una sola.

Nuestra unidad de revisión Direct Drives PowerEdge R760 tiene la siguiente configuración:

• Doble Intel Xeon Gold 6430 (32 núcleos/64 hilos, 1.9 GHz base)
• 1 TB de RAM DDR5
• 8 SSD Gen4 Solidigm P5520 de 7.68 TB
• RHEL 9

La unidad de revisión HWRAID NVMe PowerEdge R760 tiene la siguiente configuración:

• Doble Intel Xeon Gold 6430 (32 núcleos/64 hilos, 1.9 GHz base)
• 1 TB de RAM DDR5
• 16 SSD Gen4 Solidigm P5520 de 7.68 TB
• Doble PERC 12 H965i
• RHEL 9

Análisis de carga de trabajo Vdbench

Al evaluar dispositivos de almacenamiento, las pruebas de aplicaciones son las mejores, seguidas de las pruebas sintéticas. Si bien no son una representación perfecta de las cargas de trabajo reales, las pruebas sintéticas ayudan a establecer una línea base para los dispositivos de almacenamiento con un factor de repetibilidad que facilita la comparación de "manzanas con manzanas" entre soluciones competidoras. Estas cargas de trabajo ofrecen una gama de perfiles de prueba que van desde pruebas de "cuatro esquinas" y pruebas comunes de transferencia de bases de datos hasta capturas de trazas de diferentes entornos VDI.

Estas pruebas aprovechan el generador de carga de trabajo Vdbench típico con un motor de scripting para automatizar y capturar resultados en un clúster de prueba de cómputo grande. Esto nos permite repetir las mismas cargas de trabajo en varios dispositivos de almacenamiento, incluidos arreglos flash y dispositivos de almacenamiento individuales. Nuestro proceso de prueba para estos puntos de referencia llena toda la superficie de la unidad con datos y luego particiona una sección de la unidad igual al 25 por ciento de la capacidad de la unidad para simular cómo la unidad podría responder a las cargas de trabajo de las aplicaciones. Esto difiere de las pruebas de entropía completa, que utilizan el 100 por ciento de la unidad y las llevan a un estado estable. Como resultado, estas cifras reflejarán velocidades de escritura sostenidas más altas.

Perfiles:

• Lectura y escritura aleatoria 4K: 100 % lectura o escritura, 128 hilos, 0-120 % de tasa de E/S
• Lectura secuencial 64K: 100 % lectura, 32 hilos, 0-120 % de tasa de E/S
• Escritura secuencial 64K: 100 % escritura, 16 hilos, 0-120 % de tasa de E/S
• Mezcla aleatoria 4K 70R/30W y 90R/10W, 64 hilos, 0-120 % de tasa de E/S

Al observar nuestra primera prueba centrada en el ancho de banda de transferencia de lectura, podemos ver la ventaja del canal PCIe que tiene el enfoque Direct Drives con 32 carriles PCIe sobre el PERC 12 único con 16 carriles. Esto se traduce en 41.6 GB/s de Direct Drives frente a 28 GB/s del PERC 12 en modo JBOD.

Al cambiar de ancho de banda de lectura a escritura, la ventaja de los carriles PCIe adicionales se reduce, ya que la velocidad de escritura del Solidigm P5520 es menor que su velocidad de lectura. Aquí la configuración Direct Drives midió 18.3 GB/s en comparación con 20.3 GB/s del PERC 12.

En nuestra carga de trabajo de lectura aleatoria 4K, los 8 SSD Solidigm P5520 en el PowerEdge R760 Direct Drive midieron un pico de 5.55M IOPS, en comparación con 4.34M IOPS en la configuración PERC 12.

En escritura aleatoria 4K, esa diferencia se reduce nuevamente, con Direct Drives midiendo 3.96M IOPS frente a 4.15M IOPS en PERC 12.

En nuestra primera de dos cargas de trabajo mixtas, observamos una transferencia aleatoria 4K con una distribución 70/30 Lectura/Escritura. Aquí la configuración Direct Drives PowerEdge R760 midió un pico de 4.47M IOPS, frente a los 3.66M IOPS del PERC 12.

Al aumentar el porcentaje de lectura al 90 por ciento en la misma prueba de transferencia 4K, medimos 5.04M IOPS del servidor Direct Drives frente a 3.62M IOPS del sistema PERC 12.

Análisis de carga de trabajo FIO

Para medir el rendimiento de las unidades de las ofertas Direct Drive y PERC 12 HWRAID de Dell, los puntos de referencia se dividieron en las siguientes configuraciones. La primera incluía una configuración JBOD que medía cada unidad fuera de RAID, RAID10 y luego configuraciones RAID5.

Para el enfoque Direct Drives, los SSD se muestran al sistema operativo de forma normal; para el PERC 12, se pasan a través del HBA como dispositivos de almacenamiento sin procesar. Estas configuraciones se recorrieron a través de un proceso de scripting para precondicionar la memoria flash, ejecutar las pruebas para las que se precondicionaron y pasar a la siguiente mezcla de precondicionamiento/carga de trabajo.

• Precondicionamiento secuencial
• Pruebas secuenciales en JBOD, 8DR10, 8DR5 (PERC simple y dual)
• Precondicionamiento aleatorio
• Pruebas aleatorias óptimas en JBOD, 8DR10, 8DR5 (PERC simple y dual)
• Pruebas de reconstrucción aleatoria en 8DR10, 8DR5 (PERC simple y dual)
• Latencia de escritura aleatoria para óptima y reconstrucción para 8DR5 (PERC simple)

Dado que el PERC 12 H965i tiene una ranura PCIe Gen4 x16, su rendimiento máximo estará alrededor de 28 GB/s en una dirección, y ahí es donde la ranura Gen4 alcanza su límite. Dell adoptó un enfoque único para este límite de ancho de banda al ofrecer una configuración PERC 12 dual en su PowerEdge R760. En lugar de 16 bahías de SSD conectadas a una sola tarjeta, la carga se divide, y cada PERC 12 controla su propio conjunto de 8 SSD. Este enfoque evita la limitación de ancho de banda al tiempo que aumenta drásticamente el rendimiento máximo disponible bajo cargas de trabajo exigentes.

Observando primero el rendimiento de transferencia secuencial, podemos ver la ventaja de ancho de banda que tiene la configuración Direct Drives, con una velocidad de lectura que mide 54.4 GB/s frente a los 28.1 GB/s de la PERC 12 única. La velocidad de escritura nativa también tiene una ventaja, con 33.4 GB/s frente a 28.3 GB/s de la PERC 12 única con ocho unidades detrás. Las velocidades de escritura, en general, no verán una gran diferencia aquí, ya que, en general, esta clase de SSD tiene una velocidad de lectura muy superior a la velocidad de escritura.

Al cambiar nuestro enfoque al rendimiento de transferencia aleatoria, comenzamos a ver un cambio en donde las ventajas de la tarjeta RAID pueden entrar en juego con respecto al equilibrio NUMA. Con el rendimiento de lectura, los SSD Solidigm P5520 de 7.68 TB midieron 7.96M IOPS en nuestra prueba de lectura 4K, con la configuración JBOD PERC 12 midiendo 7M IOPS. La velocidad de escritura a través de la configuración Direct Drives se redujo a 3.4M IOPS, mientras que el PERC 12 mantuvo 5.97M IOPS. Con la carga de trabajo OLTP 4K, esto se vuelve aún más pronunciado con Direct Drives midiendo 3.6M IOPS frente a 10.2M IOPS del PERC 12.

Si bien el pensamiento tradicional ha sido que el RAID de hardware no tiene valor con los SSD modernos, podemos ver que ya no es el caso. Sí, la configuración NVMe Direct Drives se puede ajustar, pero es un objetivo en movimiento en múltiples SSD equilibrados en dos CPU.

Esto está en contraste directo con la tarjeta HWRAID PERC 12, que gestiona toda esa complejidad y se conecta a una sola CPU. Para escalar, la segunda tarjeta PERC en el Dell PowerEdge R760 se conecta a la otra CPU, ofreciendo equilibrio para cargas de trabajo más grandes divididas entre esos dos grupos de discos. Cabe señalar que alrededor de 10M IOPS, el sistema comenzó a saturar las CPU, razón por la cual no vimos una escala lineal en algunas áreas con la tarjeta PERC 12 adicional.

Si bien no analizamos las opciones de RAID de software con la configuración Direct Drives PowerEdge R760, tuvimos la oportunidad de ver qué tan bien funciona la configuración RAID en PERC 12 en un estado degradado. Si bien el rendimiento experimentó una caída significativa en comparación con su rendimiento óptimo, tanto RAID10 como RAID5 ofrecieron un rendimiento sólido mientras reconstruían sus grupos RAID.

Si bien el rendimiento óptimo de RAID es un aspecto importante de la elección de una solución de almacenamiento, ver cómo funciona en condiciones subóptimas puede ser igualmente importante. Para ello, medimos la latencia de escritura 4K en RAID5 en condiciones óptimas y el rendimiento de reconstrucción con una unidad fallida. Si el rendimiento o la latencia sufrieran un gran golpe, la capacidad de respuesta de la aplicación podría convertirse en un problema. Si bien el rendimiento de reconstrucción disminuye en comparación con el óptimo, la latencia del rendimiento no aumenta con respecto a la línea base.

Pensamientos finales

La nueva tarjeta RAID NVMe PERC12 de Dell cambia las reglas del juego para las opciones de almacenamiento NVMe en los servidores PowerEdge. En el pasado, algunos clientes dudaban en cambiar de SSD SAS u optaban por unidades NVMe conectadas a varios SDS o hipervisores. Sin embargo, la introducción de la tarjeta PERC 12 ha alterado la ecuación para PowerEdge, haciéndola una opción más viable.

La razón por la que PERC 12 funciona tan bien también se atribuye al diseño del servidor PowerEdge. Nuestro R760 tiene dos tarjetas PERC 12 (H965i Front), cada una con carriles x16. Esto nos permite utilizar los 8 SSD Solidigm con cada tarjeta, proporcionando un ancho de banda máximo de hasta 28 GB/s por tarjeta. Conectar los 16 SSD a una sola tarjeta RAID resultaría en una pérdida de la mitad del rendimiento potencial.

Podría preguntar: "¿Por qué no 24 SSD con HWRAID?" Simplemente recuerde que cada sistema tiene un cuello de botella en algún lugar. En este caso, podemos saturar la CPU con bastante facilidad, por lo que el x86 dentro del servidor se convierte en el factor limitante. Si hablamos de una solución en clúster, entonces también alcanzaremos la red. Un puñado de SSD pueden llenar fácilmente 200 GbE o incluso 400 GbE. Con las capacidades de SSD que ahora superan los 30.72 TB, hay menos necesidad de tener un servidor lleno de unidades para problemas de capacidad del sistema.

Si leyó nuestra revisión de la tarjeta RAID Broadcom serie 9600, comenzamos bastante escépticos de que el nuevo silicio proporcionaría de manera realista todos los beneficios de resiliencia de datos y reconstrucción del HWRAID sin perjudicar el perfil de rendimiento de los SSD NVMe. Nos sorprendieron gratamente los resultados en esa revisión y aún más aquí, con PERC 12 capaz de duplicarse en el R760 para obtener el doble de rendimiento de primera línea. Si bien Dell Direct Drives aún puede ser preferido en muchos casos de uso, como el almacenamiento definido por software, la opción PERC 12 debería ser extremadamente popular para la mayoría de los casos de uso empresariales.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Director de Estrategia Global
WhatsApp / WeChat: +86 13426366826
Correo electrónico: yangyd@qianxingdata.com
Sitio web: www.qianxingdata.com/www.storagesserver.com

Enfoque comercial:
Distribución de productos TIC/Integración de sistemas y servicios/Soluciones de infraestructura
Con más de 20 años de experiencia en distribución de TI, nos asociamos con las principales marcas mundiales para ofrecer productos confiables y servicios profesionales.
"Usando la tecnología para construir un mundo inteligente" ¡Su proveedor de servicios de productos TIC de confianza!