Servidor Dell PowerEdge R760 “Personalizado”

Como dice el refrán, a la tercera va la vencida. Esta no es nuestra primera vez rompiendo récords con Pi; tomamos lecciones de nuestras dos primeras iteraciones para construir la mejor plataforma de Pi. Nuestra primera construcción aprovechó un servidor 2U con 16 bahías NVMe y tres bandejas internas para SSD. Con SSD Solidigm P5316 de 30,72 TB, contuvimos el almacenamiento de intercambio para y-cruncher, pero tuvimos que utilizar un servidor de almacenamiento basado en HDD para el archivo de salida. Fue menos que óptimo, especialmente durante el final de la fase de escritura. Nuestra segunda plataforma utilizó el mismo servidor, con un JBOF NVMe externo conectado, lo que nos dio una bahía NVMe adicional, pero a costa de cableado sensible y rendimiento desequilibrado. La desventaja de ambas plataformas fue la necesidad de depender de hardware externo durante toda la ejecución de y-cruncher, a costa de energía adicional y puntos de falla adicionales.

Para esta ejecución, queríamos aprovechar un único servidor con NVMe directo y tener suficiente espacio para nuestro almacenamiento de intercambio de y-cruncher y almacenamiento de salida bajo un mismo techo de chapa. Entra el Dell PowerEdge R760 con el backplane de 24 bahías NVMe Direct Drives. Esta plataforma aprovecha un conmutador PCIe interno para que todas las unidades NVMe se comuniquen con el servidor simultáneamente, evitando la necesidad de hardware adicional o dispositivos RAID. Luego, armamos una configuración de elevador PCIe de varios R760 en nuestro entorno de laboratorio, lo que nos dio cuatro ranuras PCIe en la parte trasera para SSD NVMe montados en U.2 adicionales. Una ventaja fue tomar disipadores de calor más grandes de otro R760, lo que nos dio el máximo margen de turbo-boost posible. La refrigeración líquida directa llegó a nuestro laboratorio un mes tarde para ser implementada en esta ejecución.

“El cálculo de pi hasta más de 202 billones de dígitos por el equipo del Laboratorio de StorageReview, logrado utilizando un procesador Intel Xeon de 5ª generación, subraya la potencia y eficiencia de estas CPU. Al aprovechar el aumento del número de núcleos y las características de rendimiento avanzadas del procesador Xeon de 5ª generación, este hito establece un nuevo punto de referencia en matemáticas computacionales y continúa allanando el camino para innovaciones en diversas cargas de trabajo científicas y de ingeniería”, dijo Suzi Jewett, Gerente General de Productos de Procesadores Intel Xeon de 5ª Generación.^{Hardware Utilizado}El tamaño de la fuente de alimentación también fue crítico para esta ejecución. Si bien la mayoría pensaría inmediatamente que las CPU consumen la mayor parte de la energía, tener 28 SSD NVMe bajo un mismo techo tiene un impacto considerable en el consumo de energía. Nuestra construcción aprovechó las fuentes de alimentación de 2400 W, que, resultó, apenas funcionaron. Tuvimos algunos momentos de consumo de energía casi críticos en los que nos habríamos quedado sin energía si el sistema hubiera perdido una conexión de fuente de alimentación. Esto ocurrió al principio; el consumo de energía se disparó mientras las cargas de la CPU alcanzaban su punto máximo y el sistema aumentó la actividad de E/S a todos los SSD. Si tuviéramos que hacerlo de nuevo, se habrían preferido los modelos de 2800 W.^{Hardware Utilizado}Aspectos Técnicos DestacadosTotal de Dígitos Calculados: 202.112.290.000.000^{Hardware Utilizado}: Dell PowerEdge R760 con 2 CPUs Intel Xeon 8592+, 1 TB de DRAM DDR5, 28x Solidigm 61.44TB P5336

Software y Algoritmos

: y-cruncher v0.8.3.9532-d2, Chudnovsky

Almacenamiento de Datos

: 3,76 PB escritos por unidad, 82,7 PB en los 22 discos para la matriz de intercambio

• Duración del Cálculo: 100,673 Días
• Telemetría de y-cruncherPunto de Control Lógico Más Grande: 305.175.690.291.376 (278 TiB)
• Uso Pico de Disco Lógico: 1.053.227.481.637.440 (958 TiB)Bytes de Disco Lógicos Leídos: 102.614.191.450.271.272 (91,1 PiB)
• Bytes de Disco Lógicos Escritos: 88.784.496.475.376.328 (78,9 PiB)Fecha de Inicio: Martes 6 de febrero 16:09:07 2024
• Fecha de Finalización: Lunes 20 de mayo 05:43:16 2024Pi: 7.272.017,696 segundos, 84,167 Días

Tiempo Total de Computación: 8.698.188,428 segundos, 100,673 Días

• Tiempo de Pared de Principio a Fin: 8.944.449,095 segundos, 103,524 Días
• El dígito conocido más grande de Pi es 2, en la posición 202.112.290.000.000 (doscientos dos billones, ciento doce mil millones, doscientos noventa millones).
• Implicaciones Más Amplias
• Si bien calcular pi hasta un número tan vasto de dígitos puede parecer un desafío abstracto, las aplicaciones prácticas y las técnicas desarrolladas durante este proyecto tienen implicaciones de gran alcance. Estos avances pueden mejorar diversas tareas computacionales, desde la criptografía hasta simulaciones complejas en física e ingeniería.
• El reciente cálculo de pi de 202 billones de dígitos destaca avances significativos en la densidad de almacenamiento y el costo total de propiedad (TCO). Nuestra configuración logró unos asombrosos 1,720 petabytes de almacenamiento SSD NVMe dentro de un solo chasis 2U. Esta densidad representa un salto adelante en las capacidades de almacenamiento de datos, especialmente considerando que el consumo total de energía alcanzó un pico de solo 2,4 kW bajo carga completa de CPU y unidad.
• Esta eficiencia energética contrasta con las ejecuciones de récords de HPC tradicionales que consumen significativamente más energía y generan un calor excesivo. El consumo de energía aumenta exponencialmente cuando se tienen en cuenta nodos adicionales para sistemas de almacenamiento escalables si se necesita expandir el almacenamiento compartido de baja capacidad en comparación con el almacenamiento local de alta densidad. La gestión del calor es fundamental, especialmente para centros de datos y armarios de servidores más pequeños. Enfriar los sistemas de récords de HPC tradicionales no es tarea fácil, ya que requiere enfriadores de centros de datos que pueden consumir más energía que el propio equipo. Al minimizar el consumo de energía y la producción de calor, nuestra configuración ofrece una solución más sostenible y manejable para pequeñas empresas. Como beneficio adicional, la mayor parte de nuestra ejecución se realizó con refrigeración por aire fresco.
• Para poner esto en perspectiva, imagine los desafíos que enfrentan quienes operan con almacenamiento compartido en red y plataformas no optimizadas. Esas configuraciones requerirían uno o más enfriadores de centros de datos para mantener las temperaturas bajo control. En estos entornos, cada vatio ahorrado se traduce en menos refrigeración requerida y menores costos operativos, lo que hace que nuestro enfoque de alta densidad y bajo consumo sea una opción ideal. Otro beneficio crítico de ejecutar una plataforma delgada y eficiente para una ejecución récord es proteger toda la configuración con hardware de respaldo de batería. Como se mencionó anteriormente, necesitaría respaldos de batería para servidores de cómputo, conmutación, servidores de almacenamiento, enfriadores y bombas de agua para mantenerlo funcionando durante una buena parte del año.
• En general, este logro récord demuestra el potencial de las tecnologías HPC actuales y subraya la importancia de la eficiencia energética y la gestión térmica en los entornos informáticos modernos.
• Garantizando la Precisión: La Fórmula de Bailey–Borwein–Plouffe

Calcular pi hasta 202 billones de dígitos es una tarea monumental, pero garantizar la precisión de esos dígitos es igualmente crucial. Aquí es donde entra en juego la fórmula de Bailey–Borwein–Plouffe (BBP).

La fórmula BBP nos permite verificar los dígitos binarios de pi en formato hexadecimal (base 16) sin necesidad de calcular todos los dígitos precedentes. Esto es particularmente útil para la verificación cruzada de secciones de nuestro cálculo masivo.

Aquí hay una explicación simplificada:

Salida Hexadecimal

: Primero generamos los dígitos de pi en hexadecimal durante el cálculo principal. La fórmula BBP puede calcular directamente cualquier dígito individual arbitrario de pi en base 16. Puede hacer esto con otros programas como GPUPI, pero y-cruncher también tiene una función incorporada. Si prefiere un enfoque de código abierto, las fórmulas son bien conocidas.

Verificación Cruzada

: Podemos comparar estos resultados con nuestro cálculo principal calculando posiciones específicas de los dígitos hexadecimales de pi de forma independiente con la fórmula BBP. Si coinciden, indica fuertemente que toda nuestra secuencia es correcta. Realizamos esta verificación cruzada más de seis veces; aquí hay dos de ellas.

Por ejemplo, si nuestro cálculo principal produce los mismos dígitos hexadecimales que los obtenidos de la fórmula BBP en varios puntos, podemos afirmar con confianza la precisión de nuestros dígitos. Este método no es solo teórico; se ha aplicado prácticamente en todos los cálculos significativos de pi, garantizando la robustez y confiabilidad de los resultados.

R = Resultado Oficial de la Ejecución, V = Resultado de Verificación

R: f3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 37088*

V: *3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 370888

1. Los lectores astutos notarán que las verificaciones de las capturas de pantalla y la comparación anterior están un poco desplazadas (*). Si bien no es necesario, ya que el hexadecimal se vería afectado al final, también verificamos algunos otros lugares (como 100 billones y 105 billones de dígitos) para asegurarnos de que la ejecución coincidiera. Si bien teóricamente es posible calcular cualquier dígito decimal de pi utilizando un método similar, no está claro si tendría precisión más allá de unos meros 100 millones de dígitos o si sería computacionalmente eficiente hacerlo, en lugar de hacer las matemáticas de Chudnovsky y obtenerlos todos. (Si Eric Weisstein ve esto, contácteme; me gustaría intentarlo.)Al integrar este proceso de verificación matemática, podemos asegurar la integridad de nuestro cálculo récord de 202 billones de dígitos de pi, demostrando nuestra precisión computacional y compromiso con la exactitud científica.
2. El Camino por DelanteEl logro del equipo del Laboratorio de StorageReview de calcular pi hasta más de 202 billones de dígitos es un poderoso testimonio del notable progreso en la computación de alto rendimiento y las tecnologías de almacenamiento. Este logro récord, impulsado por las CPU Intel Xeon 8592+ en nuestro Dell PowerEdge R760 y los SSD NVMe QLC Solidigm de 61,44 TB, destaca cómo el hardware moderno puede abordar eficientemente tareas complejas y que consumen muchos recursos con una efectividad inigualable. Más allá de mostrar la experiencia del equipo de StorageReview, el éxito del proyecto enfatiza el potencial de la infraestructura HPC actual para superar los límites de las matemáticas computacionales y otros campos científicos.

“Este nuevo récord mundial de Pi es un logro emocionante porque esta carga de trabajo computacional es tan intensa como muchas de las cargas de trabajo de IA que vemos hoy en día. Los SSD Solidigm D5-P5336 de 61,44 TB han demostrado, una vez más, que la poderosa combinación de ultra alta capacidad, rendimiento de lectura que satura PCIe 4 y altos Petabytes escritos, puede soportar y desatar algunas de las aplicaciones más exigentes de la actualidad”, dijo Greg Matson, Vicepresidente del Grupo de Almacenamiento de Centros de Datos de Solidigm. “Estamos encantados de haber tenido la oportunidad de permitir otro intento récord de calcular Pi con nuestros socios en Dell Technologies y los expertos de StorageReview”.

Esta iniciativa también ofrece información valiosa sobre la optimización de la densidad de almacenamiento y la eficiencia energética, allanando el camino para soluciones informáticas más sostenibles y manejables. A medida que continuamos explorando el potencial de la HPC, las lecciones aprendidas de este proyecto sin duda impulsarán futuras innovaciones, beneficiando a diversos campos que van desde la criptografía hasta la ingeniería. El logro del equipo del Laboratorio de StorageReview se erige como un hito en la historia computacional, demostrando que podemos alcanzar nuevas alturas de descubrimiento científico y progreso tecnológico con la combinación adecuada de hardware y experiencia.

• Agradecimientos
• El equipo del Laboratorio de StorageReview agradece a Solidigm, Dell Technologies, Intel y y-cruncher Alex Yee por su apoyo inquebrantable y sus contribuciones a este proyecto.

Beijing Qianxing Jietong Technology Co., Ltd.

Sandy Yang/Director de Estrategia Global

WhatsApp / WeChat: +86 13426366826