Por supuesto, con el precio de la L4 en algún lugar cerca de $2500, la A2 viene en aproximadamente la mitad del precio, y el viejo (aún así bastante capaz) T4 disponible por menos de $1000 usado,La pregunta obvia es cuál es la diferencia entre estas tres GPUs de inferencia.

Una cosa que hay que entender al mirar estas tres tarjetas es que no son exactamente reemplazos generacionales uno a uno, lo que explica por qué el T4 sigue siendo, muchos años después,una opción popular para algunos casos de usoEl A2 salió como un reemplazo para el T4 como una opción de baja potencia y más compatible (x8 vs x16 mecánica).con el A2 a horcajadas en el medio que puede o no puede obtener refrescado en algún momento en el futuro.

MLPerf Inferencia 3.1 Desempeño

MLPerf es un consorcio de líderes de IA de academia, investigación e industria establecido para proporcionar benchmarks de hardware y software de IA justos y relevantes.Estos puntos de referencia están diseñados para medir el rendimiento del hardware de aprendizaje automático, software y servicios en diversas tareas y escenarios.

Nuestras pruebas se centran en dos puntos de referencia específicos de MLPerf: Resnet50 y BERT.

• Resnet50: es una red neuronal convolucional utilizada principalmente para la clasificación de imágenes. Es un buen indicador de lo bien que un sistema puede manejar tareas de aprendizaje profundo relacionadas con el procesamiento de imágenes.
• BERT (Bidirectional Encoder Representations from Transformers): este índice de referencia se centra en las tareas de procesamiento de lenguaje natural,ofreciendo información sobre cómo funciona un sistema para comprender y procesar el lenguaje humano.

Ambas pruebas son cruciales para evaluar las capacidades del hardware de IA en escenarios del mundo real que involucran procesamiento de imágenes y lenguaje.

La evaluación del NVIDIA L4 con estos puntos de referencia es fundamental para ayudar a comprender las capacidades de la GPU L4 en tareas específicas de IA.También ofrece información sobre la forma en que las diferentes configuracionesEsta información es vital para los profesionales y organizaciones que buscan optimizar su infraestructura de IA.

Los modelos se ejecutan en dos modos clave: servidor y fuera de línea.

• Modo fuera de línea: este modo mide el rendimiento de un sistema cuando todos los datos están disponibles para su procesamiento simultáneamente.cuando el sistema procesa un gran conjunto de datos en un solo loteEl modo fuera de línea es crucial para escenarios en los que la latencia no es una preocupación principal, pero el rendimiento y la eficiencia lo son.
• Modo servidor: En contraste, el modo servidor evalúa el rendimiento del sistema en un escenario que imita un entorno de servidor del mundo real, donde las solicitudes llegan una a la vez.medir la rapidez con que el sistema puede responder a cada solicitudEs esencial para aplicaciones en tiempo real, como servidores web o aplicaciones interactivas, donde se requiere una respuesta inmediata.

1 x NVIDIA L4 Dell PowerEdge XR7620

Como parte de nuestra reciente revisión del Dell PowerEdge XR7620, equipado con un solo NVIDIA L4, lo llevamos al borde para ejecutar varias tareas, incluyendo MLPerf.

Nuestra configuración del sistema de prueba incluía los siguientes componentes:

• 2 x Xeon Gold 6426Y ¢ 16 núcleos 2.5GHz
• 1 x NVIDIA L4
• DDR5 de 8 x 16 GB
• 480 GB BOSS RAID1 y el resto
• El servidor de Ubuntu 22.04
• El controlador de NVIDIA 535

El rendimiento en escenarios de servidor y fuera de línea para Resnet50 y BERT K99 es casi idéntico, lo que indica que el L4 mantiene un rendimiento constante en diferentes modelos de servidor.

1, 2 y 4 NVIDIA L4 ¢ ¢ Dell PowerEdge T560

Nuestra configuración de la unidad de revisión incluía los siguientes componentes:

• 2 x Intel Xeon Gold 6448Y (32 núcleos / 64 hilos cada uno, TDP de 225 vatios, 2,1-4,1 GHz)
• 8 x 1.6TB Solidigm P5520 SSD con tarjeta RAID PERC 12
• 1-4x GPUs NVIDIA L4
• 8 x 64 GB de RDIMM
• El servidor de Ubuntu 22.04
• El controlador de NVIDIA 535

En nuestras pruebas con dos L4 en el Dell T560, observamos esta escalación casi lineal en el rendimiento tanto para los puntos de referencia Resnet50 como BERT K99.Este escalado es un testimonio de la eficiencia de las GPU L4 y su capacidad para trabajar en tándem sin pérdidas significativas debido a gastos generales o ineficiencia.

La escala lineal consistente que presenciamos con dos GPUs NVIDIA L4 se extiende impresionantemente a configuraciones con cuatro unidades L4. This scaling is particularly noteworthy as maintaining linear performance gains becomes increasingly challenging with each added GPU due to the complexities of parallel processing and resource management.

Estos resultados son solo para fines ilustrativos, y no son resultados oficiales de MLPerf.

Además de validar la escalabilidad lineal de las GPU NVIDIA L4, nuestras pruebas en el laboratorio arrojan luz sobre las implicaciones prácticas de implementar estas unidades en diferentes escenarios operativos.Por ejemplo., la consistencia en el rendimiento entre los modos de servidor y fuera de línea en todas las configuraciones con las GPU L4 revela su fiabilidad y versatilidad.

Este aspecto es particularmente relevante para las empresas e instituciones de investigación donde los contextos operativos varían significativamente. our observations on the minimal impact of interconnect bottlenecks and the efficiency of GPU synchronization in multi-GPU setups provide valuable insights for those looking to scale their AI infrastructureEstas ideas van más allá de los simples números de referencia, ofreciendo una comprensión más profunda de cómo dicho hardware puede ser utilizado de manera óptima en escenarios del mundo real,Orientar mejores decisiones arquitectónicas y estrategias de inversión en infraestructuras de IA y HPC.

NVIDIA L4 Performance de las aplicaciones

Comparamos el rendimiento del nuevo NVIDIA L4 con el NVIDIA A2 y el NVIDIA T4 que lo precedieron.desplegamos los tres modelos dentro de un servidor en nuestro laboratorio, con Windows Server 2022 y los últimos controladores NVIDIA, aprovechando todo nuestro conjunto de pruebas de GPU.

Estas tarjetas fueron probadas en un Dell Poweredge R760 con la siguiente configuración:

• 2 x Intel Xeon Gold 6430 (32 núcleos, 2.1GHz)
• El servidor de Windows 2022
• El controlador de NVIDIA 538.15
• ECC desactivado en todas las tarjetas para 1x muestreo

A medida que comenzamos las pruebas de rendimiento entre este grupo de tres GPUs empresariales, es importante tener en cuenta las diferencias únicas de rendimiento entre los modelos A2 y T4 anteriores.Cuando el A2 fue lanzado, ofreció algunas mejoras notables como un menor consumo de energía y funcionando en una ranura más pequeña PCIe Gen4 x8, en lugar de la ranura más grande PCIe Gen3 x16 que requería el T4 anterior.De inmediato, le permitió entrar en más sistemas., especialmente con la menor huella necesaria.

Blender OptiX 4.0

Blender OptiX es una aplicación de modelado 3D de código abierto.Este punto de referencia se ejecutó utilizando la utilidad Blender Benchmark CLILa puntuación es muestras por minuto, con mayor es mejor.

Prueba de velocidad de Blackmagic RAW

Probamos las CPU y las GPU con Blackmagic RAW Speed Test que prueba las velocidades de reproducción de vídeo.Estos se muestran como resultados separados pero sólo nos estamos centrando en las GPU aquí, por lo que los resultados de la CPU se omiten.

La GPU de Cinebench 2024

Maxon's Cinebench 2024 es un benchmark de renderizado de CPU y GPU que utiliza todos los núcleos y hilos de CPU.Los puntajes más altos son mejores.

GPU PI

GPUPI 3.3.3 es una versión de la utilidad de benchmarking ligera diseñada para calcular π (pi) a miles de millones de decimales utilizando aceleración de hardware a través de GPU y CPU.Aprovecha la potencia de computación de OpenCL y CUDA que incluye unidades de procesamiento central y gráficoHemos ejecutado CUDA sólo en las 3 GPU y los números aquí son el tiempo de cálculo sin tiempo de reducción añadido.

Mientras que los resultados anteriores se centraron en una sola iteración de cada tarjeta, también tuvimos la oportunidad de ver una implementación 5x de NVIDIA L4 dentro del Dell PowerEdge T560.

Octanebench

OctaneBench es una utilidad de benchmarking para OctaneRender, otro renderizador 3D con soporte RTX similar a V-Ray.

La GPU de Geekbench 6

Geekbench 6 es un benchmark multiplataforma que mide el rendimiento general del sistema. Hay opciones de prueba para el benchmarking de CPU y GPU.Sólo miramos los resultados de la GPU..

Puedes encontrar comparaciones con cualquier sistema que quieras en el navegador Geekbench.

Luxmark

LuxMark es una herramienta de benchmarking multiplataforma OpenCL de aquellos que mantienen el motor de renderizado 3D de código abierto LuxRender.Para esta revisión, usamos la versión más reciente, v4alpha0. en LuxMark, mayor es mejor cuando se trata de la puntuación.

El gramacs cuda

También hemos compilado GROMACS, un software de dinámica molecular, específicamente para CUDA.esencial para acelerar las simulaciones computacionales.

El proceso involucró la utilización de nvcc, el compilador CUDA de NVIDIA,junto con muchas iteraciones de las banderas de optimización apropiadas para asegurar que los binarios estuvieran adecuadamente sintonizados con la arquitectura del servidorLa inclusión del soporte CUDA en la compilación GROMACS permite que el software se interfazca directamente con el hardware de la GPU, lo que puede mejorar drásticamente los tiempos de cálculo para simulaciones complejas.

La prueba: Interacción de proteínas personalizadas en Gromacs

Aprovechando un archivo de entrada proporcionado por la comunidad de nuestra diversa Discord, que contenía parámetros y estructuras adaptados para un estudio específico de interacción de proteínas,Hemos iniciado una simulación de dinámica molecular.Los resultados fueron notables: el sistema logró una velocidad de simulación de 170.268 nanosegundos por día.

Más que IA

En la incesante ola de innovación en el panorama de la IA de hoy, medir y comprender las capacidades de varias plataformas de hardware es crítico.No todas las aplicaciones de IA requieren granjas masivas de entrenamiento de GPU hay un segmento vital de inferencia de IA que a menudo exige menos potencia de GPUEn esta revisión, examinamos varias GPU NVIDIA L4 en tres servidores diferentes de Dell y una gama de cargas de trabajo, incluido MLperf, para evaluar el rendimiento del L4.

 

NVIDIA L4

GPU de NVIDIA L4

En su núcleo, el L4 ofrece un impresionante rendimiento de 30.3 teraFLOPs de FP32, lo que lo hace ideal para tareas computacionales de alta precisión.,FP16, y BFLOAT16 Tensor Cores características críticas para mejorar la eficiencia del aprendizaje profundo. Según la hoja de especificaciones L4, el rendimiento en estos modos de precisión mixta oscila entre 60 y 121 teraFLOPs.

 

El L4 sobresale en tareas de baja precisión, con 242,5 teraFLOPs con sus núcleos tensores FP8 e INT8, que aumentan significativamente el rendimiento de inferencia de la red neuronal.Equipado con 24 GB de memoria GDDR6 y un ancho de banda de 300 GB/sSin embargo, lo que más destaca del L4 es su eficiencia energética: con un TDP de 72 W, el L4 es más eficiente en el consumo de energía.es adecuado para una amplia variedad de entornos informáticosEsta combinación de alto rendimiento, eficiencia de memoria y bajo consumo de energía hace que el NVIDIA L4 sea una opción convincente para abordar los desafíos de la computación de borde.

 

Con la publicidad en torno a la IA alcanzando su punto álgido, es fácil fijarse únicamente en el rendimiento de la L4 con modelos de IA pero tiene algunos otros trucos en la manga,Desbloqueando un mundo de posibilidades para aplicaciones de vídeoEl L4 puede alojar hasta 1.040 transmisiones de video AV1 simultáneas a 720p30, una capacidad que puede transformar la forma en que el contenido se transmite en vivo a los usuarios de borde, elevar la narración creativa,y permitir casos de uso emocionantes para experiencias de AR/VR inmersivas.

 

El NVIDIA L4 también brilla cuando se trata de optimizar el rendimiento gráfico, como lo demuestra su destreza en renderizado en tiempo real y ray tracing.El L4 es capaz de entregar robusto, aceleración de cálculo gráfico de alta potencia para VDI, que atiende a los usuarios finales que dependen de renderizado gráfico de alta calidad en tiempo real para su trabajo.

 

Pensamientos finales

La GPU NVIDIA L4 proporciona una base sólida para la IA de borde y la computación de alto rendimiento, ofreciendo una eficiencia y versatilidad sin igual en una amplia gama de aplicaciones.Su capacidad para manejar cargas de trabajo intensivas de IA, tareas de aceleración, o canalizaciones de vídeo, junto con su rendimiento gráfico optimizado, lo convierte en una opción ideal para la inferencia de borde o la aceleración de escritorio virtual.La combinación única de alta potencia computacional de la L4, capacidades de memoria avanzadas y eficiencia energética lo posicionan como un actor clave en la aceleración de las cargas de trabajo de borde, particularmente en las industrias de IA y gráficos intensivos.

 

 

NVIDIA L4 twist pila

No se puede negar que la IA está en el centro de la tormenta actual de TI, y la demanda de GPUs H100/H200 de gama alta sigue siendo enorme.También hay un gran impulso para desplegar una infraestructura de TI más robusta en el borde, donde se generan y analizan los datos.En estos escenarios, se necesita una GPU de tamaño más apropiado, y el NVIDIA L4 sobresale aquí.si se despliega como una sola unidad o en conjunto, como lo probamos en el T560.

 

China, China, China, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón.
Sandy Yang, directora de estrategia global
WhatsApp / WeChat: +86 13426366826 El número de teléfono es:
Correo electrónico: yangyd@qianxingdata.com
El sitio web: www.qianxingdata.com/www.storagesserver.com

Enfoque en el negocio:
Distribución de productos TIC/Integración de sistemas y servicios/Soluciones de infraestructura
Con más de 20 años de experiencia en distribución de TI, nos asociamos con las principales marcas globales para ofrecer productos confiables y servicios profesionales.
“Usar la tecnología para construir un mundo inteligente”¡Su proveedor de servicios de productos TIC de confianza!