La empresa de gestión de datos no estructurados Komprise ha desarrollado una tecnología patentada capaz de dividir dinámicamente conjuntos masivos de datos no estructurados. Esta solución distribuye cargas de trabajo entre múltiples motores informáticos durante la transmisión de datos a las GPU de procesamiento de IA, lo que acelera significativamente la velocidad de procesamiento general.
Registrada oficialmente como patente US-12566637-B2, la tecnología Komprise Elastic Shares (KES) fue presentada por el CTO de Komprise, Michael Peercy, y su equipo de investigación. Su título formal es "Sistema y métodos para subdividir un árbol desconocido para la ejecución de operaciones mediante múltiples motores informáticos".
Peercy declaró: "Elastic Shares permite a nuestros clientes aprovechar al máximo valiosos recursos informáticos, de memoria y de red. La tecnología ofrece un escalamiento de rendimiento casi lineal, lo que ayuda a las empresas a obtener ventajas competitivas destacadas".
Para conjuntos de datos a escala de petabytes transmitidos a servidores de IA para análisis, inferencia de LLM o cálculo de agentes de IA, un único motor informático requiere horas para recorrer árboles de directorios o prefijos de almacenamiento de objetos. Un motor informático se puede definir como un servidor independiente, un subproceso individual, un grupo de subprocesos, un proceso o un clúster de procesos, con principios operativos consistentes en todos los escenarios. Aunque los usuarios pueden implementar de antemano varios motores para la computación paralela, la asignación estática a menudo causa ineficiencia. Los tamaños de rama desiguales dan como resultado que ciertos nodos de computación finalicen antes y permanezcan inactivos mientras esperan que los nodos más lentos completen las tareas asignadas.
Patente Komprise US-12566637-B2.
El equipo de Peercy inventó un programador de trabajos inteligente integrado en uno de los motores informáticos para monitorear el estado de los nodos en tiempo real. Cuando se inicia una tarea de procesamiento de datos, las cargas de trabajo se asignan inicialmente entre los motores informáticos disponibles. Una vez que cualquier nodo finaliza su partición asignada, regresa al grupo de recursos para recibir tareas pendientes. Este mecanismo elimina el tiempo de inactividad, asigna continuamente nuevas cargas de trabajo a nodos informáticos libres y acorta la duración general del procesamiento.
Según una publicación del blog oficial de Komprise, KES redistribuye dinámicamente cargas de trabajo de datos no estructurados entre clústeres de servidores en forma de transmisión. La tecnología logra una aceleración casi lineal para el procesamiento de datos a gran escala sin requerir información adquirida previamente sobre la capacidad del conjunto de datos, la estructura interna o la latencia de procesamiento.
En pocas palabras: cada nodo informático recibe automáticamente nuevas tareas inmediatamente después de finalizar las asignaciones actuales, manteniendo la utilización total de los recursos hasta que se completa todo el trabajo de datos.
Michael Peercy.
La documentación de patente indica que las tareas de migración de datos a gran escala entre servidores de archivos o volúmenes de almacenamiento a menudo enfrentan limitaciones de tiempo estrictas. Un único nodo informático, ya sea un subproceso, un proceso o un servidor independiente, carece de rendimiento suficiente para finalizar cargas de trabajo pesadas rápidamente, lo que hace que el procesamiento paralelo de múltiples motores sea una solución esencial.
El documento explica además que las estructuras de árbol de directorios solo se pueden identificar durante el recorrido recursivo desde los nodos raíz a los nodos hoja. En algunos casos, los datos deben procesarse en una secuencia fija, como priorizar los directorios principales antes que las subcarpetas y archivos. Esto requiere una segmentación dinámica de la carga de trabajo en tiempo real en lugar de una partición estática rígida, que debe adaptarse a arquitecturas de datos diversas y desconocidas.
Esta tecnología patentada se aplica a archivos, carpetas, objetos de almacenamiento y prefijos de objetos. Aunque se diseñó originalmente para servidores físicos independientes, es compatible con todas las formas de motores informáticos, incluidos subprocesos, procesos y clústeres de servicios backend.
Komprise destaca tres ventajas principales que aporta la tecnología KES:
-
Partición dinámica de tareas: Los recursos informáticos de alto valor se reasignan instantáneamente con nuevas tareas una vez que quedan inactivos.
-
Procesamiento de datos ciego: El sistema admite el cálculo de conjuntos de datos sin conocimiento previo del tamaño de los datos, la estructura interna y la latencia de procesamiento variable, lo que se adapta perfectamente a escenarios de transmisión de datos de transmisión por IA.
-
Reequilibrio inteligente de recursos: Optimiza automáticamente las estrategias de asignación para adaptarse a jerarquías de datos no estructurados con densidades de sucursales impredecibles.
Esta innovadora tecnología patentada ofrece una optimización práctica y eficiente para la informática de datos no estructurados a gran escala.
Beijing Qianxing Jietong Tecnología Co., Ltd.
Sandy Yang/Director de Estrategia Global
WhatsApp/WeChat: +86 13426366826
Correo electrónico: yangyd@qianxingdata.com
Sitio web: www.qianxingdata.com/www.storagesserver.com
Enfoque empresarial:
Distribución de productos TIC/Integración de sistemas y servicios/Soluciones de infraestructura
Con más de 20 años de experiencia en distribución de TI, nos asociamos con marcas líderes a nivel mundial para ofrecer productos confiables y servicios profesionales.
“Uso de la tecnología para construir un mundo inteligente” ¡Su proveedor de servicios de productos TIC de confianza!
¡Su mensaje debe tener entre 20 y 3.000 caracteres!
Spanish
