El proveedor de bases de datos de grafos Neo4j afirma que la tecnología de grafos puede evitar que los modelos y agentes de IA generen alucinaciones, fabricaciones y respuestas falsas a las consultas de los usuarios.
La empresa hizo referencia a un artículo académico reciente publicado en arXiv en junio, titulado “Reducción de alucinaciones en la respuesta a preguntas complejas mediante generación aumentada por recuperación basada en grafos simples”, que valida su afirmación.
El resumen del artículo señala que el estudio explora la adopción de una estructura de grafo ligera con un esquema de grafo simple para dar soporte al subsistema RAG (Generación Aumentada por Recuperación) a través de un conjunto de herramientas dedicado. El equipo de investigación construyó un sistema agentivo equipado con diversas herramientas de búsqueda vectorial y consulta de grafos, operando sobre datos estructurados obtenidos de artículos curados de la Wikipedia en inglés. Evaluó el rendimiento del sistema en preguntas complejas de MoNaCo, un desafiante punto de referencia de QA de Wikipedia para tareas de respuesta a consultas complejas.
Los investigadores plantearon una pregunta compleja para los LLM: “¿Puedes nombrar todas las batallas entre los holandeses y los ingleses en la Primera, Segunda y Tercera Guerras Anglo-Holandesas, y enumerar el vencedor de cada batalla?”
Responder a esta pregunta exige sofisticadas capacidades de recuperación y razonamiento, incluyendo razonamiento simultáneo multientidad, multi-salto y acceso a múltiples documentos. El estudio señala que tales consultas complejas plantean importantes desafíos para los sistemas actuales de vanguardia basados en LLM.
El equipo probó la pregunta en tres configuraciones de LLM y analizó los resultados:
1. RAG Vectorial+grafo: Adopta una base de datos vectorial y de grafos unificada con herramientas predefinidas para optimizar la recuperación de la base de conocimiento externa.
2. RAG vectorial simple
3. LLM de disparo cero sin mejora RAG
Los hallazgos del artículo confirman que la integración de una base de conocimiento básica basada en grafos y herramientas de coincidencia en el RAG vectorial estándar puede reducir sustancialmente las alucinaciones de la IA, aunque no puede eliminarlas por completo. La puntuación de veracidad general mejoró de aproximadamente -127 para los LLM de disparo cero a -49 para el RAG vectorial+grafo.
Además, el enfoque híbrido supera significativamente al RAG vectorial independiente. Cuando se incluyen respuestas parcialmente correctas en la evaluación, el RAG vectorial+grafo logra la puntuación más alta entre los tres escenarios de prueba. Su puntuación de veracidad detallada es un 80 por ciento más alta que la del RAG puramente vectorial, con una precisión y recuperación fácticas más del doble que las del sistema RAG solo vectorial.
En general, la solución propuesta aumenta tanto la precisión como la recuperación al tiempo que frena las alucinaciones, ofreciendo un camino viable para mejorar la fiabilidad y credibilidad de los sistemas de QA basados en LLM.
Lea el artículo original para obtener detalles técnicos completos de la investigación.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Director de Estrategia Global
WhatsApp / WeChat: +86 13426366826
Correo electrónico: yangyd@qianxingdata.com
Sitio web: www.qianxingdata.com/www.storagesserver.com
Enfoque de negocio:
Distribución de productos TIC/Integración de sistemas y servicios/Soluciones de infraestructura
Con más de 20 años de experiencia en distribución de TI, nos asociamos con las principales marcas mundiales para ofrecer productos fiables y servicios profesionales.
“Usando la tecnología para construir un mundo inteligente” ¡Su proveedor de servicios de productos TIC de confianza!
¡Su mensaje debe tener entre 20 y 3.000 caracteres!
Spanish
