Detección de alucinaciones de IA: métodos, métricas y supervisión

La detección de alucinaciones de IA consiste en identificar respuestas de modelos que son inventadas, carecen de respaldo en el material de origen o contradicen hechos del mundo real, y hacerlo antes de que las descubra un cliente o un regulador. En producción, ninguna técnica basta por sí sola. Una detección fiable combina comprobaciones automatizadas de cada respuesta con una revisión independiente de conversaciones reales y un proceso de supervisión documentado.

Esta guía aborda los principales métodos de detección, las métricas que conviene seguir, por qué los agentes con recuperación aumentada siguen alucinando y cómo reducir las alucinaciones de los LLM en despliegues de atención al cliente. Está dirigida a los equipos de cumplimiento normativo, experiencia de cliente (CX) y tecnología que operan agentes de IA conversacional.

Resumen

• Las alucinaciones se derivan del funcionamiento de los modelos generativos. Las advertencias no las corrigen; la medición y la supervisión documentada sí.
• Distinga la fidelidad a la fuente (¿coincide la respuesta con el contexto proporcionado?) de la veracidad factual (¿coincide con la realidad?). Requieren medidas correctoras diferentes.
• Combine métodos: LLM como juez, entropía semántica, detectores ligeros de estados internos y revisión humana de muestras. Cada uno detecta fallos distintos.
• Los paneles proporcionados por el proveedor no constituyen pruebas independientes. Audite conversaciones reales, incluido el comportamiento de derivación y de comunicación de la condición de IA.
• Lexic audita agentes de IA conversacional de cualquier proveedor y puede analizar el 100% de las conversaciones en lugar de una muestra.

Índice

• Qué se considera una alucinación en una conversación con un cliente
• Por qué las medidas técnicas no pueden eliminar por completo las alucinaciones
• Métodos principales para detectar alucinaciones de los LLM
• Por qué la recuperación no resuelve el problema
• Cómo reducir las alucinaciones de los LLM en producción
• El sesgo y la equidad deben formar parte de la misma revisión
• Qué esperan los reguladores: pruebas independientes
• Nuestra perspectiva: auditar lo que hizo el agente, no aquello para lo que fue diseñado
• Cómo contribuye Lexic a la supervisión de las alucinaciones
• Crear un programa de detección: una secuencia que funciona
• Errores habituales
• Preguntas frecuentes
• Fuentes

Qué se considera una alucinación en una conversación con un cliente

Una alucinación es una respuesta que parece fluida y segura, pero es falsa, inventada o carece de respaldo. En atención al cliente, se manifiesta como una política de reembolso inventada, un tipo de interés incorrecto, un estado de pedido ficticio o una respuesta tajante a una pregunta que el agente debería haber derivado.

Antes de elegir un método de detección, conviene distinguir dos conceptos.

La fidelidad a la fuente significa que la respuesta es coherente con el contexto proporcionado al agente, como un artículo de la base de conocimientos o una política recuperada. La veracidad factual significa que la respuesta es coherente con el conocimiento general. Los investigadores que revisan las alucinaciones en los LLM establecen esta distinción porque las medidas correctoras difieren. Corregir la fidelidad en un agente basado en recuperación es, sobre todo, una tarea de ingeniería: mejorar la recuperación, precisar las instrucciones y reforzar el anclaje en las fuentes. Corregir la veracidad factual suele requerir reentrenamiento o un ajuste fino exhaustivo, algo que la mayoría de las empresas no puede realizar en el modelo de un proveedor.

Los responsables empresariales suelen tratar ambos conceptos como un único problema. El resultado es un mandato impreciso de «acabar con las alucinaciones», sin responsable ni métrica.

Existe también una tercera categoría que rara vez aparece en los artículos de investigación, pero predomina en las reclamaciones: los fallos de comportamiento. El agente no afirma un hecho falso, pero no deriva la conversación a una persona, oculta que es una IA o promete algo que no puede cumplir. Los verificadores de veracidad factual no detectan estos fallos. Solo se identifican revisando lo que el agente hizo realmente en conversaciones reales.

Por qué las medidas técnicas no pueden eliminar por completo las alucinaciones

La alucinación no es un defecto de la interfaz de usuario. El perfil de IA generativa del NIST la describe como una consecuencia de cómo los modelos generativos producen texto a partir de patrones estadísticos; por eso, el NIST recomienda evaluar el riesgo de alucinación en las aplicaciones empresariales basadas en LLM, en lugar de confiar en avisos de exención de responsabilidad.

La misma lógica se aplica en Europa. El EU AI Act impone a las organizaciones obligaciones de transparencia, documentación y supervisión. Un pie de página que diga «La IA puede cometer errores» no demuestra una supervisión activa. Los registros del funcionamiento del sistema sí.

La conclusión práctica: prevea una tasa de alucinación superior a cero, mídala continuamente y establezca un proceso que detecte los fallos y los remita a los responsables correspondientes.

Métodos principales para detectar alucinaciones de los LLM

Los profesionales suelen combinar varios enfoques. La descripción general de Dataiku enumera cuatro familias habituales: detectores con LLM basados en instrucciones, verificadores de similitud semántica, análisis estocástico basado en BERT y puntuación del solapamiento de tokens, y señala que ningún método detecta todos los tipos de alucinación. La tabla siguiente añade los enfoques más relevantes para los agentes conversacionales.

LLM como juez

Utilizar un modelo para evaluar otro es el enfoque más habitual en los sistemas basados en recuperación. Los trabajos de Amazon y de autores de NeurIPS indican que este tipo de detección es muy eficaz y suele alcanzar una exactitud del 75% o superior en contextos de recuperación, pero ejecutarlo en cada turno resulta costoso. El artículo LLM-Check investiga alternativas más económicas basadas en señales internas del modelo y registra aceleraciones de hasta 450x frente a las comprobaciones basadas en instrucciones.

AWS describe una configuración de detección de alucinaciones para aplicaciones RAG que compara varias de estas técnicas y constituye un punto de partida útil para los equipos de ingeniería.

Entropía semántica

Las métricas léxicas penalizan las respuestas correctas que utilizan palabras distintas. La entropía semántica evita este problema midiendo la incertidumbre en el significado. El método publicado en Nature muestrea varias respuestas, agrupa las que significan lo mismo y señala las preguntas cuyos significados divergen. Es especialmente adecuado para la generación de texto libre. Requiere umbrales cuidadosamente ajustados, porque fijarlos demasiado bajos señala variaciones inocuas y satura a los revisores con ruido.

Evaluación específica de conversaciones

Las pruebas de referencia genéricas no siempre son aplicables a los chats de asistencia. Dos artículos recientes se centran en las conversaciones:

• HalluDetect, un marco para chatbots de varios turnos basados en recuperación, alcanzó una puntuación F1 del 69% en un chatbot de reclamaciones de consumidores, y el sistema desplegado redujo las alucinaciones a 0.4159 por turno, con una exactitud a nivel de token del 96.13%.
• FECT, una prueba de referencia para transcripciones de centros de contacto, registró una F1 media de 0.86 en la detección de incoherencias factuales en afirmaciones interpretativas cuando los LLM jueces se alinearon mediante un enfoque de descomposición, desacoplamiento y separación.

Considere estas cifras como indicadores de lo que se puede lograr en las condiciones del estudio, no como garantías para su agente. Sus políticas, sus datos y sus clientes producirán un perfil de errores diferente.

Por qué la recuperación no resuelve el problema

La generación aumentada por recuperación fundamenta las respuestas en sus documentos, lo que reduce la invención de información. También añade nuevos puntos de fallo. Si la recuperación devuelve un pasaje incorrecto, una política obsoleta o una coincidencia parcial, el modelo puede producir una respuesta fluida que sea fiel a la fuente equivocada.

AWS describe una medida de mitigación: una caché semántica verificada de pares de preguntas y respuestas seleccionados y revisados. Las preguntas con un alto grado de confianza se responden desde la caché, sin pasar por el LLM. El modelo gestiona las preguntas similares pero con matices mediante unos pocos ejemplos que limitan sus respuestas. Para temas regulados, como las comisiones, los requisitos de acceso y las condiciones de cancelación, este patrón proporciona respuestas aprobadas por una persona.

Cómo reducir las alucinaciones de los LLM en producción

La detección indica qué está fallando. La reducción combina decisiones de diseño y disciplina operativa.

1. Defina qué puede responder el agente. Enumere los temas incluidos en su ámbito y los que deben remitirse a una persona. La ambigüedad del ámbito de actuación está en el origen de la mayoría de las respuestas incorrectas formuladas con seguridad.
2. Prepare respuestas aprobadas para los temas de alto riesgo. Utilice respuestas verificadas sobre precios, condiciones legales y orientación médica o financiera.
3. Fundamente y limite el modelo. Proporcione el contexto pertinente, exija al agente que indique cuándo carece de información y limite lo que puede afirmar.
4. Puntúe cada respuesta cuando el coste lo permita. Utilice un detector económico en cada turno y un juez más potente en los turnos señalados o de alto riesgo.
5. Establezca una regla de derivación y póngala a prueba. Un agente que reconoce su incertidumbre y deriva la conversación es más seguro que uno que adivina.
6. Revise de forma programada. Las directrices del NIST AI RMF resumidas por SafeAI for Business recomiendan una supervisión trimestral que registre las desviaciones de exactitud, las reclamaciones de los usuarios y las disparidades demográficas.
7. Conserve los registros. Los registros de pruebas, hallazgos y correcciones son lo que se presenta a un auditor.

Los controles organizativos importan tanto como los controles del modelo. Un análisis práctico de los controles empresariales de ejecución para agentes muestra cómo se articulan los despliegues por fases, los permisos y la supervisión a lo largo de unos meses: la misma disciplina que requiere la gestión de las alucinaciones.

El sesgo y la equidad deben formar parte de la misma revisión

Los equipos que buscan sesgos en la IA conversacional suelen examinar los mismos datos que los equipos que buscan alucinaciones: las transcripciones. Ambos problemas se solapan. Un agente puede ser preciso para un grupo de clientes y poco fiable para otro, o derivar a algunos clientes más rápido que a otros. Las directrices del NIST citadas incluyen expresamente las disparidades demográficas en el registro de supervisión, por lo que una revisión de alucinaciones que nunca segmente los resultados por grupo de clientes es incompleta.

En la práctica, añada campos de segmentación a su evaluación: idioma, canal, línea de producto y, cuando sea legal y se disponga de esa información, grupo de clientes. Después, compare las tasas de error y derivación entre segmentos.

Qué esperan los reguladores: pruebas independientes

Para las empresas que atienden a clientes de la UE, incluidas las estadounidenses que entran en Europa, la gestión de las alucinaciones se enmarca en obligaciones más amplias del Reglamento de IA. Las directrices de la Comisión Europea sobre el artículo 50 establecen que los proveedores deben diseñar los sistemas que interactúan directamente con personas, como los chatbots y los agentes de IA, de modo que se informe a los usuarios de que están tratando con una IA. Se trata de un comportamiento que puede comprobarse en las conversaciones, no solo de un ajuste en un archivo de configuración.

De ello se desprenden dos puntos para los equipos de cumplimiento normativo:

• La función importa. Los sistemas que solo mejoran el formato o el tono reciben un tratamiento distinto al de los que generan contenido sustancial o realizan evaluaciones. Estos últimos están sujetos a obligaciones más estrictas de transparencia y conservación de registros conforme al texto del Reglamento de IA.
• Los datos del proveedor no bastan. Resulta difícil identificar si un riesgo se origina en los datos de entrenamiento, en las entradas del sistema o en las respuestas generadas. Verificar el comportamiento de forma independiente, en condiciones reales, es el enfoque defendible.

Este artículo describe requisitos generales. Para tomar decisiones sobre sus propias obligaciones, consulte a un asesor jurídico cualificado que conozca el Reglamento de IA.

Nuestra perspectiva: auditar lo que hizo el agente, no aquello para lo que fue diseñado

La mayoría de las herramientas de detección de alucinaciones responden a una pregunta técnica: ¿está respaldada esta frase por este documento? Es necesario, pero no suficiente para una empresa que debe demostrar que controla la IA que interactúa con sus clientes.

Auditamos agentes de IA conversacional de cualquier proveedor y no desarrollamos ni operamos agentes propios. Esa independencia es la clave. Un equipo que se basa en las métricas del propio proveedor está pidiendo a la parte evaluada que se puntúe a sí misma. Cuando un regulador, un consejo de administración o un cliente pregunta cómo sabe usted que el agente se comporta de determinada manera, las pruebas extraídas de conversaciones reales y recopiladas de forma independiente tienen más peso.

Nuestras auditorías han revelado que el 85% de los agentes auditados no deriva adecuadamente las incidencias a representantes humanos. Es un fallo distinto de la invención de un hecho, pero causa el mismo perjuicio: un cliente con una respuesta incorrecta o una consulta sin resolver y una empresa que no tiene constancia de ello. Los equipos que se centran únicamente en la detección factual lo pasan por alto.

Nuestra visión, en cuatro puntos:

1. Mida el comportamiento a lo largo de toda la conversación, incluida la derivación y la comunicación de la condición de IA, no solo las respuestas aisladas.
2. Abarque todas las conversaciones siempre que sea posible. Las alucinaciones son sucesos poco frecuentes y las muestras pueden no detectarlas.
3. Mantenga la auditoría independiente del proveedor del agente para que los hallazgos sean defendibles.
4. Remita los hallazgos al equipo que pueda corregirlos: CX, seguridad, ingeniería o cumplimiento normativo.

— Sergio Llorens

Cómo contribuye Lexic a la supervisión de las alucinaciones

Lexic Compass audita agentes de IA de cualquier proveedor a partir de conversaciones reales y comprueba el cumplimiento normativo, las vulnerabilidades de seguridad, la gestión de las derivaciones y la información facilitada al cliente sobre la condición de IA. Los servicios están disponibles en las modalidades Flash Preview, Audit Sprint o Enterprise Continuous Trust, descritas en la página de servicios de auditoría. La descripción general de la auditoría de agentes de IA explica qué abarca Compass. Para obtener inteligencia de cliente continua a partir de llamadas, chats, correos electrónicos y tickets, incluidas señales de sentimiento, abandono y oportunidades, consulte Lexic Pulse. Los precios no se publican en estas páginas.

Crear un programa de detección: una secuencia que funciona

Un despliegue viable no empieza por las herramientas. Empieza por el alcance.

Paso 1: Haga un inventario de sus agentes y fuentes de conversaciones

Enumere todos los agentes de IA que hablan con clientes, sus proveedores, los canales que utilizan y dónde se almacenan las transcripciones. Muchas empresas descubren agentes que no sabían que estaban activos.

Paso 2: Defina los tipos de fallo

Redacte una taxonomía breve: afirmación sin respaldo, afirmación contradicha por la fuente, recuperación incorrecta, derivación omitida, falta de comunicación de la condición de IA, incumplimiento de políticas e instrucción insegura. Asigne un responsable y un nivel de gravedad a cada tipo.

Paso 3: Establezca valores de referencia

Realice una evaluación inicial sobre un conjunto representativo de conversaciones. Registre la tasa por tipo de fallo y por segmento. Sin un valor de referencia, no puede demostrar mejoras.

Paso 4: Combine comprobaciones automatizadas y humanas

Utilice detectores automatizados para obtener cobertura y personas para calibrarlos. Revise una muestra de conversaciones señaladas y no señaladas para conocer tanto la tasa de falsos positivos como la de falsos negativos.

Paso 5: Añada alertas y mecanismos de asignación

Los hallazgos de alta gravedad, como una afirmación jurídica incorrecta o la negativa a derivar la conversación, deben activar alertas inmediatas. Los patrones de menor gravedad pueden revisarse semanalmente. Las recomendaciones prácticas sobre qué configurar primero en la asistencia con IA destacan la misma prioridad: definir los conocimientos, los límites y las derivaciones del agente antes de ajustar cualquier otro aspecto.

Paso 6: Vuelva a comprobar tras cada cambio

Las actualizaciones del modelo, las nuevas instrucciones y el nuevo contenido de la base de conocimientos modifican el comportamiento. Repita la evaluación después de cada cambio y conserve los resultados.

Errores habituales

• Depender de una única puntuación. Una sola tasa de alucinación oculta la diferencia entre una paráfrasis inocua y una invención perjudicial.
• Utilizar métricas de coincidencia exacta. Señalan paráfrasis correctas y provocan fatiga en los revisores.
• Probar únicamente instrucciones predefinidas. Los clientes reales se expresan de forma imprevisible, interrumpen, cambian de tema y cuestionan las respuestas.
• Ignorar la derivación. Un agente que nunca dice «No lo sé» supone un riesgo incluso cuando los hechos que expone son correctos.
• Aceptar los informes del proveedor como prueba. Son aportaciones útiles, no una garantía independiente.

Preguntas frecuentes

¿Cómo se detectan las alucinaciones en la IA?

Compare cada respuesta con su fuente o con hechos verificados y puntúe el resultado. Las técnicas habituales incluyen un LLM que evalúa la respuesta de otro LLM, la entropía semántica sobre múltiples muestras, detectores ligeros basados en señales internas y la revisión humana. Los sistemas en producción combinan varias de estas técnicas porque cada una omite tipos de fallo distintos.

¿Con qué frecuencia se producen las alucinaciones de IA?

Las tasas varían considerablemente según el modelo, la tarea y el ámbito, por lo que no existe una cifra única aplicable a su agente. En el estudio HalluDetect sobre un chatbot de reclamaciones de consumidores, el sistema optimizado seguía registrando una media de 0.4159 alucinaciones por turno. Mida su propia tasa en sus propias conversaciones.

¿Se puede indicar a una IA que no alucine?

Las instrucciones ayudan, pero no eliminan el problema. Las alucinaciones se derivan de cómo los modelos generativos producen texto, por lo que las instrucciones que exigen exactitud reducen los errores sin eliminarlos. El anclaje en fuentes, las respuestas aprobadas para temas de alto riesgo, las reglas de derivación y la supervisión continua funcionan mejor de forma conjunta.

¿La generación aumentada por recuperación evita las alucinaciones?

No. Reduce la invención de información, pero introduce errores de recuperación, en los que el modelo responde fielmente a partir de un pasaje incorrecto u obsoleto. Evalúe por separado la calidad de la recuperación y la fidelidad de la respuesta.

¿Por qué es importante la auditoría independiente para el cumplimiento normativo?

Los reguladores y los consejos de administración quieren pruebas que no procedan del proveedor evaluado. Una auditoría independiente de conversaciones reales muestra cómo se comporta el agente en la práctica, incluida la derivación y la comunicación de su condición de IA, y proporciona a los equipos de cumplimiento normativo registros que pueden defender.

Fuentes

• Detección de alucinaciones en grandes modelos de lenguaje mediante entropía semántica, Nature
• LLM-Check: investigación sobre la detección de alucinaciones en grandes modelos de lenguaje, NeurIPS 2024
• HalluDetect: detección, mitigación y evaluación comparativa de alucinaciones en sistemas conversacionales
• FECT: evaluación de la veracidad factual de afirmaciones interpretativas generadas por IA en transcripciones de conversaciones de centros de contacto
• Revisión de la investigación sobre alucinaciones, arXiv
• Detección de alucinaciones en sistemas basados en RAG, AWS
• Reducción de alucinaciones con una caché semántica verificada, AWS
• Perfil de IA generativa del NIST
• Marco de gestión de riesgos de IA del NIST: guía práctica para pymes
• EU AI Act, texto del Diario Oficial
• Obligaciones de transparencia conforme al artículo 50 del Reglamento de IA, Comisión Europea
• Detección de alucinaciones de IA: métodos y guía para empresas, Dataiku