Una auditoría de IA conversacional es una revisión independiente de cómo se comporta un agente de IA de atención al cliente en conversaciones reales. Comprueba la exactitud, la derivación a personas, la información sobre el uso de IA, la seguridad, la fiabilidad técnica y el cumplimiento normativo, y genera evidencias sobre las que la organización puede actuar. Se diferencia de las pruebas del proveedor y de la supervisión mediante paneles porque el auditor interactúa con el agente como lo haría un cliente y, después, documenta lo ocurrido.
Esta guía explica qué abarca una auditoría de IA conversacional, cómo se desarrolla paso a paso, qué relación tiene con el EU AI Act y los marcos de Estados Unidos, y cómo definir su alcance.
Resumen
- Una auditoría de IA conversacional pone a prueba los agentes de chat y voz mediante interacciones similares a las reales y registra las evidencias, en lugar de basarse en informes del proveedor o revisiones de configuración.
- Las áreas principales son la experiencia de cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo. La derivación a una persona es el punto de fallo más habitual: en las auditorías de Lexic, el 85% de los agentes evaluados no derivó los casos adecuadamente.
- Las normas de transparencia del EU AI Act para los chatbots son aplicables a partir del 2 de agosto de 2026, por lo que las empresas estadounidenses que atienden a usuarios de la UE deben contar con prácticas de información sobre el uso de IA y de recopilación de evidencias.
- Las auditorías deben repetirse, porque los prompts, los modelos, las políticas y los sitios web cambian, y las respuestas de los agentes se desvían con el tiempo.
- Empieza con una auditoría breve y de alcance delimitado y, una vez identificadas las carencias, pasa a una supervisión continua.
Índice
- Qué es una auditoría de IA conversacional
- Qué evalúa una auditoría de IA conversacional
- Cómo funciona una auditoría de IA conversacional, paso a paso
- Evidencias que resisten el escrutinio
- Normativas y marcos que orientan la auditoría
- Perspectiva
- Cómo elegir el alcance adecuado de la auditoría
- Opciones de auditoría de Lexic Compass
- Preguntas frecuentes
- Fuentes
Qué es una auditoría de IA conversacional
Los agentes de IA conversacional ya gestionan consultas de asistencia, ventas, facturación y cuentas por chat, voz y correo electrónico. Cada conversación puede generar un compromiso, revelar datos u ofrecer asesoramiento. Una auditoría plantea una pregunta directa: ¿hace este agente lo que la organización cree que hace?
El riesgo radica en la escala. Una cifra filtrada, un aviso omitido o una promesa no autorizada pueden llegar a miles de clientes antes de que alguien lo advierta. Los agentes humanos cometen errores aislados. Un agente de IA repite el mismo error hasta que alguien lo detecta.
En qué se diferencia de la supervisión y de las pruebas del proveedor
A menudo se confunden tres actividades con una auditoría:
- Las pruebas del proveedor comprueban el producto según los criterios del propio proveedor, antes o durante su lanzamiento. El proveedor también tiene intereses en el resultado.
- La supervisión automatizada realiza un seguimiento de métricas como la tasa de resolución sin intervención humana, la latencia y el sentimiento. Muestra lo que el sistema comunica sobre sí mismo y puede pasar por alto respuestas incorrectas que parecen resoluciones satisfactorias.
- La gobernanza interna establece políticas y responsabilidades. Necesita una verificación externa de que las políticas se cumplen en las conversaciones reales.
Una auditoría independiente complementa las tres. El Marco de Gestión de Riesgos de IA del NIST señala que los procesos de revisión independiente mejoran la eficacia de las pruebas y reducen los sesgos internos y los conflictos de intereses. En el caso de un agente de atención al cliente adquirido a un tercero, esa independencia también proporciona al comprador una base para exigir responsabilidades al proveedor.
Qué evalúa una auditoría de IA conversacional
Una auditoría útil distingue cuatro áreas, porque cada una tiene un responsable y una medida correctora diferentes.
| Área | Preguntas que responde la auditoría | Responsable habitual |
|---|---|---|
| Experiencia de cliente | ¿Responde el agente correctamente, respeta las políticas y resuelve la solicitud? ¿Dónde encuentran dificultades los clientes? | CX, operaciones de atención al cliente |
| Seguridad | ¿Se puede inducir al agente a filtrar datos, ignorar instrucciones o revelar detalles internos? | Seguridad, TI |
| Fiabilidad técnica | ¿Gestiona de forma coherente los errores, los fallos de herramientas, las conversaciones largas y los cambios de canal? | Ingeniería, gestión de proveedores |
| Cumplimiento normativo | ¿Informa de que es una IA, gestiona adecuadamente el consentimiento y los temas sensibles, y conserva registros? | Cumplimiento normativo, asesoría jurídica |
Derivación a una persona
La derivación merece una prueba específica. Las directrices de gobernanza para los centros de contacto indican que las organizaciones deben definir dónde termina la automatización y dónde empieza la intervención humana, incluidas las situaciones de alto riesgo, los pagos y los compromisos jurídicos. Una auditoría comprueba esa regla en la práctica: un cliente pide hablar con una persona, expresa angustia, impugna un cargo o plantea una cuestión jurídica, y el auditor registra si el agente deriva la conversación y cómo lo hace.
En las auditorías realizadas por Lexic, el 85% de los agentes evaluados no derivó los problemas adecuadamente a un representante humano. Esa cifra corresponde a los agentes que evaluamos, no al mercado en su conjunto. Sí demuestra por qué la derivación se comprueba directamente en lugar de darse por supuesta.
Veracidad respecto a las políticas de la empresa
Un agente puede ser seguro y rápido y, aun así, dar respuestas incorrectas. Una auditoría rigurosa compara lo que dice el agente con las políticas vigentes recopiladas de la organización: condiciones de devolución, tarifas, requisitos de acceso, horarios y cláusulas de garantía. Las discrepancias revelan respuestas incorrectas, contenido web desactualizado o prácticas que nunca se publicaron y sobre las que es necesario tomar una decisión.
Diferenciación de los hallazgos
Una sola auditoría pone de manifiesto distintos tipos de problemas. Mantenerlos separados evita remitir un problema de cumplimiento al equipo de CX o uno del modelo a la asesoría jurídica:
- Hallazgos de cumplimiento: falta de información sobre el uso de IA, gestión inadecuada del consentimiento, asesoramiento no autorizado.
- Hallazgos de rendimiento: llamadas fallidas a herramientas, tiempos de espera agotados, bucles, respuestas incoherentes entre canales.
- Conocimiento del cliente: confusión recurrente, necesidades no cubiertas, solicitudes que el agente no puede atender. Estos hallazgos orientan las decisiones de producto y CX, en lugar de incorporarse a los registros de riesgos.
Cómo funciona una auditoría de IA conversacional, paso a paso
- Definir el alcance. Enumera los agentes, los canales (chat, voz, correo electrónico), los idiomas, los mercados y los recorridos de cliente. Prioriza los recorridos que impliquen dinero, datos personales o consecuencias jurídicas.
- Recopilar la fuente de referencia. Recoge las políticas, las condiciones, los precios y las reglas de derivación que debe seguir el agente. Los hallazgos se evalúan con respecto a ellos.
- Diseñar los escenarios. Prepara conversaciones de prueba que abarquen solicitudes habituales, casos límite, clientes frustrados, peticiones de hablar con una persona, prompts adversarios y temas regulados.
- Interactuar como lo haría un usuario real. Ejecuta los escenarios a través de los canales de producción, no mediante un entorno de pruebas del proveedor. Un comportamiento realista revela problemas que una revisión de configuración no puede detectar.
- Conservar las evidencias. Guarda las transcripciones completas, las marcas de tiempo y el contexto. La Autoridad de Desarrollo de Medios de Infocomunicación de Singapur lo destaca en sus directrices de pruebas: el registro y el seguimiento de trazas son esenciales para reconstruir y evaluar interacciones complejas, incluidas las llamadas a herramientas y sus resultados.
- Puntuar e informar. Clasifica los hallazgos por gravedad y área, con la transcripción que respalda cada uno.
- Corregir y volver a probar. Corrige los prompts, las fuentes de conocimiento, las reglas de derivación o la configuración del proveedor y, después, vuelve a ejecutar los escenarios afectados.
- Repetir. Los agentes cambian cuando cambian los productos, las políticas, los prompts y los modelos, por lo que una auditoría puntual queda obsoleta rápidamente.
Equilibrio entre realismo y riesgo
Probar sistemas en producción conlleva sus propios riesgos. Las directrices de la IMDA sugieren que, dado que los sistemas agénticos son sensibles a su entorno, las pruebas deben equilibrar el realismo con los posibles daños en el mundo real. En la práctica, esto implica delimitar los escenarios para que las conversaciones de prueba no desencadenen pagos, cancelaciones o compromisos reales, y acordar previamente las reglas de actuación con el responsable del agente.
Evidencias que resisten el escrutinio
La utilidad de una auditoría depende de sus evidencias. Los informes sobre gobernanza de centros de contacto subrayan que las evidencias aptas para auditoría deben poder exportarse desde los sistemas internos; las capturas de pantalla proporcionadas por el proveedor no bastan para resistir el escrutinio de los reguladores o los equipos jurídicos tras un incidente.
Un conjunto de evidencias debe incluir:
- Transcripciones o grabaciones completas de cada escenario de prueba.
- La definición del escenario y la política utilizada para evaluarlo.
- Marcas de tiempo, canal, versión del agente y configuración, cuando se conozcan.
- Un mecanismo de integridad. Lexic Compass utiliza funciones hash criptográficas de terceros para verificar la integridad de las evidencias y facilitar la trazabilidad.
- Un hallazgo claro, su gravedad y una acción recomendada.
Los plazos de conservación dependen del sector y de la jurisdicción, por lo que conviene confirmarlos con la asesoría jurídica antes de establecer una política.
Normativas y marcos que orientan la auditoría
Transparencia del EU AI Act
El artículo 50 del EU AI Act exige que los proveedores de chatbots y asistentes virtuales los diseñen de modo que se informe a los usuarios de que están interactuando con una IA. Estas obligaciones son aplicables a partir del 2 de agosto de 2026. Un acuerdo provisional anunciado en mayo de 2026 concede a algunos sistemas de IA generativa ya comercializados un plazo hasta el 2 de diciembre de 2026 para cumplir el requisito de marcado legible por máquina. Consulta los textos oficiales de la UE y a tu asesoría jurídica para conocer la situación vigente.
Para las empresas estadounidenses que entran en Europa, las preguntas prácticas de la auditoría son:
- ¿Informa el agente a los usuarios de la UE de que están hablando con una IA, de forma clara y desde el principio?
- ¿Lo hace de forma coherente en los canales de chat, voz y correo electrónico?
- ¿Puedes demostrarlo con registros para una fecha y una conversación concretas?
- ¿Quién asume la responsabilidad de la respuesta: tu organización o el proveedor?
El Reglamento también contiene otras obligaciones en función de la clasificación del sistema. Que tu agente sea de alto riesgo depende de su caso de uso, por lo que la clasificación es una determinación jurídica que debe realizarse con asesoramiento cualificado. Los nuevos esquemas de aseguramiento, como el borrador del esquema de auditoría independiente de sistemas agénticos de la Cloud Security Alliance, vinculan sus requisitos con los artículos del EU AI Act, lo que muestra cómo pueden organizarse las evidencias de auditoría en relación con disposiciones específicas.
NIST AI RMF para organizaciones estadounidenses
El marco del NIST es voluntario, pero ofrece un vocabulario común. Su función MEASURE hace hincapié en las herramientas cuantitativas y cualitativas para realizar un seguimiento de la confiabilidad, incluido el impacto social y las configuraciones de interacción entre personas e IA a lo largo del ciclo de vida del sistema. Una auditoría de IA conversacional es una forma de generar esas mediciones para un agente de atención al cliente.
Perspectiva
La mayoría de las organizaciones descubre los problemas de su agente de IA a través de los clientes, no de sus propias herramientas. Los paneles muestran lo que el sistema ha registrado sobre sí mismo. Los clientes experimentan lo que el agente realmente ha dicho.
Creamos Lexic Compass a partir de esa brecha. Evaluamos agentes conversacionales de cualquier proveedor interactuando con ellos como lo harían usuarios reales, en las áreas de experiencia de cliente, seguridad, fiabilidad técnica y cumplimiento normativo. No dependemos de los informes de los proveedores, por lo que nuestros hallazgos pueden utilizarse para gobernar los agentes en producción y exigir responsabilidades a los proveedores.
Consideramos que la supervisión independiente debe ser continua, no una casilla que se marca antes del lanzamiento. Los agentes cambian, las políticas cambian y las evidencias deben mantenerse al día. Nuestras auditorías también muestran el coste de asumir lo contrario: el 85% de los agentes que evaluamos no derivó adecuadamente a una persona.
Las mismas conversaciones que revelan riesgos también contienen información sobre los clientes: puntos de fricción, señales de abandono y necesidades no cubiertas. La auditoría y la comprensión del cliente deben formar parte de una misma visión.
Sergio Llorens
Cómo elegir el alcance adecuado de la auditoría
Adapta la profundidad de la auditoría a tu situación.
- Antes del lanzamiento o durante la selección de proveedores. Necesitas una visión independiente de cómo se comporta un agente antes de que atienda a clientes o antes de renovar un contrato.
- Un problema conocido. Un incidente, un patrón de reclamaciones o una consulta de un regulador requieren una auditoría centrada en el recorrido específico.
- Entrada en un mercado. Las empresas estadounidenses que empiezan a atender a clientes de la UE deben comprobar la información sobre el uso de IA y el comportamiento de derivación conforme al EU AI Act, y conservar evidencias.
- Escala. Cuando los agentes gestionan volúmenes crecientes en distintos canales, las comprobaciones periódicas dan paso a una supervisión continua.
Independientemente de quién realice la auditoría, confirma tres aspectos: que compruebe el comportamiento en producción, que las evidencias sean exportables y permitan detectar manipulaciones, y que los hallazgos estén separados por áreas para que cada uno llegue al responsable adecuado.
Opciones de auditoría de Lexic Compass
Lexic Compass es nuestra plataforma de auditoría de agentes de IA. Evalúa agentes conversacionales de cualquier proveedor y elabora informes sobre experiencia de cliente, seguridad, fiabilidad técnica y cumplimiento normativo, incluidos problemas que la supervisión tradicional puede pasar por alto. Las modalidades incluyen Flash Preview, Audit Sprint y Enterprise Continuous Trust, según necesites una visión rápida, una evaluación focalizada o una supervisión permanente. Encontrarás más información en la página de Lexic Compass.
Para los equipos que quieren aprender de cada interacción con los clientes, Lexic Pulse analiza llamadas, chats, correos electrónicos y tickets, y genera información sobre sentimiento, abandono y oportunidades para los equipos de CX, Ventas, Producto, Control de Calidad y otros.
Preguntas frecuentes
¿Con qué frecuencia debe auditarse un agente de IA conversacional?
Realiza una auditoría antes del lanzamiento, después de cualquier cambio significativo en el modelo, los prompts, la base de conocimiento o las políticas, y con una periodicidad establecida. Las respuestas de los agentes se desvían a medida que cambian los productos y las políticas. Los agentes con un gran volumen de interacciones o sujetos a regulación se benefician de una supervisión continua en lugar de comprobaciones periódicas.
¿Es una auditoría de IA conversacional lo mismo que una prueba de penetración de seguridad?
No. Las pruebas de seguridad son una parte de la auditoría. Una auditoría de IA conversacional también comprueba si el agente dice la verdad, deriva adecuadamente, informa de que es una IA y funciona de forma fiable. Muchos fallos costosos se deben a respuestas que parecen correctas pero no lo son, no a ataques.
¿Deben las empresas estadounidenses prestar atención al EU AI Act?
Si tus agentes de IA interactúan con personas en la UE, las obligaciones de transparencia del Reglamento para los chatbots, aplicables a partir del 2 de agosto de 2026, pueden ser pertinentes para tu empresa. La clasificación y el ámbito de aplicación son cuestiones jurídicas, por lo que debes consultar a profesionales familiarizados con el Reglamento y revisar los textos oficiales.
¿Quién debe responsabilizarse de la auditoría dentro de la empresa?
Los equipos de cumplimiento normativo o riesgos suelen impulsarla, mientras que CX, seguridad e ingeniería se encargan de corregir los hallazgos de sus respectivas áreas. Un tercero independiente aporta credibilidad a los resultados ante directivos, reguladores y proveedores.
¿Qué evidencias debemos conservar de una auditoría?
Conserva las transcripciones completas, los escenarios y las políticas utilizados para la evaluación, las marcas de tiempo, la configuración del agente cuando se conozca y los hallazgos con sus medidas correctoras. Almacena las evidencias en sistemas bajo tu control, con una comprobación de integridad, para que estén disponibles tras un incidente.