Usamos cookies para mejorar tu experiencia. Al continuar, aceptas su uso. Leer nuestra política de privacidad

    Volver a The Signal

    The Signal

    Pruebas comparativas de chatbots del sector: qué miden y qué omiten

    Qué miden las pruebas comparativas de chatbots y por qué los agentes de IA de atención al cliente necesitan auditorías independientes y supervisión continua.

    22 de noviembre de 2026 · 16 min de lectura

    Pruebas comparativas de chatbots del sector: qué miden y qué omiten

    Las pruebas comparativas sectoriales de chatbots ofrecen a las organizaciones un criterio común para comparar la IA conversacional, pero la puntuación de una prueba describe esa prueba, no su despliegue. Los resultados publicados muestran cómo rinde un modelo en un conjunto fijo de tareas. No muestran cómo se comporta su agente con sus clientes, sus políticas y sus reguladores. Cerrar esa brecha exige auditorías independientes del agente en funcionamiento, realizadas en paralelo a las pruebas comparativas. Lexic Compass, nuestra plataforma de auditoría de agentes de IA, evalúa agentes conversacionales de cualquier proveedor interactuando con ellos como lo harían usuarios reales.

    Esta guía explica qué son las pruebas comparativas de chatbots, qué dimensiones puntúan, qué muestran los resultados recientes, cuáles son sus limitaciones y cómo combinarlas con auditorías y supervisión. Está dirigida a equipos de negocio, experiencia del cliente (CX), cumplimiento normativo y tecnología que utilizan IA en atención al cliente, incluidas las empresas estadounidenses que acceden al mercado europeo.

    Lexic AI
    Vaya más allá de las puntuaciones de las pruebas comparativas
    Contraste las puntuaciones de las pruebas comparativas con auditorías independientes que evalúan cómo se comportan sus agentes de IA conversacional con usuarios reales en las principales áreas de riesgo.

    Resumen

    • Una prueba comparativa de chatbots es un conjunto normalizado de tareas, reglas de puntuación y procedimientos. Es un instrumento de evaluación, no una prueba de que un agente sea seguro o eficaz en producción.
    • No existe un estándar único para medir la calidad de los chatbots. Los métodos varían, por lo que las puntuaciones de distintas pruebas comparativas rara vez son comparables.
    • Los resultados de ejecuciones repetidas importan más que las puntuaciones del mejor caso. Una prueba comparativa de atención al cliente de 2026 identificó una configuración que resolvía el 60% de los casos en una sola ejecución, pero solo el 37% en las ocho ejecuciones.
    • La derivación a una persona, la información sobre el uso de IA y el cumplimiento normativo son los comportamientos sobre los que menos revelan las puntuaciones de las pruebas comparativas. Las auditorías de Lexic han detectado que el 85% de los agentes evaluados no deriva adecuadamente las incidencias a un representante humano.
    • El enfoque práctico combina pruebas comparativas antes del lanzamiento con auditorías independientes y supervisión continua después.

    Índice

    Qué es una prueba comparativa sectorial de chatbots

    Una prueba comparativa consta de una tarea o un conjunto de datos normalizados, un procedimiento de medición y una regla de puntuación, aplicados de la misma manera a todos los sistemas evaluados. Las clasificaciones públicas ordenan los modelos según capacidades generales, como el razonamiento o la programación. Las pruebas comparativas sectoriales acotan el ámbito a un entorno, como la atención al cliente de aerolíneas, hoteles o empresas de suministros, donde la cuestión es si un agente resuelve correctamente la solicitud de un cliente.

    A menudo se confunden tres instrumentos relacionados con las pruebas comparativas:

    Instrumento Pregunta a la que responde Limitación
    Clasificación ¿Qué modelo obtiene la puntuación más alta en un conjunto público de pruebas? Mide el modelo, no su agente configurado
    Prueba comparativa ¿Cómo rinde un sistema en un conjunto de tareas definido y repetible? Las tareas se fijan de antemano y pueden no corresponderse con las necesidades de sus clientes
    Auditoría independiente ¿Cómo se comporta este agente concreto cuando se interactúa con él como lo haría un usuario real? Refleja un momento concreto, salvo que se repita
    Supervisión en producción ¿Qué está ocurriendo ahora en las conversaciones activas? Informa de lo que ocurre y puede pasar por alto lo que nunca se haya señalado

    Un artículo de 2026 presentado en el taller de evaluación de ACL considera las pruebas comparativas como un instrumento de evaluación, no un sustituto de las evidencias de validez en el despliegue, las comprobaciones de fiabilidad y la alineación con las partes interesadas. Ese planteamiento es el punto de partida adecuado para cualquier comprador de IA orientada al cliente.

    Qué puntúan realmente las pruebas comparativas de chatbots

    Las pruebas comparativas difieren en lo que consideran calidad. Hay cuatro familias de medidas que aparecen de forma recurrente.

    Calidad percibida y usabilidad

    La Recomendación P.852 de la UIT, publicada en julio de 2022, especifica experimentos de evaluación subjetiva para chatbots de texto. Utiliza escenarios de tareas, datos de interacción y cuestionarios de usuario para evaluar la eficacia, la eficiencia, la usabilidad, la satisfacción y la aceptabilidad percibidas. Una revisión de ACM de 2020 sobre métodos de evaluación de chatbots los evaluó conforme a los mismos conceptos de usabilidad: eficacia, eficiencia y satisfacción.

    Dimensiones de la conversación

    Un estudio de 2026 sobre la validación de chatbots con gemelos digitales de clientes, que son clientes simulados que conversan con el agente, evalúa la exactitud factual, la pertinencia, el cumplimiento normativo, el reconocimiento de lo expresado por el cliente, la sencillez del lenguaje, la fluidez, la empatía, la satisfacción y la frustración. Estas dimensiones se acercan más a lo que importa a un equipo de CX que un porcentaje genérico de exactitud.

    Resultados de las tareas

    Para los agentes que ejecutan acciones, como emitir un reembolso o modificar una reserva, el enfoque más sólido evalúa el resultado. ResolveBench, una prueba comparativa de fiabilidad operativa de 2026, puntúa el estado final del backend y el cumplimiento de los procedimientos, y considera las acciones prohibidas como fallos determinantes. Sus soluciones de referencia se validan mediante reproducción y revisión humana, y publica las secuencias de conversación para que otros puedan examinarlas.

    Métricas operativas y de cumplimiento normativo

    El estudio sobre gemelos digitales propone combinar evaluación automatizada, pruebas realizadas por expertos humanos y pruebas adversariales, con métricas de rendimiento en las tareas, calidad de la conversación, latencia, coste, errores en los mecanismos de protección y cumplimiento normativo. Es el alcance más amplio de la bibliografía que hemos revisado y demuestra que la calidad, el coste y el cumplimiento normativo son ejes independientes, cada uno de los cuales necesita sus propias evidencias.

    Cómo se diseñan y puntúan las pruebas comparativas

    La revisión de ACM de 2020 constató que no existía una forma normalizada de medir la calidad de los chatbots. Los métodos de evaluación variaban y la bibliografía destacaba cada vez más la eficiencia de los chatbots orientados a tareas una vez desplegados. Seis años después, la consecuencia práctica sigue siendo la misma: dos proveedores pueden comunicar puntuaciones altas en pruebas comparativas diferentes sin que las cifras sean comparables.

    Un artículo de 2023 sobre pruebas comparativas de chatbots basados en LLM describe pruebas de extremo a extremo que combinan medidas objetivas, como la exactitud y la precisión, con valoraciones humanas de la pertinencia y la corrección en escenarios realistas. La mayoría de los diseños solventes comparten esta estructura híbrida:

    1. Defina los escenarios. Seleccione tareas extraídas de solicitudes reales de clientes: disputas de facturación, cancelaciones, cambios en cuentas y reclamaciones.
    2. Fije los criterios de aprobación. Especifique qué debe cambiar, qué no debe cambiar y qué acciones están prohibidas.
    3. Aplique una puntuación automatizada. Utilice la misma rúbrica en cada ejecución para garantizar la coherencia y la escalabilidad.
    4. Añada revisión humana. Los expertos valoran la pertinencia, la corrección, el tono y la gestión de casos límite.
    5. Añada pruebas adversariales. Compruebe la resistencia a la inyección de instrucciones, la elusión de políticas y la divulgación insegura de información.
    6. Repita. Ejecute cada escenario varias veces, porque los modelos de lenguaje no responden de forma idéntica en cada ocasión.

    Los pasos 3 y 6 son los que más suelen fallar en las pruebas comparativas internas. La puntuación automatizada necesita una rúbrica que se ajuste a sus políticas, y las ejecuciones repetidas multiplican el volumen de conversaciones que hay que revisar.

    Qué muestran los resultados publicados sobre atención al cliente

    El documento técnico de ResolveBench es un caso útil porque muestra la distancia entre un buen resultado y uno fiable. Abarca 100 casos auditados de atención al cliente de aerolíneas, hoteles y empresas de suministros, cada uno ejecutado ocho veces en cinco configuraciones de modelos, con un total de 4,000 ejecuciones puntuadas.

    Las cifras principales muestran que la configuración con mejor resultado en una sola ejecución resolvió el 60% de los casos en una ejecución, pero solo el 37% en las ocho ejecuciones. La configuración más fiable alcanzó una tasa de éxito del 39% en las ocho ejecuciones.

    Un ejemplo práctico ilustra por qué esto importa. Supongamos que un agente gestiona 10,000 solicitudes de reembolso al mes y resuelve una solicitud determinada el 60% de las veces cuando se intenta una sola vez. Si se vuelve a intentar atender a los clientes cuya solicitud no se ha resuelto o se les transfiere, ese 60% no se traduce en una tasa estable. Lo que se observa es un conjunto en el que algunos tipos de solicitudes se resuelven siempre, otros a veces y otros nunca. La tasa de éxito en todas las ejecuciones indica qué proporción de su volumen se gestiona de forma fiable. En un proceso regulado, la proporción fiable es la cifra que cuenta.

    Qué muestran los resultados publicados sobre atención al cliente

    Los equipos que gestionan asistentes de chat para pequeñas empresas se enfrentan a la misma cuestión. Un asistente de chat con IA disponible 24/7 que responde al instante solo aporta valor si responde de forma coherente y resuelve las solicitudes en cada ejecución, que es precisamente lo que pretenden demostrar las pruebas comparativas con ejecuciones repetidas.

    Cómo interpretar una puntuación

    • Pregunte qué se ha probado. Una puntuación obtenida con casos de aerolíneas dice poco sobre el proceso de resolución de disputas de un banco.
    • Compruebe si hay ejecuciones repetidas. Una puntuación de una sola ejecución representa el mejor caso.
    • Examine las reglas de fallo. ¿Una acción prohibida se considera un fallo determinante o simplemente reduce la puntuación?
    • Distinga el modelo del agente. La puntuación de un modelo no incluye sus instrucciones, herramientas, base de conocimientos ni mecanismos de protección.
    • Trate los resultados obtenidos por el proveedor como afirmaciones sobre sus propias pruebas. Las puntuaciones que los desarrolladores de un sistema comunican sobre sus propias pruebas comparativas deben figurar en su expediente de evidencias junto a los resultados independientes, no en su lugar.

    Dónde se quedan cortas las pruebas comparativas en producción

    El artículo de ACL sostiene que las puntuaciones de las clasificaciones pueden pasar por alto fallos relevantes para los usuarios. Propone comprobar si las puntuaciones predicen la utilidad en el despliegue, se mantienen estables ante perturbaciones y reflejan las prioridades de las partes interesadas. Aplicado a la atención al cliente, una prueba comparativa solo es útil en la medida en que su puntuación se vincule a los resultados que le importan, resista la reformulación de una misma solicitud y refleje las prioridades de los clientes afectados y los reguladores.

    La recomendación de la UIT añade una advertencia sobre el diseño: los escenarios controlados y los cuestionarios son útiles, pero los escenarios pueden condicionar el comportamiento y el lenguaje de los usuarios, lo que puede afectar a los resultados. Los clientes reales son menos corteses, menos precisos y más diversos que quienes realizan pruebas siguiendo un guion.

    Hay tres áreas que las pruebas comparativas generales cubren sistemáticamente de forma insuficiente:

    • Derivación a una persona. Saber cuándo transferir un cliente a una persona es un comportamiento del agente desplegado y de su configuración, no una capacidad del modelo.
    • Información sobre el uso de IA. Que se informe a los clientes de que están hablando con una IA depende de cómo se configure el agente y de los mensajes que utilice.
    • Seguridad. La resistencia a la manipulación depende del sistema que rodea al agente y cambia cada vez que se modifican las instrucciones o las herramientas.

    La perspectiva del EU AI Act para las empresas estadounidenses

    Las empresas estadounidenses que atienden a clientes en Europa deben tratar las puntuaciones de las pruebas comparativas como material de apoyo, no como pruebas de cumplimiento normativo. El artículo 50 del EU AI Act exige que los sistemas destinados a interactuar directamente con personas les informen de que están interactuando con una IA, salvo que resulte evidente por el contexto. La excepción se aplica cuando la interacción con IA resultaría evidente para una persona razonablemente informada, atenta y perspicaz, por lo que no se exige informar de forma idéntica en todos los chatbots. Está previsto que la obligación de transparencia del artículo 50 se aplique a partir de agosto de 2026, y los plazos para los sistemas de alto riesgo se han aplazado a fechas posteriores. Confirme el calendario vigente en el explorador oficial del Reglamento antes de planificar.

    Lo que exige la norma es un comportamiento en las conversaciones reales: que el aviso aparezca, sea claro y aparezca siempre. Una prueba comparativa diseñada para comparar modelos no verifica eso. Una auditoría del agente desplegado sí.

    Cómo combinar pruebas comparativas, auditorías y supervisión

    La respuesta del estudio sobre gemelos digitales consiste en combinar evaluación automatizada, pruebas realizadas por expertos humanos en escenarios realistas y pruebas adversariales, y hacer un seguimiento del rendimiento en las tareas, la calidad de la conversación, las métricas operativas, la seguridad y el cumplimiento normativo tanto antes como después del despliegue. En la práctica, esto se traduce en tres capas:

    1. Antes de la selección: pruebas comparativas. Utilice pruebas comparativas públicas y sectoriales para preseleccionar modelos y proveedores, dejando constancia de qué se probó en cada una y cuántas ejecuciones se realizaron.
    2. Antes y después del lanzamiento: auditoría independiente. Evalúe el agente real, tal como está configurado, mediante interacciones similares a las del mundo real que abarquen la experiencia del cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo.
    3. En producción: supervisión continua. Supervise las conversaciones reales, genere alertas ante desviaciones y repita la auditoría tras cambios en las instrucciones, las herramientas o los modelos del proveedor.

    Lexic Compass está diseñado para la segunda capa. Evalúa de forma independiente agentes de IA conversacional de cualquier proveedor, interactuando con ellos como lo harían usuarios reales, e identifica puntos ciegos en experiencia del cliente, seguridad, fiabilidad técnica y cumplimiento normativo, incluidos problemas que las herramientas de supervisión tradicionales pueden pasar por alto. Los hallazgos se entregan como evidencias que permiten tomar medidas y que las organizaciones pueden utilizar para gobernar los agentes en producción y exigir responsabilidades a los proveedores. Lexic utiliza funciones hash criptográficas de terceros para verificar la integridad de las evidencias y facilitar la trazabilidad, algo importante cuando los hallazgos se incorporan a una disputa con un proveedor o a un expediente regulatorio.

    La necesidad es concreta. En las auditorías realizadas por Lexic, el 85% de los agentes evaluados no derivó adecuadamente las incidencias a un representante humano. Ese comportamiento no aparece en ninguna clasificación de modelos.

    Cómo crear su propio conjunto de pruebas comparativas

    Los equipos que quieran disponer de una prueba comparativa interna junto con una auditoría pueden empezar con un proceso breve y riguroso:

    1. Recopile solicitudes reales. Extraiga una muestra de transcripciones y tickets que cubra casos habituales, difíciles y límite.
    2. Redacte criterios de aprobación basados en resultados. Indique el estado final, las acciones permitidas y lo que debe permanecer intacto.
    3. Incluya los casos que deben derivarse obligatoriamente. Reclamaciones, clientes vulnerables, amenazas de acciones legales y solicitudes que excedan las atribuciones del agente.
    4. Incluya comprobaciones de los avisos sobre el uso de IA. Confirme que el aviso aparece cuando corresponde.
    5. Ejecute cada caso varias veces. Presente la tasa de aprobación en todas las ejecuciones junto a la tasa de una sola ejecución.
    6. Versione todos los elementos. Registre las versiones del modelo, las instrucciones y las herramientas para poder rastrear la causa de un cambio de puntuación.
    7. Repita las pruebas con cada cambio. Una actualización del modelo del proveedor puede alterar el comportamiento sin previo aviso.

    Los puntos débiles son el volumen y la independencia. Las ejecuciones repetidas generan más conversaciones de las que un equipo puede leer, y un proveedor que puntúa a su propio agente tiene un conflicto evidente. Las auditorías independientes con evidencias conservadas y verificables abordan ambos problemas.

    Perspectiva

    Las pruebas comparativas responden a la pregunta: «¿Qué tal rinde este modelo en esta prueba?». Nuestros clientes plantean otra: «¿Está haciendo este agente lo que prometimos a clientes y reguladores, en cada conversación?».

    Estas preguntas necesitan evidencias diferentes. Una prueba comparativa está controlada y es repetible, lo que la hace valiosa para comparar. Un cliente real no es ninguna de las dos cosas. Formula las cosas de forma inesperada, discrepa, se frustra y pide hablar con una persona. Creamos Lexic Compass para probar el agente tal como lo encuentran los clientes y para producir evidencias sólidas: hallazgos sobre experiencia del cliente, seguridad, fiabilidad técnica y cumplimiento normativo, con una integridad verificada mediante funciones hash criptográficas de terceros.

    Nuestras propias auditorías mostraron que el 85% de los agentes evaluados no derivaba adecuadamente los casos a una persona. La derivación no es una puntuación que publique una clasificación, pero determina si un cliente frustrado consigue hablar con alguien. Por eso defendemos una supervisión independiente y continua, en lugar de una puntuación puntual del proveedor que creó el agente.

    Sergio Llorens

    Cómo apoya Lexic cada etapa

    Lexic Compass está disponible en tres modalidades de contratación en nuestra página de contratación de auditorías: Flash Preview, Audit Sprint y Enterprise Continuous Trust. Abarcan desde una primera revisión del comportamiento de un agente hasta la supervisión continua a medida que se amplían los despliegues. Los detalles de la plataforma están en la página de Lexic Compass.

    Para los equipos que quieran aprender de las conversaciones que sus agentes y su personal ya mantienen, Lexic Pulse analiza el 100% de las conversaciones con clientes en llamadas, chats, correos electrónicos y tickets. Genera información sobre sentimiento, abandono de clientes y oportunidades para los equipos de Ventas, CX, Producto, Marketing, TI, QA, Operaciones e Investigación, y se conecta con los sistemas de CRM, gestión de tickets y comunicaciones.

    Lexic AI

    Preguntas frecuentes

    ¿Existe una única prueba comparativa sectorial estándar para los chatbots de atención al cliente?

    No. Una revisión de ACM de 2020 constató que no existía una forma normalizada de medir la calidad de los chatbots, y los métodos siguen variando según la tarea, el ámbito y el enfoque de puntuación. Compare los resultados de las pruebas comparativas solo cuando los escenarios, los criterios de aprobación y el número de ejecuciones sean comparables.

    ¿Puede una puntuación alta en una prueba comparativa demostrar que mi chatbot cumple la normativa?

    No. La puntuación de una prueba comparativa describe el rendimiento en un conjunto fijo de pruebas. El cumplimiento normativo se refiere al comportamiento en las conversaciones reales, como los avisos sobre el uso de IA, la derivación a una persona y el tratamiento de temas regulados. Verificarlo exige probar el agente desplegado como lo utilizaría un cliente.

    ¿Por qué importan las ejecuciones repetidas?

    Los modelos de lenguaje pueden responder de forma diferente a la misma solicitud en cada ocasión. En ResolveBench, una configuración resolvió el 60% de los casos en una sola ejecución, pero el 37% en las ocho ejecuciones. La cifra de todas las ejecuciones muestra qué proporción de su volumen se gestiona de forma fiable.

    ¿Exige el EU AI Act que todos los chatbots anuncien que son IA?

    El artículo 50 exige que los sistemas que interactúan directamente con personas lo indiquen, salvo que resulte evidente por el contexto para una persona razonablemente informada. Muchos agentes de atención al cliente están sujetos a esta norma, por lo que las empresas estadounidenses que atienden a clientes de la UE deben verificar el aviso en el agente en funcionamiento.

    ¿Con qué frecuencia debe volver a auditarse un agente?

    Repita las pruebas siempre que cambien el modelo del proveedor, las instrucciones, las herramientas o la base de conocimientos, y mantenga activa la supervisión continua entre auditorías. Enterprise Continuous Trust de Lexic está diseñado para una supervisión permanente a medida que se amplían los despliegues.

    Fuentes

    ¿Quieres un veredicto independiente sobre tu agente de IA?

    Volver a The Signal