Buenas prácticas de monitorización de LLM para agentes de IA de atención al cliente

La monitorización eficaz de los LLM en producción se apoya en cinco prácticas: hacer un seguimiento conjunto del estado del servicio, el comportamiento del flujo de trabajo, la calidad de las respuestas y los resultados de negocio; registrar la trayectoria completa del agente; utilizar varias métricas independientes en lugar de una única puntuación; establecer umbrales que activen una intervención humana con responsables designados; y conservar evidencias auditables. Esta guía aborda cada práctica para las organizaciones que utilizan aplicaciones basadas en LLM y agentes de IA conversacional de cara al cliente.

Resumen

• Monitorice cuatro capas: estado del servicio, comportamiento del flujo de trabajo, calidad de las respuestas y acciones, y resultados para el usuario y el negocio. La disponibilidad por sí sola no detecta la mayoría de los fallos que afectan al cliente.
• Registre la trayectoria del agente (llamadas a herramientas, cambios de estado, transferencias), no solo su texto final.
• Utilice un conjunto de métricas: fundamentación, seguridad, latencia p95 y coste por tarea completada con éxito, en lugar de una única cifra de calidad.
• Cuando el EU AI Act se aplique a un sistema de alto riesgo, los responsables del despliegue deben monitorizar su funcionamiento, asignar la supervisión humana y conservar los registros durante al menos seis meses.
• La monitorización interna muestra lo que el proveedor instrumenta. Las pruebas independientes muestran lo que experimenta el cliente.

Índice

• Qué abarca la monitorización de LLM en producción
• Práctica 1: Registrar la trayectoria completa
• Práctica 2: Medir varias dimensiones, no una única puntuación
• Práctica 3: Establecer umbrales, alertas y comprobaciones de deriva que conduzcan a la acción
• Práctica 4: Monitorizar la derivación a una persona y la identificación como IA como comportamientos prioritarios
• Práctica 5: Planificar las obligaciones de monitorización del EU AI Act
• Práctica 6: Investigar los fallos sin exponer los datos del cliente
• Por qué la monitorización interna necesita una verificación independiente
• Convertir la monitorización en un programa repetible
• Cómo respalda Lexic la monitorización independiente
• Preguntas frecuentes
• Fuentes

Qué abarca la monitorización de LLM en producción

La monitorización de LLM es la medición continua del comportamiento de una aplicación basada en un modelo de lenguaje una vez que los usuarios reales acceden a ella. En el caso de un agente de atención al cliente, esto va más allá de comprobar si la API responde. Una guía práctica sobre el comportamiento de los agentes tras su lanzamiento divide el plan de monitorización en cuatro áreas: estado del servicio (disponibilidad, latencia, errores, tiempos de espera agotados, estado de las dependencias), comportamiento del flujo de trabajo (pasos, llamadas a herramientas, reintentos, enrutamiento, condiciones de parada), calidad de las respuestas y acciones (respaldo en fuentes, uso correcto de herramientas, cumplimiento de políticas, revisión humana) y resultados (resolución, contactos repetidos, comentarios de los clientes, esfuerzo del personal, coste).

Las cuatro capas fallan de formas distintas. Un servicio puede ser rápido y estar disponible mientras el agente cita una política que no existe. Un flujo de trabajo puede completar todos los pasos y, aun así, impedir que un cliente angustiado llegue a una persona. Cada capa necesita sus propias señales y su propio responsable.

Práctica 1: Registrar la trayectoria completa

Los agentes son no deterministas y pueden ejecutar acciones reales, por lo que comprobar la respuesta final no basta. La IMDA de Singapur, en su guía inicial para probar sistemas agénticos, señala la necesidad de una observabilidad más profunda del proceso del agente, incluidas las interacciones con herramientas, las trayectorias y las aprobaciones humanas. También recomienda registrar las acciones, las llamadas a herramientas, las interacciones, los cambios de estado y los resultados, de modo que el comportamiento pueda reconstruirse y evaluarse posteriormente.

En la práctica, una traza útil para cada conversación incluye:

1. La entrada del usuario y cualquier contexto recuperado que se haya proporcionado al modelo.
2. El modelo y la versión del prompt o de la política vigentes.
3. Cada llamada a una herramienta, con sus parámetros, resultado y posibles reintentos.
4. Cada decisión de enrutamiento, incluidas las derivaciones a una persona y el resultado de la transferencia.
5. La respuesta final y el resultado de la interacción.

El uso de herramientas concentra el riesgo de los agentes. Un patrón de ejecución y una lista de comprobación para llamadas a herramientas de agentes en producción son un buen complemento al decidir qué llamadas registrar y qué fallos poner de manifiesto.

Práctica 2: Medir varias dimensiones, no una única puntuación

Una única cifra de calidad oculta los compromisos entre dimensiones. Las guías de evaluación en producción coinciden en recomendar un conjunto de métricas. Un marco de Hiro Solutions recomienda dimensiones de calidad, seguridad, fiabilidad y coste, combinando comprobaciones objetivas (ausencia de contenido prohibido, respuesta dentro del tiempo asignado, llamada a una herramienta completada con éxito) con comprobaciones cualitativas (exhaustividad, pertinencia, tono, fundamentación factual). También prioriza los costes basados en resultados, como el coste por tarea completada con éxito, y las tasas de superación de los límites de latencia en la cola de la distribución frente a los promedios.

Un conjunto inicial viable:

• Fundamentación y tasa de alucinaciones. Proporción de respuestas que contienen afirmaciones sin respaldo en el contexto proporcionado o en fuentes aprobadas.
• Éxito de la tarea. Si se ha completado lo que el cliente realmente necesitaba hacer, no solo si se ha generado una respuesta.
• Cumplimiento de políticas. Cumplimiento de las normas sobre identificación como IA, reembolsos, privacidad y derivación.
• Eventos de seguridad. Activaciones de salvaguardas, intentos de inyección de prompts, alertas de toxicidad, filtraciones de datos personales y cambios inesperados en la tasa de rechazo, incluido el rechazo excesivo.
• Latencia. p50 y p95, además de la proporción de respuestas que superan el tiempo asignado.
• Coste por tarea completada con éxito. Más informativo que el coste por llamada, porque los intentos fallidos también cuestan dinero.

La revisión humana sigue siendo necesaria para valorar los matices. La guía de GrowthBook sobre la medición de la calidad de las respuestas de IA afirma que la revisión humana es el único método que evalúa de forma fiable dimensiones como el tono, la utilidad con sus matices y la seguridad. La puntuación automatizada resulta más útil para identificar las conversaciones que merecen el tiempo de un revisor.

Para obtener una visión más amplia de cómo se comportan estas dimensiones en la infraestructura, esta introducción a la optimización del rendimiento de LLM en producción aborda la monitorización desde la perspectiva del despliegue.

Práctica 3: Establecer umbrales, alertas y comprobaciones de deriva que conduzcan a la acción

Un panel de control que no da lugar a ninguna actuación no constituye monitorización. Cada métrica necesita un umbral, un responsable y una respuesta definida.

• Eventos de tolerancia cero. Las filtraciones de datos personales y las vulneraciones de seguridad confirmadas deben generar una alerta inmediata y abrir un incidente.
• Alertas por cambios en las tasas. Genere alertas ante variaciones, no solo ante valores absolutos: un aumento de las detecciones de inyección de prompts, un cambio en la tasa de rechazo o un pico de fallos en las derivaciones.
• Comprobaciones de deriva. Compare los temas de las entradas actuales, la calidad de la recuperación y las distribuciones de puntuaciones con una referencia de base después de cada cambio de modelo, prompt o base de conocimiento.
• Controles previos al lanzamiento. Vuelva a ejecutar el conjunto de evaluación antes de que los cambios lleguen a producción y, después, revise una muestra de conversaciones en funcionamiento.
• Muestreo para revisión. Remita a revisores humanos, con una periodicidad fija, las conversaciones con baja puntuación, alto riesgo o alto valor.

El proceso para convertir los hallazgos en correcciones es común a todas las herramientas: utilizar la monitorización para detectar patrones, aplicar el criterio humano para identificar la causa raíz y, después, remitir recomendaciones concretas a quienes puedan modificar el artículo de conocimiento, el procedimiento o la regla responsables. Los hallazgos que identifican un origen corregible se cierran. Los que se limitan a decir «la calidad ha bajado» no.

Práctica 4: Monitorizar la derivación a una persona y la identificación como IA como comportamientos prioritarios

La mayoría de los programas de monitorización hacen un seguimiento de la exactitud y la latencia. A menudo se omiten dos comportamientos de cara al cliente: si el agente transfiere la conversación a una persona cuando debe hacerlo y si informa al cliente de que está hablando con una IA.

Las propias auditorías de Lexic muestran por qué esto importa. Entre los agentes evaluados, el 85% no derivó adecuadamente los problemas a un representante humano. Esa cifra procede del trabajo de auditoría de Lexic, no de una referencia sectorial publicada, y muestra cómo un agente que funciona correctamente desde el punto de vista técnico puede fallar al cliente en el momento más importante.

Monitorice estos aspectos de forma explícita:

• Desencadenantes de derivación: solicitudes explícitas de hablar con una persona, intentos fallidos repetidos, reclamaciones, señales de vulnerabilidad del cliente y solicitudes fuera del ámbito del agente.
• Calidad de la transferencia: si se transfiere el contexto, si el cliente tiene que esperar y si la persona puede resolver el problema.
• Identificación como IA: si el agente se identifica como IA cuando es obligatorio y lo hace de manera coherente en todos los canales.

Práctica 5: Planificar las obligaciones de monitorización del EU AI Act

Las empresas que despliegan agentes de IA para clientes en la UE, incluidas las empresas estadounidenses que acceden a ese mercado, deben determinar cómo se aplica el Reglamento (UE) 2024/1689 a sus sistemas. Que un agente concreto sea de alto riesgo depende de su caso de uso, por lo que la clasificación es el primer paso. Para los sistemas de alto riesgo, el texto consolidado del Reglamento en EUR-Lex establece lo siguiente:

• Transparencia (artículo 13). Las instrucciones de uso deben permitir a los responsables del despliegue interpretar adecuadamente los resultados del sistema.
• Supervisión humana (artículo 14). Las personas físicas deben poder supervisar eficazmente el sistema durante su uso mediante herramientas adecuadas de interfaz persona-máquina.
• Seguimiento posterior a la comercialización (artículo 72). Los proveedores deben establecer y documentar un sistema de seguimiento activo, basado en un plan de seguimiento incluido en la documentación técnica, para evaluar el cumplimiento continuo durante toda la vida útil del sistema.

Las obligaciones de los responsables del despliegue se resumen en el artículo 26 en el servicio Better Regulation: seguir las instrucciones de uso, asignar la supervisión humana a personas competentes, formadas y autorizadas, monitorizar el funcionamiento, informar de los riesgos a los proveedores y a las autoridades de vigilancia del mercado, suspender el uso cuando sea necesario y notificar de inmediato los incidentes graves. Las orientaciones de un despacho de abogados sobre el artículo 26 confirman la obligación de conservar los registros: los registros generados automáticamente por el sistema y bajo el control del responsable del despliegue deben conservarse durante al menos seis meses, salvo que otra norma disponga lo contrario.

La consecuencia práctica es que las evidencias de monitorización también sirven como evidencias de cumplimiento. Los registros, las actas de revisión y las notas sobre medidas correctoras deben organizarse de modo que un regulador, auditor o proveedor pueda seguirlos.

Práctica 6: Investigar los fallos sin exponer los datos del cliente

Cuando un agente falla, la investigación necesita la conversación completa, que a menudo contiene datos personales. Dos controles permiten gestionar esta situación.

Primero, limite y proteja los datos. Oculte los identificadores personales en las trazas almacenadas cuando la investigación no los necesite, restrinja el acceso a los revisores con una necesidad definida y ajuste el periodo de conservación a la legislación aplicable, incluido el mínimo de seis meses indicado anteriormente cuando se aplique el EU AI Act. Cuando la investigación requiera datos identificables, documente quién ha accedido a ellos y por qué.

Segundo, conserve evidencias sólidas. Registre las versiones del modelo, del prompt y de las políticas, las marcas de tiempo, la conversación exacta y las medidas correctoras adoptadas. Una evidencia cuya integridad no pueda demostrarse tiene poco peso en una disputa con un proveedor o en una revisión regulatoria. El enfoque de Lexic utiliza funciones hash criptográficas de terceros para verificar la integridad de las evidencias y respaldar su trazabilidad.

Un registro sencillo de incidente incluye:

1. Qué ocurrió, con la referencia de la conversación.
2. Qué capa falló: servicio, flujo de trabajo, calidad o resultado.
3. La causa raíz, como un artículo de conocimiento desactualizado, una regla de derivación ausente o un error de una herramienta.
4. La corrección y su responsable.
5. El resultado de la nueva prueba que confirma la corrección.

Por qué la monitorización interna necesita una verificación independiente

Los paneles de los proveedores y la observabilidad interna miden aquello para lo que se han instrumentado. Informan sobre las trazas que genera el sistema. No revelan necesariamente lo que experimenta un cliente desde fuera: un agente que nunca ofrece atención humana, no informa de que es una IA o puede ser persuadido para que ignore sus instrucciones puede parecer correcto según todas las métricas internas.

Una evaluación independiente interactúa con el agente como lo haría un usuario real y abarca la experiencia de cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo. También proporciona a las organizaciones evidencias para exigir responsabilidades a los proveedores cuando el agente ha sido desarrollado y está alojado por un tercero.

Perspectiva

Creamos Lexic a partir de una observación: monitorizar al agente desde dentro y evaluarlo desde fuera son tareas diferentes, y las organizaciones necesitan ambas.

Las herramientas internas responden a la pregunta de si el sistema se ejecutó. No pueden determinar fácilmente si la conversación fue útil para el cliente, si el agente derivó la interacción cuando debía hacerlo o si cumplió las normas aplicables al mercado. Nuestras auditorías, que detectaron que el 85% de los agentes evaluados no realizaba las derivaciones adecuadamente, muestran claramente esta brecha.

Por eso Lexic Compass evalúa agentes de cualquier proveedor mediante interacciones reales y genera evidencias sobre las que los equipos pueden actuar, con funciones hash criptográficas que respaldan su integridad. Combinamos este enfoque con el análisis de conversaciones de clientes mediante Lexic Pulse, de modo que la supervisión del agente conecte con lo que los clientes realmente necesitan. Las organizaciones que gobiernan sus agentes de IA con evidencias independientes mantienen el control a medida que crecen los despliegues.

Sergio Llorens

Convertir la monitorización en un programa repetible

Un programa de monitorización duradero sigue una periodicidad definida.

1. Definir el alcance. Enumere todos los agentes de cara al cliente, sus proveedores, sus canales y su exposición al mercado de la UE.
2. Establecer el conjunto de métricas. Elija las dimensiones anteriores y asigne un responsable a cada una.
3. Instrumentar las trazas. Capture trayectorias, versiones y resultados.
4. Establecer una referencia de base. Mida el comportamiento actual antes de endurecer los umbrales.
5. Revisar semanalmente. Examine una muestra de las conversaciones señaladas, asigne correcciones y confírmelas con nuevas pruebas.
6. Auditar de forma independiente. Realice pruebas desde la perspectiva del cliente en el lanzamiento, después de cambios importantes y con una periodicidad establecida.
7. Conservar evidencias. Mantenga organizados los registros, las revisiones y la documentación de las medidas correctoras para auditores y reguladores.

Cómo respalda Lexic la monitorización independiente

Lexic Compass es la plataforma de auditoría de agentes de IA: evalúa de forma independiente agentes de IA conversacional de cualquier proveedor e identifica puntos ciegos en la experiencia de cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo, incluidos problemas que la monitorización tradicional puede pasar por alto. Las modalidades de contratación incluyen Flash Preview, Audit Sprint y Enterprise Continuous Trust, descritas en la página de auditoría de Compass. Encontrará información detallada sobre la plataforma en la página de Lexic Compass.

Para analizar el 100% de las conversaciones con clientes en llamadas, chats, correos electrónicos y tickets, con información sobre sentimiento, abandono y oportunidades, consulte Lexic Pulse.

Preguntas frecuentes

¿Cuál es la diferencia entre la monitorización y la observabilidad de LLM?

La monitorización hace un seguimiento de métricas definidas y genera alertas cuando superan los umbrales, como ocurre con la latencia, las tasas de error o la tasa de alucinaciones. La observabilidad añade las trazas y los registros necesarios para explicar por qué ha ocurrido algo. Los equipos de producción suelen necesitar ambas, porque una alerta solo es útil cuando se puede reconstruir la causa.

¿Qué métricas son más importantes para un agente de atención al cliente?

Empiece por el éxito de la tarea, la fundamentación, el cumplimiento de políticas, los eventos de seguridad, la latencia p95 y el coste por tarea completada con éxito. Añada el comportamiento de derivación y de identificación como IA, ya que determina si los clientes llegan a una persona y saben que están hablando con una IA. Ninguna cifra aislada sustituye al conjunto.

¿Durante cuánto tiempo deben conservarse los registros de los LLM?

Depende de la legislación aplicable y de la política interna. Para los responsables del despliegue de sistemas de alto riesgo sujetos al EU AI Act, los registros bajo su control deben conservarse durante al menos seis meses, salvo que otra norma disponga lo contrario. El asesor jurídico debe confirmar el periodo correspondiente a cada sistema y jurisdicción.

¿Debe una empresa estadounidense cumplir el EU AI Act?

Puede estar obligada a ello si despliega o proporciona sistemas de IA en el mercado de la UE. Las obligaciones dependen de la clasificación de riesgo del sistema y del papel de la empresa como proveedor o responsable del despliegue. Clasifique primero cada agente y, después, determine las obligaciones que se derivan de esa clasificación.

Fuentes

• Monitorizar el comportamiento de los agentes de IA tras su lanzamiento
• Guía inicial para probar sistemas agénticos, IMDA
• Métricas de evaluación de las respuestas de IA: calidad, seguridad y coste
• Cómo medir la calidad de las respuestas de IA
• Texto consolidado del Reglamento (UE) 2024/1689, EUR-Lex
• Artículo 26: Obligaciones de los responsables del despliegue, Better Regulation
• Artículo 26, Mishcon de Reya AI Navigator
• Llamadas a herramientas de agentes: patrón de ejecución y lista de comprobación para producción
• Optimización del rendimiento de LLM