Buenas prácticas de monitorización de LLM para agentes de IA que interactúan con clientes

Una monitorización eficaz de los LLM en producción se apoya en cinco prácticas: supervisar conjuntamente el estado del servicio, el comportamiento de los flujos de trabajo, la calidad de las respuestas y los resultados de negocio; registrar la trayectoria completa del agente; utilizar varias métricas independientes en lugar de una única puntuación; establecer umbrales que activen intervenciones humanas con responsables designados; y conservar evidencias auditables. Esta guía aborda cada práctica para las organizaciones que utilizan aplicaciones basadas en LLM y agentes de IA conversacional de cara al cliente.

Resumen

• Monitorice cuatro capas: estado del servicio, comportamiento de los flujos de trabajo, calidad de las respuestas y acciones, y resultados para los usuarios y el negocio. La disponibilidad por sí sola no detecta la mayoría de los fallos que afectan al cliente.
• Registre la trayectoria del agente (llamadas a herramientas, cambios de estado, transferencias), no solo su texto final.
• Utilice un conjunto de métricas: fundamentación en fuentes, seguridad, latencia p95 y coste por tarea completada con éxito, en lugar de una única cifra de calidad.
• Cuando el EU AI Act sea aplicable a un sistema de alto riesgo, los responsables del despliegue deben monitorizar su funcionamiento, asignar la supervisión humana y conservar los registros durante al menos seis meses.
• La monitorización interna muestra lo que el proveedor instrumenta. Las pruebas independientes muestran lo que experimenta el cliente.

Índice

• Qué abarca la monitorización de LLM en producción
• Práctica 1: Trazar la trayectoria completa
• Práctica 2: Medir varias dimensiones, no una única puntuación
• Práctica 3: Establecer umbrales, alertas y controles de deriva que conduzcan a acciones
• Práctica 4: Monitorizar la derivación a personas y la identificación como IA como comportamientos prioritarios
• Práctica 5: Planificar las obligaciones de monitorización del EU AI Act
• Práctica 6: Investigar los fallos sin exponer los datos de los clientes
• Por qué la monitorización interna necesita una verificación independiente
• Convertir la monitorización en un programa repetible
• Cómo facilita Lexic la monitorización independiente
• Preguntas frecuentes
• Fuentes

Qué abarca la monitorización de LLM en producción

La monitorización de LLM consiste en medir de forma continua cómo se comporta una aplicación basada en un modelo de lenguaje una vez que los usuarios reales acceden a ella. En un agente de atención al cliente, esto va más allá de comprobar si la API responde. Una guía práctica sobre el comportamiento de los agentes tras su lanzamiento divide el plan de monitorización en cuatro áreas: estado del servicio (disponibilidad, latencia, errores, tiempos de espera agotados, estado de las dependencias), comportamiento de los flujos de trabajo (pasos, llamadas a herramientas, reintentos, enrutamiento, condiciones de parada), calidad de las respuestas y acciones (respaldo en fuentes, uso correcto de herramientas, cumplimiento de políticas, revisión humana) y resultados (resolución, contactos reiterados, opiniones de los clientes, esfuerzo del personal, coste).

Las cuatro capas fallan de formas distintas. Un servicio puede ser rápido y estar disponible mientras el agente cita una política que no existe. Un flujo de trabajo puede completar todos los pasos y, aun así, impedir que un cliente angustiado llegue a una persona. Cada capa necesita sus propias señales y su propio responsable.

Práctica 1: Trazar la trayectoria completa

Los agentes no son deterministas y pueden ejecutar acciones reales, por lo que comprobar la respuesta final no basta. La IMDA de Singapur, en su guía de iniciación a las pruebas de sistemas agénticos, señala la necesidad de una observabilidad más profunda del proceso del agente, incluidas las interacciones con herramientas, las trayectorias y las aprobaciones humanas. También recomienda registrar acciones, llamadas a herramientas, interacciones, cambios de estado y resultados, de modo que el comportamiento pueda reconstruirse y evaluarse posteriormente.

En la práctica, una traza útil de cada conversación incluye:

1. La entrada del usuario y cualquier contexto recuperado que se haya proporcionado al modelo.
2. El modelo y la versión del prompt o de la política vigentes.
3. Cada llamada a una herramienta, con sus parámetros, resultado y posibles reintentos.
4. Cada decisión de enrutamiento, incluidas las derivaciones a una persona y el resultado de la transferencia.
5. La respuesta final y el resultado de la interacción.

El uso de herramientas concentra el riesgo de los agentes. Un patrón de ejecución y una lista de comprobación para las llamadas a herramientas de agentes en producción son un buen complemento al decidir qué llamadas registrar y qué fallos poner de manifiesto.

Práctica 2: Medir varias dimensiones, no una única puntuación

Una única cifra de calidad oculta las contrapartidas. Las recomendaciones de evaluación en producción coinciden en utilizar un conjunto de métricas. Un marco de Hiro Solutions recomienda dimensiones de calidad, seguridad, fiabilidad y coste, combinando comprobaciones objetivas (ausencia de contenido prohibido, respuesta dentro de un tiempo máximo, llamada a herramienta completada con éxito) con comprobaciones cualitativas (exhaustividad, pertinencia, tono, fundamentación factual). También prioriza el coste basado en resultados, como el coste por tarea completada con éxito, y las tasas de superación de umbrales de latencia en la cola de la distribución frente a las medias.

Un conjunto inicial viable:

• Fundamentación en fuentes y tasa de alucinaciones. Proporción de respuestas que contienen afirmaciones no respaldadas por el contexto proporcionado o por fuentes aprobadas.
• Éxito de la tarea. Si se completó la tarea que el cliente realmente necesitaba realizar, no solo si se generó una respuesta.
• Cumplimiento de políticas. Cumplimiento de las normas de información al usuario, reembolsos, privacidad y derivación.
• Eventos de seguridad. Activaciones de salvaguardas, intentos de inyección de prompts, alertas de toxicidad, filtraciones de datos personales y cambios inesperados en la tasa de rechazo, incluido el rechazo excesivo.
• Latencia. p50 y p95, además de la proporción de respuestas que superan el tiempo máximo establecido.
• Coste por tarea completada con éxito. Más informativo que el coste por llamada, porque los intentos fallidos también cuestan dinero.

La revisión humana sigue siendo necesaria para evaluar los matices. La guía de GrowthBook sobre la medición de la calidad de las respuestas de IA afirma que la revisión humana es el único método que evalúa de forma fiable dimensiones como el tono, la utilidad con matices y la seguridad. El mejor uso de la puntuación automatizada es identificar las conversaciones que merecen el tiempo de un revisor.

Para obtener una visión más amplia de cómo se comportan estas dimensiones en la infraestructura, esta panorámica sobre la optimización del rendimiento de LLM en producción aborda la monitorización desde la perspectiva del despliegue.

Práctica 3: Establecer umbrales, alertas y controles de deriva que conduzcan a acciones

Un panel de control sobre el que nadie actúa no es monitorización. Cada métrica necesita un umbral, un responsable y una respuesta definida.

• Eventos de tolerancia cero. Las filtraciones de datos personales y las infracciones de seguridad confirmadas deben generar una alerta inmediata y abrir un incidente.
• Alertas por cambios en las tasas. Genere alertas ante variaciones, no solo ante valores absolutos: un aumento de las detecciones de inyección de prompts, un cambio en la tasa de rechazo o un repunte de los fallos de derivación.
• Controles de deriva. Compare los temas actuales de las entradas, la calidad de la recuperación de información y las distribuciones de puntuaciones con una referencia tras cada cambio de modelo, prompt o base de conocimiento.
• Controles previos al lanzamiento. Vuelva a ejecutar el conjunto de evaluación antes de que los cambios lleguen a producción y, después, revise una muestra de conversaciones en curso.
• Muestreo para revisión. Remita las conversaciones con puntuaciones bajas, de alto riesgo o de alto valor a revisores humanos con una periodicidad fija.

El patrón para convertir los hallazgos en correcciones es común a todas las herramientas: utilice la monitorización para detectar patrones, aplique el criterio humano para identificar la causa raíz y, después, dirija recomendaciones concretas a quienes puedan modificar el artículo de conocimiento, el procedimiento o la regla responsables. Los hallazgos que identifican un origen corregible se cierran. Los que se limitan a decir «la calidad ha bajado», no.

Práctica 4: Monitorizar la derivación a personas y la identificación como IA como comportamientos prioritarios

La mayoría de los programas de monitorización supervisan la exactitud y la latencia. A menudo se omiten dos comportamientos de cara al cliente: si el agente transfiere la conversación a una persona cuando debe hacerlo y si informa al cliente de que está hablando con una IA.

Las auditorías de Lexic muestran por qué esto importa. Entre los agentes evaluados, el 85% no derivó adecuadamente los problemas a un representante humano. Esta cifra procede del trabajo de auditoría de Lexic, no de una referencia sectorial publicada, y muestra cómo un agente técnicamente operativo puede seguir fallando al cliente en el momento más importante.

Monitorice estos aspectos de forma explícita:

• Desencadenantes de derivación: solicitudes explícitas de hablar con una persona, intentos fallidos reiterados, reclamaciones, señales de vulnerabilidad del cliente y solicitudes fuera del ámbito del agente.
• Calidad de la transferencia: si se transfiere el contexto, si el cliente debe esperar y si la persona puede resolver el problema.
• Identificación como IA: si el agente se identifica como IA cuando es obligatorio y si lo hace de forma coherente en todos los canales.

Práctica 5: Planificar las obligaciones de monitorización del EU AI Act

Las empresas que despliegan agentes de IA para clientes en la UE, incluidas las estadounidenses que acceden al mercado, deben determinar cómo se encuadran sus sistemas en el Reglamento (UE) 2024/1689. Que un agente concreto sea de alto riesgo depende de su caso de uso, por lo que la clasificación es el primer paso. Para los sistemas de alto riesgo, el texto consolidado del reglamento en EUR-Lex establece lo siguiente:

• Transparencia (artículo 13). Las instrucciones de uso deben permitir a los responsables del despliegue interpretar adecuadamente los resultados del sistema.
• Supervisión humana (artículo 14). Las personas físicas deben poder supervisar eficazmente el sistema durante su uso mediante herramientas de interfaz persona-máquina adecuadas.
• Seguimiento posterior a la comercialización (artículo 72). Los proveedores deben establecer y documentar un sistema de seguimiento activo, basado en un plan de seguimiento incluido en la documentación técnica, para evaluar el cumplimiento continuo durante toda la vida útil del sistema.

Las obligaciones de los responsables del despliegue se resumen en el artículo 26 en el servicio Better Regulation: seguir las instrucciones de uso, asignar la supervisión humana a personas competentes, formadas y autorizadas, monitorizar el funcionamiento, informar de los riesgos a los proveedores y a las autoridades de vigilancia del mercado, suspender el uso cuando sea necesario y notificar inmediatamente los incidentes graves. Las orientaciones jurídicas sobre el artículo 26 confirman la obligación de conservación de registros: los registros generados automáticamente por el sistema y bajo el control del responsable del despliegue deben conservarse durante al menos seis meses, salvo que otra legislación disponga lo contrario.

La consecuencia práctica es que las evidencias de monitorización también sirven como evidencias de cumplimiento. Los registros, las actas de revisión y las notas sobre medidas correctivas deben organizarse de modo que un regulador, auditor o proveedor pueda seguir su trazabilidad.

Práctica 6: Investigar los fallos sin exponer los datos de los clientes

Cuando un agente falla, la investigación necesita la conversación completa, que a menudo contiene datos personales. Dos controles permiten gestionar esta situación.

Primero, limite y proteja los datos. Oculte los identificadores personales en las trazas almacenadas cuando la investigación no los necesite, restrinja el acceso a los revisores con una necesidad definida y ajuste el periodo de conservación a la legislación aplicable, incluido el mínimo de seis meses indicado anteriormente cuando sea aplicable el AI Act. Cuando la investigación requiera datos identificables, documente quién accedió a ellos y por qué.

Segundo, conserve evidencias sólidas. Registre las versiones del modelo, del prompt y de las políticas, las marcas temporales, la conversación exacta y las medidas correctivas adoptadas. Una evidencia cuya integridad no pueda demostrarse tiene poco peso en una disputa con un proveedor o en una revisión regulatoria. El enfoque de Lexic utiliza funciones hash criptográficas de terceros para verificar la integridad de las evidencias y respaldar su trazabilidad.

Un registro sencillo de incidentes incluye:

1. Qué ocurrió, con la referencia de la conversación.
2. Qué capa falló: servicio, flujo de trabajo, calidad o resultado.
3. La causa raíz, como un artículo de conocimiento desactualizado, una regla de derivación ausente o un error de una herramienta.
4. La corrección y su responsable.
5. El resultado de la nueva prueba que confirma la corrección.

Por qué la monitorización interna necesita una verificación independiente

Los paneles de los proveedores y la observabilidad interna miden aquello para lo que se diseñó su instrumentación. Informan sobre las trazas que genera el sistema. No revelan necesariamente lo que experimenta un cliente desde fuera: un agente que nunca ofrece hablar con una persona, no informa de su naturaleza o puede ser persuadido para incumplir sus instrucciones puede parecer correcto en todas las métricas internas.

Una evaluación independiente interactúa con el agente como lo haría un usuario real y abarca la experiencia del cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo. También aporta a las organizaciones evidencias para exigir responsabilidades a los proveedores cuando un tercero desarrolla y aloja el agente.

Perspectiva

Creamos Lexic a partir de una observación: monitorizar al agente desde dentro y evaluarlo desde fuera son trabajos distintos, y las organizaciones necesitan ambos.

Las herramientas internas indican si el sistema funcionó. No pueden determinar fácilmente si la conversación atendió las necesidades del cliente, si el agente derivó el caso cuando debía o si cumplió las normas aplicables al mercado. Nuestras auditorías, que detectaron que el 85% de los agentes evaluados no derivaba los casos adecuadamente, muestran esta brecha con claridad.

Por eso Lexic Compass evalúa agentes de cualquier proveedor mediante interacciones reales y genera evidencias sobre las que los equipos pueden actuar, con funciones hash criptográficas para respaldar su integridad. Combinamos esta evaluación con el análisis de las conversaciones de los clientes a través de Lexic Pulse, de modo que la supervisión del agente se vincule a las necesidades reales de los clientes. Las organizaciones que gobiernan sus agentes de IA con evidencias independientes mantienen el control a medida que amplían sus despliegues.

Sergio Llorens

Convertir la monitorización en un programa repetible

Un programa de monitorización duradero sigue una cadencia.

1. Defina el alcance. Enumere todos los agentes de cara al cliente, sus proveedores, sus canales y su exposición al mercado de la UE.
2. Establezca el conjunto de métricas. Elija las dimensiones anteriores y asigne un responsable a cada una.
3. Instrumente las trazas. Capture las trayectorias, las versiones y los resultados.
4. Establezca una referencia. Mida el comportamiento actual antes de endurecer los umbrales.
5. Revise semanalmente. Examine una muestra de las conversaciones señaladas, asigne correcciones y confírmelas mediante nuevas pruebas.
6. Audite de forma independiente. Realice pruebas desde la perspectiva del cliente en el lanzamiento, tras cambios importantes y con una periodicidad establecida.
7. Conserve las evidencias. Mantenga organizados los registros, las revisiones y la documentación de medidas correctivas para auditores y reguladores.

Cómo facilita Lexic la monitorización independiente

Lexic Compass es la plataforma de auditoría de agentes de IA: evalúa de forma independiente agentes de IA conversacional de cualquier proveedor e identifica puntos ciegos en la experiencia del cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo, incluidos problemas que la monitorización tradicional puede pasar por alto. Las modalidades de contratación incluyen Flash Preview, Audit Sprint y Enterprise Continuous Trust, descritas en la página de auditoría de Compass. Los detalles de la plataforma están disponibles en la página de Lexic Compass.

Para analizar el 100% de las conversaciones de los clientes en llamadas, chats, correos electrónicos y tickets, con información sobre sentimiento, abandono y oportunidades, consulte Lexic Pulse.

Preguntas frecuentes

¿Cuál es la diferencia entre la monitorización y la observabilidad de LLM?

La monitorización supervisa métricas definidas y genera alertas cuando superan los umbrales, como ocurre con la latencia, las tasas de error o la tasa de alucinaciones. La observabilidad añade las trazas y los registros necesarios para explicar por qué ocurrió algo. Los equipos de producción suelen necesitar ambas, porque una alerta solo resulta útil cuando se puede reconstruir la causa.

¿Qué métricas son más importantes para un agente de atención al cliente?

Empiece por el éxito de la tarea, la fundamentación en fuentes, el cumplimiento de políticas, los eventos de seguridad, la latencia p95 y el coste por tarea completada con éxito. Añada el comportamiento de derivación y de identificación como IA, ya que estos determinan si los clientes llegan a una persona y saben que están hablando con una IA. Ninguna cifra aislada sustituye al conjunto.

¿Durante cuánto tiempo deben conservarse los registros de LLM?

Depende de la legislación aplicable y de la política interna. Para los responsables del despliegue de sistemas de alto riesgo sujetos al EU AI Act, los registros bajo su control deben conservarse durante al menos seis meses, salvo que otra legislación disponga lo contrario. El asesoramiento jurídico debe confirmar el periodo para cada sistema y jurisdicción.

¿Debe una empresa estadounidense cumplir el EU AI Act?

Puede estar obligada a hacerlo si despliega o proporciona sistemas de IA en el mercado de la UE. Las obligaciones dependen de la clasificación de riesgo del sistema y del papel de la empresa como proveedor o responsable del despliegue. Primero clasifique cada agente y, después, determine las obligaciones correspondientes.

Fuentes

• Monitorizar el comportamiento de los agentes de IA tras su lanzamiento
• Guía de iniciación a las pruebas de sistemas agénticos, IMDA
• Métricas de evaluación de resultados de IA: calidad, seguridad y coste
• Cómo medir la calidad de los resultados de IA
• Texto consolidado del Reglamento (UE) 2024/1689, EUR-Lex
• Artículo 26: Obligaciones de los responsables del despliegue, Better Regulation
• Artículo 26, AI Navigator de Mishcon de Reya
• Llamadas a herramientas de agentes: patrón de ejecución y lista de comprobación para producción
• Optimización del rendimiento de LLM