El filtrado de contenido tóxico consiste en detectar y bloquear de forma automatizada el lenguaje abusivo, de odio, de acoso o de otro modo perjudicial en las entradas de los usuarios y las salidas generadas por la IA. Para las empresas que utilizan agentes de IA conversacional en atención al cliente, un filtro es una salvaguarda, no una garantía. Reduce la exposición, pero su exactitud en condiciones reales depende del contexto, el idioma y la configuración, y debe someterse a pruebas y documentarse como cualquier otro control.
Esta guía explica qué detectan los filtros de toxicidad, dónde fallan, cómo medir su rendimiento en producción y qué evidencias deben conservar los equipos de cumplimiento normativo.
En resumen
- El filtrado de contenido tóxico clasifica las instrucciones y las respuestas según categorías de daño y bloquea o marca aquello que supera un umbral establecido.
- Los filtros cometen dos tipos de errores: falsos positivos que bloquean a clientes legítimos y falsos negativos que dejan pasar contenido perjudicial. Ambos tienen un coste empresarial.
- La investigación muestra que las predicciones de toxicidad pueden cambiar sustancialmente cuando se añade contexto conversacional o se parafrasea un mensaje, por lo que los conjuntos de pruebas estáticos no bastan.
- La gobernanza combina detección automatizada, revisión humana de los casos que requieren matices, pruebas por proveedor y conservación de evidencias.
- Lexic Compass audita agentes de IA conversacional de cualquier proveedor interactuando con ellos como lo harían usuarios reales.
Índice
- Qué implica el filtrado de contenido tóxico para los agentes de IA
- Por qué se equivocan los filtros
- Cómo probar los filtros de contenido tóxico antes y después del lanzamiento
- Qué hacer cuando un filtro bloquea una interacción legítima
- Qué hacer cuando un filtro no detecta contenido perjudicial
- Gobernanza de los filtros de toxicidad entre agentes y proveedores
- Contexto normativo: EU AI Act y directrices estadounidenses
- Nuestra perspectiva
- Cómo contribuye Lexic a la supervisión del contenido tóxico
- Una lista de comprobación práctica para empezar
- Preguntas frecuentes
- Fuentes
Qué implica el filtrado de contenido tóxico para los agentes de IA
En un entorno de atención al cliente, un filtro de toxicidad se sitúa entre el cliente y el modelo, entre el modelo y el cliente, o en ambos puntos. Asigna al texto una puntuación según su potencial dañino y aplica una regla: permitir, marcar, reformular o bloquear.
Las categorías varían según la herramienta, pero la mayoría cubre un conjunto similar:
- Odio y acoso: ataques a grupos por su identidad, intimidación e insultos personales.
- Violencia y amenazas: contenido que describe, fomenta o amenaza con causar daños físicos.
- Contenido sexual: material explícito o lenguaje sexual no deseado.
- Autolesiones: contenido sobre autolesiones o suicidio, que normalmente requiere una vía de derivación y no solo un bloqueo.
- Intentos de elusión de restricciones y manipulación: instrucciones diseñadas para llevar al agente a traspasar sus propias reglas. Suelen gestionarse mediante un control independiente, pero se ajustan junto con los filtros de toxicidad.
Algunos servicios de seguridad en la nube de uso extendido puntúan cada categoría en una escala de gravedad y permiten a la organización que los despliega establecer un umbral por categoría. Ese diseño resulta útil, pero también significa que dos empresas que utilizan el mismo modelo pueden obtener comportamientos muy distintos en condiciones reales. El umbral es una decisión empresarial y debe documentarse como tal.
Entradas frente a salidas
El filtrado de entradas evalúa lo que el cliente ha escrito o dicho. Protege al agente frente al abuso y la manipulación, y puede activar una intervención para reducir la tensión o una derivación cuando un cliente está enfadado.
El filtrado de salidas evalúa lo que el agente está a punto de decir. Protege al cliente y a la marca frente a un agente que produce lenguaje ofensivo, sesgado o inseguro. En un agente de IA, el filtrado de salidas es donde se concentra el riesgo para la marca, porque la empresa es responsable de lo que dice su agente.
Dónde encajan los filtros en el conjunto de controles de seguridad
Un filtro de toxicidad es una capa. Un conjunto habitual de controles en producción también incluye:
- Diseño de instrucciones e instrucciones del sistema que establecen el tono y el alcance.
- Salvaguardas contra la inyección de instrucciones y las filtraciones de datos.
- Restricciones temáticas y de políticas, como no ofrecer asesoramiento jurídico o médico.
- Lógica de derivación que transfiere la conversación a una persona.
- Registro y monitorización.
Un filtro que funciona bien de forma aislada puede seguir dejando una experiencia del cliente deficiente si fallan las otras capas. Un mensaje bloqueado sin un siguiente paso claro, por ejemplo, constituye un fallo del servicio aunque el filtro haya hecho exactamente aquello para lo que se configuró.
Por qué se equivocan los filtros
Todo clasificador busca un equilibrio entre dos errores. Un falso positivo bloquea un mensaje que era inocuo. Un falso negativo deja pasar un mensaje perjudicial. Reducir uno tiende a aumentar el otro. Esta introducción a la puntuación F1 en la evaluación de IA ofrece una explicación general de este equilibrio mediante la precisión y la exhaustividad, y señala que la detección de toxicidad es una tarea de clasificación en la que estas métricas se corresponden directamente con el riesgo operativo.
El contexto cambia la respuesta
Las mismas palabras pueden ser inocuas en una conversación y abusivas en otra. Un cliente que escribe una queja contundente sobre una entrega fallida no es lo mismo que un cliente que dirige insultos a un agente; sin embargo, los filtros basados en palabras clave o en frases aisladas suelen tratarlos de la misma manera.
Un estudio académico de 2026, ¡Sin conversación! La ilusión de fiabilidad en la detección de toxicidad en línea, registró tasas de cambio de predicción de hasta el 40% al añadir contexto conversacional, y de hasta el 57% tras aplicar paráfrasis que conservaban el significado. La lectura práctica para una empresa: un filtro que obtiene una buena puntuación en una prueba de referencia con frases aisladas puede comportarse de otro modo en conversaciones reales con varios turnos, y reformular un mensaje sin cambiar su significado puede alterar el resultado.
Idioma, dialecto y ámbito
Los filtros entrenados principalmente con una variedad del inglés pueden interpretar mal otras variedades, la jerga, los términos reapropiados y el vocabulario sectorial. Los ámbitos de atención al cliente aportan sus propios ejemplos:
- Un agente de recobros que habla de «matar» una cuenta o una deuda.
- Un asistente sanitario que aborda factores de riesgo de autolesión con un paciente o cuidador.
- Un bot de soporte de videojuegos que maneja la jerga de la comunidad.
- Clientes multilingües que cambian de idioma a mitad de la conversación.
Cada uno de estos casos puede generar falsos positivos, y cada uno puede ocultar falsos negativos cuando el abuso aparece en un idioma que el filtro maneja peor.
Las necesidades de los clientes difieren
Un servicio educativo infantil, un banco y una comunidad de videojuegos establecerán umbrales distintos. No existe una configuración correcta universal. La configuración correcta es la que se ajusta a la política de la empresa, a sus clientes y a sus obligaciones legales, y cuyo ajuste puede demostrarse con evidencias.
Cómo probar los filtros de contenido tóxico antes y después del lanzamiento
Probar un filtro significa probar el agente completo tal como lo experimentaría un cliente, no solo el clasificador. Un programa viable consta de cinco partes.
1. Crear un conjunto de pruebas representativo
Combine patrones de conversación reales con casos límite diseñados específicamente. Incluya:
- Abuso evidente y peticiones claramente educadas, como controles.
- Quejas que expresan frustración, pero son legítimas.
- Términos sectoriales que parecen perjudiciales fuera de contexto.
- Paráfrasis del mismo mensaje, ya que una reformulación que conserva el significado puede cambiar el comportamiento del filtro.
- Conversaciones con varios turnos en las que el daño aumenta gradualmente.
- Mensajes en cada idioma y dialecto que utilicen sus clientes.
2. Medir ambos tipos de error
Haga un seguimiento, como mínimo, de estas métricas, por categoría e idioma:
| Métrica | Qué indica | Por qué importa para la atención al cliente |
|---|---|---|
| Tasa de falsos positivos | Proporción de mensajes legítimos bloqueados | Ventas perdidas, clientes frustrados, derivaciones |
| Tasa de falsos negativos | Proporción de mensajes perjudiciales permitidos | Exposición a riesgos de marca, jurídicos y de seguridad |
| Precisión y exhaustividad | Equilibrio entre el bloqueo excesivo y la falta de detección de daños | Orienta la elección de umbrales |
| Tasa y exactitud de las derivaciones | Si las conversaciones bloqueadas o de riesgo llegan a una persona | Muestra si la salvaguarda dispone de una alternativa segura |
| Coherencia entre paráfrasis | Si las entradas con significado equivalente obtienen el mismo resultado | Revela fragilidad |
| Coherencia entre turnos | Si el contexto cambia la decisión | Revela falta de sensibilidad al contexto |
Los objetivos que dan más peso a la precisión son adecuados para entornos en los que las falsas alarmas perjudican la experiencia, mientras que los que priorizan la exhaustividad encajan en entornos donde no detectar un caso resulta costoso, como explica la misma introducción a la puntuación F1.
3. Probar la derivación, no solo el bloqueo
Un filtro que bloquea un mensaje pero deja al cliente en un callejón sin salida solo ha desplazado el problema. Las auditorías de Lexic detectaron que el 85% de los agentes evaluados no deriva adecuadamente las incidencias a un representante humano. La derivación es el control que hace seguros todos los demás, por lo que debe probarse de forma explícita: ¿reconoce el agente un intercambio marcado por la angustia o el abuso, y se hace cargo una persona?
4. Repetir las pruebas después de cada cambio
Las actualizaciones del modelo, las modificaciones de las instrucciones, los nuevos idiomas y los nuevos proveedores pueden alterar el comportamiento del filtro sin que este cambie. Vuelva a ejecutar el conjunto de pruebas después de cada cambio y conserve los resultados.
5. Monitorizar en producción
Las pruebas previas al lanzamiento muestran lo que un filtro puede hacer. La monitorización en producción muestra lo que hace. Revise una muestra de conversaciones bloqueadas para detectar falsos positivos y una muestra de conversaciones permitidas para identificar casos no detectados. Los cambios de sentimiento, las reformulaciones repetidas por parte de los clientes y las conversaciones abandonadas tras un bloqueo son señales que conviene utilizar para generar alertas.
Qué hacer cuando un filtro bloquea una interacción legítima
Un cliente bloqueado necesita una vía rápida y concreta para continuar. Esta es una secuencia de respuesta recomendada:
- Mostrar un mensaje claro. Indique al cliente que no se ha podido procesar la solicitud y ofrézcale reformularla o hablar con una persona.
- Registrar el evento. Registre la entrada, la categoría activada, la puntuación de gravedad, el umbral y el resultado.
- Enviar a revisión. Envíe una muestra de bloqueos a una persona que pueda etiquetarlos como correctos o incorrectos.
- Ajustar de forma deliberada. Modifique los umbrales o añada términos permitidos del ámbito mediante un proceso de cambios documentado y, a continuación, repita las pruebas.
- Informar al proveedor. Si el filtro pertenece a un proveedor, envíele los ejemplos etiquetados y solicite una corrección o una opción de configuración.
Qué hacer cuando un filtro no detecta contenido perjudicial
Un caso no detectado es un posible incidente. Trátelo como tal.
- Contener. Derive la conversación a una persona y, si el riesgo persiste, restrinja la capacidad correspondiente.
- Recopilar evidencias. Conserve la conversación completa, las marcas de tiempo y la configuración del sistema en ese momento.
- Clasificar. Determine la categoría y la gravedad del contenido, así como si algún cliente necesita seguimiento.
- Corregir y verificar. Actualice la configuración, las instrucciones o los ajustes del proveedor y vuelva a ejecutar el conjunto de pruebas, incluido el nuevo ejemplo y sus paráfrasis.
- Informar internamente. Los equipos de cumplimiento normativo, experiencia del cliente y tecnología deben tener acceso al mismo registro.
Los casos que impliquen autolesiones o amenazas deben seguir el procedimiento de crisis de la empresa y contar con la intervención del personal debidamente formado, no limitarse a una corrección técnica.
Gobernanza de los filtros de toxicidad entre agentes y proveedores
La mayoría de las organizaciones no utiliza un único agente. Utiliza varios, de distintos proveedores, cada uno con su propio filtro y su propio criterio sobre el contenido aceptable. La gobernanza debe abarcar a todos ellos.
Las directrices de Digital Trust & Safety Partnership para los equipos de confianza y seguridad indican que la IA y la automatización deben combinar la detección automatizada con la revisión humana de los casos que requieren matices, y que los equipos deben seguir evaluando el rendimiento y colaborar entre funciones. Para los agentes de IA que interactúan con clientes, esto se traduce en algunas prácticas concretas:
- Una política, muchos agentes. Defina una sola vez el contenido aceptable e inaceptable y después evalúe cada agente con arreglo a esa política.
- Responsables designados. Asigne a cada agente una persona de experiencia del cliente, otra de cumplimiento normativo y otra de ingeniería.
- Verificación independiente. Los paneles de los proveedores describen lo que estos miden. Una evaluación independiente muestra lo que los clientes experimentan realmente.
- Cláusulas contractuales. Solicite a los proveedores acceso a la configuración, avisos de cambios y compromisos de notificación de incidentes.
- Conservación de evidencias. Guarde los resultados de las pruebas, los registros de cambios y los registros de incidentes en un formato que pueda presentarse a un auditor.
Contexto normativo: EU AI Act y directrices estadounidenses
No existe una ley titulada «filtrado de contenido tóxico». Las obligaciones proceden de varios marcos normativos, y su aplicación depende de la empresa, el agente y el mercado.
En la UE, el artículo 50 del Reglamento de Inteligencia Artificial aborda la transparencia de determinados sistemas de IA. Los proveedores de sistemas que generan texto sintético deben garantizar que las salidas estén marcadas en un formato legible por máquina y que pueda detectarse que se han generado artificialmente. Para un agente de atención al cliente, esto se suma a la necesidad práctica de informar al cliente de que está hablando con una IA. Los equipos que se preparan para estos requisitos de transparencia del EU AI Act deben identificar las obligaciones aplicables a cada agente y registrar cómo las cumple. Las plataformas también pueden estar sujetas a obligaciones específicas de moderación de contenidos en virtud del Reglamento de Servicios Digitales, por lo que el asesoramiento jurídico debe confirmar qué marcos normativos se aplican a cada servicio.
Para las empresas estadounidenses que entran en Europa, la principal diferencia es estructural. Las directrices estadounidenses sobre riesgos de la IA suelen ser voluntarias o sectoriales, mientras que el EU AI Act es un reglamento vinculante con funciones definidas para proveedores y responsables del despliegue. Una empresa que ya documenta sus pruebas y su supervisión está mejor preparada para responder a cualquiera de estos tipos de requerimientos.
Además, un filtro es solo una parte de las evidencias. Los reguladores y los clientes empresariales suelen preguntar si la empresa puede demostrar cómo se comporta un agente, no solo cómo se diseñó para que se comportara.
Nuestra perspectiva
Los filtros de contenido tóxico suelen evaluarse como clasificadores: una puntuación sobre un conjunto de datos. Los clientes no experimentan clasificadores. Experimentan conversaciones, y en ellas las debilidades de un filtro se manifiestan como quejas bloqueadas, abusos no detectados y derivaciones que nunca se producen.
Por eso auditamos los agentes de IA conversacional desde fuera, como lo haría un usuario real, con independencia del proveedor que los haya desarrollado. Evaluamos conjuntamente la experiencia del cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo, porque un filtro exacto situado ante una vía de derivación que no funciona sigue fallando al cliente.
Nuestras auditorías detectaron que el 85% de los agentes evaluados no deriva adecuadamente las incidencias a un representante humano. Lo interpretamos como una evidencia de que las métricas comunicadas por los proveedores no bastan y de que las organizaciones necesitan una supervisión independiente y continua de sus agentes en producción.
Las evidencias importan tanto como los hallazgos. Utilizamos funciones hash criptográficas de terceros para verificar la integridad de las evidencias de auditoría y respaldar su trazabilidad, de modo que los equipos de cumplimiento normativo puedan utilizarlas en sus conversaciones con proveedores y reguladores.
Sergio Llorens
Cómo contribuye Lexic a la supervisión del contenido tóxico
Lexic Compass es nuestra plataforma de auditoría de agentes de IA. Interactúa con agentes de IA conversacional de cualquier proveedor como lo harían usuarios reales e identifica puntos ciegos en la experiencia del cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo, incluidos problemas que la monitorización tradicional puede pasar por alto. Los hallazgos están concebidos para ayudar a las organizaciones a gobernar los agentes en producción y exigir responsabilidades a los proveedores.
Los servicios están disponibles en las modalidades Vista previa rápida, Sprint de auditoría o Confianza continua empresarial, descritas en la página de auditoría de Compass. Los precios no se publican, por lo que esa página es el punto de partida.
Para los equipos que también quieren aprender de lo que dicen los clientes, Lexic Pulse analiza el 100% de las conversaciones con clientes en llamadas, chats, correos electrónicos y tickets, con análisis de sentimiento, urgencia y alertas inmediatas. Conecta la supervisión de los agentes de IA con una visión más clara de los puntos de fricción para el cliente.
Una lista de comprobación práctica para empezar
Utilice esta lista para evaluar el estado de sus propios filtros:
- ¿Existe una política escrita que defina el contenido inaceptable para cada agente que interactúa con clientes?
- ¿Están documentados los umbrales, con un responsable designado y una justificación para cada ajuste?
- ¿Se ha probado cada agente con paráfrasis, conversaciones con varios turnos y todos los idiomas que utilizan los clientes?
- ¿Se miden por separado los falsos positivos y los falsos negativos?
- ¿Dispone toda conversación bloqueada o de alto riesgo de una vía probada de derivación a una persona?
- ¿Se registran los cambios en los filtros y se repiten las pruebas después?
- ¿Puede presentar las evidencias a un auditor, a un regulador o en una revisión del proveedor?
Si varias respuestas son negativas, empiece por la derivación y la conservación de evidencias. Permiten medir cualquier otra mejora.
Preguntas frecuentes
¿Qué es el filtrado de contenido tóxico?
Es la detección automatizada de lenguaje perjudicial, como odio, acoso, amenazas, contenido sexual y autolesiones, en texto, audio u otras entradas y salidas. En los agentes de IA, se aplica a lo que envían los clientes y a lo que responde el agente. Se asigna una puntuación a cada mensaje y una regla decide si se permite, se marca o se bloquea.
¿Por qué bloquea mensajes inocuos un filtro de toxicidad?
Los filtros puntúan el lenguaje de forma estadística, y el contexto, el dialecto, la jerga y los términos sectoriales pueden hacer que un mensaje inocuo supere un umbral. La investigación académica indica que las predicciones pueden cambiar al añadir contexto o parafrasear un mensaje. Revisar muestras de mensajes bloqueados y ajustar los umbrales mediante un proceso documentado reduce estos falsos positivos.
¿Cómo se mide si un filtro funciona?
Mida los falsos positivos y los falsos negativos por separado, por categoría e idioma, y utilice la precisión y la exhaustividad para orientar los umbrales. Añada pruebas de paráfrasis, conversaciones con varios turnos y derivación a una persona. Repítalas después de cada cambio de modelo, instrucciones o proveedor.
¿Regula directamente el EU AI Act el filtrado de contenido tóxico?
No con ese nombre. El artículo 50 establece obligaciones de transparencia para determinados sistemas de IA, incluido el marcado de las salidas de texto sintético en un formato legible por máquina. Otras normas, como el Reglamento de Servicios Digitales, pueden aplicarse según el servicio. El asesoramiento jurídico debe confirmar qué obligaciones se aplican a cada agente.
¿Quién debe responsabilizarse de la supervisión de los filtros en una empresa?
La responsabilidad debe ser compartida y estar asignada de forma explícita: experiencia del cliente para el impacto en los clientes, cumplimiento normativo para las obligaciones y las evidencias, e ingeniería para la configuración y la monitorización. Las pruebas independientes proporcionan a los tres equipos los mismos hechos.
Fuentes
- ¡Sin conversación! La ilusión de fiabilidad en la detección de toxicidad en línea (AACL Findings 2026)
- Reglamento (UE) 2024/1689, texto consolidado (EUR-Lex)
- Buenas prácticas para la IA y la automatización en confianza y seguridad (Digital Trust & Safety Partnership)
- Puntuación F1 en la evaluación de IA: cómo equilibrar precisión y exhaustividad
- Transparencia del EU AI Act