Privacidad en los chatbots: riesgos, vías de filtración y salvaguardias

La privacidad en los chatbots se reduce a tres preguntas: qué datos recibe el chatbot, adónde van esos datos después y si alguien ha verificado las respuestas. Los chatbots recopilan lo que escriben los usuarios, pueden inferir más de lo que estos revelan y pueden transmitir datos a servidores, servicios de analítica y sesiones de otros usuarios. Las organizaciones que los despliegan siguen siendo responsables de esos datos. La forma fiable de gestionar el riesgo consiste en definir la finalidad y los límites antes del lanzamiento, restringir lo que entra en el sistema y comprobar continuamente su comportamiento efectivo.

Esta guía está dirigida a directivos, equipos de cumplimiento normativo y responsables técnicos que gestionan chatbots o agentes de IA en las interacciones con clientes. Explica qué recopilan los chatbots, cómo se producen las filtraciones, qué obligaciones se aplican, qué salvaguardas funcionan y cómo auditar un agente en producción.

Resumen

• Los chatbots recopilan el contenido escrito y pueden inferir atributos como la edad, el género y los ingresos. Las filtraciones se producen al compartir datos con terceros, mediante inyección de prompts, por controles deficientes de las bases de conocimiento y cuando los empleados pegan datos sensibles en herramientas.
• Los reguladores consideran los datos de los chatbots como datos personales sujetos a regulación. La FTC, las autoridades de protección de datos de la UE y los reguladores de Australia y Kenia han publicado orientaciones o criterios de aplicación de la normativa.
• El EU AI Act exige informar a las personas cuando interactúan con un sistema de IA, algo relevante para las empresas estadounidenses que atienden a clientes europeos.
• Las salvaguardas eficaces combinan minimización de datos, diligencia debida sobre proveedores, controles de acceso, registro de actividad, derivación a una persona y pruebas independientes del comportamiento en funcionamiento.
• Una política sobre el papel no constituye una prueba. Las organizaciones necesitan evidencias de cómo se comporta realmente el agente desplegado.

Índice

• Qué recopilan, infieren y conservan los chatbots
• Cómo se producen las filtraciones de datos en chatbots
• Los principales riesgos para la privacidad en las interacciones con clientes
• Obligaciones legales y de transparencia por jurisdicción
• Salvaguardas que reducen el riesgo para la privacidad en chatbots
• Cómo probar y auditar chatbots en producción
• Perspectiva: el aseguramiento debe ser independiente
• Cómo contribuye Lexic al aseguramiento de la privacidad en chatbots
• Si un chatbot expone datos personales
• Preguntas frecuentes
• Fuentes

Qué recopilan, infieren y conservan los chatbots

Los datos evidentes son todo lo que escribe un usuario: nombres, números de cuenta, información sanitaria, reclamaciones. Los menos evidentes son los que el sistema deduce o captura en torno a ese contenido.

Una auditoría académica de asistentes de navegador basados en IA generativa detectó que algunos recopilaban contenido de páginas web y datos introducidos en formularios, incluidos historiales médicos y académicos y números de la Seguridad Social. Algunos también inferían atributos como la edad, el género, los ingresos y los intereses, personalizaban las respuestas entre distintos contextos de navegación y conservaban historiales de chat en el almacenamiento del navegador (¿Gran ayuda o Gran Hermano? Auditoría del seguimiento, la elaboración de perfiles y la personalización en asistentes de IA generativa). Ese estudio abarca asistentes de navegador, pero el patrón se aplica a cualquier chatbot: los datos recopilados van más allá de los que el usuario cree haber proporcionado.

La inferencia importa tanto desde el punto de vista jurídico como ético. El regulador australiano de privacidad señala que generar o inferir información personal constituye una recogida de datos conforme al Principio Australiano de Privacidad 3. Esta debe ser razonablemente necesaria y realizarse por medios lícitos y leales; además, la información sensible generalmente requiere consentimiento (Orientaciones de la OAIC sobre productos de IA disponibles comercialmente). Por tanto, un chatbot que deduce el estado de salud de un cliente a partir de sus preguntas puede estar recopilando datos sensibles.

El uso secundario es la tercera cuestión. En octubre de 2025, una coalición de 36 organizaciones escribió a la FTC sobre el anuncio de Meta de que, a partir del 16 de diciembre de 2025, utilizaría las interacciones con sus chatbots de IA para personalizar la publicidad y el contenido (Carta de la coalición de EPIC). El episodio muestra cómo los datos de las conversaciones, una vez recopilados, pueden destinarse a fines que los usuarios no esperaban.

Cómo se producen las filtraciones de datos en chatbots

Una filtración rara vez responde a un único fallo. Se produce por varias vías distintas, y cada una necesita su propio control.

Intercambio de datos con servidores y terceros

La misma auditoría académica constató que los datos pueden salir del dispositivo cuando los asistentes envían contenido de páginas web o datos de formularios a los servidores de sus proveedores, y que algunos comparten prompts e identificadores con servicios de analítica de terceros (Auditoría publicada en arXiv). Para una empresa que despliega un chatbot de atención al cliente, la pregunta equivalente es qué subencargados del tratamiento, herramientas de analítica y proveedores de modelos reciben la conversación.

Inyección de prompts y extracción

La inyección de prompts se produce cuando una entrada diseñada a tal efecto hace que un modelo ignore sus instrucciones. Entre las consecuencias puede estar la revelación de información personal o empresarial. La divulgación de información sensible y la inyección de prompts ocupan el primer y el segundo puesto en la lista de OWASP de principales riesgos de las aplicaciones con LLM (Resumen de los 10 principales riesgos de OWASP para LLM). El Supervisor Europeo de Protección de Datos (SEPD) señala que los sistemas de IA generativa pueden amplificar los riesgos sistémicos y crear nuevos canales de transmisión. Su postura es que los controles de seguridad deben abordar vulnerabilidades como la inyección de prompts y la inversión de modelos, y no basarse únicamente en la seguridad informática tradicional (Orientaciones del SEPD sobre IA generativa, octubre de 2025).

La Autoridad Neerlandesa de Protección de Datos (AP) y la autoridad de consumo ACM añaden una consideración práctica: los actores maliciosos pueden llegar a extraer información confidencial a través de las respuestas de los chatbots (Declaración de la AP y la ACM sobre los chatbots en la atención al cliente).

Exposición de la base de conocimiento

Muchos agentes de atención al cliente utilizan generación aumentada por recuperación (RAG), mediante la cual el modelo obtiene respuestas de documentos internos. Si esos documentos contienen datos personales y no se delimita el acceso, el agente puede mostrarlos a la persona equivocada. Tanto el SEPD como el NIST recomiendan probar los sistemas RAG para confirmar que no filtran datos personales de sus bases de conocimiento (Orientaciones del SEPD).

Empleados que pegan datos en herramientas

No toda filtración es un ataque técnico. La autoridad neerlandesa ha advertido de que la introducción por parte del personal de datos sensibles, como historiales de pacientes o direcciones de clientes, en chatbots de IA en contra de la política de la empresa puede constituir una violación de la seguridad de los datos personales conforme al RGPD (Orientaciones del SEPD, que citan a la autoridad neerlandesa).

Deriva del comportamiento en producción

Un agente que superó las pruebas previas al lanzamiento puede comportarse de otra forma tras un cambio de prompt, una actualización del modelo o una nueva integración. Las vías de filtración que estaban cerradas pueden reabrirse sin que la supervisión convencional emita ninguna alerta.

Los principales riesgos para la privacidad en las interacciones con clientes

Las dos últimas filas son cuestiones de privacidad y confianza tanto como de servicio. Las autoridades neerlandesas señalan que las organizaciones que utilizan chatbots deben seguir ofreciendo la opción de hablar con un empleado (AP y ACM). Las propias auditorías de Lexic constataron que el 85% de los agentes evaluados no derivaban adecuadamente las incidencias a un representante humano, lo que indica la frecuencia con la que falla esta salvaguarda en la práctica.

Obligaciones legales y de transparencia por jurisdicción

No existe una única ley que regule la privacidad en los chatbots. Las obligaciones dependen de dónde se encuentren los clientes, no de dónde tenga su sede la empresa.

Estados Unidos. No existe una ley federal general de privacidad, pero la FTC aplica la legislación vigente de protección de los consumidores. Ha señalado que las empresas de modelos como servicio pueden incurrir en responsabilidad por utilizar de forma encubierta los datos de sus clientes para entrenar o actualizar modelos, y ha exigido la eliminación de productos, incluidos modelos y algoritmos, desarrollados con datos de consumidores obtenidos ilícitamente (Blog tecnológico de la FTC, 2024). Por tanto, las promesas de privacidad formuladas en el aviso o la publicidad de un chatbot deben corresponderse con lo que el sistema hace realmente.

Unión Europea. El RGPD se aplica a los datos personales tratados por chatbots. El SEPD aconseja a las instituciones de la UE evaluar a los proveedores de IA generativa, obtener la documentación pertinente y formalizar un contrato de encargo del tratamiento cuando un proveedor trate datos personales por cuenta de ellas (Orientaciones del SEPD). Estas orientaciones se dirigen a las instituciones de la UE, pero describen una diligencia debida que puede seguir cualquier responsable del tratamiento. En caso de brechas, las organizaciones deben notificar a la autoridad de control del Estado miembro correspondiente y, en determinados casos, a las personas afectadas (Resumen de Alston & Bird sobre la advertencia de la autoridad neerlandesa).

El EU AI Act añade obligaciones de transparencia. Conforme al artículo 50, los proveedores de chatbots y asistentes virtuales deben diseñarlos de modo que se informe a los usuarios de que están interactuando con IA (Guía práctica del artículo 50). Las empresas estadounidenses que atienden a clientes europeos quedan dentro del ámbito de aplicación del Reglamento cuando sus sistemas se utilizan en la UE, por lo que diseñar cómo se informa al usuario forma parte de la entrada en el mercado, no es una cuestión que pueda dejarse para después.

Australia. Además de las normas de recogida de datos anteriores, la OAIC indica que el uso de IA en decisiones con efectos jurídicos o de importancia similar probablemente conlleve un alto riesgo para la privacidad y requiere especial cautela. También recomienda considerar cómo incorporar la supervisión humana al adoptar productos de IA (Orientaciones de la OAIC).

Kenia. Las orientaciones de julio de 2026 de la Oficina del Comisionado de Protección de Datos exigen que las entidades notifiquen al regulador las brechas de datos personales que afecten a sistemas de IA en un plazo de 72 horas. Citan como ejemplos el acceso no autorizado a conjuntos de datos de entrenamiento, los ataques de extracción de modelos y la manipulación adversaria de las salidas (Nota orientativa de la ODPC sobre IA, julio de 2026).

El denominador común es que los reguladores esperan limitaciones de finalidad, información al usuario, vías de atención humana y preparación ante brechas. Las organizaciones que operan en varios mercados deben diseñar sus sistemas conforme al estándar aplicable más estricto y solicitar a sus asesores jurídicos que confirmen qué leyes se aplican a cada despliegue.

Salvaguardas que reducen el riesgo para la privacidad en chatbots

Los siguientes controles reflejan las orientaciones del SEPD, el NIST y la OAIC, ordenadas según la secuencia en la que puede aplicarlas un equipo de despliegue.

1. Defina la finalidad y la base jurídica, y documéntelas. El SEPD aconseja definir la finalidad y la base jurídica del tratamiento mediante IA generativa, documentarlas, evaluar los riesgos y realizar una evaluación de impacto relativa a la protección de datos (EIPD) cuando sea necesario (Orientaciones del SEPD).
2. Aplique la diligencia debida sobre los proveedores. Solicite documentación sobre conservación de datos, uso para entrenamiento, subencargados del tratamiento y seguridad. Formalice un contrato de encargo del tratamiento cuando el proveedor trate datos personales por su cuenta.
3. Etiquete o bloquee los datos sensibles. Las orientaciones del NIST recomiendan aplicar etiquetas o bloqueos para impedir que entre en los sistemas de IA generativa información sensible cuyo uso en ellos no esté autorizado (NIST, Uso seguro de LLM y sistemas de IA generativa).
4. Forme a los empleados. El mismo material del NIST pide orientación y formación para los empleados. El personal debe saber qué no debe pegar nunca en una herramienta externa.
5. Registre y audite la actividad. Audite y registre las actividades de usuarios y aplicaciones para que sea posible reconstruir un incidente.
6. Pruebe RAG y el acceso a las bases de conocimiento. Confirme que la recuperación respeta los permisos y que los datos personales no aparecen en las respuestas a usuarios no autorizados.
7. Mantenga una vía de atención humana. Ofrezca la derivación a una persona y verifique que funciona.
8. Equilibre las técnicas de privacidad con la exactitud. El Marco de Gestión de Riesgos de IA del NIST señala que las tecnologías de mejora de la privacidad, como la anonimización, pueden reducir el riesgo, pero una mayor protección puede reducir la exactitud de las salidas de IA, por lo que el equilibrio debe establecerse según los requisitos del ámbito de aplicación (NIST AI RMF 1.0).

Cómo probar y auditar chatbots en producción

Los controles del 1 al 5 se refieren a documentación y configuración. Los controles 6 y 7 solo pueden confirmarse interactuando con el agente en funcionamiento. Aquí es donde muchos programas presentan una carencia: los paneles de los proveedores muestran su propia visión del agente, y las revisiones internas suelen examinar los prompts y la arquitectura en lugar de los resultados.

Una auditoría en producción debe cubrir, como mínimo:

• Información al usuario. ¿Indica claramente el agente al inicio de la conversación que es una IA y responde con sinceridad cuando se le pregunta?
• Derivación. Cuando un cliente pide hablar con una persona, presenta una reclamación o plantea una solicitud de privacidad, ¿el agente deriva la conversación y se conserva el contexto?
• Gestión de datos. Cuando un usuario proporciona voluntariamente datos sensibles, ¿el agente los minimiza, evita repetirlos innecesariamente y se mantiene dentro de su finalidad declarada?
• Resistencia a ataques adversarios. ¿Resiste el agente la inyección de prompts y las solicitudes de revelar sus instrucciones, datos de otros usuarios o documentos internos?
• Coherencia a lo largo del tiempo. ¿Se mantienen los resultados tras cambios en el modelo, el prompt o las integraciones?
• Evidencias. ¿Se registran los hallazgos en un formato que permita su revisión posterior por parte del equipo de cumplimiento, los reguladores o el proveedor?

Estas comprobaciones deben repetirse, no ejecutarse una sola vez. El perfil de riesgo de un agente cambia cada vez que lo hace su configuración.

Perspectiva: el aseguramiento debe ser independiente

Observamos el mismo patrón en los agentes conversacionales que evaluamos. Las organizaciones cuentan con una política de privacidad, un contrato con el proveedor y un panel de supervisión, pero pocas disponen de evidencias independientes de lo que hace el agente desplegado cuando un cliente real pide hablar con una persona, comparte un dato sensible o intenta sacar al sistema del guion. Por eso, el 85% de los agentes que evaluamos no derivaban adecuadamente las conversaciones.

La supervisión dirigida por el proveedor permite saber si su sistema está funcionando. No permite saber si el agente cumple las obligaciones de su organización. Un programa de privacidad para chatbots necesita un tercero que interactúe con el agente como lo haría un usuario real, cubriendo la experiencia del cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo, y que registre las evidencias de forma que puedan verificarse posteriormente. Utilizamos funciones hash criptográficas de terceros con ese fin, para que los hallazgos sean trazables y pueda comprobarse su integridad.

La consecuencia práctica es la rendición de cuentas. Con evidencias, una empresa puede exigir al proveedor que cumpla sus compromisos, mostrar a un regulador qué ha probado y decidir dónde no debe operar un agente sin supervisión. Sin ellas, la gobernanza se basa en suposiciones.

— Sergio Llorens

Cómo contribuye Lexic al aseguramiento de la privacidad en chatbots

Lexic Compass es una plataforma de auditoría de agentes de IA que evalúa de forma independiente agentes conversacionales de cualquier proveedor, interactuando con ellos como lo harían usuarios reales. Examina la experiencia del cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo, incluidas la gestión de las derivaciones y la información al cliente, y genera hallazgos respaldados por evidencias sobre los que los equipos pueden actuar.

Los servicios están disponibles en las modalidades Flash Preview, Audit Sprint o Enterprise Continuous Trust para una supervisión continua. Los detalles figuran en la página de auditoría de Compass. Los precios no se publican, por lo que el alcance y el coste se acuerdan con el equipo de Lexic.

Para las empresas que también quieren comprender lo que dicen los clientes en llamadas, chats, correos electrónicos y tickets, Lexic Pulse analiza esas conversaciones para detectar sentimiento y señales de abandono y de oportunidad. Los equipos que deseen una visión general de la empresa pueden empezar en lexic.ai.

Si un chatbot expone datos personales

Trátelo como una posible brecha de datos personales desde el primer aviso.

1. Contenga el incidente. Desactive la funcionalidad afectada o derive la atención a una persona, y conserve los registros.
2. Evalúe el alcance. Identifique qué datos se han expuesto, a quién y durante cuánto tiempo.
3. Compruebe las obligaciones de notificación. Conforme a las normas de la UE, debe notificarse a la autoridad de control correspondiente y, en determinados casos, a las personas afectadas (Alston & Bird). Kenia establece un plazo de 72 horas para las brechas relacionadas con IA (ODPC). Otras jurisdicciones y las leyes estatales de Estados Unidos tienen sus propias normas, por lo que debe involucrar de inmediato a sus asesores jurídicos.
4. Involucre al proveedor. Utilice el contrato de encargo del tratamiento y el expediente de diligencia debida para exigir información y medidas correctoras.
5. Repita las pruebas. Confirme mediante interacciones con el agente en funcionamiento que la vía de filtración está cerrada antes de restablecer la funcionalidad.

Preguntas frecuentes

¿Son privadas las conversaciones con chatbots?

No por defecto. Los proveedores pueden almacenar, analizar o compartir conversaciones en función de sus condiciones y ajustes, y la empresa que despliega el chatbot también puede registrarlas. Los usuarios y las organizaciones deben leer las condiciones de conservación de datos y de uso para entrenamiento y ajustar las opciones de privacidad disponibles, sin dar por hecho que cubren todos los usos.

¿Qué es una filtración de datos en un chatbot?

Es la exposición involuntaria de información personal o confidencial a través de un chatbot. Las vías habituales incluyen el intercambio de datos con servicios de terceros, la inyección de prompts, un acceso demasiado amplio a la base de conocimiento y la introducción de datos sensibles por empleados en herramientas externas.

¿Se aplica el EU AI Act a las empresas estadounidenses?

Puede aplicarse. El artículo 50 exige que se informe a las personas cuando interactúan con un sistema de IA, y el Reglamento abarca sistemas utilizados en la UE. Una empresa estadounidense que atienda a clientes europeos debe confirmar sus obligaciones con sus asesores jurídicos y comprobar que su agente se identifica claramente como IA.

¿Cómo puede una empresa comprobar si su chatbot protege la privacidad?

Revise la documentación y los contratos del proveedor y, después, pruebe el agente en funcionamiento. Verifique la información al usuario, la derivación a una persona, la gestión de las entradas sensibles y la resistencia a la inyección de prompts, y repita las pruebas tras cada cambio en el modelo, el prompt o las integraciones.

¿Debe un chatbot ofrecer siempre atención humana?

Los reguladores neerlandeses afirman que las organizaciones que utilizan chatbots deben seguir ofreciendo la opción de hablar con un empleado. Incluso cuando ninguna ley lo exija, una vía de atención humana que funcione constituye una salvaguarda de privacidad, porque los clientes pueden corregir errores y plantear inquietudes.

Fuentes

• ¿Gran ayuda o Gran Hermano? Auditoría del seguimiento, la elaboración de perfiles y la personalización en asistentes de IA generativa
• Orientaciones del SEPD sobre IA generativa, octubre de 2025
• Orientaciones de la OAIC sobre privacidad y productos de IA disponibles comercialmente
• FTC: empresas de IA, cumplan sus compromisos de privacidad y confidencialidad
• AP y ACM: los chatbots no deben sustituir por completo a las personas en la atención al cliente
• NIST: uso seguro de LLM y sistemas de IA generativa
• Marco de Gestión de Riesgos de IA del NIST 1.0
• Oficina del Comisionado de Protección de Datos de Kenia: nota orientativa sobre IA, julio de 2026
• Alston & Bird: advertencia de la Autoridad Neerlandesa de Protección de Datos sobre chatbots de IA y brechas de datos personales
• Las normas de transparencia del EU AI Act: guía práctica del artículo 50
• Resumen de los 10 principales riesgos de seguridad de OWASP para LLM
• Carta de la coalición de EPIC sobre la práctica publicitaria de Meta con sus chatbots de IA