Privacidad en los chatbots: riesgos, vías de filtración y salvaguardias

La privacidad en los chatbots se reduce a tres preguntas: qué datos recibe el chatbot, adónde van esos datos después y si alguien ha verificado las respuestas. Los chatbots recopilan lo que escriben los usuarios, pueden inferir más de lo que estos revelan y pueden transferir datos a servidores, servicios de analítica y sesiones de otros usuarios. Las organizaciones que los despliegan siguen siendo responsables de esos datos. La forma fiable de gestionar el riesgo consiste en definir la finalidad y los límites antes del lanzamiento, restringir lo que entra en el sistema y comprobar continuamente su comportamiento efectivo.

Esta guía está dirigida a directivos, equipos de cumplimiento normativo y responsables técnicos que utilizan chatbots o agentes de IA en las interacciones con clientes. Explica qué recopilan los chatbots, cómo se producen las filtraciones, qué obligaciones se aplican, qué salvaguardas funcionan y cómo auditar un agente en producción.

Resumen

• Los chatbots recopilan el contenido escrito y pueden inferir atributos como la edad, el género y los ingresos. Las filtraciones se producen al compartir datos con terceros, mediante la inyección de prompts, por controles deficientes de la base de conocimiento y cuando los empleados pegan datos sensibles en las herramientas.
• Los reguladores consideran los datos de los chatbots datos personales sujetos a regulación. La FTC, las autoridades de protección de datos de la UE y los reguladores de Australia y Kenia han publicado orientaciones o criterios de aplicación de la normativa.
• El EU AI Act exige informar a las personas cuando interactúan con un sistema de IA, algo relevante para las empresas estadounidenses que atienden a clientes europeos.
• Las salvaguardas eficaces combinan minimización de datos, diligencia debida sobre proveedores, controles de acceso, registro de actividad, derivación a una persona y pruebas independientes del comportamiento en producción.
• Una política sobre el papel no constituye una prueba. Las organizaciones necesitan evidencias de cómo se comporta realmente el agente desplegado.

Índice

• Qué recopilan, infieren y conservan los chatbots
• Cómo se producen las filtraciones de datos en los chatbots
• Los principales riesgos para la privacidad en las interacciones con clientes
• Obligaciones legales y de transparencia por jurisdicción
• Salvaguardas que reducen el riesgo para la privacidad en los chatbots
• Cómo probar y auditar chatbots en producción
• Perspectiva: el aseguramiento debe ser independiente
• Cómo contribuye Lexic al aseguramiento de la privacidad en los chatbots
• Si un chatbot expone datos personales
• Preguntas frecuentes
• Fuentes

Qué recopilan, infieren y conservan los chatbots

Los datos evidentes son los que escribe el usuario: nombres, números de cuenta, información de salud, reclamaciones. Los menos evidentes son los que el sistema deriva o captura en torno a ellos.

Una auditoría académica de asistentes de IA generativa para navegadores constató que algunos recopilaban contenido de páginas web y datos introducidos en formularios, incluidos historiales médicos, expedientes académicos y números de la Seguridad Social. Algunos también inferían atributos como la edad, el género, los ingresos y los intereses, personalizaban las respuestas entre distintos contextos de navegación y conservaban historiales de conversación en el almacenamiento del navegador (¿Gran ayuda o Gran Hermano? Auditoría del seguimiento, la elaboración de perfiles y la personalización en asistentes de IA generativa). Ese estudio se centra en los asistentes para navegadores, pero el patrón es aplicable a cualquier chatbot: los datos recopilados abarcan más que los que el usuario cree haber proporcionado.

La inferencia importa tanto desde el punto de vista jurídico como ético. El regulador australiano de privacidad establece que generar o inferir información personal constituye una recogida de datos conforme al Principio Australiano de Privacidad 3. Esta debe ser razonablemente necesaria y realizarse por medios lícitos y leales, y la información sensible requiere, por lo general, consentimiento (Orientaciones de la OAIC sobre productos de IA disponibles comercialmente). Por tanto, un chatbot que deduce el estado de salud de un cliente a partir de sus preguntas puede estar recopilando datos sensibles.

El uso secundario es la tercera cuestión. En octubre de 2025, una coalición de 36 organizaciones escribió a la FTC sobre el anuncio de Meta de que, a partir del 16 de diciembre de 2025, utilizaría las interacciones con sus chatbots de IA para personalizar la publicidad y el contenido (Carta de la coalición de EPIC). El episodio muestra cómo los datos de las conversaciones, una vez recopilados, pueden destinarse a fines que los usuarios no esperaban.

Cómo se producen las filtraciones de datos en los chatbots

Las filtraciones rara vez responden a un único fallo. Siguen varias vías distintas, y cada una necesita su propio control.

Transferencia a servidores y terceros

La misma auditoría académica constató que los datos pueden salir del dispositivo cuando los asistentes envían contenido de páginas web o datos de formularios a los servidores de sus proveedores, y que algunos comparten prompts e identificadores con servicios de analítica de terceros (Auditoría publicada en arXiv). Para una empresa que despliega un chatbot de atención al cliente, la pregunta equivalente es qué subencargados del tratamiento, herramientas de analítica y proveedores de modelos reciben la conversación.

Inyección de prompts y extracción

La inyección de prompts se produce cuando una entrada manipulada hace que un modelo ignore sus instrucciones. Entre sus consecuencias puede estar la revelación de información personal o empresarial. La divulgación de información sensible y la inyección de prompts ocupan el primer y segundo puesto en la lista de OWASP de los principales riesgos de las aplicaciones con LLM (Resumen de los 10 principales riesgos de OWASP para LLM). El Supervisor Europeo de Protección de Datos (SEPD) señala que los sistemas de IA generativa pueden amplificar los riesgos sistémicos y crear nuevos canales de transmisión. Su postura es que los controles de seguridad deben abordar vulnerabilidades como la inyección de prompts y la inversión de modelos, y no basarse únicamente en la seguridad informática tradicional (Orientaciones del SEPD sobre IA generativa, octubre de 2025).

La Autoridad Neerlandesa de Protección de Datos (AP) y la autoridad de consumo ACM añaden un aspecto práctico: los actores maliciosos pueden llegar a extraer información confidencial a través de las respuestas de los chatbots (Declaración de la AP y la ACM sobre los chatbots en la atención al cliente).

Exposición de la base de conocimiento

Muchos agentes de atención al cliente utilizan generación aumentada por recuperación (RAG), con la que el modelo obtiene respuestas de documentos internos. Si esos documentos contienen datos personales y no se delimita el acceso, el agente puede mostrarlos a la persona equivocada. Tanto el SEPD como el NIST recomiendan probar los sistemas RAG para confirmar que no filtran datos personales de sus bases de conocimiento (Orientaciones del SEPD).

Empleados que pegan datos en herramientas

No todas las filtraciones son ataques técnicos. La autoridad neerlandesa ha advertido de que la introducción de datos sensibles, como historiales de pacientes o direcciones de clientes, por parte del personal en chatbots de IA en contra de la política de la empresa puede constituir una violación de la seguridad de los datos personales conforme al RGPD (Orientaciones del SEPD, que citan a la autoridad neerlandesa).

Deriva del comportamiento en producción

Un agente que superó las pruebas previas al lanzamiento puede comportarse de forma distinta tras un cambio de prompt, una actualización del modelo o una nueva integración. Las vías de filtración que estaban cerradas pueden reabrirse sin que la monitorización convencional emita ninguna alerta.

Los principales riesgos para la privacidad en las interacciones con clientes

Las dos últimas filas son cuestiones de privacidad y confianza tanto como de servicio. Las autoridades neerlandesas afirman que las organizaciones que utilizan chatbots deben seguir ofreciendo la opción de hablar con un empleado (AP y ACM). Las auditorías de Lexic constataron que el 85% de los agentes evaluados no derivaban adecuadamente los problemas a un representante humano, lo que indica con qué frecuencia falla esta salvaguarda en la práctica.

Obligaciones legales y de transparencia por jurisdicción

No existe una única ley que regule la privacidad en los chatbots. Las obligaciones dependen de dónde se encuentren los clientes, no de dónde tenga su sede la empresa.

Estados Unidos. No existe una ley federal general de privacidad, pero la FTC aplica la legislación vigente de protección de los consumidores. Ha afirmado que las empresas que ofrecen modelos como servicio pueden ser responsables de utilizar en secreto datos de clientes para entrenar o actualizar modelos, y ha exigido la eliminación de productos, incluidos modelos y algoritmos, creados con datos de consumidores obtenidos ilícitamente (Blog tecnológico de la FTC, 2024). Por tanto, las promesas de privacidad incluidas en el aviso o en la publicidad de un chatbot deben coincidir con lo que el sistema hace realmente.

Unión Europea. El RGPD se aplica a los datos personales tratados por los chatbots. El SEPD aconseja a las instituciones de la UE evaluar a los proveedores de IA generativa, obtener la documentación pertinente y formalizar un contrato de encargo del tratamiento cuando un proveedor trate datos personales por cuenta de ellas (Orientaciones del SEPD). Estas orientaciones se dirigen a las instituciones de la UE, pero describen una diligencia debida que puede seguir cualquier responsable del tratamiento. En caso de brechas de datos, las organizaciones deben notificar a la autoridad de control del Estado miembro correspondiente y, en determinados casos, a las personas afectadas (Resumen de Alston & Bird sobre la advertencia de la autoridad neerlandesa).

El EU AI Act añade obligaciones de transparencia. Conforme al artículo 50, los proveedores de chatbots y asistentes virtuales deben diseñarlos de modo que se informe a los usuarios de que están interactuando con IA (Guía práctica del artículo 50). Las empresas estadounidenses que atienden a clientes europeos quedan dentro del ámbito de aplicación del Reglamento cuando sus sistemas se utilizan en la UE, por lo que el diseño de los avisos informativos forma parte de la entrada en el mercado y no es una cuestión secundaria.

Australia. Además de las normas de recogida de datos anteriores, la OAIC señala que el uso de IA en decisiones con efectos jurídicos o de importancia similar probablemente entraña un alto riesgo para la privacidad y exige especial cautela. También recomienda considerar cómo incorporar la supervisión humana al adoptar productos de IA (Orientaciones de la OAIC).

Kenia. Las orientaciones de julio de 2026 de la Oficina del Comisionado de Protección de Datos exigen a las entidades notificar al regulador las violaciones de la seguridad de los datos personales que afecten a sistemas de IA en un plazo de 72 horas. Citan como ejemplos el acceso no autorizado a conjuntos de datos de entrenamiento, los ataques de extracción de modelos y la manipulación adversaria de las salidas (Nota orientativa de la ODPC sobre IA, julio de 2026).

El denominador común es que los reguladores esperan límites de finalidad, información al usuario, vías de atención humana y preparación ante brechas de datos. Las organizaciones que operan en varios mercados deben diseñar sus sistemas conforme a la norma aplicable más estricta y contar con asesoramiento jurídico para confirmar qué leyes se aplican a cada despliegue.

Salvaguardas que reducen el riesgo para la privacidad en los chatbots

Los siguientes controles reflejan las orientaciones del SEPD, el NIST y la OAIC, ordenados según la secuencia en que puede aplicarlos un equipo de despliegue.

1. Definir la finalidad y la base jurídica, y documentarlas. El SEPD aconseja definir la finalidad y la base jurídica del tratamiento mediante IA generativa, registrarlas, evaluar los riesgos y realizar una evaluación de impacto relativa a la protección de datos (EIPD) cuando sea obligatorio (Orientaciones del SEPD).
2. Realizar la diligencia debida sobre los proveedores. Solicite documentación sobre conservación de datos, uso para entrenamiento, subencargados del tratamiento y seguridad. Formalice un contrato de encargo del tratamiento cuando el proveedor trate datos personales por su cuenta.
3. Etiquetar o bloquear los datos sensibles. Las orientaciones del NIST recomiendan aplicar etiquetas o bloqueos para impedir que entre en los sistemas de IA generativa información sensible cuyo uso en ellos no esté autorizado (NIST, Uso seguro de LLM y sistemas de IA generativa).
4. Formar a los empleados. El mismo material del NIST pide orientación y formación para los empleados. El personal debe saber qué información nunca debe pegarse en una herramienta externa.
5. Registrar y auditar la actividad. Audite y registre las actividades de los usuarios y las aplicaciones para poder reconstruir un incidente.
6. Probar los sistemas RAG y el acceso a la base de conocimiento. Confirme que la recuperación respeta los permisos y que los datos personales no aparecen en respuestas a usuarios no autorizados.
7. Mantener una vía de atención humana. Ofrezca la derivación a una persona y verifique que funciona.
8. Equilibrar las técnicas de privacidad y la precisión. El Marco de Gestión de Riesgos de IA del NIST señala que las tecnologías de mejora de la privacidad, como la anonimización, pueden reducir el riesgo, pero una protección mayor puede reducir la precisión de las salidas de la IA, por lo que el equilibrio debe establecerse según los requisitos del ámbito de aplicación (NIST AI RMF 1.0).

Cómo probar y auditar chatbots en producción

Los controles 1 a 5 se refieren a documentación y configuración. Los controles 6 y 7 solo pueden confirmarse interactuando con el agente en producción. Aquí es donde muchos programas presentan una carencia: los paneles del proveedor muestran su propia visión del agente, y las revisiones internas suelen examinar los prompts y la arquitectura en lugar de los resultados.

Una auditoría en producción debe abarcar, como mínimo:

• Información al usuario. ¿Indica claramente el agente al inicio de la conversación que es una IA y responde con sinceridad cuando se le pregunta?
• Derivación. Cuando un cliente pide hablar con una persona, presenta una reclamación o plantea una solicitud relacionada con la privacidad, ¿deriva el agente la interacción y se conserva el contexto?
• Gestión de datos. Cuando un usuario facilita voluntariamente datos sensibles, ¿minimiza el agente su uso, evita repetirlos innecesariamente y se mantiene dentro de su finalidad declarada?
• Resistencia a ataques adversarios. ¿Resiste el agente la inyección de prompts y las solicitudes para revelar sus instrucciones, datos de otros usuarios o documentos internos?
• Coherencia a lo largo del tiempo. ¿Se mantienen los resultados tras cambios en el modelo, el prompt o las integraciones?
• Evidencias. ¿Se registran los hallazgos de forma que puedan revisarlos posteriormente el equipo de cumplimiento normativo, los reguladores o el proveedor?

Estas comprobaciones deben repetirse, no ejecutarse una sola vez. El perfil de riesgo de un agente cambia siempre que cambia su configuración.

Perspectiva: el aseguramiento debe ser independiente

Observamos el mismo patrón en los agentes conversacionales que evaluamos. Las organizaciones cuentan con una política de privacidad, un contrato con el proveedor y un panel de monitorización, pero pocas disponen de evidencias independientes de lo que hace el agente desplegado cuando un cliente real pide hablar con una persona, comparte un dato sensible o intenta desviar al sistema de su guion. Por eso el 85% de los agentes que evaluamos no derivaban las interacciones adecuadamente.

La monitorización dirigida por el proveedor responde a si su sistema está funcionando. No responde a si el agente cumple las obligaciones de su organización. Un programa de privacidad para chatbots necesita un tercero que interactúe con el agente como lo haría un usuario real, evaluando la experiencia del cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo, y que registre las evidencias de forma que puedan verificarse posteriormente. Para ello utilizamos funciones hash criptográficas de terceros, que permiten rastrear los hallazgos y comprobar su integridad.

La consecuencia práctica es la rendición de cuentas. Con evidencias, una empresa puede exigir al proveedor que cumpla sus compromisos, mostrar a un regulador qué ha probado y decidir dónde no debe operar un agente sin supervisión. Sin ellas, la gobernanza se basa en suposiciones.

— Sergio Llorens

Cómo contribuye Lexic al aseguramiento de la privacidad en los chatbots

Lexic Compass es una plataforma de auditoría de agentes de IA que evalúa de forma independiente agentes conversacionales de cualquier proveedor, interactuando con ellos como lo harían usuarios reales. Examina la experiencia del cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo, incluida la gestión de las derivaciones y la información al cliente, y genera hallazgos respaldados por evidencias sobre los que los equipos pueden actuar.

Los servicios están disponibles en las modalidades Flash Preview, Audit Sprint o Enterprise Continuous Trust, esta última para una supervisión continua. Los detalles figuran en la página de auditoría de Compass. Los precios no se publican, por lo que el alcance y el coste se acuerdan con el equipo de Lexic.

Para las empresas que también quieren comprender lo que dicen sus clientes en llamadas, chats, correos electrónicos y tickets, Lexic Pulse analiza esas conversaciones para detectar señales de sentimiento, abandono y oportunidades. Los equipos que deseen una visión general de la empresa pueden empezar por lexic.ai.

Si un chatbot expone datos personales

Trátelo como una posible violación de la seguridad de los datos personales desde el primer aviso.

1. Contener. Desactive la funcionalidad afectada o derive la atención a una persona, y conserve los registros.
2. Evaluar el alcance. Identifique qué datos se han expuesto, a quién y durante cuánto tiempo.
3. Comprobar las obligaciones de notificación. Conforme a las normas de la UE, debe notificarse a la autoridad de control correspondiente y, en determinados casos, a las personas afectadas (Alston & Bird). Kenia establece un plazo de 72 horas para las brechas relacionadas con IA (ODPC). Otras jurisdicciones y las leyes estatales de Estados Unidos tienen sus propias normas, por lo que debe recurrir de inmediato a asesoramiento jurídico.
4. Implicar al proveedor. Utilice el contrato de encargo del tratamiento y el expediente de diligencia debida para exigir información y medidas correctoras.
5. Repetir las pruebas. Confirme mediante la interacción con el agente en producción que la vía de filtración está cerrada antes de restablecer la funcionalidad.

Preguntas frecuentes

¿Son privadas las conversaciones con chatbots?

No por defecto. Los proveedores pueden almacenar, analizar o compartir conversaciones según sus condiciones y su configuración, y la empresa que despliega el chatbot también puede registrarlas. Los usuarios y las organizaciones deben leer las condiciones de conservación de datos y de uso para entrenamiento y ajustar las opciones de privacidad disponibles, sin asumir que cubren todos los usos.

¿Qué es una filtración de datos en un chatbot?

Es la exposición no intencionada de información personal o confidencial a través de un chatbot. Las vías habituales incluyen la transferencia a servicios de terceros, la inyección de prompts, un acceso demasiado amplio a la base de conocimiento y la introducción de datos sensibles por parte de empleados en herramientas externas.

¿Se aplica el EU AI Act a las empresas estadounidenses?

Puede aplicarse. El artículo 50 exige informar a las personas cuando interactúan con un sistema de IA, y el Reglamento abarca los sistemas utilizados en la UE. Una empresa estadounidense que atienda a clientes europeos debe confirmar sus obligaciones con sus asesores jurídicos y comprobar que su agente se identifica claramente como IA.

¿Cómo puede comprobar una empresa si su chatbot protege la privacidad?

Revise la documentación y los contratos del proveedor y, después, pruebe el agente en producción. Verifique la información al usuario, la derivación a una persona, el tratamiento de entradas sensibles y la resistencia a la inyección de prompts, y repita las pruebas después de cada cambio en el modelo, el prompt o las integraciones.

¿Debe un chatbot ofrecer siempre atención humana?

Los reguladores neerlandeses afirman que las organizaciones que utilizan chatbots deben seguir ofreciendo la opción de hablar con un empleado. Incluso cuando ninguna ley lo exige, una vía de atención humana que funcione es una salvaguarda de privacidad, porque permite a los clientes corregir errores y plantear sus inquietudes.

Fuentes

• ¿Gran ayuda o Gran Hermano? Auditoría del seguimiento, la elaboración de perfiles y la personalización en asistentes de IA generativa
• Orientaciones del SEPD sobre IA generativa, octubre de 2025
• Orientaciones de la OAIC sobre privacidad y productos de IA disponibles comercialmente
• FTC: empresas de IA, cumplan sus compromisos de privacidad y confidencialidad
• AP y ACM: los chatbots no deben sustituir por completo a las personas en la atención al cliente
• NIST: Uso seguro de LLM y sistemas de IA generativa
• Marco de Gestión de Riesgos de IA del NIST 1.0
• Oficina del Comisionado de Protección de Datos, Kenia: Nota orientativa sobre IA, julio de 2026
• Alston & Bird: advertencia de la Autoridad Neerlandesa de Protección de Datos sobre chatbots de IA y violaciones de la seguridad de los datos personales
• Las normas de transparencia del EU AI Act: guía práctica del artículo 50
• Resumen de los 10 principales riesgos de seguridad de OWASP para LLM
• Carta de la coalición de EPIC sobre la práctica publicitaria de Meta con sus chatbots de IA