Riesgos legales de los chatbots: qué deben controlar las empresas

Una empresa es legalmente responsable de lo que dice y hace su chatbot de atención al cliente, tanto si lo ha desarrollado como si lo ha adquirido de un proveedor. Los principales riesgos son la responsabilidad por respuestas inexactas o no autorizadas, la ausencia o la demora del aviso sobre el uso de IA, los fallos de privacidad y conservación de datos, y la falta de registros que permitan demostrar cómo se comportó realmente el agente. La forma más fiable de reducir estos cuatro riesgos es someter al agente a pruebas independientes tal y como lo encontraría un cliente, con evidencias que se puedan conservar.

Esta guía está dirigida a responsables empresariales, equipos de cumplimiento y asuntos regulatorios, responsables de experiencia del cliente y equipos técnicos que gestionan agentes de IA en atención al cliente, incluidas las empresas estadounidenses que acceden al mercado europeo.

Resumen

• Los tribunales y los reguladores consideran las declaraciones de un chatbot como declaraciones de la propia empresa. Externalizar el servicio a un proveedor no externaliza la responsabilidad.
• En Estados Unidos, los riesgos proceden principalmente de reclamaciones por prácticas engañosas e información falsa o inexacta, y de un número creciente de leyes estatales sobre obligaciones de información. En la UE se añade el deber de transparencia del Reglamento de IA, aplicable a partir del 2 de agosto de 2026.
• El riesgo para la privacidad reside en los datos que conservan los proveedores de los modelos subyacentes y utilizan para entrenarlos, y en lo que los clientes escriben en el bot.
• Las garantías del proveedor y los paneles de control no son evidencias. Las pruebas independientes y repetibles de conversaciones reales sí lo son.
• Lexic audita agentes de IA conversacional de cualquier proveedor en materia de experiencia del cliente, seguridad, fiabilidad técnica y cumplimiento normativo.

Índice

• Por qué las palabras de un chatbot se convierten en un problema jurídico para su empresa
• Obligación de información: cuándo hay que indicar a los clientes que se trata de IA
• Riesgos para la privacidad y los datos en las conversaciones con chatbots
• Qué esperan los reguladores que pueda demostrar
• Un marco práctico de control
• El papel de la auditoría independiente
• El papel de Lexic
• Nuestra perspectiva
• Preguntas frecuentes
• Fuentes

Por qué las palabras de un chatbot se convierten en un problema jurídico para su empresa

El ejemplo temprano más claro es Moffatt v. Air Canada (2024), una resolución del Tribunal de Resolución Civil de Columbia Británica. Un cliente se basó en la información del chatbot de la aerolínea sobre tarifas por fallecimiento de un familiar. La información era incorrecta. El tribunal declaró a la aerolínea responsable de proporcionar información inexacta por negligencia y rechazó el argumento de que el chatbot era una entidad independiente responsable de sus propias declaraciones. La cuantía era pequeña. El principio, no: el bot forma parte del sitio web y la empresa responde por él.

Las orientaciones oficiales apuntan en la misma dirección. La guía del Gobierno británico sobre legislación de consumo y agentes de IA establece que las organizaciones son responsables de lo que hace un agente de IA del mismo modo que son responsables de lo que hace un empleado, incluso cuando un tercero proporciona el agente. Se trata de una fuente británica, pero los profesionales jurídicos de Estados Unidos y la UE siguen un razonamiento similar.

En Estados Unidos, los análisis de despachos de abogados sobre el panorama actual describen varias vías por las que las declaraciones de un bot pueden vincular a una empresa o exponerla a responsabilidad: reclamaciones por información falsa o inexacta y prácticas desleales o engañosas, y argumentos basados en la confianza en lo declarado, la renuncia de derechos, la doctrina de los actos propios o el contrato, según los hechos. Un chatbot no necesita facultades formales para generar una obligación. Basta con que el cliente tenga motivos razonables para confiar en lo que dijo.

En Europa, los profesionales jurídicos señalan el riesgo de reclamaciones por competencia desleal y publicidad engañosa cuando las comunicaciones con clientes generadas por IA son inexactas.

Las cuatro formas en que un chatbot genera responsabilidad

La última fila es la que la mayoría de los equipos subestima. En las auditorías de Lexic, el 85% de los agentes evaluados no derivó adecuadamente los problemas a un representante humano. Un agente que mantiene a un cliente en un bucle durante una reclamación, una disputa sobre una cancelación o una consulta relacionada con la seguridad convierte un problema de servicio en un problema de cumplimiento documentado.

Obligación de información: cuándo hay que indicar a los clientes que se trata de IA

Las obligaciones de información son el ámbito en el que las normas jurídicas son más concretas, y varían según la jurisdicción.

Estados Unidos: un mosaico de leyes estatales

No existe una única ley federal sobre el deber de informar del uso de chatbots. Las empresas se enfrentan a leyes estatales con distintos supuestos de aplicación:

• Utah exige que un proveedor que utilice IA generativa en una transacción con un consumidor informe de que se trata de IA y no de una persona cuando el interesado lo pregunte de forma clara e inequívoca. En los servicios regulados, se exige un aviso destacado para las interacciones de alto riesgo: verbalmente al inicio de una interacción verbal y por escrito antes de una interacción escrita.
• Nueva Jersey y California tienen sus propias normas. Según un análisis de DLA Piper de enero de 2026, Nueva Jersey exige un aviso claro y visible al inicio de una interacción con un bot que implique la venta o publicidad de mercancías o bienes inmuebles, mientras que la BOT Act de California se aplica cuando se utiliza un bot en una transacción comercial con intención de inducir a error sobre su identidad artificial.

El mismo análisis señala que el criterio federal se limita al contexto comercial y se aplica cuando la presencia de un bot es inesperada y relevante para la elección del consumidor. Las leyes estatales de protección de los consumidores contra las prácticas engañosas se aplican del mismo modo. En la práctica, la expectativa básica de informar con claridad se mantiene, con independencia de qué leyes estatales específicas sobre IA sobrevivan a los debates sobre la prevalencia de la legislación federal.

La consecuencia práctica para una empresa que opera en todo Estados Unidos: diseñar conforme al supuesto de aplicación más estricto al que esté sujeta, informar al inicio de la conversación y verificar que el aviso aparezca realmente en todos los canales y flujos, incluidos los que una actualización del proveedor modificó la semana pasada.

Unión Europea: artículo 50 del Reglamento de IA

Para las empresas estadounidenses que acceden a Europa, esta es la primera norma que deben comprender. Conforme al artículo 50(1) del EU AI Act, aplicable a partir del 2 de agosto de 2026, los proveedores de sistemas de IA que interactúan directamente con personas deben informarlas de que están interactuando con IA, salvo que resulte evidente. El aviso debe ser claro y distinguible, y facilitarse a más tardar en la primera interacción. Las orientaciones de la Comisión Europea indican que la obligación se aplica cuando se cumplen cuatro criterios: el sistema es de IA, está diseñado para un intercambio bidireccional genuino, se comunica directamente con personas e interactúa con personas físicas.

Las fechas son importantes para las obligaciones relacionadas. El Ómnibus Digital sobre IA, con efectos a partir del 27 de julio de 2026, aplazó otros plazos del Reglamento de IA: el marcado mediante marcas de agua del artículo 50(2), al 2 de diciembre de 2026; las normas sobre sistemas de alto riesgo independientes, al 2 de diciembre de 2027; y las normas sobre sistemas de alto riesgo integrados en productos sujetos a regulación de seguridad, al 2 de agosto de 2028. El deber de informar del uso de chatbots previsto en el artículo 50(1) no figuraba entre los elementos aplazados que allí se enumeran. Consulte las páginas oficiales de la UE para comprobar la situación vigente antes de finalizar un plan de cumplimiento.

Riesgos para la privacidad y los datos en las conversaciones con chatbots

Los clientes introducen información sensible en los chatbots: números de cuenta, datos de salud, reclamaciones y, a veces, datos sobre sus hijos. De ello se derivan dos niveles de riesgo.

El nivel del modelo. Un análisis académico de las prácticas de privacidad de seis desarrolladores estadounidenses reveló que los datos de los chats se utilizaban para el entrenamiento por defecto, que podían incluir información sensible, que algunos desarrolladores parecían conservar los chats indefinidamente y que cuatro parecían incluir chats de menores en el entrenamiento. Si su agente se basa en un modelo de terceros, debe saber cuáles de esas condiciones se aplican a las conversaciones de sus clientes.

El nivel de información al usuario. La OCDE describe una brecha de transparencia: los usuarios a menudo desconocen que los datos de las conversaciones alimentan el entrenamiento de los modelos. Recomienda avisos en el momento oportuno, cuando se recogen los datos, no condiciones ocultas en una política de privacidad. Para un bot de atención al cliente, esto significa incluir un aviso en la propia conversación, antes de solicitar datos sensibles.

Los equipos técnicos pueden reducir la exposición al riesgo minimizando los datos que recoge el agente y enmascarando los datos personales antes de que lleguen a un modelo. Esta guía sobre gestión de datos personales en IA aborda la vertiente técnica. La vertiente jurídica consiste en demostrar que los controles funcionan en conversaciones en producción, lo que exige pruebas, no políticas.

Una nota sobre la protección de la confidencialidad jurídica

Los equipos suelen preguntar si las conversaciones con un chatbot están amparadas por la confidencialidad jurídica. En Heppner, un tribunal federal determinó que los chats de un usuario con la versión de consumo de Claude no estaban protegidos por el secreto de las comunicaciones entre abogado y cliente: la IA no era un asesor jurídico, las condiciones no garantizaban la confidencialidad y el uso no estaba dirigido por un abogado. La protección de los materiales preparados para un litigio tampoco resultó aplicable por un motivo similar, aunque el uso de IA dirigido por un abogado podría cumplir los requisitos. Para los equipos de cumplimiento, la lección es que los chats de empleados y clientes con un bot de propósito general deben tratarse como registros susceptibles de aportación en un procedimiento judicial. Las cuestiones relativas a un asunto concreto deben consultarse con su asesor jurídico.

La gobernanza del uso por parte del personal también importa en este ámbito. Formar a los empleados sobre lo que se puede y no se puede introducir en las herramientas de IA es un punto de partida razonable, y esta descripción general de la formación de empleados en IA muestra cómo suelen estructurarse estos programas.

Qué esperan los reguladores que pueda demostrar

El denominador común de las orientaciones británicas, las normas de transparencia de la UE y los fundamentos de las actuaciones de control en Estados Unidos es que las buenas intenciones no bastan. Se espera que las organizaciones prueben y monitoricen los agentes de IA y apliquen una supervisión humana periódica para que las respuestas cumplan la legislación de consumo.

Esa expectativa se traduce en cinco preguntas que puede plantear un regulador, un demandante o un cliente empresarial:

1. ¿Qué dijo realmente el agente a los clientes en una fecha determinada?
2. ¿Informó de que era IA, en el momento adecuado y en todos los canales?
3. ¿Asumió compromisos que la empresa no cumpliría?
4. ¿Derivó la interacción a una persona cuando debía hacerlo?
5. ¿Puede demostrar las respuestas a las cuatro primeras preguntas y acreditar que los registros no se han alterado?

Los paneles de control de los proveedores suelen mostrar las métricas del propio proveedor sobre su propio sistema. Rara vez responden a las preguntas dos a cinco desde el punto de vista del cliente.

Un marco práctico de control

Los siguientes pasos reducen la exposición jurídica de cualquier agente de atención al cliente, con independencia del proveedor.

1. Inventariar todos los agentes y canales

Enumere cada agente de IA, los canales en los que opera (chat web, voz, correo electrónico, gestión de incidencias), el modelo subyacente y el proveedor. Los despliegues no supervisados realizados por equipos individuales son habituales y siguen siendo responsabilidad de su empresa.

2. Identificar las normas aplicables a cada despliegue

Para cada agente, indique qué normas de información, privacidad y regulación sectorial se aplican: leyes estatales para los clientes de Estados Unidos, artículo 50 para los usuarios de la UE y obligaciones sectoriales en servicios financieros, sanidad o seguros. Una empresa estadounidense que atiende a clientes de la UE debe realizar ambos análisis.

3. Definir lo que el agente no puede hacer

Establezca límites explícitos por escrito: ninguna excepción de precios, ningún asesoramiento jurídico o médico, ninguna promesa de resultados y supuestos de derivación obligatoria, como reclamaciones, señales de vulnerabilidad y solicitudes de atención humana. Los límites que no están escritos no se pueden someter a prueba.

4. Probar como lo haría un cliente

Realice pruebas a través de la interfaz real con conversaciones realistas y adversariales: solicitudes de reembolsos fuera de la política, preguntas sobre si el usuario está hablando con una persona, intentos de extraer datos o anular instrucciones, y reclamaciones con una fuerte carga emocional. Repita las pruebas después de cada cambio de modelo, instrucciones o proveedor.

5. Conservar registros que permitan detectar alteraciones

Almacene las transcripciones y los hallazgos para poder aportarlos más adelante. Las evidencias cuya integridad puede verificarse tienen más peso en una controversia que una captura de pantalla.

6. Incluir los requisitos en el contrato con el proveedor

Especifique cómo deben funcionar los avisos y las derivaciones, los plazos de conservación de datos, las restricciones de entrenamiento, los derechos de auditoría y la notificación de incidentes. Las condiciones contractuales solo pueden hacerse valer si se puede demostrar un incumplimiento, lo que nos devuelve al paso 4.

7. Monitorizar de forma continua

El comportamiento de los agentes cambia. Una modificación de las instrucciones, una nueva versión del modelo o un cambio en la base de conocimiento pueden hacer que un flujo deje de cumplir las normas. La monitorización continua de las conversaciones en producción detecta lo que una prueba puntual pasa por alto.

El papel de la auditoría independiente

Lexic Compass es la plataforma de auditoría de agentes de IA de Lexic. Evalúa agentes de IA conversacional de cualquier proveedor interactuando con ellos como lo harían usuarios reales, y busca puntos ciegos en experiencia del cliente, seguridad, fiabilidad técnica y cumplimiento normativo, incluidos problemas que las herramientas de monitorización tradicionales pueden pasar por alto. Los hallazgos se presentan como evidencias que las organizaciones pueden utilizar para gobernar los agentes en producción y exigir responsabilidades a los proveedores. Lexic utiliza funciones hash criptográficas de terceros para verificar la integridad de las evidencias y respaldar su trazabilidad, lo que responde directamente a la quinta pregunta que plantean los reguladores.

Esto encaja con el marco anterior. Los pasos 4, 5 y 7 corresponden al trabajo de auditoría y recopilación de evidencias: probar el agente desde fuera, conservar registros verificables y observarlo a lo largo del tiempo.

El papel de Lexic

Lexic ofrece modalidades de colaboración adaptadas al grado de avance del despliegue:

• Flash Preview y Audit Sprint para trabajos de auditoría centrados en un agente concreto.
• Enterprise Continuous Trust para una supervisión permanente a medida que los despliegues se amplían.
• Lexic Pulse para analizar el 100% de las conversaciones con clientes en llamadas, chats, correos electrónicos e incidencias, con información sobre sentimiento, abandono y oportunidades para los equipos de experiencia del cliente, producto, control de calidad, operaciones y otros.

Los equipos que quieran conocer cómo se aplicaría una auditoría a sus agentes pueden empezar por Lexic Compass o consultar las opciones de auditoría y monitorización continua.

Nuestra perspectiva

La mayoría de los riesgos jurídicos de los chatbots se descubren por la vía equivocada: mediante una reclamación de un cliente, una pregunta de un regulador o una controversia. Para entonces, la única pregunta que importa es qué dijo realmente el agente, y muchas organizaciones no pueden responder con evidencias.

Creamos Lexic Compass sobre una premisa sencilla: quien vende un agente de IA no debería ser la única parte que avala su funcionamiento. Una evaluación independiente, realizada a través de la interfaz real del cliente, produce hallazgos sobre los que un equipo de cumplimiento puede actuar y por los que se pueden exigir responsabilidades a un proveedor. Nuestras auditorías revelaron que el 85% de los agentes evaluados no derivó adecuadamente los problemas a un representante humano. Es un comportamiento que ningún documento de políticas revela y que la monitorización ordinaria tiende a pasar por alto.

A medida que los despliegues de IA se amplían entre canales y proveedores, la supervisión debe crecer con ellos. El aseguramiento basado en auditorías y la monitorización continua proporcionan a los equipos de negocio, cumplimiento y tecnología un registro compartido del comportamiento de sus agentes y una base para decidir qué corregir primero.

Sergio Llorens

Preguntas frecuentes

¿Es responsable una empresa si su chatbot proporciona información incorrecta a un cliente?

Sí, puede serlo. En Moffatt v. Air Canada, un tribunal declaró a la aerolínea responsable de la respuesta engañosa de su chatbot. Los despachos de abogados estadounidenses también describen fundamentos basados en información falsa o inexacta, prácticas engañosas, confianza en lo declarado y contratos. Recurrir a un proveedor externo no exime de responsabilidad a la empresa que despliega el bot.

¿Deben las empresas estadounidenses informar a los clientes de que están hablando con una IA?

Depende del estado y del contexto. Utah, Nueva Jersey y California tienen distintos supuestos de aplicación, y además se aplica la legislación general contra las prácticas engañosas. El enfoque más seguro para una empresa que opera en todo el país es incluir un aviso claro al inicio de cada conversación, en todos los canales.

¿Se aplica el EU AI Act al chatbot de una empresa estadounidense?

El artículo 50(1) obliga a los proveedores de sistemas de IA que interactúan directamente con personas a informarles de que están tratando con IA, salvo que resulte evidente, y se aplica a partir del 2 de agosto de 2026. Las empresas que atienden a usuarios de la UE deben confirmar su función y el alcance de aplicación con un asesor jurídico especializado en la UE y consultar las orientaciones de la Comisión.

¿Están las conversaciones con chatbots amparadas por la confidencialidad jurídica?

No por defecto. En Heppner, un tribunal federal determinó que las conversaciones con chatbots de consumo no estaban protegidas por el secreto de las comunicaciones entre abogado y cliente. Trate los registros de chat como documentos potencialmente exigibles en un procedimiento judicial y consulte con su abogado las cuestiones sobre confidencialidad jurídica relativas a un asunto concreto.

¿Qué evidencias resultan más útiles si se cuestiona la actuación de un chatbot?

Transcripciones fechadas, registros del funcionamiento de los avisos y las derivaciones, y resultados de pruebas independientes, almacenados de forma que pueda demostrarse que no se han alterado. Lexic Compass genera este tipo de evidencias para agentes de cualquier proveedor.

Fuentes

• Moffatt v. Air Canada
• Cumplimiento de la legislación de consumo al utilizar agentes de IA (GOV.UK)
• Su chatbot no necesita facultades para generar una obligación (Jones Walker)
• ¿Quién responde por las alucinaciones de la IA en atención al cliente?
• Utah, capítulo 77: inteligencia artificial generativa
• Leyes sobre el deber de informar del uso de IA en interacciones comerciales con chatbots (DLA Piper)
• Obligaciones de transparencia en virtud del artículo 50 del Reglamento de IA (Comisión Europea)
• Resumen del Reglamento de IA: novedades recientes (McCann FitzGerald)
• Privacidad de los usuarios y grandes modelos de lenguaje (arXiv)
• Mejora del control de los usuarios y de la protección de la privacidad en el contexto de la IA (OCDE)
• Heppner muestra la fragilidad del secreto de las comunicaciones entre abogado y cliente en la era de la IA (Bloomberg Law)
• Gestión de datos personales identificativos en IA
• Formación de empleados en IA