Usamos cookies para mejorar tu experiencia. Al continuar, aceptas su uso. Leer nuestra política de privacidad

    Volver a The Signal

    The Signal

    Riesgos de proveedores de LLM: evaluación, contratación y supervisión

    Riesgos de proveedores de LLM: uso de datos, cambios de modelo, seguridad y salida. Qué evaluar, cómo contratar y cómo verificar sus afirmaciones.

    19 de noviembre de 2026 · 14 min de lectura

    Riesgos de proveedores de LLM: evaluación, contratación y supervisión

    El riesgo asociado a los proveedores de LLM es la exposición que asume una organización cuando un tercero suministra el modelo, la plataforma o el agente conversacional que ofrece a sus clientes. El problema central es que la aprobación se produce en un momento concreto, mientras que el comportamiento del proveedor no permanece estático. Los modelos se actualizan, las prácticas de tratamiento de datos evolucionan y las instrucciones cambian, por lo que un proveedor que superó una revisión en primavera puede comportarse de forma distinta en otoño. La organización sigue siendo responsable en cualquier caso. La respuesta práctica es una rutina de tres partes: evaluar al proveedor antes de aprobarlo, incorporar las protecciones al contrato y verificar de forma independiente el comportamiento efectivo tras el lanzamiento. Lexic Compass, la plataforma de auditoría de agentes de IA de Lexic, existe para esta última parte: evalúa agentes de IA conversacional de cualquier proveedor interactuando con ellos como lo harían usuarios reales.

    Lexic AI
    lexic.ai
    Verifique el comportamiento de los agentes de IA tras el lanzamiento
    Lexic Compass evalúa de forma independiente agentes de IA conversacional de cualquier proveedor y ayuda a las organizaciones a identificar puntos ciegos y ejercer su gobernanza en producción.
    Visitar

    Resumen

    • El riesgo asociado a los proveedores de LLM abarca el uso de datos, la seguridad, el comportamiento inesperado del modelo, las dependencias de la cadena de suministro y la disponibilidad. Cambia después de la aprobación, no solo antes.
    • La responsabilidad sigue recayendo en la organización que despliega el sistema. La documentación y las garantías del proveedor son elementos de análisis, no pruebas.
    • Los contratos deben contemplar límites al uso de datos, subencargados del tratamiento, notificaciones de incidentes y de cambios de modelo, evidencias de auditoría y asistencia para la salida.
    • Clasifique a los proveedores según aquello a lo que pueda acceder su IA (datos de clientes, conversaciones con clientes, decisiones sujetas a regulación) y vuelva a evaluarlos cuando cambien las versiones, las prácticas de tratamiento de datos o los permisos.
    • Las pruebas independientes del agente en producción cubren las lagunas que dejan los cuestionarios. Las auditorías de Lexic detectaron que el 85% de los agentes evaluados no deriva los problemas a un representante humano de forma adecuada.

    Índice

    Qué incluye el riesgo asociado a los proveedores de LLM

    Las directrices para el desarrollo seguro de sistemas de IA del Centro Nacional de Ciberseguridad del Reino Unido consideran la cadena de suministro de IA parte del perímetro de seguridad. Para una organización que adquiere capacidades de LLM, la exposición se divide en cinco grupos:

    • Vulnerabilidades específicas de la IA. Ataques como la inyección de instrucciones se dirigen a la forma en que los modelos procesan las instrucciones, y las pruebas habituales de seguridad de aplicaciones no los cubren.
    • Riesgo de la cadena de suministro. El proveedor con el que contrata suele depender de un proveedor de modelos fundacionales, un proveedor de alojamiento y otros subencargados del tratamiento.
    • Exposición de datos sensibles. Las instrucciones, los archivos y las salidas pueden almacenarse, registrarse o utilizarse para el entrenamiento.
    • Comportamiento inesperado. El agente dice algo incorrecto, se niega a transferir la conversación a una persona o no informa de que es una IA.
    • Disponibilidad. Las interrupciones del servicio, la obsolescencia y la retirada de modelos interrumpen la atención al cliente.

    Cloud Security Alliance aborda directamente la cuestión de los riesgos heredados: utilizar un LLM a través de un tercero puede trasladar las vulnerabilidades de seguridad del modelo subyacente, los problemas de privacidad durante el entrenamiento o la inferencia y los riesgos de sesgo y falta de equidad. Un cuestionario estándar de seguridad para proveedores no los revela por sí solo.

    Por qué el riesgo de un proveedor aprobado sigue cambiando

    Las directrices del NCSC señalan que los cambios en los datos, los modelos o las instrucciones pueden modificar el comportamiento de un sistema. Recomiendan tratar las actualizaciones importantes como nuevas versiones y facilitar su evaluación mediante medidas como el acceso anticipado y las API versionadas. También recomiendan supervisar las salidas para detectar cambios de comportamiento repentinos o graduales, que pueden indicar una vulneración o una deriva natural.

    En la práctica, cuatro acontecimientos deberían dar lugar a una nueva revisión:

    1. El proveedor cambia la versión del modelo o sustituye al proveedor subyacente.
    2. El proveedor cambia la forma en que trata los datos, incluida su conservación o su uso para entrenamiento.
    3. El agente obtiene nuevos permisos, como acceso a datos de cuentas o la capacidad de emitir reembolsos.
    4. La empresa amplía el uso del agente a una nueva finalidad, canal, idioma o mercado.

    El marco de riesgos de proveedores de IA de TechTarget enumera los mismos desencadenantes: versiones de modelos, prácticas de tratamiento de datos, permisos y usos previstos. También recomienda realizar un seguimiento de los incidentes, los fallos de los controles, los cambios del proveedor y las dependencias tras su incorporación.

    La responsabilidad no se transfiere al proveedor

    Adquirir funcionalidades de IA no transfiere al proveedor la responsabilidad legal que conllevan. El análisis de gobernanza de Cleary afirma que las organizaciones siguen siendo responsables del cumplimiento legal cuando obtienen IA de proveedores externos. Recomienda gobernanza, diligencia debida adaptada, protecciones contractuales y supervisión continua.

    Para las empresas estadounidenses que venden en Europa, este es el significado práctico del EU AI Act. La Comisión Europea indica que el artículo 50 del EU AI Act es aplicable a partir del 2 de agosto de 2026. Establece obligaciones de transparencia para los proveedores y los responsables del despliegue de IA interactiva y generativa, entre ellas informar a las personas cuando interactúan directamente con un sistema de IA. Un agente de atención al cliente desarrollado por un proveedor y desplegado por su organización sitúa a esta en el papel de responsable del despliegue. Que el agente se identifique efectivamente como IA en conversaciones reales es un comportamiento que debe verificarse, no una función que deba darse por supuesta.

    En Estados Unidos, el Marco de Gestión de Riesgos de IA del NIST es la referencia voluntaria habitual. Se organiza en torno a cuatro funciones: Gobernar, Mapear, Medir y Gestionar. Proporciona un vocabulario común para las revisiones de proveedores en operaciones que abarcan Estados Unidos y la UE.

    Cuatro funciones del Marco de Gestión de Riesgos de IA del NIST

    Evalúe al proveedor antes de aprobarlo

    Una buena diligencia debida solicita información concreta y distingue las evidencias de las garantías. El marco de TechTarget recomienda diferenciar las evidencias del proveedor verificadas de forma independiente de sus garantías. Un PDF con una política es una garantía. El resultado de una prueba realizada por un tercero es una evidencia.

    La Oficina del Comisionado de Información del Reino Unido, en sus directrices sobre contratos de IA y terceros, pide a las organizaciones que soliciten documentación exhaustiva a los desarrolladores de modelos, incluido el proceso de entrenamiento. También pide evidencias sobre exactitud, sesgos, equidad, explicabilidad y pruebas con usuarios. Se dirige a organizaciones del Reino Unido, pero las preguntas son aplicables a cualquier mercado.

    Un conjunto práctico de comprobaciones de diligencia debida abarca seis áreas:

    Área Qué preguntar
    Uso de datos ¿Se utilizan las instrucciones, los archivos o las salidas para entrenar o mejorar modelos? ¿Dispone el proveedor de derechos sobre sus propios datos de entrenamiento?
    Ubicación y subencargados del tratamiento ¿Dónde se tratan y almacenan los datos? ¿Qué subencargados del tratamiento intervienen?
    Conservación ¿Durante cuánto tiempo se conservan las conversaciones y cómo se confirma su eliminación al finalizar el contrato?
    Cambios de modelo ¿Qué versiones del modelo se ejecutan y con cuánta antelación se notifican los cambios?
    Pruebas de seguridad ¿Qué pruebas se han realizado, quién las ha llevado a cabo y pueden compartirse los resultados?
    Registros ¿Puede el cliente acceder a los registros para realizar investigaciones?

    Estas preguntas siguen las listas de la guía de evaluación de proveedores de Morgan Lewis, que aborda cómo un proveedor recopila, utiliza, almacena y protege los datos, y del módulo de IA de terceros de DigiTrust Asia.

    La Guía de diligencia debida de la OCDE para una IA responsable aporta un método basado en riesgos para identificar, prevenir, mitigar y rendir cuentas sobre los impactos adversos vinculados a las operaciones de IA y las relaciones comerciales. Para los equipos que necesitan comprender cómo encaja la automatización con IA en los procesos empresariales antes de mapear los riesgos, esta introducción a cómo funciona la automatización con IA ofrece un punto de partida claro.

    Clasifique a los proveedores según aquello a lo que pueda acceder la IA

    No todos los proveedores de LLM requieren el mismo grado de revisión. Clasifíquelos por nivel de exposición y adapte la evaluación y la supervisión a ese nivel.

    Nivel Perfil habitual Profundidad de la revisión
    Alto El agente habla directamente con los clientes, trata datos personales o actúa en un sector regulado Diligencia debida completa, protecciones contractuales, pruebas independientes del agente en producción, supervisión continua
    Medio Herramienta interna con acceso a datos confidenciales, o contenido dirigido al cliente con revisión humana Diligencia debida estándar, reevaluación periódica
    Bajo Sin datos personales, sin exposición al cliente y fácil de sustituir Revisión simplificada, condiciones contractuales básicas

    Los agentes conversacionales orientados al cliente se sitúan en el nivel más alto casi por definición. Hablan en nombre de la marca, recopilan datos personales y deben transferir la atención a personas cuando la situación lo requiere.

    Incorpore las protecciones al contrato

    Las directrices de la ICO exigen condiciones escritas que cubran los detalles del tratamiento, los subencargados autorizados, las medidas técnicas y organizativas de seguridad, la asistencia en las obligaciones de protección de datos y la devolución o eliminación de la información personal al finalizar el contrato. El módulo de DigiTrust amplía la lista con aspectos específicos de la IA. Un contrato con un proveedor de LLM debe abordar:

    • Restricciones al uso de sus datos para entrenamiento o mejora.
    • Conservación y eliminación, con confirmación.
    • Compromisos de seguridad y notificación de incidentes, con un plazo definido.
    • Notificación de cambios de modelo y de nuevos subencargados del tratamiento, con derecho de oposición.
    • Evidencias de auditoría y cooperación con las autoridades reguladoras.
    • Registros accesibles para el cliente.
    • Disponibilidad del servicio, asistencia para la transición y salida.

    El marco de TechTarget incluye la continuidad del servicio, la cooperación ante incidentes, los derechos de auditoría, la portabilidad de los datos y las disposiciones de salida entre las cuestiones de resiliencia que deben resolverse antes de la aprobación. Los derechos de auditoría son especialmente relevantes para el argumento de este artículo: permiten probar el agente en producción, y el contrato debe indicarlo expresamente.

    Supervise después del despliegue

    La supervisión tiene dos capas. Los paneles del propio proveedor informan sobre lo que este decide medir, como la disponibilidad, la latencia y el uso. Son útiles para las operaciones. No permiten determinar de forma independiente si el agente se comporta conforme a sus políticas y a la ley.

    La segunda capa es externa: probar el agente tal como lo encuentra un cliente. Las preguntas son concretas.

    • ¿Indica el agente que es una IA cuando debe hacerlo?
    • ¿Deriva la atención a una persona cuando el cliente lo solicita o cuando el caso lo exige?
    • ¿Resiste los intentos de extraer datos o anular sus instrucciones?
    • ¿Ofrece respuestas exactas sobre políticas, precios y materias reguladas?
    • ¿Se comporta de la misma manera después de una actualización del modelo?

    Estas comprobaciones se relacionan directamente con la recomendación del NCSC de vigilar los cambios repentinos o graduales. Los equipos que diseñan los aspectos de producto de esta supervisión, incluida la forma en que los comportamientos de la IA se manifiestan ante los usuarios, pueden apoyarse en estos patrones de experiencia de usuario con LLM para SaaS.

    Las propias auditorías de Lexic muestran por qué importa la segunda capa: el 85% de los agentes evaluados no deriva los problemas a un representante humano de forma adecuada. Es un comportamiento que solo resulta visible en una conversación y que una revisión de la configuración no revelaría necesariamente.

    Prepárese para brechas, interrupciones y retiradas del servicio

    Planifique qué hacer si el proveedor falla antes de que ocurra. El módulo de DigiTrust recomienda obligaciones de notificación de incidentes y cooperación, conservación de registros accesibles para el cliente y notificación contractual de cambios de modelo, junto con asistencia para la transición y la salida. El NCSC recomienda recurrir a alternativas de respaldo para los sistemas de misión crítica cuando no se cumplan los criterios de seguridad, así como documentar y proteger los activos relacionados con la IA, como instrucciones, datos, modelos, registros y evaluaciones.

    Conviene tomar cuatro decisiones de antemano:

    1. Vía alternativa. ¿Qué ocurre con las conversaciones de los clientes si se desactiva el agente: pasan a una cola de atención humana, a un flujo más sencillo o se muestra un aviso?
    2. Conservación de evidencias. Qué registros y resultados de pruebas conserva con independencia del proveedor.
    3. Responsable de la decisión. Quién puede suspender el agente y ante qué desencadenante.
    4. Vía de salida. Cómo recuperará las instrucciones, las configuraciones y los datos.

    Documente las decisiones para poder acreditarlas

    La ICO recomienda documentar la relación entre el responsable y el encargado del tratamiento y las actividades de tratamiento, dejar constancia de la evaluación en registros como correos electrónicos, actas o documentos de diseño del sistema, y revisar periódicamente los contratos escritos. Un expediente sólido para cada proveedor de LLM contiene el nivel asignado y su justificación, las respuestas de diligencia debida, las condiciones contractuales, los resultados de las pruebas y las fechas de cada reevaluación.

    La calidad de las evidencias importa cuando una autoridad reguladora o un cliente solicita explicaciones. Lexic sostiene que los hallazgos deben ser trazables: utiliza funciones hash criptográficas de terceros para verificar la integridad de las evidencias y facilitar su trazabilidad.

    Perspectiva

    Las revisiones de riesgos de proveedores se diseñaron para software que se comporta igual cada vez que se ejecuta. La IA conversacional no lo hace. El mismo agente puede responder de forma distinta tras una actualización del modelo, y un cuestionario de seguridad cumplimentado al firmar el contrato dice poco sobre lo que oye un cliente en el noveno mes.

    Consideramos que la brecha entre lo que comunica un proveedor y lo que hace un agente es la cuestión central del riesgo asociado a los proveedores de LLM. Por eso Lexic Compass interactúa con los agentes como lo hacen los usuarios reales y evalúa conjuntamente la experiencia del cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo. El resultado son evidencias que una organización puede utilizar para ejercer la gobernanza de sus agentes en producción y exigir responsabilidades a los proveedores.

    La independencia es la clave. Que un proveedor mida su propio agente resulta útil para las operaciones. Una evaluación de una parte sin intereses en el resultado es aquello en lo que pueden confiar un consejo de administración, una autoridad reguladora o un cliente.

    Sergio Llorens

    Cómo facilita Lexic la supervisión de proveedores

    Lexic Compass audita agentes de IA conversacional de cualquier proveedor y abarca la experiencia del cliente, la seguridad, la fiabilidad técnica y el cumplimiento normativo, incluidos puntos ciegos que las herramientas tradicionales de supervisión pueden pasar por alto. Los servicios están disponibles en las modalidades Flash Preview, Audit Sprint o Enterprise Continuous Trust. Consulte las opciones de auditoría o la página de producto de Lexic Compass.

    Lexic AI

    Para los equipos que también quieren aprender de las propias conversaciones, Lexic Pulse analiza las interacciones con los clientes y genera información sobre sentimiento, abandono y oportunidades.

    Preguntas frecuentes

    ¿Qué es el riesgo asociado a los proveedores de LLM?

    Es el conjunto de exposiciones derivadas de depender de un proveedor externo para un modelo de lenguaje o un agente de IA. Incluye la exposición de datos, las vulnerabilidades de seguridad, el comportamiento inesperado, las dependencias de la cadena de suministro y las interrupciones del servicio. La organización que despliega el sistema sigue siendo responsable del resultado.

    ¿Con qué frecuencia debe reevaluarse a un proveedor de LLM?

    Realice reevaluaciones periódicas y siempre que se produzca un cambio sustancial. Los desencadenantes incluyen una nueva versión del modelo, un cambio en las prácticas de tratamiento de datos, nuevos permisos para el agente o un nuevo caso de uso. La ICO también recomienda revisar periódicamente los servicios externalizados.

    ¿Se aplica el EU AI Act a una empresa estadounidense que utiliza un proveedor de LLM?

    Puede aplicarse cuando el sistema de IA se utiliza en la UE. La Comisión indica que las obligaciones de transparencia del artículo 50 son aplicables a partir del 2 de agosto de 2026 a los proveedores y responsables del despliegue de determinados sistemas de IA, incluidos los interactivos. Confirme su función y el ámbito de aplicación con asesoramiento jurídico cualificado.

    ¿Qué diferencia hay entre las garantías del proveedor y las evidencias?

    Las garantías son las declaraciones del proveedor: las políticas, los cuestionarios y los informes independientes que aporta. Las evidencias se verifican de forma independiente, como los resultados de las pruebas del agente en producción. El marco de TechTarget recomienda distinguir ambas categorías al evaluar a un proveedor de IA.

    Fuentes

    ¿Quieres un veredicto independiente sobre tu agente de IA?

    Volver a The Signal