Esta lista de comprobación ofrece a auditores y equipos de cumplimiento un marco preparado para la auditoría y vinculado al NIST AI RMF, a ISO/IEC 42001 y al EU AI Act. Antes de ejecutar una sola prueba, defina el alcance de la auditoría y elabore un inventario completo de IA: cada modelo, proveedor y agente conversacional que interactúe con clientes o trate datos regulados. Ese inventario determina todos los demás hallazgos de la auditoría, incluidos los fallos habituales de derivación detectados en sistemas en producción.
En resumen:
- Empiece por los sistemas de alto riesgo y los agentes que interactúan directamente con los clientes; después, compruebe que todas las versiones de los modelos, los proveedores y los agentes en producción figuren en el inventario.
- Solicite fichas de modelos, muestras de datos de entrenamiento, resultados de pruebas, registros de pruebas adversarias y registros de conversaciones antes de las entrevistas; repita las auditorías tras actualizaciones importantes o incidentes.
- Para los usos de alto riesgo, exija métricas de equidad documentadas, fichas de modelos o de riesgos, información al usuario y datos de validación separados de los conjuntos de entrenamiento.
- Compruebe que los contratos con proveedores permitan realizar pruebas independientes y acceder a las evidencias, e inspeccione los registros de seguridad sin procesar y los registros con marcas de tiempo de las transferencias a personas.
Índice
- Resumen de la lista de comprobación para auditorías de IA
- Lista de comprobación detallada por áreas para auditorías de IA
- Cómo aplicar esta lista de comprobación en la práctica
- Hallazgos habituales de las auditorías y orientación de las normas
- Lo más importante en una primera auditoría
- Cómo contribuye Lexic AI a la gobernanza continua de la IA
- Preguntas frecuentes
- Fuentes
- Normas y listas de comprobación de referencia para seguir consultando
Resumen de la lista de comprobación para auditorías de IA
Una lista de comprobación práctica para auditorías de IA cabe en una página y se vincula directamente a marcos reconocidos. La siguiente lista ofrece a los auditores una plantilla inicial, con un criterio de conformidad de una línea para cada comprobación.
- Alcance e inventario: todos los sistemas de IA, versiones de modelos y proveedores están documentados. La conformidad exige que no haya agentes de IA sin registrar u «ocultos» en producción. Se vincula a la función Map del NIST.
- Gobernanza y responsabilidad: cada sistema cuenta con un responsable designado y una declaración de apetito de riesgo. La conformidad exige que las decisiones puedan atribuirse a una función que rinda cuentas. Se vincula a ISO/IEC 42001.
- Linaje de datos: las fuentes de datos de entrenamiento y ajuste fino están documentadas. La conformidad exige que pueda reconstruirse la procedencia de los datos.
- Pruebas de equidad: se calculan métricas de impacto dispar para los grupos protegidos. La conformidad exige que los resultados estén documentados, no solo declarados.
- Explicabilidad: existen fichas de modelos o de riesgos para los casos de uso de alto riesgo. Se vincula a las obligaciones de transparencia del EU AI Act.
- Periodicidad de TEVV: las pruebas, la evaluación, la verificación y la validación se realizan según un calendario fijo, no de forma puntual.
- Monitorización y registro: los registros de conversaciones se conservan y permiten realizar búsquedas. Se vincula a la función Manage del NIST.
- Pruebas de seguridad: se realizan pruebas de inyección de instrucciones y pruebas adversarias. Se vincula a OWASP LLMSVS.
- Supervisión de proveedores: los contratos otorgan derechos de auditoría y acceso a las evidencias.
- Gestión de derivaciones: existe un procedimiento documentado para que la IA transfiera la atención a personas.
Lista de comprobación detallada por áreas para auditorías de IA
Cada área de auditoría que figura a continuación combina preguntas prácticas con las evidencias que debe exigir un auditor y las señales de alerta que suelen indicar problemas.
Gobernanza. Pregunte si existe una política de IA por escrito, si se ha definido el apetito de riesgo para cada caso de uso y si el sistema de gestión de IA se ajusta al ciclo de planificar, hacer, verificar y actuar de ISO/IEC 42001. Solicite el calendario de presentación de informes al consejo de administración o a la dirección. Una señal de alerta es una política que existe sobre el papel, pero no designa a ningún responsable que rinda cuentas.
- Las políticas definen los usos aceptables, los usos prohibidos y los umbrales de derivación.
- Se asignan funciones a los responsables de modelos, los responsables de riesgos y los promotores de la auditoría.
- Existen declaraciones de apetito de riesgo para cada categoría de casos de uso de IA.
- Los informes a la dirección se presentan según un calendario fijo, no de forma reactiva.
Datos y modelado. Solicite documentación sobre el linaje de los datos, la estrategia de muestreo de los conjuntos de entrenamiento y los métodos de desidentificación aplicados a los campos sensibles. Pregunte cómo se audita la calidad del etiquetado y con qué frecuencia se mide la deriva de los datos frente a las entradas en producción. Una señal de alerta son los datos de entrenamiento sin una fuente documentada o sin una base de consentimiento documentada.
Explicabilidad y documentación. Solicite fichas de modelos y de riesgos para cualquier sistema que intervenga en decisiones de alto riesgo conforme al EU AI Act, que establece obligaciones basadas en el riesgo, incluidos requisitos de transparencia y registro para los sistemas de alto riesgo. Pregunte si se informa a los usuarios finales de que están interactuando con IA. La ausencia de esa información al usuario constituye una deficiencia de cumplimiento, no una elección de estilo.
TEVV y pruebas. Solicite conjuntos de datos de validación separados de los datos de entrenamiento, métricas de equidad documentadas, resultados de pruebas de robustez y registros de resultados de pruebas adversarias. Pregunte con qué frecuencia se realizan las pruebas y si se activan por actualizaciones del modelo o según un calendario. El NIST AI RMF considera TEVV una actividad continua dentro de su función Measure, y no un control que se supera una sola vez.
Operaciones y monitorización. Solicite políticas de conservación de registros, reglas de detección de anomalías y un protocolo escrito de respuesta a incidentes. Pregunte si existen procedimientos de reversión y de funcionamiento seguro ante fallos, y si se han probado. Una señal de alerta es la existencia de registros que nunca se revisan.
Seguridad y riesgo adversario. Solicite evidencias de pruebas de inyección de instrucciones, declaraciones sobre la cadena de suministro de modelos de terceros y controles de acceso basados en roles en los flujos de entrenamiento y despliegue. El OWASP LLMSVS enumera pasos concretos de verificación de la inyección de instrucciones, los riesgos de la generación aumentada por recuperación y el tratamiento de las salidas, que los auditores pueden solicitar directamente como evidencias de las pruebas.
Supervisión de terceros. Confirme que los contratos con proveedores otorguen derechos de auditoría, acceso a las evidencias y una lista de componentes de software para cualquier modelo utilizado bajo licencia. Pregunte cómo definen los acuerdos de nivel de servicio las tasas de fallo aceptables y si el proveedor permite realizar pruebas independientes. Los auditores que revisen flujos de recuperación que incorporen datos web externos también deben comprobar cómo se obtienen y validan esos datos, ya que una lista de comprobación para evaluar una API de datos web aplica el mismo criterio probatorio a la capa de datos que alimenta un modelo.
Consejo profesional: Solicite evidencias sin procesar, no resúmenes. Una declaración del proveedor de que las pruebas de seguridad «se han superado» no equivale a un registro que muestre las cargas de ataque de inyección de instrucciones realmente utilizadas.
Cómo aplicar esta lista de comprobación en la práctica
Realizar bien una auditoría depende del orden de las actuaciones, no solo de su cobertura.
- Defina primero el alcance: empiece por los sistemas de alto riesgo y por cualquier agente conversacional que interactúe directamente con los clientes.
- Recopile evidencias: solicite fichas de modelos, muestras de datos de entrenamiento, resultados de pruebas TEVV, registros de pruebas adversarias y registros completos de auditoría de conversaciones antes de programar entrevistas.
- Establezca la periodicidad: realice una auditoría inicial de referencia y, después, nuevas auditorías periódicas, con mecanismos de activación de la monitorización continua ante actualizaciones importantes del modelo o aumentos bruscos de incidentes.
- Evalúe y elabore el informe: califique cada elemento de la lista como conforme, parcialmente conforme o no conforme y, después, elabore un resumen ejecutivo con un plan de subsanación priorizado.
Esta secuencia mantiene la auditoría centrada en las evidencias, en lugar de en las entrevistas, lo que resulta importante cuando los hallazgos deben resistir el escrutinio regulatorio.
Hallazgos habituales de las auditorías y orientación de las normas
Las auditorías de agentes de IA conversacional revelan reiteradamente un fallo operativo: una amplia mayoría de los agentes auditados no deriva correctamente las incidencias a un representante humano. Los auditores deben solicitar registros de derivación, definiciones de los criterios de activación y registros de transferencias con marcas de tiempo como evidencias directas, en lugar de basarse en afirmaciones del proveedor.
Vincular los elementos de la lista de comprobación a las normas ayuda a justificar ante la dirección el gasto en subsanación. Las comprobaciones de gobernanza y responsabilidad se vinculan a los resultados del sistema de gestión de ISO/IEC 42001. El inventario, TEVV y la monitorización se vinculan a las funciones Govern, Map, Measure y Manage del NIST AI RMF. Las comprobaciones de procedimientos e impacto se ajustan a la lista de comprobación de auditoría del CEPD, mientras que las pruebas técnicas de seguridad se basan directamente en las normas de OWASP para LLM.
Lo más importante en una primera auditoría
Una primera auditoría debe priorizar el inventario, la identificación de los usos de alto riesgo y TEVV en los flujos que afectan directamente a los clientes. Todo lo demás, incluida la periodicidad de las pruebas adversarias y la madurez de la gobernanza, debe formar parte de un proceso de aseguramiento continuo, en lugar de limitarse a un informe puntual. Al presentar los hallazgos, facilite a los directivos los criterios de conformidad, conformidad parcial y no conformidad, y a los equipos de ingeniería, los registros y casos de prueba específicos que sustentan cada no conformidad.
— Sergio Llorens
Cómo contribuye Lexic AI a la gobernanza continua de la IA
Aplicar esta lista de comprobación a todos los proveedores y agentes conversacionales requiere recopilar evidencias de forma sostenida, y ahí es donde resulta útil una capa de auditoría independiente. Hemos desarrollado Lexic Compass para auditar agentes de IA de cualquier proveedor y verificar conversaciones reales mediante comprobaciones de derivación, seguridad y cumplimiento, en lugar de depender de resúmenes facilitados por los proveedores.
- Lexic Compass audita el comportamiento de los agentes directamente a partir de conversaciones reales y genera evidencias que los auditores pueden defender ante los reguladores.
- Lexic Pulse añade monitorización continua una vez completada la auditoría de referencia y señala la deriva y los nuevos riesgos a medida que aparecen.
- Las opciones flexibles de contratación, desde una auditoría intensiva de alcance específico hasta un acuerdo de confianza continua para empresas, se detallan en nuestra página de auditoría y aseguramiento continuo.
Contacte a través de Lexic Compass para definir el alcance de una auditoría independiente basada en esta lista de comprobación.
Preguntas frecuentes
¿Qué son las herramientas de auditoría de IA?
Las herramientas de auditoría de IA son plataformas y marcos utilizados para probar, documentar y monitorizar sistemas de IA frente a requisitos de gobernanza, seguridad y cumplimiento. Suelen combinar marcos de pruebas como los de la guía práctica del NIST AI RMF con conjuntos de pruebas técnicas, como las listas de comprobación de OWASP para LLM, junto con plataformas como Lexic Compass, que auditan de forma independiente el comportamiento de los agentes en producción.
¿Puede la IA crear una lista de comprobación?
Las herramientas de IA pueden redactar una lista de comprobación inicial resumiendo marcos conocidos, pero la lista resultante debe validarse con las normas de referencia y los textos legales para que sea apta para una auditoría. Una lista generada de este modo debe contrastarse con fuentes como el NIST AI RMF y el EU AI Act antes de utilizarse en una auditoría formal.
¿Con qué frecuencia debe auditarse un sistema de IA?
La mayoría de los profesionales recomienda una auditoría inicial de referencia seguida de nuevas auditorías periódicas, con monitorización continua activada por actualizaciones importantes del modelo o por incidentes. La periodicidad adecuada depende del nivel de riesgo del sistema conforme a marcos como el EU AI Act.
¿Qué normas debe citar una lista de comprobación para auditorías de IA?
Una lista de comprobación defendible hace referencia al NIST AI RMF para las funciones de gobernanza, a ISO/IEC 42001 para la estructura del sistema de gestión, al EU AI Act para las obligaciones legales y a OWASP LLMSVS para los controles técnicos de seguridad específicos de los modelos de lenguaje.
¿Audita Lexic AI agentes de IA de cualquier proveedor?
Sí, Lexic Compass está diseñado para auditar de forma independiente agentes de IA conversacional, con independencia del proveedor que los haya desarrollado, y verificar su comportamiento, cumplimiento y seguridad directamente a partir de conversaciones reales, en lugar de datos facilitados por el proveedor.
Fuentes
- Marco de gestión de riesgos de inteligencia artificial (AI RMF 1.0)
- Auditoría de IA - Lista de comprobación para auditorías de IA (programa SPE del CEPD)
- LLMSVS v2.0 — Norma de verificación de seguridad de grandes modelos de lenguaje de OWASP
- Reglamento (UE) 2024/1689 — Reglamento de Inteligencia Artificial
Normas y listas de comprobación de referencia para seguir consultando
Para ampliar la lectura, empiece por el NIST AI RMF, la lista de comprobación de auditoría de IA del CEPD, OWASP LLMSVS, la información de ISO sobre ISO/IEC 42001 y el propio texto del EU AI Act.