El verdadero riesgo es una organización incapaz de demostrar cómo, por qué y bajo qué controles utiliza sus sistemas automatizados
Se ha instalado una afirmación que comienza a repetirse en las grandes consultoras, en publicaciones de las que repiten como loros lo que otros dicen, y en otros lados que ya tu mente acaba de identificar, incluso en foros jurídicos, encuentros de auditoría y conversaciones de directorio: la inteligencia artificial sería el nuevo punto ciego del compliance.
La frase es efectiva. Genera preocupación, activa presupuestos y ofrece un responsable reconocible para una categoría creciente de riesgos.
Pero es conceptualmente imprecisa.
La inteligencia artificial no es, por naturaleza, invisible ni incontrolable. Es tecnología. Puede identificarse, inventariarse, registrarse, probarse, monitorearse y auditarse.
El verdadero punto ciego aparece cuando la organización no sabe dónde utiliza inteligencia artificial, con qué datos, bajo qué instrucciones, con qué grado de autonomía, para influir sobre qué decisiones y bajo la responsabilidad de quién.
Por lo tanto, el problema no es la opacidad inevitable de la tecnología. Es la incapacidad institucional para producir evidencia suficiente sobre su uso.
Esa diferencia no es semántica. Determina el alcance de la responsabilidad de los administradores, la función de Compliance, el plan de auditoría, el diseño del sistema de control interno y, eventualmente, la posición procesal de la organización frente a un regulador, un tribunal, un cliente o un tercero afectado.
La IA puede auditarse
Un sistema de inteligencia artificial puede dejar evidencia sobre aspectos que numerosas decisiones humanas nunca documentaron adecuadamente:
- el modelo y la versión utilizados;
- la fecha y hora de cada ejecución;
- el usuario o sistema que inició la interacción;
- los datos proporcionados;
- las fuentes consultadas;
- las instrucciones o prompts aplicados;
- las reglas complementarias utilizadas;
- la respuesta generada;
- las acciones ejecutadas;
- las intervenciones humanas posteriores;
- las excepciones y alertas producidas.
Esto no significa que toda inteligencia artificial sea automáticamente transparente, explicable o confiable.
Significa algo diferente: la auditabilidad no depende exclusivamente de la naturaleza del modelo. Depende de la arquitectura, de la configuración, del registro de eventos, de la documentación, del gobierno de datos y de los controles implementados alrededor del sistema.
Un modelo complejo puede presentar dificultades de interpretabilidad. Pero una organización no necesita reconstruir matemáticamente cada parámetro interno para controlar el riesgo jurídico y operativo de su utilización.
Debe poder acreditar, como mínimo:
- cuál era el propósito autorizado del sistema;
- qué datos podía utilizar;
- qué resultados debía producir;
- qué decisiones podía influir o ejecutar;
- qué controles limitaban su actuación;
- qué validaciones se realizaron;
- cómo se monitoreaba su desempeño;
- qué personas u órganos eran responsables;
- qué procedimiento existía para incidentes, errores y reclamaciones;
- bajo qué condiciones debía suspenderse o retirarse.
Esto es auditable.
No siempre será sencillo. Tampoco es sencilla la auditoría de derivados financieros, modelos de capital, ciberseguridad, prevención del lavado de activos o estimaciones contables complejas. La dificultad técnica nunca convirtió a esas materias en zonas exentas de control.
La falsa equivalencia entre complejidad y ausencia de responsabilidad
Uno de los errores más frecuentes consiste en confundir cuatro conceptos diferentes:
- complejidad técnica;
- falta de explicabilidad;
- ausencia de auditabilidad;
- ausencia de responsabilidad.
No son equivalentes.
Un sistema puede ser técnicamente complejo y, aun así, estar sujeto a controles efectivos.
Puede ser parcialmente interpretable y, sin embargo, generar evidencia suficiente sobre sus entradas, salidas, limitaciones, pruebas y supervisión.
Puede incluso producir un resultado probabilístico sin que desaparezca la responsabilidad de quien decidió implementarlo, configurarlo, entrenarlo, contratarlo o utilizarlo.
La incertidumbre técnica no elimina el deber de diligencia. Lo vuelve más exigente.
En términos jurídicos, una organización no debería poder defenderse alegando que desconoce por qué su sistema produjo un determinado resultado cuando fue la propia organización la que decidió utilizarlo en un proceso relevante.
Aceptar esa defensa implicaría reconocer una forma de irresponsabilidad por diseño: cuanto más complejo fuera el sistema implementado, menor sería la responsabilidad de quien lo utiliza.
Ese razonamiento es incompatible con cualquier sistema serio de gobierno corporativo.
El cambio regulatorio ya comenzó
El Reglamento de Inteligencia Artificial de la Unión Europea adoptó un enfoque basado en riesgos y estableció obligaciones diferenciadas para proveedores, implementadores y demás actores vinculados con sistemas de IA. Para determinados sistemas de alto riesgo, el régimen contempla, entre otras exigencias, gestión de riesgos, gobierno de datos, documentación técnica, registros, transparencia, supervisión humana, precisión, robustez y ciberseguridad.
La relevancia del modelo europeo excede su alcance territorial directo.
Está consolidando una lógica regulatoria que probablemente influya sobre contratos internacionales, estándares sectoriales, procesos de debida diligencia, requerimientos de aseguradoras, políticas de grupos multinacionales y expectativas de los organismos de supervisión.
El punto central no es memorizar cada obligación del reglamento europeo.
Es comprender la dirección jurídica del cambio: la utilización de inteligencia artificial comienza a exigir evidencia estructurada sobre todo el ciclo de vida del sistema.
Ya no alcanza con afirmar que una herramienta es innovadora, que fue provista por una empresa reconocida o que existe una persona que revisa ocasionalmente sus resultados.
La organización deberá demostrar que conoce el sistema, entiende sus riesgos, controla su utilización y puede intervenir cuando el comportamiento real se aleja del esperado.
De la confianza declarada a la confianza demostrable
Durante años, muchas organizaciones trataron la tecnología como un componente instrumental.
El área de negocio definía un objetivo. Tecnología implementaba una solución. Seguridad revisaba accesos. Jurídico analizaba el contrato. Auditoría verificaba ciertos controles.
La inteligencia artificial altera ese reparto.
Un sistema puede modificar el modo en que se priorizan clientes, se detectan operaciones sospechosas, se evalúan empleados, se redactan informes, se asignan recursos, se seleccionan proveedores o se recomienda conceder un crédito.
En esos casos, la IA no es solamente una herramienta tecnológica. Es un componente del proceso decisorio.
Por eso, la pregunta jurídica relevante no es únicamente si el sistema funciona.
También debe analizarse:
- si el propósito de uso es legítimo;
- si los datos fueron obtenidos y utilizados lícitamente;
- si existen riesgos de discriminación;
- si el resultado puede ser impugnado;
- si la persona afectada puede solicitar revisión;
- si el sistema altera obligaciones contractuales o regulatorias;
- si existe una asignación clara de responsabilidades;
- si el tercero proveedor permite realizar auditorías suficientes;
- si la organización conserva la capacidad efectiva de detener el sistema.
La confianza deja de ser una declaración institucional y pasa a ser una cualidad que debe demostrarse mediante evidencia.
El verdadero punto ciego: la IA que no aparece en ningún inventario
La principal amenaza para Compliance no es el modelo formalmente aprobado por el directorio.
Es la inteligencia artificial que ya se utiliza sin formar parte del mapa de riesgos.
Un abogado carga contratos confidenciales en una plataforma externa para obtener un resumen.
Un ejecutivo utiliza un asistente generativo para analizar información comercial.
Un equipo de recursos humanos incorpora una herramienta para filtrar candidatos.
Un desarrollador conecta un modelo a una base de datos interna.
Un área comercial automatiza comunicaciones sin evaluar las consecuencias regulatorias.
Un proveedor integra funciones de IA en una aplicación previamente contratada, sin que el cliente advierta el cambio.
Cada caso puede parecer menor.
En conjunto constituyen una infraestructura decisoria paralela.
La organización cree que todavía está evaluando cómo adoptar inteligencia artificial. En realidad, ya la adoptó. Solo que lo hizo de manera fragmentada, informal y fuera de su estructura de control.
Este fenómeno suele denominarse shadow AI.
El riesgo no surge únicamente de una conducta deliberadamente clandestina. En muchos casos, los usuarios no perciben que están incorporando IA a un proceso regulado. Consideran que están utilizando una herramienta de productividad, una funcionalidad adicional o un servicio disponible en internet.
Pero desde la perspectiva de Compliance, el nombre comercial de la herramienta es irrelevante.
Lo determinante es qué información procesa, qué recomendación produce y qué decisión puede modificar.
El inventario como primer acto de gobierno
No puede gobernarse lo que no se conoce.
Por ello, el primer control serio no debería ser la redacción de una extensa política de inteligencia artificial.
Debería ser la construcción de un inventario dinámico.
Ese inventario no puede limitarse a una lista de modelos desarrollados internamente. Debe incluir:
- aplicaciones adquiridas a terceros;
- funcionalidades de IA incorporadas en plataformas existentes;
- modelos utilizados mediante interfaces de programación;
- asistentes generativos de uso individual;
- automatizaciones construidas por usuarios;
- herramientas de desarrollo;
- sistemas embebidos en procesos tercerizados;
- agentes capaces de ejecutar acciones;
- pruebas piloto;
- modelos retirados cuyos resultados continúan utilizándose.
Para cada caso de uso, la organización debería registrar como mínimo:
- propietario del proceso;
- responsable técnico;
- proveedor;
- finalidad;
- usuarios;
- datos utilizados;
- personas afectadas;
- impacto potencial;
- nivel de autonomía;
- criticidad;
- controles;
- validaciones;
- fecha de aprobación;
- fecha de revisión;
- incidentes;
- estado actual.
Sin ese inventario, cualquier política de IA corre el riesgo de convertirse en una declaración aspiracional sin capacidad operativa.
No toda IA presenta el mismo riesgo
Otro error frecuente es aplicar controles idénticos a todos los sistemas.
No requiere el mismo tratamiento una herramienta que mejora la redacción de un correo interno que un sistema que recomienda rechazar una operación financiera, reportar una transacción, despedir a un empleado o negar un beneficio.
El enfoque debe ser proporcional al riesgo.
Entre los criterios de clasificación deberían considerarse:
- la relevancia jurídica de la decisión;
- el impacto económico;
- la afectación de derechos;
- el número de personas alcanzadas;
- la sensibilidad de los datos;
- la autonomía del sistema;
- la posibilidad de revertir el resultado;
- la intervención humana real;
- la dependencia de terceros;
- la exposición regulatoria;
- la capacidad de producir daños acumulativos;
- la facilidad con la que un error puede ser detectado.
La clasificación no debe basarse solamente en la tecnología utilizada.
Dos aplicaciones construidas sobre el mismo modelo pueden tener perfiles de riesgo completamente diferentes.
El riesgo depende del contexto de uso.
El mito de la supervisión humana
Muchas organizaciones creen haber resuelto el problema porque colocaron a una persona al final del proceso.
La expresión human in the loop se ha convertido, en algunos casos, en una fórmula defensiva más que en un control real.
La existencia formal de una intervención humana no garantiza una supervisión efectiva.
Para que el control sea real, la persona debe:
- comprender el propósito del sistema;
- conocer sus limitaciones;
- disponer de tiempo suficiente;
- acceder a la información relevante;
- tener autoridad para apartarse de la recomendación;
- no ser penalizada por hacerlo;
- poder identificar resultados anómalos;
- documentar su decisión;
- escalar incidentes.
Cuando un operador revisa cientos o miles de resultados diarios, carece de información independiente o asume que el sistema es superior, la supervisión puede convertirse en una mera ratificación automática.
Desde la perspectiva de auditoría, no alcanza con verificar que existe un usuario asignado.
Debe probarse si ese usuario ejerce juicio crítico.
La responsabilidad no puede transferirse íntegramente al proveedor
La contratación de una solución de IA no transfiere automáticamente el riesgo.
Las organizaciones suelen negociar niveles de servicio, disponibilidad, seguridad y confidencialidad. Sin embargo, muchos contratos siguen siendo insuficientes respecto del comportamiento del modelo.
Un contrato adecuado debería analizar, según el caso:
- el propósito autorizado;
- las fuentes de datos;
- el uso de información del cliente para entrenamiento;
- la localización y conservación de datos;
- la subcontratación;
- la propiedad intelectual;
- los cambios de modelo;
- los criterios de actualización;
- la documentación disponible;
- los derechos de auditoría;
- el acceso a registros;
- la notificación de incidentes;
- la cooperación regulatoria;
- la explicación de resultados;
- la continuidad del servicio;
- la portabilidad;
- la suspensión;
- la terminación;
- la responsabilidad e indemnidad.
Una cláusula genérica que indique que el proveedor no garantiza la exactitud de las respuestas no puede ser la única respuesta contractual cuando el sistema se integra a un proceso crítico.
El comprador debe evaluar si la limitación de responsabilidad es compatible con el uso que pretende dar al producto.
Si el proveedor no ofrece garantías suficientes, la organización deberá reducir el alcance del sistema, agregar controles compensatorios o abstenerse de utilizarlo en decisiones de alto impacto.
Auditoría no debe auditar solo el modelo
Auditar IA no consiste únicamente en evaluar precisión, sesgo o desempeño estadístico.
El objeto de auditoría es más amplio.
Comprende el sistema sociotécnico completo:
- el modelo;
- los datos;
- la infraestructura;
- los procesos;
- las personas;
- los proveedores;
- las reglas;
- los incentivos;
- las excepciones;
- la supervisión;
- el tratamiento de incidentes.
El Institute of Internal Auditors ha estructurado su marco de auditoría de IA alrededor del gobierno, la gestión y los procesos de control, y propone evaluar tanto la estrategia como la madurez del gobierno y los riesgos relacionados con la inteligencia artificial.
Este enfoque es correcto porque un modelo técnicamente sólido puede operar dentro de un sistema de control deficiente.
También puede ocurrir lo contrario: un modelo imperfecto puede ser aceptable para una función limitada, siempre que su propósito sea claro, sus limitaciones estén documentadas y sus resultados sean sometidos a controles proporcionales.
La conclusión de auditoría no debería reducirse a si el modelo “funciona”.
Debe determinar si el riesgo residual es conocido, aceptado por el nivel adecuado y compatible con las obligaciones de la organización.
Del control periódico al aseguramiento continuo
La auditoría tradicional trabaja con períodos, muestras y revisiones retrospectivas.
La IA exige incorporar capacidades de monitoreo continuo.
Un sistema puede comportarse correctamente al momento de su aprobación y deteriorarse después por:
- cambios en los datos;
- modificaciones del contexto;
- actualizaciones del proveedor;
- alteraciones de instrucciones;
- nuevos usuarios;
- integraciones adicionales;
- ataques;
- errores acumulativos;
- variaciones en la población afectada.
Por ello, la aprobación inicial no es suficiente.
Debe existir monitoreo sobre:
- calidad de datos;
- desempeño;
- errores;
- falsos positivos y negativos;
- drift;
- resultados extremos;
- excepciones;
- quejas;
- anulaciones humanas;
- cambios de configuración;
- uso fuera del propósito autorizado;
- incidentes de seguridad;
- impactos sobre grupos específicos.
El NIST AI Risk Management Framework propone organizar la gestión del riesgo de IA en cuatro funciones: gobernar, mapear, medir y gestionar. El enfoque busca integrar consideraciones de confiabilidad en el diseño, desarrollo, uso y evaluación de sistemas de inteligencia artificial.
La secuencia es relevante.
No puede medirse correctamente un riesgo que no fue mapeado.
No puede gestionarse un sistema que no fue identificado.
Y no puede gobernarse aquello cuya responsabilidad continúa fragmentada entre Tecnología, Negocio, Jurídico, Riesgos y proveedores.
El expediente de evidencia de cada sistema
Toda organización que utilice IA en procesos relevantes debería mantener un expediente de evidencia.
Ese expediente debería permitir reconstruir la historia del sistema.
Podría incluir:
- evaluación de impacto;
- justificación del caso de uso;
- clasificación de riesgo;
- aprobación;
- documentación técnica;
- origen y calidad de datos;
- pruebas;
- métricas;
- limitaciones;
- controles;
- análisis jurídico;
- evaluación de proveedores;
- registro de versiones;
- capacitación de usuarios;
- monitoreo;
- incidentes;
- cambios;
- revisiones periódicas;
- decisión de retiro.
El objetivo no es burocratizar la innovación.
Es evitar que, ante un incidente, la organización descubra que nadie puede explicar quién autorizó el sistema, qué controles existían o por qué se consideró aceptable el riesgo.
La ausencia de evidencia suele convertirse en evidencia de ausencia de control.
ISO 42001 y la institucionalización del gobierno de IA
ISO/IEC 42001 establece requisitos para crear, implementar, mantener y mejorar continuamente un sistema de gestión de inteligencia artificial. Incluye elementos de liderazgo, política, objetivos, riesgo, datos, ciclo de vida, transparencia, evaluación del desempeño y mejora continua.
Su principal valor no reside en la certificación como fin aislado.
Reside en trasladar la IA desde el terreno de los proyectos tecnológicos hacia un sistema formal de gestión.
Eso implica asignar funciones, aprobar políticas, definir objetivos, evaluar riesgos, conservar información documentada, medir resultados y revisar la eficacia del sistema.
En otras palabras, convertir la gobernanza de IA en una práctica institucional verificable.
La publicación de ISO/IEC 42006 también refuerza la necesidad de competencia especializada y criterios consistentes para la auditoría y certificación de sistemas de gestión de IA.
Para abogados y auditores, esto anticipa una evolución profesional relevante.
No bastará con conocer principios generales sobre privacidad, tecnología o control interno.
Será necesario comprender cómo esos principios se convierten en evidencia auditable dentro del ciclo de vida de un sistema de IA.
El papel de los abogados
El abogado no debería intervenir únicamente al final para revisar términos y condiciones.
Su participación debe comenzar en la definición del caso de uso.
Debe preguntar:
- ¿qué decisión será influida?;
- ¿qué derecho puede resultar afectado?;
- ¿qué datos se utilizarán?;
- ¿qué deber de información existe?;
- ¿cómo podrá impugnarse el resultado?;
- ¿qué evidencia deberá conservarse?;
- ¿quién responderá frente a un error?;
- ¿qué regulación sectorial resulta aplicable?;
- ¿qué restricciones contractuales existen?;
- ¿qué riesgo reputacional puede materializarse?;
- ¿qué ocurrirá si el sistema debe detenerse?
El asesor jurídico debe abandonar una visión centrada exclusivamente en documentos y cláusulas.
La legalidad de un sistema de IA también depende de cómo opera técnicamente.
No es posible emitir una opinión jurídica sólida sin comprender los datos, los flujos, las integraciones, los controles y el grado de autonomía.
El papel de auditoría interna
Auditoría interna tampoco debería limitarse a esperar que los sistemas estén productivos.
Debe incorporar la IA a su universo auditable desde tres perspectivas:
- IA como riesgo organizacional.
- IA como objeto de auditoría.
- IA como herramienta utilizada por la propia auditoría.
La tercera dimensión es especialmente importante.
Una función de auditoría que utilice IA para analizar documentos, seleccionar muestras o detectar anomalías debe someter sus propias herramientas a estándares de gobierno.
No sería coherente exigir trazabilidad al negocio mientras auditoría utiliza modelos sin documentación, validación o control sobre los datos compartidos.
La independencia no elimina la obligación de gobernar la tecnología utilizada por la propia función.
El papel del directorio y del comité de auditoría
El gobierno de IA no puede delegarse íntegramente a Tecnología.
El directorio y el comité de auditoría deberían recibir información suficiente para comprender:
- cuáles son los usos críticos;
- qué riesgos principales existen;
- quién es responsable;
- qué incidentes ocurrieron;
- qué excepciones fueron aceptadas;
- qué sistemas carecen de evidencia suficiente;
- qué terceros resultan críticos;
- qué mecanismos de suspensión existen;
- qué nivel de riesgo residual permanece.
La pregunta correcta para un director no es: “¿Estamos utilizando inteligencia artificial?”.
Esa pregunta ya quedó obsoleta.
La pregunta correcta es:
“¿Podemos demostrar que conocemos, controlamos y supervisamos toda inteligencia artificial que influye sobre decisiones relevantes de esta organización?”.
Si la respuesta es negativa, el problema no es tecnológico.
Es un problema de gobierno corporativo.
Una agenda mínima para abogados y auditores
Las organizaciones deberían avanzar, como mínimo, sobre diez decisiones:
- Definir qué se considera inteligencia artificial dentro del perímetro de control.
- Construir un inventario dinámico de casos de uso.
- Clasificar cada sistema según su impacto y riesgo.
- Asignar propietarios y responsables.
- Establecer criterios de aprobación.
- Exigir evaluaciones jurídicas, técnicas y de impacto.
- Incorporar cláusulas contractuales específicas.
- Mantener registros y expedientes de evidencia.
- Implementar monitoreo continuo.
- Definir procedimientos de incidentes, reclamaciones, suspensión y retiro.
Nada de esto exige detener la innovación.
Exige dejar de confundir velocidad con improvisación.
La discusión que realmente importa
La inteligencia artificial no es el nuevo punto ciego del compliance.
El punto ciego es un sistema de compliance diseñado para controlar documentos y procedimientos, pero no decisiones distribuidas entre personas, algoritmos y proveedores.
Es una auditoría que busca políticas, pero no evidencia de funcionamiento.
Es un área jurídica que revisa contratos, pero no comprende la arquitectura del sistema contratado.
Es un directorio que pregunta por innovación, pero no por trazabilidad.
Es una organización que habla de ética de IA sin saber cuántos modelos utiliza.
La tecnología puede auditarse.
Lo que no puede auditarse es aquello que la organización decidió no identificar, no registrar o no controlar.
La IA no eliminó la responsabilidad.
La hizo más difícil de ocultar.
Y quizá ese sea su efecto más incómodo: no creó la falta de control. La expuso.
El verdadero desafío para abogados y auditores no será demostrar que comprenden cómo funciona cada modelo.
Será demostrar que lograron construir una organización capaz de saber dónde opera la inteligencia artificial, qué riesgos produce y quién responde por sus consecuencias.
Porque en el próximo conflicto relevante, la pregunta no será si el sistema era técnicamente complejo.
La pregunta será mucho más simple:
¿Qué hizo la organización para evitar el resultado y qué evidencia puede presentar para demostrarlo?