Riesgos de aplicar inteligencia artificial sin control operativo

Introducción estratégica

La conversación sobre riesgos de la inteligencia artificial suele girar en torno a los modelos. Se habla de sesgos, de alucinaciones, de privacidad de los datos de entrenamiento. Son preocupaciones legítimas, pero en la práctica empresarial rara vez son las que provocan el daño.

Lo que hemos observado al analizar operaciones reales es distinto. Los problemas serios no nacen de que el modelo se equivoque, sino de que nadie sabe cuándo se ha equivocado. La organización ha incorporado un sistema que toma o sugiere decisiones y no ha construido alrededor la capacidad de vigilarlo, corregirlo o pararlo.

A eso lo llamamos control operativo. No es un documento ni un comité, sino la capacidad concreta de responder a cuatro preguntas en cualquier momento. Qué decisiones está tomando el sistema, con qué información las toma, quién responde de ellas y qué pasa si falla.

Una empresa que no puede responder a esas cuatro preguntas no tiene un problema tecnológico. Tiene un problema de gobierno, y suele descubrirlo cuando ya ha escalado el sistema a varios procesos.

Por qué el control llega siempre después que la tecnología

La secuencia se repite con una regularidad que deja de ser casualidad. Alguien identifica una tarea repetitiva, prueba una herramienta, obtiene un resultado razonable en un caso pequeño y la extiende. La velocidad de esa primera fase es precisamente lo que hace atractiva la inteligencia artificial, y también lo que impide que nadie se detenga a preguntar cómo se supervisará aquello dentro de seis meses.

Hay además un factor de incentivos. Poner en marcha un piloto es visible y se puede presentar en un comité de dirección. Diseñar el mecanismo de control que lo hará sostenible no se ve, no genera titulares internos y consume tiempo de las mismas personas que están ocupadas con el piloto.

El resultado es una asimetría que se acumula. La capacidad de la organización para desplegar sistemas crece mucho más rápido que su capacidad para entenderlos. Durante un tiempo esa distancia no tiene consecuencias visibles, hasta que las tiene todas a la vez.

Los riesgos que aparecen cuando falta control operativo

Decisiones que nadie sabe explicar

El primero y más frecuente. Un cliente reclama, un auditor pregunta o un directivo quiere entender por qué el sistema priorizó un expediente sobre otro, y no hay respuesta. No porque el modelo sea opaco por naturaleza, sino porque nunca se registró qué información recibió ni con qué criterio se le pidió que decidiera.

Este riesgo se subestima porque parece un problema de comunicación. En realidad es un problema de responsabilidad, y aparece siempre en el peor momento posible, cuando alguien de fuera está haciendo las preguntas.

Errores que se propagan en silencio

Un proceso manual con un error tiene un techo natural. Alguien lo hace mal durante un tiempo y en algún momento otra persona lo detecta. Un proceso automatizado con un error no tiene ese techo. Se ejecuta con la misma consistencia miles de veces, y la propia consistencia hace que el resultado parezca correcto.

Hemos visto casos donde una clasificación mal ajustada estuvo semanas asignando solicitudes al departamento equivocado. Nadie lo detectó porque el sistema no fallaba, funcionaba exactamente como se le había pedido. El error estaba en la petición, no en la ejecución.

Dependencia de una sola persona

En muchas organizaciones el sistema lo montó alguien concreto que entendía el proceso y sabía manejar la herramienta. Mientras esa persona esté, todo funciona. Cuando se va de vacaciones nadie toca nada, y cuando se va de la empresa la organización descubre que ha delegado una parte de su operación en un conocimiento que no documentó.

Es un riesgo operativo clásico que la inteligencia artificial agrava, porque los sistemas que salen de una automatización rápida suelen tener menos documentación que un desarrollo convencional.

Exposición regulatoria acumulada

El AI Act europeo exige evaluación de riesgos, trazabilidad y supervisión humana para determinados usos. La norma ISO/IEC 42001 estructura cómo gestionar todo eso. Ninguna de las dos pide algo extraordinario, pero ambas parten de una premisa que muchas empresas no cumplen, que es saber qué sistemas tienen funcionando y qué hacen.

El riesgo aquí no es una sanción inmediata. Es descubrir, cuando llegue el momento de demostrar cumplimiento, que hay que reconstruir hacia atrás el historial de unos sistemas que llevan dos años tomando decisiones sin registro.

Coste que crece sin que nadie lo mida

Cada sistema añade licencias, integraciones, mantenimiento y tiempo de las personas que lo vigilan. Por separado son cantidades pequeñas que se aprueban sin fricción. Sumadas, y repartidas entre departamentos que no comparten presupuesto, componen una cifra que nadie tiene delante.

Lo tratamos con más detalle en el análisis sobre cuándo no tiene sentido aplicar inteligencia artificial, porque el coste estructural es a menudo el argumento decisivo para no hacerlo.

El problema casi nunca está en el modelo

Cuando una organización nos pide revisar un despliegue que no está funcionando, la causa raíz aparece casi siempre por debajo de la tecnología. El proceso no estaba definido con la precisión suficiente, los datos que alimentan el sistema tienen una calidad distinta de la que se suponía, o las excepciones que en manos de una persona se resolvían con criterio no estaban contempladas en ninguna parte.

Cambiar de modelo o de proveedor en esas condiciones no arregla nada, porque el nuevo sistema hereda exactamente las mismas condiciones de partida. Es la razón por la que insistimos en auditar los procesos antes de automatizar y en representarlos con notación BPMN. No por rigor metodológico, sino porque un proceso que no se puede dibujar tampoco se puede supervisar.

Cómo se detecta a tiempo

Hay señales que aparecen antes del incidente y que una dirección atenta puede leer. La primera es la incapacidad de producir un inventario. Si nadie en la organización puede enumerar en una tarde qué sistemas de inteligencia artificial hay funcionando y sobre qué procesos actúan, el control operativo ya se ha perdido.

La segunda es la ausencia de un responsable identificable por sistema. No un departamento, una persona con nombre que responda de sus resultados. La tercera es no tener definido qué se considera un fallo. Sin un umbral acordado de antemano, la discusión sobre si el sistema funciona bien se convierte en una cuestión de opinión.

La cuarta, y la más reveladora, es no saber cómo se apaga. Una organización que no ha pensado qué ocurre si desconecta el sistema mañana ha construido una dependencia que no reconoce como tal.

El orden que sí funciona

Recuperar el control no exige detener lo que ya está en marcha. Exige ordenarlo, y el orden importa más que la velocidad.

Empieza por el inventario, porque no se puede gobernar lo que no se ha enumerado. Sigue por asignar un responsable a cada sistema y definir con él qué resultado se espera y qué se considera un fallo. Continúa por registrar las decisiones, aunque sea de forma básica, para que dentro de un año exista un rastro. Y termina por establecer los puntos donde una persona debe revisar antes de que la decisión tenga efecto.

Solo cuando eso está en pie tiene sentido plantearse un marco formal de gobernanza de la inteligencia artificial o la alineación con ISO 42001. Hacerlo al revés produce documentación que describe una realidad que no existe, que es la forma más cara de no resolver un problema.

Conclusión

El riesgo real de la inteligencia artificial en la empresa no es que la tecnología falle. Es que funcione lo bastante bien como para que nadie la vigile, durante el tiempo suficiente para que la organización dependa de ella sin haberlo decidido conscientemente.

El control operativo no es un freno a la adopción. Es lo que permite escalar sin que cada nuevo sistema añada una capa de opacidad sobre la anterior. Las organizaciones que lo entienden pronto avanzan más despacio al principio y mucho más rápido después, porque no tienen que parar a reconstruir lo que ya está funcionando.

Preguntas frecuentes