Los humanos dejan pasar una de cada tres amenazas en aprobaciones de agentes IA

El «humano en el loop» es la respuesta estándar de la industria cuando alguien pregunta por qué los agentes de IA son seguros: siempre hay un humano que aprueba las acciones críticas antes de que sucedan. Es una respuesta que sonaba razonable. Esta semana acumuló suficiente evidencia como para descartarla como garantía operativa.

El patrón viene de por lo menos tres semanas: incidentes de distinta naturaleza, geografía y sector, todos con el mismo denominador — el mecanismo de oversight humano falló.

Los datos del fallo

El hallazgo más directo viene de un estudio publicado esta semana. En 40.000 ejecuciones de agentes de IA en entornos controlados, los humanos encargados de aprobar comandos dejaron pasar una de cada tres amenazas. El diseño del experimento es relevante: no era un test de hackers sofisticados engañando a expertos, sino el comportamiento de aprobadores en condiciones normales de uso. El resultado — 33% de tasa de fallo — es estadísticamente consistente con lo que se observa en otros contextos de oversight a escala: los humanos no leen todo lo que aprueban cuando el volumen es alto.

El fallo no es teórico. Meta distribuyó anuncios que contenían material de abuso sexual infantil generado por IA. No fue un ataque externo: fue contenido que pasó por los sistemas de revisión de la plataforma — que combinan revisión automatizada y humana — y llegó a ser publicado. Que Meta tenga sistemas de moderación sofisticados hace el incidente más ilustrativo, no menos: si falla ahí, el supuesto de que el oversight humano escala no es sostenible.

La superficie de ataque que se amplía

Interpol reportó que la IA ya impulsa más del 50% del cibercrimen en África, con un aumento acelerado en el último año. El vector no es IA sofisticada: son modelos de lenguaje básicos usados para escalar estafas con personalización, correos de phishing en idiomas locales, y perfiles falsos convincentes. La IA no inventó el fraude — redujo el costo de operarlo a escala.

La misma semana, Claude de Anthropic fue usado para crear perfiles falsos e impersonar personas en un intento de hack. Y el Instituto de Seguridad IA del Reino Unido publicó un incidente formal de seguridad de finales de julio todavía en investigación. Son señales de distintos actores, países y niveles de sofisticación — lo que hace que el patrón sea una tendencia, no una coincidencia. La oleada de capital que siguió a la brecha de Hugging Face el mes pasado confirmó que el mercado de seguridad ya reconoció la magnitud del problema.

La consecuencia no buscada del despliegue masivo

El argumento empresarial para desplegar agentes a escala es que la productividad por empleado sube. Lo que nadie modeló bien es la relación entre escala de agentes y capacidad de oversight. Si un equipo de diez personas pasa de revisar cien acciones por día a revisar diez mil (porque ahora tienen cincuenta agentes actuando), la tasa de error por acción no mejora. Al contrario: bajo presión cognitiva y volumen alto, los humanos aprueban más sin leer.

Eso es la consecuencia no buscada. No es que los agentes fallen — es que el mecanismo de corrección que los hace aceptables (el oversight humano) se degrada exactamente cuando más se lo necesita: cuando la escala es alta.

La industria tiene un problema estructural que va más allá del diseño de los modelos. Los controles actuales — filtros de contenido, human-in-the-loop, políticas de uso — fueron diseñados para casos individuales, no para volúmenes de agentes que crecen linealmente con el headcount de IA.

Tesis falsable y qué mirar

Predicción concreta: en los próximos seis meses, al menos una empresa de las Fortune 500 reportará públicamente un incidente de seguridad directamente atribuible a un agente IA que operó bajo oversight humano nominal — es decir, donde un humano «aprobó» la acción que resultó en el daño. Si ese incidente ocurre con documentación del proceso de aprobación, el argumento del «humano en el loop» como garantía queda refutado ante un regulador, no solo en un paper.

Qué mirar: las políticas internas de empresas que despliegan agentes sobre umbrales de aprobación (¿cuántas acciones por hora puede revisar un humano antes de que el sistema lo alerte?), y si el AISI del Reino Unido incorpora métricas de tasa de oversight efectivo en sus frameworks de reporte de incidentes. Para decisores LATAM: si en su empresa hay agentes actuando y el proceso de aprobación no tiene límite de volumen por revisor, ese es el gap de control que hay que cerrar primero — antes del próximo incidente.