KPMG, PwC y la policía: tres fallos institucionales de IA en una semana

Cuando las instituciones que deberían marcar el estándar de adopción responsable de IA son las primeras en tropezar con sus fallas más básicas, el debate deja de ser teórico. En el transcurso de una sola semana, una firma de auditoría global, una consultora de salud y un oficial de policía demostraron que el problema no es la tecnología en abstracto, sino los procesos —o la ausencia de ellos— que rodean su uso.

KPMG y el informe que se auditó a sí mismo hacia el fracaso

KPMG retiró un informe sobre adopción de IA después de que circularan señales de que el documento contenía alucinaciones. La ironía es difícil de ignorar: una firma que asesora a empresas sobre cómo implementar IA de forma confiable publicó material generado —o al menos procesado— por IA sin verificación suficiente. The Register lo resumió con precisión quirúrgica: el informe se convirtió en una demostración involuntaria de las alucinaciones que pretendía analizar.

El caso tiene capas. No es que KPMG desconozca los riesgos —los documenta para sus clientes todo el tiempo. El problema es estructural: los flujos de trabajo de revisión no escalaron junto con el volumen de contenido que la IA permite producir. Cuando una herramienta multiplica por diez la velocidad de producción, los controles de calidad que funcionaban antes se vuelven insuficientes. KPMG pagó el precio de esa brecha en público.

PwC y el costo oculto de la automatización en salud

Mientras KPMG gestionaba su crisis de credibilidad, un informe de PwC advertía sobre un fenómeno distinto pero igualmente concreto: la IA está encareciendo las facturas médicas. El mecanismo no es malicioso —es sistémico. Los modelos entrenados para optimizar la codificación de diagnósticos y procedimientos tienden a seleccionar los códigos de mayor valor cuando hay ambigüedad clínica. El resultado es una inflación gradual del gasto, difícil de atribuir a decisiones individuales y por eso difícil de corregir.

Esto importa más allá del sector salud. La automatización de procesos administrativos con IA generativa tiene un sesgo inherente hacia la maximización de los outputs que los modelos aprenden a optimizar. Si esos outputs son ingresos o facturación, el sistema aprende a inflar. Las organizaciones que despliegan IA en procesos con impacto financiero directo necesitan definir explícitamente qué no quieren optimizar, no solo qué quieren mejorar. Ya se ha visto cómo el costo de calibrar guardrails puede superar el de no tenerlos cuando los incentivos del modelo no están bien delimitados desde el inicio.

La fabricación de evidencia y el límite que no puede cruzarse

El caso más grave de la semana involucra a un oficial de policía de Derbyshire investigado por usar IA para crear evidencia en múltiples causas. No se trata de un error de proceso ni de una optimización mal calibrada. Si se confirma, es el uso deliberado de herramientas generativas para fabricar material que podría afectar libertades individuales.

El caso pone sobre la mesa una pregunta que los marcos regulatorios actuales no responden con claridad: ¿qué nivel de trazabilidad y auditoría debe existir sobre el uso de IA en contextos donde el error —o el abuso— tiene consecuencias irreversibles? La respuesta no puede depender de la ética individual de cada operador. En paralelo, los tribunales europeos ya empezaron a redefinir responsabilidades: los jueces alemanes declararon a Google responsable editorial de sus AI Overviews, una señal de que el marco legal empieza a moverse más rápido de lo que muchas organizaciones anticipan.

Qué mirar y qué hacer

Estos tres casos no son anécdotas aisladas. Son síntomas de una misma disfunción: las instituciones adoptaron las herramientas sin rediseñar los controles. Las implicancias para decision-makers son concretas:

Velocidad de producción ≠ calidad de output. El flujo de trabajo de KPMG falló porque la capacidad de generar contenido superó la capacidad de verificarlo. Cualquier organización que use IA para producir material externo necesita revisar si sus procesos de control escalaron proporcionalmente.

Definir los incentivos que no querés que la IA optimice. El caso de PwC en salud aplica a cualquier sector donde la automatización toca decisiones con impacto económico. Si no se explicita, el modelo optimiza lo que puede medir —y eso rara vez coincide exactamente con lo que la organización quiere.

Los entornos de alto riesgo necesitan trazabilidad, no confianza. El caso policial es el extremo, pero la lógica aplica a cualquier proceso donde los outputs de la IA afectan derechos, contratos o responsabilidades legales. Registros de auditoría, restricciones de acceso y supervisión humana obligatoria no son opcionales en esos contextos. La superficie de ataque en sistemas que combinan agentes con datos sensibles ya es concreta y documentada.

En las próximas semanas conviene seguir dos frentes: cómo responden los reguladores europeos —donde el AI Act ya está en vigor— a casos como el policial, y si KPMG y PwC actualizan sus propios marcos de gobierno de IA a la luz de estas semanas. Las consultoras que venden credibilidad tienen mucho más que gestionar que una crisis de PR.