Alerta: Policía británica usó Copilot con datos inventados para una decisión operativa
Un comité del Parlamento del Reino Unido ha determinado que la Policía West Midlands Copilot datos inventados formaron parte de los materiales de briefing que contribuyeron a evaluar el riesgo de un operativo de orden público, en un caso que expone cómo una “hallucination” de un sistema de Generative AI puede escalar hasta influir en decisiones del mundo real.
La investigación, publicada por el Home Affairs Committee, analiza cómo la policía gestionó un partido de Aston Villa en noviembre en el que se prohibió la asistencia de seguidores de Maccabi Tel Aviv. Según el informe, la fuerza se apoyó parcialmente en afirmaciones generadas por Copilot sobre incidentes ocurridos en un supuesto partido del West Ham; ese encuentro, sin embargo, no existió, pero la información acabó incorporada a documentación interna.
Policía West Midlands Copilot datos inventados: qué concluye el Parlamento
El comité subraya que el problema no fue solo la “hallucination” del modelo, sino el fallo de gobernanza: la información errónea avanzó por la cadena de validación sin los controles mínimos de verificación, hasta influir en cómo se entendía el nivel de riesgo. En términos prácticos, el informe lo trata como un incidente de calidad de datos y diligencia debida, no como un simple error puntual de un usuario.
Los parlamentarios también señalan que el ex chief constable Craig Guildford no fue informado antes de comparecer el 6 de enero de que se había usado AI para generar el material incorrecto. El comité no llega a acusarlo de engañar deliberadamente al Parlamento, pero considera razonable que, dado que el uso de AI ya se había revelado internamente, tanto Guildford como el assistant chief constable Matt O’Hara debieron haber sido adecuadamente briefed antes de sus declaraciones.
Un patrón de fallos de verificación
El comité critica la “falta de curiosidad profesional” al no comprobar la evidencia antes de la comparecencia y remarca que fueron necesarias dos sesiones de evidencia oral y una corrección por escrito para establecer un relato preciso. Para los MPs, la repetición de errores apunta a carencias de due diligence y a problemas de transparencia y atención al detalle dentro de la organización.
Impacto y medidas tras el incidente de Policía West Midlands Copilot datos inventados
En el plano operativo, tras las críticas públicas —incluidas las de la Home Secretary Shabana Mahmood—, Guildford se retiró y la jefatura interina decidió desactivar Copilot en toda la organización mientras se determinaba el alcance del fallo y cómo se introdujo el contenido generado por AI en los briefings.
El caso llega en un momento especialmente sensible: el gobierno británico ha expresado planes para ampliar el uso de AI en policing, con financiación prevista para un National Centre for AI in Policing (“Police.AI”) orientado inicialmente a automatizar tareas administrativas. La tensión entre automatización, controles de calidad y trazabilidad de decisiones queda ahora en primer plano.
Contexto técnico: por qué una “hallucination” puede convertirse en un riesgo institucional
Aunque los sistemas tipo Copilot se promocionan como asistentes, su salida no equivale a evidencia verificada. En entornos públicos y de seguridad, integrar texto generado por modelos en cadenas de decisión sin auditoría introduce riesgos claros: contaminación de inteligencia, sesgo en evaluaciones de amenaza, y degradación de la accountability cuando no hay trazabilidad de fuentes. El informe parlamentario apunta precisamente a ese punto: el fallo sistémico estuvo en el proceso que permitió que una salida no verificada se tratara como inteligencia.
Para referencia, Microsoft detalla las capacidades y límites de Copilot en su documentación oficial, incluyendo consideraciones de Responsible AI y uso seguro en organizaciones: Microsoft Copilot. El informe completo del comité, que documenta el episodio que implica a Policía West Midlands Copilot datos inventados, está disponible en el portal oficial del Parlamento: UK Parliament Committees.
De cara a próximas adopciones de Generative AI en el sector público, el mensaje es inequívoco: sin políticas de verificación, control de cambios en briefings, y un marco claro de responsabilidad, incidentes como el de Policía West Midlands Copilot datos inventados pueden repetir el mismo patrón y afectar decisiones con impacto directo en derechos, seguridad y confianza institucional.
