El gobierno del Reino Unido está desarrollando un nuevo y controvertido algoritmo, el proyecto “Compartir Datos para Mejorar la Evaluación de Riesgos” (anteriormente conocido como “Proyecto de Predicción de Homicidios”), diseñado para predecir quién es propenso a cometer asesinato. Esta iniciativa, que extrae datos de varias agencias gubernamentales e incluye información personal sensible, suscita serias preocupaciones sobre posibles sesgos y la focalización desproporcionada de comunidades marginadas, haciéndose eco de relatos de advertencia de la ciencia ficción como “Minority Report”.
El gobierno del Reino Unido está desarrollando, según informes, un algoritmo de predicción destinado a identificar a las personas con mayor probabilidad de cometer asesinato, un proyecto que inmediatamente suscita preocupaciones sobre su potencial de uso indebido y consecuencias no deseadas. Esta iniciativa, inicialmente denominada “Proyecto de Predicción de Homicidios” y posteriormente rebautizada con el nombre menos abiertamente distópico de “Compartir Datos para Mejorar la Evaluación de Riesgos”, se detalla en documentos obtenidos a través de solicitudes de Libertad de Información por la organización de transparencia Statewatch. El Ministerio de Justicia está liderando este esfuerzo para diseñar un sistema de perfilado capaz de señalar a las personas consideradas capaces de cometer delitos violentos graves *antes* de que ocurran.
El alcance de este proyecto es significativo, y según informes, implica la recopilación y el análisis de datos de un vasto grupo de personas, estimado entre 100.000 y 500.000. El objetivo declarado es desarrollar modelos que puedan identificar “predictores en los datos para el riesgo de homicidio”. Este esfuerzo masivo de recopilación de datos se basa en múltiples agencias gubernamentales y policiales, incluyendo el Ministerio de Justicia, el Ministerio del Interior, la Policía de Gran Mánchester y la Policía Metropolitana de Londres, lo que indica un amplio alcance en diversas fuentes de datos.
Crucialmente, los tipos de datos que se incluyen en este proyecto, según informes, van más allá de los antecedentes penales tradicionales. Según el informe, los datos abarcan información sobre sospechosos que no fueron condenados, víctimas, testigos e incluso personas desaparecidas. Además, el proyecto incluye, según informes, detalles sensibles sobre la salud mental, la adicción, las autolesiones, el suicidio, la vulnerabilidad y la discapacidad de las personas. Estos “marcadores de salud” fueron aparentemente considerados por el Ministerio de Justicia como de “significativo poder predictivo” para identificar posibles riesgos de homicidio, una afirmación que ha sido recibida con controversia. Si bien los funcionarios del gobierno han negado, según informes, el uso de datos de víctimas o poblaciones vulnerables e insistieron en que solo se utilizaron datos de personas con al menos una condena penal, los informes iniciales plantean serias preguntas sobre la amplitud y la sensibilidad de los datos que se están incorporando.
Los riesgos inherentes y el potencial de resultados negativos asociados con estas herramientas de justicia predictiva son inmediatamente evidentes, particularmente la probabilidad de apuntar desproporcionadamente a las poblaciones de bajos ingresos y marginadas. Esta preocupación no es meramente especulativa, sino que está respaldada por el historial de herramientas de justicia predictiva anteriores implementadas por el Ministerio de Justicia del Reino Unido. Estos sistemas anteriores ofrecen una clara ilustración de los posibles escollos y sesgos integrados en dichos algoritmos.
Por ejemplo, el Sistema de Evaluación de Delincuentes del gobierno, diseñado para “predecir” la probabilidad de que un individuo reincida y utilizado por los jueces en las decisiones de sentencia, ha demostrado imprecisiones y sesgos significativos. Una revisión gubernamental de este sistema encontró que las tasas reales de reincidencia eran consistentemente inferiores a las tasas predichas, especialmente para delitos no violentos. Más preocupante aún, se descubrió que el algoritmo evaluaba a los delincuentes negros con menos precisión que a los delincuentes blancos, lo que pone de manifiesto una clara disparidad racial en sus capacidades predictivas y suscita preocupaciones sobre su impacto en la aplicación justa de las sentencias.
Este problema del sesgo algorítmico en las herramientas de vigilancia predictiva no se limita al Reino Unido; es un problema generalizado dondequiera que se implementen estos sistemas. En diferentes jurisdicciones, estas herramientas evalúan erróneamente a las personas con regularidad, con riesgos asociados a las comunidades marginadas que se desvían con frecuencia. Este sesgo se deriva directamente de la histórica sobre-vigilancia de las comunidades de color y de bajos ingresos, lo que conduce a una mayor frecuencia de interacciones policiales, mayores tasas de arresto y resultados de sentencia más estrictos. Estos sesgos históricos y sistémicos se “incorporan” a los datos utilizados para entrenar estos algoritmos. El procesamiento algorítmico de estos datos sesgados exacerba aún más estas desigualdades existentes, reforzando los mismos comportamientos y resultados que contribuyen a resultados desiguales y discriminatorios.
En última instancia, el desarrollo de un algoritmo de predicción de homicidios por parte del gobierno del Reino Unido sirve como un crudo recordatorio de las historias de advertencia integradas en la ciencia ficción clásica. Obras como “Minority Report” no fueron concebidas como planos para la implementación social, sino como exámenes críticos de los peligros potenciales de la justicia predictiva y la erosión de las libertades individuales. Debemos abordar tales conceptos con escepticismo y una profunda comprensión del potencial de consecuencias no deseadas, en particular el riesgo de crear un sistema que castigue a las personas en función de predicciones algorítmicas en lugar de acciones reales, y que sea inherentemente susceptible de perpetuar los sesgos sociales existentes.
El gobierno del Reino Unido desarrolla un “Proyecto de Predicción de Homicidios” (ahora renombrado) que analiza datos de cientos de miles de personas para predecir potenciales asesinos. Esto evoca la ciencia ficción distópica y corre el riesgo de apuntar desproporcionadamente a comunidades marginadas, reflejando los sesgos de herramientas de justicia predictiva anteriores. Debemos resistir el atractivo de los algoritmos predictivos y ser críticos con su potencial para reforzar las desigualdades sociales.
Leave a Reply