A finales de 2013, el Ministerio del Interior de Uruguay compró una licencia de un popular software de predicción policial llamado PredPol. Predpol es un algoritmo propietario utilizado por las fuerzas policiales de todo el mundo, incluyendo el Departamento de Policía de Oakland en California y la fuerza policial de Kent, en Inglaterra. Entrenado a partir de conjuntos de datos históricos de crímenes, el software se basa en un algoritmo de aprendizaje automático que analiza tres variables (tipo de crimen, ubicación y fecha/hora) para predecir los ‘puntos calientes’ de criminalidad (Ortiz Freuler e Iglesias 2018). A partir de su análisis, Predpol crea mapas personalizados que dirigen la atención de la policía a unos ‘puntos calientes’ de 150 metros cuadrados donde estadísticamente es más probable que ocurra un crimen.
PredPol -al igual que el ámbito de la policía predictiva en general- ha sido criticado por su opacidad y capacidad de generar discriminación indebida.
En primer lugar, el uso específico de PredPol en Uruguay fue entrenado a partir de conjuntos de datos clasificados por el Ministerio del Interior de Uruguay, por lo que la ciudadanía no puede ver las entradas algorítmicas si desea auditar el sistema. El sistema también funciona como una caja negra bajo patente, lo que significa que su algoritmo es propiedad protegida y que sus resultados no pueden explicarse a través de la experimentación causal (incluso si sus entradas fuesen datos públicos) (ibid).
En segundo lugar, Predpol plantea un riesgo para la seguridad pública y la justicia por su susceptibilidad a discriminar por clase y raza, reproduciendo estructuras arraigadas de desigualdad. Estos sesgos podrían atribuirse a la calidad de los datos de entrada, así como al diseño del sistema. Si bien Predpol aprende de los conjuntos de datos de delitos históricos, es importante tener en cuenta que dichos conjuntos de datos solo incluyen delitos denunciados y que algunos delitos se denuncian de manera desproporcionada más que otros (por ejemplo, las molestias / delitos menores se informan en exceso en comparación con los de cuello blanco / delito financiero) (ibid). Así pues, los datos de entrada podrían considerarse sesgados, lo que haría que todo el sistema fuera susceptible de crear efectos discriminatorios no deseados. El sistema también fue diseñado para evaluar la ubicación, una variable que no se considera sospechosa pero que sí se correlaciona directamente con los ingresos y la raza. Además de este error de diseño, un informe de análisis de datos de Derechos Humanos de 2016 demuestra que una mayor presencia policial en una zona específica aumenta la probabilidad de que se denuncie un delito en esa zona (ibíd.). De esta manera, al dirigir la atención de la policía hacia lugares en los que históricamente se han producido delitos menores, PredPol instala un circuito de retroalimentación (un proceso en el que los resultados de un sistema se reutilizan como entradas) que incrementa aún más la presencia de la policía en las comunidades vulnerables y, en última instancia, reifica la desigualdad en función de la clase y la raza.
