En 2018, las autoridades locales británicas pusieron en marcha un programa informático de análisis predictivo destinado a identificar a las familias que necesitan servicios sociales para los niños. Los algoritmos estaban orientados a mejorar la asignación de los recursos públicos y a prevenir el abuso infantil (McIntyre y Pegg, 2018). Para construir el sistema predictivo, se incorporaron los datos de 377000 personas a una base de datos administrada por varias empresas privadas. Los ayuntamientos de Hackney y Thurrock contrataron a una empresa privada, Xantura, para desarrollar un modelo predictivo para los equipos de servicios de sus hijos. Otros dos Ayuntamientos, Newham y Bristol, desarrollaron sus propios sistemas internamente.
Los defensores del software de predicción sostienen que permiten a los Ayuntamientos dirigir mejor los recursos limitados, para que puedan actuar antes de que ocurran las tragedias. Richard Selwyn, funcionario del Ministerio de Vivienda, Comunidades y Gobierno Local, sostiene que “no está fuera de lo posible que un día sepamos exactamente qué servicios o intervenciones funcionan, quién necesita nuestra ayuda y cómo apoyarlos antes” (ibíd.). El modelo de predicción incorporó una amplia gama de datos: asistencia a la escuela, reparaciones de asociaciones de viviendas, registros policiales, indicadores de comportamiento antisocial, violencia doméstica y otros (ibíd.).
Surgió la controversia sobre el potencial del sistema para violar la privacidad de la información y el posible sesgo creado contra las familias al perfilarlas (ibid). Virginia Eubanks, profesora de la Universidad de Albany, advierte que esos sistemas automatizados incorporan los prejuicios de sus diseñadores, así como prejuicios sociales estructurales, y corren el riesgo de perpetuar la discriminación mientras operan sin ningún escrutinio público. Según ella comenta,
“Hablamos de ellos como si no se hubieran tomado decisiones humanas, como si fuera puramente objetivo, pero es humano hasta el final, con suposiciones sobre cómo es una familia segura,”
Además, el software actúa dentro de un nexo público-privado que debería suscitar inquietudes en cuanto a la ética de la utilización de los datos en presencia de un claro motivo de lucro. El sitio web de Xantura anuncia cómo sus productos pueden ayudar a las autoridades locales a “maximizar los pagos PBR [pago por resultados]” del gobierno, así como a reducir los costos de protección infantil (Ibid). El esquema de generación de ingresos del software debe ser evaluado críticamente.
