Un algoritmo del condado de Allegheny predice los riesgos de abuso infantil

En el condado de Allegheny, Pennsylvania, se ha diseñado un software que contiene un modelo estadístico para predecir el posible abuso y negligencia infantil asignando una puntuación de riesgo a cada caso (Hurley, 2018). Esta puntuación oscila entre 0 (la más baja) y 20 (la más alta) y es el resultado del procesamiento de información de ocho bases de datos. La iniciativa involucra a varias agencias que incluyen cárceles, servicios de bienestar social, centros psiquiátricos y de tratamiento de drogas. La función de la puntuación es ayudar a los trabajadores sociales a determinar si se debe realizar una investigación durante la evaluación del caso. El sistema espera salvar vidas al alertar a los trabajadores sociales de los casos más graves y asignar los recursos disponibles de una manera que priorice estos casos de alto riesgo. En ausencia del sistema, se había considerado que la toma de decisiones humanas era responsable de la asignación de los recursos del sistema de manera bastante ineficiente, admitiendo al 48% de las familias de alto riesgo y excluyendo al 27% de las familias de alto riesgo (Hurley, 2018).

El algoritmo tiene un impacto social mixto. El sistema se basa en indicadores indirectos en lugar de indicadores reales de maltrato, y estos indicadores pueden estar sesgados en contra de ciertos grupos de personas (Edes y Bowman, 2018). Por ejemplo, la variable conocida como “reenvío de llamadas” mide la cantidad de veces que el caso ha sido reportado por terceros. Resulta que “los informadores anónimos y los informadores por orden judicial denuncian a las familias negras y birraciales por abuso y negligencia tres veces y media más de lo que denuncian a las familias blancas” (Hurley, 2018). Sin embargo, por otro lado, la capacidad discriminatoria del algoritmo se ve mitigada por algunos aspectos clave. No solo es propiedad de las autoridades públicas, sino que opera con un alto grado de transparencia y no funciona de manera unilateral (solo recomienda el caso a un trabajador social si el caso debe ser examinado más de cerca) (ibid). Estas restricciones integradas ayudan a reducir los impactos sociales negativos del sistema.