Los trabajadores sociales se ven sometidos a una enorme presión para decidir si dedican recursos a investigar los informes de sospecha de abuso infantil. En última instancia, estas investigaciones podrían resultar en la separación de las familias en interés del bienestar de un niño. Para aliviar parte de esta responsabilidad, varias jurisdicciones locales de los Estados Unidos han implementado algoritmos que evalúan varios criterios de cada caso para ayudar a discernir si la intervención es necesaria (Brico, 2019). Por ejemplo, Allegheny Family Screening Tool, un instrumento algorítmico utilizado por la Oficina de Niños, Jóvenes y Familias del Condado de Allegheny (CYF), considera los arrestos previos y los antecedentes de salud mental de los padres como factores críticos para evaluar (Brico, 2019). El Departamento de Niños y Familias de Florida contrató a la empresa de tecnología SAS para construir su propio sistema de modelado. De acuerdo con documentos públicos, el sistema revisa datos como el estado de Medicaid, el historial de justicia penal y el historial de tratamiento de uso de sustancias para informar si la separación familiar es apropiada.
Si bien estos algoritmos eliminan una gran carga para los trabajadores sociales, han convertido con éxito un legado de separación familiar discriminatoria en líneas de código aparentemente neutrales. Estos modelos han sido entrenados para tomar decisiones de intervención a partir de conjuntos de datos donde las familias de bajos ingresos han perdido históricamente a sus hijos a tasas mucho más altas que las familias de ingresos medios y altos (Brico, 2019). Como se mencionó, toman decisiones al examinar variables que a menudo se correlacionan con el estado socioeconómico, como los servicios de bienestar social y el historial de justicia penal. Así, estos algoritmos han aprendido a “codificar la pobreza para el maltrato infantil” (ídem). En palabras de la académica Virginia Eubanks (2018), “el modelo confunde la crianza mientras se es pobre con la crianza pobre”. Las tres cuartas partes de los casos de protección infantil están relacionados con el descuido (en comparación con el abuso), entendiéndose por descuido la falta de alimentos, ropa, supervisión o condiciones de vida adecuadas para el niño (Brico, 2019). Desafortunadamente, estas deficiencias son a menudo la realidad cotidiana de vivir en la pobreza. The algorithmic models largely rely on a set of historical criteria that understands indicators of poverty to be a basis for intervention and family separation. El resultado de estos algoritmos es la legitimación digital y la automatización de la discriminación contra los pobres. Esto es injusto y demuestra el peligro de entrenar un algoritmo a partir de conjuntos de datos que pueden ser tanto históricos como sesgados al mismo tiempo.
