El uso de algoritmos por parte de organismos públicos es cada vez más común, y un vistazo al Registro del Observatorio de Algoritmos Con Impacto Social (OASI) nos muestra que en el ámbito policial y de seguridad hay un buen número de sistemas algorítmicos en uso. Por el alto riesgo que supone un uso irresponsable de estas tecnologías, promovemos el desarrollo de auditorías de algoritmos.
Entre los algoritmos utilizados por la Administración Pública en España encontramos VioGén, un protocolo diseñado e implementado por el Ministerio del Interior con el fin de evaluar el riesgo de que mujeres que denuncian violencia de género vuelvan a ser atacadas por el presunto agresor.
VioGén está activo desde 2007 y, actualmente, se utiliza en todo el Estado excepto en Cataluña y en Euskadi. Fue desarrollado en respuesta a una ley aprobada en 2004 que pretendía estandarizar la forma de responder a casos de violencia de género en España. Desde entonces, cuando se denuncia un caso de violencia de género, el policía, guardia civil o la persona que responda debe realizar a la denunciante toda una serie de preguntas que forman parte del protocolo de VioGén.
Según las respuestas, el algoritmo estima el riesgo de que la mujer vuelva a ser atacada por el presunto agresor: riesgo no apreciado, bajo, medio, alto o extremo. Los diferentes niveles de riesgo implican diferentes medidas de protección policial para la mujer y de vigilancia del presunto agresor. Pero el policía o la persona que esté utilizando VioGén, puede decidir dar al caso un nivel de riesgo mayor que el estimado por el algoritmo.
VioGén incluye un segundo cuestionario que se puede utilizar para reevaluar la situación más adelante, y que sirve al algoritmo para actualizar el nivel de riesgo del caso según la nueva información. El objetivo de VioGén es que todos los casos de violencia de género denunciados estén documentados de forma comparable. De esta forma, la respuesta y el seguimiento de todas las denuncias dependen de los mismos factores.
Hay bastante información públicamente disponible sobre cómo funciona VioGén, y el Ministerio del Interior publicó un libro en 2018 [PDF] en el que se describe la historia y el desarrollo del protocolo, que a día de hoy se ha actualizado al menos cinco veces. En el libro se incluyen las preguntas que forman parte de los dos cuestionarios, pero lo que no sabemos es cuánto peso tiene cada tipo de respuesta o grupos de respuestas para que el algoritmo emita una cierta estimación de riesgo.
Además, para poder comprender y evaluar independientemente el funcionamiento de VioGén y su posible impacto social, también haría falta contar con datos consistentes y comparables sobre todos los casos de violencia de género denunciados, la estimación del riesgo ofrecida por VioGén, y si esta estimación fue cambiada por la persona que hizo el cuestionario. Aunque el Consejo General del Poder Judicial publica muchos datos sobre los casos denunciados de violencia de género, no es posible encontrar toda la información necesaria.
Esa falta de transparencia y de explicabilidad implican que no podamos conocer si VioGén tiende a estimar un riesgo demasiado alto o demasiado bajo en ciertos tipos de casos, como podría ser cuando las denunciantes pertenecen a un particular grupo social, como por ejemplo inmigrantes que hablen español (o valenciano o gallego) de un modo diferente a como suelen expresarse quienes hablan el idioma desde siempre.
De hecho, y con el objetivo de realizar una evaluación independiente de VioGén, actualmente Eticas está trabajando en una auditoría externa de VioGén gracias al apoyo de la Fundación Ana Bella.
Puedes encontrar más información sobre VioGén y otros sistemas algorítmicos en el Registro de OASI, y en las demás páginas web del Observatorio puedes leer sobre algoritmos y su impacto social, y sobre las diferentes tipologías y definiciones que usamos para categorizarlos. Y si tienes información sobre algoritmos que aún no hemos incluido en el Registro, puedes enviárnosla y contribuir así a que avancemos juntas hacia una mayor transparencia y comprensión sobre el tema.
Jose Miguel Calatayud / Berlín, 10 noviembre 2021
