La Auditoría Externa del Sistema VioGén

El Algoritmo español diseñado para proteger a las víctimas de violencia de género

VioGén es un algoritmo que determina el nivel de riesgo de una víctima de violencia de género y establece sus medidas de protección en España. Es el mayor sistema de valoración del riesgo del mundo, con más de 3 millones de casos registrados.

DESCRIPCIÓN

La violencia de género es un problema capital en España. 1.126 mujeres fueron asesinadas por sus (ex)parejas entre 2003 y 2021 y el 32,4% de las mujeres mayores de 16 años han sufrido violencia física, sexual y/o psicológica a lo largo de su vida (aproximadamente 6,6 millones).

 

VioGén se puso en marcha en 2007 con los objetivos de aglutinar a todas las instituciones públicas con competencias en la materia, realizar la previsión de riesgos, el seguimiento y la protección de las víctimas de la violencia de género.

 

Desde 2018, Eticas se ha puesto en contacto con el Ministerio español en varias ocasiones y ha ofrecido una auditoría interna confidencial pro-bono del sistema VioGén. Aunque esta sugerencia fue bien recibida, no se tomó ninguna medida. En 2021, decidimos hacer una auditoría externa de este sistema de gran impacto social con la colaboración de la Fundación Ana Bella. Se ha realizado mediante una metodología de ingeniería inversa.

 

Uno de los hallazgos más preocupantes es que, a pesar de que la evaluación de riesgo del sistema VioGén ha sido diseñada como un sistema de recomendación y los resultados pueden ser modificados, los policías mantienen el resultado automático dado en el 95% de los casos. Las medidas de protección otorgadas a la víctima dependen de ese resultado.  Esto significa que la toma de esta decisión se deja en manos de un algoritmo.

 

VioGén no rinde cuentas, ni es transparente

El algoritmo de VioGén utiliza modelos estadísticos clásicos para realizar una evaluación del riesgo basada en la suma ponderada de todas las respuestas según unos pesos preestablecidos para cada variable. Está diseñado como un sistema de recomendación pero, aunque los policías pueden aumentar la puntuación de riesgo asignada automáticamente, la mantienen en el 95% de los casos. Por lo tanto, es el sistema el que decide qué medidas de protección policial se asignan a cada víctima. En el 45% de los casos, ese nivel de riesgo asignado es "no apreciado". Las consecuencias son claras, entre 2003 y 2021 hubo 71 mujeres asesinadas que habían presentado previamente una denuncia sin obtener un nivel de riesgo que conlleve protección policial.. El sistema sólo da el número de puntuaciones de riesgo "extremo" (que significa riesgo de homicidio) que puede permitirse,lo que significa que los recortes de fondos tienen un impacto directo y cuantificable en la posibilidad que estas mujeres tendrán de recibir protección efectiva al buscar ayuda policial.

Respecto a la transparencia, la mayoría de los estudios realizados al sistema VioGén han sido llevados a cabo por los mismos investigadores que contribuyeron a su desarrollo inicial.. Esto refuerza el principio de la necesidad de una supervisión independiente del sistema.

Más del 80% de las mujeres entrevistadas tuvieron problemas con VioGén

VioGén se activa sólo cuando la víctima denuncia oficialmente a su agresor en comisaría.El sistema funciona mediante dos cuestionarios en los que un policía valora cada elemento como "presente" y "no presente". Una vez rellenado el formulario, el sistema asigna una puntuación de riesgo de violencia de género.Los niveles de esta puntuación de riesgo son "no apreciado", "bajo", "medio", "alto" y "extremo".

El sistema VioGén se construye partiendo de la base de que las mujeres que sufren violencia de género entienden y responden con claridad a todos los 35 indicadores de riesgo en la evaluación del riesgo policial (VPR )y los agentes de policía transforman objetivamente las declaraciones de las mujeres en respuestas binarias. Pero en la realidad, el proceso rara vez funciona de esta manera idealizada ya que en el momento en que denuncian a su agresor, las víctimas tienen una fuerte carga emocional y, a menudo, se encuentran en estado de shock lo que les dificulta entender las preguntas y expresarse con claridad. Más del 80% de las mujeres entrevistadas señalaron diferentes problemas con el cuestionario VioGén. Esto significa que la calidad de los datos añadidos al sistema algorítmico pueden estar comprometidos durante la etapa de generación de la señal de entrada, lo que da lugar a posibles fuentes de sesgo y representación errónea dentro del sistema. También es preocupante que sólo un 35% de las mujeres que entrevistamos, fueron informadas de su nivel de riesgo..

 

Transparencia, participación del usuario final, supervisión independiente y rendición de cuentas need to be reviewed

Desde Eticas nos preocupa el número de casos que el sistema VioGén "descarta", dando el nivel de riesgo "no apreciado". Como resultado, en 2021, sólo 1 de cada 7 de las mujeres acudieron a la policía para su protección la recibieron.Esto es consecuencia de que el algoritmo infravalora la violencia psicológica y otras formas de violencia, haciendo énfasis sólo en la violencia física. Por tanto, sólo el 3% de las mujeres víctimas de violencia de género reciben una puntuación de riesgo "media" o superior y, por tanto, protección policial efectiva. A las mujeres que fueron asesinadas por sus parejas y no tenían hijos se les asignó sistemáticamente una puntuación de riesgo más baja que a las que sí los tenían.

Entre líneas

Con estas conclusiones en mente, desde Eticas recomendamos:

  • Eliminar las barreras de acceso a nivel individual, grupal e institucional.
  • Aumentar el número de agentes especializados en violencia de género.
  • Proporcionar apoyo jurídico y psicológico temprano a las víctimas para asegurar su comprensión del proceso y su bienestar al responder al cuestionario VioGén.
  • Acompañar la puntuación de VioGén con una justificación de los policías que aporte una opinión profesional adicional.
  • Recoger periódicamente las opiniones de las víctimas y otras partes interesadas a la hora de evaluar y actualizar el sistema.
  • Utilizar los datos históricos presentes para inferir patrones de violencia de género, así como poner estas evaluaciones a disposición del público en general para fomentar la transparencia y la confianza en el sistema.
  • Promover un debate público sobre los beneficios y riesgos de la incorporación de técnicas de aprendizaje automático en VioGén.

Los resultados de esta auditoría externa demuestran que si Eticas ha conseguido llegar a estas conclusiones sin tener acceso a los datos, se podría haber hecho mucho más con el acceso total a los mismos.

El algoritmo que evalúa el riesgo de las víctimas de violencia de género no funciona como debería

El Ministerio del Interior emplea el sistema VioGén para evaluar el grado de riesgo de víctimas de violencia de género desde el año 2007. Ahora una auditoría externa efectuada por la Fundación Éticas, dedicada a las auditorías algorítmicas y la Fundación Ana Bella, una red mundial de mujeres supervivientes de violencia de género, concluye que no funciona como debería. En informe elaborado por la Fundación Eticas deja de manifiesto la necesidad de auditar este sistema algorítmico.

Interior muestra los entresijos del programa que ha evaluado en 15 años el peligro de volver a sufrir malos tratos para 800.000 víctimas y activa las medidas de protección. Su gran margen de mejora, opinan los expertos, está en el factor humano. Un reciente estudio realizado por la Fundación Eticasdemuestra que hay mucho trabajo por hacer.