En España, el nivel de riesgo al que está sometida una víctima de violencia de género lo determina un algoritmo. El sistema al que pertenece es VioGén, implementado por el Ministerio del Interior desde 2007. Se trata del sistema de evaluación de riesgos con más casos registrados del mundo, con más de 3 millones de evaluaciones de riesgo.
Como líderes en auditoría de algoritmos e inteligencia artificial, con la colaboración de la Fundación Ana Bella-Red de Mujeres Supervivientes, Eticas selecciona el sistema VioGén para comenzar su proyecto de auditorías externas por su gran impacto social.
Desde 2018, Eticas se ha puesto en varias ocasiones con el Ministerio del Interior para ofrecer una auditoría algorítmica, totalmente pro bono y confidencial, del sistema VioGén.En varias ocasiones desde 2018, sin obtener respuesta alguna en estos años. La mayoría de los estudios hechos sobre VioGén han sido realizados por los mismos investigadores que contribuyeron a su desarrollo y por personas que trabajan y/o tienen intereses creados en el ministerio y las fuerzas policiales. Seguía existiendo, por lo tanto, la necesidad de una evaluación independiente del sistema VioGén y acabar con su falta de transparencia. Además, para un sistema destinado a ser utilizado con poblaciones muy vulnerables, no se ha tenido en cuenta ni consultado a las usuarias finales. Por estas razones, hemos desarrollado el estudio a través de la metodología de Auditoría Externa, mediante ingeniería inversa.
Auditoría externa al sistema VioGén
Para llevar a cabo la auditoría hemos combinado enfoques cuantitativos y cualitativos.
El trabajo de campo cualitativo consistió en entrevistas telefónicas e investigación a través de encuestas. Entrevistamos, para evaluar su experiencia con el sistema, a 31 mujeres que sufrieron violencia de género, cuyo caso entró en el sistema VioGén entre 2019 y 2021 y que denunciaron la agresión en Andalucía, Valencia, Madrid o Galicia (regiones de España con más casos activos de VioGén).
Cabe destacar que VioGén se activa cuando la víctima denuncia a su agresor. Según la Macroencuesta de Violencia contra la Mujer (2019), solo el 21,7% de las mujeres mayores de 16 años que sufrieron violencia de género denunciaron a su agresor. El 78,3% restante de mujeres no reportaron y por lo tanto no fueron evaluadas por el sistema VioGén. De las 347 víctimas mortales de violencia de género en España entre 2009-2019, solo 126 de ellas presentaron previamente denuncia policial. Esto significa que el 73% de las mujeres que fueron asesinadas por sus (ex)parejas íntimas no denunciaron previamente a su agresor y no recibieron una evaluación de riesgo de VioGén.
Los motivos que disuaden a las mujeres de presentar una denuncia hacia su agresor son emocionales individuales, estructurales basados en grupos -como puede ser el caso de mujeres con hijos, en desventaja socioeconómica o mujeres migrantes- o institucionales -sólo 2.000 agentes de los 27.000 involucrados en la gestión de VioGén están especializados en violencia de género-.
Los problemas identificados más destacados durante el
trabajo de campo:
El 80% de las mujeres entrevistadas en nuestro estudio reportaron diferentes problemas con el cuestionario VioGén. Esto significa que la calidad de los datos introducidos en el sistema algorítmico podría verse comprometida en este momento, generando fuentes de sesgo y tergiversación dentro del sistema.
Falta de información: El 35% de las entrevistadas no fueron informadas sobre su puntuación de riesgo de VioGén y, por lo tanto, no sabían qué nivel de riesgo les asignaba el sistema.
Momento de realización del cuestionario VioGén: Dado que muchas mujeres que sufren violencia de género llegan a la comisaría y presentan la denuncia justo después de un incidente violento, se encuentran en estado de shock. Nuestras entrevistadas mencionaron que les resultaba difícil recordar todo lo sucedido, organizar sus pensamientos y proporcionar respuestas detalladas a las preguntas de VioGén.
Falta de apoyo legal: Las mujeres que sufren violencia de género tienen derecho a solicitar un abogado para interponer su denuncia, pero pocas conocen este derecho.
Falta de apoyo psicológico: No contar con ayuda y apoyo psicológico antes y durante este proceso agrava la carga emocional que supone esta situación.
Asimismo, VioGén asigna un menor nivel de riesgo a aquellas mujeres que no tienen hijos, aunque no aumenta el riesgo de aquellas que sí los tienen. Además de ello, existe una falta de representación de determinados grupos sociales como son, por ejemplo, las mujeres migrantes.
De 31 mujeres entrevistadas, 15 de ellas evaluaron negativamente su experiencia con el sistema. Una de las principales preocupaciones sobre el algoritmo VioGén es que aproximadamente el 45% de los casos reciben la calificación de riesgo “no apreciado”. Esta falta de apreciación del riesgo nos lleva a pensar que existen factores que aún no se están teniendo en cuenta. Víctimas y abogados coinciden en que VioGén subestima la violencia psicológica y las formas más nuevas de violencia no física.
En cuanto al análisis cuantitativo del sistema que hemos podido realizar con los datos públicos hemos de destacar que entre 2003 y 2021 hubo 71 víctimas mortales que habían presentado denuncia previamente sin obtener protección policial (falsos negativos). Por otro lado, otras 55 mujeres asesinadas recibieron una orden de protección que resultó ser insuficiente.
Nuestras recomendaciones:
Tras realizar esta Auditoría Externa y basándonos en todo lo expuesto anteriormente nuestras recomendaciones incluyen la eliminación de barreras de acceso a nivel individual, grupal e institucional, el incremento del número de agentes especializados en violencia de género, la facilitación de apoyo legal y psicológico a las víctimas y la justificación, mediante de un informe policial complementario, de la puntuación de riesgo asignada.
Además, es de vital importancia el feedback de las víctimas. La evaluación del desempeño del sistema no debe limitarse a su análisis técnico, también debe tener en cuenta las experiencias y percepciones de las partes interesadas que pasan por el sistema o trabajan con él.
Dado que VioGén se apoya en una base de datos considerablemente grande para realizar sus predicciones es crucial contrastar la configuración real con técnicas avanzadas de análisis de datos, con el fin de validar los factores de riesgo e identificadores utilizados por el sistema para evaluar el riesgo. Además, estas evaluaciones deben ponerse a disposición del público en general para fomentar la transparencia y la confianza en el sistema.
Tras 7 meses analizando y estudiando VioGén, consideramos necesario el debate público sobre los beneficios y riesgos de incorporar técnicas de aprendizaje automático -machine learning- en VioGén en el que participen todas las partes interesadas, así como expertos externos.
