A Espanha utiliza um algoritmo para classificar o grau de segurança das mulheres. Às vezes está errado

Temendo pela sua vida, Lina Guillén foi à polícia em janeiro.

Mais cedo naquele dia, seu ex-marido teria supostamente ameaçado ela e ela estava preocupada com sua própria segurança, bem como a de seus quatro filhos.

O seu caso estava ligado a um sistema de avaliação de risco chamado VioGén, que a polícia espanhola utiliza para prever o risco enfrentado pelas mulheres que denunciam violência doméstica, familiar ou parceira.

O algoritmo atribui aos casos individuais uma pontuação de risco, que determina a proteção que a polícia e os tribunais oferecem.

É controverso e por vezes subestimou o risco envolvido, com consequências mortais.

“Ela queria trocar as fechaduras da casa para poder dormir e viver em paz com os filhos… ela queria independência”, disse o primo de Lina, Daniel Ríos, à ABC.

O algoritmo VioGén atribuiu a Lina uma pontuação de risco médio e, como resultado, os tribunais recusaram-se a emitir uma ordem de restrição.

Em três semanas, ela foi assassinada.

“O sistema que deveria protegê-la falhou e o governo tem uma grande responsabilidade”, disse Ríos.

“Ele não tem coração, não pode sentir, não pode saber ou descobrir o que vai acontecer.”

A mãe de quatro filhos, de 48 anos, foi assassinada em fevereiro, alegadamente estrangulada pelo ex-companheiro, que depois incendiou a casa com os filhos lá dentro.

Eles conseguiram, mas Lina não.

“As crianças choravam e gritavam de terror pela mãe que estava ali. Foi incrível. Eles são pequenos, viram tudo”, disse Ríos.

Desde então, o homem foi acusado do ataque, ocorrido numa cidade perto de Málaga, na região da Andaluzia, no sul de Espanha.

A Espanha desenvolveu e introduziu o VioGén em 2007 para rastrear mais casos de violência doméstica e eliminar preconceitos humanos no policiamento.

Possui 35 questões básicas que visam construir um retrato das circunstâncias de um indivíduo e, a partir das respostas, avaliar o risco de danos para uma mulher.

Desde o seu lançamento, a reincidência diminuiu 25%.

O professor Juan José López-Ossorio, do Ministério do Interior espanhol, ajudou a desenvolver o software.

“É difícil saber exatamente quantas vidas foram salvas, mas sabemos que a nossa capacidade de detectar casos fatais aumentou ao longo dos anos”, disse ele.

“Muitos casos foram evitados porque detectamos o risco letal a que as mulheres estavam expostas e implementamos muitas medidas de proteção”.

Embora o sistema tenha salvado vidas, algumas mulheres também foram deixadas para trás.

Um total de 274 mulheres que entraram no sistema foram assassinadas, dezenas das quais foram consideradas de baixo ou nenhum risco.

O professor López-Ossorio disse que é importante que a tecnologia continue a ser aprimorada.

“Não só o sistema VioGén, não só a ferramenta de avaliação de risco, mas acredito que todas as instituições devem melhorar juntas para alcançar algo muito importante: o facto de o risco variar ao longo do tempo”, disse.

A polícia tem o poder de reverter o placar, mas descobriu-se que os policiais aceitam os resultados em 95% das vezes.

“É verdade que policiais com muita experiência no uso da ferramenta tendem a confiar no resultado dela”, disse o professor López-Ossorio.

“A ferramenta reduz significativamente os preconceitos que surgem da subjetividade que os profissionais possuem. Portanto, para nós o mais importante é reduzir os preconceitos utilizando os dois elementos: a ferramenta e o profissional.”

'O que o sistema precisa… é de mais humanos'

Gemma Galdón é fundadora da Eticas, uma organização que investiga o impacto ético da tecnologia.

Ele disse que só seria útil eliminar o preconceito humano se o resultado do algoritmo refletisse com precisão as circunstâncias da mulher.

“Em 95 a 98 por cento das vezes, a polícia apenas pressiona Enter na saída. Vimos que não foi realmente uma intervenção humana significativa”, disse ele.

“Basicamente, as mulheres simplesmente se depararam com um sistema de inteligência artificial sobre o qual não tinham conhecimento ou controle”.

A sua empresa ofereceu-se para auditar a VioGén pro bono durante três anos, mas o governo espanhol recusou. De qualquer forma, eles começaram sua própria investigação.

“Nenhum dos engenheiros tinha quaisquer dados sobre o que aconteceu com as mulheres depois que lhes foi dada uma pontuação de risco”, disse Galdon.

“Portanto, se uma mulher morre depois de receber uma pontuação de risco inexistente, eles não sabem, não a avaliam, não olham para o sistema para ver o que pode ter dado errado”.

A investigação do Eticas descobriu que entre 2003 e 2021, 71 mulheres assassinadas pelos seus actuais ou antigos parceiros receberam uma pontuação de risco média, baixa ou insignificante.

A Espanha é um exemplo de como os governos de todo o mundo estão a migrar para a inteligência artificial e a tecnologia preditiva para resolver problemas sociais.

Mas em nenhum lugar como em Espanha existe um algoritmo tão interligado com a forma como a polícia lida com casos de violência contra as mulheres.

Os críticos dizem que é difícil determinar onde terminam as suas recomendações e onde começa a tomada de decisão humana e, em muitos casos, as mulheres nem sequer estavam conscientes do papel que o software desempenhava no seu caso.

Numa marcha recente de protesto contra a violência contra as mulheres no centro de Madrid, milhares de pessoas manifestaram a sua indignação pelo facto de as mulheres continuarem a ser feridas e mortas.

Entre os presentes estava Nessrin Bensaid, uma advogada que representa famílias que perderam entes queridos devido à violência doméstica.

Ela critica fortemente o sistema VioGén e diz que as mulheres imigrantes correm um risco particular de serem negligenciadas.

“Não é possível que um algoritmo determine o abuso psicológico, físico ou económico, porque as questões que ele gera são demasiado gerais para poder identificar a violência psicológica ou mesmo a violência que ocorre continuamente ao longo do tempo”, disse.

“O que o sistema precisa não é de mais tecnologia, o que precisa é de mais humanos: mais profissionais especializados em violência contra a mulher, advogados, assistentes sociais, psicólogos, tradutores e intérpretes.

“Isso não será complementado ou substituído pela Inteligência Artificial”, afirmou.

À medida que a necessidade de uma melhor protecção colide com o progresso tecnológico, as mulheres esperam que as suas vidas não fiquem apenas nas mãos de máquinas.