- Detecção de falhas em tempo real
- Quando a IA pune mulheres e atividades populares
- Notas do Aluno
- Guias, dicas e alertas
- Quadro europeu em desenvolvimento
- Rumo a um selo nacional de IA confiável
Esta medida visa reduzir preconceito algoritmos e ferramentas automatizadas que tomam cada vez mais decisões em áreas como emprego, educação e serviços governamentais.
A iniciativa vem de “adoção progressiva em massa» inteligência artificial em todos os setores e os riscos que isso acarreta para dignidade humana, privacidade e direitos fundamentaisde acordo com o documento pertencer Ministério da Transformação Digital ao qual você teve acesso Informações Digitais Confidenciais.
O governo reconhece que a IA pode implementar formas invisíveis de discriminaçãoespecialmente quando os modelos são treinados em dados que já são influenciados por género, raça e estatuto socioeconómico.
O futuro observatório irá monitorizar estes riscos ativo: Monitorará a mídia, redes sociais e outras fontes para detectar usos potencialmente prejudiciais; preparará relatórios periódicos; e oferecerá aconselhamento “informal” a empresas e administrações que operam sistemas que podem causar danos a grupos vulneráveis.
Detecção de falhas em tempo real
O Ministério propõe criar Laboratório de Vigilância de Riscos. Sua tarefa será identificar possíveis violações das futuras regras europeias de IA – atualmente em fase de projeto – e a Carta dos Direitos Digitais.
Esta vigilância não terá carácter sancionatório, mas permitirá avisar imediatamente quando o algoritmo causa danos específicos.
Os casos citados pelo governo como exemplos desses riscos incluem: sistemas de reconhecimento facialque historicamente tiveram o “pior” desempenho com rostos negros e asiáticos.
Esta desigualdade não responde a um pequeno problema técnico: deve-se ao facto de os modelos terem sido treinados durante anos com fotos de pessoas predominantemente brancas.
O desequilíbrio significa que, dada a falta de diversidade nos dados, programas cometem mais erros ao identificar pessoas pertencentes a minorias raciais.
O documento alerta que tais falhas Eles se traduzem diretamente na vida cotidiana. se essas tecnologias são utilizadas em controles de acesso, sistemas de segurança e processos automatizados em agências governamentais.
Um erro sistemático no reconhecimento facial, alerta o ministério, pode levar a exceções, identificações incorretas E dificuldades no acesso a serviços básicos.
Quando a IA pune mulheres e atividades populares
Outra área onde os preconceitos se tornam mais aparentes é Trabalho. O governo é claro sobre os riscos associados aos sistemas automatizados que visualizar currículos e analisar perfis profissionais para selecionar candidatos.
Quando as ferramentas são treinadas em dados históricos onde predominaram as contratações masculinas, os modelos tendem a já reproduzir essa tendência. punir candidaturas de mulheresmesmo que sejam mais adequados aos requisitos do cargo.
O ministério lembra que esses preconceitos Eles nem sempre são perceptíveis à primeira vista e pode ser “profundamente incorporado” nos conjuntos de dados usados.
Nos casos mais extremos, a IA poderia associar determinados perfis académicos ou profissionais a determinados géneros. persistência da desigualdade isso é contra as leis de igualdade.
Notas do Aluno
Os preconceitos também podem ser baseados em contexto socioeconômico. O artigo inclui um exemplo do Reino Unido, que durante a pandemia utilizou um algoritmo para atribuir notas finais aos alunos que não puderam fazer o exame pessoalmente.
O sistema tomou decisões com base não apenas em indicadores individuais, mas também em dados sobre a escola de cada aluno. Isso causou estudantes talentosos de áreas pobres receberam pontuações mais baixas do que deveriam apenas porque suas escolas tiveram historicamente um desempenho pior.
Exemplo incluído como amostra “alto impacto” que pode ter um uso não crítico de ferramentas automatizadas.
Guias, dicas e alertas
Para combater estes riscos, o ministério propõe desenvolver Plano Nacional de Proteção de IA para Grupos Vulneráveisque incluirá investigação abrangente por sector, análise de risco diferenciada para cada área e desenvolvimento de directrizes de melhores práticas.
Estes documentos deverão abranger tudo, desde a fase de concepção e formação dos modelos até à sua posterior implantação e avaliação, com especial atenção para rastreabilidade, transparência e responsabilidade.
Também será lançado caixa de correio pública coletar reclamações e notificações sobre possíveis casos de riscos provenientes de sistemas automatizados.
Informações coletadas fornecerá tarefas de vigilância e revelará padrões que indicam a existência de problemas estruturais em determinados sectores.
O observatório será concluído conselho corretivo. Caso seja descoberto um caso de discriminação ou utilização prejudicial de um sistema de IA, a equipa deverá contactar a organização responsável para analisar a situação e propor medidas específicas para mitigar o problema.
Isso é interferência pode incluir a reformulação do algoritmomudanças nos procedimentos internos ou recomendações para evitar incidentes futuros.
Quadro europeu em desenvolvimento
O documento também prevê a preparação piloto nacional ensaiar implementação do futuro Regulamento Europeu sobre Inteligência Artificial.
Espanha quer antecipar requisitos legais e operacionais o que a nova lei implicará e testá-los em cenários reais com empresas e administrações públicas.
O relatório afirma que As obrigações regulatórias serão complexase que a sua implementação exigirá o desenvolvimento de capacidades técnicas e metodológicas.
O projecto-piloto contribuirá para o desenvolvimento guias definitivos direcionado a empresas e setores específicos, com instruções detalhadas sobre como garantir a transparência, a avaliação de riscos e o compromisso com a supervisão algorítmica.
Será também desenvolvida uma ferramenta tecnológica para facilitar autoavaliação de conformidadepermitindo que as organizações verifiquem se seus sistemas atendem aos padrões exigidos.
Rumo ao selo National Trusted AI
Além do observatório, o ministério quer criar Selo Nacional de Inteligência Artificialum certificado que reconhecerá sistemas que cumpram padrões de qualidade, segurança e respeito pelos direitos fundamentais.
Para isso, será necessário desenvolver normas técnicas, criar sistema de acreditação para certificação de empresase desenvolver um portal web que servirá de guia para cidadãos e empresas.
O objetivo final é promover “ambiente de confiança e regulamentação”, permitindo-nos aproveitar o potencial da IA sem comprometer os direitos fundamentais.
