A equipe da Agência Nacional de Seguro de Incapacidade está usando o aprendizado de máquina para ajudar a criar planos preliminares para os participantes do NDIS, revelam documentos obtidos pelo Guardian Australia.
Documentos relacionados ao uso de IA pela NDIA, divulgados sob as leis de liberdade de informação, mostraram que 300 funcionários participaram de um teste de seis meses do Copilot AI da Microsoft, desde janeiro do ano passado.
A agência disse que o Copilot usa IA generativa, que era usada apenas para e-mails, reuniões e outras tarefas não relacionadas ao cliente do NDIA, e não para planos de participantes.
Mas os documentos revelam que antes do início do ensaio Copilot, o NDIA já utilizava uma forma de IA (aprendizado de máquina) para preparar projectos de planos orçamentais para os participantes.
O aprendizado de máquina foi definido como “um subconjunto de IA que envolve o uso de algoritmos para aprender com os dados e fazer previsões ou decisões sem ser explicitamente programado”.
A NDIA declarou que o pessoal do NDIS tomou todas as decisões finais sobre os planos e o seu documento de política de IA de Abril de 2024 declarou que “as ferramentas de IA não devem aceder aos registos dos participantes”, a menos que expressamente autorizado a fazê-lo pelo director de informação e ao abrigo da Lei NDIS.
O documento informativo, que foi preparado para as estimativas do Senado para 2023-24, dizia: “Embora o aprendizado de máquina seja usado em projetos de orçamento (ou pacote de apoio típico) para os primeiros planos com base em informações importantes dos perfis dos participantes.
“O algoritmo é usado apenas para fazer recomendações e as decisões são tomadas pelos próprios delegados.”
Os documentos prosseguem dizendo que “as recomendações de aprendizado de máquina são usadas para ajudar os delegados, acelerando a análise inicial para fornecer resoluções mais rápidas aos participantes e um melhor serviço”.
Inscreva-se: e-mail de notícias de última hora da UA
Num relatório de Junho de 2024, afirmou que o pessoal tinha experimentado um aumento de produtividade na preparação de documentos e e-mails ao “interpretar as políticas da NDIA e gerar um resumo do propósito”.
No geral, a equipe do NDIA relatou uma redução de 20% nos tempos de conclusão de tarefas durante o teste Copilot e uma taxa de satisfação de 90% (incluindo funcionários com deficiência auditiva que relataram positivamente o uso da transcrição ao vivo durante as reuniões).
O relatório observou que as dificuldades enfrentadas pelo julgamento incluíam preocupações do pessoal sobre as conclusões da comissão real da robodebt sobre a tomada de decisões automatizada e preocupações sobre o uso da IA para reduzir o número de funcionários.
O relatório final do teste observa que um dos riscos do uso do Copilot era a exposição acidental de dados, mas a agência disse que teria controles de acesso robustos, auditorias regulares e treinamento de funcionários.
A doutora Georgia Van Toorn, da Universidade de Nova Gales do Sul, que escreveu sobre o impacto da tomada de decisões algorítmicas no setor público, disse que o aprendizado de máquina e as abordagens baseadas em dados muitas vezes falham “em abordar a complexidade e as nuances”.
“Não acho que seja necessariamente uma coisa ruim, especialmente em casos relativamente simples, mas… não podemos esperar que uma abordagem de aprendizado de máquina seja capaz de prever os tipos de suporte que alguém precisará se essa pessoa não se encaixar perfeitamente em uma caixa. E isso é a maioria das pessoas, certo?”
Van Toorn acrescentou que a aprendizagem automática também tem um problema de “caixa negra”, onde é difícil para os humanos saber que pontos de dados a máquina está a utilizar, que peso lhes está a dar e que preconceitos está a assumir, à medida que aprende e toma decisões.
“Acho que a suposição é que, por ser baseado em dados, é preciso e personalizado… Mas, neste caso, acho que a parte crucial é que o ser humano no circuito precisa compreender as limitações (da tecnologia)… e exercer discrição e julgamento.
após a promoção do boletim informativo
“E eles precisam receber o treinamento e o apoio certos para fazer isso no momento certo.”
Van Toorn disse que era importante que os documentos da NDIA declarassem explicitamente que as decisões sobre os planos de apoio são tomadas por seres humanos.
No entanto, ele alertou que há muitas evidências do que os pesquisadores chamam de “viés de automação”, em que as pessoas são influenciadas pelas recomendações da IA ao tomar decisões.
“Pode haver restrições de tempo ou pressões sobre os planeadores para executar um certo número de planos para cumprir os KPIs, ou pode haver pressões sobre a NDIA em geral para reduzir o número ou o custo dos planos”, disse ele.
“O risco é que, se isso tornar seu trabalho mais rápido ou mais fácil, é mais provável que um planejador siga o plano recomendado, confiando no algoritmo em vez de usar seu próprio julgamento ou realmente ouvir os participantes do NDIS”.
O participante do NDIS e defensor da deficiência, Dr. Stevie Lang Howson, disse que sua “maior preocupação” era se a equipe foi treinada, equipada e teve tempo para “fazer nossos planos significativamente adaptados às nossas necessidades como indivíduos”.
“Estas são, na verdade, a vida das pessoas. É quantas vezes as pessoas podem ir ao banheiro… é quantas vezes você pode sair de casa, é se a cadeira de rodas em que você está sentado é muito pequena e causa dor… Essas coisas são tão sérias e tão significativas que precisam ser feitas com cuidado e transparência e de uma forma que reflita as necessidades individuais das pessoas.”
Um porta-voz do NDIA disse que a IA não é usada em sistemas “que interagem diretamente com participantes ou fornecedores ou para financiamento do NDIS ou decisões de elegibilidade”.
“Os delegados tomam decisões sobre o financiamento do NDIS de um participante usando informações e evidências fornecidas pelos participantes de acordo com a Lei NDIS”, disse o porta-voz.
O governo federal divulgou na quarta-feira um plano de IA em todo o governo para o uso de IA generativa no serviço público. A Ministra das Finanças, Katy Gallagher, disse que o plano daria a todos os funcionários públicos acesso a ferramentas generativas de IA, formação e orientação sobre como utilizar as ferramentas com segurança e responsabilidade.
