Um homem de 60 anos sem histórico de doença mental apresentou-se ao pronto-socorro de um hospital insistindo que seu vizinho o estava envenenando. Nas 24 horas seguintes ele teve alucinações que pioraram e tentou fugir do hospital.
Os médicos finalmente descobriram que o homem consumia diariamente brometo de sódio, um sal inorgânico usado principalmente para fins industriais e laboratoriais, como limpeza e tratamento de água.
Ele o comprou on-line depois que o ChatGPT lhe disse que poderia usá-lo em vez do sal de cozinha, porque estava preocupado com os impactos do sal em sua dieta para a saúde. O brometo de sódio pode acumular-se no corpo causando uma condição chamada bromismo, com sintomas que incluem alucinações, estupor e problemas de coordenação.
São casos como esse que deixam Alex Ruani, pesquisador doutor em desinformação em saúde na University College London, preocupado com o lançamento do ChatGPT Health na Austrália.
Inscreva-se: e-mail de notícias de última hora da UA
Um número limitado de usuários australianos agora pode acessar a plataforma de inteligência artificial (IA) que lhes permite “conectar com segurança registros médicos e aplicativos de bem-estar” para gerar respostas “… mais relevantes e úteis para você”. Os usuários do ChatGPT na Austrália podem entrar em uma lista de espera para acesso.
“O ChatGPT Health é apresentado como uma interface que pode ajudar as pessoas a compreender informações de saúde e resultados de exames ou receber conselhos dietéticos, sem substituir um médico”, disse Ruani.
“O desafio é que, para muitos utilizadores, não é óbvio onde termina a informação geral e começa o aconselhamento médico, especialmente quando as respostas parecem seguras e personalizadas, mesmo que sejam enganosas”.
Ruani disse que houve muitos exemplos “horríveis” de ChatGPT “omitindo detalhes importantes de segurança, como efeitos colaterais, contra-indicações, avisos de alergia ou riscos relacionados a suplementos, alimentos, dietas ou certas práticas”.
“O que me preocupa é que não existem estudos publicados que testem especificamente a segurança do ChatGPT Health”, disse Ruani. “Quais dicas de usuário, caminhos de integração ou fontes de dados podem levar a informações enganosas ou prejudiciais?”
ChatGPT é desenvolvido pela OpenAI, que utilizou a ferramenta HealthBench para desenvolver ChatGPT Health. HealthBench emprega médicos para testar e avaliar o desempenho dos modelos de IA na resposta a questões de saúde.
Ruani disse que a metodologia completa usada pelo HealthBench e suas avaliações são “…em sua maioria não divulgadas, sendo descritas em estudos independentes revisados por pares”.
“O ChatGPT Health não é regulamentado como um dispositivo médico ou ferramenta de diagnóstico. Portanto, não há controles de segurança obrigatórios, nem relatórios de risco, nem vigilância pós-comercialização, nem requisitos de publicação de dados de testes.”
Um porta-voz da OpenAI disse ao Guardian Australia que a empresa trabalhou em parceria com mais de 200 médicos de 60 países “para aconselhar e melhorar os modelos que impulsionam o ChatGPT Health”.
“ChatGPT Health é um espaço dedicado onde as conversas sobre saúde permanecem separadas do resto dos seus chats, com fortes proteções de privacidade por padrão”, disse o porta-voz.
Os dados do ChatGPT Health são criptografados e sujeitos a proteções de privacidade por padrão.
O compartilhamento com terceiros será feito com o consentimento do usuário ou em circunstâncias limitadas descritas na política de privacidade da OpenAI.
A presidente-executiva do Australian Consumer Health Forum, Dra. Elizabeth Deveny, disse que o aumento dos custos médicos diretos e os longos tempos de espera para ver os médicos estão levando as pessoas a recorrer à IA.
Ele disse que o ChatGPT Health pode ser útil para ajudar as pessoas a gerenciar doenças crônicas conhecidas e pesquisar maneiras de se manterem saudáveis. A capacidade da IA de dar respostas em diferentes idiomas “proporciona um benefício real para pessoas que não são fluentes em inglês”, disse ele.
Deveny preocupa-se com o facto de as pessoas estarem a seguir os conselhos da ChatGPT Health pelo valor nominal e com o facto de “as grandes empresas globais de tecnologia estarem a avançar mais rapidamente do que os governos”, estabelecendo as suas próprias regras em matéria de privacidade, transparência e recolha de dados.
“Esta não é uma pequena organização sem fins lucrativos que faz experiências de boa fé. Esta é uma das maiores empresas de tecnologia do mundo.
“Quando as plataformas de negociação definem as regras, os benefícios tendem a fluir para as pessoas que já possuem recursos, educação e conhecimento do sistema.
Ele disse que a falta de ação dos governos deixou os consumidores de cuidados de saúde enfrentando a transformação social provocada pela IA em grande parte sozinhos.
“Precisamos de barreiras de proteção claras, transparência e educação do consumidor para que as pessoas possam tomar decisões informadas sobre se e como usar a IA para a sua saúde”, disse ele.
“Não se trata de parar a IA. Trata-se de agir antes que erros, preconceitos e desinformação sejam reproduzidos em grande velocidade e escala, de maneiras quase impossíveis de corrigir.”
