A ferramenta, hospedada no X, permitiu aos usuários retirar imagens de outras pessoas ou retratá-las sexualmente até hoje.
Grok difere de outras plataformas de geração de IA porque as imagens são compartilhadas publicamente e podem ser facilmente divulgadas.
Desde o final do ano passado, a Comissão de Segurança Eletrônica recebeu vários relatórios sobre o uso do Grok para gerar imagens sexualizadas não consensuais.
“Alguns relatos referem-se a imagens adultas, que são avaliadas em relação ao nosso esquema de abuso baseado em imagens, enquanto outras dizem respeito a potencial material de exploração sexual infantil, que são avaliados em relação ao nosso esquema de conteúdo ilegal e restrito”, disse um porta-voz.
As queixas de adultos estão actualmente a ser avaliadas, enquanto as queixas de crianças não atingiram o limite para serem consideradas material de exploração sexual infantil.
A eSafety não tomou nenhuma medida, mas disse estar preocupada com o uso de IA generativa.
“A eSafety continua preocupada com o uso crescente de IA generativa para sexualizar ou explorar pessoas, especialmente quando há crianças envolvidas”, disse o porta-voz.
A análise da organização sem fins lucrativos AI Forensics disse em um relatório que analisou 20.000 imagens geradas por Grok entre 25 de dezembro e 1º de janeiro e descobriu que 2% mostravam uma pessoa que parecia ter 18 anos ou menos, incluindo 30 de mulheres ou meninas jovens ou muito jovens, em biquínis ou roupas transparentes.
Uma das vítimas inclui a ex-parceira de Musk, Ashley St Clair, que se separou do bilionário da tecnologia após o nascimento de seu filho em 2024.
ela disse o guardião Os usuários usaram o Grok para criar “pornografia de vingança”.
“Fiquei horrorizada, me senti violada, principalmente ao ver a mochila do meu filho pequeno nas costas”, disse ela à publicação.
X não negou que exista conteúdo sexualizado não consensual no Grok, mas alertou que os usuários podem ser suspensos ou encaminhados às autoridades.
“Tomamos medidas contra o conteúdo ilegal no X, incluindo material de abuso sexual infantil, removendo-o, suspendendo permanentemente as contas e trabalhando com os governos e autoridades locais conforme necessário”, disse X através da sua conta de Segurança.
“Qualquer pessoa que use ou solicite ao Grok a criação de conteúdo ilegal sofrerá as mesmas consequências que sofreria se tivesse carregado conteúdo ilegal.”
Mas governos e reguladores de todo o mundo apelaram à plataforma de Musk para fazer mais para combater conteúdos abusivos.
A secretária de Tecnologia do Reino Unido, Liz Kendall, disse que o conteúdo é “absolutamente terrível e inaceitável em uma sociedade decente”.
“Não podemos e não permitiremos a proliferação destas imagens degradantes e degradantes, que são desproporcionalmente dirigidas a mulheres e raparigas”, disse ela.
O regulador de comunicações do país, Ofcom, disse que fez “contato urgente” com X.
A União Europeia disse estar ciente do conteúdo e condenou veementemente Grok.
“Isto não é picante. Isto é ilegal. Isto é terrível. Isto é nojento. É assim que vemos as coisas, e isto não tem lugar na Europa. Esta não é a primeira vez que Grok gera tal produção”, disse o porta-voz da Comissão Europeia, Thomas Regnier.
França, Polónia, Índia, Malásia e Brasil também apelaram a Musk para implementar regras rigorosas e tomar medidas.
– Com a Associated Press
