Poderia alguém falsamente acusá-lo de usar texto gerado por IA? Eis o porquê
Detectar conteúdo gerado por IA, em geral, pode ser difícil
A inteligência artificial (IA) tem crescido em popularidade nos últimos meses, mas alguns campos, incluindo a educação, permanecem controversos. Grande parte dessa preocupação está focada no potencial dos estudantes de usar uma ferramenta de IA generativa, como o ChatGPT, para fazer seu trabalho, incluindo escrever um ensaio ou criar código.
Alguns professores permitem a tecnologia em suas salas de aula, outros a proíbem, e outros a permitem a seu critério, o que pode incluir a análise de todo o trabalho dos alunos com detectores de GPT. Um artigo recentemente publicado e revisado por pares da Patterns mostra que os pesquisadores descobriram que os programas construídos para detectar se o texto foi gerado por IA ou humanos rotulavam mais frequentemente como gerado por IA quando era escrito por escritores de inglês não nativos.
No estudo, os pesquisadores testaram o desempenho de sete detectores de GPT amplamente utilizados, com 91 redações escritas para o Teste de Inglês como Língua Estrangeira (TOEFL) por falantes de chinês, e 88 redações escritas por alunos do oitavo ano dos EUA, que foram obtidas do Prêmio de Avaliação Automatizada de Estudantes da Fundação Hewlett (ASAP).
Os detectores de GPT classificaram corretamente todas as redações dos alunos dos EUA, mas rotularam incorretamente uma média de 61% das redações do TOEFL como geradas por IA. Um dos detectores marcou incorretamente 97,8% das redações do TOEFL como geradas por IA.
A pesquisa também descobriu que esses detectores de GPT não são tão eficazes em detectar plágio quanto seus usuários podem acreditar. Muitos dos detectores anunciam 99% de precisão sem evidências para respaldar as afirmações.
Os pesquisadores geraram redações usando o ChatGPT e 70% foram identificadas como geradas por IA pelos detectores de GPT. Mas prompts simples, como pedir ao ChatGPT para "elevar o texto fornecido empregando linguagem literária", melhoraram o texto o suficiente para reduzir essa figura para 3%, o que significava que os detectores de GPT então determinavam incorretamente que as redações foram escritas por humanos 97% do tempo.
"Nossa recomendação atual é que devemos ser extremamente cuidadosos e talvez tentar evitar o uso desses detectores tanto quanto possível", disse o autor sênior James Zou, da Universidade de Stanford.
Os autores atribuíram os erros aos detectores de GPT favorecendo a linguagem complexa e penalizando escolhas de palavras mais simples que são comumente usadas por escritores de inglês não nativos. Eles descobriram que as redações do TOEFL exibiam menor perplexidade de texto, o que "surpreendeu" um modelo de IA. Se a próxima palavra em uma redação é difícil para o detector de GPT prever, então é mais provável que ele suponha que um humano escreveu o texto; se o contrário for verdadeiro, ele assumirá que a IA o criou.
"Se você usa palavras comuns em inglês, os detectores darão uma pontuação de perplexidade baixa, o que significa que minha redação provavelmente será marcada como gerada por IA. Se você usar palavras complexas e mais sofisticadas, então é mais provável que seja classificada como escrita por humanos pelos algoritmos", explicou Zou.
Detectar conteúdo gerado por IA, em geral, pode ser difícil, e é por isso que os métodos de detecção na forma de programas de computador de terceiros se tornaram populares. A pesquisa sugere, no entanto, que essas ferramentas podem marginalizar escritores de inglês não nativos em ambientes avaliativos e educacionais.
"Pode ter consequências significativas se esses detectores forem usados para revisar coisas como candidaturas a empregos, redações de entrada para a faculdade ou tarefas do ensino médio", explicou Zou.
Paradoxalmente, o estudo aponta que há potencial para os detectores de GPT empurrarem falantes de inglês não nativos para usar mais ferramentas de IA generativas em um esforço para evadir a detecção e melhorar suas habilidades linguísticas, o que os ajudaria a evitar o potencial assédio e visibilidade restrita que poderiam resultar de serem discriminados.