Pesquisadores do Google DeepMind dizem que pedir à IA para "respirar fundo" melhora a precisão
Pesquisadores do Google DeepMind dizem que pedir à IA para "respirar fundo" melhora a precisão
Quando instruído com a frase, os pesquisadores descobriram que o modelo PaLM 2 do Google tinha uma precisão de 80% ao responder a um conjunto de problemas matemáticos de nível escolar
Pesquisadores do Google DeepMind publicaram um estudo em 7 de setembro sobre como simples instruções poderiam aprimorar a precisão da IA. "Respire fundo e trabalhe neste problema passo a passo" foi a frase mais eficaz testada, de acordo com o estudo. Quando a frase foi utilizada, o modelo de IA PaLM 2 do Google teve uma precisão de 80% em problemas matemáticos, em comparação com 34% sem ela.
Pedir à inteligência artificial PaLM 2 do Google para "respirar fundo e trabalhar neste problema passo a passo" foi a instrução mais eficaz testada pelos pesquisadores do Google DeepMind para melhorar a precisão da IA, conforme um estudo publicado em 7 de setembro. O objetivo do estudo era verificar como simples instruções poderiam melhorar o desempenho de grandes modelos de linguagem, como o GPT-4 do ChatGPT ou o PaLM 2 do Google. Não está claro quantas instruções foram usadas durante o estudo.
Quando instruído com a frase, os pesquisadores descobriram que o modelo PaLM 2 do Google tinha uma precisão de 80% ao responder a um conjunto de problemas matemáticos de nível escolar. Os criadores dos mais de 8.500 problemas matemáticos utilizados no estudo afirmaram que um "estudante do ensino fundamental brilhante" deveria ser capaz de resolver todos eles.
Sem a instrução, o modelo tinha apenas 34% de precisão ao responder os problemas matemáticos, conforme o estudo. No entanto, ao instruir a IA com "vamos pensar passo a passo", houve um aumento na precisão para 71%.
Os pesquisadores automatizaram o processo de teste de um grande número de diferentes frases com uma variedade de modelos de IA para entender quais instruções funcionariam melhor. Para contextualizar essas descobertas, um estudo conjunto de 2022 realizado por pesquisadores do Google e da Universidade de Tóquio descobriu que fazer grandes modelos de linguagem "pensarem passo a passo" melhorava sua precisão.
O lançamento do ChatGPT em novembro despertou a curiosidade sobre como deveríamos nos comunicar com a IA para obter os resultados desejados. Algumas empresas estão até contratando "engenheiros de instruções" que se especializam em formular perguntas e frases para a IA aprimorar suas respostas.
Anna Bernstein, uma engenheira de instruções que trabalha para a empresa de IA Copy.ai, disse ao Insider em agosto que, para obter o máximo das instruções, alguém deveria usar um dicionário de sinônimos e prestar mais atenção aos verbos.
Alguns grupos até montaram "bibliotecas de instruções" para compartilhar frases que maximizam o potencial da IA — como a comunidade Discord da OpenAI, onde desenvolvedores compartilham frases de exemplo para fazer o ChatGPT ajudar em entrevistas de emprego.