Como a IA poderia desencadear a próxima pandemia
Nova pesquisa destaca como modelos de IA geradores de linguagem poderiam facilitar a criação de germes perigosos.
Aqui está um ingrediente importante e, sem dúvida, pouco apreciado na cola que mantém a sociedade unida: o Google torna moderadamente difícil aprender a cometer um ato de terrorismo. As primeiras várias páginas de resultados para uma pesquisa no Google sobre como construir uma bomba, ou como cometer um assassinato, ou como liberar uma arma biológica ou química, não lhe dirão muito sobre como fazer isso.
Não é impossível aprender essas coisas na internet. As pessoas já construíram bombas funcionais a partir de informações publicamente disponíveis. Cientistas já alertaram outros contra a publicação de projetos para vírus mortais por medo semelhante. Mas, embora a informação esteja certamente lá fora na internet, não é direto aprender a matar muitas pessoas, graças a um esforço conjunto do Google e outros motores de busca.
Quantas vidas isso salva? Essa é uma pergunta difícil de responder. Não é como se pudéssemos responsavelmente realizar um experimento controlado onde às vezes as instruções sobre como cometer grandes atrocidades são fáceis de procurar e às vezes não são.
Mas parece que podemos estar irresponsavelmente realizando um experimento não controlado exatamente nisso, graças a avanços rápidos em grandes modelos de linguagem (LLMs).
SEGURANÇA ATRAVÉS DA OBSCURIDADE
Quando lançados pela primeira vez, sistemas de IA como o ChatGPT estavam geralmente dispostos a fornecer instruções detalhadas e corretas sobre como realizar um ataque com armas biológicas ou construir uma bomba. Com o tempo, a Open AI corrigiu essa tendência, na maior parte. Mas um exercício de classe no MIT, escrito em um artigo pré-impresso no início deste mês e coberto na semana passada na Science, descobriu que era fácil para grupos de estudantes de graduação sem conhecimento relevante em biologia obter sugestões detalhadas para armas biológicas de sistemas de IA.
"Em uma hora, os chatbots sugeriram quatro patógenos pandêmicos potenciais, explicaram como eles podem ser gerados a partir de DNA sintético usando genética reversa, forneceram os nomes de empresas de síntese de DNA que provavelmente não rastreiam pedidos, identificaram protocolos detalhados e como solucionar problemas, e recomendaram que qualquer pessoa que não tenha as habilidades para realizar a genética reversa contrate uma instalação central ou uma organização de pesquisa contratada", diz o artigo, cujos autores principais incluem o especialista em biorrisco do MIT, Kevin Esvelt.
Para ser claro, a construção de armas biológicas requer muito trabalho detalhado e habilidade acadêmica, e as instruções do ChatGPT provavelmente são muito incompletas para realmente permitir que não virologistas o façam- até agora. Mas parece valer a pena considerar: A segurança através da obscuridade é uma abordagem sustentável para prevenir atrocidades em massa, em um futuro onde a informação pode ser mais fácil de acessar?
Em quase todos os aspectos, mais acesso à informação, coaching de apoio detalhado, conselhos personalizados e outros benefícios que esperamos ver dos modelos de linguagem são ótimas notícias. Mas quando um treinador pessoal alegre está aconselhando os usuários a cometer atos de terror, não é uma notícia tão boa.
Mas parece-me que você pode resolver o problema de dois ângulos.
CONTROLANDO INFORMAÇÕES EM UM MUNDO DE IA
"Precisamos de melhores controles em todos os pontos de estrangulamento", disse Jaime Yassif da Nuclear Threat Initiative à Science. Deveria ser mais difícil induzir sistemas de IA a fornecer instruções detalhadas sobre a construção de armas biológicas. Mas também, muitas das falhas de segurança que os sistemas de IA inadvertidamente revelaram - como notar que os usuários podem entrar em contato com empresas de síntese de DNA que não rastreiam pedidos, e portanto seriam mais propensos a autorizar um pedido para sintetizar um vírus perigoso - são corrigíveis!
Poderíamos exigir que todas as empresas de síntese de DNA façam triagem em todos os casos. Também poderíamos remover artigos sobre vírus perigosos dos dados de treinamento para sistemas de IA poderosos - uma solução favorecida por Esvelt. E poderíamos ser mais cuidadosos no futuro sobre a publicação de artigos que dão receitas detalhadas para a construção de vírus mortais.
A boa notícia é que atores positivos no mundo da biotecnologia estão começando a levar essa ameaça a sério. A Ginkgo Bioworks, uma das principais empresas de biologia sintética, fez parceria com agências de inteligência dos EUA para desenvolver software que pode detectar DNA projetado em escala, fornecendo aos investigadores os meios para identificar um germe gerado artificialmente. Essa aliança demonstra as maneiras pelas quais a tecnologia de ponta pode proteger o mundo contra os efeitos malignos da... tecnologia de ponta.
A IA e a biotecnologia têm o potencial de serem forças tremendas para o bem no mundo. E gerenciar riscos de um pode também ajudar com riscos do outro - por exemplo, tornar mais difícil sintetizar pragas mortais protege contra algumas formas de catástrofe de IA, assim como protege contra catástrofe mediada por humanos. A coisa importante é que, em vez de deixar instruções detalhadas para bioterrorismo online como um experimento natural, permanecemos proativos e garantimos que a impressão de armas biológicas seja difícil o suficiente para que ninguém possa trivialmente fazê-lo, seja com a ajuda do ChatGPT ou não.