Como o mais recente modelo de IA do Google está gerando música a partir da atividade cerebral
O modelo pode ler sua mente para produzir música
O Google não é novato em usar a IA para criar música, lançando seu MusicLM em janeiro para gerar música a partir de texto. Agora, o Google aumentou a aposta e está usando a IA para ler seu cérebro - e produzir som com base em sua atividade cerebral.
Em um novo artigo de pesquisa, Brain2Music, o Google usa a IA para reconstruir música a partir da atividade cerebral, conforme observado através de dados de imagem por ressonância magnética funcional (fMRI).
Os pesquisadores estudaram os dados de fMRI coletados de cinco indivíduos que ouviram os mesmos clipes de música de 15 segundos em diferentes gêneros, incluindo blues, clássico, country, disco, hip-hop, jazz, metal, pop, reggae e rock.
Em seguida, eles usaram esses dados para treinar uma rede neural profunda para aprender sobre a relação entre os padrões de atividade cerebral e diferentes elementos da música, como ritmo e emoção.
Uma vez treinado, o modelo poderia reconstruir música a partir de um fMRI empregando o uso do MusicLM. Como o MusicLM gera música a partir de texto, ele foi condicionado a criar música semelhante à música original em um nível semântico.
Quando posto à prova, a música gerada se assemelhava aos estímulos musicais que o participante inicialmente ouviu em características como gênero, instrumentação, humor e mais.
Na página de pesquisa do site, você pode ouvir vários clipes da música original e compará-los com as reconstruções que o MusicLM gerou. Os resultados são bastante incríveis.
Para um clipe, o estímulo foi um clipe de 15 segundos da icônica "Oops!... I Did It Again" de Britney Spears. As três reconstruções eram alegres e animadas, como a original.
O áudio, é claro, não se assemelhava ao original, já que o estudo se concentra nos diferentes elementos da música, não no componente lírico.
Essencialmente, o modelo pode ler sua mente (tecnicamente seus padrões cerebrais) para produzir música semelhante ao que você estava ouvindo.