Robô chef é treinado para recriar receitas a partir de vídeos de comida

Chefs robóticos têm sido destaque na ficção científica por décadas

Fonte: https://techxplore.com/news/2023-06-robot-chef-recreate-recipes-food.html

Pesquisadores treinaram um 'chef' robótico para assistir e aprender com vídeos de culinária, e recriar o prato por si mesmo. Os pesquisadores, da Universidade de Cambridge, programaram seu chef robótico com um livro de receitas de oito receitas simples de salada. Depois de assistir a um vídeo de um humano demonstrando uma das receitas, o robô foi capaz de identificar qual receita estava sendo preparada e fazê-la.

Além disso, os vídeos ajudaram o robô a adicionar incrementalmente ao seu livro de receitas. No final do experimento, o robô criou uma nona receita por conta própria. Seus resultados, relatados no periódico IEEE Access, demonstram como o conteúdo de vídeo pode ser uma fonte de dados valiosa e rica para a produção automatizada de alimentos, e poderia permitir a implantação mais fácil e barata de chefs robôs.

Chefs robóticos têm sido destaque na ficção científica por décadas, mas na realidade, cozinhar é um problema desafiador para um robô. Várias empresas comerciais construíram protótipos de chefs robôs, embora nenhum deles esteja atualmente disponível comercialmente, e eles estão bem atrás de seus colegas humanos em termos de habilidade.

Cozinheiros humanos podem aprender novas receitas por observação, seja assistindo outra pessoa cozinhar ou assistindo a um vídeo no YouTube, mas programar um robô para fazer uma variedade de pratos é caro e demorado.

"Queríamos ver se poderíamos treinar um chef robô para aprender da mesma forma incremental que os humanos podem - identificando os ingredientes e como eles se juntam no prato", disse Grzegorz Sochacki do Departamento de Engenharia de Cambridge, o primeiro autor do artigo.

Sochacki, um candidato ao Ph.D. no Laboratório de Robótica Bio-Inspirada do Professor Fumiya Iida, e seus colegas elaboraram oito receitas simples de salada e filmaram-se fazendo-as. Eles então usaram uma rede neural publicamente disponível para treinar seu chef robô. A rede neural já havia sido programada para identificar uma variedade de objetos diferentes, incluindo as frutas e vegetais usados nas oito receitas de salada (brócolis, cenoura, maçã, banana e laranja).

Usando técnicas de visão computacional, o robô analisou cada quadro de vídeo e foi capaz de identificar os diferentes objetos e características, como uma faca e os ingredientes, bem como os braços, mãos e rosto do demonstrador humano. Tanto as receitas quanto os vídeos foram convertidos em vetores e o robô realizou operações matemáticas nos vetores para determinar a semelhança entre uma demonstração e um vetor.

Ao identificar corretamente os ingredientes e as ações do chef humano, o robô pôde determinar qual das receitas estava sendopreparada. O robô poderia inferir que se o demonstrador humano estava segurando uma faca em uma mão e uma cenoura na outra, a cenoura seria então picada.

Dos 16 vídeos que assistiu, o robô reconheceu a receita correta 93% das vezes, mesmo que tenha detectado apenas 83% das ações do chef humano. O robô também foi capaz de detectar que pequenas variações em uma receita, como fazer uma porção dupla ou um erro humano normal, eram variações e não uma nova receita. O robô também reconheceu corretamente a demonstração de uma nova, nona salada, adicionou-a ao seu livro de receitas e a fez.

"É incrível o quanto de nuance o robô foi capaz de detectar", disse Sochacki. "Essas receitas não são complexas - são basicamente frutas e vegetais picados, mas foi realmente eficaz em reconhecer, por exemplo, que duas maçãs picadas e duas cenouras picadas é a mesma receita que três maçãs picadas e três cenouras picadas."

Os vídeos usados para treinar o chef robô não são como os vídeos de comida feitos por alguns influenciadores de mídia social, que estão cheios de cortes rápidos e efeitos visuais, e rapidamente vão e voltam entre a pessoa preparando a comida e o prato que estão preparando. Por exemplo, o robô teria dificuldade em identificar uma cenoura se o demonstrador humano tivesse a mão envolta nela - para o robô identificar a cenoura, o demonstrador humano tinha que segurar a cenoura de forma que o robô pudesse ver todo o vegetal.

"Nosso robô não está interessado nos tipos de vídeos de comida que se tornam virais nas redes sociais - eles são simplesmente muito difíceis de seguir", disse Sochacki. "Mas à medida que esses chefs robôs ficam melhores e mais rápidos na identificação de ingredientes em vídeos de comida, eles podem ser capazes de usar sites como o YouTube para aprender uma variedade de receitas."