O novo chipset móvel de ponta da Qualcomm é uma festa de IA no dispositivo de cima a baixo
O novo chipset móvel de ponta da Qualcomm é uma festa de IA no dispositivo de cima a baixo
O 8 Gen 3 suporta um chatbot treinado no Llama 2 da Meta, aceitando entradas de texto, imagem e voz
Fonte: https://www.theverge.com/2023/10/24/23928867/qualcomm-snapdragon-8-gen-3-on-device-ai-meta-llama-2
O novo chipset móvel de destaque da Qualcomm é uma celebração da Inteligência Artificial (IA) do início ao fim. O Snapdragon 8 Gen 3 traz capacidades de IA generativa diretamente para o chipset, acelerando significativamente as atividades intensivas de processamento que geralmente são terceirizadas para a nuvem. É mais um salto adiante em um ano que tem visto muitos avanços quando se trata de IA, e a novidade chegará em breve: os primeiros telefones com o novo chipset devem estrear nas próximas semanas.
O 8 Gen 3 suporta um chatbot treinado no Llama 2 da Meta, aceitando entradas de texto, imagem e voz. Ele também pode responder e gerar uma imagem ou texto. O chipset também executa o gerador de imagens AI Stable Diffusion no dispositivo, algo que a Qualcomm demonstrou anteriormente. Desta vez, a empresa afirma que pode gerar uma imagem em menos de um segundo, enquanto a tecnologia anterior levava cerca de 15 segundos.
Toda essa inovação está abrigada no que a Qualcomm denomina de seu motor de IA, utilizando o processador neural Hexagon da empresa. Paralelamente, o Sensing Hub utiliza o Whisper da OpenAI para reconhecimento de fala. O Sensing Hub também fornece ao motor de IA informações sobre o usuário, incluindo localização, para respostas mais personalizadas. Ele até mesmo transmite suas atividades favoritas, idade e "nível de aptidão física", o que soa um tanto distópico.
A IA generativa também desempenha um papel importante nas novas capacidades de processamento de imagem do 8 Gen 3. Ele suportará preenchimento generativo para expansão de imagem, permitindo que você amplie e recorte fotos novamente, tudo diretamente no dispositivo. As funcionalidades de vídeo são ainda mais impressionantes: há um apagador de objetos para vídeo e gravação em modo noturno no dispositivo em até 4K / 30p.
Há também uma característica chamada "Vlogger’s View" que combina vídeos das câmeras frontal e traseira em uma única visão. Não é uma função de imagem em imagem, mas sim uma técnica que usa segmentação de imagem aprimorada para remover o fundo do vídeo de selfie, fazendo parecer que você está em frente ao que sua câmera traseira vê.
Há uma boa razão para se preocupar com o uso indevido dessas ferramentas. Nesse sentido, a Qualcomm está trabalhando com uma empresa chamada Truepic. A tecnologia que ela utiliza é compatível com o padrão aberto da Coalition for Content Provenance and Authenticity, que é como uma metainformação para garantir a autenticidade de uma foto ou vídeo.
Mas não é tudo sobre IA no Snapdragon 8 Gen 3. A Qualcomm afirma um modesto aumento de 10% na economia de energia em comparação com o 8 Gen 2, graças aos ganhos de eficiência do CPU Kryo e GPU Adreno. O formato de foto HDR da Dolby é suportado, assim como o modem-RF X75 com mais suporte para agregação de operadoras 5G e a GPU suporta ray tracing baseado em hardware aprimorado.
Há também um novo sistema chamado Snapdragon Seamless, projetado para facilitar o pareamento de laptops e telefones com periféricos entre fabricantes e plataformas de sistema operacional. Isso parece ser principalmente voltado para fazer dispositivos Android e Windows se comunicarem mais facilmente.