Cientistas usam IA para transformar pensamentos em imagens, com 80% de precisão

A inteligência artificial pode criar imagens com base em prompts de texto, mas os cientistas revelaram uma galeria de imagens que a tecnologia produz lendo a atividade cerebral.

O novo algoritmo alimentado por IA reconstruiu cerca de 1,000 imagens, incluindo um ursinho de pelúcia e um avião, a partir dessas varreduras cerebrais com 80% de precisão.

Pesquisadores da Universidade de Osaka usaram o popular modelo de difusão estável, incluído no DALL-E 2 da OpenAI, que pode criar qualquer imagem com base em entradas de texto.

A equipe mostrou aos participantes conjuntos individuais de imagens e coletou exames de fMRI (ressonância magnética funcional), que o AI então decodificado.

Mostramos que nosso método pode reconstruir imagens de alta resolução com alta fidelidade semântica da atividade cerebral humana', a equipe compartilhou no estudo publicado em bioRxiv.

'Ao contrário de estudos anteriores de reconstrução de imagens, nosso método não requer treinamento ou ajuste fino de modelos complexos de aprendizado profundo.'

O algoritmo extrai informações de partes do cérebro envolvidas na percepção de imagens, como os lobos occipital e temporal, de acordo com Yu Takagi, que liderou a pesquisa.

A equipe usou fMRI porque detecta mudanças no fluxo sanguíneo em áreas ativas do cérebro, Science.org relatórios.

A FMRI pode detectar moléculas de oxigênio, para que os scanners possam ver onde no cérebro nossos neurônios – células nervosas do cérebro – trabalham mais (e consomem mais oxigênio) enquanto temos pensamentos ou emoções.

Um total de quatro participantes foram usados ​​neste estudo, cada um visualizando um conjunto de 10,000 imagens.

A IA começa a gerar as imagens como ruído semelhante à estática da televisão, que é então substituída por características distinguíveis que o algoritmo vê na atividade, referindo-se às imagens nas quais foi treinado e encontrando uma correspondência.

“Demonstramos que nossa estrutura simples pode reconstruir imagens de alta resolução (512 x 512) da atividade cerebral com alta fidelidade semântica”, de acordo com o estudo.

'Nós interpretamos quantitativamente cada componente de um LDM de uma perspectiva de neurociência mapeando componentes específicos para regiões cerebrais distintas.

Apresentamos uma interpretação objetiva de como o processo de conversão de texto em imagem implementado por um LDM [um modelo de difusão latente] incorpora a informação semântica expressa pelo texto condicional enquanto ao mesmo tempo mantém a aparência da imagem original.'

Leia a história completa aqui…