Quando a IA da linguagem encontra a propaganda, ninguém está seguro

Você está sentado em uma cadeira confortável perto do fogo, em uma noite fria de inverno. Talvez você tenha uma caneca de chá na mão, talvez algo mais forte. Você abre uma revista em um artigo que queria ler. O título sugeria uma história sobre uma nova tecnologia promissora – mas também potencialmente perigosa – prestes a se tornar mainstream, e depois de ler apenas algumas frases, você se vê puxado para dentro da história. Uma revolução está chegando na inteligência das máquinas, argumenta o autor, e precisamos, como sociedade, melhorar a antecipação de suas consequências. Mas então a coisa mais estranha acontece: você percebe que o escritor, aparentemente deliberadamente, omitiu a última palavra do primeiro .

A palavra que falta salta em sua consciência quase sem ser solicitada: "a última palavra do primeiro parágrafo.'' Não há nenhum sentido de uma consulta de pesquisa interna em sua mente; a palavra ''parágrafo'' simplesmente aparece. Pode parecer uma segunda natureza, este exercício de preenchimento de lacunas, mas fazê-lo faz você pensar nas camadas de conhecimento por trás do pensamento. Você precisa de um domínio dos padrões ortográficos e sintáticos do inglês; você precisa entender não apenas as definições de palavras do dicionário, mas também as maneiras como elas se relacionam umas com as outras; você precisa estar familiarizado o suficiente com os altos padrões de publicação de revistas para supor que a palavra que falta não é apenas um erro de digitação, e que os editores geralmente relutam em omitir palavras-chave em peças publicadas, a menos que o autor esteja tentando ser inteligente - talvez tentando use a palavra que falta para fazer um ponto sobre os esperteza, com que rapidez um falante humano de inglês pode conjurar a palavra certa.

Antes de prosseguir com essa ideia, você volta ao artigo, onde descobre que o autor o levou a um complexo de edifícios no subúrbio de Iowa. Dentro de um dos prédios está uma maravilha da tecnologia moderna: 285,000 núcleos de CPU unidos em um supercomputador gigante, alimentado por painéis solares e resfriado por ventiladores industriais. As máquinas nunca dormem: a cada segundo de cada dia, elas realizam inúmeros cálculos, usando técnicas de última geração em inteligência de máquina que são chamadas de "descida de gradiente estocástica" e "redes neurais convolucionais". Acredita-se que todo o sistema seja um dos supercomputadores mais poderosos do planeta.

E o que, você pode perguntar, esse dínamo computacional está fazendo com todos esses recursos prodigiosos? Principalmente, é jogar uma espécie de jogo, repetidamente, bilhões de vezes por segundo. E o jogo se chama: Adivinha qual é a palavra que falta.

O complexo de supercomputadores em Iowa está executando um programa criado pela OpenAI, uma organização criada no final de 2015 por um punhado de luminares do Vale do Silício, incluindo Elon Musk; Greg Brockman, que até recentemente era diretor de tecnologia da gigante de pagamentos eletrônicos Stripe; e Sam Altman, na época presidente da incubadora de startups Y Combinator. Em seus primeiros anos, enquanto construía seu cérebro de programação, as conquistas técnicas da OpenAI foram ofuscadas principalmente pelo poder de estrela de seus fundadores. Mas isso mudou no verão de 2020, quando a OpenAI começou a oferecer acesso limitado a um novo programa chamado Generative Pre-Trained Transformer 3, coloquialmente conhecido como GPT-3. Embora a plataforma estivesse inicialmente disponível para apenas um pequeno punhado de desenvolvedores, exemplos da incrível proeza do GPT-3 com a linguagem – e pelo menos a ilusão de cognição – começaram a circular pela web e pelas mídias sociais. Siri e Alexa haviam popularizado a experiência de conversar com máquinas, mas isso estava no próximo nível, aproximando-se de uma fluência que lembrava criações de ficção científica como HAL 9000 de “2001”: um programa de computador que pode responder perguntas complexas e abertas de forma perfeita. frases compostas.

Como campo, a IA está atualmente fragmentada entre várias abordagens diferentes, visando diferentes tipos de problemas. Alguns sistemas são otimizados para problemas que envolvem movimentação no espaço físico, como carros autônomos ou robótica; outros categorizam fotos para você, identificando rostos familiares ou animais de estimação ou atividades de férias. Algumas formas de IA – como o AlphaFold, um projeto da DeepMind, subsidiária da Alphabet (antiga Google), estão começando a enfrentar problemas científicos complexos, como prever a estrutura das proteínas, que é fundamental para o design e a descoberta de medicamentos. Muitos desses experimentos compartilham uma abordagem subjacente conhecida como "aprendizagem profunda", na qual uma rede neural vagamente modelada após a estrutura do cérebro humano aprende a identificar padrões ou resolver problemas por meio de ciclos infinitamente repetidos de tentativa e erro, fortalecendo as conexões neurais e enfraquecendo os outros através de um processo conhecido como treinamento. A "profundidade" do aprendizado profundo refere-se a várias camadas de neurônios artificiais na rede neural, camadas que correspondem a níveis cada vez mais altos de abstração: em um modelo baseado em visão, por exemplo, uma camada de neurônios pode detectar linhas verticais , que então alimentaria uma camada que detectava bordas de estruturas físicas, que então se reportaria a uma camada que identificava casas em oposição a prédios de apartamentos.

O GPT-3 pertence a uma categoria de aprendizado profundo conhecida como modelo de linguagem grande, uma rede neural complexa que foi treinada em um conjunto de dados titânico de texto: no caso do GPT-3, cerca de 700 gigabytes de dados extraídos de toda a web, incluindo a Wikipedia, complementada com uma grande coleção de textos de livros digitalizados. O GPT-3 é o mais celebrado dos grandes modelos de linguagem e o mais disponível publicamente, mas Google, Meta (anteriormente conhecido como Facebook) e DeepMind desenvolveram seus próprios LLMs nos últimos anos. Avanços no poder computacional - e novas técnicas matemáticas - permitiram que os LLMs da safra do GPT-3 ingerissem conjuntos de dados muito maiores do que seus antecessores e empregassem camadas muito mais profundas de neurônios artificiais para seu treinamento.

É provável que você já tenha interagido com um modelo de linguagem grande se já usou um aplicativo - como o Gmail - que inclui um recurso de preenchimento automático, solicitando gentilmente a palavra "atender" depois de digitar a frase "Infelizmente, ganhei 'não ser capaz de….'' Mas o preenchimento automático é apenas a expressão mais rudimentar do que um software como o GPT-3 é capaz. Acontece que, com dados de treinamento suficientes e redes neurais suficientemente profundas, grandes modelos de linguagem podem exibir uma habilidade notável se você pedir a eles não apenas para preencher a palavra que falta, mas também para continuar escrevendo parágrafos inteiros no estilo do prompt inicial. Por exemplo, quando dei ao GPT-3 o prompt:

Em 1958, Frank Rosenblatt introduziu o Perceptron, uma versão inicial de uma rede neural que só podia detectar a localização de um quadrado em um cartão impresso. Cinquenta anos depois, as redes neurais são capazes de . . .

O software obedientemente completou o pensamento e continuou, retomando o enquadramento histórico do texto inicial:

. . . detectar e classificar rostos, encontrar padrões em dados e emular o cérebro humano. Enquanto a rede neural amadureceu na academia, ela também encontrou seu caminho na indústria de tecnologia. No final dos anos 1980 e início dos anos 90, as redes neurais foram usadas em aplicações de reconhecimento de fala e reconhecimento de caracteres. O crescimento do poder de computação e a capacidade de coletar conjuntos de dados maiores permitiram o surgimento de outros aplicativos de rede neural.

Desde o lançamento do GPT-3, a internet está repleta de exemplos da estranha facilidade do software com a linguagem – junto com seus pontos cegos e pontos fracos e outras tendências mais sinistras. O GPT-3 foi treinado para escrever roteiros de Hollywood e compor não-ficção no estilo do clássico do New Journalism de Gay Talese ''Frank Sinatra Has a Cold''. Você pode empregar o GPT-3 como um mestre de masmorras simulado, conduzindo elaboradas aventuras baseadas em texto através de mundos que são inventados na hora pela rede neural. Outros alimentaram os prompts de software que geram respostas patentemente ofensivas ou delirantes, mostrando as limitações do modelo e seu potencial de dano se adotado amplamente em seu estado atual.

Até agora, os experimentos com grandes modelos de linguagem têm sido principalmente isso: experimentos sondando o modelo em busca de sinais de verdadeira inteligência, explorando seus usos criativos, expondo seus preconceitos. Mas o potencial comercial final é enorme. Se a trajetória existente continuar, softwares como o GPT-3 podem revolucionar a forma como buscamos informações nos próximos anos. Hoje, se você tiver uma pergunta complicada sobre algo – como configurar seu sistema de home theater, digamos, ou quais são as opções para criar um fundo educacional de 529 para seus filhos – você provavelmente digita algumas palavras-chave no Google e depois examina uma lista de links ou vídeos sugeridos no YouTube, percorrendo tudo para chegar às informações exatas que você procura. (Desnecessário dizer que você nem pensaria em pedir à Siri ou Alexa para guiá-lo por algo tão complexo.) Mas se os verdadeiros crentes do GPT-3 estiverem corretos, em um futuro próximo você apenas fará a pergunta a um LLM e receba a resposta de volta para você, de forma convincente e precisa. O atendimento ao cliente pode ser totalmente transformado: qualquer empresa com um produto que atualmente exija uma equipe de suporte técnico humano pode treinar um LLM para substituí-los.

Leia a história completa aqui…