# LaMDA

LaMDA (Modelo de Linguagem para Aplicações de Diálogo) é uma família de modelos de linguagem neural conversacional desenvolvida pelo Google. A primeira geração foi anunciada durante a palestra inicial do Google I/O de 2021, enquanto a segunda geração foi anunciada no evento do ano seguinte. Em junho de 2022, o LaMDA ganhou ampla atenção quando o engenheiro do Google, Blake Lemoine, afirmou que o chatbot havia se tornado senciente. A comunidade científica rejeitou amplamente as alegações de Lemoine, embora tenha levado a conversas sobre a eficácia do teste de Turing, que mede se um computador pode se passar por um ser humano. Em fevereiro de 2023, o Google anunciou o Bard, um chatbot de inteligência artificial conversacional desenvolvido pela LaMDA, para conter a ascensão do ChatGPT da OpenAI.

## História
### Primeira geração

O Google anunciou o modelo de linguagem neural conversacional LaMDA durante a palestra inicial do Google I/O em 18 de maio de 2021, desenvolvido com inteligência artificial. Construído na arquitetura de rede neural Transformer desenvolvida pelo Google Research em 2017, o LaMDA foi treinado em diálogos e histórias humanas, permitindo que ele se envolva em conversas abertas. O Google afirma que as respostas geradas pelo LaMDA foram garantidas como "sensatas, interessantes e específicas para o contexto".

### Segunda geração

Em 11 de maio de 2022, o Google revelou o LaMDA 2, que serve como sucessor do LaMDA, durante a palestra inicial do Google I/O de 2022. A nova encarnação do modelo extrai exemplos de texto de várias fontes, usando-os para formular "conversas naturais" exclusivas sobre tópicos aos quais ele pode não ter sido treinado para responder. Além disso, o Google lançou o AI Test Kitchen, um aplicativo móvel alimentado por LaMDA 2 capaz de fornecer listas de sugestões sob demanda com base em um objetivo complexo. Originalmente aberto apenas para funcionários do Google, o aplicativo foi definido para ser disponibilizado para "selecionar acadêmicos, pesquisadores e formuladores de políticas" por convite em algum momento do ano. Em agosto de 2022, a empresa começou a permitir que usuários nos Estados Unidos se inscrevessem para acesso antecipado.

### Reivindicações de senciência

Em 11 de junho de 2022, o The Washington Post relatou que o engenheiro do Google Blake Lemoine havia sido colocado em licença administrativa remunerada depois que Lemoine disse aos executivos da empresa Blaise Agüera y Arcas e Jen Gennai que LaMDA havia se tornado senciente. Lemoine chegou a essa conclusão depois que o chatbot deu respostas questionáveis a perguntas sobre identidade própria, valores morais, religião e as Três Leis da Robótica de Isaac Asimov. O Google refutou essas alegações, insistindo que havia evidências substanciais para indicar que o LaMDA não era senciente. Em entrevista à Wired, Lemoine reiterou suas afirmações de que LaMDA era "uma pessoa" conforme ditado pela Décima Terceira Emenda, comparando-o a uma "inteligência alienígena de origem terrestre". Ele revelou ainda que havia sido demitido pelo Google após contratar um advogado em nome da LaMDA, após o chatbot solicitar que Lemoine o fizesse. Em 22 de julho, o Google demitiu Lemoine, afirmando que Blake havia violado suas políticas "para proteger as informações do produto" e rejeitou suas alegações como "totalmente infundadas".
As alegações de Lemoine foram amplamente rejeitadas pela comunidade científica. Muitos especialistas ridicularizaram a ideia de que um modelo de linguagem poderia ser autoconsciente, incluindo o ex-professor de psicologia da Universidade de Nova York, Gary Marcus, David Pfau, da empresa irmã do Google, DeepMind, Erik Brynjolfsson, do Instituto de Inteligência Artificial Centrada no Homem da Universidade de Stanford e da Universidade do professor de Surrey Adrian Hilton. Yann LeCun, que lidera a equipe de pesquisa de IA da Meta Platforms, afirmou que redes neurais como LaMDA "não eram poderosas o suficiente para atingir a verdadeira inteligência". O professor da Universidade da Califórnia, em Santa Cruz, Max Kreminski, observou que a arquitetura do LaMDA não "apoiava algumas capacidades-chave da consciência semelhante à humana" e que os pesos de sua rede neural estavam "congelados", assumindo que era um modelo de linguagem grande típico,
O desenvolvedor líder do IBM Watson, David Ferrucci, comparou como o LaMDA parecia ser humano da mesma forma que o Watson quando foi introduzido pela primeira vez. O ex-cientista de IA do Google, Timnit Gebru, chamou Lemoine de vítima de um "ciclo de hype" iniciado por pesquisadores e pela mídia. As alegações de Lemoine também geraram discussão sobre se o teste de Turing permaneceu útil para determinar o progresso dos pesquisadores em direção à inteligência geral artificial, com Will Omerus, do Post, opinando que o teste realmente mediu se os sistemas de inteligência de máquina eram capazes de enganar os humanos, enquanto Brian Christian do The Atlantic disse que a controvérsia foi uma instância do efeito ELIZA.

### Bard

Em novembro de 2022, a OpenAI lançou o ChatGPT, um chatbot baseado na família GPT-3 de modelos de linguagem. O ChatGPT ganhou atenção mundial após seu lançamento, tornando-se uma sensação viral na Internet. Alarmado com a ameaça potencial do ChatGPT à Pesquisa do Google, o CEO do Google, Sundar Pichai, emitiu um alerta de "código vermelho" em toda a empresa, reatribuindo várias equipes para ajudar nos esforços de IA da empresa. Em um movimento raro e sem precedentes, os cofundadores do Google, Larry Page e Sergey Brin, que haviam deixado suas funções como coCEOs da Alphabet, empresa controladora do Google, em 2019, foram convocados para reuniões de emergência com executivos da empresa para discutir a resposta do Google ao ChatGPT..
Quando perguntado por funcionários em uma reunião geral se o LaMDA foi uma oportunidade perdida para o Google competir com o ChatGPT, Pichai e o chefe de IA do Google, Jeff Dean, afirmaram que, embora a empresa tivesse recursos semelhantes aos do ChatGPT, mover-se muito rapidamente nessa arena representaria uma grande "risco reputacional" devido ao fato de o Google ser substancialmente maior que o OpenAI. Em janeiro de 2023, o CEO da DeepMind, Demis Hassabis, lançou planos para um rival do ChatGPT, e os funcionários do Google foram instruídos a acelerar o progresso em um concorrente do ChatGPT, testando intensivamente o "Apprentice Bard" e outros chatbots. Pichai garantiu aos investidores durante a teleconferência trimestral do Google em fevereiro que a empresa tinha planos de expandir a disponibilidade e os aplicativos do LaMDA.
Em 6 de fevereiro, o Google anunciou o Bard, um chatbot de IA de conversação desenvolvido pela LaMDA. O Bard foi lançado pela primeira vez para um grupo seleto de "testadores confiáveis", antes de um amplo lançamento agendado para o final do mês. Bard recebeu o codinome "Atlas" durante o desenvolvimento. Os meios de comunicação apontaram que um anúncio da Bard mostrava uma resposta incorreta a uma pergunta sobre o Telescópio Espacial James Webb. Analistas financeiros e jornalistas descreveram o Google como "recuperando o atraso" da Microsoft, e "apressando" o anúncio de Bard para antecipar um evento da Microsoft em 7 de fevereiro revelando a integração do ChatGPT ao Bing. Depois de uma transmissão ao vivo "nada assombrosa" em 8 de fevereiro apresentando Bard, as ações do Google caíram oito por cento, representando uma perda de US$ 100. perda de bilhões em valor de mercado, e o vídeo foi tornado privado. A perda também foi atribuída a um erro durante uma demonstração em que Bard deu informações incorretas sobre o James Web Space Telescope, afirmando que tirou a primeira foto de um planeta fora do sistema solar. The Verge e Bloomberg News observaram que isso marcou o início de outro conflito Google-Microsoft sobre "o futuro da pesquisa", depois que sua "trégua" de seis anos expirou em 2021.

## Método

O LaMDA usa um modelo de linguagem de transformador apenas para decodificador. É pré-treinado em um corpus de texto que inclui documentos e diálogos que consistem em 1,56 trilhões de palavras, e é então treinado com dados de ajuste fino gerados por respostas anotadas manualmente para sensatez, interesse e segurança. Testes do Google indicaram que o LaMDA superou as respostas humanas na área de interesse. O modelo do transformador LaMDA mais um sistema externo de recuperação de informações interagem para melhorar a precisão dos fatos fornecidos ao usuário.
Três modelos diferentes foram testados, sendo que o maior possui 137 bilhões de parâmetros não incorporados:
Hiperparâmetros do modelo do transformador :
| Parâmetros | Camadas | Unidades ( $_{modelo}$ d) | Cabeças |
| 2B | 10 | 2560 | 40 |
| 8B | 16 | 4096 | 64 |
| 137B | 64 | 8192 | 128 |

## Veja também

* Ética da inteligência artificial
* sala chinesa
* Processamento de linguagem natural
* Filosofia da inteligência artificial