Um transformador é uma arquitetura de rede neural profunda que serve como base para LLMs. Os transformadores consistem em vários componentes e podem ser compostos de codificadores, decodificadores e muitas camadas de rede neural “profunda” com muitos milhões (ou até bilhões) de parâmetros. Eles são normalmente treinados em grandes corpora de texto, como dados na internet, e podem ser ajustados para executar uma variedade de tarefas de PLN. Nosso novo modelo de recuperação usa uma arquitetura transformadora, mas consiste apenas em um codificador projetado especificamente para busca semântica em uma ampla variedade de domínios.