Un transformador es una arquitectura de red neuronal profunda que sirve como base para los LLM. Los transformadores consisten en varios componentes y pueden estar compuestos por codificadores, descodificadores y muchas capas de red neuronal "profunda" con muchos millones (o miles de millones) de parámetros. Por lo general, se entrenan con un gran corpus de texto, como datos en Internet, y pueden ajustarse para realizar diversas tareas de NLP. Nuestro nuevo modelo de recuperación usa una arquitectura de transformadores, pero solo contiene un codificador diseñado específicamente para la búsqueda semántica en una gran variedad de dominios.