Teniendo en cuenta estos párrafos sobre los Grandes modelos lingüísticos, ¿cuándo surgieron los LLM?
Un gran modelo lingüístico (LLM) es un modelo lingüístico consistente en una red neuronal con muchos parámetros (normalmente miles de millones de pesos o más), entrenada en grandes cantidades de texto sin etiquetar mediante aprendizaje autosupervisado. Los LLM surgieron en torno a 2018 y funcionan bien en una gran variedad de tareas. Esto ha cambiado el enfoque de la investigación sobre el procesamiento del lenguaje natural, alejándolo del paradigma anterior de entrenar modelos supervisados especializados para tareas específicas.

Propiedades
Aunque el término gran modelo lingüístico no tiene una definición formal, a menudo se refiere a modelos de aprendizaje profundo que tienen un número de parámetros del orden de miles de millones o más. Los LLM son modelos de propósito general que destacan en una amplia gama de tareas, en lugar de estar entrenados para una tarea específica (como el análisis de sentimientos, el reconocimiento de entidades con nombre o el razonamiento matemático). La habilidad con la que realizan las tareas, y la gama de tareas de las que son capaces, parece estar en función de la cantidad de recursos (datos, tamaño de los parámetros, potencia de cálculo) que se les dedique, de una forma que no depende de avances adicionales en el diseño.

Aunque se han entrenado en tareas sencillas del tipo de predecir la siguiente palabra de una frase, se ha comprobado que los modelos neurales del lenguaje con un entrenamiento y un número de parámetros suficientes captan gran parte de la sintaxis y la semántica del lenguaje humano. Además, los grandes modelos lingüísticos demuestran un conocimiento general considerable sobre el mundo, y son capaces de "memorizar" una gran cantidad de hechos durante el entrenamiento.

Alucinaciones
Artículo principal: Alucinación (inteligencia artificial)
En la inteligencia artificial en general, y en los grandes modelos lingüísticos en particular, una "alucinación" es una respuesta segura que no parece estar justificada por los datos de entrenamiento del modelo.

Capacidades emergentes

En una serie de pruebas comparativas de lenguaje natural que implican tareas como la respuesta a preguntas, los modelos no obtienen mejores resultados que el azar hasta que alcanzan una cierta escala (en este caso, medida por el cálculo de entrenamiento), momento en el que su rendimiento aumenta bruscamente. Estos son ejemplos de capacidades emergentes.
Las capacidades impredecibles que se han observado en grandes modelos lingüísticos pero que no estaban presentes en modelos más sencillos (y que no se diseñaron explícitamente en el modelo) suelen denominarse "capacidades emergentes". Los investigadores señalan que dichas capacidades "no pueden predecirse simplemente extrapolando el rendimiento de modelos más pequeños". Estas capacidades se descubren en lugar de programarse o diseñarse, en algunos casos sólo después de que el LLM se haya desplegado públicamente. Se han descrito cientos de capacidades emergentes. Algunos ejemplos son la aritmética de varios pasos, la realización de exámenes de nivel universitario, la identificación del significado de una palabra, el estímulo de la cadena de pensamiento,[3] la decodificación del Alfabeto Fonético Internacional, la decodificación de las letras de una palabra, la identificación de contenido ofensivo en párrafos de hinglish (una combinación de hindi e inglés) y la generación de un equivalente similar en inglés de proverbios en kiswahili.

Arquitectura y entrenamiento
Los grandes modelos lingüísticos han utilizado más comúnmente la arquitectura transformadora, que, desde 2018, se ha convertido en la técnica estándar de aprendizaje profundo para datos secuenciales (anteriormente, las arquitecturas recurrentes, como la LSTM, eran las más comunes). Los LLM se entrenan de forma no supervisada sobre texto no anotado. Se entrena un transformador de izquierda a derecha para maximizar la probabilidad asignada a la palabra siguiente en los datos de entrenamiento, dado el contexto anterior. Alternativamente, un LLM puede utilizar un transformador bidireccional (como en el ejemplo de BERT), que asigna una distribución de probabilidad sobre las palabras dado el acceso tanto al contexto anterior como al siguiente. Además de la tarea de predecir la siguiente palabra o "rellenar los espacios en blanco", los LLM pueden entrenarse en tareas auxiliares que pongan a prueba su comprensión de la distribución de los datos, como la Predicción de la siguiente frase (NSP), en la que se presentan pares de frases y el modelo debe predecir si aparecen una al lado de la otra en el corpus de entrenamiento.

Los primeros LLM se entrenaron con corpus del orden de miles de millones de palabras. El primer modelo de la serie GPT de OpenAI se entrenó en 2018 con BookCorpus, que consta de 985 millones de palabras. Ese mismo año, BERT se entrenó con una combinación de BookCorpus y Wikipedia en inglés, con un total de 3.300 millones de palabras. En los años transcurridos desde entonces, los corpus de entrenamiento para los LLM han aumentado en órdenes de magnitud, alcanzando hasta cientos de miles de millones o billones de tokens.

El entrenamiento de los LLM es costoso desde el punto de vista computacional. Un estudio de 2020 estimó en 1,6 millones de dólares el coste de entrenar un modelo de 1.500 millones de parámetros (1-2 órdenes de magnitud menor que el estado del arte en ese momento).

Un análisis de 2020 descubrió que la capacidad de los modelos neurales del lenguaje (medida por la pérdida de entrenamiento) aumentaba suavemente en una relación de ley de potencia con el número de parámetros, la cantidad de datos de entrenamiento y el cálculo utilizado para el entrenamiento[11][12] Estas relaciones se probaron en una amplia gama de valores (hasta siete órdenes de magnitud) y no se observó ninguna atenuación de la relación en el extremo más alto de la gama (incluso para tamaños de red de hasta billones de parámetros).

Aplicación a tareas posteriores
Entre 2018 y 2020, el método estándar para aprovechar un LLM para una tarea específica de procesamiento del lenguaje natural (PLN) consistía en afinar el modelo con un entrenamiento adicional específico de la tarea. Posteriormente se ha descubierto que los LLM más potentes, como el GPT-3, pueden resolver tareas sin entrenamiento adicional mediante técnicas de "indicación", en las que el problema que hay que resolver se presenta al modelo como una indicación textual, posiblemente con algunos ejemplos textuales de problemas similares y sus soluciones.

Ajuste fino
Artículo principal: Ajuste fino (aprendizaje automático)
El ajuste fino es la práctica de modificar un modelo lingüístico preentrenado existente entrenándolo (de forma supervisada) en una tarea específica (por ejemplo, análisis de sentimientos, reconocimiento de entidades con nombre o etiquetado de partes del discurso). Es una forma de aprendizaje por transferencia. Generalmente implica la introducción de un nuevo conjunto de pesos que conectan la capa final del modelo lingüístico con la salida de la tarea posterior. Los pesos originales del modelo lingüístico pueden "congelarse", de modo que durante el entrenamiento sólo se aprenda la nueva capa de pesos que los conecta con la salida. Alternativamente, los pesos originales pueden recibir pequeñas actualizaciones (posiblemente con las capas anteriores congeladas).

Preguntar
Ver también: Ingeniería de estímulos y Aprendizaje de pocos estímulos (procesamiento del lenguaje natural)
En el paradigma del prompting, popularizado por el GPT-3, el problema que hay que resolver se formula mediante un prompt de texto, que el modelo debe resolver proporcionando una terminación (mediante inferencia). En las "instrucciones de pocos disparos", la instrucción incluye un pequeño número de ejemplos de pares similares (problema, solución). Por ejemplo, una tarea de análisis de sentimientos consistente en etiquetar el sentimiento de la crítica de una película podría plantearse de la siguiente manera:

Crítica: Esta película apesta.
Sentimiento: negativo

Crítica: ¡Esta película es fantástica!
Sentimiento:

Si el modelo da como resultado "positivo", entonces ha resuelto correctamente la tarea. En la sugerencia de disparo cero, no se proporcionan ejemplos de resolución. Un ejemplo de pregunta sin respuesta para la misma tarea de análisis de sentimiento sería "El sentimiento asociado a la crítica de la película "¡Esta película es fantástica!" es".

Se ha demostrado que el rendimiento de los LLM de pocos disparos consigue resultados competitivos en tareas de PNL, a veces superando a los enfoques de ajuste del estado del arte anteriores. Ejemplos de estas tareas de PLN son la traducción, la respuesta a preguntas, las tareas cloze, el descifrado de palabras y el uso de una palabra nueva en una frase. La creación y optimización de estas instrucciones se denomina ingeniería de instrucciones.

Ajuste de instrucciones
La sintonización de instrucciones es una forma de ajuste fino diseñada para facilitar interacciones más naturales y precisas con avisos de disparo cero. Dado un texto de entrada, un modelo lingüístico preentrenado generará una terminación que coincida con la distribución del texto sobre el que fue entrenado. Un modelo de lenguaje ingenuo al que se le diera la instrucción "Escribe una redacción sobre los temas principales de Hamlet." podría proporcionar una terminación como "Se aplicará una penalización por retraso del 10% diario a los envíos recibidos después del 17 de marzo." En el ajuste de instrucciones, el modelo lingüístico se entrena con muchos ejemplos de tareas formuladas como instrucciones en lenguaje natural, junto con las respuestas adecuadas. En la práctica se han aplicado varias técnicas de ajuste de instrucciones. El protocolo InstructGPT de OpenAI implica un ajuste fino supervisado sobre un conjunto de datos de pares generados por humanos (instrucción, respuesta), seguido de un aprendizaje de refuerzo a partir de la retroalimentación humana (RLHF), en el que se aprendió una función de recompensa basada en un conjunto de datos de preferencias humanas. Otra técnica, la "autoinstrucción", afina el modelo lingüístico en un conjunto de ejemplos de entrenamiento generados a su vez por un LLM (bootstrapped a partir de un pequeño conjunto inicial de ejemplos generados por humanos).

https://en.wikipedia.org/wiki/Large_language_model
Alrededor de 2018.
Given these paragraphs about Large language models, when did LLMs emerge?
A large language model (LLM) is a language model consisting of a neural network with many parameters (typically billions of weights or more), trained on large quantities of unlabelled text using self-supervised learning. LLMs emerged around 2018 and perform well at a wide variety of tasks. This has shifted the focus of natural language processing research away from the previous paradigm of training specialized supervised models for specific tasks.

Properties
Though the term large language model has no formal definition, it often refers to deep learning models having a parameter count on the order of billions or more. LLMs are general purpose models which excel at a wide range of tasks, as opposed to being trained for one specific task (such as sentiment analysis, named entity recognition, or mathematical reasoning). The skill with which they accomplish tasks, and the range of tasks at which they are capable, seems to be a function of the amount of resources (data, parameter-size, computing power) devoted to them, in a way that is not dependent on additional breakthroughs in design.

Though trained on simple tasks along the lines of predicting the next word in a sentence, neural language models with sufficient training and parameter counts are found to capture much of the syntax and semantics of human language. In addition, large language models demonstrate considerable general knowledge about the world, and are able to "memorize" a great quantity of facts during training.

Hallucinations
Main article: Hallucination (artificial intelligence)
In artificial intelligence in general, and in large language models in particular, a "hallucination" is a confident response that does not seem to be justified by the model's training data.

Emergent abilities

On a number of natural language benchmarks involving tasks such as question answering, models perform no better than random chance until they reach a certain scale (in this case, measured by training computation), at which point their performance sharply increases. These are examples of emergent abilities.
Unpredictable abilities that have been observed in large language models but that were not present in simpler models (and that were not explicitly designed into the model) are usually called "emergent abilities". Researchers note that such abilities "cannot be predicted simply by extrapolating the performance of smaller models". These abilities are discovered rather than programmed-in or designed, in some cases only after the LLM has been publicly deployed. Hundreds of emergent abilities have been described. Examples include multi-step arithmetic, taking college-level exams, identifying the intended meaning of a word, chain-of-thought prompting,[3] decoding the International Phonetic Alphabet, unscrambling a word’s letters, identifying offensive content in paragraphs of Hinglish (a combination of Hindi and English), and generating a similar English equivalent of Kiswahili proverbs.

Architecture and training
Large language models have most commonly used the transformer architecture, which, since 2018, has become the standard deep learning technique for sequential data (previously, recurrent architectures such as the LSTM were most common). LLMs are trained in an unsupervised manner on unannotated text. A left-to-right transformer is trained to maximize the probability assigned to the next word in the training data, given the previous context. Alternatively, an LLM may use a bidirectional transformer (as in the example of BERT), which assigns a probability distribution over words given access to both preceding and following context. In addition to the task of predicting the next word or "filling in the blanks", LLMs may be trained on auxiliary tasks which test their understanding of the data distribution such as Next Sentence Prediction (NSP), in which pairs of sentences are presented and the model must predict whether they appear side-by-side in the training corpus.

The earliest LLMs were trained on corpora having on the order of billions of words. The first model in OpenAI's GPT series was trained in 2018 on BookCorpus, consisting of 985 million words. In the same year, BERT was trained on a combination of BookCorpus and English Wikipedia, totalling 3.3 billion words. In the years since then, training corpora for LLMs have increased by orders of magnitude, reaching up to hundreds of billions or trillions of tokens.

LLMs are computationally expensive to train. A 2020 study estimated the cost of training a 1.5 billion parameter model (1-2 orders of magnitude smaller than the state of the art at the time) at $1.6 million.

A 2020 analysis found that neural language models' capability (as measured by training loss) increased smoothly in a power law relationship with number of parameters, quantity of training data, and computation used for training.[11][12] These relationships were tested over a wide range of values (up to seven orders of magnitude) and no attenuation of the relationship was observed at the highest end of the range (including for network sizes up to trillions of parameters).

Application to downstream tasks
Between 2018 and 2020, the standard method for harnessing an LLM for a specific natural language processing (NLP) task was to fine tune the model with additional task-specific training. It has subsequently been found that more powerful LLMs such as GPT-3 can solve tasks without additional training via "prompting" techniques, in which the problem to be solved is presented to the model as a text prompt, possibly with some textual examples of similar problems and their solutions.

Fine-tuning
Main article: Fine-tuning (machine learning)
Fine-tuning is the practice of modifying an existing pretrained language model by training it (in a supervised fashion) on a specific task (e.g. sentiment analysis, named entity recognition, or part-of-speech tagging). It is a form of transfer learning. It generally involves the introduction of a new set of weights connecting the final layer of the language model to the output of the downstream task. The original weights of the language model may be "frozen", such that only the new layer of weights connecting them to the output are learned during training. Alternatively, the original weights may receive small updates (possibly with earlier layers frozen).

Prompting
See also: Prompt engineering and Few-shot learning (natural language processing)
In the prompting paradigm, popularized by GPT-3, the problem to be solved is formulated via a text prompt, which the model must solve by providing a completion (via inference). In "few-shot prompting", the prompt includes a small number of examples of similar (problem, solution) pairs. For example, a sentiment analysis task of labelling the sentiment of a movie review could be prompted as follows:

Review: This movie stinks.
Sentiment: negative

Review: This movie is fantastic!
Sentiment:

If the model outputs "positive", then it has correctly solved the task. In zero-shot prompting, no solve examples are provided. An example of a zero-shot prompt for the same sentiment analysis task would be "The sentiment associated with the movie review 'This movie is fantastic!' is".

Few-shot performance of LLMs has been shown to achieve competitive results on NLP tasks, sometimes surpassing prior state-of-the-art fine-tuning approaches. Examples of such NLP tasks are translation, question answering, cloze tasks, unscrambling words, and using a novel word in a sentence. The creation and optimisation of such prompts is called prompt engineering.

Instruction tuning
Instruction tuning is a form of fine-tuning designed to facilitate more natural and accurate zero-shot prompting interactions. Given a text input, a pretrained language model will generate a completion which matches the distribution of text on which it was trained. A naive language model given the prompt "Write an essay about the main themes of Hamlet." might provide a completion such as "A late penalty of 10% per day will be applied to submissions received after March 17." In instruction tuning, the language model is trained on many examples of tasks formulated as natural language instructions, along with appropriate responses. Various techniques for instruction tuning have been applied in practice. OpenAI's InstructGPT protocol involves supervised fine-tuning on a dataset of human-generated (prompt, response) pairs, followed by reinforcement learning from human feedback (RLHF), in which a reward function was learned based on a dataset of human preferences. Another technique, "self-instruct", fine-tunes the language model on a training set of examples which are themselves generated by an LLM (bootstrapped from a small initial set of human-generated examples).

https://en.wikipedia.org/wiki/Large_language_model
Around 2018.