# Liste de grands modèles de langage

Un grand modèle de langage est un type de modèle d'apprentissage automatique conçu pour les tâches de traitement automatique des langues telles que la génération de langage. Les grands modèles de langage sont des modèles de langage ayant de nombreux paramètres, et sont entraînés par apprentissage auto-supervisé sur une grande quantité de texte.
Cette page liste certains des grands modèles de langage les plus connus.
Liste des grands modèles de langage :
| Nom | Date de sortie | Créé par | Taille | Taille des données | Licence | Notes |
| BERT | 2018 | Google | 340 millions | 3,3 milliards de mots | Apache 2.0 | Un modèle linguistique précoce et influent, mais uniquement codant et donc non conçu pour être guidé ou génératif. |
| XLNet | 2019 | Google | ~340 millions | 33 milliards de mots | | Une alternative au BERT ; conçu comme un encodeur uniquement$^,$ |
| GPT-2 | 2019 | OpenAI | 1,5 milliard | 40GB (~10 milliards jetons) | MIT | modèle polyvalent basé sur l'architecture transformeurs |
| GPT-3 | 2020 | OpenAI | 175 milliards | 499 milliards de jetons | public web API | Une variante affinée de GPT-3, appelée GPT-3.5, a été mise à la disposition du public par le biais d'une interface web appelée ChatGPT en 2022. |
| GPT-Neo | mars 2021 | EleutherAI | 2,7 milliards | 825 GiB | MIT | Le premier d'une série d'alternatives GPT-3 gratuites publiées par EleutherAI. GPT-Neo a surpassé un modèle GPT-3 de taille équivalente sur certains bancs d'essai, mais s'est avéré nettement moins performant que le plus grand GPT-3. |
| GPT-J | juin 2021 | EleutherAI | 6 milliards | 825 GiB | Apache 2.0 | Modèle linguistique de type GPT-3 |
| Megatron-Turing NLG | oct. 2021 | Microsoft et Nvidia | 530 milliards | 338,6 milliards de jetons | Restricted web access | Architecture standard mais entraînée sur une grappe de supercalculateurs. |
| Ernie 3.0 Titan | déc. 2021 | Baidu | 260 milliards | 4 Tb | Propriétaire | LLM en langue chinoise. Ernie Bot est basé sur ce modèle. |
| Claude | déc. 2021 | Anthropic | 52 milliards | 400 milliards de jetons | Closed beta | Ajusté pour un comportement souhaitable dans les conversations. |
| Claude 3 Opus | Mars 2024 | Anthropic | 137 milliards | | Propriétaire | Modèle puissant pour les tâches complexes |
| GLaM | déc. 2021 | Google | 1,2 trillion | 1,6 trillion de jetons | Propriétaire | Modèle de mélange d'experts peu dense, ce qui rend l'entraînement plus coûteuse mais l'inférence moins coûteuse que pour le modèle GPT-3. |
| Gopher | déc. 2021 | DeepMind | 280 milliards | 300 milliards de jetons | Propriétaire | |
| LaMDA | janv. 2022 | Google | 137 milliards | 1.56T mots, 168 milliards de jetons | Propriétaire | Spécialisé dans la génération de réponses dans les conversations. Utilisé dans le chatbot Google Bard. |
| GPT-NeoX | fév. 2022 | EleutherAI | 20 milliards | 825 GiB | Apache 2.0 | basé sur l'architecture Megatron |
| Chinchilla | mars 2022 | DeepMind | 70 milliards | 1,4 trillion de jetons | Propriétaire | Modèle à paramètres réduits entraîné sur un plus grand nombre de données. Utilisé dans le robot Sparrow. |
| PaLM | avr. 2022 | Google | 540 milliards | 768 milliards jetons | Propriétaire | visant à atteindre les limites pratiques de la maquette |
| OPT | mai 2022 | Meta | 175 milliards | 180 milliards jetons | Non-commercial research. | Architecture GPT-3 avec quelques adaptations de Megatron |
| YaLM 100B | juin 2022 | Yandex | 100 milliards | 1.7TB | Apache 2.0 | Modèle anglais-russe basé sur Megatron-LM de Microsoft. |
| Minerva | juin 2022 | Google | 540 milliards | 38.5B jetons | Propriétaire | LLM entraîné à la résolution de "questions mathématiques et scientifiques en utilisant un raisonnement étape par étape". Minerva est basé sur le modèle PaLM, entraîné sur des données mathématiques et scientifiques. |
| BLOOM | juill. 2022 | Programme scientifique dirigé par Hugging Face | 175 milliards | 350 milliards de jetons (1.6TB) | Responsible AI | Essentiellement GPT-3 mais entraîné sur un corpus multilingue (30 % d'anglais à l'exclusion des langages de programmation). |
| Galactica | nov. 2022 | Meta | 120 milliards | 106 milliards de jetons | CC-BY-NC-4.0 | Entrainement sur les textes et modalités scientifiques. |
| AlexaTM | nov. 2022 | Amazon | 20 milliards | 1,3 trillion | public web API | architecture bidirectionnelle séquence-séquence |
| Neuro-sama | déc. 2022 | Indépendant | Inconnu | | Propriété privée | Un modèle de langage conçu pour la diffusion en direct sur Twitch et utilisant un avatar humanoïde. Créé et géré par le développeur Vedal |
| LLaMA | fév. 2023 | Meta | 65 milliards | 1,4 trillion | Non-commercial research | Entraîné sur un grand corpus de 20 langues afin d'obtenir de meilleures performances avec moins de paramètres. Des chercheurs de l'université de Stanford ont entraîné un modèle affiné basé sur les poids LLaMA, appelé Alpaca. |
| GPT-4 | mars 2023 | OpenAI | nombre exact tenu secret, 1 trillion supputé | | public web API | Disponible pour les utilisateurs de ChatGPT Plus et utilisé dans plusieurs produits. |
| Cerebras-GPT | mars 2023 | Cerebras | 13 milliards | | Apache 2.0 | Entraîné avec la formule Chinchilla. |
| Falcon | mars 2023 | Technology Innovation Institute | 40 milliards | 1 trillion de jetons (1TB) | Propriétaire | Le modèle n'utiliserait que 75 % du calcul d'entraînement de GPT-3, 40 % de celui de Chinchilla et 80 % de celui de PaLM-62B. |
| BloombergGPT | mars 2023 | Bloomberg L.P. | 50 milliards | 363 milliards de jetons | Propriétaire | LLM entraîné sur des données financières provenant de sources propriétaires, qui "surpasse les modèles existants sur les tâches financières par des marges significatives sans sacrifier la performance sur les repères LLM généraux". |
| PanGu-Σ | mars 2023 | Huawei | 1,085 trillion | 329 milliards de jetons | Propriétaire | |
| OpenAssistant | mars 2023 | LAION | 17 milliards | 1.5 trillion de jetons | Apache 2.0 | Entrainement sur les données ouvertes issues d'une production participative |
| Lyra-fr | 12 avr. 2022 | LightOn | 10 milliards | 150 milliards de jetons | public web API | LLM entrainé a partir de données majoritairement françaises. |
| Orion-fr-v2 | 10 sept. 2021 | LightOn | 1,5 milliard | 150 milliards de jetons | public web API | LLM entrainé a partir de données majoritairement françaises. |
| Orion-fr-v1/PAGnol | 4 mai 2021 | LightOn | 1,5 milliard | 150 millions de jetons | public web API | LLM entrainé a partir de données majoritairement françaises. |