大規模言語モデル
大規模言語モデルの一覧

| 名称 | 公開日 | 開発者 | パラメータ数 | コーパスサイズ | ライセンス | 注記 |
| --- | --- | --- | --- | --- | --- | --- |
| BERT | 000000002018-01-01-00002018年 | Google | 340000000 3.4億 | 3300000000 33億語 | Apache 2.0 | 初期の影響力のある言語モデルだが、エンコーダのみで、プロンプトや生成的モデルを想定していない |
| XLNet | 000000002019-01-01-00002019年 | Google | 340000000 ~340 million | 3300000000 33 billion words |  | An alternative to BERT; designed as encoder-only |
| GPT-2 | 000000002019-01-01-00002019年 | OpenAI | 1500000000 15億 | 40GB (~10000000000 100億トークン)  | MIT | Transformerアーキテクチャに基づく汎用モデル |
| GPT-3 | 000000002020-01-01-00002020年 | OpenAI | 175000000000 1,750億 | 499000000000 4,990億トークン | public web API | GPT-3のファインチューニング版はGPT-3.5と呼ばれ、2022年にChatGPTというWebインターフェースを通じて一般公開された。 |
| GPT-Neo | 000000002021-03-01-00002021年3月 | EleutherAI（英語版） | 2700000000 27億 | 825 GiB | MIT | EleutherAIがリリースした無料のGPT-3代替シリーズのうち最初のもの。GPT-Neoは、いくつかのベンチマークで同サイズのGPT-3モデルよりも優れていたが、最大のGPT-3よりは大幅に劣っていた。 |
| GPT-J（英語版） | 000000002021-06-01-00002021年6月 | EleutherAI | 6000000000 60億 | 825 GiB | Apache 2.0 | GPT-3方式の言語モデル |
| Megatron-Turing NLG | 000000002021-10-01-00002021年10月 | Microsoft and Nvidia | 530000000000 5,300億 | 338600000000 3,386億トークン | Restricted web access | 標準的なアーキテクチャだが、スーパーコンピューティング・クラスターで訓練された |
| Ernie 3.0 Titan | 000000002021-12-01-00002021年12月 | Baidu | 260000000000 2,600億 | 4 Tb | プロプライエタリ | 中国語版LLM。Ernie Botはこのモデルに基づく。 |
| Claude | 000000002021-12-01-00002021年12月 | Anthropic | 52000000000 520億 | 400000000000 4,000億トークン | Closed beta | 会話で望ましい動作をするようにファインチューニングされた |
| GLaM (Generalist Language Model) | 000000002021-12-01-00002021年12月 | Google | 1200000000000 1.2兆 | 1600000000000 1.6兆トークン  | プロプライエタリ | GPT-3と比較して、訓練費用は高いが、推論費用は安い、スパース混合エキスパートモデル |
| Gopher | 000000002021-12-01-00002021年12月 | DeepMind | 280000000000 2,800億 | 300000000000 3,000億トークン | プロプライエタリ |  |
| LaMDA (Language Models for Dialog Applications) | 000000002022-01-01-00002022年1月 | Google | 137000000000 1,370億 | 1.56T語, 168000000000 1,680億トークン | プロプライエタリ | 会話での応答生成に特化し、Google Bardチャットボットで使用されている |
| GPT-NeoX | 000000002022-02-01-00002022年2月 | EleutherAI | 20000000000 200億 | 825 GiB | Apache 2.0 | Megatronアーキテクチャに基づく |
| Chinchilla（英語版） | 000000002022-03-01-00002022年3月 | DeepMind | 70000000000 700億 | 1400000000000 1.4兆 トークン  | プロプライエタリ | より多くのデータで訓練されたパラメータ削減モデル。Sparrowボットで使用された。 |
| PaLM (Pathways Language Model) | 000000002022-04-01-00002022年4月 | Google | 540000000000 5,400億 | 768000000000 7,680億トークン | プロプライエタリ | モデルスケールの実用的な限界に到達することを目指した |
| OPT (Open Pretrained Transformer) | 000000002022-05-01-00002022年5月 | Meta | 175000000000 1,750億 | 180000000000 1,800億トークン | Non-commercial research | GPT-3アーキテクチャにMegatronから改作を加えたもの |
| YaLM 100B | 000000002022-06-01-00002022年6月 | Yandex | 100000000000 1,000億 | 1.7TB | Apache 2.0 | MicrosoftのMegatron-LMに基づく英露モデル |
| Minerva | 000000002022-06-01-00002022年6月 | Google | 540000000000 5,400億 | 385億トークン | プロプライエタリ | 数学的および科学的な問題を段階的な推論によって解くために訓練されたLLMである。Minervaは、PaLMモデルに基にさらに数学的および科学的データで訓練されている。 |
| BLOOM（英語版） | 000000002022-07-01-00002022年7月 | Large collaboration led by Hugging Face | 175000000000 1,750億 | 350000000000 3,500億トークン (1.6TB) | Responsible AI | 基本的にはGPT-3だが、多言語コーパスでトレーニングされている（プログラミング言語を除いて、30%は英語）。 |
| Galactica | 000000002022-11-01-00002022年11月 | Meta | 120000000000 1,200億 | 350000000000 1,060億トークン | CC-BY-NC-4.0 | 科学的なテキストや方法の訓練を受けている |
| AlexaTM (Teacher Models) | 000000002022-11-01-00002022年11月 | Amazon | 20000000000 200億 | 1300000000000 1.3兆 | public web API | 双方向のシーケンスからシーケンスへのアーキテクチャ |
| LLaMA (Large Language Model Meta AI) | 000000002023-02-01-00002023年2月 | Meta | 65000000000 650億 | 1400000000000 1.4兆 | Non-commercial research | 20言語の大規模コーパスで訓練し、より少ないパラメータでの性能向上を目指す。スタンフォード大学の研究者は、Alpacaと呼ばれるLLaMAの重みに基づいて微調整されたモデルを訓練した。 |
| GPT-4 | 000000002023-03-01-00002023年3月 | OpenAI | 非公開 | 非公開 | public web API | ChatGPT Plusユーザが利用でき、いくつかの製品で使用されている |
| Cerebras-GPT | 000000002023-03-01-00002023年3月 | Cerebras | 13000000000 130億 |  | Apache 2.0 | Chinchilla方式で訓練された |
| Falcon | 000000002023-03-01-00002023年3月 | Technology Innovation Institute | 180000000000 1800億 | 3500000000000 3.5兆トークン | Falcon 180B TII License (Apache 2.0ベース) | モデルはGPT-3の75%、Chinchillaの40%、PaLM-62Bの80%の訓練計算量で済むとされる |
| BloombergGPT | 000000002023-03-01-00002023年3月 | Bloomberg L.P. | 50000000000 500億 | 3,630億トークン | プロプライエタリ | 独自ソースによる財務データで訓練され、「一般的なLLMベンチマークでの性能を犠牲にすることなく、財務タスクで既存モデルを大幅に上回る」とされる |
| PanGu-Σ | 000000002023-03-01-00002023年3月 | Huawei | 1085000000000 1.085兆 | 3,290億トークン | プロプライエタリ |  |
| OpenAssistant | 000000002023-03-01-00002023年3月 | LAION | 17000000000 17 billion | 1.5 trillion tokens | Apache 2.0 | Trained on crowdsourced open data |
| PaLM 2 (Pathways Language Model 2) | 000000002023-05-01-00002023年5月 | Google | 340000000000 340 billion | 3600000000000 3.6 trillion tokens | Proprietary | Used in Bard chatbot. |
| RedPajama | 000000002023-05-01-00002023年5月 | Together Computer他 | 7000000000 7 billion | 1200000000000 1.2兆 | Apache 2.0 | LLaMAベース |
| MPT | 000000002023-05-01-00002023年5月 | MosaicML Foundation | 7000000000 7 billion | 1000000000000 1兆 | Apache 2.0 |  |
| Mistral | 000000002023-09-01-00002023年9月 | Mistral AI | 7000000000 7 billion | ? | Apache 2.0 |  |
| AXLearn | 2023年7月 | Apple | 3000000000 3 billion |  | Apache 2.0 | Apple IntelligenceのオンデバイスモデルでもPrivate Cloud Computeでも利用 |
| Fugaku-LLM | 2024年5月 | 東京工業大学、東北大学、富士通、理化学研究所、他 | 13000000000 3 billion | 4,000億トークン | Apache 2.0, MIT | 富岳用として研究開発 |