대형 언어 모델
대형 언어 모델 목록

| 이름 | 출시일 | 개발 | 파라미터 수 | 코퍼스 크기 | 라이선스 |
| --- | --- | --- | --- | --- | --- |
| BERT | 2018년 | 구글 | 340 million | 3.3 billion words | Apache 2.0 |
| XLNet | 2019년 | Google | ~340 million | 33 billion words |  |
| GPT-2 | 2019년 | OpenAI | 1.5 billion | 40GB (~10 billion tokens) | MIT |
| GPT-3 | 2020년 | OpenAI | 175 billion | 300 billion tokens | 공개 웹 API |
| GPT-Neo | 2021년 3월 | EleutherAI | 2.7 billion | 825 GiB | MIT |
| GPT-J | 2021년 6월 | EleutherAI | 6 billion | 825 GiB | Apache 2.0 |
| Megatron-Turing NLG | 2021년 10월 | 마이크로소프트 and Nvidia | 530 billion | 338.6 billion tokens | 제한된 웹 접근 |
| Ernie 3.0 Titan | 2021년 12월 | Baidu | 260 billion | 4 Tb | 사유(Proprietary) |
| Claude | 2021년 12월 | Anthropic | 52 billion | 400 billion tokens | 클로즈드 베타 |
| GLaM (Generalist Language Model) | 2021년 12월 | Google | 1.2 trillion | 1.6 trillion tokens | 사유(Proprietary) |
| Gopher | 2021년 12월 | DeepMind | 280 billion | 300 billion tokens | 사유(Proprietary) |
| LaMDA (Language Models for Dialog Applications) | 2022년 1월 | Google | 137 billion | 1.56T words, 168 billion tokens | 사유(Proprietary) |
| GPT-NeoX | 2022년 2월 | EleutherAI | 20 billion | 825 GiB | Apache 2.0 |
| Chinchilla | 2022년 3월 | DeepMind | 70 billion | 1.4 trillion tokens | 사유(Proprietary) |
| PaLM (Pathways Language Model) | 2022년 4월 | Google | 540 billion | 768 billion tokens | 사유(Proprietary) |
| OPT (Open Pretrained Transformer) | 2022년 5월 | Meta | 175 billion | 180 billion tokens | 비상업적 연구 |
| YaLM 100B | 2022년 6월 | Yandex | 100 billion | 1.7TB | Apache 2.0 |
| Minerva | 2022년 6월 | Google | 540 billion | 38.5B tokens from webpages filtered for mathematical content and from papers submitted to the arXiv preprint server | 사유(Proprietary) |
| BLOOM | 2022년 7월 | Large collaboration led by Hugging Face | 175 billion | 350 billion tokens (1.6TB) | Responsible AI |
| Galactica | 2022년 11월 | Meta | 120 billion | 106 billion tokens | CC-BY-NC-4.0 |
| AlexaTM (Teacher Models) | 2022년 11월 | Amazon | 20 billion | 1.3 trillion | 공개 웹 API |
| LLaMA (Large Language Model Meta AI) | 2023년 2월 | Meta | 65 billion | 1.4 trillion | 비상업적 연구 |
| GPT-4 | 2023년 3월 | OpenAI | 정확한 수치 알 수 없음. 대략 1 trillion  | 알 수 없음 | 공개 웹 API |
| Cerebras-GPT | 2023년 3월 | Cerebras | 13 billion |  | Apache 2.0 |
| Falcon | 2023년 3월 | Technology Innovation Institute | 40 billion | 1 Trillion tokens (1TB) | 사유(Proprietary) |
| BloombergGPT | 2023년 3월 | Bloomberg L.P. | 50 billion | 363 billion token dataset based on Bloomberg's data sources, plus 345 billion tokens from general purpose datasets | 사유(Proprietary) |
| PanGu-Σ | 2023년 3월 | Huawei | 1.085 trillion | 329 billion tokens | 사유(Proprietary) |
| OpenAssistant | 2023년 3월 | LAION | 17 billion | 1.5 trillion tokens | Apache 2.0 |
| PaLM 2 (Pathways Language Model 2) | 2023년 5월 | Google | 340 billion | 3.6 trillion tokens | 사유(Proprietary) |
↑  This is the date that documentation describing the model's architecture was first released.
↑  In many cases, researchers release or report on multiple versions of a model having different sizes. In these cases, the size of the largest model is listed here.
↑  This is the license of the pre-trained model weights. In almost all cases the training code itself is open-source or can be easily replicated.
↑  The smaller models including 66B are publicly available, while the 175B model is available on request.
↑  Facebook's license and distribution scheme restricted access to approved researchers, but the model weights were leaked and became widely available.
↑  As stated in Technical report: "Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method ..." Approximate number in the comparison chart that compares the relative storage, from the same report.