大規模言語モデル
大規模言語モデル(LLM)は通常、さまざまな分野や言語にわたる大量のテキストデータで事前訓練が行われる。著名な事前訓練データとしては、Common Crawl、The Pile(英語版)、MassiveText、Wikipedia、GitHubなどが知られている。大半のオープンソースのLLMは一般公開されているデータを利用しているが、非公開のデータで事前訓練が行われることもある。事前訓練データは、重複排除、毒性が高いシーケンスの除外、低品質データの破棄など、生テキストをさまざまな手順で前処理して作成される。言語データの蓄積は年率7%で増加しており、2022年10月現在、高品質な言語データは4兆6,000億語から17兆語の範囲内にあると推定されている。LLMでは事前訓練データを広範に使用するため、事前訓練データに評価データが混入すると、ベンチマーク評価時のモデル性能に影響を与えるデータ汚染が起こる。
通常、LLMは特定の損失関数、つまりトークンごとの平均負対数尤度(クロスエントロピー損失とも呼ばれる)を最小化するように訓練する。たとえば、自己回帰モデルで「食べるのが好き」が与えられ、確率分布 P r ( ⋅ | I like to eat ) {\displaystyle Pr(\cdot |{\text{I like to eat}})} を予測する場合、このトークンに対する負対数尤度損失は − log  P r ( ice | I like to eat ) {\displaystyle -\log Pr({\text{ice}}|{\text{I like to eat}})} となる。
訓練のとき、訓練を安定させるために正則化損失も使用される。ただし、正則化損失は通常、テストや評価の際には使用されない。また、負対数尤度だけでなく、他にも多くの評価項目がある。詳細については以下の節を参照のこと。