大規模言語モデル
↑ モデルのアーキテクチャを説明する文書が最初に公開された日。
↑ 多くの場合、研究者はサイズの異なる複数のモデルを公開または報告する。こうした場合、ここでは一番大きなモデルのサイズを記載している。
↑ これは、事前学習されたモデルウェイトのライセンスである。たいていの場合、訓練コード自体はオープンソースであるか、簡単に複製することができる。
↑ 66Bを含めた小規模モデルは一般に公開されており、175Bのモデルはリクエストに応じて入手可能である。
↑ 数学的な内容でフィルタリングされたウェブページおよびarXivプレプリントサーバーに投稿された論文からの385億トークン。
↑ Facebookのライセンスと配布スキームにより、モデルへのアクセスは承認された研究者にが制限されていたが、モデルウェイトが流出して広く利用されるようになった。
↑ テクニカルレポートに述べられているように『GPT-4のような大規模モデルの市場競争と安全性への影響の両方を考慮して、このレポートには、アーキテクチャ(モデルサイズを含む)、ハードウェア、訓練計算環境、データセット構築、トレーニング方法に関する詳細は含まれていない。』
↑ ブルームバーグのデータソースからの3,630億トークンと、汎用データセットからの3,450億トークンのデータセット
. . , V − 1 } {\displaystyle \{0,1,2,...,V-1\}} の範囲の整数に限って出力される。ここで、 V {\displaystyle V} は語彙(ごい)サイズと言う。
トークナイザには、任意のテキストを扱えるものと(一般にUnicodeで直接操作する)、そうでないものがある。トークナイザは、エンコード不可能なテキストに遭遇した場合、「未知テキスト(unknown text)」を意味する特別なトークン(多くは0)を出力する。BERT論文にならって、[UNK] と表記されることが多い。
もう一つの特別なトークンは、「パディング」を表す [PAD] (多くは1)である。これは、一度に大量のテキストがLLMに入力されたときに、エンコードされたテキストが同じ長さになるよう調節するのに使用される。LLMでは一般に、入力の長さが一定のシーケンス(ジャグ配列という)であることを要求するため、エンコードした短いテキストを長いテキストにそろえるのにパディングを行う。