大規模言語モデル
言語モデルの性能を表す最も一般的な指標は、所与のテキストコーパスにおける言語モデルのパープレキシティである。パープレキシティは、モデルがデータセットの内容をどれだけうまく予測できるかを示す尺度である。モデルがデータセットに割り当てる尤度(ゆうど)が高いほど、パープレキシティは低くなる。数学的には、パープレキシティは、トークンごとの平均負対数尤度の対数として定義される。
ここで、 N {\displaystyle N} はテキストコーパス内のトークン数であり、「context for token i {\displaystyle i} (トークン i {\displaystyle i} の文脈)」は使用するLLMの種類に依存する。たとえば、LLMが自己回帰型の場合、「context for token i {\displaystyle i} 」はトークン i {\displaystyle i} よりも前に現れたテキストの一部である。
言語モデルは訓練データに対して過剰適合する可能性があるため、モデルは通常、未知のデータから構成されるテストセットに対するパープレキシティによって評価される。このことは、大規模な言語モデルを評価する際に、特に重要な課題となる。言語モデルの訓練は、主にウェブから収集された、より大規模なテキストコーパスが使用されるため、モデルの訓練データに特定のテストセットの一部が誤って含まれてしまう可能性がますます高くなる。