山崎伊織
大規模言語モデル
特性.
事前訓練データセット.
スケーリング則.
統計パラメータは次のとおりである。
創発的能力.
歴史.
先駆者.
大規模言語モデルの基本的な考え方は、単純で反復的なアーキテクチャを持つランダムな重みを持つニューラルネットワークを出発点とし、大規模な言語コーパスで訓練することである。
アーキテクチャ.
トークン化.
出力.
ソフトマックス関数は数学的に定義されており、変化するパラメータを持たないことに注意を要する。したがっては訓練は行われない。
コンテキストウィンドウ.
エンコーダーとデコーダーの用語.
ここでの「自己回帰」とは、「マスク化アテンション」節で説明したように、あるトークンからそれに続くすべてのトークンへのアテンションをゼロにするために、アテンションヘッドにマスクが挿入されることを意味する。
訓練.
訓練のとき、訓練を安定させるために正則化損失も使用される。ただし、正則化損失は通常、テストや評価の際には使用されない。また、負対数尤度だけでなく、他にも多くの評価項目がある。詳細については以下の節を参照のこと。
訓練用データセットの大きさ.
訓練費用.
下流タスクへの適用.
ファインチューニング.
ファインチューニング（、微調整）とは、事前訓練された既存の言語モデルを、特定のタスク（例: 感情分析、固有表現識別、）で（教師ありの）訓練を行うことによって修正する手法である。これは転移学習の一種である。一般的には、言語モデルの最終層と下流タスク（）の出力とを接続する新しい重みのセットを導入することになる。言語モデルの元の重みは「凍結」したまま、それらを出力に接続する新しい重み層のみが訓練中に調節されるように構成する。また、元の重みをわずかずつ更新させたり、あるいは以前の凍結された層と一緒に更新されることもある。
プロンプト.
インストラクション・チューニング.
強化学習によるファインチューニング.
ツールの使用.
エージェント.
圧縮.
量子化モデルは通常は凍結され、量子化前のモデルだけがファインチューニングされるが、量子化モデルも引き続きファインチューニングが可能である。
評価.
タスク固有のデータセットとベンチマーク.