Paddingvs.Packing:大規模言語モデルのファインチューニングにおける学習効果の検証

大規模言語モデル(LLM)は，事前学習によって，大規模なテキストコーパスから言語に関する知識や常識的な知識を獲得する[1,2]．さらに事前学習済みLLMに対して，入力文（指示文）と回答文のペアデータでファインチューニングすることにより，自然言語で記述された指示文に従って回答を生成する能力（指示追従能力）を獲得する[3]．これにより，LLMは指示追従能力が向上し，多様な自然言語処理タスクに対して高い汎化性能を示す．一般的に『ファインチューニング』時の入力系列の作成には，Padding戦略が広く採用される．Padding戦略は実装が容易である一方で，1サンプル分のトークン以外を最大系列長まで全て[PAD]トークンで埋めるため，計算上無駄な[PAD]トークンが多く含まれてしまい，メモリ効率や計算効率が最適ではない[4]．一方で，『事前学習』時には複数のサ(1)Padding戦略[EOS][PAD]……[PAD]サンプル!!!!=100.0サンプル!"[EOS][PAD][PAD]……(2)Packing戦略80.0サンプル!"[EOS][PAD]…[PAD]!!=サンプル!![EOS]60.059.4159.56・Packing戦略はPadding戦略と比較して学習効率が高い40.020.0・同程度の性能を示したPaddingPacking0.07WildChatを用いてファインチューニングしたLLMの最終チェックポイントにおける，7つの英語理解・生成評価データセットの正解率平均スコア．7スコア正解率平均の誤差は約0.15ポイントであり，Padding戦略とPacking戦略の両者間において，顕著な差はほとんど見られない．ンプルを連結し，最大系列長を超えない範囲で入力系列を作成するPacking戦略1）が広く用いられてきた[1,5]．Packing戦略では，複数のサンプルを1つの入力系列にまとめるので，Padding戦略と比較して，使用する[PAD]トークン数が減少し，学習効率が向上することが期待される．このPacking戦略は，事前学習段階において，性能や計算効率における優れた効果が実証されている[6,1,5]一方で，ファインチューニング段階においてどのような学習効果が得られるのか完全には明らかになっていない．本研究では，ファインチューニングにおけるPacking戦略の導入がLLMの性能に及ぼす影響を，下流タスクの定量評価および定性評価から明らかにすることを目的とする．具体的には，Padding戦略とPacking戦略の学習効果の同一性を厳密に比較調査するため，1ステップあたりの損失計算対象となるトークン数を揃えた上で，Padding戦略とPacking戦略を用いてファインチューニングした100学習ステップごとのチェックポイントを7つの英語理解・生成評価タスクで評価する．その結果，Padding戦.■単一ターン(𝒎=𝟏)の場合𝒄𝟑𝒄𝟐指示文𝒙𝟏回答文𝒚𝟏サンプル𝒄=𝒄𝟏追加学習用データセット𝑪■複数ターン(𝒎≥𝟐)の場合今回の場合、WildChatが該当サンプル𝒄=サンプル𝒄𝟏𝑩𝟏=(1)Padding戦略(2)Packing戦略サンプル𝒄𝟏[EOS]略とPacking戦略が特定の学習データの下では，ほとんど同等の学習効果を持つことを示す（図1）．