Paddingvs.Packing:大規模言語モデルのファインチューニングにおける学習効果の検証

大規模言語モデル(LLM)のファインチューニングにおける入力系列の作成時には，1つのサンプルに[PAD]トークンを最大系列長まで連結するPadding戦略が広く採用される．しかしファインチューニング時には，最大系列長に収まるように複数サンプルを連結し入力系列を作成するPacking戦略を採用する選択肢も考えられる．このPacking戦略は，複数のサンプルを連結して入力するので，Padding戦略と比較して学習効率が高い利点がある．しかし，Packing戦略が，Padding戦略を採用した時と同様の学習効果が得られるかどうかは明らかになっていない．本研究では，LLMのファインチューニング段階における，Packing戦略の学習効果を検証し，特定の学習データに対しては，Padding戦略で学習した場合と同等の学習効果が得られることを示す．