品質と網羅性に基づくデータ選択による言語モデルの効率的学習

近年，大規模言語モデル（LLM）は多様なタスクで高性能を示し[1]，実応用に向けた研究開発が進展している．実用化には事前学習後の教師あり微調整（SupervisedFine-Tuning;SFT）[2]が重要である一方，SFTデータの規模[3]は拡大しており，計算資源と学習コストが課題となる．さらに，データ量の増加が常に性能向上に直結するとは限らず，少量でも設計の良い事例が推論能力を大きく引き上げ得ること[4]や，ノイズの種類により学習効率や性能への影響が変わること[5]も報告されている．このため，限られた学習予算の下で性能を引き出すデータ選択が重要となる．SFTデータは人手作成や品質管理が施される場合が多く，Web由来データに比べればノイズは抑えられているが，「有効な訓練事例」を単一指標で安定に同定することは容易ではない．評価軸が限定的だと，良質な事例を拾えても，ドメインや難易度など別側面の偏りが残り，サブセット全体の性能に影響し得る．本稿では，SFTデータ選択を（i）訓練事例の学習価値，（ii）選択後集合の網羅性の二観点から捉える．学習価値は，学習前後のモデルにおける各事例の損失（cross-entropy，CE）の変化により近似する．また，学習価値が高い事例でも互いに類似していれば冗長となり，限られたデータ量での学習効率を損なう可能性がある．以上を踏まえ，CE変化に基づくランキングと，埋め込み表現の類似度に基づく冗長性除去を組み合わせた選択手法を検討する．加えて，SFTデータの構造に着目し，類似度推定に用いるテキスト範囲や埋め込み構成が結果に与える影響も分析する．