大規模言語モデルを人間の意図に合わせるアライメントのためには、事後学習としてのSupervisedFine-tuning(SFT)が不可欠である。しかしながら、ベースモデルの種類や学習データの特性が下流タスクの性能に与える影響について、広範な検証はほとんど行われていない。そこで本研究では、複数の大規模言語モデルと多様な学習データを用いて全245種類のSFTモデルを訓練する。それらのモデルをさまざまな下流タスクで包括的に評価することで、先行研究で提案されてきた知見や定説を実証的に検証する。また、作成したすべてのファインチューニング済みモデルを公開予定である。

大規模言語モデルを人間の意図に合わせるアライメントの実現において、SFTなどの事後学習手法は重要な役割を果たす。しかしながら、どのようなモデルをどのようなデータで学習すると最適な性能が得られるのかについては、依然として包括的な理解が十分ではない。特に、パラメータ数が7Bを超えるような大規模モデルを対象に、モデル・データ・下流タスクの関係を体系的に検証した例はほとんど存在しない。本研究は、多数の大規模言語モデルと多様な学習データの組み合わせによる学習を実施し、幅広い下流タスクでその性能を評価する。具体的には、次のような研究課題を設定し、全245のSFTモデルを用いて各観点から横断的な検証を行う（図1）。∗共同第一著者†共同責任著者まず、多様なデータを用いてSFTを実施した際の下流タスク性能の違いを検証する。近年の研究では、特定の種類のデータセットを混ぜることで異なる下流タスクの性能が向上する可能性が示唆されている[1,2,3,4]が、これらの効果を実際に横断的に評価する。さらに、学習データのサンプルサイズが性能に与える影響を評価する。SFTでは少数サンプルであっても、データの質によっては十分な有効性を示すとする報告[5,6]と、大規模なデータほど効果が顕著だとする報告[7,8]が混在するため、どのような条件で最適化されるのかを検討するために、複数のサンプルサイズでデータセットを用いた実験を行った。その他にも、先行研究では、SFTをLoRA(Low-RankAdaptation)[9]とフルパラメータで学習した場合の下流タスク性能がどのように異なり、それぞれの手法にどのような利点があるのか議論されている[10,11,12,13,14,15]が、網羅的な比較は限られている。本研究では、これらについても予備的な検討を行う。これらの検証を通じて、大規模言語モデルの事後学習に関する具体的な知見を提示する。作成したすべてのファインチューニング済みモデルは公開予定であり、コミュニティにおけるさらなる検証や応用を促進する。