対照的デコーディングを用いた指示学習データの合成

ユーザの指示に適切に応答させるために，事前学習済みモデルを指示文と応答文のペアで追加学習する指示学習が広く用いられている[1]．指示学習データを人手で構築することはコストと時間がかかるため，大規模化しにくいという欠点がある[2]．そこで，高性能な指示学習済みLLMを教師モデルとして用い，あらかじめ用意した指示文に対する応答文を生成することで，大量の高品質データを高速に合成するアプローチが登場している[3,4,5,6]．指示学習データを合成する既存手法は，教師モデルの応答を学習データとしてそのまま用いるが，これは指示学習の目的と整合しない可能性がある．先行研究において，指示学習は事前学習で獲得した知識を指示に応じて適切に引き出すことを学ぶ段階であると言われている[7,8,9]．しかし，事前学習で獲得された知識はモデルごとに異なる．教師モデルの応答は事前学習で獲得した知識を色濃く反映するため，応答をそのまま指示学習データとして採用すると，教師とは異なる生徒モデルの指示学習に向かない可能性がある．本研究では，学習効果の高い指示学習データを合成する手法CoDIT(ContrastiveDecodingforInstruction-TuningDataset)を提案する．CoDITの概要を図1に示す．CoDITでは，指示学習前後のモデルが出力するトークンの対数確率の差を用いる対照的デコーディング[10]で文生成（合成）を行う．これにより，モデルが事前学習で獲得した能力と，指示学習で追加的に獲得した能力を分離し，後者を強調する形で応答文を合成することを狙う．結果として，指示学習で獲得すべき能力を反映したデータを効果的に抽出でき，指示学習効果が高いデータセットを構築できると期待できる．実験では，複数のオープン・ウェイトモデルを教師として提案手法でデータセットを構築し，その学習効果を分析する．その結果，モデルの規模やアーキテクチャに依らず，単に指示学習済みモデルの応答文を用いる手法よりも，提案手法は異なる生徒モデルの指示学習後の性能を一貫して向上させることが分かった．さらに，先行研究で合成された指示学習データセットと比較した場合においても，本研究のデータセットを用いた方が複数のベンチマークで一貫して高い性能を示した．その高い指示学習効果が確認されたため，今後のモデル開発に資する有用な資源として利用できるよう，構築したデータセットを公開した1）．