対照的デコーディングを用いた指示学習データの合成

大規模言語モデル（LLM）によって指示学習データの応答文を合成する試みは，人手に頼らず低コストに大量のデータを合成できる点で有望である．既存手法の多くは高性能な指示学習済みモデルの応答文をそのまま学習データに利用している．ところが，生成される応答文には事前学習などによって獲得された特徴が反映されている可能性があり，指示学習の目的に最適化されているとは限らない．本研究では，指示学習前後のモデルを用いた対照的デコーディングによって，指示学習に有用な応答文を生成する手法CoDITを提案する．複数のベンチマーク・モデルを用いた実験の結果，CoDITは既存研究よりも高い性能改善を達成した．