本稿では、擬似的な選好データを用いた選好チューニングによって、対話応答生成におけるペルソナと生成応答の間の一貫性を向上させる手法を提案する。提案手法では、あるペルソナ情報付き対話データに対して、他の対話からランダムに抽出したペルソナ情報を用いて応答を生成し、これらの応答を擬似負例として扱う。参照応答を正例として扱うことで、擬似的な選好データを作成する。実験では、擬似選好データを用いて選好チューニングを行ったモデルが、通常の教師あり学習のみを用いたモデルや、ペルソナと発話間の含意関係に基づく報酬によって強化学習したモデルと比較して、より一貫性のある自然な応答を生成することを示す。

対話応答生成モデルにとって、ペルソナと一貫した応答を生成する能力は重要である[1]。既存研究[2,3]では、DialogueNaturalLanguageInference(Dialogue-NLI)データセット[2]のような、ペルソナ情報と発話間の含意関係をアノテートした言語資源を活用することで、ペルソナ一貫性の向上に取り組んでいる。このようなデータセットは、応答のリランキングや強化学習に基づくペルソナ一貫性向上を実現する。しかし、含意関係アノテーションには多大なコストを要するため、同様の言語資源が存在しない言語やドメインへの適用は困難である。本研究では、Dialogue-NLIなどの追加の外部資源に依存せずにペルソナ一貫性を向上させるための、擬似的な選好チューニング手法を提案する。選好チューニング（PreferenceTuning）とは、好ましい応答と好ましくない応答のペアからなる選好データを用いて、モデルがより好ましい応答を高い確率で生成するように訓練する枠組みである。提案手法では、ペルソナ対話データをシードとして擬似的な選好データを作成する。図1に示すように、ある対話擬似選好データペルソナIhaveacatIlikecamping…ペルソナIdon’thavepets.Mamphysician.…ペルソナIdon’thavepets.Iamphysician.…ペルソナMdon’thavepets.Iamphysician.…ペルソナIdon’thavepets.Iamphysician.…対話履歴U:Howareyou?A:Fine.U:Nice.Doyouhavepets?別の対話からペルソナをランダムに抽出参照応答Yes.Ihaveaverycutecat.SFTモデルペルソナ対話データで訓練済み👍正例𝑦!（別のペルソナでの）生成応答No.Ihavenopets👎擬似負例𝑦"に対し、他の対話からランダムに抽出したペルソナ情報に基づいて生成された応答を負例として扱うことで擬似的な選好データを構築する。参照応答は正例として使用する。実験では、選好チューニングの手法としてよく用いられるDirectPreferenceOptimization(DPO)[4]を複数の事前学習モデルに適用することで提案手法の有効性を調査した。実験結果を通じて、提案手法が従来の教師ありチューニング手法や、外部NLIデータに依存する強化学習手法に比してより高いペルソナ一貫性を達成することを明らかにした。また、提案手法によって訓練したモデルが、ペルソナの一貫性および自然さをより高く示す応答を生成することも確認した。本研究の成果は、対話システムにおけるペルソナ一貫性を向上させるための、スケーラブルかつ効果の高い解決策を提供する。