疑似対話データとPreferenceデータを用いたドメイン特化対話への日本語LLMチューニングの検証

本研究は、日本語で学習された大規模言語モデル（LLM）を観光対話システムに適応させるため、効率的なデータ作成とチューニング手法を検証することを目的とする。疑似対話データを用いたSupervisedFine-Tuning（SFT）および少量のPreferenceデータを用いたチューニングを実施し、観光案内タスクにおける対話の自然性、一貫性、満足度、信頼性への寄与を評価した。実験では、汎用指示チューニングのみのモデル、SFTモデル、Preferenceモデルを比較した結果、SFTモデルは対話の自然性と満足度を大幅に向上させる効果が確認された。一方、PreferenceモデルではHallucinationの抑制が可能であったが、満足度の向上には課題が残った。