疑似対話データとPreferenceデータを用いたドメイン特化対話への日本語LLMチューニングの検証

近年、大規模言語モデル（LLM）は、汎用的な指示データを用いた指示チューニング（Instruction-Tuning）によって高い性能を発揮することが広く認識されている[1]。しかし、汎用的な指示チューニングだけでは、観光案内や施設ガイドのような特定のドメインにおいて理想的な生成結果が得られない場合があり、ドメイン特化が求められるケースも少なくない。こうしたドメイン特化対話システムの開発には、以下のような課題が存在する。第一に、新たなドメインに適応させるための十分な学習データを用意するには、多大な労力とコストがかかる。第二に、対話の一貫性を保ちつつ、ドメイン外の応答や誤情報（いわゆるHallucination）を抑制する必要がある。これらの課題を解決するには、効率的かつ効果的なLLMのチューニング手法が求められている。本研究では、LLMのドメイン特化に向けた効率的なデータ作成とチューニング手法を検証することを目的とする。具体的には、日本語で学習されたLLMに対し、対象ドメインの疑似対話データをター音声対話インターフェース。左側には対話中に言及された観光地の画像が表示される。用いた教師ありファインチューニング(SupervisedFine-Tuning,SFT）[2,3]、および人手で作成された少量のPreferenceデータを用いたチューニング[4,5,6]を行う。さらに、Preferenceチューニングでは、知識やデータの不足によるHallucinationを起こしている発話に対し、回答拒否を行うように人手で修正した発話を作成し、そちらを選好されたデータとして訓練した。実験では観光案内ドメインを対象とし、汎用ドメインの指示チューニングのみのモデル(Instruction-Only)、疑似対話データを用いたSFTモデル(SFT)、SFTモデルにPreferenceチューニングを施したモデル(Preference)の3種類のLLMを搭載したアバター対話システムを実装した。これらのモデルを、人手によるアンケート評価を通じて、対話の自然さ、満足度、信頼性、そしてドメインに対する一貫性の観点から比較した。結果として、疑似対話データによるSFTモデルは汎用的な指示チューニングのみのベースモデルと比較して大幅に対話の自然性や満足度が向上した。一方で、Preferenceモデルは情報不足の質問に対して適切に回答拒否を行う能力を示したものの、ユーザー満足度は低下する結果となった。これにより、Hallucinationを抑制することが必ずしもユーザー満足度の向上につながらないことが明らかになった。.本研究の貢献点は、ドメイン特化型対話システムにおけるチューニング手法を包括的に検証し、それぞれの効果と課題を明らかにした点である。これにより、今後のシステム設計や開発プロセスで考慮すべきポイントを示し、ドメイン特化の際に役立つ知見を提供することを目指した。