WMNZリランキングによりLLMと機械学習分類モデルを統合した

対話システムにおいて，ユーザの発話意図を正確に推定し，応答精度を向上させることは，対話システムの実用性を左右する重要な課題である[1]．この発話意図推定は，ユーザの入力テキストを事前に定義された複数の意図カテゴリのいずれかへと分類するクラス分類のタスクとして扱われる．従来，この分類タスクのアプローチには主に二つの手法が存在する．!機械学習モデルによる分類[2]：特定の対話ドメインにおける発話を想定したテキストと意図カテゴリのラベルのペアからなるデータセットを用いて分類モデルを構築し，これを用いて発話を分類する手法!大規模言語モデル（LLM）による分類[3]：大規模言語モデルが持つ強力な文脈理解能力を活用し，プロンプトに記述された指示や少数の例に基づいて発話を分類する手法これらの従来手法の特徴として，機械学習モデルによる手法が特定のキーワードを捉える能力に長ける一方，LLMによる手法が文脈全体を包括的に捉える能力に優れるという，互いに相補的な特性を持つ．そこで本研究では，両者の長所を組み合わせたハイブリッドな発話意図推定手法を提案する．具体的には，機械学習モデルとLLMがそれぞれ独立して算出した分類結果を両者の特性を考慮して重み付けを行うWMNZ(Weighted-MNZ)[4]というリランキング手法を用いて統合する．これにより各モデルの弱点を補い合い，精度を向上させることをめざす．本研究では，28クラス分類の発話意図推定タスクを対象とし，提案手法の有効性を検証する．実験の結果，提案手法が従来の意図推定手法や，他のリランキング手法と比較して，最も高い精度を示した．