一つのプロンプト記述による対話フロー制御の有効性の評価

タスク指向型対話システムでは，対話フロー制御をルールで記述する手法[1]や，対話状態の遷移を確率モデル化する手法[2]が主流であった．これらの手法では，想定外のユーザ発話に対して対話破綻を起こさず，適応的に応答生成することが課題であった．一方で，LLMの高度な言語処理能力を利用し，ルールによる対話フロー制御とLLMによる応答生成を組み合わせるハイブリッド型の手法が提案されている[3][4]．しかし，これらのハイブリッド型の手法では，対話フローがルールで規定されるため，対話フローを逸脱するユーザ発話への対応が依然として難しい．この課題に対し，鈴木ら[5]は，一つのプロンプトで対話フロー制御を行うDialogFlowPrompt（DFP）を提案した．DFPは，対話フロー制御と応答生成のための指示文を自然言語でプロンプト記述し，LLMに所望の対話動作を行わせるものである．旅行代理店での旅行プラン提案を想定した対話タスクにおいて，DFPにより、柔軟な対話フロー制御ができるとの報告があるが，DFPの有効性について，プロンプト記述の一部の特徴に関する定性的な議論にとどまっている．本研究では，DFPによる対話フロー制御の有効性を定量的に評価する．定量評価の中で，プロンプトを構成する複数の指示要素が対話フロー制御に与える影響を，各指示要素の有無を切り替えるアブレーション分析により調べる．評価には，対話の自動評価手法として有効性が報告されているLLM-as-a-judge[6]を用いる．