ユーザシミュレータを用いた対話システムのデバッグ支援に向けた対話評価指標の設計

対話システムのデバッグでは，多様なユーザに対応できるように発話やその振る舞いを調整する必要がある．そのため，様々な特性のユーザを集めた対話データ収集を実施する必要があるが，コスト面に大きな課題があった．近年，LLMを用いたユーザシミュレータの活用により，多様な対話データを低コストで大量に生成可能となった．一方で，生成した対話データを全て確認するのは現実的でなく，デバッグに有益な情報を含むデータをフィルタリングする必要がある．なお，本稿ではLLMベース対話システムの発話内容に焦点を当て，ソフトウェアのフリーズやクラッシュはデバッグの対象外とする．生成した対話データを自動評価することで，システムの改善点を明確化するアプローチが考えられる．ユーザシミュレータを用いた対話データ生成は，タスク指向型対話システムのデバッグで多く利用されており，タスクの達成率や発話の語彙多様性などを対話評価指標として利用している[1,2]．これらの指標は最終的なタスクの成否に着目した評価であるため，対話内で発生しているシステムの問題を十分に検出できない．さらに，システムのタスクが明確に設定されていないような状況で利用できず，限定的な評価にとどまる．非タスク指向システムの対話評価では，システムの発話一貫性や好感など様々な指標が利用されている[3,4]．これらの指標は対話全体の主観的印象を反映する一方で，発話に含まれる問題を特定することが難しい．そのため，ユーザシミュレータを用いたデバッグにそのまま応用するのは難しい．加えて，これらの指標の多くはLLMを用いた発話生成をベースとした対話システムの性能を十分に評価できない場合があると指摘されている[5]．本研究では，システムのデバッグに焦点を当てた対話評価指標を設計する．本指標は，システム発話に含まれる問題に基づいて定義を行うことで，デバッグ時に確認の必要な発話の効率的なフィルタリングを目的とする．設計にあたり，これまでユーザシミュレータを用いて生成された対話データに発生している問題を既存のエラー類型[6]のもと分析し，問題の明確化を行ってきた[7]．この結果のもと，従来の対話評価指標を参考にシステム発話に含まれる問題を反映した対話評価指標を設計した．本論文の貢献は以下のとおりである．1.ユーザシミュレータを用いた対話生成を前提とし，対話品質の総合評価ではなくデバッグの観点からシステムの問題を整理するための対話評価指標を設計した．