対話システムのデバッグでは，多様なユーザとの対話データから問題を発見する必要がある．LLMを利用したユーザシミュレータの活用により，対話データを容易に生成できるようになった反面，分析にかかる負担は依然として課題である．本研究では，従来の対話評価指標では捉えにくいシステムの問題を明示的に評価可能な指標の提案を行う．指標の設計では，ユーザシミュレータとの対話で発生するシステムの問題を既存のエラー類型に基づき明確化し，対話評価指標として新たに定義した．対話評価指標の有効性検証では，LLMを用いた自動評価を行い，人手で付与した発話エラーを含む発話を検出可能であることを確認した．

対話システムのデバッグでは，多様なユーザに対応できるように発話やその振る舞いを調整する必要がある．そのため，様々な特性のユーザを集めた対話データ収集を実施する必要があるが，コスト面に大きな課題があった．近年，LLMを用いたユーザシミュレータの活用により，多様な対話データを低コストで大量に生成可能となった．一方で，生成した対話データを全て確認するのは現実的でなく，デバッグに有益な情報を含むデータをフィルタリングする必要がある．なお，本稿ではLLMベース対話システムの発話内容に焦点を当て，ソフトウェアのフリーズやクラッシュはデバッグの対象外とする．生成した対話データを自動評価することで，システムの改善点を明確化するアプローチが考えられる．ユーザシミュレータを用いた対話データ生成は，タスク指向型対話システムのデバッグで多く利用されており，タスクの達成率や発話の語彙多様性などを対話評価指標として利用している[1,2]．これらの指標は最終的なタスクの成否に着目した評価であるため，対話内で発生しているシステムの問題を十分に検出できない．さらに，システムのタスクが明確に設定されていないような状況で利用できず，限定的な評価にとどまる．非タスク指向システムの対話評価では，システムの発話一貫性や好感など様々な指標が利用されている[3,4]．これらの指標は対話全体の主観的印象を反映する一方で，発話に含まれる問題を特定することが難しい．そのため，ユーザシミュレータを用いたデバッグにそのまま応用するのは難しい．加えて，これらの指標の多くはLLMを用いた発話生成をベースとした対話システムの性能を十分に評価できない場合があると指摘されている[5]．本研究では，システムのデバッグに焦点を当てた対話評価指標を設計する．本指標は，システム発話に含まれる問題に基づいて定義を行うことで，デバッグ時に確認の必要な発話の効率的なフィルタリングを目的とする．設計にあたり，これまでユーザシミュレータを用いて生成された対話データに発生している問題を既存のエラー類型[6]のもと分析し，問題の明確化を行ってきた[7]．この結果のもと，従来の対話評価指標を参考にシステム発話に含まれる問題を反映した対話評価指標を設計した．本論文の貢献は以下のとおりである．1.ユーザシミュレータを用いた対話生成を前提とし，対話品質の総合評価ではなくデバッグの観点からシステムの問題を整理するための対話評価指標を設計した．