タスク指向型対話システムへの項目反応理論の適用によるユーザのタスク達成能力の推定

タスク指向型対話システムの性能は改善しているものの，すべてのユーザが自身のタスクを完全に達成できるわけではない[1]．例えば，OpenAI社のGPT-4[2]などの大規模言語モデルを用いたタスク指向型対話システムにおいてもその性能は高くはない[3,4]．特に，システムについての知識の少ないユーザは，システムに対しての話し方が分からず，対話破綻[5]を引き起こしたり，タスクが達成できなかったりする．システムがユーザのタスク達成能力を推定し，ユーザの能力に合わせて対話することは，この問題の解決策の一つである．本研究では，教育分野でよく用いられる項目反応理論(ItemResponseTheory,IRT)を用いて，ユーザのタスク達成能力を推定する手法を提案する．具体的には，まず，タスク指向型対話システムとユーザの対話を収集する．対話収集時には，ユーザに対話ゴールを提示し，ユーザには当該対話ゴールに基づいて対話をさせる．次に，所定のスロットを適切に埋められるかどうかを問題だと見做し，IRTを用いてスロットの項目特性を推定する．最後に，能力を推定したいユーザに対話ゴールに基づいて対話をさせ，IRTを適用することで，ユーザのタスク達成能力を推定する．MultiWOZデータセット[6]を用いて構築したタスク指向型対話システムにおいて，推定したタスク達成能力からスロットの正答確率を予測する実験を行った結果，提案手法はベースラインよりも有意に高精度でスロットの正答確率を予測可能であることが分かった．また，タスク達成能力を推定するための適切な対話ゴールの作成のため，推定した項目特性を用いてMultiWOZデータセットにおけるスロットの困難度や識別力などの特徴の分析を行った．