JMultiWOZに対する対話状態アノテーションの付与と対話システムの実装評価

タスク指向型対話システムの研究では，ニューラルモデルをベースとした手法の活発な導入[1,2]によって，対話能力の進化が著しい[3,4]．このような進化には，ニューラルモデルを学習するための対話データセットが必須である．英語圏では，現在までに構築された数多くの対話データセットが，深層学習を用いた対話モデルの発展に貢献してきた[5,6]．MultiWOZ[7]は，現在英語圏において最も用いられているタスク指向型対話データセットの一つであり，旅行に関する7つのドメインにまたがる対話を1万件以上収録している大規模コーパスである．MultiWOZを先駆けとして，より複雑で大規模なタスク指向型対話データセットも多く構築されており[8,9,10]，近年の対話モデルの発展を牽引している[11,12,13]．また，中国語圏においても，複数のマルチドメインタスク指向型対話データセットが構築[14,15,16]され，中国語タスク指向型対話システ∗Equalcontribution1）JMultiWOZと実験ソースコードは，https://github.com/nu-dialogue/jmultiwozで公開されている．User札幌のレストランを探しています。予算の希望は特にないですが、無料Wi-Fiが使えるところが良いです。domain=飲食店,city=札幌,wifi=あり(無料)検索クエリDBtotal=9,entities=[誠寿司本店,RistoranteMero…検索結果Wizard誠寿司本店というレストランはどうですか。Userあと、当日のそこまでのタクシーを予約したいです。キャッシュレス対応のタクシー会社を探してください。domain=タクシー,city=札幌,cashless=あり,dest…検索クエリDBtotal=67,entities=[ダイコク交通(株),昭和交通(株)…検索結果Wizard承知しました。出発地はどちらになりますか？シー）にまたがる対話の例．灰色と緑色のテキストはそれぞれ旅行者役(user)と情報提供者役(wizard)の発話を示している．また，赤色と青色のボックスは，wizardが入力したデータベース検索クエリとその結果を示している．ムの発展に寄与している．先行研究において我々は，日本語によるタスク指向型対話システムの研究開発の促進を目指し，日本語初のマルチドメインタスク指向型対話データセットJMultiWOZを構築した[17]（対話例を図1に示す）．そして，検索クエリを推定するモデルを学習，評価することで，本データセットの有用性を示した．しかし，現状のJMultiWOZには対話状態ラベルのアノテーションが付与されておらず，タスク指向型対話における主要なタスク，すなわち，対話状態追跡(dialoguestatetracking;DST)と応答生成(responsegeneration;RG)のモデリングが行えない，という制限があった．これは，End-to-Endな対話システムを構築できないことを意味する．本研究では，日本語におけるDSTおよびRGのベンチマークを提供するため，先行研究におけるJMultiWOZに対して新たに対話状態アノテーションを追加する．そして，MultiWOZにおけるstate-of-the-art(SOTA)モデル[18]と，最新のLLM.加のアノテーションによって得られる対話状態ラベルの例．太字は，検索クエリと対話状態の差分を示している．文脈User:札幌のホテルを探していて、Wi-Fiが無料で使えると助かります。Wizard:では、JRINN札幌はどうでしょうか？User:よさそうですね，いくらくらいでしょうか？検索クエリcity:札幌,wiﬁ:有り（無料）対話状態city:札幌,wiﬁ:有り（無料）,name:JRINN札幌ベースのモデル[19]を用いて，JMultiWOZのDSTおよびRGを学習し，本データセットがMultiWOZと同難易度のベンチマークを提供できることを実証する．さらに，これら対話モデルの人間評価実験を実施し，最新のLLMであっても日本語におけるタスク指向型対話の能力には課題があることを示す．