なりきり雑談システムを評価するためのキャライメージの評価者間一致に関する検証-４択クイズを用いた原作者とファンの比較-

近年，雑談を行う対話システムの研究が盛んである．中でも，創作上の架空の人物（以降，キャラと呼ぶ）になりきらせることで一貫した個性を持った応答を生成させる研究は，需要の高さと応用の広さから重要である．エンターテインメントの観点からはなじみ深いキャラと話せることが多くのユーザや研究者の注目を集めており[1,2,3,4]，応用の観点からは対話システムに任意の個性を付加できることで実在人物の代役やユーザが好む個性の対話相手との会話が可能になる．これらの目的のためになりきり雑談システムはより目標とするキャラらしいことが望ましく，どの程度目標のキャラになりきれているかを評価する必要がある．既存研究では，ほとんどが「より多くの人間が目標キャラに対して持っているイメージ」を優先した評価方法を用いている．しかし，作品内のキャラ発話と矛盾しないためには評価者が十分に作品を知り，覚えておく必要がある．幾つかの研究[4,5,6]では，評価者の質の保証を試みているが，目標キャラの何をどの程度覚えているかは詳しく確認されていない．また，作品を創作した作者（以下，原作者）はファンよりも目標キャラの考え方や目標キャラが何を知っているかについて詳しい可能性があるが，既存研究はファンによる評価を行っている．そこで，本稿では作中のキャラ発話と数名のファンが共有するイメージを使って４択クイズを作成し，回答者が「どの程度正確に覚えているか」と，「他のファンと何を共有しているか」を測る手法を提案する．さらに，提案手法を用いてあるキャラに対して検証を行うことで，なりきり雑談システムを構築，評価するためのいくつかの洞察を提供する．