なりきり雑談システムを評価するためのキャライメージの評価者間一致に関する検証-４択クイズを用いた原作者とファンの比較-

近年，架空の人物になりきって応答を生成する雑談対話システムの研究が盛んである．多くの研究が「キャラらしさ」の評価を人間による多数決で行っているが，この評価方法がなりきりの正確さを評価できているかは不明である．そこで，本稿では人間同士で「キャラらしさ」のイメージがどのくらい一致しているのかを確認する手法を提案する．具体的には，数名のファンがキャラらしいセリフとキャラらしくないセリフを書き，4択クイズを作成する．別の人間がクイズを解き，一致率などを分析することでキャライメージの違いを調べる．結果，原作者とファンと作品を知らない人が持つイメージに異なる特徴が見られた．