対話システムのための「なりきり質問応答」を用いた
質問応答ペアの収集とその応用
東中竜一郎∗

堂坂浩二

磯崎秀樹

日本電信電話株式会社 NTT コミュニケーション科学基礎研究所
higashinaka.ryuichiro@lab.ntt.co.jp, {dohsaka,isozaki}@cslab.kecl.ntt.co.jp

1

はじめに

質問対象: マリーアントワネット (user25)

雑談のような，制約の少ない対話を行うシステムは， Q1: ふりかえってみて貴女の一生はどうでしたか。
(user25)
扱う内容が多様なために，統一的な手法ではユーザ
1. 貴方たちが思うほど不幸でもなかったわ (user25)
発話に適切に応答できないことがある．そのため，シ
2. 幸福でした。子供たちに感謝してるの (user3)
ステムは，入力であるユーザ発話と，ユーザ発話対
3. とても楽しかったわ。(user13)
してシステムが出力すべき応答発話のペア（発話ペQ2: 結婚相手を選べるとしたら、誰と結婚したいでア）をあらかじめ大量に作成しておき，応答に利用すか (user19)することが多い．
1. やっぱりフェルゼンかしら。あの方は私の命でした。夫には申し訳ないけど。(user21)
例えば，対話システムのコンテストであるレブナー賞で，2001 年に優勝したシステム A.L.I.C.E. [7] は，
2. 結婚相手は誰でもよかった、楽しく毎日送れるならね。(user25)
発話ペアを約 4 万件保持している．また，音声対話システムの「たけまる君」も内部に発話ペアを多く備えている [5]．しかし，このようなデータを人手で 図 1: マリーアントワネットについてのなりきり質問応答大量に作成するのはコストがかかる．
発話ペアの自動作成については，既にいくつかのザ参加型のデータ収集には，面白さが必要との指摘
手法が提案されている [4, 2]．しかしながら，これらもあり [6]，本手法はこの流れに沿ったものと考えるの従来手法は，不特定多数のユーザの対話データかことができる．
ら自動的に発話ペアを抽出するため，ノイズが多く，図 1 は，「なりきり質問応答」によって，マリーアまた，応答に一貫性がないという問題がある．このントワネットについて得られたなりきり質問応答のようなデータに基づいて対話システムを構築すると，例である．括弧内は人物，質問，または，回答を投稿
ユーザの入力に対し，不適切な応答や，矛盾した応したユーザ ID を示す．複数のユーザが協力して一人答を行う可能性がある．の人物の質問応答ペアを作成している様子が分かる．
本稿では，「なりきり質問応答」という枠組みによ
ウェブ上の掲示板の中には「なりきり」を趣旨とり，特定の人物に紐付けられた発話ペアを効率的にしたものも存在する．しかしながら，自由に会話を収集する手法を提案する．具体的には，ユーザに「なしてもよいというサイトの性質から，再利用可能なりきり」によるやり取りを質問応答の形式で行っての発話ペアの獲得には利用しにくい．また，専門家もらうことを趣旨としたウェブサイトを構築し，発がユーザの質問への回答を掲載しているウェブサイ話ペアとして，質問応答ペアを収集する．
トも多く存在する．しかしながら，一人の人間が答本手法は，なりきりの特性である好きな人物になえられる質問の数には限界があり，対話システムにりきる楽しさと，好きな人物に対して質問できると必要な分量の質問応答ペアを集めるにはコストと時いう面白さから，多数のユーザの参加を促し，多く間を要する．の質問応答が効率的に収集できる可能性がある．また，複数のユーザが一人の人物になりきって質問に答 2 データ収集実験えることで，回答者の負荷の軽減ができ，その結果，ユーザに，なりきりによるやり取りを質問応答の形応答の迅速性が高まることから，効率的な質問応答式で行ってもらう趣旨のウェブサイト「なりきり質ペアの収集が可能になると考えられる．近年，ユー問応答」を構築し，トライアル実験として，50 人の∗ 現在，NTT サイバースペース研究所− 920 −

登録された人物数
質問数
質問数（重複なし）
回答が一つ以上寄せられた質問数
一人物に寄せられた平均質問数
回答数
自演応答数
一質問あたりの回答数一人物あたりの回答数
投稿（質問・回答）の総数
一質問に回答したユーザ数一人物あたりの回答ユーザ数
一ユーザあたりの質問数
一ユーザあたりの回答数
一ユーザあたりの投稿数
150 以上の投稿をしたユーザ数
200 以上の投稿をしたユーザ数

設問
平均 (標準偏差)Q1 サイトの使いやすさ
3.90 (0.92)
Q2 サイトをまた使ってみたいか
3.98 (1.12)
Q3 なりきりを楽しめたか
4.28 (0.72)

397
2,502
2,483
2,262
6.42
3,838
213
1.70
9.99
6,340
1.62
5.21
49.80
76.04
125.8493

表 2: トライアルサイトのアンケート結果
高い平均点を得ていることは，なりきり質問応答がユーザを引きつけ，質問応答データを能動的に提供するように強く動機づけることができたと言える．
これらの統計情報やユーザアンケートの結果から，なりきり質問応答は人物に紐づけられた質問応答ペアの収集に有効であると考えられる．

3

収集した質問応答ペアの応用

対話システムは，A.L.I.C.E. やたけまる君がそうであるように，個々の個性に紐づけられた発話ペアをユーザを募り，実際にサイトを３週間にわたって使 保持するが，システムの発話ペアにも網羅性に限界用してもらった．ここでは，そのトライアル実験に があり，必ずしもユーザのすべての入力に対応できついて説明する．なお，実験に際してはサイトにパ るわけではない．ある対話システムに対してなされスワードをかけ，一般には非公開で行った．
た質問が，そのシステムの発話ペアに見つからず，応トライアル実験は，例示として，4 人物，12 の質 答できないこともある．そのような場合に，他のシ問，36 の回答が寄せられたサイトの状態からスター ステムが適切な発話ペアを保持していれば，それをトさせた．実験に参加してもらう各ユーザには謝礼 代用して応答することで，システムの応答能力が向を支払い，期間中，最低 100 の投稿（質問，または， 上する可能性がある．
回答）をするように，また，質問と回答の数があまりここでは，本手法で集めた質問応答ペアを用い，あ偏らないように教示した．ユーザは自由に人物を登 る人物が未知の質問をされたとき，他の人物の質問録できる．なお，自演応答（自分の質問に自分で回 応答ペアを用いてその質問に答えることができるか答すること）は投稿数にカウントしないこととした． を実験によって確かめることで，システム間の発話3 週間のトライアルで収集された質問応答データの ペアの相互利用の可能性を検証する．今回，他の人統計情報は表 1 の通りであった．50 人のユーザがそ 物の質問応答ペアを用いる応答手法として，下記のれぞれ 100 の投稿を行うと，5000 の投稿が集まるこ 4 手法を考えた．とになるが，期間内に，6340 の投稿が集まった．これは，なりきりによる質問応答のやり取りにユーザ 単語類似度: 人物 P に対する未知の質問 Q についが楽しみを見出し，積極的に質問応答に参加したこ て，人物 P 以外の人物になされた質問から，Q に最とによると考えられる．例えば，150 以上の投稿を も単語が類似した質問 Q を検索し，Q に対する回行ったユーザは 9 人，200 以上の投稿を行ったユー 答から回答を一つ選択し，回答とする．ここで，Qザは 3 人いた．また，投稿数にカウントされないに と Q の類似度は，下記の式により算出される，それぞれの質問に含まれる単語のセットのコサイン類似も拘わらず，自演応答の投稿数が 213 あった．
一人物の回答に関わったユーザ数は 5.21 であり， 度を用いる．words とは質問中の内容語のセットを一つの質問は平均 1.62 ユーザが回答している．この バイナリのベクトルとして返す関数である．
表 1: 投稿された質問応答データの統計情報ことから，複数人が一人以上のユーザが同一人物になりきって質問に回答していることが分かる．一人だけが回答し続けるのと異なり，複数のユーザにより，回答の負荷を分散しつつ質問応答がなされていることが分かる．
表 2 は，トライアル実験後に行ったユーザアンケートの結果である．このアンケートは 5 段階評価であり，5 が一番良い．Q1–Q3 の結果から，ユーザはなりきり質問応答サイトを楽しんだことが分かる．謝礼を払っているとはいえ，5 段階評価で 4.28 というsim(Q, Q ) =words(Q) · words(Q )| words(Q) || words(Q ) |Q が見つかったとして，Q に対する回答が複数ある場合がある．この中から一つを選択するため，Qがなされた人物と最も関連が低いものを一つ選ぶ．これは，回答には質問された人物と関連が深い単語が入ることが多く，そのような単語が入った回答は Pの回答として不適切だと考えられるからである．この回答選択のプロセスは下記のように書ける．

− 921 −

手法
内容妥当性 表現妥当性
オリジナル回答
5.33
5.50
単語類似度
2.46
3.39
質問分類制約
2.67
3.55
人物間距離
2.34
3.75
質問分類制約＋人物間距離
2.71
3.77
オラクル
3.44
4.62

argmina∈A maxpmi(person(a), a)

ここで，A は Q に対する複数の回答セットを指し，a はその要素である．maxpmi は人物名と回答との関連の強さを Pointwise Mutual Information (PMI) により計算し，その最大値を返す関数であり，person
表 3: 各手法の回答に与えられたスコアは回答に紐付けられた人物名を返す関数である．なお，PMI は，人物名 (person(a)) と回答中の内容語 3.1 評価実験
(wi ∈ a) との間で，下記の式により計算する．
上記 4 手法の性能を検証するため，人間の評価者にdocs({person(a), wi })/N)
docs(person(a))/N · docs(wi )/Nよる評価実験を行った．トライアル実験で得られた全質問の内，実際にユーザによって回答が一つ以上なされ，かつ，4 手法のすべてが何らかの応答を返す
ここで，docs は特定のテキスト文書中における，ことができた 967 の質問に対して，各手法が出力し引数の人名または単語を含む文書数である．N はテた回答を 3 人の評価者が独立に評価した．
キスト文書中の総文書数である．本実験ではテキス
評価者は質問とその質問がなされた人物を提示さト文書群としてウィキペディアを用いた．なお，類似れ，4 手法が出力した回答のそれぞれについて，内した質問を検索し，その回答を用いて応答するシス
容妥当性（内容がその人らしいかどうか），および，テムとして FAQFinder [1] があるが，本手法では回表現妥当性（表現がその人らしいかどうか）という答する人物も考慮し回答を選択している点が異なる．
観点から，7 段階で評価した．また，4 手法に加え，
質問分類制約: 単語類似度と同様，コサイン類似度 対象の質問に対し実際にトライアル実験のユーザがを用いた質問の検索をするが，その際に，質問分類 行った回答（オリジナル回答）のうち一つについてが同じもののみを検索対象とする．ここでは，紙面 も評価してもらった．オリジナル回答が複数ある場の制約により詳細は割愛するが，質問分類が同じと 合，対象の人物名と最も PMI の高い単語を含む回答
は，質問の意図や質問に含まれる人物属性が同じで を選んだ．
表 3 に 3 人の評価者による平均スコアを示す．オ
あることを指す．後述する評価実験では，手動でラベル付けした質問分類を用いるが，ある程度の分量 リジナル回答のスコアの高さから，トライアル実験のデータがあれば，自動での質問分類のラベル付け でのユーザの回答が適切なものであったことが分かる．4 手法については改善の余地があることが分かるは可能である．
が，統計的検定（Steel-Dwass の多重比較）を行った
人物間類似度: 質問の検索に単語類似度だけではな 結果，質問分類による制約を用いると内容妥当性が有く人物間の類似度も利用する．例えば，織田信長に 意に改善し (p<0.01)，人物間距離を導入すると，表対する質問と類似した質問を探す際には，俳優やタ 現妥当性が有意に改善することが分かった (p<0.05)．
レントへの質問からではなく，明智光秀や石田光成 ここで，オラクルとは，各質問について，4 手法からといった武将に対する質問を重視して検索する．こ 最もよい回答を選択できた場合のスコアを指す．オ
こで，質問の類似度は下記の式により算出する．
ラクルのスコアは比較的悪くないことから，質問によって高精度に手法が選択できれば，比較的適切なsim(Q, Q ) − dist(person(Q), person(Q ))回答が自動的に行えることが分かる．
ここで，dist とは人物間の距離を返す関数で，テ図 2 は，提案 4 手法が出力した応答の例である．全
キストデータ（ここでは，ウィキペディア）における く異なる人物への質問の回答を用いても，応答とし人物名の共起から計算される．dist は Q と Q が近 て適切なものを出力できることが分かる．なお，スければ近いほど小さくなる．具体的には，まず，松 コアは評価者の主観に大きく依存する．例えば，質林らの手法 [3] に従い，フィッシャーの正確確率検定 問分類制約＋人物間距離の内容妥当性に着目すると，により得られる人名同士の共起を，2 次元上のグラ 3 人の評価者の内容妥当性スコアはそれぞれ，3.99，フとして表現する．dist はこのグラフ上の人名間の 2.28，1.85 と大きく異なる．
ユークリッド距離の自然対数を返す．
質問を検索する際にほとんど単語が重複していないものから探しても見当違いの回答をしてしまう恐
質問分類制約＋人物間距離: 質問を検索する際に，質れがある．また，人物間距離があまりに大きい人物
問分類による制約を満たすものの中で，人物間類似への質問を用いても，対象人物らしい表現を持つ回度の手法により最も類似する質問を検索する．

log2 (− 922 −質問対象：ビル・クリントン
質問：「影武者はいますか？」オリジナル回答: それは答えられないな。
単語類似度: 危なくなったときに、かくまってくれそうな人なら何人か。（「杉田かおる」の「仲のいい友達はいますか？」への回答）
質問分類制約: えー作るヒマないですよぉー（「安藤美姫」の「彼氏はいますか？」への回答）
人物間類似度: 決してゆだんできぬヤツだな！（「チャーチル」の「ルーズベルトをどう思いますか？」への回答）
質問分類制約＋人物間距離: 敵が多すぎて特定は出来無い。尊敬するリンカーンの末席に並べたのが幸せ。（「ジョン・Ｆ・ケネディ」の「あなたを撃った人間に心当たりはありますか…？」への回答）

図 2: 提案 4 手法を用いた質問応答の例
5Similarity
Constraints
Distance
Constraints + Distance

Averaged Content Score

4.5

答が得られない可能性が高い．そこで，質問類似度と人物間距離に閾値を設定し，閾値以上の質問からしか検索しないようにした場合に，内容妥当性や表現妥当性のスコアがどう変化するかを調べた．図 3および図 4 は，コサイン類似度と人物間距離の閾値を変動させた場合の内容妥当性および表現妥当性の推移のグラフである．
これらのグラフから，コサイン類似度の閾値を 0.6程度に設定することで，内容妥当性については，問題のないレベルと考えられる 4 に近いスコアを実現できることが分かる．また，人物間距離の閾値を 3程度に設定することで，こちらも 4 程度の表現妥当性を実現できることも分かる．
もちろん，閾値を変動させると回答可能な質問数が減少する．例えば，閾値が 0.6 の場合，質問分類
制約＋人物間距離は 967 の質問の内，105 のみにしか回答が出力できない．しかし，全体の 10%であっても，質問応答ペアの相互利用が可能であるという実験結果は，今後の対話システムの応答性能の向上に繋がるものである．

443.5

3

2.5

20.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Cosine Similarity Threshold

まとめと今後の課題

本稿では「なりきり質問応答」を用いた質問応答ペアの収集と，その応用として複数の人物に紐付けられた質問応答ペアの相互利用について述べた．今後は，データ収集をより大規模で行うとともに，相互利用のための手法の改善を行っていく予定である．

参考文献

図 3: コサイン類似度の閾値 (Cosine Similarity [1] R. D. Burke, K. J. Hammond, V. A. Kulyukin,N. Tomuro, and S. Schoenberg. Question answerThreshold) を 変動 させた 場合 の内 容妥 当性 (Aving from frequently asked question ﬁles: Experiences
eraged Content Score) の推 移．Similarity，Conwith the FAQFinder system. Technical report, Unistraints，Distance，Constraints+Distance はそれぞversity of Chicago, 1997.
れ，単語類似度，質問分類制約，人物間距離，質問 [2] J. Huang, M. Zhou, and D. Yang. Extracting chatbot knowledge from online discussion forums. In
分類制約＋人物間距離を指す．
Proc. IJCAI, pp. 423–428, 2007.

4.6

4.4
Averaged Expression Score[3] T. Matsubayashi and T. Yamada. A force-directedgraph drawing based on the hierarchical individual
timestep method. International Journal of Electronics, Circuits and Systems, 1(2):116–121, 2007.

Similarity
Constraints
Distance
Constraints + Distance

4.2[4] B. A. Shawar and E. Atwell. Using dialogue corpora
to train a chatbot. In Proc. International Conference on Corpus Linguistics, pp. 681–690, 2003.

4[5] S. Takeuchi, T. Cincarek, H. Kawanami,
H. Saruwatari, and K. Shikano.
Construction
and optimization of a question and answer databasefor a real-environment speech-oriented guidancesystem. In Proc. COCOSDA, 2007.

3.83.63.4302520151053 2 1Inter-Person Distance Threshold

図 4: 人物間類似度の閾値 (Inter-Person DistanceThreshold) を変動させた場合の表現妥当性 (Averaged Expression Score) の推移．

[6] L. von Ahn and L. Dabbish. Labeling images witha computer game. In Proc. CHI, pp. 319–326, 2004.
[7] R. S. Wallace.
The Anatomy of A.L.I.C.E.
A.L.I.C.E. Artiﬁcial Intelligence Foundation, Inc.,2004.

− 923 −