情報処理学会研究報告
IPSJ SIG Technical Report

トリビア文および雑学文を利用する対話システムの構築
新名 和也1,a)

嶋田 和孝2,b)

概要：近年雑談対話システムに関する研究が盛んに行われており，ニューラルネットワークや強化学習を用いた手法が一定の成果を挙げている．しかし，これらの手法は「そうですね」のような文を生成しやす
いため，ユーザが対話に飽きる危険性がある．よって，より良い対話システムを構築するためには，ユー
ザを対話に引き込む文が必要となる．本研究ではそのような文として，トリビアを含んだ文（トリビア文）および雑学を含んだ文（雑学文）に注目する．これらの文は人の興味を引く性質があるため，対話システ
ムに用いることでユーザを対話に引き込む効果が期待できる．本研究では，このようなトリビア文および雑学文を利用する対話システムを構築する．

A Dialogue System Using Trivia and Unusual Fact Sentences
Niina Kazuya1,a)Shimada Kazutaka2,b)Abstract: Dialogue systems have been increasingly important these days. In particular, non-task-oriented
dialogue systems have been studied because of the success of neural network approaches. However, thesemodels tend to generate simple responses such as ”yes”. To construct a dialogue system that holds user’s
attention continuously, we need to use utterances that capture the interest of the user. In this paper, we
focus on the trivia and unusual fact for the purpose. These information perhaps adds a surprise to users.
Therefore, trivia and unusual fact are beneficial for dialogue systems. We construct a dialogue system using
trivia and unusual fact sentences.

1. はじめに
近年，Apple の Siri や Google アシスタントなど，対話システムに対して注目が集まっている．対話システムは，脈に依存せず使用できる文）を生成しやすい傾向があるため，ユーザが対話に飽きてしまう危険性がある．ユーザを対話に飽きさせないためには，ユーザを楽しませる文を利用して対話に引き込む必要がある．

ある特定のタスクの遂行を目的としたタスク指向型と，対本研究では，ユーザを楽しませる文として，トリビアを話自体を目的とした非タスク指向型の 2 つに大きく分類さ含む文（トリビア文）および雑学を含む文（雑学文）に着れる．このうち，非タスク指向型については近年盛んに研目する．トリビア文と雑学文は，それぞれ「ある物事につ究が行われており，Sequence-to-Sequence （Seq2Seq） モ

いての瑣末な知識であり，かつ人の興味を引くような内容

デルを用いた手法や強化学習を用いて対話戦略を獲得するを含む文」および「ある物事についての瑣末な知識やあま手法が一定の成果を挙げている [1][2]．しかし，これらのり知られていない知識を含む文」と定義する．例えば，ト手法では汎用的な文（「はい」や「そうですね」など，文

リビア文は「アメリカザリガニにサバをあげると青くなる」

1

2

a)
b)

九州工業大学大学院 情報工学府 先端情報工学専攻
Graduate School of Computer Science and System Engineering, Kyushu Institute of Technology 680-4, Kawazu, Iizuka,
Fukuoka, 820-8502 Japan
九州工業大学 大学院情報工学研究院 知能情報工学研究系
Department of Artificial Intelligence, Kyushu Institute ofTechnology 680-4, Kawazu, Iizuka, Fukuoka, 820-8502 Japank niina@pluto.ai.kyutech.ac.jp
shimada@pluto.ai.kyutech.ac.jp

c 2019 Information Processing Society of Japan⃝のような文であり，雑学文は「アメリカザリガニは体色が赤いことからマッカチンという別名もあるが，色素変異などが原因により青色や白色をしている個体もいる」のような文である．このようなトリビア文や雑学文は，人の興味を引くことや知的好奇心を駆り立てることができる他，話題展開の方法としても利用できるため，対話を弾ませるこ

1

情報処理学会研究報告
IPSJ SIG Technical Reportとができる．よって，トリビア文および雑学文を対話シス

表 1

トリビア文データセットの例

Table 1 Examples pf trivia sentences

テムに組み込むことで，より楽しい対話を行うことができると考えられる．

トリビア

「へえ」数

最大「へえ」数

アフロの仏像がある

77

100ては，Web から収集したトリビアデータと Wikipedia から

入れ歯は昔木で出来ていた

83

100

比内鶏を食べると逮捕される

55

100

獲得したトリビア文でない文（非トリビア文）から，人手でゴリラの血液型は全て B 型である

110

200

これまで我々は，Web 上の文書データを対象にトリビア
文および雑学文抽出を試みた [3][4][5]．トリビア文につい設計した素性と機械学習を用いて，トリビア文か非トリビ
ア文かの 2 値分類およびトリビア文の「面白さ」の測定を試みた．雑学文については，IDF ，単語の共起頻度，ルールの 3 つの基準によるスコアリングを用いて， Wikipedia

がトリビアであるとして，記事とカテゴリ間の類似度やカからの雑学文抽出を試みた．

テゴリの凝集性に基づいたスコアリングによってトリビア

このような背景を踏まえ，本研究では，トリビア文およを獲得している．

び雑学文を利用する対話システムを構築する．具体的にトリビア文は，意外性のある内容を含む．対話システム

は，ユーザの入力文に関連するトリビア文および雑学文にへの利用を前提に意外性のある文を獲得する研究として，対して，出力として相応しいかどうかの判定を行うような

太田ら [11] の研究がある．太田らは，Wikipedia の記事中

対話システムを構築する．

の文に対して，TF-IDF，単語の共起頻度，文長の 3 つの2. 関連研究

指標に基づいたスコアとルールを用いて意外性のある文を抽出している．また，他の研究として杉本ら [12] の研究がユーザを対話に引き込む非タスク指向型対話システムにある．杉本らは，Wikipedia の記事中の文に対して，対話関する研究として，稲葉ら [6] の研究がある．稲葉らは，システムに利用できる文であるかどうかを記事内におけるTwitter から独話文として利用できるツイートを抽出した

位置情報を用いて分類している．文字数や特定単語を用い後，意外性，ユーモア性，トピックにおける特殊性の 3 つたフィルタリングなどを行った後，位置情報に基づいた素の観点からスコアを計算し，順位づけを行っている．また，性を用いて分類している．

他の研究として江頭ら [7] の研究がある．江頭らは，Web上のニュース記事と Wikipedia の記事を知識データとし

3. データセットて，Markov Decision Process （MDP） を用いた対話シス本研究では，対話システムに利用するトリビア文およびテムを構築している．挨拶や話題提示などの各応答文生成

雑学文を Web 上の文書データから獲得する．3.1 節では，モジュールを作成し，MDP により獲得した対話戦略を用

トリビア文のデータセットについて説明する．3.2 節では，

いて対話を行っている．

雑学文のデータセットについて説明する．

トリビアに関する研究として，Prakash ら [8] の研究がある．Prakash らは，IMDB に掲載されているトリビアを

3.1 トリビア文データセット

教師付きデータセットとして扱い，固有表現や Superlative

対話システムに利用するトリビア文のデータセットは，

Words などの素性と Rank SVM を用いて，文の「トリビ「トリビアの泉 〜素晴らしきムダ知識〜」*2 というタイト

アらしさ」をランキングしている．また，他の研究として

ルの Wikipedia の記事から収集する．「トリビアの泉 〜

Fatma ら [9] の研究がある．Fatma らは， DBpedia*1 に素晴らしきムダ知識〜」とは，フジテレビ系列で 2002 年

存在する RDF トリプルデータを対象に，人手で作成したから 2012 年にかけて放送された，視聴者が投稿したトリ

教師付きデータセットと CNN を用いて，ある文がトリビ

ビアを紹介する番組である．この番組について書かれた

アであるかどうかの判定を行っている．具体的には，畳みWikipedia の記事には，番組内で紹介されたトリビアが記込みで得られた特徴量と人手で設計した素性を組み合わせ

載されているため，これをデータセットとして利用する．

て学習する Fusion Based CNN を利用して，トリビアでデータセットの例を表 1 に示す．表 1 のように，各トリあるかどうかの 2 値分類を行っている．機械学習によるビア文には「へえ」数が付随している．
「へえ」数とは，番分類ではなく，スコアリングによってトリビアを獲得する組に出演していた芸能人が，そのトリビア文に対して行っ研究として，Tsurel ら [10] の研究がある．Tsurel らは，た評価であり，1 人最大 20「へえ」までつけることができ

Wikipedia の記事カテゴリに注目し，意外なカテゴリ （例る．また，最大「へえ」数とは，そのトリビア文が紹介さえば，「バラク・オバマ」に対する「グラミー賞受賞者」）

れた放送回の中で取る事のできる最大の「へえ」数を表す．

*1

https://wiki.dbpedia.org/

c 2019 Information Processing Society of Japan⃝*2https://www.fujitv.co.jp/b hp/trivia/

2

情報処理学会研究報告
IPSJ SIG Technical Report
表 2 雑学文データセットの例

Table 2 Examples pf unusual fact sentences
記事名

雑学文

雑学スコア

餃子

敦煌の唐代の墳墓では、副葬品と

4.45

入力文

して壺に入った餃子が乾燥状態で発見されているキリン

鳴き声は牛にやや似た声で「モー」トリビア・雑学文検索部

5.03

と鳴く

出力制御部
Distribution of uf_score

1e7
4.0

出力可能な文があるか

3.5# of sentences

3.0

Yes

No

2.5
2.0

雑談応答生成部

1.5

出力優先度計算部

1.0
0.5
0.0

0

2

4

6

8
uf_score

10

12

14

出力文

図 1 uf score の分布

Fig. 1 The distribution of uf score
図 2 対話システムの概要図

3.2 雑学文データセット

Fig. 2 The outline of the dialogue system

対話システムに利用するトリビア文のデータセットは，[3] の手法を用いて獲得する．データセットの例を表 2 に示す．表 2 のように，各雑学文には [3] の手法により計算された雑学スコアが付随している．雑学スコアは文中の名詞を対象として，IDF，単語の共起頻度および独自に設定したルールに基づいて計算される．本研究では，雑学スコ
アの値が閾値以上の文を雑学文として獲得する．閾値の決定について，図 1 を用いて説明する．図 1 は雑学スコアのヒストグラムである．図 1 より，雑学スコアが 3 未満の文が全体の約 90%を占めていることが分かる．よって，雑学
スコアが 3 以上の文は雑学文の可能性が高いといえる．したがって，本研究では，雑学スコアが 3 以上の文を雑学文として対話システムに利用する．

4. 対話システム

4.1 トリビア・雑学文検索部
トリビア・雑学文検索部では，ユーザの入力文に含まれるキーワードから，そのキーワードに関するトリビア文お
よび雑学文を検索する．まず，ユーザの入力文に含まれる名詞をキーワードとして抽出する．この時，抽出する名詞
は形態素解析器 MeCab*3 によって一般名詞および固有名
詞と判断された名詞のみとする．次に，Wikipedia のリダ
イレクト情報を用いて，キーワードをリダイレクト先の単語へ置換する．例えば，「クラッカーボール」は「癇癪玉」に置換される．キーワードを置換する理由は，「ネコ」と「猫」のように，表記揺れが起きた際に関連するトリビア
文や雑学文を検索可能にするためである．最後に，置換したキーワードに関連するトリビア文および雑学文を検索す本研究では，トリビア文および雑学文を利用する対話シ
ステムを構築する．対話システムの概要図を図 2 に示す．
図 2 のように，対話システムはトリビア・雑学文検索部，出力制御部，出力優先度計算部，雑談応答生成部の 4 つで構成される．4.1 節では，トリビア・雑学文検索部について説明する．4.2 節では，出力制御部について説明する．4.3

る．トリビア文は，置換したキーワードを含むトリビア文を獲得する．検索の際は，トリビア文に含まれる名詞も，
キーワード同様 Wikipedia のリダイレクト情報を用いて置換した後に検索する．雑学文については，置換したキー
ワードとタイトルが一致する Wikipedia の記事を獲得し，その記事の雑学文を獲得する．

節では，出力優先度計算部について説明する．4.4 節では，雑談応答生成部について説明する．

c 2019 Information Processing Society of Japan⃝*3

http://taku910.github.io/mecab/

3情報処理学会研究報告
IPSJ SIG Technical Report

4.2 出力制御部て，単語の分散表現に基づく文の分散表現を計算する．文

出力制御部では，4.1 節で獲得したトリビア文および雑の分散表現は，文中に含まれる全単語の分散表現の平均値

学文に対して，システムの出力として用いた場合に対話とする．次に，算出した文の分散表現に基づき，各トリビが破綻するかどうかの判定（対話破綻検知）を行う．対話

ア文および雑学文とユーザの入力文とのコサイン類似度を

破綻検知については，Sugiyama[13] の手法に基づき行う．

計算する．

Sugiyama は，対話行為や内容語の一致率などの素性と機4.2.4 Number of Elapsed Turns

械学習の手法を用いて，対話破綻検知器を構築している．

Sugiyama は，対話システムは対話の序盤では比較的適

本研究では，Sugiyama の利用した素性に基づき，以下の切な発話を行うが，対話が進むにつれて不適切な発話が増素性を用いて対話破綻検知器を構築する．

加する傾向があると述べている，よって，発話の経過ター• Content Word Macthing Rate

ン数は対話破綻検知に有効であると考えられる．したがっ• Word Mover’s Distanceて，本研究では発話の経過ターン数を素性として利用する．

• Similarity• Number of Elapsed Turns

4.3 出力優先度計算部

4.2.1 節以降で，各素性の詳細について説明する．
4.2.1 Content Word Matching Rate

出力優先度計算部では，4.2 節で非破綻であると判定された各トリビア文および雑学文に対して，どの文を優先し人間同士の対話において，話し相手へ返答する際，話して出力するべきかを表す出力優先度（output priority）を相手が直前に発話した内容に言及することが多い．例え計算する．ある文 S に対する出力優先度 OP (S) は式（1）ば．
「今日も寒いですね」に対して，「こうも寒いと，肉まを用いて計算する．

んでも食べたくなりますね」のように返答することが一般

OP (S) = i score(S) ×的である．よって，ある発話文とその直前の発話文との内

k score(S, n) =綻検知に有効であると考えられる．したがって，本研究で∑ユーザの入力文および 1 つ前のシステム発話との Content

4.2.2 Word Mover’s Distance
Word Mover’s Distance[14] は，ある 2 文間の編集距離の計算時に，編集距離のコスト部分を単語の分散表現 [15]による類似度で置き換えた手法である．4.2.1 節で言及したように，一般的にある連続した 2 発話は，トピックやその内容が似ている．よって，2 文間の類似性を測る WordMover’s Distance は対話破綻検知に有効であると考えられる．したがって，本研究では，Word Mover’s Distance を素性として利用する．Word Mover’s Distance を計算する
文の組み合わせは以下である．

( 1 ) 各トリビア文および雑学文 & 直前のユーザの入力文( 2 ) 各トリビア文および雑学文 & 1 つ前のシステム発話文( 3 ) 各トリビア文および雑学文 & 直前のユーザの入力文+ 1 つ前のシステム発話文
なお，Word Mover’s Distance の計算は，名詞および動詞のみを用いて計算する．

4.2.3 Similarity
4.2.2 節で 2 文間の類似度を Word Mover’s Distance で計算するように，別の尺度による 2 文間の類似度も対話破綻検知に有効であると考えられる．したがって，本研究では，単語の分散表現に基づく類似度を素性として利用する．
まず，各トリビア文および雑学文とユーザの入力文に対し

c 2019 Information Processing Society of Japan⃝|N ounS |i score(U F S)

(1)+S̸=U F S∈Anは，4.1 節で獲得した各トリビア文および雑学文と直前のは名詞，動詞，形容詞の 3 つとする．

n∈N ounS k score(S, n)∑

容語の一致率（Content word matching rate）は，対話破word matching rate を素性として利用する．なお，内容語∑

i score(T S) × 10

(2)

S̸=T S∈T Sn

式（1）の n は名詞，N ounS は文 S に含まれる名詞（一般名詞および固有名詞）の集合，i score(S) は文 S の「面白さ」を表すスコア（Interestingness score），k score(S, n)は「知識の豊富さ」を表すスコア（Knowledge score）である．i score(S) は，文 S が雑学文であった場合，表 2 にあるように，雑学文に付随する雑学スコアを最大値で正規化した値を返す．文 S がトリビア文であった場合，表 1 にあるように，各トリビア文に付随している「へえ」数を最大「へえ」数で正規化した値を返す．また，式（2）の U F S は雑学文，An は名詞 n とタイトルが一致する Wikipedia の記事における雑学文集合，T S はトリビア文，T Sn は名詞

n を含むトリビア文集合である．ここで，An および T Sn
は，既に対話中で出力したトリビア文および雑学文は含まないものとする．

4.4 雑談応答生成部
雑談応答生成部では，4.1 節でトリビア文および雑学文の検索結果が 0 文であった場合と，4.2 節で全てのトリビ
ア文および雑学文が破綻であると判定された場合に，対話を継続させるために雑談応答を生成する．本研究では，雑談応答生成部は NTT docomo が提供している自然対話

API*4 を用いて構築する．
*4

https://dev.smt.docomo.ne.jp/?p=docs.api.page&api_
name=natural_dialogue&p_name=api_usage_scenario

4情報処理学会研究報告
IPSJ SIG Technical Report
表 3 対話破綻検知の実験結果

表 4

Table 3 The result of the dialogue breakdown detection

実験の対話例

Table 4 Example dialogue of the examination

Precision

RecallF-measure

発話者

O

0.63

0.57

0.60

ユーザ

こんにちは

X

0.75

0.79

0.77

システム

こんにちは。早速ですが、あなたの趣味は何ですか

Average

0.70

0.71

0.70

ユーザ

私の趣味は読書ですシステム

いいですね！読書は心を豊かにします・・・

5. 実験

発話文

り，Average の F-measure が 0.70 と比較的高い値を示し構築した対話破綻検知器および対話システムについて実ていることが分かる．また，X タグの Recall が 0.79 と比験を行った．5.1 節では，対話破綻検知の実験について説明

較的高い値を示していることから，破綻する発話に関してする．5.2 節では，対話システムの実験について説明する．

は比較的高い精度で認識できていることが分かる．

5.1.3 考察5.1.2 節の内容を踏まえ，トリビア文および雑学文を利用

5.1 対話破綻検知実験
4.2 節の対話破綻検知器について実験を行った．5.1.1 節

する対話システムへの有用性について考察する．5.1.2 節

では，実験設定について説明する．5.1.2 節では，実験結果で言及したように，対話破綻検知としての結果は比較的高について説明する．5.1.3 節では，5.1.2 節の内容を踏まえい精度となっていることが分かる．しかし，本研究で用いた考察について説明する．

たデータセットには，トリビア文および雑学文が含まれて5.1.1 実験設定いない．一般的にトリビア文および雑学文は雑談応答と比4.2 節で利用したデータセットは，対話破綻検出チャレ

べ，文の長さや含まれている単語の品詞数などが大幅に異ンジ [16] で配布されているデータセット 550 対話を用いなる．よって，トリビア文および雑学文まで考慮した対話

た．対話破綻検出チャレンジのデータセットは，1 対話に

破綻検知器を構築するためには，トリビア文および雑学文

21 発話が含まれており，ユーザ発話が 10 発話，システムを含んだ対話破綻データセットの作成や雑談応答文とは異発話が 11 発話となっている．また，システム発話には 30なる特徴を表す素性の検討などを行う必要がある．

人のアノテーターにより対話破綻タグ（X: 破綻，T: おそらく破綻，O: 非破綻）が付与されている．そのため，各シ

5.2 対話実験

ステム発話に対して，タグを一意に決定する必要がある．

構築した対話システムについて実験を行った．5.2.1 節

本研究では，システム発話に付与する最終的なタグを X タ

では，実験設定について説明する．5.2.2 節では，実験結果

グと O タグのみとした．システム発話に付与する最終的について説明する．5.2.3 節では，5.2.2 節の内容を踏まえなタグは，X タグと O タグのうちタグの付与数が多い方とた考察について説明する．

した．この時，T タグの付与数の半分を X タグの付与数に5.2.1 実験設定加えた上で，X タグと O タグの付与数を比較した．その結対話システムに利用するトリビア文は．3.1 節で説明し果，X タグが付与された発話は 3,709 発話，O タグが付与

た 1,031 文のトリビア文データセットを利用した．雑学文

された発話は 2,341 発話となった．このデータセットを用については，3.2 節で説明した 3,665,321 文の雑学文データ

いて，対話破綻検知器を構築した．

セットを利用した．雑学文を獲得する Wikipedia の記事

4.2.3 節で用いる単語の分散表現については，Word2Vec*5を用いて獲得した．なお，次元数は 200 とした．
対話破綻検知器に用いる機械学習手法は Support Vectorについては，2017 年 5 月 21 日付でウィキメディア財団より提供されているデータベース・データ*7 から入手したものを用いた．

Machine（SVM） とした．カーネルは RBF カーネルを利

比較対象については，提案手法から出力制御部と出力優用した．また，X タグと O タグの発話数が不均衡である

先度計算部をそれぞれ片方のみ用いたモデル（図 2 参照）

ため，O タグに対するペナルティの重みを X タグの約 1.5と，雑談応答生成部のみのモデルとした．被験者の数は 5倍*6 に設定した．

人とした．
対話システムの実験方法について，各被験者とそれぞれ評価については，10 分割交差検定で評価した．評価指標
は，Precision，Recall，F-measure とした．

の対話システムとの間で対話を行った．対話設定について，

5.1.2 実験結果

対話例を表 4 に示す．まず最初のユーザからの入力は「こ対話破綻検知に対する実験結果を表 3 に示す．表 3 よ*5*6んにちは」とした．次に，システムの最初の出力は，雑談
応答生成部で生成した雑談応答と表 5 中のいずれかの質問

https://radimrehurek.com/gensim/models/word2vec.html
正確には 3709/2341 倍

c 2019 Information Processing Society of Japan⃝*7

https://dumps.wikimedia.org/jawiki/

5情報処理学会研究報告
IPSJ SIG Technical Report
表 5

質問文

表 7

Table 5 The question sentences
質問文

各モデルの平均ユーザ発話数

Table 7 The values of the average number of user utterances

応答文

モデル

平均ユーザ発話数

提案手法

7.40

あなたの趣味は何ですか

私の趣味は〇〇です

出力制御なし6.20

好きな食べ物は何ですか

私の好きな食べ物は〇〇です

出力優先度なし

5.80

旅行で行きたい国はどこですか〇〇へ旅行に行ってみたいです

雑談応答のみ6.20

好きな動物は何ですか

好きな動物は〇〇です

休日によくすることは何ですか

休日にはよく〇〇をします

表 8

各モデルの平均ユーザ発話長

Table 8 The values of the average number of user utterance
表 6

各評価項目の平均値

lengthTable 6 The result of the dialogue system

モデル

平均発話長

モデル

Q1

Q2

Q3

Q4

提案手法

12.97

提案手法

2.80

3.60

3.00

2.80

出力制御なし11.45

出力制御なし

3.20

3.20

2.40

3.60

出力優先度なし

11.62

出力優先度なし

3.20

3.20

3.00

3.40

雑談応答のみ11.00

雑談応答のみ

3.60

3.80

3.60

3.40

案手法が他の手法に比べ，ユーザを対話により引き込むこ文とした．最後に，ユーザはシステムからの質問文に対しとができているといえる．しかし，長く対話を続けたことて，その質問に応じた文（表 5 の応答文の項目）を入力しで，システムの欠点などが露呈しやすかったために，提案てもらった．なお，表 5 の各質問文に対する応答文の〇〇手法の評価が比較的低くなったのではないかと考えられる．

については，ユーザに任意に埋めてもらった．以降の発話

次に，実際の対話例から定性的な分析を行った．提案手から，ユーザは任意の文を入力することとした．また，1法のモデルにおける対話例を表 9 に示す．雑談応答のみの回の対話におけるユーザの発話数については最低 5 発話とモデルにおける対話例を表 10 に示す． 表 9 における「〇した．対話を終了するタイミングは，被験者に一任した．

〇といえば，『』と聞いたことがあります」という文の『

なお，対話するモデルの順番は各被験者毎にランダムとし』中の文がトリビア文および雑学文である．表 9 の対話

た．また，質問文は被験者毎にランダムに割り振った．

例では，「ヘビ」についての雑学文を出力している．また，評価については，対話を終了する毎に，対話したモデル

表 9 の「物事をうまく進行させるのって、なかなか難しいに対して，Q1「対話の流れは自然であったか」，Q2「対話よね。」のように，提案手法のモデルでは最初のトピックは楽しかったか」，Q3「話し相手として満足なものであっとは違うトピックで話を進行する場合が多く見られた．一

たか」，Q4「また対話したいと思うか」のそれぞれの項目

方で，表 10 より，雑談応答のみのモデルではトピックがを 5 段階で評価してもらった．

「オムライス」で一貫していることが分かる．これらの結5.2.2 実験結果

果から，トピックの激しい遷移が提案手法に対する低い評

対話システムに対する実験結果を表 6 に示す．表 6 よ価の原因であると考えられる．トピック遷移が激しい原因

り，全ての評価項目に対して，提案手法が雑談応答のみのとして，ユーザの入力文に含まれるキーワードからトリビ

モデルを下回っていることが分かる．また，出力制御なし

ア文および雑学文を検索したことと，雑談応答生成部でトのモデルと雑談応答のみのモデルを比較すると，Q4 の項目

リビア文および雑学文の出力を考慮できないことが考えら

で出力制御なしのモデルが雑談応答のみのモデルを上回っれる．したがって，対話トピックの推定機構を導入するこていることが分かる．このことから，トリビア文および雑とで，この問題を解決できると考えられる．また，トリビ

学文を対話破綻を考慮せず出力する場合，再使用性の観点

ア文や雑学文は，一般的に話のネタが無くなる対話の中盤で有効であることが分かる．

あたりで使用されると考えられる．よって，トリビア文お5.2.3 考察

よび雑学文を出力しても良いターン数を考慮することで，5.2.2 節の内容を踏まえ，提案手法における実験結果について考察する．まず，それぞれの対話モデルにおけるユー
ザ発話数やユーザの発話長について調査を行った．調査結より良い対話システムを構築できると考えられる．

6. むすび果を表 7 および表 8 に示す． 表 7 より，提案手法が他の本研究では，ユーザを楽しませる対話システムとして，手法に比べてユーザ発話数が 1 発話長いことが分かる．まトリビア文および雑学文を利用する対話システムを構築した，表 8 より，提案手法が他の手法に比べてユーザ発話長

た．ユーザの入力文から得られたキーワードに関するトリが 1 文字から 2 文字長いことが分かる．この結果から，提ビア文と雑学文を獲得し，対話破綻検知と出力優先度の 2

c 2019 Information Processing Society of Japan⃝6

情報処理学会研究報告
IPSJ SIG Technical Report
表 9 提案モデルの対話例

Table 9 Example dialogue of our dialogue system
発話者

発話文

ユーザ

こんにちは

システム

こんにちは

ユーザ

私の好きな動物はヘビシステム

早速ですが、好きな動物は何ですか

いいですね! ヘビといえば、『日本においてもヘビは太古から信仰を集めていた 』という事を聞いたことがあります

ユーザ

太古から進行を集めてたのか〜

システム

物事をうまく進行させるのって、なかなか難しいよね。

ユーザ

確かに難しいことですね...

システム

日本語って上手くできてるよね。漢字で「ものとこと」っていう意味がよく伝わるもん。

ユーザ

ものとこと

システム

それは残念！

ユーザ

悲しい！

システム

どうしたの ・・・
表 10

雑談応答のみのモデルの対話例

Table 10 Example dialogue of the baseline
発話者

発話文

ユーザ

こんにちは

システム

こんにちは 早速ですが、あなたの好きな食べ物は何ですか

ユーザ

私はオムライスが好きですシステム

いいですね! おいしいオムライスは、やっぱり、ふわふわトロトロだよね。

ユーザ

そうですよね！作るのが難しいですけど美味しいですよねシステム

卵に牛乳を入れてオムライスを作ると、やわらかく仕上がるんだって。

ユーザ

そうなんですか！初めて知りました！

システム

たしかにオムライスはそうですね

ユーザ

オムライスはチキンライスも美味しいので好きですシステム

オムライスは大好きよねー ・・・

つに基づき各文の出力をコントロールする対話システムを参考文献構築した．実験の結果，対話破綻検知については，比較的[1]高い精度で対話破綻検知を行うことができた．しかし，本研究で利用したデータセットにはトリビア文および雑学文[2]が含まれていなかったため，トリビア文および雑学文に関する対話破綻検知モデルの構築が必要であることが分かった．対話システムについては，全ての評価項目において，[3]

提案手法が雑談応答のみのモデルを下回る結果となった．
分析の結果，トピック遷移の激しさなどが原因で，提案手法の評価が低いものとなった可能性が示唆された．

[4]

今後の課題として，対話破綻検知については，新たな素性の検討やトリビア文および雑学文を含む対話破綻検知[5]

データセットの作成が挙げられる．対話システムについて
は，対話トピックの推定機構の導入や対話戦略の再検討が挙げられる．具体的には，対話の大筋のトピックを推定す[6]る機構の導入や対話の経過ターン数を考慮したトリビア文および雑学文出力モデルの検討などが挙げられる．

[7]

[8]

c 2019 Information Processing Society of Japan⃝

Vinyals, O. and Le, Q.: A neural conversational model,
arXiv preprint arXiv:1506.05869 (2015).
Li, J., Monroe, W., Ritter, A., Galley, M., Gao, J. andJurafsky, D.: Deep reinforcement learning for dialogue
generation, Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing,D16112, Valencia, Spain, pp. 1192–1202 (2016).
新名和也，嶋田和孝： シズルワードから想起される料理の雑学を話す対話システム，電子情報通信学会, 言語理解とコミュニケーション研究会 (NLC), 第 4 回自然言語処
理シンポジウム，Vol. 117, pp. 77–82 (2017).
新名和也，嶋田和孝： トリビア文抽出のためのトリビア度
合いの推定，電子情報通信学会, 言語理解とコミュニケー
ション研究会 (NLC) (2018).
Kazuya, N. and Kazutaka, S.: Trivia Score and Ranking Estimation Using Support Vector Regression and
RankNet, Proceedings of PACLIC32 (2018).
稲葉通将，吉野友香，高橋健一： 対話システムが話し手役になるためのオープンドメイン独話生成，人工知能学
会論文誌，Vol. 31, No. 1, pp. DSF–F 1–9（オンライン），
DOI: 10.1527/tjsai.DSF-505 (2016).
江頭勇佑，柴田知秀，黒橋禎夫： 雑談対話システムにおける強化学習を用いた応答生成モジュールの選択，言語処
理学会第 18 回年次大会発表論文集, D3-7， Vol. 18, pp.
654–657 (2012).
Prakash, A., Chinnakotla, M. K., Patel, D. and Garg,

7

情報処理学会研究報告
IPSJ SIG Technical Report

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

P.: Did You Know?―Mining Interesting Trivia for Entities from Wikipedia，Twenty-Fourth International Joint
Conference on Artificial Intelligence, pp. 3164–3170(2015).
Fatma, N., Chinnakotla, M. K. and Shrivastava, M.: The
Unusual Suspects: Deep Learning Based Mining of Interesting Entity Trivia from Knowledge Graphs, ThirtyFirst AAAI Conference on Artificial Intelligence, pp.
1107–1113 (2017).
Tsurel, D., Pelleg, D., Guy, I. and Shahaf, D.: Fun Facts:
Automatic Trivia Fact Extraction from Wikipedia, Proceedings of the Tenth ACM International Conferenceon Web Search and Data Mining, ACM, pp. 345–354(2017).
太田知宏，鳥海不二夫，石井健一郎： 発話生成を目的とした Wikipedia からの文抽出，人工知能学会第 23 回全国大会, 2G1-NFC5-11 (2009).
杉 本 俊 ， 植 木 拓 ， 林 宏 幸 ，Eric, N.，中 野 幹
生： Wikipedia からの特定ドメインの雑談対話システ
ムのための発話候補文集合の獲得，人工知能学会第 31 回
全国大会, 3A1-3 (2017).
Sugiyama, H.: Dialogue breakdown detection based on
estimating appropriateness of topic transition, Dialog
System Technology Challenges (DSTC6) (2017).
Kusner, M., Sun, Y., Kolkin, N. and Weinberger, K.:
From word embeddings to document distances, International Conference on Machine Learning, pp. 957–966(2015).
Mikolov, T., Chen, K., Corrado, G. and Dean, J.: Efficient Estimation of Word Representations in Vector
Space, CoRR, Vol. abs/1301.3781, pp. 1–12 (online),available from ⟨http://arxiv.org/abs/1301.3781⟩ (2013).
東中竜一郎，船越孝太郎，小林優佳，稲葉通将ほか： 対話破綻検出チャレンジ，SIG-SLUD, Vol. 5, No. 02, pp.
27–32 (2015).

c 2019 Information Processing Society of Japan⃝

8