Vol.2017-NL-234 No.19
2017/12/21

情報処理学会研究報告
IPSJ SIG Technical Report

対話行為予測に基づいた
レファレンスインタビューのモデル化とその分析
河野誠也1,a)

吉野

幸一郎1,2

鈴木

優1

中村

哲1

概要：対話システムによってユーザの情報検索を補助する場合，相手の意図や知識に応じて適切な補助を行うために，対話行為を用いた対話参与者のモデル化が有効であると考えられる．対話行為を用いたモデル化により，ユーザの各状態に応じた対話システムの応答戦略を考えることができる．本稿では，こうした応答戦略を図書館における書籍検索サービスの一部であるレファレンスインタビューにおける参与者の振る舞いからからモデル化することを志向して，レファレンスインタビューにおける参与者の行動予測モデルを構築する．具体的には，発話レベルの観測系列と意図レベルの観測系列をそれぞれ素性として用いて，サービスの利用者，被利用者の対話行為予測モデルを構築し，その評価・分析を行う．また，構築した対話行為予測モデルの対話システムへの応用可能性についての検討を行う．
キーワード：統計的対話管理，対話行為予測，ユーザーシミュレーター，レファレンスインタビュー

1. はじめにを高めることができると期待できる．
こうした機能のモデル化を行う場合，どのようなケース

情報検索をタスクとする対話システムにおいて，ユーザで聞き返しを行うかなど対話行為レベルでの抽象化が有効の質問はしばしば曖昧であり，その質問に対して 1 ターンであると考えられる．そこで，本稿では，対話システムにで明確な応答をすることが難しい場合がある．このとき，おけるユーザの検索意図明確化のための応答戦略を，図書システム側から何らかの聞き返しや情報提示を行い，ユー

館における書籍検索サービスの一部であるレファレンスイ

ザの検索意図の明確化を行うことが重要となる [1]．

ンタビューにおける参与者の振る舞いからからモデル化

人対人で情報検索をタスクとする対話が行われる場面するにあたり，まず，参与者の対話行為予測モデルを構築

として，図書館におけるレファレンスサービスがある．レする．具体的には，発話レベルの観測系列と意図レベルのファレンスサービスとは，図書館利用者が学習・研究・調観測系列をそれぞれ素性として用いて，サービスの利用者査を目的として必要な情報・資料などを求めた際に，図書(ユーザ)，被利用者 (図書館員) の対話行為予測モデルを構

館員が情報そのもの，あるいはそのために必要とされる資築し，その評価・分析を行う．また，本稿で構築した対話

料を検索・提供・回答することによってこれを助ける図書

行為予測モデルの対話システムへの応用可能性についての

館サービスである [2]．レファレンスサービスにおいては，検討を行う．

図書館利用者の曖昧な情報要求を明確化することを目的と本稿の構成は次の通りである．続く 2 章では，図書館にしてレファレンスインタビューという事前対応が行われる．

おけるレファレンスインタビューとそのコーパスについて

このレファレンスインタビューを事前に行った場合，行わ紹介する．3 章では関連研究について述べる．4 章では，対なかった場合と比較して簡易な事実調査に関するレファレ

話行為予測モデルについての詳細を説明する．5 章におい

ンスサービスの回答の正確さが大幅に向上することが知らて実験と結果を述べ，その考察を行う．最後に 6 章においれている [3]. こうした機能を対話システムに導入することて本論文のまとめを行う．

ができれば，ユーザが必要とする情報にたどり着く可能性
1

2

a)

奈良先端科学技術大学院大学情報科学研究科
Graduate School of Information Science, Nara Institute of
Science and Technology
科学技術振興機構
Japan Science and Technology Agency
kawano.seiya.kj0@is.naist.jp

c 2017 Information Processing Society of Japan
⃝

2. 図書館におけるレファレンスインタビュー
レファレンスサービスにおける図書館員は，レファレン
スインタビューを通じて，利用者の情報要求を明確化した
うえで回答を提供する．その際，インタビューによって質

1Vol.2017-NL-234 No.19
2017/12/21

情報処理学会研究報告
IPSJ SIG Technical Report
表 1 チャットレファレンスインタビューの例

No.

Speaker

Utterance

1

Patronhere is a current in a metal wire due to the motion of electrons. sketch a possible path for the motion of a single

2

Patronyou can just describe what they would look like3

Librarian

Just a moment, please....

4

PatronThanks5

LibrarianIs this for a school assignment and if so what is your grade level?

6

PatronI m a junior in high school... it s for a physics class... i have a test tomorrow and this stuﬀ and I m still shakey

7

LibrarianWhat part of your physics books this question comes from: electricity?

8

Patronya
Let me check

electron in this wire, the direction of the electric field vector, and the direction of conventional current.

on it

9

Librarian10

LibrarianHold on please11

Patronok

12

Librarian

I am still checking

13

LibrarianHold on please14

Librarian

http://www.swansontec.com/set.htm

15

Librarian

The source that I just sent has good graphics that shows the electic currents

16

Librarian

And the graphic is animated so you can see the movement

17

LibrarianCan you see the page?

18

Patronyes

19

Librarian

Let me check for more hold on please...

問の主題を確定するとともに，要求が生じた状況や背景，

るチャットデータをコーパスとして用いる．本データは，

情報利用の目的や動機などを，利用者への質問などを通じ700 対話セッション，約 12,634 発話から構成される．まて明らかにする．また，利用者が対話以前から明確に意識た，収録されているすべての発話について，参与者，日時

していることだけでなく，図書館員のインタビューによっ(分単位) に関する情報が付与されており，個人情報に関わてはじめて意識し思い起こすようなことや，図書館員に問る部分 (利用者の名前やメールアドレスなど) については，

われその時点で考えたことも，適切な文献を推薦する上で匿名化処理が施されている．

重要な手がかりとなる．こうした情報を総合して，ユーザが真に必要とする文献を検索・提供する [4]．

レファレンスインタビューにおける実際の対話例を表 1に示す．表 1 の例では，利用者の質問に対して，単に回答

Radford らは，OCLC(Online Computer Libaray Center，を提示するのではなく，インタビューを通じて次の日に学Inc.) が提供するチャットレファレンスサービス Question-

校で試験があることなどの背景情報や，利用者の学年，検Point に記録されたレファレンスインタビューのチャット

索履歴などの事項を明らかにし，これに応じた情報を提供

ログをランダムにサンプリングし，サービスの利用者と被していることがわかる．

利用者 (図書館員) を対象とした分析を行った．その結果，
チャットレファレンスでは相手との共感を生み出すことが2.2 レファレンスインタビューにおける対話行為重要であることを指摘しており，そのためには図書館員が人間同士が行っているような自然な対話を行う対話シス

自分自身についての情報を提供し，安心を与え，ユーモア

テムを構築する上で，システムの全ての振る舞いをルールのある形式張らない言葉遣いをすることが勧められるとしで網羅的に記述する方法は非現実的である．そこで，強化ている．また，レファレンスサービスにおいては正しい回学習などの枠組みを用いてシステムの振る舞いを対話コー答を示すだけでなく，図書館が対話をする能力を発揮する

パスから統計的に学習する試みがなされている [6], [7]．しことで，利用者のニーズを理解しようとし，信頼関係を築かしながら，このようなデータ駆動型のアプローチを用い

き，利用者に安心感を与えることが重要であり，それが「名てモデル化を行う場合，学習に用いることができる対話

前も顔もない白い検索ボックス」と図書館員を分けるもの

データの量は限られるため，入力シンボルとなる発話をあであると述べている [5]．

る程度汎化した状態で，記述し取り扱うことが必要となる [1], [8]．そこで，本稿では発話を汎化し記述するために

2.1 レファレンスインタビューコーパス
本研究では，Radford らが用いた QuestionPoint におけc 2017 Information Processing Society of Japan⃝

対話行為タグに着目する．対話行為とは，対話において参与者がどのような意図を持って発話を行ったかに応じて発2

Vol.2017-NL-234 No.19
2017/12/21

情報処理学会研究報告
IPSJ SIG Technical Report

話を分類するタグとして定義される [9]．

しながら，2.2 節で述べたように，人手で定義されたルール

レファレンスインタビューに特化した対話行為タグとしを用いて対話管理を実現しようとする場合，ルールの数がて，Inoue によるタグセットがある [10]．Inoue は，レファ

増大すると，ルール間の一貫性を保つことが難しくなる．

レンスインタビューにおける参与者の行動は，円滑なコ

また，記述コストそのものの問題もある．この問題を解決

ミュニケーションの促進と維持のために，1）情報の伝達 (情するため，近年，マルコフ決定過程 (MDP) や部分観測マ

報提供，情報要求)，2）情報探索活動におけるタスク管理，

ルコフ決定過程 (POMDP) などの枠組みを用いた強化学習

3）挨拶や感謝などによる社会的関係の維持，4）通信の物

による対話管理が研究されている [6], [7], [8], [11]．具体的

理的側面の管理といった 4 つの機能のいずれかを持つとしには，ユーザの対話行為やタスク達成に必要な情報を定義ている．具体的には，発話を機能 (Dialogue Act Function;

した対話状態などから環境の状態を，システムの対話行為

DAF) とドメイン (Dialogue Act Domain; DAD) の 2 つのをそれに対応する行動として定義し，決定過程として問題

意味的レベルで取り扱い，対話行為タグの定義を行っていを定義する．つまり，強化学習を用いた対話システムにおる (表 2，3)．

ける対話管理では，ユーザの状態および対話履歴を入力としたシステムの対話行為を予測する問題として考えること

表 2

Dialogue Act Function(5 クラス)

ができる．

No

Dialogue Act Function

Description

1

Information Provision

To provide informa-

2

Information Request

意図レベルの入力 (対話行為や対話状態) からシステムの行

To request informa-

動を決定する．一方で，ユーザの発話と対話の履歴から直tion
3Task Management

To assign or commit

4Social Relationship Management

Tomanagesocio-

Network を用いた応答選択モデルを提案している [12]．まemotional aspects ofた，Min らはゲームベースの学習環境に対話システムを組

communication
Communication Management

表 3

接システム応答を予測する研究もあり，Bordes らは，レス
トラン情報案内ドメインにおいて，End-to-End Memory

to tasks

5

MDP，POMDP を用いた対話管理では，抽象化されたtion

To manage physical

み込むことを目的として，WoZ 実験により収集されたシス

aspects of communi-

テムとユーザとの対話ログから対話行為を予測するモデル

cationを構築している [13]．

Dialogue Act Domain(19 クラス)

No.

Function

Domain1

Information Transfer

Information Problem

2− Infomation Provision

Search Process

3− Infomation Request

Information Object

4. レファレンスインタビューにおける対話行
為予測モデル
本研究では，今までの研究と同様に，利用者の発話に対する被利用者の応答対話行為の予測を行う．これに加えて，被利用者に対する利用者の応答予測も行うことで，対4

Feedback

5

Other

話のモデル化への知見を得る．具体的には，対話行為系列

Librarians’ Taskを利用した予測と単語系列を利用した予測をそれぞれ試行

7

Users’ Task

8

Other

し，対話の文脈というマクロな情報と発話内の単語という

6

Task Management

Greeting

ミクロな情報が対話行為の決定にそれぞれどの程度寄与す

10

Valediction

るかを確認した．

11

Exclamation

12

Apology

13

Gratitude

14

Downplayて述べる．まずデータの前処理について説明し，次に対話

15

Closing Ritual

行為予測モデルの構築方法について述べる．

16

Rapport Building

917

Social Relationship Management

Communication Management

本章では，具体的にどのようにしてレファレンスインタ
ビューにおける対話行為予測のモデル化を行ったかについ

Channel Checking

18

Pausing

19

Feedback

4.1 データの前処理
本研究では，2.1 節で述べた Radford らによるチャット
コーパスを用いる．学習用対話データの作成にあたって

3. 関連研究
対話システムにおける重要な研究課題の一つに対話管理

は，次の規則によってデータを整形する．

• 参与者によるチャット入力 1 行分を 1 発話単位として取り扱うがある．対話管理とは，あるユーザ状態とその認識結果に• 対話における参与者は 1 ターンにつき 1 発話を行う：

対応する適切なシステム行動を決定する問題である．しかある参与者が 1 ターンに複数の発話を行う場合，発話

c 2017 Information Processing Society of Japan⃝3

Vol.2017-NL-234 No.19
2017/12/21

情報処理学会研究報告
IPSJ SIG Technical Report

間に他方の参与者による沈黙が行われているものとみなし，ラベル SILINCE を挿入する• 対話は利用者によって開始される：実際のデータがこれに従わない場合，ラベル START STATE を挿入する• 対話は利用者によって終了される：実際のデータがこ

図 1

れに従わない場合，ラベル END STATE を挿入する

文脈の対話行為とターゲットの対話行為の決定 (窓幅=3)4.2 意図レベル観測系列を用いた対話行為予測
この節では，レファレンスインタビューにおける対話行
為予測モデルについて述べる．具体的には，時刻 t における参与者の発話の対話行為を dt としたとき，その発話に対する他方の参与者の応答発話の対話行為 dt+1 を予測するモデルについて説明する．これにより，意図レベルに抽象化されたマクロな情報が次の対話行為へ与える影響を確認する．
予測モデルには，RNN(Recurrent Neural Network) の一種である LSTM(Long Short-Term Memory)[14] を用いる．RNN は系列データを扱うためのモデルであり，前時刻の中間層の状態を現時刻の入力としても用いることで，内図 2

LSTM による対話行為予測モデル

部状態を保持しながら学習を行う．しかし，通常の RNN
は逆誤差伝播による学習を行う際，勾配が消失するという容そのものが次の対話行為に与える影響を確認する．

問題が起こりうる．LSTM はこの勾配消失の問題を解決す

予測モデルには，4.2 節で述べた LSTM によるモデルとるために改良されたネットワーク構造を持ち，RNN と同様同様のものを用いる．しかし，予測モデルへの入力は，時間にネットワーク構造に前時刻の状態を保持する隠れ層 (メt の時点で観測された発話の系列 {u1 , · · · , ut−1 , ut } を単語

モリブロック) と，隠れ層の各ノードの入力，出力，忘却

分割して連結した長さ N の単語列 {w1 , · · · , wN −1 , wN } とを制御する 3 種類のゲート (入力ゲート，出力ゲート，忘する．各単語は，one-hot ベクトルで表され Embedding 層却ゲート) から構成される．

において 128 次元の密ベクトルに変換される．Embedding

構築したモデルの概要を図 1 に示す．時間 t の時点で観測された対話行為の系列 {d1 , · · · , dt−1 , dt } を各々 one-hot
ベクトルで表したものをモデルの入力とする．各入力ベ層の重み初期値はランダムに設定する．

5. 評価実験

クトルは Embedding 層において 128 次元の密ベクトルに

Radford らによるチャットレファレンスインタビュー

したうえで LSTM へ入力される．Embedding 層の重み初コーパスのうち，Inoue によりアノテーションされた 200

期値については，対話において似た文脈で出現する対話

対話セッション (5,327 発話) を学習データとして用いて 10

行為はそれぞれ似た意味を持つという仮定に基づいて，

分割交差検証により評価した．乱数シード値は固定で実験

CBoW(Continuous Bag-of-Words model)[15] を用いて事を行った．評価指標としては，対話行為の予測精度を確認

前学習する．CBoW は生テキスト (単語の系列) から単語するために，Accuracy，F-score を用いる．しかしながら，埋め込みを学習するための効率的な予測モデルである．本

人対人における対話においては，必ずしも適切な応答が論文では，図 2 のように対話における対話行為の系列を用一意に定まらない場合がある．そこで，5-best Accuracy，いて，文脈の対話行為から，ターゲットの対話行為を予測

Multi-class Log Loss を用いた評価も行う．単語分割は，する CBoW モデルを構築した．これによって得られた重spaCy*1 で行った．予測に用いる対話行為タグとしては，

みベクトルを，Embedding 層の重み初期値として用いる．

Inoue により定義された 19 クラスの Dialogue Act Doaminに加えて，4.1 節で述べた SILENCE 及び END STATE を

4.3 発話レベル観測系列を用いた対話行為予測用いた 21 クラスのタグを用いる．

この節では，レファレンスインタビューにおける対話において，時刻 t における参与者の発話を ut としたとき，そ

5.1 ベースライン手法の発話に対する他方の参与者の応答発話の対話行為 dt+1を予測するモデルについて説明する．これにより，発話内

c 2017 Information Processing Society of Japan⃝

この節では，比較に用いた対話行為予測モデルについ*1

https://github.com/explosion/spaCy

4Vol.2017-NL-234 No.19
2017/12/21

情報処理学会研究報告
IPSJ SIG Technical Reportて述べる．予測モデルには，Random Forests(以下，RF)，導的に進める一方で，利用者は受け身になることが多い．

Multinomial Naive Bayes(以下，MNB) を用いる．対話行

そのため，利用者の応答は一意に決まりやすい場面が多く為系列を入力とした予測モデルには，以下の素性を用いた．

予測が容易であったことが推察される．一方で，図書館員• 現在の時間 tの応答については，個々人の対話戦略の異なりにより自由• 参与者情報度が高いため応答が一意に決定されにくく，文脈によって• 時間 t における発話の対話行為

複数の正解候補が存在したのではないかと考えられる．こ• 時間 t − 1 における発話の対話行為

こから，文脈に応じて複数の許容可能な応答候補を考慮す• 時間 t − 2 までに出現した対話行為の出現回数ることが有効であることが示唆される．また，疑似ラベル• 時間 t − 2 までに出現した対話行為の隣接ペアの出現

SILENCE を発話間に挿入した影響もあると考えられる．

回数
単語系列を入力とした予測モデルには，以下の素性を用いた．

表 4 応答対話行為の予測結果
1-best5-bestF-score手法

LogLoss

意図レベル予測• 現在の時間 t

MNB• 参与者情報RF

0.45170.80790.38342.0496• 時間 t における発話の bag-of-words, bag-of-bigrams

LSTM

0.51540.86670.44701.6111• 時間 t−1 における発話の bag-of-words, bag-of-bigrams

発話レベル予測

MNB

0.14610.5596

0.155022.3260RF

0.41900.78990.35822.0509LSTM

0.43760.80850.34581.8958• 時間 t − 2 までに出現した発話の bag-of-words, bagof-bigrams

0.41140.79510.37714.27125.2 実験結果・考察
4.2 節，4.3 節で述べた対話行為予測モデルの評価結果
を表 4，各対話参与者毎の応答対話行為予測結果を表 5 に示す．対話行為系列を利用した対話行為予測では，ナイー

手法

表 5 各参与者毎の応答対話行為の予測結果
1-best5-bestF-scoreLogLoss

意図レベル予測MNB(図書館員応答)

0.30090.72840.2756

RF(図書館員応答)

0.34420.75350.30542.3536

LSTM(図書館員応答)

0.41510.82180.36181.8778

優る結果となった．1-best Accuracy では 0.51，5-best のMNB(利用者応答)

0.52780.8653

0.4815

3.1842

Accuracy では 0.86 で参与者の応答を予測が可能であるこRF(利用者応答)

0.56510.86540.47501.7293とを確認した．一方で，単語系列を利用した対話行為予測

LSTM(利用者応答)

0.62100.91390.53531.3309では，ナイーブベイズによる予測器の性能が最も性能が低

発話レベル予測23.0166

ブベイズ，Random Forest による予測と比較して，対話行為系列を入力とした LSTM の性能が全ての評価指標でく，Random Forest，LSTM による予測器が優れるという結果となった．ナイーブベイズによる予測の LogLoss は5.3030MNB(図書館員応答)

0.14700.48590.1509RF(図書館員応答)

0.31160.74120.28262.3491

LSTM(図書館員応答)

0.35200.75750.29122.125121.5984

22.32 であり，全く予測できていないことが確認できる．

MNB(利用者応答)

0.1452

0.63710.1738

また，提案手法である LSTM は Random Forest に対し，

RF(利用者応答)

0.53210.84110.4582

1.7369F-score で劣る一方で，5-best Accuracy 及び LogLoss で優LSTM(利用者応答)

0.52780.86220.42871.6542れてることが確認できた．これは，LSTM による予測モデ
ルにおける正解の対話行為の出力確率がより高く，上位に含まれていることを示唆している．

今回の実験では，対話行為系列を用いたモデルと単語系列を用いたモデルでは，対話行為系列を用いたモデルの予各対話参与者毎の応答対話行為予測結果としては，対話

測精度がやや優る結果となった．これは，入力として用い行為系列を用いた予測モデルと単語系列を用いた予測モ

た対話行為系列にアノテーションされた正解を用いたこと

デの両方において，利用者の応答予測が図書館員の応答予や，学習データ量，素性設計による問題でもあったと考え測に比べて容易であるということが確認できた．具体的にられる．しかしながら，対話において出現した単語系列のは，対話行為系列を用いたモデルでは，1-best Accuracy で情報は，抽象化された対話行為の情報を潜在的に含むため，

0.62，5-best Accuracy で 0.91 の高精度で利用者の応答予

両者を組み合わせることで性能向上は期待できると考えら測が可能であった．一方で，図書館員の応答予測は 1-best

れる．今回構築した LSTM によるモデルは，対話においてAccuracy で 0.41，5-best Accuracy で 0.82 と性能差があ観測された発話の単語列を順に LSTM への入力とするシり，単語系列を用いたモデルでも同様の傾向となった．2.1

ンプルなモデルであった．そのため，対話のターン経過に節で述べたように，レファレンスインタビューにおいて図応じた入力系列長の増加に由来する予測性能の低下の問題

書館員は能動的な聞き返しや情報提供などにより対話を主がある．したがって，対話における履歴の効率的な利用を

c 2017 Information Processing Society of Japan⃝5

Vol.2017-NL-234 No.19
2017/12/21

情報処理学会研究報告
IPSJ SIG Technical Report行うための注意機構の導入 [12] や，発話単位や話者交代をモデルとして導入 [16] するなどによるモデルの改善を検討する必要があると考えられる．

6. まとめ[7][8]

本研究では，レファレンスインタビューにおける参与者の応答の対話行為を予測するために，リカレントニューラ
ルネットワークを用いたモデルを構築しその性能評価を[9]行った．評価実験の結果，対話行為系列を用いた予測モデ
ルと単語語系列を用いた予測モデルの 5-best Accuracy はそれぞれ，0.86，0.80 の精度で予測が可能であることを確認した．また，レファレンスインタビューにおいては，図[10]

書館利用者の応答は図書館員の応答予測と比較して高精度で予測が可能であることを示した．対話参与者の応答モデ[11]ル化を行うことは，対話システムにおける対話管理や強化
学習におけるユーザシミュレーション等々への応用が考えられるが，予測性能向上に向けたモデル改良や，対話シス[12]

テム構築へ向けた対話行為タグ設計などの課題が残る．また，本研究では予測モデルへの入力として対話行為系列と[13]発話における単語系列のみを考えたが，レファレンスイン
タビューにおける本質は利用者の情報要求の認識とその充足にある．そのため，利用者の情報要求の状態や検索意図などを対話状態として定義し，対話参与者の行動を追跡で[14]きるような枠組みやその評価方法も，検討していく必要があると考えられる．

[15]

謝辞
本 研 究 は JST さ き が け (JPMJPR165B) お よ び JST

CREST(JPMJCR1513) の支援を受けた．

[16]

Research in Dialog Technologies, Association for Computational Linguistics, pp. 1–8 (2007).
目黒豊美，東中竜一郎， 南泰浩，堂坂浩二：POMDPを用いた聞き役対話システムの対話制御，言語処理学会
第 17 回年次大会，pp. 912–915 (2011).
翠輝久，大竹清敬， 堀智織，柏岡秀紀， 中村哲ほか：
京都観光案内対話コーパスにおける対話行為タグの設計と分析，情報処理学会研究報告音声言語情報処理 (SLP)，
Vol. 2009, No. 10 (2009-SLP-075), pp. 39–44 (2009).
Stolcke, A., Ries, K., Coccaro, N., Shriberg, E., Bates,
R., Jurafsky, D., Taylor, P., Martin, R., Van EssDykema, C. and Meteer, M.: Dialogue act modelingfor automatic tagging and recognition of conversational
speech, Computational linguistics, Vol. 26, No. 3, pp.
339–373 (2000).
Inoue, K.: An Investigation of Digital Reference Interviews: A Dialogue Act Approach, PhD Thesis, Syracuse
University (2013).
Hiraoka, T., Neubig, G., Sakti, S., Toda, T. and Nakamura, S.: Reinforcement Learning of Cooperative Persuasive Dialogue Policies using Framing., COLING, pp.
1706–1717 (2014).
Bordes, A. and Weston, J.: Learning end-to-end
goal-oriented dialog, arXiv preprint arXiv:1605.07683(2016).
Min, W., Wiggins, J. B., Pezzullo, L., Vail, A. K.,
Boyer, K. E., Mott, B. W., Frankosky, M., Wiebe, E. N.
and Lester, J. C.: Predicting Dialogue Acts for Intelligent Virtual Agents with Multimodal Student Interaction Data., EDM, pp. 454–459 (2016).
Hochreiter, S. and Schmidhuber, J.: Long short-term
memory, Neural computation, Vol. 9, No. 8, pp. 1735–
1780 (1997).
Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S.
and Dean, J.: Distributed representations of words andphrases and their compositionality, Advances in neural
information processing systems, pp. 3111–3119 (2013).
Serban, I. V., Sordoni, A., Bengio, Y., Courville, A. C.
and Pineau, J.: Building End-To-End Dialogue Systems
Using Generative Hierarchical Neural Network Models.,
AAAI, pp. 3776–3784 (2016).

参考文献
[1]

[2]
[3]

[4]

[5]

[6]

Yoshino, K. and Kawahara, T.: Conversational system
for information navigation based on POMDP with user
focus tracking, Computer Speech & Language, Vol. 34,
No. 1, pp. 275–291 (2015).
日本図書館学会. 用語辞典編集委員会：図書館情報学用語辞典，丸善株式会社 (1997).
Radford, M. L., Connaway, L. S., Confer, P. A., SabolcsiBoros, S. and Kwon, H.: ” Are we getting warmer?”
Query clarification in live chat virtual reference, Reference & User Services Quarterly, pp. 259–279 (2011).
泰 則 斎 藤：レ フ ァ レ ン ス・イ ン タ ビ ュ-に お け
る 利 用 者 モ デ ル ，Library and information science, No. 27, pp. p69–85（ オ ン ラ イ ン ），入 手 先⟨http://ci.nii.ac.jp/naid/40000019897/en/⟩ (1989).
Radford, M. L. and Connaway, L. S.: Seeking synchronicity: Evaluating virtual reference services fromuser, non-user, and librarian perspectives, Proposal fora research project, submitted February, Vol. 1, p. 2005
(2005).
Williams, J. D.: Applying POMDPs to dialog systems in
the troubleshooting domain, Proceedings of the Workshop on Bridging the Gap: Academic and Industrial

c 2017 Information Processing Society of Japan⃝

6