Vol.2017-SLP-117 No.5
2017/7/28

情報処理学会研究報告
IPSJ SIG Technical Report

CNN を用いたレファレンス・インタビュー
における対話行為の推定河野誠也1,a)

吉野幸一郎1,2,b)

鈴木優1,c)中村哲1,d)

概要：対話システムによってユーザの情報検索を補助する場合，相手の意図や知識を適切に推定し，その意図や知識に応じて適切な補助を行うために，対話行為を用いた対話管理が重要となる．本稿では，対話システムにおけるユーザの検索意図明確化のための応答戦略を，図書館における書籍検索補助サービスの一部であるレファレンス・インタビューにおける図書館員の振る舞いからモデル化することを志向して，レファレンス・インタビューで行われる対話行為についての検討，及び対話行為自動推定法の検証を行った．具体的には，Byte Pair Encoding に基づいた Tokenizer により，発話を語彙数固定制約のもとでサブワード単位の系列に分割し，Convolutional Neural Network を用いた分類器の素性として用いることで，単語単位で分割した場合と比較した．この結果，提案法では使用する語彙数を抑えつつ対話行為推定の精度が改善されることが確認できた．
キーワード：レファレンス・インタビュー，対話行為自動推定

1. はじめに調査に関するレファレンスサービスの回答の正確さが大幅に向上することが知られている [3]. こうした機能を対話シ

情報検索をタスクとする対話システムにおいて，ユーザステムに導入することができれば，ユーザが必要とする情の質問はしばしば曖昧であり，その質問のみでは応答する報にたどり着く可能性を高めることができると期待できる．

ことが難しい場合がある．このとき，システム側から何らそこで本稿では，対話システムにおけるユーザの検索意かの聞き返しや情報提示を行い，ユーザの検索意図の明確図明確化のための応答戦略を，レファレンス・インタビュー化を行うことが重要となる [1]．

における図書館員の振る舞いからモデル化することを志向

人対人で情報検索をタスクとする対話が行われる場面として，レファレンス・インタビューで行われる対話行為にして，図書館におけるレファレンス・サービスがある．レ

ついて，Inoue によるタグセット [4] を基に検討を行った．

ファレンス・サービスとは，図書館利用者が学習・研究・また，この対話行為タグの推定について，Convolutional調査を目的として必要な情報・資料などを求めた際に，図Neural Network を用いた分類器を構築し，どのような素書館員が情報そのもの，あるいはそのために必要とされる性が有効かについての検証を行った．その結果，Byte Pair

資料を検索・提供・回答することによってこれを助ける図

Encoding に基づいた Tokenizer により，発話を語彙数固定

書館サービスである [2]．レファレンス・サービスにおいて制約のもとでサブワード単位の系列に分割し機械学習の素は，図書館利用者の曖昧な情報要求を明確化することを目性として用いることで，単語単位で分割した場合と比較し的としてレファレンス・インタビューというインタビューて，使用する語彙数を抑えつつ対話行為推定の精度を改善が行われる．また，このレファレンス・インタビューを事できることを確認した．

前に行った場合，行わなかった場合と比較して簡易な事実
12a)
b)c)
d)

奈良先端科学技術大学院大学情報科学研究科
Graduate School of Information Science, Nara Institute ofScience and Technology
科学技術振興機構
Japan Science and Technology Agency
kawano.seiya.kj0@is.naist.jp
koichiro@is.naist.jp
ysuzuki@is.naist.jp
s-nakamura@is.naist.jp

c 2017 Information Processing Society of Japan⃝

2. 図書館におけるレファレンス・インタビュー
レファレンス・サービスにおける図書館員は，レファレンス・インタビューを通じて，利用者の情報要求を明確化したうえで回答を提供する．その際，インタビューによって質問の主題を確定するとともに，要求が生じた状況や背景，情報利用の目的や動機などを利用者が語る内容から明らか

1Vol.2017-SLP-117 No.5
2017/7/28

情報処理学会研究報告
IPSJ SIG Technical Report
表 1 チャットレファレンス・インタビューの例

No.

Speaker

Utterance

1Patronhere is a current in a metal wire due to the motion of electrons. sketch a possible path for the motion of a single

2

Patronyou can just describe what they would look like3

Librarian

Just a moment, please....

4

PatronThanks

5

LibrarianIs this for a school assignment and if so what is your grade level?

6

PatronI m a junior in high school... it s for a physics class... i have a test tomorrow and this stuﬀ and I m still shakey

7

LibrarianWhat part of your physics books this question comes from: electricity?

8

Patronya
Let me check

electron in this wire, the direction of the electric field vector, and the direction of conventional current.

on it

9

Librarian10

LibrarianHold on please11

Patronok12

Librarian

I am still checking

13

LibrarianHold on please14

Librarian

http://www.swansontec.com/set.htm

15

Librarian

The source that I just sent has good graphics that shows the electic currents

16

Librarian

And the graphic is animated so you can see the movement

17

LibrarianCan you see the page?

18

Patronyes

19

Librarian

Let me check for more hold on please...にする．また，利用者が対話以前から明確に意識している

れているすべての発話について，参与者，日時（分単位）ことだけでなく，図書館員のインタビューによってはじめに関する情報が付与されており，個人情報（利用者の名前て意識し思い起こすようなことや，図書館員に問われそのやメールアドレスなど）に関わる部分については，匿名化時点で考えたことも，適切な文献を推薦する上で重要な手処理が施されている．

がかりとなる．こうした情報を総合して，ユーザが真に必レファレンス・インタビューにおける実際の対話例を表要とする文献を見つけるためのインタビューを行う [5]．

1 に示す．表 1 の例では，利用者の質問に対して，単に回Radford らは，Online Computer Libaray Center，Inc.

答を提示するのではなく，図書館員がインタビューを通じ（OCLC）が提供するチャットレファレンス・サービスて，次の日に学校で試験があることなどの背景情報や，利QuestionPoint に記録されたレファレンス・インタビュー

用者の学年，検索履歴などの事項を明らかにしていることのチャットログをランダムにサンプリングし，サービスのがわかる．

利用者と被利用者（＝図書館員）を対象とした分析を行った．その結果，チャットレファレンスでは相手との共感を2.2 レファレンス・インタビューにおける対話行為生み出すことが重要であることを指摘しており，そのため人間同士が行っているような自然な対話を行う対話シスには図書館員が自分自身についての情報を提供し，安心をテムを構築する上で，システムの全ての振る舞いをルール与え，ユーモアのある形式張らない言葉遣いをすることがで網羅的に記述する方法は非現実的である．そこで，強化勧められるとしている．また，レファレンス・サービスに学習などの枠組みを用いてシステムの振る舞いを対話コー

おいては，正しい回答を示すだけでなく，図書館が対話をパスから統計的に学習する試みがなされている [7]．しかしする能力を発揮することで，利用者のニーズを理解しようながら，このようなデータ駆動型のアプローチを用いてモとし，信頼関係を築き，利用者に安心感を与えることが重デル化を行う場合，学習に用いることができる対話データ要であり，それが「名前も顔もない白い検索ボックス」との量は限られるため，入力シンボルとなる発話をある程度図書館員を分けるものであると述べている [6]．

汎化した状態で，記述し取り扱うことが必要となる [1], [8]．
そこで，本稿では発話を汎化し記述するために対話行為タ

2.1 レファレンス・インタビューコーパス
本稿では，Radford らが用いた QuestionPoint におけるチャットデータをコーパスとして用いる．本データは，800セッション，約 12,634 発話から構成される．また，収録さc 2017 Information Processing Society of Japan⃝グに着目する．対話行為とは，対話において参与者がどのような意図を持って発話を行ったかの種類を判断するために用いられるタグとして定義される [9]．
レファレンス・インタビューに特化した対話行為タグと2

Vol.2017-SLP-117 No.5
2017/7/28

情報処理学会研究報告
IPSJ SIG Technical Report

して，Inoue によるタグセットがある [4]．Inoue は，レファ

3.1 Byte Pair Encoding

レンス・インタビューにおける参与者の行動は，円滑なコ

Byte Pair Encoding（以下，BPE）では，出現頻度が高ミュニケーションの促進と維持のために，1）情報の伝達，い文字 bigram を使われていない符号に置き換えていくこ

2）情報探索活動におけるタスク管理，3）挨拶や感謝などとを繰り返していくことでテキストを圧縮する．Sennrichによる社会的関係の維持，4）通信の物理的側面の管理とらは，ニューラル機械翻訳のタスクにおいて，BPE をテいった 4 つの種類に分類可能であるとしている．具体的にキストの単語分割に応用している [10]．具体的には，制約は，発話を機能（Dialogue Act Function; DAF）とドメイ

語彙数を目的関数として，テキストを圧縮し，最終的に得ン（Dialogue Act Domain; DAD）の 2 つの意味的レベルられた符号に対応する文字列を利用している．これによで取り扱い，対話行為タグの定義を行っている（表 2，3）．

り，低頻度語や未知語をサブワードの系列として取り扱

表 2うことで，語彙数を抑えながら OOV が削減でき，機械翻Dialogue Act Function（5 クラス）

訳の評価尺度である BLEU が向上したことを報告していNo

Dialogue Act Function

Description

1

Information Provision

To provide informa-る．本稿では，テキスト分類のタスクである対話行為自動tion

推定のタスクにおいても有効であると仮定して，これを素To request informa-性抽出に用いた．Tokenizer には，BPE の拡張実装である

2Information Requesttion
3

Task Management

To assign or commit

4Social Relationship Management

To

SentencePiece*1 を用いた．

to tasks
managesocio-

3.2 Convolutional Neural Network

emotional aspects of

本稿では，対話行為推定器に Convolutional Neural Net-communication
5

Communication Management

To manage physicalwork（以下，CNN）を用いた．具体的には，一層の畳み

aspects of communi-

込みと Global Max Pooling，512 × 4 の中間層，出力層cationで構成されるシンプルなモデルを用いた．畳み込みカー
ネルの数は 512，フィルターサイズは 3，ストライド幅は

表 3

Dialogue Act Domain（19 クラス）

1 を設定し，各層において Dropout（比率 0.5）と Batch

No.

Function

DomainNormarizataion を適用した．また，出力層の次元は，対話

1

Information

Information Problem

行為タグのクラス数であり，推定には Softmax 関数を用い

2

Search Process

た．単語埋め込みベクトルの初期値については，ランダム

3

Information Object

4

Feedback

56に設定を行い，次元数は 100 を設定した．

OtherTask Management

Librarian s Task

7

User s Task

8

Other

3.3 評価条件
Radford らによるチャットコーパスのうち，Inoue によりGreeting

アノテーションされた 200 セッション，5,327 件の発話を用10Valediction

いて，10 分割交差検証により評価を行った．SentencePiece

11Exclamation

によるサブワード分割モデルの学習については，コーパスの12

Apology

13

Gratitude

うち対話行為タグがアノテーションされていない 600 セッ

14

Downplay

ション，7,307 件の発話を用いて学習を行った．また，比較

15

Closing Ritualのため，発話を単語単位での分割を行い素性として学習した

16

Rapport Building

917

Social Relationship Management

Communication Management

Channel Checking

CNN，従来素性を用いて学習した Multi Layer Perceptron

19

Pausing（以下，MLP），Random Forests Classifier（以下，RF）を20

Feedback用意した．従来素性については，先行研究 [11], [12] を参考に以下を用いた．また，すべて実験において，乱数シード

3. レファレンス・インタビューにおける対話
行為自動推定法の改善
本章では，Inoue によるタグセットを用いてレファレン値は固定して行った．

• Bag-of-words(BoW): 各要素は単語の出現頻度• Bag-of-bigram(BoB): 各要素は単語 bigram の出現頻度• Speaker type: 参与者タイプ

ス・インタビューにおける対話行為の自動推定を行った．

• Text segmentation length: 発話を構成する単語の数

推定には，Convolutional Neural Network による対話行為• Message position: 対話における発話の出現位置推定器を構築し，Byte Pair Encoding により，発話をサブワード単位の系列に分割したものを素性として用いた．

c 2017 Information Processing Society of Japan⃝*1

http://github.com/google/sentencepiece3Vol.2017-SLP-117 No.5
2017/7/28

情報処理学会研究報告
IPSJ SIG Technical Reporthsize
表 4 各手法における対話行為推定結果の比較
Methods

語彙数DADDAF

平均 OOV

最大単語長

平均単語長

平均発話長

Subword-Level CNN

970.8601 *

0.71750.041.560.6

Subword-Level CNN

1970.8684 ***0.7256 *

0.0

102.5

46.3

Subword-Level CNN

2950.8622 ***0.7209 *

0.0

102.8

41.1

Subword-Level CNN

395

0.8620 **0.7130

0.0

123.2

37.8

Subword-Level CNN

4940.8570 **

0.7122

0.0

133.4

35.8

Subword-Level CNN

5920.8585 **0.7141

0.0

13

3.5

34.3

Subword-Level CNN

686

0.85850.7092

0.2

133.7

33.2

Subword-Level CNN

7840.8556

0.7091

0.4

133.8

32.3

Subword-Level CNN

881

0.85360.70400.7133.831.5

Subword-Level CNN

977

0.85410.7046

1.6134.0

30.9

Word-Level CNN

6091

0.84380.6937

333.9

80

6.9

16.5

MLP（BoW + BoB）

6091

0.84980.7119

333.9

80

6.9

16.5

MLP（全素性）

6091

0.85150.7145

333.9

80

6.9

16.5

RF（BoW + BoB）

6091

0.82920.6790

333.9

80

6.9

16.5

RF（全素性）6091

0.83670.7008
333.9
80
6.9
16.5
MLP（全素性）との paired t-test の結果 * 5%水準で有意** 1%水準で有意*** 0.1%水準で有意3.4 評価結果

表 6

レファレンス・インタビューにおける対話行為を自動推定した結果を表 4 に示す．表 4 では，100，200，300，Dialogue Act Domain （19 クラス）の推定結果

DA

Precision

Recall

f1-score

supportInfo:Probrem

0.65820.83540.73631203

Info:Seaech

0.67110.5982

0.6326672

400，500，600，700，800，900，1000 の語彙数固定制約

Info:Obj

0.81110.83020.82051184のもとで発話をサブワードの系列に分割した場合（以下，Info:Feedback

0.23260.09010.1299111

Subword-Level CNN）と，単語単位の系列に分割した場合

Info:Other

0.56880.46850.5138393

Task:Librarian

0.57890.52380.5500126

Task:User

0.42860.25000.3158

96ている．評価の結果，Word-Level CNN（語彙数 6091）とTask:Other

0.00000.00000.00006

比較して，Subword-Level CNN（語彙数 100 から 1000）をSocial:Greeting

0.89240.90690.8996247

用いた場合のほうが，DAF，DAD のいずれにおいても，精Social:Valediction

0.94440.75560.839545

Social:Exclamation

0.53850.33330.411821

Social:Apology

0.40000.09520.153821

が話者情報や発話の対話における出現位置といった情報をSocial:Gratitude

0.89090.94560.9174423

素性として用いた従来手法の精度より低い結果となった．

Social:Downplay

0.92000.70770.800065

これに対して，Subword-Level CNN では，DAF において，Social:Closing

0.36840.21880.274532

Socail:Rapport

0.40280.35370.376682

語彙数を 100，200，300，400，500 とした場合で，有意（pComm:Channel

0.8857

0.46270.607867< 0.05）に精度が改善されていることが確認できた．さらComm:Feedback

0.71610.72290.7195314に，DAD においては，語彙数を 200，300 とした場合におComm:Pausing

0.89810.84470.8706219

avg/total

0.71540.72560.71455331（以下，Word-Level CNN）
，その他従来手法との比較を行っ度が高くなることが確認できた．また，Word-Level CNN

いて，有意に精度が改善されていることが確認できた．また，単語単位の素性を用いたモデルでは，10 分割交差検証において平均して OOV が 333 程度発生しているのに対して，サブワードを用いたモデルでは，ほとんど OOV が発生していないことが確認できた．
表 5

3.5 対話行為の検討
本 節 で は ，3.2 節 で ベ ス ト ス コ ア を 出 し た Subword-Level CNN が推定した対話行為についてのエラー分析
を 行 う ．各 対 話 行 為 に お け る 推 定 結 果 を 表 5，表 6 にDialogue Act Function （19 クラス）の推定結果示す．DAF については，Precision，Recall，F 値においDA

Precision

Recall

f1-score

supportて高い値で対話行為を推定できた．一方で，DAD につInfo Provision

0.88830.93280.91002857

いては，学習データの不足からか，各対話行為推定結Info Request

0.84220.87990.8606758

Social Rel Mgmt

0.87350.8316

0.8520689

Comm Mgmt

0.85990.7454

0.7986593

留まった．特に，Info:Feedback，Task:User，Task:Other，

Task Mgmt

0.76440.64880.7019430

Social:Exclamation，Social:Apology，Social:Clossing，So-avg/total

0.86670.86840.86635331

cial:Rapport といった対話行為では、F 値が 0.5 を下回る

果における F 値の加重平均は，0.72 程度と低い結果になどさらなる手法の改善が求められる結果となった．これc 2017 Information Processing Society of Japan⃝

4Vol.2017-SLP-117 No.5
2017/7/28

情報処理学会研究報告
IPSJ SIG Technical Reportについては，例えば，対話履歴の情報を素性として用いる

い精度で対話行為を推定できたものの，DAD については，などして改善が可能であると考えられる．

比較的低い推定精度に終わった．これはデータの不足と同また，DAD において，対話行為分類の精度が低かった

時に，一貫したアノテーションが困難な場合がある現行ア原因としては，対話行為タグのアノテーション作業時におノテーションスキーマの問題でもあると考えられる．今後ける曖昧性も原因であると考えられる．以下の例に示すよは，学習に用いるデータを増やすことや，対話履歴の情報うに，通常，ユーザや図書館員の発話は，複数の対話行為を素性として用いるなどしてモデルの改善を行う必要があで構成される (カッコ内はアノテーション候補となりうるると考える．また，Inoue による定義を拡張し ISO24617-2

対話行為)．しかしながら，Inoue のタグセットでは，一つを参考としたアノテーションスキーマの検討を行って行きの発話に対して，DAF と DAD をそれぞれ一つアノテーたい．本研究で取り扱ったレファレンス・インタビューでションしているため，アノテーション作業者によってアノは，ユーザが求める情報を提供するために必要な情報を提テーション結果に齟齬が生じている．このような対話行為供するために対話を行うという点でタスク志向型対話であタグのアノテーション時に生じる曖昧性については，作業るといえる．一方で，自然対話のような目標達成に直接関者に対するトレーニングによる熟練度の向上はもちろんの係がないような発話も多数行われており，非タスク志向型

こと，対話行為タグの定義の改良によって解消を行うこと対話の側面もある．これらの点を考慮し，それぞれの観点が必要となると考えられる．

から情報検索対話に必要となる機能を整理したアノテー• thank you so much. this looks great. can you find any

ションスキーマを検討していく必要がある．

reasons why tea would do this? (Social:Gratitude,Info:Probrem)• ”Name”, welcome to maryland askusnow! i’m looking
at your question right now; it will be just a moment.

謝辞
本 研 究 は JST さ き が け（JPMJPR165B）お よ び JST

CREST（JPMJCR1513）の支援を受けた。

(Social:Greeting, Task:Librarian, Comm:Pausing)
このような問題を防ぐための方法としては，Bunt による対話行為タグの定義 ISO24617-2[13] で与えられるタグ

参考文献[1]の付与方法が有効であると考える．ISO24617-2 では，特定の課題達成に向け対話内容を進行させる一般目的機能(General-Purpose Function; GPF) に基づくタグと，発話順番の決定や対話を構造化するといった，相互に対話を通じてやり取りを行う上での調整に関する機能を扱う次元特[2][3]

有機能 (Domain-Specific Function; DSF) に基づくタグが区別して用意されている点で特徴的である．Inoue が定義したタグセットをこの ISO24617-2 の定義と照らし合わせ，[4]

DSF に相当するものは複数タグの付与を許すなどすることで，こうしたタグ付与上の問題を解決することができる．

[5]

4. まとめ
本稿では，レファレンス・インタビューにおける発話の[6]

対話行為を自動推定するために，CNN を用いたモデルを構築した．評価実験の結果，従来素性を用いたベースラインと比較して，高い精度で対話行為推定が可能であることを[7]確認することができた．また，本研究で用いたモデルでは，CNN への入力として，発話を単語単位で分割した場合の[8]系列と，サブワード単位で分割した場合の系列を素性として用いてその比較を行った．その結果，目標ドメインにおける対話コーパスで学習したサブワード分割器により，発話をサブワード単位の系列に分割したものを CNN の入力素性として用いることで，単語単位の系列を素性として用いた場合と比較して精度が改善されることが確認できた．
一方で，本研究で構築したモデルでは，DAF ついては高c 2017 Information Processing Society of Japan⃝[9]

Yoshino, K. and Kawahara, T.: Conversational system
for information navigation based on POMDP with user
focus tracking, Computer Speech & Language, Vol. 34,No. 1, pp. 275–291 (2015).
日本図書館学会. 用語辞典編集委員会：図書館情報学用語辞典，丸善株式会社 (1997).
Radford, M. L., Connaway, L. S., Confer, P. A., SabolcsiBoros, S. and Kwon, H.: ” Are we getting warmer?”
Query clarification in live chat virtual reference, Reference & User Services Quarterly, pp. 259–279 (2011).
Inoue, K.: An Investigation of Digital Reference Interviews: A Dialogue Act Approach, PhD Thesis, Syracuse
University (2013).
泰 則 斎 藤：レ フ ァ レ ン ス・イ ン タ ビ ュ-に お ける 利 用 者 モ デ ル ，Library and information science, No. 27, pp. p69–85（ オ ン ラ イ ン ），入 手 先⟨http://ci.nii.ac.jp/naid/40000019897/en/⟩ (1989).
Radford, M. L. and Connaway, L. S.: Seeking synchronicity: Evaluating virtual reference services fromuser, non-user, and librarian perspectives, Proposal fora research project, submitted February, Vol. 1, p. 2005
(2005).
目黒豊美，東中竜一郎， 南泰浩，堂坂浩二：POMDPを用いた聞き役対話システムの対話制御，言語処理学会
第 17 回年次大会，pp. 912–915 (2011).
翠輝久，大竹清敬， 堀智織，柏岡秀紀， 中村哲ほか：
京都観光案内対話コーパスにおける対話行為タグの設計と分析，情報処理学会研究報告音声言語情報処理 (SLP)，
Vol. 2009, No. 10 (2009-SLP-075), pp. 39–44 (2009).
Stolcke, A., Ries, K., Coccaro, N., Shriberg, E., Bates,R., Jurafsky, D., Taylor, P., Martin, R., Van EssDykema, C. and Meteer, M.: Dialogue act modelingfor automatic tagging and recognition of conversationalspeech, Computational linguistics, Vol. 26, No. 3, pp.
339–373 (2000).

5

情報処理学会研究報告
IPSJ SIG Technical Report

[10]

[11]

[12]

[13]

Vol.2017-SLP-117 No.5
2017/7/28

Sennrich, R., Haddow, B. and Birch, A.: Neural machine translation of rare words with subword units, arXiv
preprint arXiv:1508.07909 (2015).
: Yu Bei., Keisuke Inoue.: An Investigation of Digital Reference Interviews: Dialogue Act Annotation
with the Hidden Markov Support Vector Machine. ,OCLC/ALISE research grant report published electronically by OCLC Research, 2012.，PhD Thesis.
Ivanovic, E.: Dialogue act tagging for instant messaging
chat sessions, Proceedings of the ACL Student ResearchWorkshop, Association for Computational Linguistics,
pp. 79–84 (2005).
Bunt, H., Alexandersson, J., Choe, J.-W., Fang, A. C.,
Hasida, K., Petukhova, V., Popescu-Belis, A. andTraum, D. R.: ISO 24617-2: A semantically-based
standard for dialogue annotation., LREC, pp. 430–437(2012).

c 2017 Information Processing Society of Japan⃝6