言語処理学会 第 18 回年次大会 発表論文集 (2012 年 3 月)￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣

コールセンタ対話における話者の知識量推定
宮崎 千明 東中 竜一郎 牧野 俊朗 松尾 義博
日本電信電話株式会社 NTT サイバースペース研究所{miyazaki.chiaki, higashinaka.ryuichiro, makino.toshiro,matsuo.yoshihiro}@lab.ntt.co.jp
はじめに

1

表 1: 知識量主観評価の判定基準（4 段階）

近年，多くの企業において，一般消費者からの問合せ

知識量

定義や注文などを受け付ける総合窓口としてコールセンタ

1234

通話前は何も知らない
必要最低限の知識しかない
ある程度の知識はあるが，十分ではないオペレータが説明する内容のほとんどは通話前から知っているが導入されている．コールセンタに蓄積された「顧客の声」は「貴重な経営資源」[8] と考えられており，その分析は企業の意思決定において重要な意味を持つ．
しかし，蓄積された通話数はあまりに膨大で，人手ですべての通話を聴取し，分析することは不可能である．

表 2: 知識量主観判定の一致度
一致率

よって，分析対象を絞り込む手段として，通話を何ら4 段階判定
2 段階判定かの基準によって分類する技術が求められている．
通話分類の軸として，我々は，問い合わせてくる顧客の知識量が有用であると考えている．なぜなら，コールセンタの通話内容は，顧客の知識量によって大きく異なると考えるからである．例えば，どのようなトラブルに陥りやすいか，また，どのような言い回しで説明すれば理解されやすいか，というのは顧客の知識量によって異なる．そこで，本研究では，コールセンタの通話などの情報・知識の伝達や獲得を行う対話から，問い合わせる側の話者の知識量を推定する手法を提案する．
本研究の目的は，話者の知識量を反映する特徴量を探り，高精度な知識量推定を実現することである．ア0.520.70

κ値0.250.41

オペレータが会話の前提知識であるとみなし，特段の説明なしに対話に導入するような知識のことである．
例えばインターネットサービスプロバイダのコールセンタの場合，オペレータは「インターネットを利用するにはインターネット回線が必要である」という知識について，ユーザも知っているという前提で会話を開始する．この場合，「インターネットを利用するにはインターネット回線が必要である」という知識は必要最低限の知識に該当する．
「十分な知識」の量については，オペレータと同等の知識量として定義した．

プローチとしては，教師あり機械学習を用いて知識量2.2の自動推定を行う．

表 1 の判定基準に基づいて，261 対話を対象に話者の知識量判定の一致度知識量判定を実施した．具体的には，作業者 2 名（筆2

知識量主観判定者らを含まない）に個別に対話を聴取させ，各対話の2.1

知識量判定基準の策定

ユーザの知識量が，4 段階のうち，どの知識量に該当話者の知識量とは，そもそも客観的に判定できるものするかを判定させた．表 3 に知識量主観判定の一致率，であるのかを検証するため，事前調査として，複数名および κ 値（Cohen’s Kappa）を示す．ここで，一致の作業者に一定の基準に基づいて知識量を主観評価さ率は全 261 通話中，2 名の判定が一致した割合を示しせ，その一致度を確認した．ている．

話者の知識量を表 1 に示される 4 段階に設定し，主表 2 の通り，知識量を 4 段階で定義し，主観判定を観判定を実施した．対象とする対話コーパスとしては，した場合，作業者 2 名による判定の一致率が 0.52，κ問合せ，契約等をタスクとするコールセンタの通話音

値は 0.25 となり，ともに値が低く，複数名の間で一致声を用意した．

した判定は難しいことが分かった．そこで，知識量判

表 1 の定義付けにおける「必要最低限の知識」とは，定基準を表 3 に示される 2 段階で定義したところ，作― 1166 ―Copyright(C) 2012 The Association for Natural Language Processing.
All Rights Reserved表 3: 知識量主観評価の判定基準（2 段階）
知識量定義

小大

必要最低限以下の知識しかない
ある程度以上の知識がある

表 4: 発話意図判定のためのパターン例
意図質問
説明

業者 2 名の主観判定の κ 値は 0.41 となり，判定は中程度一致することが確認できた．
以上により，話者の知識量を必要最低限以下の知識基準に基づいた知識量主観判定を行い，作業者 2 名の判定が一致した 180 対話を対象に，知識量推定技術の評価を行うこととする．なお，180 対話中のユーザの知識量の内訳は，知識量小が 94 対話，知識量大が 86対話である．

3.1.2

ですか。かしら。等です。でして。等ので。から。
けど。けれど。等
はい。ええ。うん。

異なり語数異なり語数とは，通話においてユーザが何種類の単語を使用したかを指す．同様の用件の通話を終えるのに，あるユーザが他のユーザより多くの種類の単語を使う必要があったということは，そのユーザの意思疎通が非効率であったことを示していると考え，本研究では，ユーザの使用語彙の異なり語数を特徴量として用いる．
異なり語数の算出は，音声認識結果から抽出した発話提案手法

3

記述文・同定文
理由の説明
聞き手の意思決定に資する
情報・条件の提示

相槌量であるか，それよりも多いかという 2 段階で判定することは可能であると分かった．以降，2 段階の判定

パターン

本研究では，教師あり機械学習によってユーザの知識量を推定する．推定のための特徴量としては，ユーザの使用語彙に関する特徴量（語彙的特徴量），及び，オ列を入力として形態素解析を行い，その出力中の名詞と未知語の異なり数を数えることによって行う．

3.1.3

対話的特徴量ペレータとユーザの対話のやりとりに関する特徴（対コールセンタ対話は，主に情報・知識の伝達や獲得を話的特徴量）を用いる．

目的としたコミュニケーション [6] で構成されている

3.1
3.1.1と考えられる．そこで，そうした対話において重要な語彙的特徴量

発話意図である「質問」，「説明」，「相槌」に該当する発語彙の専門性

関連研究に倣い，語彙の専門性を知識量推定の特徴量として利用する．検索システムのユーザを対象とした関連研究 [3] では，ある分野において認知度の低い事柄を検索している人は知識の豊富な人であると捉え，検索クエリとして入力された単語の珍しさを表す指標を用いて，ユーザの知識量を推定している． これに倣い，本研究では，話者の使用語彙の専門性を特徴量化する際，その話者が使用する単語の珍しさの平均値話を抽出し，知識量推定のための特徴量として導入する．本研究では，「質問」，「説明」，「相槌」に該当する発話を，発話末の言語表現に対する正規表現のパターンマッチによって，表層的に判別する．表 4 は「質問」，「説明」，「相槌」の判定に利用した正規表現パターンの例である．

3.1.4

質問に関する特徴量

質問とは，相手から情報を得るための言語手段であるを用いる．単語の珍しさとしては，Inverse Documentと考えられている [5]．よって，発話される質問の回Frequency (IDF) を用いる．総対話数が N ，単語 t を含む対話数が dft のとき，単語 t の IDF 値は以下の方法で算出する．

数には，話者が持ち合わせる情報の量，つまり知識量

idft = logが反映されていると考えられる．表 4 の例に示されるような発話末の言語表現を手掛かりに質問発話を抽出し，オペレータとユーザそれぞれの質問回数を特徴量

Ndftとして用いる．

本研究では，ユーザの使用語彙の平均 IDF は，音声認
識結果から抽出した発話列を入力として形態素解析を

3.1.5

疑問詞疑問文に関する特徴量

質問の形式をとる発話の中には，話者の持つ仮説の正行い，その出力中の名詞と未知語のみを利用して算出否を確認する機能を果たすものが含まれている．しかする．なお，形態素解析には形態素解析システム「茶し，話者の知識量を推定するうえでは，未知の情報を筌」1 を使用した．

要求する質問を抽出することが重要であると考えられるため，オペレータとユーザそれぞれが発話した「疑1 http://chasen-legacy.sourceforge.jp/問詞疑問文」の回数も抽出し，特徴量として用いる．

― 1167 ―Copyright(C) 2012 The Association for Natural Language Processing.
All Rights Reserved疑問詞疑問文とは，疑問詞（「何」，「どう」，「どこ」
表 5: 各種特徴量を用いた実験の適合率・再現率等）が含まれる疑問文のことであり，本研究では，質特徴量

問発話の中に疑問詞に該当する言語表現があるかどう適合率

提案手法（F1-F10）
0.80
ユーザの bag of words（B1） 0.72
発話数（B2）0.61

かを正規表現で判別することによって疑問詞疑問文を抽出し，オペレータとユーザそれぞれの疑問詞疑問文

再現率0.43
0.28
0.45の発話回数を特徴量として使用する．

4.1
3.1.6説明に関する特徴量

実験手順

対象としたデータは，2 節で述べたコールセンタの通本研究では，相手に情報を提供する行為を「説明」と話 180 通話の音声認識結果である．2.2 節の手順によ呼ぶ．具体的には，表 4 に示される 3 種類の発話を説り，そのうち 94 対話に「知識量小」，86 対話に「知明とみなす．
「記述文」とは，ある事物の属性を記述す識量大」のラベルが付与されている．なお，音声認識る文のことで，「同定文」とは，ある役割に値を割り当には VoiceRex[7] を用いた．使用する特徴量は，(F1)てる文のことである [4]．例えば，「日本の首都は東京

ユーザの語彙の平均 IDF 値，(F2) ユーザの異なり語です。」は「日本の首都」という役割に「東京」という数，(F3) オペレータの質問回数，(F4) ユーザの質問値を割り当てる同定文である．記述文・同定文の抽出回数，(F5) オペレータの疑問詞疑問文の回数，(F6)は，発話末の「です」等のパターンを用いて判定する．

ユーザの疑問詞疑問文の回数，(F7) オペレータの説明「理由の説明」とは，自身の先行する発話に対し，回数，(F8) ユーザの説明回数，(F9) オペレータの相発話内容（命題）が成立する理由を付け加えるための槌回数，(F10) ユーザの相槌回数の 10 種類とした．

発話とする．本研究では，発話末が「ので」または「か各通話の音声認識結果から抽出した特徴量とその通ら」で終わっているものを「理由の説明」として抽出

話にあらかじめ付与された知識量ラベルの組を学習する．

データとし，教師あり機械学習の手法である Support「聞き手の意思決定に資する情報・条件の提示」とは，聞き手が何かをするための参考となるよう，提示Vector Machine (SVM) を用いてモデルを学習し，知識量を推定した．カーネル関数には 2 次の多項式カーされる情報のことを指す．これは，言い終わりの「けネルを用い，学習・推定は 10 分割交差検定によってど」の持つ終助詞的機能 [9] であり，本研究では，発実施した．さらに，単語の出現回数や発話数などの単話末が「けど」等のパターンで終わっているものを抽

純な特徴量と精度を比較するために，(B1) ユーザの発出し，説明の一部として加えることとする．

話における各単語の出現回数（bag of words），(B2)3.1.7

オペレータおよびユーザの発話数を特徴量として用い

相槌に関する特徴量

対話において聞き手が打つ相槌の果たす役割は，相手た比較実験も行った．の発話の継続を促すと同時に，相手の発話内容を理解4.2していることを示すことなどである [1]．よって，あ情報抽出で一般的な，適合率（precision）・再現率（re-る話者が相槌を打った回数は，その人が聞き手に回っcall）を用いて「知識量小」の推定精度を評価した．正た回数や，どのくらい相手の発話内容を理解できたかしく抽出できた「知識量小」の数を R，「知識量小」とを表すと考えられ，話者の知識量との関連が期待されして抽出した総数を N，全データ中の「知識量小」のる．そこで我々は，発話末に「はい」，「うん」，「ええ」

数を C とすると，それぞれ以下の方法で算出できる．

評価尺度が現れている発話を相槌発話とし，その回数を特徴量

precision =として使用することとする．

4R,
N

recall =RC

本技術は，コールセンタの膨大な通話の中から，分実験

コールセンタの通話を対象として，知識量の少ないユーザの対話を抽出する実験を行い，本研究で提案した特徴量が，話者知識量推定に有効であるか評価した．

析対象を絞り込むために利用されることを考慮し，本稿では，上記 2 種類の評価尺度のうち，適合率の向上をより重視する．

知識量の少ないユーザを対象とした理由は，知識の少4.3ない人ほどトラブルや疑問を抱えやすく，コールセン

表 5 が実験結果である．提案した特徴量（F1-F10）にタにおける分析対象として重要なためである．

よって，適合率 0.8，再現率 0.43 の精度で知識量小を結果抽出することができた．

― 1168 ―Copyright(C) 2012 The Association for Natural Language Processing.
All Rights Reserved表 8: 各特徴量を除いた場合の推定精度

表 6: 再現率をそろえた場合の適合率の比較
特徴量

適合率

提案手法（F1-F10）
0.80
ユーザの bag of words（B1） 0.67
発話数（B2）
0.65

再現率

0.43
0.43
0.43

表 7: 適合率をそろえた場合の再現率の比較
特徴量

適合率

提案手法（F1-F10）
0.80
ユーザの bag of words（B1） 0.78
発話数（B2）
0.80

再現率

0.43
0.070.09

表 6，表 7 は，正例と負例を分類する閾値を変化させることによって，再現率をそろえた場合の適合率，特徴量

適合率

再現率

適合率の増減

再現率の増減提案手法(F1-F10)w/o F1w/o F2w/o F3w/o F4w/o F5w/o F6w/o F7w/o F8w/o F9w/o F10

0.80

0.43

N/A

N/A

0.80
0.72
0.76
0.78
0.78
0.78
0.71
0.77
0.70
0.49

0.43
0.35
0.44
0.42
0.43
0.43
0.37
0.44
0.40
0.43

0.00
-0.08
-0.04
-0.02
-0.02
-0.02
-0.09
-0.03
-0.10
-0.31

0.00
-0.08
+0.01
-0.01
0.00
0.00
-0.06
+0.01
-0.03
0.00

及び，適合率を概ねそろえた場合の再現率を示してい

まとめと今後の展開

る．表 6 より，再現率が同じとき，適合率が最も高い

5のは提案手法であることが分かる．また，表 7 より，

本研究では，コールセンタの通話から，問い合わせる比較対象（B1, B2）の手法で提案手法と同程度の適合ユーザの知識量を推定する手法を提案した．使用語彙率を達成しようとすると，再現率が大幅に低下するこの異なり語数と発話意図に着目した対話的特徴量を用とが分かる．以上より，単語の出現回数や発話数などいることを提案し，適合率 0.8 の精度で知識量の少なの単純な特徴量と比較して，提案手法が抽出の正確性，いユーザの通話を抽出できることを確認した．

網羅性ともに優れていることが確認でき，提案手法の有効性が示された．

4.4

今後取り組みたいことは，話者の知識量と，その人の使用語彙や対話に表れる特徴についての定量的・定性的な分析である．関連研究として，近年，話者の各特徴量の効果提案した特徴量（F1-F10）それぞれの効果を検証するために，一つずつ特徴量を除いて 4 節と同様の実験を行い，結果を表 8 に示した．表 8 より，(F1) ユーザの使用語彙の平均 IDF 値は除外しても精度には変化がなく，本研究で対象とした対話の話者の知識量推定においては寄与が認められなかった．一方，以下の 4 つは，除外すると著しく精度が低下することから，知識量推定に大きく寄与する特徴量であると分かった．

• ユーザの異なり語数 (F2)• オペレータの説明回数 (F7)
• オペレータの相槌回数 (F9)• ユーザの相槌回数 (F10)
上記 F2 については，3.1.2 節で述べた仮説の通り，ユーザの使用語彙の異なり語数によって，ユーザの意思疎通の非効率性を捉えることができた結果だと考えられる．F7 については，オペレータがユーザに情報を与えた回数によって，ユーザに欠けていた知識の量を捉えることができたものと考えられる．F9 は，オペレータが聞き手に回った回数を表し，ユーザの用件や問合せ内容を理解するのにかかった手間を捉えることができたものと思われる．F10 は，ユーザが聞き手

verbal intelligence（目的達成のための言語使用能力）と，その人の会話に表れる特徴を分析した研究 [2] がある．こうした研究で報告された知見を取り入れつつ，特徴量の分析を進めたい．

参考文献[1] S. K. Maynard. Japanese Communication: language and thought in context. University ofHawai’i Press, 1997.
[2] K. Zablotskay, U. Rahim, S. Zablotskiy, S. Walter, and W. Minker. Conversation peculiarities ofpeople with diﬀerent verbal intelligence. In Proc.
IWSDS 2011, pp. 153–159, 2011.
[3] 佐藤大祐, 安田宣仁, 望月崇由, 鈴木智也, 松浦由美子, 片岡良治. 検索システムユーザの分野別の知識推定. In Proc. DEIM Forum 2010, 2010.
[4] 坂原茂. 役割、ガ・ハ、ウナギ文. pp. 25–30, 1990.
[5] 植木迪子. 知っていること、知りたいこと. 独語独文学科研究年報, Vol. 20, pp. 267–282, 1993.
[6] 深田博己. インターパーソナル・コミュニケーショ
ン. 北大路書房, 1998.
[7] 政瀧浩和, 柴田大輔, 中澤裕一, 小橋川哲, 小川厚徳, 大附克年. 顧客との自然な会話を聞き取る自由
発話音声認識技術「VoiceRex」. NTT 技術ジャーナル, Vol. 18, No. 11, pp. 15–18, 2006.
[8] 那須川哲哉. テキストマイニングを使う技術／作る技術. 東京電機大学出版局, 2006.
[9] 白川博之. 「ケド」で言い終わる文. 広島大学日本語学科紀要, Vol. 6, pp. 9–17, 1996.に回った回数を示しており，F7 と同様に，オペレータがユーザに与えた情報量を捉えていると考えられる．

― 1169 ―Copyright(C) 2012 The Association for Natural Language Processing.
All Rights Reserved