言語処理学会 第 17 回年次大会 発表論文集 (2011 年 3 月)￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣

共通状態と連結学習を用いた HMM による
コールセンタ対話の要約
東中竜一郎 †南泰浩 ‡西川仁 †吉岡理 †

堂坂浩二 ‡目黒豊美 ‡†高橋敏菊井玄一郎 †小橋川哲 †

政瀧浩和 †† 日本電信電話株式会社 NTT サイバースペース研究所‡ 日本電信電話株式会社 NTT コミュニケーション科学基礎研究所
1様センタ）の要約に適用した結果について報告する．

はじめにテキストデータの要約研究は多い [5]．要約手法としコールセンタでは電話の故障受付，契約，設置など，ては，文書の最初の N 文を抽出する方法（LEAD 法）

さまざまな種別の対話を扱う．よって，これらは複数や機械学習の手法によって重要な文を特定し，それらドメインに分かれたテキストデータである．コールセを抽出する方法などがある [3, 7]．また，近年では，要ンタでは大量のコールを扱う上，個々の対話は一般に約を整数計画問題（ILP）と置いて，重要と考えられ長い．そのため，オペレータや分析者がすべての対話る単語を最も多く被覆するような文を選択する手法もを効率的に振り返ることが難しく，要約技術の適用に考案されている [2]．

よって，コールセンタにおける対話の分析が容易にな

本稿では，複数のドメインに分かれたテキストデータの要約を扱う．ここで，「複数のドメインに分かれると考えられる．

た」とは，ひとつのテキストデータが複数のドメイン2の内容を含むということではなく，単一ドメインのテわれわれが提案する HMM は，二者対話の分析に用いキストデータの集合が複数ドメイン分あるということられる Speaker HMM (SHMM) [6] を拡張し，系列のである．複数のドメインにまたがるテキストデータを分類問題に適用できるようにしたものである．SHMM扱う場合，従来，個々のドメインについて，隠れマルは，話者 1（speaker1）と話者 2（speaker2）のそれぞコフモデル (HMM) などを用い，要約器を学習するア

れに対応する状態を持ち，各状態は，対応する話者のプローチが用いられてきた [1]．しかしながら，ドメ発話（発話内容を表すシンボル）のみを出力する．各

インが多くなるにつれ，学習データの作成コストが高状態はどの状態にも遷移可能である．われわれは，各くなるという問題があった．

ドメインの対話データから個別に学習された SHMM

本研究では，学習データ作成のコスト低減のため，要約の正解を作成せずに要約器を学習する手法を提案

共通状態と連結学習を用いた HMMを複数組み合わせて，新たな HMM を構成する．たとえば，図 1 のように組み合わせる．

する．具体的には，ドメインラベルのみが付与された

図 1 に示す HMM について，ある系列の入力があテキストデータ集合から各ドメインに特徴的な系列をり，そのときの最尤の状態系列（ビタビデコーディン

HMM によって学習し，あるドメインのテキストデー

グなどで求められる）が < 1, 3, 4, 2 > だったとする

タの要約を行うとき，このドメインに特徴的な系列と，それぞれの状態がどのドメインに対応しているかに該当する箇所のみを要約として抽出する．ここで，HMM の学習には，状態として，すべてのドメインに共通なシンボルを出力する「共通状態」を追加し，各ドメインに特徴的な系列を特定の状態から出力されやすくする手法である「連結学習」を用いる．なお，本稿において，HMM の学習は EM アルゴリズムによるものを指す．
本稿では，共通状態と連結学習を用いた HMM の作成法と，作成した HMM をコールセンタ対話（お客を見ることで，< 1, 2, 2, 1 > というドメイン系列を得ることができる．SHMM の組み合わせ方には 3 種類ある．以下にそれぞれを説明する．

2.1

エルゴディック「エルゴディック」は独立に学習された SHMM をエルゴディックに等確率で接続した HMM である．トポロジーとしては図 1 である．エルゴディックでは，すべての状態が等確率で接続されているため，分類は，各 SHMM における発話の頻度分布に左右される．例― 920 ―Copyright(C) 2011 The Association for Natural Language Processing.
All Rights Reserved.

䝗䝯䜲䞁䠍䛾Speaker HMM

1:speaker1

2:speaker2䝗䝯䜲䞁䠎䛾Speaker HMM

3:speaker1䝇䝔䝑䝥 14:speaker2䝇䝔䝑䝥 2

䝗䝯䜲䞁
1

Ꮫ⩦

M1

෌Ꮫ⩦

䝗䝯䜲䞁k

Ꮫ⩦

෌Ꮫ⩦

M0

M1M0

඲䝗䝯䜲䞁䛾
M0䝕䞊䝍Ꮫ⩦䝗䝯䜲䞁䠍䛾Speaker HMM䛩䜉䛶䛾䝗䝯䜲䞁䛾Speaker HMM

5:speaker1

3:speaker1

MK+0
M0

Mk+䝇䝔䝑䝥 32:speaker2MK෌Ꮫ⩦MK䝁䝢䞊

図 1: Speaker HMM を組み合わせた HMM

1:speaker1

Ꮫ⩦

Mk+0

M1+0

M1MK 䛜඲య
䛻ඹ㏻䛾䝅䞊䜿䞁䝇䜢ฟຊ䛧䛻䛟䛟䛺䜛䝗䝯䜲䞁KMk

M0AVG

䝇䝔䝑䝥 2’6:speaker2M0 䛾㑄⛣☜⋡䛿
M0 䛸 Mk 䛾㛫䛻෌ศ㓄䛥䜜䜛

M0Mconcat 䛩䜉䛶䛾 Mk+0 䛻䛴䛔䛶䜒䛧ᑬᗘ䛜ୖ䛜䜙䛺䛔䛺䜙䜀⤊஢
ENDM1MkMKMconcat 䜢෌ᗘ䝨䜰䛻ศ๭䛧Mk+0䜢෌Ꮫ⩦

M1+04:speaker2㐃⤖Mk+0M1

M0MK+0Mk

M0MK

䝗䝯䜲䞁䠎䛾Speaker HMM

図 3: 連結学習を用いて HMM を学習する手続き
図 2: 共通状態を持つエルゴディック

系列に分類することができる．ここで，入力におけるえば，ある発話がドメイン 2 に比べドメイン 1 に高< 5, 6 > は共通状態であり，これらに対応するドメイ頻度で出現するのであれば，その発話はドメイン 1 のン系列はドメイン 1，ドメイン 2 のどちらにも属さず，SHMM から出力され，結果，ドメイン 1 と分類される．

共通の系列であるというように分類される．共通状態を持つことで，無理矢理どちらかのドメインに入力系

2.2共通状態を持つエルゴディック

列を分類しなくても良いため，ドメイン分類の精度向どのドメインにも共通に現れる発話系列というものが存在する．例えば，コールセンタの対話であれば，す上が期待できる．

べてのドメインの対話に共通して，挨拶のやり取りや2.3

個人情報の確認などが現れる．エルゴディックではこ共通状態を持つ HMM にも問題があり，それは，全体ういった共通した発話系列を既存のクラスのどれかにのデータから学習された SHMM の出力分布がなだら割り振ってしまう．つまり，たまたま，挨拶がドメイかになってしまうことである．これは，複数のドメイン 1 に多少多く出現したからという理由で，挨拶はドンの情報を平均化したようなモデルを学習してしまう

メイン 1 に分類されてしまう．できればこのような複ことに起因する．この影響で，入力系列に対して最尤数のドメインにまたがって出現するものは，どのドメの状態系列を求めると，一切共通状態を経由しないこインにも分類されないようにモデル化するのがよい．とが起こり得る．これを解決する手段は二つある．

共通状態と連結学習

そこで，挨拶のような発話はドメイン 1 でもドメイ一つの解決策は，共通状態の数を増やすことである．

ン 2 でもなく，共通ドメインというものを仮定して，そうすることで，尖った分布を持つ共通状態を保持すそのドメインに割り振ることを考える．これは，図 2ることができ，その結果，入力系列に対する最尤の状に示す形状を持つ HMM で実現できる．この HMM で態系列が共通状態を通過する可能性が出てくる．

はエルゴディックに加えて，すべてのデータから学習

もう一つの解決策は，連結学習 [4] を用いることでされた SHMM を持ち，すべての状態がエルゴディッある．本稿ではこちらの解決策に着目する．この手法

クに接続されている．すべてのデータから学習されたにより，各ドメインにおける系列と全ドメインに共通SHMM は全ドメインの系列をモデル化しているため，すべてのドメインに共通した系列を表すと考えられして現れるような系列の出力分布を，特定の状態に集る．なお，すべてのドメインのデータから学習されたよって学習される HMM を用いて入力系列をドメイ

SHMM に含まれる状態を共通状態と呼ぶ．

ンラベルの系列にデコードする．なお，この手続きをこのような HMM を用いることで，ある入力系列に対して，最尤の状態系列が < 1, 4, 5, 6, 3, 2 > である
場合，< 1, 2, 0, 0, 2, 1 > のように入力系列をドメイン中させることができる．具体的には，下記の手続きに図としてまとめたものが図 3 である．
ステップ１ Mk (Mk ∈ M, 1 ≤ k ≤ K) をそれぞれ― 921 ―Dk から学習した SHMM とする．ここで，Dk =Copyright(C) 2011 The Association for Natural Language Processing.
All Rights Reserved.

{∀dj |c(dj ) = k} であり，M0 はすべてのドメインのデータから学習した SHMM である．すべて

究では，LDA を用い，モデルは bag-of-words を特のデータとはすなわち，D である．ここで，K は徴量として学習し，この結果，P(z|w) を得る．ここ全体のドメイン数であり，c(dj ) は系列 dj の属すで，w は単語であり z はトピックである．このトピッるドメインを表す．

クモデルを用いることにより，D の各発話について，latent Dirichlet allocation (LDA) などがある．本研

率，同じ遷移確率でもって接続する．このモデル

トピックラベルを付与することができる．すなわち，
argmax w∈words(Ud ) P(z|w) となる z を各発話に割を，Mk+0 と呼ぶ．そして，Mk+0 を ∀dj ∈ Dkり振る．

ステップ２ Mk ∈ M と M0 のコピーを同じ初期確D 中のすべての発話にトピックラベルを付与し終えの学習データで再学習する．ここで，c(dj ) = k

たら，トピックラベルの系列を HMM で学習する．

である．
ステップ３ Mk+0 (1 ≤ k ≤ K) をすべて統合して一つの HMM にする．この HMM を Mconcat と呼ぶ．ここで，統合の際，M0 のコピーの出力確率は K で平均化される．もし，Mk+0 のいずれもデコーディングフェーズ dj を入力された対話とし，DM (dj ) (∈ DM ) を対話 dj に対してドメインラベルを得るテーブルとし，Udj ,1 . . . Udj ,Hdj を dj 中の発話系列とする．ここで，Hdj は対話中の発話数で学習データに対する尤度が改善しないようであある．まず，学習フェーズで作成した T M を使ってれば，この処理を抜ける．そうでない場合は，ス発話系列をトピック系列 Tdj ,1 . . . Tdj ,Hdj にし，そしテップ 2 に戻る．このとき，すべての k について，M0 と Mk を接続するが，M0 から Ml (l = k) への遷移確率は一度足され，その後，M0 の自己遷移と Mk への遷移に均等に分配される.

3izて，われわれの提案する HMM を用いて，forward-backward アルゴリズムにより，DM (dj ) に対する事後確率 Pdj ,1 . . . Pdj ,Hdj を得る．ここで，発話 Udj ,l 中の単語 w の重要度を Pdj ,l · tf(dj , w) と定め，この総和を要約長内で最大化するように，対話中の発話を ILP

コールセンタ対話の要約の定式化を用いて選択する．ここで，tf は dj におけ

K 個のドメインからなるコールセンタ対話のデータる w の頻度を返す関数である．要約の冗長性を減らがあるとき，まず，前節で説明した HMM を学習すすため，同じ w については一度しか総和の計算に用る．そして，ドメイン k の対話データが入力されたとき，各発話がドメイン k の状態から出力された確率をいない．

forward-backward アルゴリズムで得る．ここで得ら4れた事後確率を発話の重要度とみなし，これを元に各コールセンタ対話の模擬データを独自に収集した．デー

発話中の単語の重要度を決定する．最後に，単語重要タ収集には，90 人の実験参加者が参加した．参加者は度の総和が要約長内で最大になるように発話を選択し，オペレータとユーザに分かれて，予め準備されたシナ要約とする．要約処理は，学習フェーズとデコーディリオにしたがって対話を行った．オペレータには実際ングフェーズからなる．それぞれを以下に説明する．にコールセンタにおける応対経験者を用いた．

学習フェーズ D (d1 . . . dN ) をコールセンタ対話のすべてのデータとし，DM k (DM k ∈ DM, 1 ≤ k ≤ K)

実験

対話のドメインは，金融，インターネットサービスプロバイダ，自治体への問い合わせ，通信販売，PCをドメイン k に与えられるドメインラベルだとする．

サポート，電話についての問い合わせの 6 種類である．

Udi ,1 . . . Udi ,H は対話 di 中の発話系列である．ここで，H は di 中の発話数を指す．

し，これらに基づいて，オペレータとユーザは，別室

まず，D から，2 種類のモデルを構築する．一つはトピックモデル (T M ) であり，もう一つはわれわれの提案する HMM である．トピックモデルは対話デー
タ中の各発話を一つのトピックラベルに落とし込む処理に必要である．この処理は，HMM の特徴量があまりに高次元になると学習が困難になるため，これを回避するために行う．トピックモデルを作る方法としては probabilistic latent semantic analysis (PLSA) やそれぞれのドメインについて 15–20 のシナリオを用意に分かれ電話を介して音声で通話した．本実験ではこの通話を書き起こしたものをデータとして用いた．
対話データの収集は二度にわたって行われ，それぞれ，391 対話と 307 対話を収録した．以降，初回の 391
対話を学習データ，第二回の 307 対話をテストデータと呼ぶ．一対話にはおおよそ 130–150 発話が含まれ，一発話の平均長は約 11 文字である．要約の正解として，一人の作業者（作業者 A）が，すべての対話について，発話を抽出することにより，250 文字，500 文― 922 ―

Copyright(C) 2011 The Association for Natural Language Processing.
All Rights Reserved.

も精度の高い数値を示す．表から分かるように，連結
表 1: 250 文字の要約長における発話抽出の F 値
学習セット
set1
set1–2
set1–3
set1–4
set1–5(a) エルゴ
0.211
0.219
0.226
0.225
0.226

(b)+共通状態
0.220a0.229aa
0.228
0.235a0.237a

学習を用いることで精度が向上することが分かる．ま(c)+連結学習
0.254aabb
0.256aabb
0.248aabb
0.268aabb
0.263aabb

た，若干ではあるものの，データ量を増やす（set1 に他のセットを加えていく）ことで，要約精度が向上していることが分かる．(a) や (b) がデータ量の増加とともに，徐々に精度を向上させているのに比べ，(c) は少ないデータからでも精度が比較的高い．これは，連結学習によって各ドメインの特徴が効率的に学習され

表 2: 500 文字の要約長における発話抽出の F 値
学習セット
set1
set1–2
set1–3
set1–4
set1–5(a) エルゴ
0.395
0.403
0.403
0.406
0.407

(b)+共通状態
0.397
0.406
0.405
0.416aa
0.412ているからだと考えられる．

(c)+連結学習
0.432aabb
0.432aabb
0.431aabb
0.444aabb
0.431aabb

5

まとめと今後の課題

共通状態と連結学習を用いた HMM を提案し，コールセンタ対話の要約に適用した結果について報告した．
今後，さらなる精度改善と音声認識結果への適用について検討していく予定である．

字要約を作成した．全 698 対話から 120 対話をサンプリングし，もう一人の作業者（作業者 B）との発話抽出の一致率（Cohen’s κ）を調べたところ，250 文字
要約，500 文字要約について，それぞれ 0.43 と 0.53

参考文献
[1] Regina Barzilay and Lillian Lee. Catching thedrift: Probabilistic content models, with applications to generation and summarization. In Proc.
HLT-NAACL, pp. 113–120, 2004.

であり，中程度の一致であった．本実験では，作業者A のデータを評価時の正解として用いた．
提案手法の有効性，および，学習データ量の増加による効果を検証するため，本実験では，まず，学習デー[2] Dan Gillick and Benoit Favre. A scalable global
model for summarization. In Proc. the Workshop
on Integer Linear Programming for Natural Lan-

タから，各ドメインの対話を 50 対話ずつ抽出した．残りの 91 対話は本実験では用いない．そして，各ドメ

guage Processing, pp. 10–18, 2009.

インの対話を 10 対話ずつに分けた後，各ドメインの対話を 10 対話ずつ含むセットを 5 つ作成した．これら[3] Julian Kupiec, Jan Pedersen, and Francine Chen.

を，set1 . . . set5 と呼ぶ．6 ドメインあるため，各セッA trainable document summarizer. In Proc. the18th annual international ACM SIGIR confer-

トには 60 対話が含まれる．そして，set1（=60 対話），set1–2，set1–3，set1–4，set1–5（=300 対話） をそれ

ence on Research and development in information retrieval (SIGIR), pp. 68–73, 1995.

ぞれ学習データとして，われわれの提案する HMM を学習し，テストデータについて要約を出力させ，発話抽出の精度を F 値で算出した．ここで，set1–N は set1[4] Kai-Fu Lee. Automatic speech recognition: thedevelopment of the SPHINX system. Kluwer Academic Publishers, 1989.

から setN のすべてのセットを合わせた対話集合を指す．トピックモデルにおけるトピック数は 100 とし，SHMM の状態数は各話者 1 つずつ，共通状態の状態数は各話者 3 つずつとした．
表 1 と表 2 は，要約長を 250 文字，500 文字に制限した場合の要約精度である．ここで，(a) エルゴとは[5] Inderjeet Mani. Automatic summarization. JohnBenjamins Publishing Company, 2001.
[6] Toyomi Meguro, Ryuichiro Higashinaka, Kohji
Dohsaka, Yasuhiro Minami, and Hideki Isozaki.
Analysis of listening-oriented dialogue for build-

共通状態を持たない HMM (cf. 2.1 節) である．(b)と (c) は，それぞれ，共通状態を付加した HMM (cf.

ing listening agents. In Proc. SIGDIAL, pp. 124–127, 2009.

2.2 節) と，その HMM にさらに連結学習を適用したHMM (cf. 2.3 節) である．F 値の肩にある a，b は，それぞれ (a)，(b) よりも t-test で統計的に有意な差であることを示す．aa のように二つあれば，p <0.01，[7] Miles Osborne. Using maximum entropy for sentence extraction. In Proc. the ACL-02 Workshop

一つであれば，p <0.05 を表す．ボールドは各行で最on Automatic Summarization, pp. 1–8, 2002.

― 923 ―

Copyright(C) 2011 The Association for Natural Language Processing.
All Rights Reserved.