対話履歴と事例に基づく発話意図の推定
岩下 薫 ∗
Kaoru Iwashita1.

嶋田 和孝 †
Kazutaka Shimada

はじめに音声対話システムにおいて，ユーザの発話意図を正しく理解し，それに基づいて自然なインタラクション処理を行うことは非常に重要である．ユーザの発話意図を推定する手法には，ルールベースの手法や事例ベースの手法がある．
本稿では，対話履歴と事例に基づく発話意図推定手法の概要について述べ，発話意図タグとタグ付与マニュアルの作成・評価，および発話意図タグ付きコーパスを用いて行った発話意図推定実験について報告する．

2.

発話意図推定手法

事例を用いた発話意図推定は，「類似した発話は意図も類似する可能性が高い」という仮定に基づいて行われる．
具体的には，ユーザの発話意図を表すタグが各発話に付与された対話コーパスを用い，入力発話とコーパス中の各発話との類似度を求め，最も類似度の高い事例から発話意図を推定する．

2.1 対話履歴に基づく事例の絞込み
類似度計算の際，入江らは対話履歴に基づく事例の絞込みを行っている [1]．これは，「入力発話と同じ意図系列で生起した発話事例は，入力発話と同一の意図を持つ可能性が高い」と考えられるためである．
本研究では，この対話履歴に基づく事例の絞込みを行う発話意図推定手法を用いて発話意図を推定する．発話意図推定の処理の流れは以下の通りである．

遠藤 勉 †
Tsutomu Endo

本研究では，形態素からベクトル空間を作成し，類似度の尺度として内積および余弦を用いて発話間の類似度
SIM (Ux , Uy ) を求める．式を以下に示す．
内積

SIM (Ux , Uy ) =TXxi · yi

(2)

i=1

余弦

PTSIM (Ux , Uy ) = q P

i=1 xi · yiPTT22
i=1 yii=1 xi ×(3)

ここで，T はコーパス中に出現する形態素の異なり数であり，xi ，yi はそれぞれ Ux ，Uy における形態素 i の存在を表す 2 値変数である．

3.

発話意図タグ付きコーパス

発話意図推定実験に使用する発話意図タグ付きコーパスを作成した．用いた対話データは，小学 1 年算数ドリルテキストを教師役であるユーザが生徒であるシステムに解かせるというタスクの模擬対話である．

3.1 発話意図タグとタグ付与マニュアル
コーパス作成にあたり，まず発話意図タグを設計した．
設計した発話意図タグは全 18 種類あり，属性付き発話意図と属性なし発話意図の 2 種類がある．表 1 に発話意
図タグの一部を示す．
表 1: 属性付き発話意図タグ（一部）

1. 入力発話の直前までの対話履歴を考慮し，コーパス中の事例の絞込みを行う

発話意図

属性情報提供問題の解き方に関する情報を提供

2. 形態素情報を用いて，絞り込まれた事例と入力発話の類似度を計算する

HowtoConfirm

確認要求

InformCorrect

問題を解くのに必要な情報の確認を要求

3. 類似度最大の事例に付与された発話意図を入力発話の発話意図とする
形態素解析には，日本語形態素解析ツール「茶筌」を用いる（http://chasen.naist.jp/hiki/ChaSen/）．

2.2 類似度計算
入江らは，形態素の一致度を類似度の尺度とし，入力
発話 Ux と事例発話 Uy の類似度 SIM (Ux , Uy ) を次のような式で求めている．
SIM (Ux , Uy ) =2Mxy
Mx + My(1)

ここで，Mx ，My はそれぞれ Ux ，Uy の形態素数，Mxyは一致する形態素数を表す．

定義
問題を解くのに必要な情報を提供正誤の確認を要求

この発話意図タグの定義をもとにタグ付与マニュアル(MAN1) を作成した．また，発話意図タグ付与の予備実験を行い，その結果をもとに修正を加えたタグ付与マ
ニュアル 2（MAN2）を作成した．

3.2 評価発話意図タグとタグ付与マニュアルを評価するために発話意図タグ付与実験を行った．複数作業者間でタグ付与結果がどの程度一致するかを評価するため，本研究では一致率の尺度として Cohen の kappa 値を用いる [2]．
Cohen の kappa 値は，観測された一致率を P (O)，期待される一致率を P (E) とすると，
κ=P (O) − P (E)1 − P (E)

∗ 九州工業大学大学院 情報工学研究科 情報科学専攻† 九州工業大学 情報工学部 知能情報工学科という式で求められる．

実験には 2 つのデータセット（DATA1，DATA2：各6 対話）と 2 つのタグ付与マニュアル（MAN1，MAN2）を用い，タグ付与経験の有無から被験者 15 名を 5 名ずつの 3 グループに分けた．被験者の内訳を表 2 に示す．
用いたデータはコーパス作成のために用意した対話データである．各被験者はタグ付与マニュアルに基づき独立にタグ付与作業を行った．
被験者とタグ付与マニュアル，データセットの対応および実験の結果を表 3 に示す．

AA’
B1
B2

表 2: 被験者グループ
タグ付与経験者
A の被験者のタグ付与未経験状態（発話意図タグ付与の予備実験時）
タグ付与未経験者
B1 とは異なるタグ付与未経験者

表 3: 発話意図タグ付与結果
被験者グループA’
B1
B2
A
使用マニュアル MAN1
MAN2
データセット
DATA1
DATA2
総発話文数
241
210
κ値
0.582
0.659 0.740 0.846
実験の結果，タグ付与マニュアル 2（MAN2）を使用した場合，タグ付与未経験者グループ（B1，B2）では平均約 70%の一致率を得た．したがって，今回設計した発話意図タグは，未経験者でもタグ付与マニュアルに基づいてタグを付与することができ，その付与結果においてもある程度信頼性のあるデータが得られるといえる．
また，グループ A では約 85%の一致率を得たことから，タグ付与経験者がタグ付与を行うことで，さらに信頼性の高いタグ付きコーパスが作成できると考えられる．

3.3 コーパス作成
前節の実験における被験者グループ A から 1 人を選抜し，発話意図タグ設計者と 2 名で発話意図タグ付きコーパスを作成した．この際，タグ付与の揺れをできるだけ避けるため，随時話し合いながらタグ付与作業を行った．
このコーパスの規模を表 4 に示す．
表 4: 発話意図タグ付きコーパス
対話数45
教師（ユーザ）発話数701
生徒（システム）発話数 839

4.

発話意図推定実験

前述の発話意図タグ付きコーパスを用いて発話意図推定実験を行った．タスクの性質上，推定対象はユーザ発話のみとし，実験の方法には交差検定を用いた．

4.1 実験方法
比較のため，類似度計算には次の 5 つの手法を用いた．
1. 形態素の一致率（関連研究 [1]） – 式（1）2. 形態素の 2 値ベクトルによる内積 – 式（2）3. 形態素の 2 値ベクトルによる余弦 – 式（3）4. 形態素の出現頻度ベクトルによる内積（式（2）の xi ，yi を形態素 i の出現頻度とした場合）
5. 形態素の出現頻度ベクトルによる余弦（式（3）の xi ，yi を形態素 i の出現頻度とした場合）推定された候補の中に 1 つでも正解タグ（予め振られた発話意図タグと同じタグ）が存在すれば正解として，各手法を用いた場合の正解率を求めた．

4.2 実験結果
発話意図推定の結果を表 5 に示す．実験の結果，2 値ベクトルの内積を類似度の尺度として用いる手法 2 が最も正解率が高かった．
表 5: 発話意図推定実験結果（正解率：%）手法 1 手法 2 手法 3 手法 4 手法 575.2
77.8
76.1
65.7
73.7
手法 2 と手法 4 では正解率に 10%以上の差が見られた．これは，出現頻度の高い形態素が類似度計算の際に大きな影響を与えるためだと考えられる．同様の理由か
ら，手法 5 よりも手法 3 の方が正解率が高いとみられる．
そこで，手法 4 の類似度を発話文の長さで正規化する手法を用いて再実験を行ったところ，正解率は 72.5%まで向上したが，形態素の出現頻度を考慮しない手法 2 の正解率には及ばない結果となった．
今回実験に用いたデータセットでは手法 2 が最も高い正解率を示したが，手法 1，2，3 の差は最大でも 2.5%程度であり，他のドメインのコーパスでも同様の実験を行い，その有効性を確認する必要がある．

5.

まとめ

本稿では，発話意図タグとタグ付与マニュアルの作成・評価，および発話意図タグ付きコーパスを用いた発話意図推定について述べた．発話意図推定実験の結果，形態素から 2 値のベクトル空間を作成し，内積を尺度として類似度を求める手法が最も高い正解率を示すことがわかった．対話履歴に基づく事例の絞込みを行い，形態素の出現頻度によらない類似度計算を行うことで，有効な候補を選択できると考えられる．
今後はより規模の大きな発話意図タグ付きコーパスを構築し，それを用いた発話意図推定実験を行うことが課題となる．また，候補の絞込み手法や類似度計算についてさらに検討を行い，統計的確率など様々な情報を利用したより高精度な発話意図推定手法の考案なども，今後の課題として挙げられる．

参考文献[1] 入江 友紀, 松原 茂樹，河口 信夫, 山口 由紀子，稲垣 康善，“意図タグつきコーパスを用いた発話意図推定手法”, 人工知能学会研究会資料, SIG-SLUDA301-03，pp.7-12，2003.
[2] 荒木 雅弘，伊藤 敏彦，熊谷 智子，石崎 雅人，“発話単位タグ標準化案の作成”，人工知能学会誌，vol.14,no.2, pp.251-260, 1999.