同調的対話システムにおけるあいづち挿入タイミング
神谷†

1優貴 †

大野誠寛 ‡松原茂樹 ♭♮柏岡秀紀 ♮‡名古屋大学大学院情報科学研究科
名古屋大学大学院国際開発研究科♭♮
名古屋大学情報基盤センタ―
情報通信研究機構

はじめに

表 1: 被験者 4 名のあいづち数
近年，音声認識技術の進展により，カーナビなど様々被験者 ID
12
3
4な音声対話システムが開発されている．これらのシステ
ムはユーザの要求に的確に応答することを目的とする．
あいづち数 192 180 56 112
しかし，ユーザの発話中にシステムからの反応が全く無いと，システムがユーザの発話を認識しているか分からず，ユーザに不安を与えることになる．
抱くこととなりあいづち本来の役割を果たせなくなる．
人間同士の対話において聞き手は, 話し手の発話終了
このため，あいづちを打つタイミングが重要となる．
を待って応答をするだけでなく，相手の発話途中でも，一方，あいづちを打つ適切なタイミングは，あいづちあいづちや笑い，うなずきなどの振る舞いを与えていを打つ人や状況によって異なる．そのため，対話システる．特に自動車内での対話では，ドライバの視線は走行
ムには，話し手やその場の状況に応じて，生成するあい中，聞き手に向いていないため，ドライバにとって，音づちを変化させることが求められる．本研究では，不声であるあいづちは重要な役割をもつ．
自然なタイミングであいづちを打つことを防ぐために，そこで本論文では，同調的車内音声対話において，ド事前に，可能なタイミングを網羅的に検出し，その中かライバの発話中に適切なタイミングであいづちを打つ
ら，ユーザの趣好やその場の状況に合わせて，あいづちシステムの開発を目指し，あいづちデータの作成とそを打つタイミングを決定するというアプローチをとる．
れを用いた分析について述べる．これまでにもあいづちを生成するシステムはいくつか開発されているものの [1, 2, 3]，あいづちが打たれるタイミングの網羅的なあいづちデータの作成分析は行われていない．本研究では，話し手の発話中に 3打つことが可能なあいづちタイミングを網羅的に明らあいづちを打つことが可能なタイミングを網羅的にかにすることを試みる．まず，複数の被験者によるあい 分析するため，複数の話者によるあいづち結果を統合すづち音声を収録し，被験者全体で統合することにより， ることにより，あいづちデータを作成した．以下では，あいづちデータを作成した．次に，文節や節，ポーズ， あいづちデータの作成について述べる．
発話速度とあいづちタイミングとの関係についてデータ分析を与えた．分析結果に基づいて実験を実施し，あいづち挿入タイミングの推定可能性について検討した． 3.1 あいづち音声の収録とその書き起こし

2

あいづち

あいづちの定義や機能についてはこれまでに多くの議論が行われている．メイナードは，「話し手が発話権を行使している間に聞き手が送る短い表現」と定義し,あいづちの機能を「続けてというシグナル」や「内容理解を示す」などの 6 つに分類している [4]．また，堀口は「話し手の発話が聞き手に届けられたことを話し手に知らせるサイン」であるとしている [5]．しかし，むやみにあいづちを打ち続けたのでは，話し手は聞き手が本当に話を聞き，理解しているのかについて疑問を名古屋大学 CIAIR 車内音声対話コーパス [6] のドライバ音声（60 対話に含まれる 297 ターン）に対して，被験者 4 名があいづちをそれぞれ打ち，その音声を収録した．被験者の発話は「はい」のみとし，不自然ではない箇所に可能な限りあいづちを打つように指示した．
また，ドライバ音声をターン単位ごとに流し，ターンの音声中にあいづちを打つように指示した．各被験者のあいづち数を表 1 に示す．
収録した音声に基づいて，実験に使用したドライバ音声と各被験者によりあいづちが打たれた箇所を図 1 のように書き起こした．各行は，ドライバ発話の形態素またはポーズであり，開始終了時間，ならびに，あいづちが打たれたか否かの情報を与えている．形態素の場合

文節番号012345

形態素情報_ポーズ情報と_ト_と_感動詞-フィラー__sp_sp_sp_ポーズ__
豪華_ゴーカ_豪華_名詞-普通名詞-形状詞可能__
な_ナ_だ_助動詞_助動詞-ダ_連体形-一般
フランス_フランス_フランス_名詞-固有名詞-地名-国__
料理_リョーリ_料理_名詞-普通名詞-サ変可能__
が_ガ_が_助詞-格助詞__
タベ_食べる_動詞-一般_下一段-バ行_連用形-一般
たい_タイ_たい_助動詞_助動詞-タイ_連体形-一般
ん_ン_ん_助詞-準体助詞__
です_デス_です_助動詞_助動詞-デス_終止形-一般
けども_ケドモ_けども_助詞-接続助詞__
sp_sp_sp_ポーズ__
この_コノ_この_連体詞__
辺_ヘン_辺_名詞-普通名詞-一般__
で_デ_だ_助動詞_助動詞-ダ_連用形-一般
sp_sp_sp_ポーズ__
…….

節境界情報

/並列節ケレドモ/

発話時間
000001000000100000000000
0
0
00
1
0
0
00
1

0
0
0
0
0
0
0
0
0
0
0
0
1
00
0
0

0
0
0
0
00
0
0
0
0
0
1
0
0
0
0
0

0.03
0.18
0.29
0.62
0.75
1.23
1.54
1.65
1.92
2.17
2.20
2.43
2.95
3.65
3.92
4.23
4.55

文節番号

0.17
0.28
0.61
0.74
1.22
1.53
1.64
1.91
2.16
2.19
2.42
2.94
3.64
3.91
4.22
4.54
4.85

0
1
2

3

4

5

各被験者のあいづちの有無(1:打たれた_0:打たれなかった)
左から順に被験者1,2,3,4

0.03
0.18
0.29
0.62
0.75
1.23
1.54
1.65
1.922.17
2.20
2.43
2.95
3.65
3.92
4.23
4.55
……

0.17
0.28
0.61
0.74
1.22
1.53
1.64
1.91
2.16
2.19
2.42
2.94
3.64
3.91
4.22
4.54
4.85

図 2: 統合されたあいづちデータの例
表 2: あいづちデータの規模
対話60

は，品詞情報や文節情報，節境界情報を付与している．
本研究では，形態素もしくはポーズを，分析における基本区間と考え，どの区間で被験者のあいづちが打たれたかを分析する．なお，200ms 以上のポーズは，最初の 200ms とそれ以降とに 2 分割し，それぞれを基本区間としている．形態素解析には ChaSen[7] を，節境界解析には CBAP[8] を，基本区間の時間情報付与にはJulius[9] を用いた．

あいづちデータの作成/並列節ケレドモ/

発話時間00000100000
10000
1

あいづちの有無(1:打たれた_0:打たれなかった)

図 1: あいづちタイミングの書き起こしの例

3.2

節境界情報

形態素情報_ポーズ情報と_ト_と_感動詞-フィラー__sp_sp_sp_ポーズ__
豪華_ゴーカ_豪華_名詞-普通名詞-形状詞可能__
な_ナ_だ_助動詞_助動詞-ダ_連体形-一般
フランス_フランス_フランス_名詞-固有名詞-地名-国__
料理_リョーリ_料理_名詞-普通名詞-サ変可能__
が_ガ_が_助詞-格助詞__
タベ_食べる_動詞-一般_下一段-バ行_連用形-一般
たい_タイ_たい_助動詞_助動詞-タイ_連体形-一般
ん_ン_ん_助詞-準体助詞__
です_デス_です_助動詞_助動詞-デス_終止形-一般
けども_ケドモ_けども_助詞-接続助詞__
sp_sp_sp_ポーズ__
この_コノ_この_連体詞__
辺_ヘン_辺_名詞-普通名詞-一般__
で_デ_だ_助動詞_助動詞-ダ_連用形-一般
sp_sp_sp_ポーズ__
…….

ターン
文節
形態素ポーズ
あいづち数

4297
1,478
3,179756
324

あいづち挿入タイミングの分析

図 1 及び表 1 が示すように，あいづち回数やあいづ本研究では，あいづち可能なタイミングを検出するたちを打つタイミングは被験者ごとに異なっていた．本 めに統計的アプローチを採用する．そのための有効な研究では，被験者 4 人により打たれたあいづち結果を 1 素性について検討するため，あいづち挿入タイミングつに統合することにより，あいづちデータを作成した． の特徴分析を行った．分析には，前節で作成したあいづあいづち結果の統合は以下の手順で行った．
ちデータのうち，50 対話を用いた．50 対話には，基本区間が 3,274 か所 (2,656 形態素 +618 ポーズ) あり，そ1. 音声として出力されたタイミングが異なっていて のうち 265 か所にあいづちが打たれていた．あいづちも，各被験者が打とうと思ったタイミングが同じ が挿入された割合 (以後，あいづち挿入割合) は 8.1%でだと推測されるあいづちについては，あいづちを あった．なお，この数値はあいづちが平均的に挿入され打った被験者が最も多い 1 箇所に集約する．
る割合を意味しており，ある特徴をもった基本区間に対2. 上記の処理で残ったあいづちは，いずれも適切なあ するあいづち挿入割合がこの数値より高い場合，その特いづちタイミングであると考えて，和集合をとる． 徴をもった区間にはあいづちが挿入されやすいことを意味する．
図 2 は図 1 に示す「各被験者のあいづちの有無」を統合して作成したあいづちデータである．以下では，図 1
4.1 文節とあいづち挿入タイミングと図 2 を用いて，4 人の被験者によるあいづち結果の統あいづちは，内容理解を示す機能を持つため，話し手合例を説明する．まず，図 1 の「けども (2.43 秒〜2.94の発話をある程度理解したときに打たれると考えられ秒)」と「ポーズ (2.95 秒〜3.64 秒)」に打たれたあいづ
ちは，被験者があいづちを打とうと思ったタイミング る．一方，文節は，日本語における最小の意味的なまとは同じであると判断し，これら 2 つを，「けども (2.43 まりであるため，文節が発話された直後にあいづちが打秒〜2.94 秒)」へのあいづちとして集約する．次に，図 たれやすいと考えられる．ターン末の文節を除くと文
1 の「料理 (1.23 秒〜1.53 秒)」や「ポーズ (4.55 秒〜 節は 977 個あり，そのうち，その直後の基本区間にあい4.85 秒)」に打たれたあいづちと先ほど集約した「けど づちが打たれていたのは，178 個 (あいづち挿入割合：も (2.43 秒〜2.94 秒)」に打ったあいづちの和集合をと 18.2%) であった．文節の直後に対するあいづち挿入割
ることにより，図 2 のようなあいづちデータを作成す 合は，全基本区間のあいづち挿入割合 8.1%と比べて高る．統合したあいづちデータの規模を表 2 に示す．

表 3: 文節の最終形態素の品詞とあいづち挿入割合
助詞
25.2% (102/405)
感動詞
助動詞
名詞
接続詞
副詞
形容詞
動詞
接尾辞代名詞

表 4: 節の種類とあいづち挿入割合
感動詞
5.1% (6/118)

8.5%
27.5%

(21/246)(28/102)

引用節

24.0%
5.5%
9.5%

(18/75)(3/55)(3/42)

談話標識

0.0%
8.3%

(0/17)(1/12)

連用節

9.1%
0.0%

(1/11)(0/10)

並列節ケレドモ
主題ハテ節
間接疑問節

4.4
い数値を示しており，文節の直後にはあいづちが打たれやすいということが分かった．
次に，文節の種類による，あいづちの打たれやすさの異なりを分析した．表 3 に，文節をその最終形態素の品詞によって分類し，その分類ごとに算出したあいづち挿入割合を示す．文節の最終形態素の品詞が助詞や助動詞，名詞の場合にあいづちが打たれやすいことが分かった．

4.2

節とあいづち挿入タイミング

8.6%
67.6%

(3/35)(23/34)

7.4%
12.0%
42.9%

(2/27)(3/25)(6/14)

7.1%
40.0%(1/14)(4/10)

発話速度とあいづち挿入タイミング

あいづちには相手の発話を促す機能があるため，相手の発話がゆっくりになったときに，あいづちが打たれやすいと考えられる．そこで，ドライバ発話における各形態素の発話速度 (モーラ/秒) を計測して，1 形態素の平均発話速度より早い場合と遅い場合とに分類し，それぞれ，その直後にあいづちが挿入される割合を調査した．なお，1 形態素の平均発話速度は，人による違いの大きさを考慮し，ドライバごとに算出したものを利用した．発話速度が平均発話速度より速い形態素の場
合，その直後の基本区間に対するあいづち挿入割合は6.3%(114/1,813) であり，遅い場合は 16.5%(162/984)であった．このことから，発話速度が平均発話速度より遅くなると，その形態素の直後にあいづちが打たれやす
いことがわかった．

節は文節よりも強い意味的なまとまりであるので，節の直後にはあいづちが打たれやすいと考えられる．ター
ン末の節を除き，節は 341 個存在しており，そのうち，その直後の基本区間にあいづちが挿入されていたのは66 個 (あいづち挿入割合：19.4%) であった．節の直後に対するあいづち挿入割合は，全基本区間のあいづち挿 5
あいづち挿入タイミングの推定入割合と比べて高く，節の直後にあいづちが打たれやす
4 節の分析で明らかにした特徴をふまえ，統計的手法いといえる．また，文節の直後へのあいづち挿入割合と比べても高く，節の直後には，あいづちがより打たれや によるあいづち挿入タイミングの推定可能性について検討した．
すいことが分かった．

次に，節の種類によるあいづちの打たれやすさの違いを分析した．表 4 に，節の種類ごとに算出した，その直 5.1 あいづち挿入タイミングの推定方法
後に対するあいづち挿入割合を示す．
「並列節ケレドモ」
本研究では，1 対話ターンの基本区間列 m1 · · · mn 中の直後であいづちが打たれやすいことが分かる．また，の基本区間が連続して入力されることを想定し，基本区
節の種類によって，その直後に対するあいづちの打たれ間が 1 つ入力されるごとに，その入力基本区間に対しやすさが異なることが分かった．て，あいづちを挿入することができるか否かを Support
Vector Machine (SVM) を用いて推定する．ある基本区
4.3 ポーズとあいづち挿入タイミング
間 mi に対してあいづち挿入タイミングを推定する際に，あいづちには相手に発話を促す機能があるため，相手 SVM で利用した素性を表 5 に示す．これらはすべて，発話の無音区間であるポーズにはあいづちが打たれや 入力基本区間 mi の直前までの基本区間列 m1 · · · mi−1
すいと考えられる．ポーズ 618 区間のうち，102 区間に から得られる素性である．なお，各基本区間の形態素情あいづちが挿入されていた．ポーズに対するあいづち挿 報や節情報，時間情報などは，その直後の基本区間が入入割合 16.5%は全基本区間のあいづち挿入割合 8.1%と 力されたときに得られるものとする．
比べて高く，ポーズにあいづちが打たれやすいことが分かった．

表 5: SVM で用いた素性
1.
2.
3.
4.
5.
6.
7.
8.

mi−1 が文節の最終形態素であるか否か
1 が真の場合，mi−1 の品詞
mi−1 が節の最終形態素であるか否か
3 が真の場合，mi−1 が属する節の種類
mi−1 が 200ms のポーズであるか否か
mi−1 の発話速度が平均発話速度より遅いか否か
6 が真の場合，mi−1 の発話速度と平均発話速度の差直前のあいづち挿入時間 (あいづち未挿入の場合はm1 の開始時間) から mi の開始時間までの時間長

表 6: 実験結果
適合率
再現率
提案手法
被験者

5.2

54.2% (13/24)
63.6% (14/22)

22.0% (13/59)
23.7% (14/59)

実験と検討

F値
31.3
33.8

表 7: 実験結果 (前後 200ms 以内を正解とした場合)
適合率
再現率
F値

6

提案手法

70.8% (17/24)

28.8% (17/59)

41.0

被験者

72.7% (16/22)

27.1% (16/59)

39.5

おわりに

本論文では，まず，50 対話 250 ターンのドライバ音
声に対して，被験者 4 人があいづちを打った結果を統合し，計 265 個のあいづちタイミングが付与されたあいづちデータを作成した．次に，作成したデータを用いて，あいづち挿入タイミングの特徴分析を行い，節境界の直後やポーズ，発話速度が低下した箇所であいづちが打たれやすいことを明らかにした．分析に基づき，SVM を用いてあいづちタイミングの推定を行ったところ，適合率 54.2%，再現率 22.0%であった．
今後は，韻律情報を用いた分析を行い，学習データの拡充や韻律情報を素性に追加するなど，あいづち挿入タイミングの推定精度の向上を図る予定である．
謝辞 本研究は一部，科研費挑戦的萌芽研究「音声対話システムの個性化に関する基礎的研究」による．

あいづち挿入タイミングの推定実験を実施し，推定可能性について検討した．
3 節で作成したあいづちデータのうち，4 節の分析に用いた 50 対話を学習データとして，残りの 10 対話をテストデータとして使用した．SVM のツールとして 参考文献
LibSVM[10] をデフォルトのオプションのまま使用した． [1] 西村, 北岡, 中川: 応答タイミングを考慮した雑談音
また，比較のため，データ作成時の被験者とは別の被験声対話システム, 人工知能研資, SIG-SLUD-A503者１名によるあいづちデータを収集した．
05, pp.21-29 (2006).
評価には，以下の指標を用いた．
[2] 平沢，川端: 音声対話システム Noddy -ユーザ発

話途中でのうなずき・相槌生成-，情処研報，1997SLP-020, pp.51-52 (1998).
[3] N. Ward: In Japanese a Low Pitch Means Back正しく挿入されたあいづちの数
Channel Feedback Please, 情処研報, 1996-SLP再現率＝
正解データにおけるあいづちの数
011, pp.7-12 (1996).
[4] メイナード: 会話分析, くろしお出版 (1993).
正解データとの間で基本区間が一致すれば正しく挿入されたと判定した．
[5] 堀口: 日本語教育と会話分析,くろしお出版 (1997).
結果を表 6 に示す．被験者による結果は，F 値で 33.8
[6] N. Kawaguchi, S. Matsubara, K. Takeda, F.にとどまっており，これは正確な挿入タイミング推定の
Itakura: CIAIR In-Car Speech Corpus -Influence
難しさを示唆している．本手法は，被験者による結果をof Driving Status-, IEICE Trans. Inf. Sys.,若干下回る程度の推定性能を達成している．
Vol.E88-D, No.3, pp.578-582 (2005).
一方，音声対話システムにおけるあいづち挿入タイミ[7] 松本，高岡，浅原: 形態素解析システム『茶筌』,ングに多少のずれが生じることは許容できると考えら
version 2.4.0，使用説明書 (2007).
れる．そこで正解データのあいづち箇所の前後 200ms[8] 丸山，柏岡，熊野，田中: 日本語節境界検出プログ以内であれば正解として評価した．結果を表７に示す．
ラム CBAP の開発と評価, 自然言語処理，Vol.11，適合率は 70.8%と比較的高い数値を示しており，今後，No.3，pp.39-68 (2004).
学習データの拡充を進めることにより，ユーザが許容で[9] 河原，李: 連続音声認識ソフトウエア Julius, 人工きる程度のタイミングでのあいづち挿入性能の実現可
知能学会誌，Vol.20，No.1，pp.41-49 (2005).
能性が示された．
[10] C. Chang and C. Lin: LIBSVM: a library for support vector machines, http://www.csie.ntu.
edu.tw/∼cjlin/libsvm (2001).
適合率＝

正しく挿入されたあいづちの数挿入されたあいづちの数