人とエージェントのインタラクション論文特集

論 文

ユーザの相づち・うなずきを喚起する音声対話システム
翠

輝久†

河井

恒†

水上 悦雄†
中村

志賀 芳則†

川本 真一†

哲†

Toward Construction of Spoken Dialogue System that Evokes Users’ Spontaneous
Backchannels
Teruhisa MISU† , Etsuo MIZUKAMI† , Yoshinori SHIGA† , Shinichi KAWAMOTO† ,Hisashi KAWAI† , and Satoshi NAKAMURA†

あらまし ユーザの自然な聞き手反応を喚起する対話システムの構築を目指して，人が対話を行う際に表出する韻律表現を生成する対話スタイルのテキスト音声合成器 (TTS) の構築を行う．構築した対話スタイルの TTSを利用してユーザに情報を提示する音声対話システムを実装し，システムに対するユーザの聞き手反応に基づいて TTS の評価を行った．評価の結果，我々が構築した TTS により，ユーザの感情を判定可能な自然な聞き手反応を引き出すことができることを確認し，自然な対話スタイルの音声を生成することは，ユーザからシステムにとって有益な情報を引き出す効果があることが分かった．
キーワード

音声対話システム，テキスト音声合成，相づち・うなずき

1. ま え が きれる現象であり，人は対話を円滑に進めるために，こ長年研究されてきた音声対話システムの問題として，

Maynard [4] は，相づちには聞き手が話し手に対して，れらの情報を用いていると考えられている．例えば，

いかに人同士のような自然な対話を実現するかという発話を続けていいことを暗示する機能 (continuer) が課題が挙げられる．この問題を解決するための一つのあることを指摘している．また，河原ら [5] は，相づ方向性として，非音声情報や音声中の非言語情報を利

ちのパターンと話し手の発話内容に対するユーザの興用するアプローチがある．例えば，Huang ら [1] は，味の間に関係性があることを示している．これらの研モーションキャプチャセンサを用いて，対話中の指差究は，音声対話システムがユーザの相づちを検出する

し位置を入力とする音声対話システムを構築している．

ことにより，システムがユーザの状態を推定する手掛Bohus ら [2] は，ユーザの立ち位置の移動軌跡を対話りを得ることができることを示唆している．例えば，への参与構造を推定するために利用している．また，ユーザの相づちを検出することで，システムはスムー

我々もユーザの視線情報を利用してユーザの興味を推

ズな発話ターン交代を実現することができると考えら定する音声対話システムを構築している [3]．

れる．また，ユーザの相づちを検出することで，シス

本論文では，人同士の対話において最も一般的に行
われる相づちに着目する．具体的には，Maynard [4]テムが現在の話題を続けるかどうかの判断が可能になると期待される．

の研究の相づちの定義のうちの 1.「うん」「ふうん」等

上記の先行研究の成果や，何十年にもわたって相づの（音声発話を伴う）短い表現及び，2. 頭の動き（はっちの分析研究が行われてきたにもかかわらず，相づちきりとした頭の縦ふりと横ふりのみ）に着目する（注 1）．

を検出する音声対話システムはほとんど実用化されてこれらの相づちは，人同士の対話において頻繁に現いない．我々はこの原因は，ユーザが音声対話システ
ムに対して，人同士のように自然に接することができ†

情報通信研究機構，京都府
National Institute of Information and Communications
Technology, 3–5 Hikaridai, Keihannna Science City, Kyotofu, 619–0289 Japan16

電子情報通信学会論文誌（注 1）：Maynard の研究では，この二つの現象の他に，「3. 笑い，笑いに似た表現」も相づちとして扱っているが，本研究では笑いは相づちとして扱わない．

c （社）電子情報通信学会 2012
A Vol. J95–A No. 1 pp. 16–26 論文／ユーザの相づち・うなずきを喚起する音声対話システムないためであると考える．すなわち，従来の音声対話

出力にこのような言語表現を入れることが人とコンシステムが生成する音声にはユーザが相づちを自然に

ピュータ間の対話の自然さを向上させることを示した．

打つために必要な，相づちを喚起する言語的，音響的，

本論文では，システム音声の韻律的な側面，すなわち韻律的な手掛り (Backchannel-inviting cues [6]) が十

イントネーションや音素長に着目して，対話スタイル分に含まれていないと考える．Gravano ら [6] は，人のテキスト合成音声器を構築することを目指す．対話同士の対話の分析を行い，話し手が上記の手掛りを複スタイルの音声合成器を構築する試みはこれまでにも数，同時に生成した場合に，聞き手が相づちを打つ確

行われているが [10], [11]，これまでの研究では，合成率が高くなることを示している．そのため，人の声を音に対する聞き手の反応に基づく評価は行われてい録音して音声対話システムの出力音声として使うことない．

で，相づちを喚起する手掛りを含む出力ができると考一方，会話分析の分野では，言語・非言語から得らえられるが，その場合には，システムの発話内容を変れる情報に基づいて相づちやうなずきに関する分析研

更するたびに音声を再収録する必要があるため，シス究が行われてきた [6], [12], [13]．典型的な分析手法とテム運用にかかるコストが高い．本研究ではそのため，して，相づちが打たれた箇所の直前の単語の品詞や，メディアの等式 (Media Equation) [7] から導かれる

発話区間の長さ，パワー曲線や F0 曲線のパターンに仮説：関する分析が行われてきた．また，Gravano ら [6] は，「人はより自然な相づちを喚起する手掛りを含む発

上記の相づちが起こりやすいパターンが複数同時に起話をする音声対話システムに対して，より自然な相づこる場合に，相づちが打たれる確率が相乗的に高くな

ち・うなずきを行う．
」

ることを報告している．本研究での目的は，これらのに基づいて，ユーザの自然な相づち・うなずきを喚研究で行われた分析から得られた知見に基づき，ユー

起する対話スタイルのテキスト音声合成器 (Text-to-

ザが相づちを打ちやすくなる韻律パターンを模倣する

speech; TTS) を構築することを目指す．

TTS を構築することである．

本論文の概要は以下のとおりである．

また，岡登ら [14]，藤江ら [15]，北岡ら [16] は，上（ 1 ） 最初に，対話スタイルの TTS を構築し，合記の相づち分析の研究に基づいて，ユーザの発話に対成器が生成する音声が，相づちを喚起する手掛りを含して相づちを打つ音声対話システムを構築している．

んでいるかを検証する．TTS の構築については，3.

我々の研究の目的は，ユーザの自然な相づちを喚起す

で述べる．

る音声対話システムの構築であり，これらの研究とは（ 2 ） 次に，被験者実験を行い，TTS が出力する音

目的が異なる．

声を聞き手の反応に基づいて評価し，対話スタイルの

TTS が従来の合成器と比較して，より自然なユーザの聞き手反応を引き出すことができることを示す．また，引き出されたユーザの相づち・うなずきを用いてシス
テムがユーザの感情・興味を推定できることを示す．

4. で評価用音声対話システムの構築について述べ，5.
で被験者実験の結果とその評価について述べる．

2. 関 連 研 究

3. 対話スタイルのテキスト音声合成器の構築
3. 1 テキスト音声合成器のための対話データの収録
ユーザの相づちを喚起する自然な TTS を構築する
ために，相づちを喚起する手掛りを含む音声対話コーパスを構築し，コーパスから HMM 音響モデルを構築することを目指す．学習に使用する音声対話データ

テキスト音声合成の自然さの改善を目的として，こベースを作成するために，これまでに我々が構築してれまでに多くの研究が行われてきた．これまでの研究

きた観光の旅程構築を行う京都観光案内対話コーパのほとんどは，明瞭で聞き取りやすい読上げスタイル

ス [17] を利用した．このコーパス中では，プロのガイの合成音を志向したものであるが，対話システムをドがユーザに対して観光地や，レストランを推薦し，志向した対話スタイルのシステムの音声出力を目指

ユーザが旅程を決める対話が行われている．コーパした研究も行われている．例えば，Andersson [8] やス中のガイドがユーザに説明を行っている場面では，

Marge [9] らは，フィラーなどのシステム発話の言語

ユーザはガイドに対して自然な相づち・うなずきを行っ的側面に着目した音声出力の評価を行い，システムのている．我々は，このコーパスを用いて音声収録用の17

電子情報通信学会論文誌 2012/1 Vol. J95–A No. 1
表 1 対話音声収録に利用した対話シナリオの例
Table 1 Example dialogue scenario used forrecording.
ガイド
ユーザ
ガイド
ユーザ
ガイド

ユーザ
ガイド

ユーザ
ガイド

あと，仁和寺のすぐ近の，龍安寺は行かれたことありますか？
龍安寺，お庭が綺麗な所ですか？昔行きましたね．
そのとき桜の時期でしたか？
その時は違いました．
じゃあせっかくなので，龍安寺の石庭にも，一本大きな枝垂れ桜があるんです．もうこの時期しか見れない風情なので★，せっかくここまで行かれたら★，ここも見ておかれるといいかなと思います．
はい．
じゃあ，そうしましたら★，午後にこの二つをゆっ
くり見て★，その後，夜にここに行く感じでよろしいですかね？
はい．金閣寺（きんかくじ）へ行ったら遠いですか？
いえ★，行けますよ．歩いても★，二十分ぐらいなんです．

図 1 F0 曲線パターンの推定
Fig. 1 F0 contour pattern estimation.

線パターンは人手により付与されることがほとんどであるが，本研究では以下の手順でパターンを推定する．
最初に，全ての発話を対象に，対数 F0 を平均 0，分散

台本を作成し，プロの声優にコーパス中で行われてい1 になるように正規化する (z-score: z = (x − μ)/σ)．

る対話を演じるように依頼した．

次に，発話区間の最終音素を，前半・後半の二つに分

音声収録用の台本を作成する手順は以下のとおりで割して，それぞれの区間の正規化対数 F0 の傾きを線ある．まず最初に，コーパス中のフィラーや相づちを形回帰分析により推定する．推定された傾きがしきい

全て削除した（注 2）．次に，ユーザが相づちを打った直前のガイドの発話箇所に★記号を付与した．作成した台本の例を表 1 に示す．2 名の女性声優に，台本中の対話を再現するように依頼した．すなわち，声優
は対面して座り，1 名の声優が台本中のガイド役を演

値 θ よりも大きい場合に，当該区間の F0 パターンは“上昇”，しきい値が −θ よりも小さい場合に “下降”，それ以外の場合には “平たん” であるとした．上記の3 パターンの前半・後半の組合せにより，計 9 種類のF0 曲線パターンを定義した．なお，しきい値 θ は，経じ，もう 1 名の声優がユーザ役を演じるように依頼し験的に 5.0 に設定した．“平たん–下降” パタンの例を，た．ユーザ役の声優には，ガイド役の声優の発話中の図 1 に示す．音声のパワーの曲線パターンも同様の方

任意のポーズ区間で，自身の判断で相づちを打つこと法で推定した．

を許した．収録した音声に対して，形態素情報やアク収集した対話音声データ中の，ターン交代を伴わな

セント情報を付与し，239.3 分のガイド役の声優の音い音声区間と，読上げ音声データの音声データの分析

声データを整備した．このデータを利用して TTS 用を行った．これらの発話の末尾の音素に関するこれらの音響モデルを作成する．なお，音素系列データのスの特徴の分析結果を表 2 に示す．

パースネスの問題に対処するために新聞記事などから

話者交代，相づちを伴う発話ターン保持，相づちが収集された ATR 音素バランス文 [18] の収録を行い，ない発話ターン保持が行われている発話区間の分析を

音響モデルの学習データに使用した．

行った小磯らの研究では，区間の最終音素の継続長が

3. 2 収集した音声データの分析

長い場合には，ターン交代が行われにくいことが指摘

TTS 用音響モデルの学習に先立ち，収録した音声されている．また，この研究では “平たん–下降” 及びデータに聞き手の相づちを喚起する韻律的な手掛りが“上昇–下降” パターンの発話後には相づちが打たれる

含まれているかを検証した．収集した対話音声データ

確率が，発話ターン交代，相づちなしの確率より高いの韻律的な特徴を，読上げ音声（音素バランス文）のことを指摘している．我々の収集した音声を分析した特徴と比較した．小磯らの研究 [12] の知見を参考に，結果，最終音素の長さにおいて，対話音声の音素長が発話区間 (IPU)（注 3） の最終音素の継続長と，F0 及びパワーの曲線パターンを分析した．
日本語の会話分析においては，一般的に発話終端のF0 曲線パターンを利用した分析が行われている．曲
18

（注 2）
：音声対話システムは，フィラーを生成する必要がないという考えに基づき本研究を行っている．
：本研究では IPU は，200 ms 以上のポーズ区間に囲まれた音声（注 3）
区間であるとする．

論文／ユーザの相づち・うなずきを喚起する音声対話システム
表 2 発話区間の最終音素の韻律特徴の分析（対話音声 v.s. 読上げ音声）
Table 2 Prosodic analysis of final phonemes of IPUs.
(dialogue script vs. newsarticle script)
対話
音素継続長 [msec] 177.1 (± 83.6)

音素バランス文119.4 (± 31.3)

平均（標準偏差）

パターン
上昇–上昇
上昇–平たん
上昇–下降
平たん–上昇平たん–平たん平たん–下降下降–上昇
下降–平たん
下降–下降

対話
3.7%
2.6%
18.8%
4.8%
3.5%
12.6%
29.2%
7.7%
17.1%

F0
バランス文
10.4%
2.1%
3.2%
11.5%
1.8%
2.7%
47.0%
9.0%
12.3%

ら mel log spectrum approximation (MLSA) filter
を用いて音声波形を作成する．

4. 被験者実験
4. 1 実験に利用する対話システム構築した TTS を，ユーザの反応に基づいて評価すパワー
対話 バランス文
0.0%
0.0%
0.0%
0.0%
0.0%
0.0%
0.0%
0.0%
0.0%
9.2%
13.6%
0.1%
0.0%
0.0%
86.4%
90.7%
0.0%
0.0%

るために，ユーザの観光スポット決定を支援する音声
対話システムを実装した．システムの実装には，我々の対話システム構築フレームワーク [20] を利用した．
構築したシステムは，ユーザの音声による京都の観光スポットに関する情報提供要求を受け取り，要求されたスポットの説明文をユーザに提供することができる．
すべての説明文は，観光スポットの概要，起源，自然環境，建物，イベント，利益の情報からなる．また，説明文の長さは 500 文字 (±1%)，句読点の総数（=発読上げ音声の音素長と比較して有意に (p < 0.01) 長

話区間 (IPU) の数）は 30 になるように調整した（注 4）．

かった．また，対話音声における “平たん–下降” 及び説明文は 3. の TTS により読み上げられる（注 5）．読上“上昇–下降” パターンの出現頻度が，読上げ音声の比

げの速度は 1 秒当り 9 音素とし，各スポットの説明文

率と比較して有意に高かった．韻律パターンの分析にの長さの合計は約 2 分である．なお，システムの説明

言語的な特徴の違いが考慮されていないが，概して，発話の文の終端から次の文の始端までには，1.3 秒の収録した対話スタイルの音声は，読上げスタイルの音

ポーズを挿入した（注 6）．また，読点でのポーズの長さ声と比較して，相づちを喚起する手掛りが多く含まれは，HSMM により自動生成するためコンテクストにているといえる．

より異なるが，平均 0.8 秒である．

3. 3 テキスト音声合成器用音響モデル
HMM-based Speech Synthesis System (HTS) [19]また，システムはディスプレイを利用して，アバタ
エージェントと観光スポットの写真を表示する．ユー

ver. 2.2 を 利 用 し て ，我々の 音 声 合 成 エ ン ジ ンザに対して提示した GUI を図 2 に示す．システムは

XIMERA 用の HMM 音響モデルを構築した．すな

アバタエージェントを利用して（間接的に）システム

わち，対話音声と読上げスタイル音声（ATR 音素バの動作状態をユーザに開示することができる．例えば，

ランス文）を含む全ての音声と，コンテクストラベ

ユーザが発話を始めた際には，図中のように耳に手をルを用いて 5 状態の HSMM (Hidden Semi Markov

当てる動作を行うことで，ユーザの発話を聞いている

Model) を学習した．HSMM は，音声スペクトル，F0 ，という動作状態を表現することができる．システムと音素継続長に対応するパラメータをもち，そのゆう度

ユーザとの対話例を表 3 に示す．

が同時に高くなるように学習される．コンテクストラ

4. 2 比較対象の音声対話システム

ベルは，音素（クイントフォン），品詞ラベル，アクセ

我々の構築した TTS が生成する音声による，ユーザ

ント位置，単語のアクセント型，呼気段落，単語の文の自然な相づちを喚起する効果を検証するための比較

中での位置からなり，これらの特徴を組合せにより学対象として，従来の読上げスタイルの TTS を利用し習データ中の音声の相づちを喚起する手掛りをモデルたシステムを実装した．比較対象の音声合成器として，化できると期待される．
（例：IPU 末に現れる典型的な（対話音声を収録した声優とは別の）プロのナレータ

音素系列が，IPU 末に出現する際には，音素継続長が長くなりやすいなど）．
音声生成時には，与えられたテキストから作成した
コンテクストラベルに対応する HSMM のゆう度を最大化するように，音声スペクトル，F0 ，音素継続長のパラメータを自動生成し，生成されたの各パラメータか（注 4）：なお，システムは説明文を読み上げる途中に，説明を続けてもいいかどうかを確認する質問を行う．なお，質問及び，最初の導入「はい，○○ですね．
」は，500 文字に含まない．
：説明文は，音響モデルの学習データには含まれていない．
（注 5）：正確には，HMM が生成する文頭状態・文末状態の継続長はコ（注 6）
ンテキストにより異なるため，実際のポーズ長さはこれよりわずかに前
後する．

19

電子情報通信学会論文誌 2012/1 Vol. J95–A No. 1
表 4 発話区間の最終音素の韻律特徴の分析（対話スタイル TTS v.s. 読上げスタイル TTS）
Table 4 Prosodic analysis of final phonemes of IPUs.
(dialogue-style TTS vs. reading-style TTS)
対話スタイル
音素継続長 [msec] 172.9 (± 29.6)

読上げスタイル
126.1 (± 19.1)

平均（標準偏差）
F0

パターン
上昇–上昇
上昇–平たん
上昇–下降
平たん–上昇平たん–平たん平たん–下降下降–上昇
下降–平たん下降–下降

Fig. 2図 2 対話システムの GUI 画面
Screen shot of the dialogue system.

対話
5.4%
2.0%
23.5%
5.0%
1.7%
15.8%
15.8%
3.4%
27.5%

読上げ
0.0%
0.0%
0.0%
0.0%
0.0%
0.0%
0.0%
0.0%
100.0%

power
対話 読上げ
0.0%
0.0%
1.7%
0.0%
46.3%
5.3%
0.0%
0.0%
4.0%
9.2%
22.8% 18.1%
0.7%
0.0%
7.0%
0.0%
17.4% 76.5%

音声の明瞭性や自然性が大幅に損なわれる結果になった．そのため，利用可能なデータが大量にある別のナ

表 3 システムとユーザの対話例
Table 3 Example dialogue with the system.
(translation of Japanese)
システム

ユーザ
システム
ユーザ
システム
システム

システム
ユーザ
システム

...
システム
システム

ユーザ
...

こんにちは．京都の観光案内をしている「はんな」と申します．どうぞよろしくお願いします．それでは，最初に説明させていただく観光スポットが決まりましたら，「はい」とおしゃってください．
はい．
はい．それではどちらのスポットをお知りになりたいですか？
真如堂について教えてください．
はい，真如堂ですね．
真如堂は，京都市左京区にある天台宗の寺院でして，正式名称は真正極楽寺といいます．京都駅からはバス一本で行くことができまして，約三十分ほどの所要時間になりまして，料金は二百二十円
です．境内の拝観料は五百円になります．比叡山の本尊の阿弥陀如来像を，この地にあった皇族の離宮に置いたのが始まりで，お寺の起源は九百八十四年になります．
続きを説明してもよろしいですか？
お願いします．
紅葉で特に有名なお寺でして，石畳の参道の両側にはなカエデがありまして，まるでカエデの林の中に寺があるようにもみえます．. . .
このスポットの説明は以上です．
それでは，次に説明させていただくスポットを教えてください．
では，大徳寺をお願いします．

レータの音声を用いて，読上げスタイルの TTS 用の音響モデルを構築した．比較用の音声合成器の話速は，対話スタイルの音声合成器と同じ速度に設定した．観光スポットの説明文や，アバタエージェント，文間のポーズ長など，合成器（音響モデル）以外のシステム
設定は対話スタイルの合成器を利用したシステムと同様である．

4. 3 合成音の韻律的特徴の分析
実験に先立ち，TTS が生成した音声が相づちを喚起する手掛りを含んでいるかを調べるために，対話ス
タイル音声合成器と読上げスタイル音声合成器が生成した音声を，3. 2 の分析同様の方法で発話区間末の最終音素の韻律特徴を分析・比較した．分析結果を表 4に示す．
対話スタイル TTS により合成した音声は，読上げスタイル TTS により合成した音声と比較して，F0 ，パワーの双方で上昇–下降及び平たん–下降の曲線パターンの割合が多く，音素継続長も長い．これらの音
声が，同じ内容のテキストをもとに作成したものであることを考慮すると，対話スタイル TTS により合成
した音声は，読上げスタイル TTS により合成した音声と比較して，より多くの相づちを喚起する手掛りを含んでいるといえる．

の 10 時間の音声データから学習した HMM テキスト

4. 4 実 験 条 件

音声合成器を構築した．対話スタイルの音声合成の声

これまでに音声対話システムを利用したことのない

優の話し言葉音声（音素バランス文）からモデルを学

30 名の被験者の聞き手の反応に基づいて TTS を評価

習することも試したが，学習データ不足のため，合成（すした．被験者は，対話システムを 2 種類の設定で，

20

論文／ユーザの相づち・うなずきを喚起する音声対話システム

なわち対話スタイル，読上げスタイルの 2 種類の合成

ループの被験者は，上記の 2 グループとは利用するス器を利用する設定で）利用してもらった．実験場所とポットリストの順を逆にして実験を行った．

して約 2 m2 の防音室を用意し，被験者には図 3 に示すシステムの前に座り，システムを利用してもらった．
なお，監督者を含めて部屋には被験者以外に誰も入ら5. 実 験 結 果
全てのユーザが与えられた課題を完遂した．

ず，被験者が他者を意識することがないように環境を

5. 1 アンケートによる評価

設定した．

実験後に被験者に対して合成音に関するアンケート

被験者には，（対話システムではなく）画面に表示さを行った．アンケート項目を表 5 に示す．これらの項れているアバタエージェント「はんな」と対話するよ

目に対して (a) どちらもよい (b) 対話スタイルの音声

うに教示した．その際に被験者には，アバタエージェ

がよい (c) 読上げスタイルの音声がよい (d) どちらもントは被験者の音声をマイクを通じて常時聞いていよくないから一つを選択して回答してもらった（注 10）．

ること，ディスプレイ上部のカメラを用いて被験者のアンケートの結果を図 4 に示す．

動作を観察していることを伝えた（注 7）．また，被験者

全般的に対話スタイルの TTS が高い評価を得ていにはアバタとの対話を通じて，画面上に表示された 3

るが，問 2，問 5 において，読上げスタイルの評価が箇所の観光スポットの情報を調べて，興味をもったス

わずかに高かった．この理由として，対話スタイルのポットを一つ選択する課題を与えた（注 8）．システムと音声の明瞭性，自然性が読上げスタイル音声と比較しの対話の例を表 3 に示す．システムは説明文を読み上げる途中に，説明を続けてもいいかどうかを確認する
質問を行う（注 9）．システムとの対話を行っている被験者を収録したビデオを以下の URL にアップロードしている．http://mastarpj.nict.go.jp/˜xtmisu/video/

TTS.wmv
ユーザは，観光スポットの中から一つを選択する課題を行った後に，システムの TTS の設定を変えた上で，別の 3 スポットの中から一つを選ぶ課題を行った．
実験に際し，順序効果を考慮して被験者を四つのグ

表 5 アンケート項目
Table 5 Questionnaire items.
問 1. 二回の説明のうち，いずれの声での説明がよかったですか？
問 2. 二回の説明のうち，いずれの声での説明がよく内容が理解できましたか？
問 3. 二回の説明のうち，いずれの声での説明が，より相づちをうちたくなりましたか？
問 4. 二回の説明のうち，いずれの声がこのシステムにあっていましたか？
問 5. 二回の説明のうち，いずれの声が人の説明に近かったで
すか？

「スポッ
ループに分割した．第 1 グループの被験者は，トリスト A を対話スタイルの音声で利用→スポットリ
スト B を読上げスタイルの音声で利用」の順でシステ
ムを利用した．第 2 グループの被験者は，第 1 グルー
プとは逆の順序でシステムを利用した．第 3，第 4 グ

図 4 アンケート結果
Fig. 4 Questionnaire results.

図 3 システムの設定
Fig. 3 System setting.

（注 7）：実際にはカメラはダミーであり，システムはユーザの動作を観察していない．
：3 箇所のスポットをどのような順序で尋ねるかはユーザに任せ（注 8）た．
：ユーザには，アバタエージェントの要求に対して肯定的に回答（注 9）するように教示した．
：実際には，(b) (c) の項目は「最初に利用したシステムの音声（注 10）がよい」，「後に利用したシステムの音声がよい」である．

21

電子情報通信学会論文誌 2012/1 Vol. J95–A No. 1
表 6 相づち・うなずきを行ったユーザの割合と相づち・うなずきの平均回数
Table 6 Percentages of users who made backchannels and average number ofbackchannels.
TTS
Group 1: （対話 → 読上げ）（スポットリスト A → スポットリスト B）
Group 2: （読上げ → 対話）（スポットリスト A → スポットリスト B）
Group 3: （対話 → 読上げ）（スポットリスト B → スポットリスト A）
Group 4: （読上げ → 対話）（スポットリスト B → スポットリスト A）
All:

対話スタイル
読上げスタイル
対話スタイル
読上げスタイル
対話スタイル
読上げスタイル
対話スタイル
読上げスタイル
対話スタイル
読上げスタイル

相づち・うなずきを行ったユーザの割合

相づち・うなずきの回数

100.0% (50.0%, 100.0%)

30.4 (1.8, 28.6)

100.0% (50.0%, 87.5%)

26.1 (3.1, 23.0)

75.0% (25.0%, 62.5%)

12.7 (0.5, 12.2)

75.0% (25.0%, 62.5%)

12.9 (1.3, 11.6)

100.0% (28.6%, 100.0%)

14.0 (0.4, 13.6)

100.0% (0%, 100.0%)

19.3 (0, 19.3)

87.5% (42.9%, 87.5%)

28.2 (4.7, 23,5)

100.0% (71.4%, 87.5%)

24.8 (6.5, 18.3)

86.7% (36.7%, 86.7%)

21.1 (1.7, 19.4)

90.0% (40.0%, 83.3%)

20.6 (2.4, 18.2)

相づち・うなずき合計（相づち，うなずき）て悪かったことが挙げられる．実際，TTS の評価に

個々の相づちからユーザの感情・興味を推定し，現在説一般的に利用される指標である平均オピニオン評点

明中のスポットの説明を続けるか話題を変えるかを判(MOS) は対話スタイル TTS で 2.79 であり，読上げ断することが考えられる（注 11）．そこで，個々の相づちスタイル TTS の 3.74 と比較して低かった．MOS がに対してユーザがシステムの説明に対して興味をもっ低い主な原因として，TTS の音響モデル学習に利用した上で打たれていると考えられる相づちを「positive」，

た学習データが少なかったことが考えられる（対話ス

そうでないものを「negative」とラベル付けし，これ

タイル TTS で約 5 時間，読上げスタイルで 10 時間）．

らを識別することを考える．なお，本実験において

しかしながら，この問題はより多くの対話音声（学習は，近似的にユーザが最終的に決定した観光スポット

データ）を収集することで解決できると考えられる．

の説明中の相づち・うなずきを「positive」，決定した

5. 2 相づちの頻度の分析

スポット以外の説明中のものを「negative」とラベル

被験者の相づち・うなずきの回数を分析した．対話付けした（注 12）．なお，人対人の対話においては，発話

セッション中のビデオを利用して，人手により被験者終了から相づちのタイミングが早い場合，及び相づちの「うん」といった相づちや，うなずき動作のアノテーの頻度が高い場合にユーザは受けている説明に対してションを行った．30 名の被験者のうち，28 名がシス

肯定的な感情をもっていることが報告されている [5]．

テムに対して相づち若しくはうなずきを行った．表 6

ユーザの相づち・うなずきの positive/negative を分に，被験者の相づち・うなずきの頻度及び回数を示す．

析するために，タイミング情報，頻度情報を利用した

多くの被験者が，対話スタイルの音声に対して頷い

識別を考える．ユーザの相づちはシステムの発話区間ている．しかしながら，アンケートの問 3 において，の末端周辺に現れると考え，発話終了時間と相づちが大きな違いがあったにもかかわらず，ユーザが実際にうたれたタイミングの差を調べた．なお，発話の終了

打った相づち・うなずきの回数に有意な差はなかった．

時間直前に相づちが打たれた場合には，この値は負の5. 3 相づち・うなずきがシステムに有用であるか値をとり得る．相づち・うなずきの頻度は [5] に従い，どうかの分析

相づちが生成された時点における，「スポット説明開始

次に，ユーザの相づち・うなずきが，自然なもので時点からのユーザの相づち・うなずきの累積の回数」

あるかを調べるために，相づちのパターンを調べた．

を「スポット説明開始時点からのシステムの発話区間

自然な相づちが生成されていると考えられる人間同士の数」で割った値により定義する．例えば，ユーザがの対話中の相づちからは，人間の肯定的/否定的な感情

相づちを打った時点で，システムがスポットに関するを推定できるとの研究報告があるため [5]，本システム

説明を開始した時点から発話区間が五つ存在し，シスにより喚起された相づちが自然なものであれば，ユー
ザの相づちのパターンは，人間に対して行われたものと同様にシステムの説明への肯定的/否定的な感情を反映しており，それらを判別可能であると考えた．また，我々のシステムにおける相づちの利用方法として，
22（注 11）：例えば，negative と判定される相づちが一定割合以上になった場合に，現在の説明を中断し，別のスポットを推薦する対話戦略などが考えられる．
：本来なら，相づち・うなずきごとに肯定/否定を人手で判定・（注 12）
アノテーションすることが望ましいが，そのようなアノテーションは困難であるため，近似的にこのようなラベルを用いた．

論文／ユーザの相づち・うなずきを喚起する音声対話システム

図5

図6

相づち・うなずきのタイミングの分析結果（対話ス
タイル）
Fig. 5 Relative time vs. average number ofbackchannels. (dialogue-style)

図 7 相づち・うなずきの頻度の分析結果（対話スタイル）
Fig. 7 Frequency vs. average number ofbackchannels. (dialogue-style)

相づち・うなずきのタイミングの分析結果（読上げスタイル）
Fig. 6 Relative time vs. average number ofbackchannels. (reading-style)

テムがスポットに関する説明を開始した時点からユー
ザが相づちを打った直前までの累積の回数が 2 回で図 8 相づち・うなずきの頻度の分析結果（読上げスタイル）
Fig. 8 Frequency vs. average number ofbackchannels. (reading-style)

あった場合に，相づちの頻度は (3/5 = 0.60) となる．
対話スタイル TTS，読上げスタイル TTS に対すとができた．しかしながら，読上げスタイル TTS にる，ユーザの相づち・うなずきとシステム発話区間の対する相づち・うなずきにはこのような傾向は見られタイミングの分布を図 5，図 6 に示す．positive ラベ

ず，頻度が高い場合であっても negative ラベルの相づ

ルの相づち・うなずきの平均タイミングは，negative

ち・うなずきが多く見られた．

ラベルのものよりも早い傾向があったが，有意な差は更に，ユーザの相づち・うなずきがシステムにとっなかった．これは，今回の実験ではユーザの聞き手反て有用であるかを，システムが相づち・うなずきの応のほとんどはうなずきとして表出されていることがpositive/negative ラベルを識別できるか（識別率）を原因と考える．すなわち，相づちと異なりうなずきは基に調べた．識別結果の利用方法として，スポットの相手の発話をさえぎらないため，ユーザが任意のタイ

説明の途中の段階で，ユーザの相づちからユーザの感ミングで表出することが可能であり，必ずしも発話区

情・興味を推定し，現在説明中のスポットの説明を続間と同期したタイミングで反応が行われていなかった

けるか話題を変えるかを判断することが考えられるたためと考えられる．

め，（スポット単位ではなく）個々の相づちを単位とし相づち・うなずきの頻度の分布を図 7，図 8 に示す．

て識別実験を行った．識別率は 10 交差検定により求対話スタイル TTS においては，ユーザの相づちの頻めた．すなわち，対話スタイル TTS に対する相づち・度が高い場合に positive な相づちである確率が高いこ

うなずきを 10 のグループに分割し，9 グループを識別とが分かる．例えば，頻度が 0.74 から 0.97 までの相器の学習に利用し，残り 1 グループをテストに利用しづち・うなずきのみを抽出した場合，positive ラベル

た．なお，識別のための特徴として，前述のタイミンの相づちを精度 65.8%（再現率 23.0%）で検出するこ

グ，頻度の情報に加え，システム利用開始時点からの23

電子情報通信学会論文誌 2012/1 Vol. J95–A No. 1

Table 7表 7 識別結果の混同行列
Confusion matrix of classification.

→ 識別結果↓ データラベル
positive
negative(total)positive

negative(total)

76
45
121

141
386
527

217
431
648

掛りを生成することで，ユーザが（システムにとって感情を識別しやすい）自然な相づち・うなずきを行う
ことを確認した．我々の実験は発話の韻律特徴のみに着目したものであり，ユーザが相づち・うなずきを行う仕組みを解明するためにはまだ多くの実験・分析が必要であると考えられる．例えば，少なくとも言語的情報，アバタエージェントの利用，実験環境や，被験（3 スポットを通じての）頻度情報，相づちの種類（発者への教示などの効果を詳しく調べる必要があると考話/うなずき）の情報を利用し，J4.8 アルゴリズムにえる．また，発話言語情報と発話の「間」の関連性をより構築した決定木を利用して識別を行った．その際「間の取り方」に関する分示した研究 [22] などもあり，に，positive/negative のサンプルのバランスを考慮し析も必要であると考える．しかしながら，本研究によて，positive のサンプルの誤りリスクを [negative のる実験結果は，ユーザの自然な振舞いを喚起する研究

サンプル数/positive のサンプル数] に設定した．評価において重要な知見になると期待される．

に用いるグループを変化させ，10 回の識別実験を行

謝辞 本研究に対して多大な協力を頂いた情報通信

い，平均識別率を求めた結果，識別率は 71.4%であっ研究機構の大竹清敬氏及び，京都大学の坂井信輔氏，

た．識別の混同行列を表 7 に示す．positive のサンプ

有益な議論を頂いた，情報通信研究機構の堀智織氏，

ルの識別において 62.8%の識別精度，negative のサン

京都大学の河原達也教授に感謝致します．
文

プルの識別では 73.2%の識別精度が得られた．これらの識別精度は，チャンスレートの 33.5%，66.5%より[1]

Zoric, I. Pandzic, Y. Nakano, and T.T. Nishida, “Anも有意に高いものであった．この結果は，対話スタイ

agent based multicultural tour guide system with

ル TTS により喚起された相づち・うなずきはシステ

nonverbal user interface,” Int. J. Multimodal User

ムにとってユーザの状態を推定するために有益な情報であることを示しているといえる．

Interfaces, vol.1, no.1, pp.41–48, 2008.
[2]

D. Bohus and E. Horvitz, “Models for multiparty
engagement in open-world dialog,” Proc. SIGDIAL,

読上げスタイルの TTS に対する相づち・うなず
きの識別を同様の手順で求めた結果，平均識別率は献

H. Huang, A. Cerekovic, K. Tarasenko, V. Levacic, G.

pp.225–234, 2009.
[3]

K. Kayama, A. Kobayashi, E. Mizukami, T. Misu, H.

47.4%であり，対話スタイルの TTS の場合と比較し

Kashioka, H. Kawai, and S. Nakamura, “Spoken dia-て有意に低いものであった．

log system on plasma display panel estimating user’s
interest by image processing,” Proc. 1st International

これらの結果は，対話スタイル TTS を備えた対話

Workshop on Human-Centric Interfaces for Ambient

システムは読上げスタイル TTS を用いるシステムと比較して，ユーザのより自然な相づち・うなずきを喚Intelligence (HCIAmi), pp.4–13, 2010.
[4]and english casual conversation,” Linguistics, vol.24,

起することができたことを示している．71.4%の識別率は十分に信頼性の高いものであるとはいえないが，S. Maynard, “On back-channel behavior in japaneseno.6, pp.1079–1108, 1986.

[5]

T. Kawahara,

M. Toyokura,

T. Misu,

and C.

対話中に複数回，相づち・うなずきを観測することでHori, “Detection of feeling through back-channels in

高い精度でユーザの感情を推定できるものと期待され

spoken dialogue,” Proc. Interspeech, pp.1696–1696,

る．また，相づち・うなずきから得られた情報を，ユー
ザ発話の対話行為など，言語的な情報と統合して利用

2008.
[6]

cues in task-oriented dialogue,” Proc. Interspeech,

すること [21] による，識別精度の改善も期待される．

6. む す び

A. Gravano and J. Hirschberg, “Backchannel-inviting
pp.1019–1022, 2009.

[7]

B. Reeves and C. Nass, The Media Equation: How
People Treat Computers, Television, and New Media
Like Real People and Places, Cambridge University

本論文では，ユーザの自然な聞き手反応を喚起する
対話システムの構築に向けた，対話スタイル TTS の構築とそれを用いたユーザの聞き手の反応を用いた分析を行った．構築した TTS を利用した被験者実験を行った結果，システムが人に近い相づちを喚起する手
24

Press, 1996.
[8]

S. Andersson, K. Georgila, D. Traum, and R.C.M.
Aylett, “Prediction and realisation of conversational
characteristics by utilising spontaneous speech forunit selection,” Proc. Speech Prosody, pp.100116:1–

論文／ユーザの相づち・うなずきを喚起する音声対話システム[21]

4, 2010.
[9]Kashioka, H. Kawai, and S. Nakamura, “Dialogue“Towards improving the naturalness of social con-strategy optimization to assist user’s decision for spo-versations with dialogue systems,” Proc. SIGDIAL,

ken consulting dialogue systems,” Proc. IEEE-SLT,
pp.342–347, 2010.

pp.91–94, 2010.
[10]

S. Kiriyama, K. Hirose, and N. Minematsu, “Control of prosodic focuses for reply speech generation
in a spoken dialogue system of information retrieval
on academic documents,” Proc. Speech Prosody,
pp.431–434, 2002.

[11]

T. Misu, K. Sugiura, K. Ohtake, C. Hori, H.

M. Marge, J. Miranda, A. Black, and A.I. Rudnicky,[22]

川嶋宏彰，スコギンズ リーバイ，松山隆司，“漫才の動的”構造の分析—間の合った発話タイミング制御を目指して，
ヒューマンインタフェース学会，vol.9, no.3, pp.379–390,
2007.
（平成 23 年 3 月 31 日受付，7 月 12 日再受付）

N. Campbell, “Conversational speech synthesis andthe need for some laughter,” IEEE Trans. Audio
Speech Language Process., vol.14, no.4, pp.1171–
1178, 2006.

[12]

H. Koiso, Y. Horiuchi, S. Tutiya, A. Ichikawa, and Y.
Den, “An analysis of turn-taking and backchannels
based on prosodic and syntactic features in Japanese
map task dialogue,” Language and Speech, vol.41,
no.3-4, pp.295–322, 1998.

[13]

N. Ward and W. Tsukahara, “Prosodic features
which cue backchannel responses in English andJapanese,” J. Pragmatics, vol.32, no.8, pp.1177–

輝久

（正員）

2003 京大・工・情報卒．2005 同大大学
院情報学研究科修士課程了．2008 同大学

院情報学研究科博士後期課程了．2008 より情報通信研究機構専攻研究員．この間，2005 から 2008 まで日本学術振興会特別研究員（DC1）．音声言語情報処理，特に“Insertion of interjectory response based on prosodic

対話システムの研究に従事．博士（情報学）．2007 年度情報処理学会山下記念研究賞受賞．2010 年度日本音響学会粟屋潔学
術奨励賞受賞．IEEE，情報処理学会，人工知能学会，日本音information,”

響学会，言語処理学会各会員

1207, 2000.
[14]

翠

Y. Okato, K. Kato, M. Yamamoto, and S. Itahashi,
Proc. IEEE Workshop Interactive

Voice Technology for Telecommunication Applications, pp.85–88, 1996.
[15]

S. Fujie, K. Fukushima, and T. Kobayashi, “Back-

悦雄

channel feedback generation using linguistic and non-1997 神戸大学大学院自然科学研究科知linguistic information and its application to spo-

能科学専攻了．博士（理学）．2000 学習院
大学計算機センター助手，2003（独）通信総合研究所専攻研究員，2007 ATR 音声
コミュニケーション研究所研究員を経て，

ken dialogue system,” Proc. Interspeech, pp.889–892,
2005.
[16]

水上

N. Kitaoka,

M. Takeuchi,

R. Nishimura,and

S. Nakagawa, “Response timing detection using
friendly spoken dialog systems,” J. The Japanese So-2009（独）情報通信研究機構専攻研究員．
コミュニケーションにおける調整に関心があり，現在は対話，話し合いの評価研究に従事．日本認知科学会，人工知能学会，

ciety for Artificial Intellignece, vol.20, no.3, pp.220–

社会言語学会，日本教育工学会各会員．

prosodic and linguistic information for human-

228, 2005.
[17]

T. Misu, K. Ohtake, C. Hori, H. Kashioka, and S.
Nakamura, “Annotating communicative function andsemantic content in dialogue act for constructionof consulting dialogue systems,” Proc. Interspeech,
pp.1843–1846, 2009.

[18]

M. Abe, Y. Sagisaka, T. Umeda, and H. Kuwabara,“Speech Database User’s Manual,” ATR Technical
Report TR-I-0166, 1990.

[19]

H. Zen, T. Nose, J. Yamagishi, S. Sako, T. Masuko,
A.W. Black, and K. Tokuda, “The HMM-based

志賀芳則

1988 東京理科大・工・電気卒．1990 同
大 大 学 院 工 学 研 究 科 修 士 課 程 了 ．2006

エジンバラ大学 Ph.D 取得 (Speech Technology)，1990 東芝入社．英国サリー大学，
国際電気通信基礎技術研究所 (ATR) 勤務
等を経て，現在，情報通信研究機構に勤務．
音声の合成と認識に関する研究及び開発に従事．日本音響学会，
日本音声学会，ISCA 各会員．

speech synthesis system version 2.0,” Proc. ISCA
SSW6, pp.294–299, 2007.
[20]

C. Hori, K. Ohtake, T. Misu, H. Kashioka, and
S. Nakamura, “Dialog management using weighted
finite-state transducers,” Proc. Interspeech, pp.211–
214, 2008.

25

電子情報通信学会論文誌 2012/1 Vol. J95–A No. 1

川本

真一 （正員）2005 北陸先端科学技術大学院大学情報科学研究科博士後期課程了．博士（情報科学）．2005（株）国際電気通信基礎技術研究所研究員．2009 独立行政法人情報通信研究機構専攻研究員．2010 北陸先端科学
技術大学院大学情報科学研究科助教，現在に至る．音声・マルチモーダル情報処理の研究に従事．情報処
理学会，日本音響学会各会員．

河井

恒 （正員：シニア会員）

1984 東大・工・電気卒，1989 同大大学
院・電子了．工博．1989〜2000 KDD 研
究所，2000〜2004 年 9 月 ATR，2004 年
9 月〜2009 年 3 月 KDDI 研究所，2009

年 4 月より NICT に勤務．音声の認識・合成，音響信号処理，音声翻訳の研究開発に従事．日本音響学会，IEEE 各会員．

中村

哲 （正員）

1981 京都工繊大・工芸・電子卒．1992 京都大学博士号取得（工学）．1981 シャープ（株）入社．
（株）国際電気通信基礎技術研究所取締役，音声言語コミュニケーション研究所所長，独立行政法人情報通信研究機
構けいはんな研究所所長・知識創成コミュ
ニケーション研究センター研究センター長などを経て，現在，
奈良先端科学技術大学院大学情報科学研究科教授．ATR フェ
ロー．ドイツカールスルーエ大学客員教授．音声言語情報処理の研究に従事．2010 年 4 月文部科学大臣賞受賞．

26