HCGシンポジウム2016
HUMAN COMMUNICATION GROUP SYMPOSIUM 2016
HCG2016-I-2-1

一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

話し手の説明戦略に影響する聞き手行動の分析
藍原瞭†

森大毅†

† 宇都宮大学大学院工学研究科 〒 321–8585 栃木県宇都宮市陽東 7 丁目 1–2
E-mail: †{aihara,hiroki}@speech-lab.org
あらまし現状の音声ガイダンスには, 被説明者の反応を一切考慮せず行われるため, 理解が難しいという問題がある.

本研究は, 対話システムが行う音声ガイダンスを, ユーザーの理解状態をモニタリングしながら行うことで, 説明を分かりやすく円滑なものに改善することを目的としている. 本論文では, 対話システムが音声ガイダンスを行う際, 被説明者の理解状態を推定するために有用であると考えられる言語行動について検討を行った. 一方の人間がもう一方の人間に道具の使い方を説明する様子を収録し, 話し手が聞き手のどのような反応を手掛かりにして理解状態を推定するのか, また, それを利用してどのように説明計画を漸次的に変えていくのかを観察し分析した.
キーワード

音声ガイダンス, タスク指向型音声対話, 聞き手反応, 反応潜時, ユーザ状態

Analysis of response tokens that aﬀect speaker’s explanation strategy
Ryo AIHARA† and Hiroki MORI†† Utsunomiya University, Yoto 7–1–2, Utsunomiya-shi, Tochigi, 321–8585 Japan
E-mail: †{aihara,hiroki}@speech-lab.org
Abstract This study aims to improve the usability of spoken guidance by machine. Existing spoken guidancesystem do not take into account the response of listeners. In this paper, we have examined the verbal behavior thatare considered to be useful for estimating user states. We have recorded dialog of a task where a participant is toexplain how to use a tool to another person. Then we analyzed the way that speakers estimate the another person’s
state by means of the clues such as reaction of the lister, and that they dynamically modify the explanation planwith the clues.
Key words speech guidance, task-oriented dialog, response tokens, response time, user state
対話中にユーザが生成する否定的な相槌や聞き返しといった短

1. は じ め にい発話を認識した場合に, 既に説明した内容を補足する説明を音声ガイダンスは, 券売機, 自動現金預払機, 運送業の再配達挿入することを提案している. また, ユーザ側に対話システム自動受付システムなどの社会インフラから HDD レコーダなど側の状態をフィードバックするため, 相槌, 復唱や共同補完などの家電製品に至るまで, 社会のあらゆる場面で使用されている.の聞き手行動を生成させる試みもある [2]. しかしながら, ことしかし, 現状の音声ガイダンスは時として十分に機能せず, 理解ばによる説明場面において, 説明者が聞き手発話に含まれるどが困難だったり, 逆に説明が冗長でユーザをいらつかせたりすのような特徴を聞き手の理解度の推定に利用し, またそれを説ることがある.

明戦略にどのように反映させているかについて直接研究した事

現状の対話システムによる説明と人間による説明との大きな相異は, 前者が聞き手の反応を一切無視して一方的に話し続け例はほとんどなく, またそのような研究を可能にするような公開コーパスも存在しない.

る点にある. 人間同士のインタラクションでは, 例え説明者が本研究は, 対話システムの音声ガイダンスを, ユーザーの理解聞き手にほとんど一方的に情報を伝える場面であっても, 説明状態をモニタリングしながら行うことで, 説明を分かりやすくと平行して聞き手の反応を常にオンラインで監視し, 状態をモ円滑なものに改善することを目的としている. そのためには対ニタリングしている.

話システムが, ユーザーの聞き手としてのどのような行動に着聞き手の反応を利用して説明戦略を動的に変更するシステムを実現するためには, 聞き手の言語行動やノンバーバル行動か目すればユーザーの理解状態を取得できるのか解明する必要がある.

ら多岐にわたる特徴を抽出し, ユーザーの理解状態を総合的にそこで, まずは人間同士によるガイダンス形式の対話を収録推定する必要があると考えられる. 藤江ら [1] は, システムとのし, 聞き手の理解状態がいかなる観察可能な聞き手行動として436

表1現れるのかを調べる. これらの特徴は, 説明者の行動に無意識聞き手反応 [3]的に反映されている面も十分に考えられる. 聞き手の理解状態

聞き手反応

タグ 例

が説明者の行動にどのような変化を与えているかを調べること

応答系感動詞B

はい, うん, ああ 等

感情表出系感動詞

E

あっ, えっ, へー, ふうん 等

語彙的応答

L

そうですね, なるほど 等

評価応答

A

すごい, 面白い 等

復唱

R

説明者の発話の全てまたは一部の繰り返し

共同補完C

話し手の発話を聞き手が予測し補ったもの

は, 対話システムの説明をより円滑で自然なものとするための有用な知見をもたらすことが期待できる.
本論文では, 説明戦略の動的な変更の例として，次発話の生起タイミングに着目した. 具体的には, 被説明者の相槌または復唱の生起タイミングが，説明者の次発話に影響を及ぼしているか否かを調べた. この目的のため，収録した対話音声中の被表2

聞き手反応と先行発話の関連付け

No

StartTimetiertext

EndTimerefNo

13.600L

はい3.760025.291

L(F えと)

5.725

0

2. 対話音声の収録

36.150

L

机の上に

6.938

04

7.403

R

{B はい }

7.570

3

2. 1 タスク設計

58.311

L

道具が8.701

069.054

L

10.1160

本研究では, 説明場面における話し手及び聞き手の行動を, 無あると思いますけど

710.195

R{B はい }

10.3895

意識下のものも含めて収録し, 観察及び統計的処理によってモ

811.237

L

これは計算尺12.6150

デル化することを可能にすることが求められる. 本研究では以912.860

Lという名前の計算用具です

14.50301014.595

Rはい14.867

01115.620

L

計算尺

16.24601216.295

L

(F え)

16.734013.
.
.

16.359
.
.
.

R.
.
.

{B はい }.
.
.

16.551
.
.
.

11.
.
.

説明者の相槌および復唱の部分に着目し, その生起タイミングと説明者の次発話の生起タイミングとの関係を統計的に調べた.

下の要件を重視した.
（ 1 ） 基本的に話し手から聞き手への一方的な説明（ 2 ） 高い自発性を持つ（ 3 ） 説明談話を構成する談話単位がある程度の長さを持ち(数発話から十数発話程度), 一度にされても理解が困難だが, 順を追えば全体を理解することも十分に可能な程度の難易度をりであった.

持つ（ 4 ） 聞き手が受けた説明を正しく理解しているか否かを検証可能

3. アノテーション
200 ms 以上の無音区間の前後を境界として発話単位を設定(1) は問題を単純化して分析を容易にするため, (2) は対話参与者の無意識下の行動を誘発するため, (3) は種々の聞き手行動を自然に促し, また話し手に説明の仕方をリアルタイムで計画・更新することを促すため, (4) は聞き手に理解しようとする動機付けを与えるための要件である.

した. 付与した情報には各発話の開始時刻, 終了時刻, 文字情報
及び表 1 に示す聞き手反応 [3] が含まれる.

3. 1 聞き手反応と先行発話の関連付け
聞き手の相槌や復唱は必ずしも話し手の直前の発話によって誘発されたものとは限らない. そのため相槌や復唱が説明者 L以上の要件を満たすものとして, 計算尺使い方説明タスクを考案した. 説明者と被説明者は区切られた防音室内におり, お互いの手元は見えず, 相手からの音声はヘッドセットを通して聞こえる状態になっている. 説明者と被説明者の手元には計算尺が置いてあり, 説明者は被説明者に計算尺の使い方を説明する. 説明の内容は「 C 尺と D 尺を使った掛け算」, 「 CI 尺とD 尺を使った掛け算」, 「 C 尺と CI 尺と D 尺を使った連続のどの発話から誘発されたかを明記するために refNo (参照番号) の項目を追加した. この項目には誘発元になった説明者のtext (発話内容) の No (番号) が記入されている. タグが付与されていない text の refNo には 0 が記入されている.

refNo の付与作業例を表 2 に示す. 話し手の複数の発話を聞き手が一度に復唱する場合は参照される複数の発話のうち最後に現れる発話のみを refNo に記述した.

した掛け算」の 3 つについて行なった. 説明者は事前に使用法を十分に修得し, 説明の際には手元に説明書やメモを一切置かなくて済むようにした.

4. 聞き手反応の統計的分析
4. 1 聞き手反応の出現頻度

計算尺使い方説明タスクでの対話収録の結果は以下の通りである.

収録した 8 セッションにおける各聞き手反応の出現回数を表3 に示す. 相槌 (B) が最も多く, 次いで復唱 (R) が多く出現し•説明者：1 名•

被説明者：7 名•

セッション数：8 回•

収録時間： 1 セッションあたり 10 分程度た. 復唱の対象となったのは, 道具を構成する部品の名称に対してや道具の操作の指示に対するものが多かった. その一方で評価応答 (A) と共同補完 (C) は出現しなかった. また, 感情表
出系感動詞 (E) と語彙的応答 (L) は相対的に少なかった.

収録した対話には, 当初期待した特徴を多く見ることができた. 特に, 最小の談話単位がある程度大きくなり, 典型的には連続した数発話が説明-了解の単位となっていた点は当初の狙い通
437

4. 2 反応潜時とポーズ長の関係
反応潜時とポーズ長の概要を図 1 に示す. ポーズ長とは話し

表 3 聞き手反応の出現回数
聞き手反応

タグ

出現回数

相槌B

188

感情表出系感動詞E24

語彙的応答L

23

評価応答A0

復唱R68

共同補完C0(a)ポーズ長反応潜時(b)ポーズ長

ポーズ長

反応潜時

反応潜時

図 1 反応潜時とポーズ長

手の発話の終わりから次の発話までの時間のことを指す. 反応
潜時とは話し手の発話の終わりから聞き手の応答の始まりまでの時間を指す. 図 1 の場合は, 話し手の発話である「机の上に」(c)

ポーズ長と「道具が」の間の時間がポーズ長であり, 「机の上に」から聞き手の「はい」までの時間が反応潜時となる.
図 2 に収録音声中に見られた特徴的なポーズ長の変化の例を反応潜時示す. (a) は典型的な反応潜時の例である. 一方, (b) は, 聞き手の応答が遅い, すなわち反応潜時が長いため, 話し手の次発話

図2

反応潜時とポーズ長の例の開始が遅くなった, すなわちポーズ長が長くなった例を示している. これらの 2 つの例から, 反応潜時に応じてポーズの長さも変化していると考えられる. (c) は一度は聞き手の応答を待ったものの聞き手が応答する前に説明を続けている例を示している. もし話し手が聞き手応答のタイミングをモニターしながら次発話のタイミングを調整しているならば, 聞き手の応答が遅いと説明者の次発話の開始は遅くなるはずである. 反対に,もし説明者のポーズ長が聞き手応答のタイミングと無関係ならば, 説明者は聞き手の反応を省みずに自分のペースで発話タイミングを決めていると結論できる.

ズが存在しなくなっていることがわかる. これは被説明者の理解状態を説明にフィードバックするために説明者が反応を待っているためだと考えられる.
表 4 に各被験者の相槌と復唱に対する反応潜時とポーズ長の相関係数を示す. S005 と S007 の被験者の 2 名に関しては他の被験者に比べて相関が弱かった. S005 の被験者は相槌の出現回数が 8 回と非常に少なく分析は難しい. 一方, S007 の被験者は相槌の出現回数が 38 回と全被験者中最多であるにも関わらず最も相関が弱い事がわかる. このことから, S007 の被験者は他以上を検証するため, 収録した対話音声中に現れた相槌と復唱に対して反応潜時とポーズ長の関係を調べた. もし話し手が聞き手応答のタイミングをモニターしながら次発話のタイミングを調整しているならば, これらは正の相関を示すはずである.
図 3 に相槌に関する散布図, 図 4 に復唱に関する散布図を示す. 横軸が反応潜時, 縦軸がポーズ長である. 相槌に関しては相関係数が 0.493 となっており, 反応潜時とポーズ長の間には正の相関があることがわかる. 復唱に関しては相槌と比較すると相関が弱いが, 聞き手の反応潜時が長くなるのに伴い, 短いポー
438の被験者とは異なる振る舞いをしていると考えられる.
図 5 に各被験者の相槌の反応潜時の分布を示す. S007 の話者は他の被験者と比較して相槌の生起タイミングが早く, 分布も狭いことがわかる. S007 の被験者は説明者の発話が途切れたら, 自身が理解しているかどうかに関わらず相槌を行う傾向がある. これにより説明者は被説明者の理解状態に問題が無いと推定し, 説明計画を変えることなく説明を続けるため短いポーズ長が出やすくなる. これらの結果, 反応潜時とポーズ長の分布が共に狭くなり, 相関が弱くなったと考えられる. 以上をまと

表 4 各被験者の反応潜時とポーズ長の相関係数8

被験者 ID

Pause Length [s]6Session
S001
S002
S003
S004
S005
S006
S007
S008

4

復唱 (R)
出現回数 相関係数S001

250.494

7S002

220.61320.679—S003

350.390160.315S004

200.325100.456S005

8-0.2383—

S006

110.763

90.283

S007

380.117130.709S008

290.666

80.1432.02.5

r = 0.493

2相槌 (B)
出現回数 相関係数3

図 3 相槌 (B) の反応潜時とポーズ長の関係

0.0

0.5

81.5

12Response Time [s]1.00

Response Time [s]0Pause Length [s]64Session
S001
S002
S003
S004
S005
S006
S007
S008

r = 0.306

S001

S002

S003

S004

S005

S006

S007

S008

図 5 各被験者の相槌の反応潜時に対するポーズはその他の聞き手反応に対して長く, また, 広く分布している. ポーズが長くなったのは, 復唱を聞いた説明

2者が被説明者の理解状態に問題があると推定し説明計画を変えて説明内容を考えなおしたためだと考えられる. 以上より復唱は理解状態に問題があることを伝える機能と相槌に近い機能を持っており, そのため分布が広くなったと考えられる.

0012Response Time [s]35. お わ り に口頭での説明場面において, 話し手が聞き手の理解状態の手

図 4 復唱 (R) の反応潜時とポーズ長の関係がかりをどのように利用し, 説明行動に反映させているかを調めると, S007 の他の被験者と異なる振る舞いについては, S007べるため計算尺使い方説明タスクの対話を収録した. 分析の結は自身が理解できているかどうかよりも対話を円滑に進めるこ果, 一部の被説明者において反応潜時が長い場合に説明者が次とを優先する行動傾向があると考えられる.の発話の開始を遅らせている傾向が見出された. また, 復唱に

図 6 に各被験者の復唱の反応潜時を示す. 他の被験者よりも早く復唱が生起された被験者はおらず相槌とは異なる結果となった. これらより, 復唱の生起タイミングは相槌の生起タイ関しては被説明者が理解状態に問題があることを伝える機能と相槌に近い機能の両方があることが分かった.
今後の課題は説明者と被説明者を増やしてデータを蓄積することで, より一般的な結果を導きたい. また, 同じ復唱応答でも,ミングに比べて被験者による差が小さいことがわかる.
図 7 に各聞き手反応に対するポーズの分布を示す. 相槌に対相槌のように理解状態に問題がない場合と, 明示的な聞き返しする説明者のポーズはその他の聞き手反応に対して最も短い.のように理解状態に問題がある場合の両方があることがわかっ

これは被説明者の理解状態に問題がなく, 説明者が説明内容をたが, 説明者が復唱発話のどのような特徴からそれらを区別し考えなおす必要がなかったためだと考えられる. 一方で, 復唱ているのかを, 復唱発話の音響分析等により明らかにしていく必要もある.

439

2.5
2.0
1.5
1.0

Response Time [s]0.50.0
S001

S002

S003

S004

S005

S006

S007

S008

40

2Pause Length [s]68

図 6 各被験者の復唱の反応潜時

相槌

感情表出系 語彙的応答 復唱
感動詞

図 7 各聞き手反応に対するポーズの分布

文

献[1] 藤江 真也, 福岡 維新, 麥田 愛純, 高津 弘明, 林 良彦, 小林 哲則,“聞き手の反応を考慮した発話計画を用いた音声対話システム,”
日本音響学会 2015 年秋季研究発表会講演論文集, pp. 39–42(2015).
[2] 西村 良太, 中川 聖一, “応答タイミングを考慮した音声対話システムとその評価,” 情報処理学会研究報告, 音声言語情報処理,2009-SLP-77, 22, pp. 1–6 (2009).
[3] Y. Den, H. Koise, K. Takanashi, and N. Yoshida, “Annotation of response tokens and their triggering expressions
in Japanese multi-party conversations,” Proc. LREC 2012,
pp. 1332–1337 (2012).

440