2体の同調エージェントを用いた音によるコミュニケーションの研究
快適な非言語コミュニケーションを目指して
日本大学大学院
博士前期課程
北原研究室
棚橋徹

1

本研究の概要
研究目標

言語情報を持たない音を用いたコミュニケーションシステムの作成

現状の課題

言語情報を持たないコミュニケーションの場合、ユーザの心理的負担の軽減に関する議論が少ない

解決方法

非言語情報を用いた2体の同調エージェントを用いることでコミュニケーションの維持を図る
2

目次
・研究背景・目的・コミュニケーションのあり方
・システム概要
・実験、課題・まとめ
3

目次
・研究背景・目的・コミュニケーションのあり方
・システム概要
・実験、課題・まとめ
4

会話システムの開発
・近年会話システムの開発が盛んに行われている
空港案内システム

引用：会話システム「 MINARAI」
https://japan.cnet.com/article/35096566/

音声アシスタント

Pepper

引用：SoftBank 製品情報
http://www.softbank.jp/rob
ot/consumer/products/

人間らしい会話を行う研究・開発の存在
5

会話システムの分類 1/3
大きく2つに分類
・案内システム
・予約システム・雑談システム・音声アシスタント

タスク指向会話
非タスク指向会話6

会話システムの分類 2/3
大きく2つに分類
・案内システム
・予約システム

タスク指向会話・雑談システム

非タスク指向対話
明確な会話のゴールが存在

・音声アシスタント

7

会話システムの分類 3/3
大きく2つに分類
・案内システム

コミュニケーション自体が目的
タスク指向対話・予約システム・雑談システム・音声アシスタント

非タスク指向会話
8

非タスク指向会話の代表例
・雑談システム
1人暮らしや、歳を取った人達の話し相手がほしいという需要に応えている。

話すことによって親近感や安心感が生まれることを期待されている
9

関連研究分野 1/5
コミュニケーション分野
タスク型
・予約システム・案内システム・商品検索
etc...

雑談システム
非タスク型
言語

身振り
手振り

非言語音
10

関連研究分野 2/5
コミュニケーション分野
・問題点
音声認識等の失敗
タスク型
非タスク型
・予約システム
応答文の生成に影響・案内システム・商品検索
etc...
会話が破たんする可能性がある

言語

身振り
手振り

非言語音
11

関連研究分野 3/5
コミュニケーション分野
・問題点
単純な情報呈示なのでタスク型
非タスク型
飽きる可能性・予約システム・案内システム
コミュニケーションを維持
・商品検索することが難しい
etc...

言語

身振り
手振り

非言語
音
12

関連研究分野 4/5
コミュニケーション分野
・問題点
ほとんどの研究ではタスク型
1ユーザ対1ロボット 非タスク型を想定
・予約システム
言語・案内システム
・商品検索
コミュニケーションを
非言語
etc...
維持するためのユーザの心理的負担が大きい

身振り
手振り
音
13

関連研究分野 5/5
コミュニケーション分野
・問題点

・解決案

ほとんどの研究ではエージェントを2体にすることタスク型
1ユーザ対1ロボット 非タスク型 により、コミュニケーションのを想定継続が容易になるのでは？
・予約システム
言語
身振り・案内システム
手振り
ユーザの・商品検索
コミュニケーションを
非言語 心理的負担がetc...
維持するためのユーザの軽減できる可能性
心理的負担が大きい
音14

本研究の目的・言語情報を持たない音を用いて、コミュニケーションを行った際のユーザの心理的負担の軽減を検討する
2体のエージェントを用いた非言語情報コミュニケーションの実現
15

目次・研究背景・目的・コミュニケーションのあり方
・システム概要
・実験、課題・まとめ
16

人間とエージェント
小松ら※は人間とロボットが円滑にコミュニケーションを行うためには以下の3つが必要と述べている
1) 時間的随伴性
2) エージェンシ
3) 人間に対して学習・適応する能力※小松 他, 人間とロボットとの円滑なコミュニケーションを目指して, 2002.
17

1) 時間的随伴性
１）時間的随伴性
自分が行動を取った際に, 相手が行動をおこすこと例：
呼びかけた時に, 呼びかけに反応したとわかる
タイミングで反応する

182) エージェンシ
２）エージェンシ
コミュニケーションにおける適切な対象だと捉えることができる特徴を持つこと

例：
ロボット

ほうきやちりとりには、エージェンシを感じない19

3) 人間に学習・適応
３）人間に学習・適応する能力
人間の行動に影響されて、ロボットの行動を決定すること適さない例：
いわゆるトンチンカンなコミュニケーションなど

20

非言語コミュニケーション
・1bitコミュニケーション1),2)を満たす

打田恭平 他, 2012年.

・ロボットの共同注視による作用2)を満たすT. Ono 他, 2016年.

・音を用いたコミュニケーション

1)~3)を満たす

小林一樹, 山田誠ニ 他, 2002, 2010, 2011年.
211bitコミュニケーション
押すと光るか消えるだけのコミュニケーションや、触ったら動くだけものを使ったコミュニケーション
押すと光る
押すと消える
ボタンを押さなくなると寂しく感じたなどの意見もあった
22

共同注視による引き込み効果
人工語を話すロボット2体が同時にユーザを見る
会話の中に入ることを求められていると感じる23

音を用いた研究・ロボットの内部状態（肯定、否定など）beep音で表現・下降音を流した時には、否定として受け取られた音だけで、意味をくみ取れる可能性

24

ロボット”まる”
色、音、振動で感情を伝えるロボットの作成（振動は省略）
感情

色

ビープ音

リラックス

白

フラット

幸せ

緑

大きい音

哀しみ

青下降

怒り

赤

上昇

音だけで一部感情の認識が可能

25

既存研究と本研究の違い
非言語コミュニケーションは検討されている
単純な情報呈示に飽きてしまう、1対1コミュニケーション
では会話を続けることがユーザへの負担になることに関して議論が少ない
そこで本研究では、非言語コミュニケーションを行う際のユーザへの心理的負担の軽減を目指し、研究を行った
26

目次
・研究背景・目的・コミュニケーションのあり方
・システム概要
・実験、課題
・まとめ
27

デモ１
・システム使用例（実験映像）

28

実装すべきこと・円滑にコミュニケーションを行うための3つの要素の実装
・ユーザの心理的負担を減らすための2体のエージェントの実装
29

3つの要素文献※より、円滑にコミュニケーションを行うためには以下の3つが必要と述べた
1) 時間的随伴性
2) エージェンシ
3) 人間に対して学習・適応する能力※小松 他, 人間とロボットとの円滑なコミュニケーションを目指して, 2002.
30

3つの要素文献※より、円滑にコミュニケーションを行うためには以下の3つが必要と述べた
1) 時間的随伴性
2) エージェンシ
3) 人間に対して学習・適応する能力※小松 他, 人間とロボットとの円滑なコミュニケーションを目指して, 2002.
31

時間的随伴性の実現
１）時間的随伴性自分が行動を取った際に, 相手が行動を起こすこと
ユーザの入力があった場合、エージェントが音の高さ、振幅、長さをある正規分布に従って決定し、発話する
入力信号

エージェント音生成部
32

3つの要素文献※より、円滑にコミュニケーションを行うためには以下の3つが必要と述べた
1) 時間的随伴性
2) エージェンシ
3) 人間に対して学習・適応する能力※小松 他, 人間とロボットとの円滑なコミュニケーションを目指して, 2002.
33

エージェンシの実現
２）エージェンシ
コミュニケーションにおける適切な対象だと捉えることができる特徴を持つこと
お化け型の外見と、発話時に明滅することにより実現
入力信号

エージェント音生成部
34

3つの要素文献※より、円滑にコミュニケーションを行うためには以下の3つが必要と述べた
1) 時間的随伴性
2) エージェンシ
3) 人間に対して学習・適応する能力※小松 他, 人間とロボットとの円滑なコミュニケーションを目指して, 2002.
35

人間へ学習・適応の実現
３）人間に学習・適応する能力
人間の行動に影響されて、ロボットの行動を決定すること
音の高さ、振幅、長さの時間的変化を同調（合わせる）する
今回は、ユーザの発話はエージェントに合わせてもらうことを前提として実装
エージェント

入力信号推定部

同調制御部

音生成部
36

推定部
入力信号・振幅・音高・セグメント長

音高・振幅・音高・セグメント長

音高推定

これら発話相手の特徴量を発話パラメータベクトル（9次元）とする。

分割・振幅・音高・セグメント長37同調制御部
エージェントのt回目の発話はによって決定する。同調制御はこの平均を更新する。

λは結合係数
相手の発話をどれだけ反映するか(今回は1.0)
38

デモ2・同調するパターン（短いです）
・同調しないもの（平均を更新しない正規分布から発話パラメータベクトルを決定）39

心理的負担の軽減
コミュニケーションを続けるために、ユーザが話し続けなければならないという問題に対して、
A. 2体のエージェントが存在し、それぞれ音を発する
B. エージェント同士でコミュニケーションを行うこともある
C. ユーザが沈黙すると片方のエージェントが音を発するという仕様を設ける。
これにより、心理的負担の軽減を図る
40

41目次・研究背景・目的・コミュニケーションのあり方
・システム概要
・実験、課題
・まとめ
42

実験目的
・エージェントが2体いる効果の検証(実験1)
コミュニケーションの維持が行いやすいか・同調制御の効果の検証(実験2)
円滑なコミュニケーションが行えるか

両実験とも、被験者は6名(男性5名、女性1名、平均20.8歳)

43実験フロー 1/4
説明
練習
実験1

実験状況
防音室

スピーカ
エージェントマイク

実験2
44

実験フロー 2/4
説明
練習
実験1
実験2

5分
被験者は「ぱ」を３つ使って発話する。
そのための練習フェーズ
目的：
1. 恥ずかしさの低減
2. 「ぱ」で発話できる音の自由度を知ってもらう
3. どんな感じで会話するのかを掴んでもらう45

実験フロー 3/4
説明
練習
実験1
実験2

5分間
実際に自由にコミュニケーションを行う。
条件は1体の場合と、2体の場合の2つ
ただし、
1. 「ぱ」のみ、３セグメントで
2. 1体の場合、被験者が発話するとエージェントが反応する
コミュニケーションの維持が行いやすいか検証する

46

実験フロー 4/4
説明
練習
実験1
実験2

5分間
エージェント同士の会話に参加してもらう。
条件は同調するエージェントと同調しない
エージェントの2つ
ただし、1. 「ぱ」のみ、３セグメントで2. 各条件4回ずつ行う
同調することによってコミュニケーションが円滑に行われるかを検証する

47

実験1結果 1/4
質問項目(1 : 1体条件の方, 5 : 2体条件の方)A

B C D EF

どちらのシステムが話しやすかった

4

1

4

1

4

1

どちらのシステムが会話できたと感じるか

4

1

3

1

4

1

どちらのシステムが話続けやすいか

5

1

4

4

2

1

どちらのシステムが楽しかったか

4

1

52

5

1

どちらのシステムが再度使いたいか

5

1

42

5

1

どちらのシステムが話す時に迷ったか

1

5352

5

どちらのシステムが話さなければならないと感じたか

1

11

11148

実験1結果 2/4
質問項目(1 : 1体条件の方, 5 : 2体条件の方)A B C D E

Fどちらのシステムが話しやすかった

4

1414

1

どちらのシステムが会話できたと感じるか

41314

1

どちらのシステムが話続けやすいか

51442

1

どちらのシステムが楽しかったか

4

1525

1

どちらのシステムが再度使いたいか

5

1

425

1

どちらのシステムが話す時に迷ったか先に1体条件を行った被験者。

1

5352

5

2体条件が良いと答える傾向がある。
どちらのシステムが話さなければならないと感じたか

1

1111149実験1結果 3/4
質問項目(1 : 1体条件の方, 5 : 2体条件の方)A B C D E

Fどちらのシステムが話しやすかった

4

1414

1

どちらのシステムが会話できたと感じるか

4

13

14

1

どちらのシステムが話続けやすいか

51442

1

どちらのシステムが楽しかったか

415251

どちらのシステムが再度使いたいか

5

1

425

1

どちらのシステムが話す時に迷ったか先に2体条件を行った被験者。

153525

1体条件が良いと答える傾向がある。
どちらのシステムが話さなければならないと感じたか

11111150

実験1結果 4/4
質問項目(1 : 1体条件の方, 5 : 2体条件の方)A

B C D EF

どちらのシステムが話しやすかった

4

1

4141

どちらのシステムが会話できたと感じるか

4

1

3

141

どちらのシステムが話続けやすいか

5

1

442

1

どちらのシステムが楽しかったか
どの被験者も話さなければならないと

4

15251

どちらのシステムが再度使いたいか感じたのは1体条件の場合だと答えた。

5

1425

1

どちらのシステムが話す時に迷ったか153525

どちらのシステムが話さなければならないと感じたか

1

1

1

1

1151

実験1：被験者からの意見 1/2○1体条件の場合
メリット● 自分のペースで会話が行える
デメリット● エージェントが無言の場合に焦る● 自分が話さないと会話が続かない
52

実験1：被験者からの意見 2/2○2体条件の場合
メリット● 自分が話さなくても会話が継続されるので良いデメリット● エージェントが自分に話しているのか、もう1体のエージェントにはなしているのか、わからない● 発話のタイミングが被る場合がある● どのタイミングで入るか難しい53

実験1考察・評価を分けた原因は？
1. 順番
2. 被験者の発話回数同じ回数

高評価の方が発話回数が多い

1体条件

2体条件

2体条件が高評価（A, C, E）

25.3回

12.7回

2体条件が低評価（B, D, F）

25.3回

10.0回

会話に参加出来たかが評価を分けた可能性

54実験1結果
・現状は評価は順番依存
長期的に使用してシステムに慣れてもらう必要あり・心理的負担は軽減できる可能性
話さなければならないという部分は緩和できる可能性が見出された
55

実験フロー(再掲)
説明
練習
実験1
実験2

5分間
エージェント同士の会話に参加してもらう。
条件は同調するエージェントと同調しない
エージェントの2つ
ただし、1. 「ぱ」のみ、３セグメントで2. 各条件4回ずつ行う
同調することによってコミュニケーションが円滑に行われるかを検証する

56

実験2結果 1/4
エージェントAの評価

エージェントBの評価

Q8の評価

Q10の評価

Q9の評価

Q11の評価被験者※青系のグラフが同調制御を行うエージェント57

実験2結果 2/4
エージェントAの評価

エージェントBの評価

Q8の評価

Q10の評価

Q9の評価

ユーザの発話に頻繁に反応するエージェント

Q11の評価ユーザが沈黙時に発話するエージェント※青系のグラフが同調制御を行うエージェント58

実験2結果 3/4
Q10. エージェントAの評価
エージェントBは協調的でしたかQ11. Q8の評価
エージェントBと会話できましたか
Q9の評価

エージェントBの評価
Q10の評価Q11の評価青いグラフが赤いグラフより評価が高い事が多い
同調制御するエージェントが有用である可能性※青系のグラフが同調制御を行うエージェント59実験2結果 4/4
エージェントAの評価
Q8の評価

Q9の評価

Q8. エージェントAは協調的でしたか
エージェントBの評価
Q9. エージェントAと会話できましたか
Q10の評価Q11の評価青いグラフが赤いグラフより評価が高いとは限らない
同調制御するエージェントが有用であるとは言えない※青系のグラフが同調制御を行うエージェント

60

実験2考察・同調するエージェントAの評価が良くない理由● 発話頻度が多すぎる● 被験者の発話と被る（デモ３）
エージェントBと話したいのに話せない、エージェントAに邪魔をされたなどの感想が聞かれた

これらからエージェントAに対しては評価にあまり差が出なかった可能性がある

61

今後の課題・実験1の追加実験
現状は、順番に依存した結果しか得られていないため、長期的に使用してもらい、システムに慣れてもらう必要がある

・発話頻度やタイミングの検討
被験者からの意見の中に、発話が被る、片方のエージェントの発話頻度が高いなどの意見があった
話す前に事前動作を導入するなどの検討が必要

62

目次
・研究背景・目的・コミュニケーションのあり方
・システム概要
・実験、課題
・まとめ
63

まとめ
研究目標

非言語情報を用いた2体の同調エージェントを用いることでコミュニケーションの維持を図る。

結果2体のエージェントを用いることで、心理的負担が軽減される可能性が見出された。
同調することで、協調的な会話を行える可能性が見出された。

今後の課題

ユーザの発話に被らない設計や、発話頻度を考慮する必要性がある
64