HAI シンポジウム2014
P-18

Human-Agent Interaction Symposium 2014

注意喚起に対する反応を学習するロボット
Robot That Learns Reactions to Warning Voice
塚本亜美 1

尾関基行 2 深田智 2

長井隆行 3 大森隆司 4

岡夏樹 2

Ami Tsukamoto1, Motoyuki Ozeki2, Chie Fukada2, Takayuki Nagai3, Takashi Omori4,and Natsuki Oka2
1

京都工芸繊維大学 工芸科学部
School of Science and Technology, Kyoto Institute of Technology
2
京都工芸繊維大学 大学院工芸科学研究科
2
Graduate School of Science and Technology, Kyoto Institute of Technology
3
電気通信大学情報理工学研究科
3
Graduate School of Informatics and Engineering, The University of Electro-Communications4
玉川大学工学部
4
School of Engineering, Tamagawa University
1

Abstract: Robots in the daily lives, often meet with accidents such as falling down a stairway, because it
is difficult to detect a variety of dangerous situations only with external sensors. Warning voice will be agreat help to avoid such situations. The aim of this study is to make a robot that learns reactions towarning voice. A preliminary experiment showed that the robot successfully learned proper reactions onthe whole.
えばルンバのセンサが汚れていると階段から落ちたりする事があるが、音声による注意喚起ができればそのような事故を減らすことができる。

導入
生命にとって脅威となるような危険にはしばしば大きな音が伴っていて、本能的な不安や恐怖心を起こさせることから、人間が外界の出来事に対して「危険」であると評価するとき、視覚情報より聴覚情報をつかっている[1]。そして人は他者に対して危険を知らせる時も音声によって、つまり聴覚情報によって注意喚起を行うことがある[2]。移動式ロボットにおいて、予め与えられた環境モデルと外界センサによる現在位置把握から、障害物を回避する最適経路を導き出す方法が提案されている[3]が、予想外の障害物に対しては、走行時に外界センサに頼るしかないという弱点がある。そこで、ロボット自身で危険を検知できなくても、周囲からの注意喚起で危険を感じて回避行動をとれるようになると、日常でロボットが動作する際の安全性が高まると考えられる。
これまでに注意喚起する発話の意味に基づいて動作を学習するシステムについて提案がされているが、音声認識システムの脆弱性により学習自体は達成できていない[4]。本論文では、人がロボットに対して音声による注意喚起を行い、ロボットがその音声の音の強さに対する反応を学習することを目指す。例

実験方法
実験参加者: 21 歳の工学系大学生 4 名。4 名とも本研究で使用するロボットに触れたことがある。
実験時間：実験参加者一名につき約 20 分。
実験場所：屋内の実験室。実験環境を図 1 に示す。
障害物

e-puck

実験参加者
障害物

図 1 実験環境(e-puck は実験で使用する移動ロボット)119

実験計画・構成：図 2 に示すように、障害物がある卓上でロボットを左右に走行させる。その様子を実験参加者に見てもらい、障害物にぶつかりそうになると音声によって注意喚起を行うよう指示する。
ロボットは音の大きさを検知して、実験参加者の声の大きさと前回の行動から次の行動をどう取るべきかを学習する。学習方法は Q 学習(α=0.1, γ=0.5)で行動選択時はε-greedy 法(ε=0.5)を用いる。15 秒
間衝突しなければ 1 回クリア、障害物に衝突すると1 回アウトとして 8 回の走行を行い、その 8 回で 1ターンとしてロボットが行動を学習するターンと学習しないターンの 2 ターンの実験を行う。学習しな
いターンの行動は等確率でランダムに選ばれる。実験参加者 A,B,C は「学習あり→学習なし」、実験参加者 D は「学習なし→学習あり」の順番で実験を行った。強化学習の詳細を次の表 1 に示す。

トが障害物の間を走行するので、障害物に衝突しそうになったら危ないと声掛けしてあげてください。」という指示を与えて、1 ターン目 8 回の走行を行った。1 ターン目が終了するとアンケート(後述)に記入させた。その後 2 ターン目の 8 回の走行を行い、再びアンケートに答えさせた。
アンケート項目：
問 1 今までにロボットをさわったことがあるか？
問 2 ロボットに危険を感じたか？
【1 ターン目】
問 3 ロボットは人の言うことを聞いていたと思うか？
問 4 ロボットは学習をしていたと思うか？
【2 ターン目】
問 5 ロボットは人の言うことを聞いていたと思うか？
問 6 ロボットは学習をしていたと思うか？

表 1 強化学習の詳細
行動

実験結果

前進・後退 (離散的)
約 1 秒で 5 ㎝動く音の強さの初期値(0 以外の最小値)との倍率と前回とった行動の組み合わせ
予備実験から音の倍率は次の 4 つに区分[~1.0 倍][1.1~2.5 倍][2.6~3.0 倍][3.1 倍~]
行動 1 単位につき+1 の報酬
ただしぶつかった時の行動には-2 の報酬状態

報酬

ロボットがいる位置によってどれくらいの強さの声掛けがされていたかを図 3 に示す。
ロボットの位置と音の強さの関係
300
250
200

音の 150
強さ 100
50

障害
物
位
置

５４0e-puck

３２１０0

障害
物
１２３

４

12
34
位置(図２中の位置を示す数字と対応)

図 3 ロボットの位置と音の強さの関係

５

机人(注意喚起)

図 2 実験の様子と e-puck の位置番号
実験装置・実験器具：知的移動ロボット e-puck(AAIJapan)、ボイスレコーダ
手続き：実験参加者同意の上、実験中の音声を録音しながら個別に実験を行った。実験参加者をロボットが走行する机の前に座らせ、ロボットが左右に動くことをテスト走行で確認させた。
「e-puck ロボッ

1205

学習有りのターンで 8 回の学習終了後にどのような確率で行動を選択するかについて図 4 に示す。

学習有りのターンで 8 回の学習終了後の Q 値を図5 に示す。

図 5 学習有のターンにおける 8 回走行後の Q 値。
A, B, C, D は実験参加者を示す。
図 4 学習有のターンにおける 8 回走行後の行動の選択確率。A, B, C, D は実験参加者を示す。

121

学習有りと無しの 8 回走行中のクリア回数の比較を表 2 に示す。

めだった」
「ああ(残念)」など e-puck に対する感想や助言のような声掛けが行われていた。
行動の選択をするときはε(=0.5)の確率で Q 値が最大の行動をとるε-greedy 法を用いた。図 4 から、実験参加者 A,B,C の結果では、音が最も弱い時に反転した行動をとる確率が高く、音の強さが強くなるほどそのままの行動を取る確率が高くなっている。
これに対して、実験参加者 D の場合は音が一番強い時に反転した行動を取る確率が一番高くなっている。
よって、声が強くなったとき反転した行動をとることを学習できたのは D の場合だけであるように見える。しかし、Q 値の変化を示す図 5 をみると、C は音が強いところでは Q 値の更新がほとんどされていないことがわかる。これは実験参加者 C はあまり大きな声で注意喚起を行わなかったことを反映しており、行動の選択率だけで見ると学習できていないよ
うに見えるが実際は学習が進みつつあったことがわかる。この結果から、注意喚起を一定の強さの音であると設定してしまうと個人の注意喚起には反応できなかっただろうということがわかり、注意喚起を個人ごとに学習する意味があったといえる。実験参加者 B についても Q 値でみると声が最も強くなるところで反転行動の行動価値が上昇していたことがわかる。今回は、ε-greedy 法により行動選択をしたた
め、大小関係の逆転には至らない程度の Q 値の変化が行動選択確率に反映されず、図 4 のような結果となったと考えられる。今後は、Q 値の細かい変化が行動選択確率にある程度反映される softmax 法による行動選択を試すことを計画している。
ロボットがうまく走行できたかを調べると、表 2に示すように、学習機能があるロボットのほうが学習機能を持たないロボットよりもクリア回数が多かったことがわかる。ここで学習ありと学習なしを比較すると、5%水準で、学習ありの方が有意にクリア回数が多かった（P(T<=t) 両側 0.04479426）ことが分かる。
以上の結果をまとめると、図 4 からは、声が強くなったときに反転した行動をとることを学習できたのは実験協力者 D の場合だけであることが分かる。
ところが、表 2 からは、A, B, C の方がクリアできた回数が多かったことを示している。このような一見矛盾する結果となった原因の推測をここで試みる。
我々は、A, B, C における音が小さい時の行動に注目した。そこでは、反転行動をとる確率がかなり高いという共通点がある。これは、中央付近で小刻みに反転することを繰り返すことによりクリアの達成につながるという（我々設計者の想定範囲外の）適応的な行動を獲得したことを意味すると考えられる。
表 4 において、学習機能があるときに「ロボット表 2 8 回走行中のクリア出来た回数の比較(カッコ内は後半の成功率)
実験参加者
A
B
CD
計

学習有り
3/8 (1/4)
3/8 (2/4)
3/8 (2/4)
1/8 (1/4)
10 /32 (7/16)

学習無し
0/8 (0/4)
0/8 (0/4)
2/8 (1/4)
1/8 (0/4)
3/32 (1/16)

アンケートの結果を表 3,表 4 に示す。

表 3 アンケート(共通項目)、数字は回答者数
今までにロボットをさわったことがあるか？
ロボットに危険を感じたか？

あるない

4
感じた

0
感じな
かった
40

表 4 アンケート(学習有無別)、数字は回答者数

ロボットは人の言うことを聞いていたと思うか？

ロボットは学習をしていたと思うか？

学
習

思
う少
し思
う思
わ
な
い3

あまり
思
わ
な
い
1あり
な
し
あり
な
し

01012121001210

考察
図 3 から、初期位置付近では音の強さは 100 未満であり、これは環境音のみで声がかけられていないのがわかる。そして障害物に近づいた時は音の強さは 200 を超えるようになっていて実験参加者は危ない時に声をかけていたことがわかる。また、障害物にぶつかる直前の位置 3 までで音の強さはだんだんと強くなっていて、危険が迫るに応じて強い声がかけられていたことがわかる。ぶつかる直前が音の強さのピークで、ぶつかった後、音は弱くなっているが声がかけられていないわけではなく、この時は「だ122が学習していたと思うか？」という問に「思う」「少し思う」と答えた実験参加者は 3 人で、学習機能がないときに同じ問に「思わない」「あまり思わない」と答えた人は 3 人だった。このことから実験参加者
はロボットが学習していたこと/学習していないことに概ね気づいていたことがわかる。実験後に「(学習行動がなかったターンでは)どうせ聞いてくれないので適当に声掛けをしていた」「(学習行動がある方が)聞き分けが良かった」という意見があった。また、[学習なし]→「はいはい、だめっていったのに」「もういいだろ」、[学習あり]→「そのままいこうか」「e-puck さん頑張ってくださいよ」などの声かけがされていて、学習なしでは声に険があったり諦観しているような声かけになっていくのに対して、学習ありではロボットに意見を述べようとしたりロボットに共感しているような声掛けがされていた。つまり学習の有無で声のかけ方に少し違いがあり、ロボットの状況に応じて実験参加者が声かけの仕方を変えている場合があることが分かる。

結論
本研究では、注意喚起の声が持つ情報のうち、声の強さのみを利用したが、ロボットは回避行動を概ね学習することができた。設計者の想定範囲外の適応的な行動パターンを獲得するという興味深い結果も得た。ただし、これはタスクを単純化したために可能となったと考えられる。ロボットの行動種類を増やしたり、目的地を目指すようなより複雑なタスクを行うと、注意喚起以外の音声も発せられるようになり、声の大きさだけからの学習は困難になると予想される。今後、声の大きさ以外の韻律情報や音韻情報の利用、環境からの情報のセンシングなどが必要になると考えている。さらに、注意喚起をする側のモデルも構築し、注意喚起をする側とされる側の相互適応のモデル化と実験的な分析を今後進めていく予定である。

謝辞
本研究は科研費(26118003)の助成を受けたものである。

参考文献：[１] 高野 茂: 人間の聴覚と音楽, J. Fac. Edu. Saga Univ.,Vol. 42, No. 2, pp. 161-169, (1995)[２] 小松孝徳, 鈴木健太郎, 植田一博, 開 一夫, 岡 夏樹,
パラ言語情報を利用した 相互適応的な意味獲得プ
ロセスの実験的分析, 認知科学, Vol. 10, No. 1, pp.
121-138 (2003)[３] 永谷 圭司, 油田 信一: 衝突の危険性を評価関数と123する移動ロボットの経路とセンシング点の計画, 日本ロボット学会誌, Vol. 15, No. 2, pp.197～206 (1997)[４] 宇都宮淳, 小松孝徳, 植田一博, 岡夏樹, 段階的相互適応を考慮した意味獲得モ デルの構築, 知能と情報（日本知能情報ファジィ学会誌）, Vol. 17, No. 3, pp.
298-313 (2005)