日本ロボット学会誌

Vol. xx

No. xx, pp.1〜10, 200x1

学術・技術論文

方策勾配型強化学習によるロボットの対人行動の個人適応
光 永

法

明∗1 クリスチャン スミス∗1∗2 神 田 祟
石 黒浩∗1∗3 萩 田 紀 博∗1

行∗1

Robot Behavior Adaptation for Human-Robot Interaction based on Policy Gradient
Reinforcement Learning
Noriaki Mitsunaga∗1 , Christian Smith∗1∗2 , Takayuki Kanda∗1 , Hiroshi Ishiguro∗1∗3 and Norihiro Hagita∗1
When humans interact in a social context, there are many factors apart from the actual communication that need
to be considered. Previous studies in behavioral sciences have shown that there is a need for a certain amount of
personal space and that different people tend to meet the gaze of others to different extents. For humans, this ismostly subconscious, but when two persons interact, there is an automatic adjustment of these factors to avoid
discomfort. In this paper we propose an adaptation mechanism for robot behaviors to make human-robot interactions run more smoothly. We propose such a mechanism based on policy gradient reinforcement learning, that reads
minute body signals from a human partner, and uses this information to adjust interaction distances, gaze meeting,and motion speed and timing in human-robot interaction. We show that this enables autonomous adaptation toindividual preferences by the experiment with twelve subjects.
Key Words: policy gradient reinforcement learning (PGRL), human-robot interaction, behavior adaptation, proxemics.

ヒューマンインタフェース分野でも，利用者に明示的なカス

1. は じ め にタマイズを許すインタフェースや，統計情報に基づき個人に合人間同士は，その対話において相手との間に適度な空間（パー

わせた情報を自動的に選択するものなどが研究されているが [7]，ソナルスペース）をとる [1]．また，対話中には適度に視線を合

これらは人と対話するロボットが扱う実空間での行動を伴う問わせる [2]．たとえば，相手が近過ぎると感じれば少し離れ，見題とは異なる．対話における学習の研究としては，実空間で，つめ合い過ぎていると感じれば視線をそらす [3]．人間は，こう

ユーザとの対話に基づいた行動決定モデルの獲得により，人のいった適応行動を無意識にとり，対話における快適さを保ってタスク実行における好みを，ロボットの行動に反映する研究がいる．ここで重要なのは，この空間の形状や大きさは，対話の報告されている [8]．また，バーチャル空間において，人と関わ内容や相手により異なり，また，対話の際に視線を合わせる頻るエージェントの参加者に合わせた行動の学習も試みられてい度も人により異なることである．人間は相手に応じてこれらのる [9]．しかし，前者は教示に基づくため，ユーザが何をすべき行動を適応的に調整している．

かを指示する必要がある．後者は強化学習を用いており，行動

これは，人間と対話するロボットにおいても重要な機能であを逐一指示する必要はないが，参加者が意識的にエージェント

る．しかしながら，このような個人適応の仕組みを，人と対話に対し報酬を与える必要がある．人が無意識に相手に適応してするロボットに持たせた研究は数少ない．これまでにも，人といる部分については，そもそも明示的に表現できるものではな

関わるロボットにパーソナルスペースを考慮させて行動させる

く，人がロボットに適切な値を指示することは難しい．また，個研究が行なわれている [4]〜[6] が，個人差についてはほとんど人毎に適切な値をあらかじめ様々な対話場面で計測しておくこ考慮されていない．

とも繁雑である．つまり，多くの人とコミュニケーションするロボットは，自律的に対話相手に適応する仕組みを持つ必要が原稿受付*1株式会社 国際電気通信基礎技術研究所*2
スウェーデン王立ストックホルム工科大学*3
大阪大学大学院工学研究科*1
Advanced Telecommunications Research Institute International*2
Royal Institute of Technology, Stockholm*3
Graduate School of Engineering, Osaka University

日本ロボット学会誌 xx 巻 xx 号

ある．
さらに，人の対話中の快適さには，複数の要素が相互に関係している．たとえばパーソナルスペースに他者が入ってきても，視線が合わなければ不快さは少ない [3]．人と対話するロボット
に関しても，人が適当と感じるロボットとの距離は，ロボット—1—200x 年 xx 月

2

光 永

法

明

クリスチャン

スミス

神

田 祟 行

石 黒

浩

萩 田 紀 博の移動速度に関係することが指摘されている [4]．このように，

適応パラメータの「動作速度」は，用意した動作の再生速度

ロボットが個人適応する際には，複数の要素を総合して考慮すとする．
「動作速度」は，作成時の速さを 1 とする相対速度で表る必要がある．

す．
「動作速度」が 1 のとき，ロボットとしての印象が一貫する

このような背景のもと，本論文では，人の行動に無意識に表ように各対話行動は作成する．

れる快・不快の表現を基に，対話においてロボットが，個人に適「遅れ時間」は，発話後に動作を行なう対話行動において，発応する機能を実現し，その有効性を検証する．具体的には，ロ

話から動作再生開始までの時間とする．たとえば，「握手してね」

ボットは人からの快表現を増加し，不快表現を減少するように，と発話してから，手を出すまでの時間である．
「注視時間」，「遅強化学習により対話相手に適応する．我々は，従来研究 [10] をれ時間」，「動作速度」は，すべての対話行動で共通とした．

もとに，快・不快表現が人の対話中の移動距離とロボットの顔

対話距離の適応については，まずロボットに用意する各対話を見る時間の長さに表れると考え，それらに基づく報酬関数を行動で必要な対人距離が，Hall [1] の対話距離カテゴリの親密構成した．適応するパラメータは，3 種の対話距離カテゴリ（親(intimate)，個体 (personal)，社会 (social) の 3 種のいずれの密距離，個体距離，社会距離） [1] 毎の保つべき対人距離，人の距離に該当するかを調べる．ここで対人距離は，人とロボット

顔の方向にカメラを向ける時間の長さ，発話から動作開始まで

それぞれの額間の水平距離とする．適応パラメータの「親密距の遅れ時間，動きの速さとする．ロボットは報酬関数を最大化

離」，「個体距離」，「社会距離」は，それぞれのカテゴリの対話するようパラメータを学習し，対話相手に個人適応する．なお，

行動を実行中に保つ対人距離である．対話行動毎に異なる対人

人との対話においては，対話相手に同じようなやり取りを何度距離を適応するのではなく，同一カテゴリの対話行動で共通のも行わせることは困難であるため，適応における学習の収束は距離を用いることで学習時間を減少できる．今回の実験に利用ある程度速いことが重要である．また，対話相手に適切なパラした対話行動の詳細と対話距離カテゴリは第 3 章に示す．

2. 2 報酬関数

メータを指定させることは難しいため，学習手法として教師なし学習が必要である．これらを考慮し，学習アルゴリズムに方策勾配型強化学習を用いる．

報酬関数は，人が対話中に無意識に行なう動作を利用し構成する．まず，人は相手の位置が対話に近過ぎると感じると相手

以下では，まず提案する個人適応システムの，適応するパラから離れ，見つめ合い過ぎていると感じると目をそらす傾向がメータ，報酬関数，方策勾配型強化学習について述べる．次にある [3]．また，人ロボット対話において身体動作を解析した研実験環境とロボット，実験手順について述べ，詳細な実験結果

究 [10] によると，ロボットの振舞いに好印象を持つ被験者はロを報告する．そして，最後にまとめと今後の課題を述べる．

ボットに顔を向ける傾向があり，対話中の移動距離も短い傾向が見られている．これは対話相手の動きが緩慢で退屈である場

2. 個人適応システム

合や，速過ぎて理解できない場合に他に顔を向けると考えると，

2. 1 適応するパラメータ

自然な反応である．そこで，ロボットとの対話において，人の円滑なコミュニケーションには，パーソナルスペース（対話快・不快が無意識に移動距離とロボットに顔を向けている時間距離）[1]，視線を合わせる頻度 (以下，視線頻度) [2] [3]，動きのに表れると考え，報酬関数を設計した．報酬関数は 1 つの対話

速さ [4]，テンポ (速度や間隔)，発声，発話の音量，しぐさなど行動実行中の人の移動距離とロボットに顔を向けている時間の

様々な非言語的要素の適応が必要である．中でも対話距離，視重みつき和，

線頻度，テンポは重要である．適応するパラメータを多くする(報酬) = −0.2 × (移動距離 [mm])(人がロボットに顔を向けている時間の和)+500 ×(1 つの対話行動の時間)と学習に時間がかかるため，対話に重要かつ，実装が容易な以下の 6 つのパラメータを適応するパラメータとする．まず視線頻度を，人の顔の方向にカメラ（顔）を向ける時間の長さ (「注視時間」) で合わせる．次にテンポを合わせるため，発話からとした．すなわち，対話行動中に人の移動が少なく，人が顔を動作開始までの遅れ時間 (「遅れ時間」)，動きの速さ（「動作ロボットに向けているほどよい．

速度」）を適応パラメータとする．そして対話距離として，3 種

実験で使用した報酬計算の流れをブロック図で Fig. 1 に示の対人距離，「親密距離」，「個体距離」，「社会距離」を適応する．

す．まず人に取り付けたマーカの 3 次元位置をモーションキャ

ここでは次のようなロボットを想定している．ロボットには，

プチャシステム (サンプリング周波数は 60[Hz]) で測定し，額「握手」，「じゃんけん」，「ばいばい」といった複数の対話行動の位置と方向を求める．そして，それらを床面に水平な 2 次元があらかじめ用意されている．各対話行動は，人に働きかける

平面に投影した座標に変換する．2 次元平面内での額の位置を発話と，体の動きで構成される．対話行動毎に用意した発話と5[Hz] でダウンサンプリングした後に，１時刻前からの移動量

動作の再生により，人に働きかけ，人の反応動作を引き起こし，を求め，それを積算したものを「移動距離」とする．数フレー

対話を実現する．また対話行動中に，ロボットはカメラを人のム程度以下での細かい身体の揺れを移動距離に含まないように顔へ向け，そらす動作と，対話相手との距離（対人距離）を一

ダウンサンプリングの周波数は実験的に決定している．Fig. 2定に保つ動作をする．本研究では，人対人の対話における注視のように，人の額とロボットの額の中央を通る直線に対し，人の周期 [2] に合わせ，ロボットは 5[s] を 1 周期としてカメラをの額の法線ベクトルが± 10 度以内を向いているとき，「人がロ

振る．適応パラメータの「注視時間」は，この 1 周期中にカメボットに顔を向けている」とし，該当する時間を積算して「人ラを人の顔へ向けている時間の割合とする．

がロボットに顔を向けている時間の和」とする．

JRSJ Vol. xx No. xx—2—xx, 200x

3方策勾配型強化学習によるロボットの対人行動の個人適応

1
2
3
4
5
6
7

CapturedMotion(60Hz)

Down sample(5Hz)

Sum human
movement

Normalize
and weightCalculategaze angle

Thresholdwithin 10°

Normalize
and weight+
Reward-Fig. 1 The reward function

Fig. 2 The angular interval determined as human gazing atrobotΘ ← Initial parameter set vector of size n ← parameter step size vector of size nη ← overall step size
while (not done)
f or i = 1 to T
f or j = 1 to nr ← unbiased random choicef rom {−1, 0, 1}
8
Rij ← Θj + j ∗ r , where Ri is
perturbed parameter set of same size as Θ
9f or i = 1 to T
10
Run system using parameter set Ri ,evaluate rewards
11f or j = 1 to n
12
Avg+,j ← average reward f or all Ri
with positive perturbation in dimension j
13
Avg0,j ← average reward f or all Ri
with zero perturbation in dimension j
14
Avg−,j ← average reward f or all Ri
with negative perturbation in dimension j
15
if (Avg0,j > Avg+,j ) AN D
(Avg0,j > Avg−,j )16
aj ← 017
else
18
aj ← ( Avg+,j − Avg−,j )A∗ η
19A ← |A|20
aj ← aj ∗ j , ∀ j21Θ ← Θ + A

報酬計算式の重みは次のようにして決定した．まず予備実験

Fig. 3 PGRL Algorithm

を行ない，人とロボットの動きをモーションキャプチャシステ
ムにより記録するとともに，被験者が適切と感じる各適応パラメータの値を測定した．そしてコンピュータ上で動きを再生し，次章に述べる方策勾配型強化学習を実行し，適応パラメータの学習に伴う挙動を観察し，被験者が適切とじる値に，各パラメー
タが速く安定して収束するよう，重みを試行錯誤的に求めた．結果，得られた重みでは，それぞれの項の報酬への寄与がほぼ等しくなった．

でよい．これは，対話行動によらず，方策 (適応パラメータ) に
よってのみ報酬が異なると仮定しているからである．T 通りの
方策すべてについて対話行動を行なった後，報酬関数の Θ に対する勾配 A を近似的に求める．各パラメータ θj について，jを加えた時の平均報酬，0 を加えた時の平均報酬，−j を加えた時の平均報酬を求める．0 を加えた時の平均報酬が最も大きい場合は，θj についての勾配は 0 とする．そうでない場合には，

2. 3 方策勾配型強化学習
Q 学習 [11] に代表される多くの強化学習手法では，最適な振舞い (方策) を学習するために，出来るだけ広範囲の空間を探索
し，あらゆる方策を試行する．そのため学習結果はグローバルに最適なものが得られるが探索には膨大な試行が必要である．それに対し方策勾配型強化学習 (Policy Gradient Reinforcement

j と −j を加えた場合の平均報酬の差を勾配とする．A を求めたあと，A を正規化し η を掛けたものに，各成分に j の重みをつけ，Θ を更新する．この T 回の対話行動とパラメータの更新が学習の 1 ステップである．これを繰り返すことで，パラメータは報酬が極大となる局所最適な値に近付く．

Learning，本稿では以後 PGRL とよぶ) [12] [13] では，現在

3. 実

験

の方策を報酬を得られる方向へ修正していくことで局所最適解

3. 1 実験環境と使用したロボットを求める．報酬から方策を直接変化させるので，報酬伝播の遅Fig. 4 に実験室の様子を示す．実験室には 12 台のカメラかられが少なく学習時間が短い特長がある．
本研究では，対話行動中に適応するパラメータを変化させななるモーションキャプチャシステムが備えられている．このシス

い PGRL とした [14]．Fig. 3 に学習アルゴリズムを示す．現在

テムは被測定物に取り付けたマーカの 3 次元位置を 60[Hz] で計の方策 (適応するパラメータ) を Θ で表す．学習には，まず現測出来る．実験は，位置精度の良い実験室中央 3.5 × 4.5[m] の範i

在の方策 Θ を少し変動させた T 通りの方策 R を用意する．
Ri は Θ の各成分 θj にランダムに j , 0, −j のいずれかを加えて生成する．変動ステップサイズ j はパラメータ毎に異なる囲で行なう．実験領域内でのマーカの位置測定精度は約 1[mm]値でよい．

方向はロボットに LAN を通して送り，ロボットの動作決定とi

次に，それぞれの方策 R にしたがって対話行動を T 回行ない (T 個の異なる方策を試行することになる) 報酬を得る．ここである．被験者とロボットの頭と肩に取り付けたマーカの位置から，それぞれの額の位置と方向を計算で求める．額の位置と報酬関数の計算に用いる．実験中を通して，通信による遅れは0.1[s] 以内であり，遅れは無視できた．

で T 回の対話行動は同一である必要はなく，毎回異なるもの

日本ロボット学会誌 xx 巻 xx 号

—3—

実験には コミュニケーションロボット Robovie II [15] を用い

200x 年 xx 月

4

光 永

法

明

クリスチャン

スミス

神

田 祟 行

石 黒

浩

萩 田 紀 博Table 1 Behavior Classes
Class
intimate
personal
personal
personal
personalsocialsocialsocialsocialsocialName
Hug
Shake hands
Ask person to touch robot
Ask where person comes from
Ask if robot is cutePlay paper-scissors-stone
Play pointing game
Perform arm-swinging exercise
Hold “thank you” monologue
Look at human without speaking

体距離 (0.45[m] から 1.2[m])，社会距離 (1.2[m] から 3.6[m]) に
Fig. 4 Experimental setup

分類した．予備実験には 8 名の被験者を集めた．ロボットは移動せずに対話行動を実行し，各被験者にはそれぞれの対話に適た．Robovie II の身長は小学校低学年の児童程度の約 120[cm]である．底部には 2 つの駆動輪があり，上半身には 4 自由度の腕が 2 本ある．頭部には 2 つのカメラがあり，カメラ毎にパン・チルトの 2 自由度と頭部全体を動かすパン・チルト・ロールの3 自由度がある．これにより，被験者に視線を向けることが出来る．またマイクとスピーカを内蔵しており，被験者に呼びかけることが出来る．

していると思う位置に移動してもらい，人ロボット間距離を対人距離として測定した．被験者間で多少の距離の差は見られたが，分散は小さく分類には影響しなかった．予備実験による分類結果を Table 1 に示す．結果として，人同士の対話では社会距離をとる対話行動 (h)「どこから来たの？」，i)「ロボビーってかわいい？」) が，個体距離に分類された．これはロボットの発話の聞きとりにくいためと，人がマイクに近付いて発声することが必要なためと考えられる．

3. 2 ロボットの対話行動
用意した対話行動は，a) だっこ (hug)，b) じゃんけん (paper-

scissors-stone)，c) 触ってね (ask for touch)，d) 運動 (excercise)，e) 握手 (handshake)，f) あっちむいてほい (pointing
game)，g) ありがとうバイバイまたね (monologue)，h) どこから来たの？(ask where from)，i) ロボビーってかわいい？(ask ifcute)，j) 相手を見る (just looking) の 10 種類である．Fig. 5

3. 3 実験[被験者] 当研究所に勤務する 15 名（男性 9 名，女性 6 名）が実験に参加した．1 名を除き日本人で，全員がロボットの発話を聞き取ることが出来た．被験者の年齢は 20 から 35 才，多くは 20 から 25 才であった．全員が，多少は Robovie II について知っていた．

にロボットの外観と用意した対話行動を示す．いずれの対話行[実験における対話] 実験開始時にロボットは，モーションキャ

動もロボットの腕や頭の動きを伴う．たとえば，a)「だっこ」は，

プチャシステムの測定領域の中央におり，被験者はロボット正ロボットが「だっこしてね」と発声し，腕を広げ，人がロボッ面に立った状態から，リラックスして自然な気持ちでロボット

ト正面の適当な距離に立つと腕で人に抱きつく．これらの対話と対話する (遊ぶ) よう求められた．モーションキャプチャシス

行動は子供が振舞うような雰囲気で印象が一貫するように作成

テムの測定範囲内にいるように求めた以外は，被験者に何も要している．

a) から g) の「だっこ」「じゃんけん」など，人とロボット両者の同時動作が必要な対話行動では，人間の動作を誘う発話（「だっ求していない．被験者はおよそ 30 分間，ロボットと対話した．
対話内容は，ロボットが乱数により 10 種の対話行動から 1 つを選択し実行することで決まる．対話行動 1 つの実行にかかる

こして」「じゃんけんしようよ」など）をし，「遅れ時間」経過後

時間は約 10 秒である．1 つの対話行動が終わると，乱数によりに腕や頭部の動作を開始する．h)「どこから来たの？」と i)「ロ

次の行動を選択する．乱数が前回と同じ対話行動を選択した場

ボビーって可愛い？」は，主に音声による反応を求め，j)「相合には，再度乱数により異なる対話行動を選択した．各対話行

手を見る」では発話をせず，発話後に開始する動作がないため

動，あるいは距離カテゴリの発現回数を均等にするための特別「遅れ時間」は使用しない．

な工夫はしなかった．

話を開始する．ロボット主体としているのは，現在の音声認識[パラメータ学習] Table 2 に各パラメータの初期値と変動ステッ
プサイズ j を示す．初期値は予備実験に参加した被験者が適当

や画像処理の技術では人の任意の発話や働きかけの認識が難しとした値の平均からやや外れた値とした．報酬はロボットが一いという技術的制約のためである．また，実験で用いたロボッ

つの対話行動を終了する（約 10 秒）毎に計算する．適応の 1 ス

ト Robovie II のコンセプトは子供を模したものであり，子供

テップで試行する方策数は T = 10 とし，対話行動 10 回毎にから大人に対して遊びを誘うことは自然であり，ロボット主体

パラメータを更新した．前述のように乱数により対話行動は決であることはコンセプトと一致している．

定しており，適応の 1 ステップ内でも各試行で対話行動は異な用意した対話行動は，ロボットが主体となって働きかけ，対

これらの対話行動における対人距離を予備実験により測定し，Hall [1] の対話距離カテゴリ，親密距離 (0[m] から 0.45[m])，個

JRSJ Vol. xx No. xx

る．パラメータの更新に要する時間は十分に短く，更新のために被験者に感じられる対話の中断はない．

—4—

xx, 200x

5方策勾配型強化学習によるロボットの対人行動の個人適応

Fig. 5 Robovie II and the behaviors

Parameter
intimate distancepersonal distancesocial distancegazing ratio
waiting time
speed factor

Initial value
50 cm
80 cm
100 cm
0.7
0.17 s1.0

Step size j
15 cm
15 cm
15 cm
0.1
0.3 s
0.1

Distance (cm)

#
1
2
3
4
5
6

Distance (cm)

Table 2 Parameter values and step sizes[被験者の評価] 実験後，被験者にインタビューし，ロボットのDistance (cm)

うに変化していったかを尋ねた．また，それ以外にも感じたことがあれば自由に答えてもらった．

[被験者の望むパラメータ値の測定 (時間と速度)]
各被験者が望ましいと感じる各適応パラメータの値を実験後に測定した．測定パラメータの値のみ 3 段階に変えた対話行動か

60
40
20
0
0

2

4

6

8

10

12 Subject #10

12 Subject #10

12 Subject #Personal distance
100
50
0
0

動作，距離，視線の合わせ方の印象と，実験中それらがどのよ

Intimate distance

80

2

4

6

8

Social distance

200
150
100
50
0

2

4

6

8

Fig. 6 Learned distance parameters and preferences for 12 subjects

ら，被験者には適当と感じるものを選択してもらった．被験者の中には複数の段階が適当であるとした場合や，中間の値がよ
測定外のパラメータを固定した上記の手順で，測定に 15 分

いと思うと回答するものがいた．そのような被験者については，を要した．最適なパラメータの組合せを測定することが理想的

その旨を記録した．
適応パラメータ「注視時間」と「動作速度」の測定には，g)「ありがとう」を使い，対人距離は 1.0[m] とした．
「遅れ時間」

ではあるが，膨大な時間が測定に必要になると予想されるため，
上記の手順とした．

の測定には， a)「だっこ」を使い，距離についてはロボットの4. 実 験 結 果

移動を止め，被験者に適切と思われる位置に立ってもらった．これは「親密距離」の個人差が大きかったためである．対人距離を除く測定外のパラメータは予備実験の被験者が適当とした値の平均値とした．

学習結果と被験者が望ましいと感じたパラメータを比較し，学習結果の好ましさを評価した．また，本研究の個人適応という問題の性質上，被験者それぞれにどの程度適応できたかの個[被験者の望むパラメータ値の測定 (対人距離)]別の結果も重要であるため，個別の結果を事例として紹介する．

対人距離の測定も実験後に行なった．対話行動しているロボッ

なお，被験者のうち 3 名は我々が想定した行動をとらなかっ

トの正面の適当と感じる位置へ被験者に立ってもらい，モーショ

た．ロボットのインタラクションが適当なものであっても，そンキャプチャシステムで距離を測定した．
「注視時間」は 0.75，

うでなくても顔の方向や，立ち位置を変えることなく，ロボッ「遅れ時間」は 0.3[s]，「動作速度」は 1.0 とした．親密距離は a)トあるいは実験者に感想を言葉で述べたり，顔に表出するのみ「だっこ」，個体距離は e)「握手」，社会距離は g)「ありがとであった．こういった被験者は報酬関数設計の際に前提としたう」の対話行動で測定した．また適当と感じる距離からロボッ

対話反応表現モデルに当てはまらず，システムは正しく動作しトを近づけた場合，遠ざけた場合に，被験者が適切でないと感ない．したがって以下では，これら被験者の結果を除き，残りじ始める距離を許容限度として測定した．

の 12 名の被験者について結果を報告する．

日本ロボット学会誌 xx 巻 xx 号

—5—200x 年 xx 月

6

光 永

法

明

クリスチャン

スミス

神

2

4

6

8

10

12 subject #8

1012 subject #ratio

Waiting timeparameter
intimate
personalsocial
gaze
wait
speed

1.5

time [s]石 黒浩

萩 田 紀 博Table 3 Average deviation from preferred value (normalized tostepsize units)

Gaze meeting ratio
1
0.8
0.6
0.4
0

田 祟 行

1
0.5

average deviation
0.9
1.3
1.3
1.0
0.8
1.1

initial deviation
1.8
1.6
1.2
2.4
1.5
1.4

0

speed factor

0

2

4

6

Motion speed

1.5

ズをより小さく，あるいは適応が進むにつれ徐々に小さくする
10.50といった工夫が必要である．
適応パラメータの最適値への収束には 10 回程度のパラメータ
12 subject #更新が必要であったが，Table 3 に示すように初期値も最適値

Fig. 7 Learned gaze and speed parameters and indicated preferences for 12 subjects. Circles show what parametersettings the subject indicated as preferable, ‘x’s show
the non-indicated settings. In the cases where values
outside the given settings were indicated, a triangle
shows the preferred value.

から大きく離れているわけではない．また Fig. 6,7 に示すよう

2

4

6

8

10

に，被験者によっては 15 から 20 回の更新でも最適値に収束しないパラメータもあった．しかし，報酬関数を意識しながら，現在のパラメータに応じて，一貫して同じ振舞いをした場合には4 から 5 回の更新で，報酬関数の重みを求めたシミュレーショ
ン上では最短で 3 から 4 回の更新で，最適値へ収束した．した

4. 1 学習結果

がって，収束までに必要なパラメータ更新回数の多さの一因は，Fig. 6 に 12 名の被験者について，適応の結果得られた対人

人の動きのバラツキにあると考える．

距離と被験者が適当と判断した距離を示す．適応結果は，対話

4. 2 事例紹介：被験者の印象とパラメータ適応の最後の 1/4 の期間 (約 7 分半) の平均を示している．これはPGRL が常に局所最適値を探索しているためである．* が適応結果，バーは被験者の許容限度と最適とした値を示す．多くの被験者に対して，15 から 20 分 (約 10 回の PGRL のパラメー
タ更新) で 適切な値にパラメータが収束した．Fig. 7 に，「注視時間」(gaze meeting ratio)，「遅れ時間」(waiting time)，「動作速度」(motion speed) についての実験結果を示す．○は被験者が適当と判断した値（複数適当と判断した場合は複数に○がある），*は適応結果である．2 つの値の中間が適当とした被験者については，中間に▽を記している．
これらの図から，被験者の望む値との一致度合はパラメータ

インタビューで被験者が述べたロボットの動作に対する印象と，学習結果の最適値への収束度合は，理想的には一致するべきである．しかし，被験者の望むパラメータ値は最適な組合せを測定できておらず，対話時と測定時とで適切と感じる値が違う場合もある．また用意した報酬関数の適切さは被験者によって異なると考えられる．
そこで以下では，学習結果の最適値への収束の良さと，インタビューで得た被験者の印象により，実験結果を 5 つの事例に分け，それぞれ詳細な実験結果を報告し，結果を導いた要因について考察する．

4. 2. 1 最適値への適応が良好で，被験者の印象もよい場合

によって異なるが，多くの場合，適応結果は許容範囲に入ったことが分かる．例えば，動作速度は一致度が低いが，社会距離

個人適応システムは，3 名の被験者に対して，学習結果，イ

は 1 人の被験者を除き許容範囲に入っている．一致度合が異なンタビュー結果の両面で良好な結果をみせた．各パラメータはる一因は，それぞれのパラメータの対話への重要性が異なるた

最適値へ収束し，被験者は適当と感じるパラメータでロボット

め，報酬へ寄与の大きいパラメータから収束し，許容範囲の広が行動したと述べた．被験者に見られた共通点は，ロボットといパラメータへの収束は遅くなるためと考えられる．

のインタラクションを楽しみ，ロボットであることを意識せず

Table 3 に，被験者が適当とした値からの分散を 12 人の被験人に対すると同じように接していたことである．

者について平均したものと，初期値の分散を各パラメータにつ

被験者 10 についてパラメータの変化の様子を Fig. 8 に示す．

いて示す．値は各パラメータの変動ステップサイズ j を 1 とし

被験者 10 はロボットの振舞の改善が早かったと感想を述べた．

て正規化している．また分散は対話の最後の 1/4 の期間につい図からも，「個体距離」について若干最適値から離れているのみての平均である．表から，学習後の分散の平均は変動ステップ

で，各パラメータは十分に最適値近くに収束しており，感想とサイズの 1 倍前後となったことが分かる．なお，各パラメータ一致することが分かる．

の許容範囲の平均は変動ステップサイズよりも大きい．たとえば，個体距離では 3 倍，社会距離では 5 倍である．

また，全般にロボットがよく適応できていた被験者のコメン
トには，適応パラメータの変化があまり含まれない傾向があっこれらから PGRL に基づいた個人適応は有効に働き，各パた．これはロボットに合わせた行動が不要であれば，当たり前

ラメータは適切な値に近付いたといえる．より誤差を小さくすの行動であり，パラメータの適応も意識されなくなる可能性をるには，報酬関数の人の行動への感度を高める，ステップサイ

示唆している．

JRSJ Vol. xx No. xx—6—xx, 200x

7方策勾配型強化学習によるロボットの対人行動の個人適応
IntimateGaze−meeting

20

0.8

40
20

0.6

0
20

30
Time [min]

0

10

20

Waiting

30
Time [min]

0

0

1
0.5

10

Social200

30Time [min]

10

20

50

0

30

Speed

50

10

1.4
1.2
1

20

Social200
Dist [cm]1000Time [min]

1.6

150

10

20

30
Time [min]

0

10

20

30
Time [min]1000Proportion

Dist. [cm]

40
20

20

Personal

10

20

30
Time [min]

0

10

20

30
Time [min]1.5

被験者 7 についてロボットの各パラメータの変化の様子をFig. 10 に示す．各パラメータは許容範囲内に収束しているよう

1に見られるが，被験者は距離に関して近過ぎたと述べた．しか

0.5

し，「親密距離」「個体距離」は，被験者が許容する最も遠い距離

20

Waiting

30
Time [min]

0

10

20

30
Time [min]近くに収束している．また初期の印象は「ためらった感じ」だっ

30

たが，次第に「活発」になる印象を受けたと述べている．許容Time [min]

Speed
1.6

150

Speed factor

Dist [cm]20

Social10050

範囲内にも関わらず被験者が近すぎると感じたのは，測定時と1.4

学習時の「動作速度」の違いが一因であると考えられる．対人

1.2

距離は「動作速度」1 で測定しているが，被験者の好みに合わ

1
0.8

10

1

つ場合
10

0

0

1.2

4. 2. 3 最適値へ適応したが，被験者が一部の適応へ不満を持

0.6
0Time [s]Dist [cm]

50

200

1.4

応パラメータは被験者が満足する値へ収束した．

0.8

30Time [min]

100

10

30
Time [min]Fig. 10 Results achieved for subject 7. The dotted lines represent the measured preferences of the subject.

0

0

20

Speed

Gaze−meeting
1

60

10

10

0.8

Intimate

0

0

1.6

150

50

Fig. 8 Results achieved for subject 10. The dotted lines represent the measured preferences of the subject.
80

1
0.5

30
Time [min]

0.8
0

30
Time [min]00Speed factor

Dist [cm]

20

20

1.5

Speed factor

0

10

Waiting

0

0

0.6

30
Time [min]100Dist [cm]Time [s]5020Personal

1.5

100

10

Time [s]10Personal

0

0.8

0
0

Dist [cm]Gaze−meeting
160
Dist. [cm]Proportion

Dist. [cm]40

Intimate

80

1

60

Proportion

80

20

30
Time [min]

0

10

20

せ「動作速度」は学習につれ上昇している．被験者にとっての30
Time [min]Fig. 9 Results achieved for subject 5. The dotted lines represent the measured preferences of the subject.

最適距離は「動作速度」が速い場合には，より遠かった可能性がある．

4. 2. 4 一部のパラメータが最適値へ収束せず，被験者も一部
4. 2. 2 一部のパラメータが最適値へ収束していないが，被験の適応に不満を持つ場合

5 名の被験者について，一部のパラメータが最適値へ収束せ者の印象はよい場合
一部の適応パラメータの値が最適値から大きく外れていたが，ず，被験者もそれらのパラメータの学習結果について不満を述

ロボットの動作について印象がよかったと，2 名の被験者はイ

べた．被験者 1 についてパラメータの変化の様子を Fig. 11 へンタビューに答えた．被験者 5 についてパラメータの変化の様示す．この実験はトラブルにより他の被験者よりも実験時間が子を Fig. 9 に示す．3 種の対人距離に関しては最適値に収束し21 分間と短い．
「個体距離」と「社会距離」は最適値近くへ収束ており，「遅れ時間」に関して許容範囲が広く適切に学習したとしたが，「親密距離」は許容範囲へ入らなかった．被験者も「親いえるが，「注視時間」「動作速度」は最適値から大きく外れて密距離」が不適当であったと述べている．これはロボットが「親いる．しかし，被験者はこれらも適当であったと述べた．この密距離」として試行した距離が常に許容範囲外にあり，いずれ

原因は，実験中の条件と最適値を測定した条件の違い，あるいの試行に対しても被験者の振舞がほぼ同じであったために，報は被験者のパラメータの許容範囲が実際には広かったためと考酬に勾配がつかず，最適な距離に近付くようパラメータを更新

えられる．

できなかったためと考えられる．
「注視時間」は，対話の最後のまた被験者 5 は，他の被験者には見られない行動を行なった．
この被験者は「社会距離」に分類される対話行動においても，ロ

1/4 の期間で平均して約 0.9 になった．被験者は 1 が最もよく，
0.75 から 0.5 程度でもよいと述べたので，適当な値に収束したボットの各部を触っていた．その結果，「社会距離」が他の被験といえる．被験者は「動作速度」についてはどの値でもよいと者と比較してかなり短くなっている．このような振舞を我々はし，「遅れ時間」の適応結果は許容範囲外であったが，あまり気予期していなかったが，他の被験者と同じ報酬関数により，適にならないと述べた．したがって「親密距離」を除きうまく適

日本ロボット学会誌 xx 巻 xx 号

—7—200x 年 xx 月

光 永

法

クリスチャン

Intimate

80

スミス

神

田 祟 行

Gaze−meeting

20

0.8

萩 田 紀 博IntimateGaze−meeting
1

40
20

0.6

0
10

15

20
Time [min]

0

5

10

15

Waiting

20
Time [min]

0

0

1
0.5

5

10

Social200

20Time [min]

5

10

15

50

0

20

Speed

50

10

1.4
1.2
1

20

Social200
Dist [cm]1000Time [min]

1.6

150

5

10

15

20
Time [min]Intimate

5

10

15

20
Time [min]1000Proportion

Dist. [cm]

40
20

20

1.4
1.2
1

10

20

30
Time [min]

0

10

20

30
Time [min]ロボビーは，いやいや普通に振舞うよう努力している印象を受0.8けたと述べた．実験中の様子からは大きな問題があるとは観察

0.6

Personal

30
Time [min]されなかったが，被験者が率直にロボットに対して反応表現し
0

10

20

Waiting

30
Time [min]なかった可能性がある．

1.5
Time [s]100Dist [cm]30Time [min]Gaze−meeting

050

5. まとめと今後の課題

10.5

本論文では，人とロボットの対話においてロボットが人の行

0
0

10

20

Social200

30Time [min]

0

10

20

30

動に無意識に表れる快・不快の表現に基づき適応することを提Time [min]Speed

案した．具体的には，人の「移動距離」と「人がロボットに顔

1.6

150

Speed factor

Dist [cm]

20

Speed

Fig. 13 Results achieved for subject 9. The dotted lines represent the measured preferences of the subject.

1

10

10

0.8
0

60

0

0

1.6

150

50

Fig. 11 Results achieved for subject 1.

80

1
0.5

30
Time [min]

0.8
0

30
Time [min]00Speed factor

Dist [cm]

15

20

1.5

Speed factor

0

10

Waiting

0

0

0.6

30
Time [min]100Dist [cm]Time [s]5020Personal

1.5

100

10

Time [s]5Personal

0

0.8

0
0

Dist [cm]浩

60
Dist. [cm]Proportion

40

石 黒

80

1

60
Dist. [cm]明Proportion

8

100
50

1.4

を向けている時間」により報酬を構成し，方策勾配型強化学習

1.2

により，対人距離や動きの速さといった対話行動に関したパラ

1

メータを個人適応する．12 名の被験者への実験により，1 名を

0.8
0

10

20

30
Time [min]

0

10

20

30
Time [min]除いて複数のパラメータを適切に適応できることを確かめた．

Fig. 12 Results achieved for subject 3. The dotted lines represent the measured preferences of the subject.

また適応したロボットの振舞が自然に見えたという感想を被験者らから得た．個人適応は，より自然に人と対話できるロボッ
トの実現への重要な要素の一つであり，提案手法はその一歩と応できたといえる．

いえる．

被験者 3 の適応パラメータの変化の様子を Fig. 12 に示す．

一方で，これから解決しなければならない課題も見つかった．

被験者 3 は，「個体距離」が実験の前半で不適当であったと指摘ことと一致している．
「親密距離」の学習結果は安全のために設

1 つ目は，個々人にとって最適なパラメータを測定することの難しさである．例えば，被験者 5 は最適とした値から大きく離れた値であっても適応結果に不満はなかった．一方，被験者 7

けた下限の 15[cm] になっている．
「注視時間」は，学習の結果は最適とした値近くに学習結果が収束したにも関わらず，距離は約 0.75 であり，最適値は 1 であったが，被験者は十分に満が近過ぎると感じた．この一因は，パラメータが相互に依存す足できたと述べた．
「遅れ時間」は許容範囲が広く，学習結果はる場合が多いためである．この問題はロボットの適応には影響

適当といえる．しかし「動作速度」の学習結果が最適値から大しないかもしれないが，適応結果，適応システムの評価を難し

きく離れている．被験者も「動作速度」は不適当だったと述べくする．

した．これは図の「個体距離」の変化，前半は許容限度に近いている．この原因はロボットの「動作速度」が速過ぎる場合に，2 つ目に，最適値からある程度以上離れたパラメータについ被験者 3 はロボットをじっと見つめる傾向があり，報酬が誤っては，人が同じ反応表現を返す傾向があるように見られた．こて大きくなったためと考えられる．

のためパラメータが変化したにも関わらず報酬が変化しないた

4. 2. 5 うまく適応できなかった場合

めに，報酬の勾配を見つけられず，適応できない場合が被験者

被験者 9 についてパラメータの変化の様子を Fig. 13 に示す．
「個体距離」と「注視時間」を除く 4 つの適応パラメータが最1 に見られた．
3 つ目には，1 つの報酬関数ではすべての人の反応表現を正し

適値から大きく外れている．被験者はロボビーに嫌われていて，く扱えない問題がある．本論文の実験でも，報酬関数の設計の

JRSJ Vol. xx No. xx—8—xx, 200x

9方策勾配型強化学習によるロボットの対人行動の個人適応際に想定したモデルに当てはまらない被験者がいた．被験者 3[ 9 ] C. Isbell, C. R. Shelton, M. Kearns, S. Singh, and P. Stone. A
social reinforcement learning agent. In Proc. of the Fifth International Conf. on Autonomous Agents, pp.377-384, ACM
Press, 2001.
[10] T. Kanda, H. Ishiguro, M. Imai, and T. Ono. Body Movement Analysis of Human-Robot Interaction. In Int. Joint Conference on Artificial Intelligence (IJCAI 2003), pp.177-182,
2003.
[11] Chris Watkins and Peter Dayan. Q-learning In Machine Learning, vol. 8, pp.279-292, 1992.
[12] J. Baxter and P. L. Bartlett. Infinite-horizon policy-gradient estimation. Journal of Artificial Intelligence Research, 15:319–
350, 2001.
[13] R. S. Sutton, D. McAllester, S. Singh, and Y. Mansour. Policy
gradient methods for reinforcement learning with function approximation. In Advances in Neural Information Processing
Systems 12, pp. 1057–1063. MIT Press, 2000.
[14] N. Kohl and P. Stone. Policy gradient reinforcement learning
for fast quadrupedal locomotion. In Proc. of International
Conference on Robotics and Automation, vol. 3, pp. 2619–
2624. IEEE, 2004.
[15] T. Kanda, H. Ishiguro, M. Imai, T. Ono, and R. Nakatsu. Development and evaluation of an interactive humanoid robot ”Robovie”. In Proc. of International Conference on Robotics
and Automation, pp. 1848–1855. IEEE, 2002.

は，ロボットの動作速度が速過ぎた時にじっと見る傾向があった．報酬関数の設計の際にはじっと見ることは好ましい反応表
現であると仮定しているので，ロボットはより速い動作速度が適切であると判断し，その結果，被験者の望まない学習をした．

2 つ目と 3 つ目の問題については，反応表現の違う被験者，
あるいは反応表現の違う領域に対して，適切に別の報酬関数を利用する仕組みが必要である．それには，反応表現による人の分類が一つの解決策になるのではないかと考えている．分類により，適した報酬関数の選択と，最適値探索の開始点をより最終値に近いところから開始することが可能になる．結果として適応速度の向上と，適応の安定化が期待される．人を分類するに当たっても多くの課題は残る．どのような報酬関数をいくつ用意すればよいのか．適した報酬関数の選択はどうすれば可能
か．何通りに分ければよいのか．人がどの分類に属すかを，どうやってロボットは判断するのか．またどのように素早く判断するのか．個人適応に必要なパラメータの数はいくつなのか．こういった課題を解決していく必要がある．
また一連の対話行動が長い場合や，モーションキャプチャシ
ステムのない環境での適応システムの実現も今後の課題である．
会話など長い対話行動の場合には，行動中に複数のパラメータ

光永 法明 (Noriaki Mitsunaga)

を評価できることが望ましい．そのためには適当な時間的区切

1974 年 1 月 5 日生まれ．1997 年大阪大学大学院
工学研究科電子制御機械工学専攻博士前期課程修了．同年同学科知能機能創成工学専攻博士後期課程
進学．2002 年同退学．同年同大学科学技術振興特任教員．2003 年博士後期課程修了．同年大阪大学
大学院工学研究科助手．2004 年より ATR 知能ロ
ボティクス研究所研究員．ロボットの知能に関連した問題に興味を持
つ．人工知能学会会員（日本ロボット学会正会員）

りで対話行動を分割できることが必要である．モーションキャ
プチャシステムを前提としないためには距離や視線 (顔方向) 計
測などをロボット上のセンサで測定する技術的課題が残る．またロボット上のセンサの特性を考慮した報酬関数の設計も必要となる．実験室外でのロボットと人の対話は，本実験のように

30 分間連続したものではなく，1 度には 1 ないし 2 程度の対話

クリスチャン スミス (Christian Smith)

行動のみの短い対話になると考えられ，複数回の人との接触での対話行動の結果を統合して適応する仕組みが必要になると考えられる．そのためにはロボットが対話する個人を適切に識別し，適切に個人との対話履歴を残す手法も確立する必要がある．
謝辞 本研究は総務省の研究委託により実施したものである．

参

考

文

献

[ 1 ] E. T. Hall. The Hidden Dimension. DoubleDay Publishing,1966.
[ 2 ] S. Duncan jr. and D. W. Fiske. Face-to-Face Interaction: Research, Methods, and Theory. Lawrence Erlbaum Associates,
Inc., Publishers, 1977.
[ 3 ] E. Sundstrom and I. Altman. Interpersonal relationships andpersonal space: Research review and theoretical model. Human
Ecology, 4(1), 1976.
[ 4 ] 中島 移動体ロボットに対するヒトの個体距離に関する研究. 博士論
文, 九州芸術工科大学, 1998.
[ 5 ] Y. Nakauchi and R. Simmons. A social robot that stands inline. Autonomous Robots, 12:313–324, 2002.
[ 6 ] T. Tasaki, S. Matsumoto, H. Ohba, S. yamamoto, M. Toda,
K. Komatani, T. Ogata, H. G. Okuno. Dynamic communication of humanoid robot with multiple people based on interaction distance. 人工知能学会誌, vol.20, no.3, pp.209-219, 2005.
[ 7 ] 神場, 古関. ひとりひとりにオーダーメイドの情報を―パーソナライ
ゼーション技術―. 電子情報通信学会誌, vol.82, no.4, pp.354-359,
1999.
[ 8 ] 稲邑, 稲葉, 井上. ユーザとの対話に基づく段階的な行動決定モデルの獲得. 日本ロボット学会誌, vol.19, no.8, pp.983-990, 2001.

日本ロボット学会誌 xx 巻 xx 号

Born Aug. 28, 1975. Intern at the ATR Intelligent Robotics and Communication Laboratories in 2004. Master of Science in engineering
physics from the School of Engineering Sciencesat the Royal Institue of Technology (KTH),
Stockholm, Sweden in 2005. Enrolled in PhD
program in Autonomous Systems at the School of Computer Science and Communication at KTH since 2005. Research interest
includes human-machine cooperative control of robotic systems.

神田 祟行 (Takayuki Kanda)
1975 年 12 月 7 日生．1998 年京都大学工学部情報工学科卒業．2000 年同大学大学院情報学研究科社会情報学専攻修士課程修了．2003 年同専攻博士課
程修了．博士 (情報学)．現在，ATR 知能ロボティ
クス研究所上級研究員．ヒューマンロボットインタ
ラクション，特にロボットの自律対話機構や社会的能力，人間型ロボットの身体を利用した対話に興味を持つ．
（日本ロボット学会正会員）—9—石黒 浩 (Hiroshi Ishiguro)
1963 年 10 月 23 日生．1991 年大阪大学大学院基礎工学研究科物理系専攻博士課程修了．工学博士．同
年山梨大学工学部情報工学科助手，1992 年大阪大学基礎工学部システム工学科助手．1994 年京都大学大学院情報学研究科社会情報学専攻助教授．2001
年，和歌山大学システム工学部情報通信システム学

200x 年 xx 月

10

光 永

法

明

クリスチャン

スミス

神

田 祟 行

石 黒

浩

萩 田 紀 博科教授．現在，大阪大学大学院工学研究科知能・機能創成工学専攻
教授，ATR 知能ロボティクス研究所コミュニケーションロボット研
究室客員室長．視覚移動ロボット，能動視覚，パノラマ視覚，分散視覚に興味を持つ．人工知能学会，電子情報通信学会，情報処理学会，
IEEE，AAAI 各会員．
（日本ロボット学会正会員）

萩田 紀博 (Norihiro Hagita)
1978 年 慶 應 義 塾 大 学 大 学 院 工 学 研 究 科 電
気 工 学 専 攻 修 士 課 程 修 了 ．同 年 日 本 電 信 電
話 公 社 (現NTT) 武 蔵 野 電 気 通 信 研 究 所 に入 所 ．文 字 認 識 や 画 像 認 識 な ど の 研 究 に 従 事 ．
NTT 基 礎 研 究 所 な ど を 経 て ，現 在 ATR 知
能 ロ ボ ティク ス 研 究 所 所 長 ．工 学 博 士 ．IEEE，
電 子 情 報 通 信 学 会 ，情 報 処 理 学 会 ，人 工 知 能 学 会 ，各 会 員 ．

JRSJ Vol. xx No. xx—10—xx, 200x