HAI シンポジウム2014
G-14

Human-Agent Interaction Symposium 2014

ユーザの報酬付与頻度がロボットとのインタラクションに与える影響– ボールを使ったやりとり遊びの学習と印象評価 –User’s Reward Frequency Influencing on Impression of Robot During
Interaction: learning and impression evaluation of ball play
佐久間 拓人 1∗
Takuto Sakuma1

加藤 昇平 1
Shohei Kato1

1

1

名古屋工業大学 大学院工学研究科 情報工学専攻
Dept. of Computer Science and Engineering, Graduate School of Engineering, Nagoya Institute ofTechnology
Abstract: We focused our attention on human-robot interaction for one purpose that users can really enjoy
it. We believed that it is necessary to reflect the preference of users so that they could have more positive
impressions of robot through such interactions. This research was aimed at developing a robot that canreflect the preference of users. In this robot, users reward the interaction between robot and themselves, andthen the robot learns reward dynamically. By doing that the robot can create better interactions for users.
Thereby, users’ impression of robot can be improved. In order to assess the effectiveness of our robot, we
did an experiment that applied a turn-taking play using a ball as the interaction between user and robot.
And according to sensitivity evaluation our robot gained the best impression of users.

はじめに

我々はインタラクションにおける重要な要素として「相手に与える印象」があると考える．インタラクショ
人とロボットの間におけるインタラクションは技術のンを行う相手が不快な印象を抱けば，インタラクショ発展に伴い，多種多様に発展してきた．最近では人型ロンに支障をきたす可能性は高い．逆に相手が良い印象
ボットも増え，QRIO[Tanaka 05] や Robovie[Mitsunaga 06] を抱くことによって，例え稚拙なインタラクションでなど人とのインタラクションを目的としたロボットもあっても継続して行われる可能性は高いと考える．阿
数多く開発され，そのようなロボットとのインタラク部らは子どもの心理状態を推定し，適切な行動を選択
ションを題材とした研究もまた数多く見られる．
することで子どもを飽きさせず長い間インタラクショ
インタラクションを目的としたロボットの多くはユーンを続けることが出来る遊び相手ロボットモデルを構
ザとのインタラクションの継続のため，「人を飽きさせ築している [阿部 11]．しかし，これらの研究の多くはない」ように行動指針を設けられていると考える．はあくまで人の心理状態を推定しており，扱うインタラ
じめは興味深々でもインタラクションが単調であれば， クションによって推定モデルを変更する必要がある．
人が次第に飽きてゆき，やがてロボットとのインタラ
本研究はユーザからの報酬を正確に学習し，インタ
クションそのものを行わなくなってしまう．この問題
ラクションにユーザの好みを反映することでユーザのに対し，栗山らは子どもを模したロボットを相手にやロボットに対する印象を向上させることを目的としてりとり遊びをし，やりとりルールを共創するしくみをいる．そのため，ユーザの報酬は推定ではなく，ユーザ
提案している [栗山 10]．栗山らは人間同士のやりとりに明示的に与えさせることとした．ユーザとロボットにみられる性質に着目し，人間同士のようにやりとり
はインタラクションを行い，ユーザは自分の好みに従を通じてやりとりを広げ，共有感を持ちながら，飽きいインタラクションに報酬を付与する．ロボットは報ずに長く付き合っていけるロボットを目指している．
酬を基にユーザの好みを学習し，次のインタラクショ
ンに反映する．
∗ 連絡先：名古屋工業大学 大学院工学研究科 情報工学専攻 加藤昇
本稿では先行研究 [佐久間 14a] にて行った「ボール平研究室〒 466-8555 愛知県名古屋市昭和区御器所町を使ったやりとり遊び」に対する感性評価実験の結果

1

E-mail: shohey@katolab.nitech.ac.jp206

STARTi-gram model

パターンルール R11

パターンルール Ri1

パターンルール RM1

パターン系列 D11 報酬履歴

パターン系列 Di1 報酬履歴

パターン系列 DM1 報酬履歴

.
.
.
.

.
.
.
.

.
.
.
.

状況，ステップ数をリセット. . . .

パターンルール R1j

ステップを更新

パターン系列 D1j 報酬履歴

現在の状況を取得

パターンルール Rij
パターン系列 Dij

報酬履歴. . . .

パターンルール RMj
パターン系列 DMj 報酬履歴

.
.
.
.

.
.
.
.

次ステップにおける目標状況を決定

NoM-gram model

1-gram model

.
.
.
.

図 2: インタラクションルール概要

ユーザが報酬を与えた
Yes
インタラクションルール更新

終了判定

ぶ．R の概要を図 2 に示す．R は今までの経験を保持しており，ユーザが報酬を与える度に更新される．また，R の更新とは N-gram ルール内の各パターンルー
ルの報酬履歴を更新することとする．ここでパターン
ルール Rij とは，ACN によって分割されたパターン系
列 Dij と Dij の過去の報酬履歴を格納しているものとする．N-gram ルールはパターンルールの長さ毎の集合である．パターン系列 Dij のある報酬値 PDL はパターン系列の長さおよび報酬付与時からの近さで重みを算出される．式 (1)，(2) にそれぞれパターン系列の長さによって報酬値 PL を決定する式，報酬付与時からの近さによって報酬値 PD を決定する式を示す．

No

Yes

END

図 1: ロボットの行動決定プロセス

を基に，提案手法の有効性を報酬付与頻度の違いに着目し検証する．

2

ユーザの報酬付与傾向の獲得

2.1

インタラクションの流れ

U × Aij．
(1 + eT −||Dij ||−Tmax /2 )U × AijPD =．
(1 + eT −Kij −Tmax /2 )PL =本稿ではユーザ報酬を取り入れたインタラクション
モデルを使用する．図 1 にユーザ報酬を取り入れたイ
ンタラクションを行うロボットの行動決定プロセスを示す．なお，本稿ではユーザとロボットの姿勢（手先位置）やボールの位置情報などインタラクションにかかわる情報を「状況」と呼び，ロボットは 1 ステップ毎に状況を取得可能であるとする． ロボットは直前のステップまでの状況とインタラクションルールから次ス
テップにおける目標状況を決定する．インタラクショ
ンルールの更新はユーザ報酬を基に行われる．ユーザ
から報酬付与が行われた場合，状況，ステップ数をリセットし初期状況からやりとりを再開するとする．

2.2

(1)
(2)

ここで i は N の値を表し，j は i-gram モデル内の Dの識別子，U はユーザが与えた報酬を表す値，Aij は
Dij がインタラクション系列に出現した回数，T はイン
タラクション系列長，||Dij || は Dij のパターン系列長，Tmax は最大インタラクション系列長，Kij は報酬付与
時から Dij の末尾までの距離（記号数）を表す．本稿
では U （−X ≤ U ≤ X ）は整数であり，U の値が大きいほど良い報酬を意味する．なお X は任意の非負整数であり，本稿における具体的な値および報酬付与方法
は 4.1 章にて述べる．式 (1) によってパターン系列 Dijの報酬値 PL を決定することでより長い系列，すなわ
ちやりとり全体の流れに重きをおいた学習を行うことができる．同様に式 (2) によってパターン系列 Dij の報酬値 PD を決定することでより報酬付与時に近い系列，
すなわち報酬タイミングに重きをおいた学習を行うことができる．本稿では式 (1)，(2) を複合し，長さによる重み，近さによる重みの双方を考慮した式によって
報酬値 PDL を算出する．式 (3) に本稿で使用する報酬
値 PDL の算出式を示す．

インタラクションルールの更新

ユーザが与えた報酬をインタラクション系列全体への報酬としてのみ捉えると，報酬付与時にユーザがどの状況に注目して報酬を与えたのか，どのような意図で報酬を与えたのかをロボットは把握出来ない．よって，ユーザの報酬付与傾向を詳細に獲得する手法として，All-Combinatorial N-gram（ACN）[佐久間 14b] を導入する．本稿では ACN の分割によって生成されたパターン系列の集合をインタラクションルール R と呼

PDL =

207

U × Aij．(3)(1 + eT −||Dij ||−Tmax /2 )(1 + eT −Kij −Tmax /2 )

目標状況の決定

3

Enterを押すと報酬を与えることが出来ます

ロボットは目標状況を決定したのち，その状況に移行するための行動を出力する．次ステップにおけるロ
ボットの目標状況は獲得したインタラクションルール
R 及び，直前のステップまでのパターン系列によって決定される．ロボットはユーザからの報酬を最大化す
るような状況を目標とする．
ロボットが選択可能な状況の集合を α とし，目標状
況の候補を αk ∈ α とすると，ロボットは αk に対する
総報酬予測値 Eαk を以下の手順で決定する．

ロボットエージェント

ユーザエージェントボール

図 3: インタラクションに用いた擬人化エージェント-5〜5の間で報酬を入力してください（何度でも入力し直せます）

1. パターン系列に αk を含むパターンルールの内，αk 以前の系列が存在しない，あるいはやりとりにおける直前のステップまでの状況の系列と一致するパターンルール，および後方一致するパター
ンルールの集合 R{αk } を求める．

Enterを押すと確定します

2. αk の総報酬予測値 Eαk を下式にて求める．
∑

Eαk =

F (R)．

(4)

図 4: 報酬付与中の様子

R∈R{α }k{

F (R) =

1µ(R) × √2πσ(R)µ(R)(σ(R) ̸= 0)，(5)(σ(R) = 0)．

ルを使った遊びに場面を設定し，シミュレータ上に擬人化エージェントの体を二体構築し，向き合う形で被験ここで µ(R) は R が持つ報酬履歴に含まれる報酬
者が操作するエージェントとロボットが操作するエー
値 P∗ の平均値を，σ(R) は標準偏差を表す．なお
ジェントを配置した．なお本稿では被験者が操作するP∗ は報酬値 PL , PD , PDL のいずれかを表す．
エージェントを「ユーザエージェント」，ロボットが操作するエージェントを「ロボットエージェント」と呼以上の手順を状況集合 α 内の要素全てに対して行い， 称する．ユーザエージェントとロボットエージェント
算出された目標状況の候補 αk の総報酬期待値 Eαk かの間にはボールを配置した．図 3 に実験に用いた擬人ら相対的に αk の生起確率を算出，確率的に目標状況を化エージェントおよびボールの外観を示す．紙面の都決定する．
合上，インターフェースの詳細は先行研究 [佐久間 14a]
これにより決定した目標状況に基づき行動を出力すを参照して頂きたい．
ることでユーザから高報酬が得られる確率の高い行動
図 4 に被験者がロボットエージェントに報酬を与えとなる．なお，抽出されたパターンルールが一つも無ている様子を示す．本稿ではロボットエージェントとい場合（R{αk } = ϕ for ∀αk ∈ α）はランダムに目標のインタラクションについて「良いやりとり」である
状況を決定する．
と感じた場合に高い報酬を与えるよう被験者に指示する．どのようなやりとりを「良い」と思うかは被験者の主観に任せるものとする．被験者からの報酬値 U は4 感性評価実験
5（とても悪い）から+5（とても良い）の間の 11 段階（
X = 5）とする．
人−ロボット間のインタラクションにおいて本稿で提案した学習手法の有効性を確認するため，感性評価実験を行った．

4.2

4.1

感性評価

被験者には 5 つのロボットとやりとりさせ，各ロボッ
トとのやりとり終了後に感性評価をしてもらった．評
価実験に用いたロボットを以下に示す．

計算機実装

本稿では人とロボットとのインタラクションに使用するインターフェースとして栗山ら [栗山 10] が使用した環境を参考に同様の環境を用意した．すなわち，ボー• 提案ロボット（ロボット DL）：
提案手法によりユーザ報酬付与傾向を学習するロボット

208

賢い

人間的な

敏感な

**

**

**

*
**
*

**
**
**

派手な

複雑な

3

感じの
良い

**

面白い

積極的な

好きな

自然な

*

**
*

*

*

*
2

*

**
**
**

*
*
**

*

*

1

ロボットDL
ロボットL
ロボットD
ロボットR
ロボットM

0

-1

*:有意水準5％**:有意水準1％

-2

-3

愚かな

機械的な

鈍感な

地味な

単純な

感じの
悪い

つまら
ない

消極的な

嫌いな

違和感
のある

図 5: 感性評価実験の結果• 長さ優先ロボット（ロボット L）：
提案手法のうちインタラクションルール更新時に式 (1)を使用するロボット• 近さ優先ロボット（ロボット D）：
提案手法のうちインタラクションルール更新時に式 (2)を使用するロボット• ランダムロボット（ロボット R）：
ユーザからの報酬を無視し，ランダムに動くロボット• ミラーリングロボット（ロボット M）：
ユーザの動きを真似するロボット

表 1: 最も印象が良かった・悪かったロボット

なお，長さ優先ロボットおよび近さ優先ロボットは本稿で提案したインタラクションルール更新時に用いる重み（式 (3)）の有効性の検証のため採用した．それ
ぞれ更新時に式 (1)（計算時に系列の長さのみを考慮する式）を用いるロボット，式 (2)（報酬付与時からの近さのみを考慮する式）を用いるロボットとなっている．
また，ミラーリングロボットはロボットの状況取得時におけるユーザエージェントの手の状態と同じ状態になるよう出力を決定する．感性評価には SD 法を用い，各形容詞対（図 5 参照）について 7 段階評価で行う．
また，全ロボットとのインタラクション後に「最も印象が良かったロボット」および「最も印象が悪かったロボット」を聴取した．
図 5 に感性評価実験の結果を示す．棒グラフはユー
ザの感性評価の平均を，誤差棒は標準誤差を表す．また各ロボットの評価に対して Tukey の多重比較検定による有意差検定を行った．検定の結果，有意水準 1 ％および 5 ％にてロボット間に有意差を確認できたものを「＊＊」および「＊」でそれぞれ示す．
図 5 より提案ロボット（ロボット DL）は多くの形容
詞対でミラーリングロボット（ロボット M）に対して有意差を確認できたことが分かる．ランダムロボット（ロボット R）に対しては「賢い」，「敏感な」，「感じの良い」，「面白い」，「好きな」という評価において提案ロ
ボットの方が高いことを確認した．しかし，有意差検

209

被験者
A
B
C
D
E
F
G
H
I
J

最も良い
ロボット DLロボット D
ロボット D
ロボット DLロボット M
ロボット D
ロボット R
ロボット DLロボット DLロボット DL

最も悪いロボット M
ロボット M
ロボット M
ロボット M
ロボット R
ロボット R
ロボット M
ロボット M
ロボット D
ロボット D定における有意差は確認できなかった．ミラーリング
ロボットは全形容詞対に対してネガティブな評価をされており，本稿におけるインタラクションには向いていないロボットであったと考える．我々が以前行った
インタラクション実験 [佐久間 14b] においてはミラー
リングロボットが必ずネガティブな評価をされることは稀であり，扱うインタラクションによって有効性が大きく変わるロボットであると考えられる．
表 1 に被験者が「最も印象が良かった，または悪かっ
たロボット」というアンケートに回答した結果を示す．
表 1 より，提案ロボット（ロボット DL）が最も多く「最も印象が良かった」と評価されたことがわかる．これにより，感性評価実験ではランダムロボット（ロボット R）との有意な差は確認出来なかったものの，被験者の中では「最も印象が良かった」ロボットである傾向がみられることから提案ロボットの有効性が示せたと考える．なお，近さ優先ロボット（ロボット D) は提案
ロボットについで多く「最も印象が良かった」と評価されたが，「最も印象が悪かった」とも評価されており，
被験者によっては報酬付与時に近い系列であるほど報酬への影響が大きいとは限らないと考えられる．また，
ミラーリングロボット（ロボット M）が最も多く「最も印象が悪かった」と評価されており，感性評価実験

表 2: 被験者の報酬付与頻度
被験者
A
B
C
D
E
F
G
H
I
J
平均

報酬付与頻度
0.96
2.92
0.68
1.52
1.28
0.88
1.92
1.12
2.08
0.44
1.38

群
消極
積極
消極
積極
消極
消極
積極
消極
積極
消極

平均報酬付与間隔（備考）
40.75
15.93
55.36
22.31
34.89
49.17
20.72
36.28
20.06
78.60
37.41

図 8: 「ボールの受け渡し」の様子の結果と同等の結果であることを確認した．

5

報酬付与頻度の影響

本稿で構築したインターフェースではユーザは好き
なタイミングでロボットエージェントに報酬を与えることが出来る．そのため被験者ごとに報酬を与えるタ
イミングや回数が異なる．表 2 に感性評価実験において各被験者がロボットに与えた報酬の頻度1 を示す．報酬付与頻度が被験者平均よりも高い被験者は積極的にロボットに報酬を与えていると考えられるため「積極群」に分類し，報酬付与頻度が被験者平均以下の被験者は「消極群」に分類する．

5.1

感性評価の違い

図 6，図 7 に群ごとの感性評価の結果を示す．棒グ
ラフはユーザの感性評価の平均を，誤差棒は標準誤差を表し，有意水準 1 ％および 5 ％にてロボット間に有意差を確認できたものを「＊＊」および「＊」でそれぞれ示す．図 6 と 7 より，積極群は消極群に比べ全体的にポジティブな評価に偏っていることが分かる．特に「派手な」「自然な」の形容詞対に関しては消極群に対して積極群の評価は全ロボットで上昇している．なお，両形容詞対に関しては Mann-Whitney の U 検定に
より分布に差があることも確認した（有意水準 5 ％）．
ロボット間の差に着目すると，長さ優先ロボット（ロボット L）の評価に著しい差が見て取れる．特に「派手な」「積極的な」の形容詞対に関しては Tukey の多重比較検定により有意差を確認した（有意水準 5 ％）．本
実験における全てのロボットは学習できる系列の長さに制限がある（Tmax = 8）．すなわちインタラクショ
ンルール更新に用いられる系列はユーザが報酬を与えた時点からさかのぼって最新 Tmax 個までである．一方で，消極群の被験者は報酬付与頻度が低いため報酬の間隔は長くなる．本実験の場合，消極群に属する全1 各ロボットとのインタラクションにおける 1 分間当たりの報酬
付与回数の平均値

210ての被験者において報酬付与間隔は全て Tmax を超えており，常に T = Tmax となるため式 (1) の影響が低くなると考える．逆に積極群においては報酬の間隔が短いために更新時の系列も短くなり，式 (1) の影響が大きくなると考えられる．これによりロボット L に対する群間の差が生じたのではないかと考える．
またランダムロボット（ロボット R）に着目すると，積極群においてランダムロボットは最も評価が高い．しかし消極群においては「派手な」「積極的な」の形容詞
対以外の評価が低くなっている．この群間の差は観測するインタラクションの長さの違いが影響していると考える．積極群は報酬付与頻度が高く，報酬の間隔が短い．すなわち報酬と報酬の間で行われるインタラク
ションは短く，例えランダムに動いていてもそれをランダムと認知し難いと考える．逆に消極群は観測する
インタラクションが長く，ロボット R の動きに学習している様子が見られないことを認知しやすいのではないかと考える．これは「賢い」の形容詞対におけるロ
ボット R の評価が，積極群と消極群で大きく違うことからも示唆される．
ここで着目すべきは何故積極群において提案ロボッ
ト（ロボット DL）の評価が低いのか．本来積極的に報酬を与えられた方が提案ロボットはより学習し，より良いインタラクションを行うことが出来るはずである．
その原因を本実験において実際に創発されたやりとりを例に考察していく．

5.2

やりとりの違い

ここで，各被験者群で顕著に見られたやりとりの様
子を述べる．積極群はユーザエージェントが差し出したボールをロボットエージェントが受け取ったら報酬を与える，あるいはロボットエージェントが地面に落ちているボールを拾い，ユーザエージェントに向かって差し出してきたら報酬を与えるなど，一方通行のやりとりが成立したときに報酬を与える様子が見られた．
それに比べ消極群は，積極群に比べ長い間やりとりを続け，主に双方向のやりとりが成立した時に報酬を与

賢い

人間的な

敏感な

派手な

**

3

感じの
良い

面白い

積極的な

好きな

*
*
*

*

*

自然な

*

*
**

2

複雑な

*
**
*

**
**

*

1

ロボットDL
ロボットL
ロボットD
ロボットR
ロボットM

0

-1

*:有意水準5％**:有意水準1％

-2

-3

愚かな

機械的な

鈍感な

地味な

単純な

感じの
悪い

つまら
ない

消極的な

嫌いな

違和感
のある

好きな

自然な

図 6: 積極群の感性評価実験の結果

賢い

人間的な

敏感な

*

**
*

**

3

*
*
2

派手な

複雑な
*
**
**
*

**
*

感じの
良い

面白い

*

積極的な
*
*
*
*
*
*

1

ロボットDL
ロボットL
ロボットD
ロボットR
ロボットM

0

-1

*:有意水準5％**:有意水準1％

-2

-3

愚かな

機械的な

鈍感な

地味な

単純な

感じの
悪い

つまら
ない

消極的な

嫌いな

違和感
のある

図 7: 消極群の感性評価実験の結果える様子が見られた．このように一方通行のやりとりは積極群で多く，双方向のやりとりは消極群で多くみられたことが，感性評価へ影響を与えたと考える．特に双方向のやりとりは通常一方通行のやりとりよりも成立しづらいため，成立したとき被験者がポジティブな印象を持つことが考えられる．
典型的な双方向のやりとり例を図 8 に示す．図 8 はボールをユーザエージェントが持ち，そのボールをロ
ボットエージェントが受け取り．その後ロボットエー
ジェントがユーザエージェントにボールを渡すやりとりを示している．これを「ボールの受け渡し」と呼ぶ．
このやりとりは本実験で行われた全 50 回のやりとり
中，14 回のやりとりで成立が確認された．
「ボールの受け渡し」を成立させたやりとりを行なっていた被験者
は 10 名中 6 名であり，特に被験者 F はミラーリングロ
ボット以外のロボット全てにおいてこのやりとりを成立させていた．これは被験者 F が消極群であったためと考える．なお，「ボールの受け渡し」はボールを使った

211

図 9: 「バレーボールのようなやりとり」の様子

やりとり遊びとして一般的であり比較的成立しやすい
ため，このやりとりの成立がそのまま感性評価にポジ
ティブな影響を与えている被験者は 2 名のみであった．
成立しづらい双方向のやりとり例を図 9 に示す．図9 はボールをユーザエージェントが握った状態の手で上方向に飛ばし，それをロボットエージェントが握っ6

表 3: ロボットごとの報酬付与頻度
提案ロボット
長さ優先ロボット
近さ優先ロボット
ランダムロボット
ミラーリングロボット

報酬付与頻度（全被験者平均）
1.72
1.3
1.42
1.58
0.88

本稿では先行研究 [佐久間 14a] にて行った実験に対して報酬付与頻度という新たな着眼点を基に考察，検証を行った．報酬付与頻度の高い被験者群と低い被験者群の結果を比較し，提案手法の有効性および今後検討すべき項目を明らかにした．今後は検証をさらに進め，ロボットの選択できる行動の種類を拡大した複雑なインタラクションを扱えるロボットを構築するとともに，既存の機械学習手法などとの性能比較を行なっていく．

た状態の手で弾き，ユーザエージェントが握った状態の手で受け止めるやりとりを示している．これを「バレーボールのようなやりとり」と呼ぶ．このやりとり
はボールの物理的制約を考慮した上で行われる極めて難しいインタラクションであると我々は考える．本実験で行われた全 50 回のやりとり中，成立が確認されたのは 6 回であった．この「バレーボールのようなやりとり」は被験者 C と J においてよく観測された．共に消極群の被験者である．特に被験者 C は「バレーボー
ルのようなやりとり」の成立を狙って報酬を与えていたと実験後のインタビューで答えており，実際にこのやりとりが成立したロボット D への感性評価は非常にポジティブであった．

5.3

おわりに

参考文献
[阿部 11] 阿部 香澄, 岩崎 安希子, 中村 友昭, 長井 隆行,
横山 絢美, 下斗米 貴之, 岡田 浩之, 大森 隆司：子供と遊ぶロボット:他者の状態推定に基づく行動決定モ
デルの適用, HAI シンポジウム, pp. I–2B–3 (2011)[栗山 10] 栗山 貴嗣, 國吉 康夫：応答予測と馴化・脱馴化に基づき人とやりとりルールを探索・共創するロボットモデル, 日本ロボット学会誌, Vol. 28, No. 8,
pp. 1036–1046 (2010)

まとめ

以上の結果から被験者ごとに異なる報酬付与頻度がインタラクションおよび感性評価に対して大きな影響を持っていることを確認した．
ではなぜ，被験者ごとに報酬付与頻度が大きく異なるのか．我々は被験者がインタラクション相手のロボッ
トに対して学習することを期待しているかどうかによるのではないかと考えた．我々は感性評価実験に用いたロボットごとの報酬付与頻度の違いに着目した．表3 にロボットごとの報酬付与頻度における全被験者平均を示す．表 3 より，ミラーリングロボットに対する報酬付与頻度が最も低いことが分かる．これはミラー
リングロボットに対して学習を期待していないからではないかと考える．ミラーリングロボットの「ユーザの動きを真似する」仕組みには全被験者がインタラク
ション中に気づいており，ミラーリングロボットが学習することに期待を持てなくなったと考えられる．なお，提案ロボットに対する報酬付与頻度は最も高かったため，提案ロボットに対しては学習を期待する被験者が多かったことが示唆される．
今後は報酬付与頻度を固定した上での実験なども行
い，最適な報酬付与頻度やユーザの報酬付与頻度に合わせた学習を行うロボット，あるいは表情やジェスチャー
などによってロボットの学習度合いを示すことで，ユー
ザに報酬付与を促すロボットを考案していく．

[Mitsunaga 06] Mitsunaga, N., Miyashita, T., Ishiguro, H., Kogure, K., and Hagita, N.: Robovie-IV: A
Communication Robot Interacting with People Daily
in an Office, in Intelligent Robots and Systems, 2006
IEEE/RSJ International Conference on, pp. 5066–5072(2006)[佐久間 14a] 佐久間 拓人, 加藤 昇平：All-Combinatorial
N-gram に基づく擬人化エージェントによるボールを使ったやりとり遊び, 第 175 回情報処理学会 知能シ
ステム研究会, pp. No.13 (6–pages) (2014)[佐久間 14b] 佐久間 拓人, 加藤 昇平：ユーザ評価傾向の動的獲得によるヒューマンインタラクションの創発, 電気学会論文誌, Vol. 134-C, No. 2, pp. 303–311(2014)[Tanaka 05] Tanaka, F., Fortenberry, B., Aisaka, K., andMovellan, J. R.: Developing dance interaction between
QRIO and toddlers in a classroom environment: plans
for the first steps, in Robot and Human Interactive
Communication, 2005. ROMAN 2005. IEEE International Workshop on, pp. 223–228 (2005)

212