立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (A) ］

高齢者の興味を引くコミュニケーションロボットの開発
Development of a communication robot that attracts elderly people
2221008

研究代表者

香川高等専門学校
電子システム工学科

講 師大西章也

ボットセラピーの実現が期待できる。これまで[研 究 の 目 的]

コミュニケーションロボットに強化学習が用い我が国では今日，超高齢社会を迎え，医療やられた事例はある[7] が，強化学習を導入する介護の負担が増大し，より多くの人手が必要とことにより興味がどのように変化するかは知らなった[1]。また 2019 年国民生活基礎調査によれていない。そこで本研究ではロボットが相手ると，65 歳以上の者がいる世帯のうち，28.8%の興味をどのように学ぶかを技術的課題としてが単独世帯であった。このような背景から独居設定した。

老人の孤独感[2] やコミュニケーション不足

本研究ではコミュニケーションロボットに強[3] による影響が危惧される。これまで高齢者化学習を実装し，それが興味に与える影響を明のためのコミュニケーションロボットが提案さらかにすることを目的とした。本研究では図 1

れており[4]，それらは独居老人の孤独感やコのようにロボットが被験者の興味を引く行動，ミュニケーション不足の改善に貢献すると期待例えば手を振る，踊る，しゃべるなどの行動をできる。

取る。その行動を受けた被験者の反応をロボッ

アザラシ型メンタルコミットロボットのパロト搭載のセンサで読み取り，被験者の状態を判[5] は高齢者向けコミュニケーションロボット別する。このような手続きから被験者の状態がの代表例である。パロはアクチュエータ (まぶよりポジティブになるような行動を取るよう強た，首，前足，後ろ足)，光センサ，マイクロ化学習により学習する。実験 (1) では強化学

フォン，ひげ触覚センサ，スピーカ，姿勢セン

習がコミュニケーションロボットの興味に与え

サ，温 度 セ ン サ，ユ ビ キ タ ス 面 触 覚 セ ン サ，る影響を明らかにするため，強化学習を用いる

CPU から成る。パロは自発的な行動や，セン場合と，強化学習の代わりにランダムに行動をサが反応した場合の行動が割り当てられている。

選択する場合とを比較する。また，従来の強化さらにパロには学習機能が備わっている。例えば撫でられた行動が出やすくなるように学習するような強化学習や，新しい名前を学習するなどの機能を有する。これらにより一般家庭や医療福祉施設でのロボットセラピーを実現し，不安，うつ，痛み，孤独感，睡眠の改善効果が見られた[6]。
強化学習を用いればパロのような高度なロ― 1 ―図1

コミュニケーションロボットを用いた実験の概要

立石科学技術振興財団

学習はコミュニケーションロボット専用に提案

対照実験には行動をランダムに選択した場合さ れ た も の で は な い た め，実 験 (2) で は コを用意した。用意する試作機やメッセージ自体

ミュニケーションロボットに適した強化学習アも結果に影響するため，それらと区別してアルルゴリズムを開発し，その効果を明らかにするゴリズムの効果を明らかにするためには対照実ことを目的とする。

験が必要である。Q 学習とランダムのそれぞれを用いた場合を比較すれば，ランダムに行動を選択した場合を基準として Q 学習を用いた[研究の内容，成果]

場合にどの程度影響を及ぼすかを明らかにする(1) 強化学習がコミュニケーションロボットのことができる。順序効果を避けるため逆順での実験も交えた。さらにアンケート調査 (VAS)

興味に与える影響[8]
本研究ではまず，強化学習がコミュニケーによりそれぞれの場合の興味を 100 (とても興ションロボットの興味にどのように影響をす味が沸いた) から −100 (全く興味が沸かなるかを調べた。その影響を調べるにあたりコかった) で回答してもらい，t 検定を行った。

ミュニケーションロボットの試作機 (以下，試被験者は健常者 6 名であった。

作機) を開発した。試作機は Raspberry Pi 3

その結果を図 2 に示す。試作したシステム

Model B+，ポータブルディスプレイ，PC，イに対する興味は Q 学習を用いた場合に 69.6%

ヤホン，押しボタンスイッチ (好き，嫌い) かと な り，ラ ン ダ ム に 行 動 を 選 択 し た 場 合ら成る。試作機は事前に用意されたメッセージ(22.8%) と比べて有意に高いことが分かったの中から一つを自動的に選び，それを被験者に(p<0.05)。したがって，ランダムにメッセー対してイヤホンおよびディスプレイから提示すジを提示する場合に比べ，Q 学習を用いた場る。ユーザはそれを受け，「好き」または「嫌合のほうが 46.8% だけシステムに対する興味い」をボタン押しにより反応する。試作機はそが高くなることが分かった。本実験結果はまた，の反応をもとに今回提示したメッセージを出や単にメッセージ自体がシステムによる興味を引すくするべきかを計算する。その結果は次回，いたわけではなく，強化学習を用いたことがよメッセージを自動的に選ぶ際の参考とするためり高い興味を引く一因となったことを示唆する。に用いる。ここで強化学習の用語を用いると，試作機がメッセージを提示することを「行動」，ユーザの心理をセンサから推定し，カテゴリ化したものを「状態」，メッセージを選ぶ際の参考となるような計算結果を「価値」と呼ぶ。今回は強化学習に Q 学習を使用した。また，行動の選択には ε-greedy 法を用いた。
本実験では 15 種類の行動を用意した。また「好き」ボタンを押すと強化学習における「報酬」が得られ，行動に対する価値が上がるように更新される。逆に「嫌い」ボタンを押すかどちらのボタンも押されなかった場合は「罰」が与えられ，行動に対する価値を下げるように更新される。状態は 2 つのボタンの組み合わせ分

図 2 Q 学習により行動選択するシステムのほうがより興味を引くだけ用意した。
― 2 ―Tateisi Science and Technology Foundation(2) コミュニケーションロボットに適した強化た。
本実験では FRAC-Q 学習と従来の Q 学習を学習アルゴリズムの開発
Q 学習のような強化学習は一般に各行動に用いた場合の実験をそれぞれ行い，実験後にア対して価値を決め，状態に最も適した行動をとンケート調査を行った。本実験では健常な被験るよう学習する。しかし，行動の種類が増える

者 6 名に対して実験を行った。実験は順序効果と未知のパラメータが増えるため，学習に時間を避けるため，被験者ごとに実験順序を入れ替を要するといった問題があった。また，学習後，えながら実験を行った。アンケートは興味につ各状態に対して取りうる行動が限られ，飽きやいて 7 段階，飽きにくさについて 7 段階で回答すくなるといった問題があった。

してもらった。本システムに対する興味と飽きそうした問題に対処するため，行動をカテゴリ化し，連続で同じカテゴリが出現しにくくし，にくさのアンケート結果についてそれぞれWelch の t 検定を行った。

一定期間報酬や罰が得られなかった場合に価値学実に対する興味についてのアンケート結果をリセットする FRAC-Q 学習を提案した。本を図 4 に示す。興味については FRAC-Q 学習

アルゴリズムを用いることにより Q 学習よりと Q 学習それぞれを用いた場合，両者の間にも飽きにくくする効果が期待できる。

有意傾向がみられた (p=0.09)。今回提案した

本実験では図 3 に示す人型ぬいぐるみコミュ

FRAC-Q 学習は Q 学習を発展させたアルゴリ

ニケーションロボット「学実 (まなみ)」を開ズムであるため両者が興味に及ぼす影響に大差発した。学実には Raspberry Pi 3 Model B+，がなかったのではないかと考える。

カメラ，超音波距離センサ，スピーカ，マイク，また，学実に対する飽きにくさについてのアサーボモーター 2 個，モバイルバッテリが搭載

ンケート結果を図 5 に示す。FRAC-Q 学習をされている。学実は用意された合成音声を再生用いた場合，Q 学習を用いた場合に比べて有して話しかけることや，腕を上下に動かすなど意に飽きにくいことが分かった (p<0.01)。この行動が可能である。また，搭載のカメラかられより，FRAC-Q 学習を用いると Q 学習より表情を読み取ったり，マイクより長さを読みも飽きにくさが増すことが分かった。これより，取ったり，距離センサでユーザとの距離を読みコミュニケーションロボットに用いる学習アル取ることが可能で，それら情報を統合してユーゴリズムは Q 学習よりも FRAC-Q 学習のほうザの状態を 4 段階 (とてもポジティブ，ポジが適していると考える。

ティブ，中立，ネガティブ) に分類した。始動や状態のモニタリングなどに制御用 PC を用い

図3

コミュニケーションロボット「学実」(左) とそれを遠隔制御する PC (右)

― 3 ―

図4

コミュニケーションロボット学実に対する興味

立石科学技術振興財団

強化学習手法として，行動のカテゴリ化や学習結果のリセットを有する FRAC-Q 学習を提案した。提案手法を用いると，通常の Q 学習よりも飽きにくいロボットを作成することができた。このことから，コミュニケーションロボットの用途に適していると考える。
本実験ではロボットから人間に働きかける形式のみに着目してコミュニケーションロボットを開発したが，今後は人間からロボットに働きかけた場合に優先して処理をするアルゴリズムの実装が必要と考える。また，本実験で用いたロボットは言語処理等を実装しておらず，意味
図 5 コミュニケーションロボット学実に対する飽きにくさを理解したうえでの反応を示していない。しかFRAC-Q 学 習 を 用 い る と な ぜ 飽 き に く く

し，意味を理解し，反応をするロボットを開発なったのであろうか。コミュニケーションロするとより興味を引くことが可能と考える。容

ボットに行動が多く実装された場合，Q 値は姿や触感，仮想現実でのロボット実装など，外行動数×状態数であるためパラメータが増え，観についても議論の余地がある。今回はコミュ学習に時間がかかることが挙げられる。また，ニケーションロボット「学実」を開発したが，ある行動のみが先に学習してしまい，同じ行動その容姿が与える影響については検討されていが選ばれやすくなり，飽きやすいと考える。一ない。今後はコミュニケーションロボットに適方で FRAC-Q 学習は行動をカテゴリ化していしたロボットの外観についても検討の余地があるため，パラメータの数は行動カテゴリ数×状る。

態数であり，パラメータが Q 学習より少ないといった特徴がある。また，ポジティブな反応が得られる行動カテゴリから行動を選ぶため，被験者から肯定的な反応が得られやすいのでは[参考文献][1]

大島伸一，「超高齢社会における医療・介護」，医療と社会，2015，25.1: 49-57．
[ 2 ] 桂敏樹，星野明子，渡部由美，「独居老人の孤独ないかと考える。

感を軽減する要因」，日本農村医学会雑誌，1998，
47.1: 11-15．

[今後の研究の方向，課題][ 3 ] 鈴木慎太郎ら，「ICT を活用した高齢者コミュニケーションに関する研究」，第 77 回全国大会講演

本研究では独居老人用コミュニケーションロ
ボットに強化学習を導入すれば，より興味を引

論文集，2015，2015.1: 743-744．
[4]

本田幸夫，
「介護ロボット」，日本ロボット学会

誌，2020，38.2: 159-161．

くことが可能であるかどうかを調べた。強化学[ 5 ] 柴田崇徳．メンタルコミットロボット・パロと習による効果を明らかにするため，コミュニロボット・セラピーの展開．日本ロボット学会誌，

ケーションロボットに強化学習を用いた場合と，ランダムで行動選択する場合とを比較した。その結果，コミュニケーションロボットに強化学習を用いた場合のほうがランダムの場合と比べて有意に高い興味を示すことが明らかとなった。
また，コミュニケーションロボットに適した― 4 ―2006，24.3: 319-322．
[6]柴田崇徳．メンタルコミットロボット「パロ」の開発と普及：認知症等の非薬物療法のイノベーション．情報管理，2017，60.4: 217-228．
[ 7 ] Akalin, Neziha, and Amy Loutfi. “Reinforcement
learning approaches in social robotics.” Sensors 21.4
(2021): 1292.

Tateisi Science and Technology Foundation[成果の発表，論文など][ 8 ] 石川諒，大西章也，「興味を引くメッセージをQ 学習により学習する装置の開発」，第 28 回高専シンポジウム，2023 年 1 月 28 日．(口頭発表)― 5 ―