立石科学技術振興財団

助成研究成果集(第29号) 2020

[ 研究助成 (A) ]非言語コミュニケーションに基づく孤立した高齢者を支援する知能ロボットの開発
Development of intelligent robots to prevent isolation of elderly
2191030

研究代表者

東京農工大学大学院

工学研究科

教

授

Venture Gentiane

ころに独創性がある。本研究の主な成果として，[研 究 の 目 的]

社会的・感情的な孤立に苦しんでいる，又はそ本研究は，日本だけでなく，世界的に大きなの可能性のある高齢者 (全身動作と感情との)社会問題となっている高齢者の社会的・感情的の非言語コミュニケーションを測定・解析・定な孤立を支援するための知能ロボットを提案す

量化することにより，知能ロボットを支援及びることを目的としている。高齢者が孤立するとリハビリのために使用できたり，孤立の評価及他の人とコミュニケーションをとりにくくなる。

び診断における支援のために，医者に頼ること

現在，多くの知能ロボットが開発されているが，なく使用できたりすることが期待される。

それらは，人間の全身動作と感情の関係を取りこの研究が成功すれば，孤立した高齢者の非上げたものではない。非言語コミュニケーショ

言語コミュニケーションの理解を促進する多く

ンは全体のコミュニケーションの 9 割を占め，の手段を提供することになる。また，この研究

そのため本研究では，具体的に非言語コミュニは，孤立を防止するために役立つだけでなく，ケーション，つまり人間の全身動作を測定・解解析と定量化のための基準を提供することに析することによって新たな“運動と感情の文よって非言語コミュニケーションをよりよく理法”を見出し，それをデータベース化し，知能解するためにも役立つ。さらには，HRI (人間ロボットに組み込むことによって，そのロボッとロボットとの相互作用) 及び社会心理学におトが高齢者の感情を理解し，高齢者を社会的・けるブレークスルーも期待できる。
本研究を成功させるための課題を 3 つあげま

感情的な孤立に陥らないよう支援するシステム

す。

を提案する。

課題①-1 高齢者の動作データの収集：心理学とデザイン学に基づくアンケートを用いて，[研究の内容，成果]

12 人の高齢者 (65 歳以上) を対象に実地調査
ロボット工学に基づいているが，実際の社会し，ニーズを評価した。低価格の可搬型モー的ニーズに応えるシステムを設計するために心ションキャプチャ(床反力など)を用いて，人の理学とデザインまた人工知能の側面を要素としデータベースを作成するために数日間に渡ってて考慮しているところに特徴がある。さらに，動作データを収集する。このデータベースは，知能ロボットによる人間との非言語コミュニ

課題②で開発する非言語コミュニケーションモ

ケーションの理解に取り組むこの研究が高齢者

ジュールのパラメータを決定するときの参照の動作及び感情の両方の側面を考慮しているとデータとして使用した。またインタビューを― 1 ―立石科学技術振興財団

助成研究成果集(第29号) 2020

び (b) 支援をするための知能ロボットを開発
す る。使 用 す る 人 間 型 ロ ボ ッ ト の プ ラ ッ ト
フォームは，開発したロボットとする。新たに感性制御器を開発した。ヒトの姿勢，動きや顔(個人) 及び感情 (顔の表情) 深層学習を使用したアルゴリズムを開発して，ロボットの感性的な動きを生成できることである (図 2)。そこでは心理学モデル PAD を使う。認識感情的な側面に関して作動するシステムの受入れ (受図1

インタビューの時のマテリアル容) には，特別の注意が必要になる。受入れ行って，その 12 人のロボットに対しての印象，(受容) は，孤立による生活の質の低下を防止

理想的なロボットがあればその使用に対してなする鍵となる。

ど，様々な項目で調査を行った (図 1)。
課題①-2

上記と同じモーションキャプチャを使って，運動能力としてリハビリ用の体操及び簡単な体操をさせた場合のフィールドデータを収集する。データは，申請者の開発した全身動作を解析するアルゴリズムに使用する重要な相関性と特徴とを見出すために人間の力学モデルを使って解析する。
課題②-1

非言語コミュニケーション (動作) モジュールの開発：既に開発した“運動の文法”を，知能ロボット用にエンコードし，か図2

つ開発するモジュール用にパラメータ化して，Adversarial Auto Encoder を用いて簡単な体操運動の分析

教師あり学習・確認するために課題①-1 と課

課題③-1 モジュールのパーソナル化：個人

題①-2 から得られたデータベースを使用した。の動作のデータベースは，個々の好み・支援用また，人間の動作解析のための低価格モーショに記録する。このデータベース (ここでは，実ンキャプチャをロボット用に新たに開発した。

際の動作データだけを含み，プライバシーを侵今まで使用していた固定式のモーションキャプ害しない) は，運動能力や社会的能力を十分にチャシステムとの違いは，ロボットが動くこと訓練しリハビリするために使用する。今のとこである。また反力センサーも使用する。座布団， ろ，リハビリとは，ロボットの指示に従って簡椅子などに取り付けるセンサーである。そのた単な体操や瞑想をすることである。
課題③-2

め人間の動作だけを得るためにロボットの動きモニタリングモジュールの開発：を取り除いて測定した。さらに，顔の表情など上記の小課題を全て達成したあと，高齢者の自を認識できるシステムも開発した。今回，使っ宅にロボットを設置し，60 時間生活をともにた手法の中の一つは Adversarial Auto Encoder

してもらった (図 3)。このロボットは，パラという機械学習手法である。

メータを検証し，調整するために，高齢者個人非言語コミュニケーション (感の住宅 6 軒程度に設置した。また高齢者が考え情) モ ジ ュ ー ル の 開 発：課 題 ② -1 の 結 果 をる理想的なロボットと実際のロボットの差がか使って，社会的・感情的高齢者の (a) 理解及なりあったため，再度高齢者にロボットに関し

課題②-2

― 2 ―

立石科学技術振興財団助成研究成果集(第29号) 2020

[今後の研究の方向，課題]
今回の研究で分かってきたことが主に 3 つありました：
図3

カメラからの顔認識，感情認識，ロボットの感性的動作生成

1．ロボット知能の機能は上達しており実世界において使用できるレベルとなった。
2．現在，市販されているロボットは家庭用には妥当ではない。特に高齢者が期待しているものと現在のロボットは異なる。また多くのロボットは大きすぎて邪魔であり，機能が少なすぎて不要である。
3．カメラベースのモーションキャプチャーは家庭で使用しにくく，スマートウォッチ及び反力センサーのほうが，高齢者は導入しやすい。しかし，それらは顔の表情は読み取るこ

図4

現場での 60 時間の実験風景例とができない。
この三つの点から今後の研究方向や課題は以下のように考えられる：
1．プライバシー侵害の心配のないセンサーとして，座布団や椅子に付ける反力センサー(IoT) を開発する必要がある。その研究はすでに進んでいる。
高齢者が気に入る (受入れ可能な) ロボットを開発する必要がある。
2．調査結果で得られた理想的なロボットの見た目，機能，及びサイズを考慮しながら新たなロボットをデザインをすることが大事である。
3．ユーザーのニーズに合わせることが使用の成功と考えられる。その研究に関して，新たなプロジェクトを立ち上げ進んでいきたいと

図5思う。高齢者の健康状態を理解するために現場のインタビューの風景

Adversarial Auto Encoder という機械学習手法を使用した。データの分析のために使うだてのインタビューを行った (図 4)。
開発した知能機能は市販されているロボット

けでなく，健康状態の診断のために使うことに導入しており，いい評価を受けているが，実ができる。それにより将来的には高齢者の家際のロボット本体 (外観・サイズ) は多くの家族や医師は簡単にデータを読む事が出来，高庭にそぐわないので，高齢者が使いやすいロ

齢者の健康状態を観察できることが期待されボットを開発することが必要だと分かった。

る。現在では，簡単な体操の時の運動を視覚化し (図 6)，過去の動きと比較した診断ツー― 3 ―立石科学技術振興財団

助成研究成果集(第29号) 2020

Human-Robot Interaction using NEP and ROS, aPlatform-Independent, Accessible and Distributed
Approach, Sensors, Vol. 20, No. 5, 1500, 2020. 1500 ;doi : 10.3390/s20051500[ 6 ] T. Izui, G. Venture : Predictive models of robot
userʼs impression : A study on visual medium andmechanical noise, Int. J. of Social Robotics, 2019.
10.1007/s12369-019-00601-3[7]
図6D. Deuff, I. Milleville, I. Ocnarescu, G. Venture :Concevoir un objet à comportements pour les foyers

動きの状態の視覚化

de jeunes retraités, Drôles dʼobjets - Un nouvel art
de faire, La Rochelle, France, April 7-9, 2020.

ルとして使えることが期待できる。

[8]

D. Deuff, I. Milleville, I. Ocnarescu, G. Venture :Un robot dans les foyers ― Deux jours avec Pepper,
Drôles dʼobjets ― Un nouvel art de faire, La[成果の発表，論文等][1]

L. Rincon, E. Coronado, C. Law, G. Venture :Adaptive cognitive robot using dynamic perception
with fast deep-learning and adaptive on-line predictive control, Proc. of the World Congress ofIFToMM, pp. 2429 - 2438, Krakow, Poland, 1st-4th
July 2019.
[2]

Carreno, T. Harada, J. Lin, D. Kulic, G. Venture :Analysis of Affective Human Motion : an Inverse
Optimal Control Approach, Proc. IEEE-RAS Int.
Conf. on Humanoid Robots, pp. 485 - 492, Toronto,Canada, October 15 - 17, 2019.
[3]

T. Yokoyama, V. Hernandez, L. Rincon, G.

Venture : Control of a Telepresence Robot Using
Force data, Proc. Of the IFAC world congress,Berlin, Germany, 12-17 July 2020.
[4]

E. Coronado, L. Rincon, G. Venture : Connecting

MATLAB/Octave to perceptual, cognitive and control components for the development of intelligent
robotic systems, ROMANSY, Sapporo, Japan, 20 - 24
September, 2020.
[5]

E. Coronado, G. Venture : Towards IoT-aided― 4 ―Rochelle, France, April 7-9, 2020.
[ 9 ] S. Yamaguchi, L. Rincon, G. Venture : Development of expressive intelligence during collaborative
tasks with humans, 25 回日本 IFToMM 会議シンポ
ジウム，pp. 31 - 38, Tokyo, Japan, 2019.
[10]

L. Rincon, F. Fillol, E. Coronado, Y. Shi, Y. Chen,

M. -L. Bourguet, G. Venture : Adaptive Optimal Predictive Control System For Cognitive Manipulator
Robots Based On Human Engagement/Intention
And Deep Dynamic Perception, 25 回日本 IFToMM
会議シンポジウム，pp. 23 - 30, Tokyo, Japan, 2019.
[11] G. Venture : “How to conduct HRI experiments
in unstructured environments”, Humanoids 2019
Workshop on Challenges and solutions for humanoid
robot

interaction

andcollaboration,

Toronto,Canada, 15th, October, 2019.
[12] G. Venture : “How to do HRI in the wild? What
we have what we miss”, Jagiellonian University,
Krakow, Poland, 1st July, 2019.