HAI シンポジウム 2017
Human-Agent Interaction Symposium 2017

P-41

Sensoroid :人の身体性を利用した知能
Sensoroid: Artificial Intelligence Utilizing Human Physical Body
宮澤和貴 1∗
Kazuki Miyazawa1

日永田智絵 1
Chie Hieida1

堀井隆斗 1
Takato Horii1

長井隆行 1
Takayuki Nagai1

電気通信大学情報理工学研究科
Faculty of Informatics and Engineering, The University of Electro-Communications
1

1

Abstract: In recent years, wearing robots, such as powered exoskeletons, are attracting attention
in elderly people support, field of nursing care, and so on. Although these wearable robots mainly
focus on physical support, we think these robots are very useful as communication robots/interface.
This is because the robots can access very private biological signals of the user, such as EMG signals,
first person perspective images, etc. Moreover, the robots can directly share physical experienceswith the user. In this research, we propose an idea of “Sensoroid”, which is a wearable sensor
robot/interface that achieves communication with high-level private contexts sharing.

1

はじめに文化人類学者であるエドワード.T. ホールが提唱した「ハイコンテクスト文化とローコンテクスト文化」[1] という識別によれば，日本はハイコンテクスト文化であり，アメリカに代表される英語圏はローコンテクスト文化であると言われる．近代のグローバル化社会においては，単一民族のみで構成された社会という前提が崩れ，コンテクストの大幅な共有を前提としないローコンテクストなコミュニケーションが必要とされる．こ
うした流れの中で，日本はローコンテクストコミュニケーションへの転換を迫られて来たように思われる．一方でインターネットの普及により情報の全世界的な共有が急速に進み，少なくともインターネット上では非常にハイコンテクストなコミュニケーションが展開されている．これは情報の共有化がコミュニケーションの様態を進化させている一例であるが，今後このような流れが加速するであろうことは想像に難くない．つまり，日本型のコミュニケーションはこれから世界が向かう方向性を示しており，日本はコミュニケーション先進国であるとの見方ができる．しかし残念なことに，我々を取り巻く現実世界ではコミュニケーションにまつわる様々な問題が存在する．例えば，ネット世界でのハイコンテクスト化が極端に進み，フィジカルな世界でのコミュニケーションが希薄になる場合がある．
また，情報の氾濫により時間に追われた現代社会では，そもそも人と人とのつながりが希薄化する傾向にあり，情報格差や孤立を引き起こす．こうした孤立は，少子∗ 連絡先：電気通信大学情報理工学研究科〒 182-8585 東京都調布市調布ヶ丘 1-5-1
E-mail: miyazawa@apple.ee.uec.ac.jp

高齢化社会においては，高齢者の孤立というより深刻な問題に発展する．高齢者の孤立問題は，身体的なサポートを受けることができないだけでなく，心の問題，つまりは孤独に対する心的ストレスが様々な問題を引き起こす．心の問題は，生きるためのモチベーションにつながるため，非常に重要である．
本研究では，こうした孤立にまつわる問題の解決を将来的な目標としたパートナーロボットの開発を目指す．コミュニケーションの様々な問題解決には，他者とのコミュニケーションが必要であり，これに対する最も単純な方策は，「親友を作る」ことであると考える．
様々な物理的要因で人間の友達を作ることが難しければ，ロボットがこれに代わるべきであり，これが知的な癒しとなると同時に，この友達を媒介して新たなコミュニケーションを生むことができれば，社会とのつながりを取り戻すことができる可能性がある．
先に述べた社会的な流れの中で現状のパートナーロ
ボットとユーザのコミュニケーションを考えると，ロボットは依然としてローコンテクストであり，十分に目的を果たすことができるレベルにないように思われる．またハイコンテクスト化の流れの中では，個々の差異が浮き彫りとなり，細分化・多様化が加速するであろう．ロボットはビッグデータの援用によるコンテクストアウェアな存在であると同時に，高度に個人に適応しなければならない．パートナーロボットがハイコンテクストで個人へ適応することで，高齢者の孤立や情報格差など様々な社会的問題の解決の一助となるべきであると考える．つまり本研究のねらいは，私的かつ高いレベルで文脈を共有したコミュニケーションを創出するインタフェースとしてのパートナーロボッ

トの実現である．ここで目指すコミュニケーションの形態を，パーソナライズド・ハイコンテクストコミュニケーションと呼ぶ．
本稿では以下，パーソナライズド・ハイコンテクス
トコミュニケーションを実現するためのハードウェアと知能の統合モデルについて議論する．

2

Sensoroid の構想

本研究で提案する，パーソナライズド・ハイコンテ
クストコミュニケーションの全体像を図 1 に示す．ここでの重要な側面は，ユーザーに常に寄り添い，ユーザーにまつわる多種多様でリアルなデータを取得することで，認知発達・高齢化の知見をサポートするデータ解析に役立てると共に，新たな知を創出しそれらを集約することである．友達をどう作るのか，心が通うとはどのようなことなのか，そうした問いに対して計算モデルを構築し，実際のデータを用いた検証を行いたいと考えている．従来の世界に存在しないそのような私的な存在が，どのようなコミュニケーションにつながるのかを検証することも本研究の目標である．
こうした目標を実現するために，ウェアラブルなセンサの塊である Sensoroid を実装し，知能モデルと接続することを考える．Sensoroid は，ユーザの身体的な情報である姿勢や，生体情報である筋電や心電などを取得する．さらに，カメラによる一人称視点映像やマイクによる音声信号を取得することで，ユーザの経験する物理的な情報を共有する．こうして取得したマル
チモーダル情報は，マルチモーダルカテゴリゼーションを基盤とする統合知能モデル [2] によって構造化される（図 2)．これは，知能ロボットの身体部分を人間に置き換えたものであると捉えることができる．つまり，実ロボットにおいては難しい行動を人間が行うことで，ロボットという物理的な制約を取り除き，身体と知能の関わりを深く探求する研究ツールになり得ることを意味している．
最終的には，こうしてユーザの経験を共有することで学習されたモデルを利用して，ユーザをサポートしたり，知能のメカニズム解明に役立てることが本研究の目的であるが，本稿ではその第一段階として Sensoroidの構成について議論する．

3ハードウェア

ここでは，Sensoroid を実現するためのハードウェア（センサ）について述べる．最低限の機能を実現するために，カメラ，マイク，慣性センサ，筋電センサ，触覚センサを用いる．

3.1

カメラ

Sensoroid のハードウェアとしてはまず，一人称視点を取得するためのカメラが必要である．近年は小型のカメラや，眼鏡に組み込まれたカメラなど様々な選択肢がある．本研究では，視線も推定できる Tobii グラスを用いることを想定している．

3.2

慣性センサ

近年では，無線で非常に小型の慣性センサが開発されており，これを用いることでユーザの装着に対する負荷を軽減したモーションキャプチャを実現することができる．モーションキャプチャによってリアルタイムに姿勢を計測できるため，この情報を体性感覚の信号として知能モデルに入力することが可能となる．

3.3

筋電センサ

筋電センサについても，小型で無線化されたものを利用して，リアルタイムに腕や足の筋電信号を取得する．この情報も知能モデルに入力されるが，これは，身体を動かす際のモーターコマンドであるとみなすことができる．

3.4

触覚センサグローブ

触覚は物体や環境の識別のみならず人と人の親密なコミュニケーションにおいても様々な情報を伝達する重要な感覚器である．触覚センサグローブを用いて Sensoroid の触覚信号を計測し，物理的環境との相互作用情報として知能モデルへ入力する．触覚センサグロー
ブには皮膚の柔軟性を模した磁気式柔軟触覚センサ (図3) を利用することで, 人と同等の触覚情報の取得を目指す．

4

知能の統合モデル

我々が提案している，知能の統合モデルについて説明する (図 4)．このモデルは様々なセンサー情報を多層マルチモーダル LDA(mMLDA)[4] を用いて統合することを中心に成り立っている．まず，ロボットは様々なセンサーの情報を取得する．その情報を，mMLDAを用いて統合し概念を形成する．この概念を mMLDAの上位に位置するモジュール群が利用する．これらのモジュール群は，言語を扱う HSMM，モデルフリーの行動決定を行う Direct Policy Search，行動計画を行う HSMM である．言語について説明すると，単語情報は、mMLDA を通じて実世界の情報に基づいている．

ᾕ̵ᾁᾎᾭὨ὾ᾍậᾓὨίᾷᾊέώᾌ
ίᾣᾩᾏή̵ύᾫᾷ㻿㼑㼚㼟㼛㼞㼛㼕㼐㼛㼕㼐㻔䜴䜵䜰䝷䝤䝹䝟䞊䝖䝘䞊䝻䝪䝑䝖䝖㻕䝻䝪䝑䝖㻕ᾕ̵ᾁᾎᾭὨ὾ᾍậᾓὨίᾷᾊέώᾌίᾣᾩᾏή̵ύᾫᾷ୍⯡ⓗ䛺Face-to-Face䝁䝭䝳䝙䜿䞊䝅䝵䞁䝴䞊䝄䞊䝴䝄䠝㻿㼑㼚㼟㼛㼞㼛㼕㼐㻿㼑㻔䜴䜵䜰䝷䝤䝹䝟䞊䝖䝘䞊䝻䝪䝻䝪䝑䝖㻕䝻䝪䝑䝖㻕䝴䞊䝄
䝴䞊䝄䞊
䝄䞊䠞

ඹ᭷እ㒊⎔ቃඹ᭷

ᾓὨίᾷᾊέώᾌίᾣᾩᾏή̵ύᾫᾷ䝕䞊䝍䛾ὶ䜜䝁䝭䝳䝙䜿䞊䝅䝵䞁䝴䞊䝄䝬䝹䝏䝰䞊䝎䝹䞊䝎䝹䝹䜹䝔䝂䝸䝊䞊䝅䝵䞁䜹䝔䝂䜹䝂 䝸䝊䝊䞊䝅䝵䝵䞁ண䝬䝹䝏䝰䞊䝎䝹ධຊ䞊䝎䝹ධຊ௚⪅䝰䝕䝹䝁䝭䝳䝙䜿䞊䝅䝵䞁䝰䝕䝹䝹

山路を登りながら┦஫㐺ᛂ⾜ືண༠ㄪᩥἲᴫᛕ䞉ゝㄒLanguage area

HSMM⾜ື䞉ᩥ❶⾜ືື 䞉ᩥᩥ❶ᩥ❶

Corpus striatum

DirectPolicySearch

Model-based PlanningᏛ⩦⎔ቃᏛ⩦

Basal ganglia䝡䝑䜾䝕䞊䝍⤒㦂䛻䜘䜛䝕䞊䝍䝻䝪䝑䝖䠖䝻䝪 䝑䝖䠖䠖䛭䜜䛔䛔䛽䟿䜜䛔䛔䛽䟿

Language Learning

䝴―䝄:䛣䜜䛹䛖
䛛䛺䠛

Reinforcement Learning

図 1: Sensoroid のアイディア.
Robot
Prefrontal cortex

HSMMmMLDA

ᩥ❶⏕ᡂ
ᩥ❶⏕
⏕ᡂ

MFCC

図 2: Sensoroid の詳細.

GP-HSMM(motion)

RewardAudio area

Motor area

Limbic system

Microphone

Motors

ReflexCNN

Mel-Frequency
Cepstrum
Coefficients

Visual areaCamera

Subsumption
Architecture

Environment

図 4: 知能の統合モデル.

図 3: 触覚センサグローブに用いる柔軟触覚センサ [3]を改変.
この単語情報に HSMM で表現された構文情報を適用することにより、提案されたモデルは文章を生成することができる。また、文章を分解して実世界の情報を予測することで、ロボットは文章の意味を理解することができる．一方行動に関して説明すると，強化学習は，mMLDA が形成した概念を状態空間として扱い，行動を決定する．行動計画は，HSMM に表現される行動と状態の時系列情報からビタビアルゴリズムなどを用いることで長期的な行動を決定することができる．さらに，行動を出力するモデルを結合することで，多種多様な行動を可能にする．これは，行動の出力を，サブサンプションアーキテクチャを通して結合することで実現する．このモデルでは，反射行動から，プランニングに基づいた行動までを考慮して行動する．また，実際の動作自体は，GP-HSMM[5] によって学習する．

5むすび

本稿では，パーソナライズド・ハイコンテクストコ
ミュニケーションを実現する “Sensoroid” のアイディアを提案し，そのハードウェアと知能の統合モデルについて述べた．現状，各センサを装着し，実際のデータ取得を行っている段階である．図 5 は，実際に Sensoroidを装着して，自身を鏡で見ている一人称視点映像の例である．カラーによって示されているのは，人の身体パーツを検出した際の候補点であり，それら候補点が同期して動くことで，Sensoroid は鏡の身体を自己の身体として認知できる可能性がある．今後，各センサによって取得されるマルチモーダルデータを統合モデルで構造化する実験を行い，そのモデルの振る舞いの観察や内部の解析を行いたいと考えている．

図 5: Sensoroid を装着して鏡を見ているシーン．図中の色がついている部分は，身体パーツ検出による候補点を示している．

謝辞
本研究は，JST CREST(JPMJCR15E3) および，新学術領域「認知的インタラクションデザイン学」(26118001) の支援を受け実施したものである．

参考文献[1] Edward T. Hall, ”Beyond Culture”, Anchorbooks (1976)[2] Miyazawa, K., Aoki, T., Hieida, C., Iwata, K.,
Nakamura, T., Nagai, T., ”Integration of Multimodal Categorization and Reinforcement Learning for Robot Decision-Making”, IROS2017:
Workshop on Machine Learning Methods forHigh-Level Cognitive Capabilities in Robotics(2017)[3] Kawasetsu, T., Horii, T., Ishiara, H., Asada, M.,
Size dependency in spatial response property ofelastomeric tactile sensor laminated on inductor
coil . In Proceedings of the IEEE Sensors Conference (2017)[4] M.Fadlil, K.Ikeda, K.Abe, T.Nakamura, andT.Nagai, “Integrated Concept of Objects andHuman Motions Based on Multi-layered Multimodal LDA,” IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pp. 2256–2263 (2013)[5] T.Nakamura, K.Iwata, T.Nagai, D.Mochihashi,
I.Kobayashi, A.Hideki, and M.Kaneko, “Continuous Motion Segmentation Based on Reference
Point Dependent GP-HSMM,” IROS 2016 Workshop on Machine Learning Methods for HighLevel Cognitive Capabilities in Robotics (2016)