関節トルク情報をコミュニケーションに基づいて推定するロボット
稲邑哲也(国立情報学研究所/総研大)奥野敬丞(総研大)
提案手法

解決すべき問題

何がしたい？

ロボットが不特定多数のユーザーモデルを予め準備するのは現実的ではない。

ユーザーの関節の負荷を推定して、アシスト動作の判断材料にしたい！

結果[1]自己の経験に基づいて、他者のトルクを推定する。
[本来]自己と他者で身体が異なる時[2]自己の経験を基にシミュレーションで他者の経験を推定する。
[3]推定した他者の経験を用いて、ターゲットとなる運動に対応する他者の感覚を想起/推定する。
[4]身体の差異に起因する推定誤差はコミュニケーションを通して修正

Yes, please

May I help you?

数回の会話の後、データーベースに無い未知の動作に対しても、自己(ロボット)は他者(ユーザー)の動作実行時の関節トルクの推定に１０％の誤差で成功。

ミメシスモデルによる他者の感覚運動情報の推定
Mimesis Model?

[1]自己の経験(運動感覚情報のデータベース)を用いて、観察した他者の動作から他者のトルク情報を想起。

association

他者の運動● Using HMM, sensorimotor patterns are abstracted, called λ.
● Distances among λs are calculated using Hellinger Distance(HLD).
● Create a phase space based on the Hellinger distance and M.D.S.

他者の推定トルク

Self experience= {運動＋トルク }λ 3 HLD

HLDiaijj

λ1

λ2

HLD

M.D.Sbi (o)O = {o1 o 2  oΜ }1)データベースに無い未知動作の認識や生成も可能

WHY Mimesis? 2)部分から全体の運動感覚情報を想起可能(運動情報からトルク情報を想起可能)

3)運動感覚情報のシンボル化が可能[前提条件]：自己と他者が同一の身体構造を有すると仮定

Parameter of HMM λ = {aij , bi (o)}aij ：state transition probabilitiesbi (o) ：output probabilities

proto-symbol space

動作付き質問による、異なる身体を通じた経験に起因する推定誤差の修正[本来][自己と他者で身体構造が異なる時]: 自己の経験を使った他者のトルクの推定は適切でない。
他者の真のトルクas s ociation

他者の運動

Other’s experience= {運動＋トルク }＝他者の推定トルクHow in detail
1[2]自己の経験を基にシミュレーションで、他者の経験を推定する。

simulation

Self experience= {運動＋トルク }^Pother

Executesharedmotion

Robot1(SELF)

2

^
D

other

=~

Simulated
Other’s experience

3

Other’s experience= {運動＋トルク }S^

Fsymbolize^gotherother

6

^S’5

4kk /kother

Robot2(OTHER)

M

selfkother4Fsymbolize
gotherassociation

他者の運動

他者の=推定トルク ~Simulated
Other’s experience

Sother

self

Fig.2

other

[3]推定した他者の経験を用いて、観察した他者の動作から他者のトルク情報を想起する。

Motion1.自己の経験(関節角度＋トルク)に基づいて他者のミメシスモデルを構築
2.自己と他者で動作を共有する。
3.自己は他者のミメシスモデルを用いて関節トルクを動作から推定
4.両者は、動作実行時に観測する関節トルク値を言語化して交換する
5.言語化された両者のトルク値の関係に応じて自己は推定トルク値を修正
6.修正されたトルク値を用いてデータベースを更新(1.更新された経験データベースに基づいてミメシスモデルを再構築)
1-6を１会話として、会話を繰り返す（Fig.2）

他者の真のトルク[4]身体の差異に起因する誤差は、コミュニケーションと通して推定した他者の経験を修正して対応。
他者の
真のトルク

動作付き質問を通して、推定した他者経験を修正

他者の推定トルク

Modified Simulated
Other’s experience=Other’s experience= {運動＋トルク }Basic Motion 1

Basic Motion 3

error of g^ against g (<1.0)[結果]修正版の「推定他者経験」を[3]で使用して、他者のトルクの想起/推定が可能になる。
0.6

basic motions

Large Error

0.4

stl E

数回の会話の後、データーベースに無い未知の動作に対しても、自己(ロボット)は他者(ユーザー)の動作実行時の関節トルクの推定に１０％の誤差で成功。

fusscce

Su

0.1
01

2

345678910

Fig.1

自己の経験から他者の経験を想起する事で、各ユーザー専用モデル等の事前準備が不用。
よって、実環境で不特定多数に対応が可能。

# of conversation set[発展]: 動作付き相対評価型質問によるシンボル変換規則の推定- 絶対評価型質問では、質問回数が多すぎる- シンボル変化規則は本来は、未知であり環境に応じて変化する

Fsymbolize^g

シンボル変換規則を特定したい！

τAverage?

? ORτk123456

d=2Heavy

Light----d=4Heavy

Little Heavy Little Light

Light--

d=6

Very Heavy

Heavy

Little Heavy Little Light Light Very LightMax?

?
AB
τ

HOW

1 (heavy)index

g(scalar)Sensor(torque)

Average?

τ

重い・軽いを聞くのではなく二つの動作のどちらがより重いかを質問する。
（詳細はPowerPointにて）[WHY 相対評価型質問？]

Average

同じA isheavier

τ

AverageτMax

シンボル変換規則がAVGなら動作A,Bが同じになるように設計AB
τMax

Aの方が重い他者がAの方が重いと答えたら、他者のシンボル
変換規則はMAXと特定！

シンボル変換規則がMAXなら動作Aの方が重くなるように設計

動作付き相対評価型質問で、シンボル化が困難な感覚などの情報も推定可能

Contact：Keisuke OKUNO and Tetsunari INAMURA ／ National Institute Informatics・Dept. of Informatics,Sokendai

TEL : 03-4212-2518

Basic Motion 4

WHY
自己の経験から他者の経験を推定？

ntio

ima

0.3
0.2

結果

unknown motions

0.5

Basic Motion2

FAX : 03-3556-1916

Email : k-okuno@nii.ac.jp, inamura@nii.ac.jp

仮想世界で人とロボットの共存社会をシミュレートする- 社会的知能発生シミュレータ SIGVerse A Simulator for research on Intelligent with physical and social Intelligence : Socio-Intelli-Genesis Simulator SIGVerse
稲邑哲也 (NII/ 総研大 )，柴田智広 (NAIST)，瀬名秀明 ( 作家 )，橋本敬 (JAIST)，川合伸幸 ( 名大 )，宮下敬宏 (ATR)，吉川雄一朗 (JST)
櫻井圭記 (Production I.G)，清水正宏 ( 東北大 )，大武美保子 ( 東大 )，細田耕 ( 阪大 )，梅田聡 ( 慶應大 )，乾健太郎 ( 東北大 )目指すもの

何ができる？

日常生活で活躍する社会的で知的なロボット
は，1)身体の制御・運動計画，2)知覚の情報処
理，3)他者との対話，を同時に考慮する必要がある．ロボットの知能開発のための従来のシミ
ュレータはこれらを統合して扱うことができなかった．そこで，社会的知能を実現するためのシミュレータプラットフォームの提供を目指す

人間と共存する社会的ロボットエージェントの挙動を長時間にわたって観察・解析する事で，実物のロボットでは困難な設計・評価が可能．
また，ロボットだけでなく社会的な動物や昆虫の知能のメカニズムを構成論的に研究する事が可能になる．情報学＋ロボットから学際的研究への展開を可能とする枠組み

SIGVerse の設計コンセプト
人間のコミュニケーションモデルを力学シミュレーション考慮した言語進化シミュレーション
政治・経済等のマクロな社会シミュレーションへの展開• 物理・力学シミュレーション– 力，トルク，関節角度等の力学計算– 接触，衝突，などの物理現象– Open Dynamics Engine による実装• OGRE （3次元ゲーム開発エンジン）の採用• OpenGL ベースの環境再現• コントローラーを各エージェントに動的に配置可能

社会的コミュニケーションを必要とするロボット知能の設計

知覚シミュレーション• 生情報レベルから高次元情報まで階層的なシミュレーション• 中次感覚– 視野内に存在する物体の各種情報（色，大きさ，位置姿勢等）の提供– ある距離内に存在する物体の各種情報の提供• 高次感覚の提供– 物体認識の結果（物体名，ID）– 視線方向

様々な研究者(ユーザ）のための階層性の提供
例：画像処理の研究は生情報を用いる
論理推論の研究は高次感覚を用いる

SIGVerse:

パラレルワールドの並列シミュレ

３つのシミュ ーションによる比較・検討機能
レーションが統合されている
新しい仮想環境の提案

赤ちゃんの学習発達モデルのシミュレーションによる検討

対話シミュレーション• 音声情報の送出– 生の音声波形情報の送信– 距離に応じて到達可能性が低くなる– テキストのみの送信機能も• 視線情報の管理と取得• 仮想環境内のアバターを操作する事による，実世界と仮想環境間のコミュニケーションの提供

世界初!

ロボットエージェント間のコミュ

霊長類，昆虫等の社会的動物の行動モデ

ニケーションに基づく学習・発達

ルの解明を目指した構成論的研究

ロボットシミュレータ＋社会シミュレータ
社会的知能発生シミュレータ
SIGVerseの応用事例

人間と協調するロボットの知能の検証

昆虫の環世界を考慮した行動シミュレーションとその解析

NEWS• お好み焼きを協調して焼くタスク• ミツバチの８の字ダンスによる集餌行動
ソフトウェアの一般公開を行っ– 人間の観察に基づく意図理解– 人間のような視覚ではなく触覚ベースの知覚ています． 希望者には無料で– オペレータが仮想環境に介入するインタフェース – ８の字の方向をどうやって認識しているか？
– 対話・協調するロボット知能の評価– 環世界に基づくコミュニケーションの仮説の検証 シミュレータを提供いたします．
詳しくは稲邑までご相談下さい

8Where?

連絡先： 稲邑 哲也（Tetsunari INAMURA）／ 国立情報学研究所

TEL : 03-4212-2518

FAX : 03-3556-1916

SIGVerse
詳細は以下の URL もしくはSIGVerse で検索！

情報学プリンシプル研究系

Email : inamura@nii.ac.jp

URL :准教授

http://www.iir.nii.ac.jp/

実世界での人とロボットの協調のための要素技術開発
Development of fundamental functions / subsystems for human-robot collaboration in real world
Ohhoon Kwon (Postdoctoral researcher, NII), Md. Hasanuzzaman (JSPS postdoctoral fellow), Saifuddin Md. Tareeq (Sokendai)

SD-GRIS: Surrounding Display and Gesture based Robot Interaction Space for Teleopearted Robots
Teleoperated Robots

Objectives of SD-GRISTokyo

Remote ControlH/W and S/W Design

How to achieve

coverage of
Cam1
coverage of
Cam6

coverage ofCam2

coverage ofCam5

coverage ofCam3

Human Motion Recognition/Control Command Generation

screen 1

screen 2

P1

P2

P6

P3

UserP5P4screen 5

screen 4

RobotLeader-A

RobotLeader-B

Operator

Image Manipulation
TeamRobot1 TeamRobot2 TeamRobot3

Agent part

screen 3- Do not use the legacy devices- Use new interface- surrounding display space- human gesturescreen 6

Chiba

Future Works- Perfectly understand robot-side environment- Precisely control robots such as humanoid

Robot ControlImage Capture

Motion Capture

Captured Image
Receive/ Display

Robot Part

Human Part

Display PartTeamRobot4 TeamRobot5 TeamRobot6

Multi-teleoperated robot control system: data flow

coverage ofCam4

Don ’t use

Design of surrounding camera and display space

S/W architecture of SD-GRIS

H/W and S/W Implementation(a) front-side

Prototypes of surrounding camera and display space(b) right-side(c) back-sidetime t(d) left-side

Virtual human-robot interaction

time t+1

Object Indication using gesture

Views of SD-GRIS

About Demo Movies

About Researcher

One movie shows the corridor navigation. The user controls the robot using his arm. (go forward/ turn right, left)
The other movie shows the motion imitation, which the robot can performs same behaviors of human.

Ohhoon Kwon, PhD
ohkwon@nii.ac.jp

Human-Robot Natural Interaction Using Gaze, Gestures and Speech Commands
Act1

Act2

Knowledg
eManagem
Networkent

RobotActionSpeaker The system detects human faces from clutter background and recognizes faces using
PCA method Then, using the predefined knowledge dynamic gestures will be interpreted.
 Speech recognition module will be recognized speech commands and text to speech converter
module will be used to make sound of corresponding text.

SpeechSynthesizer The system will incorporate gaze tracker system to assist robots to locate or tract objects.
 Knowledge module will be capable of making decision for HRI and learning new users, gestures,new robot behaviors.
 Implemented Scenarios: Robot is following defined person
 ff defined person is found then robot will “Go Forward” to follow his/her.
 If unknown person is found or no face is found then robot do not moveHUMANRobotServerFace/Gaze/Gesture
Recognizer

SpeechRecognize
rActn

Robot Future Scenarios: Robot will track specific person pointing by gesturer or gaze points
 If robot is failed to localize specific object then it will take assistance from user by gaze points
 Compound gesture like “GO OVER THERE” will be implemented using
Speech Commands and Gaze points

Adaptive learning to catch up new situation in human-centered robotics
An observation, which has little effect on a decision, can be regarded as an insignificant observation for any
learning process. We proposed a method for evaluating sinificance of data based on change in the degree ofconfidence . This proposed method can effectively catch up with new situation.

ResultEvaluation method

5With our method we address theChange in the degree of confidence is considered
question about how to select important for evaluating significance of data.
data for learning and adaptation.
When the change in the degree of confidence is bigbeta( w;α [t ],α [t ])then the situation is considered unfamiliar and thebeta( w;α [t − 1],α [t − 1])system considered the data as significant for learning.
41

2

2

3beta(w)1

Environment: 8[m]x8[m] arena
Obstacles: 6 wondering robots
Situation I : avoid obstacle
Situation II: approach obstacle
Task: to adapt to changes in situation

0.55

0.6

b2

0.65

0.7

0.75

w

0.8

0.85

0.9

0.95

1b1

Peak of the distribution represent
confidence and change in the degreeof confidence is considered in a smallarea.

The benefit of our Bayesian learning system is thatroobt can follow change in the situation by using
the advantage of small amount of importnat data.
The proposed method is important because it isself adaptive which can be combined withconfidence based interaction (confirmation,suggestion or question).

連絡先： 稲邑 哲也（Tetsunari INAMURA）／ 国立情報学研究所

TEL : 03-4212-2518

FAX : 03-3556-1916

Integrated Probability

012

Avoid

Approach

0.6
Go Forward
Turn Left

0.4

0.2

00100

200300
Number of steps

350

Adapting to new situation is done with significanceevalution based on change in degree of confidence.

情報学プリンシプル研究系

Email : inamura@nii.ac.jp

URL :准教授

http://www.iir.nii.ac.jp/