コミュニケーションロボティクス－ 人とつながる，人をつなげる笑顔をつくるロボット技術 －山崎 洋一 Yoichi Yamazaki
神奈川工科大学 創造工学部ホームエレクトロニクス開発学科
Dept. of Home Electronics Faculty of Creative Engineering

KAnagawa Institute of Technology
yamazaki@he.kanagawa-it.ac.jp
URL: http://yamalab.com
Communication Robotics Lab. http://yamalab.com

人と関わるシステムを創る
https://researchmap.jp/yamazaki/research_experience

からだをつくる
機械

目や耳をつくる

あたまをつくる

電気電子・情報
こころくばり・おもてなし
認知心理学・ユーザビリティ
ユーザエクスペリエンス

学際領域
ホームエレクトロニクス

2/38

Communication Robotics Lab. http://yamalab.com

KAnagawa Institute of Technology (KAIT)(2016)

undergraduate graduate

Students
Engineering
Information Technology

1,329

Staffs
Prof.

1,871

Associated Prof.

65101Creative Engineering

780

Lecturer / Assistant Prof.

27

Applied Bioscience

904

Other educational staff

10

Nursing Care

173
Total

5,057

Total
180

203

http://www.kait.jp/english/

3/38
Communication Robotics Lab. http://yamalab.com

Dept. of Home Electronics

http://www.he.kanagawa-it.ac.jp/

Mission:Create human-and-environmentally-friendly smart life
with Leading-edge (Home) Energy Management System

and Next Generation Home Appliances

IoT R&D center
Open IoT Space
Kitchen

Living room

Bed room

Smart House
Center

4/38
Communication Robotics Lab. http://yamalab.com

笑顔をつくるスマートハウスとホームロボット
未病を治す高齢者サポートロボット

家庭での体操サポート 血圧測定習慣
孤独を癒やす対話ロボット

身体格差を越える超人格闘技システム
神拳 – Shin-Ken -雰囲気を読むスマイルリビング

室内雰囲気の定量化

子ども見守りリビング

スマートロボットによるスマートハウス・雰囲気の制御
Communication Robotics Lab. http://yamalab.com

5/38

今日のお話 コミュニケーションロボティクスとは？

 コミュニケーションロボティクスの技術
 つたえる技術：表現する
 その１
 その２
 その３

 つかむ技術：理解する つなぐ技術

6/38
Communication Robotics Lab. http://yamalab.com

What is Interaction?

message

Cognition

Interaction

message

Behavior / Expression
7/38
Communication Robotics Lab. http://yamalab.com

コミュニケーションロボティクス
 ロボット技術をベースとし人間理解に根ざした「人に伝える」ための技術を包括的に扱う研究分野

ロボットの 非言語表現の “文法” をつくる

通信プロトコル

文法

つたえるS

（表出）

N

…………

V

………

D
…

…

O

Ohtanihittheball.

N

Illustrated by Cburnett

つかむつなぐ（認識）

（接続）
8/38
Communication Robotics Lab. http://yamalab.com

Minimal Expression: verbal & nonverbal
verbalConsciousspeechfacial expression
eye expression

gestureposturedistance

nonverbal

Unconscious

9/38

Communication Robotics Lab. http://yamalab.com

ロボットの道に進んだきっかけ

高３（ 1996年）の 夏～秋

卓球ロボットのTVニュースを見て… …（大学・企業）

ロボットってすごい！
つくる側の人になろう

10/38
Communication Robotics Lab. http://yamalab.com

つたえる技術：表現する

顔表情ロボットの首動作によるメッセージ伝達

11/38
Communication Robotics Lab. http://yamalab.com

つたえる技術：表現する

顔表情ロボットの首動作によるメッセージ伝達

12/38
Communication Robotics Lab. http://yamalab.com

つたえる技術：表現する②

Eye robotによるメッセージ伝達

eyelid
[2 D.O.F]

ocular
[3 D.O.F]

13/38
Communication Robotics Lab. http://yamalab.com

15/38Communication Robotics Lab. http://yamalab.com

16/38Communication Robotics Lab. http://yamalab.com

Mentality Expression in an Extended Pleasure-Arousal Space
for Eye Robots and its Application to Communication Agents

Mascot Robot System

Eye Motion
affinity
arousaldispleasurepleasuresleep

Eye Robot

internet-based information
retrieval and recommendation
robots systemfor casual communication[affinity pleasure-arousal space]
Mentality Expression

Casual Communication

Interpersonal Motion
Casual Communication Robot

Mental Distancearousaldispleasurepleasure
sleep

17/38
[mental distance type pleasure-arousal space]
Communication Robotics Lab. http://yamalab.com

https://www.engadget.com/2009-04-17-yoichi-yamazakis-latest-bot-has-hungry-eyes-nothing-else.html

https://robot.watch.impress.co.jp/cda/news/2006/12/18/302.html

18/38
https://www.technologyreview.com/2009/04/16/125246/eye-robot-aims-to-crack-secret-of-nonverbal-communication/

Communication Robotics Lab. http://yamalab.com

AHOGE:
Antenna Hair-type Object for Generating Empathy⚫ dissimilar from human⚫ intuitive understandable expression⚫ robotic element

AHOGE

19/38
Communication Robotics Lab. http://yamalab.com

Motions of AHOGE
animals expression

alert

deformed expression

happiness[©R. Kobayashi, 2009]fear

friendly

intuitive understandable expression

20/38
Communication Robotics Lab. http://yamalab.com

Expressions by AHOGE

21/38
Communication Robotics Lab. http://yamalab.com

Qualitative Expressions for HEMSDANGERWARNINGCAUTIONNEUTRAL

SAFETYhappiness
1 scalepositiverelax

surpriseangersadness
3 scalenegative

22/38
Communication Robotics Lab. http://yamalab.com

⚫ monthly electricity status⚫electricity consumption⚫high-power appliance

Qualitative expressions using an AHOGE
are effective for human memory

23/38
Communication Robotics Lab. http://yamalab.com

AHOBO : Home assistant robot for ME-BYO cure
未病を治すホームアシスタントロボット AHOBODesktop robot for prompting smile!

AHOGE expression

 Emotional expression
 Speech Home & health appliances cooperation

backward

forwardHappiness

Sadness

SurpriseAnger

H: 305 mm

AHOGE

Eye (Display)

Eye expression

Touch display

W: 185 mm

Happiness

Sadness

SurpriseAnger

D: 210 mm
24/38

Communication Robotics Lab. http://yamalab.com

高齢者をアシストするAI研究※IoTスマートハウスのニューノーマル適合化技術の基礎研究

高齢者の未病を治すホームアシスタントロボット AHOBO
Yoichi Yamazaki, Masayuki Ishii, Takahiro Ito, and Takuya Hashimoto, "Frailty Care Robot for Elderly and Its Application for Physical and Psychological
Support," Journal of Advanced Computational Intelligence and Intelligent Informatics (JACIII), Vol.25, No.6, Nov. 2021

 高齢者の身体的・心理的なフレイルをケアするロボットの開発

 AIを用いたコミュニケーション・サポート機能を実現
 笑顔を引き出す会話で血圧測定を習慣化して未病チェック
 思い出を利用したレクレーションで認知機能維持と心の健康をサポート

Physical Frailty Support with Blood Pressure Measurement
血圧測定にもとづく身体的なフレイルケア

Psychological Frailty Support with Reminiscent Coloring
認知トレーニングによる心理的なフレイルケア

25/38Communication Robotics Lab. http://yamalab.com未病ケアロボットAHOBOによる血圧情報サポート

26/38
Communication Robotics Lab. http://yamalab.com

認知機能をサポートする思い出塗り絵

27/38
Communication Robotics Lab. http://yamalab.com

Personal Emotion and Group Atmosphere
従来の感情認識技術を利用して，複数人がつくる雰囲気場を理解

arousaldispleasure

Atmosfield
雰囲気場

雰囲気場へ
統合

pleasure

sleep

個人感情のモデル化

Individual emotion[Y. Yamazaki, 2006]

Collective emotion = Atmosphere[Liu, 2011]

28/38
Communication Robotics Lab. http://yamalab.com

雰囲気を理解するAI研究
家族型ロボットと共生するスマートリビングのためのユーザの雰囲気認識
Collaborative research partner: GROOVE X
研究協力：GROOVE X

 家族型ロボットがいる生活空間での画像理解をベースにした雰囲気認識
 WEBカメラ画像から取得した複数人の感情・身体情報にもとづく雰囲気推定 家族，独居高齢者，テレワーク時の癒やしを実現

Face
expression
PostureDistance
CasualLivelyHostileCalm

Face
expression
PostureDistance

Friendly
FormalAtmosfield
雰囲気場

石川拓実，山崎洋一，村山龍太郎，“家族型ロボット LOVOT と共生するスマートリビングのためのユーザの雰囲気認識, ”ロボティクス・メカトロニクス講演
会講演概要集2020, セッションID 1P2-E15, 2020.5 (GROOVE Xと共同発表)

29/38

Communication Robotics Lab. http://yamalab.com

Robo Remote for HEMS

30/38
https://www.youtube.com/watch?v=hxEGOGVckj4
Communication Robotics Lab. http://yamalab.com

Robo Remote for HEMS

31/38
https://www.youtube.com/watch?v=gWpK5W2sTCM
Communication Robotics Lab. http://yamalab.com

Smile Tells
Robots eat your smile and feel for you
at x-Smart Home
Communication Robotics Lab. http://yamalab.com

雰囲気を読んで笑顔をつくるスマイルハウス
国際会議ISCIIA2016受賞， HCGシンポジウム2016 受賞

家電による雰囲気の可視化・制御

リビング雰囲気の定量把握

Home network router
JSONP

ECHONET Lite

Kadecot API server(tablet PC)

ECHONET Lite-enabled device

laptop

IRRemote

Air conditionerTV

Hue(bridge)[Smart house control]

モーションセンサによる個人の感情検出
CasualHue(lighting)

Kinect v2[Gesture Remote]

子どもを見守りリビング

ロボットによるスマートハウス・雰囲気の制御

HostileCalm
LivelyFriendly
Formal34/38

室内雰囲気の定量化
Communication Robotics Lab. http://yamalab.com

身体を拡張する実装研究
分身ロボットOriHimeを用いた外出困難な障害者のテレワークによる雇用の実現
Collaborative research partner: Ory Laboratory
共同研究先：株式会社オリィ研究所

 外出困難な障害者の身体を拡張する分身ロボットによるテレワークの実現 障害に応じた入力インタフェースで行動・コミュニケーションをサポート

ALSパイロットによる分身ロボットの視線入力操作

Kazuaki Takeuchi, Yoichi Yamazaki and Kentaro Yoshifuji, “Avatar Work: Telework for Disabled People
Unable to Go Outside by Using Avatar Robots ”OriHime-D“ and Its Verification”. In Proceedings of the2020 ACM/IEEE International Conference on Human Robot Interaction (HRI ’20), March 23 26, 2020,Cambridge, UK . ACM, New York, NY, USA 8 pages. (オリィ研究所と共同発表)

35/38
Communication Robotics Lab. http://yamalab.com

Avatar Work:Telework for Disability Person Unable to Go Outside by Using Avatar Robots "OriHime-D" and its Verification

Kazuaki Takeuchi, Yoichi Yamazaki and Kentaro Yoshifuji. 2020. Avatar Work: Telework for Disabled People Unable to Go Outside by UsingAvatar Robots "OriHime-D" and Its Verification. In Companion of the 2020 ACM/IEEE International Conference on Human-Robot Interaction(HRI ’20 Companion), March 23–26, 2020, Cambridge, United Kingdom. ACM. New York, NY, USA. 8 pages.
https://doi.org/10.1145/3371382.3380737

36/38

Communication Robotics Lab. http://yamalab.com

まとめ コミュニケーションロボティクスとは？

 コミュニケーションロボティクスの技術
 つたえる技術：表現する その１

 その２ その３

 つかむ技術：理解する つなぐ技術

 ワクワクをつたえられる！
 コミュニケーションロボティクスの技術
38/38
Communication Robotics Lab. http://yamalab.com