情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-79
2020/3/9

文化や言語の異なりを考慮した HRI(Human-Robot Interaction)
TA ZHENYU†1坂本篤志†1 張得福†1 下川原(佐藤)英理†1 山口亨†1

概要：ロボットが適切に人の示す意図を理解するには文化や言語の違いを考慮したヒューマンロボットインタラクシ
ョンが必要である．本研究ではロボットと人の共存のために，ジェスチャの意味の違いを考慮した人の意図理解に基づくロボット操作と，母国語の違いが感情認識に与える影響について述べる．

1. はじめにHRI(Human-Robot Interaction)ではロボットが適切に人の示す意図を理解する必要がある．しかし文化や言語が異なると，動作の持つ意味が異なることや，音声に対して感じる感情が異なることがある．例えば，日本で「おいで」と手招きするジェスチャは掌を下に向けて上下に振る動作であるが，これはアメリカでは逆に「あっちに行って」というジェスチャである．また日本人が海外の人が話しているところを聞いた時，実際には怒っていなくとも怒っていると認識することがある．このような文化や言語の違いを考慮したヒューマンロボットインタラクションが必要である．
本研究ではロボットと人の共存のために，ジェスチャの意
味の違いを考慮した人の意図理解に基づくロボット操作と，母国語の違いが感情認識に与える影響について述べる．

2. 文化の違いからのジェスチャの差異
2.1 システム構成
開発するインタフェースの入出力の流れ，構成を図 1 に示す．指先検出と指検出，顔の向き，体の向き認識の結果よりジェスチャ分類，動作解析を行う．そこで操縦者の意
図理解をして操縦者の要求した指示を認識する．さらに安全のため障害物を検知する環境認識を行い，それらによってモビリティロボット（CHOICA，VECTOR 株式会社製）への命令決定をする．入力機器としては先行研究[1]で示された手 法では 指先 検出に メガ ネ型 ウェア ラブ ルカメラ
(view っとめがね，テラテクノス株式会社)を用いた．メガネ型ウェアラブルカメラは両眼の中心に装着車の前景を映すメラが付いている．顔向き認識には深度センサ搭載カメラ（RealSense SR300，Intel Corporation）を使用し環境認識のためにレーザーレンジファインダー（URG-04LX-UG01，北陽電気株式会社）を用いた．今回新たに示す手法では指検 出 に ハ ン ド ト ラ ッ キ ン グ デ バ イ ス （ LeapMotion ，LeapMotion inc.）を使用した．

図 1

HRC で扱うシステム構成†1 首都大学東京© 2020 Information Processing Society of Japan765

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-79
2020/3/9

2.2 操縦者の指示の種類を考慮した実装をする必要がある．図 2 に示すように，複意図理解のためにジェスチャ分類を行った．操縦者が行う数のジェスチャを OR 回路で繋いでその出力をブレーキことのできる指示を以下に示す．にした．このようにすることで誰が操縦者になっても安全に止まることができた．停止命令のジェスチャを中国人 10(1)前方指差しジェスチャ

人に調査し解答された三つのジェスチャを実装した．

操縦者がモビリティロボットの前方を向きながら指差しを行なった時はモビリティロボットを前進させる．
(2)

⼿を広げて前⽅に出す
ジ

左右指差しジェスチャ

操縦者がモビリティロボットの正面から左右に寄っている方向に指差しする動作．メガネ型ウェアラブルカメラの場
合は顔の向きまで旋回させた後前進させる．ハンドトラッ
キングデバイスの場合は指の指す方向まで旋回させた後前進させる．
(3)

拳を握る
出す
ジス
チ

⼿を交差させるジス
チス
チスクロールジェスチャ

指を差しながら左右どちらかに水平移動させる動作．移動させた方向に 90 度旋回させる．
(4)

OR

カメラ隠しジェスチャ

カメラを隠すことでモビリティロボットを停止させる動作．
直感的ではないが，安全面に考慮し確実に停止させることができる．
(5)

停⽌命
令

指を差して回すジェスチャ

操縦者が指を差して回した時，モビリティロボットをその差している方向まで旋回させる．旋回中に停止命令があれ

図2

文化の差異を考慮したジェスチャ分類構成

ば旋回を止める．
(6)

手を広げて前方に出すジェスチャ

図 5 に示すように，手を広げることでモビリティロボットの移動，旋回を停止させる．
(7)

拳を握るジェスチャ

図 4 に示すように，手を握ることでモビリティロボットの移動，旋回を停止させる．
(8)

手を交差させるジェスチャ

図 3 ⼿を交差させるジェスチャ

図 3 に示すように，手を交差させ，ばつ印を作ることでモビリティロボットの移動，旋回を停止させる．
(6)，(7)，(8)はどれモビリティロボットを停止させるジェスチャである．
2.3 文化の差異を考慮した緊急ブレーキ実装
モビリティロボットの操作においてブレーキは緊急性を要するために操縦者の安全を確保する上で重要である．よ

図4

拳を握る出すジェスチャってジェスチャで操作する場合，ジェスチャの文化的差異© 2020 Information Processing Society of Japan766

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-79
2020/3/9

ンダムな推測レベルを超えて他の言語の発話感情を認識することができ，母語の発話感情に対する実験者の認識率は他の言語よりも高いことが分かった．
表1

図5

⽇本⼈と中国⼈の解答個数

⼿を広げて前⽅に出すジェスチャ

2.4 手ジェスチャ認識
操縦者が指示を出しているか否かを認識することをここ
では指示中認識とする．メガネ型ウェアラブルカメラではGMM 前景分離を活用し指示中認識とジェスチャ認識を行

3.3 実験データの解析なっている．LeapMotion は 2 台の赤外線カメラと赤外線照実験データを統計解析ソフト「SPSS」で解析する．カイ二射器で構成されている．その赤外線カメラで手の形状を推乗分析により，性別認識率のマッピングを実行し，図 6 の測する．赤外線は太陽光に含まれている．しかし直射日光ように，中国語と日本語の音声認識における感情認識の割を受ける場所であっても認識精度は変わらないことが確認

合の折れ線グラフで一貫した傾向があるため，性別は認識できた．これは LeapMotion が照射している赤外線の周波数に影響を与えないことが分かった．次に，実験者の認識結でフィルタをかけているためだと考えられる．指先の位置

果について MDS 分析を行い，図 7 と図 8，図 9 にこの結果をサンプリング周波数 10 Hz，窓幅 3 データで取得しを示す．日本語話者の感情を認識するとき，日本語を学習

LeapMotion 空間におけるユークリッド距離を計算した．そする中国人は日本語を学習しない中国人よりも日本人に近の結果からファジィ推論で認識した．ファジィ推論にする

いことを発見した．

ことで操縦者に合わせてメンバシップ関数を用意し，個人差を考慮した認識を行うことができる．ジェスチャ認識では伸ばしている指の本数が一本の時，前方指差しか左右指差しかを指先の向く方向からファジィ推論で認識させた．
操縦者の前方を 0 度として左右に-90 度から 90 度を-1 から1 とする．

3. 文化の違いからの感情認識の差異
3.1 クロスカルチャーに基づく感情の認識クロスカルチャーに基づく感情を認識する先行研究[2][3][4]として，クロスカルチャーに基づく顔感情認識という研究がある．この研究は顔データベースを使用し，事図6

前にサンプルで「これは楽しい顔」，「これは怒っている顔」

性別による認識率と学習させておいて認識させている. しかしながら，クロスカルチャーに基づく音声による感情の認識はまだまだ知見が不足している．そこで，私は異なる文化的背景の実験者による感情認識率を比較することで，文化の違いが感情の認識に与える影響について考察する．
3.2 実験データの収集
中国の学生 2 名（男性：1 名，女性：1 名）に録音してもらい，5 つの感情を含む中国語音声データを得た．国立情報学研究所の感情音声を聞き，手作業で５つの感情を判定し，日本語音声データを得た．学生 12 名(日本人：６名、中国人：６名)に録音した 60 個(中国語：30 個, 日本語：

図7

日本語を学習していない中国人30 個)の音声を聞いてもらい，感情を判定させた．表 1 は被験者の回答の個数を表している．その結果，実験者はラ© 2020 Information Processing Society of Japan767

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-79
2020/3/9(JACFEE): Reliability Data and Cross-National Differences.
JournalofNonverbalBehavior, 1997, 21, 3-21.

図8

日本語を学習している中国人

図9

日本人

4. おわりに
本論文では，ジェスチャの文化の違いを考慮した人の意図理解に基づくロボット操作と，母国語の違いが感情認識に与える影響について述べた．ジェスチャ認識では停止命令を複数認識することで文化の違いに対応させた．感情認識
では日本人と中国人で差異があり，日本語を学習している中国人では日本人に近くなることが分かった．今後の研究において，これらの知見を統合することによって，文化の違いによって起こる差異を考慮したコミュニケーションロボットを構築する．

参考文献
[1]

Eichi Tamura, Yoshihiro Yamashita, Taisei Yamashita, Eri SatoShimokawara, and Toru Yamaguchi. Movement operationinteraction system for mobility robot using fingerpointing
recognition. Journal of Advanced Computational Intelligence andIntelligent Informatics, 2017, Vol.21, No.4, pp.709-715.
[2] Ekman, P., & Friesen, W. V.. Constants across cultures in the faceand emotion. Journal of Personality and Social Psychology, 1971,
17(2), 124–129.
[3] Anne Wichmann. The Attitudinal Effects of Prosody and How
They Relate to Emotion [C], ISCA Workshop on Speech andEmotion, 2000.
[4] Michael Biehl, David Matsumoto, Paul Ekman, Valerie Hearn,Karl Heider, Tsutomu Kudoh, Veronica Ton. Matsumoto andEkman's Japanese and Caucasian Facial Expressions of Emotion© 2020 Information Processing Society of Japan

768