計測自動制御学会東北支部第 297 回研究集会(2015.10.23)
資料番号 297-9

ミニチュアヒューマノイドの操作インタフェースへの表情表現
およびハンド動作の組み込み
An idea to use finger motion and face expressions for the operational
interface of a miniature humanoid communication robot.
○會田貴哉＊，石川貴史＊，水戸部和久＊，妻木勇一＊○Takaya Aida＊,Takashi Ishikawa＊,Kazuhisa Mitobe＊,Yuichi Tsumaki＊＊

山形大学

Yamagata University＊

キーワード: 遠隔コミュニケーション(Telecommunication),
ミニチュアヒューマノイド(Miniature humanoid),操作インタフェース(Operational interface),Kinect(Kinect),
Leap Motion Controller (Leap Motion Controller)
連絡先: 〒992-8510 山形県米沢市城南 4-3-16
山形大学大学院理工学研究科機械システム工学専攻 6-501 水戸部研究室
水戸部和久，Tel:(0238)26-3230,Fax:(0238)26-3205,E-mail;mitobe@yz.yamagata-u.ac.jp―――――――――――――――
1.緒言
近年のスマートフォンの普及やそれに伴うアプリケーションの開発によって遠隔地とのコミュニケーションは昔と比べ，格段に便利になった．LINE や Skype などが主なアプリケーションとしてあげられるが，それらの方法でも目に入る風景が共有できなかったり，臨場感を得ることが出来なかったりと限界があるのも事実である．そこで，新たな遠隔地とのコミュニケーションの方法としてウェアラブル(装着可能)なロボットと，ヘッドマウントディスプレイ(HMD)を用いたシステムの開発が行われている 1)．この研究では，ウェアラブルロボット MH-2 を用いることで，臨場感の増加やモーション等の非言語情報の共有も可能となり，コミュニケーションの質を向上させることが出来ると期待されている． MH-2 は，人間を模した形状となっている．腕部だけでなく，頭部や手首部に自由度が設けられており，人間に近い動作を行うことができ，臨場感や存在感を提示することが出来る 2)．このロボットの操作インタフェースに関する研究では，Kinectセンサを用いてモーションキャプチャを行い，腕部や頭部における操作者の動きをMH-2 の CG モデルへの再現を可能とした．
また，操作者の表情を装着者へ伝え臨場感を上げるため，Kinect の Face Tracking 機能を用いて顔の特徴点より表情を判別し，CGモデルを変化させる取り組みも行われた 3)．
本研究では，Leap Motion Controller(以下Leap Motion)と呼ばれるハンド部に特化したセンサを導入する．そして，Leap Motion-1-

を用いて MH-2 の CG モデルへ操作者の指の動きの再現を目指した．また，機械学習やKinect 以外のセンサを用いることによってより精度の高い表情判別の実現を目指した．

2.操作インタフェース
MH-2 を用いてコミュニケーションを取る方法を Fig.1 に示す．MH-2 装着者の見ている景色はインターネットを通じて操作者のHMD に送信される．同様に，操作者の動きや表情をインターネットを通じて MH-2 に送信することによって臨場感のあるコミュニケーションを行うことが出来ると考えられている．また，操作インタフェースの全体像を Fig.2 に示す．先行研究においては
Kinect により関節座標データを取得し，Main PC に送信し関節角を計算するシステムを設計した．そこに 2 台のハンド部モーションキャプチャ Leap Motion を導入し，それぞれを Sub PC に接続する．また，これらのセンサで検出できない情報が必要な場合に追加する外部センサは Kinect と同様に直接 Main PC に接続することを考えている．

3.ハンド部モーションキャプチャ
3.1.Leap Motion の導入
操作者のハンド部のモーションをキャプチャするために Fig.3 に示す Leap Motion を導入した．Leap Motion は非接触型のハンド部モーションキャプチャセンサでセンサの上に手をかざすと手を認識し，ハンド座標系での詳細なデータが取得できる．以下にMH-2 の CG モデルを動作させるのに使用したハンド部のデータを示す．
(1) 指関節・指先位置(2) 掌中心位置(3) 指のリンク長さ・方向ベクトル(4) 手先への方向ベクトル(5) 掌の法線ベクトル(6) 手首の姿勢角 (ロール・ピッチ・ヨー)
Leap Motion のトラッキング範囲は Fig.4に示すとおりであり，この範囲内に常に手が存在する必要がある．そこで Fig.5 に示す取り付け器具を試作し，Leap Motion の固定を試みた．

Fig.1 Concept of the telecommunicatorrobot4)

Fig.2 Overview of the operational interface-2-

J#1,J#2(#=A,B,C,D,E)は同じ位置にあるものとして考えた．

Fig.3 Leap Motion Controller

Fig.6 Hand joint modelFig.4 Measurement range of Leap Motion5)

Fig.7 Hand skeleton model

Fig.5 Installation appearance of LeapMotion
3.2.ハンド部 CG モデルへの実現
人間の指の動作を MH-2 へ忠実に再現するために，作成する CG ハンドモデルの関節は親指 3 自由度，その他の指を 4 自由度として，人間に近いモデルとした．また，各指の根元から関節に番号を Fig.6 のように割り振った．
また， Leap Motion で取得できるハンドス
ケルトンモデルを Fig.7 に示す．ハンドスケ
ルトンモデルには，指座標に Fig.7 に示すように番号を割り振った．このとき作成したモデルのすべての指において関節-3-3.3.指関節角の算出
初めに親指以外の指の関節角度を算出する方法について考える．指の根元の関節である J#1 と J#2(#=B,C,D,E)の角度を求めるにあたって，Fig.7 に示した掌座標系を用いる．
この座標系の X 軸は掌の法線ベクトル，Z 軸は手先への方向ベクトルを表す．リンクベク⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗トルP#1 P#2 の要素を(X#1，Y#1，Z#1)とすると幾何学的に計算を行える．J#1 と J#2 の角度 θ#1，θ#2 はそれぞれ(1)，(2)式より算出できる．
θ#1 = atan2(Y#1 , Z#1 )(1)θ#2 = atan2 (X #1 , √Y#1 2 + Z#1 2 )(2)

その他の関節については指のリンク長さと2 つの関節間の距離より出来る三角形に余弦定理を適用することで求められる．
次に親指の関節角度を算出する．関節 JA1，
JA2 の角度 θA1，θA2 は他の指と同様の方法に⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗
おいて，リンクベクトルP
A1 PA2 を Z-X 平面上から見ることで単純化した．関節 JA3 は(2)⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗式と同様にリンクベクトルP
A2 PA3 (XA2，YA2，とが出来る．取得した特徴点座標を用いて，特徴点間の距離によって表情を簡易に判別する方法が考えられる 3)．しかし，特徴点間距離のみでは，操作者の個人差が大きく現われる．また，実際に操作インタフェースに導入する際に HMD で顔の大部分が隠れてしまうため口周辺の特徴点しか取得できず，判別の精度が低いことが課題としてあげられる．

ZA2)から角度 θA3 を算出することで姿勢の表現を実現した．(3)式に θA3 を算出する式を示す．
θA3 = atan2 (X A2 , √YA2 2 + ZA2 2 ) − θA2(3)Fig.8 Kinect Sensor

これによって全ての関節角を求めることができ，CG ハンドの操作が可能となった．

4.表情判別と判別精度の向上
4.1. コミュニケーションにおける表情の役
割
コミュニケーションを取る際に，音声言語を用いる場合を言語コミュニケーション，それ以外の情報によるものを非言語コミュニ
ケーションとよぶ 6)．また，コミュニケーシ
ョンにおいて言語と感情や態度に矛盾がある場合，メッセージ全体の印象を 100%とした場合に言語内容の占める割合は 7%，音声と音質の占める割合は 38%，表情としぐさの占める割合は 55%であるというメラビアンの法則が存在する 6)．これにより，非言語コミュニケーションが相手に与える影響の重要性が分かる．また，非言語コミュニケー
ションの中でもしぐさは万国共通とは言えず，自分が伝えたいことが相手に伝わらない場合がある．しかし，基本の表情において，エクマンは万国共通であると述べている 7)．
このことから，コミュニケーションにおいて表情は欠かすことの出来ないものであり，重要な要素を占めているといえる．
4.2.表情判別の方法
Fig.8 に示す Kinect センサの Face
Tracking 機能では顔の特徴点座標の 100 点を画像上のピクセル位置として検出するこ-4-

4.3.機械学習の導入
個人差を考慮して表情判別をする方法として，機械学習を用いる方法が提案されている．
機械学習とは，機械が知識や規則を発見し，それを使って推論，識別，予測を行う技術 8)のことで身の回りの様々なところで用いられている．本研究では機械学習を用いて操作者の表情判別を試みる．今回使用する機械学
習ソフト Weka はニュージーランドのWaikato 大学で開発され，オープンソースソフトウェアとして公開されている 9)．また，機械学習の中でも決定木という学習手法を用いる．決定木はデータを分類する質問を節とし，分類結果を葉とする木構造の概念表現である 8)．実際に機械学習を用いた表情判別の流れは以下の通りである．
① Kinect の Face Tracking 機能を用いて各表情における特徴点を取得する．ここで，学習量を多くするために，なるべく多くのデータを集める．
② 集めたデータを Weka で扱うために，取得した特徴点間の距離とその時の表情を入力したデータを Weka 専用のデータファイルとして保存する．
③ Weka にファイルを読み込ませ，決定木を作成する．
④ 決定木の閾値によって表情を判別し，開発中のインタフェースプログラムで用いる．
今回は簡単化のため，取得したデータは無表情と，基本 6 表情の中でも最も多く見る喜びの表情の特徴点をそれぞれ 50 回取得した．
また，HMD で隠れている部分が表情判別にどのように影響するかを確認するために口のみの特徴点で決定木を作成した場合と，顔全ての特徴点で決定木を作成した場合の比較も行った．結果を Table1 および Fig.9 とFig.10 に示す．
Table1. Acquisition result
Used feature
Only
Full ofpoints
mouth
face
Accuracy rate
75%
92%

Fig.10 Decision tree by using all featurepoints
4.4.目の周辺の変位センサの導入の検討
表情判別のための顔情報の検出方法としてこれまでに以下が提案されている．
ⅰ)．フォトリフレクタを用い，顔の動きを計測し，表情を判別する方法 10)．
ⅱ)．筋電位を用い，顔の表情筋の動きを計測し，表情を判別する方法 11)．
ⅲ)．HMD の縁にひずみセンサを貼付し，顔の動きを計測し，表情を判別する方法 12)．
これらの中で，装着型インタフェースに組み込み可能な簡易な方法として，ⅰ)の方法を参考に目の周辺の変位センサの導入を検討する．表情変化に伴う顔の動きの微妙な変化を読み取ることが可能な，分解能が高いセンサの導入が必要である．また，センサで得られたデータを表情判別に用いる際にも，機械学習を使うことで個人差を考慮した表情判別が可能と考える．

Table1 より顔全体の特徴点を用いて表情を判別する方が正解率は格段に良くなることが分かった．したがって，HMD で覆われた目の周辺の特徴点も取得可能な Kinect 以外のセンサの導入を検討する．また，Fig.9 より口のみの特徴点で表情の判別を行った場
合は 1 組の特徴点間の距離しか用いることが出来ないため判別精度が下がるが，Fig.10のように顔全体の特徴点を用いた場合，様々な特徴点の組から表情を判断するので精度を上げることが出来る．

4.5 非接触変位センサでの表情判別非接触の変位センサとして具体的には
Omron 社の Z4D-B01(Fig.11)を検討する．
Z4D-B01 は，Fig.11 に示す通り小型なセンサである． Z4D-B01 を用いて，表情変化に伴う顔の動きの変化の読み取りを試みた．本
センサの通常の用途は高い分解能を活かしてプリンタに給紙される紙の厚さを検知し，2 枚重なった給紙を検知する用途などである．測定範囲はセンサ表面から 6.5±1[mm]で分解能は±10[μm]以下である．また，センサからの出力は対象物との距離に応じた電圧である 13)．判別する表情は前と同じ無表情と喜びとし，センサの設置場所は表情に

Fig.9 Decision tree by using only mouth
feature points-5-よる変化が顕著である頬の変化を読み取ることが可能な位置(Fig.12)とした．取得した
無表情での電圧の変化を Fig.13 に，喜びでの電圧の変化を Fig.14 に示す．Fig.13 および Fig.14 より分かるように表情によって，取得される電圧の変動には明確な差が存在した．また，得られたデータを基に決定木を作成した．使用したデータは，4.3 節で述べた口のみの特徴点のデータに，今回取得した表情による電圧を加えたものである．結果をTable2 および Fig.15 に示す．
Fig.12 Installation of the sensor to HMD

6000

5000

4000

3000

3000

20001000

Table2 より Kinect を用いた口のみの特徴
点から表情を判別するよりも，Z4D-B01 センサを追加し頬の変化より表情を判別することによって正解率が格段に良くなった．また，Fig.15 の決定木を見ると表情の判別は全て得られる電圧の値に依存している．従って ， Kinect で 得 ら れ る デ ー タ に 比 べ ，
Z4D-B01 センサで得られるデータの方が表情判別に有効であるといえる．しかし，センサの基準位置を顔から一定の距離に保つことは難しく，また，表情と無関係の顔の動きによる誤差も存在する．今後は，どのようにセンサと顔の距離を一定として測定し，操作インタフェースへ組み込むかを検討していく．また，他のセンサによる表情判別も検討する．

5432100Sensor signal [V]Table2. Acquisition result
Used Sensor
OnlyKinect +Kinect
Z4D-B01
Accuracy rate
75%
97%Time [ms]

7000

6000

5000

4000

3000

2000

1000

5432100Sensor signal[V]Fig.13 Displacement sensor signal under
expressionless face

Time[ms]
Fig.14 Displacement sensor signal undersmiling faceFig.11 Z4D-B01 sensor-6-Fig.15 Decision tree by using Kinect
sensor and Z4D-B01 sensor

5.結言
Leap Motion を用いることで操作者の手の動きを忠実に再現することができた．機械学
習を用いることで，表情による閾値を見つけることが出来ることを確認できた．また，口のみの特徴点より表情判別するよりも，顔全体の特徴点を用いた方が正確に判別できることも確認できた．さらに，Z4D-B01 セン
サを用いて，表情によって取得出来る電圧が大きく異なることも確認した．

参考文献1). Y.Tsumaki,F.Ono,T.Tsukuda ： The20-DOF miniature humanoid MH-2:A
wearable communication system ， IEEEInternational Conference on Robotics andAutomation ，pp.3930-3935，(2012)2). 佃泰輔，小野史暁，妻木勇一，佐藤勝俊，
水戸部和久： ミニチュアヒューマノイド
MH-2 の開発，計測自動制御学会東北支部第275 回研究集会前刷，275-1，2，(2012)3). 會田貴哉：Kinect を用いた表情判別とコミュニケーションロボットへの応用，山形大学工学部機械システム工学科平成 26 年度卒
業論文，34/35，(2015)
4). 井上順博，妻木勇一：ウェアラブルミニ
チュアヒューマノイドの設計，計測自動制御学会東北支部第 238 回研究集会前刷，238-13，
1，(2007)-7-5).Leap Motion DEVELOPER PORTAL，
https://developer.leapmotion.com/documentation/python/api/Leap.InteractionBox.html6).高木幸子：コミュニケーションにおける表情および身体動作の役割，早稲田大学大学
院文学研究科紀要.第 1 分冊/早稲田大学大学
院文学研究科編，25/26，(2005)7).太田智美，田村真理子，有田真理子，木曽奈央子，佐伯行一：表情分析-エクマンにより提唱されている表情の特徴との比較検討-，滋賀医科大学看護学ジャーナル，20/24，(2005)
8).荒木雅弘：フリーソフトではじめる機械
学習入門，3/52，森北出版株式会社，(2014)9). Machine Learning Group at the
University of Waikato，
http://www.cs.waikato.ac.nz/ml/weka/
10).吉池俊貴，庄司りか，西川忠宏，對月沙織，助友文香，王丹青，菊川裕也，馬場哲晃，
串山久美子：着ぐるみ演者の表情表出を支援する顔面入力インタフェース，情報処理学会
インタラクション 2012，677/679，(2012)
11).後藤孝文，奥村大，田村宏樹，淡野公一，田中寿，外山貴子，石塚興彦：顔表情筋電位のパターン認識に関する研究，平成 20 年度
電気関係学会九州支部連合大会前刷，(2008)
12).Hao Li，Laura Trutoiu，Kyle Olszewski，Lingyu Wei：Facial Performance Senseing
Head-Mounted Display，1/8
13).Z4D-B01 データシート，
https://www.omron.co.jp/ecb/products/pdf/
z4d_b01.pdf