計測自動制御学会東北支部第283回研究集会(2013.10.25)
資料番号283-12

Kinectを用いたウェアラブルミニチュアヒューマノイド
ロボットの操作インタフェイス
An Operational Interface using Kinect for a Wearable Miniature
Humanoid Robot〇日原聖人*，石川貴史*，高橋知之*，水戸部和久*，妻木勇一*〇Masato Hihara*, Takashi Ishikawa*, Tomoyuki Takahashi*,Kazuhisa Mitobe*, Yuichi Tsumaki**山形大学*Yamagata University
キーワード: 遠隔地コミュニケーション (Telecommunication)，ウェアラブルロボット(Wearable Robot)，操作インタフェイス (Operation interface)，表情 (Facial expression) ,Kinect (Kinect)

連絡先: 〒992-8510山形県米沢市城南4-3-16
山形大学工学部機械システム工学科 6-501 水戸部研究室
水戸部和久，Tel.: (0238)26-3230，Fax.: (0238)26-3205，E-mail: mitobe@yz.yamagata-u.ac.jp――――――――――――――――
１．緒言ケーションが行えると考えられている．この
現在，遠隔地とのコミュニケーション手段システムの概念図を Fig.1 に示す．
として電話やメールなどが広く普及してお本研究では，ウェアラブルミニチュアヒュ
り，それぞれ音声や文字を媒体としコミュニーマノイドロボットを用いたテレコミュニケーションを行うことができる．また，近年ケーションシステム実現のため，ウェアラブ
ではテレビ電話やビデオチャットのようなルミニチュアヒューマノイドロボットの操映像と音声を媒体としたコミュニケーショ
作インタフェイスの開発を目的としている．
ン手段も普及しつつあり，多種多様な遠隔地本研究でこれまでに開発してきた操作インとのコミュニケーション手段が提案されてタフェイスでは，Optitrack とその専用ソフいる．そこで，より臨場感のあるコミュニケトである Arena を用いてモーションキャプーション手段として，ウェアラブルミニチュチャを行っていたが，モーションキャプチャ
アヒューマノイドロボットを用いたテレコシステムのセッティングが煩雑であり，操作ミュニケータというシステムが提案されて者が専用のスーツを着る必要があった．そのいる．このシステムは，持ち運びができるミため，操作者に負担がかからない Kinect をニチュアヒューマノイドロボットを介し，遠用いたモーションキャプチャをシステムに隔地とのコミュニケーションを行うもので導入することを検討している．Kinect によある．映像や音声だけでなく，モーションキるモーションキャプチャでは，頭の回転が 2
ャプチャにより送られる操作者の身振り手自由度しか取得できないため，3 自由度取得振りをロボットに行わせることで，実際に互できるようにする．また，より臨場感のあるいがあたかもその場所にいるかのような感コミュニケーションを行うため，操作者の表覚を得ることができる．これにより，従来の情を読み取り，ロボットに反映させる．
遠隔地とのコミュニケーション手段とは違った，より臨場感のある遠隔地とのコミュニ-1-

角，ピッチ角，ヨー角の 3 つの角度が与えられているが，Kinect を用いたモーションキャプチャではヨー角が取得できない．そのため，Kinect の別の機能である Facetracking機能を使用し，頭部のロール角，ピッチ角，ヨー角を取得する．

Fig.1 Concept of the system

２．操作インタフェイス
操作インタフェイスは，操作アプリケーシ
ョンとモーションキャプチャシステムである Kinect から構成される．
２．１．操作アプリケーション
プログラム作成には Visual Studio 2010を使用している．ロボット CG モデルの描画には OS に依存しないグラフィックライブラ
リとして Coin3D を使用している．
作成したウェアラブルミニチュアヒュー
マノイドロボットの操作インタフェイスとロボット CG モデルの外観を Fig.2 に示す．
このプログラムにはマルチスレッドで，ロボット CG モデル描画スレッド，Kinect でのモーションキャプチャ用スレッド，Kinectの Facetracking 用スレッド，先行して開発した Optitrack との通信用スレッドやセンサーを追加するための入出力装置を制御するための Gainer スレッド，ロボット関節デー
タ 送信用ス レッド， メイ ンウィン ドウのOptitrack からのクォータニオンデータ表示スレッドで構成されている．また，各スレッドは，メインウィンドウのメニューバーから呼び出すようになっている．
２．２．モーションキャプチャシステム
Kinect では，操作者のスケルトン情報を取得し，関節データを取得することでモーションキャプチャを行うことができる．取得できる関節座標は Fig.3 に示すように 20 個ある．ウェアラブルロボットの頭部にはロール-2-Fig.2 Operational Interface
for the Wearable Miniature Humanoid Robot

Fig.3 Joints of the skeleton model

３．Facetracking による機能追加
Microsoft 社のKinect for Windows SDK
v1.5 から，Facetracking という機能が追加された．より臨場感のあるコミュニケーションを行うための追加要素として，Facetracking 機能により操作者の表情の判別を行い利用する．

３．１．頭の回転角度の取得
Facetracking 機能を用いて，頭のロール角，ピッチ角，ヨー角の取得を行った．
Microsoft で公表されているそれぞれの角度の値の範囲と実際に取得できたそれぞれの角度の値の範囲を Table.1 に示す．
ロール角，ピッチ角，ヨー角，それぞれどの角度も公表されている範囲の半分程の範囲しか取得することができなかった．
Table.1 Measuring range of the Head Angle
RollPitch
Yaw
[deg]
[deg]
[deg]
Data
from thespecification
sheat
Practical
measureme
nt range-90 ~ 90-41 ~ 45

-90 ~ 90

-44 ~ 63

-90 ~ 90-42 ~ 45

３．２．顔座標
Facetracking 機能では，顔の目，眉，鼻，口，輪郭などの部位から合計 100 個の座標を取得することができる．その様子を Fig.4 に示す．取得できる座標値は，640×480 の解像度の RGB 画像の座標系での値である．より臨場感のあるコミュニケーションを行う
ため，この Facetracking 機能から取得できる顔の各部位の座標値を利用し，表情の判別を行い，ロボットの動きに反映させる．
今回は，一般的に真顔といわれる表情と笑顔の 2 つの表情の判別を行う．真顔時と笑顔時の違いは，目の開き具合や口角の上がり具合，口のしわの有無や口の開き具合などがある．しかし，ウェアラブルロボットを用いたテレコミュニケーションシステムでは，操作者はヘッドマウントディスプレイ(HMD)を装着し，ロボットから送られてくる映像を見てやり取りを行う．そのため，操作者の目や眉，鼻が HMD で隠れてしまい，目の開き具合を用いた表情の判別はできない．また，
Facetracking では口のしわの有無の判別はできないため，今回は口の開きと口角の上がりなど，口の座標値の変化のみからの表情の判別を行う．

-3-Fig.4 Face Points

３．３．表情の比較
Facetracking 機能を用いて取得することができる 100 個の座標は全てナンバリングされており，座標値の取得を目的とする口には No.48~No.67 の 20 個の座標があり，Fig.5に示すようになっている．
笑顔となる時の特徴を調べるため，5 人の被験者の真顔時と笑顔時の口の 20 個の座標値の変化を読み取った．真顔時・笑顔時それぞれ 10 回の値を取得し，平均をとり比較をした．今回は正面を向いた状態で比較を行った．比較をする要素として，次の 3 つについて比較をした．1 つ目に ，No.59 と No.49，
No.58 と No.50，No.67 と No.61， No.57と No.51，
No.66 と No.62，No.56 と No.52，
No.65 と No.63 ，No.55 と No.53 の 8 か所から，Fig.6 に示すように口の縦方向の開き具合を比較した．2 つ目に，No.64 と No.60，
No.54 と No.48 の 2 か所から Fig.7 に示すように口の横方向の広がり具合を読み取った．
3 つ目に，No.48，No.60，No.64，No.54 の縦方向の座標値から，口角の上がり具合を読み取った．この時，Fig.8 に示すように No.57と No.51 の中間点を基準点とした． Table.2に，1 つ目と 2 つ目の要素については，真顔時から笑顔時にどれくらい変化があったのかを倍率で示す．3 つ目の要素については，真顔時と笑顔時に口角の位置を比較し，笑顔時に基準点より上がっているかどうかだけを示す．Table.2 を見てわかるように，個人

Table.2 Acquisition result

により差は出るものの，真顔時から笑顔時に変化が大きく出る所とあまり変化のないところが共通してあることが分かる．また，口角については真顔時から笑顔時に口角が上がることがわかるが，被験者 D，E の 2 名のみ右口角が下がってしまっていた．
5049485152616362605953676566
58

57

No.59-49
No.58-50
No.67-61
No.57-51
No.66-62
No.56-52
No.65-63
No.55-53
No.64-60
No.54-48
No.48
No.60
No.64
No.54

54
64

55

56

Fig.5 Mouth points

A
1.8
1.7
12.8
1.9
17.8
1.7
12.1
1.8
1.1
1.0
○
○○○B
1.2
1.1
3.3
1.1
3.6
1.1
3.4
1.2
1.5
1.3
○
○
○○

C
1.2
1.1
1.7
1.2
1.7
1.1
1.7
1.1
1.1
1.1
○
○
○
○D
1.6
1.6
3.6
1.6
4.1
1.6
3.6
1.5
1.1
1.1
○
○××E
1.2
1.1
1.9
1.1
1.8
1.1
1.8
1.2
1.2
1.2
○○××

３．４．動作への反映
取得した真顔時と笑顔時との比較データを用いて，笑顔となる条件を設定する．笑顔と判別された時に，ロボットの動作に真顔時との違いを出し，コミュニケーションをより臨場感のあるものにする．例として，真顔時の動作全体の高周波成分をカットし，笑顔時には逆に高周波成分を強調して感情の変化を演出することを考えている．

Fig.6 longitudinal extent

４．結言
Kinect の Facetracking 機能を用いて，頭の回転角度の取得と真顔時と笑顔時の顔座標の比較を行った．
今後は，Kinect のモーションキャプチャと Facetracking を合わせた操作インタフェ
イスの検証を行う．また，表情判別のため，笑顔となる条件の設定や正面以外での表情取得も行っていく．笑顔となる時の動作の変化についても検証を行っていく．今回は被験者は 5 名であったが，被験者を増やし，より詳しく笑顔となる時の条件を検討していく．

Fig.7 lateral extent

51

Point ofreference57

Fig.8 positions of the corners of the mouth-4-