、・w

計測自動制御学会東北支部第 28
3回研究集会 (2013.
10.
25)
資料番号 28
3・1

ジ、エスチャユーザインタフェースのためのP型フーリ工記述子を用いた手の姿勢推定
Hand‑PoseEstimationUsingP‑typeFourierDescriptiorsforGesture‑BasedUserInter
face0立見駿介*， i
長 山呂論ぺ亀山充隆*

oShunsukeTatsumiヘM anoriHariyamaぺIv
1ichitakaKameyama*
邸*東北大学大学院情報科学研究科*GraduateSchoolofInformationSciences，TohokuUniversity
キーワード: ジェスチャユーザインタフェース (Gesture‑
BasedUserInterface)，
手の姿勢推定 (Hand‑
PoseEstimation)，
P型フーリエ記述子 (P‑typeFourierDescriptors)，

3次元手形状モデル (3‑DHand!
¥.
Iodel)，複数カメラ (!
¥.
lulti‑camera)

連絡先: 干 980・8579 仙台市青葉区荒巻字青葉 6‑
6・05
東北大学大学院情報科学研究科亀山・張山研究室立見駿介
Tel.
:(022)795・7155，Fax.
:(022)
263・9167，E‑mail:s̲tatsumi<Oecei.tohoku.ac.jp

1. はじめにに分けられる. 1つ目は画像から姿勢の特徴を抽出し， 3次元手形状モデルの姿勢パラメータを近年，ヒューマンインターフェースへの応用を変化させて l酎像と特徴が一致させることで姿勢目的の 1つとして，任意の姿勢における手の姿勢を推定する手法 2)である.この手法は精度の高を計測し計算機への入力ヘ利用しようとする試

い姿勢推定を行うことが出来るが，オクルージ、ヨみが行われている.これは手の姿勢を計測するンに弱いという特徴がある. 2つ目はあらかじことで，ジェスチャを用いて入力機器に触れるこめ様々な手の姿勢画像をデータベースに登録しとなく機探の操作を行ったり 3Dコンテンツのておき，入力と類似度の高い画像を求めること

操作をより直感的に行うことが出来ると考えらで姿勢を推定する手法 3)である.乙の手法は事れているからである.手の姿勢を取得するため前に様々な姿勢の手の画像を登録しておくこと)?の手法としては，手にセンサを取り付けたり 1でオクルージョン強い推定を行えるが，手は姿マーカや特殊な手袋を用いるなどの手法があり，勢変化の自由度が大きいため探索対象の姿勢の

このような方法はシンプルで、実時間で、の処理に数が多くなり推定精度と推定速度にトレードオ

適しているがー使用状況が限られたりユーザにフが生じるという特徴がある.そこで探索姿勢不自由を与える場合がある.そのためカメラかを直前に推定された姿勢の近傍姿勢のみに限定

ら取得した画像のみを用いて手の姿勢を計測す)やヲ姿勢のクラスタリングを行い階する手法 4る手法が研究されており，大きく次の 2つの手法

層構造を用いて探索木を構成することにより探噌EA、索範囲を絞る手法 5)等が提案されている.

ユーザのジェスチャ
入力伽刈糊時の腕本研究では 3次元手形状モデルを用いて事前

臨 画 像 とD酬 函 眠 時

aに認識するジェスチャ姿勢の画像を作成しておd豆互〉

く 2つ目の手法をとる.入力画像と事前に作成した耐像とでマッチングを行うことにより手の姿勢を推定し，ジ、エスチャを認識して機器への入力に用いることで，マーカレスかつ直感的な片手のみによる 3Dコンテンツの操作を行うこと￨I~LLJ~

ι手の妥"の潅定

8OO~匝Eを: lジzステャ‑処理

gジd 刊 こ 仇 し た 慢 崎 市

Fig. 1 ジ、ェスチャ認識処理の流れを目的とする.本稿では P型フーリエ記述子による特徴表現を利用した手の姿勢推定手法を提案し，ジェスチャを認識して 3Dコンテンツの操ブラリを利用することでハンドトラッキングが作を行う.ジェスチャは平行移動・拡大・縮小容易に可能であることが理由であり?センサがと回転に対応するものを定義し，それぞれ手のK
inectでなくても問題はない.なお K
inectと3次元空間の位置の変化から移動量?回転動作の01
0年に M
icrosoft社から発売された同社製は2推定姿勢から回転量を取得して操作老実現する.

機器用のゲームコントローラであり， RGBセン‑t7，Depthセンサ，マイク等を備えている.

2. P型フーリエ記述子による輪郭
2.
2 P型フーリエ記述子を利用したマッチ

特徴表現

ング手法

2.
1 ジ、ヱスチャ認識処理の概要
ジ、ェスチャ認識処理の流れを Fig.
1に示す.ジ
ェスチャ認識処理は事前に行う処理とジェスチャ操作時に行う処理の 2つに分かれている.事前に行う処理では，まずユーザの手と 3次元手形状モデルとでキャリプレーションを行った後，モデ、ルを用いてジ、ェスチャ認識に必要となる様々な姿勢の手の繭像を作成し，データベースを作成する.ジ、エスチャ操作時に行う処理では，まずユーザ、のジ、エスチャを Kinect6)を用いて撮影

手の姿勢を推定するためにマッチングを行う.
画像に基づくマッチングでは輪郭線，シルエッ
ト，輝度，奥行き?特徴点?エッジ等様々な画像特徴が用いられるが，本稿では輪郭線に着目し守輪郭線を P型フーリエ記述子で表現し特徴量とするマッチング手法を提案する.まず P型フーリig.
2のよエ記述子について説明する.曲線を F
うに折れ線近似すると，座標 Ziと座標 Zi+lの関係は偏角 8iを用いて次式で表される.

し， RGB画像と D
epth画像を取得する.次に取)問 =exp(j8i

得した RGB画像とデータベース内の画像とで(1)マッチングを行い，手の姿勢推定を行う.その後

m を周期関数として離散フーリエ変換を求める

姿勢推定結果の時系列を基に入力されたジ、エスと次式のようになる.

チャを認識し， 3Dコンテンツにジェスチャに対噌する.
ユーザ、のジェスチャを取得するためのセンサ

inectを用いているがヲこれは RGB画として K像と Dept
h画像の取得が容易であること T ライ

N‑lα=方言問e咋

応する操作を行うことでジ、ェスチャ操作を実現(2)

Ckを P型フーリエ記述子という .P型フーリエ記述子は平行移動，拡大・縮小に対して不変であるという特徴を持つ.

‑2‑Fig.2 曲線の折れ線近似

Fig.4 3次元手形状モデル

側面・圏
一
哩
一
￨
一
陣
刷、ー・J

肺線鎗幽

ヂ首、皿t
=:=t

市 ー リZ臨 子
で夜寝

品.ぷお

前フレームの4
量定11ftゆ:(五尋誇コ¥ 三三三三三/マ守チシグ剣

c:::中￨曜日Z鶴 子 ￨ 〆am"{鐸.
1Ii11l品事事
前フレームの髭.，二量E
い11"F
ig.3 P型フーリエ記述子を利用したマッチング手法

P型フーリエ記述子を利用したマッチング手ig.
3に示す.取得した画像とデー法の概要を F
タベース内の画像それぞれで輪郭線を抽出してP型フーリエ百己主子で表し， 2つの特徴の低次成分のユークリッド距離を相違度としてマッチングを行う.マッチングによって相違度が最小と‑ー:偲織する

aoF
ig.5 変化姿勢の予測えることできる.このときモデルを使用しない
場合は情報が取得できなかった手部分の姿勢は推定することが出来ないが，モデルを使用するととにより取得できた情報を用いて姿勢推定を行い推定姿勢のモデ、ル情報から情報が取得できなかった手部分の姿勢を推定するととが出来る.

なるデータベース画像を求め，その画像の姿勢を推定姿勢とする .P型フーリエ記述子を用い

3.
2 変化姿勢の予測ることで，平行移動，拡大・縮小の影響を受けずマッチングを行う際にデータベース内の全てに姿勢推定ができる?低次成分のみを用いるこの姿勢とマッチングを行うと，取得情報の欠損とで大まかな形状の認識ができる，低次成分のやユーザの手とモデルとの形状の差異などの原みを用いるので計算量が少なく済むといった利因から?特徴量は似ているが大きく異なる姿勢点がある.

を推定してしまう乙とがあり，問題となる.そこで前フレームで推定された姿勢から近い姿勢の3. 3次元手形状モデルに基づく姿みをマッチング対象として探索することでありFig.
5). これえない姿勢を推定することを防ぐ (勢推定はフレーム間隔が小さいならば隣接したフレー

3.
1 3次元手形状モデル

ム聞における手の姿勢は近いものになるという

本稿では 3次元手形状モデル (Figめ に 基 づ

考えに基づいた手法である.姿勢推定開始の際いた手の姿勢推定を行う.姿勢推定に 3次元手はあらかじめ定めた開始姿勢を認識し，そこか形状モデルを用いる利点としては，取得情報のら姿勢探索を開始する.変化姿勢の予測の利点

欠損やノイズ、およびオクルージョンに強い推定としてはありえない姿勢を探索することが無くが行えることが挙げられる.これらは推定したなり精度が向上すること，計算量が削減できるい手部分の情報が取得できない場合であると考ことが挙げられる.

‑3‑

.

云事;;
?
Z5
叫""""~

元OIf鈴

L‑.
.
.
.

脱税

Fig.6 見分けにくい回転動作
取得した鮒にi"‑;fc，、て録作を行う

カメラ t/一一一¥lFig.8 ジ、エスチャ認識処理の流れ¥¥カメラ 2

スチャの認識は基本となる姿勢が認識された後.

乎

一定フレーム間内にジ、ェスチャ開始姿勢が認識

Fig.7 カメラの配置図されることで成立する.またジェスチャ開始後はジ、エスチャ開始姿勢の手形状のまま手の移動 T

3.
3 複数カメラの利用

回転動作を行うことで 3Dコンテンツの操作を

本稿ではジ、ェスチャによる 3Dコンテンツの直感的な回転操作を実現するために手の回転動作の認識を行っている.しかし回転動作ではオ行い ジ、ェスチャ開始姿勢の手形状とは異なる手形状になったときジェスチャが終了したと判断して操作をやめる.

クルージ、ヨンが多く発生し?単一のカメラでは見分けることの出来ない動作が発生することが4.
2 ジ、工スチャ操作の実験

Fig.
6). そこで本稿ではオクルー問題となる (

提案手法を用いて?ジ、エスチャによる 3Dコン

ジ、ヨンを軽減する為に 2台のカメラを利用する

inect
テンツの操作を行った.実験には 2台の K

(Fig.
7)
. これにより単一のカメラでは見分けるを用いて画像を取得し， I
ntelCore
2DuoE8400

ことが出来ない動作を見分けることが出来る.

3.00GHzCPUを搭載した PCで、処理を行った
結果?平均 2.
4fps程度の処理速度となった.操作結果を Fig.
9に示す.

4. ジ、エスチャ認識

平行移動・拡大・縮小操作においては概ね意4.
1 ジ、エスチャ認識処理

図したとおりの操作が実現できた.しかし手をジ、ェスチャ認識処理の涜れを F
ig.
8に示す.ジ

動かしていないつもりでも多少 3Dコンテンツ

ェスチャ認識処理で、は手の姿勢推定結果の時系が動いてしまったり T 終了時にジェスチャ中の姿列を記録し，その時系列から平行移動・拡大・縮勢以外の姿勢に変化している際の動きが操作に小，回転に対応するジェスチャを認識する.その反映されることが問題として挙げられた.回転後認識したジェスチャに応じて移動量を RGB画

操作においては 3Dコンテンツに対する回転動像と Depth画像から取得，もしくは回転量を推作は結果として実現できるがユーザが意図す定姿勢から取得しヲ取得した情報に基づいて 3Dるであろう滑らかな回転操作を実現することはコンテンツの操作を行う.

出来なかった.どちらも取得した情報をそのま各操作に対応したジ、ェスチャは全てのジェス

ま 3Dコンテンツの操作に用いたことが原因でチャで、共通の基本となる姿勢と各ジ、ェスチャにあり，取得情報からジ、ェスチャでない動作を認

固有のジェスチャ開始姿勢の 2つから成り?ジェ識する等の処理が必要であると考えられた.ま

‑4‑

4、.3
19，No5，pp.
1325‑
応用?情報処理学会論文誌，Vo初期位置

i

左へ慢作

ji

拡夫操作

19981333，2) 陳維英，藤木隆司，有国大作，谷口倫一郎:複数カ
メラを用いた実時間三次元手形状推定，画像のM
IRU
2006)，
2006
認識・理解シンポジウム (j取得画像.

3) 今井章博，島田伸敬，白井良明:実時間手指推定のためのロバストな輪郭画像照合，コンビュータビジョンとイメージメディ
ア，Vo.2
1002，
No.
34(
2002・CVIM‑
133)，
pp.
63‑:
30
コンテンツ:

200270，(a)平行移動・拡大・縮小操作

初期聾努; 回転操作4) 島田伸敬，白井良明 g 久野義徳:確率に基づく探索と照合を用いた両像からの手指の三次元姿‑
IIJ
79‑
D‑
勢推定，電子情報通信学会論文誌 D

回転操作 2pp.
12
10・12
17，
1996I
I/
7，i磁 得 画 像 :5) 藤本光一，松尾直志，島田伸敬，白井良明:輪郭部
分特徴の階層構造学習による三次元手指姿勢推定の高速化，削像の認識・理解シンポジウム(l¥HRU2010)，
pp.
63‑70，20
10:30
コンテンツ:6)K
ine
ct‑X
box.
com.
htt
p://ww
w.
xbox.
com/
ja‑

JP/kir蹴 t/，
20
13/
10/
24(b)回転操作

Fig.9 実験結果た回転操作時に誤推定を起こし，実際の動作と異なる姿勢変化経路が取得されることが問題として挙げられた.そこで各カメラの信頼度を考慮して重み付けを行うなどによる姿勢推定精度の向上哲姿勢変化経路までを考慮した姿勢推定等が必要であると考えられた.

5. まとめ
本稿で は手のジ、ェスチャによって 3Dコンテンツの操作を行うために手の姿勢を推定する手法として， 3次元手形状モデ、ルに基づ、いた手の姿勢推定手法および P型フーリエ記述子を利用したマッチン夕、手法を提案した.今後の課題として姿勢推定精度の向上?処理速度の向上?非ジェスチャの認識等が挙げられる.

参考文献︒
︐1) 津田秀之，橋本周司，松島俊明:運動特徴と形状特徴に基づいたジェスチャー認識と手話認識への