平 成 ２３ 年 度

修士論文概要

主査

舟橋

入学年度

平成２２年度

論文題目

指先の隠れを考慮したビジョンベースデータグローブ

健司

副査

北村

学籍番号

22417625

はじめに

1

正

研究室

舟橋研究室

氏名

山本

三四郎

指先の隠れを考慮した手の姿勢推

3

定

近年、ビジョンベースデータグローブ (VBDG) に関する研究が盛んに行われている。例えば 、事前に画像

3.1

上の画像上の手の見え方に対する手の姿勢 (各指関節角提案手法の流れ提案手法では 、指先検出により手の姿勢推定を行う度) のデータベース (DB) を構築し 、入力画像とマッチングを行うことで手の姿勢を推定する手法 [1] がある。

VBDG において隠れ指の姿勢を推定する。まず隠れ指

しかしこの手法では 、個人に合った DB を構築する必の姿勢を、隠れ指の動作が隠れる前から継続している

要がある。また、指先検出により手の姿勢推定を行う(一連の動作の途中である) と仮定して推定する。時刻

手法 [2] も存在する。この手法では、事前にユーザーのの経過に従い変化する指関節角度の推移に注目し 、こ手の形状情報のみを登録しておくことで姿勢推定が可の時系列変化を三次多項式で近似する。この角度の推能である。しかし 、セルフオクルージョンにより指先移を基に現フレームにおける指関節角度を推定する。こが検出できないとき手の姿勢を推定できない問題があのとき、指先の位置は考慮していない。しかし実際にる。一般家庭などでの使用を想定すると、各ユーザー

は一連の動作の途中であっても、動作の速度が遅くなっ

毎の手の姿勢の DB の構築は困難であるが 、ユーザー

たり止まったりすることも考えられる。あるいは、動作の手の形状情報の取得は比較的容易であると考えられそのものが変わる場合も考えられる。そこで推定される。そこで本研究では、セルフオクルージョンにより指た指関節角度から指先の位置を求め、これが正しく、他先が検出できないとき、指先が隠れている指 (隠れ指)の指によりカメラ方向から陰となる空間 (陰空間領域)の動作を推定し 、手の姿勢推定を行う手法を提案する。

にあるか否かを判定する。推定位置が陰空間領域にな

実験、検証のためのシステムは 、当研究室でこれまでければ 、動作の速度が遅くなった、止まった、あるいに実験のために構築してきたセルフオクルージョンには同じ 多項式に従っているが元に戻る方向へ変化した

対応していない VBDG システムを基に構築する [3]。

と考え、指先位置が陰空間領域にとど まるように再推定を行う。手の動作そのものが変化した場合には 、指関節角度の変化を基にした多項式では陰空間領域に求従来のビ ジョン ベ ー スデ ー タグ2

まらないこともある。この場合には 、前フレームにおローブける指先の位置から簡易的に求めることとする。また、隠れ指が複数存在する場合にはカメラに対する手の向当研究室における実験のための VBDG システムできから姿勢推定を行う隠れ指の順序を決定する。

は、色マーカーにより入力画像中の指先を検出し 、AR
マーカーから得られる手の 6 自由度と手指の拘束条件には 、各指関節の可動範囲、指関節間の依存関係など

動作が継続していると仮定した場合の隠れ指の姿勢推定を用いている。例えば 、指関節間の依存関係には図 1 の隠れ指の動作が隠れる前から継続している場合には

3.2

により指先の三次元座標を推定する。手指の拘束条件

ような相関関係が存在する。その上で、逆運動学を解

各指関節角度の推移から隠れ指の姿勢が推定可能であくことで手の姿勢推定を行う。

ると考えられる。人間の手は複雑な運動ではあるが滑

100

80

90

70

80

らかな運動をすることから 、各指関節角度の推移を三

60

70
60

50

PIP(度) 50

DIP(度) 40

40

30

30

次多項式で近似する。三次多項式を基に各指関節角度を求めることで隠れ指の姿勢を推定する。ここで、指2020関節角度には図 1 のような相関関係があった。指関節

10

10

0

0
0

10

20

30

40
50
MP(度)

60

70

80

90

0

10

20

30

40

50
PIP(度)

60

70

80

90

図 1: MP 関節 (屈曲・伸展) と PIP 関節の S 字型の相関関係 (左) と PIP 関節と DIP 関節の比例関係 (右)100

角度の推移には 、その動作に合った相関関係が存在すると考えられる。そこで、過去フレームにおける指関節角度から相関関係を導出する。相関関係が導出でき
れば 、指関節角度の推移を表す三次多項式を導出する

際はこの相関関係を内包する三次多項式 fθct (t) を導出

100

度

90

する。相関関係が導出できなければ 、指関節角度の推80移のみから三次多項式 fθt (t) を導出する。t は参照する

70
60

最も過去のフレームからの経過時間を表す。

50
40
30

陰空間領域での不規則な動作を考慮した
隠れ指の姿勢推定

3.3

20
10

frame
0
0

5

10

15

20

25

30

35

動作が継続していると仮定し 、その動作は多項式に
図 2: 示指の PIP 関節の推移従うとものとした。しかし 、そもそも指先が検出できていないため、隠れ指の動作が隠れる以前から継続さ

100

度

90

れているか否か分からない。そこで、動作が継続して8070いるとして、指関節角度の推移を基に推定した姿勢の60

指先位置、および前フレーム姿勢の指先位置の陰空間5040領域に対する内外判定を行う。この判定結果から 、隠30

れ指の動作が完全に多項式に従うか 、動作は多項式に2010従っているが動作の速度が変化しているか 、あるいは

frame
0

動作そのものが変わっているかを判定する。多項式に0従う動作であれば陰空間領域内にとど まるように再推

5

10

15

20

25

30

35

図 3: 示指の MP 関節 (屈曲・伸展) の推移定を行う。隠れ指の動作が多項式に完全に従う動作であれば 、指関節角度の推移を基にした推定姿勢を現フ

均誤差は PIP 関節角度で 6.77 度、MP 関節 (屈曲・伸レームの隠れ指の姿勢とする。また、多項式に従って

展) 角度で 5.60 度、隠れ指の姿勢推定を行った際の平いるが動作の速度が変化している場合には 、多項式に均誤差は PIP 関節角度で 6.78 度、MP 関節 (屈曲・伸与える時刻 t を動作の速度変化に伴う適切な値に設定・

展) 角度で 18.10 度であった。実験より、隠れ指全体の変更することで、隠れ指の姿勢を推定し 、陰空間領域

姿勢がある程度の精度で推定できており、画像上の見内となる姿勢を現フレームの隠れ指の姿勢とする。動

え方に近い姿勢で推定できていることが確認できた。

作そのものが変化している場合は 、時系列データから隠れ指の姿勢を推定することは困難である。そのため、前フレーム姿勢のみから簡易的に画像座標を基に陰空間領域を考慮した隠れ指の姿勢を推定する。

手の向きによる隠れ指の姿勢推定の順序

3.4

5

むすび
本研究では 、セルフオクルージョンにより指先が検出できないときでも、隠れ指の動作を推定し手の姿勢を推定する手法を提案した。実験より、指先が検出できない場合でも各指関節角度の時系列変化を基に手の隠れ指が複数存在する場合、ある隠れ指先は他の隠姿勢が推定できていることが確認できた。今後の課題

れ指の陰空間領域に存在する可能性もある。そのため、としては 、隠れ指以外の指の姿勢を考慮して姿勢推定

カメラ手前方向にある隠れ指から姿勢推定を行う必要するなど 、推定精度の向上などが挙げられる。

がある。本手法では 、手指は自然な手動作を行うとして隠れ指が複数存在する場合には 、手指の拘束条件を基に手の向きから隠れ指の姿勢推定を行う順序を決定
する。

4

実験
提案手法を用いた実験システムを作成し 実験を行った。実験は２視点から計測を行い、全ての指を検出し

参考文献[1] 藤本光一，松尾直志，島田伸敬，白井良明， 輪郭部分
特徴の階層構造学習による三次元手指姿勢推定の高速化 , 画像の認識・理解シンポジウム,IS3-64,2010.

[2] 陳維英，藤木隆司，有田大作，谷口倫一郎， 複数
カメラを用いた実時間三次元手形状推定 , 画像の認識・理解シンポジウム,pp.328-333,2006.

た視点での推定姿勢を真値とし 、隠れ指の姿勢推定の精度の計測を行った。実験の結果を図 2 、図 3 に示す。
図中 11 フレームから 30 フレームまでが指先が隠れたフレームである。また、破線が真値を表し 、実線が推定値を表す。２視点から全ての指が検出できたときの平[3] 山本三四郎，舟橋健司， 一般家庭への普及を考慮したイメージベースデータグローブの検討 , 日本
バーチャルリアリティ学会第 15 回大会講演論文集,

2A2-5(DVD-ROM),2010.