平成 23 年度 修士学位論文

指先の隠れを考慮した
ビジョンベースデータグローブ

指導教員
舟橋

名古屋工業大学

大学院工学研究科

平成 22 年度入学

名前山本

情報工学専攻22417625 番

三四郎

健司

准教授

i

目次

第 1 章 はじめに

1

第 2 章 従来のビジョンベースデータグローブシステム

4

手指の拘束条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1.1

各指関節の可動範囲 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1.2

指関節間の依存関係 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.2

順運動学 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

2.3

マーカーによる特徴量抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

2.4

指先の三次元位置推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

2.5

逆運動学による手の姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

2.1

第 3 章 指先の隠れを考慮した手の姿勢推定

14

3.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

3.2

動作が継続していると仮定した場合の隠れ指の姿勢推定 . . . . . . . . . . . . .

15

3.2.1

過去フレームにおける相関関係を基にした指関節角度の推移 . . . . . .

16

3.2.2

過去フレームにおける相関係数が求まらない場合の指関節角度の推移 .

16

3.2.3

指関節角度の推移を基にした隠れ指の姿勢推定 . . . . . . . . . . . . . .

18

3.3

3.4

陰空間領域での不規則な動作を考慮した隠れ指の姿勢推定. . . . . . . . . . .

19

3.3.1

陰空間領域 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

3.3.2

継続している動作の速度が変わる場合の隠れ指の姿勢推定 . . . . . . .

22

3.3.3

動作そのものが変わる場合の隠れ指の姿勢推定 . . . . . . . . . . . . . .

25

手の向きによる隠れ指の姿勢推定の順序 . . . . . . . . . . . . . . . . . . . . .

26

第 4 章 実験および評価、考察

29

4.1

実験システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

4.2

処理速度に関する評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

4.3

隠れ指先が存在する際の手の姿勢推定に関する評価 . . . . . . . . . . . . . . .

30

第 5 章 むすび

35

謝辞

36

ii

参考文献

37

発表論文リスト

39

1

第 1 章 はじめに

バーチャルリアリティ(Virtual Reality:以下 VR) とは、 それがそこにない (現前していない)にもかかわらず、観察する者にそこにあると感じさせる (同一の表象を生じさせる) もの[1]である。VR 技術を利用することで人は現実には体験しなくても、現実の体験と同質の体験をすることが可能となる。そのため、体験する環境や操作する実物を用意するためのコストの削減、容易に繰り返し行えることによる訓練効率の向上、実環境下での危険性の回避などの恩恵を享受することが可能である。近年では VR 技術を利用した教育・訓練シミュレータが多く開発されている。例として、手術などの医療シミュレータ [2] や治療、訓練シミュレータ [3, 4] などが挙げられる。しかし 、これらの VR 技術を利用したシミュレータでは必要とするインター
フェースが巨大、高価なため用いられている分野が限定的であり、一般家庭などの身近な場には広く普及しているとは言えない。

VR 技術においてよく使用されているインターフェースには、ヘッド マウントディスプレ イ、ロボットアーム、データグローブ、タッチパネル、3 次元マウスなど 多くの種類がある。本研
究では、人は現実空間において主に手で物体操作を行っているため、仮想空間においても同様に手で物体操作を行うことが多いと考え、手の動作・姿勢を計測するデータグローブに着目し考察を行った。ここで手の姿勢とは、各指関節角度によって定まる手指形状である。
データグローブは様々な手法のものが開発されている。一般的のものとしてベンド センサによって計測を行うデータグローブがある。ベンド センサのデータグローブは、一つのセンサで一つの曲げ角を計測するため正確な手の姿勢の計測を行うには各指関節にセンサを取り付ける必要がある。そのため、全体のセンサの数が多くなり、高価なものとなっている。しかし中には、各指の全体の曲げ角を一つのセンサで計測し 、それぞれの指関節についての計測を省くことでセンサの数を少なくした安価なデータグローブも存在する。しかしながら、それぞれの指関節に対する計測を省いているため、正確な手の姿勢の計測が不可能となっている。また、カメラ画像 (動画像) から手の姿勢の推定を行うビジョンベースのデータグローブの手法も存在する。ビジョンベースのデータグローブには、大まかに分けて二つの手法がある。事前に画像上の手の見え方に対する手の姿勢のデータベースを構築しておき、入力画像とマッチングを行う
ことで手の姿勢を推定する手法と、マーカーや特徴量から指先検出を行い、ジェスチャの認識を行う手法や手の姿勢推定を行う手法である。
入力画像とのマッチングにより手の姿勢を推定する手法では、手の様々な姿勢をデータベースに登録できるためセルフオクルージョンの問題に対応することができる。しかし 、この手法

第 1 章 はじめに

2

では手の自由度が高く入力画像に対する探索対象の数が非常に多いため、推定精度と処理速度のトレード オフとなっている。そこで、島田ら [5] は手の姿勢は時系列変化していくものであるため、現時刻の姿勢の探索範囲を前時刻で推定された姿勢の近傍とすることで探索範囲を削減している。また、藤本ら [6] はデータベースを木構造とすることで効率的に探索範囲を削減することで高速化を実現している。島田ら [5] はシルエット画像を、藤本ら [6] は輪郭情報を用いて探索を行っているが 、シルエット画像、輪郭情報はともに手の表裏情報を含まないため手の回転 (上腕の回旋運動) に対応できない問題がある。この問題について玉城ら [7] は、輪郭情報に爪の位置情報を加えることを提案している。しかしながら、推定精度を高めるためにはより多くの手の姿勢に対する各種情報が必要であるが 、シルエット画像や輪郭情報、爪の位置情報は個人差が大きいことが予想される。そのため、個人個人に合った手の姿勢に対応するシルエット画像や輪郭情報、爪の位置情報のデータベースが必要となるが 、一般家庭などの環境下においてこれらのデータベースを構築するのは困難である。また、Wang ら [8] はマルチカラー
グローブを用いて入力画像とマッチングを行うことでシルエット画像や輪郭情報よりも定量的な情報で推定を行っている。しかし 、同じ手の姿勢でも手の大きさの違いにより入力画像が異なる問題は依然残されている。
一方、ビジョンペースの手法においてマーカーや特徴量から指先検出を行う手法はさらに大きく二つの手法に分かれる。検出された指先からジェスチャ認識をする手法 [9, 10] と、掌に対す
る指先の位置から逆運動学 (Inverse Kinematics: IK) を解いて手の姿勢を推定する手法である。
ジェスチャ認識をする手法では、検出された指先の組み合わせや動きによってジェスチャ認識を行うものであり、各指関節の角度を推定していない。そのため、インターフェースとしての汎用性を考えると、物体の把持動作などが可能な手の姿勢を推定する手法が有用であると言える。
手の姿勢を推定する手法では、藤木ら [11] はステレオ視と指先のマーカーにより、Pamplonaら [12] は指先の AR マーカーにより、陳ら [13] はステレオ視と輪郭形状より指先の位置を推定する。そして逆運動学を解くことで手の姿勢を推定している。これらの手法では、逆運動学を解く際に必要な情報であるユーザの手の形状情報 (ハンド モデル ) さえ用意できれば手の姿勢推定を行うことが可能である。一般家庭などの環境下では、ユーザごとの各種情報データベースの作成とハンド モデルの作成を比較するとハンド モデルの作成の方が容易である。しかし 、指先検出により手の姿勢を行う手法ではセルフオクルージョンにより指先が検出できない場合には手の姿勢推定が行えない問題がある。陳ら [13] は複数台のカメラからセルフオクルージョン
が少なく手の形状情報が最も多い２枚の画像を用いることを提案しているが 、一般家庭などの環境下でカメラを複数台設置することは難しい。
マーカーや特徴量からの指先検出手法や、逆運動学による姿勢推定については、前述の通り
様々な研究が行われている。そこで本研究では、指先検出により手の姿勢推定を行う手法において、セルフオクルージョンにより指先検出ができない場合でも手の姿勢推定を可能とする方法について述べる。実験、検証のためのシステムは、当研究室でこれまでに構築してきたセル第 1 章 はじめに

3

フオクルージョンには対応していないビジョンベースデータグローブシステムを基に構築する[14]。このシステムではカメラ画像から色マーカーを基に指先を検出し 、ARToolKit[15] マー
カーにより手全体の 6 自由度の挙動を取得する。その上で、各マーカーからの情報と手指の拘束条件により指先の三次元位置を推定し 、逆運動学を解くことで手の姿勢推定を行う。しかし 、ある指先が他の指などに隠された場合には、この指の各指関節角度を求めることができない。
本提案手法ではまず、ある指が隠れた場合 (すなわち、隠れていない状態から隠れている状態に移動した場合) にも、しばらくの間はその動作が継続していると考える。この動作 (手の姿
勢、すなわち各指関節角度の時系列変化) が多項式により表現できると仮定し 、現在の (隠れている) 時刻 (現フレーム) における姿勢を、指先の位置とは無関係に推定する。しかし必ずしもこの推定が正しいとは限らない。そこで順運動学により推定される指先の位置を求め、推定結果がセルフオクルージョンにより指先が隠れる姿勢であるか否かを判定する。その上で、必要に応じて隠れる姿勢になるように多項式に従い再推定する。ところで、そもそも指の動きを表す多項式が途中で変化することも考えられる。このような状況は比較的少ないと考え、直前の時刻 (前フレーム) における指先の位置 (これは計測値の場合と、推定値の場合がある) から簡易的に求めることとする。この提案手法に基づき、指先検出による手の姿勢推定を行うビジョ
ンベースデータグローブにおいて、セルフオクルージョンにより指先検出ができない場合の手の姿勢推定を実現する。
以下、第 2 章において従来のビジョンベースデータグローブシステムについての概要を説明する。第 3 章では指先が検出されなかった指の姿勢を推定する提案手法、第 4 章では提案手法の実験とその結果、第 5 章で今後の展望について述べる。

4

第2章

従来のビジョンベースデータグローブシ
ステム

本章では、以前に提案してきた従来のビジョンベースデータグローブシステムについて説明する [14]。従来のビジョンベースデータグローブシステムでは、色マーカーにより入力画像中の指先を検出し 、AR マーカーから得られる手の 6 自由度と手指の拘束条件により指先の三次元座標を推定する。そして、逆運動学を解くことで手の姿勢推定を行う。また、手は本来は非剛体の物体であるが、手の姿勢推定を優先し 、他の物体との接触を行うことを考慮しないため、手を各関節点で剛体同士が接続された剛体の物体として近似した骨格モデル (図 2.1) とそれに付随する簡単なスキンモデルを使用する。ここで、骨格モデルの指関節には、母指の IP 関節と MP 関節にそれぞれ 1 自由度、CM 関節に 2 自由度の計 4 自由度、その他の指には DIP 関節と PIP 関節にそれぞれ 1 自由度、MP 関節に 2 自由度の計 4 自由度を設定する。なお、本研究では各関節の名称を表 2.1 のように表記する。

図 2.1: 骨格モデル

第2章

従来のビジョンベースデータグローブシステム

5

表 2.1: 各関節の名称と表記
名称表記
遠位指節間関節
近位指節間関節中手指節関節指節間関節 (母指)
母指手根中手関節

2.1

DIP 関節PIP 関節
MP 関節
IP 関節
CM 関節

手指の拘束条件

人間の手には構造上様々な拘束があり、これは拘束条件として知られている。この拘束条件をモデルに取り込み、手の姿勢を推定する上で活用する。

2.1.1

各指関節の可動範囲

指の関節には文献 [16] にあるようにそれぞれ可動範囲がある。各指に対応する可動範囲を知識と経験に基づいて設定する。設定した各関節に対応する可動範囲は表 2.2 に示す通りである。

IP
母指0◦ ∼ 80◦示指0◦ ∼ 80◦中指

0◦ ∼ 80◦0◦ ∼ 80◦0◦ ∼ 80◦

DIP

環指
小指

2.1.2

表 2.2: 設定した各指関節角度の可動範囲
MP
CM(掌側内転・外転) CM(尺側内転・橈側外転)0◦ ∼ 60◦
PIP◦
0 ∼ 100◦0◦ ∼ 100◦0◦ ∼ 100◦0◦ ∼ 100◦0◦ ∼ 90◦
MP(屈曲・伸展)0◦ ∼ 90◦0◦ ∼ 90◦0◦ ∼ 90◦0◦ ∼ 90◦0◦ ∼ 60◦
MP(内転・外転)−25◦ ∼ 25◦−25◦ ∼ 25◦−25◦ ∼ 25◦−25◦ ∼ 25◦

指関節間の依存関係

母指以外の指 i(i = 1 ∼ 4) における各指関節角度には次のような依存関係が存在する。ここで、i = 1 は示指を表し 、i = 4 は子指を表す。また、母指を指 0 とする。

• DIP 関節と PIP 関節の関節角度には比例の相関関係がある [17](図 2.2)。
• PIP 関節と MP 関節 (屈曲・伸展) の関節角度には S 字型の相関関係がある [18](図 2.3)。
また、母指にも他の指と同様な以下のような依存関係が見られる。

第2章

従来のビジョンベースデータグローブシステム

6• IP 関節と MP 関節の関節角度には比例の相関関係がある (図 2.4)。
• MP 関節と CM 関節 (掌側内転・外転) の関節角度には逆 S 字型の相関関係がある (図 2.5)。
ここで、指 i の MP 関節は屈曲するほど 内転・外転の可動範囲の中心に向かっていき [18] 、かつ可動範囲が狭くなる性質が見られるため、式 2.1 のように MP 関節 (内転・外転) の可動範囲を改めて設定する。ここで、θi3 は指 i の MP 関節 (屈曲・伸展) 角度を表し 、θi4 は指 i の MP
関節 (内転・外転) 角度を表す。
80

100

70

90
80

60

70

50

60

DIP(度) 40

PIP(度) 50

30

40
30

20

20

10

10

0

0
0

10

20

30

40

50
PIP(度)

60

70

80

90

100

0

10

20

30

40
50
MP(度)

60

70

80

90

図 2.2: DIP 関節と PIP 関節の関節角度の相関 図 2.3: PIP 関節と MP 関節 (屈曲・伸展) の関関係
節角度の相関関係

80

60

70

50

60
40

50

MP(度) 30

IP(度) 40
30

20

20
10
10
0

0
0

10

20

30
MP(度)

40

50

60

0

10

20

30

40

50

60

70

80

90

CM(掌内転・外転)(度)

図 2.4: IP 関節と MP 関節の関節角度の相関関係 図 2.5: MP 関節と CM 関節 (掌側内転・外転)の関節角度の相関関係{

2.2−(25 − 0.5 ∗ (θi3 − 60.0))◦ ≤ θi4 ≤ (25 − 0.5 ∗ (θi3 − 60.0))◦ (θi3 ≥ 60◦ )−25◦ ≤ θi4 ≤ 25◦(θi3 < 60◦ )

(2.1)

順運動学

2.1 節の拘束条件を利用し順運動学 (Forward Kinematics: FK) を求めるために、まず指の構造の数式化を行う。指の構造を数式化するために 、修正 Denavit-Hartenberg 記法 [19] を用いる。母指以外の指 i の DH パラメータを表 2.3 に、母指の DH パラメータを表 2.4 に示す。表の

第2章

従来のビジョンベースデータグローブシステム

7

変数については図 2.6 、図 2.7 に示す通りである。ここで、a はリンクの長さ、α はリンクのね
じれ角、d はリンク間距離、θ はリンク間角度を表す。
表 2.3: 指 i の DH パラメータ
a
α
d
θ
リンク 1
リンク 2
リンク 3
リンク 4
リンク 5

θ i1

0
0
Li3
Li2
Li1

180
−90
0
0
0

0
0
0
0
0

DIP

Li 2

θi 4

Li 3

リンク 3
リンク 4
リンク 5

0
0
L03
L02
L01

θ 02

0
0
0
0
0

θ03
θ04 −90
θ02
θ01
0

IP

IP

L02
MP

MP

θ 03

L03
CM

内転・外転

屈曲・伸展
(掌側内転・外転)

図 2.6: 指 i の DH パラメータの変数

90
90
−90
0
0

L01

MP

MP
屈曲・伸展

リンク 2

PIP

PIP

θi3

リンク 1

θ 01

Li1
DIP

θi 2

θi4 −90
θi3
θi2
θi1
0

表 2.4: 母指の DH パラメータ
a
α
d
θ

θ 04
CM
尺側内転・橈側外転図 2.7: 母指の DH パラメータの変数

表 2.3 に基づき指 i の順運動学 F Ki (θi4 , θi3 , θi2 , θi1 ) を求めると式 2.2 に、表 2.4 に基づき母指の順運動学 F K0 (θ04 , θ03 , θ02 , θ01 ) を求めると式 2.3 となる。

Li1 sinθi4 cos(θi3 + θi2 + θi1 )+Li2 sinθi4 cos(θi3 + θi2 ) + Li3 sinθi4 cosθi3F Ki (θi4 , θi3 , θi2 , θi1 ) =  Li1 cosθi4 cos(θi3 + θi2 + θi1 )+Li2 cosθi4 cos(θi3 + θi2 ) + Li3 cosθi4 cosθi3
Li1 sin(θi3 + θi2 + θi1 ) + Li2 sin(θi3 + θi2 ) + Li3 sinθi3


(2.2)

第2章

従来のビジョンベースデータグローブシステム

8
L01 cosθ04 sinθ03 cos(θ02 + θ01 ) − L01 sinθ04 sin(θ02 + θ01 )+L02 cosθ04 sinθ03 cosθ02 − L02 sinθ04 sinθ02






+L03 cosθ04 sinθ03
F K0 (θ04 , θ03 , θ02 , θ01 ) =  L01 cosθ03 cos(θ02 + θ01 ) + L02 cosθ03 cosθ02 + L03 cosθ03  (2.3)
 L sinθ sinθ cos(θ + θ ) + L cosθ sin(θ + θ ) 
 01
04
03
02
01
01
04
02
01 




+L02 sinθ04 sinθ03 cosθ02 + L02 cosθ04 sinθ02+L03 sinθ04 sinθ03

ここで、図 2.2 より DIP 関節角度 θi1 (= fθi1 (θi2 )) は式 2.4 で、図 2.4 より IP 関節角度 θ01 (=fθ01 (θ02 )) は式 2.5 で表すことができる。
fθi1 (θi2 ) =fθ01 (θ02 ) =

2
θ
3 i2
4
θ
3 02

(2.4)
(2.5)

また、図 2.2 と図 2.4 の相関関係は比例関係であるため様々な手動作においてこれに近い相関を保つことが予想される。そこで、式 2.2 に式 2.4 を、式 2.3 に式 2.5 を代入し 、式 2.6 を指 iの順運動学 F Ki (θi4 , θi3 , θi2 ) の式として、式 2.7 を母指の順運動学 F K0 (θ04 , θ03 , θ02 ) の式として用いる。

Li1 sinθi4 cos(θi3 + 53 θi2 ) + Li2 sinθi4 cos(θi3 + θi2 ) + Li3 sinθi4 cosθi3
F Ki (θi4 , θi3 , θi2 ) =  Li1 cosθi4 cos(θi3 + 35 θi2 ) + Li2 cosθi4 cos(θi3 + θi2 ) + Li3 cosθi4 cosθi3 (2.6)
Li1 sin(θi3 + 35 θi2 ) + Li2 sin(θi3 + θi2 ) + Li3 sinθi3
L01 cosθ04 sinθ03 cos 73 θ02 − L01 sinθ04 sin 37 θ02
+L02 cosθ04 sinθ03 cosθ02 − L02 sinθ04 sinθ02 + L03 cosθ04 sinθ03 7
(2.7)F K0 (θ04 , θ03 , θ02 ) =  L01 cosθ03 cos 3 θ02 + L02 cosθ03 cosθ02 + L03 cosθ03 L sinθ sinθ cos 7 θ + L cosθ sin 7 θ

 01

04
03
01
04
3 02
3 02
+L02 sinθ04 sinθ03 cosθ02 + L02 cosθ04 sinθ02 + L03 sinθ04 sinθ03

2.3



マーカーによる特徴量抽出

ビジョンベースデータグローブシステムでは、色マーカと ARToolKit マーカーを使用する。
各指先に一つずつそれぞれ異なった色の色マーカーを指先を覆うように取り付け画像中の指先の位置を計測する。CSV 色空間でそれぞれの色マーカーに対応する色領域にラベル付けを行い

LUT を作成する。カメラからの入力画像の各画素の CSV 値で LUT を参照することで色マーカーの対象領域を抜き出したマスク画像を作成する。作成したマスク画像のノイズを取り除く
ためモルフォロジー変換の縮退処理によりノイズ除去を行う。ノイズ除去を行ったマスク画像
から各色マーカーの領域の重心点の座標 (xi , yi ) を算出し画像中の指先の位置とする。
また、ARToolKit マーカーを指でマーカーが隠れない位置であること、指を動かす際に邪魔にならない位置であることなどを考慮して図 2.8 の位置に取り付け、手の平の位置・姿勢を計
測し 、手の６自由度を得る。色マーカーにより画像中の指先の位置を、ARToolKit マーカーに

第2章

従来のビジョンベースデータグローブシステム

9

図 2.8: ビジョンベースデータグローブシステム

より手の６自由度を計測できるが 、指先の 3 次元位置を計測できていない。そのため、色マー
カーの重心点と手の６自由度との関連付けを行う。
色マーカー領域の重心点 (xi , yi ) を画像座標系からカメラ座標系に変換し 、さらに ARToolKit
マーカー座標系 (以下マーカー座標系) へと変換する。カメラと各色マーカーの重心点 (xi , yi )を結んだ直線 Lt は図 2.9 のようになり、式 2.8 で表すことができる。

Z

Y

F

X

Lt

Y

X
( xi , yi )マーカー座標

画像座標
画像座標

C

色マーカー領域の重心点
図 2.9: カメラと色マーカー領域の重心点とを結んだ直線

Lt = C + t e(2.8)

ここで、t は媒介変数、点 C はマーカー座標系におけるカメラの位置、e はマーカー座標系におけるカメラから色マーカーの重心点への単位ベクトルを表す。また、図 2.9 での点 F はマーカー座標系における指先の三次元位置を表す。色マーカーの重心点と手の６自由度によりマーカー座標系における指先の三次元位置である点 F を含む直線 Lt を求めることができる。

第2章

従来のビジョンベースデータグローブシステム

2.4

指先の三次元位置推定

10

2.1 節で述べた手指の拘束条件を利用して直線から点への推定を行い、指先の三次元位置である点 F を求める。手の拘束条件として 2.1.2 節で述べたように各指関節角度には相関関係がある。指の運動がこれらの相関関係に基づいて行われると仮定した場合、指先は一定の曲線上を移動する。この曲線を以後、指先の軌跡と呼ぶことにする。指先は相関関係に基づき指先の軌跡の近くに存在するものと仮定して推定を行う。
まず母指以外の指 i の指先の軌跡 fli (θi3 ) を求める。PIP 関節角度 θi2 (= fθi2 (θi3 )) は図 2.3の相関関係を利用することで式 2.9 で表すことができる。また、MP 関節 (内転・外転) 角度 θi4は MP 関節 (屈曲・伸展) の屈曲によって可動範囲の中心に向かっていく [18] ため関節角度を可動範囲の中心に固定する。

fθi2 (θi3 ) = αi θi3 3 + βi θi3 2 + γi θi3(2.9)

ここで、αi 、
βi 、γi は定数である。F Ki (θi4 , θi3 , θi2 ) と fθi2 (θi3 ) より指 i の指先の軌跡 fli (θi3 )は式 2.10 で表すことができる。

Li1 cosθi4 cos{ 35 (αi θi3 3 + βi θi3 2 + γi θi3 ) + θi3 }+Li2 cosθi4 cos(αi θi3 3 + βi θi3 2 + γi θi3 + θi3 ) + Li3 cosθi4 cosθi3  Li1 sinθi4 cos{ 5 (αi θi3 3 + βi θi3 2 + γi θi3 ) + θi3 }3 (2.10)fli (θi3 ) = 
3
2+Li2 sinθi4 cos(αi θi3 + βi θi3 + γi θi3 + θi3 ) + Li3 sinθi4 cosθi3 




3
2
5
 Li1 sin{ 3 (αi θi3 + βi θi3 + γi θi3 ) + θi3 }3
2+Li2 sin(αi θi3 + βi θi3 + γi θi3 + θi3 ) + Li3 sinθi3
次に、母指の指先の軌跡 fl0 (θ03 ) を求める。MP 関節角度 θ02 (= fθ02 (θ03 )) は図 2.5 の相関関係を利用することで式 2.11 で表すことができる。また、CM 関節 (尺側内転・橈側外転) 角度 θ04
は他の指のような依存関係はないが 、可動範囲の中心付近を通ることが多いため可動範囲の中心に固定とする。

fθ02 (θ03 ) = α0 θ03 3 + β0 θ03 2 + γ0 θ03(2.11)

ここで、α0 、
β0 、
γ0 は定数である。F K0 (θ04 , θ03 , θ02 ) と fθ02 (θ03 ) より母指の指先の軌跡 fl0 (θ03 )は式 2.12 で表すことができる。

L01 cosθ04 sinθ03 cos{ 73 (α0 θ03 3 + β0 θ03 2 + γ0 θ03 )}−L01 sinθ04 sin{ 37 (α0 θ03 3 + β0 θ03 2 + γ0 θ03 )}






+L02 cosθ04 sinθ03 cos(α0 θ03 3 + β0 θ03 2 + γ0 θ03 )


2
3

−L02 sinθ04 sin(α0 θ03 + β0 θ03 + γ0 θ03 ) + L03 cosθ04 sinθ03  L cosθ cos{ 7 (α θ 3 + β θ 2 + γ θ )}

 01
0
0
0
03
03
03
03
3
(2.12)
fl0 (θ03 ) = 

2
3


+L02 cosθ03 cos(α0 θ03 + β0 θ03 + γ0 θ03 ) + L03 cosθ03 L sinθ sinθ cos{ 7 (α0 θ 3 + β0 θ 2 + γ0 θ )}
04
03
03
03
03

 01
3


2
3
7
+L
cosθ
sin{
+
γ
θ
)}
+
β
θ
(α
θ


0 03
0 03
0 03
01
04
3




+L02 sinθ04 sinθ03 cos(α0 θ03 3 + β0 θ03 2 + γ0 θ03 )+L02 cosθ04 sin(α0 θ03 3 + β0 θ03 2 + γ0 θ03 ) + L03 sinθ04 sinθ03

第2章

従来のビジョンベースデータグローブシステム

11

指先の軌跡 fli (θi3 ) と fl0 (θ03 ) それぞれと式 2.8 の直線 Lt との間の距離が最短となる直線 Lt
上の点を指先の三次元位置として決定する。しかし指先の軌跡は三次元空間における曲線となるため、三次元空間中における直線と曲線の最短距離問題になってしまい解を求めるのが困難である。そこで指先の軌跡 fli (θi3 ) と fl0 (θ03 ) を複数の線分で近似し 、三次元空間における直線と線分の最短距離問題を解くこととする。ここで任意の指先の軌跡の近似線分 Ls は式 2.13で表すことができる。

Ls = P + s d(2.13)

ここで、s は媒介変数を表し 、点 P は線分の始点の座標、d は線分の始点から終点へのベクトルを表す。式 2.8 の直線 Lt 上の点 Q と任意の軌跡の近似線分 Ls 上の点 R の距離 kQRk を求める。QR = R − Q とすると、式 2.8 と式 2.13 より次のようになる。

QR = (P + s d) − (C + t e)
= P −C +sd−te(2.14)kQRk が最小のとき、QR⊥e かつ QR⊥d となるから、
QR · e = 0(2.15)

QR · d = 0(2.16)

式 2.15 と式 2.16 を t と s について解くと次のようになる。

t =
s =

{kdk2 (CP · e) − (e · d)(CP · d)}kek2 kdk2 − (e · d)2{(e · d)(CP · e) − kek2 (CP · d)}kek2 kdk2 − (e · d)2(2.17)(2.18)

ここで、CP = P − C とする。求めた t を式 2.8 に代入することで直線 Lt 上の点 Q が求まり、求めた s を式 2.13 に代入することで直線 Ls 上の点 R が求まる。また、Ls は線分なので0.0 ≤ s ≤ 1.0 である。s < 0.0 のとき s = 0.0 、1.0 < s のとき s = 1.0 として、Ls 上の点 R を求める。
この計算を全ての近似線分で行い距離 kQRk が最小となる直線 Lt 上の点 Q を指先の三次元位置である点 F とする。

2.5

逆運動学による手の姿勢推定

前節で求めた指先の三次元位置から逆運動学を Cyclic-Coordinate Descent(CCD) 法 [20] を解くことによって手の姿勢を推定する。CCD 法はエンド エフェクタとゴールの距離を最小化す
る最適化問題を反復して解くことで解を求める計算手法である。この手法は反復 1 回あたりの第2章

従来のビジョンベースデータグローブシステム

12

計算コストが小さく、前時刻での姿勢から次の時刻における姿勢の推定を行うため時系列デー
タで手の姿勢推定を行う本手法において有効であると考えられる。
次に CCD 法の計算手順について図 2.10 を用いて説明する。指先 (エンド エフェクタ) e を目
標位置 (ゴ ール ) g まで移動させる場合は以下の計算手順で計算を行う。

E

e

c

c

e
b

G

b
g

g
a

(1)
c
E

e

a

(2)
c
e

b

b

G
g

g
a

(3)
c
e

c

b

b

e

E

g

a

(4)

g

G
a

a
(5)

(6)
図 2.10: CCD 法を用いた逆運動学

1. 先端の関節 c から指先 e へのベクトル E と c から目標位置 g へのベクトル G を算出する。

2. 1. で求めたベクトルを正規化し 、E から G への回転角を算出する。
3. 関節 c に 2. で求めた回転角を加える。このとき関節の拘束条件に当てはめるため、関節の可動範囲と新しく得られた関節角を比較し 、可動範囲を越えているならば関節角の値
を可動範囲の上限 (あるいは下限) となるように変更する。

4. 新しく得られた関節角における指先の位置を算出し 、指先と目標位置との距離が前のものよりも大きくなる場合は前の関節角の値に戻す。

第2章

従来のビジョンベースデータグローブシステム

13

5. 関節 c の親である関節 b において 2. から 4. の手順を繰り返す。以上の手順をルートである関節 a まで繰り返す。

6. 指先と目標位置との距離が閾値以下になるか、設定された反復回数を越えるまで 2. から
5. の手順を繰り返す。
CCD 法には一度に関節が大きく移動しないように damping(粘性減衰) を付け加えることができる。ここで、指 i の順運動学 F Ki (θi4 , θi3 , θi2 ) には、指 i の DIP 関節角度 θi1 と PIP 関節
角度 θi2 の相関関係である fθi1 (θi2 ) が含まれている。また、母指の順運動学 F K0 (θ04 , θ03 , θ02 )には、母指の IP 関節角度 θ01 と MP 関節角度 θ02 の相関関係である fθ01 (θ02 ) が含まれている。
この fθi1 (θi2 ) と fθ01 (θ02 ) を逆運動学においても考慮する。具体的には、DIP 関節と IP 関節ではターゲットとゴ ールの距離の最小化を行わなず、PIP 関節角度 θi2 と MP 関節角度 θ02 を求める際に fθi1 (θi2 ) と fθ01 (θ02 ) を用いて DIP 関節角度 θi1 と IP 関節角度 θ01 を求める。二つの指関節角度を同時に更新するため、e が G を超えて移動しないように PIP 関節と MP 関節のdamping 係数を適切に設定する。これにより、fθi1 (θi2 ) と fθ01 (θ02 ) の関係を保ちながら手の姿
勢推定が可能となる。

14

第3章

指先の隠れを考慮した手の姿勢推定

ビジョンベースのデータグローブの手法として指先検出によりジェスチャ認識を行う手法や手の姿勢推定を行う手法などが数多く提案されている。しかし 、指先検出によるビジョンベースのデータグローブの手法ではセルフオクルージョンにより指先が検出できない場合の問題がある。ここで本研究では、セルフオクルージョンにより検出できなった指先のことをカメラ視
点から隠れて見えない指の指先であることから、隠れ指先と呼ぶ。また、隠れ指先の指を隠れ指と呼ぶこととする。指先検出によりジェスチャ認識を行う手法は、検出された指先の組み合
わせや動きによってジェスチャ認識を行うものであり、隠れ指も含めてジェスチャの認識を行っている。しかし 、各指関節角度は推定されておらず、隠れ指がどのような姿勢で検出されなかったかは考慮されていない。そのため、インターフェースとしての汎用性の面では手の姿勢、すなわち全ての指関節角度を推定する手法が 、より有用であると言える。指先検出により手の姿
勢推定を行う手法では、指先が検出できない問題は隠れ指の姿勢が推定できないため大きな問題となっている。本研究では、PC のモニタ付近に設置されたカメラにより手の姿勢を PC に入力する (データグローブ ) 状況を想定する。その上で、手掌側から手の姿勢を撮影する場合に、隠れ指の姿勢を推定し 、すなわち全ての指関節角度を求める手法を提案する。
ところで母指以外の指 i(i = 1 ∼ 4) の順運動学 F Ki (θi4 , θi3 , θi2 ) と母指の順運動学

F K0 (θ04 , θ03 , θ02 ) は各成分を表す数式構造が異なる。しかし 、指関節角度間の相関関係を表す
fθi1 (θi2 ) と fθ01 (θ02 ) はど ちらも比例式であり、fθi2 (θi3 ) と fθ02 (θ03 ) はど ちらも三次多項式である。また、図 2.6 、図 2.7 において指 i(i = 1 ∼ 4) と母指の軸構造は同じである。したがって、指 i(i = 1 ∼ 4) と母指で対応する各関節の構造は同一であるとして説明簡略化のため母指についての説明を省略し 、他の指と同様の指であるとして指 i(i = 0 ∼ 4) として説明する。指i(i = 1 ∼ 4) と母指の各関節の互換は表 3.1 の通りである。

指i
母指

DIP
IP

PIP
MP

表 3.1: 各関節の互換表
MP(屈曲・伸展)MP(内転・外転)CM(掌側内転・外転) CM(尺側内転・橈側外転)第3章

指先の隠れを考慮した手の姿勢推定

3.1

提案手法の概要

15

提案手法では、指先検出により手の姿勢推定を行うビジョンベースデータグローブにおいて
隠れ指の姿勢を推定する。具体的には、まず (1) 隠れ指の動作が隠れる前から継続していると仮定して推定する。多くの場合、手を握る、ものをつかむ、手を開くなどの動作を行っているように一連の動作の途中であると仮定するわけである。時刻の経過に従い変化する指関節角度の推移に注目し 、この時系列変化を三次多項式で近似する。この角度の推移を基に現在の時刻(現フレーム) における指関節角度を推定する。このとき、指先の位置は考慮していない。しかし実際には一連の動作の途中であっても、動作の速度が遅くなったり止まったりすることも考えられる。あるいは、動作そのものが変わる場合も考えられる。そこで (2) 推定された指関節
角度から指先の位置を求め、これが正しく陰空間領域にあるか否かを判定する。陰空間領域は、他の指によりカメラ方向から陰となる空間と定義する (3.3.1 節)。推定位置が陰空間領域になければ 、動作の速度が遅くなった、止まった、あるいは同じ多項式に従っているが元に戻る方向へ変化したと考え、指先位置が陰空間領域にとど まるように再推定する。手の動作そのものが 、例えばボールを握る動作からペンをつまむ動作へと変化した場合には、これまでの時系列
データ (過去フレーム) を基にした多項式では陰空間領域に求まらないこともある。この場合には、直前の時刻 (前フレーム) における指先の位置から簡易的に求めることとする。ところで、隠れ指が複数存在する場合には (3) カメラに対する手の向きから姿勢推定を行う隠れ指の順序を決定する。この順序で前述の (1),(2) の処理を行うことにより、先に姿勢推定を行った隠れ指を検出できた指として扱い、次の隠れ指の姿勢推定を行うことで、隠れ指先が複数存在する場
合においても手の姿勢推定が可能である。
第 3.2 節において隠れ指 i の動作が隠れる前から継続していると仮定した場合の、各指関節角度の時系列データを基にした隠れ指 i の姿勢推定について説明する。第 3.3 節において陰空間領域での不規則な動作を考慮した隠れ指 i の姿勢推定について、第 3.4 節において手の向きによる隠れ指の姿勢推定の順序について述べる。

3.2

動作が継続していると仮定した場合の隠れ指の姿勢推定

手の姿勢は時系列変化する。このことから、隠れ指の動作が隠れる前から継続していると考えた場合には過去フレームにおける各指関節角度の推移から隠れ指の姿勢が推定可能であると考えられる。人間の手は複雑な運動ではあるが滑らかな運動をすることから、各指関節角度の推移を三次多項式で近似する。三次多項式を基に各指関節角度を求めることで隠れ指の姿勢を推定する。
ここで、順運動学 F Ki (θi4 , θi3 , θi2 ) には、DIP 関節角度 θi1 と PIP 関節角度 θi2 の相関関係である fθi1 (θi2 ) が含まれている。第 2.5 節の逆運動学においても fθi1 (θi2 ) の相関関係を保持す第3章

指先の隠れを考慮した手の姿勢推定

16

るように手の姿勢を推定している。そのため隠れ指の姿勢推定においても、DIP 関節角度 θi1
は fθi1 (θi2 ) によって求めることができる。
本手法では、参照する過去フレームにおける隠れ指の PIP 関節角度 θi2j と MP 関節 (屈曲・伸展) 角度 θi3j の相関関係を fθi2 (θi3 ) と同様に三次多項式で導出する。ここで、j は 0 ≤ j ≤ n
であり、j = 0 は参照する最も過去のフレームを、j = n は現フレームを表す。過去フレーム
における相関関係の三次多項式に参照する各過去フレームの指関節角度与えることで、相関関係を基にした指関節角度を得る。そして、相関関係を基にした指関節角度の推移を表す三次多項式を導出する。導出した三次多項式に現フレームの時刻 tn を与えることで、動作が継続している場合の隠れ指の姿勢を推定する。tn は参照する最も過去のフレームの時刻を t0 = 0.0 としたときの経過時間である。また、過去フレームにおける相関関係が導出できないときは、過去フレームにおける指関節角度の推移のみを基に三次多項式を導出する。そして、現フレームの時刻 tn を与えることで、動作が継続している場合の隠れ指の姿勢を推定する。

3.2.1

過去フレームにおける相関関係を基にした指関節角度の推移

過去フレームにおける PIP 関節角度 θi2j と MP 関節 (屈曲・伸展) 角度 θi3j の相関関係を表す三次多項式 fθc (θi3j ) (式 3.1) 、fθc (θi2j ) (式 3.2) を各指関節角度より最小二乗法を用いて導i3i2出する。fθc (θi3j ) と fθc (θi2j ) は逆関数の関係にある。
i3
i2
c

(3.1)

c

(3.2)

fθi2 (θi3j ) = αic2 θi3j 3 + βic2 θi3j 2 + γic2 θi3j + δic2
fθi3 (θi2j ) = αic3 θi2j 3 + βic3 θi2j 2 + γic3 θi2j + δic3
ここで、αic2 、βic2 、γic2 、δic2 、αic3 、βic3 、γic3 、δic3 は定数である。

次に、過去フレームにおける相関関係を表す三次多項式 fθc (θi3j ) 、fθc (θi2j ) を用いて相関i2i3

関係を基にした参照する過去フレームおける各指関節角度 θi2j 、θi3j を再計算する。過去フレー
ムにおける相関関係を基にした PIP 関節角度 θi2 の推移を表す三次多項式 fθct (tj ) (式 3.3) をi2

再計算した θi2j と時刻 tj より最小二乗法を用いて導出する。また、過去フレームにおける相関関係を基にした MP 関節 (屈曲・伸展) 角度 θi3 の推移を表す三次多項式 fθct (tj ) (式 3.4) を再i3計算した θi3j と時刻 tj より最小二乗法を用いて導出する。
ct

(3.3)

ct

(3.4)

fθi2 (tj ) = αict2 tj 3 + βict2 tj 2 + γict2 tj + δict2fθi3 (tj ) = αict3 tj 3 + βict3 tj 2 + γict3 tj + δict3
ここで、αict2 、βict2 、γict2 、δict2 、αict3 、βict3 、γict3 、δict3 は定数である。

3.2.2

過去フレームにおける相関係数が求まらない場合の指関節角度の推移

MP 関節 (内転・外転) 角度 θi4 は他の指関節角度から一意に指関節角度が定まる明確な相関関係が存在しない。そのため、過去フレームにおける MP 関節 (内転・外転) 角度 θi4 の推移を

第3章

指先の隠れを考慮した手の姿勢推定

17表す三次多項式 fθt (tj ) (式 3.5) を過去フレームにおける指関節角度 θi4j と時刻 tj より最小二i4

乗法を用いて導出する。
tfθi4 (tj ) = αit4 tj 3 + βit4 tj 2 + γit4 tj + δit4

(3.5)

ここで、αit4 、βit4 、γit4 、δit4 は定数である。
また、過去フレームにおける指関節角度間の相関関係を表す三次多項式 fθc (θi3j ) と fθc (θi2j )i2

i3

を最小二乗法を用いて導出している。しかし 、参照する過去フレームにおいて指関節角度が図3.1 のようなある一定の領域に固まって分布している場合は相関関係が無相関になってしまう。
また、図 3.2 のように分布している場合には片方の指関節角度が固定されてしまう。図 3.1 、図3.2 のような場合、fθc (θi3j ) と fθc (θi2j ) が三次多項式ではうまく導出できなってしまう。そこ
i2i3

で、過去フレームにおける相関関係を表す三次多項式がうまく導出できない場合には、fθt (tj )i4と同様に過去フレームにおける指関節角度の推移を表す三次多項式を導出する。過去フレーム
における PIP 関節角度 θi2 の推移を表す三次多項式 fθt (tj ) (式 3.6) を過去フレームにおけるi2

指関節角度 θi2j と時刻 tj より最小二乗法を用いてを導出する。また、MP 関節 (屈曲・伸展) 角度 θi3 の推移を表す三次多項式 fθt (tj ) (式 3.7) を過去フレームにおける指関節角度 θi3j と時刻
i3

tj より最小二乗法を用いてを導出する。

PIP(度)

PIP(度)

MP(度)図 3.1: 無相関に分布MP(度)図 3.2: 片方の指関節角度が固定されて分布

t

(3.6)

t

(3.7)

fθi2 (tj ) = αit2 tj 3 + βit2 tj 2 + γit2 tj + δit2
fθi3 (tj ) = αit3 tj 3 + βit3 tj 2 + γit3 tj + δit3
ここで、αit2 、βit2 、γit2 、δit2 、αit3 、βit3 、γit3 、δit3 は定数である。

ところで、過去フレームにおいて指の動作が止まるなどして指関節角度が同一であるフレー
ムが連続する場合がある。この場合過去フレームにおける指関節角度の推移を表す式は定数となってしまうため、指関節角度が固定された手の姿勢しか推定することができない。そこで指第3章

指先の隠れを考慮した手の姿勢推定

18

関節角度が前フレームと同じ場合には参照する過去フレームの指関節角度データを更新しないようにすることで指関節角度の推移を表す式が定数にならないようにする。ここで関節一つ一つについて参照するデータの更新を別々に行うと fθc (θi3 ) 、fθc (θi2 ) の導出を行う際に指関節
i2i3

角度間の相関関係のデータに欠落やずれが発生する。そのため、θi2 と θi3 のデータは両方の指関節角度が変化しない場合のみ更新しない。また、指関節角度データを更新しないようにすることで参照するフレーム間の時刻が開いてしまう問題がある。しかし 、人間の手は滑らかな動作を行うことを考えると、図 3.3 上の指関節角度が同一のフレーム (赤下線) では指関節角度
データの更新を行わないので、図 3.3 下のように指関節角度が同一のフレームを除くことで滑らかな手動作を行っているものとすることができる。

s
図 3.3: 指関節角度が変化しないフレームの除外3.2.3

指関節角度の推移を基にした隠れ指の姿勢推定

fθct (tj ) または fθt (tj ) によって現フレームにおける PIP 関節角度 θi2n が求まり、fθct (tj )
i2

i2

i3

または fθt (tj ) によって現フレームにおける MP 関節 (屈曲・伸展) 角度 θi3n が求まる。まi3た、fθt (tj ) によって現フレームにおける MP 関節 (内転・外転) 角度 θi4n が求まる。逆運動学
i4

F Ki (θi4 , θi3 , θi2 ) から隠れ指の動作が隠れる前から継続している場合の隠れ指の姿勢が推定できる。
図 3.4 ∼ 図 3.6 に動作が継続している場合の隠れ指の姿勢推定の概略図を示す。赤い矢印が過去フレームにおける指関節角度間の相関関係を導出し 、過去フレームにおける相関関係を基にした指関節角度の推移から隠れ指の指関節角度を推定する流れである。青い矢印が過去フレー
ムにおける指関節角度間の相関関係を導出できない場合に、過去フレームにおける指関節角度の推移から隠れ指の指関節角度を推定する流れである。

第3章

指先の隠れを考慮した手の姿勢推定

19

θ i3 jf t (t j )θi 2

θ i2 jf c (θ i 3 j )θi 2

f ct (t j )θi 2

θ i2 nf ct (t j )θ i3n

図 3.4: θi2n の推定

θ i3 jf c (θ i 2 j )
θi 3

θi 3

f t (t j )θi 3

θ i2 j
図 3.5: θi3n の推定

f t (t j )θ i4 j

θi 4

θ i4 n

図 3.6: θi4n の推定

3.3

陰空間領域での不規則な動作を考慮した隠れ指の姿勢推定

前節では動作が継続していると仮定し 、その動作は多項式に従うとものとした。しかし 、そもそも指先が検出できていないため、隠れ指の動作が隠れる以前から継続されているか否か分からない。そこで、多項式に従うものとして推定した角度から、想定される指先の位置を求める。この指先位置が次節で定義する陰空間領域に存在するか否かを基に、指の動作が完全に多項式に従うか、動作は多項式に従っているが動作の速度が変化しているか、あるいは動作そのものが変わっているかを判定する。その上で、隠れ指の姿勢を推定する。

第3章

指先の隠れを考慮した手の姿勢推定

3.3.1

陰空間領域

20

内外判定を行うために陰空間領域を数学的に定義する。陰空間領域は隠れ指 i 以外の指 k(k 6= i)
によってカメラ方向から陰となる空間領域である。そこで、陰空間領域をつくる指 k について考える。指は指節からなる。指節とは指関節によって分けられる部分のことであり、二つの関節点の間の部分のことである。ここで、指は円柱形状として表すことができ、指関節は球体関節と見立てると関節点を中心とした球として表すことができる。したがって指節は、関節点を結ぶ直線を軸とする円柱に関節点を中心とする球が接続された形状であると言える。指 k の指節 kd を構成する円柱と球の半径を rkd 、関節点を結ぶ直線の長さを表 2.3 のリンクの長さである Lkd とすると、指節 kd は図 3.7 のようなカプセル状の物体として表すことができる。陰空間領域を指節ごとに考えると指節 kd の陰空間領域 Skd は図 3.8 のようになる。

rkd
Lkd
図 3.7: 指節 kd

陰空間領域 S kd
指節 kd
図 3.8: 陰空間領域 Skd

隠れ指 i の姿勢から順運動学 F Ki (θi4 , θi3 , θi2 ) を求めることで隠れ指先の位置、すなわち点Fi が求まる。ここで、点 Fi は陰空間領域に存在するはずである。そこで、点 Fi と陰空間領域の内外判定を行う。
点 Fi が指 k の指節 kd の陰空間領域 Skd 内に存在するならば 、点 Fi とカメラの距離 DFi は、
陰空間領域 Skd をつくる指節 kd を構成する関節点 Jkd1 、Jkd2 とカメラの距離 DJkd1 、DJkd2の少なくとも片方よりも大きくなくてはならない。DFi ≥ min(DJkd1 , DJkd2 ) ならば点 Fi は陰空間領域 Skd 内に存在する可能性がある (図 3.9)。
点 Fi が指節 kd の陰空間領域 Skd 内に存在するならば 、点 Fi とカメラを結ぶ線分 LFi は指第3章

指先の隠れを考慮した手の姿勢推定

21

max( DkdJ1 , DkdJ 2 )陰空間領域 S kd

min( DkdJ1 , DkdJ 2 )
図 3.9: 隠れ指先と指節の関節点の位置関係

節 kd と交差する。ここで、陰空間領域をつくる指節はカプセル状の形状をしている。そのため、円柱の軸を表す線分 Akd から距離 rkd の空間が指節である。そこで、点 Fi と陰空間領域

Skd の内外判定は、線分 LFi と線分 Akd の距離 DkdFi と rkd により判定できる。Akd は、始点を関節点 Jkd1 、関節点 Jkd1 から関節点 Jkd2 に向かうベクトルを vkd とすると式 3.8 で表すことができる。

Akd = Jkd1 + ukd vkd(3.8)

ここで、ukd は媒介変数を表す。また、線分 LFi は式 3.9 で表すことができる。

LFi = C + ui vi(3.9)

ここで、ui は媒介変数、vi はカメラから点 Fi へのベクトルを表す。線分 Akd 上の点 PAkd と線分 LFi 上の点 PFi の距離を求める。PAkd Fi = PFi − PAkd とすると、式 3.8 と式 3.9 より次のようになる。

PAkd Fi= (C + ui vi ) − (Jkd1 + ukd vkd )= C − Jkd1 + ui vi − ukd vkd(3.10)

kPAkd Fi k が最小のとき、PAkd Fi ⊥vi かつ PAkd Fi ⊥vkd となるから、
PAkd Fi · vkd = 0(3.11)

PAkd Fi · vi = 0(3.12)

式 3.11 と式 3.12 を ukd と ui について解くと次のようになる。

ukd =
ui =

{kvi k2 (JC · vkd ) − (vkd · vi )(JC · vi )}kvkd k2 kvi k2 − (vkd · vi )2{(vkd · vi )(JC · vkd ) − kvkd k2 (JC · vi )}kvkd k2 kvi k2 − (vkd · vi )2(3.13)(3.14)

第3章

指先の隠れを考慮した手の姿勢推定

22

ここで JC = C − Jkd1 とする。求めた ukd を式 3.8 に代入することで線分 Akd 上の点 PAkd が求まり、求めた ui を式 3.9 に代入することで線分 LFi 上の点 PFi が求まる。また、Akd は線分なので 0.0 ≤ ukd ≤ 1.0 である。ukd < 0.0 のとき ukd = 0.0 、1.0 < ukd のとき ukd = 1.0 として、線分 Akd 上の点 PAkd を求める。同じく LFi も線分なので 0.0 ≤ ui ≤ 1.0 である。ui < 0.0のとき ui = 0.0 、1.0 < ui のとき ui = 1.0 として、線分 LFi 上の点 PFi を求める。ここで 、

kPAkd Fi k が最小のとき、kPAkd Fi k = DkdFi である。よって、点 PAkd と点 PFi から線分 LFiと線分 Akd の距離 DkdFi が求まる。DkdFi ≤ rkd のとき線分 LFi は指節 kd と交差することになり、陰空間領域 Skd 内に点 Fi は存在することとなる。この操作を全ての検出した指の指節の陰空間領域に対して行うことで、隠れ指先の位置である点 Fi がいずれかの陰空間領域内に存在するか否かの判定が可能である。多項式に従うものとして推定した姿勢の指先位置と前フレーム姿勢の指先位置に対して、陰空間領域の内外判定を行い、判定の結果から隠れ指の動作の判定を行う。

3.3.2

継続している動作の速度が変わる場合の隠れ指の姿勢推定

指先が検出できていないため、隠れ指の動作が隠れる前から継続しているのか否か分からない。そこで、多項式に従うものとして推定した指関節角度の推移を基に推定した姿勢 (推定姿勢) の指先位置、および前フレーム姿勢の指先位置の陰空間領域の内外判定を行う。この判定
結果から、隠れ指の動作が完全に多項式に従うか、動作は多項式に従っているが動作の速度が変化しているか、あるいは動作そのものが変わっているかを判定する。多項式に従う動作であれば陰空間領域内にとど まるように再推定を行う。動作そのものが変化している場合は、前フレーム姿勢のみから画像座標を基に陰空間領域を考慮した隠れ指の姿勢を推定する (3.3.3 節)。

推定姿勢が陰空間領域内・前フレーム姿勢が陰空間領域内の隠れ指の姿勢推定
指関節角度の推移を基にした推定姿勢の指先位置と前フレーム姿勢の指先位置がともに陰空間領域内となる場合は、隠れ指は陰空間領域内で動作している、または停止していると考えられる。
まず隠れ指は陰空間領域内で動作していることを考える。ここで、指関節角度の推移を基にした隠れ指の姿勢推定では、指関節角度の推移を三次多項式で表している。そのため複数のフレームに渡り隠れ指が陰空間領域内に存在するとき、指関節角度の推移を表す三次多項式に従い隠れ指は動作することになる。その際、正弦・余弦関数のように一定の範囲を繰り返す三次多項式が導出されると、隠れ指は陰空間領域内の一定範囲を反復移動する動作をするようになる (図 3.10)。しかし 、実際には複数フレームに渡り隠れ指が陰空間領域に存在するときはこのような反復動作をすることは稀である。また、複数フレームに渡り隠れ指が陰空間領域に存在し動作している場合には他の指も動作をしていることが多い。その場合には陰空間領域自体が第3章

指先の隠れを考慮した手の姿勢推定

23移動するため図 3.10 のような反復動作はせず陰空間領域の移動に沿って隠れ指は動作することになる。または、指先は陰空間領域外となり検出されるようになると考えられる。そのため本手法では、図 3.10 のような反復運動は考慮しないものとして、陰空間領域内では隠れ指は、それまで継続している動作の元に戻る方向へは動作しないものとする。指関節角度の推移を基にした推定姿勢がそれまで継続している動作の元に戻る方向へ動作をする姿勢である場合には、
隠れ指の動作は目標としていた姿勢になったと考えられる。そのため隠れ指の動作は停止しているとして、前フレーム姿勢を現フレームの隠れ指の姿勢とする。指関節角度の推移を基にした推定姿勢がそれまでの動作を継続している姿勢である場合は、指関節角度の推移を基にした推定姿勢を現フレームの隠れ指の姿勢とする。

t

度

度

度

度

t

t

度

t

t

図 3.10: 推定姿勢の反復動作

隠れ指が反復動作をするか否かを判定するため、隠れ指の動作の変化を各指関節角度の推移を基に判定する。ここで、指関節間には相関関係があった (2.1.2 節)。相関関係にある PIP 関
節角度 θi2 と MP 関節 (屈曲・伸展) 角度 θi3 の両方の指関節で前フレームまでの隠れ指の指関節角度の変化方向と、指関節角度の推移を基にした推定姿勢の指関節角度の変化方向が反転す
るとき、隠れ指の動作は反復動作をすることになる。隠れ指が反復動作をする場合、隠れ指の動作は停止するとした。そのため θi2 と MP 関節 (屈曲・伸展) 角度 θi3 の両方の指関節角度の変化方向が反転するとき、前フレーム姿勢を現フレームの隠れ指の姿勢とする。また、θi2 とMP 関節 (屈曲・伸展) 角度 θi3 の指関節角度の変化方向が反転しないとき、指関節角度の推移を基にした推定姿勢を現フレームの隠れ指の姿勢とする。ここで、MP 関節 (内転・外転) 角度

θi4 は MP 関節 (屈曲・伸展) 角度 θi3 の角度によって可動範囲が変化するため、それまでの動作を継続していても指関節角度の変化方向が反転する可能性がある。そのため陰空間領域内の隠れ指の動作の判定には、MP 関節 (内転・外転) 角度 θi4 の変化方向の反転は考慮しないもの
とする。

第3章

指先の隠れを考慮した手の姿勢推定

24

推定姿勢が陰空間領域内・前フレーム姿勢が陰空間領域外の隠れ指の姿勢推定
指関節角度の推移を基にした推定姿勢の指先位置は陰空間領域内となり、前フレーム姿勢の
指先位置が陰空間領域外となる場合は、隠れ指の動作は多項式に従い前フレーム姿勢から指関
節角度の推移を基にした推定姿勢へと動作したと考えられる。そのため、指関節角度の推移を基にした推定姿勢を現フレームの隠れ指の姿勢とする。

推定姿勢が陰空間領域外・前フレーム姿勢が陰空間領域内の隠れ指の姿勢推定
指関節角度の推移を基にした推定姿勢の指先位置は陰空間領域外となり、前フレーム姿勢の
指先位置が陰空間領域内となる場合は、隠れ指の動作は多項式に従うが動作の速度が遅くなった、停止している、あるいは元に戻る方向へ動作していると考えられる。ここで、隠れ指は陰空間領域内では元に戻る方向への動作は、反復動作となるため考慮しないものとした。そのため隠れ指の動作は多項式に従うが動作の速度が遅くなった、または停止していると考えられる。
指関節角度の推移を基にした隠れ指の姿勢推定では三次多項式に現フレームの時刻 tn を与える
ことで各指関節角度を推定している。そこで三次多項式に与える時刻を現フレームの時刻 tn から前フレームの時刻 tn−1 まで変化させて隠れ指の各指関節角度を推定する。これにより、隠れ指の動作が多項式に従うが速度が遅くなった動作を行うの隠れ指の姿勢推定を行う。現フレームの時刻 tn に近い時刻から与え、最初に推定姿勢の指先位置が陰空間領域内と判定された推定姿勢を現フレームの隠れ指の姿勢とする。

推定姿勢が陰空間領域外・前フレーム姿勢が陰空間領域外の隠れ指の姿勢推定
指関節角度の推移を基にした推定姿勢の指先位置と前フレーム姿勢の指先位置がともに陰空間領域外となる場合は、隠れ指の動作は多項式に従っているが元に戻る方向へ動作している、あるいは動作そのものが変化していると考えられる。まず元に戻る方向への動作を考える。前
フレーム姿勢の指先位置が陰空間領域外であるため、元に戻る方向への動作は反復動作にはならない。そのため、多項式に従うが速度が遅くなった動作を行う隠れ指の姿勢推定と同様の方法で元に戻る方向への動作を行う場合の隠れ指の姿勢を推定する。三次多項式に与える時刻を
現フレームの時刻 tn ではなく、前フレームの時刻 tn−1 から現フレームの時刻 tn までの間の時
刻 ∆tn を前フレームから遡った時刻 tn−1 − ∆tn を与えることで、隠れ指の動作が元に戻る方向への動作の場合の隠れ指の各指関節角度を推定する。元に戻る方向への動作の推定姿勢の指先位置と陰空間領域の内外判定を行う。判定が陰空間領域内であれば隠れ指の動作は元に戻る
方向への動作を行うとして、元に戻る方向への動作の推定姿勢を現フレームの隠れ指の姿勢とする。元に戻る方向への動作の推定姿勢の指先位置が陰空間領域外であれば隠れ指先の条件を満たさない。そのため、隠れ指の動作は動作そのものが変化していると考えられる。この場合には、前フレーム姿勢の指先位置と陰空間領域から画像座標を基に隠れ指の姿勢を推定する。

第3章

指先の隠れを考慮した手の姿勢推定

3.3.3

動作そのものが変わる場合の隠れ指の姿勢推定

25

隠れ指の動作が多項式に従う動作とは異なる動作に変化する場合には、時系列データから隠れ指の姿勢を推定することは困難である。そこで本手法では、前フレーム姿勢の指先位置、すなわち点 Fin−1 と陰空間領域から画像座標を基に隠れ指の姿勢を推定する。ここで、陰空間領域を画像座標で正確に表現するには、検出している全ての指の指節の形状を画像座標に投陰する必要があり計算量が多くなってしまう。そこで計算量削減のため、画像座標における陰空間
領域は陰空間領域をつくる隠れ指 i 以外の指 k(k 6= i) の指節 d の中心点 Pkdc を画像座標に投陰した点 (xkdc , ykdc ) で表す。点 Fin−1 と点 (xkdc , ykdc ) を基に隠れ指先位置を推定し 、隠れ指の姿勢を推定する。
まず、隠れ指の前フレーム姿勢の指先位置を画像座標に投陰した点 (xin−1 , yin−1 ) を求める。
点 (xin−1 , yin−1 ) と点 (xkdc , ykdc ) の画像座標における距離 Dkdin−1 を全ての指節の中心点に対して求める。そして、距離 Dkdin−1 が最も小さい点 Pkdc の指節 kd がつくる陰空間領域 Skd に隠れ指先があるとして、点 Fin−1 の位置を推定する。距離 Dkdin−1 が最も小さい指節の中心点

Pkdc とカメラを結ぶ直線 Lkdc は式 3.15 で表すことができる。
Lkdc = C + tkdc vkdc

(3.15)

ここで、tkdc は媒介変数、vkdc はカメラから点 Pkdc へのベクトルを表す。直線 Lkdc 上の点

Pin−1 と点 Fin−1 の距離 kPFin−1 k を求める。距離 kPFin−1 k が最小となる直線 Lkdc 上の点
Pin−1 を画像座標を基にした隠れ指先の推定位置とする。kPFin−1 k = Fin−1 − Pin−1 とすると、式 3.15 より次のようになる。

PFin−1 = Fin−1 − (C + tkdc vkdc )= Fin−1 − C − tkdc vkdc

(3.16)

距離 kPFin−1 k が最小となるとき、PFin−1 ⊥vkdc となるから、

PFin−1 · vkdc = 0(3.17)

式 3.16 と式 3.17 より tkdc について解くと次のようになる。

tkdc =

CF · vkdc
kek2 kdk2(3.18)

ここで 、CF = Fin−1 − C とする。求めた tkdc を式 3.15 に代入することで直線 Lkdc 上の点

Pin−1 が求まる。また、点 Pin−1 は陰空間領域内の点であるため、カメラ視点から点 Pkdc より後方に存在する。したがって、tkdc ≥ 1.0 である。tkdc < 1.0 ならば tkdc = 1.0 として直線

Lkdc 上の点 Pin−1 を求める。点 Pin−1 から逆運動学を解くことで隠れ指の姿勢を推定する。
このとき逆運動学を解いて推定する隠れ指の推定姿勢の指先位置の点 FIK と直線 Lkdc 上の
点 Pin−1 の距離が閾値以下であれば 、隠れ指の推定姿勢を現フレームの隠れ指の姿勢とする。

第3章

指先の隠れを考慮した手の姿勢推定

26

距離が閾値以上であれば 、点 Pin−1 は手指の構造上指先が届くことが不可能な点であるとして、次に距離 Dkdin−1 が小さい指節の中心点を用いて隠れ指の姿勢推定を行う。また、全ての点において推定姿勢の指先位置の点 FIK と直線 Lkdc 上の点 Pin−1 の距離が閾値以上の距離なった
場合は隠れ指先がセルフオクルージョンではなくカメラ画像の外側にあるため指先を検出できなかったと考え、前フレームの隠れ指の姿勢を現フレームの隠れ指の姿勢とする。

3.4

手の向きによる隠れ指の姿勢推定の順序

隠れ指が複数存在する場合、ある隠れ指先は他の隠れ指の陰空間領域に存在する可能性もある。そのため、カメラ手前方向にある隠れ指から姿勢推定を行う必要がある。本手法では、手指は自然な手動作を行うとして隠れ指が複数存在するとき、手指の拘束条件を基に手の向きか
ら隠れ指の姿勢推定を行う順序を決定する。
各指の関節角度の可動範囲は表 2.2 としている。この可動範囲において自然な手動作を行う
とき母指以外の指は、手の向きによってカメラ手前方向から示指・中指・環指・小指 (図 3.11) 、あるいは小指・環指・中指・示指 (図 3.12) の順に並ぶ。また、母指は指先が検出されるときは他の指を隠す (図 3.13) ことが多く、指先が検出されないときは他の指に握りこまれることで隠れる (図 3.14) ことが多い。そこで本手法では、以下の表 3.2 に基づいて隠れ指が複数存在する
場合の隠れ指の姿勢推定の順序を決定する。なお本手法では現在、図 3.15 のような手の姿勢は自然な手動作を行うときには生じない手の姿勢であるとして考慮しないものとする。

図 3.11: カメラ手前方向から示指・中指・環指・小指の順に並ぶ

第3章

指先の隠れを考慮した手の姿勢推定

27

図 3.12: カメラ手前方向から小指・環指・中指・示指の順に並ぶ

図 3.13: 母指の指先が検出される

図 3.14: 母指の指先が検出されない

母指の指先検出

表 3.2: 隠れ指の姿勢推定の順序
示指がカメラ方向手前 (母指 →) 示指 → 中指 → 環指 → 子指

母指の指先検出

小指がカメラ方向手前

母指の指先未検出

示指がカメラ方向手前

母指の指先未検出

小指がカメラ方向手前(母指 →) 子指 → 環指 → 中指 → 示指
示指 → 中指 → 環指 → 子指 → 母指子指 → 環指 → 中指 → 示指 → 母指

第3章

指先の隠れを考慮した手の姿勢推定

図 3.15: 自然な手動作でない手の姿勢

28

29

第4章

4.1

実験および評価、考察

実験システム

前述の提案手法を用いて実験システムを作成し 、処理速度と隠れ指先が存在する際の手指の姿勢推定について実験を行った。実験システムは 、CPU : Dual-Core AMD Opteron(tm)Processor 1210 1.8GHz の PC 上に C++により実装した。また BUFFALO 社製の USB カメ
ラ BSW20K04 を使用し 、画像サイズを 640 × 480 pixel(最大 30fps) で撮影し 、ノイズ除去を

320 × 240 pixel にリサイズした画像で行い、ノイズ除去後再び 640 × 480 pixel にリサイズした画像を使用した。実際に行った実験の様子を図 4.1 に示す。

図 4.1: 実験の様子

4.2

処理速度に関する評価

実験システムを用いて本提案手法の処理速度について評価を行った。表 4.1 に各処理における平均処理時間を示す。なお処理速度は、小数点第二位以下を四捨五入した値を示している。

第4章

実験および評価、考察30

表 4.1: 各処理における平均処理時間
平均処理時間 (msec)
カメラ画像の取得

モデルの表示

16.2
13.7
0.6
2.5
0.3

合計

33.3

ノイズ除去
指先の位置推定手の姿勢推定本実験システムは、カメラ動作最大の平均 30f ps で動作している。また、処理時間の内訳を見ると、カメラ画像の取得とその待ち時間、画像のノイズ除去の処理時間が全体の処理時間の約89%を占める。そのため、手の姿勢推定の処理時間は極めて少ないと言える。また、処理速度を測る際に、手を自由に動かしたとき隠れ指の発生数は 1200 フレームで 576 であった。一般
的に対話操作システムには 10-12f ps 以上の処理速度が必要とされている。このことから本提案手法は十分な処理速度であり、他のシステムと併用する余地を残している。そのため、他の指先検出により手の姿勢推定を行うビジョンベースデータグローブシステムに適用可能な手法であると言える。

4.3

隠れ指先が存在する際の手の姿勢推定に関する評価

本実験システムを用いて手の姿勢推定について評価実験を行った。なお、真値を同時に計測する方法として、センサー数が多く精度の高いベンド センサー型データグローブを同時に装着することが考えられる。しかし 、この方法で実験を行うと、二つのグローブの布の厚みにより各関節の可動範囲が狭くなるなど 、手の動作に及ぼす影響が大きく正しく手の姿勢を計測・推定できない。そのため以下の実験方法を用いた。
ビジョンベースデータグローブを装着した手に対し 、２視点から手の姿勢推定を行う。一つの視点からは全ての指先を検出した手の姿勢推定ができるようにし 、別の視点からはセルフオ
クルージョンにより指先隠れが生じる手の姿勢を推定する。すなわち、全ての指先を検出した
視点からの推定姿勢を真値と扱い、もう一方の視点における隠れ指の姿勢推定の精度を評価する。今回は計測対象の手を中心に、手からの距離がおよそ１ｍの地点に約 40 度開けて２視点のカメラを設置した。実験対象とした手の動作は手を広げた姿勢から手を握り、再び手を広げる動作であり、示指が隠れ指になる手の向きとした。示指 PIP 関節角度と示指 MP 関節 (屈曲・伸展) 角度の実験の結果を図 4.2 と図 4.3 に示す。図中の 11 フレームから 30 フラームまでがセ
ルフオクルージョンにより指先が隠れたフレームである。また、破線が真値を表し 、実線が推定値を表す。

第4章

100

実験および評価、考察

31

度

90
80
70
60
50
40
30
20
10

frame
0
0

5

10

15

20

25

30

35

図 4.2: 示指 PIP 関節角度の推移

100

度

90
80
70
60
50
40
30
20
10

frame
0
0

5

10

15

20

25

図 4.3: 示指 MP 関節 (屈曲・伸展) 角度の推移

30

35

第4章

実験および評価、考察

32

二つの視点から全ての指先が検出されているときの平均誤差は PIP 関節角度で 6.77 度、MP関節 (屈曲・伸展) 角度で 5.60 度であった。また、隠れ指の姿勢推定を行った際の平均誤差は

PIP 関節角度で 6.78 度、MP 関節 (屈曲・伸展) 角度で 18.10 度であった。隠れ指の姿勢推定を行った際の MP 関節 (屈曲・伸展) 角度の推定誤差がやや大きい。図 4.3 を見ると隠れ指の推定姿勢の MP 関節 (屈曲・伸展) が実際の MP 関節 (屈曲・伸展) よりも屈曲して推定されている。今回実験対象とした手の動作は手を広げた姿勢から握り広げる動作とした。そのため握る動作が次の広げる動作を意識して軽く握る動作になり、実際の MP 関節 (屈曲・伸展) が可動範囲の上限まで屈曲しなかった。しかし 、推定姿勢の MP 関節 (屈曲・伸展) は陰空間領域内で指関節角度の推移に従い可動範囲の上限まで屈曲しているため、誤差が大きくなっている。ここ
で、実験の 20 フレーム目の示指の MP 関節 (屈曲・伸展) 角度のハンド モデルで比較すると見た目にはそれほどの差がないように見える (図 4.4)。図 4.4 では比較を容易にするため示指以外の指の各指関節角度は同一である。また、真値と推定値の指先位置の誤差を計算したところ、

18.37mm であった。今回、隠れ指の姿勢推定は各指ごとに行った。屈曲の大小などを他の指の曲がり具合から推定し指関節角度の可動範囲を逐次設定することで、隠れ指の推定によって実際の関節よりも屈曲しすぎてしまうことを防ぐことができると考えられる。また、図 4.5 、図4.6 に隠れ指の姿勢推定を行っている際のハンド モデルの挙動を示す。図 4.6 最上段から示指の指先が隠れているが 、指関節角度の推移に従い示指の姿勢を推定しているのが確認できる。

図 4.4: 20 フレーム目の示指の姿勢 (左:真値)(右:推定値)

第4章

実験および評価、考察

図 4.5: 隠れ指の姿勢推定の様子 (左:カメラ画像)(中央:推定姿勢)(右:別視点)

33

第4章

実験および評価、考察

図 4.6: 隠れ指の姿勢推定の様子 (左:カメラ画像)(中央:推定姿勢)(右:別視点)

34

35

第 5 章 むすび本研究では 、指先検出による手の姿勢推定を行うビジョンベースデータグローブにおいて、セルフオクルージョンにより指先検出ができない場合の手の姿勢を推定する手法を提案した。
提案手法では、まず隠れ指は隠れるまでの動作をしばらくの間は継続しているとして、直前の時刻までの動作の各指関節角度の時系列変化を三次多項式で近似した。そして隠れ指の動作が、完全に多項式に従い動作している、多項式に従う動作であるが動作の速度が変化している、あるいは動作そのものが変化している、のいずれの状況であるかを、他の指によりカメラ方向から陰となる空間である陰空間領域を用いて推定した。推定した動作に従いセルフオクルージョンにより隠れる姿勢となるように隠れ指の姿勢を推定することで、指先が検出できない場合の手の姿勢推定を実現した。実験システムを用いた実験より、セルフオクルージョンにより隠れた指の姿勢を各指関節角度の時系列変化を基に推定できていることが確認できた。また、十分に高速な処理速度で隠れ指の姿勢推定が実現できていることから、他の指先検出により手の姿
勢推定を行うビジョンベースデータグローブシステムに適用可能な手法であると考えられる。
今後の課題としては、指の姿勢の推定を、注目する指以外の指の姿勢を考慮して推定することが挙げられる。提案手法では、隠れ指は陰空間領域内であれば反復動作とならない限り動作し続けてしまうため、実際の指関節よりも大きく屈曲してしまう場合がある。他の指の姿勢を考慮することで、陰空間領域内での隠れ指の動作の推定をより実際の動作に沿った動作に推定ができるようになり、隠れ指の姿勢推定の精度が向上すると考えられる。また、今回は PC のモニタ付近をカメラの設置位置と想定したが 、近年はカメラ機能が搭載された携帯端末が広く普及している。そのため、携帯端末を片手に持ち、もう片方の手の姿勢を推定する状況を想定
し 、手掌方向からだけでなく手背方向などへも対応することも挙げられる。
将来的には素手からの指先検出により手の姿勢推定を行う手法に適用することで、カメラさえ用意できれば一般家庭などの身近な場にデータグローブという仕組みを普及させることが可能になると考えられる。そのため、隠れ指の姿勢推定の向上とともに、素手からの指先検出に
より手の姿勢推定を行う手法へ適用していきたい。

36

謝辞

本研究を進めるにあたり、日頃から多大な御尽力をいただき、御指導を賜りました名古屋工業大学 舟橋健司 准教授、伊藤宏隆 助教、山本大介 助教に心から感謝致します。
また、本研究に対して御討論、御協力いただきました本学 中村研究室の皆様ならびに中部大学 岩堀研究室の皆様、愛知教育大学

福井真二

准教授に深く感謝致します。

最後に、本研究を進めるにあたり多大な協力を頂いた舟橋研究室の皆さま、友人の皆さまに心から感謝致します。

37

参考文献

[1] 舘日章 ，佐藤誠，廣瀬通孝，”バーチャルリアリティとは, バーチャルリアリティ学, 日本

バーチャルリアリティ学会 (編),pp.2-22,(株) 工業調査会,2010.

[2] 山下樹里，横山和則，熊谷徹，友田幸一，小西琢，村田英之， 仮想の鏡「ハイパーミラー」
を用いた内視鏡下鼻内手術の遠隔手技指導実験 , 日本バーチャルリアリティ学会論文誌

Vol.14,No.4,pp.445-454,2009.
[3] 李在麟，太田啓路，河合隆史，吉田菜穂子，井澤修平，野村忍，イームズ・ダグラス，山崎恵，貝谷久宣， 地下鉄パニック障害治療用の VR コンテンツ開発 , 日本バーチャルリ
アリティ学会論文誌 Vol.12,No.1,pp.57-65,2007.

[4] 荻野雅敏，瀧剛志，大塚勝也，北島章雄，宮崎慎也，長谷川純一， ボブスレー競技のための体感型トレーニングシミュレータの構築, 日本バーチャルリアリティ学会論文誌

Vol.11,No.4,pp.469-477,2006.
[5] 島田伸敬，白井良明，久野義徳，三浦純， 緩やかな制約知識を利用した単眼視動画像からの関節物体の形状と姿勢の同時推定 , 電子情報通信学会論文誌,Vol.J81-D-2,No.1,pp.45-

53,1998.
[6] 藤本光一，松尾直志，島田伸敬，白井良明， 輪郭部分特徴の階層構造学習による三次元
手指姿勢推定の高速化, 画像の認識・理解シンポジウム,IS3-64,2010.

[7] 玉城絵美，味八木崇，暦本純一， インタラクションシステムのための高精度な 3 次元ハンドジェスチャ認識手法 , 情報処理学会論文誌,Vol.5,No.2,pp.229-239,Feb.2010.

[8] Robert Y. Wang and Jovan Popovic,

Real-Time Hand-Tracking with a Color Glove ,ACM Transaction on Graphics(SIGGRAPH 2009),Vol.28,No.3,2009.
[9] M.K. Bhuyan, Debanga Raj Neog and Mithun Kumar Kar,

Hand Pose Recognition

using Geometric Features , National Conference on Communications(NCC),2011.
[10] Kenji Oka, Yoichi Sato, and Hideki Koike,

Real-time fingertip tracking and gesturerecognition , IEEE Computer Graphics and Applications,Vol.22,No.6,pp.64-71,2002.

38[11] 藤木隆司, 吉本廣雅, 有田大作, 谷口倫一郎， ヒューマンインターフェースのための実時
間手形状計測, 火の国情報シンポジウム 2004,2004.

[12] Vitor F. Pamplona, Leandro A. F. Fernandes, Joao Prauchner, Luciana P. Nedel e
Manuel M. Oliveira,The Image-Based Data Glove , Proceedings of X Sympo-

sium on Virtual Reality (SVR’2008),Joao Pessoa,2008.Anais do SVR 2008,Porto Alegre:
SBC,2008,(ISBN:857669174-4).pp.204-211.
[13] 陳維英，藤木隆司，有田大作，谷口倫一郎， 複数カメラを用いた実時間三次元手形状推定, 画像の認識・理解シンポジウム,pp.328-333,2006.

[14] 山本三四郎，舟橋健司， 一般家庭への普及を考慮したイメージベースデータグローブの検討 , 日本バーチャルリアリティ学会第 15 回大会講演論文集, 2A2-5(DVD-ROM),2010.

[15] 加藤博一，Billinghurst Mark，浅野浩一，橘啓八郎， マーカー追跡に基づく拡張現実感シス
テムとそのキャリブレーション , 日本バーチャルリアリティ学会論文誌 Vol.4,No.4,pp.607-

616,1999.
[16] 鎌倉矩子， 手のかたち手のうごき , 医歯薬出版株式会社,1989.
[17] ELKOURA G and SINGH K,

Handrix：Animating the Human Hand , Proceedingsof the 2003 ACM SIGGRAPH/Eurographics Symposium on Computer Animation,2003.
[18] 市川亮， 物体の把握・操作時における指関節の動きモデル, 和歌山大学学士学位論文,

2002.
[19] S. Hayati, K. Tso, and G. Roston,

Robot Geometry Calibration , Trans. of IEEE

Robotics and Automation,Vol.2,pp.947-951,1988.
[20] Chris Welman.

Inverse kinematics and geometric constraints for articulated figure

manipulation , M.Sc Thesis,Simon Fraser University,1993.

39

発表論文リスト

1. 山本三四郎，舟橋健司， 一般家庭への普及を考慮したイメージベースデータグローブの検討 , 日本バーチャルリアリティ学会第 15 回大会講演論文集,2A2-5(DVD-ROM),2010.

2. 山本三四郎，金沢秀典，舟橋健司， 物体形状情報を利用したセンサー数の少ないデー
タグローブによる補正法 , 日本バーチャルリアリティ学会第 16 回大会講演論文集,33D-

5(DVD-ROM),2011.
3. Shinichi Hamaguchi, Sanshiro Yamamoto, Kenji Funahashi, Hidenori Kanazawa:Dataadjustment methods of a low-priced data glove, Proc. ICAT2011 (UFD; USB Flash
Drive), 2011.