平成 25 年度 卒業論文

手背画像による親指挙動を考慮した
ビジョンベースデータグローブ

指導教員
舟橋

名古屋工業大学

工学部

平成 21 年度入学

情報工学科

21115160 番

吉田 悠

健司

准教授

i

目次

第 1 章 はじめに

1

第 2 章 手掌画像によるビジョンベースデータグローブ

4

手指の拘束条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1.1

各指関節の可動範囲 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1.2

指関節間の依存関係 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.2

順運動学 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

2.3

逆運動学による手の姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

2.4

指先の隠れを考慮した手の姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . . . .

12

2.4.1

動作が継続していると仮定した場合の隠れ指の姿勢推定 . . . . . . . . . . .

12

2.4.2

過去フレームにおける相関関係を基にした指関節角度の推移 . . . . . . . .

12

2.4.3

過去フレームにおける相関関係が求まらない場合の指関節角度の推移 . . .

13

2.4.4

指関節角度の推移を基にした隠れ指の姿勢推定 . . . . . . . . . . . . . . . .

15

2.1

2.5

陰空間領域での不規則な動作を考慮した隠れ指の姿勢推定. . . . . . . . . . . . .

17

2.5.1

陰空間領域 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

2.5.2

陰空間領域の内外判定の結果により考えられる隠れ指の動作 . . . . . . . .

19

第 3 章 親指挙動を制限した手背画像によるビジョンベースデータグローブ

22

3.1

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

3.2

手の面積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

3.3

凸包輪郭線長 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

3.4

合計屈曲率に基づく手の面積と凸包輪郭線長の関係 . . . . . . . . . . . . . . . . .

24

3.5

分布表による合計屈曲率の取得 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

3.6

推定した合計屈曲率による各隠れ指の屈曲度合 . . . . . . . . . . . . . . . . . . . .

27

3.7

隠れ指の姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

ii

第 4 章 親指挙動を考慮した手背画像によるビジョンベースデータグローブ

29

4.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

4.2

親指挙動に対する手の面積と凸包輪郭線長の関係 . . . . . . . . . . . . . . . . . .

29

4.3

親指の合計関節角度による屈曲率の分布表 . . . . . . . . . . . . . . . . . . . . . .

31

4.4

隠れ指の姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

第 5 章 実験および考察

32

5.1

実験システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

5.2

いくつかの姿勢に対する親指を考慮した隠れ指の姿勢推定. . . . . . . . . . . . .

32

5.3

いくつかの姿勢に対する隠れ指の各関節角度誤差 . . . . . . . . . . . . . . . . . .

34

5.3.1

グー姿勢に対する隠れ指の各関節角度誤差 . . . . . . . . . . . . . . . . . .

34

5.3.2

チョキの姿勢に対する隠れ指の各関節角度誤差 . . . . . . . . . . . . . . . .

37

5.3.3

物体 (ボール ) を把持した姿勢に対する隠れ指の各関節角度誤差 . . . . . . .

37

5.3.4

隠れ指の各関節角度誤差に対する考察

39. . . . . . . . . . . . . . . . . . . .

第 6 章 むすび

41

謝辞

43

参考文献

44

1

第 1 章 はじめに

バーチャルリアリティ(Virtual Reality :以下 VR) とは，本質的に現実と同等の価値を持っているものであり，「 それがそこにないにもかかわらず，観察する者にそこにあると感じさせるもの」[1]である．そのため，VR 技術を利用することで，現実と同等の体験をすることが可能となる．
近年では，VR 技術の発展に伴い，その技術を利用した，教育・訓練シュミレータ [2][3] が多く開発されている．これらのような VR シュミレータを利用することで，現実で訓練する環境を用意する際のコストを少なくすることができ，また，現実では危険性を伴う訓練を，安全に行うことが可能となる．しかしながら，これらの VR 技術を利用したシュミレータでは，インターフェースの開発は，総じて巨大，高価になることが多く，一般家庭などの身近な場に普及しにくいものとなっている．

VR 技術に用いられるインターフェースには，ヘッド マウントデ ィスプレ イ，ロボットアーム，
データグローブ，タッチパネル，３次元マウスなど 多くの種類がある．本研究では，人間が物体操作を行う際は，手で操作することが多いことを考慮し ，仮想空間上での物体操作のためのインターフェースとして，現実空間と同様の操作感を期待できる，データグローブに着目する．
データグローブは，様々な種類のものが開発されている．中でも代表的なものとして，ベンド
センサによって計測を行うデータグローブがある．このデータグローブは，１つのセンサで１つの曲げ角を計測しているため，正確な手の姿勢を計測するには，多くのセンサを取り付ける必要がある．そのため，センサの数が多くなり，高価なものとなってしまう．しかし中には，１つのセンサで各指全体の曲げ角を計測し ，各関節についてのついての計測を省くことで，少ないセンサの数で手の姿勢推定を行う，安価なデータグローブも存在する．また，カメラ画像から手の姿勢推定を行うビジョンベースデータグローブの研究も多数ある．１つは，事前に画像上での手の姿
勢のデータベースを構築し ，入力画像とのマッチングを行うことで，手の姿勢を推定するパター
ンマッチングの手法である．もう１つは，特徴量やマーカーから指先等の検出を行い，手の姿勢推定を行う手法である．
パターンマッチングの手法では，事前に，手の様々な姿勢のデータベースを構築しておくこと
で，手の姿勢を推定することができる．しかし ，正確な推定をするためには，膨大な量のデータベースから，入力画像とマッチングする対象を探索する必要があり，推定精度と処理速度の両立

第 1 章 はじめに2は難しい．この問題を解決するため多くの研究がされており，例えば，藤本ら [4] は，輪郭形状の凹凸情報を利用し 、木構造のデータベースを構築することで、探索時間を削減した．また，富田ら [5] は，データベースの探索に，手指の縦横比率等の形状比率を加え，画像特徴量と組み合わせることで，精度が高く，高速な姿勢推定を実現した．また，Wang ら [6] は，シルエット情報や輪郭情報とは違い，マルチカラーグローブを用いることで入力画像とマッチングを行っている．しかしながら，一般家庭への普及を考慮すると，数多くのサンプルデータを取得し，個人の手に合ったデータベースの構築は困難であることが予想される．
特徴量やマーカーから指先等の検出を行う手法では，例として，Pamplona ら [7] は，各指先に付けた ARToolKit マーカ (以下 AR マーカ) より，各指先位置を取得し，逆運動学 (Inverse Kine-

matic:IK) を解くことで，手の姿勢推定を行っている．また，笠松ら [8] は，手の甲の特徴点より，
手の姿勢変化の推定を行っている．特徴量やマーカから指先等の検出を行う手法では，このように，特徴点から各関節間の関係性等を用いて，手の姿勢推定をすることが主流となっている．これらの手法では，ユーザの手形状の情報 (ハンド モデル ) を用意することで，手の姿勢推定を行うことができ，パターンマッチングのように，ユーザごとのデータベースを構築する必要はない．そのため，多数のサンプル取得からのデータベース構築を省くことができる点において，特徴量やマーカから指先等の検出を行う手法の方が，パターンマッチングの手法よりも，一般家庭向けの，データグローブによる姿勢推定に適していると考えられる．そこで本研究では、特徴量やマーカから指先等の検出を行う手法による，一般家庭向けの，安価なデータグローブについて考察する．
当研究室では，過去に，カメラ画像における手の指先の二次元座標と，手の三次元位置と方向(手首など ) が分かるならば，セルフオクルージョンにより指先が検知できない場合でも手の各関節角度を推定可能とする手法を提案している [9]．そのため，本システムでは前提条件として，指先の位置および手の三次元位置と方向が分かっているものとし ，実験では指先につけた色マーカー
を基に指先を検知し，AR マーカにより手の三次元座標および向きを取得している [10]．その上で，手指の拘束条件により指先の三次元位置を推定し，逆運動学を解くことで手の姿勢推定を行う．しかし ，指先が他の指先に隠れてしまい，指先が検知できない場合が想定される．この場合は指先が隠れる前の手の動作が継続していると仮定し ，その動作の時系列変化を多項式で表現すること
で，現時刻の手の姿勢を推定する．その際，推定された指先位置が，セルフオクルージョンにより隠れているか否かを判定し，必要に応じて指先が隠れる姿勢になるように再推定する．しかし，
このシステムは，対象者の正面にカメラを設置し ，手の平側をカメラで撮影し ，手の姿勢推定をすることを前提としているため，手の甲側からの撮影を想定していない．近年では，タブレット
機器やスマートフォン等のモバイル端末が広く普及していることから，片手で端末を持ち，他方の手を撮影することで，カメラで撮影された VR/MR/AR の世界に対して対話操作を行うことが第 1 章 はじめに3想定される．そのため，手背画像での姿勢推定は必要である．
手背画像では，手の平からの撮影と違い，カメラ側から隠れる方向へ各指が屈曲するため，指先が隠れる状況が多く存在し，手の姿勢推定が難しい．さきほどのシステム [9] では，指先位置を時系列変化により推定するため，隠れている指が可動限界まで屈曲した姿勢で推定されてしまう．
その問題を解決するための手法 [11] を提案しており，カメラ画像における手の面積，および手の領域に対する凸包の輪郭線長を用いる．事前に，指先が隠れた場合における手の面積および凸包輪
郭線長から表を作成しておき，その表を参照することで母指以外の指４本の屈曲度合の合計をポイントとして求める．検出済みの指に対しては屈曲度合が分かるため，これを前述の合計ポイン
トから減算し ，得られたポイントを検出されていない各指に対して等しく割り当てることで，隠れている指の関節角度を推定している．なお，この段階では母指の動きは考慮しておらず，固定した状態にしている．また手首の回転も考慮していない．そこで，本論文では，母指の指先が検出できている場合に，母指の挙動も考慮した手背画像による隠れた指の姿勢推定の手法を提案する．
新たに提案する手法では，手の面積と凸包輪郭線長だけの二次元での表では，母指の屈曲に対する面積や輪郭線の変化に対応できない．そのため，母指の関節角度に注目し，母指の関節角度，
手の面積，凸包輪郭線長の３次元で考え，母指以外の指の，屈曲度合の合計ポイントを推定する
ことで，手の姿勢を推定する．
以下，第２章および第３章では，これまでに提案している手掌画像によるビジョンベースデー
タグローブと手背画像による親指挙動を制限したビジョンベースデータグローブの概要を記す。第４章では，親指の挙動を考慮した上での隠れた指を姿勢推定する提案手法，第５章では実験とその結果，第６章ではまとめを述べる．

4

第2章

手掌画像によるビジョンベースデータグ
ローブ

本章では，これまでに提案している手掌画像によるビジョンベースデータグローブについて説明する [9]．文献 [9] では、カメラ画像における手の指先の二次元座標と，手の三次元位置と方向(手首など ) が分かるならば，セルフオクルージョンにより指先が検知できない場合でも手の各関節角度を推定可能とする手法を提案している．実験システムでは，指先の位置特定の手段として色マーカを使用し ，指先に取り付けた色マーカより入力画像中の指先位置を特定している．そして，手の三次元位置と方向情報の取得手段として，AR マーカを使用する．手の三次元座標および向き，手指の拘束条件より、逆運動学を解くことで手の姿勢推定を行う．また，本来手は非剛体の物体であるが，他物体との接触を考慮せず姿勢推定を優先するため，手を各関節点で剛体同士を接続した骨格モデル (図 2.1) とそれに付随するスキンモデルで表す．骨格モデルの指関節には，母指の IP 関節と MP 関節はそれぞれ 1 自由度，CM 関節は 2 自由度の計 4 自由度，その他の指のDIP 関節と PIP 関節はそれぞれ 1 自由度，MP 関節は 2 自由度の計 4 自由度と設定する．本研究では，各関節の名称を表 2.1 のように表記する．

DIP
PIP
IP

MP

MP
CM

2自由度

1自由度

図 2.1: 骨格モデル

第 2 章 手掌画像によるビジョンベースデータグローブ

5

名称

表記

遠位指節間関節DIP 関節PIP 関節
MP 関節
IP 関節
CM 関節

近位指節間関節中手指節間関節
指節間関節 (母指)
母指手根中手関節

表 2.1: 各関節の名称と表記

手指の拘束条件

2.1

人間の手には構造上の様々な拘束があり，拘束条件として知られている．本研究ではこの拘束条件をモデルに組み込み，手の姿勢推定に利用する．

2.1.1

各指関節の可動範囲

指の各関節にはそれぞれ可動範囲がある (文献 [12] 参考)．これを参考に，各指に対する可動範
囲を知識と経験に基づいて設定する．設定した各関節に対応する可動範囲は表 2.2 に示す．

IP

MP

母指

0◦〜80◦

0◦〜60◦

DIP

PIP

示指

0◦〜80◦

0◦〜100◦中指

0◦〜80◦
0◦〜80◦
0◦〜80◦

0◦〜100◦0◦〜100◦0◦〜100◦環指
小指

CM(掌側内転・外転)
0◦〜90◦

CM(尺側内転・橈側外転)0◦〜60◦

MP(屈曲・伸展)0◦〜90◦
0◦〜90◦
0◦〜90◦
0◦〜90◦

MP(内転・外転)−25◦〜25◦−25◦〜25◦−25◦〜25◦−25◦〜25◦

表 2.2: 設定した各指関節角度の可動範囲

2.1.2

指関節間の依存関係

ここで，母指以外の指を指 i(i = 1 〜 4) とし，i = 1 は示指を表し，i = 4 は小指を表す．また，母指を指 0 とする．指 i における各指関節角度には次のような依存関係が存在する．

• DIP 関節と PIP 関節の関節角度には比例の相関関係がある [13](図 2.2 の左の図)．
• PIP 関節と MP 関節 (屈曲・伸展) の関節角度には S 字型の相関関係がある [14](図 2.2 の右の図)．

第 2 章 手掌画像によるビジョンベースデータグローブ

6

また，母指にも他の指と同様な以下のような依存関係が見られる．

• IP 関節と MP 関節の関節角度には比例の相関関係がある (図 2.3 の左の図)．
• MP 関節と CM 関節 (掌側内転・外転) の関節角度には逆 S 字型の相関関係がある (図 2.3 の
右の図)．



 

 





 




 

図 2.2: 指 i における各関節間の依存関係 (左「 DIP 関節と PIP 関節」右「 PIP 関節と MP 関節 (屈曲・伸展) 」)














      

図 2.3: 母指における各関節間の依存関係 (左「 IP 関節と MP 関節」右「 MP 関節と CM 関節 (掌側内転・外転) 」)

第 2 章 手掌画像によるビジョンベースデータグローブ

7

指 i の MP 関節は屈曲するほど 内転・外転の可動範囲の中心に向かっていき，かつ可動範囲が狭くなる性質が見られる [14]．よって，式 2.1 のように，MP 関節 (内転・外転) の可動範囲を改めて設定する．ここで，θi3 は指 i の MP 関節 (屈曲・伸展) を表し，θi4 は指 i の MP 関節 (内転・外転) を表す．

{2.2−(25 − 0.5 ∗ (θi3 − 60.0))◦ ≤ θi4 ≤ (25 − 0.5 ∗ (θi3 − 60.0))◦ (θi3 ≥ 60◦ )−25◦ ≤ θi4 ≤ 25◦(θi3 < 60◦ )

(2.1)

順運動学

2.1 節の拘束条件を利用し 、順運動学 (Forward Kinematics: FK) を解くために、指の構造の数式化を行う．指の構造を数式化するために，修正 Denavit-Hartenberg 記法 [15] を用いる．指 i のDH パラメータを表 2.3 に，母指の DH パラメータを表 2.4 に示す．表の変数については図 2.4，図2.5 に示す．a はリンクの長さ，α はリンクのねじれ角，d はリンク間距離，θ はリンク間角度を
表す．

a
0
0
Li3
Li2
Li1

リンク 1
リンク 2
リンク 3
リンク 4
リンク 5

α
180◦
−90◦
0◦
0◦
0◦

d
0
0
0
0
0

θ
θi4 − 90◦
θi3
θi2
θi1
0◦

表 2.3: 指 i の DH パラメータ

θi1

リンク 2
リンク 3
リンク 4
リンク 5

θ02

θi3

Li3

L02

屈曲・伸展

MP

PIP

θi4

θ03

L03
CM

MP

θ
θ03
θ04 − 90◦
θ02
θ01
0◦

IP

MP

PIP

d
0
0
0
0
0

L01
IP

DIP

Li2

α
90◦
90◦
−90◦
0◦
0◦

表 2.4: 母指の DH パラメータ

θ01

Li1
DIP

θi2

リンク 1

a
0
0
L03
L02
L01

θ04

CM

MP
内転・外転

図 2.4: 指 i の DH パラメータ変数

屈曲・伸展
尺側内転・橈側外転(掌側内転・外転)

図 2.5: 母指の DH パラメータ変数

第 2 章 手掌画像によるビジョンベースデータグローブ8

表 2.3 に基づき指 i の順運動学 F Ki (θi4 , θi3 , θi2 , θi1 ) を求めると式 2.2 に，表 2.4 に基づき母指の順運動学 F K0 (θ04 , θ03 , θ02 , θ01 ) を求めると式 2.3 となる．

Li1 sin θi4 cos(θi3 + θi2 + θi1 )+Li2 sin θi4 cos(θi3 + θi2 ) + Li3 sin θi4 cos θi3






F Ki (θi4 , θi3 , θi2 , θi1 ) =  Li1 cos θi4 cos(θi3 + θi2 + θi1 )





+L
cos
θ
cos(θ
+
θ
)
+
L
cos
θ
cos
θ
i2
i4
i3
i2
i3
i4
i3


Li1 sin(θi3 + θi2 + θi1 ) + Li2 sin(θi3 + θi2 ) + Li3 sin θi3


(2.2)




L01 cos θ04 sin θ03 cos(θ02 + θ01 ) − L01 sin θ04 sin(θ02 + θ01 )+L02 cos θ04 sin θ03 cos θ02 − L02 sin θ04 sin θ02






+L03 cos θ04 sin θ03





F K0 (θ04 , θ03 , θ02 , θ01 ) =  L01 cos θ03 cos(θ02 + θ01 ) + L02 cos θ03 cos θ02 + L03 cos θ03  (2.3)
 L sin θ sin θ cos(θ + θ ) + L cos θ sin(θ + θ ) 
04
03
02
01
01
04
02
01 
 01


+L02 sin θ04 sin θ03 cos θ02 + L02 cos θ04 sin θ02
+L03 sin θ04 sin θ03
また，図 2.2 より DIP 関節角度 θi1 (= fθi1 (θi2 )) は式 2.4 で，図 2.3 より，IP 関節角度 θ01 (=fθ01 (θ02 )) は式 2.5 で表すことができる．

fθi1 (θi2 ) =

2
θi2
3

(2.4)

fθ01 (θ02 ) =

4
θ02
3

(2.5)

よって，式 2.4，式 2.5 より，式 2.2 に式 2.4 を，式 2.3 に式 2.5 を代入し ，式 2.6 を指 i の順運
動学 F Ki (θi4 , θi3 , θi2 ) の式とし，式 2.7 を母指の順運動学 F K0 (θ04 , θ03 , θ02 ) の式とする．


Li1 sin θi4 cos(θi3 + 53 θi2 ) + Li2 sin θi4 cos(θi3 + θi2 )+Li3 sin θi4 cos θi3






F Ki (θi4 , θi3 , θi2 ) =  Li1 cos θi4 cos(θi3 + 35 θi2 ) + Li2 cos θi4 cos(θi3 + θi2 ) +Li3 cos θi4 cos θi35
Li1 sin(θi3 + 3 θi2 ) + Li2 sin(θi3 + θi2 ) + Li3 sin θi3(2.6)

第 2 章 手掌画像によるビジョンベースデータグローブ

L01 cos θ04 sin θ03 cos 37 θ02 − L01 sin θ04 sin 73 θ02

+L02 cos θ04 sin θ03 cos θ02 − L02 sin θ04 sin θ02 





+L03 cos θ04 sin θ03




7

F K0 (θ04 , θ03 , θ02 ) =  L01 cos θ03 cos 3 θ02 + L02 cos θ03 cos θ02 + L03 cos θ03  L sin θ sin θ cos 7 θ + L cos θ sin 7 θ
04
03
02
01
04
02

 01
3
3


+L02 sin θ04 sin θ03 cos θ02 + L02 cos θ04 sin θ02 +L03 sin θ04 sin θ03

9



(2.7)

第 2 章 手掌画像によるビジョンベースデータグローブ

2.3

10

逆運動学による手の姿勢推定

色マーカから取得した指先位置と 2.1.2 節の述べた拘束条件より，指先の三次元位置を推定する．
図 2.6 に本実験システムで使用しているデータグローブを示す．推定した指先の三次元位置から，逆運動学の計算アルゴ リズムの１つである Cyclic-Coordinate Descent(CCD) 法 [16] を解くこと
で，手の姿勢推定を行う．CCD 法は，反復計算によって，最適化問題を解く手法であり，反復 1 回あたりの計算量も少ないため，リアルタイムでの処理が必要な本研究に適していると考えられる．

図 2.6: ビジョンデータベースグローブ

次に，CCD 法の計算手順について図 2.7 を用いて説明する．本研究では，指先 e をエンドエフェ
クタとし，目標位置 g をゴールとする．その上で，CCD 法により，エンド エフェクタとゴールを最小化する最適化問題を解く．指先 e を目標位置 g まで移動させる場合の計算手順を以下に示す．

第 2 章 手掌画像によるビジョンベースデータグローブ

 













 



%&'()*

11

 



 



 #$
!"







+,% -./0123

図 2.7: CCD 法を用いた逆運動学

1. 先端の関節 c から指先 e へのベクトル E と c から目標位置 g へのベクトル G を算出する．
2. 手順 1 で求めたベクトルを正規化し，E から G への回転角を算出する．
3. 関節 c に手順 2 で求めた回転角を加える．このとき関節の拘束条件に当てはめ，関節の可動範囲と新しく得られた関節角を比較し，可動範囲を越えているならば関節角の値を可動範囲の上限 (あるいは下限) となるように変更する．

4. 新しく得られた関節角における指先の位置を算出し，指先と目標位置との距離が前のものよりも大きくなる場合は前の関節角の値に戻す．

5. 関節 c の親である関節 b において手順 1 から手順 4 の計算を関節 b に置き換え繰り返す．以第 2 章 手掌画像によるビジョンベースデータグローブ

12

上の手順をルートである関節 a まで繰り返す．

6. 指先と目標位置との距離が閾値以下になるか，設定された反復回数を越えるまで手順 1 から
手順 5 の計算を繰り返す．

CCD 法は，一度に関節が大きく移動するのを防ぐため，damping(粘性減衰) を付け加えることができる．ここで，指 i の順運動学 F Ki (θi4 , θi3 , θi2 ) には，指 i の DIP 関節角度 θi1 と PIP 関節
角度 θi2 の相関関係 fθi1 (θi2 ) が含まれている．また，母指の順運動学 F K0 (θ04 , θ03 , θ02 ) には，母
指の IP 関節角度 θ01 と MP 関節角度 θ02 の相関関係 fθ01 (θ02 ) が含まれている．この fθi1 (θi2 ) とfθ01 (θ02 ) を逆運動学でも考慮するために，damping(粘性減衰) を用いる．具体的には，DIP 関節と IP 関節はターゲットとゴ ールの最小化を行わず，PIP 関節角度 θi2 と MP 関節角度 θ02 を求める際に，fθi1 (θi2 ) と fθ01 (θ02 ) を用いて DIP 関節角度 θi1 と IP 関節角度 θ01 を求める．二つの指関節角度を同時に更新するため，e が G を越えて移動しないように PIP 関節と MP 関節の damping
係数を適切に設定する．これにより，fθi1 (θi2 ) と fθ01 (θ02 ) の関係を保ちながら手の姿勢推定が可
能となる．

2.4

指先の隠れを考慮した手の姿勢推定

本節では，文献 [9] に記されている，指先の隠れを考慮した推定法を記す．本手法 [9] では，隠れた指 (以下 隠れ指) の動作は，隠れる前の動作が継続していると仮定して推定し，推定された指先位置が，陰空間領域に存在するか否かの判定をする．その上で，場合によっては再推定することで隠れ指の姿勢を推定する．なお，陰空間領域とは，他の指によりカメラ方向から陰となり，対象が見えなくなる空間と定義する (2.5.1 節)．

2.4.1

動作が継続していると仮定した場合の隠れ指の姿勢推定

動作が継続していると仮定した場合，手の姿勢は時系列変化で表現できる．そのため，過去フ
レームにおける各指関節角度の推移から隠れ指の姿勢を推定する．ここで，2.2 節の順運動学，2.3
節の逆運動学それぞれにおいて，DIP 関節角度 θi1 と PIP 関節角度 θi2 のの相関関係 fθi1 (θi2 ) が含
まれている．この相関関係を隠れた指の姿勢推定に用いる．

2.4.2

過去フレームにおける相関関係を基にした指関節角度の推移

本手法 [9] では，参照する過去フレームにおける隠れ指の PIP 関節角度 θi2j と MP 関節 (屈曲・伸展) 角度 θi3j の相関関係を表す三次多項式 fθci2 (θi3j )(式 2.8)，fθci3 (θi2j )(式 2.9) を各関節角度よ第 2 章 手掌画像によるビジョンベースデータグローブ

13

り最小二乗法を用いて導出する．ここで，j は，0 ≤ j ≤ n であり，j = 0 は参照する最も過去のフレームを，j = n は現フレームを表す．

32fθci2 (θi3j ) = αic2 θi3j
+ βic2 θi3j
+ γic2 θi3j + δic2

(2.8)

3
2
fθci3 (θi2j ) = αic3 θi2j
+ βic3 θi2j
+ γic3 θi2j + δic3

(2.9)

ここで， αic2 ，βic2 ，γic2 ，δic2 ，αic3 ，βic3 ，γic3 ，δic3 ，は定数である．
次に，式 2.8，式 2.8 を用いて，相関関係を基にした，参照する過去フレームにおける各指関節
角度 θi2j ，θi3j を再計算する．過去フレームにおける相関関係を基にした PIP 関節角度 θi2 の推移を表す三次多項式 fθcti2 (tj )(式 2.10) を再計算した θi2j と時刻 tj より最小二乗法を用いて導出する．
また，過去フレームにおける相関関係を基にした MP 関節 (屈曲・伸展) 角度 θi3 の推移を表す三次多項式 fθcti3 (tj ) (式 2.11) を再計算した θi3j と時刻 tj より最小二乗法を用いて導出する．ここで，tn は参照する最も過去のフレームの時刻を t0 = 0.0 としたときの経過時間である．

fθcti2 (tj ) = αict2 t3j + βict2 t2j + γict2 tj + δict2(2.10)

fθcti3 (tj ) = αict3 t3j + βict3 t2j + γict3 tj + δict3(2.11)

ここで， αict2 ，βict2 ，γict2 ，δict2 ，αict3 ，βict3 ，γict3 ，δict3 ，は定数である．この，式 2.10 と式

2.11 に現フレームの時刻 tn を加えることで，動作が継続している場合の隠れ指の姿勢を推定する．

2.4.3

過去フレームにおける相関関係が求まらない場合の指関節角度の推移

2.4.1 節において，過去フレームにおける相関関係を利用したが，過去フレームでの相関関係が求まらない場合も考慮する．MP 関節 (内転・外転) 角度 θi4 は，他の指関節角度との明確な相関関係が存在しない．そのため，過去フレームにおける MP 関節 (内転・外転) 角度 θi4 の推移を表す
三次多項式 fθti4 (tj )(式 2.12) を過去フレームにおける指関節角度 θi4j と時刻 tj より最小二乗法を用いて導出する．

fθti4 (tj ) = αit4 t3j + βit4 t2j + γit4 tj + δit4

(2.12)

第 2 章 手掌画像によるビジョンベースデータグローブ14

αit4 ，βit4 ，γit4 ，δit4 は定数である．
ここで，参照する過去フレームにおいて，指関節角度が図 2.8，図 2.9 のような場合，過去フレー
ムにおける指関節角度間の相関関係を表す三次多項式 fθci2 (θi3j ) と fθci3 (θi2j ) がうまく導出できない．
そこで，過去フレームにおける相関関係を表す三次多項式がうまく導出できない場合は，fθti4 (tj )と同様に，過去フレームにおける指関節角度の推移を表す三次多項式を導出する．過去フレーム
における PIP 関節角度 θi2 の推移を表す三次多項式 fθti2 (tj )(式 2.13) を過去フレームにおける指関
節角度 θi2j と時刻 tj により最小二乗法を用いて導出する．また，過去フレームにおける MP 関節(屈曲・伸展) 角度 θi3 の推移を表す三次多項式 fθti3 (tj ) (式 2.14) を過去フレームにおける指関節角度 θi3j と時刻 tj により最小二乗法を用いて導出する．

 

 


図 2.8: 無相関に分布
図 2.9: 片方の指関節が角度が固定されて分布

fθti2 (tj ) = αit2 t3j + βit2 t2j + γit2 tj + δit2

(2.13)fθti3 (tj ) = αit3 t3j + βit3 t2j + γit3 tj + δit3

(2.14)

ここで，αit2 ，βit2 ，γit2 ，δit2 ，αit3 ，βit3 ，γit3 ，δit3 は定数である．
ところで，過去フレームにおいて指の動作が止まるなどして指関節角度が同一であるフレームが連続する場合がある．この場合，過去フレームにおける指関節角度の推移を表す式は定数となってしまい，指関節角度が固定された手の姿勢しか推定することができない．そこで，指関節角度が前フレームと同じ場合には参照する過去フレームの指関節角度データを更新しないようにする
ことで，指関節角度の推移を表す式が定数にならないようにする．

第 2 章 手掌画像によるビジョンベースデータグローブ

2.4.4

15

指関節角度の推移を基にした隠れ指の姿勢推定

fθcti2 (tj ) または fθti2 (tj ) によって現フレームにおける PIP 関節角度 θi2n が求まり，fθcti3 (tj ) またはfθti3 (tj ) によって現フレームにおける MP 関節 (屈曲・伸展) 角度 θi3n が求まる．また，fθti4 (tj ) によって現フレームにおける MP 関節 (内転・外転) 角度 θi4n が求まる．そして，逆運動学 F Ki (θi4 , θi3 , θi2 )から，隠れ指の動作が，隠れる前から継続している場合の隠れ指の姿勢が推定できる．図 2.10〜
図 2.12 に動作が継続している場合の隠れ指の姿勢推定の概略図を示す．

第 2 章 手掌画像によるビジョンベースデータグローブ









16

 
 



図 2.10: θi2n の推定










 


 




図 2.11: θi3n の推定








図 2.12: θi4n の推定

赤い矢印が過去フレームにおける指関節角度間の相関関係を導出し ，過去フレームにおける相関関係を基にした指関節角度の推移から隠れ指の指関節角度を推定する流れである．青い矢印が過去フレームにおける指関節角度の相関関係を導出できない場合に，過去フレームにおける指関節角度の推移から隠れ指を推定する流れである．

第 2 章 手掌画像によるビジョンベースデータグローブ

2.5

17

陰空間領域での不規則な動作を考慮した隠れ指の姿勢推定

前節では，動作が継続していると仮定し ，多項式に従うものとした．しかし ，陰空間領域での不規則な動きを考慮するために，多項式に従うものとして推定した指先位置が陰空間領域に存在するか否かを基に，改めて隠れ指の姿勢を推定する．

2.5.1

陰空間領域

陰空間領域とは、隠れ指 i 以外の指 k(k6=i) によってカメラ方向から陰となる空間領域である．ここで，陰空間をつくる指 k について考える．指は指節からなり，指節を関節点を結ぶ直線を軸とする円柱に関節点を中心とした球として表す．指 kd を構成する円柱と球の半径を rkd ，関節点を結ぶ直線の長さを表 2.3 のリンクの長さである Lkd とすると，指節 kd は図 2.13 中の指節 kd のようなカプセル状の物体として表せる．陰空間を指節ごとに考えると指節 kd の陰空間領域 Skd は図2.13 のようになる．



図 2.13: 指節 kd と陰空間領域 Skd

隠れ指 i の指先位置 (点 Fi ) は，陰空間領域にあるはずである．よって，点 Fi と陰空間領域の内外判定を行う．点 Fi が指 k の指節 kd の陰空間領域 Skd 内に存在する場合，点 Fi とカメラの距離

DFi は，指節 kd を構成する関節点 Jkd1 ，Lkd2 とカメラの距離 DJkd1 ，DJkd2 の少なくとも片方より大きくなる．DFi ≥ min(DJkd1 , DJkd2 ) ならば点 Fi は陰空間領域 Skd 内に存在する可能性がある (図 2.14)

第 2 章 手掌画像によるビジョンベースデータグローブ18

    

図 2.14: 隠れ指先と指節の関節点の位置関係

点 Fi とカメラを結ぶ直線を LFi とする．点 Fi が指節 kd の陰空間領域 Skd 内に存在する場合，
直線 LFi は指節 kd と交差する．指節はカプセル状の形状をしており，円柱の軸を表す線分 Akd から距離 rkd の空間が指節となる (図 2.14)．点 Fi と陰空間領域 Skd の内外判定を，線分 LFi と線分

Akd の距離 DkdFi と rkd で判定する．Akd を，関節点 Jkd1 を始点とし ，関節点 Jkd1 から関節点Jkd2 に向かうベクトルを vkd とし , 式 2.15 で表す．また，線分 LFi は式 2.16 で表す．

Akd = Jkd1 + ukd vkd(2.15)

LFi(2.16)= C + ui vi

ここで，ukd ，ui は媒介変数，vi はカメラから点 Fi へのベクトルを表す．線分 Akd 上の点 PAkd と線分 LFi 上の点 PFi の距離 (PAkd Fi とする) は，式 2.15 と式 2.16 より次のようになる．

PAkd Fi= PFi − PAkd
= (C + ui vi ) − (Jkd1 + ukd vkd )= C − Jkd1 + ui vi − ukd vkd(2.17)||PAkd Fi || が最小のとき，PAkd Fi ⊥ vi かつ PAkd Fi ⊥ vkd となるから，

PAkd Fi · vkd = 0(2.18)

PAkd Fi · vi = 0(2.19)

第 2 章 手掌画像によるビジョンベースデータグローブ

19

式 2.18 と式 2.19 を ukd と ui について解くと次のようになる．

ukd =
ui =

{||vi ||2 (JC · vkd ) − (vkd · vi )(JC · vi )}||vkd ||2 ||vi ||2 − (vkd · vi )2{(vkd · vi )(JC · vkd ) − ||vkd ||2 (JC · vi )}||vkd ||2 ||vi ||2 − (vkd · vi )2(2.20)(2.21)

ここで，JC = C − Jkd1 とする．求めた ukd を式 2.15 に代入することで線分 Akd 上の点 PAkd が求まり，求めた ui を式 2.16 に代入することで線分 LFi 上の点 P Fi が求まる．また，Akd は線分なので 0.0 ≤ ukd ≤ 1.0 である．ukd < 0.0 のとき ukd = 0.0，1.0 < ukd のとき ukd = 1.0 として線
分 Akd 上の点 PAkd を求める．同様にして，線分 LFi 上の点 PFi を求める．ここで，||PAkd Fi || が最小のとき，||PAkd Fi || = DkdFi である．よって，点 PAkd と点 PFi から線分 LFi と線分 Akd の距
離 DkdFi が求まる．DkdFi ≤ rkd のとき線分 LFi は指節 kd と交差し，点 Fi が陰空間領域 Skd 内に存在することになる．

2.5.2

陰空間領域の内外判定の結果により考えられる隠れ指の動作

前節で述べた手法により，隠れ指先位置と陰空間領域での内外判定を行う．この内外判定を現フレームと前フレームに対して行い，隠れ指の動作が多項式に従っているか，動作の速度が変化しているか，もしくは動作そのものが変化しているかを判定する．内外判定の結果より，考えられる
隠れ指の動作を表 2.5 に示す．ここで，文献 [9] では，隠れ指の反復動作はしないものとしている．
推定姿勢

前フレーム姿勢考えられる動作パターン 1陰空間領域内陰空間領域内領域内で動作または停止パターン 2陰空間領域内陰空間領域外多項式に従うパターン 3

陰空間領域外陰空間領域内遅くなったまたは停止パターン 4

陰空間領域外陰空間領域外元に戻る動作，動作が変化

表 2.5: 陰空間領域の内外判定の結果により考えられる隠れ指の動作パターン 1 の場合，隠れ指の動作は陰空間領域内で動作している，または停止していることが考えられる．よって，指関節角度の推移を基にした推定姿勢がそれまで継続している動作の元へ
戻る方向へ動作をする姿勢である場合には，隠れ指の動作は目標としていた姿勢になったと考え，動作が停止したものとする．よって，その場合は前フレームの隠れ指の姿勢を現フレームの隠れ指の姿勢とする．指関節角度の推移を基にした推定姿勢がそれまでの動作を継続している場合は，指関節角度の推移を基にした推定姿勢を現フレームの隠れ指の姿勢とする．

第 2 章 手掌画像によるビジョンベースデータグローブ

20

パターン 2 の場合，隠れ指は多項式に従い，前フレームの姿勢から指関節角度の推移を基にした推定姿勢へと動作したものと考えられる．よって，指関節角度の推移を基にした推定姿勢を現
フレームの隠れ指の姿勢とする．
パターン３の場合，隠れ指の動作が多項式に従うが，速度が遅くなった，もしくは停止していると考えられる．隠れ指の姿勢推定は，三次多項式に現フレームの時刻 tn を与えることで推定している．よって，三次多項式に与える時刻を順に時刻 tn , tn−1 , tn−2 , · · · と与え，最初に推定姿勢の指先位置が陰空間領域内と判定された推定姿勢を現フレームの隠れ指の姿勢とする．
パターン 4 の場合，隠れ指の動作が多項式に従うが元へ戻る方向へ動作している，もしくは動作そのものが変化していると考える．まず，元へ戻る方向への動作を考える．その場合，前フレー
ムの時刻 tn−1 から現フレームの時刻 tn までの間の時刻を ∆tn とし ，三次多項式に与える時刻を
前フレームから遡った時刻 tn−1 − ∆tn とすることで，隠れ指の動作が元へ戻る方向への動作の場
合の，隠れ指の姿勢を推定する．その推定結果に対して内外判定を行い，判定が陰空間領域内であれば，元へ戻る方向へ動作したものと考え，推定結果を現フレームの姿勢とする．しかし，判定が陰空間領域外であれば，隠れ指の動作そのものが変化していると考えられる．この場合は，前フレームの姿勢の隠れ指先の位置と陰空間領域から画像座標を基に，隠れ指の姿勢を推定する．
動作そのものが変化している場合の手法は，まず前フレームの姿勢の隠れ指先位置を点 Fin−1とする．また，画像座標における陰空間領域を陰空間領域をつくる指 k(k 6= i) の指節 d の中心点

Pkdc を画像座標に投影した点 (xkdc , ykdc ) で表す．点 Fin−1 と点 (xkdc , ykdc ) を基に隠れ指先位置を推定し，隠れ指の姿勢を推定する．まず，隠れ指の前フレームの姿勢の指先位置を画像座標に投影した点 (xin−1 , yin−1 ) を求め，点 (xin−1 , yin−1 ) と点 (xkdc , ykdc ) の画像座標における距離 Dkdin−1を全ての指節の中心点に対して求める．距離 Dkdin−1 が最も小さい点 Pkdc の指節 kd がつくる陰空間領域 Skd に隠れ指先があるとして，点 Fin−1 の位置を推定する．点 Pkdc とカメラを結ぶ直線

Lkdc は式 2.22 で表す．

Lkdc = C + tkdc vkdc

(2.22)

ここで，tkdc は媒介変数，vkdc はカメラから点 Pkdc へのベクトルを表す．直線 Lkdc 上の点 Pin−1と点 Fin−1 の距離 ||P Fin−1 || が最小となる直線 Lkdc 上の点 Pin−1 を画像座標を基にした隠れ指先の推定位置とする．式 2.22 より ||P Fin−1 || は次のようになる．

第 2 章 手掌画像によるビジョンベースデータグローブ

21||P Fin−1 || = Fin−1 − Pin−1
P Fin−1 = Fin−1 − (C + tkdc vkdc )= Fin−1 − C − tkdc vkdc

(2.23)

距離 ||P Fin−1 || が最小になるとき，P Fin−1 ⊥vkdc となるから，

P Fin−1 · vkdc = 0(2.24)

式 2.23 と式 2.24 より tkdc について解くと次のようになる．

tkdc =

CF · vkdc||e||2 ||d||2(2.25)

ここで，CF = Fin−1 − C とする．求めた tkdc を式 2.22 に代入することで直線 Lkdc 上の点 Pin−1が求まる．得られた点 Pin−1 から逆運動学を解くことで隠れ指の姿勢を推定する．このとき，逆運動学を解いて推定する，隠れ指の推定姿勢の指先位置の点 FIK と点 Pin−1 の距離が閾値以下であれば，隠れ指の推定姿勢を現フレームの隠れ指の姿勢とし，閾値以上であれば，次に距離 Dkdin−1が小さい指節の中心点を用いて姿勢推定を行う．

22

第3章

3.1

親指挙動を制限した手背画像によるビジョ
ンベースデータグローブ

概要

本節では，これまでに提案している文献 [11] の手背画像による親指挙動を制限した隠れ指先の推定法について記述する．前節までの文献 [9] の手法よる隠れ指推定を，図 3.1 のような，手背画像に対して行った場合，隠れ指の姿勢は，可動限界まで屈曲した姿勢で推定されてしまう．手背画
像では，他の指によって指先が隠れるだけでなく，手の平により指先が隠れてしまう場合が発生する．そのため，隠れ指先を時系列変化に注目して推定するだけでは不十分である．そこで，文献 [11] では，手の面積，および手の凸包輪郭線長を用いることで，手背画像による隠れ指を推定する手法を提案している．本手法では，事前にいくつかの手動作に関して，手の面積，手の凸包輪
郭線長，合計屈曲率のサンプルデータを取得しておく．ここで合計屈曲率とは，親指を除く各指の屈曲・伸展度合を 0%〜100%で表し，それらの合計値を 0pt〜400pt とポイントで表したものである．取得したデータをもとに現フレームの手の面積，手の凸包輪郭線長から合計屈曲率を参照できる表を作成する．参照した合計屈曲率を基に各指の屈曲度合を定め，隠れ指の関節角度を推定する．なお，本手法では，親指の挙動が他の指 i(i = 1〜4) と大きく異なることから，親指の推定は行わないものとする (親指は固定)．また，前提条件として，手首の回転は行わないものとする．

図 3.1: 手背画像

第 3 章 親指挙動を制限した手背画像によるビジョンベースデータグローブ

3.2

23

手の面積

手背方向から手を撮影した場合，カメラ画像における手の面積は，手の姿勢のより違いが見られた (表 3.1)．そこで，隠れ指の姿勢推定に手の面積情報を利用することを考える．ただし，手の面積はカメラからの距離によって取得する値が変わる．そのため，手の面積に，カメラから手の位置までの距離の二乗を掛けた値を手の面積とすることで，値の変動を抑える．
名称

面積 (画素数 ×(カメラとの距離 (mm))2 )グー

約 1770000000

パー

約 2525000000

半開き

約 2154000000

表 3.1: いくつかの手の姿勢に対する手の面積の一例

3.3

凸包輪郭線長手背方向から手を撮影した場合，凸包輪郭線長も，手の面積と同様に手の姿勢による違いが確認された (表 3.2)．なお，単なる輪郭線を用いない理由として，輪郭線では図 3.2 のように，類似の手の姿勢であっても指の開きで値が変化してしまうためである．手の面積に加えて，凸包輪郭
線長も手の姿勢推定に利用する．手の面積同様，凸包輪郭線長に，カメラから手の位置までの距
離を掛けることで，カメラ距離での値の変動を抑えている．図 3.3 にカメラ画像から取得する凸輪
郭線長を示す．

第 3 章 親指挙動を制限した手背画像によるビジョンベースデータグローブ

名称

凸包輪郭線長 (凸包輪郭線長 (mm)× カメラとの距離 (mm))

グー

約 193000

パー

約 255000

半開き

約 21100024

表 3.2: いくつかの手の姿勢に対する凸包輪郭線長の一例

図 3.2: 左「指を閉じる」右「指を開く」

図 3.3: 凸包輪郭線

3.4

合計屈曲率に基づく手の面積と凸包輪郭線長の関係

手の面積と凸包輪郭線長より，各指の屈曲度合を参照することができる表を作成する．各姿勢に対して，手の面積と凸包輪郭線長をサンプルデータとして取得する．サンプルデータ取得時の合計屈曲率 (合計屈曲率とは，親指以外の各指の屈曲度合を 0%〜100%で表した際の，合計値を 0pt〜400pt とポイントで表したものである) は，取得した際の手の姿勢から判断し，0pt〜400pt の値
を各サンプル姿勢に与える．取得した各姿勢とそれぞれの合計屈曲率の一例を図 3.4〜図 3.9 に示す．取得したサンプルデータより，図 3.10 に示す，合計屈曲率の分布表を作成する．

第 3 章 親指挙動を制限した手背画像によるビジョンベースデータグローブ

25

図 3.4: 合計屈曲率:400pt

図 3.5: 合計屈曲率:0pt

図 3.6: 合計屈曲率:200pt

図 3.7: 合計屈曲率:300pt

図 3.8: 合計屈曲率:200pt

図 3.9: 合計屈曲率:100pt

第 3 章 親指挙動を制限した手背画像によるビジョンベースデータグローブ

26

!
"#

.
+
,
/
                                                                    &'()         $%!
*#

図 3.10: サンプルデータから求めた合計屈曲率の分布表

合計屈曲率の分布表の作成法を記す．まず，横軸を凸包輪郭線長とし，縦軸を手の面積とする．
これをいくつかの格子に分ける．なお，サンプルデータより，手の面積と凸包輪郭線長の増加にともない，合計屈曲率が下がっていくという関係性が見られた．そのため図 3.10 のように，右上がりの形で表を各格子で分けた．図 3.10 中の格子内の数値は，合計屈曲率を示す．取得したサン
プルデータの合計屈曲率の分布に注目し ，一つの格子に複数の合計屈曲率を示すサンプルデータがある場合，加重平均を行うことで，その格子の合計屈曲率とする．格子中に対応するサンプル
データがない場合は，周囲の格子の平均をその格子の合計屈曲率とする．

3.5

分布表による合計屈曲率の取得

現フレームの手の面積および凸包輪郭線長を取得し ，前節で作成した分布表のどの格子に分類されるかを決定し，その格子の値を現フレームでの合計屈曲率とする．なお，文献 [11] では，例
えば図 3.10 において手の面積が 244，凸包輪郭線長が 237 であった場合，また，手の面積が 248，
凸包輪郭線長が 242 であった場合ど ちらでも合計屈曲率は 69 としている．そのため，より細かい指の挙動が表現できない．よって，分布表から合計屈曲率を参照する際に，加重平均を用いることで，より細かな指の姿勢推定を行う．
加重平均を用いるために，各格子の中心点をとる．そして，四つの中心点より図 3.11 中に示す，
四角で囲まれた領域を考える．取得した手の面積と凸包輪郭線長が領域内を参照する場合に，四つの近傍の格子における屈曲率の値で加重平均を行い，その結果を現在の手の合計屈曲率とする．

第 3 章 親指挙動を制限した手背画像によるビジョンベースデータグローブ27

計算式を次に示す (式 3.1)．なお，r1 , r2 は各格子の中心の輪郭線の長さ，s1 , s2 は各格子の中心の面積の値，R をカメラ画像より取得した凸包輪郭線長，S をカメラ画像より取得した手の面積，

T F00 , T F 01, T F10 , T F11 は四つの近傍の格子における合計屈曲率とする (図 3.12)．なお，推定する現フレームの合計屈曲率を T FN とする．



$%$
#!"
          

 

図 3.11: 各格子の中心点からなる領域
図 3.12: 加重平均を用いた合計屈曲率[
T FN =

3.6{T F00 (r2 − R)(s2 − S)} + {T F01 (R − r1 )(s2 − S)}+{T F10 (r2 − R)(S − s1 )} + {T F11 (R − r1 )(S − s1 )}]/{(r2 − r1 )(s2 − s1 )} (3.1)

推定した合計屈曲率による各隠れ指の屈曲度合推定された合計屈曲率 T FN を用いて，現在の隠れ指の姿勢推定を行う．T FN は，現フレームの指 i 全ての屈曲度合を示す．したがって，T FN より，指先が検出されている指の合計屈曲率を減算する．なお，本研究では，表 2.2 に基づいて指の可動範囲を決めている．指 i の第一〜第三関節の可動限界の合計値は 270◦ であるため，270◦ を 100%として，指先が検出されている指の屈曲率を決めている．減算した値が，隠れ指の合計屈曲率であるため，それを，隠れ指の本数で割り，隠れ指に均等割り振ることで，各隠れ指の屈曲率 T FNi とする．

3.7

隠れ指の姿勢推定

前節で記した手法で，各隠れ指の屈曲率 T FNi を取得することができる．取得した各隠れ指の屈曲率より，隠れ指の姿勢を推定する．図 2.2 に示すように，指 i において，第一〜第三関節角度には依存関係がある．隠れ指の姿勢推定にこの依存関係を利用する．第一関節と第二関節の関節角度には，比例の関係があり，第二関節と第三関節の関節角度には，S 字型の相関関係がある．よって，それらの関係性を用いて，第二関節角度を基準とし ，第二関節角度より第一および第三関節第 3 章 親指挙動を制限した手背画像によるビジョンベースデータグローブ28角度を推定する．まず，前節で取得した各隠れ指の屈曲率 T FNi より，各隠れ指 i の第二関節角度を式 3.2 で表す．なお，各隠れ指の第二関節角度を P IPi2 とする。

[

P IPi2T F Ni= 100 ×
100

]
(3.2)

T FNi は隠れ指の屈曲率 (最小 0%〜最大 100%) であるため 100 で除する．また PIP 関節の最大屈
曲角度は表 2.2 より 100◦ であるため，これを乗じることで，隠れ指 i の第二関節角度 P IPi2 とする．求めた P IPi2 より，図 2.2 に示す相関関係を用いて，各隠れ指 i の第一関節角度 P IPi1 および第三関節角度 P IPi3 を求める．P IPi1 は式 2.4 を用いる．P IPi3 を求める式を次式に示す．

3
2
P IPi3 = αi3 P IPi2
+ βi3 P IPi2
+ γi3 P IPi2

(3.3)

ここで，αi3 ，βi3 ，γi3 は定数である．式 2.4，式 3.3 により，隠れ指 i の第一関節角度 P IPi1 ，隠れ指 i の第三関節角度 P IPi3 が推定可能となる．推定された，各関節角度の各隠れ指に与えることで，隠れ指の姿勢を推定することが可能となる．なお，本研究では，隠れ指の MP 関節 (内転・外転) 角度は考慮していない．

29

第4章

親指挙動を考慮した手背画像によるビジョ
ンベースデータグローブ

文献 [11] の手法では，親指は，他の指と比べ構造が大きく違うため，親指の推定は行わず固定のままとしていた．そこで，本節では，親指の挙動を考慮した上で，手背画像による隠れ指の姿
勢推定を行う手法を提案する．ただし ，提案手法では，親指の指先を検出しているという前提のもとで，隠れている他の指の姿勢を推定する．つまり，親指の指先が隠れてしまう場合は考慮せず，親指の指先が見えている範囲での挙動を考慮し，隠れている他の指の姿勢推定を行う．

4.1

提案手法の概要

3.4 節で述べた，合計屈曲率の分布表は，手の面積と凸包輪郭線長の二次元の表であり，親指の構造が他の指と違うことから，分布表に親指の推定も含むことは難しい．よって，提案手法では，親指の関節角度に注目し，親指の第一〜第三関節角度の合計値 (以下：親指の第一〜第三関節角度の合計値を「親指の合計関節角度」とする) を利用し，親指の合計関節角度，手の面積，凸包輪郭
線長の三次元で分布表を考える．そこで，文献 [11] では，一つしかなかった分布表を親指の合計
関節角度ごとに分布表を作成する．親指が見えている範囲では，親指の指先位置より親指の各関節角度を求めることができる (第二章参照)．そのため，親指の合計関節角度によって参照する表
を変え，親指以外の指の合計屈曲率を推定することで，手の姿勢を推定する．

4.2

親指挙動に対する手の面積と凸包輪郭線長の関係

本手法では，親指の関節角度を利用するため，親指の合計関節角度の変化に対するカメラ画像における手の面積と凸包輪郭線長の変化量に注目する．親指を屈曲させた場合に，カメラ画像における手の面積と凸包輪郭線長がどのように変化するかを調査したところ，図 4.1，図 4.2 のような結果が得られた．

第 4 章 親指挙動を考慮した手背画像によるビジョンベースデータグローブ

30
































図 4.1: 親指の合計関節角度に対する手の面積の変化量




































図 4.2: 親指の合計関節角度に対する凸包輪郭線長の変化量

なお，図 4.1，図 4.2 は，横軸が親指の合計関節角度，縦軸が親指以外の他の指を固定し，親指を屈曲させていない状態から親指だけを屈曲させた場合の手の面積および凸包輪郭線長の減少量を示す．図 4.1，図 4.2 において分散があるものの，この図に近い結果が得られた．親指の合計関節角度は，親指が屈曲するにつれて増加する．図 4.1，図 4.2 より，親指の合計関節角度の増加につれて，カメラ画像における手の面積と凸包輪郭線長は減少する関係性があり，親指の合計関節角度の増加につれて，カメラ画像における手の面積と凸包輪郭線長の減少量は一意に決まることがわかる．減少量が一意に決まるならば，親指の合計関節角度ごとに適切な合計屈曲率の分布表を作成することで，親指の屈曲による手の面積および凸包輪郭線長の減少に対応した上での隠れ指の姿勢推定が可能となる．親指の合計関節角度ごとに参照する表を変えることで，親指の挙動を考慮した上で，隠れ指の姿勢推定が可能となる．

第 4 章 親指挙動を考慮した手背画像によるビジョンベースデータグローブ

4.3

31

親指の合計関節角度による屈曲率の分布表

親指の合計関節角度，カメラ画像における手の面積と凸包輪郭線長の三次元で考えることで，親指の挙動を考慮して隠れ指の姿勢推定を行う．そのために，親指の合計関節角度ごとに 3.4 節で述べた合計屈曲率の分布表を作成する．親指の合計関節角度ごとの表を，例えば，1◦ ，2◦ ，3◦ · · ·と連続で作成するのが理想であるが，現実的ではない．そのため，親指の合計関節角度が，α◦ ，(α + β)◦ ，(α + 2β)◦ · · · のように離散的に表を作成しておく．現フレームの親指の合計関節角度を TN◦ とし，α◦ ≤ TN◦ < (α + β)◦ の場合，α◦ の表と (α + β)◦ の表を同時に参照し，二つの表から二つの合計屈曲率を取得する．そして，TN◦ が α◦ と (α + β)◦ のど ちらかにどれだけ近いかで，二つの合計屈曲率に対して加重平均を行う．加重平均を行うことで，離散的だった表を連続的なものとして扱う．
現フレームの親指の合計関節角度を TN◦ とし ，二つの表から取得した合計屈曲率に対する加重平均について記す．親指の合計関節角度が α◦ の表と (α + β)◦ の二つの表があり，例として

α◦ ≤ TN◦ < (α + β)◦ の場合を考える．α◦ の表から得られる合計屈曲率を T Fα とし，(α + β)◦ から得られる合計屈曲率を T Fα+β とする．二つの合計屈曲率に対する加重平均の式を次に示す．LT
は加重平均を行った結果の合計屈曲率である．

LT ={(α + β − TN ) × T Fα } + {(TN − α) × T Fα+β }
β

(4.1)

ここで取得した合計屈曲率 LT を，3.6 節で記した T FN として扱うことで，隠れ指の姿勢推定を
行う．

4.4

隠れ指の姿勢推定

本節では，手背画像による親指挙動を考慮した隠れ指推定の手順をまとめる．事前に親指の合計
関節角度ごとに，合計屈曲率の分布表を複数作成しておく (3.4 節)．現フレームの親指の合計関節
角度 TN◦ に応じて，二つの表を参照する (4.3 節)．各表内で加重平均を行い，各合計屈曲率を取得
する (3.5 節)．各表から得られた二つの合計屈曲率 T Fα ，T Fα+β に対して加重平均を行う (4.3 節)．
得られた合計屈曲率より，各隠れ指の屈曲率 T FNi を求める (3.6 節)．各隠れ指の屈曲率 T FNi より，隠れ指の姿勢推定を行う (3.7 節)．これにより，親指挙動を考慮した手背画像による隠れ指の姿勢推定が可能となる．なお，本手法では，親指の合計関節角度に CM 関節 (尺側内転・橈側外転) 角度を含んでいない．そのため，CM 関節 (尺側内転・橈側外転) を考慮した，親指の挙動は考慮していない．

32

第5章

5.1

実験および考察

実験システム

前述の提案システムを用いて実験システムを作成し隠れ指の姿勢推定に関して 2 つの実験を行う．実験内容として，1 つは手をいくつかの姿勢に固定し親指だけを屈曲させた際の，隠れ指の姿
勢推定について被験者にアンケート形式による見た目に関する評価実験を行う．もう 1 つの実験は，各関節角度に注目し真値との誤差を調べる．実験システムは CPU : Pentium(R) Dual-CoreCPU E5200 2.50GHz の PC 上に C++ により実装した．また BUFFALO 社製の USB カメラ
BSW20K04 を使用し画像サイズを 640 × 480 pixel (最大 30fps) で撮影しノイズ除去を 320 × 240
pixel にリサイズした画像で行いノイズ除去後再び 640 × 480 pixel にリサイズした画像を使用した．実際に行った実験の様子を図 5.1 に示す．

図 5.1: 実験の様子

5.2

いくつかの姿勢に対する親指を考慮した隠れ指の姿勢推定

本提案手法によるビジョンベースデータグローブが，正しく手指の姿勢を推定できているかを 7
名の被験者にアンケート形式で評価してもらった．実験内容は，いくつかの姿勢に手を固定した上で，親指だけを屈曲させ，親指を考慮した姿勢が推定できているかを評価する．アンケート評
価は 7 段階で評価の目安を「 1: まったく正しい姿勢が取得できていない」，「 4: システムとして利第 5 章 実験および考察

33

用可能な程度の姿勢は取得できている」，「 7: 限りなく入力姿勢と同じ姿勢が推定できている」とする．本実験で対象とする姿勢は以下の 3 つである．図 5.2 に実験を行った手の姿勢を示し，各姿
勢に対する評価を図 5.3〜図 5.5 に示す．

• 姿勢 1: 手をグーの状態に固定した状態• 姿勢 2: 手をチョキの状態に固定した状態• 姿勢 3: 手で物体 (ボール ) を把持した状態

図 5.2: 実験を行う姿勢，左より (姿勢 1)，(姿勢 2)，(姿勢 3)


































図 5.3: 姿勢 1 に対する評価









図 5.4: 姿勢 2 に対する評価






















図 5.5: 姿勢 3 に対する評価

第 5 章 実験および考察

34

姿勢 1 での平均評価値は 5.86，姿勢 2 での平均評価値は 5.14，姿勢 3 での平均評価値は 5.14 であった．3 つの姿勢において平均評価値が「システムとして利用可能な程度の姿勢は取得できている」である評価値の 4 を越える結果となった．姿勢 1 に対する実験が最も平均評価値が高くなっているのは，姿勢 1 は指が完全に屈曲した姿勢に近いため，手の姿勢が正しく推定できているか
ど うかを判断する材料が出力画像の視点位置から見える MP 関節の部分だけとなっているためと思われる．図 5.4，図 5.5 を比べてみると，姿勢 3 の方は低い評価をした人が多く，その被験者達から「本来の姿勢と比べ，指が屈曲しすぎている」という意見を頂いた．これは，各隠れ指の屈曲率から関節角度を推定するために利用した図 2.2 に示す依存関係が，手を開いた状態から手が閉じる状態 (グーの姿勢) までの動作を基準にしているため，グーの姿勢のように指が大きく屈曲した姿勢が推定されてしまうためである．
本実験では，3 つの姿勢に対して平均評価値が 4 を越えるものとなり，被験者達からは「親指の屈曲させても本来の姿勢に近い姿勢が推定されている」と好意的な意見を頂いた．しかし ，これは出力画像の視点位置から見える領域だけで判断しており，あくまでも見た目に対する評価である．そこで，各隠れ指の関節角度に注目した実験も行う．

5.3

いくつかの姿勢に対する隠れ指の各関節角度誤差

前実験では，視点位置から見える領域だけでしか推定結果の良し悪しを判断できなかった．そこで，各関節角度に注目し真値との誤差を求めることで評価を行う．真値の取得には，センサ付き
データグローブ (Immersion 社製の CyberTouch) を用いる．本提案システムによるビジョンベー
スデータグローブより取得した，各姿勢に対する隠れ指の各関節角度と真値を比べることで考察を行う．本実験における各姿勢とは，図 5.2 に示す姿勢である．

5.3.1

グー姿勢に対する隠れ指の各関節角度誤差

グーの姿勢に対する，隠れ指の各関節角度誤差を表 5.1〜表 5.4 に示す．また，表 5.5 にグーの姿勢での各隠れ指ごとの平均関節角度誤差およびグーの姿勢での隠れ指全体での平均関節角度誤差を示す．

第 5 章 実験および考察

35

第一関節角度

第二関節角度

第三関節角度

示指の平均推定角度

61.46◦

92.19◦

真値の平均

51.84◦

73.92◦

77.74◦
59.23◦

平均誤差

9.618◦

18.27◦

18.51◦

表 5.1: グーの姿勢での示指の各関節角度の誤差

第一関節角度

第二関節角度

第三関節角度

中指の平均推定角度

61.46◦

92.19◦

真値の平均51.60◦

77.71◦

77.74◦
48.00◦

平均誤差

9.858◦

14.47◦

29.74◦

表 5.2: グーの姿勢での中指の各関節角度の誤差

第一関節角度

第二関節角度

第三関節角度

環指の平均推定角度

61.46◦

92.19◦

真値の平均

72.89◦

100.0◦

77.74◦
79.75◦

平均誤差

11.43◦

7.814◦

7.521◦

表 5.3: グーの姿勢での環指の各関節角度の誤差

第一関節角度

第二関節角度

第三関節角度

小指の平均推定角度

61.46◦

92.19◦

真値の平均

56.34◦

74.37◦

77.74◦
82.88◦

平均誤差

5.155◦

17.81◦

7.634◦

表 5.4: グーの姿勢での小指の各関節角度の誤差

第 5 章 実験および考察

36

平均関節角度誤差

小指15.46◦
18.02◦
8.921◦
10.20◦

グーの姿勢

13.15◦

示指
中指
環指

表 5.5: 各隠れ指の平均関節角度誤差および姿勢全体での平均関節角度誤差

ここで，各隠れ指の推定関節角度が同じになっているが，これは 3.6 節に記してあるように，合計屈曲率を各隠れ指に均等に割り振っているためである．グーの姿勢での各隠れ指の平均関節角度誤差は，13.15◦ と小さいものとなった．これは，前実験で述べたように，各隠れ指の屈曲率から関節角度を推定するために利用した図 2.2 に示す依存関係が，手を開いた状態から手が閉じる状
態 (グーの姿勢) までの動作を基準にしているためである．そのためグーの姿勢のように指が大きく屈曲した姿勢では高い推定結果が得られたと考えられる．

第 5 章 実験および考察

5.3.2

37

チョキの姿勢に対する隠れ指の各関節角度誤差

チョキの姿勢に対する，隠れ指の各関節角度誤差を表 5.6，表 5.7 に示す．また，表 5.8 にチョキの姿勢での各隠れ指ごとの平均関節角度誤差およびチョキの姿勢での隠れ指全体での平均関節角度誤差を示す．
第一関節角度

第二関節角度

第三関節角度

環指の平均推定角度

53.42◦

80.14◦

真値の平均64.25◦

96.59◦

63.88◦
45.37◦

平均誤差

11.74◦

17.74◦

20.04◦

表 5.6: チョキの姿勢での環指の各関節角度の誤差

第一関節角度

第二関節角度

第三関節角度

小指の平均推定角度

53.42◦

80.14◦

真値の平均40.14◦

52.98◦

63.88◦
62.47◦

平均誤差

14.98◦

28.14◦

13.55◦

表 5.7: チョキの姿勢での小指の各関節角度の誤差

平均関節角度誤差
小指16.51◦
18.89◦

チョキの姿勢17.70◦

環指表 5.8: 各隠れ指の平均関節角度誤差および姿勢全体での平均関節角度誤差

チョキの姿勢では各隠れ指の平均関節角度誤差は，17.70◦ となった．グーの姿勢と比べ平均誤差は大きくなったが誤差は小さい．これは，チョキの姿勢の隠れ指 (環指，小指) が，グーの姿勢と同じように大きく屈曲した姿勢であるためと思われる．

5.3.3

物体 (ボール ) を把持した姿勢に対する隠れ指の各関節角度誤差

物体 (ボール ) を把持した姿勢に対する，隠れ指の各関節角度誤差を表 5.9〜表 5.12 に示す．また，表 5.13 に物体を把持した姿勢での各隠れ指ごとの平均関節角度誤差およびグーの姿勢での隠れ指全体での平均関節角度誤差を示す．

第 5 章 実験および考察

38

第一関節角度

第二関節角度

第三関節角度

示指の平均推定角度58.53◦

87.79◦

真値の平均

8.1◦

11.55◦

69.64◦
57.12◦

平均誤差

50.43◦

76.24◦

12.62◦

表 5.9: 物体を把持した姿勢での示指の各関節角度の誤差

第一関節角度

第二関節角度

第三関節角度

中指の平均推定角度58.47◦

87.70◦

真値の平均

19.04◦

31.20◦

69.55◦
54.40◦

平均誤差

39.43◦

56.50◦

15.23◦

表 5.10: 物体を把持した姿勢での中指の各関節角度の誤差

第一関節角度

第二関節角度

第三関節角度

環指の平均推定角度58.53◦

87.79◦

真値の平均

22.96◦

37.60◦

69.55◦
48.60◦

平均誤差

35.57◦

50.19◦

20.97◦

表 5.11: 物体を把持した姿勢での環指の各関節角度の誤差

第一関節角度

第二関節角度

第三関節角度

小指の平均推定角度58.53◦

87.79◦

真値の平均

13.00◦

17.16◦

69.55◦
42.18◦

平均誤差45.53◦

70.63◦

27.37◦

表 5.12: 物体を把持した姿勢での小指の各関節角度の誤差

第 5 章 実験および考察

39

平均関節角度誤差

小指46.43◦
37.05◦
35.58◦
47.84◦

物体を把持した姿勢

41.73◦

示指
中指
環指

表 5.13: 各隠れ指の平均関節角度誤差および姿勢全体での平均関節角度誤差

物体を把持した姿勢における各隠れ指の平均関節角度誤差は 41.73◦ と大きいものとなっている．
また，真値と比べて，非常に大きい関節角度が推定されている．これは前述のように，隠れ指の姿勢推定に利用した図 2.2 の依存関係が，手を開いた状態から手が閉じる状態 (グーの姿勢) までの動作を基準にしているため，グーの姿勢のように大きく屈曲した姿勢が推定されてしまうことが原因である．そのため，物体 (ボール ) を把持した姿勢のように，半開きのような姿勢では誤差が大きくなってしまう．

5.3.4

隠れ指の各関節角度誤差に対する考察

隠れ指の各関節角度誤差に関する実験より，グーとチョキの姿勢は比較的誤差が小さい結果となり，物体を把持した姿勢に関しては誤差が大きい結果となった．ここで，手背画像による手の姿勢推定において，図 5.6 における左と右の図を比べると，画像を見るだけでは区別が付かない．
なお，図 5.7 に図 5.6 の別アングルの画像を示す．

第 5 章 実験および考察

40

図 5.6: 手背画像による区別が困難な画像

図 5.7: 上の図の別アングル

ビジョンベースでの隠れ指推定において図 5.7 の第一関節や第二関節のように陰空間領域内での独立した屈曲を，高い精度を保って推定することは非常に難しい．節 3.7 に示す各隠れ指の屈曲率から各関節角度を求める手法を改善することで，各姿勢での誤差を小さくできる可能性はあるが，陰空間領域内での独立した屈曲を考慮した高い精度を保った推定は困難であると予想される．しかしながら，前実験の評価アンケートの結果を見ると，非常に高い評価を得ている．これは，視点位置から見えない領域での屈曲は図 5.6 に示すように，人目で違いを判断することができないためである．そのため，隠れ指の関節角度の誤差，特に指先側において誤差は大きいものとなったが，本手法によるビジョンベースデータグローブシステムは応用システムとして利用できると考
えられる．

41

第 6 章 むすび本研究では，親指の指先が検出されている場合に，親指の挙動を考慮した手背画像による隠れた指の姿勢推定の手法を提案した．提案手法では，親指の関節角度に注目し ，親指の第一〜第三関節角度の合計値を利用し ，親指の合計関節角度，手の面積，凸包輪郭線長の三次元で合計屈曲率の分布表を考えた．事前に，親指の親指の合計関節角度ごとに分布表を作成しておき，複数ある離散的な表を加重平均を用い，直線的なものとして扱うことで親指を屈曲させても正しい合計
屈曲率が取得可能となった．取得した合計屈曲率を各指に割り当てることで，隠れ指の姿勢推定を行っている．実験では，見た目においては親指を屈曲させても正しい姿勢が推定されていることを確認できたが，関節角度に注目すると，陰空間領域内での独立した屈曲に対応できないことがわかった．また，実験における各姿勢において第 2 関節角度が大きく屈曲した姿勢が推定されている．そのため，式 (3.2) に示す隠れ指の屈曲率からの第 2 関節角度の推定法を改善することで，誤差を小さくできると考えられる．
今後の課題としては，より自由な手の挙動に対応することがあげられる．本手法では親指の指先が検出されているという条件のもとで姿勢推定を行っている．親指の指先が見えない場合では，陰空間領域内での親指の独立した屈曲を考慮する必要があり，関節角度だけでは推定は難しい．そのため，親指の合計関節角度，手の面積，凸包輪郭線長だけでなく，カメラ画像における手の領域の縦横比を利用することで，親指が隠れた場合での姿勢推定をすることを考えたい．一般的に，
手の平に対する親指の方向は皆同じであるため，親指の指先が隠れた場合で親指が屈曲すると一定の割合で縦横比が変動することが考えられる．縦横比の変動に注目することで，親指の指先が隠れた場合での親指の屈曲率を予測する．予測した結果より親指の指先位置が分かれば，本手法と同様にすることで，親指が隠れた場合でも姿勢推定が可能となると考えられる．なお，本手法
では親指の合計関節角度に CM 関節 (尺側内転・橈側外転) 角度を含んでいない．そのため，CM
関節 (尺側内転・橈側外転) 角度を利用し，より多次元で考えることで CM 関節 (尺側内転・橈側外転) を考慮した親指の挙動を含んだ姿勢推定も課題である．また，本手法では手首の回転を考慮していない．手首が回転することで，カメラ画像における手の面積や凸包輪郭線長は変動する．手首の回転角度に応じて複数の分布表を作成し ，より多次元にすることで手首の回転を考慮した姿
勢推定が期待できる．しかし ，一般家庭への普及を考慮すると，多数の分布表を作成することは

第6章

むすび

42

現実的ではない．そのため，自動的に分布表を生成することを考えたい．手首が回転することで，手の領域の縦横比が一定の変動をすることが予測される．手の方向が分かれば，縦横比の変動に注目することで自動的に適切な分布表を生成することが期待できる．様々な課題を解決した上で，具体的なアプリケーションにおいて実用可能なビジョンベースデータグローブの実現を目指したい．

43

謝辞

本研究を進めるにあたって，日頃から多大な御尽力を頂き，ご 指導を賜りました名古屋工業大学，舟橋健司准教授，山本大介

研究に対して御討論頂きました本学准教授，伊藤宏隆

助教，に心から感謝致します．また，本中村研究室の皆様ならびに中部大学

岩堀研究室の皆様に深く感謝致します．最後に，本研究に多大な御協力頂きました舟橋研究室諸氏に心から感謝致し
ます．

44

参考文献

[1] 舘日章 ，佐藤誠，廣瀬通孝，“バーチャルリアリティ学”，日本バーチャルリアリティ学会，工業調査会，東京，2010．

[2] 富川盛雅，橘爪誠，“バーチャルリアリティシステムを用いた内視鏡外科手術トレーニングシ
ステム”，日本外科学会雑誌，Vol.112，No.4，pp.255-261，2011．

[3] 橋本宣慶，加藤秀雄，松井恭平，石田洋子，王亮，“シュミレータによる歯石除去の訓練シュ
ミレータの構築と人工歯石除去による訓練効果の検討”，日本バーチャルリアリティ学会論文
誌，Vol.11，No.4，pp.453-458，2006.

[4] 藤本光一，松尾直志，島田伸敬，白井良明，“輪郭部分特徴の階層構造学習による三次元手指
姿勢推定の高速化”，画像の認識・理解シンポジウム，IS3-64，2010．

[5] 冨田元將，星野聖，“前腕を含む手指画像からの 3 次元手指形状推定”，映像情報メディア学会
誌，Vol.63，No.6，pp.822-828，2009．

[6] Robert Y. Wang，Jovan Popovi，“Real-Time Hand-Tracking with a Color Glove”，ACM
Transaction on Graphics(SIGGRAPH 2009)，Vol.28，No.3，2009．
[7] Vitor F. Pamplona，Leandro A. F. Fernandes，Joao L. Prauchner，Luciana P. Nedel，Manuel
M. Oliveira，“The Image-Based Data Glove”，Proceedings of X Symposium on Virtual
Reality，pp.204-211，2008．
[8] 笠松英，大澤範高，梅澤猛，“手の甲の特徴点による手指の形状推定モデルの検討”, 全国大会
講演論文集，pp.99-101，2013,[9] Sanshiro Yamamoto，Kenji Funahashi，Yuji Iwahori，“Study for Vision Based Data Glove
Considering Hidden Fingertip with Self-Occlusion”，Proc.SNPD2012，pp.315-320，2012.
[10] 加藤博一，Billinghurst Mark，浅野浩一，橘啓八郎，“マーカー追跡に基づく拡張現実感システ
ムとそのキャリブレーション ”, 日本バーチャルリアリティ学会論文誌，Vol.4，No.4，pp.607-616，

1999.

45

[11] 岡田雅弘，“手背画像による指先隠れを考慮したビジョンベースデータグローブ ”，平成 24 年
度名古屋工業大学卒業研究論文，2013.

[12] 鎌倉矩子，“手のかたち手のうごき”, 医歯薬出版株式会社，1989，[13] George ElKoura，Karan Singh，“Handrix: Animating the Human Hand”，ACM SIGGRAPH/EG Symposium on Computer Animation，2003[14] 市川亮，“物体の把握・操作時における指関節の動きモデル化”，和歌山大学学士学位論文，
2002.
[15] Samad Hayati，Kam Tso，Gerald Roston，“ROBOT GEOMETRY CALIBRATION”，
IEEE International Conference on Robotics and Automation，Vol.2，pp.947-951，1988.
[16] Chris Welman, “Inverse kinematics and geometric constraints for articulated figure manipulation”，M.Sc Thesis，Simon Fraser University，1993.