平成 24 年度 卒業論文

手背画像による指先隠れを考慮した
ビジョンベースデータグローブ

指導教員
舟橋

名古屋工業大学

工学部

平成 21 年度入学

岡田

情報工学科

21115025 番

雅弘

健司

准教授

i

目次

第 1 章 はじめに

1

第 2 章 従来のビジョンベースデータグローブシステム

5

手指の拘束条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

2.1.1

各指関節の可動範囲 . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

2.1.2

指関節間の依存関係 . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

2.2

順運動学 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

2.3

マーカーによる特徴点抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.4

指先の三次元位置推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.5

逆運動学による手の姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.6

指先の隠れを考慮した手の姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . 17

2.1

2.6.1
2.7

動作が継続していると仮定した場合の隠れ指の姿勢推定 . . . . . . . . 17

陰空間領域での不規則な動作を考慮した隠れ指の姿勢推定. . . . . . . . . . 20

2.7.1

陰空間領域 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.7.2

陰空間領域の内外判定の結果により考えられる隠れ指の動作 . . . . . 21

第 3 章 手背画像による隠れ指先の推定

22

3.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.2

手の面積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.3

凸包輪郭線長 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.4

手の面積と凸包輪郭線長の関係 . . . . . . . . . . . . . . . . . . . . . . . . . 26

3.5

合計屈曲率に基づく隠れ指の推定 . . . . . . . . . . . . . . . . . . . . . . . . 28

第 4 章 実験および評価考察

4.1

30

実験システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

ii

4.2

処理速度に関する評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.3

隠れ指先が存在する際の手の姿勢推定に関する評価 . . . . . . . . . . . . . . 31

第 5 章 むすび

34

謝辞

36

参考文献

37

1

第 1 章 はじめに

近年，バーチャルリアリティ(Virtual Reality: 以下 VR) の技術の発展に伴って，その技術を利用した教育・訓練用シミュレータ [1][2] やテーマパークのアトラクションなどが開発されている [3]．しかしながら，これらの VR 技術を利用したインターフェースの開発は分野が限定的であり，総じて巨大，高価になることが多い．そのため，一般家庭などの身近な場に広く普及しているとは言えない．

VR 技術において使用されることが多いインターフェースには，ヘッド マウントディスプ
レ イ，ロボットアーム，データグローブ，タッチパネル，3 次元マウスなど 多くの種類がある．本研究では，一般ユーザが利用しやすく安価なインターフェースであること，人が仮想空間において物体操作を行う時には現実空間と同じように手で操作することが多いと考えられることから，手の動作・姿勢を計測できるデータグローブに着目し考察を行った．
データグローブは VR でのヒューマンインターフェースとして様々なものが開発されている．中でも一般的なデータグローブはベンド センサによって計測を行うものである．このデータグローブは 1 つのセンサで 1 つの曲げ角を計測しているため，正確な手の姿勢を計測するためには，各指関節にセンサを取り付ける必要がある．そのため，全体のセンサの数が多くなり，高価なものになっている．しかし中には，1 つのセンサにより各指の全体の曲げ角を計測し，それぞれの関節についての計測を省くことで，姿勢パターンの推定を試みる
安価なデータグローブも存在する．また，ベンド センサの他にもカメラ画像から手の姿勢推定を行うビジョンベースのデータグローブの手法も存在する．このビジョンベースのデータ
グローブは，大まかに分けて二つの手法がある．事前に画像上の手の見え方に対する手の姿
勢のデータベースを構築し，入力画像とのマッチングを行うことで，手の姿勢を推定するパターンマッチングの手法と，特徴量やマーカーから指先検出を行い，ジェスチャー認識，手の姿勢推定を行う手法である．
パターンマッチングの手法では，手の姿勢に関するデータベースを事前に構築しておけば，

第 1 章 はじめに

2

自身の手指で一つ，あるいは複数の指先を隠してしまうセルフオクルージョンの問題に対応することができる．しかし，人の手の自由度が高いことで入力画像に対する探索対象の数が非常に多くなるため，推定精度と処理速度の両立は困難である．これを解決するための手法
として，島田らは手の姿勢の時系列変化に注目し，探索範囲を前時刻で推定された姿勢の近傍とすることで探索対象を削減する手法を提案した [4]．また，藤本らはデータベースを木構造とすることで探索範囲を削減する手法を提案した [5]．これらの手法では島田らはシルエット画像，藤本らは輪郭情報を用いているが，どちらも素手からそれぞれの情報を取得しているため，情報に個人差が大きいことが予想される．そのため，パターンマッチングの手法においては，個人個人に合った手の姿勢に対応するシルエット画像や輪郭情報が必要となるが，一般家庭への普及を考えると，これらのデータベース構築は困難である．
一方，特徴量やマーカーから指先検出を行う手法は，藤木らがキャリブレーションしたカメ
ラ 2 台で手に取りつけた 6 つの色マーカーの位置をステレオ視で計測を行い逆運動学 (Inverse

Kinematic: IK) を解いて手の姿勢を推定する手法を提案している [6]．しかし，この手法ではカメラを 2 台使用しており，さらにカメラを移動させる度にカメラのキャリブレーションが必要となるので，ユーザーに関しての利便性が高いとは言い難い．そこで，Pamplona ら
は 1 台のカメラと各指に取り付けた，AR マーカーにより指先の位置を計測し逆運動学を解いて手の姿勢を推定する手法を提案している [7]．この手法では，使用されているカメラは 1台であるが，カメラを手に固定して使用するため，使用する度にカメラを手に固定する必要がある．また，固定したまま姿勢推定を行うので，長時間に渡って使用するユーザーにとって大きな負担となる．しかし，これらの手法は，ユーザの手の形状情報 (ハンド モデル ) さえ用意できれば手の姿勢推定を行うことが可能であるのでユーザーごとのデータベースの構築と比べると，ハンド モデル作成の方が容易であると考えられる．しかしセルフオクルージョ
ンにより指先が検出できない場合には手の姿勢推定が行えない問題がある．
当研究室では，コンピュータビジョン (CV) 技術により１台のカメラ画像から，画像中に存在する指先の二次元座標と，手の三次元座標と方向（ 例えば手首の位置と，中指付根の方向）が取得可能であるとの仮定のもと，セルフオクルージョンにより指先検出ができない場合でも手の姿勢推定を可能とする手法を提案している [8]．このシステムではカメラは対象者の正面に設置されていると仮定し ，カメラ画像から色マーカーを基に指先を検出し ，

ARToolKit マーカーにより手全体の 6 自由度の挙動を取得する [9]．その上で，各マーカー

第 1 章 はじめに

3からの情報と手指の拘束条件により指先の三次元位置を推定し，逆運動学を解くことで手の姿勢推定を行う．しかし，ある指先が他の指などに隠された場合には，この指の各指関節角度を求めることができない．そこで，ある指が隠れた場合にも，しばらくの間はその動作が継続していると考え，その動作の時系列変化を多項式により表現できると仮定する．その多項式により，現時刻の手の姿勢を推定し，順運動学により推定される推定結果の指先位置がセルフオクルージョンにより指先が隠れる姿勢であるか否かを判定する．その判定結果に応じて，必要であるならば多項式に応じた再推定を行うことで，いくつかの指が隠されている状況においても姿勢推定を実現している．
ところで，当研究室の提案を含め，ビジョンベースデータグローブの研究の多くは，カメラが対象者の正面に設置されている，あるいはカメラが複数の場合にも前面に設置されていることを想定し，手掌，すなわち手のひらを正面方向から撮影することで姿勢推定を行っている．確かに PC のモニタ上部にカメラを取り付けて撮影することを考えれば，手のひらは正面から撮影されることが多い．しかし，近年はタブレット機器やスマートフォンなどのモバイル端末が一般に広く普及し ，合わせて端末の背面カメラも普及してきている．我々は，これらの背面カメラを持つ端末を片手に持ち前方に掲げ，他方の手を端末のカメラの向こう側で動かすことにより，カメラで撮影された VR/MR/AR 世界に対する対話操作を実現したいと考えている．そこで本論文では，手背，すなわち手の甲側からの画像により，いくつかの指が隠れている場合でも手の姿勢を推定する手法について考察する．
手背画像では手掌側からの画像と違い，カメラ側から隠れる方向へ各指が屈曲するため指先の隠れる状況が多く存在し，手の姿勢推定が難しい．そのため，指先の時系列変化により現在の手の姿勢を推定する手法では，隠れている指の姿勢は可動限界まで屈曲した姿勢で推定されてしまい，精度の高い姿勢を検出することは難しい．これを解決するために，本手法
ではカメラ画像における手の面積、および手の領域に対する凸包の輪郭線長を用いた推定手法を提案する．この手法ではある指先が隠れた場合，その時の手の面積および凸包輪郭線長から，事前に作成された表を参照し，４本の指の屈曲度合いの合計を 0%として求める。検出済みの指に対しては屈曲度合いは分かっているため、これを前述の値から減算する。この結果を、検出されていない各指に対して等しく割り振ることで、隠れている指の角度を推定する．このように，指先検出により手の姿勢推定を行うビジョンベースデータグローブにおいて，手背方向からの画像を利用した手の姿勢推定を実現する．

第 1 章 はじめに

4

以下，第 2 章では従来のビジョンベースデータグローブについての概要を説明する．第 3章では手背画像において指先が検出されなかった場合の指の姿勢を推定する提案手法，第 4章では提案手法の実験とその結果，第 5 章で今後の展望について述べる．

5

第2章

従来のビジョンベースデータグローブ
システム

本章では，これまでに提案している手掌画像によるビジョンベースデータグローブシステ
ムについて説明する [8]．従来のビジョンベースデータグローブシステムでは，入力画像中の指先を検出し，手の 6 自由度と手指の拘束条件により，指先の三次元座標を推定し，逆運動学を解くことで手の姿勢推定を行う．なお，実験システムでは色マーカーにより入力画像
中の指先を，ARToolKit マーカー（以下、AR マーカー）により手の 6 自由度を得る．手は本来は非剛体の物体であるが，他の物体との接触を行うことを考慮していないため，手の姿
勢推定を優先し，手を各関節点で剛体同士が接続された剛体の物体として近似した骨格モデ
ル (図 2.1) とそれに付随するスキンモデルで表す．ここで，骨格モデルの指関節には，母指の IP 関節と MP 関節にそれぞれ 1 自由度，CM 関節に 2 自由度の計 4 自由度，その他の指には DIP 関節と PIP 関節にそれぞれ 1 自由度，MP 関節に 2 自由度の計 4 自由度を設定する．本来母指の MP 関節は 2 自由度となるが，母指における内転・外転の運動は非常に小さく，その運動のみを行うことは経験的に見て非常に困難であると判断し，MP 関節における内転・外転の運動は本研究では考慮しないとする．なお，本研究では各関節の名称を表 2.1のように表記する．
名称表記

遠位指節間関節DIP 関節PIP 関節
MP 関節
IP 関節
CM 関節

近位指節間関節中手指節関節指節間関節 (母指)
母指手根中手関節

表 2.1: 各関節の名称と表記

第2章

従来のビジョンベースデータグローブシステム

6

/W
W/W
DW

/W
DW
D

䠎⮬⏤ᗘ

䠍⮬⏤ᗘ

図 2.1: 骨格モデル

手指の拘束条件

2.1

人間の手には構造上様々な拘束があり，これは拘束条件として知られている．この拘束条件をモデルに取り込み，手の姿勢を推定する上で活用する．

各指関節の可動範囲

2.1.1

指の関節には文献 [10] にあるようにそれぞれ可動範囲がある．各指に対応する可動範囲を知識と経験に基づいて設定する．設定した各関節に対応する可動範囲は表 2.2 に示す通りで
ある．

IP

MP

CM(掌側内転・外転)

CM(尺側内転・橈側外転)

母指0◦〜80◦

0◦〜60◦

0◦〜90◦

0◦〜60◦

DIP

PIP

MP(屈曲・伸展)MP(内転・外転)

示指0◦〜80◦

0◦〜100◦0◦〜90◦

中指0◦〜80◦
0◦〜80◦
0◦〜80◦

0◦〜100◦0◦〜100◦0◦〜100◦0◦〜90◦
0◦〜90◦
0◦〜90◦−25◦〜25◦−25◦〜25◦−25◦〜25◦−25◦〜25◦

環指小指

表 2.2: 設定した各指関節角度の可動範囲

第2章

従来のビジョンベースデータグローブシステム

2.1.2

指関節間の依存関係

7

母指以外の指 i(i = 1 〜 4) における各指関節角度には次のような依存関係が存在する．ここで，i = 1 は示指を表し，i = 4 は小指を表す．また，母指を指 0 とする．

• DIP 関節と PIP 関節の関節角度には比例の相関関係がある [11](図 2.2)．
• PIP 関節と MP 関節 (屈曲・伸展) の関節角度には S 字型の相関関係がある [12](図2.3)．
また，母指にも他の指と同様な以下のような依存関係が見られる．

• IP 関節と MP 関節の関節角度には比例の相関関係がある (図 2.4)．
• MP 関節と CM 関節 (掌側内転・外転) の関節角度には逆 S 字型の相関関係がある (図
2.5)．















 



































図 2.2: DIP 関節と PIP 関節の関節角度の相
関関係




















図 2.3: PIP 関節と MP 関節 (屈曲・伸展) の関節角度の相関関係

第2章

従来のビジョンベースデータグローブシステム



8












 

























図 2.4: IP 関節と MP 関節の関節角度の相関
関係












   









図 2.5: MP 関節と CM 関節 (掌側内転・外転)の関節角度の相関関係

ここで，図を見て分かるように，図 2.2 と図 2.4 の相関関係は比例関係であるため図 2.2
より DIP 関節角度 θi1 (= fθi1 (θi2 )) は式 2.1 で，図 2.4 より IP 関節角度 θ01 (= fθ01 (θ02 )) は式 2.2 で表すことができ，θi2 は指 i の PIP 関節角度を表し，θ02 は母指の MP 関節角度を表す．また，指 i の MP 関節は屈曲するほど 内転・外転の可動範囲の中心に向かっていき，かつ可動範囲が狭くなる性質が見られるため，式 2.3 のように MP 関節 (内転・外転) の可動範囲を改めて設定する．ここで，θi3 は指 i の MP 関節 (屈曲・伸展) 角度を表し，θi4 は指 iの MP 関節 (内転・外転) 角度を表す．

{

2.2

fθi1 (θi2 ) =

2
θi2
3

(2.1)

fθ01 (θ02 ) =

4
θ02
3

(2.2)

−(25 − 0.5 ∗ (θi3 − 60.0))◦ ≤ θi4 ≤ (25 − 0.5 ∗ (θi3 − 60.0))◦ (θi3 ≥ 60◦ )−25◦ ≤ θi4 ≤ 25◦(θi3 < 60◦ )

(2.3)

順運動学

順運動学 (Forward Kinematics: FK) とは関節角から指先の位置を求める計算手法であり，

2.1 節の拘束条件を満たす指先位置を求めるために，まず指の構造の数式化を行う．指の構造を数式化するために，修正 Denavit-Hartenberg 記法 [13] を用いる．母指以外の指 i の DH

第2章

従来のビジョンベースデータグローブシステム

9

パラメータを表 2.3 に，母指の DH パラメータを表 2.4 に示す．表の変数については図 2.6，
図 2.7 に示す通りである．ここで，a はリンクの長さ，α はリンクのねじれ角，d はリンク
間距離，θ はリンク間角度を表す．

リンク 1
リンク 2
リンク 3
リンク 4
リンク 5

a

α

d

θ

0
0
Li3
Li2
Li1

180◦
−90◦
0◦
0◦
0◦

0
0
0
0
0

θi4 − 90◦
θi3
θi2
θi1
0◦

表 2.3: 指 i の DH パラメータ

θ i1
θi 2

Li1

リンク 2
リンク 3
リンク 4
リンク 5





Li 2
Li 3

θ 02
θ 03








図 2.6: 指 i の DH パラメータ変数

d

θ

0
0
L03
L02
L01

90◦
90◦
−90◦
0◦
0◦

0
0
0
0
0

θ03
θ04 − 90◦
θ02
θ01
0◦

L01
L02







θi 4

α

表 2.4: 母指の DH パラメータ

θ 01



θi3

リンク 1

a

L03

θ 04



   
図 2.7: 母指の DH パラメータ変数

表 2.3 に基づき指 i の順運動学 F Ki (θi4 , θi3 , θi2 , θi1 ) を求めると式 2.4 に，表 2.4 に基づ
き母指の順運動学 F K0 (θ04 , θ03 , θ02 , θ01 ) を求めると式 2.5 となる．

Li1 sin θi4 cos(θi3 + θi2 + θi1 )+Li2 sin θi4 cos(θi3 + θi2 ) + Li3 sin θi4 cos θi3 (2.4)
F Ki (θi4 , θi3 , θi2 , θi1 ) =  Li1 cos θi4 cos(θi3 + θi2 + θi1 )+Li2 cos θi4 cos(θi3 + θi2 ) + Li3 cos θi4 cos θi3Li1 sin(θi3 + θi2 + θi1 ) + Li2 sin(θi3 + θi2 ) + Li3 sin θi3第2章

従来のビジョンベースデータグローブシステム

10
L01 cos θ04 sin θ03 cos(θ02 + θ01 ) − L01 sin θ04 sin(θ02 + θ01 )+L02 cos θ04 sin θ03 cos θ02 − L02 sin θ04 sin θ02






+L03 cos θ04 sin θ03

F K0 (θ04 , θ03 , θ02 , θ01 ) =  L01 cos θ03 cos(θ02 + θ01 ) + L02 cos θ03 cos θ02 + L03 cos θ03 (2.5)
 L sin θ sin θ cos(θ + θ ) + L cos θ sin(θ + θ ) 
 01
04
03
02
01
01
04
02
01 




+L02 sin θ04 sin θ03 cos θ02 + L02 cos θ04 sin θ02+L03 sin θ04 sin θ03

ここで，DIP 関節角度 θi1 と IP 関節角度 θ01 は，それぞれ式 2.1 と式 2.2 で表されている．この相関関係は日常における様々な手動作において，これに近い相関を保つことが予想される．そこで，式 2.1 を式 2.4 に，式 2.2 を式 2.5 に代入し ，式 2.6 を指 i の順運動学

F Ki (θi4 , θi3 , θi2 ) の式として，式 2.7 を母指の順運動学 F K0 (θ04 , θ03 , θ02 ) の式として用いる．
Li1 sin θi4 cos(θi3 + 35 θi2 ) + Li2 sin θi4 cos(θi3 + θi2 )+Li3 sin θi4 cos θi35F Ki (θi4 , θi3 , θi2 ) =  Li1 cos θi4 cos(θi3 + 3 θi2 ) + Li2 cos θi4 cos(θi3 + θi2 ) 
+Li3 cos θi4 cos θi3Li1 sin(θi3 + 53 θi2 ) + Li2 sin(θi3 + θi2 ) + Li3 sin θi3

(2.6)


L01 cos θ04 sin θ03 cos 73 θ02 − L01 sin θ04 sin 73 θ02
+L02 cos θ04 sin θ03 cos θ02 − L02 sin θ04 sin θ02 






+L03 cos θ04 sin θ03
7
F K0 (θ04 , θ03 , θ02 ) =  L01 cos θ03 cos 3 θ02 + L02 cos θ03 cos θ02 + L03 cos θ03  L sin θ sin θ cos 7 θ + L cos θ sin 7 θ

 01
04
03
02
01
04
02
3
3



+L02 sin θ04 sin θ03 cos θ02 + L02 cos θ04 sin θ02 +L03 sin θ04 sin θ03

(2.7)





第2章

従来のビジョンベースデータグローブシステム

2.3

マーカーによる特徴点抽出

11

本研究では実験システムにおいて指先の位置の特徴点を得るため各指先に一つずつ色の異なる色マーカーを取り付けて使用する．また，手のひらの位置・姿勢を計測し手の 6 自由度を得るための AR マーカーは指でマーカーが隠れない位置であること，指を動かす際に邪魔にならない位置であることなどを考慮した位置に取り付けを行う．実際に使用しているものを図 2.8 に示す．

図 2.8: ビジョンベースデータグローブシステム

この指先マーカーにより，各色マーカーの対象領域を一つの指先に対応させることができ
画像中での指先の位置を容易に判断することができる．細かい判断方法については，まずCSV 色空間でそれぞれの色マーカーに対する色領域にラベル付けを行い LUT を作成する．
カメラからの入力画像の各画素の CSV 値で LUT を参照することで色マーカーの対象領域を抜き出したマスク画像を作成する．作成したマスク画像のノイズを取り除くためモルフォ
ロジー変換の縮退処理によりノイズ除去を行う．ノイズ除去を行ったマスク画像から各色マーカーの領域の重心点の座標 (xi , yi ) を算出し，それを画像中の指先の位置とする．これ
で，色マーカーにより画像中の指先の位置を，AR マーカーにより手の６自由度を計測できるが，指先の 3 次元位置を計測できていない．そのため，色マーカーの重心点と手の 6 自由度との関連付けを行い指先の 3 次元位置が存在する点の推定を行う．
色マーカー領域の重心点 (xi , yi ) を画像座標系からカメラ座標系に変換し ，さらに AR-

ToolKit マーカー座標系 (以下マーカー座標系) へと変換する．カメラと各色マーカーの重
心点 (xi , yi ) を結んだ直線 Lt は図 2.9 のようになり，式 2.8 で表すことができる．

第2章

従来のビジョンベースデータグローブシステム

12

Z
F

X
C

Y

Lt

Y

X

( xi , yi )









図 2.9: カメラと色マーカー領域の重心点とを結んだ直線

Lt = C + te

(2.8)

ここで，t は媒介変数，点 C はマーカー座標系におけるカメラの位置，e はマーカー座標系におけるカメラから色マーカーの重心点への単位ベクトルを表す．また，図 2.9 での点 F
はマーカー座標系における指先の三次元位置を表す．色マーカーの重心点と手の 6 自由度によりマーカー座標系における指先の三次元位置である点 F を含む直線 Lt を求めることができる．しかし，このままでは点 F を決定することはできないので，2.1 節で述べた手指の拘束条件を利用して直線から点への推定を行う．

2.4

指先の三次元位置推定

手の拘束条件として 2.1.2 節で述べたように各指関節角度には相関関係がある．指の運動がこれらの相関関係に基づいて行われると仮定した場合，指先は一定の曲線上を移動する．
この曲線を以後，指先の軌跡と呼ぶことにする．よって本研究では指先は相関関係に基づき
指先の軌跡の近くに存在するものと仮定して推定を行う．
まず母指以外の指 i の指先の軌跡 fli (θi3 ) を求める．PIP 関節角度 θi2 (= fθi2 (θi3 )) は図

2.3 の相関関係を利用することで式 2.2 で表すことができる．また，MP 関節 (内転・外転)第2章

従来のビジョンベースデータグローブシステム

13

角度 θi4 は MP 関節 (屈曲・伸展) の屈曲によって可動範囲の中心に向かっていくため関節角度を可動範囲の中心に固定する．

fθi2 (θi3 ) = αi θi3 3 + βi θi3 2 + γi θi3(2.9)

ここで，αi , βi , γi は定数である．F Ki (θi4 , θi3 , θi2 ) と fθi2 (θi3 ) より指 i の指先の軌跡 fli (θi3 )は式 2.10 で表すことができる．

Li1 cos θ04 cos 53 (αi θi3 3 + βi θi3 2 + γi θi3 ) + θi3
+Li2 cos θi4 cos(αi θi3 3 + βi θi3 2 + γi θi3 + θi3 ) + Li3 cos θi4 cos θi3  Li1 sin θ04 cos 5 (αi θi3 3 + βi θi3 2 + γi θi3 ) + θi33
(2.10)fli (θi3 ) = +Li2 sin θi4 cos(αi θi3 3 + βi θi3 2 + γi θi3 + θi3 ) + Li3 sin θi4 cos θi3 




3
2
5
 Li1 sin 3 (αi θi3 + βi θi3 + γi θi3 ) + θi3
3
2+Li2 sin(αi θi3 + βi θi3 + γi θi3 + θi3 ) + Li3 sin θi3
次に，母指の指先の軌跡 fl0 (θ03 ) を求める．MP 関節角度 θ02 (= fθ02 (θ03 )) は図 2.5 の相関関係を利用することで式 2.11 で表すことができる．また，CM 関節 (尺側内転・橈側外転) 角度 θ04 は他の指のような依存関係はないが，可動範囲の中心付近を通ることが多いため可動範囲の中心に固定とする．

fθ02 (θ03 ) = α0 θ03 3 + β0 θ03 2 + γ0 θ03(2.11)

ここで，α0 , β0 , γ0 は定数である．F K0 (θ04 , θ03 , θ02 ) と fθ02 (θ03 ) より指 i の指先の軌跡 fl0 (θ03 )は式 2.12 で表すことができる．


L01 cos θ04 sin θ03 cos 37 (α0 θ03 3 + β0 θ03 2 + γ0 θ03 )−L01 sin θ04 sin 73 (α0 θ03 3 + β0 θ03 2 + γ0 θ03 )






+L02 cos θ04 sin θ03 cos(α0 θ03 3 + β0 θ03 2 + γ0 θ03 )


3
2


−L
sin
θ
sin(α
θ
+
β
θ
+
γ
θ
)
+
L
cos
θ
sin
θ
02
04
0
03
0
03
0
03
03
04
03


 L cos θ cos 7 (α θ 3 + β θ 2 + γ θ )

 01

0
03
0
03
0
03
03
3
fl0 (θ03 ) = (2.12)
+L02 cos θ03 cos(α0 θ03 3 + β0 θ03 2 + γ0 θ03 ) + L03 cos θ03 L01 sin θ04 sin θ03 cos 7 (α0 θ03 3 + β0 θ03 2 + γ0 θ03 )



3


3
2
7
+L01 cos θ04 sin 3 (α0 θ03 + β0 θ03 + γ0 θ03 )




3
2


+L02 sin θ04 sin θ03 cos(α0 θ03 + β0 θ03 + γ0 θ03 )+L02 cos θ04 sin(α0 θ03 3 + β0 θ03 2 + γ0 θ03 ) + L03 sin θ04 sin θ03

第2章

従来のビジョンベースデータグローブシステム

14

指先の軌跡 fli (θi3 ) と fl0 (θ03 ) それぞれと式 2.8 の直線 Lt との間の距離が最短となる直線

Lt 上の点を指先の三次元位置として決定する．しかし指先の軌跡は三次元空間における曲線となるため，三次元空間中における直線と曲線の最短距離問題になってしまい解を求めるのが困難である．そこで指先の軌跡 fli (θi3 ) と fl0 (θ03 ) を複数の線分で近似し ，直線と線分の簡単な問題となるようにする．ここで任意の指先の軌跡の近似線分 Ls は式 2.13 で表すことができる．

Ls = P + sd

(2.13)

ここで，s は媒介変数を表し，点 P は線分の始点の座標，d は線分の始点から終点へのベクトルを表す．式 2.8 の直線 Lt 上の点 Q と任意の軌跡の近似線分 Ls 上の点 R の距離 ||QR||を求める．QR = R − Q とすると，式 2.8 と式 2.13 より次のようになる．

QR = (P + sd) − (C + te)= P − C + sd − te

(2.14)||QR|| が最小の時，QR ⊥ e かつ QR ⊥ d となるから，

QR · e = 0(2.15)

QR · d = 0(2.16)

式 2.15 と式 2.16 を t と s について解くと次のようになる．

t ={||d||2 (CP · e) − (e · d)(CP · d)}||e||2 ||d||2 − (e · d)2(2.17)s ={(e · d)(CP · e) − ||e||2 (CP · d)}||e||2 ||d||2 − (e · d)2(2.18)

第2章

従来のビジョンベースデータグローブシステム

15

ここで，CP = P − C とする．求めた t を式 2.8 に代入することで直線 Lt 上の点 Q が求
まり，求めた s を式 2.13 に代入することで直線 Ls 上の点 R が求まる．また，Ls は線分なので 0.0 ≤ s ≤ 1.0 である．なので，s < 0.0 のとき点 R を線分の始点に，1.0 < s のとき点R を線分の終点として，Ls 上の点 R を求める．
この計算を全ての近似線分で行い距離 ||QR|| が最小となる直線 Lt 上の点 Q を指先の三次元位置である点 F とする．

2.5

逆運動学による手の姿勢推定

本節では前節によって推定する指先の 3 次元位置から各関節角を推定することで手の姿勢推定を行う．本研究では手の姿勢は逆運動学を解くことによって推定されるが，いくつかある逆運動学のうち，Cyclic-Coordinate Descent(CCD) 法 [14] を解くことによって推定する．

CCD 法はエンド エフェクタとゴ ールの距離を最小化する最適化問題を反復して解くことで解を求める計算手法である．この手法は反復 1 回あたりの計算コストが小さく，前時刻での姿勢から次の時刻における姿勢の推定を行うため時系列データで手の姿勢推定を行う本手法において有効であると考えられる．
次に CCD 法の計算手順について図 2.10 を用いて説明する．指先 (エンド エフェクタ) e
を目標位置 (ゴ ール ) g まで移動させる場合は以下の計算手順で計算を行う．

1. 先端の関節 c から指先 e へのベクトル E と c から目標位置 g へのベクトル G を算出
する．

2. 1. で求めたベクトルを正規化し，E から G への回転角を算出する．
3. 関節 c に 2. で求めた回転角を加える．このとき関節の拘束条件に当てはめるため，関節の可動範囲と新しく得られた関節角を比較し，可動範囲を越えているならば関節角の値を可動範囲の上限 (あるいは下限) となるように変更する．

4. 新しく得られた関節角における指先の位置を算出し，指先と目標位置との距離が前のものよりも大きくなる場合は前の関節角の値に戻す．

5. 関節 c の親である関節 b において 2. から 4. の手順を繰り返す．以上の手順をルートである関節 a まで繰り返す．

第2章

従来のビジョンベースデータグローブシステム

E

e

16

E

e

c

G

c

G

b

g

b

g



(1)

a

(2)



c

e

c
e

b
g

g



(3)


e

b

a

a

"#$%&'
!
(6)(2)~(5)

c
b

g

(7)



b

g

 
(5)  
e

(4)

a

c

G

g

b



a

c
E

e

a

a
図 2.10: CCD 法を用いた逆運動学

第2章

従来のビジョンベースデータグローブシステム

17

6. 指先と目標位置との距離が閾値以下になるか，設定された反復回数を越えるまで 2. から 5. の手順を繰り返す．

CCD 法には一度に関節が大きく移動しないように damping(粘性減衰) を付け加えることができる．ここで，順運動学には，式 2.1 と式 2.2 の相関関係が指 i と母指それぞれに含まれている．この相関関係を逆運動学においても考慮するために damping を用いる．具体的には，DIP 関節と IP 関節ではターゲットとゴールの距離の最小化を行わず，PIP 関節角度

θi2 と MP 関節角度 θ02 を求める際に，相関関係を用いて DIP 関節角度 θi1 と IP 関節角度
θ01 も求める．ここから得られた，2 つの指関節角度を同時に更新することで，相関関係を保ちながら手の姿勢推定が可能となる．しかし ，同時に更新するため e が G を超える可能性があるので，それを防ぐ ように damping 係数を適切に設定する．

2.6

指先の隠れを考慮した手の姿勢推定

この手法では，隠れ指の動作が隠れる前から継続していると仮定して推定し，推定された
指先の位置が正しく陰空間領域に存在するか否かの判定で再推定を行うことで隠れ指の姿勢を推定している．

2.6.1

動作が継続していると仮定した場合の隠れ指の姿勢推定

手の姿勢は時系列変化をすることから，過去フレームにおける各指関節角度の推移で隠れ指の姿勢の推定を行う．また，第 2.2 節の順運動学，第 2.5 節の逆運動学であったように

DIP 関節角度 θi1 と PIP 関節角度 θi2 の相関関係は隠れ指の姿勢推定でも利用する．つまり，
DIP 関節角度 θi1 は fθi1 (θi2 ) によって求まる．なので，参照する過去フレームにおける隠れ指の PIP 関節角度 θi2j と MP 関節 (屈曲・伸展) 角度 θi3j の相関関係を過去の各指関節角度
より最小二乗法を用いて fθci2 (θi3j )，fθci3 (θi2j ) として導出する．ここで，j は 0 ≤ j ≤ n であり，j = 0 は参照する最も過去のフレームを，j = n は現フレームを表す．次にその三次多項式に参照する各過去フレームの指関節角度を与えることで，相関関係を基にした各過去
フレームの指関節角度 θi2j , θi3j を得る．こうして得た角度と時刻 tj より再び最小二乗法により相関関係を導出することで，相関関係を基にした指関節角度の推移を表す三次多項式fθcti2 (tj )，fθcti3 (tj ) が導出され，その式に対して現フレームの時刻 tn を与えることで，動作が第2章

従来のビジョンベースデータグローブシステム

18

継続している場合の隠れ指の姿勢が推定される．また，MP 関節 (内転・外転) 角度 θi4 には他の指関節角度から一意に指関節角度が定まる明確な相関関係が存在しない．そのため，過去フレームにおける θi4 の推移を過去フレームにおける指関節角度 θi4 と時刻 tj より最小二乗法を用いて三次多項式 fθti4 (tj ) として導出する．
参照する過去フレームにおいて指関節角度が図 2.11 や図 2.12 のように偏って分布している場合，相関関係がうまく導出されない．そこで，相関関係がうまく導出されない場合には

fθti4 (tj ) と同様に過去フレームにおける指関節角度と時刻より最小二乗法を用いて fθti2 (tj )，fθti3 (tj ) として導出される．






図 2.11: 無相関に分布
図 2.12: 片方の指関節が角度が固定されて分布以上の三次多項式により各指関節角度は求まり，逆運動学 F Ki (θi4, θi3, θi2) から隠れ指の動作が隠れる前から継続している場合の隠れ指の姿勢が推定できる．
図 2.13 〜 図 2.15 に動作が継続している場合の隠れ指の姿勢推定の概略図を示す．赤い矢印が過去フレームにおける指関節角度間の相関関係を導出し，過去フレームにおける相関関係を基にした指関節角度の推移から隠れ指の指関節角度を推定する流れである．青い矢印
が過去フレームにおける指関節角度間の相関関係を導出できない場合に，過去フレームにおける指関節角度の推移から隠れ指の指関節角度を推定する流れである．

第2章

従来のビジョンベースデータグローブシステム

θ i3 jf c (θ i 2 j )
θi 3

19

f ct (t j )
θi 3

θ i3n

f t (t j )
θi 3

θi2 j
図 2.13: θi2n の推定

θi3 j
f t (t j )θi 2

θ i2 jf c (θ i 3 j )θi 2

f ct (t j )
θi 2

θi2 n

f t (t j )θi4 n

図 2.14: θi3n の推定

θ i4 j

θi 4

図 2.15: θi4n の推定

第2章

従来のビジョンベースデータグローブシステム

2.7

陰空間領域での不規則な動作を考慮した隠れ指の姿勢推定

20

前節で，多項式に従うものとして推定した角度から，想定される指先の位置を求める．この指先位置が次節で定義する陰空間領域に存在するか否かを基に，指の動作が完全に多項式に従うか，動作は多項式に従っているが動作の速度が変化しているか，あるいは動作そのものが変わっているかを判定する．その上で，隠れ指の姿勢を推定する．

2.7.1

陰空間領域

陰空間領域は隠れ指 i 以外の指 k(k6=i) によってカメラ方向から陰となる空間領域である．
そこで，陰空間領域をつくる指 k について考えたとき，指は指節からなるという考えから，
指節を関節点を結ぶ直線を軸とする円柱に関節点を中心とする球が接続された形状で表すとする．ここで指 k の指節は kd, 円柱と球の半径を rkd , 関節点を結ぶ直線の長さを表 2.6 のリ
ンクの長さである Lkd とする．また，この時の陰空間領域 Skd を指節ごとに考えると図 2.16のようになる．

rkd
Lkd

 kd

Skd

図 2.16: 陰空間領域 Skd

隠れ指 i の姿勢から順運動学 F Ki (θi4, θi3, θi2) を求めることで隠れ指先の位置，すなわ
ち点 Fi が求まる．ここで，点 Fi は陰空間領域に存在するはずである．そこで，点 Fi と陰空間領域の内外判定を行い，判定の結果から隠れ指の動作の判定を行う．

第2章

従来のビジョンベースデータグローブシステム

2.7.2

陰空間領域の内外判定の結果により考えられる隠れ指の動作

21

前節の陰空間領域の内外判定の結果から，隠れ指の動作が完全に多項式に従うか，動作は多項式に従っているが動作の速度が変化しているか，あるいは動作そのものが変わっているかを判定する．多項式に従う動作であれば陰空間領域内にとどまるように再推定を行う．動
作そのものが変化している場合は，前フレーム姿勢のみから画像座標を基に陰空間領域を考慮した隠れ指の姿勢を推定する．陰空間領域の内外判定の結果により考えられる隠れ指の動作を表すと表 2.5 のようになる．
推定姿勢

前フレーム姿勢判定

陰空間領域内陰空間領域内領域内で動作または停止

陰空間領域内陰空間領域外完全に多項式に従う

陰空間領域外陰空間領域内遅くなったまたは停止

陰空間領域外陰空間領域外元に戻る動作，動作が変わった

表 2.5: 陰空間領域の内外判定の結果により考えられる隠れ指の動作

推定姿勢が陰空間領域内・前フレーム姿勢が陰空間領域内の隠れ指の姿勢推定や推定姿勢
が陰空間領域外・前フレーム姿勢が陰空間領域内の隠れ指の姿勢推定の場合にも隠れ指がそれまで継続している動作の元に戻る方向へ動作することは考えられる．しかし，実際には複数フレームに渡り隠れ指が陰空間領域に存在するときはこのような反復動作をすることは稀である．また，複数フレームに渡り隠れ指が陰空間領域に存在し動作している場合には他の指も動作をしていることが多い．その場合には陰空間領域自体が移動するため反復動作はせず陰空間領域の移動に沿って隠れ指は動作することになる．または，指先は陰空間領域外となり検出されるようになると考えられる．そのため陰空間領域内では隠れ指は，それまで継続している動作の元に戻る方向へは動作しないものとしている．
陰空間領域の内外判定の結果により考えられる隠れ指の動作が分かれば，後はそれに応じた隠れ指の再推定を行うことで，隠れ指の姿勢推定は可能となる．

22

第3章

手背画像による隠れ指先の推定

指先の時系列変化により現在の手の姿勢を推定する従来手法は，そのまま手背画像による
隠れ指先の推定に適用したとき，隠れ指の推定が可動限界まで屈曲した姿勢で推定されてしまうという問題がある．これは従来手法が隠れ指先の推定を行う際に指先の時系列変化と合わせて，推定位置との陰空間領域判定により再推定を行っていたためである．手背画像により推定位置との陰空間領域判定を行う際，手掌画像と違い指が隠れている陰空間領域が，他の指により隠されている場合だけではなく手の平により隠されている場合も多く考えられる．そのため，推定位置との陰空間領域判定による再推定が上手く行えず，推定位置が陰空間領域内であれば，可動限界まで時系列変化に従い屈曲してしまう．この問題を解決するた
めに，新たに手の面積および凸包輪郭線の長さによって手背画像による隠れ指の推定を可能にする．
隠れ指の推定が可動限界まで屈曲した姿勢で推定されてしまうという問題が存在する．これを解決するために，新たに手の面積および凸包輪郭線の長さによって手背画像による隠れ指の推定を可能にする．

3.1

提案手法の概要提案手法では，隠れ指の姿勢推定のために，手の面積および凸包輪郭線の長さ (凸包輪郭線長) を用いる．具体的には，まず事前にいくつかの手動作に関してサンプルデータを取得
し，その時の手の面積，凸包輪郭線の長さ，各指の合計屈曲率 (親指を除く各指の屈曲・伸展の度合いを 0%〜100%で表した場合の，それらの合計値 0%〜400%) の対応関係を求める．
その取得したデータをもとに現フレームの手の面積，凸包輪郭線の長さから合計屈曲率を参照できる表を作成しておく．
実際の手の推定においては親指を除く指で隠れ指が発生した場合に，手の面積，凸包輪郭
線の長さをもとに表から合計屈曲率を参照する．次に，検出済みの指に対する屈曲度合いを

第3章

手背画像による隠れ指先の推定23減算する．その上で，未検出，すなわち推定できていない指に対して均等に割り振る．しかし，この表は正確なものではないため，例えば指が 2 本見えている状況で表を参照した際に，合計屈曲率が 200%以上で検出されることもありえる．そのような時は各指の屈曲率を最大の 100%で抑えるように推定を行う．
なお，本来は手首の回転に伴う手の面積，および凸包輪郭線長の動的な変化に対応した合計屈曲率の表を作成する必要がある．ただし現時点では，この手法が有効であるかど うかを確認するために，今回は手首の回転は行わないものとする．また，親指は推定の対象外としている．将来的には，合計屈曲率と別に親指の屈曲率を現フレームの手の面積と凸包輪郭線
長で新たに表を作成し求めることを考えている．ところで，指関節角度間の相関関係を表す

fθi1 (θi2 ) と fθ01 (θ02 ) はど ちらも比例式であり，fθi2 (θi3 ) と fθ02 (θ03 ) はど ちらも三次多項式である．また，図 2.6，図 2.7 において指 i(i=1〜4) と母指の軸構造は同じである．したがって，指 i(i = 1 〜 4) と母指で対応する各関節の構造は同一であるとして，指 i と母指の表は大きく変わらないと考え，今回は親指の推定は行わない．

3.2

手の面積

カメラ画像における手の面積は手背方向から手を撮影した場合には特に，表 3.1 のように手の形により大きな違いが見られる．そこで，隠れ指が発生した際の面積に注目することで，隠れている指の姿勢がある程度推定可能であると考える．
名称

面積 (画素数 ×(カメラとの距離 (mm))2 )グー

約 1100000000

パー

約 1670000000

半開き

約 1350000000

指が二本見えている

約 1360000000

表 3.1: いくつかの手の姿勢に対する手の面積

手の面積は指先に取り付けられている色マーカーの領域とグローブの白色の領域を合わせた値として取り出す．この値の取得には 2.3 節のマーカーによる特徴点抽出において，カメラからの入力画像の各画素の CSV 値で LUT を参照することで色マーカーの対象領域を抜き出したことを利用する．色マーカーの対象領域を抜き出しマスク画像を生成することが目第3章

手背画像による隠れ指先の推定

24

的の時と違い，グローブの白色部分も抜き出す必要ができたため，白色に対応する色領域にラベル付けを行った LUT を新たに作成する．マスク画像を生成する際に色マーカーの色もしくはグローブの色と判定された領域の画素数も合わせて取り出し，それを現在の手の面積とする．その時のマスク画像を図 3.1 に示す．

図 3.1: 色領域を抜き出したマスク画像
ただし，このままでは手の面積はカメラからの距離によって取得される値が変わってくる．
そこで，手の面積とカメラから AR マーカーまでの距離の二乗をかけた値を手の面積とする
ことで，距離によって値が変動しないようにする．

3.3

凸包輪郭線長凸包輪郭線長も面積と同じように，手背方向からの手の撮影を考えると，表 3.2 のように手の形により大きく値が変動する数値である．単なる輪郭線長を用いない理由としては，輪郭線長は図 3.2，図 3.3 のように，類似の手動作においても，指の間の開きなどで値の変化量が大きくなってしまうからである．そのため，面積と合わせて隠れ指推定を行う際に，隠れ指の姿勢の候補が多くなってしまう問題を避けるために，凸包輪郭線長を用いる．前節の手の面積と同様に隠れ指が発生した際の凸包輪郭線長に注目することで，隠れている指の姿
勢を推定可能にする．

第3章

手背画像による隠れ指先の推定

25

名称

凸包輪郭線長 (凸包輪郭線長 (mm)× カメラとの距離 (mm))

グー

約 140000

パー

約 200000

半開き

約 165000

指が二本見えている

約 177000

表 3.2: いくつかの手の姿勢に対する凸包輪郭線長

図 3.2: 輪郭線 (約 260000)

図 3.3: 輪郭線 (約 230000)

凸包輪郭線長を求めるためには，まず手の輪郭線を検出する必要がある．輪郭線の検出には，まず画像の二値化を行う．二値化は前節で述べたマスク画像に，モルフォロジー変換のopen 処理を二回，膨張処理を一回行った画像に対して処理を行う．次に，その画像に対して，輪郭検出を行うことで，輪郭線が点の集合として取得できる．最後に取得した点の集合の凸法を求めることで，図 3.4 のような手の凸包輪郭線とその長さが取得可能になる．

図 3.4: 凸包輪郭線

第3章

手背画像による隠れ指先の推定

26

しかし，このままでは凸包輪郭線長は手の面積と同じ様にカメラからの距離によって取得される値が変わってくる．そこで，凸包輪郭線長とカメラから AR マーカーまでの距離をかけた値を凸包輪郭線長とすることで，距離によって値が変動しないようにする．

3.4

手の面積と凸包輪郭線長の関係

手の面積と凸包輪郭線長をサンプルデータとして取得していく．サンプルデータ取得時の，合計屈曲率は手の面積と凸包輪郭線長を取得した際の手の姿勢から判断し 0〜400 の値として取得する．ここで得られた手の面積と凸包輪郭線長を今回は 29 個分のデータとして分類することで，現フレームの手の面積と凸包輪郭線長から，合計屈曲率を取得できる表を作成する．これにより，隠れ指が発生した際に，合計屈曲率を参照することで隠れている指のおおよその姿勢を推定することが可能になる．ここで，サンプルとして取得した手の姿勢は図

3.5〜図 3.13 に示し，取得したサンプルデータを図 3.14，そこから導いた合計屈曲率の分布を図 3.15 として示す．

図 3.5: 合計屈曲率:400%

図 3.6: 合計屈曲率:0%

図 3.7: 合計屈曲率:200%

図 3.8: 合計屈曲率:300%

図 3.9: 合計屈曲率:200%

図 3.10: 合計屈曲率:100%

第3章

手背画像による隠れ指先の推定

図 3.11: 合計屈曲率:150%27

図 3.12: 合計屈曲率:100%








 
















図 3.13: 合計屈曲率:50%

 


























図 3.14: 取得したサンプルデータの分布






第3章

手背画像による隠れ指先の推定28 
















 







 







 







 















 





















 

図 3.15: サンプルデータから求めた合計屈曲率の分布

図 3.14 から，今回利用したサンプルデータにおいて手の面積と凸包輪郭線長が増加する
につれて合計屈曲率が下がっていくという比例関係が見られた．つまり，手の面積と凸包輪
郭線長からの合計屈曲率は手首の回転を考えない場合，右上がりの形で値が取得できると考えられる．そこで，参照する合計屈曲率を右上がりの形に沿うように図 3.15 のように 29 格
子分，算出した．各格子の値は，図 3.14 の対応する合計屈曲率とする．一つの格子に複数のサンプルデータが対応する場合には，それらの加重平均とし，対応するサンプルデータがない場合には周囲の格子の平均として求める．

3.5

合計屈曲率に基づく隠れ指の推定

まず，現フレームの手の面積および凸包輪郭線長を取得する．その値により，前節で作成した図 3.15 のどの格子に分類されるかを決定し，その格子の値を現在の合計屈曲率とする．
ただし現時点では，例えば図 3.15 において手の面積と凸包輪郭線長が 131 と 165 であっても，139 と 175 であっても，合計屈曲率は補間などは行わずに 200 と算出している．次に検出済みの指に対する屈曲度合いを減算する．その上で，未検出，すなわち推定できていない指に対して合計屈曲率を均等に割り振る．これにより，隠れ指の推定が可能になる．

第3章

手背画像による隠れ指先の推定

29

なお，実際の計測では表に含まれない値も，数フレームにおいて計測されることがあると考えられる．そのような場合には前フレームの手の面積と凸包輪郭線長を用いて計測する．
また，表に含まれる値でも今まで継続していた動作と全く違う値が数フレーム計測されてしまうこともあると考えられる．その時は，5 フレーム以上に渡り，過去のフレームの手の面積と凸包輪郭線長から離れた値が計測されている場合，現フレームの手の面積と凸包輪郭線長から計測をすることで対応する．

30

第4章

4.1

実験および評価考察

実験システム

前述の提案手法を用いて実験システムを作成し処理速度と隠れ指先が存在する際の手指の姿勢推定について実験を行った．実験システムは CPU : Pentium(R) Dual-Core CPU E5200

2.50GHz の PC 上に C++により実装した．また BUFFALO 社製の USB カメラ BSW20K04
を使用し画像サイズを 640 × 480 pixel(最大 30fps) で撮影し ノイズ除去を 320 × 240 pixelにリサイズした画像で行いノイズ除去後再び 640 × 480 pixel にリサイズした画像を使用した．実際に行った実験の様子を図 4.1 に示す．

図 4.1: 実験の様子

第4章

実験および評価考察

4.2

処理速度に関する評価

31

実験システムを用いて本提案手法の処理速度について評価を行った．本実験は，二章での2.6 節から 2.7 節の指先の隠れを考慮した手の姿勢推定を導入していない状況で行った．表
4.1 に各処理における平均処理時間を示す．なお処理速度は小数点第二位以下を四捨五入した値を示している．
平均処理時間 (msec)
カメラ画像の取得

CG の表示

14.1
16.3
6.0
0.2
3.3

合計

36.9

ノイズ除去
指先の位置推定
手指の姿勢推定表 4.1: 各処理における平均処理時間

本実験システムはカメラ動作最大の平均 30fps で動作している．また処理時間の内訳を見るとカメラ画像の取得とその待ち時間画像のノイズ除去の処理時間が全体の処理時間の約74%を占める．そのため手の姿勢推定の処理時間は極めて少ないと言える．一般的に対話操作システムには 10〜12fps 以上の処理速度が必要とされている．このことから本提案手法は十分な処理速度であり，実際に応用システムに利用することも将来的に可能であると考えら
れる．

4.3

隠れ指先が存在する際の手の姿勢推定に関する評価

本提案手法による実験システム，ビジョンベースデータグローブが正しく手指の姿勢を推定できているかを３名の被験者に評価してもらい，また簡単な質問とアンケートを行った．
アンケートの評価は 7 段階で評価の目安を「 1: まったく正しい姿勢が取得できていない」「 4: システムとして利用可能な程度の姿勢は取得できている」「 7: 限りなく入力姿勢と同じ姿勢が推定できている」とした．行った実験は以下の 3 つである．

• 実験 1: 手をグーの状態に固定した状態の手の姿勢推定の正しさ• 実験 2: 手をチョキの状態に固定した状態の手の姿勢推定の正しさ

第4章

実験および評価考察

32• 実験 3: 手を半開きの状態に固定した状態の手の姿勢推定の正しさ
実際に実画像を用いた手の姿勢推定の実験の様子を図 4.2 〜 図 4.4(上は輪郭線と凸包輪郭線を抽出した画像，下は推定結果に基づく CG) にアンケート結果を図 4.5 〜図 4.7 に示す．

図 4.2: 手をグーの状態に固定
した状態の手の姿勢推定

図 4.3: 手をチョキの状態に固定した状態の手の姿勢推定























図 4.5: 実験 1 の評価









図 4.4: 手を半開きの状態に固定した状態の手の姿勢推定







図 4.6: 実験 2 の評価





第4章

実験および評価考察

33



















図 4.7: 実験 3 の評価

実験 1 での評価値の平均は 5.67，実験 2 での平均は 5.0，実験 3 での平均は 4.67 であった．全ての実験において評価値の平均が「システムとして利用可能な程度の自然さを感じる」である評価値の 4 を越える結果になった．結果から手をグーの姿勢にしたときの評価値
がもっとも高い評価値となっている．これは手背方向から見た手の姿勢を出力画像としているため，手の姿勢を目で見て自然かど うか判別できる部分が MP 関節角度だけとなっており，PIP 関節角度は出力画像の結果に大きく影響しなかったためと思われる．
チョキの姿勢の評価値はグーに比べて低くなっている．これは 3.5 節で述べたように，合計屈曲率を補間を行わずに決定しているため，手の姿勢が若干，変化してしまった場合に合計屈曲率が大きく変化してしまうことがあるためである．特に，実験中の姿勢がこの境界を行き来してしまい，推定結果の CG が不自然に変化してしまったためと考えられる．
最後に半開きの姿勢は今回行った実験では 1 番低い評価値となっている．これは，MP 関
節 (内転・外転) 角度を固定して出力画像としているためだと思われる．つまり，同じ半開き姿勢でも指の間が開いてる姿勢，閉じている姿勢と本来は分かれるが，今回の実験ではどちらも同じ MP 関節 (内転・外転) 角度の半開きの動作となり，入力画像との違和感が大きかったためと思われる．
実験では，全てにおいて評価値の平均が 4 を越える結果になった．つまり，「 システムとして利用可能な程度の姿勢は取得できている」という評価を得られたので，実際に応用シス
テムに利用することも将来的に可能であると考えられる．

34

第 5 章 むすび本研究では，手背方向からの画像を利用して手の姿勢推定を行う場合に，手の面積と，手の領域に対する凸包輪郭線長により隠れ指の姿勢を推定する手法を提案した．提案手法では，まず隠れ指が発生したフレームにおける手の面積と凸包輪郭線長を取得する．次に，これらの値と事前に作成した表から，各指の合計屈曲率（ 0%〜400% ）を得る．合計屈曲率が求まれば，その値から検出済みの指に対する屈曲度合いを減算した上で，推定できていない指に対して均等に割り振ることで隠れ指の姿勢を推定できる．実験システムでは，隠れ指が発生している際の手の姿勢を表から参照した値により，完全に屈曲しているか，半分程屈曲しているかを分けて推測することができていることが確認できた．また，十分に高速な処理速度で隠れ指の姿勢推定が実現できていることから，手首の回転にも対応した，手背方向からの画像による手の姿勢推定を行うビジョンベースデータグローブシステムが実現可能であると考えられる．
今後は，手の面積と凸包輪郭線長から，より高い精度で合計屈曲率を求める必要がある．
また，今回は手首の角度が固定という制限のもと，合計屈曲率の表の作成を行い，そこから隠れ指の推定をした．しかし ，実空間において手背方向からの画像を利用する場合には，ユーザーが片方の手でカメラを持ち，もう片方の手で手を撮影するといったカメラ位置が固定されにくい状況が想定される．そのため，カメラの位置や手首の回転などの要素により変わる手の面積や凸包輪郭線長から，表を利用せずに合計屈曲率を得ることも考えたい．手の面積と凸包輪郭線長と合計屈曲率の関係が式によって求めることができれば，隠れ指の推定精度の向上も期待できる．また，今回は輪郭線を凸包の輪郭線とすることで，長さを検出している．しかし ，図 3.2，図 3.3 のように各指の内転角度・外転角度により指の間が開いているときの凸包輪郭線長は，類似の手動作でも大きく値が変わらないので，推定に使用する情報として必要ではあるが，それは同時に指と指の間以外の輪郭線については凸包ではない
輪郭線長を推定の情報として用いて良いということである．そうすることで，輪郭線の情報

第5章

むすび

35

を凸包輪郭線長，輪郭線長の二つに分けて考えることができる．輪郭線の情報が二つになれ
ば，推定に用いる情報は面積を合わせて三つになるため，これで指の姿勢の計測を行えば，隠れ指の推定精度の向上が期待できる．
さらに，実験でも明らかになった課題，すなわち合計屈曲率の表を参照する時に補間を行う必要がある点と，合計屈曲率に基づく MP 関節 (内転・外転) 角度の適切な設定の問題も解決することで，推定精度の向上が期待できる．
将来的には素手からの指先検出により手の姿勢推定を行う手法に適用することで，カメラさえ用意できれば一般家庭などの身近な場にデータグローブという仕組みを普及させることが可能になると考えられる．そのため，隠れ指の姿勢推定の向上するとともに，素手からの指先検出により手の姿勢推定を行うシステムを実現していきたい．

36

謝辞

本研究を進めるにあたって，日頃から多大な御尽力を頂き，ご指導を賜りました名古屋工業大学，舟橋健司

准教授，伊藤宏隆

助教，山本大介

准教授 に心から感謝致します．

また，本研究に対して御討論頂きました本学 中村研究室の皆様ならびに中部大学 岩堀研究室の皆様に深く感謝致します．
最後に，本研究に多大な御協力頂きました舟橋研究室諸氏に心から感謝致します．

37

参考文献

[1] 李在麟，太田啓路，河合隆史，吉田菜穂子，井澤修平，野村忍，イームズ・ダグラス，山崎恵，貝谷久宣，“地下鉄パニック障害治療用の VR コンテンツ開発”， 日本バーチャル
リアリティ学会論文誌 Vol.12，No.1，pp.57-65，2007.

[2] 荻野雅敏，瀧剛志，大塚勝也，北島章雄，宮崎慎也，長谷川純一，“ ボブスレー競技のための体感型トレーニングシミュレータの構築”， 日本バーチャルリアリティ学会論文
誌 Vol.11，No.4，pp.469-477，2006.

[3] 舘

日章 ，佐藤誠，廣瀬通孝，日本バーチャルリアリティ学会，“バーチャルリアリ

ティ学会”，工業調査会，2012．

[4] 島田伸敬，白井良明，久野義徳，三浦純，“ 緩やかな制約知識を利用した単眼視動画像からの関節物体の形状と姿勢の同時推定”， 電子情報通信学会論文誌，Vol.J81-D-2，No.1，

pp.45- 53，1998.
[5] 藤本光一，松尾直志，島田伸敬，白井良明，“ 輪郭部分特徴の階層構造学習による三次
元手指姿勢推定の高速化”， 画像の認識・理解シンポジウム，IS3-64，2010.

[6] 藤木隆司， 吉本廣雅， 有田大作， 谷口倫一郎，“ ヒューマンインターフェースのための実時間手形状計測”， 火の国情報シンポジウム (CD-ROM)，2004.

[7] Vitor F. Pamplona， Leandro A. F. Fernandes， Joao Prauchner， Luciana P. Nedele Manuel M. Oliveira， “ The Image-Based Data Glove ”， Proceedings of X Symposium on Virtual Reality (SVR’2008)，pp.204-211，2008．
[8] Sanshiro Yamamoto， Kenji Funahashi， Yuji Iwahori “A Study for Vision Based Data
Glove Considering Hidden Fingertip with Self-Occlusion”，Proc. SNPD2012， pp．315320，2012.

38[9] 加藤博一，Billinghurst Mark，浅野浩一，橘啓八郎，“マーカー追跡に基づく拡張現実
感システムとそのキャリブレーション ”， 日本バーチャルリアリティ学会論文誌 Vol.4，

No.4，pp.607- 616，1999.
[10] 鎌倉矩子，“ 手のかたち手のうごき”， 医歯薬出版株式会社，1989.
[11] ELKOURA G and SINGH K，“ Handrix：Animating the Human Hand ”，Symposiumon Computer Animation - SCA, pp. 110-119, 2003[12] 市川亮，“ 物体の把握・操作時における指関節の動きモデル ”， 和歌山大学学士学位論
文，2002.

[13] S. Hayati， K. Tso， and G. Roston， “ Robot Geometry Calibration ”， Trans. ofIEEE Robotics and Automation，Vol.2，pp.947-951，1988.
[14] Chris Welman. “ Inverse kinematics and geometric constraints for articulated figure
manipulation ”， M.Sc Thesis，Simon Fraser University，1993.