平成 26 年度

卒業論文

手背画像による親指の隠れを考慮した
ビジョンベースデータグローブ

指導教員
舟橋

名古屋工業大学

工学部

情報工学科

平成 23 年度入学23115036 番

名前

一輝

川島

健司

准教授

i

目次

第 1 章 はじめに

1

第 2 章 手掌画像によるビジョンベースデータグローブ

6

2.1

手指の拘束条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

2.1.1

各指関節の可動範囲 . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

2.1.2

指関節間の依存関係 . . . . . . . . . . . . . . . . . . . . . . . . . . .

82.2

順運動学 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3

逆運動学による手の姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.4

指先の隠れを考慮した手の姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . 14

2.5

2.4.1

動作が継続していると仮定した場合の隠れ指の姿勢推定 . . . . . . . . 14

2.4.2

過去フレームにおける相関関係を基にした指関節角度の推移 . . . . . 14

2.4.3

過去フレームにおける相関関係が求まらない場合の指関節角度の推移

2.4.4

指関節角度の推移を基にした隠れ指の姿勢推定 . . . . . . . . . . . . . 17

陰空間領域での不規則な動作を考慮した隠れ指の姿勢推定

3.2. . . . . . . . . . 19

2.5.1

陰空間領域 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.5.2

陰空間領域の内外判定の結果により考えられる隠れ指の動作 . . . . . 19

第 3 章 手背画像によるビジョンベースデータグローブ

3.1

15

23

親指を固定した手背画像によるビジョンベースデータグローブ . . . . . . . . 23

3.1.1

手の面積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.1.2

凸包輪郭線長 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.1.3

手の面積と凸包輪郭線長の関係 . . . . . . . . . . . . . . . . . . . . . 25

3.1.4

分布表を用いた合計屈曲率の取得 . . . . . . . . . . . . . . . . . . . . 27

3.1.5

合計屈曲率に基づく隠れ指の推定 . . . . . . . . . . . . . . . . . . . . 28

3.1.6

隠れ指の姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

親指の挙動を考慮した手背画像によるビジョンベースデータグローブ . . . . 29

3.2.1

親指挙動に対する手の面積と凸包輪郭線長の関係 . . . . . . . . . . . 30

ii

3.2.2

親指の合計関節角度ごとの屈曲率の分布表及び隠れ指の姿勢推定 . . . 31

第 4 章 親指の隠れを考慮した推定法

33

4.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4.2

親指の挙動に対しての，手の縦横比，手の面積，凸包輪郭線長の変化 . . . . 34

4.3

手の縦横比

4.4

手の縦横比，手の面積，凸包輪郭線長による親指の合計関節角度の分布表 . . 38

4.5

親指の各関節角度の推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

4.6

隠れ指の姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

第 5 章 実験および考察

43

5.1

実験システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

5.2

処理速度に関する評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

5.3

被験者によるアンケート形式での評価と考察 . . . . . . . . . . . . . . . . . . 45

5.4

隠れ指の各関節角度誤差による評価及び考察 . . . . . . . . . . . . . . . . . . 47

5.4.1

グー姿勢に対する隠れ指の各関節角度誤差 . . . . . . . . . . . . . . . 47

5.4.2

チョキの姿勢に対する隠れ指の各関節角度誤差 . . . . . . . . . . . . . 50

5.4.3

物体 (ボール) を把持した姿勢に対する隠れ指の各関節角度誤差 . . . . 52

第 6 章 むすび

55

謝辞

56

参考文献

57

1

第1章

はじめに

近年，バーチャルリアリティ (Virtual Reality: 以下 VR) に関する技術が数多く研究され，大きく進歩している．しかし，我々の日常生活において，それらの技術を目にする機会は依然少ない．VR とは表層的には現実と異なるが，本質的には現実と同等のものであり，「それがそこにないにもかかわらず，観察する者にそこにあると感じさせるもの」[1] である．VR
技術とは，人間の五感に対して適切な情報を与える人工環境を生成することで，現実と同等の体験をすることを可能にする技術である．人工環境はコンピュータによって生成され，その生成において文献 [1] では以下の三つが重要な要素として挙げられている．人工環境における立体的な視覚空間及び立体的な聴覚空間が人間にとって自然である「三次元の空間性」，
人間が人工環境との実時間の相互作用をしながら自由に行動できる「実時間の相互作用性」，
人工環境と人間がシームレスであり，あたかも環境に入り込んだかのような状態である「自己投射性」の三つである．
ところで VR 技術には現実で同様の環境を構築するよりもコストを少なくすることができる，現実では危険を伴う行為であっても安全に行うことができる，全く同様な状況を比較的容易に生成でき，また繰り返し利用することができる，などの利点が存在する．VR 技術の利用例として，これらの利点を利用した，教育・訓練シュミレータ [2][3] が挙げられる．また，これらのような VR シュミレータの他にもテーマパークのアトラクションに利用している例も存在する．これらに使用されるインタフェースは巨大かつ用いられる分野が限定的であり，またその開発費用は高額となる場合が多く，一般家庭などの身近な場に普及するとは考え難い．
近年では，一般家庭での利用も視野に入るような比較的安価であり、小型なインタフェースの開発も進められている．例として Oculus VR 社による「Oculus Rift」が挙げられる [4]．

Oculus Rift は約 100 °の視野角や，頭の動きに画面が追従するヘッドトラッキング，また立体視による 3D 映像を特徴としたヘッドマウントディスプレイである．それらの機能を用いることで，ユーザに高い没入感を与えることが可能であり，VR システムへの利用が期待できる。しかし，この装置を利用して享受することができる一般家庭向けのコンテンツが提供されているとは言えず，そのため装置自体が家庭レベルで普及する見通しもない．上述の例

第1章

はじめに

2

のように，VR システムの一般家庭への普及には，システムを構成するための各種装置の大きさや価格と，合わせてコンテンツの提供が課題である．そしてこの装置とコンテンツの関係は独立したものではなく，相互に発展していくことが必要である。すなわち，一方的な装置のみの提案ではコンテンツがついて来ない．またコンテンツを提案するためには，それを提供するためのプラットフォームとなる装置が必要である．
当研究室では VR システムの一般家庭への普及を目的として様々な研究を行っている．具
体的には，VR 技術を利用した e-learning システムとして、比較的性能の高くない計算機でも利用可能な化学実験体験システムや調理学習システムを開発している。本研究では，これらのように安価に構成されるべきシステムで利用することを想定した，安価でかつ小型なインタフェースをテーマにしている．ところで VR システムに用いられるインタフェースには，
ヘッドマウントディスプレイ，ロボットアーム，データグローブ，タッチパネル，三次元マウスなどが存在するが，本研究では，人間が現実において物体操作を行う際，手で操作することが多いことを考慮し，人工環境上で手を用いた物体操作を可能にするインタフェースであるデータグローブに着目する．
データグローブとは，手指の各関節角度を計測することで手の姿勢を取得するための手袋状のインタフェースである．様々な手法のものが開発されているが，代表的なものとして，
ベンドセンサによって計測を行うデータグローブがある．ベンドセンサを用いたデータグ
ローブでは，基本的に 1 つのセンサで 1 つの曲げ角を計測する．したがって正確な手の姿勢を計測するには，センサの数を増やす必要があり，そのため高価なインタフェースとなってしまう．各指の複数の関節に対して，１つのセンサーを対応させて計測する安価なデータグ
ローブも存在する．当研究室では，このようなデータグローブの汎用的な利用を目指した姿
勢取得の方法も提案している [5]．また，ベンドセンサを用いずに手の姿勢を取得する手法
として，カメラ画像から手の姿勢推定を行うビジョンベースデータグローブの研究も存在す
る．代表的な手法は「データベースを構築し，パターンマッチングを用いる手法」と「特徴
量やマーカから指先等を検出し，手の姿勢推定を行う手法」の二つである．
前者のパターンマッチングによる手法では，事前に画像上での手の姿勢のデータベースを構築して入力画像とのマッチングを行うことで，手の姿勢を推定する．この手法の利点として，指先を自身の手や指で隠してしまうセルフオクルージョンの問題に対応できることが挙げられる．一方で正確な手の姿勢の推定をするためには，膨大な量の手の様々な姿勢のデー
タベースを構築する必要があり，また膨大な量のデータベースから入力画像とマッチングする対象を探索する必要がある．したがってこの手法では推定精度と処理速度がトレードオフとなる．この問題を解決するため多くの研究がされている．例えば，藤本ら [6] は，輪郭形

第1章

はじめに

3

状の凹凸情報を利用し，データベースを木構造にすることで，探索時間を削減した．富田ら[7] は，データベースの探索に手指の縦横比率等の形状比率を加えて，画像特徴量と組み合わせることで，高精度かつ高速な姿勢推定を実現した．また，Wang ら [8] は，シルエット情
報や輪郭情報ではなく，独自のマルチカラーグローブを用いることで入力画像とマッチングを行っている．しかしながら，これらの手法で利用する輪郭などの情報は個人差が大きいと考えられるため，利用するユーザ個人にあった適切なデータベースを作成する必要がある．
したがって膨大な量の手の様々な姿勢のデータベースを構築する必要がある問題は依然残っている．一般家庭への普及を考慮した場合，ユーザ個人が一般家庭でデータベースを構築するのは困難であることが予想される．
後者の特徴量による手法では特徴点から各関節間の関係性等を用いて，手の姿勢推定をする手法が主流である．例として，Pamplona ら [9] は，各指先に付けた ARToolKit マーカ(以下 AR マーカ) より各指先位置を取得し，逆運動学 (Inverse Kinematic: IK) を解くこと
で手の姿勢推定を行っている．また，藤木ら [10] はカメラを 2 台用いて，手に取りつけた 6
つの色マーカの位置をステレオ視で計測し，逆運動学を解いて手の姿勢を推定している．これらの手法では，あらかじめユーザの手形状の情報 (ハンドモデル) を用意することで，手の姿勢推定を行う．そのためパターンマッチングによる手法のように，ユーザごとのデータベースを構築する必要がない点で，本研究で目的とする一般家庭向けのデータグローブに適していると考えられる．Pamplona らの手法ではカメラを手首に固定しており，長時間の使用の際にユーザに負担がかかることが考えられる．また藤木らの手法ではカメラを 2 台用意
し，キャリブレーションを行う必要があるため利便性の点で難が残ると考えられる．本研究ではそれらの点についても考慮する．
当研究室では，これまでに手掌側からの１台のカメラによる画像による各指先の二次元座
標と，手の三次元座標と方向が取得可能であるという前提条件のもとで，手の各関節角度を推定する手法を提案している．実験では指先につけた色マーカを基に指先の二次元座標を検知し，AR マーカにより手の三次元座標及び向きを取得している [12]．その上で，手指の拘束条件により指先の三次元位置を推定し，逆運動学を解くことで手の姿勢推定を行う [11]．
また，指先が他の指に隠れてしまい検知出来ないセルフオクルージョンが発生することが考えられる．その場合には，指先が隠れる前の手の動作が継続していると仮定して，その動作の時系列変化を多項式で表現することで，現時刻の手の姿勢を推定する．その際，推定された指先位置が，セルフオクルージョンにより隠れているか否かを判定し，必要に応じて指先が隠れる姿勢になるように再推定することで手の各関節角度を推定可能とし，セルフオク
ルージョンを解決する [11]．

第1章

はじめに

4

ここで，上述の手法では，対象者の正面にカメラを設置して手掌側をカメラで撮影し，手の姿勢推定をすることを前提としている．したがって，手背側からの撮影を想定しておらず，
手背画像を利用した手背側における姿勢推定を考慮していない．近年では，タブレット機器
やスマートフォン等のカメラを内蔵したモバイル端末が広く普及している．そのことから，
片手でそれらの端末を持ち，他方の手を撮影することで，カメラで撮影された VR/MR/ARの世界に対して対話操作を行うことが想定される．手背画像での姿勢推定を可能とすることで，そういった対話操作が可能なシステムが理想である．当研究室では，カメラ画像における手の面積，及び手の領域に対する凸包の輪郭線長を用いて，手背画像での手の姿勢を推定する手法を提案している [13]．事前に，親指以外の指 4 本の屈曲度合の合計のポイントを要素として持つ，手の面積および凸包輪郭線長からなる表を作成しておく．指先が隠れた場
合には，その表を参照してポイントを求め，検出されている指の屈曲度合を減算した上で，検出されていない各指に対して等しく割り当てることで，隠れている指の関節角度を推定す
る．このとき，親指の指先が検出出来ているという前提条件のもとで，親指の動きを考慮して親指以外の指 4 本の関節角度を推定する [14]．親指の屈曲に対する面積や輪郭線の変化に対応するために，手の面積と凸包輪郭線長に加えて，親指の関節角度に注目する．親指の関節角度，手の面積，凸包輪郭線長の三次元の表を作成することで，親指以外の指 4 本の関節角度を求め，手の姿勢を推定する．ただし，親指の指先が隠れる場合を考慮していない．
そこで本研究では，手背画像において親指の指先が隠れた場合でも，手の姿勢を推定できるようにこれまでの手法を改良する．先述の手法では，親指の指先が隠れている場合，親指の関節角度を取得することが出来ず，親指の関節角度を利用して三次元の表を参照することができない．そこで新たにカメラ画像における手の縦横比を取得して利用し，親指の指先が隠れている場合の親指の関節角度を推定することで問題の解決を図る．まず親指の指先が検出できている場合の，親指の関節角度，手の面積，凸包輪郭線長の三次元の表だけではな
く，親指が隠れている場合の三次元の表も用意する．その上で親指の関節角度を要素として持つ，手の面積と凸包輪郭線長，そして縦横比の三つの値を参照する新たな三次元の表を作成する．三つの値を基に親指の関節角度を求め，親指の関節角度，手の面積，凸包輪郭線長の三次元の表を参照し，親指以外の四指の隠れ指の屈曲度合を求めることで手の姿勢を推定する．
以下，第 2 章では，これまでに提案している手掌画像によるビジョンベースデータグローブについて，第 3 章ではこれまでに提案している手背画像によるビジョンベースデータグ
ローブについて述べる．第 4 章では，親指の指先隠れを考慮した，手背画像による手の姿勢推定を可能とする提案手法について述べる．第 5 章では提案手法の妥当性を評価する為の実

第1章

はじめに

験とその結果，第 6 章ではまとめを述べる．

5

6

第2章

手掌画像によるビジョンベースデータ
グローブ

本章では，これまでに提案している手掌画像によるビジョンベースデータグローブについて説明する [11]．文献 [11] では，カメラ画像における手の指先の二次元座標と，手の三次元
座標及び方向が分かるという前提条件のもとで，セルフオクルージョンにより指先が検知できない場合でも手の各関節角度を推定する手法を提案している．実験システムでは，指先の位置特定の手段として色マーカを使用する．指先に取り付けた色マーカより入力画像中の指先の二次元座標を特定する．また，手の三次元座標と方向情報の取得手段として，AR マー
カを使用する．手指の拘束条件とＡＲマーカより得られた手の 6 自由度より各指先の三次元座標を推定する．推定した各指先の三次元座標，手の三次元座標及び方向，手指の拘束条件
より逆運動学を解き，手の姿勢推定を行う．ここで，本来手は非剛体の物体であるが，他物体との接触を考慮せず姿勢推定を優先するため，手を各関節点で剛体同士を接続した骨格モデル (図 2.1) とそれに付随する簡素なスキンモデルで表す．骨格モデルの指関節には，母指の IP 関節と MP 関節はそれぞれ 1 自由度，CM 関節は 2 自由度の計 4 自由度，その他の指の DIP 関節と PIP 関節はそれぞれ 1 自由度，MP 関節は 2 自由度の計 4 自由度と設定する．
本研究では，各関節の名称を表 2.1 のように表記する．

第2章

手掌画像によるビジョンベースデータグローブ

7

DIP
PIP
IP

MP

MP
CM

2自由度

1自由度

図 2.1: 骨格モデル

第2章

手掌画像によるビジョンベースデータグローブ

8

名称

表記

遠位指節間関節DIP 関節PIP 関節
MP 関節
IP 関節
CM 関節

近位指節間関節中手指節間関節
指節間関節 (母指)
母指手根中手関節

表 2.1: 各関節の名称と表記

手指の拘束条件

2.1

人間の手には構造上の様々な拘束があり，拘束条件として知られている．本研究ではこの拘束条件をハンドモデルに組み込み，手の姿勢推定に利用する．

2.1.1

各指関節の可動範囲

指の各関節にはそれぞれ可動範囲がある (文献 [15] 参考)．これを参考に，各指の各関節の可動範囲を知識と経験に基づいて設定する．設定した各関節に対応する可動範囲は表 2.2
に示す．

IP

MP

母指

0◦ 〜80◦0◦ 〜60◦

DIP

PIP

示指

0◦ 〜80◦0◦ 〜100◦

中指

0◦ 〜80◦0◦ 〜80◦0◦ 〜80◦0◦ 〜100◦0◦ 〜100◦0◦ 〜100◦

環指
小指

CM (掌側内転・外転)
0◦ 〜90◦CM (尺側内転・橈側外転)0◦ 〜60◦MP (屈曲・伸展)
0◦ 〜90◦0◦ 〜90◦0◦ 〜90◦0◦ 〜90◦MP (内転・外転)−25◦ 〜25◦−25◦ 〜25◦−25◦ 〜25◦−25◦ 〜25◦

表 2.2: 設定した各指関節角度の可動範囲

2.1.2

指関節間の依存関係

手は様々な動作を行うが，その中でも代表的な手動作に物をつかむ，握るなどの「把持動作」がある．本研究では基本的にユーザーが把持動作を行おうとしていると想定して手の姿
勢推定を行う．把持動作を行う際の各指関節角度を取得すると，各指関節同士には以下のよ
うな依存関係がみられる．ここで母指以外の指を指 i (i = 1 〜 4) とし，i = 1 は示指を表

第2章

手掌画像によるビジョンベースデータグローブ

9

し，i = 4 は小指を表す．また，母指を指 0 とする．指 i における各指関節角度には次のよ
うな依存関係が存在する．

• DIP 関節と PIP 関節の関節角度には比例の相関関係がある [16] (図 2.2 の左の図)．
• PIP 関節と MP 関節 (屈曲・伸展) の関節角度には S 字型の相関関係がある [17] (図 2.2の右の図)．
また，母指にも他の四指と同様な以下のような依存関係が見られる．

• IP 関節と MP 関節の関節角度には比例の相関関係がある (図 2.3 の左の図)．
• MP 関節と CM 関節 (掌側内転・外転) の関節角度には逆 S 字型の相関関係がある (図2.3 の右の図)．

80

度

60

度

DIP( ) 40
20
0

100
90
80
70
60
PIP( ) 50
40
30
20
10
0

0 10 20 30 40 50 60 70 80 90100

度

0 10 20 30 40 50 60 70 80 90
MP( )

度

PIP( )

図 2.2: 指 i における各関節間の依存関係 (左「DIP 関節と PIP 関節」右「PIP 関節と MP
関節 (屈曲・伸展)」)

60
50
40
MP( ) 30
20
10
0

80

度

60

度

IP( ) 40
20
0

0

10

20

30 40
MP( )

度

50

60

0 10 20 30 40 50 60 70 80 90
CM(
)( )

掌側内転・外転 度

図 2.3: 母指における各関節間の依存関係 (左「IP 関節と MP 関節」右「MP 関節と CM 関
節 (掌側内転・外転)」)

第2章

手掌画像によるビジョンベースデータグローブ

10

指 i の MP 関節は屈曲するほど内転・外転の可動範囲の中心に向かっていき，かつ可動範囲が狭くなる性質が見られる [17]．したがって，式 2.1 のように，MP 関節 (内転・外転) の可動範囲を改めて設定する．ここで，θi3 は指 i の MP 関節 (屈曲・伸展) を表し，θi4 は指 iの MP 関節 (内転・外転) を表す．

{

2.2−(25 − 0.5 ∗ (θi3 − 60.0))◦ ≤ θi4 ≤ (25 − 0.5 ∗ (θi3 − 60.0))◦ (θi3 ≥ 60◦ )−25◦ ≤ θi4 ≤ 25◦(θi3 < 60◦ )

(2.1)

順運動学

第 2.1 節の拘束条件を利用し，順運動学 (Forward Kinematics: FK) を解くために，指の構造の数式化を行う．指の構造を数式化するために，修正 Denavit-Hartenberg 記法 [18] を用いる．指 i の DH パラメータを表 2.3 に，母指の DH パラメータを表 2.4 に示す．表の変数については図 2.4，図 2.5 に示す．a はリンクの長さ，α はリンクのねじれ角，d はリンク
間距離，θ はリンク間角度を表す．

a
0
0
Li3
Li2
Li1

リンク 1
リンク 2
リンク 3
リンク 4
リンク 5

α
180◦
−90◦
0◦
0◦
0◦

d
0
0
0
0
0

θ
θi4 − 90◦
θi3
θi2
θi1
0◦

表 2.3: 指 i の DH パラメータ

θi1

MP
屈曲・伸展

リンク 4
リンク 5

L02

L03
CM

内転・外転

図 2.4: 指 i の DH パラメータ変数θθ03
θ04 − 90◦
θ02
θ01
0◦

IP

MP

θ03

MP

d
0
0
0
0
0

L01
IP

PIP

θi4

α
90◦
90◦
−90◦
0◦
0◦

表 2.4: 母指の DH パラメータ

θ02

Li2

Li3

リンク 3

DIP

PIP

θi3

リンク 2

θ01

Li1
DIP

θi2

リンク 1

a
0
0
L03
L02
L01

MP

θ04

CM

屈曲・伸展
尺側内転・橈側外転(掌側内転・外転)

図 2.5: 母指の DH パラメータ変数

第2章

手掌画像によるビジョンベースデータグローブ

11

図 2.2 より DIP 関節角度 θi1 (= fθi1 (θi2 )) は式 2.2 で，図 2.3 より，IP 関節角度 θ01 (=fθ01 (θ02 )) は式 2.3 で表すことができる．

fθi1 (θi2 ) =

2
θi2
3

(2.2)

fθ01 (θ02 ) =

4
θ02
3

(2.3)

表 2.3 と式 2.2 に基づき指 i の順運動学 F Ki (θi4 , θi3 , θi2 , θi1 ) を求めると式 2.4 に，表 2.4と式 2.3 に基づき母指の順運動学 F K0 (θ04 , θ03 , θ02 , θ01 ) を求めると式 2.5 となる．




Li1 sin θi4 cos(θi3 + 35 θi2 ) + Li2 sin θi4 cos(θi3 + θi2 )+Li3 sin θi4 cos θi3






F Ki (θi4 , θi3 , θi2 ) =  Li1 cos θi4 cos(θi3 + 35 θi2 ) + Li2 cos θi4 cos(θi3 + θi2 ) +Li3 cos θi4 cos θi35
Li1 sin(θi3 + 3 θi2 ) + Li2 sin(θi3 + θi2 ) + Li3 sin θi3

(2.4)


L01 cos θ04 sin θ03 cos 73 θ02 − L01 sin θ04 sin 73 θ02

+L02 cos θ04 sin θ03 cos θ02 − L02 sin θ04 sin θ02 





+L03 cos θ04 sin θ03




7

F K0 (θ04 , θ03 , θ02 ) =  L01 cos θ03 cos 3 θ02 + L02 cos θ03 cos θ02 + L03 cos θ03  L sin θ sin θ cos 7 θ + L cos θ sin 7 θ

04
03
01
04

 01
3 02
3 02


+L02 sin θ04 sin θ03 cos θ02 + L02 cos θ04 sin θ02 +L03 sin θ04 sin θ03

(2.5)



第2章

手掌画像によるビジョンベースデータグローブ2.3

逆運動学による手の姿勢推定

12

図 2.6 に本実験システムで使用しているデータグローブを示す．本研究の実験システムでは指先の位置の特徴点を得るため各指先に一つずつ色の異なる色マーカを取り付けて使用する．また，手のひらの位置・姿勢を計測し手の 6 自由度を得るための AR マーカを適切な位置に取り付ける．実際に使用しているものを図 2.6 に示す．指先の各色マーカの対象領域
を一つの指先に対応させることで，画像中での指先の位置を判断する．色マーカから取得したカメラ画像における指先の二次元座標とＡＲマーカから取得した手の三次元座標と方向，
そして第 2.1.2 項で述べた指関節間の依存関係を用いて順運動学を解くことで，指先の三次元位置を推定する．推定した指先の三次元位置から，逆運動学の計算アルゴリズムの 1 つである Cyclic-Coordinate Descent(CCD) 法 [19] を解くことで，各指の各関節角度を求め，手の姿勢推定を行う．CCD 法は，反復計算によって，最適化問題を解く手法である．反復 1回あたりの計算コストが少ないため，リアルタイムの時系列データで手の姿勢を推定する本手法において有効だと考えられる．

図 2.6: ビジョンデータベースグローブ

次に，CCD 法の計算手順について図 2.7 を用いて説明する．本研究では，指先 e をエン
ドエフェクタとし，目標位置 g をゴールとする．CCD 法により，エンドエフェクタをゴール付近まで移動させる際の計算手順を以下に示す．

第2章

手掌画像によるビジョンベースデータグローブ

E

e

c

g

ベクトル算出
E

e

a

b

E

G
(5)

(2)

b

回転角算出
E

g

a

(4)

a

c
b

比較
指先位置の更新判定 a

c

e
g

G

e

回転角を加える

c

g

c

g
(3)

E

e
b

(1)

13

c
b

注目関節を変更

g

e

a

b

a

(6)(1)～ をルートまで繰り返す(5)

図 2.7: CCD 法を用いた逆運動学

1. 先端の関節 c から指先 e へのベクトル E と c から目標位置 g へのベクトル G を算出する．

2. 手順 1 で求めたベクトルを正規化し，E から G への回転角を算出する．
3. 関節 c に手順 2 で求めた回転角を加える．このとき関節の拘束条件に当てはめ，関節の可動範囲と新しく得られた関節角を比較し，可動範囲を越えているならば関節角の値を可動範囲の上限 (あるいは下限) となるように変更する．

4. 新しく得られた関節角における指先の位置を算出し，指先と目標位置との距離が前のものよりも大きくなる場合は前の関節角の値に戻す．

第2章

手掌画像によるビジョンベースデータグローブ

14

5. 関節 c の親である関節 b において手順 1 から手順 4 の計算を関節 b に置き換え繰り返す．以上の手順をルートである関節 a まで繰り返す．

6. 指先と目標位置との距離が閾値以下になるか，設定された反復回数を越えるまで手順
1 から手順 5 の計算を繰り返す．
CCD 法では，一度に関節が大きく移動するのを防ぐため，damping (粘性減衰) を付け加えることができる．ここで，指 i の順運動学 F Ki (θi4 , θi3 , θi2 ) には，指 i の DIP 関節角度 θi1 と PIP 関節角度 θi2 の相関関係 fθi1 (θi2 ) が含まれている．また，母指の順運動学

F K0 (θ04 , θ03 , θ02 ) には，母指の IP 関節角度 θ01 と MP 関節角度 θ02 の相関関係 fθ01 (θ02 )が含まれている．この fθi1 (θi2 ) と fθ01 (θ02 ) を逆運動学でも考慮するために，damping (粘性減衰) を用いる．具体的には，DIP 関節と IP 関節はターゲットとゴールの最小化を行わず，

PIP 関節角度 θi2 と MP 関節角度 θ02 を求める際に，fθi1 (θi2 ) と fθ01 (θ02 ) を用いて DIP 関節
角度 θi1 と IP 関節角度 θ01 を求める．二つの指関節角度を同時に更新するため，e が G を越えて移動しないように PIP 関節と MP 関節の damping 係数を適切に設定しておく．これにより，fθi1 (θi2 ) と fθ01 (θ02 ) の関係を保ちながら手の姿勢推定を行うことが可能となる．

2.4

指先の隠れを考慮した手の姿勢推定

本節では，文献 [11] に記されている，指先の隠れを考慮した推定法を記す．本手法 [11] では，隠れた指 (以下 隠れ指) の動作は，隠れる前の動作が継続していると仮定して推定を行い，推定された指先位置が，陰空間領域に存在するか否かの判定をする．その上で，場合に応じて再推定することで隠れ指の姿勢を推定する．なお，陰空間領域とは，他の指によりカ
メラ方向から陰となり，対象が見えなくなる空間と定義する．詳細は第 2.5.1 項で後述する．

2.4.1

動作が継続していると仮定した場合の隠れ指の姿勢推定

動作が継続していると仮定した場合，手の姿勢は時系列変化で表現できるため，過去フ
レームにおける各指関節角度の推移から隠れ指の姿勢を推定する．ここで，第 2.2 節の順運
動学，第 2.3 節の逆運動学それぞれにおいて，DIP 関節角度 θi1 と PIP 関節角度 θi2 のの相関関係 fθi1 (θi2 ) が含まれている．この相関関係を隠れた指の姿勢推定にも用いる．

2.4.2

過去フレームにおける相関関係を基にした指関節角度の推移

本手法 [11] では，参照する過去フレームにおける隠れ指の PIP 関節角度 θi2j と MP 関節(屈曲・伸展) 角度 θi3j の相関関係を表す三次多項式 fθci2 (θi3j )(式 2.6)，fθci3 (θi2j )(式 2.7) を第2章

手掌画像によるビジョンベースデータグローブ

15

各関節角度より最小二乗法を用いて導出する．ここで，j は，0 ≤ j ≤ n であり，j = 0 は参照する最も過去のフレームを，j = n は現フレームを表す．

23+ γic2 θi3j + δic2
fθci2 (θi3j ) = αic2 θi3j
+ βic2 θi3j

(2.6)

3
2
fθci3 (θi2j ) = αic3 θi2j
+ βic3 θi2j
+ γic3 θi2j + δic3

(2.7)

ここで， αic2 ，βic2 ，γic2 ，δic2 ，αic3 ，βic3 ，γic3 ，δic3 ，は定数である．
次に，式 2.6，式 2.6 を用いて，相関関係を基にした，参照する過去フレームにおける各指関節角度 θi2j ，θi3j を再計算する．過去フレームにおける相関関係を基にした PIP 関節角度 θi2 の推移を表す三次多項式 fθcti2 (tj )(式 2.8) を再計算した θi2j と時刻 tj より最小二乗法を用いて導出する．また，過去フレームにおける相関関係を基にした MP 関節 (屈曲・伸展)
角度 θi3 の推移を表す三次多項式 fθcti3 (tj )(式 2.9) を再計算した θi3j と時刻 tj より最小二乗法を用いて導出する．ここで，tn は参照する最も過去のフレームの時刻を t0 = 0.0 としたときの経過時間である．

fθcti2 (tj ) = αict2 t3j + βict2 t2j + γict2 tj + δict2(2.8)

fθcti3 (tj ) = αict3 t3j + βict3 t2j + γict3 tj + δict3(2.9)

ここで， αict2 ，βict2 ，γict2 ，δict2 ，αict3 ，βict3 ，γict3 ，δict3 ，は定数である．この，式 2.8と式 2.9 に現フレームの時刻 tn を加えることで，動作が継続している場合の隠れ指の姿勢を推定する．

2.4.3

過去フレームにおける相関関係が求まらない場合の指関節角度の推移

第 2.4.1 項において，過去フレームにおける相関関係を利用したが，過去フレームでの相関関係が求まらない場合も考慮する．MP 関節 (内転・外転) 角度 θi4 は，他の指関節角度との明確な相関関係が存在しない．そのため，過去フレームにおける MP 関節 (内転・外転)
角度 θi4 の推移を表す三次多項式 fθti4 (tj )(式 2.10) を過去フレームにおける指関節角度 θi4jと時刻 tj より最小二乗法を用いて導出する．

fθti4 (tj ) = αit4 t3j + βit4 t2j + γit4 tj + δit4

(2.10)

第2章

手掌画像によるビジョンベースデータグローブ16

ここで，αit4 ，βit4 ，γit4 ，δit4 は定数である．
ところで，参照する過去フレームにおいて，指関節角度が図 2.8，図 2.9 のように偏って分布している場合，過去フレームにおける指関節角度間の相関関係を表す三次多項式 fθci2 (θi3j )と fθci3 (θi2j ) がうまく導出できない．このように，過去フレームにおける相関関係を表す三次多項式がうまく導出できない場合は，fθti4 (tj ) と同様に，過去フレームにおける指関節角度の推移を表す三次多項式を導出する．過去フレームにおける PIP 関節角度 θi2 の推移を表す三次多項式 fθti2 (tj )(式 2.11) を過去フレームにおける指関節角度 θi2j と時刻 tj により最小二乗法を用いて導出する．また，過去フレームにおける MP 関節 (屈曲・伸展) 角度 θi3 の推移を表す三次多項式 fθti3 (tj )(式 2.12) を過去フレームにおける指関節角度 θi3j と時刻 tj により最小二乗法を用いて導出する．

PIP(度)

PIP(度)

MP(度)図 2.8: 無相関に分布MP(度)図 2.9: 片方の指関節が角度が固定されて分布

fθti2 (tj ) = αit2 t3j + βit2 t2j + γit2 tj + δit2

(2.11)fθti3 (tj ) = αit3 t3j + βit3 t2j + γit3 tj + δit3

(2.12)

ここで，αit2 ，βit2 ，γit2 ，δit2 ，αit3 ，βit3 ，γit3 ，δit3 は定数である．
ところで，過去フレームにおいて指の動作が止まるなどして指関節角度が同一であるフレームが連続する場合がある．この場合，過去フレームにおける指関節角度の推移を表す式
は定数となってしまい，指関節角度が固定された手の姿勢しか推定することができない．そこで，指関節角度が前フレームと同じ場合には参照する過去フレームの指関節角度データを更新しないようにすることで，指関節角度の推移を表す式が定数にならないようにする．

第2章

手掌画像によるビジョンベースデータグローブ

2.4.4

指関節角度の推移を基にした隠れ指の姿勢推定

17fθcti2 (tj ) または fθti2 (tj ) によって現フレームにおける PIP 関節角度 θi2n が求まり，fθcti3 (tj )または fθti3 (tj ) によって現フレームにおける MP 関節 (屈曲・伸展) 角度 θi3n が求まる．また，fθti4 (tj ) によって現フレームにおける MP 関節 (内転・外転) 角度 θi4n が求まる．そして，
逆運動学 F Ki (θi4 , θi3 , θi2 ) から，隠れ指の動作が，隠れる前から継続している場合の隠れ指の姿勢が推定できる．図 2.10〜図 2.12 に動作が継続している場合の隠れ指の姿勢推定の概略図を示す．

第2章

手掌画像によるビジョンベースデータグローブ

18

θi3j

t

θi2j

f

c

θ (θi3j)i2

f (tj)
θi2ctfθ (tj)θi2ni2

図 2.10: θi2n の推定

θi3j

f

c

θ (θi2j)i3

ctfθ (tj)

θi3n

i3

t

f (tj)
θi3

θi2j

図 2.11: θi3n の推定

t

θi4j

f (tj)
θθi4ni4

図 2.12: θi4n の推定

赤い矢印が過去フレームにおける指関節角度間の相関関係を導出し，過去フレームにおける相関関係を基にした指関節角度の推移から隠れ指の指関節角度を推定する流れを表す．青い矢印が過去フレームにおける指関節角度の相関関係を導出できない場合に，過去フレーム
における指関節角度の推移から隠れ指を推定する流れを表す．

第2章

手掌画像によるビジョンベースデータグローブ2.5

陰空間領域での不規則な動作を考慮した隠れ指の姿勢推定

19

第 2.4 節では，動作が継続していると仮定し，多項式に従うものとした．しかし実際には必ずしも動作が継続しているとは限らない．したがって継続していない陰空間領域での不規則な動きを考慮するために，多項式に従うものとして推定した指先位置が陰空間領域に存在するか否かを基に，改めて隠れ指の姿勢を推定する．

2.5.1

陰空間領域

陰空間領域とは，隠れ指 i 以外の指 k (k̸=i) によってカメラ方向から陰となる空間領域である．ここで，陰空間をつくる指 k について考える．指は指節からなり，指節を関節点を結ぶ直線を軸とする円柱と関節点を中心とした球で表す．指 kd を構成する円柱と球の半径を rkd ，関節点を結ぶ直線の長さを表 2.3 のリンクの長さである Lkd とすると，指節 kd は図2.13 中の指節 kd のようなカプセル状の物体として表すことができる．陰空間を指節ごとに考えると，指節 kd の陰空間領域 Skd は図 2.13 のように表すことができる．定義した指節の半径と長さ，指節を構成する関節点とカメラとの距離，を用いて指先位置が陰空間領域に存在するかどうかを判定する。

rkd

Lkd

影空間領域Skd

図 2.13: 指節 kd と陰空間領域 Skd2.5.2

陰空間領域の内外判定の結果により考えられる隠れ指の動作

隠れ指先位置と陰空間領域での内外判定を現フレームと前フレームの両方に対して行い，その結果から隠れ指の動作が多項式に従っているか，動作の速度が変化しているか，もしくは動作そのものが変化しているかを判定する．2 つの内外判定の結果より，考えられる隠第2章

手掌画像によるビジョンベースデータグローブ

20

れ指の動作を表 2.5 に示す．ここで，文献 [11] では，隠れ指の反復動作はしないものとして
いる．
推定姿勢

前フレーム姿勢考えられる動作パターン 1陰空間領域内陰空間領域内領域内で動作または停止パターン 2陰空間領域内陰空間領域外多項式に従うパターン 3

陰空間領域外陰空間領域内遅くなったまたは停止パターン 4

陰空間領域外陰空間領域外元に戻る動作または動作が変化

表 2.5: 陰空間領域の内外判定の結果により考えられる隠れ指の動作

第2章

手掌画像によるビジョンベースデータグローブ

21

パターン 1 の場合，隠れ指の動作は陰空間領域内で動作している，または停止していることが考えられる．よって，指関節角度の推移を基にした推定姿勢がそれまで継続している動作の元へ戻る方向へ動作をする姿勢である場合には，隠れ指の動作は目標としていた姿勢になったと考え，動作が停止したものとする．よって，その場合は前フレームの隠れ指の姿勢を現フレームの隠れ指の姿勢とする．指関節角度の推移を基にした推定姿勢がそれまでの動作を継続している場合は，指関節角度の推移を基にした推定姿勢を現フレームの隠れ指の姿
勢とする．
パターン 2 の場合，隠れ指は多項式に従い，前フレームの姿勢から指関節角度の推移を基にした推定姿勢へと動作したものと考えられる．よって，指関節角度の推移を基にした推定
姿勢を現フレームの隠れ指の姿勢とする．
パターン 3 の場合，隠れ指の動作が多項式に従うが，速度が遅くなった，または停止していると考えられる．隠れ指の姿勢推定は，三次多項式に現フレームの時刻 tn を与えることで推定している．よって，三次多項式に与える時刻を順に時刻 tn , tn−1 , tn−2 , · · · と与え，最初に推定姿勢の指先位置が陰空間領域内と判定された推定姿勢を現フレームの隠れ指の姿勢とする．
パターン 4 の場合，隠れ指の動作が多項式に従うが元へ戻る方向へ動作している，または
動作そのものが変化していると考える．まず，元へ戻る方向への動作を考える．その場合，
前フレームの時刻 tn−1 から現フレームの時刻 tn までの間の時刻を ∆tn とし，三次多項式に与える時刻を前フレームから遡った時刻 tn−1 − ∆tn とすることで，隠れ指の動作が元へ戻る方向への動作の場合の，隠れ指の姿勢を推定する．その推定結果に対して内外判定を行い，判定が陰空間領域内であれば，元へ戻る方向へ動作したものと考え，推定結果を現フレームの姿勢とする．しかし，判定が陰空間領域外であれば，隠れ指の動作そのものが変化していると考えられる．この場合は，前フレームの姿勢の隠れ指先の位置と陰空間領域から画像座標を基に，隠れ指の姿勢を推定する．
動作そのものが変化している場合の手法は，まず前フレームの姿勢の隠れ指先位置を点

Fin−1 とする．また，画像座標における陰空間領域を陰空間領域をつくる指 k(k ̸= i) の指節
d の中心点 Pkdc を画像座標に投影した点 (xkdc , ykdc ) で表す．点 Fin−1 と点 (xkdc , ykdc ) を基に隠れ指先位置を推定し，隠れ指の姿勢を推定する．まず，隠れ指の前フレームの姿勢の指先位置を画像座標に投影した点 (xin−1 , yin−1 ) を求め，点 (xin−1 , yin−1 ) と点 (xkdc , ykdc ) の
画像座標における距離 Dkdin−1 を全ての指節の中心点に対して求める．距離 Dkdin−1 が最も小さい点 Pkdc の指節 kd がつくる陰空間領域 Skd に隠れ指先があるとして，点 Fin−1 の位置を推定する．点 Pkdc とカメラを結ぶ直線 Lkdc は式 2.13 で表す．

第2章

手掌画像によるビジョンベースデータグローブ

Lkdc = C + tkdc vkdc

22

(2.13)

ここで，tkdc は媒介変数，vkdc はカメラから点 Pkdc へのベクトルを表す．直線 Lkdc 上の点

Pin−1 と点 Fin−1 の距離 ||P Fin−1 || が最小となる直線 Lkdc 上の点 Pin−1 を画像座標を基にした隠れ指先の推定位置とする．式 2.13 より ||P Fin−1 || は次のようになる．

||P Fin−1 || = Fin−1 − Pin−1
P Fin−1 = Fin−1 − (C + tkdc vkdc )= Fin−1 − C − tkdc vkdc

(2.14)

距離 ||P Fin−1 || が最小になるとき，P Fin−1 ⊥vkdc となるから，

P Fin−1 · vkdc = 0(2.15)

式 2.14 と式 2.15 より tkdc について解くと次のようになる．

tkdc =

CF · vkdc||e||2 ||d||2(2.16)

ここで，CF = Fin−1 − C とする．求めた tkdc を式 2.13 に代入することで直線 Lkdc 上の点

Pin−1 が求まる．得られた点 Pin−1 から逆運動学を解くことで隠れ指の姿勢を推定する．このとき，逆運動学を解いて推定する，隠れ指の推定姿勢の指先位置の点 FIK と点 Pin−1 の距離が閾値以下であれば，隠れ指の推定姿勢を現フレームの隠れ指の姿勢とし，閾値以上であれば，次に距離 Dkdin−1 が小さい指節の中心点を用いて姿勢推定を行う．また，全ての点において推定姿勢の指先位置の点 FIK と直線 Lkdc 上の点 Pin−1 の距離が閾値以上の距離となった場合は隠れ指先がセルフオクルージョンではなく，カメラ画像の外側にあるため指先を検出できなかったと考え，前フレームの隠れ指の姿勢を現フレームの隠れ指の姿勢とする．

23

第3章

手背画像によるビジョンベースデータ
グローブ

第 2 章での文献 [11] の手法では，対象者の正面にカメラを設置して手掌側をカメラで撮影し，手の姿勢推定をすることを前提としている．したがって，手背側からの撮影を想定しておらず，手背画像を利用した手背側における姿勢推定を考慮していない．手背側における姿
勢推定においては，手掌側からの撮影とは異なり，カメラ側から隠れる方向へ各指が屈曲し，指先が他の指だけではなく，手自体に隠れる状況が多く存在するなどの問題が存在する．本章では，これまでに提案している，文献 [13] および文献 [14] の手背画像による隠れ指先の推定手法について記述する．

3.1

親指を固定した手背画像によるビジョンベースデータグローブ

第 2 章の文献 [11] の手法による隠れ指推定を，図 3.1 のような手背画像に対して行うと，隠れ指の姿勢は可動限界まで屈曲した姿勢で推定されてしまう．また手背画像では，他の指によって指先が隠れるだけでなく，手自体により指先が隠れてしまう場合が発生する．そのため，隠れ指先を時系列変化に注目して推定するだけでは不十分である．そこで，文献 [13]では，新たに手の面積，および手の凸包輪郭線長の情報を取得し利用することで，手背画像による隠れ指を推定する手法を提案している．本手法では，事前にいくつかの手動作に関して，手の面積，手の凸包輪郭線長，親指以外の四指の合計屈曲率 (以下 合計屈曲率) のサン
プルデータを取得しておく．ここで合計屈曲率とは，各指の屈曲・伸展度合を 0%〜100%で表し，その四指の合計値を 0pt〜400pt とポイントで表したものである．取得したサンプル
データをもとに，合計屈曲率を要素として持つ，手の面積・手の凸包輪郭線長の二次元の表を作成する．現フレームの手の面積，手の凸包輪郭線長を基に表を参照し，合計屈曲率を得る．得た合計屈曲率を基に各指の屈曲度合を定め，隠れ指の関節角度を推定する．なお，親指の挙動が他の指 i (i = 1〜4) と大きく異なることから，まず問題を簡単化するために，親指を固定した状態の手の姿勢推定を行う．親指の関節角度の推定については後述する．また，手首の回転も行わないものとする．

第3章

手背画像によるビジョンベースデータグローブ

24

図 3.1: 手背画像

3.1.1

手の面積

いくつかの手の姿勢を手背方向から撮影し，手の面積の変化を調査したところ表 3.1 のような結果が得られた．カメラ画像における手の面積は，手の姿勢による値の違いが見られた
ため，隠れ指の姿勢推定に手の面積情報を利用する．ただし，手の面積はカメラからの距離によって取得する値が変わる，具体的にはカメラからの距離の二乗に反比例する．そのため，手の面積にカメラから手の位置までの距離の二乗を掛けた値を手の面積とすることで，値の変動を抑える．
名称

面積 (画素数 ×(カメラとの距離 (mm))2 )グー

約 1716000000

チョキ

約 1932000000

パー

約 2418000000

表 3.1: いくつかの手の姿勢に対する手の面積の一例

3.1.2

凸包輪郭線長凸包輪郭線長についても，いくつかの手の姿勢を手背方向から撮影し，値の変化を調査したところ表 3.2 のような結果が得られた．手の面積と同様に，カメラ画像における，手の姿勢による値の違いが見られたため，凸包輪郭線長も隠れ指の姿勢推定に利用する．なお，
凸包ではない輪郭線を用いない理由として，通常の輪郭線では図 3.2 のように，類似の姿勢であっても指の開きで値が大きく変動してしまうためである．凸包輪郭線長を手の姿勢推定

第3章

手背画像によるビジョンベースデータグローブ25に利用する際，手の面積同様，凸包輪郭線長にカメラから手の位置までの距離を掛けること
で，カメラ距離の変動による凸包輪郭線長の値の変動を抑えている．図 3.3 にカメラ画像から取得する凸輪郭線長を示す．
名称

凸包輪郭線長 (凸包輪郭線長 (mm)× カメラとの距離 (mm))

グー

約 157500

チョキ

約 219500

パー

約 243700
表 3.2: いくつかの手の姿勢に対する凸包輪郭線長の一例

図 3.2: 左「指を開く」右「指を閉じる」

3.1.3

図 3.3: 凸包輪郭線

手の面積と凸包輪郭線長の関係

手の面積と凸包輪郭線長より，合計屈曲率を参照することができる表を作成する．いくつかの手の姿勢に対して，手の面積と凸包輪郭線長をサンプルデータとして取得する．サンプ
ルデータ取得時の合計屈曲率は，取得した際の手の姿勢から判断し，0pt〜400pt の値を各サンプル姿勢に与える．取得した各姿勢とそれぞれの合計屈曲率の一例を図 3.4〜図 3.9 に示す．取得したサンプルデータより，図 3.10 に示す，合計屈曲率の分布表を作成する．

第3章

手背画像によるビジョンベースデータグローブ

26

図 3.4: 合計屈曲率:400pt

図 3.5: 合計屈曲率:0pt

図 3.6: 合計屈曲率:200pt

図 3.7: 合計屈曲率:300pt

図 3.8: 合計屈曲率:200pt

図 3.9: 合計屈曲率:100pt

第3章

手背画像によるビジョンベースデータグローブ

手の面積( ×10７)

27

合計屈曲率

0

0

0 216 194 173 154 133 93

37

25

0

0

0 257 238 215 193 175 174 150 50

50

25

50

50

37

276 287 291 284 266 246 156 150 125 2004943266 283 298 302 287 250 225 149 203 250 149

96

254
240
0

281 276 261 238 211 177 199 100

226
212
198
249 269 295 318 325 300 249 250 226 238 193 144
184
230 243 273 311 350 300 262 250 238 238 215 179
170
217 213 235 273 350 62

50

290 264 251 233 206

222 192 197 196 76

49

169 216 233 233 219

156
50

142
252 187 199 159 167 108 78

123 169 201 217

0128
318 237 150 225 196 152 115 119 144 172

00400 318 234 229 212 182 148 133 138

0

0

114
138 148 158

0

168 178 188 198 208 218 228 238

凸包輪郭線長( ×10３ )

図 3.10: 合計関節角度が 110◦ の場合の合計屈曲率の分布表

合計屈曲率の分布表の作成法を記す．まず横軸を凸包輪郭線長とし，縦軸を手の面積として，これをいくつかの格子に分ける．サンプルデータより，手の面積と凸包輪郭線長の増加に伴って，合計屈曲率が下がっていくという関係性が見られた．そのため図 3.10 のように，右上がりの形で表を各格子で分けた．図 3.10 中の各格子内の数値は，合計屈曲率を示す．一つの格子に複数の合計屈曲率を示すサンプルデータがある場合，加重平均を行うことで，その格子の合計屈曲率とする．格子中に対応するサンプルデータがない場合は，周囲の格子の平均をその格子の合計屈曲率とする．

3.1.4

分布表を用いた合計屈曲率の取得

現フレームの手の面積及び凸包輪郭線長を取得し，第 3.1.3 項で作成した分布表を基に現フレームでの合計屈曲率を求める．ただし文献 [13] では，二つの姿勢が同一の格子内に存在するが，面積及び凸包輪郭線長に格子の範囲内である程度の差が存在する場合でも，どちらの姿勢に対しても同じ合計屈曲率を返してしまう．そのため，さらに細かい指の挙動が表現するために，分布表から合計屈曲率を参照する際に加重平均を行う．
加重平均を用いるために，各格子の中心点をとる．そして，四つの中心点より図 3.11 中に示すような，四角で囲まれた領域を考える．取得した手の面積と凸包輪郭線長が領域内を

第3章

手背画像によるビジョンベースデータグローブ

28

手の面積 × ⁷(

手の面積 × ⁷
(

215

10 )

215

：取得した面積と輪郭線の長さ

208
201
213

219

凸包輪郭線長

225 ×
(

10³)

208
201

10 )

TF10 TF11
TF00 TF01
213

s2

凸包輪郭線長

225 ×

219

r1

s1

(

10³)

r2

図 3.11: 各格子の中心点からなる領域
図 3.12: 加重平均を用いた合計屈曲率

参照する場合に，四つの近傍の格子における屈曲率の値で加重平均を行い，その結果を現在の手の合計屈曲率とする．計算式は 3.1 式のようになる．なお，r1 , r2 は各格子の中心の輪郭線の長さ，s1 , s2 は各格子の中心の面積の値，R をカメラ画像より取得した凸包輪郭線長，S をカメラ画像より取得した手の面積，T F00 , T F 01, T F10 , T F11 は四つの近傍の格子における合計屈曲率とする (図 3.12)．なお，推定する現フレームの合計屈曲率を T FN とする．

[
T FN =

3.1.5{T F00 (r2 − R)(s2 − S)} + {T F01 (R − r1 )(s2 − S)}+{T F10 (r2 − R)(S − s1 )} + {T F11 (R − r1 )(S − s1 )}]/{(r2 − r1 )(s2 − s1 )}(3.1)

合計屈曲率に基づく隠れ指の推定推定された合計屈曲率 T FN を用いて，現フレームでの隠れ指の姿勢推定を行う．T FN は，
現フレームの指 i 全ての屈曲度合を示す．したがって，T FN より，指先が検出されている指の屈曲率を減算する．なお，本研究では，表 2.2 に基づいて指の可動範囲を決めている．指i の DIP，PIP，MP 関節の可動限界の合計値は 270◦ であるため，270◦ を 100%として，指先が検出されている指の屈曲率を決める．検出されている指の屈曲率を減算した値が，隠れ指の合計屈曲率である．それを，隠れ指の本数で割り，隠れ指に均等に割り振ることで，各隠れ指の屈曲率 T FNi とする．

3.1.6

隠れ指の姿勢推定第項で記した手法で，各隠れ指の屈曲率 T FNi を取得することができる．取得した各隠
れ指の屈曲率より，隠れ指の姿勢を推定する．図 2.2 で示したように，指 i において，DIP，

PIP，MP 関節角度間には依存関係がある．隠れ指の姿勢推定にこの依存関係を利用する．
DIP 関節と PIP 関節の関節角度には，比例の関係があり，PIP 関節と MP 関節の関節角度

第3章

手背画像によるビジョンベースデータグローブ

29には，S 字型の相関関係がある．よって，それらの関係性を用いて，PIP 関節角度を基準とし，PIP 関節角度より DIP 関節および MP 関節の角度を推定する．まず，第 3.1.6 節で取得
した各隠れ指の屈曲率 T FNi より，各隠れ指 i の PIP 関節角度を式 3.2 で表す．なお，各隠れ指の PIP 関節角度を P IPi2 とする．

[
P IPi2 = 100 ×

T FNi
100

]
(3.2)

T FNi は隠れ指の屈曲率 (最小 0%〜最大 100%) であるため 100 で除する．また PIP 関節の最大屈曲角度は表 2.2 より 100◦ である，これを乗じた値を，隠れ指 i の PIP 関節角度 P IPi2とする．求めた P IPi2 より，図 2.2 に示す相関関係を用いて，各隠れ指 i の DIP 関節角度

P IPi1 及び MP 関節角度 P IPi3 を求める．P IPi1 は式 2.2 を用いる．P IPi3 を求める式を次
式に示す．

3
2
P IPi3 = αi3 P IPi2
+ βi3 P IPi2
+ γi3 P IPi2

(3.3)

ここで，αi3 ，βi3 ，γi3 は定数である．式 2.2，式 3.3 により，隠れ指 i の DIP 関節角度 P IPi1 ，
隠れ指 i の MP 関節角度 P IPi3 が推定可能となる．推定された，各関節角度を各隠れ指に与えることで，隠れ指の姿勢を推定することが可能となる．なお，本研究では，隠れ指の MP
関節 (内転・外転) 角度は考慮していない．

3.2

親指の挙動を考慮した手背画像によるビジョンベースデータグ
ローブ

続いて，親指の挙動を考慮した，手背画像による隠れ指の姿勢推定を行う手法について述
べる [14]．ただし，本手法では，親指の指先を検出しているという前提のもとで，隠れている他の四指の姿勢を推定する．つまり，親指の指先が隠れてしまう場合は考慮せず，親指の指先が見えている範囲での挙動のみを想定して隠れ指の姿勢推定を行う．
第 3.1.4 項で利用した合計屈曲率の分布表は，手の面積と凸包輪郭線長の二次元の表であり，分布表に親指の推定も含むことは難しい．よって，本手法では，新たに親指の IP，MP，CM 関節角度の合計値 (以下 親指の合計関節角度) を利用して隠れ指の姿勢推定を行う．親指の合計関節角度，手の面積，凸包輪郭線長の三次元で分布表を考えて，合計屈曲率を取得

第3章

手背画像によるビジョンベースデータグローブ

30

する．そこで，文献 [13] では，一つしかなかった分布表を親指の合計関節角度ごとに作成す
る．親指が見えている範囲では，親指の指先位置より親指の各関節角度を求めることができる (第 2 章参照)．求めた親指の合計関節角度によって参照する表を変え，親指以外の指の合計屈曲率を推定することで，手の姿勢を推定する．

3.2.1

親指挙動に対する手の面積と凸包輪郭線長の関係

本手法では，親指の関節角度を利用するため，親指の合計関節角度の変化に対するカメラ
画像における手の面積と凸包輪郭線長の変化量に注目する．親指を屈曲させた場合に，カメラ画像における手の面積と凸包輪郭線長がどのように変化するかを調査したところ，図 3.13，
図 3.14 のような結果が得られた．

第3章

手背画像によるビジョンベースデータグローブ

31

25000
20000

親指の屈曲に対する
凸包輪郭線の減少量

15000
10000
5000
0

0

20

親指の合計関節角度
40

60

80

100

図 3.13: 親指の合計関節角度に対する手の面積の変化量

140000000
120000000
100000000

親指の屈曲に対する
手の面積の減少量

80000000
60000000
40000000
2000000000

親指の合計関節角度
20

40

60

80

100

図 3.14: 親指の合計関節角度に対する凸包輪郭線長の変化量

図 3.13，図 3.14 は，横軸が親指の合計関節角度，縦軸が親指以外の他の四指を固定し，親指を屈曲させていない状態から親指だけを屈曲させた場合の手の面積及び凸包輪郭線長の減少量を示す．図 3.13，図 3.14 において分散があるものの，この図に近い結果が得られた．
親指の合計関節角度は，親指が屈曲するにつれて増加する．図 3.13，図 3.14 より，親指の合計関節角度の増加につれて，カメラ画像における手の面積と凸包輪郭線長は減少する関係性があることが分かる．また親指の合計関節角度に対して，カメラ画像における手の面積と凸包輪郭線長の減少量は一意に決まることが分かる．減少量が一意に決まるならば，親指の合計関節角度ごとに適切な合計屈曲率の分布表を作成し，参照することで，親指の屈曲による手の面積および凸包輪郭線長の変動に対応した上での隠れ指の姿勢推定が可能となる．

3.2.2

親指の合計関節角度ごとの屈曲率の分布表及び隠れ指の姿勢推定

親指の合計関節角度，カメラ画像における手の面積と凸包輪郭線長の三次元で考えること
で，親指の挙動を考慮した隠れ指の姿勢推定を行う．そのために，親指の合計関節角度ごと

第3章

手背画像によるビジョンベースデータグローブ

32に合計屈曲率の分布表を作成する．親指の合計関節角度ごとの表を，例えば，1◦ ，2◦ ，3◦ · · ·と連続で作成するのが理想であるが，現実的ではない．そのため，親指の合計関節角度 α◦ ，(α + β)◦ ，(α + 2β)◦ · · · のように離散的に表を作成しておく．現フレームの親指の合計関節角度を TN◦ とし，α◦ ≤ TN◦ < (α + β)◦ の場合，α◦ の表と (α + β)◦ の表を同時に参照し，二つの表から二つの合計屈曲率を取得する．そして，TN◦ が α◦ と (α + β)◦ のどちらかにどれだけ近いかで，二つの合計屈曲率に対して加重平均を行う．加重平均を行うことで，離散的だった表を連続的なものとして扱う．
現フレームの親指の合計関節角度を TN◦ とし，二つの表から取得した合計屈曲率に対して行う加重平均について記す．親指の合計関節角度が α◦ の表と (α + β)◦ の二つの表があり，例として α◦ ≤ TN◦ < (α + β)◦ の場合を考える．α◦ の表から得られる合計屈曲率を T Fα とし，(α + β)◦ から得られる合計屈曲率を T Fα+β とする．二つの合計屈曲率に対する加重平均の式を次に示す．LT は加重平均を行った結果得られる合計屈曲率である．

LT ={(α + β − TN ) × T Fα } + {(TN − α) × T Fα+β }
β

(3.4)

ここで取得した合計屈曲率 LT を，第 3.1.4 項で記した T FN として扱うことで，隠れ指の姿勢推定を行う．これにより，親指挙動を考慮した手背画像による隠れ指の姿勢推定が可能となる．なお，本手法では，親指の CM 関節 (尺側内転・橈側外転) を含む挙動については考慮していないため，親指の合計関節角度に CM 関節 (尺側内転・橈側外転) 角度を含んで
いない．

33

第4章

親指の隠れを考慮した推定法

前章の手法では，親指の指先が検出できているという前提のもとで，隠れている他の指の姿勢を推定している．つまり，親指の指先が隠れてしまっている場合には，隠れている指の姿勢推定を行うことができない．そこで本研究では新たにカメラ画像における手の縦横比を取得して利用することで，親指の隠れを考慮した手背画像による隠れ指の姿勢推定を行う．

4.1

提案手法の概要

文献 [14] の手法では，親指の指先が検出できない場合に，親指の関節角度を利用することが出来ず，隠れ指の姿勢推定を行うことができない．そこで，新たにカメラ画像における手の縦横比を取得して利用し，親指の合計関節角度を求めることで問題の解決を図る．
実験システムでは，手の方向及び三次元座標を取得するのに AR マーカを用いている，その座標系を図 4.1 に示す．本研究では手背側から見た場合に，手首に概ね平行である向きを縦とする．具体的には図 4.1 の y 軸方向を縦とする．また手背側から見た場合に，手首に概ね垂直である向きを横とする．具体的には図 4.1 の x 軸方向を横とする．この縦，横の定義にしたがって，手の縦横比を取得する．詳しい縦横比の定義については第 4.3 節で後述する．
本手法では，まず親指の指先が検出できている場合の，親指の合計関節角度，手の面積，
凸包輪郭線長の三次元の表だけではなく，親指が隠れている場合の三次元の表も作成する．
その上で親指の合計関節角度を要素として持つ，手の面積と凸包輪郭線長，そして縦横比の三つの値による新たな三次元の表を作成する．具体的には，事前にいくつかの手動作に関してサンプルデータを取得し，その時の手の面積，凸包輪郭線長，手の縦横比，親指の合計関節角度の対応関係を表にする．実際の手の推定では，取得した現フレームの手の面積，凸包
輪郭線長，手の縦横比から表を参照し，親指の合計関節角度を取得する．取得した親指の合計関節角度を基に，親指の関節角度，手の面積，凸包輪郭線長の三次元の表を参照し，親指以外の四指の屈曲度合を求めることで手の姿勢を推定する．

第4章

親指の隠れを考慮した推定法

34

Z軸
Y軸

X軸

図 4.1: AR マーカの座標系

4.2

親指の挙動に対しての，手の縦横比，手の面積，凸包輪郭線長の変化

親指の挙動に対しての，手の縦横比，手の面積，凸包輪郭線長の変化を調査した結果，以下の表 4.1 のような結果が得られた．この調査では，親指が隠れていて，かつ親指以外の四指を固定した以下の図 4.2〜4.4 で示す三つの姿勢における，手の縦横比，手の面積，凸包輪
郭線長の値を取得している．親指の挙動に応じて，それぞれの値が変動していることが確認できる．そのためこれら三つの値に着目することで，隠れた親指の合計関節角度を求めることが可能であると考えられる．
姿勢

縦横比

面積

凸包輪郭線長図 4.2 の姿勢

約 1.700000

約 2395000000

約 219400

図 4.3 の姿勢

約 1.850000

約 2128000000

約 204100

図 4.4 の姿勢

約 2.020000

約 1983000000

約 195700

表 4.1: いくつかの手の姿勢に対する三つの値の変動

第4章

親指の隠れを考慮した推定法

図 4.2: 親指の合計関節角度が約 100◦ の姿勢

図 4.3: 親指の合計関節角度が約 150◦ の姿勢

図 4.4: 親指の合計関節角度が約 200◦ の姿勢

35

第4章

親指の隠れを考慮した推定法

4.3

手の縦横比

36

本手法では，手の姿勢推定を行うための新たな情報として，手の縦横比を利用する．本研
究における縦横比の定義について詳しく述べる．手の方向の三次元の軸を基に定義を行う．
ここで，本システムでは手の方向及び三次元座標の取得に AR マーカを用いている．そこで，使用している AR マーカの座標系を手の方向の三次元の軸として，縦及び横を定義する．本
研究では図 4.1 の y 軸方向を縦とし，x 軸方向を横とする．この定義に基づき，手の縦の長さ，及び手の横の長さについても定義する．
まず，カメラ画像における，AR マーカの座標系の x 軸および y 軸を，それぞれ二次元の直線の式で表現する．カメラ画像における手の縦の長さを hmax ，及び横の長さを wmax とし，先程の二つの直線を基にそれぞれの長さの求め方を定義する．図 4.5 のように，AR マー
カの x 軸を表す直線で分割された，手の 2 つの領域において，それぞれ最も直線から遠い点を求め，直線とその点の距離を h1，h2 とする．本研究では，式 4.1 に示すように，h1 とh2 を加算したものを，カメラ画像における手の縦の長さ hmax とする．同様に，4.6 のように，AR マーカのｙ軸を表す直線で分割された，手の 2 つの領域において，それぞれ最も直線から遠い点を求め，直線とその点の距離を w1，w2 とする．手の縦の長さと同様に，本研
究では，式 4.2 に示すように，w1 と w2 を加算したものを，カメラ画像における手の横の長さ wmax とする．

hmax = h1 + h2

(4.1)

wmax = w1 + w2

(4.2)

第4章

親指の隠れを考慮した推定法

37

h1とh2

図 4.5: 手の縦の長さの定義

w1とw2

図 4.6: 手の横の長さの定義

これらの定義に基づき，手の縦の長さ及び横の長さをを取得することで，縦横比を求めることができると考えたが，カメラ画像における縦横比しか求められておらず，手の 3 次元空間における傾きを考慮できていない．従って，手の三次元空間における傾きを利用して，手の縦の長さ，及び横の長さを適切な値となるよう調節する．手の三次元空間における傾きは図4.7 のように，yaw，roll，pitch にわけられる．

第4章

親指の隠れを考慮した推定法

38

roll
Y軸

yaw

Z軸

X軸

pitch

図 4.7: 手の yaw，roll，pitch

yaw と roll を利用して，カメラ画像における手の縦の長さ hmax ，及び手の横の長さ wmaxに対して補正を行い，本来の縦横比の値を求められるようにする．手の縦の長さに影響を及ぼすのが pitch である，本来の手の縦の長さを height とすると以下の 4.3 式で求めることができる．また，手の横の長さに影響を与えるのは roll であるが，これも同様に本来の横の長さを width とすると以下の 4.4 式で求めることができる．本研究では，手の縦横比を aspectとおき，以下の 4.5 式のように定義する．これ以降，手の縦横比にはこの定義を用いて求めた値を用いる．

height =hmax| cos pitch|(4.3)

width =

wmax
| cos roll|(4.4)

height
width

(4.5)

aspect =4.4

手の縦横比，手の面積，凸包輪郭線長による親指の合計関節角度の分布表

本手法では手の縦横比，手の面積，凸包輪郭線長による三次元の分布表を参照することで親指の合計関節角度を求める．本節では推定に用いる三次元の分布表について述べる．手の第4章

親指の隠れを考慮した推定法

39

縦横比ごとに，図 4.8，図 4.9，図 4.10 のような，親指の合計関節角度を要素にもつ，手の面積と凸包輪郭線長の二次元の分布表を作成することで，手の縦横比，手の面積，凸包輪郭
線長による三次元の分布表を作成することが可能だと考えられる．手の縦横比ごとに親指の合計関節角度の分布表を作成する際に，第 3.2.2 節で親指の合計関節角度，手の面積，凸包
輪郭線長による三次元の表の作成を行ったときと同じく，本来であれば手の縦横比ごとの表を多数作成するのが理想である．しかし，膨大な数の分布表を作成するのは現実的であるとは言い難い．そのため，まず手の縦横比 α，(α + β)，(α + 2β) · · · のように離散的に表を作成する．そして現フレームの手の縦横比を RN とし，α ≤ RN < (α + β) の場合，α の表と(α + β) の表を同時に参照し，二つの表から二つの親指の合計関節角度を取得する．それぞれの分布表において親指の合計関節角度を参照する際に，第 3.1.4 節と同じく加重平均を行うことでより細かな値を求める．RN が α と (α + β) のどちらにどの程度近いかを考慮して，二つの親指の合計関節角度に対して加重平均を行う．加重平均を行うことで，離散的な複数の表を連続的な表として扱う．取得した親指の合計関節角度を用いて，第 3.2.2 節における，親指の合計関節角度ごとの分布表の中のどの分布表を参照するかを決定し，手の面積，凸包
輪郭線長を用いて分布表を参照することで親指以外の四指の合計屈曲率を得る．ここで第3.2.2 節では親指の指先が見えている場合を想定していることから，親指の合計関節角度が100◦ 以上の親指の合計関節角度，手の面積，凸包輪郭線長の三次元の分布表を作成しない．
しかし親指の可動域は 0◦ から 230◦ であり，本手法では 100◦ から 230◦ の場合にも対応する必要がある，したがってあらかじめ親指の合計関節角度が 0◦ から 230◦ の分布表をそれぞれ作成しておく．

4.5

親指の各関節角度の推定

第 4.4 節では手の縦横比と面積，及び輪郭線を用いて，親指の合計関節角度を求め，それを利用して親指以外の四指の合計屈曲率を得た．しかし，親指の合計関節角度は得られたが，親指の各関節角度は求められていない．本節では，親指の各関節ごとの依存関係を用いて，合計関節角度から各関節角度を求める．各関節角度は第 2.2 節に従い，IP 関節角度を

θ01 ，MP 関節角度を θ02 ，CM(掌側内転・外転) 関節角度を θ03 ，CM(尺側内転・橈側外転)
関節角度を θ04 と記述する．IP 関節角度は 2.3 式より，MP 関節角度を用いて求めることができる．また MP 関節角度と CM(掌側内転・外転) 関節角度には図 2.3 のような依存関係があり，これは以下の 4.6 式で表すことができる．したがって，親指の合計関節角度を θsum と
おくと，CM(掌側内転・外転) 関節角度のみを用いた以下の 4.7 式で表すことができる．こ第4章

親指の隠れを考慮した推定法

手の面積( ×10７)

40

親指の合計関節角度

190 189 183 171 156 139 124 111 113 107 105 100
298
192 196 195 187 173 154 137 110 120 110 110 105
286
189 198 203 202 192 171 134 140 149 139 124 114284
181 193 204 212 213 209 199 199 199 197 160 137272
169 182 197 211 218 219 220 219 219 150 155 146
160
156 167 184 204 217 220 219 220 219 184 169 157
148
146 151 165 191 215 210 140 140 179 181 175 166
146
142 137 140 168 191 200 170 155 167 174 174 170
134
147 134 150 159 175 187 178 166 166 170 172 171122
161 118 161 160 167 177 177 171 168 169 170 170
110
204 179 194 177 172 174 175 173 170 169 169 16998
230 204 199 188 180 177 176 174 172 170 169 169
149 153 157

161 165 169 173 177 181 185 189

凸包輪郭線長( ×10３ )

図 4.8: 縦横比が 0.8 の場合の合計関節角度の分布表

手の面積( ×10７)

親指の合計関節角度

206 206 204 200 194 186 176 166 159 159 139 100
234
207 209 209 207 203 196 186 174 159 180 179 139
222
205 209 212 212 210 206 199 189 180 179 166 152
210
202 207 212 215 215 213 210 200 179 169 167 159
198
198 203 209 215 218 217 217 205 220 194 180 169
186
194 197 204 213 220 220 220 220 220 207 193 181
174
192 191 195 206 220 220 220 220 220 213 203 192
162
193 187 185 192 206 213 216 218 219 216 209 200
150
200 189 179 179 192 202 209 213 216 216 212 206
138
211 199 180 179 185 193 201 207 211 213 212 209
126
224 218 180 132 158 175 188 197 204 208 210 209
114
230 224 202 167 162 168 178 187 195 201 205 207
140 147 154

161 168 175 182 189 196 213 220

凸包輪郭線長( ×10３ )

図 4.9: 縦横比が 1.6 の場合の合計関節角度の分布表

第4章

親指の隠れを考慮した推定法

手の面積( ×10７)

41

親指の合計関節角度

206 206 207 209 212 215 217 216 214 212 205 190
198
207 206 206 207 210 214 218 218 217 220 220 205
187
209 207 206 205 206 210 219 219 214 220 220 212
176
211 209 207 204 202 201 200 220 220 219 219 215
165
213 212 210 207 204 203 205 215 210 210 214 214154
215 214 213 210 206 202 200 200 200 205 209 211
143
216 216 216 215 211 206 203 201 200 202 205 208132
216 216 217 220 215 210 206 203 201 201 203 205
121
216 216 216 218 216 213 209 206 203 202 202 203110
217 215 215 216 216 214 211 208 205 203 202 202
99
220 210 212 214 215 214 212 210 207 205 203 202
88
230 220 216 215 215 214 213 211 209 207 205 203
143 150 157

164 171 178 185 192 199 206 213

凸包輪郭線長( ×10３ )

図 4.10: 縦横比が 2.4 の場合の合計関節角度の分布表の三次方程式を解くことで CM(掌側内転・外転) 関節角度を求め，それを基に IP 関節角度
及び MP 関節角度を求める．

32
θ02 = α02 θ03+ β02 θ03
+ γ02 θ03

(4.6)

3
2
θsum = αsum θ03+ βsum θ03+ γsum θ03(4.7)

また親指の合計関節角度と CM(尺側内転・橈側外転) について，把持動作における依存関係を調査したところ図 4.11 のような結果が得られた．分散はあるが, この相関関係は以下の4.8 式で表すことができる．この式を基に，親指の合計関節角度を利用して CM(尺側内転・橈側外転) も求める．

32
θ04 = α04 θsum
+ β04 θsum
+ γ04 θsum + δ04

ここで，α02 ，β02 ，γ02 ，αsum ，βsum ，γsum ，α04 ，β04 ，γ04 ，δ04 は定数である．

(4.8)

第4章

親指の隠れを考慮した推定法

42

CM(尺側内転・橈側外転)関節角度
30

25

20

取得データ
15

近似曲線

10

5

0

0

50

100

150

200
親指の合計関節角度

図 4.11: 親指の合計関節角度と CM(尺側内転・橈側外転) の依存関係

4.6

隠れ指の姿勢推定

本節では，手背画像による親指の隠れを考慮した隠れ指の姿勢推定を行う流れをまとめる．事前に親指の合計関節角度ごとに，手の面積と凸包輪郭線長を参照して合計屈曲率を得られる分布表を複数作成しておく (第 3.2.2 節)．また手の縦横比ごとに，手の面積と凸包輪
郭線長を用いることで，親指の合計関節角度が参照できる分布表を複数作成し，現フレームの手の縦横比に応じて，二つの分布表を参照する．各表内で加重平均を行い，親指の合計関節角度を取得する．得られた二つの合計関節角度に対して加重平均を行い，親指の合計関節角度を取得する (第 4.4 節)．得られた親指の合計関節角度に応じて，二つの表を参照する．
各表内で加重平均を行い，親指以外の四指の合計屈曲率を取得する．得られた二つの合計屈曲率に対して加重平均を行い，親指以外の四指を取得する (第 3.2.2 節)．得られた合計屈曲率より，各隠れ指の屈曲率を求め (第 3.1.6 節)．各隠れ指の屈曲率より，隠れ指の姿勢推定を行う (第 3.1.6 節)．以上の手順を踏むことで，親指の隠れを考慮した手背画像による隠れ指の姿勢，すなわち各関節角度を推定する．

43

第5章

実験および考察

前章で述べた提案手法に基づき，実験システムを構築し，評価実験を行うことで，提案手法の妥当性を検証する．親指の隠れを考慮した，手の姿勢推定に関して 3 つの評価実験を行う．まず，処理速度についての評価を行った．次に，被験者にいくつかの手動作を行っていただいた上で，アンケート形式でもっともらしく推定できているか否かを評価してもらった．最後に，いくつかの手の姿勢における，各関節角度に注目し，推定した値と，真値との誤差を調べることで評価を行う．

5.1

実験システム実験システムは CPU : Pentium(R) Dual-Core CPU E5200 2.50GHz の PC 上に C++により実装した．また BUFFALO 社製の USB カメラ BSW20K04 を使用し画像サイズを640 × 480 pixel (最大 30fps) で撮影し，ノイズ除去を 320 × 240 pixel にリサイズした画像で行いノイズ除去後再び 640 × 480 pixel にリサイズした画像を使用した．カメラで撮影された手背画像より各関節角度を推定した上で，推定角度に基づいて CG の手を表示する．実際に行った実験の様子を図 5.1 に示す．

第5章

実験および考察44

図 5.1: 実験の様子

5.2

処理速度に関する評価

実験システムを用いて本提案手法の処理速度について評価を行う．表 5.1 に各処理における平均処理時間を示す．なお処理速度は，小数点 PIP 位以下を四捨五入している．
処理

平均処理時間 (ミリ秒)

カメラ画像の取得

モデルの表示

14.1
23.6
4.8
0.9
1.6

合計

45.0

ノイズ除去
指先の位置推定手の姿勢推定表 5.1: 実験システムの処理時間

本実験システムは、平均 22 fps で動作している．一般的に対話操作システムには 10-12f

ps 以上の処理速度が必要とされており，本実験システムはこの基準を十分に満たしている．
また，処理時間の内 8 割程度が，カメラ画像の取得とその待ち時間，画像のノイズ除去の処
理時間である．そのため，本手法による，手の姿勢推定の処理時間は極めて少なく，実際の応用システムで利用可能であるといえる．

第5章

実験および考察5.3

被験者によるアンケート形式での評価と考察

45

本提案手法によるビジョンベースデータグローブが，正しく手指の姿勢を推定できている
か，5 名の被験者にアンケート形式で評価してもらった．実験では，親指が隠れるいくつかの手動作を被験者に行ってもらい，親指の隠れを考慮した手の姿勢が推定できているかを評価してもらった．アンケート評価は 7 段階で評価の目安を「1: まったく正しい姿勢が取得できていない」，「4: システムとして利用可能な程度の姿勢は取得できている」，「7: 限りな
く入力姿勢と同じ姿勢が推定できている」とする．本実験で対象とする姿勢の例を以下の図5.2 に示す．また，被験者による評価を図 5.3 に示す．

図 5.2: 実験を行う姿勢の例

人数
5

4

3

2

1
0

1

2

3

4

5

6

7

評価値
図 5.3: 被験者による評価

第5章

実験および考察46

被験者による平均評価値は 5.2 となり，平均評価値が「システムとして利用可能な程度の姿勢は取得できている」である評価値の 4 を越える結果となった．この評価に基づき，本手法及び本実験システムは，高精度であるとは言い難いが，一定の利用可能な推定精度を実現していると考えられる．評価がやや低い一因として，図 5.4 に示す例のように，手背側からである出力画像を見るだけでは区別が付きづらい姿勢が存在することが考えられる．

図 5.4: 区別が付きづらい姿勢の例，左よりそれぞれ，手背側からの画像 (入力)，推定結果(CG)，手掌側からの画像 (参考)

また，被験者達から「本来の姿勢と比べ，親指の屈曲に違和感を感じる」という意見を頂いた．これは，把持動作を前提に，親指の合計関節角度と各関節角度の関係 (図 2.3，図4.11) を求めたためだと考えられる．全般的には，被験者達から「親指が隠れても，ある程
度本来の姿勢に近い姿勢が推定されている」と好意的な意見を頂いた．しかし，これは手背側からである出力画像のみによる，見た目に対する評価である．そこで，各隠れ指の関節角度に注目した実験も行う．

第5章

実験および考察

5.4

隠れ指の各関節角度誤差による評価及び考察

47

前節での評価実験では，手背側からの出力画像のみで推定結果の評価を行った．そこで，各関節角度に注目し，推定値と真値の誤差を求めることで評価を行う．真値の取得には，全ての関節角度を取得することができる，センサ付きデータグローブ (Immersion 社製のCyberTouch) を用いる．本提案システムによるビジョンベースデータグローブより取得した，各姿勢に対する隠れ指の各関節角度と真値を比較する．本実験では，図 5.5 に示す姿勢について値の比較を行う．

図 5.5: 実験を行う姿勢，左よりグーの姿勢，チョキの姿勢，ボールを把持した姿勢

5.4.1

グー姿勢に対する隠れ指の各関節角度誤差

グーの姿勢に対する，隠れ指の各関節角度誤差を表 5.2〜表 5.6 に示す．また，表 5.7 にグーの姿勢での各隠れ指ごとの平均関節角度誤差およびグーの姿勢での隠れ指全体での平均
関節角度誤差を示す．

IP

MP

真値

87.73◦
60.82◦

平均誤差

26.91◦

親指の推定角度の平均

65.75◦
53.69◦

CM(掌側内転・外転)53.91◦
59.33◦

CM(尺側内転・橈側外転)60.00◦
46.51◦

12.06◦

5.42◦

13.49◦

表 5.2: グーの姿勢での親指の各関節角度の誤差

第5章

実験および考察

48

真値

DIP
58.62◦
65.34◦

PIP
88.07◦
73.14◦

MP
69.65◦
53.13◦

平均誤差

6.72◦

14.93◦

16.52◦

示指の推定角度の平均

表 5.3: グーの姿勢での示指の各関節角度の誤差

真値

DIP
58.62◦
58.24◦

PIP
88.07◦
87.20◦

MP
69.65◦
58.47◦

平均誤差

0.38◦

0.87◦

11.18◦

中指の推定角度の平均

表 5.4: グーの姿勢での中指の各関節角度の誤差

真値

DIP
58.62◦
71.12◦

PIP
88.07◦
96.4◦

MP
69.65◦
71.15◦

平均誤差12.50◦

8.33◦

1.5◦

環指の推定角度の平均

表 5.5: グーの姿勢での環指の各関節角度の誤差

真値

DIP
58.62◦
62.06◦

PIP
88.07◦
81.84◦

MP
69.65◦
69.56◦

平均誤差

3.44◦

6.23◦

0.09◦

小指の推定角度の平均

表 5.6: グーの姿勢での小指の各関節角度の誤差

平均関節角度誤差

小指14.45◦
12.72◦
4.12◦
7.11◦
3.25◦

全指

8.33◦

親指
示指
中指
環指

表 5.7: 各隠れ指の平均関節角度誤差および姿勢全体での平均関節角度誤差

第5章

実験および考察49

ここで，親指以外の隠れ指の推定関節角度が同じになっているが，これは，親指以外の四指では，合計屈曲率を各隠れ指に均等に割り振っているためである．グーの姿勢での各隠れ指の平均関節角度誤差は，8.33◦ と小さいものとなった．これは，関節角度を推定するために利用した図 2.2 に示す依存関係が，把持動作を想定して求められているためだと考えられる．つまり，手を握りこむ動作を想定して推定を行っているため，それに近いグーの姿勢では，高い推定結果が得られたと考えられる．

第5章

実験および考察5.4.2

チョキの姿勢に対する隠れ指の各関節角度誤差50

チョキの姿勢に対する，隠れ指の各関節角度誤差を表 5.8〜表 5.10 に示す．また，表 5.11にチョキの姿勢での各隠れ指ごとの平均関節角度誤差およびチョキの姿勢での隠れ指全体での平均関節角度誤差を示す．

IP

MP

真値

54.04◦
53.48◦

平均誤差

0.56◦

親指の推定角度の平均

30.53◦
45.60◦

CM(掌側内転・外転)84.46◦
36.50◦

CM(尺側内転・橈側外転)21.23◦
37.56◦

15.07◦

47.96◦

16.33◦

表 5.8: チョキの姿勢での親指の各関節角度の誤差

真値

DIP
39.34◦
69.44◦

PIP
59.08◦
94.46◦

MP
43.49◦
64.84◦

平均誤差30.10◦

35.38◦

21.35◦

環指の推定角度の平均

表 5.9: チョキの姿勢での環指の各関節角度の誤差

真値

DIP
39.34◦
52.56◦

PIP
59.08◦
69.30◦

MP
43.49◦
59.24◦

平均誤差13.22◦

10.22◦

15.75◦

小指の推定角度の平均

表 5.10: チョキの姿勢での小指の各関節角度の誤差

チョキの姿勢では各隠れ指の平均関節角度誤差は，20.65◦ となった．グーの姿勢と比べると誤差が増加したのは，チョキの姿勢においての隠れ指である環指と小指の姿勢が，把持動作と同じように大きく屈曲した姿勢である一方で，親指は必ずしもグーの姿勢ほど大きく屈曲するとは限らないためであると考えられる．

第5章

実験および考察51

平均関節角度誤差

小指19.98◦
28.92◦
13.06◦

合計

20.65◦

親指
環指表 5.11: 各隠れ指の平均関節角度誤差および姿勢全体での平均関節角度誤差

第5章

実験および考察5.4.3

物体 (ボール) を把持した姿勢に対する隠れ指の各関節角度誤差52

物体 (ボール) を把持した姿勢に対する，隠れ指の各関節角度誤差を表??〜表 5.16 に示す．
また，表 5.17 に物体を把持した姿勢での各隠れ指ごとの平均関節角度誤差およびグーの姿
勢での隠れ指全体での平均関節角度誤差を示す．

IP

MP

真値

62.63◦
44.16◦

平均誤差

18.47◦

親指の推定角度の平均

46.97◦
54.48◦

CM(掌側内転・外転)69.54◦
33.51◦

CM(尺側内転・橈側外転)43.10◦
49.04◦

7.51◦

36.03◦

5.94◦

表 5.12: 物体を把持した姿勢での親指の各関節角度の誤差

真値

DIP
56.62◦
25.92◦

PIP
85.04◦
36.96◦

MP
65.01◦
28.49◦

平均誤差30.70◦

48.28◦

36.52◦

示指の推定角度の平均

表 5.13: 物体を把持した姿勢での示指の各関節角度の誤差

真値

DIP
56.62◦
31.92◦

PIP
85.04◦
49.60◦

MP
65.01◦
32.20◦

平均誤差

24.70◦

35.44◦

32.81◦

中指の推定角度の平均

表 5.14: 物体を把持した姿勢での中指の各関節角度の誤差

第5章

実験および考察

53

真値

DIP
56.62◦
38.64◦

PIP
85.04◦
60.00◦

MP
65.01◦
29.80◦

平均誤差

17.98◦

25.04◦

35.21◦

環指の推定角度の平均

表 5.15: 物体を把持した姿勢での環指の各関節角度の誤差

真値

DIP
56.62◦
24.00◦

PIP
85.04◦
31.68◦

MP
65.01◦
51.80◦

平均誤差32.62◦

53.36◦

13.21◦

小指の推定角度の平均

表 5.16: 物体を把持した姿勢での小指の各関節角度の誤差

平均関節角度誤差

小指16.98◦
38.50◦
30.98◦
16.07◦
33.06◦

全指29.12◦

親指
示指
中指
環指

表 5.17: 各隠れ指の平均関節角度誤差および姿勢全体での平均関節角度誤差

第5章

実験および考察54

物体を把持した姿勢における各隠れ指の平均関節角度誤差は 29.12◦ とかなり大きいことが分かった．また，真値と比べて，より手を開いた姿勢ではなく，より手を屈曲した姿勢が推定されている．これは前述のように，隠れ指の姿勢推定に利用した図 2.2，図 2.3，図 4.11，の依存関係が，把持動作を基準にしているため，グーの姿勢のように大きく屈曲した姿勢が推定されてしまうことが原因であると考えられる．したがって，物体 (ボール) を把持した
姿勢のように，半開きのような姿勢では誤差が大きくなってしまう．

55

第6章

むすび

本研究では，当研究室で提案している 1 台のカメラによるビジョンベースデータグローブの改良手法として，親指が隠れた場合でも，隠れ指の姿勢推定，すなわち各関節角度を推定する手法を提案した．評価実験の結果，親指が隠れた場合でも，見た目においては正しい姿
勢が推定されていることを確認できた．一方で各関節角度には，大きな誤差も散見された．
考察した結果，これは当研究室のビジョンベースデータグローブでは把持動作を想定して依存関係を取得していることが一因だとわかった．
また，以下のような課題を解決することで，目標とする一般家庭で普及可能なインター
フェースを開発したい．

• 本研究では指同士の相関関係を考慮していない．例として中指を屈曲させると，多少
環指も屈曲する．こういった指同士の相関関係を調査し，姿勢の推定に用いることでより精度の高い姿勢推定を行うことができると考えられる．

• 本研究では隠れ指の推定の際，親指・示指・中指・環指・小指の位置関係が変わる場合を想定していない．実際には各指は MP (内転・外転) 方向にも動かせるため，位置関係の変動を考慮した推定を行う必要がある．

• 本研究では CM 関節 (尺側内転・橈側外転) 角度を依存関係から求めただけで，他の関節角度の推定に利用していない．親指の指先が見えている場合でも同様であるため，これを利用することでより精度の高い姿勢推定が行えると考えられる。

• 本システムでは，あらかじめ指の長さや幅，手の厚みなどを測定して入力することで，ハンドモデルを作成している．一般家庭への普及を考慮し，煩雑な計測行為を省き，
カメラ画像からハンドモデルを生成できるようにする．

• 本システムでは多数の分布表を作成する必要があり，一般家庭でこれらを作成するのは現実的ではない．正確なハンドモデルであれば，角度を指定して，面積や凸包輪郭
線長，縦横比を疑似的に取得しても誤差は小さいと考えられる。そこでハンドモデルを利用しておおよその分布表を自動的に作成できるようにする。

56

謝辞

本研究を進めるにあたって，日頃から多大な御尽力を頂き，ご指導を賜りました名古屋工業大学，舟橋健司 准教授，伊藤宏隆 助教に心から感謝致します．最後に，本研究に多大な御協力頂きました舟橋研究室諸氏に深く感謝致します．

57

参考文献

[1] 舘日章，佐藤誠，廣瀬通孝，“バーチャルリアリティ学”，日本バーチャルリアリティ学会，
工業調査会，東京，2010．

[2] 富川盛雅，橘爪誠，“バーチャルリアリティシステムを用いた内視鏡外科手術トレーニン
グシステム”，日本外科学会雑誌，Vol.112，No.4，pp.255-261，2011．

[3] 橋本宣慶，加藤秀雄，松井恭平，石田洋子，王亮，“シュミレータによる歯石除去の訓練
シュミレータの構築と人工歯石除去による訓練効果の検討”，日本バーチャルリアリティ
学会論文誌，Vol.11，No.4，pp.453-458，2006.

[4] Oculus VR Oculus Rift https://www.oculus.com/rift/[5] 森裕太郎，“各ユーザの手形状の相違に対応した少数センサーデータグローブのデータ補正法”，平成 25 年度名古屋工業大学卒業研究論文，2014.

[6] 藤本光一，松尾直志，島田伸敬，白井良明，“輪郭部分特徴の階層構造学習による三次元
手指姿勢推定の高速化”，画像の認識・理解シンポジウム，IS3-64，2010．

[7] 冨田元將，星野聖，“前腕を含む手指画像からの 3 次元手指形状推定”，映像情報メディア学会誌，Vol.63，No.6，pp.822-828，2009．

[8] Robert Y. Wang，Jovan Popovi，“Real-Time Hand-Tracking with a Color Glove”，
ACM Transaction on Graphics(SIGGRAPH 2009)，Vol.28，No.3，2009．
[9] Vitor F. Pamplona，Leandro A. F. Fernandes，Joao L. Prauchner，Luciana P. Nedel，Manuel M. Oliveira，“The Image-Based Data Glove”，Proceedings of X Symposium
on Virtual Reality，pp.204-211，2008．
[10] 陳維英，藤木隆司，有田大作，谷口倫一郎， 複数カメラを用いた実時間三次元手形状
推定 , 画像の認識・理解シンポジウム,pp.328-333,2006.

58[11] Sanshiro Yamamoto，Kenji Funahashi，Yuji Iwahori，“Study for Vision Based Data
Glove Considering Hidden Fingertip with Self-Occlusion”，Proc.SNPD2012，pp.315320，2012.
[12] 加藤博一，Billinghurst Mark，浅野浩一，橘啓八郎，“マーカー追跡に基づく拡張現実
感システムとそのキャリブレーション”, 日本バーチャルリアリティ学会論文誌，Vol.4，

No.4，pp.607-616，1999.
[13] 岡田雅弘，“手背画像による指先隠れを考慮したビジョンベースデータグローブ”，平成 24 年度名古屋工業大学卒業研究論文，2013.

[14] 吉田悠，“手背画像による親指挙動を考慮したビジョンベースデータグローブ”，平成25 年度名古屋工業大学卒業研究論文，2014.
[15] 鎌倉矩子，“手のかたち手のうごき”, 医歯薬出版株式会社，1989，[16] George ElKoura，Karan Singh，“Handrix: Animating the Human Hand”，ACM SIGGRAPH/EG Symposium on Computer Animation，2003[17] 市川亮，“物体の把握・操作時における指関節の動きモデル化”，和歌山大学学士学位論
文，2002.

[18] Samad Hayati，Kam Tso，Gerald Roston，“ROBOT GEOMETRY CALIBRATION”，IEEE International Conference on Robotics and Automation，Vol.2，pp.947951，1988.
[19] Chris Welman, “Inverse kinematics and geometric constraints for articulated ﬁgure
manipulation”，M.Sc Thesis，Simon Fraser University，1993.