「画像の認識・理解シンポジウム (MIRU2009)」 2009 年 7 月

ステレオカメラを用いた手表面追跡豊浦正広†

Matthew TURK††† 山梨大学大学院 医学工学総合研究部 〒 400–8511 山梨県甲府市武田 4–3–11†† Department of Computer Science, University of California, Santa Barbara
Santa Barbara, CA 93106-5110, U.S.A.
E-mail: †mtoyoura@yamanashi.ac.jp, ††mturk@cs.ucsb.edu
あらまし 本研究では，ステレオカメラによる手の三次元位置および姿勢の獲得のための手法を提案する．本研究の特徴は，多数のカメラではなくステレオカメラで観測することによって，移動環境下での手の位置・姿勢の獲得を実現することにある．手は関節が多く，自己隠蔽が起こりやすい．カメラ画像上での手の位置・姿勢を獲得するためには，多数のカメラを用いる必要があった．これに対し本研究では，ステレオカメラを用いて手表面の三次元的な特徴点の並びを抽出することで，手の三次元位置および姿勢の獲得を行う．手の姿勢に依らず表面パターンの局所的な三次元構造が変わらないことを利用して，手の姿勢に不変な特徴量を計算し，モデルとのマッチングを行う．これにより，部分ごとの位置および姿勢の獲得を可能にする．姿勢不変特徴量としては，色や SIFT などの特徴点自体が持つ特徴量と，近傍となる特徴点との相対位置関係を組み合わせたものを用いる．本研究では，既知のパターンを持つグローブをユーザに装着させることで画像特徴点を与えた．実験結果から，グローブ上の特徴点が手の姿勢に依らずに識別できることを示す．
キーワード

姿勢不変特徴量，ステレオカメラ，ドットパターングローブ，拡張現実感，モーションキャプチャ．

3D Hand Tracking with Stereo Cameras
Masahiro TOYOURA† and Matthew TURK††† Interdisciplinary Graduate School of Medical and Engineering, University of Yamanashi
Takeda 4–3–11, Kofu, Yamanashi, 400–8511 Japan†† Department of Computer Science, University of California, Santa Barbara
Santa Barbara, CA 93106-5110, U.S.A.
E-mail: †mtoyoura@yamanashi.ac.jp, ††mturk@cs.ucsb.edu
Abstract We propose a method for extracting 3D position and posture of hands with stereo cameras. The main
contribution of our research is that our method enables to track the position and posture in mobile environments
by using stereo cameras. The hand is often observed with many occluded regions, since the hand has many joints.
In previous methods, many cameras are required to extract the position and posture. In this research, the positionand posture of the hand are estimated from 3D alignment of feature points on the surface of the hand. Stereo
cameras enable to extract 3D alignment of the feature points. The position of each feature point is identified bymatching with the model. Even if the surface is deformed, the local alignment of the feature points is not drasticallychanged. Each feature point is identified with pose-invariant feature that is a combination of the feature of thepoints and the relative position to the neighboring feature points. In this research, the feature points are given bywearing gloves with a known pattern. Experimental results show that the position of the feature points on gloves
can be tracked in stereo images, which is not dependent on the posture of the hand.
Key words Pose-inverient feature, stereo cameras, dot pattern glove, augmented reality, motion capture.

1. は じ め にフェースとなる．二次元的なマーカ [1] ，顔 [2] ，手 [3]などから得られる平面に合わせて仮想物体を提示する研

カメラ画像上で人間の手を追跡できれば，人間の手を究はこれまでになされてきたが，三次元的な情報を持つ拡張現実感に利用することができる．手の動きに合わ

仮想物体に対し，つかんだりはさんだりといった直接操せて仮想物体を提示すれば，手は仮想世界とのインタ作ができるような三次元的なインタフェースは提案され

てこなかった．
そこで本研究では，画像から人間の手の位置および姿勢を抽出することを目的とする．用いるカメラは 2 台とし，拡張現実感の実現のために移動環境でも利用可能となるようにした．得られる結果は，従来のジェスチャ認識 [4] や画像上の手領域抽出 [5] によって得られる離散的な関節角の集合やパターンの識別，平面的な領域とは異なる．
自由度の高い手に対して，少数台のカメラで位置・姿勢を獲得することは容易ではない．手は関節が多く，自己隠蔽が起こりやすいためである．カメラ画像上で多関節物体を獲得するためには，多数のカメラを用いる必要があった [6]．または，磁気センサやデータグローブなどを組み合わせて用いることで，カメラ画像上での手の位置・姿勢を求める手法も提案されてきた [7]．しかし，指の三次元姿勢を求めるような複雑な問題に対しては，これらの手法は適用できない．加えて，これらの装置を移動環境下で用いることは難しかった．
一方で，自由度の高い変形表面を追跡する研究に，既知パターンを持つ衣服の追跡を行うものがある．多数のカメラで得られる画像からの衣服の追跡をする手法が提図 1 処理の流れ

案されてきた [8] [9] [10] ．衣服には，格子 [8]，三角形 [9]，ドット [10] などのパターンが与えられ，それぞれの構造は既知である．パターンを多数のカメラで観測すること

2. 手 法 概 要

でモデルグラフを得る．多数のカメラで衣服を観測し，グローブに付与するパターンには，ドットパターンをそれぞれの画像上でデータグラフを抽出し，モデルグラ採用した．ドットパターンは，格子パターン [8] や三角フとのマッチングを行うことで変形表面の追跡を実現す

形パターン [9] に必要となるような高度な画像の領域分る．マッチングは，色および特徴点の並びに基づいて行割を必要としないためである．グローブを白，背景を黒われる．これらの手法では，規則並んだパターンがほぼに設定する場合には，それぞれのドットは，鮮色を持つ完全に観測できることが必要となる．パターンの抽出に小さな領域として，容易に抽出することができる．それ

パターン配置の規則性を用いるためである．よって，手ぞれのドットの色およびサイズの設定方法については，のように自己隠蔽が観測されやすい対象にはそのまま適

3. 1 で述べる．図 1 に提案手法の処理の流れを示す．

用できない．また，このような観測環境を持ち運ぶことは通常できない．

ステレオ画像からのグラフ作成

我々は衣類の追跡と同様，手に既知のドットパターン

ステレオカメラで観測されるドット領域から，ドットを持つグローブを装着し，これをステレオカメラで観測間の対応を求める．ステレオカメラは校正済みであり，することで手の追跡を実現する．今回のパターンには，画像間で対応する領域が与えられると，その対応する領簡単な画像処理で抽出が可能なドットパターンを採用し域の三次元位置を求めることができる．色が近く，エピた．ステレオカメラを用いることで，パターンの三次元ポーラ拘束を十分に満たす 2 つのドット領域を対応する位置を抽出することができる．手の姿勢変化が起こって領域とみなす．それぞれのドット領域の重心位置に，そもドットパターンの局所的な三次元構造が変わらないこの領域の平均色を持つノードを配置する．とを利用して，手の姿勢に不変な特徴を抽出し，マッチングを行う．

モデルグラフの作成

将来的にカメラの解像度が十分に得られ，手表面で特モデルグラフ作成のためには，ステレオカメラでグ徴点を密に抽出できるようになれば，既知のパターンをローブを裏表の両面から観測して画像を得る．画像から，与えることなくシステムの実現が可能である．特徴点のドット領域とグローブ領域を抽出する．抽出手法につい特徴量と局所構造を手掛かりに，特徴点の同定を行う本ては，3. 2 で述べる．

研究の枠組みは，色特徴点以外の SIFT などにもそのまま応用できるためである．

次に，一定距離内にあるノード間にパスを作成する．
パスを持つ 2 つのノードは，隣接関係を持つものと定義する．ただし，グローブ領域外に渡るようなパスは削除する．これによって，異なる指の間に渡るようなノードの間に隣接関係が構築されないようになる．以上により，裏表のそれぞれについて，色と隣接関係を持つモデルグラフができる．裏表のグラフは，それぞれのグラフ間にパスは作成せずに，1 つのグラフとして扱う．

データグラフ上のドットの識別(a) An obtained image(b) Edges in S space(c) Edges in V space(d) Integrated edges(e) Extracted dot regions(f) Whole glove region

データグラフの構築は，モデルグラフと同様に，互いに近いノードとパスを作成することで行う．パスを持つ

2 つのノードは，隣接関係を持つ．
データグラフとモデルグラフのマッチングを求めることで，ステレオ画像上の各ドット領域が，モデル画像上のどのドット領域に対応するのかを識別することができる．ドットの識別の手法は，4. で説明する．

3. ドットパターングローブ
3. 1 ドットパターンの構成
ドットの色は，HSV 表色系における H の値によって

図 2 ドットグローブパターンの領域抽出表現する．H の値は照明環境の影響を受けにくいためである．予備実験を行い，設定環境で判別可能な色の数を調べた．実験環境では，同一ドットの中で H の値に 15までのぶれが見られたので，H = 30n(n = 0, · · · , 11) のブの下地領域 RG ，背景領域 RB が含まれる．S 値および V 値の閾値 sth ，vth を用いると，それぞれの領域は以下のように書き表すことができる．

色を用いることとした．ただし，黄色 (H = 120) は輝度が高く，グローブ領域との識別がつかなかったため，黄RD = {p | sp > sth }色は使用しないこととした．また，グローブは白とした．

RG = {p | sp <= sth , vp > vth }ドットのサイズは，ステレオカメラから観測される最小のサイズであることが望ましい．ドットサイズは小さ

RB = {p | vp <= vth }

く，かつ，ドット間の距離も小さいほうが，手の表面にグラフの作成のためには，まず，ノードとしてのドッ多くのドットを配置することができるためである．ドット領域を抽出する．図 2(a) に示すような観測画像から，トの数は，表面の特徴点密度を意味する．多くのドット

画素値に S の値を持つグレースケール画像を作成する．

が一度に観測される方が，マッチングによるドット識別

この画像上で Canny エッジを抽出すると，図 2(b) に示が容易になるので，ドットは可能な限り多く配置する．

す画像が得られる．このエッジは，RD と RG の境界をステレオカメラを目元に設置することを想定して，ユー示すことになる．ここで注意したいのは，このエッジにザの手が観測されるであろう 40cm あたりに焦点距離を

はドット領域 RD と背景領域 RB の境界は含まれないこ設定する．画角もこれに合わせて調整する．このときにとである．

識別可能なドットのサイズとして，半径 2.5mm を採用

ドット領域 RD と背景領域 RB の境界を求めるために，した．ドットはアイロンプリント可能な用紙を用いて作画素値に V の値を持つグレースケール画像も作成する．

成した．

この画像上で Canny エッジを抽出すると，図 2(c) に示

また，本研究では，背景は黒とし，グローブ領域が容す画像が得られる．このエッジは，RD と RG とを合わ易に抽出できる環境を設定した．将来的には，鮮やかさせた領域と，RB の境界を示すことになる．2 つの種類を示す S の値などを用いることによって，任意の背景下の境界を足し合わせて，ドット領域 RD とそれ以外の領でもグローブ領域とドット領域が抽出可能であると予想域との境界を得ることができる．エッジが途切れないよ

される．肌色領域の抽出が参考となる [3]．

うに，画像に膨張と収縮を数回施して得られる画像が図

3. 2 ドットの抽出
グラフの作成手順は，モデルグラフとデータグラフに共通である．HSV 表色系でグラフは抽出される．画素 pの HSV 成分を (hp , sp , vp ) と書き表す．hp にドット識別のための信号を含み，sp および vp には領域分割のための信号が含まれる．画像には，ドット領域 RD ，グロー2(d) である．領域ラベリングによって小さく閉じられた領域を得る．得られる領域のうち，sp > sth を満たす領域をドット領域として抽出する．図 2(e) が得られるドット領域である．ステレオ画像のそれぞれで得られるドット領域 RD から，色が近く，エピポーラ線上にある点をグラフのノードとして求める．ノードは，三次元位置と画像上での色を情報として持つ．

次に，隣接関係を表すパスを作成する．三次元空間上から三次元距離 dth にあるドットを近傍とみなし，ドッで一定距離内にあるものを隣接関係のあるノードとしてト間の距離によってどの近傍であるかを判定する．これ定義し，パスを作成する．このとき，画像上のグローブにより，特徴点に規則的な並びを要求する必要がなくな領域を参照し，グローブ領域外に投影される部分がある

り，将来的に高解像度画像が利用できるようになれば，ようなパスは削除する．グローブ領域 RD ∪ RG は，S の手表面の SIFT 特徴量などに対して，本手法を適用する値に閾値を設け，膨張と縮退を繰り返すことで得る (図ことが可能である．ただし，近傍との距離は不変である

2(f))．手に関しては，グローブ領域外にまたがるパスを持つ 2 つのノードは別々の指にあり，その間の三次元距
離は変わると想定されるためである．と仮定できるように，十分に近いドットだけを近傍に指定する必要がある．
従来研究において pij は以下のように算出された [9]．
モデルグラフ上のドット i の色を ci とし，i の近傍で4. ドットの識別あるノードを i′ ∈ N M (i) とする．同様に，データグラ

4. 1 姿勢不変特徴量

フ上のドット j の色を cj とし，j に隣接するノードをドットの識別は，(1) ドットの色，(2) 隣接するドットの色，(3) 隣接するドットとの距離に基づいて行う．
ドットの識別は，データグラフに含まれるひとかたまりの部分モデルとモデルグラフとのマッチングを行う処理として実現される．ここでは，ドット間の三次元距離がグローブの伸縮によってもほぼ変わらないと仮定している．手の姿勢変化が起こってもドットの色とドット間の相対的な位置関係は変わらない．色と距離を手の姿勢に不変な特徴として抽出し，マッチングを行う．この仮定の下で，モデルグラフのノード i がデータグラフのノード j に対応する確率 pij を計算する (図 3)．

j ′ ∈ N D (j) とする．また，色 ci と cj の距離を dst(ci , cj )とすると，pij は定数 σc を用いて以下のように表すことができる．
∏pij = cij
max ci′ j ′(1)j ′ ∈N D (j)i′ ∈N M (i)()
dst(ci , cj )2
cij = exp −2σc2
従来研究で提案されている pij の算出方法 [9] では，画像上での隣接関係を利用しており，近傍関係が確定的に抽出できないときには，この近傍ノードはドットの識別に利用しないという方針を採用している．また，近傍との距離は考慮されない．
これに対して，本研究では，三次元空間中の距離を用i’いている．これにより，ノード間の隣接関係を 2 台のカj’

dii’

djj’

ijModel graph

Data graph

図 3 姿勢不変特徴量によるドット識別メラからでも効率的に求めることができる．

ii′ 間の距離を dii′ とする．同様に，jj ′ 間の距離を djj ′とする．我々の提案する三次元近傍情報を含んだ pij は，定数 σd , dth を用いて以下のように表すことができる．
∏pij = cij
max φ(dii′ , djj ′ )ci′ j ′(2)j ′ ∈N D (j)文献 [9] には，ドットの持つ情報量の計算方法が与えられている．本研究ではドットの色の数は 11 色としたので，1 つのドットは log2 11 = 3.5[bits] の情報量を持つことになる．グローブ上にはおよそ 1000 個のドットが配置されているので，それぞれの点を一意に特定するにはlog2 1000 = 10.0[bits] の情報量が必要となる．それぞれのドットが N 個の近傍を持っているとし，それぞれの近傍に区別がないのであれば，あるドットとその近傍が与える情報量は (N + 1) × 3.5 − log2 N [bits] となる．N >=3であれば，1000 個のドットを一意に特定できることになる．
従来手法のように，画像上のドットの並びで近傍を識別する場合には，それぞれの近傍に区別をつけることは難しかった．アフィン変形されたパターンを観測する画像からは，近傍である以上の情報を抽出することができなかったためである．それに対して，我々はあるドットi′ ∈N M (i)()||dii′ − djj ′ ||2φ(dii′ , djj ′ ) = exp −2σd2
pij は，i と j の色が一致し，i′ ∈ N M (i) と j ′ ∈ N D (j)が等距離に同じ色として観測されるときに，最大値を取る．適当な閾値 dth を設定することで，画像上で隣接する領域以外の領域も参照して，確率を計算する．

4. 2 モデルマッチングによるドット識別得られる pij から行列 P を作成する．行列 P から対応付けは winner-takes-all のアルゴリズム [10] によって得られる．データグラフ上のあるノードは，モデルグラフ上で高々1 つのノードと対応が与えられる．すでに対応点を持つノードには，他に対応するノードは与えれられない．このアルゴリズムは，モーションキャプチャシス
テムにおいて，各画像で得られるマーカ位置を統合するのによく用いられる．手順は以下のとおりである．

（ 1 ） (i, j) = argmax pij を満たす (i, j) の組を得る．
i,j（ 2 ） pij > 0 であれば，(i, j) を対応する組として登録する．そうでなければ，処理を終了する．
（ 3 ） ∀k pkj ← 0 ， ∀l pil ← 0.

不変な特徴量であるといえる．
実験では，ドットの識別が完全ではなかった．しかし，手の三次元位置および姿勢を特定するためには，必ずしもすべてのドットが正しく識別されている必要はない．
手の多関節モデルがあれば，これをデータにフィッティ（ 4 ） (1) から (3) を繰り返す．

ングさせることで位置・姿勢推定ができると考えられる．

5. 実 験 結 果

この識別率で手の三次元位置・姿勢が推定できるかどう

ステレオカメラの解像度は 640 × 480 であった．2 つかは，今後の研究で明らかにしなければならない．のカメラは 1 枚のプレートの上に取り付けられ，あら識別率の向上のためには，サイズを小さくしてドットかじめ校正した．sth = 30，vth = 200，dth = 20[mm]，の密度を上げて，十分な数の近傍が観測される必要があ

σc = 7.5，σd = 200[mm] とした．
図 5 にドットの識別結果を示す．図 5(a) がモデルグラフ作成のためのステレオ画像のセットである．この画像から得られたモデルグラフを基に，図 5(b) から (d) の各フレームで得られるデータモデルの各ドットに対する識別を行った．図 4 に，データグラフ上で識別されたドットのうち，正しいドットとして識別されたドットの割合を示す．我々の提案する φ の有効性を示すために，φ を用いた場合 (式 (2)) と，φ を 1 として近傍であることのみを使った場合 (式 (1)) の割合をそれぞれ示した．

る．また，この小さなドットを抽出できるようにカメラ

100(%)

8061.260
4056.8
38.2

32.7

23.2

20

11.9

5.7

10.4

0
#61

#117

#153#210

Frame
Without φWith φ

図 4 ドット識別結果

いずれのフレームにおいても，φ を用いた場合に識別率が高くなっており，φ の導入が有効であることが確かめられた．しかし，自己隠蔽の多いフレームにおいては，ドットの識別率が低い．特に指先においては，ドットの識別率が低いことが図 5 から見て取れる．これは，指先では近傍となるドットの数が十分でないためである．
これを解決するためには，ドットのサイズを小さくしてドットの密度を上げ，これを抽出できるようにカメラの解像度も上げる必要がある．

6. ま と め
本研究では，手表面の特徴点を，(1) 特徴点自体の色，(2) 近傍の特徴点の色および (3) 近傍特徴点との距離によって識別した．ステレオカメラによって，それぞれの特徴点の三次元位置を抽出した．グローブ上のドットは，我々が提案する三次元的な近傍情報を含む特徴量によって，従来の特徴量を用いたときよりも精度よく抽出することができた．近傍情報を用いた特徴量は，手の姿勢にの解像度も上げる必要がある．将来的には，手のテクスチャを使ってグローブなしでの手の位置・姿勢を獲得したい．
文献[1] H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto,and K. Tachibana, “Virtual object manipulation
on a table-top ar environment,” Proceedings ofthe International Symposium on Augmented Reality(ISMR2000), pp.111–119, 2000.
[2] J. Pilet, V. Lepetit, and P. Fua, “Fast non-rigid
surface detection, registration and realistic augmentation,” International Journal of Computer Vision,
vol.76, no.2, pp.109–122, 2008.
[3] T. Lee, and T. Höllerer, “Initializing markerless tracking using a simple hand gesture,” Proceedings of theIEEE/ACM International Symposium on Mixed andAugmented Reality (ISMAR), pp.259–260, November
2007.
[4] H. Guan, J.S. Chang, L. Chen, R.S. Feris, andM. Turk, “Multi-view appearance-based 3d hand poseestimation,” Proceedings of the IEEE Conference on
Computer Vision and Pattern Recognition Workshop,
pp.154-159, 2006.
[5] B. Stenger, A. Thayananthan, P.H. Torr, andR. Cipolla, “Model-based hand tracking using a hierarchical bayesian filter,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.28, no.9,
pp.1372–1384, September 2006.
[6] J. Starck, and A. Hilton, “Surface capture forperformance-based animation,” IEEE ComputerGraphics and Applications, vol.27, pp.21–31, 2007.
[7] M. Minoh, H. Obara, T. Funatomi, M. Toyoura, andK. Kakusho, “Direct manipulation of 3d virtual objects by actors for recording live video content,” Second International Conference on Informatics Research
for Development of Knowledge Society Infrastructure(ICKS’07), pp.11–18, January 2007.
[8] I. Guskov, S. Klibanov, and B. Bryant, “Trackablesurfaces,” Proceedings of the ACM SIGGRAPH /Eurographics symposium on Computer animation,
pp.251–257, 2003.
[9] R. White, K. Crane, and D.A. Forsyth, “Capturing and animating occluded cloth,” Transaction onGraphics, vol.26, no.3, 2007, Article 34.
[10] V. Scholz, T. Stich, M. Keckeisen, M. Wacker, andM. Magnor, “Garment motion capture using colorcoded patterns,” Computer Graphics Forum, vol.24,
no.3, pp.439–448, August 2005.

Incorrectly matched Correctly matcheddots with φdots with φIncorrectly matched Correctly matcheddots without φdots without φ

Data images(a) Model images(b) 61st frame.
図5(c) 117th frame.

(d) 153rd frame.

(e) 210th frame.

データグラフとモデルグラフのドット識別結果．(a) モデルグラフを生成した 2組のステレオ画像．(b)∼(e) ドット識別結果．1 段目はデータグラフを生成する
ステレオ画像のうちの 1 枚．2 段目，3 段目は φ を用いずにドットを識別した
結果．2 段目は正しく識別されたドット，3 段目は正しく識別されなかったドッ
ト．4 段目，5 段目は φ を用いてドットを識別した結果．4 段目は正しく識別されたドット，5 段目は正しく識別されなかったドット．