第 15 回日本バーチャルリアリティ学会大会論文集 (2010 年 9 月)

一般家庭への普及を考慮した
イメージベースデータグローブの検討
A Study for Image Based Data Glove to Use at Personal Home山本三四郎 1) ，舟橋健司 2)

Sanshiro YAMAMOTO and Kenji FUNAHASHI
1) 名古屋工業大学工学研究科（〒 466-8555 愛知県名古屋市昭和区御器所町, sanshi@center.nitech.ac.jp）

2) 名古屋工業大学 情報基板センター（〒 466-8555 愛知県名古屋市昭和区御器所町, kenji@nitech.ac.jp）

Abstract : Data gloves are widely used interface device in virtual reality. But they are not use
at personal home because of expensive interface, also inexpensive data gloves are not accurate
measurements, for a small number of sensors. In this paper, we propose Image Base Data Glove(IBDG) as an inexpensive data glove for spread to home. Our system uses monocular camera,color markers for each ﬁnger and AR marker on the palm for estimating hand 3D-conﬁguration. Inaddition, hand conﬁguration is calculated by inverse kinematics. IBDG use only monocular camera
and a few markers with structural constraints of hand. We will be used to IBDG as a low costinterface device at home.
image based data glove, structural constraints of the hand, inverse kinematics, perKey Words:
sonal use

1.

はじめに推定を可能にし、安価かつユーザへの負担の少ないイメー

データグローブはバーチャルリアリティ(VR) の分野におジベースデータグローブを実現する。また、文献 [3] は安価いて幅広く使用されている入力装置である。しかし、デーかつユーザへの負担は少ないが、手全体をカラーグローブ

タグローブは高価なインターフェースであるため一般家庭で覆うためデータグローブとの併用は難しいと思われるが、への普及は困難である。比較的安価なデータグローブも存本手法では指先にマーカーを取り付けるだけで使用できる在するがセンサー数が少なく、全ての関節角度を計測できためセンサー数の少ないデータグローブとの併用も問題なない。そこで本研究では、データグローブの一般家庭へのく、容易に精度や性能を向上させることが期待できる。

普及を目的に、センサー数の少ない安価なデータグローブを補助するデバイスの開発を目標とする。

手指の構造上の拘束条件

2.

本論文では、研究の第一段階として独立したシステムで本手法では、カメラ 1 台と各指先、および手のひらのマーも動作可能なイメージベースデータグローブ (IBDG) を提カーからの情報で指先と手首の 3 次元位置の推定を行う。し案する。これまでにも、カメラ画像を用いて手指の姿勢をかしこれらの情報だけでは一意に推定を行うことが困難で計測・推定するデータグローブに関する研究が行われていある。そこで、手指の構造上の拘束条件を指先の位置推定、る [1, 2, 3]。しかし、文献 [1] ではカメラを 2 台用いている手指の各関節の角度の推定に活用することを考える。

ためカメラキャリブレーションを行う必要があり、文献 [2]2.1

指関節の構造では手にカメラを固定する必要があるため、腕への負担が手指の関節は、図 1 のように親指の IP 関節および MP大きい。一般家庭へ普及させるにはユーザへの負担を軽減

関節に 1 自由度、CM 関節に 2 自由度の計 4 自由度を持ち、させる必要がある。そこで IBDG では、カメラ 1 台と各指他の４指の DIP 関節および PIP 関節に 1 自由度、MCP 関先、および手のひらのマーカーからの情報で指先と手首の節に 2 自由度の計 4 自由度を持つ構造をしている。

3 次元位置を推定し、逆運動学を用いることで手指の各関また、指の関節は際限なく自由に曲がるわけではなく、実節の角度を推定する。本手法では推定に手指の構造上の拘際は可動範囲がある。可動範囲は人により異なり、単純に束条件を活用することで少ないカメラ、マーカーでの位置決められるものではないが、範囲が限定されていれば角度の平の位置と向きの情報である。もう１つは指先の色マーカーより得られる画像中の指先の位置情報である。なお、

ARToolKit マーカーは指で隠れにくいように手のひら下部に取り付け、指先の色マーカーは指先全体を覆うように取り付ける (図 3)。

図 1: 指関節の構造推定は容易である。そこで各指に対応する可動範囲を知識と経験に基づいて設定する (表 1)。
図 3: 各マーカーの位置

表 1: 各指の関節角の可動範囲

IP掌側MP橈側

処理を容易とするために、異なる色マーカーをそれぞれの指先に対応させる。まず、HSV 色空間において各色マー0◦ ∼ 80◦

0◦ ∼ 60◦0◦ ∼ 90◦0◦ ∼ 60◦

DIPPIPMCP

内転・外転

示指0◦ ∼ 80◦

0◦ ∼ 100◦0◦ ∼ 90◦−20◦ ∼ 20◦

る。カメラ画像の各画素の HSV 値で LUT を参照すること

中指

0◦ ∼ 80◦0◦ ∼ 100◦0◦ ∼ 90◦−20◦ ∼ 20◦

により色マーカーの対象領域を抜き出したマスク画像を作

環指0◦ ∼ 80◦

0◦ ∼ 100◦0◦ ∼ 90◦−20◦ ∼ 20◦

小指0◦ ∼ 80◦

0◦ ∼ 100◦0◦ ∼ 90◦−20◦ ∼ 20◦

母指2.2

カーに対応する色領域にラベル付けをした LUT を作成す成する。このマスク画像にモルフォロジー変換の縮退処理によるノイズ除去を行った後、各色マーカーの領域の重心点を算出し、画像中の指先の位置とする。重心点の計算は画素単位で式 1 により行う。

指関節間の依存関係

各指の関節は個々に独立して曲がるわけではなく、相互∑num(x, y) =に影響し合い曲がる。同じ指における各関節角度の間には• MCP 関節、PIP 関節の関節角度には S 字型の相関• PIP 関節、DIP 関節の関節角度には比例の相関関係            ) %$ & ' (   

ARToolKit はカメラでキャプチャすることで画像中のマーカーの各辺の傾き等からカメラに対するマーカーの位置と姿勢を計測することができる。本手法では手のひらの位置と姿勢を計測するセンサーとして利用する。

      

ク画像における各色マーカー領域の画素数、点 (xi , yi ) は各色マーカー領域の画素のウインドウ座標を表す。

関係 (図 2 左)[4](1)

点 (x, y) は重心点のウインドウ座標を表し、 num はマス次のような依存関係がある。

(図 2 右)[5](xi , yi )numi=1

マーカーから画像中の指先の位置、手のひらの位置と姿勢の情報を読み取り, カメラと色マーカー領域の重心点とを結んだ直線 L (式 2) を求める (図 4)。

      !  $ %$ &!' (       " # 

図 2: MCP 関節と PIP 関節の S 字型の相関関係 (左) とPIP 関節と DIP 関節の比例関係 (右)ここで親指の関節の構造は他の 4 指とは異なり、これらと比べ複雑な動きをするため一意な依存関係を定めることが困難である。そこで本論文では、親指の運動は考慮せず姿勢は固定とし、他の４指の姿勢推定を行うことにする。

          
図 4: カメラと色マーカー領域の重心点とを結んだ直線

3.

手指の姿勢推定

3.1

特徴量抽出

cx + t e x

L =  cy + t e y (2)cz + t e z

本手法ではカメラ画像から次の２つの情報を得る。１つ

ここで t は媒介変数を表し、点 C = (cx , cy , cz ) はマーカー

は ARToolKit マーカー [6] より得られるカメラに対する手座標系におけるカメラの位置、e = (ex , ey , ez ) はカメラから色マーカーの重心点への単位ベクトルを表す。図 4 での点 (x, y) はウィンドウ座標系における色マーカーの重心点の座標、点 F = (fx , fy , fz ) はマーカー座標系における色マーカーの重心点の座標を表す。
式 2 よりマーカー座標系における各色マーカーの重心点

F を含む直線が計算できる。しかしこのままでは点 F を決定出来ない。そこで、前節で説明した手の拘束条件を利用して直線から点への推定を行い点 F を求める。

3.2

指先の 3 次元位置推定

指先の 3 次元位置の推定には順運動学を利用する。順運動学は関節角から指先の位置を求める計算手法である。指の運動が図 2 に示した相関関係に基づいて行われると仮定した場合、指先は一定の曲線上を移動する。この曲線を以後、指先の軌跡と呼ぶことにする。本手法では、指先はこの相関関係に基づき指先の軌跡の近くに存在するものと仮定して推定を行う。
図 5: CCD 法を用いた逆運動学

この指先の軌跡と式 2 の直線 L 間の距離が最短になる 2点を求め、そのときの直線 L 上の点を指先の 3 次元位置として決定する。しかし、指先の軌跡は 3 次元空間における5. 関節 c の親である関節 b において 2. から 4. を繰り曲線となるため、この問題は 3 次元空間中における直線と返す。以上をルート関節 a まで繰り返す。

曲線の問題になり解を求めるのが困難である。そこで指先6. 指先と目標位置との距離が閾値以下になるか、設定さの軌跡を複数の線分で近似することで、直線と線分の距離れた反復回数を越えるまで 2. から 5. を繰り返す。

を解く簡単な問題とし解を求める。

3.3

逆運動学による手の姿勢推定

また CCD 法には一度に関節が大きく移動しないよう

本節では前節で推定する指先の 3 次元位置から各関節角をに damping (粘性減衰) を付け加えることができる。この逆運動学を用いて推定することで手の姿勢推定を行う。手のdamping に図 2 の相関関係を近似的に与えることで滑らか姿勢推定には、いくつかある逆運動学の解法のうち Cyclic-な指の動きを再現する。

Coordinate Descent(CCD) 法 [7] を用いる。
CCD 法はエンドエフェクタとゴールの距離を最小化する

4.

実験

最適化問題を反復して解くことで解を求める計算手法であ

前述のモデルによる実験システムを、CPU: Dual-Coreる。この手法は反復 1 回あたりの計算コストが小さく、前AMD Opteron(tm) Processor 1210 1.8GHz、メモリ: 1GB

時刻での姿勢から次の時刻における姿勢の推定を行うための環境で C++ 言語により実装した。使用したカメラは、時系列データで手の姿勢推定を行う本手法において有効でBUFFALO 社製の USB カメラ BSW20K04GM を画像サあると考えられる。

イズ 640 × 480(30fps) で動作させた。実験の様子と手指の次に CCD 法の計算手順について説明する。図 5 におい

形状推定の結果を図 6、図 7 に示す。て指先 (エンドエフェクタ) e を目標位置 (ゴール) g まで移動させる場合は以下の計算手順で計算を行う。

1. 先端の関節 c から指先 e へのベクトル E と c から目標位置 g へのベクトル G を算出する。

2. 1. で求めたベクトルを正規化し、E から G への回転角を算出する。

3. 関節 c の関節角に 2. で求めた回転角を加える。このとき、関節の拘束条件を満たすために関節の可動範囲と新しく得られた関節角を比較し、可動範囲を越えているならば関節角の値を可動範囲の上限 (あるいは下

図 6: 実験の様子限) となるように変更する。

4. 新しく得られた関節角における指先の位置を算出し、実験の結果から、どの手指の姿勢推定の結果もカメラ画

指先と目標位置との距離が前のものよりも大きくな像に対応する自然な手指の姿勢が推定されていることが確る場合は前の関節角の値に戻す。

認できる。また処理速度を計測した結果、平均 29.6fps で処図 7: 実験の結果理できており十分な速度で推定が行えている。これより本[2] Vitor F. Pamplona, Leandro A. F. Fernandes, Joao

グローブシステムは、様々な処理の必要な VR システムのPrauchner, Luciana P. Nedel and Manuel M. Oliveira:

デバイスとしての利用も可能であると考えられる。

The Image-Based Data Glove, Proceedings of X Symposium on Virtual Reality (SVR 2008), Joao Pessoa,

5.

むすび

2008. Anais do SVR 2008, Porto Alegre: SBC, 2008,も動作可能な IBDG を提案した。実験システムは、手の拘(ISBN: 857669174-4). pp. 204-211.
[3] Robert Y. Wang and Jovan Popovic：Real-Time束条件と逆運動学に基づき少ないカメラ・マーカーで手指Hand-Tracking with a Color Glove, ACM Transac-の姿勢を推定し、自然な手の動きを再現することが可能でtion on Graphics (SIGGRAPH 2009), Vol. 28, No. 3,

本論文では研究の第一段階として、独立したシステムである。
今後の課題としては、親指に適切な拘束条件を適用し姿勢推定することで、手の姿勢の自然さを向上させること、指先のマーカーが隠れた場合に時系列データから指先の位置を予測し、マーカーが隠れた場合の姿勢推定の問題を緩和することなどが挙げられる。

IBDG をセンサー数の少ない安価なデータグローブの補助デバイスとして利用することで、一般家庭でも容易に購入できる価格帯のセンサー数の少ないデータグローブで仮想物体の把握などの操作が可能になる。また、当研究室で開発中の VR ネットショッピングシステム [8] などの製品・サービスの利用も可能になる。

参考文献[1] 藤木 隆司, 吉本 廣雅, 有田 大作, 谷口 倫一郎：ヒューマンインターフェースのための実時間手形状計測, 火の国情報シンポジウム 2004(CD-ROM).

2009.
[4] 市川 亮：物体の把握・操作時における指関節の動きモデル, 和歌山大学学士学位論文, 2002.
[5] ELKOURA G and SINGH K：Handrix：Animating

the Human Hand, Proceedings of the 2003 ACM SIGGRAPH/Eurographics Symposium on Computer Animation, 2003.
[6] 加藤 博一, Billinghurst Mark, 浅野 浩一 他: マーカー追跡に基づく拡張現実感システムとそのキャリブレーショ
ン (「複合現実感」特集), 日本バーチャルリアリティ学会論文誌, Vol. 3, No. 1, pp. 607-0616, 1998.
[7] Chris Welman: Inverse kinematics and geometricconstraints for articulated ﬁgure manipulation, M.Sc
Thesis, Simon Fraser University, 1993.
[8] Kenji Funahashi, Yuuta Kuroda, Masumi Mori: A
Study for Touchable Online Shopping System with
Haptical Force Feedback, Proc.ICAT2008, pp.297300, 2008.