AR-Breaker：：カメラでカメラで位置姿勢情報を取得するデータグローブ
黒田年彦†

健†

大橋

AR-Breaker は、曲げセンサを用いたデータグローブに USB カメラを装着したものである。これは、AR 技術を用いたアプリケーションでの利用や、複数人での同時利用等を想定して開発された。グローブ上のカメラから AR 用のマーカを撮影することでマーカ座標系に対するグローブの相対的な位置姿勢情報を得る。これと指の曲げ情報を組み合わせることで、手の動きを獲得することができる。
一般のデータグローブ製品と比較して低コストであることも特徴である。今回は当デバイスを利用して AR オブジェクトとして表示させたピアノを演奏するというデモを作成した。

AR-Breaker : A Data-Glove with Camera using AR-Technology
TOSHIHIKO KURODA†

TAKESHI OHASHI†

AR-Breaker is a data-glove which consist of bend sensors and an USB-camera. This device is assumed
to use the applications that are using the AR technology and the simultaneous utilization in multiple people, etc.
Using AR-Technology, relative positional information of the glove on the marker coordinate system is obtainedby the taking a picture of the marker from the camera on the glove. The postural information of the hand can beacquired by combining the positional information and the bend information of the fingers. This data-glove ismore low-cost than general ones. We made a demonstration that is playing the virtual piano using the dataglove.

1.

はじめにきさなどにあわせて適宣切り分けて貼り付け、その上に曲げセンサ、USB 接続の Web カメラ及びその台座、

データグローブ[1]とは手に装着して指の曲げや手Gainer mini を取り付けている。現時点での材料費は 1の動きをトラッキングする装置である。通常は PC 操

着あたり約 18000 円である。動画のデモでは、ユーザ作用の入力インターフェースや、VR システム用の入視点画像を撮影するために、更にカメラを利用してい力デバイスとして使われることが多い。おもしろいデる。このシステム全体の概要を図 2 に示す。
ソフト

バイスではあるのだが、一般的には数万－数百万と高2.2価なデバイスであり、ゲームやデジタルアート等の一メインの開発言語として processing、マーカ座標系般向けインタラクティブコンテンツで利用されること取得用の AR ライブラリとして NyARToolkit を使用しは少ない。そこで今回は、他方式の製品より比較的安ている。

価に製作でき、複数人の同時使用、AR 技術[2]を用いたアプリケーションでの利用等を想定したインタラク
ティブ指向の強いデータグローブ, AR-Breaker を開発した。

3.

処理の流れ

システムの処理の流れは以下の通りである。
①グローブに装着したカメラから AR 用マーカを撮影

2.

開発と実装

2.1

ハード

ハードは、センサ制御用の I/O ボードとして Gainer②AR ライブラリによってマーカ座標系を計算③マーカの傾きや processing 座標系でのマーカの中心点の座標などの情報からマーカ座標系におけるカメラの座標と傾き＝グローブの位置姿勢を逆算

mini、マーカ撮影用の USB 接続の Web カメラ、指の④別のカメラ（ユーザ視点）からグローブとマーカを曲がり具合を検出するための曲げセンサ（曲率可変抵撮影し、マーカ座標系・グローブの位置姿勢などの情抗）で構成されている。完成したデータグローブの画報をもとに CG をカメラ画像上にオーバーレイ表示

像を図 1 に示す。市販の軍手にマウスパッドを指の大システムの把握には、同時にデモ動画を参照していただきたい。

† 九州工業大学大学院情報工学府

Kyushu Institute of Technology Graduate School of Computer
Science and Systems Engineering情報処理学会 インタラクション 2011

図1 AR-Breaker

図3 PIANO 実演中の様子揺れ。カメラが静止状態であっても、蛍光灯の明滅などの影響で発生する。）の影響で CG の表示がブルブル震えて安定しないという問題があったのだが、現在は、『スクリーン上の XY 座標系における、マーカ 4隅の座標値の移動量の合計がある一定値を超えない場合は、マーカ座標系の情報を更新しない。』という条件を導入することで改善した。
現状ではマーカを捉えられるように意識して手を動かさねばならないため動作の自由度は低い。そのためグローブを動かしうる位置にマーカを複数配置する形
図2 システム全体の概要にすることで、グローブ位置トラッキングの冗長性が向上する。また、手を早く動かそうとすると画像がブ

4.

デモ作品「」の製作
デモ作品「PIANO」

レて座標系演算がうまくいかなくなる。これに対しては高いフレームレートで動作するカメラを使用すればAR-Breaker を使用したデモ作品として PIANO を製認識率の向上が期待できる。この目的に沿うカメラと作した。これはマーカ座標系に表示させたピアノのして、PS3 の周辺機器である PlayStationEye が最大CG モデルに、グローブ位置上に表示させた手の CG

120fps で動作し安価である。これを導入することでシを介して接触し、演奏するという AR アプリである。

ステム全体としての動作性の向上及び更なる低コストシステムとしては、AR マーカからグローブの位置化を図りたい。

姿勢を推定し、ヘルメットに取り付けたカメラからのローカル環境で複数人で同時に協調作業をするタイ

ユーザ視点映像上に AR オブジェクトとしてピアノとプのアプリの開発（例えば今回作成したデモ PIANO

手の CG（グローブの指の曲がりに反応して手の CGの 連 弾 バ ー ジ ョ ン 、 積 み 木 遊 び 、 AR ジ ェ ン ガ 、の指も曲がるようになっている。）を表示させ、ピア

3DCG のモデリング、住宅模型・製品モックアップ等

ノと手の間で都度接触判定を行い、接触していたらピの 3D モデルの共同製作（企画会議などでの利用を想アノの CG を接触分だけ押下させ、押された鍵盤に応定。）、その他メディアアート作品など。AR には拘らじた音を出す、という処理を行なっている。

ず、VR デバイスとしての利用も想定している。）、同実演中の様子は図 3 及び動画で示している。デモでは別途用意したカメラをヘルメットに取り付け、グローブとマーカを同一画面に映しこむ必要がある。なお、ピアノの音源にはフリーの VST プラグインである
Prova を使っている。

5.

考察と今後の課題
考察と今後の課題

開発当初は、ジッター（毎フレームごとにキャプチャ画像からマーカ座標系を演算する場合の演算結果の様にネットワークを介して複数人で協調作業するタイプのアプリの開発を今後予定している。

参考文献

1) Sturman, D.J., Zeltzer, D. : A survey of glove-based
input, Computer Graphics and Applications, IEEE,
vol.14, pp.30-39 (1994)
2) ARToolKit, http://www.hitl.washington.edu/artoolkit/