簡易モーションキャプチャセンサDigitEye3D とインタラクティブシステムへの応用
＊

＊＊

＊

片寄 晴弘

金森 務

＊

平井 重行

＊

坂口 貴司

＊

井口 征士

＊

イメージ情報科学研究所 ＊＊和歌山大学＊〒565 豊中市新千里西町1-1-8＊
Tel 06-871-5730 Fax 06-871-5733
katayose@sys.wakayama-u.ac.jp
http://www.sys.wakayama-u.ac.jp/˜katayose/

モーションキャプチャーに対するニーズはアート・ホビーなどパーソナルな領域にも広がりつつある．この使用用途からは，多少分解能が落ちても安価・ポータブルで，リアルタイムに計測ポイントのトラッキングができるシステムの出現が望まれているが，現在までにそれに応えるシステムはほとんど存在していない．我々は，このような領域に合致するシステムとして，普及価格を１０万円以内に押さえることを目標に，１）単眼カメラを用いカメラ上に写った点光源の面積を用いて光源からカメラまでの距離を算出す
る，２）フィールド単位で点光源を切り替えていくことによって各点光源を識別するという原理に基づいたモーショキャプチャセンサDigitEyeの開発を行ってきた．本稿では，DigitEyeの技術的仕様とアプリケーションシステムを紹介する．

Portable Motion Capture Sensor DigitEye3Dand Its application to Interactive Systems＊＊＊Haruhiro Katayose, ＊Tsutomu Kamamori, ＊Shigeyuki Hirai,＊Takashi Sakaguchi and ＊Seiji Inokuchi＊L.I.S.T. ＊＊Wakayama University＊
Daiichi-Kasai bldg., Toyonaka, Osaka, 565 JAPANNeeds of motion capture system is spreading in the personal art or hobby field. The use in this area
requires cheapness and portability rather than high resolution measurement. We have been developing a motion capture sensor named DigitEye which can be available within 100,000 yen at thestage of mass-production. Principles of DigitEye are 1) Acquisition of distance data based on thelighting area in a camera, 2) Identification of the lighting point by time-sequence drive. This paper
describes tehnological specifications of DigitEye and some applications.

１．はじめにを一意に絞ることができる．前者は，単位時間当映画やTVコマーシャル，ゲームなどの分野におたりの計測ポイント数をあげることができる反いてアニメーティッドＣＧが大量に生産される時代面，実時間でのトラッキングが難しいとされる．になっており，モーションキャプチャシステムに対後者は，ソフトウエア的な処理が軽減できる反するニーズがますます高まっている[1][2]．

面，計測ポイントを増やしたい場合には，時分割モーションアナリシス社のシステム等，大手のコを高速に行う必要がある．

ンテンツメーカーで利用されているシステムは高精

一般的に画像処理による位置認識は映像信号を度で計測できる，非接触であるという特長の一方フレームバッファメモリ内に展開し，そのピクセで，非常に高額である，計測ポイントのトラッキン

ル情報から求める方法がとられるとこが多い．こグに，一旦，オフラインの計算が必要となるというの方法では大量のデータを高速に処理するための制約があった．安価な実現が期待できる簡易な方式

ハードウェアが必要になる．DigitEye3D はフレー

としては，二台のPSDカメラによるものや，三本のムバッファメモリを持たず，汎用のシングルチッCCDラインセンサによる研究がある[3][4][5]．これ

プコンピュータで制御された標準ロジックで構成

らはいずれもカメラやセンサの出力をADコンバーされ，さらにこうした問題を回避するために以下タを持つパーソナルコンピュータで処理をする構成の処理に基づいて動作している．になっておりシステム簡略化の余地を残している．

(1) 同期信号を分離した映像信号を直接二値化

我々は普及価格を１０万円以下を設定して，一台し，走査線上での光源の始点と終点の位置情報をのCCDモノクロカメラでリアルタイムに複数の光得る．次にこれらの垂直同期信号と水平同期信号源の三次元位置を認識する，三次元簡易モーションに対する時間計測を行い，光源の輪郭情報を取得

キャプチャとしてDigitEye3D の開発に取り組んでし，この重心を求めて二次元情報とする．

きた[6][7]．DigitEye3D は，１）カメラ上に写った(2) 複数の赤外線光源を垂直同期信号に従って能

点光源の面積から光源からカメラまでの距離を算出

動的に制御し，フィールド毎に順次一個ずつ点灯する，２）点光源をフィールド単位で切り替えていさせる．これにより1フィールドで観測される光源くことによって各点光源の判別を行うという原理に数は常に1個になり対応付け問題を回避している．

より動作するモーションキャプチャセンサである．

(3) 全方位にわたって発光強度が一定な球状発光

以下，DigitEye3Dの概要と技術的仕様について述

体を光源にすることで映像上での面積から奥行きべ，具体的アプリケーションを紹介する．

情報を取得する．
このような処理を行うことで，極めてシンプル

２．画像計測に基づいた動作計測なハードウエア構成をとることができる．尚，各画像計測に基づき，特定点の三次元的な動きを追ポイントの時間分解能は，ポイント数× 16.7ms

跡する手法としては，ステレオ法の応用に分類され（フィールド周期）で計算される．DigitEye3D の外るものが多い．計測したいポイントにシールあるい観を図１に示す．

は発光マーカーを装着し，２台以上のカメラを用いてそのポイントをとらえ，三角測量に基づいて位置の計算を行うという手続きが取られる．複数ポイン
トのトラッキングを行う際には，どのポイントを着目しているかを一意に決定する必要がある．計測ポイントを受動的に計測する場合，エピポーラ制約を用いるものや，マーキングポイントのカラーリングによってそれぞれのポイントを識別するというものがある．発光マーカーを能動的に制御できる場合では，時分割駆動により，１シーン中の発光ポイント

図１ システムの外観（指輪状のLEDユニットを利用した場合）

３．DigitEye3D の構成
図２にシステムの構成図を示す．システムは赤Infrared LED(near)

外線透過フィルタを装着したCCDモノクロカメ

Infrared LED(far)ラ，映像信号から位置認識を行うDigitEye3D本Threshold line体，複数の赤外線球状発光体から構成されていIntensity level

る．CCDモノクロカメラは通常赤外領域で高感度
detected Areaな特性を持つ．システムではレンズ系にも赤外線(a)Threshold line

(c)

(b)

(d)

光源だけを選択的に透過するゼラチンフィルタを装着し，室内等の一般的な環境での使用を可能としている．
CCD Camera with Filter

図３．面積の利用による距離情報の取得
特定走査線上の輝度分布から閾値処理による発光エリアの取得，a)光源が近くにあり，ぼかさない場合，b)光源が近くにあり，ぼかした場合，c)光源が遠くにあり，ぼかさない場合，d)光源が遠くにあり，ぼかした場合

LALLSync. Detection
Hsync

Vsync
PeakDetection

L : Infrared LED
Sequential on

3.2

点光源の検出

カメラ映像信号上の背景画像はゼラチンフィルタ
Comparator

Control of light-on time
Calculation of the size of light area
Calculation of gravity

Output Port

Input Port
MICRO COMPUTERにより取り除かれ，光源はフィールド毎に一つの円として観測される．この円の重心を求めることによAATransmission of data

図２． DigitEye3Dの構成図

3.1

面積に基づいた距離の推定

これは，物体は，近くにあるものほど大きく見え，遠くにあるものほど小さく見えるという極めて単純な原理に基づいた距離の推定法である．レンズ系を調節し，計測空間を限定することで，カメラ中で観測される物体の大きさを，目的にあった精度で測定することが可能である．この方式では，物体の切り出しという問題があるが，近赤外LEDを用い，可視光カットフィルタをカメラに装着することで単純な閾値処理で安定に発光部分を取り出すことができる．
光源ははある程度大きさを持ったものが望まし
い．ここで使用している光源は球状発光体で内部り，二次元情報（カメラに対する光源の方向）を獲得し，面積に基づいて距離を推定する．光源の走査線上での位置情報を取り出すために適当なレベルでコンパレータにより二値化し，円の輪郭位置として水平同期信号からの時刻T1 , T2（24MHzでカウントアップ）を得る．光源を横切るすべての走査線からのT1 , T2についての相加平均から重心を求め水平位置としている．垂直位置は走査線が光源を横切り始めた線と終わった線の垂直同期信号からの位置の平均で求めている．また，それぞれT1 , T2の差分を加算することで面積を求め奥行き情報を得る（図４）．
No.1
No.2
No.3
No.4
No.5
No.6
No.7
No.8
No.9

ActiveActiveActiveに数個の赤外線発光ダイオードを持ち，発光強度

Line Of No.6

は支持棒を除く全方位にわたって一定に保たれてThreshold Levelいる．また，ぼかしフィルタの利用あるいは意識Video Signal

的に焦点をずらすことにより，距離に応じた相対Comparator Output的な面積というだけではなく，光量そのものを面積として観測することが可能となる（図３）．

T1

図４

T2

位置認識の原理

3.3の１個の光源を移動し計測した．カメラ軸を水平に点光源の時間制御

本システムで複数点のポイント識別は，時分割に固定したとき計測平面上の水平方向をX軸，垂直方基づくものである．同時性という観点からは完全な向を Y 軸，カメラ軸をＺ軸としている．図６は計測ものではないが，想定した使用条件からはさほど重平面上に50mm刻みの格子点を設定し光源を置いた要な問題にはならない．通常のカメラを用いた時分ときの測定結果である．周辺部ほど歪みが多くな割の最大スペックとして，ここでは，フィールド単り，この殆どはレンズ収差に起因すると考えられ位での赤外線光源の点滅制御を行なっている．このる．

ため，時間分解能は，ポイント数×16.7msで計算さY(mm)れる．以下，位置情報の送出までの動作を簡単に説300明する（図５）．システムは，映像信号の垂直同期200に基づいて，そのフィールド内で光源の点灯制御を100行う．それと同時に，映像信号上での発光点の検出0処理を行う．検出される発光点自体は，１フィール-100

ド前に点灯されたものである．

-200

映像信号の同期信号から直接的に，処理を駆動す-300るため，同期という問題を解消することが可能である．また，映像信号から直接発光エリアに関する計-300 -200-100

0

100

200

300

X(mm)

算を行うことで，フレームバッファーを必要としな

図６

二次元認識誤差

い構成となっている．これは高速カメラへの対応に発光体からカメラまでの距離を横軸に，計測されも有利な条件である．

た発光体の面積（クロック（24MHz）のカウント数
Fn-1

Fnにより算定）の平方根を縦軸にプロットしたものを

Fn+2

Fn+1Vsync

図７に示す．基本的に，この値と発光体からカメラ

Delay Time
LED On Timeまでの距離は反比例するものと考えられる．ここでCh3Ch2Ch1は，発光体が光軸の中央になるように配置していCCD Output
Data Read

Area
Culculation

る．この図からもわかるように，静止した状態では，
S[m-1]

S[1]

S[m]

S[2]

面積情報を利用することで，非常に正確に距離情報
DataOutput

O[m-1]

O[m]O[1]が推定できている．
60

図５．位置認識の原理

Sqrt of Area
平均最小最大50４．基礎特性
光源には，東芝製赤外線LED（TLN103A）８個を約４cmの半透明球体におさめたもの，カメラと4030

しては市販のモノクロCCDに焦点距離８mmのレンズおよび可視光カットのゼラチンフィルタを装着し20たものを用いて，以下の実験を行った．発光時間は1ms ，駆動電流は発光ダイオード１個にたいし約

10120011009001000700800600

5000400

はV25（8MHz,NEC製）である．

300

1A である．使用したシングルチップコンピュータ
レンズ主点から 700mm の位置でカメラ軸に垂直Distance (mm)

な面を計測平面と規定し，この平面上で４個のうち

図７．発光体からカメラまでの距離と面積の関係

次に，発光体をカメラの光軸からずらしていくこの可動域エリアを計測対象とする場合，カメラ水平とで計測される面積がどのように変わるかを計測し面で約0.6cm，奥行き方向約2.5cmの空間分解能を持た結果を図８に示す．ここでは，発光体とカメラまつ．

での距離を700mmに設定している．また，動特性200として発光体を800mm/sの速さで動かした時に観測100される面積についても示している．静特性・動特性-100

ともにレンズ系の収差等の問題の為，カメラの周辺X(mm)0-200

200で観測される面積が小さくなっているが，これにつ100

いては，カメラ上での光源重心位置の情報を用いる-100

0Y(mm)-200ことで補正が可能である．動特性に関しては，計測800

される面積が小さい，すなわち，距離が遠目に算出

600

700

Z(mm)500されるということが確認された．この原因として

400

は，カメラ上での発光体の流れが原因になっている

200

ことが明らかになっている．これに関しては，発光0300

1112131415161718191
101111121131141151
161
171
181191
201211

100

Amount of data

体の光量を上げ，発光時間を短くするというハードウエア的な改良の他，計測された物体の運動速度によるソフトウエア的な補正を行うことでの対処を予定している．

図93 軸動特性（傾斜平面）

５．アプリケーション
冒頭でも述べたように，DigitEye3Dはパーソナル

24な領域での使用が見込まれるモーションキャプチャ

Sqrt of Area

センサである．ここでは，DigitEye3Dを用いたアプ

22

リケーション例を紹介する．

20１）ブルース演奏システム（PlaytheDE）
18

PlaytheDEは，４点のモーショントラッキングを行ない，内，オンオフが可能な２つの発光ポイント

16

動的特性
静止平均
静止最小静止最大14を用いて，演奏を行うシステムである（図１０）．
３次元情報のうち，水平方向が音の高さ，鉛直方向

12250300200100150050-50-100-200-150-250-300

が音の大きさ，奥行き方向が音の出現頻度にマッピ
10Position from Camera Center (mm)

図８．カメラ光軸からのズレと測定される面積の関係ングされており，ユーザがスイッチを押したときにそれぞれの音色で発音するような構成をとっている．音の高さに関しては，単に位置情報をマッピン

最後にレンズ主点から600mmの位置で一個の光源をカメラから見て４５度傾けた形で，半径250mmの円運動をさせた出力結果を図９に示す．X
軸，Y軸は両回転速度において良好な結果を示している．Z軸は垂直な回転面で最大約30mmの非ランダム誤差が観測されている．
本システムの分解能は原理上，光学系・計測空間によって変化する．現状システムの分解能の目安
は，画面上縦横で256×256，奥行き方向で60程度である．カメラからおよそ1ｍ離れた位置での両手

図１０．PlaytheDEのユーザインタフェース

グするのではなく，ブルースや四七抜き音階などへ述べた．現段階では，第４節で述べたように，多少の変換を行っている．BGMを流しながら，ソロをの誤差が存在するが，ここで紹介したアプリケー演奏することも可能である．特別な知識や経験がな

ションにおける使用感覚としては，ほとんど違和感くても，感覚的に音楽を表現できるシステムであは感じられなかった．今後は，キャリブレーションり，子供から年寄りまで楽しむことができる．

機能を整備することで位置的なデータに対する精度

２）格闘型ゲームを高めたうえで，安価・ポータブルという特徴を生腕の動きの計測に基づいた対戦型のゲームである

かしたアプリケーションの開発を進めていく予定で（図１１）．このバージョンでは，単純な閾値処理ある．また，ハードウェア的には，倍速のカメラへでパンチの当たり判定を行っているが，運動のパの対応が可能であるので，その実装を行っていくとターンマッチング[8]を行うことで，より複雑な格ともに，発光点駆動の無線化を進めていきたい．

闘型ゲームへの展開が期待される．

参考文献[1]廣瀬通孝：バーチャルリアリティ , 産業図書 ,1993[2]美濃導彦：三次元人体形状モデルの作成，計測と制御 , Vol.36, No.2, pp.105-109, 1997[3]畑田豊彦，久米裕一郎，石川和夫， 視覚情報提示の研究， 平成 7 年度重点領域研究，研究成果
報告書，人工現実感の研究，pp.33-34,1996[4]白井暁彦，久米裕一郎，津田元久，畑田豊彦， 光
学的３次元位置検出法を用いたリアルタイム人間動作入力デバイス， 平成7年度重点領域研究，
図１１．格闘型ゲームを行っている様子

研究成果報告書，人工現実感の研究 ，pp.209-214,
1996３）指揮システム
棒の先端に光源を装着した指揮棒状のデバイスを用いた演奏システムである．動作から変曲点を抽出し，変曲点の間隔をテンポ，変曲点間の最大速度ないしは振り幅を音量に割り当てることで，指揮的な操作を実現している．正確な指揮法を再現するものではないが，上記のPlaytheDEとは異なった音楽的な体験を味わうことが出来る．本システムのセンサ以外の部分は２本指で演奏を行うことができるTFPというシステムと同一の機能を持たせたものである．詳しくは文献[９]を参照されたい．

６．まとめ
本稿では，１）カメラ上に写った点光源の面積から光源からカメラまでの距離を算出する２）点光源をフィールド毎に切り替えていくことによって各点光源の判別を行うという原理に基づいて構成したモーションキャプチャシステムDigitEye3Dについて[5]G.Bianchi , F.Gazzani and V.Macellari , "TheCOSTEL system for human motion measurement andanalysis,ﾓ SPIE Vol.1356 , Image-Based Motion
Measurement , pp.38-50, 1990
[6]片寄，金森：三次元位置認識方法および装置 , 特
許出願番号

特願平 8-47155 号 , 1996.

[7]片寄，金森，井口：簡易モーションキャプチャセ
ンサ DigitEye3D- 原理と基本特性ー , 電子情報通信学会論文誌 Vol.J80-D-II No.10, pp.2889-2892,
1997.
[8]片寄，平井，村尾，金森，井口：歌唱トレーニン
グシステム VSG の改良，インタラクション '97,
pp.143-147, 1997
[9]片寄晴弘，竹内好弘，上符裕一，井口征士：TFPの改良と教育利用における評価，情報処理学会，
音楽情報科学研究会研究報告 96-MUS-16，pp.2125, 1996