局所境界の移動方向予測値に基づく
実物体の高速な 3 次元形状復元
九州大学○岩下 友美, 倉爪 亮, 原 健二, 長谷川 勉

Predictive Load Balancing for 3D Model Reconstruction
Based on Estimated Target’s Moving Direction○ Yumi IWASHITA, Ryo KURAZUME, Kenji HARA, and Tsutomu HASEGAWA
Kyushu University
Abstract: This paper presents a method for fast 3D shape reconstruction of moving object based on predicted moving direction.
In this system, stereo cameras are installed around targets and the Fast Level Set Method is applied to stereo range data forrecoverying 3D model of the target. Tracking experiments of a moving target using the proposed method are successfully carried
out.

1.

はじめに多数台のカメラによりシーン内に存在する対象物体の全周の幾何情報及び光学情報を取得し，任意視点からの画像を生成する手法として，視体積交差法 1) と多視点ステレオ法 2) が提案されている．しかしこれらの手法は単一物体あるいはオクルージョンの生じない複数物体を対象とした手法であり，シーン内に複数物体が存在し物体間に相互オクルージョンが生じる場合，それぞれの物体形状を同時に復元することは困難であった．
この問題に対し，我々はこれまでに高速な境界追跡手法である Fast Level Set Method を複数ステレオ距離画像に適用し，複数対象物体の 3 次元形状をオクルージョンに頑強に復元するシステムを構築している 3) ．本報告では，FastLevel Set Method の特性に着目した動物体境界の移動方向推定手法を提案し，その応用例として，移動体を処理する計算機の計算負荷を低減することで，移動体の正確な 3 次元形状を遅れなく復元する手法を提案する．さらに，舞踊の測定実験により，対象が高速に移動しても，従来システムと比較してより正確な 3 次元形状の復元が可能であることを示す．

2.

Fast Level Set Method

2 次元 xy 平面上での Level Set Method(LSM) を用いた境界追跡法について説明する．本手法ではまず，平面上の各点 (x, y) において，時刻 t における補助関数 ψ(x, y, t) を導入し，境界位置 γ(x, y, t) は ψ(x, y, t) = 0 を満たす (x, y)で表すこととする．次に，ψ についての差分方程式を以下のように定義する．
n+1nn
ψi,j= ψi,j− F (i, j)|∇ψi,j|∆t

3. 並列 Fast Level Set Method 処理による高速な 3 次元形状復元
本章ではまずこれまでに提案した，複数対象物体の 3 次元形状をオクルージョンに頑強に復元するモーションスキャナシステムの試作機について概説する 3) ．次に物体境界の移動方向推定値に基づき，移動体を処理する計算機の計算負荷を低減することで，移動体の正確な 3 次元形状を遅れなく復元する手法を提案する．

3·1 複数対象物体を対象としたオクルージョンに頑強な
3 次元形状復元
Fig.1 に示すように，まず 3 次元ボクセル空間の周囲に複数台のステレオカメラを配置する．次にそれぞれステレオカメラが接続された 3 台の計算機（PC1-PC3) により，対象物体の同期した距離画像を取得し，得られた距離画像をFLSM 計算用の計算機へ送る．FLSM 用計算機では，まず3 つのステレオ計算用計算機から送られた距離画像の統合を行った後，複数距離画像に対して FLSM を適用し，対象物体の 3 次元形状を復元する．ただしここではボクセル空間を 4 つの領域に分割し，それぞれの空間に 1 台ずつ計算機を割り当て（PC4-PC7)，4 台で並列に FLSM の計算を実行する．最後に処理結果が表示用計算機 (PC8) に送られ，ボクセル空間全体の処理結果として統合，表示される．
PC1PC2

Stereocamera 2

PC3PC7PC4PC5PC6PC4PC6PC7PC5Stereo
camera 1PC8(1)3D voxel space

Stereocamera 3

PC cluster system

ここで，(i, j) は xy 平面上のグリッド座標，∆t は時間ステップ幅である．また，F は ψ の成長速度であり，単位時間あたりに ψ が法線方向に移動する量を示す．補助関数値
が 0 のセル (zero level set，境界セル)，つまり ψ = 0 として境界を抽出することで，位相変化に対応した境界追跡が可能となる．

Fig.1 PC cluster system.

3·2 境界移動方向の推定値に基づく並列 FLSM のための計算負荷の分散

FLSM の特性を用いた，動物体境界の移動方向の推定手法の概要について述べる．まず時刻 t − ∆t で復元した 3 次
しかしこの LSM は成長速度 F を決定する処理に多く元形状の境界ボクセル Z(t−∆t, i) （0 ≤ i < num(t−∆t)，の計算が必要であり，リアルタイム性が要求されるアプリnum(t − ∆t) は復元した境界ボクセルの数）の近傍の境ケーションには不向きであると考えられてきた．この問題
界面の法線方向に存在する，時刻 t の境界ボクセル Z(t, j)に対し，我々はこれまでに成長速度 F の決定をあるルー（0 ≤ j < num(t)）を抽出する．ここで時刻 (t − ∆t) ∼ t
ルに基づく単純な数値の上書き処理に置き換えることで， において対象物体の局所的な形状は保持されると仮定する
精度を低下させることなく LSM を高速に実現できる Fastと，境界ボクセル Z(t − ∆t, i) と Z(t, j) のそれぞれの近傍の境界面の法線方向の一致度を用いて，境界の移動方向Level Set Method(FLSM)4) を提案している．

第7回システムインテグレーション部門講演会(SI2006)（2006年12月14日～17日・札幌）-914-

SY0013/06/0000-0914 © 2006 SICE

を推定することができる．境界ボクセル Z(t, j) における移動方向ベクトル md(t, j) を以下の式で定義する．

次に実際に Fig.3(b) に示すように舞踊動作を計測し，右腕を動かす動作に対して提案手法を適用した．実験では，
並列 FLSM に割り当てるボクセル空間領域を単純に 4 分割md(t, j)した場合（Exp.A），形状分布から分割面を決定した場合（Exp.B），境界の移動方向の予測値に基づいて，移動する=F (Z(t, j))|N (t − ∆t, i) · N (t, j)|N (t, j)∆t
境界を処理する計算機の計算負荷を低減するように分割面(2)を決定した場合（Exp.C），及びオフライン計算により十ただし，F (Z(t, j)) は境界ボクセル Z(t, j) での成長速度， 分な FLSM 処理の更新回数を確保した場合（Exp.D）について比較した．Fig.3(c1)∼(c4) に（Exp.A∼D）の結果をそN (t, j) は境界ボクセル Z(t, j) の近傍の境界面の法線方
れぞれ示す．また，（Exp.A∼C）で復元した 3 次元形状の向ベクトルである．ここで，成長速度 F は境界ボクセルか精度を評価した結果をFig.4 に示す．ただし，(Exp.D) で復ら距離データ点までの最短距離に比例した値であり，これ元した3次元形状と，（Exp.A∼C）で復元した 3 次元形状を利用することで，例えば腕や足などの体の一部のみを動とのボクセル1つあたりの最短距離を誤差とした．これよかす場合，境界の局所的な移動方向を推定することができ（Exp.B）
り，(Exp.C) で復元した 3 次元形状は（Exp.A），
る．具体的には，まず移動方向ベクトル md(t, j) の大きで復元した3次元形状と比べて，より（Exp.D）におけるさがある閾値より大きい境界ボクセル Z(t, j) を抽出する．
3 次元形状に近く，正確に復元できていることがわかる．
抽出した境界ボクセルを中心として大きさ d の立方体を局所的な移動領域とし，またその領域での移動方向ベクトルを Lmd=md(t, j) とする．次に抽出した立方体の 8 頂点
Aが他の移動領域に含まれる場合，その領域と統合する．以B上の処理を全ての境界ボクセルに対して行う．
3.1 節で示した PC クラスタによる並列 FLSM 処理にお(a)(c1) t=23.5 [sec.](c2) t=23.5 [sec.]
いて，ボクセル空間を 4 台の計算機で全く均一に分割した
場合，Fig.2(a) に示すように物体の位置や形状によって特定の計算機に負荷が集中する場合があった．ただし，Fig.2
は 3 次元ボクセル空間の水平断面図である．また対象物体が移動する場合，移動する対象物体を遅れなく追跡するに(c3) t=23.5 [sec.](c4) t=23.5 [sec.](b) t=23.5 [sec.]
は，境界面が対象物体の移動に追従可能な速度で成長する必要がある．そこで，推定した移動方向に基づき移動体をFig.3 Estimation of moving direction and 3D shape reconstruc処理する計算機の計算負荷を低減することで，移動体の正tion of moving object.
確な 3 次元形状を遅れなく復元する．具体的には，まず各[cm / 1voxel]領域内の 3 次元形状のボクセル数に応じて，ボクセル空間(Exp.A)の分割面を仮決定する（Fig.2(b)）．次に推定した局所的な移動方向ベクトル Lmd を用いて，移動体を処理する計算(Exp.B)
機の計算負荷を低減するように，仮決定した分割面を変更する（Fig.2(c)）．
1.4
1.2
10.8
0.60.4xPC4z

PC4PC5
Division plane

PC5PC4022.7

PC5PC7PC6(a)Updated division

Lmd
PC723.1

23.3

23.5

23.7

23.9

[sec.]

5. まとめPlane P

Lmdz

22.9

Fig.4 Accuracy of 3D shape recontruction.

Division plane D1

Objectp1p2

newplane D1

PC6PC7(b)本報告では，対象物体が移動する場合，その移動方向を推定し，移動体を処理する計算機の計算負荷を低減することで，移動体の正確な 3 次元形状を遅れなく復元する手法を提案した．舞踊の測定実験により，対象が高速に移動しても，従来システムと比較してより正確な 3 次元形状の復元が可能であることを示した．
参考文献

PC6(c)

Fig.2 Division of 3D voxel space based on estimated movingdirection.

4.

(Exp.C)

0.2y実験

Fig.3(a) に示す球体と円柱を組み合わせて作成したモデルを用いて，局所的な移動方向推定のシミュレーション実験を行った．実験では局所的な部位 A,B をそれぞれ Fig.3(a)の矢印の向きに移動させた．Table 1 に推定した局所的な移動方向ベクトルと実際のその部位の移動方向ベクトルとの角度の差の平均と標準偏差を示す．
Table 1 Estimation error of moving direction of local boundary.

Average [deg.]Standard variation [deg.]

A

5.68

3.26

B

4.83

2.501) W. Martin and J. Aggarwal, “Volumetric description of objects
from multiple views”, IEEE Transactions on Pattern Analysis
and Machine Intelligence, vol.5, No.2, pp.150-158, 1983
2) T. Kanade, P. Rander and P. Narayanan, “Virtualized Reality:Constructing Virtual Worlds from Real Scenes”, IEEE Multimedia, Immersive Telepresence, vol.4, No.1, pp.34-47, 1997
3) 岩下，倉爪，辻，原，長谷川, “Fast Level Set Method を用いた複数移動物体の 3 次元追跡”, 日本ロボット学会論文誌,vol.23, No.7, pp.813-820, 2005
4) 倉爪，由井，辻，岩下，原，長谷川, “Fast Level Set Methodの提案とビデオ画像の移動物体のリアルタイム追跡”, 情報処
理学会論文誌, vol.44, No.8, pp.2244-2254, 2003
本研究は科学研究費補助金（特別研究員奨励費）の支援を受けた．

-915-