計測自動制御学会東北支部 第 245 回研究集会 (2008.10.24)
資料番号 245-3

複数視点画像による３次元形状復元
3D Shape Reconstruction Using Multi-View Images○佐藤駿介 ∗ ，大久保重範 ∗∗○ Syunsuke Sato∗ , Shigenori Okubo∗∗*山形大学*Yamagata University
キーワード : ３次元形状復元 (3D shape reconstruction)，カメラキャリブレーション (camera calibration)，
カメラパラメータ (camera parameter)，エピポーラ (epipolar)，

連絡先 : 〒 992-8510 米沢市城南 4–3–16 山形大学 工学部 機械システム工学科 大久保研究室
佐藤駿介，Tel.: (0238)26-3245，Fax.: (0238)26-3245，E-mail: sokubo@yz.yamagata-u.ac.jp

1.

はじめに確認のために，Fig. 1のようなコンピュータ上の3Dモデルを手動で回転させながらスクリーンショッ人間は，2 次元画像から 3 次元構造を知覚することができる．この知覚機能をコンピュータによって実現させようとする学問はコンピュータビジョンと呼ばれている．コンピュータビジョンによってコンピュータに人の知覚機能を持たせることができれば，より一層ロボットに人の役割を分担さトをとったものをデータとして用いるが，実際の撮影画像でも同様にして用いることが可能である．
カメラのパラメータを計算するためには画像間で共通する情報が必要であるため，印刷したパターンシートのモデルを用意し，このモデル上に対象となる物体モデルを置いた．

せることができ，広く応用できる分野である．
本研究はカメラの位置が未知である，人の手によって撮影された 2 次元画像から，被写体の 3 次元形状

3.

パターンシートの点座標を推定するシステムの開発を目的とする．装置なパターンシートのモデルをFig. 2で示す．パター

どを用いず，簡便な手法で画像から物体の形状情ンシートの点の位置関係は既知であり，点の画像報を得ることができれば，低コストで 3 次元形状座標との対応をとることによりカメラの内部・外データを作成することができ，CG 製作，計測，設部パラメータを計算をおこなう．パターン点の画計など様々な分野に応用することができる．

像座標を得るためには画像背景および被写体の雑音，被写体によって遮蔽されることを考慮する必

2.

撮影画像

要がため，点画像座標取得は次の手順で行った．

入力データは，多視点から被写体をデジタルカ

1) 画像を 2 値化し，ラベリング処理を行って画メラで撮影したものを用いる．本稿では，結果の素の集合を分類し，各集合ごとの図形情報を–1–得る．

2) 図形の最長最短比等から，円形に近くない図形を除外する．

3) 図形をグループに所属させ，近いグループ同士から順に，以下の条件を満たしながら同一グループ化させていく• グループ内でパターン点のサイズまたはパターン点同士の距離の違いが大きいグループは除外する．

• グループ化したパターン点から最小二乗法による直線を求め，その直線からのパターン点の距離が大きいグループは除外する．

• 目標パターン点数を超えたグループは除外する．

4) グループ化したパターン点サイズの大小を元にグループをに識別し，パターン点それぞれの画像座標を得る．

Fig. 1

Multi-View Images

Fig. 2–2–Pattern Sheetカメラキャリブレーション

C = hT B T Bh + λ(1 − hT h)パターンの画像座標を元に，カメラの内部パラ

h は B T B の最小固有値に対する固有ベクトルとな

4.

メータ A および外部パラメータ [R|t] を求めるため

り，ホモグラフィー行列が求められる．に，カメラキャリブレーションを行う．内部パラ

また，(1) を

メータ A は焦点距離，CCD の素子の並びの角度な[]
h1h2h3∼=A[]
r1r2(7)t

どのカメラの性質であり，外部パラメータ R，t はそれぞれの撮影画像におけるカメラの位置，姿勢とおくと r1 ，r2 が直行する単位ベクトルなので等のカメラの運動情報である．
先のパターンシートの点の 3 次元座標[]T
M= X Y Zと対応する画像座標[]Tm= u vとの関係はホモグラフィー行列 H

d=fsfm = HMuu0
v0 001h12h13h11h22h32(9)D = A−T A−1(10)]D 11D 12v ij = [hi1 hj1tγβ  v  =  h21
1h31
[]r2α

A= 0hTi Dhj = v Tij d

D 22

D 13

D 23

D 33

(1)

[r1(8)[を用いて次式で表すことができる．

H =AhT1 A−T A−1 h2 = 0hT1 A−T A−1 h1 = hT2 A−T A−1 h2hi hj2 + hi2 hj1hi3 hj1 + hi1 hj3(8) からXh23   Y h33
1(2)この式から 2 つの線形方程式を得て展開する．
]
X Y 1 0 0 0 −uX −uY −u
h = 0 (3)0 0 0 X Y 1 −vX −vY −v[]
h = h11 h12 h13 h21 h22 h23 h31 h32 h33[hi2 hj2hi3 hj2 + hi2 hj3v 212(v 11 − v 22 )Thi3 hj3 ]T]
d=0(11)

各画像における (11) を積み重ねてVd=0(12)d は先に h を求めたのと同様に，V T V の最小固有値に対する固有べクトルとして求めることができる．D が求まることにより，(10) からパターンシートの各点における (3) を積み重ねて

Bh = 0X 0 .
B =  ..
 Xn0−u(4)
Y

1000−uX−uY0..
.
Yn0 X.. ..
. .
1 0Y..
.
01..
.
0−vX..
.
−un Xn−vY..
.
−un Yn−v 
.. . −un 00 X

Y

1−vn Xn−vn Yn−vnD=hh(5)γ2
1α2 β 2 + β 20 β)− βv02− γ(v0αγ−u2 β2

v0 γ−u0 βα2 β0 β)− γ(v0αγ−u− βv022 β22v2(v0 γ−u0 β)+ β02 + 1α2 β 22v0 = (D12 D13 − D11 D23 )/(D11 D22 − D12)
[ 2]
λ = D33 − D13 + v0 (D12 D13 − D11 D23 /D11√α = λ/D11√2 )β = λD11 /(D11 D22 − D12γ = −D12 α2 β/λu0 = −γv0 /β − D13 α2 /λラグランジェの未定乗数法より，d(C)= 2B T Bh + 2λh = 0dh− αγ2 β(13)∥Bh∥を最小とするhを求める．最小二乗法により，min ∥Bh∥2 = min hT B T Bh

1α2− αγ2 βv0 γ−u0 βα2 β(14)(6)–3–r1 = λA−1 h1

3次元形状を得る．ノイズに強くするため，相似度

r2 = λA−1 h2
r3 = r1 × r2
t = λA−1 h3(15)は正規化相関法を用いて対応点を中心とする局所的パターンの相似度を計算する．

カメラの内部パラメータ A 及び、カメラの外部パラメータR，tを得ることができる．カメラの位置，姿勢を知ることができる．

5.

特徴点抽出

被写体の特徴点を Harris オペレータを用い抽出する．Fig. 3 のように特徴点を抽出する．

Fig. 4
Fig. 3

Feature Point Extraction

7.
6.

Feature Point, Epipolar Line

形状復元

おわりに実際にプログラムを組んでみた結果，Fig. 4 のカメラパラメータから画像間の運動を求め，特例のように，上図の特徴点と下図のエピポーラ線

徴点の 3 次元座標を得る．カメラ間の運動を T ，2が被写体の同じ位置の近くを通っているため，カ′′つの画像座標系(x, y),(x , y )を仮定すると，次式がメラの運動は得られている．このような運動を得成り立つ．

るため必要な写真の枚数は，写真の撮り方により[′xy′]

xy= I24 T 
 z(x, y) 
1

変わるが 20〜40 枚ほど必要である．今後は，得ら(16)れた 3 次元形状を元に，3D モデルを作成し，3D モデルを作成するために十分な精度が得られているかどうか確認していく予定である．

z(x, y) を (x, y) の奥行きと仮定し，z(x, y) を変化させることで対応点を探す．Fig. 4 は，上図のある一つの特徴点 ((Fig. 3 の特徴点の中の一つ)(x, y) に参考文献対応する (x′ , y ′ )（エピポーラ線）を別の画像に描

1) 佐藤淳: コンピュータビジョン，コロナ社 (1999)

ポーラ線にそって (x′ , y ′ ) の相似度を求め，相似度2) Zhengyou Zhang: A Flexible New Technique for
Camera Calibration IEEE Transactions on Pattern Analysis and Machine Intelligence, 22-11,1330/1334 (2000)

が高いときの z(x, y) を (x, y) の奥行きとすることで

3) 徐画したものを下図に示したものである．このエピ–4–

剛: 写真から作る 3次元 CG，近代科学社 (2001)