マルチカメラによる講義画像の自動合成に関する研究
画像認識講座
1.

遠山 聖司

藤吉 弘亘

カメラ 2 の領域 R2 の重なり率 RL を式 (1) により求める．

はじめに

e-learning を目的とした黒板を含む講義のアーカイブとして，我々はイメージモザイクによる手法を提案している[1]．しかし，イメージモザイクは，基準平面である黒板以外の平面では，合成画像が一致しないという問題がある．
そこで本研究では，この問題を解決する手法として前景である講師の位置を推定し，画像合成を行う手法として，距離を考慮したイメージモザイキングと Space Sweep 法を用いた手法を提案し，その有効性を示す．

2.

指導教授

距離を考慮したイメージモザイクと距離推定

複数のカメラで撮影した講義映像を黒板に対して，イメージモザイキングを行うと黒板と前景である講師は同一平面上に存在しないため，講師領域がブレて表示されてしまう (図 1 参照)．そこで，基準平面 (黒板) から前方に平行移動させた平面を仮定することで，対象となる講師までの距離を推定し，距離を考慮した画像合成を行う．以下に，提案手法の処理を示す．

RL =R1 ∩ R2× 100
R1 ∪ R2(1)2.3 対象平面の距離推定
各距離から求めた重なり率を用いてパラボラフィッティングにより，講師が存在する平面までの距離を推定する．
推定した距離における射影変換行列を再度求め，イメージモザイキングをすることで，前景領域である講師のより自然な重ね合わせが可能となる．

2.4 距離推定実験と結果

黒板から 100〜700mm の間に講師がいる 13 シーケンスに対して，本手法により距離を推定した．実験の結果，最大誤差が 50mm 以下であることを確認した．
本手法により推定した距離を用いて，基準平面である黒板平面画像と前景である講師平面画像をレイヤー合成し，3 次元表示した結果を図 3 に示す．これにより，講義を自由な視点から閲覧することが可能となる．

図 1 : イメージモザイキングの物体領域に対するブレ

2.1

射影変換行列の算出

各カメラに対しキャリブレーションを行い，カメラの内部パラメータと外部パラメータを予め求めておく．以下に射影変換行列を求める手順を示す (図 2 参照)．
Step1 基準となるカメラ 1 の画像平面上の点 p を，キャリブレーションにより得られたパラメータを用いて，対応する世界座標上の点 P に変換する．
Step2 世界座標上の点 P から Zw 軸 (黒板より前方) に距離 L を移動させた点を Q とする．
Step3 世界座標上の点 Q を画像座標系に逆投影することで，擬似対応点 q を求める．
Step4 カメラ 2 においても世界座標上の点 Q に対応する点 q を求め，q と q の対応から射影変換行列 HL を算出する．
同様に異なる距離 L での変換行列も求める．

図 3 : 画像合成結果

3.

Space Sweep 法を用いた画像合成

3 次元上に存在する物体は平面ではなく立体である場合が多い．そのため，2. で提案した手法では，完全な画像合成を行うことができない．そこで，マルチカメラから得られる画像からピクセル毎に物体までの距離を計測し，求めた距離を用いて画像合成を行う．一般に，距離推定に用いられるマルチベースラインステレオでは，領域ベースのブロックマッチングにより対応点を探索するため，物体の境界部分において実際の位置座標からずれる現象 (バウンダリオーバリーチ) が発生する．そこで本研究では，SpaceSweep 法 [2] を用いた 2 段階の距離推定を行う．

3.1 Space Sweep 法による距離推定

各カメラから得られる画像を Space Sweep 法によりある Z 平面に射影し，得られた 3 次元上の点を基準とするカメラ (図 4 では Base Camera) に逆投影する．距離 zi 毎に各カメラ画像を基準カメラに投影した画像を求める．この投影された画像と基準カメラ画像に対して，ピクセル単位と領域単位による 2 段階のマッチングを行うことで，より正確な対象物までの距離を推定する．以下にその手順を示す．

3.1.1

図 2 : 射影変換行列の算出

2.2

重なり率の計算

カメラ 1 を基準画像とし，その前景領域を R1，カメラ2 の前景領域を射影変換により，基準画像座標に変換した領域を R2 とする．各カメラの前景領域は，背景差分法により抽出する．対象平面上の重ね合わせは，抽出された前景領域に対して，算出した各距離 L の射影変換行列を用いて行う．このとき，距離 L におけるカメラ 1 の領域 R1 と第 1 段階:ピクセル判定

各 Z 平面に投影した画像を，基準カメラに逆投影して画像の重なりから対象物の存在するピクセルを求める．
Step1 基準カメラ座標 B = [u, v, 1]T を Z 平面 (Z=zi )に平面射影後，得られた 3 次元位置 (Xw , Yw , Zi ) をカメ
ラ行列を用いてカメラ 1 の画像座標に変換した座標 1 を次式により求める．
P 1 =

 P

11P2101 =P12P220P14P241 1P13P230BZ



Bzi, H BZ =(2) H

11H210H12H220H13H231

 1 は世界座標 (Xw , Yw , Zw ) からカメラ 1 の画像座標[u, v]T への射影行列であり， 1 はカメラ行列  の要素を入れ替えたものである． BZ は，基準カメラ B とある平図 7 : SSD とパラボラフィッティング
図 4 : Space Sweep 法での対応点探索

3.2 距離画像の比較

面 zi への Homography 行列である．これらの行列はカメラ校正により得られるカメラパラメータから導出する．
図 5 にカメラ 1 と 2 の画像を Z 平面を変化させたときの基準カメラに投影した合成画像を示す．

本手法の距離推定精度を評価するために，3 眼ステレオカメラを用いて，本手法とマルチベースラインステレオから得られる距離画像を比較する．本手法により得られた距離画像を図 8(a) に示す．マルチベースラインステレオから得られた距離画像を図 8(b) に示す．マルチベースライ
ンステレオの距離画像は，物体の境界部分の対応付けが正確に行えず，境界にバウンダリオーバリーチが発生している．一方，本手法の距離画像は，ピクセル単位で判定した
後，距離推定を行うため，境界部分においても正確な距離を推定することができる．また，パラボラフィッティングにより指先の細かな形状変化を獲得することができた．

図 5 : Z 平面を変化させたときの画像変化

Step2 基準カメラとある Z 平面で射影したカメラ画像間において，ピクセル毎に輝度値のユークリッド距離を次式により算出する．
Dc ( B ) = |IB (B ) − Ic (c )|(カメラ番号 c = 1, 2) (3)

Step3 各カメラのピクセル間距離 Dc ( B ) に対して閾値処理を行い，Dc( B ) が閾値より低い場合はその基準カメラ座標 (u, v) に投票を行う．この処理を各距離 zi で行うことで図 6 のような投票結果を得る．投票数が多い座標には，テクスチャーがない，もしくは対象までの距離が大きい (無限遠点) ことを意味する．

図 8 : 距離画像の比較
本手法により推定した距離画像から生成した仮想視点画像を図 9 に示す．

図 9 : 仮想視点への投影結果

4.

図 6 : 投票結果

3.1.2

第 2 段階:領域推定

基準カメラにおける投票数の少ないピクセルに対して，領域マッチングにより対象までの距離を求める．
Step1 式 (4) を用いて座標 B を中心とした近傍領域 Nの SSD を算出する．これを各カメラすべての距離 zi に対して行う．図 7 にカメラ 1 とカメラ 2 の SSD の例を示す．

SSDc (Z) =1 (IB ( B ) − Ic(Nc ))

2(4)

B ∈N

Step2 カメラ 1 の SSD1 とカメラ 2 の SSD2 の和をSSD とし，その SSD が最小となる距離 Zmin をピクセル毎に求める．Zmin の前後の Z 平面での SSD から次式のパラボラフィッティングを用いて最終的な距離を dˆ より求める．
dˆ =SSD(Zmin − 1) − SSD(Zmin + 1)
2SSD(Zmin − 1) − 4SSD(Zmin ) + 2SSD(Zmin + 1)

(5)

おわりに

本研究では，マルチカメラを用いた画像合成法として，距離を考慮したイメージモザイキングと Space Sweep 法を用いた手法を提案した．Space Sweep 法を用いた手法は，前景物体の距離をピクセル毎の判定後，近傍領域を用いて距離を求める 2 段階のマッチングを行うことにより，正確な距離を出力することが可能となった．今後の課題として，テクスチャ変化の少ない領域の距離推定精度の向上と，リアルタイム化に向けての処理速度の向上が挙げられる．

参考文献[1] 横井隆雄, 遠山聖司, 藤吉弘亘 , “イメージモザイキングによる講義のディジタルアーカイブと再生”, インタラクション 2004.
[2] Robert T. Collins: “A Space-Sweep Approach to True
Multi-Image Matching”, In CVPR, pp. 358-363, June,
1996.

研究業績
[1] 遠山聖司, 藤吉弘亘: “複数台のカメラによる画像合成のための前景物体の距離推定”, 電気関係学会東海支部連合大会，2005.
(他 国際会議 1 件, 研究会技術報告 2 件, 学会口頭発表 1 件)