䣔䣕䣌䢴䢲䢳䢵䣃䣅䢵䣋䢳䢯䢲䢵

レーザ反射率に基づく3 次元幾何モデルのテクスチャ欠損修復○大石修士 倉爪亮 岩下友美 (九州大学)

1.

はじめに実物体を対象とした 3 次元幾何モデリングは，移動ロボットのための環境マッピングや土木建築分野等で広く用いられてる．さらに，より現実感の高いモデリングの実現には，レーザスキャナにより得られた 3 次元幾何モデルに対してデジタルカメラで取得されたカラー画像を貼り付け見えの情報を付加する”テクスチャマッピング”が有効である．
しかし，図 1 に示すように，レーザスキャナとデジタルカメラなどの独立したセンサを用いて異なる視点から対象物体の形状と見えの計測を行う場合，カメラの前に存在する障害物の背後やカメラの視野外の領域
ではテクスチャ画像中に計測漏れが生じ，適切な見えの情報を割り当てることのできない”欠損領域”が存在する可能性がある．
このようなテクスチャの欠損領域に対して，Boehm
ら [1]，Ortin ら [2] らは，他視点から撮影された画像を用い欠損領域のテクスチャを合成する手法を提案している．これらの手法は，遮蔽物により欠損となっている領域を補間するように撮影された複数枚のテクスチャ画像を必要とする．また被写体が平面であることを仮定したホモグラフィ行列の推定に基づき画像の位置合わせを行っているため，複雑な幾何形状を有する対象には適用することができない．
一方，欠損領域外の領域 (データ領域) から局所テクスチャパッチを多数枚生成し，欠損領域周辺と最も類似するパッチをあてがうことで内部のテクスチャを合成する手法も提案されている．欠損領域が比較的大きい場合は，データ領域との境界から内部に向けて逐次的に局所パッチを割り当て修復を行うが，局所パッチの組み合わせによっては不連続な形状・テクスチャが生じる可能性がある．これに対し，Komodakis ら [3]は，局所テクスチャパッチの選定の際に Priority beliefpropagation による最適化を行うことで，割り当てる局所パッチ同士の連続性を考慮した欠損修復手法を構築している．また，テクスチャパッチによる欠損修復に際し，欠損領域内の構造を考慮した欠損修復順序を事前に決定することで，高品位なテクスチャ合成を図る手法も提案されている．Criminisi ら [4]，Sun ら [5]，および Li ら [6] は，欠損領域周辺のテクスチャに存在するエッジを欠損領域内へ手動または自動で拡張することで内部の構造を推定し，そのエッジに沿って欠損修復順序を決定することで質の高いテクスチャ合成を実現している．しかし，画像の構造が複雑な場合，欠損領域周辺の情報から内部の構造を正確に推定することは難しく，不自然なつなぎ目や断絶が生じてしまう．
そこで本稿では，レーザスキャナによる 3 次元形状計測の際に副産物として得られるリフレクタンス画像➨䢵䢳ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢵ᖺ䢻᭶䢶᪥ࠥ䢸᪥凛

図 1 障害物によるテクスチャの欠損(反射率画像) を用いた，新たなテクスチャ修復手法を提案する．リフレクタンス画像は対象物体表面におけるレーザ反射率を表しており，カメラ画像と類似した”見え”の情報を有している．このリフレクタンス画像中の見えの情報を基に，まずテクスチャ欠損領域内の構造を推定し修復順序を決定する．その後，修復順序に従いテクスチャパッチをあてがうことで，高品位なテクスチャ合成を実現する．

2.

反射率画像に基づくテクスチャ欠損修復

提案する欠損 Ω を含むテクスチャ画像 I の欠損修復手法について説明する．なお，レーザスキャナとデジタルカメラの相対位置・姿勢は予め後述する手法など
により求め，テクスチャ画像を 3 次元幾何モデルにマッピングしておく．まず，テクスチャ画像 I におけるデータ領域 Φ(=Ω̄) から k × k 画素の小さなテクス チャパッチを多数枚生成し，データベース D を構成する．また同時に，リフレクタンス画像を推定されたデジタルカメラの撮影位置からの画像に変換し，リフレクタンス画像に対してもテクスチャパッチと同位置にパッチを生成し，リフレクタンスパッチとしてテクスチャパッチとともに保持する．最後に，データベース D 内のパッチ群（テクスチャパッチおよびリフレクタンスパッチ）と欠損領域周辺との類似度を計算し，類似度の最も高いものを貼り付けることで欠損領域の修復を行う．本章では，欠損修復における修復順序の決定法，および欠損修復のアルゴリズムについて述べる．

2.1 プライオリティマップの作成
テクスチャ画像の欠損修復結果は，修復の順序に大きく依存する [4][5][6]．本研究では，テクスチャ画像上の欠損領域に対応するリフレクタンス情報から被写体のエッジを抽出し，幾何構造に沿った欠損修復を行う．
修復の優先度は以下の式で計算される．

䣔䣕䣌䢴䢲䢳䢵䣃䣅䢵䣋䢳䢯䢲䢵(a) 入力画像(b) リフレクタンス画像(c) プライオリティマップ(d) 従来手法(リフレクタンス画像なし)(e) 提案手法(リフレクタンス画像あり)

図 2 テクスチャ欠損修復結果(a) 入力画像(b) 従来手法 (リフレクタンス画像なし)(c) 提案手法 (リフレクタンス画像あり)

図 3 テクスチャマッピング

P riority(m) =1 k2{M (p) =∑

3.


M (p)

p∈N (m)+ C(m)1(p ∈ Φ)0(otherwise)(1)

ここで，m は欠損領域 Ω に含まれる各画素，N (m) は画素 m を中心とする k × k のテクスチャパッチ，C(m)は Canny ﬁlter 適用後のリフレクタンス画像における画素 m の画素値を表している．式 (1) における M (p)により，データ領域 Φ と欠損領域 Ω の境界に位置する欠損画素が優先して修復される．さらに，C(m) によりリフレクタンス画像中のエッジ上に位置している欠損画素が優先して修復される．以降，各ピクセルの修復優先度を図示した画像を”プライオリティマップ”と呼ぶ．

2.2 欠損修復アルゴリズム
前節で決定された欠損修復順序に従い，優先度の高い画素周辺に対してデータベース D 内から最も類似したテクスチャパッチを貼り付けることで欠損領域の修復を行う．修復対象となる画素周辺のパッチ q とデー
タベース D 内のパッチ p との類似度は以下のように計算される．
Similarity(p, q) =∑−1

{SSD(Tp , Tq ) + αSSD(Rp , Rq )}(2)

SSD(I, J) =2

{I(u, v) − J(u, v)}(3)

u=0 v=0

ここで，Tp ，Rp はパッチ p のテクスチャ画像およびリフレクタンス画像を，α はリフレクタンス値の類似度に対するゲインを表す．

➨䢵䢳ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢵ᖺ䢻᭶䢶᪥ࠥ䢸᪥凛

4.

まとめ

本稿では，リフレクタンス情報を利用したテクスチャマッピングの為のテクスチャ欠損修復手法を提案した．
リフレクタンス画像中の構造に基づき修復順序を決定することで，より適切な欠損修復が可能である．今後は最適パラメータの決定，および多様な環境下での実験を予定している．

謝辞p∈Dk ∑k∑

実験

図 2(a) に示す一部を欠損させたテクスチャ画像に対し，提案手法を適用し修復を試みる．距離画像およびリフレクタンス画像は，レーザスキャナ (LMS151, SICK)と回転テーブルを同期させ取得した．テクスチャ画像
はデジタルカメラ (D300, Nikon) を用いて撮影し，人手で与えたリフレクタンス画像との対応に基づきカメラの位置姿勢を求め，3 次元モデルとの位置合わせを行っている．なお，本実験では各パラメータを k = 15，α = 1.0 とした．
図 2(b)(c) は，カメラ視点から合成したリフレクタンス画像と欠損修復順序を表すプライオリティマップである．図 2(d)(e) はテクスチャ画像のみを用いて欠損修復を行った場合と，リフレクタンス画像に基づく欠損修復順序の決定および類似度計算を行った場合の結果を示している．提案手法により，欠損領域におけるリフレクタンス画像内のエッジを考慮することで，構造を保ったテクスチャ欠損修復が可能であることを確認した．3 次元モデルに対するテクスチャマッピングの結果を図 3(a)-(c) に示す．

本研究の遂行にあたり，日本学術振興会科学研究費補助金特別研究員奨励費 (課題番号 246404) および文部科学省科学研究費補助金基盤研究 (B)（課題番号23360115）の支援を受けました．
参考文献䣔䣕䣌䢴䢲䢳䢵䣃䣅䢵䣋䢳䢯䢲䢵[1] J. Boehm. Multi-image fusion for occlusion-freefacade texturing. In IAPRS Vol. XXXV, part 5,
pp. 867–872, 2004.
[2] D. Ortin and F. Remondino. Occlusion-free image generation for realistic texture mapping. In
3D-ARCH 2005 : virtual reconstruction and visualization of complex architectures, 2005.
[3] G. Tziritas N. Komodakis. Image completion using eﬃcient belief propagation via priority scheduling and dynamic pruning. In IEEE Trans. Image
Process. 16 (11), pp. 2649–2661, 2007.
[4] A. Criminisi, P. Perez, and K. Toyama. Regionﬁlling and object removal by exemplar-based inpainting. In IEEE Trans. Image Process. 13 (9),pp. 1200–1212, 2004.
[5] J. Jia J. Sun, L. Yuan. Image completion withstructure propagation. In ACM Trans. Graphics
24 (3), pp. 861–868, 2005.
[6] Ming Zhao Shutao Li. Image inpainting withsalient structure completion and texture propagation. In Pattern Recognition Letters 32 (9), pp.
1256–1266, 2011.

➨䢵䢳ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢵ᖺ䢻᭶䢶᪥ࠥ䢸᪥凛