䢴䣃䢳䢯䣎䢲䢸

リフレクタンス画像を用いた距離画像の欠損修復
Edge-preserving Range Image Inpainting using Reflectance Image⃝大石修士（九大）

正倉爪

岩下友美（九大）

正長谷川亮（九大）
勉（九大）

Shuji OISHI, Kyushu University, oishi@irvs.is.kyushu-u.ac.jp
Ryo KURAZUME, Kyushu University
Yumi IWASHITA, Kyushu University
Tsutomu HASEGAWA, Kyushu University
Time-of-Flight range ﬁnder gives a range value from the sensor to the target by measuring the time until theemitted laser pulse is reﬂected on the target’s surface and returned to the sensor. The power of the reﬂected lightis also measured as a side product of the range value. In this paper, we propose new inpainting technique forrange images utilizing reﬂectivity. The range image inpainting technique based on Belief Propagation recovers
a deteriorated range image using not only the adjacent range values but also the continuity of the reﬂectanceimage. We demonstrate that the proposed technique enables to repair deteriorated range images successfully.
Key Words: Belief Propagation, Inpainting, Laser range ﬁnder, Range image, Reﬂectance image

1

はじめにPropagation を適用して修復を図る手法 [6]，さらに Belief
レーザ光を 2 次元的に走査し，その往復時間から 3 次Propagation を応用した Priority-BP を用いて最適なテク元形状を正確に測定する 3 次元レーザスキャナは，土木スチャの合成順を決定し修復する手法 [7] などが提案されて建設現場での現況確認や歴史的文化遺産のデジタルアーいる．一方，本稿ではリフレクタンス画像と距離画像を同時カイブなどで現在広く利用されている．例えば，RIEGLに用いた Belief Propagation による欠損修復手法を新たにVZ-400 (RIEGL GmbH) や Leica Scan Station 2 (Leica
提案する．本章ではまず，Time-of-Flight 式距離センサかGeosystems AG)，TOPCON GLS-1500 (TOPCON) など， ら得られるリフレクタンス画像について説明し，次に提案手大規模な 3 次元点群データが比較的短時間で得られるレー法の詳細を述べる．
ザスキャナは，土木建築分野で急速に広まりつつある情報化施工において重要な入力装置の一つとなっている．一方，
2.1 リフレクタンス画像
作業移動ロボットのための環境計測用センサとして，SICKLMS151 (SICK AG) や HOKUYO TOP-URG (北陽電機)
レーザレンジファインダなど Time-of-Flight 式距離センなどのより安価な 2 次元レーザスキャナを，回転テーブル
サは，センサから能動的に発射された光（レーザ光など）が，等に取り付け，ロボット周囲の 3 次元環境地図を作成する
対象物表面に反射して再びセンサに戻るまでの時間を計測システム [1] なども提案されている．しかし，レーザの反射することで，対象物までの距離を得るものである．一例とし
光から距離計測を行う場合，計測対象の表面特性によってはて，図 1 [1] に示すように，2 次元レーザレンジファインダ
鏡面反射やレーザ光の減衰が起き，距離画像中に欠損を生じ （LMS200, SICK）を回転テーブル上に固定し，テーブルをることがある．従って，これら Time-of-Flight 式距離セン
回転させながらスリット状レーザにより計測を行い，全周サに対する欠損修復手法の開発は大きな課題である．
囲の距離データを取得した結果を図 2(a) に示す．このようそこで本稿ではリフレクタンス画像を用いた欠損修復手に距離データを濃淡値として 2 次元表示した画像を距離画法を提案する．リフレクタンス画像とは，Time-of-Flight像という．一方，一般的な Time-of-Flight 式距離センサで式距離センサから投射されたレーザ光の反射強度を濃淡値は，レーザ光の反射時間とともにレーザ光の強度（リフレクで表わしたものである [2]．本研究ではこのリフレクタンスタンス値）を計測することができる．図 2(b) にリフレクタ画像と Belief Propagation を用いることで，幾何特徴を保ンス値を濃淡値として表示した画像（リフレクタンス画像，持したまま距離画像の欠損修復が可能な新たな手法を提案あるいは反射率画像）を示す．ここで重要な点は，このレーする．
ザ光の反射強度は，距離画像のそれぞれの画素に対して一意に決定できる，すなわち一つの奥行き値に対して一つの反射強度が決まることである．言い換えれば，距離画像とリフレクタンス画像は原理的に厳密に位置合わせされた画像であ2 リフレクタンス画像を用いた距離画像の欠損修復るとも考えられる [2]．
本章では，提案するリフレクタンス画像を用いた欠損修復手法の詳細を述べる．従来提案されている距離画像の欠2.2 リフレクタンス画像と Belief Propagation による距離画
損修復手法としては，モデル内の類似領域を探索し形状の像の修復復元を試みるもの [3] や，他視点のカラー画像から生成したTime-of-Flight 式距離センサを用いた計測では，対象物パッチを用い欠損領域を補う手法 [4] などが提案されてい表面での鏡面反射による飽和や散乱，吸収に伴うレーザ反る．また，欠損の存在する画像に対して，欠損領域以外のテ射光の減衰などにより，図 2(a) に示すような欠損が距離クスチャの類似度に基づいて修復を行う手法 [5] や，Belief䣐䣱䢰䢢䢳䢳䢯䢷䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢳䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣑䣭䣣䣻䣣䣯䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢸䢯䢴䢺䢮䢢䢴䢲䢳䢳䢴䣃䢳䢯䣎䢲䢸䢪䢳䢫

T 回のメッセージ交換の後に，以下のコスト関数を最小化する最適なラベル fq∗ が決定される．
bq (fq ) = Dq (fq ) +∑mTp→q (fq )(3)p∈N (q)Rotating table
2D Laser range finder
LMS 200, SICK

2.2.2

Fig.1 Acquisition system of panoramic range image [1]リフレクタンス画像を用いた距離画像の修復

上述した Belief Propagation 及びリフレクタンス画像を用いて，欠損を含む距離画像の修復を考える．前述の通り，
Time-of-Flight 式距離センサにより距離値を取得する場合，対象物体の表面特性によっては鏡面反射による飽和や散乱，吸収による減衰が起き，距離画像に欠損部分が生じる．多くの場合，この欠損部分では距離情報だけでなくリフレクタンス情報も同時に失われる．そこで本論文では，以下の 2つのステップからなる欠損修復手法を提案する．
Step 1：まず，256 段階の濃淡値で表されたリフレクタン
ス画像に対し，Belief Propagation を適用して修復を行う．
これはリフレクタンス画像ではエッジが鮮明に観測されやすく，距離画像に比べ修復が容易であるためである．
Step 2：次に，修復したリフレクタンス画像と Belief
Propagation を用いて距離画像の修復を行う．Belief Propagation は大量のメモリと多くの計算時間を要するため，まず初めに距離画像を 256 階調の濃淡画像に変換する，従って，割り当てられるラベルの数は 256 となり，0〜255 の整数で表現される．また本手法では，コスト項 Dp (fp ) を，欠損部分に対してはDp (fp ) = 0
Fig.2 Range and reﬂecance images(4)

その他の部分に対してはDp (fp ) =| fp − Lp |画像中に生じ，距離値が取得できないことがある．本節では，このような欠損を含む画像を修復するために，Belief
Propagation とリフレクタンス画像を用いた新たな手法を提案する．
2.2.1と定義する．ただし，Lp はピクセル p で当初観測された距離値である．さらに，ピクセル p の近傍 4 ピクセル q を考慮し，ラベル fp 及び fq を割り当てるコスト関数を次のように定義する．

W (fp , fq ) = f (rp , ra )(fp − fq )2

Loopy belief propagation

互いに繋がれた多数のノードからなるグラフ P において，以下のように定義するエネルギー関数を最小化するラベル
fp をノード p に割り当てることを考える．

E(f ) =∑p∈P∑

Dp (fp ) +W (fp , fq )(6)

ただし，rp 及び rq はそれぞれ Step 1 で修復されたリフレクタンス画像におけるピクセル p，q の輝度値であり，またf (rp , rq ) はリフレクタンス値の差に関するゲイン項である．

f (rp , rq ) = αe−β(rp −rq )

2(1)

(7)

(p,q)∈N

ここで，Dp (fp ) はノード p にラベル fp を割り当てるコスト，W (fp , fq ) はラベル fp 及び fq がそれぞれノード p，qに割り当てるコストである．また，N はノード p の近傍のノードを表わしている．
Belief Propagation は，次のように定義されるメッセージを近傍のノードと反復的にやり取りし，エネルギー関数を最小化する最適なラベル fp を決定する．

mtp→q (fq ) =min Dp (fp ) + W (fp , fq ) +fp(5)∑s∈N (p)\q (2)mt−1s→p (fp )式 (6) より，類似したリフレクタンス値を持つ近傍のピクセ
ルほど優先的に距離画像中の欠損修復に用いられる．一方
で，リフレクタンス値が不連続に変化しているピクセルは，距離画像の修復には用いられない．

3

Belief Propagation による距離画像の修復図 1 に示す 3 次元レーザ計測ロボット CPS-V [1] を用いて 200 × 721 画素の距離画像を取得し，Belief Propagationを用いた距離画像修復の実機実験を行った．なお，式 (7) におけるパラメータの値はそれぞれ α = 0.75，β = 0.5 であり，T = 20 とした．

䣐䣱䢰䢢䢳䢳䢯䢷䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢳䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣑䣭䣣䣻䣣䣯䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢸䢯䢴䢺䢮䢢䢴䢲䢳䢳䢴䣃䢳䢯䣎䢲䢸䢪䢴䢫図 3(a) は CPS-V により得られた欠損を含む 3 次元モデルである．Belief Propagation を距離画像に適用して修復を行った結果を図 3(b)，(c) に示す．図 3(b) はリフレクタンス画像を用いない場合，図 3(c) はリフレクタンス画像を用いた場合である．本実験では，リフレクタンス画像の有無で顕著な差は見られなかった．
次に CPS-V により得られた 3 次元モデルに対し，図 4(a)に示すより大きな欠損部分を手動で加え，Belief Propagation を適用して修復を行った．図 4(b) はリフレクタンス画像を用いない場合，図 4(c) はリフレクタンス画像を用いた場合である．また，それぞれの場合の RMS 誤差を表 1 に示す．
これらの結果から，Belief Propagation とリフレクタンス画像を用いた 2 ステップアルゴリズムにより，より正確な距離画像の修復が可能な場合があることが確認された．

(a) Original 3D mesh model with a missing region(b) The 3D mesh model after applying belief propagation(a) Original 3D mesh model with a missing region(c) The 3D mesh model after applying our two-stepalgorithm
Fig.4 Experimental results for the performance evaluation
Table 1 RMS error in experimental results for theperformance evaluation(b) The 3D mesh model after applying belief propagation

RMS [mm]
Without reflectance

7.68

With reflectance (2step)

1.444(c) The 3D mesh model after applying our two-stepalgorithm
Fig.3 Experimental results for the range and reﬂectance images taken by the laser scanner

まとめ

本論文では，レーザレンジファインダなど Time-of-Flight式距離センサに対し，距離計測と同時にその副産物として得られるリフレクタンス値に着目した欠損の生じた距離画像の修復手法を提案した．本手法は，Belief Propagation を用いて距離画像中の欠損修復を行う際に，リフレクタンス画像におけるエッジを考慮することで，距離画像中の幾何構造を保存した欠損修復を図るものである．本稿では，レーザレンジファインダを用いた評価実験を行い，Belief Propagationを単純に適用した場合に比べて，エッジを保存しつつ距離画䣐䣱䢰䢢䢳䢳䢯䢷䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢳䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣑䣭䣣䣻䣣䣯䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢸䢯䢴䢺䢮䢢䢴䢲䢳䢳䢴䣃䢳䢯䣎䢲䢸䢪䢵䢫

像の欠損の補間が可能であることを確認した．
今後は他のセンサ機器を用いた実験と定量的な評価を行うとともに，最適パラメータについての検討を行う予定である．
文献[1] 倉爪亮, 戸畑享大, 村上剛司, 長谷川勉. Cps-slam の研究-大規模建造物の高精度 3 次元幾何形状レーザ計測システム-. 日本ロボット学会誌, Vol. 25, No. 8, pp. 1234–1242, 2007.
[2] 倉爪亮, 西野恒, M. D. Wheeler, 池内克史. リフレクタンス
エッジと濃淡エッジを用いたテクスチャのアラインメント. 電子情報通信学会論文誌 D-II, Vol. J85-D-II, No. 6, pp. 1038–1046, 2002.
[3] 河合紀彦, 佐藤智和, 横矢直和. 局所形状の類似度評価に基づくエネルギー最小化による三次元欠損修復. 画像の認識・理解シンポジウム (MIRU2008) 講演論文集, pp. 272–277, 2008.
[4] Jacob Becker, Charles Stewart, and Richard J.Radke. Lidar inpainting from a single image. In In Proceedings of theIEEE International Workshop on 3-D Digital Imaging andModeling, 2009.
[5] 河合紀彦, 佐藤智和, 横矢直和. テクスチャの明度変化と局所性を考慮したパターン類似度に基づくエネルギー最小化による画像修復. 画像の認識・理解シンポジウム (MIRU2007) 講演論文集, pp. 227–234, 2007.
[6] Pedro F. Felzenszwalb and Daniel P. Huttenlocher. Eﬃcient belief propagation for early vision. International Journal of Computer Vision, Vol. 70, No. 1, 2006.
[7] N. Komodakis and G. Tziritas. Image completion using
global optimization. In Proc. IEEE Conf. on Computer Vision and Pattern Recognition, pp. 442–452, 2006.

䣐䣱䢰䢢䢳䢳䢯䢷䢢䣒䣴䣱䣥䣧䣧䣦䣫䣰䣩䣵䢢䣱䣨䢢䣶䣪䣧䢢䢴䢲䢳䢳䢢䣌䣕䣏䣇䢢䣅䣱䣰䣨䣧䣴䣧䣰䣥䣧䢢䣱䣰䢢䣔䣱䣤䣱䣶䣫䣥䣵䢢䣣䣰䣦䢢䣏䣧䣥䣪䣣䣶䣴䣱䣰䣫䣥䣵䢮䢢䣑䣭䣣䣻䣣䣯䣣䢮䢢䣌䣣䣲䣣䣰䢮䢢䣏䣣䣻䢢䢴䢸䢯䢴䢺䢮䢢䢴䢲䢳䢳䢴䣃䢳䢯䣎䢲䢸䢪䢶䢫