「画像の認識・理解シンポジウム (MIRU2011)」 2011 年 7 月

レーザ反射強度を用いた距離画像の平滑化
大石 修士†倉爪亮††

岩下 友美††

長谷川 勉††† 九州大学大学院システム情報科学府情報知能工学専攻〒 819-0395 福岡市西区元岡 744†† 九州大学大学院システム情報科学研究院〒 819-0395 福岡市西区元岡 744
E-mail: †oishi@irvs.ait.kyushu-u.ac.jp, ††{kurazume,yumi,hasegawa}@ait.kyushu-u.ac.jp
あらまし 本稿では，レーザレンジファインダなどの Time-of-Flight 式距離センサにより得られた距離画像に対する新たな平滑化手法を提案する．Time-of-Flight 式距離センサは，センサ自身から能動的に発射されたレーザパルスの往復時間を測定することで対象物体までの距離を得るが，多くのセンサでは距離値と同時にレーザ光の反射強度 (リフレクタンス値) も副産物として計測することができる．本研究ではこの反射強度を 2 次元濃淡画像として表示したリフレクタンス画像と Trilateral filter を用い，距離画像中の微細な幾何構造を保持した新たな平滑化フィルタを開発し，レーザレンジファインダを用いた実機実験によりその有効性を確認する．
キーワード

バイラテラルフィルタ，レーザレンジファインダ，距離画像，ノイズ除去，リフレクタンス画像イズの除去には，例えば以下の手法が考えられる．

1. は じ め に（ 1 ） 同一対象に対して複数枚の距離画像を計測し平

近年，SwissRanger SR4100 (MESA Imaging AG) や
D-imager (Panasonic), Canesta Vision (Canesta, Inc.)など，リアルタイムに面状の距離画像が得られる Timeof-Flight 式距離センサが次々と開発されている [1]．これらのセンサは 20〜50Hz の実時間で 150〜200 画素四方 (2万〜4 万画素) 程度の距離画像が得られ，ロボットや車載センサ，直感的ヒューマンインターフェースなど多くの用途が考えられる．しかし，測定された距離値には奥行き方向の誤差が多く含まれ，また距離画像の解像度もデジ
タルカメラと比べると現状では十分とは言い難い．一方，
RIEGL VZ-400 (RIEGL GmbH) や Leica Scan Station
2 (Leica Geosystems AG)，TOPCON GLS-1500 (トプコン) などの高精度 3 次元レーザレンジファインダ，あるいは SICK LMS151 (SICK AG) や HOKUYO TOPURG (北陽電機) などのスリット状レーザスキャナを回転テーブルに取り付け，より高解像度で大規模な距離画像を得るシステムも開発されている．これらのセンサはLIDAR (Light Detection And Ranging) とよばれ，リア
ルタイム Time-of-Flight 式距離センサより計測時間が長いものの，高解像度で高精度な計測が可能である．しかし測定された距離画像には計測対象の表面特性，センサ自身の電気的，機械的要因により微小なノイズが含まれる．従って，これら Time-of-Flight 式距離センサ（リアルタイム Time-of-Flight 式距離センサ，LIDAR）に対するノイズ除去手法の開発は，依然として重要な検討課題である．
Time-of-Flight 式距離センサの距離画像に含まれるノ均化する（時間平滑化）（ 2 ） 距離画像にガウシアンフィルタなどの平滑化フィルタを適用する（空間平滑化）[2] [3] [4] [5] [6]（ 3 ） カラー画像など他の計測データを用いる [7] [8]

1 は最も直感的かつ基本的な手法であり，高精度な 3 次
元レーザレンジファインダでは一般的に用いられる手法であるが，基本的にノイズ除去は距離計測時に行う必要があり，また繰り返し計測回数が多くなると計測時間が増加する問題がある．2 は距離画像をメッシュ化する前，あるいはメッシュ化後に適用することができ，これまでに多くの手法が提案されている．この手法は，距離画像中のある画素の距離値，あるいはメッシュ内の頂点位置に対し，隣り合う画素あるいは空間的に近い頂点に対してガウシアンフィルタなどを適用し，注目画素の距離値や頂点の位置を平滑化するものである．
これに対し，本論文では 3 に分類される手法を提案する．Time-of-Flight 式距離センサによる距離計測時には，計測の副産物としてリフレクタンス画像（反射率画像）が得られる．ここで重要な点は，距離画像とリフレクタンス画像は各画素ごとに１対１に対応していることである．そこで距離画像の平滑化にリフレクタンス画像を利用し，Choudhury ら [9] によって提案された Trilateralfilter を距離画像，リフレクタンス画像に適用することで，ジャンプエッジやルーフエッジなど距離画像中の微細な幾何学的特徴をできるだけ保存しつつ，距離画像を平滑化しノイズを除去する新たな手法を提案する．

IS4-2 : 1292

2. 提 案 手 法

Parent robot

本章では，提案するリフレクタンス画像と Trilateralfilter [9] を用いた距離画像の平滑化手法の詳細を述べる．
従来提案されている距離画像の平滑化手法は，前述のように距離画像の奥行き値やメッシュ化された物体モデルの頂点位置に着目して平滑化するものであった．これに対し提案手法はリフレクタンス画像と距離画像を同時に用い，両画像の性質を考慮した Trilateral filter により，エッジなどの距離画像中の幾何学的特徴をできるだけ保存しつつ，距離画像を平滑化するものである．まず，Time-of-Flight 式距離センサから得られるリフレクタン
ス画像，および Bilateral filter について説明し，次に提案手法の詳細を述べる．

Child robot 1

Child robot 1

2D Laser range finder
LMS 200, SICK

Rotating table

2. 1 リフレクタンス画像
レーザレンジファインダなど Time-of-Flight 式距離センサは，センサから能動的に発射された光（レーザ光など）が，対象物表面に反射して再びセンサに戻るまでの時間を計測することで，対象物までの距離を得るもので

図 1 Acquisition system of panoramic range image [10]ある．一例として，図 1 [10] に示すように，2 次元レーRoof edge

ザレンジファインダ（LMS200, SICK）を回転テーブル

Jump edge

上に固定し，テーブルを回転させながらスリット状レーザにより計測を行い，全周囲の距離データを取得した結果を図 2(a) に示す．このように距離データを濃淡値とし(a) Range imageて 2 次元表示した画像を距離画像という．一方，一般的な Time-of-Flight 式距離センサでは，レーザ光の反射時

Roof edge

間とともにレーザ光の強度（リフレクタンス値）を計測

Jump edge

することができる．図 2(b) にリフレクタンス値を濃淡値として表示した画像（リフレクタンス画像，あるいは反射率画像）を示す．ここで重要な点は，このレーザ光(b) Reflectance imageの反射強度は，距離画像のそれぞれの画素に対して一意

図 2 Range and reﬂecance imagesに決定できる，すなわち一つの奥行き値に対して一つの反射強度が決まることである．言い換えれば，距離画像とリフレクタンス画像は原理的に厳密に位置合わせされた画像であるとも考えられる [11]．

∑j∈Sgi = ∑ iwx (xi , xj )fj(1)

j∈Si wx (xi , xj )2|x −x |1− i jwx (xi , xj ) = √e 2σx 22πσx2. 2 Bilateral Filter
Bilateral Filter [12] は，Tomasi らによって開発された，濃淡画像中に含まれるエッジ情報などを保存しつつ(2)

ただし Si は画素 i の近傍を表し，|xi − xj | は画素 i,j 間の空間距離である．

画像を平滑化するフィルタであり，最も基本的な空間平この Gaussian Filter に対し，画素輝度の変化も加味し滑化フィルタである Gaussian Filter を輝度値の変化もたのが Bilateral Filter である．具体的には，上記 Gaus-考慮するように拡張したものである．Gaussian Filter にsian Filter における空間平滑化項に加え，それぞれの画素とその近傍画素の輝度値を比較し、輝度値が近い画素に対しては重みを大きく，輝度値が異なる画素では重みを小さくする，すなわち，輝度情報に関するガウス関数の標準偏差を σf とすると，Bilateral Filter の計算式は以下のようになる．
∑j∈S wx (xi , xj )wf (fi , fj )fj(3)
gi = ∑ ij∈Si wx (xi , xj )wf (fi , fj )よる平滑化では，画像中の各画素に対して，その近傍画素ほど類似度が高いと仮定し，空間成分に対してガウス関数に従った重み付けを行う．すなわち，元画像の画素i の位置及び輝度をそれぞれ xi , fi ，Gaussian Filter 適
用後の輝度を gi ，ガウス関数の標準偏差を σx とおくと，Gaussian Filter の計算式は以下のようになる．

IS4-2 : 1293

|f −f |2− i j21wf (fi , fj ) = √e 2σf2πσf(4)wx (xi , xj ) = √|x −x |1− i je 2σx 22πσx2(9)|f −f |2

ただし |fi − fj | は画素 i,j 間の輝度差である．Bilateral

Filter は輝度値も用いて平滑化を行うため，その出力画像は Gaussian Filter に比べてエッジなどの輝度変化を保存したものとなる．

− i j2
1wf (fi , fj ) = √e 2σf2πσfwd (di , dj ) = √|d −d |1− i je 2σd 22πσd(10)2(11)

式 (8) で表されるフィルタは，距離画像とリフレクタ

2. 3 Bilateral Filter の距離画像への適用

ンス画像から 3 種類の情報（画素間距離，距離値の差，上述した濃淡画像の平滑化フィルタである Bilateralリフレクタンス値の差）を取得し，それらを入力としてFilter を，距離画像に適用することを考える．すなわち，距離画像における画素 i の位置と距離値をそれぞれ xi ,fi とする．位置および距離値に対するガウス関数の標準偏差を σx ，σf とすると，式 (2),(3),(4) と同様に距離画像に対する Bilateral Filter は以下の式で表される．
∑j∈S wx (xi , xj )wf (fi , fj )fj
gi = ∑ i(5)j∈Si wx (xi , xj )wf (fi , fj )平滑化を行うものであり，Choudhury らにより提案された Trilateral filter [9] にリフレクタンス画像を導入したものである．この Trilateral filter は，距離画像からジャンプエッジを，またリフレクタンス画像からルーフエッジをそれぞれ特に容易に検出可能であり，Bilateral filterの単純な拡張に比べて高いエッジ保存性能を有することが期待できる．
以上まとめると，本論文で提案する Trilateral filter とリフレクタンス画像を用いた距離画像の平滑化手法は以2|x −x |1− i je 2σx 2wx (xi , xj ) = √2πσx(6)下のようになる．

(7)を行い，各点の奥行き値及びリフレクタンス値を得る.

（ 1 ） Time-of-Flight 式距離センサにより面状の計測|f −f |2− i j2
1wf (fi , fj ) = √e 2σf2πσf（ 2 ） 得られた奥行き値及びリフレクタンス値から距2. 4 リフレクタンス画像を利用した Trilateral
Filter の提案
上述した手法は，濃淡画像に対する Bilateral Filter の離画像とリフレクタンス画像を生成する. ただしそれぞれの画像の輝度値は，距離画像については奥行き値に，リフレクタンス画像についてはリフレクタンス値にそれぞれ比例したものとする．

距離画像への単純な拡張である．しかし図 2 からも明ら（ 3 ） 距離画像とリフレクタンス画像の輝度情報を，かなように，距離画像はジャンプエッジは原理的に容易

式 (8) ∼ (11) で示した Trilateral Filter に入力し，平滑に検出可能であるが，ルーフエッジなど距離値が連続的化された距離画像を得る．に変化する箇所は検出しにくい．Miropolsky ら [6] はこ（ 4 ） 必要に応じて平滑化された距離画像からメッれらのエッジを強調するために，法線方向の変化を評価シュを構築し，3 次元モデルを作成する.

指標として新たに導入している．
一方，前述のように，Time-of-Flight 式距離センサか3. 実

験ら得られるリフレクタンス画像，およびその画素は，距

図 1 に示す 3 次元レーザ計測ロボット CPS-V [10] を離画像のそれと一対一に対応し，また図 2 に示すように用いて評価実験を行った．実験は図 3 に示すように，人距離画像に比べてルーフエッジも容易に検出できる．

間を含む複数の物体によりルーフエッジおよびジャンプ

そこで上述の Bilateral Filter のように単純に濃淡画像

エッジが計測される環境 (Scene 1)，文字の描かれた光と距離画像を置き換えるのではなく，リフレクタンス画沢のある石碑 (Scene 2) に対して行った．それぞれの環像も距離画像の平滑化に利用することを考える．すなわ

境に対する距離画像，リフレクタンス画像を図 4 に示す．

ち，距離画像における画素 i の位置と距離値をそれぞれ

ただし，図 1 のロボットは回転テーブルを回転させながxi , fi ，対応するリフレクタンス画像における画素 i のリフレクタンス値を di とする．ガウス関数の標準偏差をσx ，σf ，σd とすると，式 (5),(6),(7) と同様に，距離画像とリフレクタンス画像を利用した新たなフィルタを以下の式で定義する．
∑j∈S wx (xi , xj )wf (fi , fj )wd (di , dj )fjgi = ∑ i(8)j∈Si wx (xi , xj )wf (fi , fj )wd (di , dj )ら図 2 のような全周方向の距離データを取得しており，

Scene 1 における画像サイズは距離画像，リフレクタン
ス画像ともに 200 × 721 画素，Scene 2 は 760 × 1133 画
素である．図 4 はそのうちの一部を拡大して示している．
まず図 3(b) に示す，人を含むより複雑な環境で行った結果を図 5 に，その部分拡大図を図 6 に示す．
図 5(a)，図 6(a) は平滑化フィルタを適用する前の距離画像から構築した 3 次元モデルである．距離値に含まれるノイズにより，壁面や物体の表面に本来存在しIS4-2 : 1294

(a) Scene 1(b) Scene 2

図 3 Experimental setup(a) Original range image

Range image

Reflectance image(a) Scene 1(b) Gaussian ﬁlter

Range image

Reflectance image(b) Scene 2

図 4 Range and reﬂectance images

ない凹凸が見られる．一方，(b),(c),(d) はそれぞれ距離画像に対し，Gaussian Filter，Bilateral Filter，およびTrilateral Filter を適用した場合である．Gaussian Filter
や Bilateral Filter により壁の凹凸は平滑化され，特にBilateral Filter ではパソコンのディスプレイ部（矢印）などのジャンプエッジも形を保っているが，壁のルーフエッジや人物の顔や服の皺も同時に平滑化されている．
一方，Trilateral Filter はそれらの細かな凹凸が保存され，かつ壁などは適切に平滑化されていることがわかる．
なお，フィルタのカーネルサイズは 9 × 9 画素，距離値の範囲は 275〜8,191[mm]，リフレクタンス値は 0〜255であり，標準偏差は σx = 0.8，σf = 7，σd = 0.1 とした．また計算時間は，200×721 画素の画像サイズに対して，Intel Xeon, 2.50GHz を用いた場合，Gaussan filterが 104ms，Bilateral filter が 276ms，Trilateral filter が414ms であった．
次に図 3(c) に示す文字の描かれた光沢のある石碑に対し，平滑化フィルタの適用前，および Gaussian Filter，Bilateral Filter，Trilateral Filter 適用後の 3 次元モデルを，それぞれ図 7(a)，(b)，(c)，(d) に示す．GaussianFilter，Bilateral Filter により壁面の凸凹が平滑化されているが，同時に銘文のエッジが鈍化している．これに対し，Trilateral filter は文字のエッジを保存したまま，ノイズを適切に除去できていることがわかる．なお，フィルタのカーネルサイズは 9 × 9 画素，距離値の範囲は443〜49,726[mm]，リフレクタンス値は 0〜255 であり，

(c) Bilateral ﬁlter with range image(d) Trilateral ﬁlter with range and reﬂectance images
図 5 Experimental results for a complex environment

標準偏差は σx = 3，σf = 13，σd = 0.3 とした．また計算時間は，760×1133 画素の画像サイズに対して，IntelXeon, 2.53GHz を用いた場合，Gaussan filter が 347ms，Bilateral filter が 1361ms，Trilateral filter が 1994ms であった．

4. ま と め
本論文では，レーザレンジファインダなど Time-ofFlight 式距離センサに対し，距離計測と同時にその副産物として得られるリフレクタンス値に着目した距離画像の平滑化手法を提案した．本手法は，距離画像とリフレクタンス画像に対して，濃淡画像に対する Bilateral filter

IS4-2 : 1295

(a) Original range image(b) Gaussian ﬁlter(a) Original range image(c) Bilateral ﬁlter(d) Trilateral ﬁlter

図 6 Zoom of the objects on the tableを拡張した Trilateral filter を適用することで，距離画像中の幾何構造を保存しつつノイズを抑制し距離画像を平(b) Gaussian ﬁlter滑化するものである．またレーザレンジファインダを用いた評価実験を行い，Gaussian Filter, Bilateral filter に比べて，エッジ保存しつつ距離画像を平滑化する優れた性能を有することを確認した．
提案手法で用いるリフレクタンス画像は，Time-of-Flight 式距離センサの距離計測の副産物として得られるため，新たな計測や装置の追加が必要ない，照明条件に関係なく夜間でも計測可能である，などの優れた特徴を有する．また距離画像はジャンプエッジが，リフレクタンス画像はルーフエッジがそれぞれ容易に検出できることから，片方の画像のみを用いる場合に比べて高いエッジ保存性能を有すると期待される．
文(c) Bilateral ﬁlter with range image

献[1] A. Kolb andE. Barth, R. Koch, and R. Larsen. Timeof-ﬂight cameras in computer graphics. Computer
Graphics Forum, Vol. 29, No. 1, pp. 141–159, 2010.
[2] Gabriel Taubin. A signal processing approach to fairsurface design. In SIGGRAPH ’95: Proceedings ofthe 22nd annual conference on Computer graphics andinteractive techniques, pp. 351–358, New York, NY,USA, 1995. ACM.
[3] Mathieu Desbrun, Mark Meyer, Peter Schro”der, andAlan H. Barr. Implicit fairing of irregular meshes using diﬀusion and curvature ﬂow. In SIGGRAPH ’99,pp. 317–324, 1999.
[4] Thouis R. Jones, Frédo Durand, and Mathieu Desbrun. Non-iterative, feature-preserving mesh smoothing. In SIGGRAPH ’03: ACM SIGGRAPH 2003 Papers, pp. 943–949, New York, NY, USA, 2003. ACM.
[5] Shachar Fleishman, Iddo Drori, and Daniel CohenOr. Bilateral mesh denoising. ACM Transactions onGraphics, Vol. 22, No. 3, pp. 950–953, 2003.
[6] A. Miropolsky and A. Fischer. Reconstruction with3d geometric bilateral ﬁlter. In SM ’04: Proceedingsof the ninth ACM symposium on Solid modeling andapplications, pp. 225–229, Aire-la-Ville, Switzerland,Switzerland, 2004. Eurographics Association.

(d) Trilateral ﬁlter with range and reﬂectance images
図 7 Experimental results for a stone monument[7] J. Diebel and S. Thrun. An application of markov
random ﬁelds to range sensing. In Proceedings ofConference on Neural Information Processing Systems (NIPS), Cambridge, MA, 2005. MIT Press.
[8] M. Bohme, M. Haker, T. Martinetz, and E. Barth.
Shading constraint improves accuracy of time-of-ﬂightmeasurements. In Computer Vision and Pattern
Recognition Workshops, 2008. CVPRW ’08. IEEE
Computer Society Conference on, pp. 1 –6, 23-28
2008.
[9] Prasun Choudhury and Jack Tumblin. The trilateralﬁlter for high contrast images and meshes. In Eurographics Symposium on Rendering, pp. 1–11, 2003.
[10] 倉爪亮, 戸畑享大, 村上剛司, 長谷川勉. Cps-slam の研究-大規模建造物の高精度 3 次元幾何形状レーザ計測

IS4-2 : 1296

システム-. 日本ロボット学会誌, Vol. 25, No. 8, pp.
1234–1242, 2007.
[11] 倉爪亮, 西野恒, M. D. Wheeler, 池内克史. リフレクタ
ンスエッジと濃淡エッジを用いたテクスチャのアライン
メント. 電子情報通信学会論文誌 D-II, Vol. J85-D-II,No. 6, pp. 1038–1046, 2002.
[12] C. Tomasi and R. Manduchi. Bilateral ﬁltering forgray and color images. In ICCV ’98: Proceedings ofthe Sixth International Conference on Computer Vision, pp. 839–846, Washington, DC, USA, 1998. IEEE
Computer Society.

IS4-2 : 1297