䣔䣕䣌䢴䢲䢳䢲䣃䣅䢵䣋䢴䢯䢷

リフレクタンス画像を用いた距離画像の平滑化フィルタの開発
○大石修士

倉爪亮

岩下友美

長谷川勉 (九州大学)

Development of smoothing ﬁlter for range image using reﬂectance data
*Shuji OISHI (Kyushu Univ.) Ryo KURAZUME (Kyushu Univ.)
Yumi IWASHITA(Kyushu Univ.) Tsutomu HASEGAWA(Kyushu Univ.)
Abstract— This paper proposes a new smoothing ﬁlter for range images taken by a Time-of-Flight range
ﬁnder. A Time-of-Flight range ﬁnder gives a range value from the sensor to the target by measuring thetransmitted time of the reﬂected light. At the same time, the power of the reﬂected light is also measured
as a side product of the range value for the most of range ﬁnders. The basic idea of the propose techniqueis that the reﬂectance and range images are utilized for smoothing the range image corrupted by noise while
preserving detailed shapes by applying the trilateral ﬁlter. Simulations and experiments using a laser range
ﬁnder are successfully carried out for verifying the performance of the proposed ﬁlter.
Key Words: Bilateral ﬁlter, Laser range ﬁnder, Range images, Denoising, Reﬂectance image

1.

はじめに近年，SwissRanger SR4100 (MESA Imaging AG) や
D-imager (Panasonic), Canesta Vision (Canesta, Inc.)など，リアルタイムに面状の距離画像が得られる Timeof-Flight 式距離センサが次々と開発されている [1]．これらのセンサは 20〜50Hz の実時間で 150〜200 画素四方(2 万〜4 万画素) 程度の距離画像が得られ，ロボットや車載センサ，直感的ヒューマンインターフェースなど多くの用途に利用されている．しかし，測定された距離値には奥行き方向の誤差が多く含まれ，また距離画像の解像度もデジタルカメラと比べると現状では十分とは言い難い．一方，RIEGL VZ-400 (RIEGL GmbH) や Leica
Scan Station 2 (Leica Geosystems AG)，TOPCON
GLS-1500 (トプコン) などの高精度 3 次元レーザレン
ジファインダ，あるいは SICK LMS151 (SICK AG) やHOKUYO TOP-URG (北陽電機) などのスリット状レーザスキャナを回転テーブルに取り付け，より高解像度で大規模な距離画像を得るシステム [2] も開発されている．これらのセンサは LIDAR (Light DetectionAnd Ranging) とよばれ，リアルタイム Time-of-Flight式距離センサより計測時間が長いものの，高解像度で高精度な計測が可能である．しかし測定された距離画像には計測対象の表面特性，センサ自身の電気的，機械的要因により微小なノイズが含まれる．従って，これら Time-of-Flight 式距離センサ（リアルタイム Timeof-Flight 式距離センサ，LIDAR）に対するノイズ除去手法の開発は，依然として重要な検討課題である．

Time-of-Flight 式距離センサの距離画像に含まれる ノ イ ズ の 除 去 に は ，現 在 ま で に 時 間 平 滑 化 や 空
間 平 滑 化 等 を 用 い た 様々な 手 法 が 提 案 さ れ て い る[3],[4],[5],[6],[7],[8],[9]．一方, Time-of-Flight 式距離センサによる距離計測時には，計測の副産物としてリフレクタンス画像（反射率画像）が得られる [10]．ここで重要な点は，距離画像とリフレクタンス画像は各画素ごとに１対１に対応していることである．そこで距離画像の平滑化にリフレクタンス画像を利用し，Bilateral➨䢴䢺ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢲ᖺ䢻᭶䢴䢴᪥ࠥ䢴䢶᪥凛ﬁlter[11] を拡張した Trilateral ﬁlter を距離画像，リフレクタンス画像に適用することで，ジャンプエッジやルーフエッジなど距離画像中の微細な幾何学的特徴をできるだけ保存しつつ，距離画像を平滑化しノイズを除去する新たな手法を提案する．

2.

提案手法

本章では，提案するリフレクタンス画像と Trilateralﬁlter を用いた距離画像の平滑化手法の詳細を述べる．
従来提案されている距離画像の平滑化手法は，距離画像の奥行き値やメッシュ化された物体モデルの頂点位置に着目して平滑化するものであった [4],[5],[6],[7],[8],[9]．
これに対し提案手法はリフレクタンス画像と距離画像を同時に用い，両画像の性質を考慮した Trilateral ﬁlterにより，エッジなどの距離画像中の幾何学的特徴をできるだけ保存しつつ，距離画像を平滑化するものである．まず，Time-of-Flight 式距離センサから得られるリフレクタンス画像について説明し，次に提案手法の詳細を述べる．

2·1

リフレクタンス画像

レーザレンジファインダなど Time-of-Flight 式距離センサは，センサから能動的に発射された光（レーザ光など）が，対象物表面に反射して再びセンサに戻るまでの時間を計測することで，対象物までの距離を得るものである．一例として，図 1[2] に示すように，2次元レーザレンジファインダ（LMS200, SICK）を回転テーブル上に固定し，テーブルを回転させながらスリット状レーザにより計測を行い，全周囲の距離データを取得した結果を図 2(a) に示す．このように距離データを濃淡値として 2 次元表示した画像を距離画像という．一方，一般的な Time-of-Flight 式距離センサでは，レーザ光の反射時間とともにレーザ光の強度（リフレクタンス値）を計測することができる．図 2(b) にリフ
レクタンス値を濃淡値として表示した画像（リフレクタンス画像，あるいは反射率画像）を示す．前述のように，このレーザ光の反射強度は，距離画像のそれぞ䣔䣕䣌䢴䢲䢳䢲䣃䣅䢵䣋䢴䢯䢷像を利用した新たなフィルタを以下の式で定義する．
2D Laser range finder
LMS 200, SICKjgi = wx (xi , xj )wf (fi , fj )wd (di , dj )fij wx (xi , xj )wf (fi , fj )wd (di , dj )(1)

Rotating table2

wx (xi , xj ) = √|x −x |1− i je 2σx 22πσx(2)|f −f |2− i j21wf (fi , fj ) = e 2σf2πσfFig.1 Acquisition system of panoramic range image[2](3)2wd (di , dj ) = √|d −d |1− i je 2σd 22πσd(4)Roof edge
Jump edge(a) Depth image
Roof edge
Jump edge(b) Reflectance image

Fig.2 Range and reﬂecance images

れの画素に対して一意に決定できる．すなわち一つの奥行き値に対して一つの反射強度が決まることである．
言い換えれば，距離画像とリフレクタンス画像は原理的に厳密に位置合わせされた画像であるとも考えられ
る [10]．

2·2

リフレクタンス画像を利用した Trilateral ﬁlter

ノイズを含む距離画像を平滑化するには，メディアンフィルタやガウシアンフィルタなど濃淡画像に用いられる空間平滑化フィルタを，単純に距離画像に適用する手法が考えられる．特に Tomasi らによって開発された Bilateral ﬁlter[11] は，エッジを保存しつつノイズを除去することが可能なフィルタであり，これを距離画像に適用すればエッジ形状を保存した平滑化が可能であると考えられる．しかし距離画像では，図 2(a)に示すように奥行き値の変化が大きいジャンプエッジは明確に表れるため，Bilateral ﬁlter の利用が有効であるが，奥行き値が連続的に変化するルーフエッジは効果が小さいことが予想される．一方，距離画像に一対一に対応したリフレクタンス画像には，図 2(b) に示すようにルーフエッジは反射率の変化として明瞭に現れる．そこで本稿では，距離画像，リフレクタンス画像の両方を考慮することで，エッジ形状を保存しつつ距離画像を平滑化する Trilateral ﬁlter を提案する．
具体的な Trilateral ﬁlter の計算法を以下に示す．距離画像における画素 i の位置と距離値をそれぞれ xi ,fi ，対応するリフレクタンス画像における画素 i のリフレクタンス値を di とする．ガウス関数の標準偏差をσx ，σf ，σd とすると，距離画像とリフレクタンス画➨䢴䢺ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢲ᖺ䢻᭶䢴䢴᪥ࠥ䢴䢶᪥凛

式 (1) で表されるフィルタは，距離画像とリフレクタンス画像から 3 種類の情報（空間情報，距離値の差，リフレクタンス値の差）を取得し，それらを入力として平滑化を行うものであり，Trilateral ﬁlter と呼ぶことにする．Trilateral ﬁlter は，距離画像からジャンプエッジを，またリフレクタンス画像からルーフエッジをそれぞれ特に容易に検出可能であり，Bilateral ﬁlterの単純な拡張に比べて高いエッジ保存性能を有することが期待できる．
以上まとめると，本論文で提案する Trilateral ﬁlterとリフレクタンス画像を用いた距離画像の平滑化手法
は以下のようになる．

1. Time-of-Flight 式距離センサにより面状の計測を行い，各点の奥行き値及びリフレクタンス値を得る.
2. 得られた奥行き値及びリフレクタンス値から距離画像とリフレクタンス画像を生成する. ただしそれぞれの画像の輝度値は，距離画像については奥行き値に，リフレクタンス画像についてはリフレクタンス値にそれぞれ比例したものとする．
3. 距離画像の輝度及び距離情報，リフレクタンス画像の輝度情報を，式 (1)〜(4) で示した Trilateralﬁlter に入力し，平滑化された距離画像を得る．
4. 必要に応じて平滑化された距離画像からメッシュを構築し，3 次元モデルを作成する.

3.

実験

3·1合成画像を用いた実験

図 3 に示すように，屋内の壁に沿って一辺 1m の箱が置かれた環境の合成画像を作成し，計算機実験を行った．ただしリフレクタンス画像の代わりに，OpenGLで作成した輝度画像（図 3(a)）を用い，距離画像（図3(b)）に距離値の最大 1%のランダムノイズを加えた．
図 4 に Gaussian ﬁlter，Bilateral ﬁlter，および Trilateral ﬁlter を適用した結果を，また表 1 にそれぞれフィルタを適用後の距離画像の RMS 誤差を示す．なお，フィルタのカーネルサイズは 5 × 5 画素，距離値の範囲は 13,293〜17,128[mm]，輝度値は 0〜255 であり，標準偏差は σx = 5、σf = 0.11、σd = 15 とした．表 1より，提案した Trilateral ﬁlter が最も RMS 誤差が小さく，ルーフエッジ，ジャンプエッジともに保存されていることがわかる．

䣔䣕䣌䢴䢲䢳䢲䣃䣅䢵䣋䢴䢯䢷

Grayscale image

Fig.5 Experimental setup

Depth image

Fig.3 synthesized images for simulation experiment(a) 1% noise in depth values(c) Bilateral ﬁlter(b) Gaussian ﬁlter

Fig.6 Range and reﬂectance images(d) Trilateral ﬁlter

Gaussian ﬁlter を適用した場合，壁面の凹凸は平滑化されているが，各物体のエッジも同時に鈍っていることがわかる．また, Bilateral ﬁlter ではパソコンのディスプレイ部（矢印）などのジャンプエッジの形を保てているが，壁のルーフエッジや人物の顔や服の皺も同時に平滑化されている．一方，提案する Trilateral ﬁlter
では，それらの細かな凹凸が保存され，かつ壁などは適切に平滑化されていることがわかる．なお，フィルタのカーネルサイズは 5 × 5 画素，距離値の範囲は 275〜8,191[mm]，リフレクタンス値は 0〜255 であり，標準偏差は σx = 5、σf = 0.11、σd = 15 とした．

Fig.4 Denoised images by Gaussian ﬁlter, Bilateralﬁlter and Trilateral ﬁlter

RMS [mm]
Original image

45.8

Gaussian ﬁlter

33.1

Bilateral ﬁlter

26.6Trilateral ﬁlter (proposed)

21.8

Table 1 RMS error

3·2 レーザレンジファインダを用いた実験
図 1 に示すレーザレンジファインダを搭載した 3 次元
レーザ計測ロボット CPS-V[2] を用いて評価実験を行った．実験は図 5 に示すように, 人間を含む複数の物体によりジャンプエッジが計測される環境に対して行った．
距離画像，リフレクタンス画像を図 6 に示す．ただし，
図 1 のロボットは回転テーブルを回転させながら図 2のような全周方向の距離データを取得する．画像サイズは距離画像，リフレクタンス画像ともに 200 × 721画素である．図 6 はそのうちの一部を拡大して示している．
実験結果を図 7 に示す．図 7(a) は平滑化フィルタを適用する前の距離画像から構築した 3 次元モデルである．
距離値に含まれるノイズにより，壁面や物体の表面に本来存在しない凹凸が見られる．一方，図 7(b),(c),(d)はそれぞれ距離画像に対し，Gaussian ﬁlter，Bilateralﬁlter，および Trilateral ﬁlter を適用した場合である．

➨䢴䢺ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢲ᖺ䢻᭶䢴䢴᪥ࠥ䢴䢶᪥凛(a) Original range image(b) Gaussian ﬁlter(c) Bilateral ﬁlter(d) Trilateral ﬁlter

Fig.7 Experimental results for a complex environment

4.

まとめ

本論文では，レーザレンジファインダなど Time-ofFlight 式距離センサに対し，距離計測と同時にその副産物として得られるリフレクタンス値に着目した距離画像の平滑化手法を提案した．本手法は，距離画像とリフ䣔䣕䣌䢴䢲䢳䢲䣃䣅䢵䣋䢴䢯䢷
レクタンス画像に対して，濃淡画像に対する Bilateralﬁlter を拡張した Trilateral ﬁlter を適用することで，距離画像中の幾何構造を保存しつつノイズを抑制し距離画像を平滑化するものである．また合成画像およびレーザレンジファインダを用いた評価実験を行い，GaussianFilter, Bilateral ﬁlter に比べて，エッジ保存しつつ距離画像を平滑化する優れた性能を有することを確認した．
提案手法で用いるリフレクタンス画像は，Time-ofFlight 式距離センサの距離計測の副産物として得られるため，新たな計測や装置の追加が必要ない，照明条件に関係なく夜間でも計測可能である，などの優れた特徴を有する．また距離画像はジャンプエッジが，リフレクタンス画像はルーフエッジがそれぞれ容易に検出できることから，片方の画像のみを用いる場合に比べて高いエッジ保存性能を有すると期待される．
今後は定量的な評価実験，および最適パラメータについての検討などを行う予定である．
参考文献[1] A. Kolb andE. Barth, R. Koch, and R. Larsen. Timeof-ﬂight cameras in computer graphics. Computer
Graphics Forum, Vol. 29, No. 1, pp. 141–159, 2010.
[2] 倉爪亮, 戸畑享大, 村上剛司, 長谷川勉. Cps-slam の研究大規模建造物の高精度 3 次元幾何形状レーザ計測システム-. 日本ロボット学会誌, Vol. 25, No. 8, pp. 1234–1242,2007.
[3] Gabriel Taubin. A signal processing approach to fairsurface design. In SIGGRAPH ’95: Proceedings ofthe 22nd annual conference on Computer graphics andinteractive techniques, pp. 351–358, New York, NY,USA, 1995. ACM.
[4] Mathieu Desbrun, Mark Meyer, Peter Schro”der, andAlan H. Barr. Implicit fairing of irregular meshes
using diﬀusion and curvature ﬂow. In SIGGRAPH’99, pp. 317–324, 1999.
[5] Thouis R. Jones, Frédo Durand, and Mathieu Desbrun. Non-iterative, feature-preserving mesh smoothing. In SIGGRAPH ’03: ACM SIGGRAPH 2003 Papers, pp. 943–949, New York, NY, USA, 2003. ACM.
[6] Shachar Fleishman, Iddo Drori, and Daniel CohenOr. Bilateral mesh denoising. ACM Transactions onGraphics, Vol. 22, No. 3, pp. 950–953, 2003.
[7] A. Miropolsky and A. Fischer. Reconstruction with
3d geometric bilateral ﬁlter. In SM ’04: Proceedingsof the ninth ACM symposium on Solid modeling andapplications, pp. 225–229, Aire-la-Ville, Switzerland,Switzerland, 2004. Eurographics Association.
[8] J. Diebel and S. Thrun. An application of markov
random ﬁelds to range sensing. In Proceedings ofConference on Neural Information Processing Systems (NIPS), Cambridge, MA, 2005. MIT Press.
[9] M. Bohme, M. Haker, T. Martinetz, and E. Barth.
Shading constraint improves accuracy of time-of-ﬂight
measurements. In Computer Vision and Pattern
Recognition Workshops, 2008. CVPRW ’08. IEEE
Computer Society Conference on, pp. 1 –6, 23-28
2008.
[10] 倉爪亮, 西野恒, M. D. Wheeler, 池内克史. リフレクタ
ンスエッジと濃淡エッジを用いたテクスチャのアライン
メント. 電子情報通信学会論文誌 D-II, Vol. J85-D-II,No. 6, pp. 1038–1046, 2002.

➨䢴䢺ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢲ᖺ䢻᭶䢴䢴᪥ࠥ䢴䢶᪥凛[11] C. Tomasi and R. Manduchi. Bilateral ﬁltering forgray and color images. In ICCV ’98: Proceedingsof the Sixth International Conference on Computer
Vision, pp. 839–846, Washington, DC, USA, 1998.
IEEE Computer Society.