䣔䣕䣌䢴䢲䢳䢳䣃䣅䢳䣑䢵䢯䢳

レーザリフレクタンスを援用した 3 次元幾何モデルの彩色
○大石修士

1.

倉爪亮

岩下友美

はじめに

本稿では，レーザレンジファインダ等の距離センサにより計測された実物体の 3 次元形状に対し，色や模様をユーザの簡単な指示で付加して，現実感の高いモデルを生成する手法を提案する．カメラから得られたテクスチャを 3 次元幾何モデルに貼り付けるテクスチャマッピングは，見えを反映したより現実感の高いモデリングを実現する有効な手段であり，風化や破壊による劣化が心配される歴史的文化遺産のデジタルアーカ
イブ等において広く利用されている [1]．一般に，幾何モデルとカラー画像はそれぞれ異なるセンサにより取得されるため，適切なテクスチャマッピングを行うにはセンサ間での厳密な位置合わせが必要である．そのためには両データ内に見られる特徴点の対応を決定すればよく，これまでに 3 次元幾何モデルと 2 次元画像の対応を人手で与え位置合わせを行う手法が提案されている [2]．一方，この位置合わせを自動で行う手法も提案されている．野田ら [3] は 3 次元幾何モデルと 2 次元テクスチャ画像に互いに含まれる平面領域の共起性を用いた位置合わせ手法を提案している．Viola ら [4]は統計的手法を用いた位置合わせ手法を提案している．
これらの手法を用いて対象物全周に対してテクスチャマッピングを行う場合，視点の異なる多数枚のカラー画像が必要であり，またカラー画像毎に 3 次元幾何モデルとの位置合わせを行わなければならない．さらに，位置合わせの僅かなずれや，カラー画像間の照明条件の変化によって，生成されたモデルに不連続な継ぎ目が生じ，人に違和感を与える原因となる．
これに対し，本研究では Time-of-Flight 式距離セン
サによる距離計測において，一般に距離画像と同時に得られるリフレクタンス画像を用いた，全く新しい 3次元モデルの彩色手法を開発する．本稿で提案する手法は，リフレクタンス画像にカラリゼーションを施すことで 3 次元モデルを彩色するものであり，従来のテクスチャマッピングのような厳密な位置合わせを必要とせず，ユーザの簡単なインストラクションのみで現実感を高めた 3 次元モデルを生成することができる．
なお，倉爪ら [5][6]，梅田ら [7] はカメラ画像とリフレクタンス画像の対応関係を決定することで 3 次元幾何モデルへのテクスチャマッピングを実現しているが，リフレクタンス画像を直接カラー化することで幾何モデルの彩色を行う本研究はこれらの手法とは目的が異なる．

2.

長谷川勉 (九州大学)

提案手法

2·1 リフレクタンス画像
レーザレンジファインダなど Time-of-Flight 式距離センサは，センサから能動的に発射された光（レーザ光など）が，対象物表面に反射して再びセンサに戻るまでの時間を計測することで，対象物までの距離を得➨䢴䢻ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢳ᖺ䢻᭶䢹᪥ࠥ䢻᪥凛Rotating table
2D Laser range finder

図 1 全周囲距離画像の計測システム [8]‚⁓‛ ុᩉဒ΂‚⁔‛ ∐⇻−⇕⇥∙⇟ဒ΂

図 2 距離画像とリフレクタンス画像るものである．一例として，図 1[8] に示すように，2次元レーザレンジファインダを回転テーブル上に固定し，テーブルを回転させながらスリット状レーザにより計測を行い，全周囲の距離データを取得した結果を
図 2(a) に示す．このように距離データを濃淡値として2 次元表示した画像を距離画像という．一方，一般的な Time-of-Flight 式距離センサでは，レーザ光の反射時間とともにレーザ光の強度（リフレクタンス値）を計測することができる．図 2(b) にリフレクタンス値を濃淡値として表示した画像（リフレクタンス画像，あるいは反射率画像）を示す．ここで重要な点は，このレーザ光の反射強度は，距離画像のそれぞれの画素に対して一意に決定できる，すなわち一つの奥行き値に対して一つの反射強度が決まることである．言い換えれば，距離画像とリフレクタンス画像は原理的に厳密に位置合わせされた画像であるとも考えられる [6]．

2·2濃淡画像のカラリゼーション

濃淡画像を彩色するカラリゼーションは，電子顕微
鏡や X 線写真のカラー化などで近年盛んに研究されている [9][10][11][12]．本研究では，人手により一部の画䣔䣕䣌䢴䢲䢳䢳䣃䣅䢳䣑䢵䢯䢳
素に色の初期値を与えることで，濃淡画像に対するカラリゼーションを行う Levin らの手法 [13] を拡張し，Time-of-Flight 式距離センサから得られた 3 次元幾何モデルに彩色を行う手法を提案する．

2·2.1

Levin らの手法によるカラリゼーション

Levin らの手法では画像中の各ピクセルの値を Y U V色空間を用いて表している．Y U V 色空間では，Y は輝度情報を，U と V はそれぞれ色度情報を保持し，通常用いられる RGB 色空間において相関がある輝度と色度を分離したものである．
まず，Y 成分のみを持つ濃淡画像 I を用意する．また初期値として，濃淡画像 I の一部の画素に対し，その画素の色（U および V ）を人手により与える．次に，色度を表す U を以下のように定義するエネルギー関数
E を最小化することにより決定する．

E(U ) =∑p∈IU (p) −図 3 実験環境

2∑wpq U (q)(1)q∈N (p)ここで，N (p) はピクセル p の近傍を表わしている．また，wpq は入力となる輝度値 Y の差に基づくゲイン項であり，以下のように表わされる．
22wpq ∝ e(Y (p)−Y (q)) /2σr(a) 距離画像(2)(b) リフレクタンス画像
図 4 実機実験

ただし，σr はピクセル p 近傍における標準偏差を表わしている．式 (2) より，類似した輝度値 Y を持つ近傍のピクセルは最適化に大きく寄与する．一方で，輝度値が不連続に変化しているピクセルは最適化には用いられない．
以上のアルゴリズムを V に対しても適用し，カラー画像 Ic を得る．

2·3

リフレクタンス画像を用いた 3 次元モデルの彩色

上述したカラリゼーションの手法をリフレクタンス画像に適用し 3 次元モデルを彩色する．本研究では Timeof-Flight 式距離センサにより距離画像とリフレクタンス画像が得られ，また別の位置におかれたカメラにより対象のカラー画像を得られている場合を想定し，リフレクタンス画像のカラリゼーションにおける初期値は，カメラ画像中の対応した部分の色を人手で与えるものとする．なお，距離画像とリフレクタンス画像は原理的に厳密に位置合わせがなされており，3 次元幾何モデルに彩色を施すには，カラー化されたリフレクタンス画像の各ピクセルに対応する 3 次元点に色を転写すればよい．以上をまとめると，本論文で提案する
3 次元モデルの彩色手法は以下のようになる．

1. Time-of-Flight 式距離センサにより計測を行い，各点の奥行き値及びリフレクタンス値を得る．このとき，計測を行った環境のカメラ画像を同時に取得しておく．
2. 得られた奥行き値及びリフレクタンス値から距離画像とリフレクタンス画像を生成する. ただしそれぞれの画像の輝度値は，距離画像については奥行き値に，リフレクタンス画像についてはリフレクタンス値にそれぞれ比例したものとする．

➨䢴䢻ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢳ᖺ䢻᭶䢹᪥ࠥ䢻᪥凛

3. リフレクタンス画像中の一部の画素に対し，人が手動でカメラ画像で対応する領域のカラー値を初期値として与える．
4. 式 (1)〜(2) で示した Levin らの手法によりリフレクタンス画像のカラリゼーションを行う．
5. カラー化されたリフレクタンス画像の各画素に対応する 3 次元点に色を転写し，彩色された 3 次元モデルを作成する.

3.

実験

図 1 に示す 3 次元形状計測ロボット CPS-V[8] を用いて，図 3 に示す環境下で実機実験を行った．距離画像，リフレクタンス画像を図 4 に示す．ただし，図 1 のロボットはスリット状のレーザスキャナ (SICK LMS151)を載せた回転テーブルを回転させながら全周の距離データを取得しており，画像サイズは距離画像，リフレクタンス画像ともに 760 × 1135 画素である．図 4 ではそのうちの一部を拡大して示している．
図 3 に示すカメラ画像の色を基に初期値を与えたリフレクタンス画像，および Levin らの手法によるカラリゼーションを施した結果をそれぞれ図 5(a)(b) に示す．
さらに，図 5(b) に示すカラー化されたリフレクタン
ス画像から 3 次元幾何モデルへの彩色を行った結果を
図 6 に示す．本手法は，距離センサとカメラ間の相対姿勢の推定が不要であり，幾何モデルとカラー画像で大きなずれを生じることなく，幾何モデルが彩色されていることが分かる．

䣔䣕䣌䢴䢲䢳䢳䣃䣅䢳䣑䢵䢯䢳
謝辞
本研究の一部は文部科学省科学研究費補助金基盤研
究 (B)（課題番号 23360115）の支援を受けた．
参考文献(a) 初期値を与えたリフレクタンス画像(b) カラリゼーション結果
図 5 リフレクタンス画像のカラリゼーション

4.

まとめ

本論文では，レーザレンジファインダに代表されるTime-of-Flight 式距離センサに対し，距離計測時に副産物として得られるリフレクタンス値に着目した 3 次元モデルの彩色手法を提案した．本手法は，エッジやテクスチャなどの豊富な幾何光学情報をもつリフレクタンス画像にカラリゼーションを施すことで，従来のテクスチャマッピングのような 3 次元幾何モデルとカメラ画像の厳密な位置合わせを必要とせず 3 次元モデルへの彩色を実現するものである．提案手法で用いているリフレクタンス画像は，照明条件に関係なく夜間でも計測可能であるという優れた特徴を有しており，距離画像とリフレクタンス画像を Time-of-Flight 式距離センサにより計測しておけば，色情報のソースとなるカメラ画像を同時に取得することが困難な場合であっても，任意の画像，たとえば web 上に存在する画像などを用いて後日彩色を行うことができる．

➨䢴䢻ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢳ᖺ䢻᭶䢹᪥ࠥ䢻᪥凛[1] 野田裕介, 倉爪亮, 岩下友美, 長谷川勉. 移動ロボット群を用いた大規模文化遺産の幾何・光学モデリング. 日本機械学会ロボティクスメカトロニクス講演会, pp. 1A1–E06,2009.
[2] K. Yoshida and H. Saito. Registration of range image using texture of high-resolution color images. InIAPR Workshop on Machine Vision Applications, pp.
pp.150–153, 2002.
[3] 野田裕介, 倉爪亮, 岩下友美, 長谷川勉. カラー画像の分割領域を用いた 2d/3d 位置合わせ. 画像の認識理解シンポジウム (MIRU2010), pp. IS2–11, 2010.
[4] P. Viola and W.M.Well. Alignment by maximizationof mutual information. IJCV, Vol. Vol.24, No. No.2,
pp. pp.137–154, 1997.
[5] Ryo Kurazume, Ko Noshino, Zhengyou Zhang, andKatushi Ikeuchi. Simultaneous 2d images and 3d geometric model registration for texture mapping utilizing reflectance attribute. In Proc. of Fifth Asian
Conference on Computer Vision (ACCV), pp. 99–106,
2002.
[6] 倉爪亮, 西野恒, M. D. Wheeler, 池内克史. リフレクタ
ンスエッジと濃淡エッジを用いたテクスチャのアライン
メント. 電子情報通信学会論文誌 D-II, Vol. J85-D-II,
No. 6, pp. 1038–1046, 2002.
[7] 梅田和昇, G. Godin, M. Rioux. こう配拘束と距離濃淡画像を用いた距離画像とカラー画像のレジストレーショ
ン. 電子情報通信学会論文誌 D-II, Vol. J88-D-II, No.
no.8, pp. pp.1469–1479, 2005.
[8] 倉爪亮, 戸畑享大, 村上剛司, 長谷川勉. Cps-slam の研究大規模建造物の高精度 3 次元幾何形状レーザ計測システ
ム-. 日本ロボット学会誌, Vol. 25, No. 8, pp. 1234–1242,
2007.
[9] T. Welsh, M. Ashikhmin, and K. Mueller. Transferring color to grayscale images. In ACM SiggraphConference, pp. pp.277–280, 2002.
[10] Y. Tai, J. Jia, and C. Tang. Local color transfer via probabilistic segmentation by expectationmaximization. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition,
Vol. Vol. 1, 2005.
[11] P. Lagodzinski and B. Smolka. Colorization of medical images. In APSIPA ASC 2009, 2009.
[12] T. Horiuchi. Colorization algorithm for gray-level
image by probabilistic relxation. In Proceedings ofIEEE International Conference on Pattern Recognition, 2003.
[13] A. Levin, D. Lischinski, and Y. Weiss. Colorization
using optimization. In SIGGRAPH2004, 2004.

䣔䣕䣌䢴䢲䢳䢳䣃䣅䢳䣑䢵䢯䢳(a) 視点 1：彩色前(b) 視点 1：彩色後(c) 視点 2：彩色前(d) 視点 2：彩色後図 6 3 次元幾何モデルの彩色➨䢴䢻ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢳ᖺ䢻᭶䢹᪥ࠥ䢻᪥凛