リフレクタンスエッジと濃淡エッジを用いたテクスチャのアラインメント
倉爪 亮
東京大学

      

池内克史
東京大学

レーザスキャナ等により測定された実物体の  次元幾何モデルをより現実感高く表現するには、実物体表面のテクスチャをカラーセンサにより撮影し、 次元幾何モデルに貼り付けて表示するテクスチャマッピングが有効である。しかし通常、テクスチャマッピングを実現するには、レーザ、カラーセンサ間の正確なキャリブレーションを必要とし、またキャリブレーション後は両センサを常に固定しておく必要がある。一方、レンジデータや  モデルから幾何エッジを抽出し、それとカラー画像上の濃淡エッジの位置を一致させることで、両センサの相対位置を推定する方法も提案されている。この方法は、小さな  分散を有する表面に対しては有効であるが、複雑なテクスチャを有する対象物では局所解に陥る可能性が高い。そこで本論文では、通常、レンジデータを取得する際に同時に測定されるレーザのリフレクタンス画像に着目し、これから得られるリフレクタンスエッジとカラー画像上の濃淡エッジから両センサの相対位置関係を測定することで、正確なテクスチャマッピングを行う方法を提案する。

                                                                                       ! "#       #                                   "     #  # "#   $   #    #             %       "         &'  ( はじめに 関連する手法

仮想現実モデルの効率的作成法の開発は、仮想現実感)* の分野で最も重要な研究課題の一つである。現在、仮想現実モデルの多くはオペレータの手作業により作成されているため、多くの時間と労力、多額の費用が必要となっている。そこでこの作業を自動化できれば、仮想現実システムの低価格化が可能となり、より一層の普及が期待される。そこで我々はこれまでに、実物体の観察に基づき仮想現実モデルを自動作成する+ ' '  )&,*+の概念を提案している。この手法は以下の  つの要素からなる。

距離画像とカラー画像の位置合わせ法として、 .6/
は統計的手法を提案している。また  ら .7/ はレンジデータに平面を当てはめ、それらの交線エッジとカラー画像のエッジを比較することで位置合わせを行った。またいくつかの認識アルゴリズムも距離エッジと濃淡エッジの位置合わせのために用いることができる.8/。これらの方法は、小さな  分散を有する表面に対しては比較的うまく機能するが、大仏のような複雑なテクスチャを有する表面では局所解に陥る可能性が高い。
一方、9   ら .:/ は、リフレクタンス画像を用いたカラーセンサとレンジセンサの相対位置の推定法を提案している。彼らは、( 仮想物体の幾何モデルの作成法- 仮想物体の光学モデルの作成法
 仮想物体の実環境、あるいは仮想環境への統合法( リフレクタンス画像と濃淡画像からコーナディテ
クタにより特徴点を抽出

我々はこれまでに、幾何モデルの作成法に関して )(*メッシュ生成（スキャニング）、)-* 位置合わせ（アラインメント）、)* 統合（マージング）からなる  段階の手法を開発した .(/。また光学モデルの作成法に関しても、実物体の観察からレンダリングモデルを自動的に作成する手法として、モデルベース .-/ と固有テクスチャ法 ./ の - つのレンダリング法を開発した。さらに実センサと仮想物体の統合を目指し、実際の光源環境分布を観測、推定し、実環境に仮想物体を違和感なく配置する新たなレンダリング法を開発した .0/。
さて、実物体の光学モデルを作成する手法の一つに、実物体の見えをカラーセンサで撮影し、レンジセンサ等により測定した幾何モデル上へ貼り付ける、テクスチャマッピングの手法がある。しかし、12$3 や #など距離画像とカラー画像が同じ視点位置から同時に得られるような特別な光学系を有するレンジセンサを除いて、距離画像とカラー画像は通常、それぞれ独立したレンジセンサとカラーセンサにより異なる視点から得られる。従ってカラーセンサから得られるカラー画像をレンジセンサから構築された幾何モデルに貼り付けるためには、それらの視点間の相対位置関係を正確に知る必要がある。
本論文では、このテクスチャマッピングに必要なレンジセンサとカラーセンサの相対位置を測定するために、多くのレンジセンサにおいて距離画像の付加的な情報として得られるリフレクタンス画像に着目し、レンジセンサから得られる  次元エッジ点とカラーセンサから得られる - 次元エッジ点間の  次元誤差をロバスト推定法を用いて最小化する .(4/ .5/ ことにより、両センサ間の相対位置関係を推定する新たな手法を提案する。

- 特徴点周囲の両画像差分と特徴点形状を用いた類
似度計算による特徴点間の対応付け（誤対応を視差の大小で判定）   '  の式を解いて大まかな相対姿勢を計算
0 リフレクタンス画像と濃淡画像の対応特徴点の奥行きをステレオで計算し、それとレーザの奥行きが一致するように、最急降下法で相対位置を再計算することで相対位置関係を決定している。この手法は対象がテクスチャの少ない平面で構成され、単純な直線エッジが多く抽出される場合には有効であるが、コーナディテクタを用いているために、対象物が曲面で構成されている場合には不向きである。また異なる光学系から得られるリフレクタンス画像と濃淡画像の差分から、十分正確な特徴点間の対応関係が得られるか疑問である。また曲面の輪郭線形状は視線方向によって変化するため、異なる視点から得られるリフレクタン
ス画像の輪郭線エッジとカラー画像の輪郭線エッジの位置は一般には一致しない。従って、正確な位置合わせのためには、抽出されたリフレクタンスエッジからあらかじめ輪郭線エッジを除去しなければならない。

 テクスチャの距離データへの位置合わせ異なるセンサの相対位置関係を決定するには、キャリブレーションボードと固定器具を用いて精密にキャリブレーションを行えばよい。しかしこの方法は相対関係が求まった後、レンジセンサとカラーセンサを同じ-固定器具に常に固定する必要がある。通常、デジタルカメラなどのカラーセンサはレンジセンサよりも軽量小型であり、重いレンジセンサを持ち運ぶことなく、カラーセンサを任意の位置に移動させてカラー画像を自由に撮影できるのが望ましい。
一般的に、9$& や ;  、あるいは我々の所有する  などの多くのレンジセンサからは、距離画像とともにそれぞれのピクセルでのレーザ反射エネルギー強度の集合であるリフレクタンス画像が得られる。
このリフレクタンス画像は同じ受光系を通して、距離画像と同一の位置に得られる。すなわち反射時間が奥行きを表し、反射強度がリフレクタンスを示す。
そこで本論文では、このリフレクタンス画像を距離画像と濃淡画像との位置合わせに利用する手法を提案する。リフレクタンス画像も濃淡画像も表面の反射特性に深く関係する量であり、両者は類似性が強い。従ってリフレクタンス画像と濃淡画像の位置合わせは、その類似性から距離画像と濃淡画像よりも容易であると考えられる。さらに上述したように、リフレクタンス画像は距離画像と同じ位置に得られる。これらのことか
ら、距離画像と濃淡画像の位置合わせを直接行うのではなく、まずリフレクタンス画像と濃淡画像の位置合わせを行い、得られたパラメータを同じピクセル位置に得られる距離画像に適用することで、より容易にテクスチャマッピングを行うことができると考えられる。
具体的には、リフレクタンス画像から  オペレータにより得られるエッジと、濃淡画像で同様にして得られるエッジ間の  次元誤差が最小となるように、レンジセンサとカラーセンサの相対位置を漸近的に決定した。リフレクタンス画像のエッジは以下のいくつかの理由のより生成される。まず反射物体の色や材質が異なると、レーザ反射率もそれぞれ異なるため、リフレクタンスの不連続が生じ、従ってリフレクタンス画像からエッジが得られる。例えば  レンジスキャ
ナは緑色の半導体レーザを用いているため、この波長に対する吸収率が異なる色、材質の境界では、リフレクタンスエッジが抽出できる。またカラー画像でも、通常、異なる材質は異なる色を有するので、リフレクタンスエッジと同じ位置に不連続が現れる。特にレーザに近い波長（ の場合は 2 チャンネル）の画像から得られる濃淡エッジは、リフレクタンスエッジに近い特徴が現れると考えられる。また、距離画像内の小さな距離領域に沿ったジャンプエッジもまた、リフレクタンス画像でジャンプエッジとして認識される。これ
らのジャンプエッジは通常それに沿って小さな影を伴うので、濃淡画像でも観察される。オクリュージョン境
界領域ではリフレクタンス画像、濃淡画像ともに不連続が観察される。これらリフレクタンス画像内の不連続部を濃淡画像内のそれと合わせることで、距離画像と濃淡画像間の相対位置関係を知ることができる。
位置合わせに先立ち、まずリフレクタンス画像から得られたリフレクタンスエッジを  次元幾何モデルに貼り付ける。ただしリフレクタンス画像から得られたオクリュージョン境界領域のエッジは、前述のように視線の位置、方向によって観察される位置が変化するため、あらかじめリフレクタンスエッジから取り除いておく。
しかし、このオクリュージョン境界領域は、現在の視線方向を元に  次元幾何モデルから推定できるため、位置合わせ時にはこのオクリュージョン境界エッジも自動的に計算し、位置合わせに用いることにする。これらの処理により、位置合わせ問題は  次元幾何モデル表面に貼り付けられた  次元リフレクタンスエッジ  次元幾何モデル表面の  次元オクリュージョン境界エッジと、

 - 次元画像平面上の - 次元濃淡エッジの位置合わせとなる。さらに ,( のように、抽出されたそれぞれのエッジをそれに沿った点の集合として表すことにより、位置合わせは  次元パッチ上の  次元座標点と - 次元画像平面上の濃淡エッジに沿った - 次元座標点間、すなわち  点'- 点の対応となる。

Edge line

Sample points, (< 9   点'- 点の位置合わせは以下の  つのステップからなる。
( 現在の視線方向をもとに観測可能な  次元リフレクタンスエッジと  次元オクリュージョン境界エッジを抽出しする。
-  次元エッジ点と - 次元濃淡エッジ点間の対応を決定する。
 対応を元にロバスト推定法を用いて相対位置関係を推定する。

 可視判定と対応付け オペレータをリフレクタンス画像に適用してリフレクタンスエッジを得る。これらからエッジ点が求められ、 次元幾何モデル表面に配置される。まずどのエッジ部分が現在の視線方向から可視であるかを次式で判断する。

 =        4     ) * =)(* =    4           )7*

本アルゴリズムでは、重み関数 ) * に次式で表される連続なローレンツ関数を用い、この誤差関数を共役勾配法を用いて漸近的に最小化する。

)-*) * =(>(   ¾-  ½)6*

この最小値を与える  が、カメラとレンジセンサの相対位置関係である。

対応付けZ

 次元エッジ点と - 次元濃淡エッジ点の対応関係を決定するために、まず  次元エッジ点を - 次元画像平面へ投影する。次にその点に最も近い画像平面上の - 次元エッジ点を  次元エッジ点の対応点として選択する。この点の組は次の相対位置の推定で誤差関数の値を評価するのに使われる。

):*  =) *=4を調べ、これを満たすパッチをオクリュージョン境界領域に沿ったエッジ点として選択する。ただし、 は適当な閾値である。
またエッジ対応付けをより正確に行うために、エッジ追跡の様々なパラメータを調節して細かなエッジを消去し、支配的なエッジだけを抽出する。

( 

これにより以下の重みつき最小二乗法を得るを

ここで  はパッチの法線、 は現在の  次元幾何モデルから見た、現在の視線方向である。また、オクリュージョン境界領域も同様にして

) * を次式で定義

ここで誤差項評価のための重み関数する。

(x,y,z)2D Color Edgeθ

 実験結果 計算機シミュレーション
提案した  点'- 点の位置合わせ手法の有効性を確認するために、直径 (4、長さ -4 の円柱が、カラーセンサとレンジセンサの ( 手前に置かれている状況を考え、計算機シミュレーションを行った。
ただしシミュレーションでは、レーザスキャナから得られるリフレクタンスの情報は仮定せず、オクリュージョン境界領域の計算から得られる  次元エッジ点のみを用いた。またカラーセンサの解像度は 44 、焦点距離は 74 とした。, にシミュレーションに使用した円柱モデルを、,0 にアラインメントを実行している様子を示す。
実際の位置から最大 84、-4 度離れた位置、姿勢を初期位置として与え、シミュレーションを繰り返した。
(4 回シミュレーションを行った後の位置、 軸の傾きそれぞれの平均と標準偏差を  ( に示す。  (で、特に奥行き ? 方向の位置が近くに計算されている)*である。ここで  はカメラ焦点と  次元エッジ点間の距離であり、 は濃淡エッジ点と  次元エッジ点のなす角である。また全ての誤差  を以下の式で定義する。

) *)0*

ここで  は誤差関数、 はカメラとレンジセンサ間の相対位置である。この  ) * を最小にする相対位置 は次式で得られる。

  ) * ==4 

3D Edge, -< -      - 次元濃淡エッジ点と  次元エッジ点を一致させる両センサの相対位置関係を推定するために、ロバスト推定法の一手法である & 推定法を用いた。まず、- 次元濃淡エッジ点と  次元エッジ点間の  次元誤差を評価するために、,- に示すように、カメラ中心と - 次元濃淡エッジ点を結ぶ直線を  次元エッジ点方向に延長した直線を考え、 次元エッジ点からこの線へ下ろした垂線の長さを  次元誤差  とした。すなわち、

 ) * =u

Projection of 3D Edge

 推定法を用いた相対位置推定

 =   dy)8*0

た , 7 に & 推定法によりリフレクタンス画像と濃淡画像の位置合わせを行っている様子を示す。幾何モデルや  データから幾何エッジを抽出し、濃淡エッジと比較する方法では、このような軸対称な物体に対して、絵柄の位置までも合わせるような正確なテクスチャマッピングは不可能である。一方、提案した位置合わせ法
は、表面の絵柄から得られるリフレクタンス情報も用いているため、それを手がかりにして , 6 に示すように現在のカラー画像を幾何モデル上に正確に貼り付けることができている。

yxz, < 3   

3D edge
2D edge(1) Initial position(2) After 1 iteration(3) After 2 iterations(4) After 5 iterations, 8< %     , 0< 3    のは、9- を満たすオクリュージョン境界エッジ点を三角パッチの重心位置として求めているため、エッジ点が実際の境界よりも内側に観測されるためである。従ってこれは三角パッチが十分密に設定されていれば問題とならない。このように、提案した  点'- 点の位置合わせ手法により、カメラとレンジセンサの正確な相対位置関係が求められることがわかった。

, :<     

絵皿のテクスチャマッピング

次に実際に  レーザスキャナを用いて表面に絵柄のある皿の  次元形状を測定し、提案した手法でテクスチャマッピングを行った。
, 8 にリフレクタンス画像とリフレクタンス画像から抽出されたリフレクタンスエッジを、, : にデジタルカメラ )@  (* で撮影されたカラーテクスチャ画像と抽出された濃淡エッジを示す。ただし , 8 では、明るいほどリフレクタンスが大きいことを示す。ま (< ;      . ) */"3 

4(0 )4(-*4( )4((*'4-4 )4(:*(65 )(8:*?
'5:76(850. /
040(8, 7<       #  % , 6<         , (4< %     A 2B 

大仏のテクスチャマッピング

我々はこれまでに日本国内の文化遺産をレーザスキャナで  次元デジタルコンテンツ化するプロジェクトを推進してきており .((/。その一環としてこれまでに鎌倉大仏をレーザスキャナで観測し、大仏像の幾何モデルを作成した。, 5 に得られた大仏幾何モデルを示す。
そこで、この構築した幾何モデルに対し、本論文で提案, ((<B , 5< 2   B      A 2

画像から得られた濃淡エッジと比較することで、レンジセンサとカラーセンサの相対位置関係を求め、幾何モデル上にテクスチャイメージを貼り付ける手法を提案した。
本手法は、まずリフレクタンス画像から  フィル
タによりリフレクタンスエッジを抽出し、次にこのリフレクタンスエッジを視線方向と  次元幾何モデルから計算されるオクリュージョン境界エッジと共に  次元幾何モデル上に貼り付ける。次に画像平面上でこれら 次元エッジ点と - 次元濃淡エッジ点との対応付けがなされ、それぞれの対応で  次元エッジ点から - 次元濃淡エッジ点を延長した直線への最短距離として  次元誤差が計算される。次にこの誤差の総和を最小化する
ように、ロバスト推定法の一手法である & 推定法を用いて、レンジセンサとカラーセンサの相対位置関係が求められる。提案した手法を用いて、レーザスキャナにより測定した鎌倉大仏の幾何モデル上にデジタルカメラで撮影したテクスチャを貼り付け、提案した手法の有効性を確認した。
本研究は科学技術振興事業団戦略的基礎研究推進事業（93 ）高度メディア社会の生活情報技術の支援を受けて行われました。

   A 2した手法を用いてデジタルカメラから得られたカラーテクスチャ画像を貼り付けた。, (4 にリフレクタン
ス画像とリフレクタンス画像から抽出されたリフレクタンスエッジを、, (( にカラーテクスチャ画像と抽出された濃淡エッジを、また , (- に & 推定によりリフレクタンス画像と濃淡画像の位置合わせを行っている様子を示す。, (4 と , (( を比較すると、例
えば額の錆や青銅接合部の形状など、リフレクタンス画像とカラー画像が高い類似性を有することがわかる。
さらに , ( に現在のカラー画像を幾何モデル上に貼り付けた結果を示す。また同様の手法を用いて鎌倉大仏の全身幾何モデルにテクスチャイメージを貼り付けた結果を , (0 に示す。

 終わりに  

本論文では、実物体の光学モデルを作成する手法の一つとして、レンジセンサから得られるリフレクタンス画像からリフレクタンスエッジを抽出し、同様にカラー.(/ 池内 画像による実物体のモデルの作成 日本ロボット学会誌  (: @ : -5'- (556:        "  'E     + $999  ?'      2   8 @  ( ('(- H (555
.8/ 松下、金子，三次元物体表面テクスチャを得る効率的マッピング法，電子情報通信学会論文誌，'$$
 H6''$$ @ - 8-8'80 -444
.:/ &  9    ; D 3 3  'B      & '3  $  
9 ?      9" ' ;     (555 $999 $ '        I    (506'(58 (555.7/ $  3    ;  A  $      $ 3   ;  
 &  ;     -444 $999$           '   (08'(004 -444
, (-<       #  % .6/ ;    D& D $$$   ?          $ '  H         -0 @ -(7'(80 (557.-/ C 3  &  D  A $ +1E  %      "' + ;    & 3$22;F 57 $   2 ;     ' 3 (557 & 3$22;F 75'
67  (557.5/ &  D +   &   J '?     1E    +   ); * & '3'5:'(66 3     3  &  "'  1  (55:./ A@  C3 A$ +9'  &  <       & +  ;      '   ;      G55 " ( :(6':-0 H (555.(4/ &  D  A  $ +3 &  ;   F  2     J ?     1E  ' + $999     ;  
 & $    (7 @   &(558

.0/ $ 3  C 3   A $ + .((/  &?
 1 
@#  3# A @    C   A $  2 B  ; E < & '   F    1"' 3&&-444 ):       
 "       * (6'(08-444

, (<             7, (0< A 2 B

6

 #        