幾何学的整合性に基づくレンジデータとカラー画像の位置合わせ
椛島佑樹

原 健二

倉爪 亮
岩下友美
九州大学

長谷川勉

レーザスキャナ等により測定された実物体の 次元幾何モデルをより現実感高く表現するには，実物体表面のテクスチャをカラーセンサにより撮影し， 次元幾何モデルに貼り付けて表示するテクスチャマッピングが有効である しかし通常，テクスチャマッピングを実現するには，レーザ，カラーセンサ間の正確なキャリブレーションを必要とし，また，キャリブレーション後は両センサを常に固定しておく必要がある．一方，屋内環境やビルなど多数の平面から構築される環境においては，複数の平面が交差してできる直線的な幾何エッジを利用し，それとカラー画像上の濃淡エッジの位置を一致させることで，両センサの相対位置を推定する方法が考えられる．しかし，レーザスキャナから得られるレンジデータはノイズを多く含むため， 次元幾何モデルから正確な幾何エッジの抽出は困難である．そこで本論文では，レンジデータから幾何エッジを直接的に抽出し利用するのではなく，カラー画像から抽出された直線エッジ群を 次元幾何モデルに投影し，その投影パッチ群に対して直線性，平行性，直交性などの幾何学的整合性を数値化し，それを最大化することで正確なテクスチャマッピングを行う方法を提案する．

                                
                                                                                                           !                                 "

はじめにの幾何学的整合性を数値化し，それを最適化することで正確なテクスチャマッピングを行う方法を提案する．

バーチャルリアリティ，シネマトグラフィーや都市計

従来の手法では，カラー画像とレンジデータの両方画のような現実感高いモデルを必要とするアプリケーで，正確なエッジ検出が要求されるのに対し，提案手ションを効率よく作成するために，実物体の幾何，光学法ではレンジデータから幾何エッジを明示的に抽出す特性を正確にモデル化し，この二つを使ってコンピューることなく，テクスチャマッピングにおける位置合わせタ内で再現する方法がある．その効率的作成法のひとを行うことが可能である．

つとして，レンジセンサ等により測定された実物体の本報告の構成は以下のとおりである．まず，% 章では次元幾何モデル上に，カラーセンサにより撮影された関連手法を述べる．次に， 章で提案手法について説明

実物体表面のテクスチャ画像を貼り付けて表示するテ

し，& 章において実験結果を報告する そして，最後にクスチャマッピングの手法が知られている．

結論を述べる．

通常，正確なテクスチャマッピングを行うには，レンジセンサとカラーセンサ各視点間の相対位置関係を

正確に求める必要があるが，これには例えばキャリブレーションボード等を用いて両者の相対位置関係を精関連手法

密にキャリブレーションする手法が考えられる．しか

距離画像とカラー画像の位置合わせ法として，多くし，この方法は相対関係が求まった後，レンジセンサのレンジセンサにおいて距離画像の付加的な情報としとカラーセンサを同じ固定器具に常に固定する必要がて得られるリフレクタンス画像（反射強度画像）を用あり，使いづらい．

いる手法が提案されている．倉爪ら #($#)$ は，リフレク
タンス画像中のエッジ点とカラー画像中のエッジ点間

一方，屋内環境やビルなどの多数の平面から構築される環境においては，複数の平面が交差してできる直の誤差を，ロバスト * 推定法を用いて最小化すること線的な幾何エッジを利用し，それとカラー画像上の濃により位置合わせする手法を提案している．+ ら#,$ はリフレクタンス画像を用いたカラーセンサとレンジセンサの相対位置の推定法を提案している この手法
では，まずリフレクタンス画像とカラー画像からそれぞれ特徴点を抽出し，類似度計算によりそれらの対応関係を決定する．次にステレオ視の原理によりそれら対応点の奥行きを求め，それと距離画像から得られる奥行きが一致するように両センサの相対位置姿勢を推定する．さらに梅田ら #-$ は，リフレクタンス画像と %次元画像の勾配拘束を利用した，レンジセンサと画像センサの相対位置の推定法を提案している．

淡エッジの位置を一致させることで，両センサの相対位置を推定する方法が考えられる #"$．しかし，レンジデータにおける幾何エッジの検出では，ノイズを多く含むレンジデータに対し，法線方向が不連続であるところを検出したり，各点の近傍で局所的に多項式を当てはめたりする必要があり，なかなか容易ではない #% $．
本報告では，レンジデータから幾何エッジを直接的に抽出し利用するのではなく，カラー画像から抽出されたエッジのみを間接的に利用することでテクスチャマッピングを正確に行う手法を提案する．一般に，カラー画像におけるエッジは濃度値の不連続点であり，レンジ一方，シルエット画像や輪郭線を用いた位置合わせ手データにおける幾何エッジの場合よりも，安定かつ正法も提案されている．.  ら #"/$#""$#"%$ が提案ししくエッジ検出を行うことができる．他方，平面の集合たシルエット画像を用いた位置合わせ手法では，まず %で構成される物体シーンを対象とするビジョンの問題，次元画像と特に形状復元の問題では，各々の平面や稜線に関する画像の排他的論理和をとることで類似度を評価する．次

幾何学的条件を利用するアプローチがしばしばとられに てきた #& '$．

幾何モデルの位置合わせ誤差を収束させている．また，  0   法を利用し，% 次元画像と 次元次元幾何モデルの以上の点に着目し，本研究では，カラー画像から抽出された直線エッジ群を次元幾何モデルのそれぞれのシルエット次元距離場を予め  形式で構築し，% 次元画像のシルエット輪郭線の視線方向への次元幾何モデルに投影し，そ延長線との投影パッチ群に対して直線性，平行性，直交性など%次元幾何モデル間の次元距離を最小化す

る手法が提案されている #" $#"&$．1Æ ら #"'$ は，人工関節の位置姿勢を " 枚の 2 線画像から推定する問題に適用し， 次元距離誤差を .  3*   法% " 組あるいは % 組のエッジ群を取り出し，オペレータがそれらに対して後述する幾何学的条件を定義する．

により最小化する手法を提案した．医療用画像におけ % を十分多数のエッジ群に対して行う．

る種々の位置合わせ手法については #"($ に詳しい．
一方，% 次元輪郭線を用いた位置合わせ手法では，%次元画像内の輪郭線上の点と投影された次元幾何モ

デルのシルエット画像輪郭線の点との距離の和として位置合わせ誤差を求め，繰り返し計算により誤差を最小化する手法が一般に用いられる #")$ #",$ #"-$．岩下らは，. 0 * を利用して高速に求められる% 次元輪郭線の等距離場を利用し，位置合わせ誤差を高速に計算する手法を提案している #%/$．
また，建物などの人工構造物に対しては，レンジデータに平面をあてはめ，それらの交線エッジとカラー画像のエッジを比較することによって位置合わせする手法が多く提案されている #%"$#%%$#"$．#%%$ では，まず& レーザスキャナとカラーセンサ間の相対位置姿勢に適当な初期位置を与え，%， で抽出された % 次
元画像のエッジ群を 次元幾何モデルに投影する．
' 投影された 次元幾何モデルの三角パッチを抽出し，投影点の 次元座標を求める．
( 投影点の 次元座標に対して，%， で定義した幾何学的条件の満足度（幾何学的整合度）を計算する．
) & ( を繰り返し，幾何学的整合度を最大化する
相対位置姿勢を共役勾配法または最急降下法により推定する．

カラー画像上の消失点と焦点を結んだ線とそれに対応する３次元エッジが平行になるように姿勢を回転させ，以下それぞれの手順について詳細に示す．

おおまかな位置合わせを行う 次に， 次元エッジをカラー画像上に投影し，２次元エッジと比較し位置を決定している．

幾何学的整合度

まずエッジに付与される幾何学的整合度について説明する．提案手法では図 "，図 %，図提案手法に示す以下のつの幾何学的条件を用い，レンジセンサとカラーセン
屋内環境や人工構造物は複数の平面で構成されていることが多く，その稜線の多くは平行関係または直交関係にある．そこで本章では，複数の稜線の平行性や稜線の直線性などの幾何学的整合性を利用して， 次元幾何モデルと % 次元カラー画像の位置合わせを行う手法を提案する．

サの相対位置関係を推定する．

 直線度
 平行度
 直交度
Projected 2D edge
2D edge手法の概略

提案する手法の概略を以下に示す．ただし， 次元幾何モデルと % 次元カラー画像はそれぞれレーザスキャナとカラーセンサによって別々の視点から得られているとし，また， 次元幾何モデルは多数の微小な 角パッ

View Point

Color image
Geometrical model

チで記述されているとする．

" % 次元カラー画像から 4エッジを抽出する．

 オペレータ等により

図 "5 幾何学的整合度（直線度）

2D edges

レンジセンサとカラーセンサの相対位置関係が正し

Projected 2D edges

く推定されている場合，% 本の % 次元直線エッジの投影点は平行または直交関係にある．一方，レンジセンサ
View Pointとカラーセンサの相対位置関係が正しい位置から離れている場合，投影点の平行性，直交性は満たされなくなる．したがって，直線度と同様に，どれくらい平行まColor image
Geometrical model

たは直交関係であるかを数値化し，レンジセンサとカラーセンサの相対位置を推定する際の基準とする．本

図 %5 幾何学的整合度（平行度）
2D edges

論文ではこれらを平行度，直交度と定義する．

Projected 2D edges を用いた 次元投影点の計算

View Point

上述した直線度，平行度，直交度を数値化するには，幾何モデルに投影した % 次元エッジのColor image

次元座標が必要となる．本手法では 7  8. の機能を用い，幾何モ

Geometrical model

デルを構成する三角パッチの座標から投影点の図 5 幾何学的整合度（直交度）

次元座標を決定する．
まず三角パッチそれぞれにあらかじめ番号付けを行 直線度

う．この番号はある番号が呼ばれたときにそれに対応する三角形パッチが唯一決定されるように番号付けさ% 次元画像上からエッジを抽出し，そのなかで実世界において " つの直線と思われるエッジ群を 6  変換
あるいはオペレータからの指示により定義し，それを幾何モデルに投影することを考える．このとき，直線エッジの投影点が 次元幾何モデルの平面上，あるいは次元的なエッジ上にある場合，その投影点も直線状になる．しかし，平面と平面にまたがって投影された場
合，投影した % エッジは折れ曲がった線分となり，これは実世界では直線であることと矛盾する．従って直線エッジの投影点がどれくらい直線状に分布しているかを数値化することによって，レンジセンサとカラーセンサの相対位置を推定する際の１つの基準となる．これを本論文では直線度と定義する．

れていればよい．そうすると，% エッジ投影点を含む三角形パッチを決定できれば，そのパッチの点の座標から % エッジ投影点の座標を求めることができる．
実際の番号付けではまず，89 の初期値をすべて /にしておく．ここで 89 の値を :89; であらわすことにする．7  8. では三角形パッチを表示する際，個別に色を指定できるので，まず :///; として " 番目のパッチを描画する．次に， の値を " 増やし :"//;として % 番目のパッチを表示する． の値が %'' に達したら， の値をいったん / にリセットし，8 の値を" 増やす．つまり :/"/; で %'( 番目のパッチを描画する．このようにして幾何モデルを構成するすべての三角形パッチに番号付けを行い，幾何モデルを描画する．
次に % 次元画像から抽出されたエッジを，描画され 平行度と直交度た幾何モデルに投影して表示し， 7  8. の機能を用いて重なった三角パッチの色を調べる．これにより対屋内環境では，平面同士は平行または直交関係にあ応する三角パッチが簡単に探索でき，そのることが多く，% 次元画像から抽出した直線エッジ同士から % 次元エッジ投影点のも平行または直交関係になっていることが多い．そこできる．

で % 次元画像上で平行または直交関係と思われる % 本の % 次元直線エッジを幾何モデルに投影することを考える．

&次元位置次元座標を求めることが

ここで  は回転行列， は平行移動行列，   は適幾何学的整合度の計算手法

当な重み係数を表す．本論文では最急降下法，あるいは上述した手法で求められた % 次元エッジ投影点の 次共役勾配法を利用し，評価値 + を最小にする相対位置

元座標から，以下のようにして幾何学的整合性の計算姿勢を推定する．

を行う．

 直線度
直線度の計算は以下のようにして行う．まず % 次元画

実験結果
提案した手法を用いて，計算機シミュレーションを行った 幾何モデルは仮想的に作成した高さ '，幅像から抽出された直線エッジ を幾何モデルに投影した ½  ¾  ¿ ; とおき，"/ の部屋の内部とし，２次元カラー画像は，幾何モデルに色をつけ照光処理を施したものをキャプチャして作成した．

分散が最大となる方向，¾ は分散が % 番目に大きい方

まず初期位置を真値とし，図 ' に示す幾何モデル上次元点の共分散行列を求め，その共分散行列の固有値を求める．この固有値を :/それぞれの固有ベクトルを ½  ¾  ¿ とおく．½ は向，¿ は分散が最小となる方向を表す．よって ½ とのドア（左側）に垂直な軸周りに回転させたときの直¾ が小さいほど，幾何モデルに投影した点群は直線に線度，平行度，直交度の評価値の変化を調べた．その近づく．そこで，直線度を結果を図 & に示す．ただし，横軸は真値からのずれ角   < ½ = ¾度 : ;，縦軸は評価値である．これより，ローカルミ:";

ニマムは存在するものの，真値の場合のみ直線性等すによって評価する．このとき，その点群の方向は ¿ とべての評価値はほぼ / となることがわかった．

なる．

次に，初期位置を真値から離して位置合わせ実験を行った．図 ' に実験結果を示す．ただし，幾何モデル

 平行度と直交度とカラー画像の初期相対位置は，真値から  軸周りに" / 度， 軸周りに3"%' 度，> 軸周りに3"' 度， 軸方向に3/ ｍ， 軸方向に "/ ｍ，> 軸方向に //, ｍず
らしたものとし，また，評価値の重み係数は  < /'，
 < "/， < "' とした また，図 ( に式 :&; で定義された評価値の変化を示す．ただし，横軸は繰り返し計
算回数，縦軸は評価値 + である．このように，この場合は評価値 + は単調に減少し，( 回目以降はほぼ / になっている．また，直線度，平行度，直交度の変化の様子を図 ) に示す 平行度，直交度は ' 回目にはほぼ /になっており，' 回目以降の評価値は直線度が支配的であることがわかる しかし一般的には直線度，平行度，直交度の収束性能への影響は，初期位置や選択した稜線の数，種類に大きく依存し，重み係数の適切な設計や制御が今後の検討課題である．

まず平行または直交関係にある % 本の % 次元エッジの組 を幾何モデルに投影した点群から，% 本の近似直線を求める．この近似直線の方向は直線度を評価する際に求めた ¿ とする．この % 本の近似直線の方向ベクトルを  ¼ とおくと，平行度，直交度をそれぞれ <   ¼ :%;   : ;<    ¼ によって評価する．



相対位置姿勢の推定

相対位置姿勢の推定は，上で求めた直線度，平行度，直交度の線形和を最小化することによって行う．位置合
わせの評価値 + は以下の式で表される．

 ; <:   = =   

終わりに
本論文では，幾何学的整合性を用いたレーザスキャナ:&;から得られた'

次元幾何モデルとカラーセンサから得16Evaluated values

14
12
10

Straight

86

Parallel

Orthogonal412345620-4-3-2 -10
1
2
Rotation angle [rad]34

図 &5 画面に平行な軸周りに回転させたときの直線度，平行度，直交度の変化られた % 次元カラー画像の位置合わせ手法を提案した．
本手法は，まず，カラー画像から抽出された直線エッジ群を幾何モデルに投影し，その投影パッチ群に対して直線性，平行性，直交性などの幾何学的整合性を数値化する．次にそれを最大化するセンサ間の相対位置姿勢を探索，推定することで，正確なテクスチャマッピングを行うものである．また，計算機実験により提案手法の有効性を確認した．今後は屋内実画像を用いた位置合わせ実験を行う予定である．

図 '5 位置合わせ結果

参考文献#&$ 6 .  * 0    7   >   3     D    3          %, A , ('"B((  "--(#"$ . .   ! 0  ?     %  3           3
   !          %//'#'$ E +  4 F  
 F *  *     3
  5   3   3  3  !
    !  "
#$%&
 ""B%/ "--(#%$ 0 @ 1   ? 6 ?   3
                     A 
 %&B " "-,"#($  G > G A  1 1
G !  0   %     3           >H    !    '       ( )
(* --I"/( %//%

# $ * *    ?   *  3
            C           

 A &

 &,%B&,( "-,"(Evaluated values#"%$ 6 .  @ 6   63E 0  ?
 3         3         (  %&'B%(% %//"

1.2
Straight + Parallel + Orthogonal

0.8
0.400246810Iteration [times]

12#" $ . 9  0 .    0>    C           3      D !  

14

Evaluated values

図 (5 評価値の変化  "  
(

1.2

ParallelOrthogonal

0024

Straight

68
10
Iteration [times]

12   ") A &#")$ K     7 J          3     !           (  %
 )"(B)%" "---   

 "-&,B"-'  "---#-$ G   8 8   *     3             3         !   +,      ),B -/ "--'#"($ F * >  *    ?    3             
 % A "  "B ( "--,#,$ *  +  E @ 0  03       3          >          !   +%%%

 #"'$ 0 1Æ ? .   J 4   0 J >>  ? 4 ? 3     3
              3
        ",
A "/  -,"B--" "---#)$ 倉爪 西野 *  @ 池内 リフレクタン
スエッジと濃淡エッジを用いたテクスチャのアラインメント 電子情報通信学会論文誌 3!! F,'33!! A (  "/ ,B"/&( %//%

   

 ()/B()' "--%       14図 )5 直線度，平行度，直交度の比較#"&$ 0 .     0>    3       3 D           

0.80.4   #",$ G *    G  +Æ         !
   ' +0
 &-B ', "--- 

 "%B"' %//&#"-$ E F A   G G  
     D      3        !
   ' +0
 %&'B%'( "---#"/$ 6 .  @ 6    63E 0  ?3            !    $.. ")B%( %///

#%/$ L !     G > G 6   6 
 J        3    %    %     !     1      2     "(&B")" %//'#""$ 6 .  @ 6   63E 0 6  3        !
"# "/  %///)

#%"$ ! 0   E G ?  !                 !     3...          
 "& 'B"&&/%///#%%$ ! 0   E G ?  ?      
 %3  3       !           ( ) "B) ) %//",