論文

全方位距離画像と全方位カラー画像の統合による屋外環境の三次元モデル化
浅 井 俊

弘†

神 原 誠 之†横 矢 直 和†† 奈良先端科学技術大学院大学 情報科学研究科〈あらまし〉 本論文では，全方位が計測可能なレーザレンジファインダとカメラを用いた屋外環境のモデル化手法を提案する．提案手法では，一度に広範囲の環境の形状・色情報を収集するために二つの全方位センサを用い，全方位レンジデータと全方位画像を同地点で取得することで，全方位レンジ
データの各点に対応したテクスチャ情報を獲得する．全方位レンジデータと全方位画像を環境中の多地点で取得し，それらを統合することで対象の屋外環境をモデル化する．レンジデータの統合においては，各レンジデータから平面部分を検出し，平面部分のマッチングを行うことでレンジデータの位置合せを行う．その際，RTK-GPS とジャイロセンサから構成されるハイブリッドセンサにより計測

時の全方位センサの位置・姿勢を取得し，その位置・姿勢を初期値とし，全てのレンジデータを同時位置合せすることで，各レンジデータの回転・平行移動成分を最適化する．また，モデルへのテクス
チャマッピングでは，画像の解像度とモデルのオクルージョンを考慮したテクスチャを全方位画像から選択する．実験では，本学構内を対象とした三次元モデル化結果を示し，本手法の有効性を示す．
キーワード：三次元モデル化, レーザレンジファインダ, 全方位距離画像, 全方位カラー画像, 屋外環境
〈Summary〉 This paper describes a 3D modeling method for wide area outdoor environ-ments, which is based on integrating omnidirectional range and color images. In the proposed
method, outdoor scenes can be eﬃciently digitized by using two omnidirectional sensors; thatis, the omnidirectional color and range images are acquired at the same position to registerboth of the images geometrically. In order to register multiple range images correctly, points
on planar regions detected from the range data are used in registration process. Multiple
range images are registered by making the corresponding planes overlap in diﬀerent range
images. The position and orientation of omnidirectional sensors acquired by a hybrid sensor
consisting of RTK-GPS and gyroscope are used as initial values for registration, and rotations
and translations of whole range data are optimized by registering range data simultaneously.
The 3D model obtained by registration of range data is mapped by textures selected from
omnidirectional color images in consideration of the resolution of texture and occlusions of thegenerated model. In experiments, we have carried out 3D modeling of our campus with theproposed method.
Key words: 3-D modeling, laser rangeﬁnder, omnidirectional range data, omnidirectional
color image, outdoor environment

1. は じ め に“3-D Modeling of Outdoor Environments by Integrating
Omnidirectional Range and Color Images” by Toshihiro
ASAI, Masayuki KANBARA, and Naokazu YOKOYA, (〒630–0192 奈良県生駒市高山町 8916–5).

1108

屋外環境の三次元モデルは，シミュレーション，ナビ
ゲーション，ウォークスルーなどの様々な分野への応用が期待されている．しかし，現在そのような分野におい論文：全方位距離画像と全方位カラー画像の統合による屋外環境の三次元モデル化て利用される三次元モデルは，モデリングソフトなどを反射強度の差を重み付けすることで位置合せの精度を高用いて人手により作成されることが多く，屋外環境のモめている．点と点の対応は離散的な対応であり，物体のデルを作成するには膨大な労力が必要になる．そのため表面形状に関する情報が含まれていないため，大石ら16)

近年，静止画像や動画像からの三次元形状推定や，レーは，計測点へのレーザベクトルと他のレンジデータからザレンジファインダ（以下，レンジファインダ）による構成された面との交点を対応点とすることで形状を考慮

計測等を利用し屋外環境の三次元モデル化を自動化する

した位置合せ手法を提案している．

研究が盛んに行われている1)2)．

しかし，屋外環境には樹木などレンジファインダではコンピュータビジョンの分野において，複数の静止画

安定して計測することが困難な物体が多く存在するため，や動画像からステレオ法や因子分解法などを利用してモ

ICP アルゴリズムではそのような部分で対応関係の誤り

2)〜6)

．これら

が起こりやすく，局所解に陥りやすくなる．さらに，ICPの手法では，カメラ以外の特別な機器を必要としないとアルゴリズムは一般に対応点探索の計算量が大きくなる．

いう利点がある反面，復元されたモデルの精度や信頼性

屋外環境での ICP アルゴリズムを用いないレンジデーには課題が残されているため，広範囲の屋外環境を安定

タの位置合せ手法として，Zhao ら9)は全方位レンジデー

デルを復元する手法が多く研究されている

して三次元モデル化することは現時点では困難である．

タを鉛直方向に投影した二次元画像 (Z-image) を生成す

一方，物体の三次元形状を広範囲かつ高精度に計測することで，建物の壁面を示す直線を検出し，その直線のることが可能なレンジファインダを用いた屋外環境モデ

マッチングにより位置合せを行なっている．壁面のみを

1),7),8)

レンジファイ使うことで樹木などの影響を排除し，計算量を削減してンダは，正確に物体までの距離を計測できるが，測定可能いる．この手法は，環境中に鉛直な壁面が必要であり，計な部分はレーザの届く範囲に限定され，一般に一回の計測時はレンジファインダの垂直軸と，鉛直方向が一致し測で対象物体の全てを計測することは困難である．対象ている必要がある．また，位置合せの精度が Z-image のの三次元モデルを得るには，異なる方向からレンジデー

解像度に依存するため，精度を高くかつ広範囲に適用すタを取得し，それらを統合する必要があるため，レンジ

るとメモリの必要量が大きくなる．清水ら12)は，地上でデータの位置合せが課題となる．レンジファインダは，実取得した範囲が狭く計測点が密なレンジデータから抽出

世界の物体と同じスケールで形状を計測できるため，レした建物の壁面を，航空機から取得した広範囲のレンジ

ンジデータの位置合せとは，レンジデータ間の三次元剛データから抽出した建物の壁面とマッチングすることで体変換パラメータを求めることである．従来，環境の複位置合せを行っている．この手法も環境中に鉛直な壁面

数地点においてレンジデータを取得し，それらを位置合が必要であり，航空機からのレンジデータの計測点密度

せして統合することで屋外環境をモデル化する手法が多は疎であるため，抽出した建物の精度は，地上から取得

く提案されている9)〜12)．

したデータから抽出した建物の精度よりも低くなる．まルの自動生成手法が注目されている．

複数のレンジデータの位置合せには ICP アルゴリズ

た，地上から取得したレンジデータ同士ではマッチング

13)

を行っていないため，地上から取得したレンジデータ間

ムが一般的によく用いられている．この手法は，異なるレンジデータ間の重複して計測された部分で，ユーク

では位置ずれが発生する可能性がある．

リッド距離が最も小さくなる点を対応点として，対応点

本論文では，屋外環境を高精度にモデル化するために，同士が最も近づくように，その対応点間の距離の和を誤

1) 屋外環境の多地点において，全方位レンジデータと全差とし，誤差が最小になるようにレンジデータ間の回転・方位画像の同地点での取得，2) 平面同士の対応へと拡張

平行移動成分を推定する．点と点の対応では，計測地点

した ICP アルゴリズムによる複数のレンジデータの同の違いから，同じ部分を計測しても計測点の密度が大き時位置合せ，3) 環境のオクルージョンを考慮した上で解く異なる場合，1 つの点に複数の点が対応付けられる場

像度が最も高くなる全方位画像からのテクスチャの生成，合がある．また，必ずしも異なるレンジデータ間で同一によるモデル化手法を提案する．全方位レンジデータとの三次元点が計測されておらず，局所解に陥りやすくな

全方位画像を同地点で取得することでモデル化対象のレる14)．そのため，ICP アルゴリズムを改良した様々な手ンジデータをテクスチャ付きで取得する．本研究で対象法が提案されている．

としている屋外環境は主に都市環境であり，道路や壁な西野ら15)は，レーザで同じ材質を計測した場合，そのどの平面部分が多く存在するため，レンジデータから平レーザ反射強度はレーザの照射方向に依存しないことに面を検出し，平面部分のみを利用したレンジデータの位着目し，対応点同士のレーザ反射強度が近い場合は対応

置合せを行う．平面部分のみを利用することで，位置合付けの信頼度が高いものとし，対応点間の距離にレーザ

せの計算量を削減し，樹木などのレンジファインダでは

1109

画像電子学会誌

第 34 巻

第 6 号（2005）
Antenna of RTK-GPS(Nikon-Trimble, LogPakII)

Omnidirectional
multi-camera system(Point Grey Research, Ladybug)

Omnidirectionallaser rangefinder(Riegl, LMS-Z360)

Gyroscope(Tokimec, TISS-5-40)

Fig. 1

図 1 センサシステムの外観
Sensor system mounted on a vehicle.
表 1 LMS-Z360 の性能
Table 1 Specification of LMS-Z360

形状が安定して計測することが困難な物体の影響を排除する．そして，平面同士の対応へと拡張した ICP アル
ゴリズムにより，レンジデータの同時位置合せによる全

measurable angle

体最適化を行う．レンジデータ間で対応する平面を探索-50◦ ∼40◦

measurable range

1m∼200m
±12mm
0.01◦

minimum step angle

この方法により位置合せを行うには，1 つのレンジデー
タに法線が異なる平面が 3 つ以上必要であるが，全方位360◦

vertical:measurement accuracy

し，対応する平面同士の法線の向きを一致させて重ね合せることにより，物体の形状を考慮した位置合せを行う．

horizontal:

maximum resolution

horizontal:

0.0025◦vertical:

0.002◦

レンジファインダを用いて一度に広範囲を計測することでその取得が容易に行える．データ取得時の全方位センサの位置・姿勢は RTK-GPS とジャイロセンサから構成
されるハイブリッドセンサによって取得する．センサによる位置・姿勢は測定誤差等を含んでいることを考慮して位置合せの全体最適化の初期値として利用する．位置
合せしたレンジデータからポリゴンを作成し，得られたサーフェイスモデルと全方位カメラにより得た高解像度画像を用い，環境のオクルージョンを考慮した上で解像度が最も高くなる全方位画像を選択し，モデルのテクス

Fig. 2

チャを生成する．
以下，2 章では，本研究で用いたセンサと得られるデー
タについて述べる．3 章では全方位距離画像からのサー
フェイスモデルの生成方法について述べ，4 章ではテク
スチャマッピング手法について述べる．5 章では，本学キャンパスを対象とした三次元モデル生成実験について述べ，最後に 6 章で本論文をまとめる．

2.1
2.1.1

図 2 全方位距離画像
Omnidirectional range image.

各センサの特徴
全方位レンジファインダ

全方位レンジファインダは Riegl 社製 LMS-Z360 を利用した．LMS-Z360 の主な性能を表 1 に示す．本セン
サは計測の際，水平 · 垂直方向共に計測範囲・角度分解能が変更可能である．図 2 は本センサで計測したレンジ
データを示しており，距離が近い点は明るく，遠い点は

2. センサシステム

暗く表現している．本センサは，機器から外側に放射状にレーザを照射し，物体までの距離を計測するため，計測点はセンサから近い場所は密に，遠い場合は疎になる．

本研究では，レンジデータの取得に全方位レンジファ
インダ，テクスチャの取得に全方位カメラ，レンジファイ

2.1.2

全方位カメラ全方位カメラは図 3(a) に示す PointGreyResearch 社

ンダとカメラの位置・姿勢の取得に RTK-GPS とジャイ製 Ladybug を利用した．Ladybug はマルチカメラシス

ロセンサを使用する．図 1 にセンサシステムの外観を示

テムであり水平方向に 5 つ，上方向に 1 つのカメラからす．各センサの位置関係は固定し，座標系の統合は事前構成され，6 つのカメラで全方向の約 75%のテクスチャに行う．レンジファインダとカメラはそれぞれの画像のを取得可能である．また，各カメラの解像度は横 768× 縦

取得位置の差が小さくなるように近づけて設置する．

1024 画素である．図 3(b) に各カメラの位置・姿勢の関係

1110

論文：全方位距離画像と全方位カラー画像の統合による屋外環境の三次元モデル化
表 3 ジャイロセンサの性能
Table 3 Accuracy ofgyroscope.

表 2 RTK-GPS の性能
Table 2 Accuracy of
RTK-GPS.

(a) appearance

latitude±3.0cmyaw±2◦longitude±3.0cm

roll

±0.5◦

altitude±4.0cm

pitch

±0.5◦

(b) view volume

図 3 全方位マルチカメラシステム Ladubug
Fig. 3 Omnidirectional multi-camera system Ladybug.

zL

yLomnidirectional
multi-camera system

xL
zr

yr

(a)
Alt.

Antenna of RTK-GPS

xr

(b)

rangefinder

xg

Lon.

gyroscope

(c)

Lat.
GPS coordinate system

Fig. 5
Fig. 4図 4 全方位カラー画像
Omnidirectional color image.

ygzg

図 5 センサ座標系
Relationship among the coordinate systemsof the sensors.

markerを示す．なお，池田らの手法17)によって事前に Ladybugの幾何学的 · 光学的キャリブレーションを行った．同手法により生成した全方位カラー画像を円筒面透視投影によりパノラマ展開した画像を図 4 に示す．

2.1.3 位置・姿勢センサ
RTK-GPS はニコン・トリンブル社製 LogPakII を，
ジャイロセンサはトキメック社製 TISS-5-40 を利用した．

(a) Layout of markers(b) Laser intensity of markers

図 6 レンジファインダとジャイロセンサの座標系の統合
Fig. 6

RTK-GPS の位置精度を表 2 に示す．センサシステムのAlignment of rangefinder and gyroscope coordinate systems.

位置はレンジデータ取得中に得られた RTK-GPS の値の平均値を利用する．RTK-GPS とジャイロセンサは一体型のハイブリッドセンサとなっており，このセンサは

勢は位置合せの際の初期値として用いる．

2.2

センサ座標系の統合

移動することで，RTK-GPS の出力値を用いてジャイロ

本手法ではレンジデータを GPS 座標系に統合する．

センサの蓄積誤差を補正することができる18)．そのため，

従って各センサの座標系も GPS 座標系へと統合してお長時間使用しても誤差は一定以下に抑えられる．しかし，

く．以下，センサ座標系の統合方法について述べる．

レンジデータはセンサシステムを静止させて取得するため，ジャイロセンサの蓄積誤差は RTK-GPS の位置情報

図 5 の (a)，(b)，(c) は変換行列を示しておりそれぞれ次の方法で推定する．

から補正されない．従って，姿勢はレンジデータ取得開(a) レンジファインダとカメラ間の変換行列は，レンジ

始時のジャイロセンサの値を利用する．RTK-GPS と連データの 3 次元点と画像上の 2 次元点の対応を与え，池動したジャイロセンサの性能を表 3 に示す．また，ジャ田ら17)の手法により推定する．

イロセンサ座標系は自動的に GPS 座標系へと統合され(b) 図 6 に示すように，ジャイロセンサ座標系で位置がる．RTK-GPS は衛星の捕捉状況や，建造物等による電既知であるマーカをレンジファインダで測定し，レンジ

波の遮蔽や反射により性能通りの精度が得られない場合

ファインダ座標系でのマーカの位置から，センサ間の変があり，レンジファインダはセンサから放射状にレーザ

換行列を推定する．ここで，マーカにはレーザの反射率を照射しているため，ジャイロセンサによる姿勢の誤差が高い再帰性反射材を用いた．

はレンジファインダから離れた部分の位置ずれに大きく(c)RTK-GPS とジャイロセンサは連動しており，GPS

影響する．従って，このセンサによって得られた位置・姿

座標系とジャイロセンサ座標系は自動的に統合される．ま1111

画像電子学会誌

第 34 巻

第 6 号（2005）

た，RTK-GPS のアンテナとジャイロセンサを近づけて

Nka

Qxa

設置することで，RTK-GPS の計測点とジャイロセンサ

Pka

座標系の原点を同じと見なす．

Nkb
Pkb

変換行列 (a)，(b)，(c) が推定されると全てのセンサの座標系を GPS 座標系へと統合することができる．

3.

サーフェイスモデルの生成

Qxb
Nni

Qnij

Pni

(a) Selection by threshold of an inner product.

多地点で取得したレンジデータを統合し，ポリゴンをNka

作成することでサーフェイスモデルを生成する．そのために，まず全てのレンジデータを GPS 座標系へと統合

Pka

Qxa

する．次に，レンジデータからポリゴンを作成し，レン

Nkb

ジデータ間で重複してデータを取得している部分の統合
を行う．

Qxb

3.1 多地点レンジデータの同時位置合せ

Nni

Pkb
Pni

多地点レンジデータの位置合せは，各レンジデータか

Qnij

ら平面を検出し，レンジデータ間で対応する平面を探索(b) Selection by existence of an intersection.

する．そして，その平面を重ね合せることにより行う．そFig. 7のために，まずレンジデータから平面の検出とその平面

図 7 対応面の探索
Selection of corresponding plane.

の法線ベクトルを求める．レンジデータのある計測点の法線情報はその周辺の計測点から推定する二次的な情報

点群データから最適な平面のパラメータをくりこみ法19)になるため，木のような複雑な形状をした物体は同じ部を用いて推定する．窓内全ての点と推定された平面との分でも計測した方向や解像度によって推定される法線が距離を求め，全ての距離が閾値以下なら窓内の点群は平大きく異なる可能性が高い．そのため，計測した方向や面であると判断し，推定された平面の法線をその点群で解像度が異なっても，推定される法線が大きく変化しなの法線とする．平面と判断されなかった場合は窓を四分

い道路や壁などの平面部分のデータのみを用いる．ある

割して処理を繰り返す．窓の大きさが 3×3 でも平面と判平面に対応する平面を他のレンジデータから探索し，対断されなかった部分の計測点は位置合せに利用しない．
対応面の探索応する平面の法線ベクトルの成す角，及び平面部分の計

3.1.2

測点からその平面に対応する平面への距離が最小になる

ある平面に対応する平面をその法線方向に別のレンジ

ように回転・平行移動成分を推定する．それぞれのレンデータから探索する．対応面の定義を以下に述べる．レ

ジデータの位置・姿勢は，RTK-GPS とジャイロセンサ

ンジデータ n (n = 1, · · · , N ) の平面を Pni とし，そのによって取得するが，測定誤差を含んでいるため測定値

Pni 上の計測点を Qnij ，Pni の法線ベクトルを Nni とは初期値として利用する．以下に処理手順を示す．

する．Pni の対応面は，Pni 上の計測点 Qnij を通る法

1. レンジデータから平面部分を検出．

線ベクトル Nni と他のレンジデータの平面との交点 Qx

2. レンジデータを GPS 座標系へ座標変換．

が存在する平面と定義する．ある点 Qnij からその平面

3. 平面の対応関係を全レンジデータ間で探索．

の法線方向に複数の対応面が見つかった場合，見つかっ

4. 対応する平面の法線と平面領域の計測点からレンジた平面の法線ベクトルと Nni の角度が閾値以内でかつ，データの回転・平行移動成分を推定し変換行列を更新．

Qnij と Qx の距離が最小となる平面を選択する．図 7 の5. 変換行列の推定結果が収束していれば終了．収束していなければ 2. に戻る．

場合 (a)，(b) 両方とも距離は Pkb が近いが，(a) では法
線ベクトルの角度差が閾値を越えているため，(b) では

2. の座標変換で，最初は RTK-GPS とジャイロセンサ

交点が平面部分に存在しないため，Pka が Qnij に対応で計測した位置・姿勢を用い，以後は 4. で推定された変する平面として選択される．また，Pni 上の計測点 Qnij

換行列を用いる．以下，1. 平面検出，3. 対応面の探索，で探索を行い対応面が複数見つかった場合は，全てを対4. 変換行列の推定のそれぞれの処理について詳述する．

応面とする．
レンジデータの変換行列の推定3.1.1 レンジデータからの平面検出

3.1.3

平面検出はレンジデータに局所的平面を当てはめるこ

各レンジデータの変換行列を，求めた対応面の法線ととにより行う．四分木を用いて距離画像を分割し，窓内の平面領域の計測点から推定する．回転成分を平面の法線1112

論文：全方位距離画像と全方位カラー画像の統合による屋外環境の三次元モデル化

Triangular patch P

Camera C1
Generated polygon

Overlapping polygon

Vertex of the generating polygon

Camera C2

Correspondence of point and plane

Fig. 8図 9 オクルージョンを考慮した全方位画像の選択
Fig. 9 Selection of omnidirectional image in consideration of occlusion.

図 8 重複部分の削除
Deletion of overlapping areas.

ベクトルの内積から，平行移動成分を平面領域の計測点とその対応面の距離から推定する．

はめを行った窓の四隅の計測点 (図 8 の●印) でポリゴ

step 1. 回転成分 Rn は，対応面の法線ベクトルの内ンを作成する．3.1.2 節で述べた対応面の探索の際，計測積の和を信頼度 CR と定義し，CR を最大化することで点と対応面の距離が閾値以下となった場合は，図 8 の◇求める．3.1.2 節で述べた手法により探索した平面 Pu とで示すように，他のレンジデータとの重複した計測点とその対応面 HP u のペア集合 (Pu , HP u ) (u = 1, · · · , U )して記憶しておく．そして，図 8 の点線で示す三角形のから CR は，UCR =(RPu NPu ) · (RHP u NHP u ) → max, (1)ように，作成するポリゴンの頂点全てが作成済みのポリ

u=1と定義する．ここで，RPu と RHP u はそれぞれ Pu とHPu が存在するレンジデータの回転成分を, NP u とゴンと重複する場合はポリゴンを作成しない．

4. テクスチャマッピング
提案手法では，レンジデータと画像は同地点で取得す

NHP u はそれぞれ Pu と HPu の法線を示す.

るため，レンジデータと同様に同じ部分が重複して撮影

step 2. 平行移動成分 Tn は，平面領域の計測点とそされている場合がある．そこで，モデルの各ポリゴンのの点から探索された平面の距離の和を誤差 ET と定義し，テクスチャが，最も高い解像度を持つように全方位画像

ET を最小化することで求める．ET は，
U


ET =
distance(QPu (RP, TPu ),
uの選択を行う．2 章で述べたように，レンジファインダと全方位カメラの位置関係は固定しているため，レンジ

u=1

HP u (RH, THP u )) → min,Pu
で定義され，RP
と RH
u

Pu

データを位置合せすることで各カメラの位置・姿勢も同(2)時に推定される．従って，レンジデータの全ての三次元

は，それぞれ step1 で求点が全方位画像のどの点に投影されるかを一意に求めるめた Pu と HPu が存在するレンジデータの回転成分，

ことができるため，ポリゴンの各頂点をそれぞれの全方

Q(R, T ) と H(R, T ) は，回転成分 R と平行移動成分 T

位画像面へと投影しポリゴンの面積が一番大きくなる全によって座標変換された点 Q と平面 H ，TPu と THP u

方位画像を選択する．しかし，選択された全方位画像にはそれぞれ Pu と HPu が存在するレンジデータの平行は，オクルージョンによりそのポリゴンの実際のテクス移動成分を示す．step2 では回転成分を固定し平行移動

チャが写っていない場合がある．例えば図 9 に示すよう成分のみを最適化する．

にポリゴン P はカメラ C1 の全方位画像から生成された

step2 の結果，回転・平行移動成分の推定結果が収束してテクスチャが，最も解像度が高くなる．しかしポリゴン P

いれば位置合せ処理を終了し，収束していなければ推定は，オクルージョンによりカメラ C1 で撮影されていなされた回転・平行移動成分をレンジデータに適用する．そい．このような画像が選択されるのを避けるために，生して，再び対応面を探索し，変換行列の推定を行う．位

成されたサーフェイスモデルからオクルージョンの判定

置・姿勢の最適化処理では，多次元滑降シンプレックスを行う．ポリゴン P を構成する 3 頂点とカメラ C1 の位

20)

法を

を用いる．

3.2 レンジデータのポリゴン化

置の 4 点で構成される三角錐の内部に他のポリゴンが存在している場合は，オクルージョンによりポリゴン P のポリゴンは，レンジデータの入力順に，距離画像上でテクスチャが写っていないと判断する．図 9 の場合は最隣接する画素を結ぶことで作成する．ポリゴン数の削減

も解像度の高い全方位画像はカメラ C1 の画像であるがとして，平面検出で平面と判定された部分は，平面当て

オクルージョンが発生しているため次候補のカメラ C21113

画像電子学会誌(4)

第 34 巻:acquisition point
50m

第 6 号（2005）

行った．位置合せの処理に要した時間は約 72 時間であった．最適化前から後への移動距離は平均が 4.69m，最大7.24m であり，表 2 で示した RTK-GPS の精度が得られなかった．これは，本学構内は 7 階建て約 30m の建造
Viewpoint of Fig. 11

物が複数存在し，計測位置のほとんどが建物に近接していたため，GPS 衛星からの電波が反射・遮蔽された影響が大きかったと考えられる．RTK-GPS とジャイロセン
サによって得られた位置・姿勢情報を用いて統合された(3)モデルを図 11(a) に，最適化後の位置・姿勢情報による
A

(1)

(2)

統合結果を図 11(b) に示す．図 11 は図 10 の●印から矢印の方向にモデルをみたシーンである．図 11(a) では位
置ずれにより壁面が幾重にも見えているが，図 11(b) では統合されていることが確認できる．図 12 に水平面に平行投影した位置合せ済みのモデルと，本学構内の二次
元 CAD データとを重ね合せたものを示す．道路の部分がほぼ一致していることにより，全体のモデルが大きく

図 10 構内の地図とデータ取得位置
Fig. 10 Range data acquisition points.

歪んでいないことが確認できる．図 13 に生成した三次元モデルを示す．図 13(1)〜(4) は，図 10 中の矢印 (1)〜(4) における視点からモデルを見たシーンである．生の画像が選択され，再びオクルージョンの判定を繰り返成モデルを歩行者の視点で見ても精度が保たれ，かつ自す．カメラ C2 ではオクルージョンが発生していないた

由な視点移動および見回しが可能であることを確認した．

め，ポリゴン P のテクスチャはカメラ C2 の画像から生成される．

生成モデルの総ポリゴン数は 7,724,462 となった．樹木の部分では計測位置によりポリゴンによる形状が異な

5. モデル生成実験

るため，重複ポリゴンの削除が正しく行えない場合があった．また，ガラスをレーザレンジファインダで計測した提案手法を用いて屋外環境の三次元モデル化実験を行っ場合，1) ガラスまでの距離，2) レーザがガラスを透過した．以下，本学構内を対象とした三次元モデルの生成実

建物内部の物体までの距離，3) ガラスがレーザを反射し験について述べる．本実験では，本学構内約 250m× 約

ガラスに映った虚像までの距離，のいずれかが計測され，300m の範囲を 68 地点においてレンジデータおよび全方

窓の部分はポリゴンが正しく生成できない場合や虚像の位画像を取得した．提案手法では位置合せのために，取位置にポリゴンが作成されることがあった．

得位置が近いレンジデータ間で平面の重複部分が一定領

レンジファインダと全方位カメラの投影中心のずれは域必要になる点に留意し，約 30m 間隔でデータの取得を

約 30cm であり，ずれによりレンジデータは存在するが行った．図 10 に本学の地図とデータの取得位置を示す．

テクスチャが存在しないという部分は見られなかった．し図 10 では太線が道路の境界を，細線が建物の境界 (壁面)

かし，全方位画像の選択基準が解像度とオクルージョンを表す．レンジデータは計測範囲を水平 360 度 · 垂直 90の有無のみであったため，隣り合うポリゴン同士で選択さ度に設定し，解像度は水平 1024× 垂直 512 で取得した．

れる全方位画像が異なる部分で，日照条件等によりテク

レンジデータの位置合せでは，RTK-GPS とジャイロセ

スチャの品質が異なる際，違和感が生じる場合があった．

ンサにより得られた位置・姿勢を初期値として全体最適化を行った．対応面探索では，復元対象である本学構内の建6. ま と め

物の大きさや形状を考慮して，誤対応が起こらないように

本論文では，屋外環境を高精度に三次元モデル化する

閾値を経験的に法線ベクトルの角度 30◦ 以内かつ平面とために，効率的にデータが取得可能な全方位センサ用いの距離 10m 以内に設定し，24 台の PC(CPU:Pentium4

たモデル化手法を提案した．提案手法では，まず，全方

1.8GHz, メモリ:2048MB) を用いて並列に行った．回

位レンジデータと全方位画像を同じ位置で取得すること

転・平行移動成分の推定は，図 10 の A 点で取得したレンで，テクスチャ情報付レンジデータを取得する．そして，ジデータを基準とし，そのセンサ位置・姿勢を固定し，1

RTK-GPS とジャイロセンサにより取得したセンサの位

台の PC(CPU:Pentium4 1.7GHz, メモリ:1024MB) で置・姿勢を，平面の対応へと拡張した ICP アルゴリズム

1114

論文：全方位距離画像と全方位カラー画像の統合による屋外環境の三次元モデル化(a) Integration results using initial values.

(b) Results after optimization.

図 11 最適化前と後の統合結果
Fig. 11 Reistration results.

Fig. 12

図 12 二次元 CAD と重ね合せた結果
2D CAD data overlaid on generated 3D modelを用いた位置合せの初期値として利用し，多地点で取得

それぞれのレンジデータから検出された平面部分のデー

したレンジデータの一括同時位置合せを行うことで全体

タのみを利用することで計算量を削減し，レンジファイ

的に歪みのないサーフェイスモデルを生成した．ここで，ンダでは安定して測定できない物体の影響を排除した．

1115

画像電子学会誌

第 34 巻

第 6 号（2005）

(1)

(2)

(3)

(4)

図 13 生成された三次元モデル
Fig. 13 Generated 3D model with texture

最後に，モデルのテクスチャは，生成されたサーフェイ

ポリゴンとのテクスチャの品質の違いを考慮したテクス

スモデルからオクルージョンを考慮し，かつ解像度が最

チャマッピング手法，について検討する予定である．

も高い全方位画像を選択することで最適なテクスチャを参考文献生成した．実験では，本学構内 68 地点において全方位
レンジデータおよび全方位画像を取得し，提案手法を用いて三次元モデルを生成した．歩行者の視点で見ても精度が保たれ，全体的に歪みのないモデルが生成されたことを確認した．
今後はより広域な屋外環境をモデル化するために，レンジファインダの移動計測を取り入れることでデータの取得効率の向上を図る．今回提案した手法のようにレン
ジファインダを固定する定地点計測でモデルを生成した

1) S. F. El-Hakim, C. Brenner, and G. Roth: “A Multisensor Approach to Creating Accurate Virtual Environments,” Jour. of Photogrammetry & Remote Sensing,Vol. 53, pp. 379–391, 1998.
2) T. Sato, M. Kanbara, N. Yokoya, and H. Takemura:“Dense 3-D Reconstruction of an Outdoor Scene by
Hundreds-baseline Stereo Using a Hand-held Video Camera,” International Jour. of Computer Vision, Vol. 47,
No. 1-3, pp. 119–129, 2002.
3) 納富幹人，小澤史朗，全 炳東: “移動体観測による都市モデル構

築”, 電子情報通信学会論文誌, Vol. J81-D-II, No. 5，pp. 872–
879, 1998．

後，そのモデルから未計測部分を判断し，未計測部分を

4) C. Tomasi and T. Kanade: “Shape and Motion from

移動計測によって計測することにより，モデルの欠損をImage Streams under Orthography A Factorization

効率的に減少させる．また，生成モデル改善のために，1)
ガラスや樹木を計測した場合の誤差を考慮したポリゴン
作成，2) 重複したポリゴンを判断し削除するのではなく，
レンジデータ間で重複したポリゴンの統合，3) 隣接する

Method,” International Jour. of Computer Vision, Vol. 9,
No. 2, pp. 137–154, 1992.
5) M. Pollefeys, R. Koch, M. Vergauwen, A. A. Deknuydt,
and L. J. V. Gool: “Three-demintional Scene Reconstruction from Images,” Proc. SPIE, Vol. 3958, pp. 215–226,
2000.
6) M. Okutomi and T. Kanade:1116“A Multiple-baseline

論文：全方位距離画像と全方位カラー画像の統合による屋外環境の三次元モデル化
Stereo,” IEEE Trans. on Pattern Analysi and MachineIntelligence, Vol. 15, No. 4, pp. 353–363, 1993.
7) H. Zhao and R. Shibasaki: “Reconstructing a Textured
CAD Model of an Urban Environment Using VehicleBorne Laser Range Scanners and Line Cameras,” Machine Vision and Applications, Vol. 14, No. 1, pp. 35-41,
2003.
8) C. Früh and A. Zakhor: “An Automated Method forLarge-Scale, Ground-Based City Model Acquisition,” International Jour. of Computer Vision, Vol. 60, pp. 5–24,
2004.
9) H. Zhao and R. Shibasaki: “Reconstruction of Textured
Urban 3D Model by Fusing Ground-Based Laser Range
and CCD Images,” IEICE Trans. Inf. & Syst., Vol. E-83D, No. 7, pp. 1429–1440, 2000.
10) P. K. Allen, A. Troccoli, B. Smith, S. Murray, I. Stamos,
and M. Leordeanu: “New Methods for Digital Modelingof Historic Sites,” IEEE Computer Graphics and Applications, Vol. 23, pp. 32–41, 2003.
11) Y. Sun, J. K. Paik, A. Koschan, and M. A. Abidi: “3DReconstruction of Indoor and Outdoor Scenes Using a
Mobile Range Scanner,” Proc. International Conf. on
Pattern Recognition, Vol. 3, pp. 653–656, 2002.
12) 清水浩行，大野哲之，相澤清晴: “航空高度データとレンジデー

タの統合による 3 次元街モデルの構築”, 映像情報メディア学会
誌, Vol. 58, No. 6, pp. 827–834, 2004.
13) P. J. Besl and N. D. McKay: “A Method for Registrationof 3-D Shapes,” IEEE Trans. on Pattern Analysis andMachine Intelligence, Vol. 14, No. 2, pp. 239–256, 1992.
14) K. Pulli: “Multiview Registration for Large Data Sets,”
Proc. International Conf. on 3D Digital Imaging andModelling, pp. 160–168, 1999.
15) 西野 恒, 池内克史: “大規模距離画像群の頑健な位置合せ”, 電子

情報通信学会論文誌, Vol. J85-D-II, No. 9, pp. 1413–1424,
2002.
16) T. Oishi, R. Sagawa, A. Nakazawa, R. Kurazume andK. Ikeuchi: “Parallel Alignment of a Large Number ofRange Images,” Proc. International Conf. on 3D Digital
Imaging and Modeling, pp. 195–202, 2003.
17) 池田 聖, 佐藤智和, 横矢直和: “全方位型マルチカメラシステムを用いた高解像度な全天球パノラマ動画像の生成とテレプレゼ
ンスへの応用”, 日本バーチャルリアリティ学会論文誌, Vol. 8,
No. 4, pp. 443–450, 2003.
18) 神原誠之, 横矢直和: “RTK-GPS と慣性航法装置を併用したハ

イブリッドセンサによる屋外型拡張現実感”, 信学技報 PRMU,
Vol. 104, No. 572, pp. 37–42, 2005.
19) 金谷健一: “コンピュータビジョンのためのくりこみ法”, 情報処

理学会論文誌, Vol. 35, No. 2, pp. 201–209, 1994.
20) W. H. Press, B. P. Flannery, S. A. Teukolsky, and W. T.
Vetterling: Numerical Recipes in C, Cambridg University
Press 1988.

（2005 年 8 月 19 日受付）

1117