NAIST-IS-MT0251004

修士論文

全方位レンジデータと全方位画像の統合による屋外環境の三次元モデル化

浅井 俊弘

2004 年 2 月 6 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
浅井 俊弘

審査委員：

横矢 直和 教授
千原 國宏 教授
山澤 一誠 助教授

全方位レンジデータと全方位画像の統合による屋外環境の三次元モデル化3
浅井 俊弘

内容梗概
屋外環境の三次元モデルは，シミュレーション，ナビゲーション，ウォークス
ルーなどの様々な分野への応用が期待されている．しかし，現在このような分野で利用される三次元モデルはモデリングソフトなどを用いて手動で作成することが多く，作成コストが膨大になるという問題がある．そのため，屋外環境の三次元モデルの自動生成に関する研究が盛んに行われている．その中でも物体の三次元形状を広範囲かつ高精度に計測することが可能なレーザレンジファインダを用いた屋外環境モデルの自動生成手法が注目されている．
本論文では，全周囲が計測可能なレーザレンジファインダにより得た多地点における全方位距離データと全方位画像を統合することにより広範囲の屋外環境をモデル化する手法について述べる．この際，多地点で取得した膨大な全周レンジ
データと全方位画像を，生成されるモデルの写実性・精密さを落とすことなくい
かに削減・統合を行うかが課題となる．そのため，本研究では，モデル化の対象となる典型的な屋外環境である都市には道路や建物の壁面など平面部分が多いことから，レンジデータから平面領域を抽出しその平面に含まれるデータを削除する．また，異なる地点のレンジデータ間で重複した部分が存在する場合，一方のデータを削除する．実験において，学内 50 地点で取得した距離データと全方位画像を用いて本学の三次元モデルの生成実験を行った．さらに，作成したモデル
3 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT0251004, 2004

年 2 月 6 日.

i

を大型半球ド ームスクリーンに立体的に表示することで臨場感の高いウォークス
ルー環境を構築することで生成モデルの有用性を確認した．

キーワード
三次元モデル化, 屋外環境, 全方位レンジデータ, 全方位画像, ウォークスルー

ii

3-D Modeling of Outdoor Environments
by Integrating Omnidirectional Range andColor Images 3

Toshihiro Asai

Abstract
Three-dimensional (3-D) models of outdoor environments can be widely used
in a number of elds such as simulation, navigation and walk-through. However,such 3-D models are often made manually by using a modeling software with highcosts. Therefore, automatic 3-D modeling methods of outdoor environments havebeen widely investigated. Recently, modeling methods with a laser range nder,
which can measure the real scene widely and accurately, have received a great
deal of attention.
This paper describes a 3-D modeling method for outdoor environments, which
integrates omnidirectional range and color images acquired at multiple points. In
this case, an important problem to be solved is how to reduce a large amount ofmodel data preserving the detail of generated model. Since urban enveronments,that are typical outdoor environments to be modeled, contain many planar surfaces such as walls and roads, the proposed method extracts plane regions fromrange data, and reduces the data contained in the planes. Furthermore, whenoverlapping areas exist in multiple range images, the redundancy among multiple
data is also eliminated. In experiments, a 3-D model was actually generated byusing omnidirectional range and color images that are acquired at 50 points in
3 Master's Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT0251004,

iii

February 6, 2004.

our campus. A walk-through system was prototyped using a large-sized sphericalimmersive display which can display stereoscopic images of the generated model.

Keywords:
3-D modeling, outdoor environment, omnidirectional range data, omnidirectional
image, walk-through

iv

目次

1. はじめに1

2. 関連研究と本研究の方針

3

2.1 屋外環境の三次元モデル化に関する従来研究
2.2 レーザレンジファインダを用いた屋外環境の三次元モデル化に関: : : : : : : : : : : :する従来研究: : : : : : : : : : : : : : : : : : : : : : : : : : : : :2.3 本研究の位置付けと方針: : : : : : : : : : : : : : : : : : : : : : :3. 全方位レンジデータと全方位画像の統合による三次元モデルの生成
3.1 提案手法の概要
3.2 屋外環境の三次元画像計測
3.2.1 全方位距離データの取得
3.2.2 全方位画像の取得
3.3 サーフェイスモデルの生成
3.3.1 レンジデータのポリゴン化
3.3.2 平面検出によるポリゴンの統合
3.4 テクスチャモデルの生成
3.5 多地点レンジデータの位置合わせと統合
3.5.1 レンジデータの位置合わせ
3.5.2 重複部分の判定
3.6 テクスチャの再選択: : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :4. 実験

4.1 モデル生成実験
4.2 ウォークスルーシステムの構築
4.2.1 システムの概要
4.2.2 ウォークスルー実験
4.3 考察

4
5

8

8
9
9
12
13
13
14
17
19
20
23
24

27

: : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

v

3

27
32
32
32
35

5. まとめ

36

謝辞

37

参考文献

38

vi

図目次

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

清水らの手法により生成されたモデル [11]Frh らの移動計測車 [12]u

: : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :三次元モデル生成の流れ : : : : : : : : : : : : : : : : : : : : : : :LMS-Z360 の外観
LMS-Z360 により取得したレンジデータ: : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : :レンジデータの三次元表示 : : : : : : : : : : : : : : : : : : : : : :Ladybug の外観
Ladybug により撮影した画像から生成した全方位画像: : : : : : : : : : : : : : : : : : : : : : : : : : : :サーフェイスモデル作成の流れ: : : : : : :: : : : : : : : : : : : : : : : : : :距離の不連続点 : : : : : : : : : : : : : : : : : : : : : : : : : : : :ジャンプエッジ : : : : : : : : : : : : : : : : : : : : : : : : : : : :平面推定によるポリゴン数の削減 : : : : : : : : : : : : : : : : : :レンジファインダ座標系とカメラ座標系の関係 : : : : : : : : : : :対応点の探索方法の比較 : : : : : : : : : : : : : : : : : : : : : : :対応点の探索: : : : : : : : : : : : : : : : : : : : : : : : : : : : :逐次処理による位置合わせ : : : : : : : : : : : : : : : : : : : : : :重複部分の判定 : : : : : : : : : : : : : : : : : : : : : : : : : : : :オクルージョンの判定: : : : : : : : : : : : : : : : : : : : : : : :オクルージョンを考慮したテクスチャマッピング: : : : : : : : :構内でのデータ取得位置 : : : : : : : : : : : : : : : : : : : : : : :二次元 CAD と重ね合わせた結果: : : : : : : : : : : : : : : : : :

蓄積誤差の影響が大きく現れた部分 : : : : : : : : : : : : : : : : :生成された三次元モデル : : : : : : : : : : : : : : : : : : : : : : :生成された三次元モデル (続き)

: : : : : : : : : : : : : : : : : : :システムの概要 : : : : : : : : : : : : : : : : : : : : : : : : : : : :ウォークスルー実験の様子 : : : : : : : : : : : : : : : : : : : : : :ウォークスルーでのユーザ視点の画像

vii: : : : : : : : : : : : : : :

5
6
9
10
11
11
12
13
14
14
15
17
18
22
23
23
24
25
26
28
29
29
30
31
33
33
34

表目次

1
2

LMS-Z360 の性能: : : : : : : : : : : : : : : : : : : : : : : : : : :ウォークスルーシステムの機器構成 : : : : : : : : : : : : : : : : :

viii

10
32

1. はじめに
屋外環境の三次元モデルは，シミュレーション，ナビゲーション，ウォークス
ルーなどの様々な分野への応用が期待されている．しかし，現在そのような分野において利用される三次元モデルは，モデリングソフトなどを用いて人手により作成されることが多く，屋外環境のモデルを作成するには膨大な労力が必要になる．そのため近年，静止画像や動画像からの三次元形状推定や，レーザレンジファ
インダ（以下，レンジファインダ ）による計測等を利用し屋外環境の三次元モデ
ル化を自動化する研究が盛んに行われている [1][2]．
コンピュータビジョンの分野において，複数の静止画や動画像からステレオ法
や因子分解法などを利用してモデルを復元する手法が多く研究されている [2]-[6]．
これらの手法では，カメラ以外の特別な機器を必要としないという利点がある反面，復元されたモデルの精度や信頼性には課題が残されているため，広範囲の屋
外環境を安定して三次元モデル化することは現時点では困難である．一方，レン
ジファインダは近年その発達により現実環境の三次元情報を広範囲かつ高精度に得ることが容易となったため，屋外環境のような広範囲の三次元モデリングへの利用の期待が高まっている．従来，全周囲の形状が計測可能なレンジファインダを利用して，屋外の複数地点で形状を計測し，それらを統合することで屋外環境をモデル化する試みがなされている [7]-[12]．
レンジファインダは現実環境の三次元形状を高精度に取得可能であることが利点であるが，広範囲の三次元モデルを作成する場合は複数の地点でレンジデータを取得し，それらを統合する必要がある．そのため，データ量が膨大になってしまう問題点があった．従来，この問題を回避するために三次元モデルを多面体で近似してデータ量を削減する試みがなされている．そのために複雑な形状が省略され現実環境と異なる形状になる場合がある．
本論文では，全方位レンジファインダと全方位カメラを用いることで効率良くデータを収集し，取得した全方位距離データと全方位画像を統合することで屋外環境の三次元モデルを作成する．その際，モデル化の対象となる典型的な屋外環境である都市環境には建物の壁や道路といった平面部分が多く存在することに着目して，平面検出を行い平面に含まれるデータを削除することで，モデルの精密1

さを損なうことなくデータ量の削減を行う．また，全方位カメラにより得た高解像度な現実環境のテクスチャを利用して，写実性の高いモデルを作成する．
以下，2 章では，屋外環境の三次元モデル化の関連研究と本研究の方針を述べ，3 章では全方位距離データと全方位画像の統合によるモデルの生成手法について述べる．4 章では本学を対象として行った三次元モデル生成実験とウォークスルー
実験について述べ，最後に 5 章で本論文をまとめる．

2

2. 関連研究と本研究の方針
2.1 屋外環境の三次元モデル化に関する従来研究
近年のカーナビケーションの急速な発達により三次元地図に利用する広域都市
環境のモデル化の要求が高まっている [13]．現在は都市環境のような大規模な環境をモデル化するには三次元モデリングソフトなどを用いた人手による方法が一
般的であるが，広域な環境を正確にモデル化するには莫大な労力がかかるため，環境の三次元モデル化の自動化手法に関する研究が盛んに行われている．それらの屋外環境の三次元モデル化を行う手法は，複数の静止画や動画像からステレオ法や因子分解法などを利用してモデルを生成する受動的な手法と，レンジファイ
ンダ等を利用して環境の三次元形状を測定する能動的な手法とに大別される．
受動的な手法の例として，佐藤ら [2] のハンド ヘルド のビデオカメラで撮影した映像から，特徴点追跡によるカメラパス推定，マルチベースラインステレオによる奥行き推定を行い屋外シーンのモデル化を行う手法が挙げられる．また納富[3] らは，車載カメラで移動しながら撮影した映像から，都市モデルの構築を試みている．これらに代表される受動的な手法では，画像を撮影する際，市販されている機器を利用できるという利点があるが，復元結果の精度や信頼性の点から，現時点では屋外環境を広範囲に精度良く復元することは困難である．
一方，能動的な手法で一般に用いられるレーザレンジファインダは，光レーザの飛行時間測定に基づくもので，対象に光レーザパルスを照射し，反射して測定されるまでの時間 (time ofight) を計測することで，レーザを照射した物体までの距離を取得する．このような光レーザを二次元走査することで，環境の奥行き
画像を取得するため，屋外環境でも高精度なレンジデータの獲得が可能である．
本研究では，広域な環境をモデル化するにはレンジファインダを用いることが適していると考え，レンジファインダを用いた広域な屋外環境の三次元モデル化に着目する．2.2 節で，レンジファインダを用いて屋外環境のモデル化を目的とした従来研究を詳述する．

3

2.2 レーザレンジファインダを用いた屋外環境の三次元モデル化に関する従来研究
屋外環境をレーザレンジファインダで一度にオクルージョン無く，かつ十分な精密でその形状とテクスチャを取得することは困難である．従来研究において屋
外環境の形状とテクスチャを得ることを目的とした手法は，以下の二通りの方式に分けられる．

Stop-and-Go 方式

Stop-and-Go 方式とは，ある地点の環境をレンジファインダで計測を行い，次に別の地点に移動し再び計測を行うという作業を繰り返すものである．一
般的にセンサとして，広角又は全方位が計測可能なレンジファインダが用いられることが多くデータは比較的密に計測される．そして，各地点で取得したデータの統合を行うことで広域環境のモデル化を行う．代表的なものとして，Zhao ら [7] はレンジファインダの垂直軸を鉛直方向と一致させ，取得した各地点でのレンジデータを水平面に投影した二次元画像を作成し，その画像をマッチングすることで，位置合わせを行い，複数のデータを統合している．清水ら [11] は地上で取得したレンジデータに加えて，航空機からも撮影した対象となる環境の鳥瞰データを統合することで精度の向上を試みている．しかし，これら Stop-and-Go 方式で広域な屋外環境のモデル化を行うと，モデルデータが膨大となりデータの取り扱いが困難になる．
そのため，従来手法の多くはモデルに平面当てはめを行うことよってデー
タの削減を行っている．図 1 に示す清水らの手法で生成されたモデルでは，
平面近似をするために，テクスチャが正しく貼り付けられていない場合がある．

Continuous 方式

Continuous 方式は車両 [14] や航空機 [15][16] などの移動体にセンサを搭載

し ，移動しながら計測を行う方式である．この方法は効率的にデータを集められる点で Stop-and-Go 方式よりも有効であるが，精密なモデルを生成するには，計測中のレンジファインダの位置・姿勢を正確に取得する必要

4

図 1 清水らの手法により生成されたモデル [11]がある．Zhao ら [8] はレンジファインダの位置・姿勢を GPS と INS(慣性航uh[12] らは図 2 に示す計測車両に，
法装置) のセンサ情報から求めている．Fr

ラインスキャンを行うレンジファインダを水平・垂直の二方向に設置し，1フレーム毎の水平スキャン結果をマッチングすることによりセンサの自己挙動を推定し ，垂直スキャンで環境の形状を取得している．しかし，これらの手法では，現状では車の正確な位置・姿勢を計測することは困難であり，モデルの精度が課題となっている．

2.3 本研究の位置付けと方針
本研究は，屋外環境を広範囲に三次元モデル化することを目的としている．前
述の通り，Stop-and-Go 方式で広域を復元する従来研究では，モデルデータ削減のために過剰な平面近似が行われており，結果的にモデルの精密さが損なわれる
ものがほとんどであった．そこで本研究では，データを効率よく収集するために，
全方位レンジファインダと全方位カメラを用いて，Stop-and-Go 方式によってデータを収集する．カメラとレンジファインダの位置関係を固定し，同じ場所でレンジデータとテクスチャを取得することで，全てのレンジデータがテクスチャ情報5

図 2 Fruh らの移動計測車 [12]を保持することが可能である．従来手法では，膨大なデータ量を削減するために建物を多面体近似することにより形状が省略され，モデルの形状が保持されない場合があるという問題があった．そのため図 1 のようにテクスチャが正しく貼り付けられないということが起こる．提案手法では，レンジデータから平面を検出
し，平面と判定された領域のみ，平面内の点群を削除する事でモデルの精密さを損なうことなくデータ量の削減を行う．
複数のレンジデータの位置合わせには初期位置を手動で与え，ICP アルゴ リズ

ム [20] を用いて精密な位置合わせを行う．その際の対応点探索には面と点の情報を用いることで，一方では密にレンジデータが存在し，もう一方では疎なレンジ
データしか存在しない場合でも連続的に対応点を与えられるようにした．
各地点での撮影時，レンジデータとテクスチャを同時に取得するため，レンジ
データの全ての点にテクスチャ情報の対応付けをする事が可能である．しかし，レンジデータと同じ地点で取得したテクスチャよりも他の取得位置の方が，高解像度にテクスチャが取得されている場合がある．そこで，データの統合後テクス
チャの再選択を行い，高い解像度のテクスチャが存在した場合はそちらを貼り付

6

けることで，より写実的なモデルを生成する．

7

3. 全方位レンジデータと全方位画像の統合による三次元モデルの生成3.1 提案手法の概要
本章では，全方位レンジデータと全方位画像の統合による三次元モデルの生成手法について述べる．モデル生成の流れを図 3 に示す．全方位レンジデータと全方位画像を取得し，レンジデータからサーフェイスモデルを作成，平面の検出を行い平面上に存在するデータを削除することで形状を損なわずにデータ量を削減する．レンジデータ座標系とテクスチャ座標系の対応付けを行うことでサーフェイスモデルにテクスチャを貼り付ける．
取得位置が隣接する二つのレンジデータの対応点を手動で指定し初期値を与える，その後，精密な位置合わせを行う．この処理を逐次的に繰り返し，複数地点で取得したレンジデータの統合を行う．カメラとレンジファインダの位置関係を固定してデータを取得しているので，レンジデータを統合することでテクスチャも同時に統合される．重複して計測された部分にはポリゴンが重複して作成されているので削除する．写実的なモデルを生成するために取得したテクスチャの中から一番解像度が高いテクスチャの再選択を行う．

8

三次元画像計測
サーフェイス
モデルの生成テクスチャ
モデルの生成多地点レンジデータの位置合せと統合
テクスチャの再選択
図 3 三次元モデル生成の流れ

3.2 屋外環境の三次元画像計測
本節では，本研究において全方位距離データと全方位画像を取得するのに使用した機器とそれによって取得できるデータについて述べる．

3.2.1 全方位距離データの取得
本研究では全方位距離データの取得に Riegl 社製 LMS-Z360 を利用した．LMS-

Z360 の外観および主な性能を図 4，表 1 にそれぞれ示す．本センサは計測の際，
水平 1 垂直方向共に計測範囲・角度分解能が変更可能である．図 5 は本センサで計測したレンジデータを示しており，距離が近い点は明るく，遠い点は暗く表現している．本センサは，機器から外側に放射状にレーザを照射し，物体までの距離を計測する．従って，図 6 のように，計測点はセンサから近い場所は密に，遠い場合は疎になる．

9

図 4 LMS-Z360 の外観

表 1 LMS-Z360 の性能
測定角範囲
測定距離範囲
測定精度
最小角度ステップ幅
角度読み取り分解能

水平方向:

360 度
垂直方向: 40-50 度
1200m612mm
0.01 度
水平方向: 0.0025 度
垂直方向: 0.002 度

10

図 5 LMS-Z360 により取得したレンジデータ

図 6 レンジデータの三次元表示

11

3.2.2 全方位画像の取得
本研究では全方位画像の取得に図 7 に示す PointGrayResarch 社製 Ladybug を利用した．Ladybug はマルチカメラシステムであり水平方向に 5 つ，上方向に 1

つのカメラを持ち，各カメラの解像度は XGA(76821024) の解像度をもち，6 つのカメラで全方向の約 75%のテクスチャを取得可能である．なお，手法 [19] によって Ladybug を幾何学的 1 光学的にキャリブレーションし，全方位画像を生成する．
図 8 に生成された全方位画像を示す．

図 7 Ladybug の外観

12

図 8 Ladybug により撮影した画像から生成した全方位画像

3.3 サーフェイスモデルの生成
本節では，レンジファインダで得られた全方位レンジデータからサーフェイス
モデルを生成する手法について述べる．図 9 に，サーフェイスモデルの作成手法の処理の流れを示す．まず，全方位レンジファインダを用いてレンジデータを取得する．次にレンジデータに対して，ポリゴン化処理，平面検出によるポリゴン数の削減を行う．以下，各処理について詳述する．

3.3.1 レンジデータのポリゴン化
レンジファインダにより計測したレンジデータのポリゴン化を行う．距離画像
で隣接する画素に該当する点同士で三角ポリゴンを作成し，点群データからポリゴンデータを作成する．その際，二点間の距離の微分値が大きくかつ二次微分値が零交差している場合はジャンプエッジ (距離の不連続点) と判断する．図 10 に示すように，ジャンプエッジとして現れる部分に，面は存在しないと判断しポリゴンは作成しない．図 11(a) はジャンプエッジを判断せずにポリゴン化した場合，(b) は判断を行った場合の例を示す．

13

レンジデータ
ポリゴン化
ジャンプエッジに作成された面の削除
平面検出
ポリゴンの統合
サーフェイスモデル
図 9 サーフェイスモデル作成の流れ

計測点
ポリゴン

レンジファインダ壁

壁

図 10 距離の不連続点

3.3.2 平面検出によるポリゴンの統合
広域な屋外環境をモデル化するには複数のデータを統合する必要がある．そのため，データ量が膨大になってしまうという問題点がある．清水ら [11] は航空機

14

(a) ジャンプエッジの判断をしない(b) ジャンプエッジの判断をする

図 11 ジャンプエッジ
から対象となる範囲のレンジデータを取得し，それを水平面に投影して建物の壁面の形を抽出する．その情報からモデルを多面体で近似し，また，樹木と判断された箇所は削除することでデータ量を削減していた．そのため，モデルの形状が実際とは異なり，テクスチャが正しく貼り付けられず違和感が生じてしまう．そこで，本研究ではレンジデータから平面を検出し平面内に含まれるポリゴンを 1つに統合することで，形状の精密さを保ったままポリゴン数の削減を行う．

15

ここではレンジデータに局所的平面当てはめを行う．4 分木を用いてレンジデー
タを分割し，窓内の点群データから最適な平面のパラメータを推定する．平面パ
ラメータの推定手法には王らの手法 [17] を用いた．局所窓内の点群をP =(xi ; yi ; zii) ,n = PP ,(i:1N)
T

i

i

j

ij

G と H を次のように定義する．
0 PP P 1
X1@ P 1AG==1として，まず次の二つの行列

N

Wi

N

i

H= 1

N

T
i

i

(1)

i

T
i

X 0@ n n 0 1A
N

=1

Wi

i

T
i

i

0

T

(2)

0

以下の手順で平面のパラメータを推定する．

1. c=0,W =1 とおく．
i

2. 窓内のデータに対して行列 G と H を計算する．
3. 不偏モーメント行列 G^ =G-cH を計算し，その最小固有値 と対応する単位

固有ベクトル V を計算する．

4.

0 ならば，V を点群データの平面のパラメータとして，計算を終了する．



5. c とWiを次のように更新する．

+ V HV1=(V 1 x + V 2 y + V 3 z ) 2
c

Wi

c

i



T

i

i

6. 2. に戻る．
局所窓内全ての点と推定された平面との距離を求め，全て閾値以下なら局所窓内の点群は平面上に存在すると判断し，局所窓の四隅のデータでポリゴンを作成す
る．平面と判断されなかった場合は窓を 4 分割して処理を繰り返す．

16

(a) 統合前(b) 統合後

図 12 平面推定によるポリゴン数の削減

3.4 テクスチャモデルの生成
本節では，2 章で述べた手法により生成されたサーフェイスモデルに全方位カメラで取得したテクスチャを対応付ける方法について述べる．サーフェイスモデ
ルにテクスチャを対応付けるためには，サーフェイスモデルとテクスチャ取得時のカメラの位置・姿勢を指定する必要がある．
レンジファインダ座標系からカメラ座標系への変換行列

17

M はカメラ座標系のy

カメラ座標系

点p

C

x

R

Z

z

レンジファインダ
座標系

レンジファインダ座標系から
カメラ座標系への変換行列

Y

M

X

図 13 レンジファインダ座標系とカメラ座標系の関係

3 軸に対する回転角 () と平行移動成分 t = (; ;で表される．この場合

tx ; ty ; tz

M は次のように表される．

) の 6 つのパラメータT0
1
BBB 11 12 13 14 CCC
M = BBB 21 22 23 24 CCC
B@ 31 32 33 34 CA
0 0 +0 0 1 +
1
1
3
1
2
3
1
2
1
3
1
2
3
BBB
CCC
0
+
+
CCC
= BBB 1 3 1 2 3 1 2 1 3 1 2 3
B@ 2 3 0 2 2 3
CA
0
0
0
1
m

m

m

m

m

m

m

m

m

m

m

m

c c

s s s

s c

c s s

s c

c s

s s c

tx

c c

s s

c s c

ty

c s

ここで，
s
c

s

1 = sin ;

s

;

c

1 = cosc c

2 = sin ;

s

;

c

2 = cos18

3 = sin

3 = cos

tz

(3)

(4)

(5)

また, 図 13 に示すように , ある点 p のレンジデータ座標系における三次元座標

R=() , 点 のカメラ座標系における三次元座標を c = () とすると, レンジファインダ座標系とカメラ座標系の変換は以下のように記述される.

をX; Y; ZTpx; y; z0 1 0 1BBB CCC BBB CCC
BBB CCC = M BBB CCC
B@ CA B@ CA
1
1
x

X

y

Y

z

Z

T

(6)

M はレンジデータの三次元座標とカメラの入力画像上での二次元座標の対応を与え，手法 [19] により推定する．

テクスチャマッピングの際，レンジファインダ座標系とカメラ座標系の位置関係が分かれば，レンジデータ全ての三次元点がテクスチャのどの点に投影されるかを一意に求めることができる．なお，Ladybug はカメラが 6 台あるのでカメラ

座標系も正確には 6 つになるが，個々のカメラ間の位置関係もキャリブレーショ

ン済みであることから本手法においては，代表のカメラを一つ決めその座標系を
全方位カメラの座標系とする．

3.5 多地点レンジデータの位置合わせと統合
屋外環境を広範囲にモデル化するには，レンジデータを複数の地点で取得しそれらを一つの座標系へと統合する必要がある．本節では，複数の地点で取得したレンジデータの位置合わせ手法について詳述する．位置合わせの従来手法には

ICP アルゴ リズムが広く用いられている．ICP アルゴ リズムは，ユークリッド 距
離が最も小さくなる点を対応点として，それらの誤差が最小になるように回転・平行移動成分を求める．
しかし，本研究で用いている全方位レンジファインダはセンサから放射状に外側に向かって計測を行っているため，センサから近い部分では計測点が密に，遠い部分では疎になる．従って，同じ部分を計測した場合でも，計測地点によって計測点の密度に差ができる．このような場合では，図 14(a) に示すように，1 つの点に複数の点が対応付けられることが起こる．また，点と点の対応では，物体

19の表面形状に関する情報が含まれておらず，離散的に対応付けられるので局所解に陥りやすく，収束が遅くなることが指摘されている [21]．そこで，本手法では基準となる方のレンジデータで面を作成し ，点と面による対応点の探索を行う．
大石ら [22] は，図 14(b) に示すように，計測点から視線方向のベクトルと面との交点を対応点としている．本手法において，レンジファインダの特性から，視線方向で対応点を探索すると正しい対応点とのずれが大きくなってしまうため，図14(c) のように，面の法線方向に対応点の探索を行う．

3.5.1 レンジデータの位置合わせ
図 16 に示すように，あるレンジデータを基準としてそこから，取得位置が隣接するレンジデータ同士で位置合わせを逐次的に行い，レンジデータ全体の位置
合わせを行う．2 つのレンジデータ間での位置合わせの手順を以下に示す．

1. 対応点を手動で三点以上指定し，変換行列の初期値を与える．
2. レンジデータから平面を検出し，平面部分のレンジデータ各点の法線情報を求める．また以後，平面部分のデータのみを利用する．

3. 基準となる方のレンジデータで面を作成する．
4. ある点の対応点は，その点を通る面の法線ベクトルと面の交点

Px

が存在し，

点と面の距離と法線ベクトルの内積それぞれが閾値以下であるという条件を満たす法線ベクトルを持つ面のなかで，点との距離が最も短い面の Px を対応点とする．条件を満たす交点 Px が存在しないときは対応点は存在しないものとする．(図 15 では，点と面の距離では面 B の方が近いが，ど ちらの場合も面 A との交点 PxA が対応点として選択される．)

5. すべての点において対応点を探索し，求められた対応点より変換行列を手
法 [18] によって推定する．
6. 推定された変換行列でレンジデータの座標変換を行い，変換後の結果が収束していると判断できれば終了する．

20

7. 4. に戻る．

21

▲の計測地点●の計測地点(a) 最近傍点(b) レーザの視線方向に探索(c) 面の法線方向に探索

基準のレンジデータ

作成された面

位置合わせをする探索された対応点

レンジデータ

図 14 対応点の探索方法の比較

22

PxA

面A

PxA

面A

NA

NA

PxB

点p

点p N 面B

PxB

NB

B

面B
交点の存在による判定

Np

法線ベクトルの内積による判定

図 15 対応点の探索

建物

基準点
データ取得位置

図 16 逐次処理による位置合わせ

3.5.2 重複部分の判定
位置合わせする際，既に位置合わせ済みである他のデータと重複部分がないかを調べる．まず，位置合わせ済みのレンジデータで面を作成する．そして，位置合わせしたレンジデータのある点が，その点を通る面の法線とその面の交点が存在し，その時の点と面の距離が閾値以内であるとき，その点は重複していると判定する．そして，ポリゴンを作成する際，図 17 のようにポリゴンの点全てが重複している場合はポリゴンを作成しない．

23

位置合わせ済みのモデル
位置合せしたレンジデータ
重複しているレンジデータ
図 17 重複部分の判定

3.6 テクスチャの再選択
レンジデータの有効範囲は表 1 に示すように 200m であるが，レンジデータは
位置合わせのことを考慮しているのでそれよりも短い間隔で取得している．また，
レンジファインダは垂直方向に 40 度までしか計測できないが，全方位カメラは90 度までテクスチャの取得ができる．そのため，レンジデータと同一地点で取得したテクスチャより別地点で取得されたテクスチャの方が高い解像度を保持している場合がある．そこでレンジデータとテクスチャの統合後，テクスチャの再選択を行う．解像度の高いつまり，ポリゴンの 3 点を画像面へ投影したときに一番面積が大きくなるテクスチャを選択してくるようにする．しかし，選択されたテクスチャにはオクルージョンによってそのポリゴンの実際のテクスチャが写っていない場合があると考えられる．例えば図 18 に示すようにポリゴン P のテクス

チャを再選択する場合，カメラ C1 が選択されたとする，しかし実際にはオクルー

ジョンによりカメラ C1 にはポリゴン P のテクスチャは撮影されていない．これを回避するためにオクルージョンの判定は，ポリゴン P の 3 点とカメラ位置 C1の 4 点で構成される三角錐の内部にモデルが存在している場合はオクルージョン

により実際のテクスチャが写っていないと判断する．従って図 18 の場合は最も解像度の高いカメラは C1 であるがオクルージョンが発生していると判断されるため第二候補の C2 が選択される．図 19 にオクルージョンを考慮した場合としな

24

い場合についての例を示す．

ポリゴンP
カメラC

1

カメラC

2

図 18 オクルージョンの判定

25

(a) オクルージョンを考慮しない場合(b) オクルージョンを考慮した場合

図 19 オクルージョンを考慮したテクスチャマッピング

26

4. 実験
提案手法を用いて屋外の現実環境の三次元モデル化実験を行った．以下，本学構内を対象とした三次元モデルの生成実験，およびそのモデルを用いたウォーク
スルーシステムの試作について述べる．

4.1 モデル生成実験
本実験では，本学構内 50 地点においてレンジデータおよび全方位画像を取得

した．図 20 に本学の地図とデータの取得位置を示す．矢印は位置合わせの順番を表している．レンジデータの計測範囲を水平 360 度 1 垂直 90 度に設定し，解像度は 9042450 で取得した．また，カメラの位置 1 姿勢を求める際のレンジデータとテクスチャの対応点の指定は手動で行った．

50 地点分レンジデータを統合した結果のポリゴン数は 2930462 となった．図 21に垂直方向に直交投影したモデルと，本学構内の二次元 CAD データとを重ね合わせたものを示す．図 21 により，大きな歪み無くモデルの生成が行えていることが確認できる．しかし，逐次的に位置合わせを行ったため，図 20 に示す A〜D の地点 4 箇所に蓄積誤差の影響が大きく現れた部分が存在する．高さ方向のずれは4 箇所で平均約 46cm，最大で約 80cm となった．最大となった部分は A 地点で，
図 22 に示すように，道路が上下方向にずれる結果となった．また，解像度の高いテクチャが選択されるようにモデルを生成したので，隣り合うポリゴン同士で選択されるテクスチャが異なる部分で，日照条件等によりテクスチャの品質が異なる場合，違和感が生じる結果となった．図 23，24 に生成した三次元モデルを
示す．

27

C

情報
物質

B

基準点

バイオ
A

D

データ取得位置

正門

図 20 構内でのデータ取得位置28

図 21 二次元 CAD と重ね合わせた結果

図 22 蓄積誤差の影響が大きく現れた部分

29

図 23 生成された三次元モデル30

図 24 生成された三次元モデル (続き)31

4.2 ウォークスルーシステムの構築
提案手法によって生成されたモデルの精度と有用性を確かめるために，モデルを用いてウォークスルーシステムを構築した．

4.2.1 システムの概要
試作したウォークスルーシステムの機器構成および概要を表 2 と図 25 に示す．
作成されたモデルから，液晶シャッタ方式で両眼画像を球面ディスプレ イに提示した．
表 2 ウォークスルーシステムの機器構成
球面ディスプレ イ

直径:4.0m (幅:3.75m)

プロジェクタPC

画角:水平 114 度, 垂直 77 度

解像度:128021024(SXGA)CPU:Intel Pentium 2.53GHz , Memory:1GB
Graphics Card:WildcatVP Pro 990(ステレオ視対応)

4.2.2 ウォークスルー実験
生成したモデルを球面ディスプレ イに表示し，ウォークスルー実験を行った．
図 26 に示すように，ユーザはコントローラによって視点の位置 1 向きをインタラ
クティブに操作することができ，仮想環境内を自由に動き回ることができる．図27 にユーザ視点の画像を示す．
表 2 の機器構成で描画速度を 10 フレーム毎秒に保つためにはポリゴン数を 50
万程度に抑える必要があったため，データを取得した範囲全てを同時に表示することはできなかった．しかし一度に表示できるモデルの範囲は約 50m2 約 50m 程度となり，一度に見える範囲としては十分であるため，視点に応じてデータを選択することでウォークスルーが可能であった．

32

球面ディスプレイ

プロジェクタ液晶シャッタメガネ
同期信号 コントローラPC

図 25 システムの概要

図 26 ウォークスルー実験の様子

33

図 27 ウォークスルーでのユーザ視点の画像

34

4.3 考察
全方位レンジデータと全方位画像を Stop-and-Go 方式で学内 50 地点のデータを収集しモデル化を行った．モデルの生成実験より問題点と今後考えられる解決方法について述べる．

 逐次処理による蓄積誤差の影響提案手法ではモデルの位置合わせを隣接するレンジデータで逐次的に行ったため蓄積誤差によるモデルの位置ずれが起こった．これを回避するために全てのレンジデータを一括位置合わせする手法 [22] が提案されているが，広域な環境の位置合わせを行うことを考えた場合膨大なデータ量を一括で処理することは困難であると考えられる．そこで衛星写真 [23]，GPS，数値地図などの指標を用いることで，逐次的に位置合わせを行っても蓄積誤差の影響を受けない高精度な位置合わせが可能であると考えられる．

 オクルージョンによるモデルの欠損

Stop-and-Go 方式によるデータ収集で，複雑な屋外環境でオクルージョン

による未計測部分をなくすには，密に計測を行う必要があるが，非常に手間のかかる作業となる．そこで Continuous 方式を取り入れることでデータの収集を効率化する．その際，Stop-and-Go 方式で作成したモデルと，現在の位置情報をもとに未計測部分を推定し，センサを制御することで効率的なデータ収集を行う．

 膨大なデータ量
広域環境のモデル化したデータをそのまま一般的な三次元モデルのデータ
フォーマットで扱うとモデルデータが膨大となり，取り扱いが困難となる．
三次元モデルはカーナビゲーションなどのように地図や鳥瞰図として利用する場合は，モデルの精度よりもモデルの範囲が重視され，今回のようなウォークスルーシステムなどに利用する際は，必要なモデルの範囲はユーザの存在する付近でよいが，モデルの精度が要求される．このように，応用される際の，スケーラビリティに柔軟に対応可能なフォーマットを検討する必要がある．

35

5. まとめ
本論文では，高精度な屋外環境の三次元モデル化を目的として，全方位の情報が取得可能なレンジファインダとカメラを用いてそれらを統合する手法を提案した．提案手法では，まず，前処理として，各地点で取得したレンジデータから，
平面部分と不連続部分を検出し，点群データから全周囲のサーフェイスモデルを生成する．次にレンジデータ上の点と画像上の点を対応付けることにより全方位
画像取得時のカメラパラメータを推定し，テクスチャとサーフェイスモデルとの対応付けを行う．最後に，隣接するサーフェイスモデルに ICP アルゴ リズムを適用することにより，複数のモデルを位置合わせする．その際オクルージョンと解像度を考慮し，テクスチャの再対応付けを行い，また，重複部分の削除を行う．
実験では，屋外環境として，学内 50 地点における全方位レンジデータおよび全方位画像を取得し，提案手法を用いて三次元モデルを生成した．また，生成されたモデルを利用してウォークスルーシステムを試作しユーザに立体画像として提示することで，モデルを実際の歩行者の視点で見ても精度が保たれ，かつ自由な視点移動および見回しが可能であることを確認した．今回，レンジデータとテクスチャの対応付けにおける対応点の指定，レンジデータおよび画像の統一座標系における取得位置の推定は手動で行ったが，今後はより広域な現実環境の三次元モデル化手法の自動化について検討していく予定である．また，さらに広域な屋外環境の三次元モデル化のために，衛星写真，GPS，数値地図などの絶対指標を取り入れ，レンジデータ間の位置合わせにおいて，蓄積誤差の発生しない手法についても検討する．

36

謝辞
本研究の全課程を通して，懇切なるご指導，ご鞭撻を賜った視覚情報メディア講座 横矢 直和教授に心より感謝致します．
本研究の遂行にあたり，有益な御助言，ご指導を頂いた像情報処理学講座 千原國宏教授に厚く御礼申し上げます．
本研究を進めるにあたり，暖かいご指導をして頂いた視覚情報メディア講座 山
澤 一誠助教授に深く感謝します．
そして，本研究の遂行において多大なる御助言，ご鞭撻を賜り，終始御指導頂
いた視覚情報メディア講座 神原 誠之助手に心から感謝します．
また，日頃より有益なご意見を頂き，御指導して頂いた視覚情報メディア講座
佐藤 智和助手に深く御礼申し上げます．
本研究において，物心両面において多大な協力を頂いた視覚情報メディア講座の諸氏に感謝の意を表します．
最後に，日頃より暖かく支えて下さった視覚情報メディア講座 守屋 知代女史に深く感謝します．

37

参考文献

[1] S. F. El-Hakim, C. Brenner and G. Roth: \A Multi-sensor Approach to Creating Accurate Virtual Environments," Jour. of Photogrammetry & Remote
Sensing, Vol. 53, pp. 379{391, 1998.
[2] T. Sato, M. Kanbara, N. Yokoya and H. Takemura: \Dense 3-D Reconstruction of an Outdoor Scene by Hundreds-baseline Stereo Using a Hand-held
Video Camera," International Jour. of Computer Vision,Vol. 47, No. 1-3,
pp. 119{129, 2002.
[3] 納富, 小澤, 全: \移動体観測による都市モデル構築", 信学論, Vol. J81-D-II,
No. 5，pp. 872{879, 1998．
[4] C. Tomasi and T. Kanade: \Shape and Motion from Image Streams under
Orthography: A Factorization Method," International Jour. of Computer Vision, Vol. 9, No. 2, pp. 137{154, 1992.
[5] M. Pollefeys, R. Koch, M. Vergauwen, A. A. Deknuydt and L. J. V. Gool:\Three-demintional Scene Reconstruction from Images," Proc. SPIE, Vol.
3958, pp. 215{226, 2000.
[6] M. Okutomi and T. Kanade: \A Multiple-baseline Stereo," IEEE Trans. Pattern Analysi and Machine Intelligence, Vol. 15, No. 4, pp. 353{363, 1993.
[7] H. Zhao and R. Shibasaki: \Reconstruction of Textured Urban 3D Model by
Fusing Ground-Based Laser Range and CCD Images," IEICE Trans. Inf. &Syst., Vol. E-83-D, No. 7, pp. 1429{1440, 2000.
[8] H. Zhao and R. Shibasaki: \Reconstructing a Textured CAD Model of an Urban Environment Using Vehicle-Borne Laser Range Scanners and Line Cameras," Machine Vision and Applications, Vol. 14, No. 1, pp. 35{41, 2003.
38

[9] P. K. Allen, A. Troccoli, B. Smith, S, Murray, I. Stamos and M. Leordeanu:\New Methods for Digital Modeling of Historic Sites," IEEE Computer
Graphics and Applications, Vol. 23, pp. 32{41, 2003.
[10] Y. Sun, J. K. Paik, A. Koschan and M. A. Abidi: \3D Reconstruction of Indoor and Outdoor Scenes Using a Mobile Range Scanner," Proc. International
Conf. on Pattern Recognition, Vol. 3, pp. 653{656, 2002.
[11] 清水, 大野, 小島, 相澤: \航空高度データによる広域モデルとレンジデータによる高精細モデルの統合", 信学技報 MVE, Vol. 102, No. 737, pp. 61{64, 2003.
[12] C. Frh and A. Zakhor: \Constructing 3D City Models by Merging Aerial
and Ground Views," IEEE Computer Graphics and Applications, Vol. 23,
pp. 52{61, 2003.
u[13] 新谷, 宮川, 堀口, 南田, 植本: \3 次元仮想都市景観の構築：3 次元地図を目指して", NTTR&D, Vol. 49, No. 1, pp. 11{18, 2000.
[14] 小野, 川崎, 池内: \時空間距離画像の提案・考察と町のモデル化への応用",
情処研報 CVIM, Vol. 2004, No. 6, pp. 65{72, 2003.
[15] F. Rottensteiner: \Automatic Generation of High-Quality Building Models from Lidar Data," IEEE Computer Graphics and Applications, Vol. 23,
pp. 42{50, 2003.
[16] 中川, 柴崎: \TLS(Three Line Sensor) を用いた三次元建物データの構築手法の開発", 情処研報 CVIM, Vol. 2004, No. 6, pp. 89{94, 2003.
[17] 王, 棚橋, 平湯, 丹羽, 山本: \レンジデータの局所平面当てはめ手法の比較",
信学技報 PRMU, Vol. 101, No. 58, pp. 77{83, 2001.
[18] 太田, 金谷: \3 次元回転の最適推定と信頼性評価", 信学技報 PRMU, Vol. 97,
No. 325, pp. 17{24, 1997.
39

[19] 池田, 佐藤, 横矢: \全方位マルチカメラシステムによる全天球動画像の生成とテレプレゼンスへの応用", VR 学研報サイバースペースと仮想都市研究会,
Vol. 8 No. 2, pp. 31{36, 2003.
[20] P. J. Besl and N. D. McKay: \A Method for Registration of 3-D Shapes",
IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 14 No. 2,
pp. 239{256, 1992.
[21] K. Pulli: \Multiview Registration for Large Data Sets", Second Int. Conf.
on 3D Digital Imaging and Modelling, pp. 160{168, 1999.
[22] T. Oishi, R. Sagawa, A. Nakazawa, R. Kurazume and K. Ikeuchi: \Parallel
Alignment of a Large Number of Range Images," Proc. International Conf.
on 3D Digital Imaging and Modeling, pp. 195{202, 2003.
[23] 李: \高分解能衛星 IKONOS 画像とその利活用事例紹介", 情処研報 CVIM,
Vol. 2004, No. 6, pp. 95{96, 2003.

40