レーザースキャナデータとデジタルカメラ画像の合成手法の開発
1090420

宇田幸司

高知工科大学工学部社会システム工学科室内において、レーザースキャナは、カラー情報の取得が困難である。それに対して、デジタルカメラは、カラー情報の取得が容易である。そこで、デジタルカメラで取得されたカラー情報をレーザースキャナデータに合成することで、カラー情報を持った三次元データの取得を試みた。その結果、デジタルカメ
ラ画像の標定ができれば、カラー情報を取得することが達成された。しかし、デジタルカメラ画像は、二次元データなのでカラー情報の取得時に、異なる地上座標であっても、同じ画像座標のカラー情報を取得することもあり、これを今後解決する必要がある。

Key Words :レーザースキャナ、デジタルカメラ画像、合成

1. 背景
レーザースキャナは、短時間で広範囲・高密度の三次元画像データを取得できる。レーザースキャナが取得するデータは、カラーコード化距離画像、反射強度画像、トゥルーカラー画像で表される。
トゥルーカラー画像は、RGB カラーのデータとなっている。しかし、トゥルーカラー画像は、暗い箇所のデータを取得することが困難である。
理由は、高速で対象物をスキャンしているため、非常にシャッタースピードが速いからである。そのため、室内で取得したトゥルーカラー画像は、非常に暗いものとなる。
図 1-2.室内におけるレーザースキャナデータ
図 1-1 は、室内におけるレーザースキャナデータ(トゥルーカラー画像)の反射強度画像を表しており、図 1-2 はトゥルーカラー画像を表している。このように、トゥルーカラ
一方、デジタルカメラは、室内でも鮮明な色情報
ー画像は、室内のような暗い場所では不向きである。 を取得できる。したがって、デジタルカメラ画像が、レーザースキャナのカラー情報を補うことが可能と考えられる。

2.目的
本研究の目的は、レーザースキャナデータとデジタルカメラ画像の合成を行うことである。これにより、室内でも鮮明なカラー情報を持つ三次元データの取得が可能となる。

3.使用機器
3.1 レーザースキャナ
本研究室が所有する Riegl 社製のレーザースキャ
ナ「LMS-Z210」を使用した。レーザースキャナが取得するデータは、対象物までの距離、角度、反射強度とカラー情報である。また、表 3-1,表 3-2 にレーザースキャナの仕様を示す

図 1-1.室内におけるレーザースキャナデータ
(反射強度画像)1

u = r * sin λ * cos ϕv = r * sin λ * sin ϕ

表3-1.レーザースキャナのスキャニング性能1

項目
測定距離範囲
最短距離
測定精度

詳細
≦350m
2m±2.5cm(式4-1)

w = r * cos λu , v, w : 基準点座標(レーザー座標)r : 斜距離

λ：天頂角
ϕ：水平角

表3-2.レーザースキャナのスキャニング性能2
スキャニング方向
スキャニング範囲
角度分解能

（縦方向）
±40°
0.036°（横方向）
0°〜333°0.018°

式4-1で算出した座標は、レーザースキャナが原点であるため座標系を統一するために座標変換する必要がある。座標変換式は三次元アフィン変換を用いた。三次元アフィン変換式を次に示す。

3-2デジタルカメラ
本 研 究 室 が 所 有 す る デ ジ タ ル カ メ ラ Nikon「D100」を使用した。本研究では、キャリブレーション済みのデジタルカメラを用いる。
キャリブレーションとは、カメラ固有のパラメータである焦点距離、主点位置、分解能、レンズ歪の補正係数などを求めることである。表3-3に使用したカメラのパラメーターを示す。

⎛ X ⎞ ⎛ p1
⎜ ⎟ ⎜⎜ Y ⎟ = ⎜ p4
⎜Z ⎟ ⎜ p⎝ ⎠ ⎝ 7p2
p5
p8

p3 ⎞⎛ u ⎞ ⎛ X 0 ⎞⎟⎜ ⎟ ⎜ ⎟p6 ⎟⎜ v ⎟ + ⎜ Y0 ⎟p9 ⎟⎠⎜⎝ w ⎟⎠ ⎜⎝ Z 0 ⎟⎠X , Y , Z : 基準点座標(地上座標)
X 0 , Y0 , Z 0 : 基準点座標(レーザー座標系)
u , v, w : 基準点座標(レーザー座標)
pi : 変換パラメータ

表3-3.カメラのパラメーター

焦点距離ｆ [mm]X方向の主点位置 Xp [mm]
Y方向の主点位置 Yp [mm]k1k2放射方向歪曲収差
p1p2
画像分解能[mm](式4-2)

34.384595
11.960479
7.833946
1.274541E-05-1.772969E-07
1.225290E-06
7.596063E-070.0079

この変換式における変換パラメーターは、基準点の座標を用いることにより、求めることができる。

5.デジタルカメラの幾何特性
5-1レンズ歪の補正
カメラのレンズには、レンズの中心から離れるに従って歪みが生じている。この歪は、レンズの中心から離れるにしたがって大きくなる。そのため、れレンズの歪みを補正する必要がある。このレンズ歪を次式を用いて補正する。

3.3反射板
レーザースキャナデータの座標変換やカメラの位置・姿勢を求めるためには、基準点を設置する必要がある。今回、基準点には反射板を用いた。

⎛2 ⎞⎟⎜∆u = −up + ⎛⎜⎜ k r 2 + k r 4 ⎞⎟⎟⎛⎜⎜u −up ⎟⎞⎟ + p ⎜⎜ r 2 + 2⎛⎜⎜u −up ⎞⎟⎟ ⎟⎟ + 2p ⎛⎜⎜u −up ⎞⎟⎟⎛⎜⎜v −vp ⎞⎟⎟2 ⎠⎝1⎜2⎝⎝⎠ ⎟⎠⎝⎠⎠⎝ 1⎝⎠⎛2 ⎞⎟⎜∆v= −vp + k r 2 + k r 4 ⎞⎟⎟⎛⎜⎜v −vp ⎞⎟⎟ + 2p ⎛⎜⎜u −up ⎞⎟⎟⎛⎜⎜v −vp ⎞⎟⎟ + p ⎜⎜ r 2 + 2⎛⎜⎜v −vp ⎞⎟⎟ ⎟⎟
12 ⎠⎝
1⎝
2⎜⎠⎠⎝
⎠
⎝⎠ ⎟⎛
⎜⎜
⎝

4.レーザースキャナデータの幾何特性⎝

2 ⎛2⎛⎞⎞
r 2 = ⎜⎜u −u p ⎟⎟ + ⎜⎜v −v p ⎟⎟⎝⎠⎝⎠

レーザースキャナは、対象物に向かって放射したレーザーパルスが反射して戻ってくるまでの時間から斜距離を計測し、斜距離、水平角、天頂角から三次元座標を求める。図4-1は、レーザースキャナの概念図を表している。

⎠(式5-1)∆u,∆v :補正項
u p ,v p :主点位置
k ,k ,p ,p :放射方向歪曲収差のパ ラメータ
1 2 1 25.2共線条件式
デジタルカメラ画像の幾何学は、共線条件式に従う。共線条件式を次に示す。

u =−cv =−c
図4-1.レーザースキャナの概念図

up
wp
vp
wp=−c=−ca11(Xp − X1) + a12(Yp −Y1) +a13(Zp − Z1)
a31(Xp − X1) + a32(Yp −Y1) +b33(Zp −Z1)
a21(Xp −X1) + a22(Yp −Y1) +a23(Zp −Z1)

(式5-2)

a31(Xp − X1) +a32(Yp −Y1) + a33(Zp −Z1)
X p , Y p , Z p : 対象物の地上座標
X 1 , Y1 , Z 1 : 投影中心の地上座標取得した斜距離、水平角、天頂角を用いて、レーザー座標を算出する式を次に示す。

u , v : 対象物の画像座標
f : 焦点距離a : 回転行列の要素 (ω , φ , κ )2ij共線条件とは、被写体と投影面の中心、写真像が一直線上に存在しているという性質のことで、これを満たす式が共線条件式である。
対象物P(Xp,Yp,Zp)をカメラで撮影した場合、カメラの投影中心を原点とする画像座標において、Pは(up,vp,wp)となり、レンズの焦点距離をcとすると投影面上では(u,v,-c)に投影される。共線条件式の概念図を図5-1に示す。

データの読み込み・レーザースキャナデータ (Xp,Yp,Zp)

共線条件式を用いて、からカメラ座標(u,v)を算出

書き出さない存在しない

画像座標が画像の範囲内に存在するか判定

存在する
対応する画像座標の色情報を取得

図6-1.合成プログラムのフローチャート

7.室内実験
7.1実験場所
今回、対象とした場所は、高知工科大学B棟3階のホールとした。図7-1に実験状況を示す。

図5-1.共線条件式の概念図
共線条件式における係数 a11〜a 33 は、下の回転行列で表すことができる。回転行列は、カメラの姿勢(ω,φ,κ)を示している。回転行列を次に示す。
00 ⎞⎛ cosφ 0 sinφ⎞⎛ cosκ − sinκ 0⎞⎛ a11 a12 a13 ⎞ ⎛ 1
⎜
⎟ ⎜⎟⎜
⎟⎜
⎟
1 0 ⎟⎜ sinκ cosκ 0⎟⎜ a21 a22 a23 ⎟ = ⎜ 0 cosω − sinω⎟⎜ 0⎜a⎟ ⎜⎟⎜⎟⎜
01⎟⎠⎝ 31 a32 a33 ⎠ ⎝ 0 sinω cosω ⎠⎝ − sinφ 0 cosφ⎠⎝ 0(式5-3)

ω,φ,κ：カメラの傾き
したがって、地上座標と画像座標の関係は、カメラの位置 (X0,Y0,Z0) 、姿勢(ω,φ,κ)が分かれば、導くことができる。これらも、基準点の座標を用いて、求めることができる。このようにカメラの位置と姿勢を求めることを標定と呼んでいる。

図7-1.実験状況
今回の室内実験では、基準点として反射板を計47枚設置した。また、デジタルカメラで撮影した画像は計10枚である。撮影した画像10枚すべての標定を行い、カメラの位置と姿勢を求めた。レーザースキャナは、一箇所からでは360°すべてのデータを取得することができない。よって、レーザースキャナを二箇所に設置し、データを取得することで、360°すべてのデータを取得した。
デジタルカメラ画像の例を図7-2に示す。丸いマーカーが、基準点として用いた反射板の位置を示す。

6.レーザースキャナデータとデジタルカメラ画像の合成手法求まった共線条件式に、座標変換後のレーザースキャナデータを代入することによって、画像座標を算出することができる。
算出された画像座標が対応する画像の範囲内に存在するかの判定を行い、存在したならば、その画像座標のカラー情報を取得し、レーザースキャナの座標データとともに書き出す。しかし、画像の範囲内に存在しないのであれば、書き出しは行わない。この動作を繰り返し、カラー情報を持った三次元のデータを取得する。このプログラムのフローチャートを図6-1に示す。
3

図7-2.標定に用いた画像

図7-2.鳥瞰図

レーザースキャナデータの座標変換の結果を表71に示す。ほぼレーザースキャナのスペックを満たした結果が得られている。

8.考察と今後の課題
レーザースキャナデータとデジタルカメラ画像の合成を行い、画像を作成することができた。しかし、デジタルカメラ画像は、二次元データなのでカラー情報の取得時に、異なる地上座標であっても、同じ画像座標のカラー情報を取得することもあり、これを今後解決する必要がある。
この問題を解決するためには、手前に存在している点群データにおいて、点と点で面を作り、対象に面を貼り付けることで防ぐことが可能であると考える。

表7-1.レーザースキャナデータでの平均二乗誤差
レーザー番号x[mm]
y[mm]
z[mm]
122.943
17.2288.481
214.54421.8577.292
表7-2には、各画像における基準点の数、得られた結果の精度を平均二乗誤差(RMSE)で示す。すべての写真で、1ピクセル以内の精度となり、良好であった。

9.参考文献
1)解析写真測量：社団法人 日本写真測量学会
2)青木祐二：高知工科大学社会システム工学科
2004 年度学士論文
3)山本高史：高知工科大学社会システム工学科
2007 年度修士論文
4)崎野克郎: 高知工科大学社会システム工学科
2007 年度学士論文

表7-2.デジタルカメラ画像での平均二乗誤差

カメラ番号 基準点数 RMSE[mm] RMSE[pixel]
1
70.005160.65
280.00486
0.61
390.00499
0.63
450.002570.33
580.00495
0.63
690.00450
0.57
7100.00370
0.47850.00549
0.69
980.00474
0.60
1080.00453
0.577.2合成結果
自作プログラムにより、レーザースキャナデータとデジタルカメラ画像の合成を行った。カラー情報を取得できたレーザースキャナの点数は全体の約1/5となった。
合成後のデータを用いて、鳥瞰図を描いた結果を
図7-2に示す。鳥瞰図から、カラー情報が合成できたことが分かる。

4