(57)【特許請求の範囲】
【請求項１】
連続的に撮像した画像を記録する画像記録システムにおいて、
移動体により移動させながら所定のフレームレートで連続的に被写体のカラー画像と距離画像とを撮影する３次元画像センサと、
前記移動体の移動中における加速度、速度、及び角速度を補助データとして検知するセンサと、
前記３次元画像センサにより得られるカラー画像と距離画像とをどちらか一方の座標系に合わせて変換することで同一の座標系にし、前記同一の座標系で前記移動体の移動及び揺れにより各フレームにかかった並進及び回転を補正し、補正された隣接フレーム間のカラー画像又は距離画像を結合して記録する記録装置とを有し、
前記記録装置は、前記隣接フレーム間の関係を前記３次元画像センサに対するカメラ座標系の回転行列と並進ベクトルとを用いて表し、前記回転行列と前記並進ベクトルとを用いて、前記座標系を変換し、
前記回転行列及び前記並進ベクトルは、前記隣接フレーム間の重なり領域の距離画像の３次元形状の距離を同一座標系で評価し、前記センサから得られる補助データから推定される隣接フレームのカラー画像又は距離画像間の平面の重なり領域に対する距離が最小となるように前記回転行列及び前記並進ベクトルを求めることを特徴とする画像記録システム。
【請求項２】
前記記録装置は、
前記センサから得られる補助データに基づいて、前記並進及び前記回転の方向及び大きさを取得し、取得した方向及び大きさに対応させて前記回転行列と前記並進ベクトルを求めることを特徴とする請求項１に記載の画像記録システム。
【請求項３】
前記記録装置は、
前記補助データを前記３次元画像センサから得られる前記カラー画像及び前記距離画像のフレーム信号に同期させて記録することを特徴とする請求項１又は２に記載の画像記録システム。
【請求項４】
連続的に撮像した画像を記録する画像記録方法において、
３次元画像センサを移動体により移動させながら所定のフレームレートで連続的に被写体のカラー画像と距離画像とを撮影し、
センサから前記移動体の移動中における加速度、速度、及び角速度を補助データとして検知し、
前記３次元画像センサにより得られるカラー画像と距離画像とをどちらか一方の座標系に合わせて変換することで同一の座標系にし、前記同一の座標系で前記移動体の移動及び揺れにより各フレームにかかった並進及び回転を補正し、補正された隣接フレーム間のカラー画像又は距離画像を結合して記録装置に記録し、
前記記録装置は、前記隣接フレーム間の関係を前記３次元画像センサに対するカメラ座標系の回転行列と並進ベクトルとを用いて表し、前記回転行列と前記並進ベクトルとを用いて、前記座標系を変換し、
前記回転行列及び前記並進ベクトルは、前記隣接フレーム間の重なり領域の距離画像の３次元形状の距離を同一座標系で評価し、前記センサから得られる補助データから推定される隣接フレームのカラー画像又は距離画像間の平面の重なり領域に対する距離が最小となるような前記回転行列及び前記並進ベクトルであることを特徴とする画像記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速移動しながら連続撮像された被写体のカラー画像及び距離画像から成る３次元形状情報を記録する画像記録システム及び画像記録方法に関するものである。
【背景技術】
【０００２】
道路・橋梁等の路面やトンネル・建造物等の壁面の損傷検査や障害物の検出など、長距離にわたって３次元形状を連続して計測する装置の開発が期待されている。そして、このように長距離にわたって連続的に計測された膨大な３次元形状情報から、任意の位置の３次元形状を前後の３次元形状と結合して表示する方法も期待されている。
このような路面やトンネル壁面の損傷検査を目的とする３次元形状検出方法としては、レーザビームを照射し２次元的に走査することによって路面や壁面の３次元形状を計測する手法が従来の代表的な方法である。このレーザビーム走査による方法は３次元形状の計測に時間がかかり、長距離にわたって連続的に３次元形状を計測するためには多大な時間を要する。また、このように膨大な３次元形状情報を連続的に計測した例は殆ど無いため、記録方法や表示方法も考慮されていない。
【０００３】
近年、発光ダイオード強度変調光照射と高速利得変調テレビカメラを組み合わせた高速３次元画像センサが開発された（特許文献１）。この高速３次元画像センサによれば、同時に撮影されるカラー映像と距離映像を、ズームレンズのデータを基に補正して高速かつ高精度に３次元情報を求めることが可能となり、動く人物等の被写体の３次元形状情報の取得が可能となった（特許文献２）。さらに、発光ダイオード強度変調光照射を超短レーザパルス光照射に置き換えることにより、これまで不可能であった高速移動する物体の３次元形状を連続的に計測することが可能となり、部品検査、大型測定物の高速測定等の幅広い産業分野に活用することができる。
【０００４】
この高速３次元画像センサを自動車に搭載し、走行しながら長距離にわたってテレビフレームレートで連続的に路面、橋梁、壁面などの３次元形状を計測することが可能となり、数１０Ｋｍ以上にわたる路面や壁面のカラー画像と距離画像を得られるようになった。
【０００５】
しかし、このようにして撮像されたカラー画像と距離画像は、自動車の走行と揺れのために各フレームごとに並進と回転がかかっており、複数フレームにわたる３次元形状の状況を正確に把握することが困難である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８-２４９４３１号公報
【特許文献２】特開２００８-２４９４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、走行する自動車（高速移動体）に搭載した３次元画像センサによって連続的に撮像したカラー画像と距離画像と、補助データとして自動車（高速移動体）の走行（移動）速度、加速度、角速度から、各フレームごとにかかった並進と回転を検出する方法と、検出した並進と回転を補正して隣接フレーム間のカラー画像と距離画像を結合する方法と、複数フレームにわたる、路面、橋梁、壁面などの３次元形状を把握する方法、ならびに、その装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、連続的に撮像した画像を記録する画像記録システムにおいて、移動体により移動させながら所定のフレームレートで連続的に被写体のカラー画像と距離画像とを撮影する３次元画像センサと、前記移動体の移動中における加速度、速度、及び角速度を補助データとして検知するセンサと、前記３次元画像センサにより得られるカラー画像と距離画像とをどちらか一方の座標系に合わせて変換することで同一の座標系にし、前記同一の座標系で前記移動体の移動及び揺れにより各フレームにかかった並進及び回転を補正し、補正された隣接フレーム間のカラー画像又は距離画像を結合して記録する記録装置とを有し、前記記録装置は、前記隣接フレーム間の関係を前記３次元画像センサに対するカメラ座標系の回転行列と並進ベクトルとを用いて表し、前記回転行列と前記並進ベクトルとを用いて、前記座標系を変換し、前記回転行列及び前記並進ベクトルは、前記隣接フレーム間の重なり領域の距離画像の３次元形状の距離を同一座標系で評価し、前記センサから得られる補助データから推定される隣接フレームのカラー画像又は距離画像間の平面の重なり領域に対する距離が最小となるように前記回転行列及び前記並進ベクトルを求めることを特徴とする。
また、本発明は、例えば走行する自動車（高速移動体）に搭載した３次元画像センサによって、高速フレームレートで長時間にわたり連続的に撮像したカラー画像と距離画像を結合するため、自動車（高速移動体）の走行（移動）速度、加速度、角速度を補助データとしてフレーム信号に同期して記録することを特徴とするカラー画像と距離画像データの記録方法と、前記路面、橋梁、壁面などのカラー画像と距離画像を次々に結合できることを特徴とする、隣接フレーム間のカメラ座標系の移動量データとカラー画像と距離画像を組み合わせたデータ形式と、前記カラー画像と距離画像を結合するため、連続するフレーム間の距離画像のみを用いることを特徴とする、カラー画像と距離画像を結合するためのデータを作成する方法と、前記カラー画像と距離画像を結合するため、連続するフレーム間のカラー画像と距離画像と前記補助データを用いることを特徴とする、カラー画像と距離画像を結合するためのデータを作成する方法と、前記カラー画像と距離画像を結合するため、前記組み合わせたデータを用いてカラー画像と距離画像を結合する方法、から構成され、それらの方法を組み込んだ装置も包含されるものである。
【０００９】
具体的には、隣接フレーム間の前記距離画像間の距離を評価し最小化することによって、隣接フレーム間のカメラ座標系の並進と回転を推定する画像処理の手段を用いる。前記補助データを併用することにより、前記距離画像間の距離を最小化する画像処理を効率的に行うことも可能である。推定した並進と回転を用いて隣接フレーム間のカメラ座標系を変換し、カラー画像と距離画像を結合する手段を用いるものである。
【発明の効果】
【００１０】
本発明により、短距離から長距離にわたる道路・橋梁などの路面あるいは地面、トンネルあるいは建造物の壁面などの3次元形状の把握が可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は路面、橋梁、壁面などのカラー画像と距離画像記録システム構成を示す図である。（実施例１）
【図２】図２は撮像・記録されるカラー画像及び距離画像のイメージ図である。（実施例１）
【図３】図３は各フレームの座標系と距離画像（回転と並進）の図である。（実施例２）
【図４】図４は各フレームの座標系と隣接プレームの重なり領域Ｓの距離画像（隣接フレーム距離画像間の重なり部分）の図である。（実施例２）
【発明を実施するための形態】
【実施例１】
【００１２】
図１を用いて、本発明による路面・壁面の距離画像データの記録システムの概要を説明する。３次元画像センサ１０、センサ１１、カラー画像・距離画像・補助データ記録装置１２を自動車（移動体）に搭載し、走行しながら、路面、橋梁、壁面などのカラー画像と距離画像と補助データ（自動車（移動体）の速度、加速度、角速度）をフレームレートで連続的にカラー画像・距離画像・補助データ記録装置１２に記録する。
【００１３】
距離画像・補助データ記録装置１２に記録されるデータは次のデータの組み合わせである。
各フレームごとのカラー画像  C0, C1, C2,…Ci-1,Ci,Ci+1,…
各フレームごとの距離画像  D0, D1, D2,…Di-1,Di,Di+1,…
各フレームごとの速度      …(vx)i-1,(vx)i,(vx) i+1,…
各フレームごとの３軸加速度…(ax, ay, az)i-1, (ax, ay, az)i, (ax, ay,az)i+1,…
各フレームごとの３軸角速度…(wx,wy,wz)i-1, (wx,wy,wz)i, (wx,wy,wz)i+1,…
【００１４】
自動車（移動体）の走行と揺れで撮像される距離画像はフレームごとに並進と回転がかかり、撮像・記録されるカラー画像１３−２と距離画像１４−２のイメージは図２のようになる。
【実施例２】
【００１５】
図３のように、３次元画像センサのレンズパラメータを固定して撮像した、隣接フレーム間の距離画像をそれぞれ、前(i-1)フレームのDi-1(Xi-1,Yi-1)、現(i)フレームのDi(Xi,Yi)および次(i+1)フレームのDi+1(Xi+1,Yi+1)と表す。(Oi-1Xi-1Yi-1Zi-1)座標系、(OiXiYiZi)座標系および(Oi+1Xi+1Yi+1Zi+1)座標系における距離画像の３次元形状を表す位置ベクトルui-1、uiおよびui+1はそれぞれ次のように表せる。
0005285487.tif 000002
なお、隣接フレーム間のカラー画像も同様にそれぞれ、前(i-1)フレームのCi-1(Xi-1,Yi-1)、現(i)フレームのCi(Xi,Yi) 、次(i+1)フレームのCi+1(Xi+1,Yi+1)と表す。
隣接するフレーム間のカメラ座標系（例えば前(i-1)フレームと現(i)フレームの(Oi-1Xi-1Yi-1Zi-1)座標系と(OiXiYiZi)座標系の関係は、回転行列Riと並進ベクトルTi を用いると(1)式で表すことができる。
0005285487.tif 000003
（１）
ただし、
0005285487.tif 000004
,  
0005285487.tif 000005
【００１６】
回転行列Riと並進ベクトルTiを求めることにより、(Oi-1Xi-1Yi-1Zi-1)座標系を(OiXiYiZi)座標系に、あるいは逆に変換することができる。従って、隣接フレーム間のカラー画像と距離画像をどちらか一方の座標系に合わせて変換することにより、同一の座標系で扱うことが可能となる。すなわち、各フレームごとにかかった並進と回転を補正して隣接フレーム間の距離画像を結合することが可能となる。同様に、隣接フレーム間のカラー画像も結合することが可能となる。
【００１７】
従って、隣接フレーム間のカラー画像Ci-1とCi及び距離画像Di-1とDiを結合できるようにするためのデータ形式は、(2)式で示すようにカラー画像と距離画像と隣接フレーム間のカメラ座標系の移動量（回転行列Riと並進ベクトルTi ）を組み合わせたデータのセットをフレーム順に並べたものとする。
…,(Ci-1, Di-1, Ri-1,T i-1),(Ci, Di, Ri,T i),(Ci+1, Di+1, Ri+1, T i+1), …    （２）
具体例として、前(i-1)フレームの距離画像Di-1 (Xi-1,Yi-1)と現(i)フレームの距離画像Di(Xi,Yi)を結合するには、まず、(1)式により座標変換して、現(i)フレームの距離画像Di(Xi,Yi)の３次元形状を表す位置ベクトルuiを前(i-1)フレームの(Oi-1Xi-1Yi-1Zi-1)座標系で次式のように表す。
0005285487.tif 000006
ui-1とui =Ri ui-1+Tiは共通の(Oi-1Xi-1Yi-1Zi-1)座標系で表されるため、この２つの位置ベクトルを重ね合わせることによりDi-1 (Xi-1,Yi-1)とDi(Xi,Yi)を結合することができる。また逆に、ui-1を次式のように(OiXiYiZi)座標系の距離画像に変換して、uiと重ね合わせることによってもDi-1 (Xi-1,Yi-1)とDi(Xi,Yi)を結合することができる。
0005285487.tif 000007
【００１８】
隣接フレーム間の座標系の回転行列Riと並進ベクトルTiを求めるためには、前(i-1)フレームと現((i))フレームの重なり領域Sの距離画像D’i-1とD’iの３次元形状ui-1と uiの距離dを同一座標系で評価して、この距離dが最小となるようなRiとTiを求めればよい。
すなわち、(Oi-1Xi-1Yi-1Zi-1)座標系で
0005285487.tif 000008
（３）
あるいは、(OiXiYiZi)座標系で
0005285487.tif 000009
（４）
で表される距離dが最小となるような(1)式の回転行列Riと並進ベクトルTiを求める。
例えば一つの計算法として、走行速度(vx)i,から推定される隣接フレームの距離画像間のXi-1Yi-1平面あるいは XiYi平面の重なり領域Sの距離画像D’i-1(Xi-1,Yi-1)とD’i (Xi,Yi)に対して(3)あるいは(4)式で表される距離dが最小となるような(1)式の回転行列Riと並進ベクトルTiを、反復最近傍点法(ICP : Iterated Closest Point)アルゴリズム（P. J. Best, et al., IEEE Trans., Pattern analysis and machine intelligence, vol.14, No.2, pp.239-256）を適用して求めることができる。
【００１９】
ICPアルゴリズムの反復計算によって求められる回転行列Riと並進ベクトルTiが大域的な最適解であることが必ずしも保証されていないため、局所的な解に収束して誤った回転行列Riと並進ベクトルTiが求められる可能性がある。そのため、補助データの速度(vx)i,３軸加速度(ax, ay,az)i, ３軸角速度(wx,wy,wz)iを併用して回転と並進の方向と大きさを知り、求められる回転行列Riと並進ベクトルTiの精度の向上を図る。
【００２０】
計算量を圧縮するため、３軸加速度(ax,ay, az)iと３軸角速度(wx,wy,wz)iが小さな安定走行時には、Xと Y座標の値を僅かずつ変化させて隣接フレームの重なり部分Sの距離画像間の距離dを最小にするXと Yの変化量を求めるような、簡単なx, y方向のパターンマッチングの手法を適用して並行移動量(DX, DY)を計算し、Ri =I、Ti =(DX, DY, 0)を適用する。
【００２１】
(２)式の形式のデータと(１)式の座標変換を用いて、隣接フレーム間の距離画像を同一座標系に展開して重ね合わせることにより、隣接フレーム間の距離画像を結合することできる。距離画像をフレーム順に順次結合することにより、複数フレームにわたる路面、橋梁、壁面などの３次元形状を把握することが可能となる。
【００２２】
同様に、カラー画像に対しても、(２)式の形式のデータと(１)式の座標変換を用いて、隣接フレーム間のカラー画像を同一座標系に展開して重ね合わせることにより、隣接フレーム間のカラー画像を結合することできる。そして、結合したカラー画像を前記の方法で結合した距離画像に重ねることにより、結合した距離画像にテクスチャを付けることが可能となる。
【産業上の利用可能性】
【００２３】
本発明により、長距離にわたる道路・橋梁の路面、トンネル壁面などの３次元形状の把握が可能となる。
【符号の説明】
【００２４】
１０    ３次元画像センサ
１１    センサ
１２    カラー画像・距離画像・補助データ記録装置
１３    カラー画像データC(x, y)
１４    距離画像データD(x, y)
１５    補助（加速度・速度・角速度）データ（(ax,ay, az)，(vx)，(wx, wy, wz)
【図１】
0005285487.tif 000010
【図２】
0005285487.tif 000011
【図３】
0005285487.tif 000012
【図４】
0005285487.tif 000013