(57)【要約】【課題】ライン画像を並べて作成した２枚のステレオ画像を用いて形状を復元する装置、方法において、撮影時のカメラのぶれ等によるライン画像にぶれがある場合にも、安定して形状を復元する。【解決手段】横軸が平行投影のステレオ画像を２枚取得する画像入力手段２０１と、前記画像入力手段により得られた２枚の画像のうち１枚の画像における局所領域を変形させた補正画像に対し、もう一枚の画像との類似度を算出する画像照合手段２０２と、前記画像照合手段により算出された類似度を基に３次元点群を生成する３次元点群生成手段２０３とを備える。  前記画像照合手段は、一枚の画像中の局所領域ともう一枚の画像の局所領域との類似度が最大になるように局所領域内の縦一ラインずつを上下にずらし補正画像を得る手段を備える。【選択図】  図１
2006195758.tif 000002
【特許請求の範囲】
【請求項１】
ライン画像を並べて作成した２枚のステレオ画像を用いて形状を復元する装置であって、
横軸が平行投影のステレオ画像を２枚取得する画像入力手段と、
前記画像入力手段により得られた２枚の画像のうち１枚の画像における局所領域を変形させた補正画像に対し、もう一枚の画像との類似度を算出する画像照合手段と、
前記画像照合手段により算出された類似度を基に３次元点群を生成する３次元点群生成手段と、
を備えることを特徴とするステレオマッチング装置。
【請求項２】
前記画像照合手段は、一枚の画像中の局所領域ともう一枚の画像の局所領域との類似度が最大になるように局所領域内の縦一ラインずつを上下にずらし補正画像を得る手段を備えることを特徴とする請求項１に記載のステレオマッチング装置。
【請求項３】
ライン画像を並べて作成した２枚のステレオ画像を用いて形状を復元する方法であって、
横軸が平行投影のステレオ画像を２枚取得する画像入力過程と、
前記画像入力過程により得られた２枚の画像のうち１枚の画像における局所領域を変形させた補正画像に対し、もう一枚の画像との類似度を算出する画像照合過程と、
前記画像照合過程により算出された類似度を基に３次元点群を生成する３次元点群生成過程と、
を備えることを特徴とするステレオマッチング方法。
【請求項４】
前記画像照合過程は、一枚の画像中の局所領域ともう一枚の画像の局所領域との類似度が最大になるように局所領域内の縦一ラインずつを上下にずらし補正画像を得る過程を備えることを特徴とする請求項３に記載のステレオマッチング方法。
【請求項５】
請求項３または請求項４のいずれか１項に記載のステレオマッチング方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライン画像を並べて作成した２枚のステレオ画像を用いたマッチング処理により、市街地の建造物側面等の３次元点群を生成する技術に関するものである。
【背景技術】
【０００２】
従来、ライン画像を並べて横軸が平行投影な２枚のステレオ画像を作成し、マッチング処理を行うことにより建造物側面等の３次元形状を復元する手法に関しては、主に以下の２つがある。
【０００３】
手法１：ラインセンサカメラで取得したライン画像を並べて横軸が平行投影な２枚のステレオ画像を作成し、２枚のステレオ画像中のライン毎あるいは局所領域を切り出し、拡大縮小などの変形を行わない単純な差分処理、相関値計算等で類似度を算出し、２枚のステレオ画像間の対応付けを行い、３次元点群を生成する（例えば、特許文献１参照）。
【０００４】
手法２：平面や曲面といった３次元の形状モデルを用意し、ライン画像を並べて作成した２枚のステレオ画像間のマッチング処理により得られた類似度を形状モデルのパラメータで張られる空間に投票し、多数決の原理を用いてパラメータを決定することにより、形状を復元する（例えば、特許文献２参照）。
【特許文献１】特開２００２−２２４４０「距離測定装置および方法」
【特許文献２】特開２００３−２５６８１１「３次元情報復元装置、３次元情報復元方法、３次元情報復元方法のプログラムおよびこのプログラムを記録した記録媒体」
【発明の開示】
【発明が解決しようとする課題】
【０００５】
手法１は、変形を行わない単純な類似度計算なので計算コストが少ないというメリットがあるが、１ラインずつ撮影を行い、そのライン画像を並べてステレオ画像を作るため、撮影時のカメラ振動により画像中にぶれが生じてしまうことが多々ある。
【０００６】
図６に撮影時のカメラ振動により画像がぶれてしまっている例を示す。１０１にライン画像を並べて作成したステレオ画像のうち１枚を示し、１０２にぶれが生じている部分を拡大した画像を示している。類似度算出の際にこのぶれを考慮しないと、ステレオ画像間で同じ箇所を撮影しても違うテクスチャとして写ってしまうため、正しく対応付けができず、３次元点群の生成に失敗しやすいという欠点がある。
【０００７】
手法２は、ステレオ画像間の類似度を形状モデルへ投票することにより形状を復元しているため、ある程度撮影時のカメラ振動が引き起こす画像中のぶれによるノイズに強い手法であるが、画像全体にぶれが生じ、同じ物体を撮影しているにも関わらずステレオ画像間の類似度が著しく低下する場合には、形状が復元できないという欠点がある。また、投票する空間中では異なる形状モデルからの投票軌跡が干渉し、形状復元精度が落ちることがあり、次元が多いほどその対処は難しくなるという問題がある。
【０００８】
本発明の目的は、撮影時のカメラのぶれ等によるライン画像にぶれがある場合にも、安定して形状を復元することができるステレオマッチング装置、方法およびこの方法のプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明は、横軸が平行投影の２枚のステレオ画像のうち１枚の画像中の局所領域を変形させて補正画像を得ながらもう一枚の画像との類似度を算出することにより、２枚のステレオ画像に異なるぶれが生じ同じ物体を撮影しているにも関わらずテクスチャが異なってしまう場合でも、類似度は高くなり、３次元点として抽出することを可能とし、これにより、より正しく対応付けを行うことができ、３次元点群の精度を向上させることができるようにしたもので、以下の装置、方法、およびプログラムを特徴とする。
【００１０】
（１）ライン画像を並べて作成した２枚のステレオ画像を用いて形状を復元する装置であって、
横軸が平行投影のステレオ画像を２枚取得する画像入力手段と、
前記画像入力手段により得られた２枚の画像のうち１枚の画像における局所領域を変形させた補正画像に対し、もう一枚の画像との類似度を算出する画像照合手段と、
前記画像照合手段により算出された類似度を基に３次元点群を生成する３次元点群生成手段と、
を備えることを特徴とするステレオマッチング装置。
【００１１】
（２）前記画像照合手段は、一枚の画像中の局所領域ともう一枚の画像の局所領域との類似度が最大になるように局所領域内の縦一ラインずつを上下にずらし補正画像を得る手段を備えることを特徴とするステレオマッチング装置。
【００１２】
（３）ライン画像を並べて作成した２枚のステレオ画像を用いて形状を復元する方法であって、
横軸が平行投影のステレオ画像を２枚取得する画像入力過程と、
前記画像入力過程により得られた２枚の画像のうち１枚の画像における局所領域を変形させた補正画像に対し、もう一枚の画像との類似度を算出する画像照合過程と、
前記画像照合過程により算出された類似度を基に３次元点群を生成する３次元点群生成過程と、
を備えることを特徴とするステレオマッチング方法。
【００１３】
（４）前記画像照合過程は、一枚の画像中の局所領域ともう一枚の画像の局所領域との類似度が最大になるように局所領域内の縦一ラインずつを上下にずらし補正画像を得る過程を備えることを特徴とするステレオマッチング方法。
【００１４】
（５）上記（３）または（４）のいずれか１項に記載のステレオマッチング方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
【発明の効果】
【００１５】
以上説明したように、本発明により、撮影時のカメラのぶれによる画像ぶれが生じても、安定して形状を復元することができる。これにより実際の市街地の３次元都市空間を安定して、精度高く構築できるようになる。
【発明を実施するための最良の形態】
【００１６】
本発明の実施形態になるステレオマッチング装置の構成を図１に示す。本実施形態は、画像入力手段（２０１）、画像照合手段（２０２）、３次元点群生成手段（２０３）とからなる。これら手段は、ソフトウェア構成で実現し、コンピュータに搭載し、その資源を利用して所期の処理を可能にする。
【００１７】
画像照合手段（２０２）では、画像入力手段（２０１）で取得したライン画像を並べて作成した２枚のステレオ画像間の類似度を算出し、３次元座標と類似度とを関連付ける。類似度を算出する際には、１枚の画像における局所領域を変形させた後、もう一枚の画像との類似度を算出する。３次元点群生成手段（２０３）では、画像照合手段（２０２）における３次元座標と類似度との関連付け結果を基に３次元点群を生成する。
【００１８】
図１の各手段を詳細に説明する。まず画像入力手段（２０１）について説明する。本実施形態では、２台のラインセンサカメラを車両に搭載し、移動しながら市街地の建造物の横軸が平行投影の画像を取得する場合について述べる。
【００１９】
図２は、画像取得方法を説明するための図である。２台のラインセンサカメラは同時に撮影を開始し、その撮影開始地点を座標系の原点とする。車両の移動方向（３０４）にｘ軸（３０１）、ｘ軸（３０１）に垂直で車両と建造物（３０５）を結ぶ方向にｙ軸（３０２）、ｘｙ平面に垂直にｚ軸（３０３）をとる。以後、すべての図においてｘ軸、ｙ軸、ｚ軸はこの設定とする。
【００２０】
ｙｚ平面から移動方向（３０４）に傾いた方向を撮影しているラインセンサカメラをカメラＡ（３０７）、ｙｚ平面から移動方向（３０４）と逆に傾いた方向を撮影しているラインセンサカメラをカメラＢ（３０８）とする。カメラＡ（３０７）およびカメラＢ（３０８）のライン方向（３０６）はｚ軸と平行にする。かつラインセンサカメラの光軸がｙｚ平面に対称になるように設置する。カメラＡおよびカメラＢは同じ高さに設置する。
【００２１】
図３は、図２の様子を上から見た図である。ｙｚ平面とカメラＡ（４０２）およびカメラＢ（４０３）の光軸とのなす角は等しく、カメラ角度（４０１）は共にθ1とする。４０４は撮影対象である建造物を示し、４０５はラインセンサカメラを搭載した車両を示す。
【００２２】
以上の構成において、２台のラインセンサカメラを移動させつつ、ロータリーエンコーダを用いて一定距離ごとに画像（１ライン）を取り込む。なお、ロータリーエンコーダとは車両等に取り付けることにより、一定距離ごとに特定信号を発生させる装置のことである。それぞれのカメラから取得したライン画像を時系列にならべて２枚の横軸が平行投影な長尺画像を作成する。
【００２３】
次に画像照合手段（２０２）について説明する。図４に画像照合を行うためのフローチャートを示す。各ライン画像差分処理（５０６）は、カメラＡ（３０７）により取得した画像の局所領域である基準画像（５０１）と、カメラＢ（３０８）により取得した画像の局所領域である視差候補画像（５０２）との各ライン画像どうしを上下に移動させながら、上下の移動量に対する各ライン画像における各画素値の差分の絶対値の総和Ｄ（５０３）を算出する。移動量算出処理（５０７）は、各ライン画像における差分の絶対値の総和Ｄ（５０３）を最小にする移動量ｋ（５０４）を算出する。各ライン移動処理（５０８）は、移動量ｋ（５０４）を基に各ライン画像を移動させ、補正後基準画像（５０５）を作成する。類似度算出処理（５０９）は、補正後基準画像（５０５）と視差候補画像（５０２）との類似度を算出する。
【００２４】
図５を参照して、図４の各処理について述べる。まず、各ライン画像差分算出処理（５０６）について述べる。画像Ａ（６０１）はカメラＡ（３０７）を用いて取得した画像であり、画像Ｂ（６０２）はカメラＢ（３０８）を用いて取得した画像を示す。画像の時間軸方向をａ軸（６０９）、ライン方向をｂ軸（６１０）と呼ぶことにする。画像Ａ上のサイズＭ×Ｎの局所領域を基準画像とし、画像Ｂにおける基準画像上の被撮像物体と同一の物体が撮像されている可能性のある領域から、視差候補画像（サイズＭ×Ｎ）を抽出する。
【００２５】
図２に記載のように、２台のラインセンサが同じ高さに設置され、光軸が１点で交わりかつライン方向と光軸が移動方向に垂直な面に対称になるように設置されている場合は、画像Ｂにおける上記基準画像のｂ軸（６１０）方向の位置と同じ位置の領域が上記基準画像上の被撮像物体と同一の物体が撮像されている可能性のある領域となる。この領域を視差候補領域と呼び、両像Ａにおけるある基準画像ｐ（６０３）の視差候補領域を６０５に示す。基準画像ｐ（６０３）と視差候補領域（６０５）とのｂ軸方向の位置は同じでｙmである。６０４は基準画像ｐ（６０３）の視差候補画像の例を示し、視差候補画像ｑとする。視差候補画像ｑ（６０４）は視差候補領域（６０５）内から設定する。基準画像ｐ（６０３）および視差候補画像ｑ（６０４）のそれぞれの中心座標は（ｘr，ｙm），（ｘl，ｙm）とし、ここでは、局所領域の大きさを例えばＭ＝（２ｍ＋１）ｐｉｘ、Ｎ＝（２ｍ＋１）ｐｉｘとする。
【００２６】
次に、基準画像ｐ（６０３）と視差候補画像ｑ（６０４）の類似度を算出するために基準画像ｐ（６０３）を変形する。まず、基準画像ｐ（６０３）および視差候補画像ｑ（６０４）の左から１ライン目（１×（２ｍ＋１）ｐｉｘ）を抽出する。基準画像ｐ（６０３）および視差候補画像ｑ（６０４）から抽出したライン画像をそれぞれライン画像ｐ（６０６）とライン画像ｑ（６０７）とする。ライン画像ｐ（６０６）およびライン画像ｑ（６０７）のａ座標は、それぞれ（ｘr−ｍ），（ｘl−ｍ）となる。
【００２７】
次に、ライン画像ｐ（６０６）を上下にずらしながらライン画像ｑ（６０７）との差分の絶対値の総和Ｄ（５０３）を算出する。
【００２８】
【数１】
2006195758.tif 000003
【００２９】
但し、ｋ(xr-m)は、ａ座標＝ｘr−ｍにあたるライン画像の移動量を示している。ここでは基準画像ｐ（６０３）および視差候補画像ｑ（６０４）のサイズＭ×Ｎを（２ｍ＋１）ｐｉｘ×（２ｍ＋１）ｐｉｘとしているので、ｂ座標を（ｙm−ｍ）から（ｙm＋ｍ）まで１ｐｉｘずつ変化させ、画素間の濃淡値の差分の絶対値の総和Ｄ（５０３）を算出する。
【００３０】
次に、移動量算出処理（５０７）について述べる。まず、差分の絶対値の総和Ｄ（５０３）が最小になる移動量ｋ(xr-m)（５０４）を求める。ｋ(xr-m)は、例えばまったく基準画像を変形させない場合はｋ(xr-m)＝０となる。ここでは例えば−４ｐｉｘ≦ｋ(xr-m)≦４ｐｉｘの範囲で変化させ、差分の絶対値の総和Ｄ（５０３）が最小となる移動量ｋ(xr-m)（５０４）を求めるとする。ここでは−４ｐｉｘから＋４ｐｉｘとしたが、もちろんどんな値を用いてもよい。
【００３１】
上記の作業を各ライン画像ごとに行う。基準画像ｐ（６０３）のａ座標＝ｘr−ｍにあたるライン画像ｐ（６０６）と視差候補画像ｑ（６０４）のａ座標＝ｘl−ｍにあたるライン画像ｑ（６０７）との差分の絶対値の総和Ｄ（５０３）を最小にする移動量ｋ(xr-m)（５０４）を求めた後は、１ラインずらし、基準画像ｐ（６０３）のａ座標＝ｘr−（ｍ−１）にあたるライン画像ｐ’と視差候補画像ｑ（６０４）のａ座標＝ｘl−（ｍ−１）にあたるライン画像ｑ’との差分Ｄ（５０３）が最小となるｋ(xr-(m-1))（５０４）を求める。このようにして各ライン画像すべてに対して差分の絶対値の総和Ｄ（５０３）が最小となるｋa（５０４）を求める。
【００３２】
次に、各ライン移動処理（５０８）について述べる。各ライン画像ごとに差分の絶対値の総和Ｄ（５０３）が最小となるｋa（５０４）の値だけずらす。例えば、ａ座標＝ｘr−ｍではｋ(xr-m)＝３だけずらしたときに差分Ｄ（５０３）が最小だった場合には、基準画像Ａのａ座標＝ｘr−ｍのライン画像には、画像Ａ中のａ座標＝ｘr−ｍ，（ｙm−ｍ）＋３≦ｂ座標≦（ｙm＋ｍ）＋３までを抽出したライン画像を用いる。基準画像中のすべてのライン画像に対して上記の作業を行い補正画像を得る。基準画像ｐを変形した補正後基準画像ｐを６０８に示す。
【００３３】
なお、この実施例では基準画像ｐ（６０３）を変形させて補正画像を作成したが、視差候補画像ｑ（６０４）を同様に変形させて補正画像を算出しても構わない。
【００３４】
次に、類似度算出処理（５０９）について述べる。変形した補正後基準画像ｐ（６０８）と視差候補画像ｑ（６０４）との類似度を算出する。類似度は差分による方法、相互相関値による方法などを用いればよい（例えば、画像処理標準ハンドブック，財団法人画像情報教育振興協会，ｐｐ．２５０〜２５２，１９９７参照）。
【００３５】
上記の作業を、基準画像ｐ（６０３）に対する視差候補領域（６０５）内すべての視差候補画像に対して行い、視差候補領域内で最も基準画像ｐ（６０３）との類似度が高くなった視差候補画像の中心座標を求める。次に、基準画像の中心座標を（ｘr＋１，ｙm），（ｘr＋２，ｙm）…というようにずらしながら画像Ａ中すべての基準画像に対して、類似度が最も高くなる視差候補画像の中心座標を求める。
【００３６】
次に３次元点群生成手段（２０３）について説明する。画像Ａ上の座標（ｘA，ｙA）と画像Ｂ上の座標（ｘB，ｙA）とが同じ地点を撮影しているならば、その地点の３次元座標は式（１）〜（３）で求められる。なお（３）の導出には、ピンホールカメラのモデルを用いている。
【００３７】
【数２】
2006195758.tif 000004
【００３８】
ここで、画像移動量定数は、画像を構成する縦方向のライン画像間の撮影間隔の距離である。また、ｆはピンホールカメラモデルにおける焦点距離である。
【００３９】
そこで、画像照合手段（２０２）で算出された各基準画像の中心座標とその基準画像との類似度が最も高くなった視差候補画像の中心座標をそれぞれ（２）〜（４）に代入し、３次元座標（ｘ，ｙ，ｚ）を算出する。このようにして、建造物側面等の３次元点群を生成する。
【００４０】
以上説明したように、本実施形態によれば、画像ぶれを適切に補正でき、手ぶれや車両の走行中のぶれなどによる画像ぶれが生じても安定してステレオ画像間の対応付けを行うことができ、安定して建造物などの形状を復元することができる。
【００４１】
なお、本発明は、図４等に示した方法の一部又は全部の処理手順をプログラムとして構成してコンピュータに実行させることができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施形態を示すステレオマッチング装置の構成図。
【図２】実施形態における画像取得方法の説明図。
【図３】図２の平面図。
【図４】実施形態における画像照合手順を説明するためのフローチャート。
【図５】実施形態におけるマッチング時の基準画像の変形方法を説明する図。
【図６】カメラ振動による画像ぶれの例。
【符号の説明】
【００４３】
２０１  画像入力手段
２０２  画像照合手段
２０３  ３次元点郡生成手段
３０７、４０２  カメラＡ
３０８、４０３  カメラＢ
【図１】
2006195758.tif 000005
【図４】
2006195758.tif 000006
【図２】
2006195758.tif 000007
【図３】
2006195758.tif 000008
【図５】
2006195758.tif 000009
【図６】
2006195758.tif 000010