(57)【要約】【課題】  縦視差をより軽減させた立体視画像を生成させる。【解決手段】  逆投影部３１は、メスマークにより特定された画面上の点に対応する地上座標を確定し、この地上座標を基準画像である直下視画像上に逆投影して直下視画像座標を求める。画像マッチング部３３は、直下視画像座標に対応する前方視画像上の座標を決定するために、相関座標情報データベース７０から直下視画像座標に対応する前方視画像座標を抽出する。ステレオ計測部３５は、画像マッチング部３３により対応づけられた直下視画像座標と前方視画像座標、および飛行軌跡データの位置・姿勢データに基づいて、前方交会法を用いて地上座標を求める。【選択図】  図２
2006033294.tif 000002
【特許請求の範囲】
【請求項１】
撮影方向が異なる複数のラインセンサにより撮像された一次元画像群からなる複数の二次元画像に基づいて、立体視画像を生成する画像処理装置であって、
前記複数の二次元画像間に生じる縦方向の視差である縦視差を補正する縦視差補正手段を備え、
前記縦視差補正手段により前記縦視差が補正された後の画像に基づいて前記立体視画像を生成することを特徴とする画像処理装置。
【請求項２】
前記立体視画像を画面上に表示させる表示手段と、
前記表示手段により表示された前記立体視画像上に指標を表示させる指標表示手段とをさらに備え、
前記縦視差補正手段は、前記指標により前記立体視画像上にある任意の位置が特定されるたびに、前記縦視差を補正することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記縦視差補正手段は、
前記複数の二次元画像のいずれか一の二次元画像を基準画像とし、当該基準画像上の座標を第１の座標として決定する第１の座標決定手段と、
前記複数の二次元画像のうち前記基準画像以外の二次元画像から、前記第１の座標決定手段により決定された第１の座標に対応する第２の座標を決定する第２の座標決定手段と、
前記第１の座標および前記第２の座標に基づいて、前記立体視画像上の座標を決定する第３の座標決定手段とを含んで構成されることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記複数の二次元画像間における相関座標情報を記憶させる記憶手段をさらに備え、
前記第２の座標決定手段は、前記記憶手段により記憶された前記相関座標情報から、前記第１の座標に対応する前記第２の座標を抽出することにより前記第２の座標を決定することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記縦視差補正手段は、
前記複数の二次元画像の解像度を落として前記各二次元画像のそれぞれに対応する低解像度画像を生成する低解像度画像生成手段と、
前記各低解像度画像間で対応する所定の領域に基づいて、当該所定の領域に対応する対応領域を、前記各低解像度画像に対応する前記二次元画像からそれぞれ抽出する対応領域抽出手段と、
前記各低解像度画像に対応する高解像度画像である前記二次元画像の前記対応領域間における相関座標を決定する相関座標決定手段と、
前記相関座標に基づいて、前記立体視画像上の座標を決定する立体視画像座標決定手段とを含んで構成されることを特徴とする請求項１または２記載の画像処理装置。
【請求項６】
前記複数の二次元画像が、前記ラインセンサの撮影時における位置データおよび姿勢データに基づいて幾何補正される幾何補正画像であることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記複数の二次元画像のいずれか一の二次元画像が、各二次元画像間における相関座標同士の縦視差に基づいて幾何補正される幾何補正画像であることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項８】
撮影方向が異なる複数のラインセンサを空中で移動させながら撮像した一次元画像群からなる複数の二次元画像に基づいて、左目用の画像および右目用の画像からなる立体視画像を画面上に表示させる画像処理装置であって、
前記立体視画像上に指標を表示させる指標表示手段と、
前記立体視画像を画面上に表示させる表示手段とを備え、
前記表示手段は、前記指標が前記立体視画像上に設定されると、前記複数の二次元画像間に生じる縦方向の視差である縦視差が補正された後の前記複数の二次元画像に基づく前記立体視画像を画面上に表示させ、当該立体視画像を立体的に見せることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
下記非特許文献１および非特許文献２には、航空測量のための光学センサであるスリーラインスキャナ(TLS : Three Line Scanner)が搭載されたＴＬＳシステムについて開示されている。スリーラインスキャナは、平行に並べられた三つのラインセンサカメラにより構成されており、それぞれのラインセンサカメラにより前方視、直下視、後方視の三方向の画像が同時に取得される。このようなスリーラインスキャナは、例えば、ヘリコプター等の飛翔体の進行方向に対して垂直に搭載される。これにより、飛翔体が飛行している際に各ラインセンサカメラにより地上面が走査され、地上対象物の三重ステレオ画像を取得することができる。
【非特許文献１】津野浩一，「スリーラインスキャナ（ＴＬＳ）とその応用、写真測量とリモートセンシング」，日本写真測量学会，VOL.41，NO.4，2002，PP.37-44
【非特許文献２】Andreas Eckardt，et al，「Performance of the imaging system in the LH Systems ADS40 airborne digital sensor」，International Archives of Photogrammetry and Remote Sensing ，Vol.XXXIII，Part B1，Amsterdam 2000
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述したスリーラインスキャナを搭載したＴＬＳシステムでは、ＧＰＳ（Global Positioning System）およびＩＭＵ（Inertial Measurement Unit）によりラインセンサカメラの位置および姿勢データを含む飛行軌跡データが取得されている。ところが、この飛行軌跡データには、様々な要因により誤差が生じてしまう。したがって、異なる方向から撮影された前方視画像、直下視画像および後方視画像の各画像に基づいて立体視画像を生成した場合には、縦方向の視差である縦視差が発生してしまう。なお、飛行軌跡データに誤差が生じる要因としては、例えば、ＧＰＳやＩＭＵにおける温度ドリフトによるもの、ラインセンサのデータ取得間隔とＧＰＳのデータ取得間隔の相違によるもの、地上基準点の測定誤差によるもの、飛行軌跡データのモデリング誤差によるもの、飛行高度の変動によるもの、飛行軌跡に対する地形の変化によるもの等がある。
【０００４】
ここで、図１２および図１３を参照して、ある地上基準点Ｐを撮影した際に縦視差Ｙが発生する仕組みについて説明する。図１２に示すＰＴは実際の飛行軌跡を示すラインであり、ＵＴは飛行軌跡データにより表される飛行軌跡ラインである。図１２および図１３に示すＮａは直下視画像であり、Ｂａは後方視画像である。ＮａＰは飛行軌跡データに基づいて確定された直下視画像Ｎａ上における点Ｐの対応点であり、ＢａＰは飛行軌跡データに基づいて確定された後方視画像Ｂａ上における点Ｐの対応点である。ＣａＰは飛行軌跡データに誤差がない場合に直下視画像Ｎａ上および前方視画像Ｆａ上に確定される点Ｐの対応点である。つまり、誤差のある飛行軌跡データに基づいて点Ｐの対応点を確定した場合には、図１３に示すように直下視画像Ｎａ上の対応点ＮａＰと後方視画像Ｂａ上の対応点ＢａＰとの間には縦視差Ｙが発生してしまうことになる。
【０００５】
そこで、本発明は、上述した課題を解決するために、縦視差をより軽減させた立体視画像を生成させることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、撮影方向が異なる複数のラインセンサにより撮像された一次元画像群からなる複数の二次元画像に基づいて、立体視画像を生成する画像処理装置であって、複数の二次元画像間に生じる縦方向の視差である縦視差を補正する縦視差補正手段を備え、縦視差補正手段により縦視差が補正された後の画像に基づいて立体視画像を生成することを特徴とする。
【０００７】
この発明によれば、縦視差補正手段により複数の二次元画像間に生じる縦視差が補正されるため、様々な要因により縦視差が生じた複数の二次元画像に基づいて立体視画像を生成する場合であっても、縦視差をより軽減させた立体視画像を生成させることが可能となる。
【０００８】
本発明の画像処理装置において、立体視画像を画面上に表示させる表示手段と、表示手段により表示された立体視画像上に指標を表示させる指標表示手段とをさらに備え、縦視差補正手段は、指標により立体視画像上にある任意の位置が特定されるたびに、縦視差を補正させることが好ましい。このようにすれば、立体視画像上にある任意の位置が指標で特定されるたびに、当該指標により特定された位置を基準にして縦視差補正された後の立体視画像を表示させることが可能となる。
【０００９】
本発明の画像処理装置において、縦視差補正手段は、複数の二次元画像のいずれか一の二次元画像を基準画像とし、基準画像上の座標を第１の座標として決定する第１の座標決定手段と、複数の二次元画像のうち基準画像以外の二次元画像から、第１の座標決定手段により決定された第１の座標に対応する第２の座標を決定する第２の座標決定手段と、第１の座標および第２の座標に基づいて、立体視画像上の座標を決定する第３の座標決定手段とを含んで構成させることが好ましい。
【００１０】
このようにすれば、基準画像上にある第１の座標と、この第１の座標に対応する他の画像上にある第２の座標とに基づいて立体視画像上の座標を決定させることができる。すなわち、第１の座標に対応する第２の座標が決定されることにより、第１の座標と第２の座標との間に生じる縦視差が軽減され、ひいては、縦視差がより軽減された立体視画像を生成させることが可能となる。
【００１１】
本発明の画像処理装置において、複数の二次元画像間における相関座標情報を記憶させる記憶手段をさらに備え、第２の座標決定手段は、記憶手段により記憶された相関座標情報から、第１の座標に対応する第２の座標を抽出することにより第２の座標を決定させることが好ましい。このようにすれば、予め記憶された相関座標情報に基づいて、第１の座標に対応する第２の座標を抽出させることができるため、立体視画像上にある任意の位置が指標で特定されてから立体視画像が生成されるまでの処理時間を短縮させることが可能となる。
【００１２】
本発明の画像処理装置において、縦視差補正手段は、複数の二次元画像の解像度を落として各二次元画像のそれぞれに対応する低解像度画像を生成する低解像度画像生成手段と、各低解像度画像間で対応する所定の領域に基づいて、当該所定の領域に対応する対応領域を、各低解像度画像に対応する二次元画像からそれぞれ抽出する対応領域抽出手段と、各低解像度画像に対応する高解像度画像である二次元画像の対応領域間における相関座標を決定する相関座標決定手段と、相関座標に基づいて、立体視画像上の座標を決定する立体視画像座標決定手段とを含んで構成させることが好ましい。
【００１３】
このようにすれば、解像度を落として縦視差の影響を軽減させた各低解像度画像間で対応する所定の領域に基づいて、この各所定の領域に対応する二次元画像上の対応領域が抽出されるため、各二次元画像間で対応する領域を、高解像度画像である二次元画像から直接抽出する場合に比して、抽出後の各二次元画像の領域間における縦視差を軽減させることができる。また、このような縦視差が軽減された後の各対応領域に基づいて、各対応領域間における相関座標が決定され、この相関座標に基づいて、立体視画像上の座標が決定されるため、縦視差がより軽減された立体視画像を生成させることが可能となる。さらに、各二次元画像の対応領域間における相関座標を決定することで縦視差を補正することができるため、各二次元画像の全領域間における相関座標を決定する場合に比して、処理時間を大幅に削減することができる。
【００１４】
本発明の画像処理装置において、複数の二次元画像が、ラインセンサの撮影時における位置データおよび姿勢データに基づいて幾何補正される幾何補正画像であることが好ましい。このようにすれば、ラインセンサにより撮像された一次元画像群からなる複数の二次元画像を、位置データおよび姿勢データに基づいて幾何補正した後の幾何補正画像に基づいて、立体視画像を生成させることができる。
【００１５】
本発明の画像処理装置において、複数の二次元画像のいずれか一の二次元画像が、各二次元画像間における相関座標同士の縦視差に基づいて幾何補正される幾何補正画像であることが好ましい。このようにすれば、縦視差の発生要因となる誤差を多く含むデータ（例えばラインセンサの撮影時における位置データおよび姿勢データ）を用いることなく、立体視画像を生成させることができる。
【００１６】
また、本発明の画像処理装置は、撮影方向が異なる複数のラインセンサを空中で移動させながら撮像した一次元画像群からなる複数の二次元画像に基づいて、左目用の画像および右目用の画像からなる立体視画像を画面上に表示させる画像処理装置であって、立体視画像上に指標を表示させる指標表示手段と、立体視画像を画面上に表示させる表示手段とを備え、表示手段は、指標が立体視画像上に設定されると、複数の二次元画像間に生じる縦方向の視差である縦視差が補正された後の複数の二次元画像に基づく立体視画像を画面上に表示させ、当該立体視画像を立体的に見せることを特徴とする。
【００１７】
この発明によれば、様々な要因により縦視差が生じた複数の二次元画像に基づく立体視画像を表示させる場合であっても、表示手段により、縦視差が補正された後の複数の二次元画像に基づく立体視画像が、画面上に立体的に表示される。
【発明の効果】
【００１８】
本発明に係る画像処理装置によれば、縦視差をより軽減させた立体視画像を生成させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明に係る画像処理装置の各実施形態を図面に基づき説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。
【００２０】
[第１実施形態]
まず、本発明の第１実施形態について説明する。本実施形態における画像処理装置は、撮影方向が異なる複数のラインセンサにより撮像された一次元画像群からなる複数の二次元画像に基づいて立体視画像を生成し、この生成した立体視画像を画面上に表示する装置である。ここで、本実施形態においては、撮影方向が異なる複数のラインセンサとして、スリーラインスキャナ（ＴＬＳ）を構成するラインセンサ（カメラ）を用いることとする。ラインセンサは、複数の画素を一次元に配列したものであり、各ラインセンサは、ヘリコプター等の飛翔体の進行方向に対して垂直となる方向を長手方向として所定の間隔をあけて配置される。
【００２１】
図１は、建物上のある点Ｑを撮影する瞬間における各ラインセンサの位置を示している。図１に示すように、第１のラインセンサＡ１は、飛翔体の進行方向（図１の矢印ｄａ）に対して前寄りの下方向（図１の矢印ｄｂ）に建物上の点Ｑを捉える。第２のラインセンサＡ２は、飛翔体の直下方向（図１の矢印ｄｃ）に建物上の点Ｑを捉える。第３のラインセンサＡ３は、飛翔体の進行方向に対して後寄りの下方向（図１の矢印ｄｄ）に建物上の点Ｑを捉える。すなわち、第１のラインセンサＡ１により撮像された一次元画像群に基づいて前方視画像が生成され、第２のラインセンサＡ２により撮像された一次元画像群に基づいて直下視画像が生成され、第３のラインセンサＡ３により撮像された一次元画像群に基づいて後方視画像が生成される。
【００２２】
本実施形態においては、一次元画像群からなる二次元画像として、前方視画像、直下視画像および後方視画像を用いることとする。また、これらの前方視画像、直下視画像および後方視画像から２種類の二次元画像を選択し、この選択した２種類の二次元画像に基づいて立体視画像を生成する。さらに、二次元画像は、土地を被膜する建物や植生を含めた地表データ（ＤＳＭ：Digital Surface Model）であってもよいし、建物や植生を含まない地表データ（ＤＴＭ：Digital Terrain Model）であってもよい。
【００２３】
図２は、本実施形態における画像処理装置１の機能構成を例示する図である。図２に示すように、画像処理装置１は、幾何補正部１０と、立体視部２０と、縦視差補正部３０（縦視差補正手段）と、表示部４０（表示手段）と、指標表示部５０（指標表示手段）とを有する。画像処理装置１は、上述した各部における処理に用いられる各種情報をデータベースに格納しており、このようなデータベースとして、例えば、飛行軌跡データベース６０および相関座標情報データベース７０（記憶手段）がある。
【００２４】
ここで、飛行軌跡データベース６０は、データ項目として、例えば、画像座標（ｘ，ｙ）、撮影時におけるラインセンサの位置（Ｘ，Ｙ，Ｚ）、撮影時におけるラインセンサの姿勢角（ω，φ，κ）、および撮影時刻（ｔ）を有する。画像座標（ｘ，ｙ）のｘ成分はラインセンサのライン番号であり、ｙ成分は画素番号である。
【００２５】
また、相関座標情報データベース７０には、各二次元画像間における相関座標に関する相関座標情報が格納されている。具体的に説明すると、相関座標情報は、前方視画像、直下視画像および後方視画像の各画像間において相関関係のある画像座標を組にして対応づけた情報である。相関座標情報データベース７０には、後述する画像マッチング部３３によって実行される前方視画像、直下視画像および後方視画像の各画像間におけるマッチング処理で求められた相関座標情報が予め登録されている。
【００２６】
幾何補正部１０は、ラインセンサにより撮像された一次元画像群からなる２種類の二次元画像、撮影時におけるラインセンサの位置（Ｘ，Ｙ，Ｚ）、および撮影時におけるラインセンサの姿勢角（ω，φ，κ）に基づいて、各二次元画像の幾何補正画像を生成する。
【００２７】
図３は、幾何補正部１０により、二次元画像と、位置・姿勢データを含む飛行軌跡データとに基づいて幾何補正画像が生成される過程を模式した図である。Ｌ１は、飛行軌跡データに基づく飛行軌跡ラインであり、Ｌ２は、実際に飛翔体が飛行した理想的な飛行軌跡ラインである。Ｇ１は、一次元画像群からなる二次元画像であり、Ｈ１は、平均地盤高に設けた水平面である平均地盤高平面であり、Ｇ２は、二次元画像Ｇ１を平均地盤高平面Ｈ１に投影した後の投影画像である。Ｈ２は、幾何補正画像平面であり、Ｇ３は、投影画像Ｇ２を幾何補正画像平面Ｈ２に投影した後の幾何補正画像である。Ｌ３は、幾何補正画像Ｇ３上の準エピポーラ直線である。
【００２８】
まず、幾何補正部１０は、図３に示す二次元画像Ｇ１上の各画素を、それぞれの画素が属する一次元画像に対応する位置・姿勢データを用いることにより、次式に基づいて平均地盤高平面Ｈ１に投影する。すなわち、二次元画像Ｇ１に基づいて平均地盤高平面Ｈ１への投影画像Ｇ２を生成する。
【数１】
2006033294.tif 000003
【００２９】
ここで、上式の“Ｚ０”は平均地盤高であり、（ＸＮ，ＹＮ，ＺＮ）は一次元画像の撮影時におけるラインセンサの位置座標であり、（ｒ１１，ｒ１２，・・・，ｒ３３）は一次元画像の撮影時におけるラインセンサの姿勢角である。また、（ＸＰ，ＹＰ）は平均地盤高平面Ｈ１に投影された投影画像Ｇ２上にある画素の水平座標であり、（ｘＰ，ｙＰ）は二次元画像Ｇ１上にある画素の水平座標であり、ｆはラインセンサの焦点距離である。
【００３０】
次に、幾何補正部１０は、図３に示す理想的な飛行軌跡ラインＬ２を以下のようにして求める。(1)飛行軌跡ラインＬ２に対応する姿勢角ｒ’である（ω’Ｎ，φ’Ｎ，κ’Ｎ）のうち、“ω’Ｎ”と“φ’Ｎ”を０に設定し、“κ’Ｎ”には飛行軌跡ラインＬ１に対応する姿勢角ｒの一要素である“κＮ”の平均値を設定する。(2)飛行軌跡ラインＬ２の位置データ（Ｘ’Ｎ，Ｙ’Ｎ，Ｚ’Ｎ）は、飛行軌跡ラインＬ１の水平位置（ＸＮ，ＹＮ）に近似する直線であり、飛行軌跡ラインＬ１の平均飛行高（ＺＮ）により表される直線となるように設定する。(3)ラインセンサの焦点距離ｆ等の内部標定パラメタはそのまま変更せずに保持する。
【００３１】
次に、幾何補正部１０は、上述した(1)〜(3)の条件にしたがって求められた飛行軌跡ラインＬ２の位置データ（Ｘ’Ｎ，Ｙ’Ｎ，Ｚ’Ｎ）および姿勢角（ｒ’１１，ｒ’１２，・・・，ｒ’３３）を用いて、もう一方の幾何補正画像とほぼエピポーラ関係を有する幾何補正画像Ｇ３を生成する。すなわち、図３に示す平均地盤高平面Ｈ１に投影した投影画像Ｇ２上の各画素を、飛行軌跡ラインＬ２の位置・姿勢データを用いることにより、次式に基づいて幾何補正画像平面Ｈ２上に投影する。
【数２】
2006033294.tif 000004
【００３２】
なお、上式に基づいて投影された幾何補正画像Ｇ３上の各画素は、幾何補正画像Ｇ３内でリサンプリングされて不規則に分布するとともに、二次元画像Ｇ１内における対応画素と同じ画素値を有する。
【００３３】
立体視部２０は、幾何補正部１０により生成された２種類の幾何補正画像に基づいて立体視画像を生成する。
【００３４】
縦視差補正部３０は、各二次元画像間に生じる縦視差を補正する縦視差補正処理を行う。すなわち、前方視画像、直下視画像および後方視画像の各画像間に生じる縦視差を補正する。具体的に説明すると、画面上に表示された立体視画像上にある任意の点がメスマーク（指標）により選択され決定（設定）されると、このメスマークにより特定された点を基準にして、各二次元画像間に生じる縦視差を補正する。なお、メスマークにより特定されるのは、点に限られず、線や所定の領域であってもよい。すなわち、縦視差補正処理の基準となる位置が特定されればよい。縦視差補正部３０は、縦視差が補正された後の２種類の二次元画像に対応する幾何補正画像に基づいて立体視画像を生成する。すなわち、縦視差が補正された後の２種類の幾何補正画像を左右それぞれの目で見ることで立体的に見える立体視画像を生成する。
【００３５】
縦視差補正部３０は、逆投影部３１（第１の座標決定手段）と、画像マッチング部３３（第２の座標決定手段）と、ステレオ計測部３５（第３の座標決定手段）と、処理終了判断部３７とを有する。
【００３６】
逆投影部３１は、メスマークにより特定された画面上の点に対応する地上座標を確定する。逆投影部３１は、確定した地上座標を、各二次元画像のうち、後述する画像マッチング部３３において行われるマッチング時の基準画像として用いられる二次元画像上に逆投影（バックプロジェクション）する。
【００３７】
画像マッチング部３３は、逆投影部３１により基準画像上に逆投影された座標（第１の座標）に対応する他の二次元画像上の座標（第２の座標）を決定する。すなわち、画像マッチング部３３は、相関座標情報データベース７０から、逆投影された座標に対応する他の二次元画像上の座標を抽出する。
【００３８】
ここで、画像マッチングの手法の一例であるエリアマッチング（面積相関）法を用いて２種類の二次元画像間における相関座標を求める方法について説明する。エリアマッチング法では、各二次元画像の画素同士を比較して対応座標を決定するのではなく、注目している画素の周りを含む面（ウィンドウ）同士で比較することにより対応座標を決定する。具体的に説明すると、面の中にある座標それぞれについて両方の二次元画像中で差をとり、その差の合計が最小となる座標を対応座標とする。このようにして、２種類の二次元画像間の対応座標（相関座標情報）をランダムに決定する。
【００３９】
画像マッチング部３３は、エリアマッチング法を用いて決定したランダムな相関座標情報を、図４に示す格子単位にリサンプリングする。ここで、図４に示すＮは直下視画像であり、Ｆは前方視画像である。図４は、直下視画像Ｎ上の正方格子を基準にして、この正方格子を構成する各格子点が前方視画像Ｆ上ではどの位置に存在するのかを示す図である。エリアマッチング法により決定されたランダムな相関座標情報を、図４に示す格子を基準にしてリサンプリングすることによって、直下視画像Ｎ上の正方格子内にある座標ＮＰの対応座標ＦＰが、前方視画像Ｆ上の変形格子内における双一次内挿等によって瞬時に求めることが可能になる。
【００４０】
このようなエリアマッチングを行うことにより、第１の座標に対応する幾何補正画像上の座標と、第２の座標に対応する幾何補正画像上の座標との間には縦視差がほとんど生じなくなる。すなわち、両幾何補正画像は準エピポーラ関係を有することとなる。
【００４１】
なお、本実施形態における相関座標情報データベース７０には、例えば、上述したエリアマッチングを用いて決定された各二次元画像間における相関座標情報が予め登録されている。したがって、画像マッチング部３３は、メスマークで画面上の位置が特定された場合に、処理に多大な時間を要するマッチング処理をその都度行うことなく、相関座標情報データベース７０から第１の座標に対応する第２の座標を取得することができる。すなわち、処理時間を大幅に削減することができる。
【００４２】
ステレオ計測部３５は、画像マッチング部３３により決定された相関座標情報と飛行軌跡データの位置・姿勢データとに基づいて、例えば、前方交会法等を含む三角測量により地上座標を求める。
【００４３】
処理終了判断部３７は、メスマークで特定された点に対応する地物以外の全ての地物について縦視差補正処理が行われたか否かを判定する。処理終了判断部３７は、全ての地物について縦視差補正処理が行われたと判定した場合に、縦視差補正処理を終了させる。
【００４４】
表示部４０は、立体視画像を画面上に表示させる。すなわち、立体視部２０により生成された立体視画像や、縦視差補正部３０により縦視差が補正された後の立体視画像を画面上に表示させる。具体的に説明すると、表示部４０は、例えば、２種類の画像（立体視画像を構成する左目用の画像と右目用の画像）を、交互に高速に切り換えて一の画面上に表示させる。この場合に、ユーザは、立体視専用メガネをかけて画面を見ることにより、画面上に表示された画像を立体的に見ることができる。ここで、立体視専用メガネの左右それぞれのレンズ部分には、液晶シャッターが設けられている。この液晶シャッターを、２種類の画像の切り換えタイミングに同期させて交互に開閉させることにより、画面上に表示された画像を立体的に見せることが可能となる。
【００４５】
指標表示部５０は、表示部４０により表示された立体視画像上にメスマークを表示させる。
【００４６】
次に、図５ないし図７を参照して本実施形態における画像処理装置１の動作を説明する。まず、本実施形態における画像処理装置１において実行される画像処理の概要について図５を参照して説明する。ここで、画像処理が実行される前に、以下の処理が前処理として行われる。まず、ユーザの操作指示により、立体視の対象となる２種類の二次元画像（例えば、直下視画像と前方視画像）が選択される。次に、選択された直下視画像と前方視画像のうち、いずれか一方の画像が基準画像に設定される。これらの前処理が行われた後に図５に示す画像処理が開始される。
【００４７】
まず、幾何補正部１０は、直下視画像、前方視画像および飛行軌跡データに基づいて、それぞれの画像に対応する幾何補正画像を生成する（ステップＳ１）。
【００４８】
次に、立体視部２０は、ステップＳ１において生成された２種類の幾何補正画像に基づいて立体視画像を生成する。これにより、表示部４０は、立体視部２０により生成された立体視画像を画面上に表示させる（ステップＳ２）。
【００４９】
次に、縦視差補正部３０は、立体視画像上にある任意の点がメスマークで特定されたか否かを判定する（ステップＳ３）。この判定の結果がＮＯである場合（ステップＳ３；ＮＯ）に、処理はステップＳ３に移行する。すなわち、ステップＳ３の判定において、判定の結果がＹＥＳになるまでステップＳ３の判定が繰り返される。
【００５０】
一方、ステップＳ３の判定において、立体視画像上にある任意の点がメスマークで特定されたと判定された場合（ステップＳ３；ＹＥＳ）に、縦視差補正部３０は、直下視画像と前方視画像との間に生じる縦視差を補正するための縦視差補正処理を行う（ステップＳ４）。この縦視差補正処理の詳細については後述する。縦視差補正処理が行われた後に、表示部４０は、縦視差が補正された後の立体視画像を画面上に表示させる（ステップＳ５）。なお、実際の画像処理においては、ステップＳ５で縦視差が補正された後の立体視画像が画面上に表示された後は、再度ステップＳ３以降の処理が繰り返されることとなる。そして、ユーザの操作指示により終了指示が入力された場合に、上述した画像処理が終了する。
【００５１】
次に、図６および図７を参照して上述したステップＳ４（図５参照）において行われる縦視差補正処理について説明する。ここで、図７に示すＮは直下視画像であり、Ｆは前方視画像である。Ｎｇは直下視画像Ｎの幾何補正画像であり、Ｆｇは前方視画像Ｆの幾何補正画像である。Ｍはメスマークであり、Ｐ１は地上座標を示し、Ｐ２は地上座標Ｐ１が直下視画像Ｎ上に逆投影された座標を示し、Ｐ３は直下視画像座標Ｐ２に対応する前方視画像Ｆ上の座標を示す。Ｐ４は直下視画像座標Ｐ２に対応する幾何補正画像Ｎｇ上の座標を示し、Ｐ５は前方視画像座標Ｐ３に対応する幾何補正画像Ｆｇ上の座標を示す。
【００５２】
まず、逆投影部３１は、メスマークＭにより特定された画面上の点に対応する地上座標Ｐ１を確定し（ステップＳ１１）、この地上座標Ｐ１を、基準画像である直下視画像Ｎ上に逆投影する（ステップＳ１２）。これにより、直下視画像Ｎ上の座標Ｐ２が求まる。
【００５３】
次に、画像マッチング部３３は、直下視画像座標Ｐ２に対応する前方視画像Ｆ上の座標を決定するために、相関座標情報データベース７０から直下視画像座標Ｐ２に対応する前方視画像座標Ｐ３を抽出する（ステップＳ１３）。すなわち、エリアマッチングにより直下視画像座標Ｐ２に対応する座標として決定された前方視画像座標Ｐ３が、相関座標情報データベース７０から抽出される。なお、図７に示すように、直下視画像座標Ｐ２に対応する幾何補正画像Ｎｇ上の座標Ｐ４と、前方視画像座標Ｐ３に対応する幾何補正画像Ｆｇ上の座標Ｐ５との間には縦視差がほとんど発生しない。
【００５４】
次に、ステレオ計測部３５は、画像マッチング部３３により対応づけられた直下視画像座標Ｐ２と前方視画像座標Ｐ３、および飛行軌跡データの位置・姿勢データに基づいて、前方交会法を用いて地上座標を求める（ステップＳ１４）。
【００５５】
次に、処理終了判断部３７は、メスマークで特定された点に対応する地物以外の全ての地物について上述した縦視差補正処理が行われたか否かを判定する（ステップＳ１５）。この判定がＮＯである場合（ステップＳ１５；ＮＯ）には、処理をステップＳ１１に移行する。すなわち、全ての地物について縦視差補正処理が行われるまで、上述したステップＳ１１からステップＳ１４までの処理を繰り返す。
【００５６】
一方、ステップＳ１５の判定において、メスマークで特定された点に対応する地物以外の全ての地物について上述した縦視差補正処理が行われたと判定された場合（ステップＳ１５；ＹＥＳ）には、縦視差補正処理を終了する。
【００５７】
上述した第１実施形態における画像処理装置１では、ステレオ計測部３５が、逆投影部３１により基準画像上に逆投影された座標と、画像マッチング部３３により決定された他の二次元画像上の座標とに基づいて、地上座標を求めているため、縦視差がより軽減された立体視画像を生成させることが可能となる。
【００５８】
また、上述した第１実施形態における画像処理装置１では、相関座標情報データベース７０に記憶された相関座標情報に基づいて、逆投影部３１により基準画像上に逆投影された座標に対応する他の二次元画像上の座標を抽出させることができるため、立体視画像上にある任意の位置がメスマークで特定されてから立体視画像が生成されるまでの処理時間を短縮させることが可能となる。
【００５９】
なお、上述した第１実施形態においては、画像マッチングを行う際に、相関座標情報データベース７０を用いて対応点を決定しているが、必ずしも相関座標情報データベース７０を用いる必要はない。すなわち、メスマークで画面上の点が特定されるごとに、基準二次元画像上に逆投影された座標に基づいて画像マッチングを実行し、他の二次元画像上に存在する対応座標を求めることとしてもよい。
【００６０】
[第２実施形態]
次に、本発明の第２実施形態について説明する。まず、図８を参照して第２実施形態における画像処理装置２の機能構成について説明する。図８に示す第２実施形態における画像処理装置２の機能構成が、第１実施形態における画像処理装置１の機能構成と異なる点は、第２実施形態における縦視差補正部３０Ｓの機能構成の一部が、第１実施形態における縦視差補正部３０の機能構成の一部と異なる点、および第２実施形態における画像処理装置２が相関座標情報データベース７０を備えていない点である。したがって、それ以外の機能構成は、第１実施形態における画像処理装置１の機能構成と同様であるため、各構成要素には同一の符合を付しその説明は省略すると共に、以下において第１実施形態との相違点について詳述する。
【００６１】
図８に示すように、第２実施形態における画像処理装置２の縦視差補正部３０Ｓは、低解像度画像生成部３８（低解像度画像生成手段）と、対応領域抽出部３９（対応領域抽出手段）と、画像マッチング部３３Ｓ（相関座標決定手段）と、ステレオ計測部３５Ｓ（立体視画像座標決定手段）とを有する。
【００６２】
低解像度画像生成部３８は、立体視画像の対象となる複数の二次元画像の解像度を落として、各二次元画像に対応する低解像度画像を生成する。すなわち、低解像度画像生成部３８は、例えば、前方視画像、直下視画像および後方視画像の解像度を落として、前方視画像の低解像度画像と、直下視画像の低解像度画像と、後方視画像の低解像度画像とを生成する。
【００６３】
このように、低解像度画像を生成することによって、高解像度画像間で顕著に生じていた縦視差を、低解像度画像間では軽減させることが可能となる。
【００６４】
対応領域抽出部３９は、低解像度画像生成部３８により生成された各低解像度画像間で対応する所定の領域に基づいて、この各所定の領域に対応する対応領域を、各低解像度画像に対応する二次元画像からそれぞれ抽出する。低解像度画像間で対応する所定の領域としては、例えば、メスマークにより特定された画面上の点に対応する各低解像度画像上の点の周辺領域が該当する。したがって、例えば、メスマークにより画面上の点が特定された場合に、対応領域抽出部３９は、直下視画像の低解像度画像上からメスマークに対応する領域を抽出し、この抽出した領域に対応する直下視画像上の領域を、対応領域として直下視画像から抽出する。これと同様にして、前方視画像または後方視画像からも対応領域を抽出する。なお、メスマークにより特定された画面上の点に対応する低解像度画像上の点を求める方法としては、例えば、メスマークにより特定された画面上の点に対応する地上座標を確定し、この確定した地上座標を低解像度画像上に逆投影する方法がある。
【００６５】
このように、解像度を落として縦視差の影響を軽減させた各低解像度画像間で対応する所定の領域（メスマークにより特定された点に対応する各領域）に基づいて、二次元画像上から対応領域を抽出することによって、各二次元画像間で対応する領域を高解像度画像である二次元画像から直接抽出する場合に比して、抽出後の各二次元画像の領域間における縦視差をより軽減させることが可能となる。
【００６６】
画像マッチング部３３Ｓは、対応領域抽出部３９により抽出された各対応領域間において相関関係にある相関座標を決定する。すなわち、画像マッチング部３３は、例えば、エリアマッチング（面積相関）法を用いて２種類の対応領域間における相関座標を求める。このエリアマッチング法については、第１実施形態において説明したエリアマッチング法と同様であるため説明を省略する。
【００６７】
このように、相関座標を決定する際の比較対象を、二次元画像の対応領域のみに限定することができるため、二次元画像の全領域を比較対象とする場合に比して、処理時間を大幅に削減させることができる。
【００６８】
ステレオ計測部３５Ｓは、画像マッチング部３３Ｓにより決定された相関座標に基づいて、立体視画像上の座標を決定する。すなわち、ステレオ計測部３５Ｓは、画像マッチング部３３Ｓにより決定された相関座標情報と飛行軌跡データの位置・姿勢データとに基づいて、例えば、前方交会法等を含む三角測量により地上座標を求める。
【００６９】
このように、縦視差が軽減された後の各対応領域間における相関座標に基づいて、立体視画像上の座標が決定されるため、縦視差がより軽減された立体視画像を生成させることが可能となる。
【００７０】
次に、図９を参照して第２実施形態における画像処理装置２において行われる縦視差補正処理（図５のステップＳ４）について説明する。すなわち、基準画像として設定された直下視画像と、前方視画像との間に生じる縦視差を補正するための縦視差補正処理について説明する。なお、第２実施形態における画像処理装置２において実行される画像処理の概要は、第１実施形態における画像処理装置１において実行される画像処理の概要（図５参照）と同様であるため、その説明を省略する。
【００７１】
まず、低解像度画像生成部３８は、直下視画像および前方視画像の解像度を落として、直下視画像の低解像度画像および前方視画像の低解像度画像を生成する（ステップＳ２１）。
【００７２】
次に、対応領域抽出部３９は、メスマークにより特定された画面上の点に対応する地上座標を確定し、この確定した地上座標を、直下視画像の低解像度画像上および前方視画像の低解像度画像上に逆投影する。そして、対応領域抽出部３９は、直下視画像の低解像度画像上および前方視画像の低解像度画像上から、逆投影した点近傍の領域を抽出し、この抽出した各領域に対応する直下視画像上の領域および前方視画像上の領域を、対応領域として直下視画像および前方視画像から抽出する（ステップＳ２２）。
【００７３】
次に、画像マッチング部３３Ｓは、対応領域抽出部３９により抽出された直下視画像に対応する高解像度画像の対応領域と前方視画像に対応する高解像度画像の対応領域との間における相関座標を、エリアマッチング（面積相関）法を用いて決定する（ステップＳ２３）。
【００７４】
次に、ステレオ計測部３５Ｓは、画像マッチング部３３Ｓにより決定された相関座標、および飛行軌跡データの位置・姿勢データに基づいて、前方交会法を用いて地上座標を求める（ステップＳ２４）。これにより、縦視差補正処理は終了する。
【００７５】
以上のように、上述した各実施形態における画像処理装置１，２では、縦視差補正部３０，３０Ｓにより２種類の二次元画像間に生じる縦視差を補正することができるため、様々な要因により縦視差が生じた複数の二次元画像に基づいて立体視画像を生成する場合であっても、縦視差をより軽減させた立体視画像を生成させることが可能となる。
【００７６】
また、上述した各実施形態における画像処理装置１，２では、縦視差補正部３０，３０Ｓが、指標表示部５０により表示されたメスマークにより特定された位置を基準にして縦視差を補正するため、立体視画像上にある任意の位置がメスマークで特定されるたびに、縦視差が補正された後の立体視画像を画面上に表示させることができる。
【００７７】
以上で説明したように、上述した各実施形態における画像処理装置１，２は、従来実現することが困難であるとされた縦視差補正を可能とした。従来の画像処理技術においては、縦視差が生じた複数の二次元画像に基づいて立体視画像を生成しようとしても、縦視差の影響によりエピポーラ線が一致しないため、二次元画像間でのマッチングがうまく行えなかった。したがって、手作業で縦視差を除去する必要があった。しかしながら、手作業で縦視差を除去する場合であっても、道路縁を連続的に取得することや、等高線を取得することには困難を要していた。その結果、良好な計測精度が得られなかった。
【００７８】
これに対して上述した各実施形態における画像処理装置１，２では、エリアマッチングを用いることにより、基準画像である直下視画像上の座標に対応する前方視画像または後方視画像上の座標（相関座標情報）が、エピポーラ線に関係なく決定されるため、この対応する座標に基づいてステレオ計測することによって、縦視差が補正された後の立体視画像を生成することができる。
【００７９】
なお、上述した各実施形態においては、縦視差補正を行う際に、幾何補正部１０により生成された２種類の幾何補正画像に基づいて縦視差補正を行っているが、縦視差補正を行う対象となる二次元画像は、幾何補正部１０により生成された２種類の幾何補正画像に限られない。例えば、図１０に示す二次元画像と、他の二次元画像とに基づいて、図１１に示す幾何補正画像を生成し、この図１１に示す幾何補正画像と、他の二次元画像とに基づいて上述した縦視差補正処理を行うこととしてもよい。
【００８０】
図１０は、２種類の二次元画像（例えば、前方視画像および直下視画像）に基づいて立体視画像を生成する場合に、何れか一方の二次元画像における画素の配列状態を示すグラフである。また、図１１は、図１０に示す二次元画像を幾何補正して後の幾何補正画像における画素の配列状態を示すグラフである。以下の説明においては、説明の便宜のため、図１０に示すグラフを、前方視画像における画素の配列状態を示すグラフであることとし、図１１に示すグラフを、前方視画像の幾何補正画像における画素の配列状態を示すグラフであることとする。図１０および図１１に示すグラフのＸ軸はラインセンサのライン番号を示し、Ｙ軸は画素番号を示す。
【００８１】
ここで、図１０に示す前方視画像が、図１１に示す幾何補正画像に変換される手順（(1)〜(3)）について説明する。(1) 前方視画像と直下視画像間における相関座標をライン番号ごとに決定する。(2) (1)で決定された相関座標間の縦視差をライン番号ごとに算出する。(3) (2)で算出された縦視差に基づいて、当該縦視差に対応するライン番号の画素列を縦視差分だけＹ方向にシフトする。上述した手順により変換された幾何補正画像（図１１参照）は、縦視差の発生要因となる誤差を多く含む位置・姿勢データを用いることなく生成される。したがって、このような幾何補正画像を用いて、上述した実施形態における縦視差補正処理を行うことにより、縦視差をより一層軽減させた立体視画像を生成することができる。
【００８２】
また、上述した実施形態においては、表示部４０が、２種類の画像を交互に高速に切り換えて一の画面上に表示させることによって、立体視画像を立体的に見せているが、立体視画像を立体的に見せる手段はこれに限られない。例えば、立体視画像を表示する画面部分に液晶シャッターを設け、画面上に表示させる２種類の画像を、それぞれ垂直および水平の偏光面を有する画像に変換して交互に画面上に表示させることとしてもよい。この場合に、ユーザは、偏光メガネをかけて画面を見ることにより、画面上に表示された画像を立体的に見ることができる。また、例えば、左目専用の表示画面と右目専用の表示画面とを有するゴーグルタイプの表示装置において、立体視画像を構成する左目用の画像と右目用の画像とをそれぞれの表示画面に表示することで立体的に見せることとしてもよい。
【図面の簡単な説明】
【００８３】
【図１】建造物上のある点を撮影する瞬間における各ラインセンサの位置を説明するための図である。
【図２】第１実施形態における画像処理装置の機能構成を例示する図である。
【図３】二次元画像と飛行軌跡データとに基づいて幾何補正画像が生成される過程を模式した図である。
【図４】エリアマッチングを用いて二次元画像間の対応点を求める方法について説明するための図である。
【図５】画像処理における概要動作を示すフローチャートである。
【図６】第１実施形態における縦視差補正処理における動作を示すフローチャートである。
【図７】第１実施形態における縦視差補正処理の過程を模式した図である。
【図８】第２実施形態における画像処理装置の機能構成を例示する図である。
【図９】第２実施形態における縦視差補正処理における動作を示すフローチャートである。
【図１０】前方視画像における画素の配列状態を示す図である。
【図１１】前方視画像の幾何補正画像における画素の配列状態を示す図である。
【図１２】縦視差が発生する仕組みについて説明するための図である。
【図１３】縦視差が発生する仕組みについて説明するための図である。
【符号の説明】
【００８４】
１，２・・・画像処理装置、１０・・・幾何補正部、２０・・・立体視部、３０，３０Ｓ・・・縦視差補正部、３１・・・逆投影部、３３，３３Ｓ・・・画像マッチング部、３５，３５Ｓ・・・ステレオ計測部、３７・・・処理終了判断部、３８・・・低解像度画像生成部、３９・・・対応領域抽出部、４０・・・表示部、５０・・・指標表示部、６０・・・飛行軌跡データベース、７０・・・相関座標情報データベース。
【図１】
2006033294.tif 000005
【図２】
2006033294.tif 000006
【図３】
2006033294.tif 000007
【図４】
2006033294.tif 000008
【図５】
2006033294.tif 000009
【図６】
2006033294.tif 000010
【図７】
2006033294.tif 000011
【図８】
2006033294.tif 000012
【図９】
2006033294.tif 000013
【図１０】
2006033294.tif 000014
【図１１】
2006033294.tif 000015
【図１２】
2006033294.tif 000016
【図１３】
2006033294.tif 000017