(57)【要約】【課題】  地図データを参照することなく片方の写真にしか映っていない壁面を含めて三次元座標を算出する。【解決手段】  ステレオ画像とそのステレオ画像の一方の画像の画素に他方の画像の画素が対応する既対応画素であるか、一方の画像の画素に対応する他方の画像の画素が存在しない未対応画素であるかを示す情報に基づいて、その未対応画素とその未対応画素の鉛直方向に位置する既対応画素との組を示す位置関係情報を生成する手段と、その既対応画素に対応する三次元座標と、その位置関係情報とに基づいて、その未対応画素に対応する三次元座標を算出する手段と、を含む。  情報処理装置。【選択図】      図１
2015232785.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ画像を成す２枚の画像と、前記２枚の画像の画素のそれぞれについて、一方の前記画像の画素に他方の前記画像の画素が対応する既対応画素であるか、一方の前記画像の画素に対応する他方の前記画像の画素が存在しない未対応画素であるかを示す対応付情報とに基づいて、前記未対応画素の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線の前記画像上における方向である、鉛直方向に位置する前記既対応画素を抽出し、前記未対応画素と抽出された前記既対応画素との組を示す位置関係情報を生成する位置関係算出手段と、
ステレオマッチング処理によって前記２枚の画像から得られる前記既対応画素に対応する三次元座標と、前記位置関係情報とに基づいて、前記未対応画素に対応する三次元座標を算出する座標算出手段と、を含む
情報処理装置。
【請求項２】
前記位置関係算出手段は、前記未対応画素の前記鉛直方向の、前記撮像手段へ向かう側である、上方に位置する前記既対応画素を、上方既対応画素として抽出する、
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記位置関係算出手段は、前記画像上の前記鉛直方向の複数の直線に対応する消失点を算出し、前記未対応画素を始点として前記消失点とは反対方向に伸びる半直線上において、前記始点から最も近い前記既対応画素を、前記上方既対応画素として抽出する、
ことを特徴とする請求項２記載の情報処理装置。
【請求項４】
前記位置関係算出手段は、前記未対応画素を始点として前記消失点を終点とする線分上において、前記始点から最も近い前記既対応画素を、前記未対応画素の前記鉛直方向の、前記被写体へ向かう側である、下方に位置する前記既対応画素である、下方既対応画素として抽出する、
ことを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記座標算出手段は、前記未対応画素が建物の壁面に対応する画素であるか地面に対応する画素であるかを判定し、前記判定した結果に基づいて前記未対応画素に対応する三次元座標を算出する
ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記座標算出手段は、前記上方既対応画素と前記下方既対応画素とのそれぞれに対応する、前記三次元座標の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線と平行な、座標軸の値を比較し、前記値の差が閾値以上の場合には前記未対応画素を前記壁面に対応する画素であると判定し、前記値の差が閾値より小さい場合には前記未対応画素を前記地面に対応する画素であると判定する
ことを特徴とする請求項５記載の情報処理装置。
【請求項７】
前記座標算出手段は、前記壁面に対応する画素であると判定された前記未対応画素に対応する前記軸の値が、前記下方既対応画素に対応する前記軸の値より小さい場合、前記下方既対応画素に対応する前記軸の値を、前記壁面に対応する画素であると判定された前記未対応画素に対応する前記軸の値に用いて、前記未対応画素に対応する三次元座標を算出する
ことを特徴とする請求項５または６記載の情報処理装置。
【請求項８】
前記座標算出手段は、前記未対応画素が前記地面に対応する画素であると判定された場合、前記上方既対応画素に対応する三次元座標と前記下方既対応画素に対応する三次元座標とに基づいて、線形補間によって、前記未対応画素に対応する三次元座標を算出する
ことを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
コンピュータが、
ステレオ画像を成す２枚の画像と、前記２枚の画像の画素のそれぞれについて、一方の前記画像の画素に他方の前記画像の画素が対応する既対応画素であるか、一方の前記画像の画素に対応する他方の前記画像の画素が存在しない未対応画素であるかを示す対応付情報とに基づいて、前記未対応画素の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線の前記画像上における方向である、鉛直方向に位置する前記既対応画素を抽出し、
前記未対応画素と抽出された前記既対応画素との組を示す位置関係情報を生成し、
ステレオマッチング処理によって前記２枚の画像から得られる前記既対応画素に対応する三次元座標と、前記位置関係情報とに基づいて、前記未対応画素に対応する三次元座標を算出する
三次元座標算出方法。
【請求項１０】
ステレオ画像を成す２枚の画像と、前記２枚の画像の画素のそれぞれについて、一方の前記画像の画素に他方の前記画像の画素が対応する既対応画素であるか、一方の前記画像の画素に対応する他方の前記画像の画素が存在しない未対応画素であるかを示す対応付情報とに基づいて、前記未対応画素の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線の前記画像上における方向である、鉛直方向に位置する前記既対応画素を抽出し、
前記未対応画素と抽出された前記既対応画素との組を示す位置関係情報を生成し、
ステレオマッチング処理によって前記２枚の画像から得られる前記既対応画素に対応する三次元座標と、前記位置関係情報とに基づいて、前記未対応画素に対応する三次元座標を算出する、処理をコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元座標を算出する情報処理装置、三次元座標算出方法およびプログラムに関し、特にステレオ画像から被写体の三次元座標を算出する情報処理装置、三次元座標算出方法およびプログラムに関する。
【背景技術】
【０００２】
航空写真測量において、ステレオマッチングのような画像解析技術を利用して、航空機で撮影された航空写真からその被写体の三次元形状を生成することができる。
【０００３】
例えば、特許文献１は、航空写真から壁面も含めた三次元ポリゴンモデルを生成する３次元モデル作成装置を開示する。第１に、その３次元モデル作成装置は、撮影位置の異なる２枚の航空写真からステレオマッチングによって画像間の対応付けを行って三次元座標を算出する。第２に、その３次元モデル作成装置は、算出されたその三次元座標と建物の形状を平面ポリゴンで表している地図データとを利用し、建物の三次元ポリゴンモデルを生成する。第３に、その３次元モデル作成装置は、生成されたその三次元ポリゴンモデルの壁面領域をその航空写真へ逆投影することで、その航空写真上の壁面領域を抽出する。第４に、その３次元モデル作成装置は、その三次元ポリゴンモデルの壁面領域にその航空写真上の壁面領域を貼り付けることにより、壁面も含めた三次元ポリゴンモデルを生成する。このような方法により、その３次元モデル作成装置は、片方の写真にしか映っていないことにより通常では三次元座標を算出できない壁面を含む、三次元ポリゴンモデルを生成する。
【０００４】
また、特許文献２は、テンプレートマッチングによる対応点探索を行うステレオマッチング手法を用いる、画像処理装置を開示する。第１に、その画像処理装置は、第１の画像および第２の画像の各々を複数のブロック画像に分割する。第２に、その画像処理装置は、境界画素をその第１の画像およびその第２の画像においてそれぞれ指定する。その境界画素は、被写体の影響によってその第１の画像およびその第２の画像のいずれかにおいて写っていない領域である隠れ領域と、いずれにも写っている領域である非隠れ領域との、境界に対応する画素である。第３に、その画像処理装置は、その第１の画像およびその第２の画像における境界画素に基づいて、相関計算範囲を決定する。第４に、その画像処理装置は、その第１の画像における複数のブロック画像とその第２の画像における複数のブロック画像との間の組み合わせごとに、決定されたその相関計算範囲に従って画素値の相関係数を算出する。第５に、その画像処理装置は、算出されたその組み合わせごとの相関係数の値を用いて、その組み合わせに関し、その第１の画像におけるブロック画像からその第２の画像におけるブロック画像への相関係数の大きい順の第１の、順位づけを行う。かつ、その画像処理装置は、その組み合わせに関し、その第２の画像におけるブロック画像からその第１の画像におけるブロック画像への相関係数の大きい順の、第２の順位づけを行う。第６に、その画像処理装置は、その組み合わせごとに、その第１の順位とその第２の順位の和を算出する。第７に、その画像処理装置は、各組み合わせ間の複数のパスを生成する。第８に、その画像処理装置は、それらの複数のパスを接続することによって表現されるその組み合わせのグループごとに、算出されたその和を加算し、その加算の結果が最小となるそのグループを、動的計画法を用いて求める。このような方法により、その画像処理装置は、隠れ領域が存在する場合でも、精度の高いマッチングを行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２５１０３５号公報
【特許文献２】特開２０１１−１６５１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した先行技術文献に記載された技術においては、以下のような問題点がある。
【０００７】
特許文献１に開示された技術においては、地図データがない場合や、地図データの作成時期と航空写真の撮影時期が異なる場合、被写体の壁面も含めた三次元ポリゴンモデルを生成することは、できない。
【０００８】
その理由は、地図データがない場合には、その３次元モデル作成装置は、建物の三次元ポリゴンモデルを生成できない。そのため、その３次元モデル作成装置は、建物の壁面領域をその航空写真へ逆投影することができない。従って、その３次元モデル作成装置は、航空写真上の壁面領域を抽出することができないからである。
【０００９】
さらに、地図データの作成時期と航空写真の撮影時期が異なる場合には、経年変化の発生により地図データと航空写真の内容が一致しない場合がある。このような場合、その３次元モデル作成装置は、航空写真上の壁面領域を正しく抽出することができないからである。
【００１０】
また、特許文献２に開示された技術においては、隠れ領域の三次元形状を生成することは、できない。
【００１１】
その理由は、その画像処理装置は、隠れ領域と非隠れ領域との境界を示すことができるものの、隠れ領域の三次元形状を生成する構成を含まないからである。
【００１２】
即ち、２枚の航空写真から被写体の三次元形状を生成する際に、地図データを参照することなく、１枚のその航空写真にしか映っていない壁面を含めて、被写体の三次元座標を算出することが求められる。
【００１３】
本発明の目的は、上述した問題点を解決できる情報処理装置、三次元座標算出方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明の一様態における情報処理装置は、ステレオ画像を成す２枚の画像と、前記２枚の画像の画素のそれぞれについて、一方の前記画像の画素に他方の前記画像の画素が対応する既対応画素であるか、一方の前記画像の画素に対応する他方の前記画像の画素が存在しない未対応画素であるかを示す対応付情報とに基づいて、前記未対応画素の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線の前記画像上における方向である、鉛直方向に位置する前記既対応画素を抽出し、前記未対応画素と抽出された前記既対応画素との組を示す位置関係情報を生成する位置関係算出手段と、ステレオマッチング処理によって前記２枚の画像から得られる前記既対応画素に対応する三次元座標と、前記位置関係情報とに基づいて、前記未対応画素に対応する三次元座標を算出する座標算出手段と、を含む。
【００１５】
本発明の一様態における三次元座標算出方法は、コンピュータが、ステレオ画像を成す２枚の画像と、前記２枚の画像の画素のそれぞれについて、一方の前記画像の画素に他方の前記画像の画素が対応する既対応画素であるか、一方の前記画像の画素に対応する他方の前記画像の画素が存在しない未対応画素であるかを示す対応付情報とに基づいて、前記未対応画素の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線の前記画像上における方向である、鉛直方向に位置する前記既対応画素を抽出し、前記未対応画素と抽出された前記既対応画素との組を示す位置関係情報を生成し、ステレオマッチング処理によって前記２枚の画像から得られる前記既対応画素に対応する三次元座標と、前記位置関係情報とに基づいて、前記未対応画素に対応する三次元座標を算出する。
【００１６】
本発明の一様態におけるプログラムは、ステレオ画像を成す２枚の画像と、前記２枚の画像の画素のそれぞれについて、一方の前記画像の画素に他方の前記画像の画素が対応する既対応画素であるか、一方の前記画像の画素に対応する他方の前記画像の画素が存在しない未対応画素であるかを示す対応付情報とに基づいて、前記未対応画素の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線の前記画像上における方向である、鉛直方向に位置する前記既対応画素を抽出し、前記未対応画素と抽出された前記既対応画素との組を示す位置関係情報を生成し、ステレオマッチング処理によって前記２枚の画像から得られる前記既対応画素に対応する三次元座標と、前記位置関係情報とに基づいて、前記未対応画素に対応する三次元座標を算出する、処理をコンピュータに実行させる。
【発明の効果】
【００１７】
本発明は、地図データを参照することなく片方の写真にしか映っていない壁面を含めて三次元座標を算出することが可能になるという効果がある。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の第１の実施形態に係る三次元座標算出装置の構成を示すブロック図である。
【図２】図２は、第１の実施形態における対応付情報の一例を示す図である。
【図３】図３は、第１の実施形態における位置関係情報の一例を示す図である。
【図４】図４は、第１の実施形態に係る三次元座標算出装置を実現するコンピュータのハードウェア構成を示すブロック図である。
【図５】図５は、第１の実施形態における画像の一例を示す図である。
【図６】図６は、第１の実施形態における三次元座標算出装置の動作を示すフローチャートである。
【図７】図７は、第１の実施形態における消失点の一例を示す図である。
【図８】図８は、第１の実施形態における未対応画素とその未対応画素に対応する上方既対応画素との一例を示す図である。
【図９】図９は、第１の実施形態における未対応画素に対応する三次元座標の算出方法の一例を説明する図である。
【図１０】図１０は、本発明の第２の実施形態に係る三次元座標算出装置の構成を示すブロック図である。
【図１１】図１１は、第２の実施形態における位置関係情報の一例を示す図である。
【図１２】図１２は、第２の実施形態における画像の一例を示す図である。
【図１３】図１３は、第２の実施形態における三次元座標算出装置の動作を示すフローチャートである。
【図１４】図１４は、第２の実施形態における未対応画素と下方既対応画素との一例を示す図である。
【図１５】図１５は、第２の実施形態における未対応画素と下方既対応画素と上方既対応画素との一例を示す図である。
【図１６】図１６は、本発明の第３の実施形態に係る三次元座標算出装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
本発明を実施するための形態について図面を参照して詳細に説明する。尚、各図面および明細書記載の各実施形態において、同様の構成要素には同様の符号を付与し、適宜説明を省略する。
【００２０】
＜＜＜第１の実施形態＞＞＞
図１は、本発明の第１の実施形態に係る三次元座標算出装置（情報処理装置とも呼ばれる）１００の構成を示すブロック図である。
【００２１】
図１に示すように、本実施形態に係る三次元座標算出装置１００は、ステレオ処理部１１０と、位置関係算出部１２０と、座標算出部１３０とを含む。尚、図１に示す各構成要素は、ハードウェア単位の回路でも、コンピュータ装置の機能単位に分割された構成要素でもよい。ここでは、図１に示す構成要素は、コンピュータ装置の機能単位に分割された構成要素として説明する。
【００２２】
＝＝＝ステレオ処理部１１０＝＝＝
ステレオ処理部１１０は、ステレオ画像を成す２枚の画像８００に対し、ステレオマッチング処理を実行し、対応付情報８１０を生成し、既対応画素三次元座標８２０を算出する。ここで、画像８００は、例えば、航空写真の画像である。
【００２３】
その対応付情報８１０は、その２枚の画像８００の画素のそれぞれについて、既対応画素であるか未対応画素であるかを示す、情報である。ここで、既対応画素は、一方の画像８００の画素に他方の画像８００の画素が対応する画素である。未対応画素は、一方の画像８００の画素に対応する、他方の画像８００の画素が存在しない画素である。
【００２４】
その既対応画素三次元座標８２０は、その既対応画素のそれぞれに対応する三次元座標である。
【００２５】
図２は、対応付情報８１０の一例を示す図である。図２に示すように、対応付情報８１０は、画素座標と対応フラグとを含む複数のレコードからなる。
【００２６】
その画素座標は、例えば、画像８００をｘｙ平面に写像した場合の、各画素のｘｙ座標を「ｘ、ｙ」で示す。その対応フラグは、「１」の場合にその画素座標の画素が既対応画素であること、「０」の場合にその画素座標の画素が未対応画素であることを示す。
【００２７】
＝＝＝位置関係算出部１２０＝＝＝
位置関係算出部１２０は、その２枚の画像８００とその２枚の画像８００に対応する対応付情報８１０とに基づいて、未対応画素の鉛直方向の上方に位置する既対応画素である、上方既対応画素を抽出する。次に、位置関係算出部１２０は、その未対応画素とその上方既対応画素との組を示す位置関係情報８３１を生成する。ここで、その鉛直方向は、画像８００を撮像した撮像手段と画像８００の被写体とを結ぶ直線の、画像８００上における方向である。その鉛直方向の上方とは、その鉛直方向の、その撮像手段へ向かう側である
例えば、画像８００が上空から撮影した航空写真の画像であれば、その鉛直方向は、航空機と地上とを結ぶ直線の、画像８００上における方向である。
【００２８】
この場合、位置関係算出部１２０は、その未対応画素は建物の壁面に対応し、その壁面は鉛直な平面であるとの仮定に基づいて、その上方既対応画素を抽出する。
【００２９】
具体的には、位置関係算出部１２０は、その未対応画素に対応するその壁面の部分の鉛直方向の上方に位置する、屋上面の部分に対応する既対応画素を、その上方既対応画素として、抽出する。
【００３０】
図３は、位置関係情報８３１の一例を示す図である。図３に示すように、位置関係情報８３１は、未対応画素座標と上方既対応画素座標とを組とする複数のレコードからなる。
【００３１】
その未対応画素座標は、未対応画素の、上述のｘｙ平面上の、画素座標であり、その上方既対応画素座標は、その未対応画素に対応する上方既対応情報の画素座標である。
【００３２】
＝＝＝座標算出部１３０＝＝＝
座標算出部１３０は、既対応画素三次元座標８２０と、位置関係情報８３１とに基づいて、その未対応画素に対応する三次元座標である未対応画素三次元座標８４０を算出し、その未対応画素三次元座標８４０を出力する。また、座標算出部１３０は、未対応画素三次元座標８４０と既対応画素三次元座標８２０とを合わせて出力してもよい。
【００３３】
以上が、三次元座標算出装置１００の機能単位の各構成要素についての説明である。
【００３４】
次に、三次元座標算出装置１００のハードウェア単位の構成要素について説明する。
【００３５】
図４は、本実施形態における三次元座標算出装置１００を実現するコンピュータ７００のハードウェア構成を示す図である。
【００３６】
図４に示すように、コンピュータ７００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７０１、記憶部７０２、記憶装置７０３、入力部７０４、出力部７０５および通信部７０６を含む。さらに、コンピュータ７００は、外部から供給される記録媒体（または記憶媒体）７０７を含む。例えば、記録媒体７０７は、情報を非一時的に記憶する不揮発性記録媒体（非一時的記録媒体）である。また、記録媒体７０７は、情報を信号として保持する、一時的記録媒体であってもよい。
【００３７】
ＣＰＵ７０１は、オペレーティングシステム（不図示）を動作させて、コンピュータ７００の全体の動作を制御する。例えば、ＣＰＵ７０１は、記憶装置７０３に装着された記録媒体７０７から、そのプログラムやデータを読み込み、読み込んだそのプログラムやそのデータを記憶部７０２に書き込む。ここで、そのプログラムは、例えば、後述の図６に示すフローチャートの動作をコンピュータ７００に実行させるためのプログラムである。
【００３８】
そして、ＣＰＵ７０１は、その読み込んだプログラムに従って、またその読み込んだデータに基づいて、図１に示すステレオ処理部１１０、位置関係算出部１２０および座標算出部１３０として各種の処理を実行する。
【００３９】
尚、ＣＰＵ７０１は、通信網（不図示）に接続される外部コンピュータ（不図示）から、記憶部７０２にそのプログラムやそのデータをダウンロードしてもよい。
【００４０】
記憶部７０２は、そのプログラムやそのデータを記憶する。記憶部７０２は、画像８００、対応付情報８１０、既対応画素三次元座標８２０、位置関係情報８３１および未対応画素三次元座標８４０を記憶してよい。
【００４１】
記憶装置７０３は、例えば、光ディスクや、フレキシブルディスク、磁気光ディスク、外付けハードディスク半導体メモリなどであって、記録媒体７０７を含む。記憶装置７０３（記録媒体７０７）は、そのプログラムをコンピュータ読み取り可能に記憶する。また、記憶装置７０３は、そのデータを記憶してもよい。記憶装置７０３は、画像８００、対応付情報８１０、既対応画素三次元座標８２０、位置関係情報８３１および未対応画素三次元座標８４０を記憶してよい。
【００４２】
入力部７０４は、オペレータによる操作の入力や外部からの情報の入力を受け付ける。入力操作に用いられるデバイスは、例えば、マウスや、キーボード、内蔵のキーボタンおよびタッチパネルなどである。
【００４３】
出力部７０５は、例えばディスプレイで実現される。出力部７０５は、例えばＧＵＩ（ＧＲＡＰＨＩＣＡＬ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）によるオペレータへの入力要求や、オペレータに対する出力提示などのために用いられる。
【００４４】
通信部７０６は、図示しない外部装置とのインタフェースを実現する。通信部７０６は、ステレオ処理部１１０および座標算出部１３０の一部として含まれてよい。
【００４５】
以上説明したように、図１に示す三次元座標算出装置１００の機能単位のブロックは、図４に示すハードウェア構成のコンピュータ７００によって実現される。但し、コンピュータ７００が備える各部の実現手段は、上記に限定されない。すなわち、コンピュータ７００は、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。
【００４６】
尚、上述のプログラムのコードを記録した記録媒体７０７が、コンピュータ７００に供給される場合、ＣＰＵ７０１は、記録媒体７０７に格納されたそのプログラムのコードを読み出して実行してもよい。或いは、ＣＰＵ７０１は、記録媒体７０７に格納されたそのプログラムのコードを、記憶部７０２、記憶装置７０３またはその両方に格納してもよい。すなわち、本実施形態は、コンピュータ７００（ＣＰＵ７０１）が実行するそのプログラム（ソフトウェア）を、一時的にまたは非一時的に、記憶する記録媒体７０７の実施形態を含む。尚、情報を非一時的に記憶する記憶媒体は、不揮発性記憶媒体とも呼ばれる。
【００４７】
以上が、本実施形態における三次元座標算出装置１００を実現するコンピュータ７００の、ハードウェア単位の各構成要素についての説明である。
【００４８】
次に、本実施形態の動作について、図面を参照して詳細に説明する。
【００４９】
図５は、本実施形態の動作における処理対象である、画像８００の一例を示す図である。
図５に示すように、その画像８００は、２台のカメラ５１０（撮像手段とも呼ばれる）のそれぞれが、建物５２０を含む地面５３０を撮影した２枚の航空写真である。図５の右側の画像８００は、少なくとも、屋上面部分５２１および壁面部分５２２部分の既対応画素と、被隠蔽壁面部分５２３の未対応画素とを含む。
【００５０】
例えば、画像８００は、図４に示す記憶部７０２或いは記憶装置７０３に、予め記憶されていてよい。また、三次元座標算出装置１００は、図４に示す入力部７０４を介してオペレータが入力した、画像８００を取得してもよい。また、三次元座標算出装置１００は、図４に示す通信部７０６を介して図示しない機器から、画像８００を受信してもよい。また、三次元座標算出装置１００は、図４に示す記憶装置７０３を介して、記録媒体７０７に記録された画像８００を取得してもよい。
【００５１】
図６は、本実施形態の動作を示すフローチャートである。尚、このフローチャートによる処理は、前述したＣＰＵ７０１によるプログラム制御に基づいて、実行されてよい。また、処理のステップ名については、Ｓ６０１のように、記号で記載する。
【００５２】
例えば、三次元座標算出装置１００は、図４に示す入力部７０４を介して、オペレータから処理開始の指示を入力されたことを契機に、図６に示すフローチャートの処理の実行を開始する。また、三次元座標算出装置１００は、図４に示す通信部７０６を介して、図示しない外部機器から処理要求を受信したことを契機に、図６に示すフローチャートの処理の実行を開始してもよい。
【００５３】
ステレオ処理部１１０は、入力された画像８００に対し、ステレオマッチング処理を実行することで、対応付情報８１０生成し、既対応画素三次元座標８２０を算出する（ステップＳ１１）。ステレオマッチング手法および三次元座標の算出手法は、特許文献１や特許文献２に開示されるように周知の技術であるため、詳細な説明は省略する。尚、それらの手法は、特許文献１や特許文献２に開示された技術に限定されるものではなく、任意の手法であってよい。例えば、その手法は、テンプレートマッチングにより２枚の画像間の対応付けを行い、カメラの位置と姿勢から各画素に対応する三次元座標を算出する手法であってよい。
【００５４】
ステレオマッチング処理において、２枚の画像８００の両方に存在する被写体の特定の部分に対応する画素は、対応付けされ、既対応画素であると判定される。それらの画素は、例えば、２枚の両方の写真に写っている建物５２０の屋上面部分５２１および壁面部分５２２に対応する画素である。
【００５５】
一方、片方の写真にしか写っていない被隠蔽壁面部分５２３に対応する画素は、対応付けされる画素がなく、未対応画素であると判定される。即ち、その画素は、２枚の画像８００のいずれか一方にしか存在しない、被写体のある特定の部分に対応する、画素である。
【００５６】
次に、位置関係算出部１２０は、その２枚の画像８００とその２枚の画像８００に対応する対応付情報８１０とに基づいて、全ての未対応画素のそれぞれの鉛直方向の上方に位置する、上方既対応画素を抽出する（ステップＳ１２）。
【００５７】
次に、その上方既対応画素の抽出方法を、具体的に説明する。
【００５８】
まず、位置関係算出部１２０は、三次元空間で平行な直線群を二次元空間に中心投影すると、投影された平面中のある１点（消失点）で交わるという原理に基づいて、鉛直方向の直線群に対する消失点を算出する。図７は、算出される消失点の一例を示す図である。図７に示すように、消失点５４９は、建物５２０の鉛直方向の辺を延長した直線が交わる点である。
【００５９】
具体的には、消失点５４９は、以下の手順で決定される。第１に、位置関係算出部１２０が、オペレータによる建物５２０の外形（辺）の指定を受け付ける。第２に、位置関係算出部１２０が、その外形に基づいて、鉛直方向の直線群を抽出する。第３に、位置関係算出部１２０が、その抽出した直線群が最も多く交差する点を消失点５４９であると決定する。或いは、消失点５４９は、以下の手順で決定されてもよい。第１に、位置関係算出部１２０が、任意の直線抽出手法により建物５２０の全ての外形直線を自動抽出する。第２に、位置関係算出部１２０が、最も多くのその外形直線が交差する点を、消失点５４９であると決定する。
【００６０】
次に、位置関係算出部１２０は、図８に示す未対応画素５４１を始点として消失点５４９とは反対方向に伸びる半直線５４６上において、その始点から最も近い既対応画素を、上方既対応画素５４２として抽出する。図８は、未対応画素５４１とその未対応画素５４１に対応する上方既対応画素５４２との一例を示す図である。
【００６１】
換言すると、位置関係算出部１２０は、鉛直方向の直線が画像８００上の消失点５４９を通る直線上に投影されることに基づいて、消失点５４９を通る直線上の半直線５４６上を探索することで、上方既対応画素５４２を検出（抽出）する。
【００６２】
図６に戻って、次に、位置関係算出部１２０は、その未対応画素５４１とその抽出した上方既対応画素５４２との組を示す位置関係情報８３１を生成する（ステップＳ１３）。
【００６３】
座標算出部１３０は、既対応画素三次元座標８２０と、位置関係情報８３１とに基づいて、未対応画素５４１に対応する三次元座標である未対応画素三次元座標８４０を算出し、その未対応画素三次元座標８４０を出力する（ステップＳ１４）。ここで、座標算出部１３０は、各画像８００の全ての未対応画素５４１のそれぞれに対応する三次元座標である未対応画素三次元座標８４０を算出する。
【００６４】
図９は、例えば図８に示す未対応画素５４１（図９の点Ｃ）に対応する第１の被写体部分（図９の点Ｅ）の三次元座標を算出する、算出方法の一例を説明する図である。図９は、第１の被写体部分（図９の点Ｅ）の三次元座標を、図８に示す上方既対応画素５４２（図９の点Ｂ）に対応する第２の被写体部分（図９の点Ｄ）の三次元座標を用いて算出する例を示す。前提として、図９のカメラ５１０の向きは鉛直下向きであるものとし、画像８００の中心と消失点５４９とが一致するものとする。この場合、座標算出部１３０は、式１を用いて第１の被写体部分（点Ｅ）の三次元座標を算出する。
2015232785.tif 000003
・・・（式１）
ここで、カメラ５１０の焦点距離がｆ、未対応画素５４１（点Ｃ）に対応する第１の被写体部分（点Ｅ）の三次元座標が（Ｘ、Ｙ、Ｚ）、上方既対応画素５４２に対応する第２の被写体部分（点Ｄ）の三次元座標が（Ｘ１、Ｙ１、Ｚ１）である。また、カメラ５１０（点Ａ）の三次元座標を（Ｘ０、Ｙ０、Ｚ０）、未対応画素５４１（点Ｃ）の画像座標を（ｘ、ｙ）、上方既対応画素５４２の画像座標を（ｘ１、ｙ１）とし、Ｄ、ｄおよびｄ１を以下のとおりにおく。
2015232785.tif 000004
【００６５】
尚、カメラ５１０の向きが鉛直下向きではなく、画像８００の中心と消失点５４９が一致しない場合、カメラ５１０の向きに応じた画像変換を実行し、カメラ５１０の向きが鉛直下向きで画像８００中心と消失点５４９が一致する画像を作成することができる。こうすることで、カメラ５１０の向きが鉛直下向きではない画像８００についても、式１を利用して未対応画素５４１に対応する未対応画素三次元座標８４０を算出することができる。
【００６６】
例えば、座標算出部１３０は、未対応画素三次元座標８４０を、図７に示す出力部７０５を介して出力する。また、座標算出部１３０は、図７に示す通信部７０６を介して、図示しない機器に未対応画素三次元座標８４０を送信してもよい。また、座標算出部１３０は、図７に示す記憶装置７０３を介して、記録媒体７０７に未対応画素三次元座標８４０を記録してもよい。
【００６７】
尚、座標算出部１３０は、未対応画素三次元座標８４０だけを出力してよいし、未対応画素三次元座標８４０と既対応画素三次元座標８２０とを統合して出力してもよい。
【００６８】
また、座標算出部１３０は、全ての未対応画素について未対応画素三次元座標８４０を算出し、未対応画素三次元座標８４０と既対応画素三次元座標８２０とを統合して、建物５２０の壁面を含めた被写体の三次元座標を得ることができる。こうして得た三次元座標に基づいて、座標算出部１３０は、被写体の三次元形状示す画像を出力してもよい。
【００６９】
上述した本実施形態における効果は、地図データを参照することなく片方の写真にしか映っていない建物５２０の壁面を含めて三次元座標を算出することが可能になる点である。
【００７０】
その理由は、以下のような構成を含むからである。即ち、第１に、ステレオ処理部１１０が、画像８００にステレオマッチング処理を実行し、対応付情報８１０を生成し、既対応画素三次元座標８２０を算出する。第２に、位置関係算出部１２０が、画像８００と対応付情報８１０とに基づいて、未対応画素５４１と上方既対応画素５４２との組を示す位置関係情報８３１を生成する。第３に、座標算出部１３０が、既対応画素三次元座標８２０と位置関係情報８３１とに基づいて、未対応画素三次元座標８４０を算出する。
【００７１】
＜＜＜第２の実施形態＞＞＞
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
【００７２】
第２の実施の形態は、図５に示す被隠蔽壁面部分５２３と同様に片方の写真にしか写らない、建物５２０による地面５３０などの隠蔽部分（オクルージョン）についても、三次元座標を算出するものである。
【００７３】
図１０は、本発明の第２の実施形態に係る三次元座標算出装置２００の構成を示すブロック図である。
【００７４】
図１０に示すように、本実施形態における三次元座標算出装置２００は、第１の実施形態の三次元座標算出装置１００と比べて、位置関係算出部１２０に替えて位置関係算出部２２０を、座標算出部１３０に替えて座標算出部２３０を含む点が異なる。
【００７５】
＝＝＝位置関係算出部２２０＝＝＝
位置関係算出部２２０は、その２枚の画像８００とその２枚の画像８００に対応する対応付情報８１０とに基づいて、上方既対応画素５４２を抽出し、さらに、未対応画素５４１の鉛直方向の下方に位置する既対応画素である、下方既対応画素を抽出する。次に、位置関係算出部２２０は、その未対応画素５４１とその上方既対応画素５４２とその下方既対応画素との組を示す位置関係情報８３２を生成する。
【００７６】
図１１は、位置関係情報８３２の一例を示す図である。図１１に示すように、位置関係情報８３２は、未対応画素座標と上方既対応画素座標と下方既対応画素座標とを組とする複数のレコードからなる。その下方既対応画素座標は、未対応画素５４１に対応するその下方既対応画素の画素座標である。
【００７７】
＝＝＝座標算出部２３０＝＝＝
座標算出部２３０は、既対応画素三次元座標８２０と位置関係情報８３２とに基づいて、未対応画素５４１が建物５２０の壁面に対応する未対応画素５４１であるか地面５３０に対応する未対応画素５４１であるかを判定する。
【００７８】
次に、座標算出部２３０は、その判定した結果に基づいて、未対応画素５４１に対応する三次元座標である未対応画素三次元座標８４０を算出する。
【００７９】
次に、本実施形態の動作について、図面を参照して詳細に説明する。
【００８０】
図１２は、本実施形態の動作における処理対象である、画像８００の一例を示す図である。
図１２に示すように、その画像８００は、２台のカメラ５１０（ステレオ画像の撮像手段）のそれぞれが、建物５２０を含む地面５３０を撮影した２枚の航空写真である。図１２の右側の画像８００は、少なくとも、屋上面部分５２１および壁面部分５２２の既対応画素と、被隠蔽壁面部分５２３および被隠蔽地面部分５３４の未対応画素５４１とを含む。
【００８１】
図１３は、本実施形態の動作を示すフローチャートである。
【００８２】
ステレオ処理部１１０は、入力された画像８００に対し、ステレオマッチング処理を実行することで、対応付情報８１０を生成し、既対応画素三次元座標８２０を算出する（ステップＳ２１）。
【００８３】
ステレオマッチング処理において、２枚の画像８００の両方に存在する被写体のある特定の部分に対応する画素は、それらの画素同士が対応付けされ、既対応画素であると判定される。その２枚の画像８００の両方に存在する被写体のある特定の部分に対応する画素は、例えば、２枚の両方の写真に写っている建物５２０の屋上面部分５２１および壁面部分５２２に対応する画素である。
【００８４】
一方、片方の写真にしか写っていない被隠蔽壁面部分５２３および被隠蔽地面部分５３４に対応する画素は、対応付けされる画素がなく、未対応画素５４１であると判定される。即ち、その画素は、２枚の画像８００のいずれか一方にしか存在しない被写体のある特定の部分に対応する画素である。
【００８５】
位置関係算出部２２０は、その２枚の画像８００とその２枚の画像８００に対応する対応付情報８１０とに基づいて、全ての未対応画素５４１のそれぞれに対応する上方既対応画素５４２およびその下方既対応画素を抽出する（ステップＳ２２）。その上方既対応画素５４２およびその下方既対応画素のそれぞれは、未対応画素５４１の鉛直方向の上方および下方のそれぞれに位置する画素である。
【００８６】
次に、上方既対応画素５４２およびその下方既対応画素の抽出方法を、具体的に説明する。
【００８７】
まず、位置関係算出部２２０は、図６に示すステップＳ１２と同様に、図７に示す消失点５４９を算出し、図８に示す上方既対応画素５４２を抽出する。
【００８８】
次に、位置関係算出部２２０は、未対応画素５４１を始点、消失点５４９を終点とする線分５４７上において、その始点から最も近い既対応画素を、その下方既対応画素として抽出する。図１４は、未対応画素５４１とその未対応画素５４１に対応する下方既対応画素５４３との一例を示す図である。
【００８９】
換言すると、位置関係算出部２２０は、鉛直方向の直線が画像８００上の消失点５４９を終点とする線分５４７に投影される原理を利用して、線分５４７上を探索することで、下方既対応画素５４３を検出（抽出）する。
【００９０】
図１３に戻って、次に、位置関係算出部２２０は、その未対応画素５４１とその抽出した上方既対応画素５４２とその抽出した下方既対応画素５４３との組を示す位置関係情報８３２を生成する（ステップＳ２３）。
【００９１】
次に、座標算出部２３０は、画像８００のそれぞれの全ての未対応画素５４１について、ステップＳ２４からステップＳ２６の処理を実行する。
【００９２】
座標算出部２３０は、既対応画素三次元座標８２０と位置関係情報８３２とに基づいて、未対応画素５４１が建物５２０の壁面に対応する未対応画素５４１であるか地面５３０に対応する未対応画素５４１であるかを判定する（ステップＳ２４）。
【００９３】
具体的には、座標算出部２３０は、上方既対応画素５４２に対応する三次元座標の高さ値と、下方既対応画素５４３に対応する三次元座標の高さ値とを比較する。そして、座標算出部２３０は、それらの高さ値の差が予め定められた閾値以上の場合にはその未対応画素５４１を建物５２０の壁面に対応する未対応画素５４１であると判定する。また、座標算出部２３０は、その差がその閾値未満の場合にはその未対応画素５４１を地面５３０に対応する未対応画素５４１であると判定する。
ここで、高さ値は、三次元座標の、画像８００を撮像したカメラ５１０と画像８００の被写体（建物５２０を含む地面５３０）とを結ぶ直線と平行な、座標軸の値である。
【００９４】
その未対応画素５４１が建物５２０の壁面に対応する未対応画素５４１であると判定された場合（ステップＳ２４でＹＥＳ）、座標算出部２３０は、図６に示すステップＳ１４と同様にして、未対応画素５４１に対応する三次元座標を算出する（ステップＳ２５）。尚、座標算出部２３０は、その壁面の高さ値が下方既対応画素５４３に対応する三次元座標の高さ値より小さい場合、その壁面の高さ値を下方既対応画素５４３に対応する三次元座標の高さ値と同じ値にしてよい。ここで、その壁面の高さ値は、その未対応画素５４１に対応する、その壁面の三次元座標の高さ値である。この処理により、建物５２０の壁面の高さが地面５３０よりも低いことを示すような三次元座標の算出が防止される。
【００９５】
その未対応画素５４１が地面５３０に対応する未対応画素５４１であると判定された場合（ステップＳ２４でＮＯ）、座標算出部２３０は、既対応画素三次元座標８２０と、位置関係情報８３２とに基づいて、未対応画素５４１に対応する三次元座標を算出する（ステップＳ２６）。
【００９６】
図１５は、未対応画素５４１が地面５３０に対応する場合の、その未対応画素５４１と対応する上方既対応画素５４２および下方既対応画素５４３との一例を示す図である。この場合、その上方既対応画素５４２および下方既対応画素５４３は、実際には未対応画素５４１と同じく、地面５３０に対応する画素である。この場合、座標算出部２３０は、式２により、上方既対応画素５４２および下方既対応画素５４３のそれぞれに対応する三次元座標に基づいて、線形補間することで未対応画素５４１に対応する三次元座標を算出する。
2015232785.tif 000005
・・・（式２）
ここで、未対応画素５４１に対応する三次元座標が（Ｘ，Ｙ，Ｚ）、上方既対応画素５４２に対応する三次元座標が（Ｘ１，Ｙ１，Ｚ１）、下方既対応画素５４３に対応する三次元座標が（Ｘ２，Ｙ２，Ｚ２）である。また、未対応画素５４１の画像座標を（ｘ，ｙ）、上方既対応画素５４２の画像座標を（ｘ１，ｙ１）、下方既対応画素５４３の画像座標を（ｘ２，ｙ２）とし、ｐを以下のとおりにおく。
2015232785.tif 000006
【００９７】
上述した本実施形態における効果は、第１の実施形態の効果に加えて、地図データを参照することなく片方の写真にしか映っていない建物５２０の壁面とさらに地面５３０とを含めて三次元座標を算出することが可能になる点である。
【００９８】
その理由は、以下のような構成を含むからである。即ち、第１に、位置関係算出部２２０が未対応画素５４１と上方既対応画素５４２と下方既対応画素５４３との組を示す位置関係情報８３２を生成する。第２に、座標算出部２３０が、その未対応画素５４１が建物５２０の壁面および地面５３０のいずれに対応する未対応画素５４１であるか否かを判定し、その結果に基づいてその未対応画素５４１に対応する三次元座標を算出するからである。
【００９９】
＜＜＜第３の実施形態＞＞＞
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
【０１００】
図１６は、本発明の第３の実施形態に係る三次元座標算出装置３００の構成を示すブロック図である。
【０１０１】
図１６に示すように、本実施形態における三次元座標算出装置３００は、位置関係算出部３２０および座標算出部３３０を含む。尚、図１に示す各構成要素は、ハードウェア単位の回路でも、コンピュータ装置の機能単位に分割された構成要素でもよい。ここでは、図１に示す構成要素は、コンピュータ装置の機能単位に分割された構成要素として説明する。
【０１０２】
三次元座標算出装置３００は、例えば、図４に示すコンピュータ７００のハードウェアによって実現されてよい。この場合、ＣＰＵ７０１は、図１６に示す位置関係算出部３２０および座標算出部３３０として各種の処理を実行する。また、記憶部７０２および記憶装置７０３は、後述する位置関係情報８３０を、さらに記憶してよい。また、通信部７０６は、位置関係算出部３２０および座標算出部３３０の一部として含まれてよい。
【０１０３】
＝＝＝位置関係算出部３２０＝＝＝
位置関係算出部３２０は、ステレオ画像を成す２枚の画像８００と、対応付情報８１０とに基づいて、その未対応画素の、鉛直方向に位置する既対応画素を抽出し、その未対応画素と抽出されたその既対応画素との組を示す位置関係情報８３０を生成する。
【０１０４】
対応付情報８１０は、画像８００の画素のそれぞれについて、既対応画素であるか未対応画素であるかを示す情報である。ここで、その既対応画素は、一方の画像８００の画素に他方の画像８００の画素が対応する画素である。その未対応画素は、一方の画像８００の画素に対応する、他方の画像８００の画素が存在しない画素である。対応付情報８１０は、例えば、図２に示す対応付情報８１０であってよい。
【０１０５】
その鉛直方向は、画像８００上における、画像８００を撮像した撮像手段と画像８００の被写体とを結ぶ直線の、方向である。
【０１０６】
例えば、画像８００および対応付情報８１０は、図４に示す記憶部７０２或いは記憶装置７０３に、予め記憶されていてよい。また、三次元座標算出装置３００は、図４に示す入力部７０４を介してオペレータが入力した、画像８００および対応付情報８１０を取得してもよい。また、三次元座標算出装置３００は、図４に示す通信部７０６を介して図示しない機器から、画像８００および対応付情報８１０を受信してもよい。例えば、三次元座標算出装置３００は、特許文献２の画像処理装置のような装置から、第１の画像および第２の画像のいずれかにおいて写っていない領域である隠れ領域と、いずれにも写っている領域である非隠れ領域に関する情報を取得してもよい。また、三次元座標算出装置３００は、図４に示す記憶装置７０３を介して、記録媒体７０７に記録された画像８００および対応付情報８１０を取得してもよい。
【０１０７】
位置関係情報８３０は、例えば、図３に示すような位置関係情報８３１であってよい。また、位置関係情報８３０は、図１１に示すような位置関係情報８３２であってもよいし、その他の任意の構造であってもよい。
【０１０８】
＝＝＝座標算出部３３０＝＝＝
座標算出部３３０は、ステレオマッチング処理によって画像８００から得られる既対応画素に対応する既対応画素三次元座標８２０と、位置関係情報８３０とに基づいて、未対応画素に対応する未対応画素三次元座標８４０を算出し、出力する。
【０１０９】
例えば、既対応画素三次元座標８２０は、図４に示す記憶部７０２或いは記憶装置７０３に、予め記憶されていてよい。また、三次元座標算出装置３００は、図４に示す入力部７０４を介してオペレータが入力した、既対応画素三次元座標８２０を取得してもよい。また、三次元座標算出装置３００は、図４に示す通信部７０６を介して図示しない機器から、既対応画素三次元座標８２０を受信してもよい。例えば、三次元座標算出装置３００は、特許文献１の３次元モデル作成装置や特許文献２の画像処理装置などのような装置から、既対応画素三次元座標８２０を取得してもよい。また、三次元座標算出装置３００は、図４に示す記憶装置７０３を介して、記録媒体７０７に記録された既対応画素三次元座標８２０を取得してもよい。
【０１１０】
例えば、座標算出部３３０は、未対応画素三次元座標８４０を図４に示す出力部７０５を介して出力する。また、座標算出部３３０は、図４に示す通信部７０６を介して、図示しない機器に未対応画素三次元座標８４０を送信してもよい。また、座標算出部３３０は、図４に示す記憶装置７０３を介して、記録媒体７０７に未対応画素三次元座標８４０を記録してもよい。
【０１１１】
尚、座標算出部３３０は、未対応画素三次元座標８４０だけを出力してよいし、未対応画素三次元座標８４０と既対応画素三次元座標８２０とを統合して出力してもよい。
【０１１２】
また、座標算出部３３０は、全ての未対応画素について未対応画素三次元座標８４０を算出し、未対応画素三次元座標８４０と既対応画素三次元座標８２０とを統合して、建物の壁面を含めた被写体の三次元座標を得ることができる。こうして得た三次元座標に基づいて、座標算出部３３０は、被写体の三次元形状示す画像を出力してもよい。
【０１１３】
三次元座標算出装置３００の位置関係算出部３２０は、図１に示す位置関係算出部１２０と同様にして位置関係情報８３０を生成してよい。この場合、座標算出部３３０は、図１に示す座標算出部１３０と同様にして未対応画素三次元座標８４０を算出してよい。
【０１１４】
さらに、位置関係算出部３２０は、図１０に示す位置関係算出部２２０と同様にして位置関係情報８３０を生成してよい。この場合、座標算出部３３０は、図１０に示す座標算出部２３０と同様にして未対応画素三次元座標８４０を算出してよい。
【０１１５】
上述した本実施形態における第１の効果は、地図データを参照することなく片方の写真にしか映っていない壁面を含めて三次元座標を算出することが可能になる点である。
【０１１６】
その理由は、以下のような構成を含むからである。即ち、第１に、位置関係算出部３２０が、画像８００と対応付情報８１０とに基づいて、未対応画素と上方既対応画素との組を示す位置関係情報８３０を生成する。第２に、座標算出部３３０が、既対応画素三次元座標８２０と位置関係情報８３０とに基づいて、未対応画素三次元座標８４０を生成する。
【０１１７】
以上の各実施形態で説明した各構成要素は、必ずしも個々に独立した存在である必要はない。例えば、複数個の任意のその構成要素が１個のモジュールとして実現されてよい。また、その構成要素の内の任意のひとつが複数のモジュールで実現されてもよい。また、その構成要素の内の任意のひとつがその構成要素の内の任意の他のひとつであってよい。また、その構成要素の内の任意のひとつの一部と、その構成要素の内の任意の他のひとつの一部とが重複してもよい。
【０１１８】
以上説明した各実施形態における各構成要素および各構成要素を実現するモジュールは、必要に応じ、可能であれば、ハードウェア的に実現されてよい。また、各構成要素および各構成要素を実現するモジュールは、コンピュータおよびプログラムで実現されてよい。また、各構成要素および各構成要素を実現するモジュールは、ハードウェア的なモジュールとコンピュータおよびプログラムとの混在により実現されてもよい。
【０１１９】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１２０】
（付記１）ステレオ画像を成す２枚の画像と、前記２枚の画像の画素のそれぞれについて、一方の前記画像の画素に他方の前記画像の画素が対応する既対応画素であるか、一方の前記画像の画素に対応する他方の前記画像の画素が存在しない未対応画素であるかを示す対応付情報とに基づいて、前記未対応画素の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線の前記画像上における方向である、鉛直方向に位置する前記既対応画素を抽出し、前記未対応画素と抽出された前記既対応画素との組を示す位置関係情報を生成する位置関係算出部と、
ステレオマッチング処理によって前記２枚の画像から得られる前記既対応画素に対応する三次元座標と、前記位置関係情報とに基づいて、前記未対応画素に対応する三次元座標を算出する座標算出部と、を含む
情報処理装置。
【０１２１】
（付記２）前記位置関係算出部は、前記未対応画素の前記鉛直方向の、前記撮像手段へ向かう側である、上方に位置する前記既対応画素を、上方既対応画素として抽出する、
ことを特徴とする付記１記載の情報処理装置。
【０１２２】
（付記３）前記位置関係算出部は、前記未対応画素の前記鉛直方向の、前記撮像手段へ向かう側である、上方に位置する前記既対応画素と、前記未対応画素の前記鉛直方向の、前記被写体へ向かう側である、下方に位置する前記既対応画素とのそれぞれを、上方既対応画素と下方既対応画素と、として抽出する、
ことを特徴とする付記１記載の情報処理装置。
【０１２３】
（付記４）前記位置関係算出部は、前記画像上の前記鉛直方向の複数の直線に対応する消失点を算出し、前記未対応画素を始点として前記消失点とは反対方向に伸びる半直線上において、前記始点から最も近い前記既対応画素を、前記上方既対応画素として抽出する、
ことを特徴とする付記２または３記載の情報処理装置。
【０１２４】
（付記５）前記位置関係算出部は、前記未対応画素を始点として前記消失点を終点とする線分上において、前記始点から最も近い前記既対応画素を、前記下方既対応画素として抽出する、
ことを特徴とする付記３記載の情報処理装置。
【０１２５】
（付記６）前記座標算出部は、前記未対応画素が建物の壁面に対応する画素であるか地面に対応する画素であるかを判定し、前記判定した結果に基づいて前記未対応画素に対応する三次元座標を算出する
ことを特徴とする付記１乃至５のいずれか１つに記載の情報処理装置。
【０１２６】
（付記７）前記座標算出部は、前記上方既対応画素と前記下方既対応画素とのそれぞれに対応する、前記三次元座標の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線と平行な、座標軸の値を比較し、前記値の差が閾値以上の場合には前記未対応画素を前記壁面に対応する画素であると判定し、前記値の差が閾値より小さい場合には前記未対応画素を前記地面に対応する画素であると判定する
ことを特徴とする付記６記載の情報処理装置。
【０１２７】
（付記８）前記座標算出部は、前記壁面に対応する画素であると判定された前記未対応画素に対応する前記軸の値が、前記下方既対応画素に対応する前記軸の値より小さい場合、前記下方既対応画素に対応する前記軸の値を、前記壁面に対応する画素であると判定された前記未対応画素に対応する前記軸の値に用いて、前記未対応画素に対応する三次元座標を算出する
ことを特徴とする付記６または７記載の情報処理装置。
【０１２８】
（付記９）前記座標算出部は、前記未対応画素が前記地面に対応する画素であると判定された場合、前記上方既対応画素に対応する三次元座標と前記下方既対応画素に対応する三次元座標とに基づいて、線形補間によって、前記未対応画素に対応する三次元座標を算出する
ことを特徴とする付記６乃至８のいずれか１つに記載の情報処理装置。
【０１２９】
（付記１０）コンピュータが、
ステレオ画像を成す２枚の画像と、前記２枚の画像の画素のそれぞれについて、一方の前記画像の画素に他方の前記画像の画素が対応する既対応画素であるか、一方の前記画像の画素に対応する他方の前記画像の画素が存在しない未対応画素であるかを示す対応付情報とに基づいて、前記未対応画素の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線の前記画像上における方向である、鉛直方向に位置する前記既対応画素を抽出し、
前記未対応画素と抽出された前記既対応画素との組を示す位置関係情報を生成し、
ステレオマッチング処理によって前記２枚の画像から得られる前記既対応画素に対応する三次元座標と、前記位置関係情報とに基づいて、前記未対応画素に対応する三次元座標を算出する
三次元座標算出方法。
【０１３０】
（付記１１）ステレオ画像を成す２枚の画像と、前記２枚の画像の画素のそれぞれについて、一方の前記画像の画素に他方の前記画像の画素が対応する既対応画素であるか、一方の前記画像の画素に対応する他方の前記画像の画素が存在しない未対応画素であるかを示す対応付情報とに基づいて、前記未対応画素の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線の前記画像上における方向である、鉛直方向に位置する前記既対応画素を抽出し、
前記未対応画素と抽出された前記既対応画素との組を示す位置関係情報を生成し、
ステレオマッチング処理によって前記２枚の画像から得られる前記既対応画素に対応する三次元座標と、前記位置関係情報とに基づいて、前記未対応画素に対応する三次元座標を算出する、処理をコンピュータに実行させる
プログラム。
【０１３１】
（付記１２）  ステレオ画像を成す２枚の画像に対し、ステレオマッチング処理を実行し、前記画像の画素のそれぞれについて、一方の前記画像の画素に他方の前記画像の画素が対応する既対応画素であるか、一方の前記画像の画素に対応する他方の前記画像の画素が存在しない未対応画素であるかを示す、対応付情報を生成し、前記既対応画素のそれぞれに対応する三次元座標である既対応画素三次元座標を算出するステレオ処理部と、
前記画像と、前記対応付情報とに基づいて、前記未対応画素の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線の前記画像上における方向である、鉛直方向に位置する前記既対応画素を抽出し、前記未対応画素と抽出された前記既対応画素との組を示す位置関係情報を生成する位置関係算出部と、
前記既対応画素三次元座標と前記位置関係情報とに基づいて、前記未対応画素に対応する三次元座標を算出する座標算出部と、を含む
情報処理システム。
【０１３２】
（付記１３）プロセッサと、
プロセッサが位置関係算出部および座標算出部として動作するための、プロセッサによって実行される命令を保持する記憶部とを含み、
前記位置関係算出部は、
ステレオ画像を成す２枚の画像と、前記２枚の画像の画素のそれぞれについて、一方の前記画像の画素に他方の前記画像の画素が対応する既対応画素であるか、一方の前記画像の画素に対応する他方の前記画像の画素が存在しない未対応画素であるかを示す対応付情報とに基づいて、前記未対応画素の、前記画像を撮像した撮像手段と前記画像の被写体とを結ぶ直線の前記画像上における方向である、鉛直方向に位置する前記既対応画素を抽出し、前記未対応画素と抽出された前記既対応画素との組を示す位置関係情報を生成し、
前記座標算出部は、ステレオマッチング処理によって前記２枚の画像から得られる前記既対応画素に対応する三次元座標と、前記位置関係情報とに基づいて、前記未対応画素に対応する三次元座標を算出する
情報処理装置。
【０１３３】
以上、各実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得るさまざまな変更をすることができる。
【符号の説明】
【０１３４】
１００    三次元座標算出装置
１１０    ステレオ処理部
１２０    位置関係算出部
１３０    座標算出部
２００    三次元座標算出装置
２２０    位置関係算出部
２３０    座標算出部
３００    三次元座標算出装置
３２０    位置関係算出部
３３０    座標算出部
５１０    カメラ
５２０    建物
５２１    屋上面部分
５２２    壁面部分
５２３    被隠蔽壁面部分
５３０    地面
５３４    被隠蔽地面部分
５４１    未対応画素
５４２    上方既対応画素
５４３    下方既対応画素
５４６    半直線
５４７    線分
５４９    消失点
７００    コンピュータ
７０１    ＣＰＵ
７０２    記憶部
７０３    記憶装置
７０４    入力部
７０５    出力部
７０６    通信部
７０７    記録媒体
８００    画像
８１０    対応付情報
８２０    既対応画素三次元座標
８３０    位置関係情報
８３１    位置関係情報
８３２    位置関係情報
８４０    未対応画素三次元座標
【図１】
2015232785.tif 000007
【図２】
2015232785.tif 000008
【図３】
2015232785.tif 000009
【図４】
2015232785.tif 000010
【図５】
2015232785.tif 000011
【図６】
2015232785.tif 000012
【図７】
2015232785.tif 000013
【図８】
2015232785.tif 000014
【図９】
2015232785.tif 000015
【図１０】
2015232785.tif 000016
【図１１】
2015232785.tif 000017
【図１２】
2015232785.tif 000018
【図１３】
2015232785.tif 000019
【図１４】
2015232785.tif 000020
【図１５】
2015232785.tif 000021
【図１６】
2015232785.tif 000022