(57)【要約】【課題】ＤＥＭの計算精度を高めることが可能なステレオペアを選別することができるようにする。【解決手段】画像間の撮影視差Ｐ（ｍ，ｎ）が所定範囲内に含まれているシーンデータＳ（ｍ），Ｓ（ｎ）の組をステレオペアＳＰ（ａ）として検索する視差計算部３を設け、画像探索部４が、ステレオペアＳＰ（ａ）毎に、シーンデータＳ（ｍ），Ｓ（ｎ）に含まれている撮影データＧ（ｍ），Ｇ（ｎ）が示す画像間の正規化相関値ｃｏｒ（ａ）を算出し、その正規化相関値ｃｏｒ（ａ）が閾値β未満のステレオペアＳＰ（ａ）を除外して、その正規化相関値ｃｏｒ（ａ）が閾値β以上のステレオペアＳＰ（ａ）だけを残すようにする。【選択図】図１
2014186476.tif 000002
【特許請求の範囲】
【請求項１】
画像の撮影データ、上記画像の撮影位置、上記画像の撮影方向、上記画像の撮影時刻及び上記画像上の各ピクセルに対応する視線ベクトルからなるシーンデータを複数格納するシーンデータ格納手段と、
上記シーンデータ格納手段により格納されている複数のシーンデータに含まれている撮影方向を用いて、各々のシーンデータに係る画像間の撮影視差を算出し、複数のシーンデータの中から、画像間の撮影視差が所定範囲内に含まれているシーンデータの組をステレオペアとして検索するステレオペア検索手段と、
上記ステレオペア検索手段により検索されたステレオペア毎に、当該ステレオペアを構成している２つのシーンデータに含まれている撮影データが示す画像間の一致度を算出し、上記一致度が所定値未満のステレオペアを除外して、上記一致度が所定値以上のステレオペアだけを残すステレオペア選別手段と
を備えたステレオペア決定装置。
【請求項２】
ステレオペア選別手段により残されたステレオペア毎に、当該ステレオペアを構成している２つのシーンデータに含まれている画像の撮影時刻の時差を算出し、上記時差が小さい順に各ステレオペアを並べて、各ステレオペアの並び順を出力するステレオペアソート手段
を備えたことを特徴とする請求項１記載のステレオペア決定装置。
【請求項３】
ステレオペア選別手段により残されたステレオペアの一致度を基準にして、上記ステレオペアをグループ分けするグルーピング手段と、
１以上のステレオペアが属しているグループ毎に、当該グループに属しているシーンデータに含まれている画像の撮影時刻を比較して、最も新しい撮影時刻を特定するとともに、各グループにおける最も新しい撮影時刻を比較して、上記撮影時刻が新しい順に各グループを並べて、各グループの並び順を出力するグループソート手段と、
上記グループソート手段から出力された並び順が先のグループから順番に、当該グループに属しているステレオペア毎に、当該ステレオペアを構成している２つのシーンデータに含まれている画像の撮影時刻の時差を算出し、上記時差が小さい順に各ステレオペアを並べて、各ステレオペアの並び順を出力するステレオペアソート手段と
を備えたことを特徴とする請求項１記載のステレオペア決定装置。
【請求項４】
ステレオペア選別手段は、ステレオペアを構成している２つのシーンデータに含まれている撮影データの中から、設定された指定領域を撮影している部分の撮影データをそれぞれ取り出して、その取り出した撮影データが示す画像間の一致度を算出し、上記一致度が所定値未満のステレオペアを除外して、上記一致度が所定値以上のステレオペアだけを残すことを特徴とする請求項１から請求項３のうちのいずれか１項記載のステレオペア決定装置。
【請求項５】
設定された指定領域を分割する指定領域分割手段を備え、
ステレオペア選別手段は、ステレオペアを構成している２つのシーンデータに含まれている撮影データの中から、上記指定領域分割手段により分割された指定領域を撮影している部分の撮影データをそれぞれ取り出して、その取り出した撮影データが示す画像間の一致度を算出し、上記一致度が所定値未満のステレオペアを除外して、上記一致度が所定値以上のステレオペアだけを残すことを特徴とする請求項１から請求項３のうちのいずれか１項記載のステレオペア決定装置。
【請求項６】
最も新しく撮影された撮影データが示す画像の範囲を指定領域に設定する指定領域設定手段を備え、
ステレオペア選別手段は、ステレオペアを構成している２つのシーンデータに含まれている撮影データの中から、上記指定領域設定手段により設定された指定領域を撮影している部分の撮影データをそれぞれ取り出して、その取り出した撮影データが示す画像間の一致度を算出し、上記一致度が所定値未満のステレオペアを除外して、上記一致度が所定値以上のステレオペアだけを残すことを特徴とする請求項１から請求項３のうちのいずれか１項記載のステレオペア決定装置。
【請求項７】
ステレオペア選別手段は、ステレオペアを構成している２つのシーンデータに含まれている画像の撮影時刻の中で古い方の撮影時刻と、シーンデータ格納手段により格納されている複数のシーンデータに含まれている画像の撮影時刻の中で最も新しい撮影時刻との時刻差が大きい程、大きな所定値を設定して、その所定値と画像間の一致度を比較することを特徴とする請求項１から請求項６のうちのいずれか１項記載のステレオペア決定装置。
【請求項８】
画像の撮影データ、上記画像の撮影位置、上記画像の撮影方向、上記画像の撮影時刻及び上記画像上の各ピクセルに対応する視線ベクトルからなるシーンデータを複数格納するシーンデータ格納処理手順と、
上記シーンデータ格納処理手順により格納されている複数のシーンデータに含まれている撮影方向を用いて、各々のシーンデータに係る画像間の撮影視差を算出し、複数のシーンデータの中から、画像間の撮影視差が所定範囲内に含まれているシーンデータの組をステレオペアとして検索するステレオペア検索処理手順と、
上記ステレオペア検索処理手順により検索されたステレオペア毎に、当該ステレオペアを構成している２つのシーンデータに含まれている撮影データが示す画像間の一致度を算出し、上記一致度が所定値未満のステレオペアを除外して、上記一致度が所定値以上のステレオペアだけを残すステレオペア選別処理手順と
をコンピュータに実行させるステレオペア決定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、数値標高モデルであるＤＥＭ（Ｄｉｇｉｔａｌ  Ｅｌｅｖａｔｉｏｎ  Ｍｏｄｅｌ）の算出に用いるシーンデータ（画像の撮影データ、画像の撮影位置、画像の撮影方向、画像の撮影時刻及び画像上の各ピクセルに対応する視線ベクトルから構成されているデータ）の組を決定するステレオペア決定装置及びステレオペア決定プログラムに関するものである。
【背景技術】
【０００２】
近年、画像取得用のセンサの発達により、高解像度な画像を撮影することが可能になってきている。
画像取得用のセンサとしては、撮像素子が２次元に配列されているセンサであって、２次元の画像を一度に取得するエリアセンサと、撮像素子が１次元に配列されているセンサであって、そのセンサを動かしながら１次元の画像を取得し、複数の１次元の画像から２次元の画像を構築するラインセンサとがある。
一般的に、エリアセンサよりラインセンサの方が高解像度の画像を取得することができる。
【０００３】
画像取得用のセンサにより取得された画像や、画像撮影時のパラメータ（撮影位置や撮影方向）を利用して、新たな情報を生成する処理がある。
例えば、図８に示すように、２枚の画像のマッチングを実施することで、２枚の画像上で対応している点（以下、「対応点」と称する）を求め、その対応点の座標での視線ベクトルｖ１，ｖ２と、２枚の画像の撮影位置ｘ１，ｘ２とから交点ｐを求めることで、交点ｐの３次元座標を計算する処理がある。
交点ｐの高度ｈｐは、直線ｘ１＋ｔ・ｖ１と、直線ｘ２＋ｓ・ｖ２との交点として求めることができる。ただし、ｔ，ｓは変数である。ただし、３次元上では、誤差により直線の交点が求まらないこともあり、その場合は両直線の最近傍点（交会点）をｐとみなす。
なお、３次元座標のうち、高度の値をまとめたものがＤＥＭであり、ＤＥＭは地表面や建物などを表現したものになる（例えば、非特許文献１を参照）。
【０００４】
以下の非特許文献２に開示されている航空レーザーの測量手順によれば、ＤＥＭは、最低２枚の画像（ステレオペア）があれば算出可能であるが、同じ場所を撮影している画像が多数ある場合、複数のステレオペアを生成して、複数のステレオペアからＤＥＭをそれぞれ計算するようにすれば、ＤＥＭの計算精度を高めることができる。そのため、ＤＥＭを高精度に計算するには、多くの画像を使用することが重要である。
しかし、１回のＤＥＭを計算するために、同じ場所の撮影を新たに何度も繰り返すことはコスト高になる。
したがって、出来る限りに、同じ場所を新たに撮影せずに、過去に撮影された画像を用いてＤＥＭを計算する必要がある。
【０００５】
ＤＥＭを計算する場合、上述したように、２枚の画像上での対応点を見つける必要がある。
一般的には、画像処理によって画像間の一致度（対応点を含む周辺の画像が、どのくらい一致するかを示す指標）を計算し、その一致度に基づいて対応点を求めるようにしている。
また、ＤＥＭの計算では、上述したように、視線ベクトルの交点ｐを計算するが（図８を参照）、２本の視線ベクトルｖ１，ｖ２がなす角度（撮影視差に相当する）が小さい場合、２枚の画像上での対応点の小さなずれが大きな高度差になって現れる。一般的には、対応点はずれ易いため、視差が小さい視線ベクトルｖ１，ｖ２を用いる場合、ＤＥＭの計算誤差が大きくなる傾向がある。
【０００６】
一方、視差が大きい場合は、画像の撮影方向が大きく異なるので、同じ場所を撮影していても、見え方が大きく異なることがある。このような場合には、画像処理（マッチング処理）が難しくなり、その結果として、対応点を間違えてしまう可能性が高くなる。
したがって、ＤＥＭの計算では、視差が大きすぎても、小さすぎてもよくないので、適正な視差の画像を用いることが望ましい。
【０００７】
視差以外にも、ＤＥＭの計算を行う範囲が変動しているか、変動していないかを考慮する必要がある。
即ち、各々の画像が撮影された時間において、「ＤＥＭ計算対象の場所の高度が本当に一致しているか」どうかを考慮する必要がある。
例えば、２つの画像が撮影された時間の間隔が数秒程度であれば、その間に生じる地形の変動や、新たな建物の建築などを考える必要はないが、その時間間隔が数ヶ月などであれば、地形の変動や、新たな建物の建築などが行われている可能性は十分にある。
周囲も含めて大幅に景観が変わっていれば、マッチング処理で一致しなくなる可能性が高い（対応点が見つけられない可能性が高い）ため、ＤＥＭを計算することができなくなる。仮にマッチング処理で対応点が見つけられても、そのような対応点から求める交点の位置誤差が大きくなるため、２枚の画像の撮影時間の時差は短い方が望ましい。
なお、ＤＥＭの計算では、通常、「現状（最も新しい状況）の高度を計算する」ことを想定するため、新しいデータを使う方が、計算結果と現状との一致度合いは高いと考えられる。
【０００８】
ＤＥＭを計算する際に行うマッチング処理では、一般的に、一方の画像内の一部分の領域である部分画像を他方の画像と重ね合わせ、その重ね合わせ位置での一致度を算出する（例えば、一致度を表す正規化相関値などを算出する）。
重ね合わせ位置を変えながら一致度を算出し、最も一致度が高くなる重ね合わせ位置が対応点であるとする。
ただし、どのような位置に重ねても、一致度が大きくならない場合には、対応点が存在しないと判断して、これらの画像をステレオペアとして扱わないようにすることが望ましい。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】「数値標高モデル」http://www.nnk.co.jp/research/product/dem.html
【非特許文献２】「航空レーザー測量」http://www1.gsi.go.jp/geowww/Laser_HP/senmon.html
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来のステレオペア決定装置は以上のように構成されているので、同じ場所を撮影している多くの画像の中から、複数のステレオペアを生成することができるが、２枚の画像間の撮影視差が適正であるか否かを確認してステレオペアを生成するものではない。このため、撮影視差が不適正な２枚の画像がステレオペアとして生成されてしまって、ＤＥＭの計算精度が劣化してしまうことがある課題があった。
また、一致度が高くない２枚の画像についてはステレオペアとして扱わないようにすることが望ましいが、２枚の画像の一致度が高いか否かを確認してステレオペアを生成するものではない。このため、一致度が高くない２枚の画像がステレオペアとして生成されてしまって、ＤＥＭの計算精度が劣化してしまうことがある課題があった。
【００１１】
この発明は上記のような課題を解決するためになされたもので、ＤＥＭの計算精度を高めることが可能なステレオペアを選別することができるステレオペア決定装置及びステレオペア決定プログラムを得ることを目的とする。
【課題を解決するための手段】
【００１２】
この発明に係るステレオペア決定装置は、画像の撮影データ、画像の撮影位置、画像の撮影方向、画像の撮影時刻及び画像上の各ピクセルに対応する視線ベクトルからなるシーンデータを複数格納するシーンデータ格納手段と、シーンデータ格納手段により格納されている複数のシーンデータに含まれている撮影方向を用いて、各々のシーンデータに係る画像間の撮影視差を算出し、複数のシーンデータの中から、画像間の撮影視差が所定範囲内に含まれているシーンデータの組をステレオペアとして検索するステレオペア検索手段とを設け、ステレオペア選別手段が、ステレオペア検索手段により検索されたステレオペア毎に、当該ステレオペアを構成している２つのシーンデータに含まれている撮影データが示す画像間の一致度を算出し、その一致度が所定値未満のステレオペアを除外して、その一致度が所定値以上のステレオペアだけを残すようにしたものである。
【発明の効果】
【００１３】
この発明によれば、シーンデータ格納手段により格納されている複数のシーンデータに含まれている撮影方向を用いて、各々のシーンデータに係る画像間の撮影視差を算出し、複数のシーンデータの中から、画像間の撮影視差が所定範囲内に含まれているシーンデータの組をステレオペアとして検索するステレオペア検索手段を設け、ステレオペア選別手段が、ステレオペア検索手段により検索されたステレオペア毎に、当該ステレオペアを構成している２つのシーンデータに含まれている撮影データが示す画像間の一致度を算出し、その一致度が所定値未満のステレオペアを除外して、その一致度が所定値以上のステレオペアだけを残すように構成したので、ＤＥＭの計算精度を高めることが可能なステレオペアを選別することができる効果がある。
【図面の簡単な説明】
【００１４】
【図１】この発明の実施の形態１によるステレオペア決定装置を示す構成図である。
【図２】撮影データＲ（ｎ）が示す画像をＸ，Ｙ方向に±ｅピクセル動かして、正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が最も大きくなる位置を探索している様子を示す説明図である。
【図３】この発明の実施の形態２によるステレオペア決定装置を示す構成図である。
【図４】この発明の実施の形態３によるステレオペア決定装置を示す構成図である。
【図５】この発明の実施の形態４によるステレオペア決定装置を示す構成図である。
【図６】この発明の実施の形態５によるステレオペア決定装置を示す構成図である。
【図７】この発明の実施の形態５によるステレオペア決定装置を示す構成図である。
【図８】３次元座標の計算処理を示す説明図である。
【発明を実施するための形態】
【００１５】
実施の形態１．
図１はこの発明の実施の形態１によるステレオペア決定装置を示す構成図である。
図１において、シーンデータ格納部１は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、複数のシーンデータＳ（ｉ）を格納している。
シーンデータは、画像の撮影データＧ（ｉ）（例えば、ＪＰＥＧやＴＩＦＦ形式などの画像データ）、画像の撮影位置ｌ（ｉ）、画像の撮影方向ｄ（ｉ）、画像の撮影時刻ｔ（ｉ）及び画像上の各ピクセルに対応する視線ベクトルｖｘ，ｙ（ｉ）から構成されているデータである。ただし、ｉはシーンデータを識別する変数であり、ｉ＝１，２，・・・，Ｉである。また、Ｉはシーンデータ格納部１により格納されているシーンデータの個数である。
なお、シーンデータ格納部１はシーンデータ格納手段を構成している。
【００１６】
情報入力部２はシーンデータ格納部１により格納されている複数のシーンデータＳ（ｉ）や、計算対象範囲（指定領域）を示す計算対象範囲情報を入力する処理を実施する。
視差計算部３は情報入力部２により入力された複数のシーンデータＳ（ｉ）に含まれている画像の撮影方向ｄ（ｉ）を用いて、各々のシーンデータＳ（ｉ）に係る画像間の撮影視差Ｐを算出し、複数のシーンデータＳ（ｉ）の中から、画像間の撮影視差Ｐが所定範囲内に含まれているシーンデータＳ（ｉ）の組をステレオペアＳＰ（ａ）として検索する処理を実施する。ただし、ａはステレオペアを識別する変数であり、ａ＝１，２，・・・，Ａである。Ａは視差計算部３により検索されたステレオペアの個数である。
なお、視差計算部３はステレオペア検索手段を構成している。
【００１７】
画像探索部４は視差計算部３により検索されたステレオペアＳＰ（ａ）毎に、当該ステレオペアＳＰ（ａ）を構成している２つのシーンデータＳ（ｉ）に含まれている撮影データＧ（ｉ）の中から、情報入力部２により入力された計算対象範囲情報が示す計算対象範囲を撮影している部分の撮影データＲ（ｉ）を取り出す処理を実施する。
また、画像探索部４は視差計算部３により検索されたステレオペアＳＰ（ａ）毎に、２つの撮影データＧ（ｉ）が示す画像間の正規化相関値ｃｏｒ（ａ）（画像間の一致度を示す指標）を算出し、その正規化相関値ｃｏｒ（ａ）が所定の閾値β未満のステレオペアＳＰ（ａ）を除外して、その正規化相関値ｃｏｒ（ａ）が閾値β以上のステレオペアＳＰ（ａ）だけを残す処理を実施する。なお、画像探索部４はステレオペア選別手段を構成している。
【００１８】
グルーピング部５は画像探索部４により残されたステレオペアＳＰ（ａ）の正規化相関値ｃｏｒ（ａ）を基準にして、ステレオペアＳＰ（ａ）をグループ分けする処理を実施する。なお、グルーピング部５はグルーピング手段を構成している。
時刻比較部６はグループ毎に、当該グループに属している１以上のステレオペアＳＰ（ａ）を構成している２つのシーンデータＳ（ｉ）に含まれている画像の撮影時刻ｔ（ｉ）を比較して、最も新しい撮影時刻ｔｎｅｗを特定する処理を実施する。
また、時刻比較部６は各グループにおける最も新しい撮影時刻ｔｎｅｗを比較して、その撮影時刻ｔｎｅｗが新しい順に各グループを並べて、各グループの並び順を出力する処理を実施する。なお、時刻比較部６はグループソート手段を構成している。
【００１９】
時差計算部７は時刻比較部６から出力された並び順が先のグループから順番に、当該グループに属しているステレオペアＳＰ（ａ）毎に、当該ステレオペアＳＰ（ａ）を構成している２つのシーンデータＳ（ｉ）であるシーンデータＳ（ｍ），Ｓ（ｎ）に係る画像の撮影時刻ｔ（ｍ），ｔ（ｎ）の時差Δｔを算出し、その時差Δｔが小さい順に各ステレオペアＳＰ（ａ）を並べて、各ステレオペアＳＰ（ａ）の並び順を出力する処理を実施する。なお、時差計算部７はステレオペアソート手段を構成している。
【００２０】
図１の例では、ステレオペア決定装置の構成要素であるシーンデータ格納部１、情報入力部２、視差計算部３、画像探索部４、グルーピング部５、時刻比較部６及び時差計算部７のそれぞれが専用のハードウェアで構成されている（シーンデータ格納部１以外の各構成要素は、例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている）ものを想定しているが、ステレオペア決定装置がコンピュータで構成されていてもよい。
ステレオペア決定装置がコンピュータで構成されている場合、シーンデータ格納部１をコンピュータのメモリ上に構成するとともに、情報入力部２、視差計算部３、画像探索部４、グルーピング部５、時刻比較部６及び時差計算部７の処理内容を記述しているステレオペア決定プログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているステレオペア決定プログラムを実行するようにすればよい。
【００２１】
次に動作について説明する。
まず、情報入力部２は、シーンデータ格納部１により格納されている複数のシーンデータＳ（ｉ）を入力して、複数のシーンデータＳ（ｉ）を視差計算部３に出力する。
また、情報入力部２は、外部で設定された計算対象範囲（指定領域）を示す計算対象範囲情報を入力して、その計算対象範囲情報（四隅座標・ＤＥＭ解像度等）を画像探索部４に出力する。
【００２２】
視差計算部３は、情報入力部２から複数のシーンデータＳ（ｉ）を受けると、複数のシーンデータＳ（ｉ）の中から、任意の２つのシーンデータＳ（ｉ）を選択する。
ここでは、説明の便宜上、シーンデータＳ（１）とシーンデータＳ（２）を選択しているものとして説明する。
視差計算部３は、シーンデータＳ（１）とシーンデータＳ（２）を選択すると、シーンデータＳ（１）に含まれている画像の撮影方向ｄ（１）と、シーンデータＳ（２）に含まれている画像の撮影方向ｄ（２）とのなす角（０以上１８０度以下の角度）を、シーンデータＳ（１），Ｓ（２）に係る画像間の撮影視差Ｐ（１，２）として算出する。
【００２３】
即ち、視差計算部３は、画像の撮影方向ｄ（１）がｄ（１）＝（ｄｘ（１），ｄｙ（１），ｄｚ（１））、画像の撮影方向ｄ（２）がｄ（２）＝（ｄｘ（２），ｄｙ（２），ｄｚ（２））で表されるとすると、画像間の撮影視差Ｐ（１，２）を下記の式（１）のように算出する。
2014186476.tif 000003
式（１）において、ｄ（１）・ｄ（２）は、ｄ（１）とｄ（２）の内積を表している。
【００２４】
視差計算部３は、画像間の撮影視差Ｐ（１，２）を算出すると、その撮影視差Ｐ（１，２）が所定範囲内に含まれているか否かを判定する。
即ち、視差計算部３は、下記の式（２）が成立するか否かを判定し、式（２）が成立すれば、撮影視差Ｐ（１，２）が所定範囲内に含まれていると判断する。
α１≦Ｐ（１，２）≦α２                                （２）
式（２）において、α１，α２は予め設定されている角度閾値であり、α１≦α２である。
【００２５】
視差計算部３は、撮影視差Ｐ（１，２）が所定範囲内に含まれていると判断すれば、シーンデータＳ（１）とシーンデータＳ（２）の組をステレオペアＳＰ（１）＝｛Ｓ（１），Ｓ（２）｝として画像探索部４に出力する。
ここでは、視差計算部３が複数のシーンデータＳ（ｉ）の中から、シーンデータＳ（１）とシーンデータＳ（２）を選択しているが、シーンデータＳ（１）とシーンデータＳ（２）以外の全ての組み合わせについても順次選択して、上記と同様の処理を実施する。
即ち、複数のシーンデータＳ（ｉ）の中から選択した２つのシーンデータがＳ（ｍ），Ｓ（ｎ）であるとすると、２つのシーンデータＳ（ｍ），Ｓ（ｎ）に係る画像間の撮影視差Ｐ（ｍ，ｎ）が式（２）を満足すれば、そのシーンデータＳ（ｍ）とシーンデータＳ（ｎ）の組をステレオペアＳＰ（ａ）＝｛Ｓ（ｍ），Ｓ（ｎ）｝として画像探索部４に出力する。
したがって、画像間の撮影視差Ｐ（ｍ，ｎ）が所定範囲内に含まれておらず、画像間の撮影視差Ｐ（ｍ，ｎ）が式（２）を満足しない２つのシーンデータの組はステレオペアＳＰ（ａ）として画像探索部４に出力さない。
これにより、撮影視差Ｐ（ｍ，ｎ）が適正なステレオペアＳＰ（ａ）に絞り込まれることになる。
なお、式（２）を満足しているシーンデータＳ（ｍ）とシーンデータＳ（ｎ）の組が、例えば、Ａ個であれば、ａ＝１，２，・・・，Ａとなる。
【００２６】
画像探索部４は、視差計算部３から１以上のステレオペアＳＰ（ａ）を受けると、各々のステレオペアＳＰ（ａ）におけるシーンデータＳ（ｍ）とシーンデータＳ（ｎ）に係る画像の撮影範囲が完全に同じであるとは限らないので、シーンデータＳ（ｍ）に含まれている撮影データＧ（ｍ）の中から、情報入力部２から出力された計算対象範囲情報が示す計算対象範囲を撮影している部分の撮影データＲ（ｍ）を取り出すとともに、シーンデータＳ（ｎ）に含まれている撮影データＧ（ｎ）の中から、情報入力部２から出力された計算対象範囲情報が示す計算対象範囲を撮影している部分の撮影データＲ（ｎ）を取り出す処理を行う。
画像探索部４により取り出された撮影データＲ（ｍ）と撮影データＲ（ｎ）は、撮影範囲が同じ画像のデータである。
【００２７】
画像探索部４は、ステレオペアＳＰ（ａ）毎に、撮影データＲ（ｍ）と撮影データＲ（ｎ）を取り出すと、計算対象範囲の各点（四隅座標及びＤＥＭ解像度で決定する座標（ｂ，ｌ））とその周囲での、撮影データＲ（ｍ）が示す画像と撮影データＲ（ｎ）が示す画像間の一致度を示す正規化相関値ｃｏｒ（ａ（ｂ，ｌ））をそれぞれ算出する。正規化相関値ｃｏｒ（ａ（ｂ，ｌ））は、０〜１の範囲の値である。
正規化相関値ｃｏｒ（ａ（ｂ，ｌ））の算出処理自体は、公知の技術であるため詳細な説明を省略するが、撮影データＲ（ｍ）が示す画像と、撮影データＲ（ｎ）が示す画像との正規化相関値ｃｏｒ（ａ（ｂ，ｌ））だけでなく、撮影データＲ（ｍ）が示す画像と、撮影データＲ（ｎ）が示す画像をＸ，Ｙ方向（上下左右方向）に±ｅピクセル（例えば、ｅ＝２）動かした画像との正規化相関値ｃｏｒ（ａ（ｂ，ｌ））を算出する。
そして、それらの正規化相関値ｃｏｒ（ａ（ｂ，ｌ））の中で、最も大きな正規化相関値ｃｏｒ（ａ（ｂ，ｌ））を、その撮影データＲ（ｍ）が示す画像と撮影データＲ（ｎ）が示す画像との正規化相関値ｃｏｒ（ａ（ｂ，ｌ））とする。
図２は撮影データＲ（ｎ）が示す画像をＸ，Ｙ方向に±ｅピクセル動かして、正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が最も大きくなる位置を探索している様子を示す説明図である。
【００２８】
画像探索部４は、ステレオペアＳＰ（ａ）毎および計算対象範囲の各点（ｂ，ｌ）毎に正規化相関値ｃｏｒ（ａ（ｂ，ｌ））を算出すると、その正規化相関値ｃｏｒ（ａ（ｂ，ｌ））を所定の閾値βと比較し、その正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が閾値β未満のステレオペアＳＰ（ａ）を除外して、その正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が閾値β以上のステレオペアＳＰ（ａ）だけを残し、残したステレオペアＳＰ（ａ）をグルーピング部５に出力する。また、残したステレオペアＳＰ（ａ）に係る最も大きな正規化相関値ｃｏｒ（ａ（ｂ，ｌ））をグルーピング部５に出力する。
これにより、計算対象範囲の各点（ｂ，ｌ）につき画像の一致度が高いステレオペアＳＰ（ａ）に絞り込まれることになる。
なお、画像探索部４は、正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が閾値β以上のステレオペアＳＰ（ａ）を出力する際、図示せぬＤＥＭ計算処理部が、一致度が高い画像を用いて、ＤＥＭの計算を行えるようにするため、正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が最も大きくなる撮影データＲ（ｎ）の位置を示す情報を図示せぬＤＥＭ計算処理部に出力するようにしてもよい。
【００２９】
グルーピング部５は、画像探索部４から１以上のステレオペアＳＰ（ａ）（正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が閾値β以上のステレオペアＳＰ（ａ））と、それらのステレオペアＳＰ（ａ）の正規化相関値ｃｏｒ（ａ（ｂ，ｌ））とを受けると、その正規化相関値ｃｏｒ（ａ（ｂ，ｌ））を基準にして、それらのステレオペアＳＰ（ａ）をグループ分けする。
例えば、正規化相関値を０．０５刻みにして、正規化相関値が０．９５以上のグループ、正規化相関値が０．９以上０．９５未満のグループ、正規化相関値が０．９未満のグループなどに、各ステレオペアＳＰ（ａ）を分類する。
【００３０】
時刻比較部６は、グルーピング部５が各ステレオペアＳＰ（ａ）をグループ分けすると、グループ毎に、当該グループに属している１以上のステレオペアＳＰ（ａ）を構成している２つのシーンデータＳ（ｉ）に含まれている画像の撮影時刻ｔ（ｉ）を比較して、最も新しい撮影時刻ｔｎｅｗを特定する。
時刻比較部６は、各グループにおいて、最も新しい撮影時刻ｔｎｅｗを特定すると、各グループにおける最も新しい撮影時刻ｔｎｅｗを比較して、その撮影時刻ｔｎｅｗが新しい順に各グループを並べて、各グループの並び順を出力する。
【００３１】
ただし、複数のグループにおいて、最も新しい撮影時刻ｔｎｅｗが同じである場合、属しているステレオペアＳＰ（ａ）の個数が多い方のグループを優先して、そのグループの並び順を先にする。
なお、属しているステレオペアＳＰ（ａ）の個数も同じであれば、グルーピング部５から出力された時点の並び順を保持するものとする。
時刻比較部６は、各グループの並び順を示すグループリストＧＬを時差計算部７に出力する。
【００３２】
時差計算部７は、時刻比較部６からグループリストＧＬを受けると、そのグループリストＧＬを参照して、並び順が最も先のグループ（並び順が１番目のグループ）を認識し、そのグループに属しているステレオペアＳＰ（ａ）毎に、当該ステレオペアＳＰ（ａ）を構成しているシーンデータＳ（ｍ），Ｓ（ｎ）に含まれている画像の撮影時刻ｔ（ｍ），ｔ（ｎ）の時差Δｔを算出する。
Δｔ＝｜ｔ（ｍ）−ｔ（ｎ）｜                              （３）
時差計算部７は、並び順が１番目のグループに属しているステレオペアＳＰ（ａ）毎に撮影時刻ｔ（ｍ），ｔ（ｎ）の時差Δｔを算出すると、その時差Δｔが小さい順に各ステレオペアＳＰ（ａ）を並べて、各ステレオペアＳＰ（ａ）の並び順を示すステレオペアリストＳＰＬを生成する。
【００３３】
次に、時差計算部７は、グループリストＧＬを参照して、並び順が２番目のグループを認識し、２番目のグループについても、１番目のグループの場合と同様に、２番目のグループに属している各ステレオペアＳＰ（ａ）を時差Δｔが小さい順に並べ、先に生成しているステレオペアリストＳＰＬが示すステレオペアＳＰ（ａ）の並び順の一番後ろに、２番目のグループに属している各ステレオペアＳＰ（ａ）の並び順を追加する。
グループリストＧＬが示す３番目以降のグループについても、並び順が先のグループから順番に、上記と同様の処理を実施することで、３番目以降のグループに属している各ステレオペアＳＰ（ａ）の並び順を先に生成しているステレオペアリストＳＰＬの後ろに追加する。
【００３４】
これにより、並び順が先のグループ（画像の一致度が高いステレオペアＳＰ（ａ）が属しているグループ）に属しているステレオペアＳＰ（ａ）の並び順が先になり、また、同じグループに属しているステレオペアＳＰ（ａ）については、撮影時刻ｔ（ｍ），ｔ（ｎ）の時差Δｔが小さいステレオペアＳＰ（ａ）ほど並び順が先になることを示すステレオペアリストＳＰＬが最終的に生成されて、そのステレオペアリストＳＰＬが時差計算部７から図示せぬＤＥＭ計算処理部に出力される。
ＤＥＭ計算処理部は、ステレオペアリストＳＰＬが示す並び順が先のステレオペアＳＰ（ａ）を優先的に使用して、ＤＥＭを計算することで、ＤＥＭの計算精度を高めることができる。
【００３５】
以上で明らかなように、この実施の形態１によれば、シーンデータ格納部１により格納されている複数のシーンデータＳ（ｉ）に含まれている撮影方向ｄ（ｉ）を用いて、各々のシーンデータＳ（ｉ）に係る画像間の撮影視差Ｐ（ｍ，ｎ）を算出し、複数のシーンデータＳ（ｉ）の中から、画像間の撮影視差Ｐ（ｍ，ｎ）が所定範囲内に含まれているシーンデータＳ（ｍ），Ｓ（ｎ）の組をステレオペアＳＰ（ａ）として検索する視差計算部３を設け、画像探索部４が、視差計算部３により検索されたステレオペアＳＰ（ａ）毎に、当該ステレオペアＳＰ（ａ）を構成しているシーンデータＳ（ｍ），Ｓ（ｎ）に含まれている撮影データＧ（ｍ），Ｇ（ｎ）が示す画像間の正規化相関値ｃｏｒ（ａ（ｂ，ｌ））をＤＥＭ計算対象範囲内の各点（ｂ，ｌ）毎に算出し、その正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が閾値β未満のステレオペアＳＰ（ａ）を除外して、その正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が閾値β以上のステレオペアＳＰ（ａ）だけを残すように構成したので、ＤＥＭの計算精度を高めることが可能なステレオペアを選別することができる効果を奏する。
即ち、２枚の画像間の撮影視差が適正であって、２枚の画像間の一致度が高いステレオペアを計算対象範囲の各点毎に選別することができる効果を奏する。
【００３６】
また、この実施の形態１によれば、画像探索部４により残されたステレオペアＳＰ（ａ）の正規化相関値ｃｏｒ（ａ（ｂ，ｌ））を基準にして、ステレオペアＳＰ（ａ）をグループ分けするグルーピング部５と、グループ毎に、当該グループに属している１以上のステレオペアＳＰ（ａ）を構成している２つのシーンデータＳ（ｉ）に含まれている画像の撮影時刻ｔ（ｉ）を比較して、最も新しい撮影時刻ｔｎｅｗを特定するとともに、各グループにおける最も新しい撮影時刻ｔｎｅｗを比較して、その撮影時刻ｔｎｅｗが新しい順に各グループを並べて、各グループの並び順を出力する時刻比較部６とを設け、時差計算部７が、時刻比較部６から出力された並び順が先のグループから順番に、当該グループに属しているステレオペアＳＰ（ａ）毎に、当該ステレオペアＳＰ（ａ）を構成しているシーンデータＳ（ｍ），Ｓ（ｎ）に含まれている画像の撮影時刻ｔ（ｍ），ｔ（ｎ）の時差Δｔを算出し、その時差Δｔが小さい順に各ステレオペアＳＰ（ａ）を並べて、各ステレオペアＳＰ（ａ）の並び順を出力するように構成したので、２枚の画像の撮影時間の時差が短いステレオペアを選別することができる効果を奏する。
【００３７】
実施の形態２．
図３はこの発明の実施の形態２によるステレオペア決定装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
領域分割部１１は計算対象範囲（指定領域）を示す計算対象範囲情報を入力すると、その計算対象範囲情報が示す計算対象範囲を分割して、分割後の計算対象範囲を示す計算対象範囲情報を情報入力部２に与える処理を実施する。なお、領域分割部１１は指定領域分割手段を構成している。
【００３８】
図３の例では、ステレオペア決定装置の構成要素であるシーンデータ格納部１、情報入力部２、視差計算部３、画像探索部４、グルーピング部５、時刻比較部６、時差計算部７及び領域分割部１１のそれぞれが専用のハードウェアで構成されている（シーンデータ格納部１以外の各構成要素は、例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている）ものを想定しているが、ステレオペア決定装置がコンピュータで構成されていてもよい。
ステレオペア決定装置がコンピュータで構成されている場合、シーンデータ格納部１をコンピュータのメモリ上に構成するとともに、情報入力部２、視差計算部３、画像探索部４、グルーピング部５、時刻比較部６、時差計算部７及び領域分割部１１の処理内容を記述しているステレオペア決定プログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているステレオペア決定プログラムを実行するようにすればよい。
【００３９】
上記実施の形態１では、画像探索部４が、シーンデータＳ（ｍ），Ｓ（ｎ）に含まれている撮影データＧ（ｍ），Ｇ（ｎ）の中から、情報入力部２により入力された計算対象範囲情報が示す計算対象範囲を撮影している部分の撮影データＲ（ｍ），Ｒ（ｎ）を取り出すようにしている例を示したが、その計算対象範囲情報が示す計算対象範囲が広すぎる場合、撮影データＲ（ｍ）が示す画像と、撮影データＲ（ｎ）が示す画像とのマッチング精度が悪くなるため、正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が小さくなり、適正なステレオペアＳＰ（ａ）を選別できなくなる可能性がある。
【００４０】
そこで、この実施の形態２では、領域分割部１１が、外部から入力された計算対象範囲情報が示す計算対象範囲が予め設定された範囲より広い場合、その計算対象範囲が予め設定された範囲より小さくなるように、その計算対象範囲を分割し、分割後の計算対象範囲を示す計算対象範囲情報を情報入力部２に与える。
情報入力部２から時差計算部７に至る処理内容は上記実施の形態１と同様であり、領域分割部１１は、時差計算部７から分割後の計算対象範囲に係るステレオペアリストＳＰＬが出力されると、そのステレオペアリストＳＰＬを図示せぬＤＥＭ計算処理部に出力する。
なお、領域分割部１１は、時差計算部７から分割後の計算対象範囲に係るステレオペアリストＳＰＬを受ける毎に、そのステレオペアリストＳＰＬを図示せぬＤＥＭ計算処理部に出力するようにしてよいが、全計算対象範囲情報分のステレオペアリストＳＰＬが集まってから、分割後の計算対象範囲に係るステレオペアリストＳＰＬをパラレルで図示せぬＤＥＭ計算処理部に出力するようにしてもよい。
【００４１】
以上で明らかなように、この実施の形態２によれば、領域分割部１１が、外部から入力された計算対象範囲情報が示す計算対象範囲を分割して、分割後の計算対象範囲を示す計算対象範囲情報を情報入力部２に与えるように構成したので、外部から入力された計算対象範囲情報が示す計算対象範囲が広すぎる場合でも、適正なステレオペアＳＰ（ａ）を選別することができる効果を奏する。
【００４２】
実施の形態３．
図４はこの発明の実施の形態３によるステレオペア決定装置を示す構成図であり、図において、図１及び図３と同一符号は同一または相当部分を示すので説明を省略する。
計算対象範囲設定部１２はシーンデータ格納部１により格納されている複数のシーンデータＳ（ｉ）の中で、最も新しく撮影された撮影データＧｎｅｗ（ｉ）を含んでいるシーンデータＳｎｅｗ（ｉ）を特定して、そのシーンデータＳｎｅｗ（ｉ）に含まれている撮影データＧｎｅｗ（ｉ）が示す画像の範囲を計算対象範囲（指定領域）に設定し、その計算対象範囲を示す計算対象範囲情報を情報入力部２に与える処理を実施する。なお、計算対象範囲設定部１２は指定領域設定手段を構成している。
【００４３】
図４の例では、ステレオペア決定装置の構成要素であるシーンデータ格納部１、情報入力部２、視差計算部３、画像探索部４、グルーピング部５、時刻比較部６、時差計算部７及び計算対象範囲設定部１２のそれぞれが専用のハードウェアで構成されている（シーンデータ格納部１以外の各構成要素は、例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている）ものを想定しているが、ステレオペア決定装置がコンピュータで構成されていてもよい。
ステレオペア決定装置がコンピュータで構成されている場合、シーンデータ格納部１をコンピュータのメモリ上に構成するとともに、情報入力部２、視差計算部３、画像探索部４、グルーピング部５、時刻比較部６、時差計算部７及び計算対象範囲設定部１２の処理内容を記述しているステレオペア決定プログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているステレオペア決定プログラムを実行するようにすればよい。
【００４４】
上記実施の形態２では、領域分割部１１が、計算対象範囲を示す計算対象範囲情報を入力すると、その計算対象範囲情報が示す計算対象範囲を分割して、分割後の計算対象範囲を示す計算対象範囲情報を情報入力部２に与えるものを示したが、外部から計算対象範囲情報を入力せずに、計算対象範囲設定部１２が自動的に計算対象範囲を設定するようにしてもよい。
【００４５】
即ち、計算対象範囲設定部１２は、シーンデータ格納部１により格納されている複数のシーンデータＳ（ｉ）に含まれている画像の撮影時刻ｔ（ｉ）を比較して、最も新しく撮影された撮影データＧｎｅｗ（ｉ）を含んでいるシーンデータＳｎｅｗ（ｉ）を特定する。
計算対象範囲設定部１２は、シーンデータＳｎｅｗ（ｉ）を特定すると、そのシーンデータＳｎｅｗ（ｉ）に含まれている撮影データＧｎｅｗ（ｉ）が示す画像の範囲を計算対象範囲に設定し、その計算対象範囲を示す計算対象範囲情報を情報入力部２に与える。
計算対象範囲設定部１２以外の処理内容は、上記実施の形態２と同様である。
これにより、自動的に計算対象範囲を適正な範囲に設定して、適正なステレオペアＳＰ（ａ）を選別することができる。
【００４６】
実施の形態４．
図５はこの発明の実施の形態４によるステレオペア決定装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
画像探索部２０は図１の画像探索部４と同様の処理を実施するが、正規化相関値ｃｏｒ（ａ（ｂ，ｌ））と閾値βを比較して、正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が閾値β未満のステレオペアＳＰ（ａ）を除外する際に、ステレオペアＳＰ（ａ）を構成している２つのシーンデータＳ（ｍ），Ｓ（ｎ）に含まれている画像の撮影時刻ｔ（ｍ），ｔ（ｎ）の中で古い方の撮影時刻ｔｏｌｄと、シーンデータ格納部１により格納されている複数のシーンデータ（ｉ）に含まれている画像の撮影時刻ｔ（ｉ）の中で最も新しい撮影時刻ｔｎｅｗとの時刻差Δｔが大きい程、大きな閾値βを設定する処理を実施する。なお、画像探索部２０はステレオペア選別手段を構成している。
【００４７】
図５の例では、ステレオペア決定装置の構成要素であるシーンデータ格納部１、情報入力部２、視差計算部３、画像探索部２０、グルーピング部５、時刻比較部６及び時差計算部７のそれぞれが専用のハードウェアで構成されている（シーンデータ格納部１以外の各構成要素は、例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されている）ものを想定しているが、ステレオペア決定装置がコンピュータで構成されていてもよい。
ステレオペア決定装置がコンピュータで構成されている場合、シーンデータ格納部１をコンピュータのメモリ上に構成するとともに、情報入力部２、視差計算部３、画像探索部２０、グルーピング部５、時刻比較部６及び時差計算部７の処理内容を記述しているステレオペア決定プログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているステレオペア決定プログラムを実行するようにすればよい。
【００４８】
上記実施の形態１〜３では、画像探索部４が、予め設定されている閾値βと正規化相関値ｃｏｒ（ａ（ｂ，ｌ））を比較するものを示したが、画像探索部２０が、その閾値βを下記に示すように設定して、正規化相関値ｃｏｒ（ａ（ｂ，ｌ））と比較するようにしてもよい。
【００４９】
画像探索部２０は、ステレオペアＳＰ（ａ）を構成している一方のシーンデータＳ（ｍ）に含まれている画像の撮影時刻ｔ（ｍ）と、他方のシーンデータＳ（ｎ）に含まれている画像の撮影時刻ｔ（ｎ）とを比較して、古い方の撮影時刻ｔｏｌｄを特定する。
また、画像探索部２０は、シーンデータ格納部１により格納されている複数のシーンデータＳ（ｉ）に含まれている画像の撮影時刻ｔ（ｉ）を比較して、最も新しい撮影時刻ｔｎｅｗを特定する。
【００５０】
画像探索部２０は、古い方の撮影時刻ｔｏｌｄと最も新しい撮影時刻ｔｎｅｗを特定すると、下記の式（４）に示すように、それらの時刻の時刻差Δｔを算出する。
Δｔ＝ｔｎｅｗ−ｔｏｌｄ                                      （４）
画像探索部２０は、時刻差Δｔを算出すると、時刻差Δｔに対して単調に増加する閾値関数β（Δｔ）を用いて、その時刻差Δｔが大きい程、大きな閾値βを設定する。
【００５１】
正規化相関値ｃｏｒ（ａ（ｂ，ｌ））と閾値βの比較処理は、図１の画像探索部４と同様であるが、古い方の撮影時刻ｔｏｌｄと最も新しい撮影時刻ｔｎｅｗとの時刻差Δｔが大きい程、大きな閾値βが設定されるため、正規化相関値ｃｏｒ（ａ（ｂ，ｌ））が閾値β未満であるとして、ステレオペアＳＰ（ａ）から除外される確率が高まり、より適正である可能性が高いステレオペアＳＰ（ａ）だけが残るようになる。
【００５２】
実施の形態５．
上記実施の形態１〜４では、視差計算部３の後ろに画像探索部４（または、画像探索部２０）が設置されているものを示したが、図６に示すように、画像探索部４（または、画像探索部２０）が視差計算部３の前に設置されていてもよく、上記実施の形態１〜４と同様の効果を奏することができる。
【００５３】
また、上記実施の形態１〜４では、時刻比較部６の後ろに時差計算部７が設置されているものを示したが、図７に示すように、時差計算部７が時刻比較部６の前に設置されていてもよく、上記実施の形態１〜４と同様の効果を奏することができる。
【００５４】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００５５】
１  シーンデータ格納部（シーンデータ格納手段）、２  情報入力部、３  視差計算部（ステレオペア検索手段）、４，２０  画像探索部（ステレオペア選別手段）、５  グルーピング部（グルーピング手段）、６  時刻比較部（グループソート手段）、７  時差計算部（ステレオペアソート手段）、１１  領域分割部（指定領域分割手段）、１２  計算対象範囲設定部（指定領域設定手段）。
【図１】
2014186476.tif 000004
【図２】
2014186476.tif 000005
【図３】
2014186476.tif 000006
【図４】
2014186476.tif 000007
【図５】
2014186476.tif 000008
【図６】
2014186476.tif 000009
【図７】
2014186476.tif 000010
【図８】
2014186476.tif 000011