(57)【要約】【課題】異なる位置から撮影された複数枚の画像から１枚の高精度な画像を取得することができるようにする。【解決手段】リサンプリング演算部５が、最近傍視線ベクトル決定部３により特定された画像Ａに係る４つの画素の視線ベクトルＶ１〜Ｖ４及び画像Ｂに係る４つの画素の視線ベクトルＶ１〜Ｖ４のうち、参照画像番号選択部４から出力された参照画像番号が示す画像（画像Ａ、または、画像Ｂ）に対応する４つの画素の視線ベクトルＶ１〜Ｖ４の比率ｔ１，ｔ２を求め、その比率ｔ１，ｔ２と参照画像番号が示す画像（画像Ａ、または、画像Ｂ）に対応する４つの画素の画素値Ｓ１〜Ｓ４から、任意の地点Ｐの画素値Ｓ０を算出する。【選択図】図１
2013242772.tif 000002
【特許請求の範囲】
【請求項１】
所定の緯度経度の間隔で離散している各地点の標高を示す標高データを用いて、離散している複数の地点間の標高を補間演算し、緯度・経度・標高の情報からなる３次元データを生成する３次元データ生成手段と、
上記３次元データ生成手段により生成された３次元データを参照して、任意の地点を中心とする局所領域の地形の傾きを示す法線ベクトルを算出する法線ベクトル算出手段と、
異なる位置から撮影された各々の画像毎に、当該画像を撮影しているセンサからセンサ情報を入力し、上記センサ情報に含まれている当該画像を構成している各画素の視線ベクトルの中から、上記任意の地点の周辺に位置している４つの画素の視線ベクトルを特定するとともに、上記４つの画素の視線ベクトルの中で、上記任意の地点から最も近い位置の画素の視線ベクトルを最近傍視線ベクトルに決定する最近傍視線ベクトル決定手段と、
上記最近傍視線ベクトル決定手段により画像毎に決定された最近傍視線ベクトルの中で、上記法線ベクトル算出手段により算出された法線ベクトルと最も近い最近傍視線ベクトルを特定し、上記最近傍視線ベクトルに対応する画像を特定する画像特定手段と、
上記最近傍視線ベクトル決定手段により画像毎に特定された４つの画素の視線ベクトルのうち、上記画像特定手段により特定された画像に対応する４つの画素の視線ベクトルの比率を求め、上記比率と上記４つの画素の画素値から、上記任意の地点の画素値を算出する画素値算出手段と
を備えた空撮画像合成装置。
【請求項２】
所定の緯度経度の間隔で離散している各地点の標高を示す標高データを用いて、離散している複数の地点間の標高を補間演算し、緯度・経度・標高の情報からなる３次元データを生成する３次元データ生成手段と、
上記３次元データ生成手段により生成された３次元データを参照して、任意の地点を中心とする局所領域の地形の傾きを示す法線ベクトルを算出する法線ベクトル算出手段と、
異なる位置から撮影された各々の画像毎に、当該画像を撮影しているセンサからセンサ情報を入力し、上記センサ情報に含まれている当該画像を構成している各画素の視線ベクトルの中から、上記任意の地点の周辺に位置している４つの画素の視線ベクトルを特定するとともに、上記４つの画素の視線ベクトルの中で、上記任意の地点から最も近い位置の画素の視線ベクトルを最近傍視線ベクトルに決定する最近傍視線ベクトル決定手段と、
上記最近傍視線ベクトル決定手段により画像毎に決定された最近傍視線ベクトルの中で、上記法線ベクトル算出手段により算出された法線ベクトルと最も近い最近傍視線ベクトルを特定し、上記最近傍視線ベクトルに対応する画像を示す画像番号を画像番号メモリに格納する画像特定手段と、
異なる位置から撮影された各々の画像毎に、上記最近傍視線ベクトル決定手段により特定された４つの画素の視線ベクトルの比率を求め、上記比率と上記４つの画素の画素値から、上記任意の地点の画素値を算出し、上記任意の地点の画素値を当該画像に対応する画像メモリに格納する画素値算出手段と、
上記画像番号メモリに格納されている画像番号が示す画像に対応する上記画像メモリから上記任意の地点の画素値を読み出す画素値読出手段と
を備えた空撮画像合成装置。
【請求項３】
３次元データ生成手段、法線ベクトル算出手段、最近傍視線ベクトル決定手段、画像特定手段及び画素値算出手段がオフラインで処理を実施し、画素値読出手段がオンラインで処理を実施することを特徴とする請求項２記載の空撮画像合成装置。
【請求項４】
所定の緯度経度の間隔で離散している各地点の標高を示す標高データを用いて、離散している複数の地点間の標高を補間演算し、緯度・経度・標高の情報からなる３次元データを生成する３次元データ生成手段と、
上記３次元データ生成手段により生成された３次元データを参照して、任意の地点を中心とする局所領域の地形の傾きを示す法線ベクトルを算出し、上記法線ベクトルをベクトルメモリに格納する法線ベクトル算出手段と、
異なる位置から撮影された各々の画像毎に、当該画像を撮影しているセンサからセンサ情報を入力し、上記センサ情報に含まれている当該画像を構成している各画素の視線ベクトルの中から、上記任意の地点の周辺に位置している４つの画素の視線ベクトルを特定するとともに、上記４つの画素の視線ベクトルの中で、上記任意の地点から最も近い位置の画素の視線ベクトルを最近傍視線ベクトルに決定し、上記最近傍視線ベクトルを上記ベクトルメモリに格納する最近傍視線ベクトル決定手段と、
異なる位置から撮影された各々の画像毎に、上記最近傍視線ベクトル決定手段により特定された４つの画素の視線ベクトルの比率を求め、上記比率と上記４つの画素の画素値から、上記任意の地点の画素値を算出し、上記任意の地点の画素値を当該画像に対応する画像メモリに格納する画素値算出手段と、
上記ベクトルメモリに格納されている各画像に係る最近傍視線ベクトルの中で、上記ベクトルメモリに格納されている法線ベクトルと最も近い最近傍視線ベクトルを特定し、上記最近傍視線ベクトルに対応する画像を特定する画像特定手段と、
上記画像特定手段により特定された画像に対応する上記画像メモリから上記任意の地点の画素値を読み出す画素値読出手段と
を備えた空撮画像合成装置。
【請求項５】
３次元データ生成手段、法線ベクトル算出手段、最近傍視線ベクトル決定手段及び画素値算出手段がオフラインで処理を実施し、画像特定手段及び画素値読出手段がオンラインで処理を実施することを特徴とする請求項４記載の空撮画像合成装置。
【請求項６】
３次元データ生成手段が、所定の緯度経度の間隔で離散している各地点の標高を示す標高データを用いて、離散している複数の地点間の標高を補間演算し、緯度・経度・標高の情報からなる３次元データを生成する３次元データ生成処理ステップと、
法線ベクトル算出手段が、上記３次元データ生成処理ステップで生成された３次元データを参照して、任意の地点を中心とする局所領域の地形の傾きを示す法線ベクトルを算出する法線ベクトル算出処理ステップと、
最近傍視線ベクトル決定手段が、異なる位置から撮影された各々の画像毎に、当該画像を撮影しているセンサからセンサ情報を入力し、上記センサ情報に含まれている当該画像を構成している各画素の視線ベクトルの中から、上記任意の地点の周辺に位置している４つの画素の視線ベクトルを特定するとともに、上記４つの画素の視線ベクトルの中で、上記任意の地点から最も近い位置の画素の視線ベクトルを最近傍視線ベクトルに決定する最近傍視線ベクトル決定処理ステップと、
画像特定手段が、上記最近傍視線ベクトル決定処理ステップで画像毎に決定された最近傍視線ベクトルの中で、上記法線ベクトル算出処理ステップで算出された法線ベクトルと最も近い最近傍視線ベクトルを特定し、上記最近傍視線ベクトルに対応する画像を特定する画像特定処理ステップと、
画素値算出手段が、上記最近傍視線ベクトル決定処理ステップで画像毎に特定された４つの画素の視線ベクトルのうち、上記画像特定処理ステップで特定された画像に対応する４つの画素の視線ベクトルの比率を求め、上記比率と上記４つの画素の画素値から、上記任意の地点の画素値を算出する画素値算出処理ステップと
を備えた空撮画像合成方法。
【請求項７】
３次元データ生成手段が、所定の緯度経度の間隔で離散している各地点の標高を示す標高データを用いて、離散している複数の地点間の標高を補間演算し、緯度・経度・標高の情報からなる３次元データを生成する３次元データ生成処理ステップと、
法線ベクトル算出手段が、上記３次元データ生成処理ステップで生成された３次元データを参照して、任意の地点を中心とする局所領域の地形の傾きを示す法線ベクトルを算出する法線ベクトル算出処理ステップと、
最近傍視線ベクトル決定手段が、異なる位置から撮影された各々の画像毎に、当該画像を撮影しているセンサからセンサ情報を入力し、上記センサ情報に含まれている当該画像を構成している各画素の視線ベクトルの中から、上記任意の地点の周辺に位置している４つの画素の視線ベクトルを特定するとともに、上記４つの画素の視線ベクトルの中で、上記任意の地点から最も近い位置の画素の視線ベクトルを最近傍視線ベクトルに決定する最近傍視線ベクトル決定処理ステップと、
画像特定手段が、上記最近傍視線ベクトル決定処理ステップで画像毎に決定された最近傍視線ベクトルの中で、上記法線ベクトル算出処理ステップで算出された法線ベクトルと最も近い最近傍視線ベクトルを特定し、上記最近傍視線ベクトルに対応する画像を示す画像番号を画像番号メモリに格納する画像特定処理ステップと、
画素値算出手段が、異なる位置から撮影された各々の画像毎に、上記最近傍視線ベクトル決定処理ステップで特定された４つの画素の視線ベクトルの比率を求め、上記比率と上記４つの画素の画素値から、上記任意の地点の画素値を算出し、上記任意の地点の画素値を当該画像に対応する画像メモリに格納する画素値算出処理ステップと、
画素値読出手段が、上記画像番号メモリに格納されている画像番号が示す画像に対応する上記画像メモリから上記任意の地点の画素値を読み出す画素値読出処理ステップと
を備えた空撮画像合成方法。
【請求項８】
３次元データ生成手段が、所定の緯度経度の間隔で離散している各地点の標高を示す標高データを用いて、離散している複数の地点間の標高を補間演算し、緯度・経度・標高の情報からなる３次元データを生成する３次元データ生成処理ステップと、
法線ベクトル算出手段が、上記３次元データ生成処理ステップで生成された３次元データを参照して、任意の地点を中心とする局所領域の地形の傾きを示す法線ベクトルを算出し、上記法線ベクトルをベクトルメモリに格納する法線ベクトル算出処理ステップと、
最近傍視線ベクトル決定手段が、異なる位置から撮影された各々の画像毎に、当該画像を撮影しているセンサからセンサ情報を入力し、上記センサ情報に含まれている当該画像を構成している各画素の視線ベクトルの中から、上記任意の地点の周辺に位置している４つの画素の視線ベクトルを特定するとともに、上記４つの画素の視線ベクトルの中で、上記任意の地点から最も近い位置の画素の視線ベクトルを最近傍視線ベクトルに決定し、上記最近傍視線ベクトルを上記ベクトルメモリに格納する最近傍視線ベクトル決定処理ステップと、
画素値算出手段が、異なる位置から撮影された各々の画像毎に、上記最近傍視線ベクトル決定処理ステップで特定された４つの画素の視線ベクトルの比率を求め、上記比率と上記４つの画素の画素値から、上記任意の地点の画素値を算出し、上記任意の地点の画素値を当該画像に対応する画像メモリに格納する画素値算出処理ステップと、
画像特定手段が、上記ベクトルメモリに格納されている各画像に係る最近傍視線ベクトルの中で、上記ベクトルメモリに格納されている法線ベクトルと最も近い最近傍視線ベクトルを特定し、上記最近傍視線ベクトルに対応する画像を特定する画像特定処理ステップと、
画素値読出手段が、上記画像特定処理ステップで特定された画像に対応する上記画像メモリから上記任意の地点の画素値を読み出す画素値読出処理ステップと
を備えた空撮画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、異なる位置から撮影された複数枚の画像から１枚の高精度な画像を取得する空撮画像合成装置及び空撮画像合成方法に関するものである。
【背景技術】
【０００２】
異なる位置から撮影された複数枚の画像から１枚の高精度な画像を取得する技術として、モザイク合成処理を適用する方法がある。
以下の特許文献１には、モザイク合成処理を適用している空撮画像合成装置が開示されている。
この空撮画像合成装置では、第１の画像と第２の画像から、共通に存在している複数の特徴点を抽出して、その特徴点の移動量を求め、その移動量に基づいて、第１の画像の撮影時のセンサの位置・姿勢情報を第２の画像の撮影時のセンサの位置・姿勢情報に変換する変換パラメータを推定している。
そして、この空撮画像合成装置では、その変換パラメータを用いて、第１の画像及び第２の画像をモザイク画像平面の画像に変換して、画像の貼り合わせを行うようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１９５５４０号公報（段落番号［０００８］）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の空撮画像合成装置は以上のように構成されているので、第１の画像と第２の画像に共通に存在している特徴点の特徴が明瞭であれば、その特徴点の移動量を正確に算出して、変換パラメータの推定精度を高められるが、その特徴点の特徴が不明瞭であるような場合には、その特徴点の移動量を正確に算出することが困難であり、変換パラメータの推定精度も劣化する。このため、モザイク合成処理後の画像の精度が劣化してしまうことがある課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、異なる位置から撮影された複数枚の画像から１枚の高精度な画像を取得することができる空撮画像合成装置及び空撮画像合成方法を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る空撮画像合成装置は、所定の緯度経度の間隔で離散している各地点の標高を示す標高データを用いて、離散している複数の地点間の標高を補間演算し、緯度・経度・標高の情報からなる３次元データを生成する３次元データ生成手段と、３次元データ生成手段により生成された３次元データを参照して、任意の地点を中心とする局所領域の地形の傾きを示す法線ベクトルを算出する法線ベクトル算出手段と、異なる位置から撮影された各々の画像毎に、当該画像を撮影しているセンサからセンサ情報を入力し、そのセンサ情報に含まれている当該画像を構成している各画素の視線ベクトルの中から、任意の地点の周辺に位置している４つの画素の視線ベクトルを特定するとともに、４つの画素の視線ベクトルの中で、任意の地点から最も近い位置の画素の視線ベクトルを最近傍視線ベクトルに決定する最近傍視線ベクトル決定手段と、最近傍視線ベクトル決定手段により画像毎に決定された最近傍視線ベクトルの中で、法線ベクトル算出手段により算出された法線ベクトルと最も近い最近傍視線ベクトルを特定し、その最近傍視線ベクトルに対応する画像を特定する画像特定手段とを設け、画素値算出手段が、最近傍視線ベクトル決定手段により画像毎に特定された４つの画素の視線ベクトルのうち、画像特定手段により特定された画像に対応する４つの画素の視線ベクトルの比率を求め、その比率と４つの画素の画素値から、任意の地点の画素値を算出するようにしたものである。
【発明の効果】
【０００７】
この発明によれば、異なる位置から撮影された各々の画像毎に、当該画像を撮影しているセンサからセンサ情報を入力し、そのセンサ情報に含まれている当該画像を構成している各画素の視線ベクトルの中から、任意の地点の周辺に位置している４つの画素の視線ベクトルを特定するとともに、４つの画素の視線ベクトルの中で、任意の地点から最も近い位置の画素の視線ベクトルを最近傍視線ベクトルに決定する最近傍視線ベクトル決定手段と、最近傍視線ベクトル決定手段により画像毎に決定された最近傍視線ベクトルの中で、法線ベクトル算出手段により算出された法線ベクトルと最も近い最近傍視線ベクトルを特定し、その最近傍視線ベクトルに対応する画像を特定する画像特定手段とを設け、画素値算出手段が、最近傍視線ベクトル決定手段により画像毎に特定された４つの画素の視線ベクトルのうち、画像特定手段により特定された画像に対応する４つの画素の視線ベクトルの比率を求め、その比率と４つの画素の画素値から、任意の地点の画素値を算出するように構成したので、異なる位置から撮影された複数枚の画像から１枚の高精度な画像を取得することができる効果がある。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１による空撮画像合成装置を示す構成図である。
【図２】この発明の実施の形態１による空撮画像合成装置の処理内容（空撮画像合成方法）を示すフローチャートである。
【図３】所定の緯度経度の間隔で離散している各地点の間にある地点Ｆの補間演算処理を示す説明図である。
【図４】地点Ｐを取り囲む位置にある３つの離散点の一例を示す説明図である。
【図５】画像Ａを構成している各画素の中で、地点Ｐの周辺に位置している４つの画素の視線ベクトルＶ１〜Ｖ４の一例を示す説明図である。
【図６】画像Ｂを構成している各画素の中で、地点Ｐの周辺に位置している４つの画素の視線ベクトルＶ１〜Ｖ４の一例を示す説明図である。
【図７】３枚の画像Ａ，Ｂから取得された１枚の高精度な画像の一例を示す説明図である。
【図８】この発明の実施の形態２による空撮画像合成装置を示す構成図である。
【図９】この発明の実施の形態３による空撮画像合成装置を示す構成図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１はこの発明の実施の形態１による空撮画像合成装置を示す構成図である。
図１では、説明の簡単化のために、異なる位置から撮影された画像の枚数が２枚であり、２枚の画像Ａ，Ｂから１枚の高精度な画像を取得する空撮画像合成装置を示しているが、異なる位置から撮影された画像の枚数が３枚以上でもよく、３枚以上の画像から１枚の高精度な画像を取得するようにしてもよい。
【００１０】
図１において、３次元データ生成部１は所定の緯度経度の間隔で離散している各地点の標高を示す標高データを用いて、離散している複数の地点間の標高を補間演算し、緯度・経度・標高の情報からなる３次元データを生成する処理を実施する。なお、３次元データ生成部１は３次元データ生成手段を構成している。
局所傾斜算出部２は３次元データ生成部１により生成された３次元データを参照して、任意の地点Ｐを中心とする局所領域（例えば、（ｍ×ｍ）の領域）の地形の傾きを示す法線ベクトルｎを算出する処理を実施する。なお、局所傾斜算出部２は法線ベクトル算出手段を構成している。
【００１１】
最近傍視線ベクトル決定部３は異なる位置から撮影された画像Ａ，Ｂ毎に、当該画像を撮影しているセンサからセンサ情報を入力し、そのセンサ情報に含まれている当該画像を構成している各画素の視線ベクトルＶの中から、任意の地点Ｐの周辺に位置している４つの画素の視線ベクトルＶ１〜Ｖ４を特定するとともに、４つの画素の視線ベクトルＶ１〜Ｖ４の中で、地点Ｐから最も近い位置の画素の視線ベクトルＶを最近傍視線ベクトルＶnearに決定する処理を実施する。なお、最近傍視線ベクトル決定部３は最近傍視線ベクトル決定手段を構成している。
【００１２】
参照画像番号選択部４は最近傍視線ベクトル決定部３により決定された画像Ａに係る最近傍視線ベクトルＶnearと画像Ｂに係る最近傍視線ベクトルＶnearとの中で、局所傾斜算出部２により算出された法線ベクトルｎに近い方の最近傍視線ベクトルＶnearを特定し、その最近傍視線ベクトルＶnearに対応する画像（画像Ａ、または、画像Ｂ）を示す参照画像番号をリサンプリング演算部５に出力する処理を実施する。なお、参照画像番号選択部４は画像特定手段を構成している。
【００１３】
リサンプリング演算部５は最近傍視線ベクトル決定部３により特定された画像Ａに係る４つの画素の視線ベクトルＶ１〜Ｖ４及び画像Ｂに係る４つの画素の視線ベクトルＶ１〜Ｖ４のうち、参照画像番号選択部４から出力された参照画像番号が示す画像（画像Ａ、または、画像Ｂ）に対応する４つの画素の視線ベクトルＶ１〜Ｖ４の比率ｔ１，ｔ２を求め、その比率ｔ１，ｔ２と参照画像番号が示す画像（画像Ａ、または、画像Ｂ）に対応する４つの画素の画素値Ｓ１〜Ｓ４から、任意の地点Ｐの画素値Ｓ０を算出する処理を実施する。なお、リサンプリング演算部５は画素値算出手段を構成している。
【００１４】
図１では、空撮画像合成装置の構成要素である３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３、参照画像番号選択部４及びリサンプリング演算部５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、空撮画像合成装置の全部又は一部がコンピュータで構成されていてもよい。
例えば、空撮画像合成装置の全部がコンピュータで構成されている場合、３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３、参照画像番号選択部４及びリサンプリング演算部５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による空撮画像合成装置の処理内容（空撮画像合成方法）を示すフローチャートである。
【００１５】
次に動作について説明する。
３次元データ生成部１は、所定の緯度経度の間隔で離散している各地点の標高を示す標高データ（ＤＥＭ：Ｄｉｇｉｔａｌ  Ｅｌｅｖａｔｉｏｎ  Ｍｏｄｅｌ）を入力すると、その標高データを用いて、離散している複数の地点間の標高を補間演算し、緯度・経度・標高の情報からなる３次元データ（ＢＬＨ）を生成する（ステップＳＴ１）。
【００１６】
以下、３次元データ生成部１による標高の補間演算処理を具体的に説明する。
図３は所定の緯度経度の間隔で離散している各地点の間にある地点Ｆの補間演算処理を示す説明図である。
３次元データ生成部１は、図３に示すように、地点Ｆの標高を補間演算で求める場合、標高データに含まれている離散点（所定の緯度経度の間隔で離散している地点）の緯度経度を参照して、地点Ｆを取り囲む位置にある４つの離散点ＢＰ１〜ＢＰ４を特定し、その標高データに含まれている離散点ＢＰ１〜ＢＰ４の標高を取得する。
３次元データ生成部１は、４つの離散点ＢＰ１〜ＢＰ４を特定すると、緯度経度上での地点Ｆと離散点ＢＰ１〜ＢＰ４間の距離を算出する。
【００１７】
３次元データ生成部１は、緯度経度上での地点Ｆと離散点ＢＰ１〜ＢＰ４間の距離を算出すると、地点Ｆと離散点ＢＰ１〜ＢＰ４間の距離と、離散点ＢＰ１〜ＢＰ４の標高とを用いて、例えば、バイリニアやバイキュービックなどの補間方法を実行することで、地点Ｆの標高を算出する。
バイリニアやバイキュービックなどの補間方法は公知の技術であるため詳細な説明は省略する。ここでは、バイリニアやバイキュービックなどの補間方法を実行する例を示しているが、地点Ｆの標高を補間演算できるものであればよく、他の補間方法を実行するようにしてもよいことは言うまでもない。
【００１８】
３次元データ生成部１は、地点Ｆの標高を算出すると、標高データに含まれている複数の離散点及び地点Ｆの緯度・経度・標高の情報からなる３次元データを生成し、その３次元データを局所傾斜算出部２及び最近傍視線ベクトル決定部３に出力する。
ここでは、所定の緯度経度の間隔で離散している各地点の間にある地点Ｆの標高を算出しているが、地点Ｆは、後述するリサンプリング演算部５が画素値Ｓ０を算出する地点Ｐに相当する。
【００１９】
局所傾斜算出部２は、３次元データ生成部１が３次元データを生成すると、その３次元データを参照して、任意の地点Ｐを中心とする局所領域の地形の傾きを示す法線ベクトルｎを算出する（ステップＳＴ２）。
以下、局所傾斜算出部２による法線ベクトルｎの算出処理を具体的に説明する。
【００２０】
まず、局所傾斜算出部２は、３次元データに含まれている離散点の緯度経度を参照して、地点Ｐを取り囲む位置にある３つの離散点を特定する。
ここで、図４は地点Ｐを取り囲む位置にある３つの離散点の一例を示す説明図であり、図４において、斜線が施されている領域が地点Ｐであり、黒色の領域が地点Ｐを取り囲む位置にある３つの離散点である。
図４は、局所領域が（３×３）の領域である例を示しており、図４（ａ）〜（ｄ）の中のいずれかパターンで、３つの離散点を特定すればよい。
【００２１】
局所傾斜算出部２は、地点Ｐを取り囲む位置にある３つの離散点を特定すると、３つの離散点を通る平面の法線ベクトルｎ（局所領域の地形の傾き）を算出する。
即ち、局所傾斜算出部２は、３次元データを参照して、３つの離散点の緯度・経度・標高（ＢＬＨ）を特定し、そのＢＬＨを地球中心直交座標（ＥＣＲ）に変換する。
局所傾斜算出部２は、３つの離散点のＢＬＨを地球中心直交座標（ＥＣＲ）に変換すると、ＥＣＲ上の３つの離散点をＡ（ｘ１，ｙ１，ｚ１），Ｂ（ｘ２，ｙ２，ｚ２），Ｃ（ｘ３，ｙ３，ｚ３）とし、下記の式（１）に示すように、外積を用いて、面ＡＢＣの法線ベクトルｎを算出する。面ＡＢＣの法線ベクトルｎは、３つの離散点を通る平面の法線ベクトルｎに相当する。
ｍ＝ＡＢ×ＡＣ＝（（Ｙ２−Ｙ１）（Ｚ３−Ｚ１）−（Ｙ３−Ｙ１）（Ｚ２−Ｚ１），
（Ｚ２−Ｚ１）（Ｘ３−Ｘ１）−（Ｚ３−Ｚ１）（Ｘ２−Ｘ１），
（Ｘ２−Ｘ１）（Ｙ３−Ｙ１）−（Ｘ３−Ｘ１）（Ｙ２−Ｙ１））
（１）
【００２２】
ここでは、局所領域が（３×３）の領域である例を示したが、これに限るものではなく、例えば、５×５の領域や、１１×１１の領域でもよい。
また、図４（ａ）〜（ｄ）の中のいずれかパターンで、３つの離散点を特定するものを示したが、（ａ）〜（ｄ）の全てのパターンで、３つの離散点を特定して法線ベクトルｎを算出し、全ての法線ベクトルｎの平均値を局所領域の地形の傾きとしてもよい。
【００２３】
最近傍視線ベクトル決定部３は、３次元データ生成部１により生成された３次元データを入力するとともに、異なる位置から撮影された各々の画像を撮影しているセンサからセンサ情報を入力する。
即ち、最近傍視線ベクトル決定部３は、画像Ａを撮影しているセンサからセンサ情報を入力し、画像Ｂを撮影しているセンサからセンサ情報を入力する。
なお、センサ情報には、当該画像を構成している各画素の視線ベクトルＶの情報が含まれている。
因みに、視線ベクトルＶは、センサから地表面に向かうベクトル情報であり、センサにより画像が撮影された際のセンサの撮影位置及び撮影方向から算出され、画像毎に異なる情報である。この視線ベクトルＶの算出はＥＣＲ座標系で行われる。
【００２４】
最近傍視線ベクトル決定部３は、センサ情報を入力すると、画像Ａを構成している各画素の視線ベクトルＶの中から、地点Ｐの周辺に位置している４つの画素の視線ベクトルＶ１〜Ｖ４を特定する（ステップＳＴ３）。
同様に、画像Ｂを構成している各画素の視線ベクトルＶの中から、地点Ｐの周辺に位置している４つの画素の視線ベクトルＶ１〜Ｖ４を特定する（ステップＳＴ３）。
ここで、図５は画像Ａを構成している各画素の中で、地点Ｐの周辺に位置している４つの画素の視線ベクトルＶ１〜Ｖ４の一例を示す説明図である。
図６は画像Ｂを構成している各画素の中で、地点Ｐの周辺に位置している４つの画素の視線ベクトルＶ１〜Ｖ４の一例を示す説明図である。
【００２５】
最近傍視線ベクトル決定部３は、画像Ａにおいて、地点Ｐの周辺に位置している４つの画素の視線ベクトルＶ１〜Ｖ４を特定すると、４つの画素の視線ベクトルＶ１〜Ｖ４の中で、地点Ｐから最も近い位置の画素の視線ベクトルＶを最近傍視線ベクトルＶnearに決定する（ステップＳＴ４）。
同様に、画像Ｂにおいて、地点Ｐの周辺に位置している４つの画素の視線ベクトルＶ１〜Ｖ４を特定すると、４つの画素の視線ベクトルＶ１〜Ｖ４の中で、地点Ｐから最も近い位置の画素の視線ベクトルＶを最近傍視線ベクトルＶnearに決定する（ステップＳＴ４）。
図５の例では、地点Ｐの左上の画素の視線ベクトルＶ１が最近傍視線ベクトルＶnearに決定され、図６の例では、地点Ｐの右下の画素の視線ベクトルＶ４が最近傍視線ベクトルＶnearに決定される。
【００２６】
参照画像番号選択部４は、最近傍視線ベクトル決定部３が画像Ａに係る最近傍視線ベクトルＶnearと画像Ｂに係る最近傍視線ベクトルＶnearとを決定すると、画像Ａに係る最近傍視線ベクトルＶnearと画像Ｂに係る最近傍視線ベクトルＶnearとの中で、局所傾斜算出部２により算出された法線ベクトルｎに近い方の最近傍視線ベクトルＶnearを特定する。
例えば、画像Ａに係る最近傍視線ベクトルＶnearと法線ベクトルｎの内積ＩＰAを算出するとともに、画像Ｂに係る最近傍視線ベクトルＶnearと法線ベクトルｎの内積ＩＰBを算出して、その内積ＩＰAと内積ＩＰBを比較し、その内積ＩＰAが内積ＩＰBより大きければ（ＩＰA≧内積ＩＰB）、画像Ａに係る最近傍視線ベクトルＶnearの方が近いと判断する。
一方、その内積ＩＰAが内積ＩＰBより小さければ（ＩＰA＜内積ＩＰB）、画像Ｂに係る最近傍視線ベクトルＶnearの方が近いと判断する。
【００２７】
参照画像番号選択部４は、法線ベクトルｎに近い方の最近傍視線ベクトルＶnearを特定すると、その最近傍視線ベクトルＶnearに対応する画像（画像Ａ、または、画像Ｂ）を示す参照画像番号をリサンプリング演算部５に出力する（ステップＳＴ５）。
【００２８】
リサンプリング演算部５は、参照画像番号選択部４から出力された参照画像番号が「画像Ａ」を示していれば（ステップＳＴ６）、最近傍視線ベクトル決定部３により特定された画像Ａに係る４つの画素の視線ベクトルＶ１〜Ｖ４の比率ｔ１，ｔ２を求める（ステップＳＴ７）。
一方、参照画像番号選択部４から出力された参照画像番号が「画像Ｂ」を示していれば（ステップＳＴ６）、最近傍視線ベクトル決定部３により特定された画像Ｂに係る４つの画素の視線ベクトルＶ１〜Ｖ４の比率ｔ１，ｔ２を求める（ステップＳＴ８）。
【００２９】
比率ｔ１は、例えば、視線ベクトルＶ１の画素における緯度と視線ベクトルＶ３の画素における緯度との緯度差をＢ13とし、視線ベクトルＶ１の画素における緯度と地点Ｐにおける緯度との緯度差をＢ1Pとすれば、下記の式（２）から算出することができる。
ｔ１＝Ｂ1P／Ｂ13                                      （２）
また、比率ｔ２は、例えば、視線ベクトルＶ１の画素における経度と視線ベクトルＶ２の画素における経度との経度差をＬ12とし、視線ベクトルＶ１の画素における経度と地点Ｐにおける経度との経度差をＬ1Pとすれば、下記の式（３）から算出することができる。
ｔ２＝Ｌ1P／Ｌ13                                      （３）
【００３０】
参照画像番号選択部４は、視線ベクトルＶ１〜Ｖ４の比率ｔ１，ｔ２を求めると、参照画像番号が「画像Ａ」を示していれば、下記の式（４）に示すように、画像Ａに係る４つの画素の画素値Ｓ１〜Ｓ４と比率ｔ１，ｔ２から地点Ｐの画素値Ｓ０を算出する（ステップＳＴ９）。
一方、参照画像番号が「画像Ｂ」を示していれば、下記の式（４）に示すように、画像Ｂに係る４つの画素の画素値Ｓ１〜Ｓ４と比率ｔ１，ｔ２から地点Ｐの画素値Ｓ０を算出する（ステップＳＴ１０）。
Ｓ０＝（Ｓ１−Ｓ２−Ｓ３＋Ｓ４）×ｔ１×ｔ２＋（Ｓ３−Ｓ１）×ｔ１＋（Ｓ２−Ｓ１）×ｔ２＋Ｓ１                                          （４）
【００３１】
これにより、地点Ｐの画素値Ｓ０は、画像Ａを構成している画素の画素値Ｓ１〜Ｓ４、または、画像Ｂを構成している画素の画素値Ｓ１〜Ｓ４による補間演算結果（高精度な画像の画素値）として出力される。
ここでは、リサンプリング演算部５の補間演算がバイキュービック法である例を示しているが、これは一例に過ぎず、他の方法で補間演算を行うようにしてもよい。
【００３２】
この実施の形態１では、２枚の画像Ａ，Ｂから１枚の高精度な画像を取得する例を示したが、上述したように、画像の枚数が３枚以上でもよい。
ここで、図７は３枚の画像Ａ，Ｂ，Ｃから取得された１枚の高精度な画像の一例を示す説明図である。
図７の例では、任意の地点Ｐの画素値Ｓ０が、画像Ａを構成している画素の画素値Ｓ１〜Ｓ４から補間演算された場合、地点Ｐを黒色で表記し、画像Ｂを構成している画素の画素値Ｓ１〜Ｓ４から補間演算された場合、地点Ｐを灰色で表記し、画像Ｃを構成している画素の画素値Ｓ１〜Ｓ４から補間演算された場合、地点Ｐを白色で表記している。
【００３３】
以上で明らかなように、この実施の形態１によれば、異なる位置から撮影された画像Ａ，Ｂ毎に、当該画像を撮影しているセンサからセンサ情報を入力し、そのセンサ情報に含まれている当該画像を構成している各画素の視線ベクトルＶの中から、任意の地点Ｐの周辺に位置している４つの画素の視線ベクトルＶ１〜Ｖ４を特定するとともに、４つの画素の視線ベクトルＶ１〜Ｖ４の中で、地点Ｐから最も近い位置の画素の視線ベクトルＶを最近傍視線ベクトルＶnearに決定する最近傍視線ベクトル決定部３と、最近傍視線ベクトル決定部３によりに決定された画像Ａに係る最近傍視線ベクトルＶnearと画像Ｂに係る最近傍視線ベクトルＶnearとの中で、局所傾斜算出部２により算出された法線ベクトルｎに近い方の最近傍視線ベクトルＶnearを特定し、その最近傍視線ベクトルＶnearに対応する画像（画像Ａ、または、画像Ｂ）を示す参照画像番号をリサンプリング演算部５に出力する参照画像番号選択部４とを設け、リサンプリング演算部５が、最近傍視線ベクトル決定部３により特定された画像Ａに係る４つの画素の視線ベクトルＶ１〜Ｖ４及び画像Ｂに係る４つの画素の視線ベクトルＶ１〜Ｖ４のうち、参照画像番号選択部４から出力された参照画像番号が示す画像（画像Ａ、または、画像Ｂ）に対応する４つの画素の視線ベクトルＶ１〜Ｖ４の比率ｔ１，ｔ２を求め、その比率ｔ１，ｔ２と参照画像番号が示す画像（画像Ａ、または、画像Ｂ）に対応する４つの画素の画素値Ｓ１〜Ｓ４から、任意の地点Ｐの画素値Ｓ０を算出するように構成したので、異なる位置から撮影された２枚の画像Ａ，Ｂから１枚の高精度な画像を取得することができる効果を奏する。
【００３４】
実施の形態２．
図８はこの発明の実施の形態２による空撮画像合成装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
画像番号メモリ１１は例えばＲＡＭやハードディスクなどの記録媒体から構成されており、参照画像番号選択部４から出力された参照画像番号を格納する。
【００３５】
リサンプリング演算部１２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、最近傍視線ベクトル決定部３により特定された画像Ａに係る４つの画素の視線ベクトルＶ１〜Ｖ４の比率ｔ１，ｔ２を求め、その比率ｔ１，ｔ２と上記４つの画素の画素値Ｓ１〜Ｓ４から任意の地点Ｐの画素値Ｓ０を算出し、地点Ｐの画素値Ｓ０を画像Ａに対応する画像メモリ１３に格納する処理を実施する。
また、最近傍視線ベクトル決定部３により特定された画像Ｂに係る４つの画素の視線ベクトルＶ１〜Ｖ４の比率ｔ１，ｔ２を求め、その比率ｔ１，ｔ２と上記４つの画素の画素値Ｓ１〜Ｓ４から任意の地点Ｐの画素値Ｓ０を算出し、地点Ｐの画素値Ｓ０を画像Ｂに対応する画像メモリ１４に格納する処理を実施する。
なお、リサンプリング演算部１２は画素値算出手段を構成している。
【００３６】
画像メモリ１３は画像Ａに対応するメモリであり、リサンプリング演算部１２により算出された地点Ｐの画素値Ｓ０を格納する。
画像メモリ１４は画像Ｂに対応するメモリであり、リサンプリング演算部１２により算出された地点Ｐの画素値Ｓ０を格納する。
画像メモリ１３，１４は、例えばＲＡＭやハードディスクなどの記録媒体から構成されている。
【００３７】
画素値読出部１５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、画像番号メモリ１１に格納されている参照画像番号が「画像Ａ」を示していれば、画像メモリ１３から地点Ｐの画素値Ｓ０を読み出し、その参照画像番号が「画像Ｂ」を示していれば、画像メモリ１４から地点Ｐの画素値Ｓ０を読み出す処理を実施する。なお、画素値読出部１５は画素値読出手段を構成している。
【００３８】
図８では、空撮画像合成装置の構成要素である３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３、参照画像番号選択部４、画像番号メモリ１１、リサンプリング演算部１２、画像メモリ１３，１４及び画素値読出部１５のそれぞれが専用のハードウェアで構成されているものを想定しているが、空撮画像合成装置の全部又は一部がコンピュータで構成されていてもよい。
例えば、空撮画像合成装置の全部がコンピュータで構成されている場合、画像番号メモリ１１及び画像メモリ１３，１４をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３、参照画像番号選択部４、リサンプリング演算部１２及び画素値読出部１５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
【００３９】
次に動作について説明する。
ただし、３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３及び参照画像番号選択部４の処理内容は、上記実施の形態１と同様であるため、主にリサンプリング演算部１２及び画素値読出部１５の処理内容を説明する。
上記実施の形態１では、参照画像番号選択部４から出力された参照画像番号が、リサンプリング演算部５に入力されていたが、この実施の形態２では、参照画像番号選択部４から出力された参照画像番号が画像番号メモリ１１に格納される。
【００４０】
また、上記実施の形態１では、リサンプリング演算部５が、最近傍視線ベクトル決定部３により特定された画像Ａに係る４つの画素の視線ベクトルＶ１〜Ｖ４及び画像Ｂに係る４つの画素の視線ベクトルＶ１〜Ｖ４のうち、参照画像番号選択部４から出力された参照画像番号が示す画像（画像Ａ、または、画像Ｂ）に対応する４つの画素の視線ベクトルＶ１〜Ｖ４の比率ｔ１，ｔ２を求め、その比率ｔ１，ｔ２と参照画像番号が示す画像（画像Ａ、または、画像Ｂ）に対応する４つの画素の画素値Ｓ１〜Ｓ４から、任意の地点Ｐの画素値Ｓ０を算出するようにしていたが、この実施の形態２では、リサンプリング演算部１２が、参照画像番号選択部４から出力された参照画像番号とは関係なく、地点Ｐの画素値Ｓ０を算出する。
【００４１】
即ち、リサンプリング演算部１２は、最近傍視線ベクトル決定部３から画像Ａに係る４つの画素の視線ベクトルＶ１〜Ｖ４を受けると、図１のリサンプリング演算部５と同様の方法で、その視線ベクトルＶ１〜Ｖ４の比率ｔ１，ｔ２を求め、その比率ｔ１，ｔ２と上記４つの画素の画素値Ｓ１〜Ｓ４を上記の式（４）に代入することで、地点Ｐの画素値Ｓ０を算出し、地点Ｐの画素値Ｓ０を画像Ａに対応する画像メモリ１３に格納する。
また、リサンプリング演算部１２は、最近傍視線ベクトル決定部３から画像Ｂに係る４つの画素の視線ベクトルＶ１〜Ｖ４を受けると、図１のリサンプリング演算部５と同様の方法で、その視線ベクトルＶ１〜Ｖ４の比率ｔ１，ｔ２を求め、その比率ｔ１，ｔ２と上記４つの画素の画素値Ｓ１〜Ｓ４を上記の式（４）に代入することで、地点Ｐの画素値Ｓ０を算出し、地点Ｐの画素値Ｓ０を画像Ａに対応する画像メモリ１４に格納する。
これにより、画像メモリ１３には、画像Ａを構成している画素の画素値Ｓ１〜Ｓ４から補間演算された地点Ｐの画素値Ｓ０が格納され、画像メモリ１４には、画像Ｂを構成している画素の画素値Ｓ１〜Ｓ４から補間演算された地点Ｐの画素値Ｓ０が格納される。
【００４２】
この実施の形態２では、３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３、参照画像番号選択部４及びリサンプリング演算部１２がオフラインで処理を実施し、後述する画素値読出部１５がオンラインで処理を実施する。
【００４３】
画素値読出部１５は、オフライン処理で、地点Ｐの画素値Ｓ０が画像メモリ１３，１４に格納されたのち、実際に高精度な画像を読み出す必要が生じると、画像番号メモリ１１に格納されている参照画像番号の中から、任意の地点Ｐに対応する参照画像番号を読み出し、その参照画像番号が「画像Ａ」を示していれば、画像メモリ１３から地点Ｐの画素値Ｓ０の読み出しを行う。
一方、地点Ｐに対応する参照画像番号が「画像Ｂ」を示していれば、画像メモリ１４から地点Ｐの画素値Ｓ０の読み出しを行う。
画素値読出部１５により読み出された地点Ｐの画素値Ｓ０は、高精度な画像の画素値として出力される。
【００４４】
以上で明らかなように、この実施の形態２によれば、画素値読出部１５が、画像番号メモリ１１に格納されている参照画像番号が「画像Ａ」を示していれば、画像メモリ１３から地点Ｐの画素値Ｓ０を読み出し、その参照画像番号が「画像Ｂ」を示していれば、画像メモリ１４から地点Ｐの画素値Ｓ０を読み出すように構成したので、上記実施の形態１と同様に、異なる位置から撮影された２枚の画像Ａ，Ｂから１枚の高精度な画像を取得することができる効果を奏する。
【００４５】
また、この実施の形態２によれば、３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３、参照画像番号選択部４及びリサンプリング演算部１２がオフラインで処理を実施し、画素値読出部１５がオンラインで処理を実施するように構成したので、オンライン処理では、画像メモリ１３又は画像メモリ１４から地点Ｐの画素値Ｓ０を読み出すだけでよく、高精度な画像を出力する際の高速化を図ることができる効果を奏する。
【００４６】
実施の形態３．
図９はこの発明の実施の形態３による空撮画像合成装置を示す構成図であり、図において、図８と同一符号は同一または相当部分を示すので説明を省略する。
ベクトルメモリ２１は例えばＲＡＭやハードディスクなどの記録媒体から構成されており、最近傍視線ベクトル決定部３により決定された画像Ａに係る最近傍視線ベクトルＶnear及び画像Ｂに係る最近傍視線ベクトルＶnearを格納するとともに、局所傾斜算出部２により算出された法線ベクトルｎを格納する。
【００４７】
参照画像番号選択部２２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、ベクトルメモリ２１に格納されている画像Ａに係る最近傍視線ベクトルＶnearと画像Ｂに係る最近傍視線ベクトルＶnearとの中で、ベクトルメモリ２１に格納されている法線ベクトルｎに近い方の最近傍視線ベクトルＶnearを特定し、その最近傍視線ベクトルＶnearに対応する画像（画像Ａ、または、画像Ｂ）を示す参照画像番号を画素値読出部１５に出力する処理を実施する。なお、参照画像番号選択部２２は画像特定手段を構成している。
【００４８】
図９では、空撮画像合成装置の構成要素である３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３、ベクトルメモリ２１、参照画像番号選択部２２、リサンプリング演算部１２、画像メモリ１３，１４及び画素値読出部１５のそれぞれが専用のハードウェアで構成されているものを想定しているが、空撮画像合成装置の全部又は一部がコンピュータで構成されていてもよい。
例えば、空撮画像合成装置の全部がコンピュータで構成されている場合、ベクトルメモリ２１及び画像メモリ１３，１４をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３、参照画像番号選択部２２、リサンプリング演算部１２及び画素値読出部１５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
【００４９】
次に動作について説明する。
ただし、３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３及びリサンプリング演算部１２の処理内容は、上記実施の形態２と同様であるため、主に参照画像番号選択部２２及び画素値読出部１５の処理内容を説明する。
上記実施の形態２では、局所傾斜算出部２から出力された法線ベクトルｎと、最近傍視線ベクトル決定部３から出力された画像Ａに係る最近傍視線ベクトルＶnear及び画像Ｂに係る最近傍視線ベクトルＶnearとが参照画像番号選択部４に入力されていたが、この実施の形態３では、局所傾斜算出部２から出力された法線ベクトルｎと、最近傍視線ベクトル決定部３から出力された画像Ａに係る最近傍視線ベクトルＶnear及び画像Ｂに係る最近傍視線ベクトルＶnearとがベクトルメモリ２１に格納される。
【００５０】
この実施の形態３では、３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３及びリサンプリング演算部１２がオフラインで処理を実施し、後述する参照画像番号選択部２２及び画素値読出部１５がオンラインで処理を実施する。
【００５１】
参照画像番号選択部２２は、オフライン処理で、法線ベクトルｎと最近傍視線ベクトルＶnearがベクトルメモリ２１に格納されたのち、実際に高精度な画像を読み出す必要が生じると、ベクトルメモリ２１に格納されている画像Ａに係る最近傍視線ベクトルＶnearと画像Ｂに係る最近傍視線ベクトルＶnearとの中で、ベクトルメモリ２１に格納されている法線ベクトルｎに近い方の最近傍視線ベクトルＶnearを特定し、その最近傍視線ベクトルＶnearに対応する画像（画像Ａ、または、画像Ｂ）を示す参照画像番号を画素値読出部１５に出力する。
法線ベクトルｎに近い方の最近傍視線ベクトルＶnearの特定処理や、その最近傍視線ベクトルＶnearに対応する画像（画像Ａ、または、画像Ｂ）を示す参照画像番号の出力処理自体は、図１及び図８の参照画像番号選択部４と同様である。
【００５２】
画素値読出部１５は、オフライン処理で、地点Ｐの画素値Ｓ０が画像メモリ１３，１４に格納されたのち、参照画像番号選択部２２から参照画像番号を受けると、その参照画像番号が「画像Ａ」を示していれば、画像メモリ１３から地点Ｐの画素値Ｓ０の読み出しを行う。
一方、地点Ｐに対応する参照画像番号が「画像Ｂ」を示していれば、画像メモリ１４から地点Ｐの画素値Ｓ０の読み出しを行う。
画素値読出部１５により読み出された地点Ｐの画素値Ｓ０は、高精度な画像の画素値として出力される。
【００５３】
以上で明らかなように、この実施の形態３によれば、ベクトルメモリ２１に格納されている画像Ａに係る最近傍視線ベクトルＶnearと画像Ｂに係る最近傍視線ベクトルＶnearとの中で、ベクトルメモリ２１に格納されている法線ベクトルｎに近い方の最近傍視線ベクトルＶnearを特定し、その最近傍視線ベクトルＶnearに対応する画像（画像Ａ、または、画像Ｂ）を示す参照画像番号を画素値読出部１５に出力する参照画像番号選択部２２を設け、画素値読出部１５が、参照画像番号選択部２２から出力された参照画像番号が「画像Ａ」を示していれば、画像メモリ１３から地点Ｐの画素値Ｓ０を読み出し、その参照画像番号が「画像Ｂ」を示していれば、画像メモリ１４から地点Ｐの画素値Ｓ０を読み出すように構成したので、上記実施の形態１，２と同様に、異なる位置から撮影された２枚の画像Ａ，Ｂから１枚の高精度な画像を取得することができる効果を奏する。
【００５４】
また、この実施の形態３によれば、３次元データ生成部１、局所傾斜算出部２、最近傍視線ベクトル決定部３及びリサンプリング演算部１２がオフラインで処理を実施し、参照画像番号選択部２２及び画素値読出部１５がオンラインで処理を実施するように構成したので、オンライン処理では、最近傍視線ベクトルＶnearに対応する画像（画像Ａ、または、画像Ｂ）を示す参照画像番号の出力と、画像メモリ１３又は画像メモリ１４から地点Ｐの画素値Ｓ０を読み出すだけでよく、高精度な画像を出力する際の高速化を図ることができる効果を奏する。
【００５５】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００５６】
１  ３次元データ生成部（３次元データ生成手段）、２  局所傾斜算出部（法線ベクトル算出手段）、３  最近傍視線ベクトル決定部（最近傍視線ベクトル決定手段）、４  参照画像番号選択部（画像特定手段）、５  リサンプリング演算部（画素値算出手段）、１１  画像番号メモリ、１２  リサンプリング演算部（画素値算出手段）、１３，１４  画像メモリ、１５  画素値読出部（画素値読出手段）、２１  ベクトルメモリ、２２  参照画像番号選択部（画像特定手段）。
【図１】
2013242772.tif 000003
【図２】
2013242772.tif 000004
【図３】
2013242772.tif 000005
【図４】
2013242772.tif 000006
【図５】
2013242772.tif 000007
【図６】
2013242772.tif 000008
【図７】
2013242772.tif 000009
【図８】
2013242772.tif 000010
【図９】
2013242772.tif 000011