(57)【要約】【課題】飛翔体に搭載されたカメラにより撮像された画像の内容によらず、当該カメラの姿勢や位置といった状況を正確に決定することができる装置及び方法と、決定された姿勢に基づいた正確な画像を生成する装置を提供する。【解決手段】  飛翔体に搭載された、パラメータにより姿勢が記述されるカメラにより撮像された撮像画像を用いて画像を生成する装置であって、予め取得された地図画像の特徴点と上記撮像画像の特徴点とが最も良く対応するパラメータを決定することにより上記姿勢を決定する姿勢決定部７と、姿勢決定部７により決定された上記姿勢を基に、上記カメラが撮像する地球表面における各地点を上記カメラの撮像面への投影点と対応づけた上で、上記撮像画像を上記地図画像と統合する画像統合部８とを備えた画像生成装置１を提供する。【選択図】  図１
2018138905.tif 000002
【特許請求の範囲】
【請求項１】
パラメータにより記述される、飛翔体に搭載されたカメラの状況を決定する装置であって、
予め取得された地図画像の特徴点と前記カメラにより撮像された撮像画像の特徴点とが最も良く対応する前記パラメータを決定することにより、前記カメラの姿勢を決定する姿勢決定手段を備えた前記カメラの状況決定装置。
【請求項２】
地図画像を記憶する記憶手段と、
前記記憶手段に記憶された前記地図画像と、前記カメラにより撮像された撮像画像から、それぞれ特徴点を抽出する特徴点抽出手段をさらに備え、
前記姿勢決定手段は、前記特徴点抽出手段により抽出された前記地図画像の特徴点と前記撮像画像の特徴点とが最も良く対応する前記パラメータを決定することにより前記姿勢を決定する、請求項１に記載の前記カメラの状況決定装置。
【請求項３】
前記姿勢決定手段は、
前記地図画像と前記撮像画像における前記特徴点の組を、前記姿勢を決定するために最低限必要な数だけ選び、選ばれた前記特徴点の組を使って前記姿勢を表す最適な回転行列を求める回転行列算出手段と、
前記選ばれた前記特徴点の組の中で、カメラ中心座標系における前記飛翔体の位置から地球表面上のターゲット地点へのベクトルと、地球中心座標系における前記ベクトルを前記回転行列算出手段により求められた前記回転行列により回転させたベクトルとのなす角の最大値を求める誤差算出手段と、
前記誤差算出手段により求められた前記最大値が予め設定したしきい値を下回る場合には、前記回転行列算出手段により求められた前記回転行列を用いて、残りの全ての前記特徴点の組について前記なす角を求め、前記なす角が前記しきい値を下回る前記特徴点の組の数を求める適合度算出手段とを含み、
前記回転行列算出手段は、前記適合度算出手段で求められた前記組の数が最大となるか、若しくは、予め設定された値を超える場合において、前記なす角が前記しきい値を下回る前記特徴点の組だけを全て使って前記回転行列を再計算することにより前記パラメータを決定する、請求項１に記載の前記カメラの状況決定装置。
【請求項４】
前記姿勢決定手段により決定された前記姿勢に基づいて前記カメラの位置を決定する位置決定手段をさらに備えた、請求項１に記載の前記カメラの状況決定装置。
【請求項５】
パラメータにより記述される、飛翔体に搭載されたカメラの状況を決定する方法であって、
予め取得された地図画像の特徴点と前記カメラにより撮像された画像の特徴点とが最も良く対応する前記パラメータを決定することにより前記カメラの姿勢を決定する姿勢決定ステップを有する前記カメラの状況決定方法。
【請求項６】
地図画像を用意すると共に、前記カメラにより画像を撮像する画像準備ステップと、
前記画像準備ステップで用意された前記地図画像及び前記撮像により得られた前記画像から、それぞれ特徴点を抽出する特徴点抽出ステップをさらに有し、
前記姿勢決定ステップでは、前記特徴点抽出ステップで抽出された前記地図画像の特徴点と前記カメラにより撮像された画像の特徴点とが最も良く対応する前記パラメータを決定することにより前記姿勢を決定する、請求項５に記載の前記カメラの状況決定方法。
【請求項７】
前記姿勢決定ステップは、
前記地図画像と前記撮像された前記画像における前記特徴点の組を、前記姿勢を決定するために最低限必要な数だけ選ぶ第一のステップと、
前記第一のステップで選出された前記特徴点の組を使って前記姿勢を表す最適な回転行列を求める第二のステップと、
前記第一のステップで選ばれた特徴点の組の中で、カメラ中心座標系における前記飛翔体の位置から地球表面上のターゲット地点へのベクトルと、地球中心座標系における前記ベクトルを前記第二のステップで求められた前記回転行列により回転させたベクトルとのなす角の最大値を求める第三のステップと、
前記第三のステップで求められた前記最大値が予め設定したしきい値を下回る場合には、前記第二のステップで求められた前記回転行列を用いて、残りの全ての前記特徴点の組について前記なす角を求め、前記なす角が前記しきい値を下回る前記特徴点の組の数を求める第四のステップと、
前記第四のステップで求められた前記組の数が最大となるか、若しくは、予め設定された値を超える場合において、前記なす角が前記しきい値を下回る前記特徴点の組だけを全て使って前記回転行列を再計算することにより前記パラメータを決定する第五のステップとを含む、請求項５に記載の前記カメラの状況決定方法。
【請求項８】
前記姿勢決定ステップで決定された前記姿勢に基づいて前記カメラの位置を決定する位置決定ステップをさらに有する、請求項５に記載の前記カメラの状況決定方法。
【請求項９】
飛翔体に搭載された、パラメータにより姿勢が記述されるカメラにより撮像された撮像画像を用いて画像を生成する装置であって、
予め取得された地図画像の特徴点と前記撮像画像の特徴点とが最も良く対応する前記パラメータを決定することにより前記姿勢を決定する姿勢決定手段と、
前記姿勢決定手段により決定された前記姿勢を基に、前記カメラが撮像する地球表面における各地点を前記カメラの撮像面への投影点と対応づけた上で、前記撮像画像を前記地図画像と統合する画像統合手段とを備えた画像生成装置。
【請求項１０】
地図画像を記憶する記憶手段と、
前記記憶手段に記憶された前記地図画像と、前記撮像画像から、それぞれ特徴点を抽出する特徴点抽出手段をさらに備え、
前記姿勢決定手段は、前記特徴点抽出手段により抽出された前記地図画像の特徴点と前記撮像画像の特徴点とが最も良く対応する前記パラメータを決定することにより前記姿勢を決定する、請求項９に記載の画像生成装置。
【請求項１１】
前記姿勢決定手段は、
前記地図画像と前記撮像画像における前記特徴点の組を、前記姿勢を決定するために最低限必要な数だけ選び、選ばれた前記特徴点の組を使って前記姿勢を表す最適な回転行列を求める回転行列算出手段と、
前記選ばれた前記特徴点の組の中で、カメラ中心座標系における前記飛翔体の位置から地球表面上のターゲット地点へのベクトルと、地球中心座標系における前記ベクトルを前記回転行列算出手段により求められた前記回転行列により回転させたベクトルとのなす角の最大値を求める誤差算出手段と、
前記誤差算出手段により求められた前記最大値が予め設定したしきい値を下回る場合には、前記回転行列算出手段により求められた前記回転行列を用いて、残りの全ての前記特徴点の組について前記なす角を求め、前記なす角が前記しきい値を下回る前記特徴点の組の数を求める適合度算出手段とを含み、
前記回転行列算出手段は、前記適合度算出手段で求められた前記組の数が最大となるか、若しくは、予め設定された値を超える場合において、前記なす角が前記しきい値を下回る前記特徴点の組だけを全て使って前記回転行列を再計算することにより前記パラメータを決定する、請求項９に記載の画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、飛翔体に搭載されたカメラの姿勢や位置といった状況を決定するための装置及び方法と、決定された姿勢に基づいて画像を生成する装置に関するものである。
【背景技術】
【０００２】
特許文献１や２に見られるように、これまで、衛星に搭載されたカメラにより撮像した画像を用いて、当該カメラや衛星の姿勢を決定する方法等が考案されている。
【０００３】
なお、非特許文献１には、衛星が注目領域を追従して観測するために、上記画像の特徴点を使って当該衛星の姿勢を追従制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００２−５１３４６４号公報
【特許文献２】特開２００５−２９２８８２号公報
【非特許文献】
【０００５】
【非特許文献１】G.Klancar et al.,”Image-based attitude control of a remote sensing satellite”, Journal of Intelligent and Robotic Systems, 66: pp.343-357, 2012
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、宇宙空間を航行する衛星等の飛翔体に搭載されたカメラから、例えば地球の表面を撮像した場合には、当該画像に地表以外の雲なども映り込むため、上記のような画像の特徴点を利用して当該カメラの姿勢を決定しようとしても、必ずしも正確な姿勢が得られず、当該カメラの正確な位置も得られないという問題がある。
【０００７】
本発明は、上記のような問題を解決するためになされたもので、飛翔体に搭載されたカメラにより撮像された画像の内容によらず、当該カメラの姿勢や位置といった状況を正確に決定することができる装置及び方法と、決定された姿勢に基づいた正確な画像を生成する装置を提供することを目的とする。    
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、パラメータにより記述される、飛翔体に搭載されたカメラの状況を決定する装置であって、予め取得された地図画像の特徴点とカメラにより撮像された撮像画像の特徴点とが最も良く対応するパラメータを決定することにより、カメラの姿勢を決定する姿勢決定手段を備えたカメラの状況決定装置を提供する。
【０００９】
また、上記課題を解決するため、本発明は、パラメータにより記述される、飛翔体に搭載されたカメラの状況を決定する方法であって、予め取得された地図画像の特徴点とカメラにより撮像された画像の特徴点とが最も良く対応するパラメータを決定することによりカメラの姿勢を決定する姿勢決定ステップを有するカメラの状況決定方法を提供する。
【００１０】
また、上記課題を解決するため、本発明は、飛翔体に搭載された、パラメータにより姿勢が記述されるカメラにより撮像された撮像画像を用いて画像を生成する装置であって、予め取得された地図画像の特徴点と撮像画像の特徴点とが最も良く対応するパラメータを決定することにより上記姿勢を決定する姿勢決定手段と、姿勢決定手段により決定された姿勢を基に、カメラが撮像する地球表面における各地点をカメラの撮像面への投影点と対応づけた上で、上記撮像画像を上記地図画像と統合する画像統合手段とを備えた画像生成装置を提供する。
【発明の効果】
【００１１】
本発明によれば、飛翔体に搭載されたカメラにより撮像された画像の内容によらず、当該カメラの姿勢や位置といった状況を正確に決定することができる装置及び方法と、決定された姿勢に基づいた正確な画像を生成する装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る画像生成装置１の構成を示すブロック図である。
【図２】図１に示された姿勢決定部７の構成を示すブロック図である。
【図３】本発明の実施の形態に係る衛星カメラの姿勢決定方法を用いた画像生成方法を示すフローチャートである。
【図４】図３に示されたステップＳ３において特徴点マッチングによる衛星カメラの姿勢決定を行う方法を示すフローチャートである。
【図５】図４に示された衛星カメラの姿勢決定方法で用いられる座標系を示す図であり、(ａ)は地球中心座標系(ｘ軸ｙ軸ｚ軸)における衛星Ｓの位置とターゲット地点Ｐiとの関係、(ｂ)はカメラ中心座標系(Ｘ軸Ｙ軸Ｚ軸)における衛星Ｓの位置とターゲット地点Ｐｉとの関係を示す。
【図６】図３のステップＳ３に示された特徴点マッチングの実施例を示す図であり、それぞれ図６(ａ)はＳＵＲＦ法だけを適用したときに得られる特徴点マッチングの結果、図６(ｂ)はさらに図４に示された本発明の実施の形態に係る方法を適用したときに得られる特徴点マッチングの結果を示す図である。
【図７】図１に示された画像生成装置１の他の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
【００１４】
仮に衛星画像に写る複数の地形の緯度や経度など座標が特定できた場合、それを手掛かりに、衛星に搭載されたカメラの観測時における姿勢を求めることができる。また、求めた姿勢を利用することで、衛星画像をより精度良く地図画像へ投影することができる。
【００１５】
図１は、本発明の実施の形態に係る画像生成装置１の構成を示すブロック図である。画像生成装置１は、パラメータにより記述される、衛星に搭載されたカメラの姿勢を決定する装置であって、図１に示されるように、入出力端子２と、入出力端子２に接続されたバス３と、それぞれバス３に接続された記憶部４、特徴点抽出部６、姿勢決定部７、位置決定部９、及び画像統合部８とを備える。
【００１６】
ここで、記憶部４は予め地図画像を記憶する。また、特徴点抽出部６は記憶部４に記憶された地図画像と上記カメラにより撮像された衛星画像から、それぞれ、特徴点と当該特徴点の特徴量を抽出する。また、姿勢決定部７は、上記特徴量の類似度を指標として、特徴点抽出部６により抽出された地図画像の特徴点と衛星画像の特徴点とが最も良く対応する上記パラメータを決定することにより正確な上記姿勢を決定する。また、位置決定部９は、姿勢決定部７で決定された姿勢を用いて当該衛星の正確な位置を決定する。そして、画像統合部８は、姿勢決定部７により決定された上記姿勢を前提として、上記カメラが撮像する地球表面における各地点を上記カメラの撮像面への投影点と対応づけた上で、上記衛星画像を上記地図画像と統合する。
【００１７】
なお、特徴点抽出部６が上記のように地図画像から特徴点を抽出する代わりに、既存の地図画像から事前に別途抽出された特徴点の緯度、経度や標高を示す座標と、衛星画像との類似判定に用いる特徴量データからなる特徴点カタログを予め記憶部４に格納し、姿勢決定部７は本特徴量データと衛星画像における特徴点の特徴量とが最も良く対応する上記パラメータを決定することにより正確な上記姿勢を決定するようにしても良い。このような構成によれば、記憶部４にデータサイズの大きな地図画像を予め記憶する必要がないため、記憶部４として必要な記憶容量を削減することができる。
【００１８】
図２は、図１に示された姿勢決定部７の構成を示すブロック図である。図２に示されるように、姿勢決定部７は、入出力端子１０と、入出力端子１０に接続されたバス１１と、それぞれバス１１に接続された回転行列算出部１２、誤差算出部１３、及び適合度算出部１４とを備える。
【００１９】
ここで、回転行列算出部１２は、上記地図画像と上記衛星画像における特徴点の組を、上記姿勢を決定するために最低限必要な数だけ全くランダムに、または特徴量の対応度が良いものから順に特徴点の組を最低限必要な数だけとする準ランダムに選び、選ばれた特徴点の組を使って上記姿勢を表す最適な回転行列を求める。
【００２０】
また、誤差算出部１３は、選ばれた特徴点の組の中で、カメラ中心座標系における衛星位置から地球表面上のターゲット地点へのベクトルと、地球中心座標系におけるベクトルを回転行列算出部１２により求められた上記回転行列により回転させたベクトルとのなす角の最大値を求める。
【００２１】
また、適合度算出部１４は、誤差算出部１３により求められた最大値が予め設定したしきい値を下回る場合には、回転行列算出部１２により求められた上記回転行列を用いて、残りの全ての特徴点の組について上記なす角を求め、なす角がしきい値を下回る特徴点の組の数を求める。
【００２２】
そして、回転行列算出部１２は、適合度算出部１４で求められた特徴点の組の数が最大となる場合において、なす角がしきい値を下回る特徴点の組だけを全て使って回転行列を再計算することにより上記パラメータを決定する。
【００２３】
図３は、本発明の実施の形態に係る衛星カメラの姿勢決定方法を用いた画像生成方法を示すフローチャートである。以下においては、パラメータにより記述される、衛星に搭載されたカメラの姿勢を決定した上で、衛星画像を作成する本方法について、図３を参照しつつ説明する。
【００２４】
なお、以下の方法は、図１に示された画像生成装置１を動作させることにより実現できるが、画像生成装置１を用いる場合に限られず広く適用できることは言うまでもない。
【００２５】
まずステップＳ１において、衛星に搭載されたカメラにより衛星画像を撮像する。次に、ステップＳ２において、ステップＳ１で撮像された衛星画像の中から特徴点と当該特徴点の特徴量を抽出する。
【００２６】
一方、ステップＳ１１において、地図画像を用意する。次に、ステップＳ１２において、ステップＳ１１で用意された地図画像の中から特徴点と当該特徴点の特徴量を抽出する。
【００２７】
ここで、ステップＳ２及びステップＳ１２における特徴点の抽出は、異なる画像から同じ特徴点を見つけ出すためのＳＵＲＦ(Speeded-Up Robust Features)法などが用いられる。なお、この方法は例えば、論文Bay et al.: Speeded-Up Robust Features (SURF),CVIU,110,346-359,2008に記されている。
【００２８】
次に、ステップＳ３において、それぞれステップＳ２とステップＳ１２で抽出された特徴量の類似度を指標として地図画像と衛星画像の特徴点同士をマッチングした上で、さらに衛星の位置情報を用いた衛星観測のジオメトリ条件を満たすという制約の下で、特徴点同士が最も良く対応する上記パラメータを最小二乗法により決定することによって上記カメラの姿勢を決定する。なお、本ステップにより衛星カメラの姿勢を決定する方法については、後に詳しく説明する。
【００２９】
そして、ステップＳ４において、ステップＳ３で決定された姿勢を前提として、上記カメラが撮像する地球表面における各地点を上記カメラの撮像面への投影点と対応づけた上で、上記衛星画像を上記地図画像へ投影する。
【００３０】
図４は、図３に示されたステップＳ３において特徴点マッチングによる衛星カメラの姿勢決定を行う方法を示すフローチャートである。以下においては、特徴点マッチングによる衛星カメラの姿勢決定方法を、図４を参照しつつ詳しく説明する。
【００３１】
最初にステップＳ２１において、上記地図画像と上記衛星画像における特徴点の組を、上記姿勢を決定するために最低限必要な数だけ全くランダムに、または特徴量の対応度が良いものから順に特徴点の組を最低限必要な数だけとする準ランダムに選ぶ。次に、ステップＳ２２で、ステップＳ２１で選出された特徴点の組を使って上記姿勢を表す最適な回転行列を求める。
【００３２】
そして、ステップＳ２３で、ステップＳ２１で選ばれた特徴点の組の中で、カメラ中心座標系における衛星位置から地球表面上のターゲット地点へのベクトルと、地球中心座標系におけるベクトルをステップＳ２２で求められた回転行列により回転させたベクトルとのなす角の最大値を求める。
【００３３】
次に、ステップＳ２４において、ステップＳ２３で求められた最大値が予め設定したしきい値を下回るかを判断し、下回っていないと判断した場合はステップＳ２１へ戻ると共に、下回っていると判断した場合は次のステップＳ２５へ進む。
【００３４】
ステップＳ２５では、ステップＳ２３で求められた最大値が予め設定したしきい値を下回る場合には、ステップＳ２２で求められた回転行列を用いて、残りの全ての特徴点の組について上記なす角を求め、なす角がしきい値を下回る特徴点の組の数Ｌを求める。
【００３５】
そして、ステップＳ２６では、ステップＳ２５で求められた特徴点の組の数Ｌが最大値か、若しくは、予め設定されたしきい値Ｌｃを超えるか否かを判断し、これらのいずれの条件も満たさないと判断した場合はステップＳ２１へ戻ると共に、いずれかの条件を満たすと判断した場合は、次のステップＳ２７へ進む。
【００３６】
ステップＳ２７では、上記なす角がしきい値を下回る特徴点の組だけを全て使って上記回転行列を再計算することにより、上記パラメータを決定する。
【００３７】
以下において、図４に示された衛星カメラの姿勢決定方法の具体例を詳しく説明する。
【００３８】
図５は、図４に示された衛星カメラの姿勢決定方法で用いられる座標系を示す図であり、(ａ)は地球中心座標系(ｘ軸ｙ軸ｚ軸)における衛星Ｓの位置とターゲット地点Ｐiとの関係、(ｂ)はカメラ中心座標系(Ｘ軸Ｙ軸Ｚ軸)における衛星Ｓの位置とターゲット地点Ｐiとの関係を示す。なお、上記及び以下の添え字ｉは各地点の番号を意味する。
【００３９】
図５に示されるように、衛星位置Ｓ(ｘS，ｙS，ｚS)から、着目した緯度φi、経度λi、標高ｈiが既知の地球表面上におけるターゲット地点Ｐiに向かうベクトルＶE,iを考える。本ベクトルＶE,iは、図５(ａ)に示された地球中心座標系では、以下の式(１)で表すことができる。
【００４０】
【数１】
2018138905.tif 000003
【００４１】
ここで、Ｒeは地球の赤道半径、Ｒpは地球の極半径を意味するが、地球の離心率ｅを(Ｒe2−Ｒp2)0.5／Ｒeとして、ＮE,iは次式(２)で表される。
【００４２】
【数２】
2018138905.tif 000004
【００４３】
なお、衛星位置Ｓは全地球測位システム(Global Positioning System：ＧＰＳ)による測定等により既知とされる。一方、上記のベクトルＶE,iを図５(ｂ)に示されたカメラ中心座標系で考えると、カメラの撮像面(検出器面)上の投影点Ｑiの座標を(ｕi，ｖi，-ｆ)とした場合、以下のベクトルＶC,iで表わすことができる。
【００４４】
【数３】
2018138905.tif 000005
【００４５】
ここで、図５(ａ)に示された地球中心座標系と図５(ｂ)に示されたカメラ中心座標系をつなぐ以下の回転行列Ｍを用意する。
【００４６】
【数４】
2018138905.tif 000006
【００４７】
このとき、式(１)で示されたベクトルＶE,iと式(３)で示されたベクトルＶC,iは同じベクトルであるので、両ベクトルは以下のように関係づけることができる。なお、以下の式(５)は、式(１)で示されたベクトルＶE,iと式(３)で示されたベクトルＶC,iが満たすべき拘束条件ということができる。
【００４８】
【数５】
2018138905.tif 000007
【００４９】
このようにして、式(５)を満たす回転行列Ｍにより、衛星に搭載されたカメラの観測時における姿勢を得ることができる。ここで、上記地図画像と上記カメラにより撮像された画像とから、それぞれベクトルＶE,iとベクトルＶC,iが事前に得られるため、最小二乗法を適用した以下の式(６)により、回転行列Ｍの誤差を最小化する。
【００５０】
【数６】
2018138905.tif 000008
【００５１】
さらに、式(６)で得られた行列における各列を直交化及び規格化し、回転行列の要件を満たすように変換した行列(以下「姿勢表現行列」という。)が、衛星の姿勢を表現するものとして用いられる。
【００５２】
上記のように、式(５)で示された幾何学的な拘束条件(若しくは制約条件)を利用した当該カメラの姿勢推定方法は、撮像した画像に写る地形について、地球上における緯度、経度及び標高という座標が特定されることで実施可能となる。従って、予め用意された地図画像と撮像画像という異なる二つの画像から同じ特徴点を見出すことが必要となる。
【００５３】
しかしながら、上記のＳＵＲＦ法では、対象の回転、大きさの変化、及び照度変化に頑強ではあるものの、偶然似通った模様においては幾何学的に異なる点が同じ特徴点と判断されてしまうことがあることが知られている。
【００５４】
図６は、図３のステップＳ３に示された特徴点マッチングの実施例を示す図であり、それぞれ図６(ａ)はＳＵＲＦ法だけを適用したときに得られる特徴点マッチングの結果、図６(ｂ)はさらに図４に示された本発明の実施の形態に係る方法を適用したときに得られる特徴点マッチングの結果を示す。ここで、図６(ａ)と図６(ｂ)における線分は、それぞれ、上記の地図画像と撮像画像との間において同じ地形と判断された点同士を結んだマッチングパターンを示すものである。
【００５５】
図６(ａ)に示されるように、ＳＵＲＦ法だけを適用して特徴点マッチングを行った場合には、正しく対応が取れているように見える規則的な組の他に、撮像された雲などの影響により不規則的にマッチングされた組が生じてしまう。このような誤マッチングは、当該カメラの正しい姿勢推定を妨げ、結果的に、撮像画像を地図画像に投影する際に大きな位置ずれを引き起こしてしまうことになる。
【００５６】
従って、以下のように、このような誤マッチングされた特徴点の組を可能な限り排除する。
【００５７】
まず、ＳＵＲＦ法により得られた特徴点の組から、最低限必要な３組を全くランダムに、または特徴量の対応度が良いものから順に(準ランダムに)選び出し、姿勢表現行列を求める。
【００５８】
次に、導出した姿勢表現行列を使って、選んだ３組について、ベクトルＶE,iを姿勢表現行列で回転させたベクトルとベクトルＶC,iとのなす角を以下の式(７)によりそれぞれ算出し、３組の中での最大角θmaxを求める。なお、なす角θiは理想的には０°となる。
【００５９】
【数７】
2018138905.tif 000009
【００６０】
次に、最大角θmaxが予め設定したしきい値を下回る場合、選んだ３組は幾何学的に正しい組み合わせのものだったと判断し、導出された姿勢表現行列を使って残り全ての特徴点の組について、ベクトルＶE,iを姿勢表現行列で回転させたベクトルとベクトルＶC,iとのなす角を求め、上記しきい値を下回る特徴点の組の数Ｌを調査する。
【００６１】
以上のような段落［００５７］から示された手順を繰り返し、数Ｌの最大化を試み、若しくは、予め設定されたしきい値Ｌｃを超える数Ｌを与える特徴点の組を見出す。
【００６２】
そして、数Ｌが最大となり、若しくは、しきい値Ｌｃを超えたという条件下において、上記なす角θiが上記しきい値を下回る特徴点の組全てを使って撮像画像全体としての姿勢表現行列を改めて計算すると共に、上記なす角θiが上記しきい値より大きな特徴点の組を排除する。
【００６３】
以上のような方法により、誤マッチングされた特徴点の組を排除した場合、図６(ｂ)に示されるような特徴点マッチングの結果を得ることができる。
【００６４】
ここで、図６(ｂ)を参照すれば、図６(ａ)で見られるような乱雑な方向に伸びるマッチングパターンを示す線分は全て除去されていることが分かる。
【００６５】
以上のようにして、衛星に搭載されたカメラの姿勢が正確に求められるが、一旦正確な姿勢が求められると、以下のような方法により当該衛星の正確な位置も求めることができる。なお、以下の方法は、図１に示された画像生成装置１においては、位置決定部９により実行される。
【００６６】
衛星画像を基準にしたカメラ中心座標系と既存の地図画像を基準にした地球中心座標系のそれぞれについて、衛星から地表の特徴点に伸びる単位ベクトルを計算することができ、これら二つのベクトルのなす角θが求まる。ここで、理想的にはこれら二つのベクトルは一致するため、どの特徴点に対してもなす角θは０°であるが、衛星の位置に誤差が存在すると、理想的な条件とは異なることから０°にならない。そこで、理想的な条件、すなわち衛星が正しい位置に近づくにつれて上記のなす角θが小さくなることを利用して、全ての特徴点について算出した上記なす角θの平均値が最小となる衛星の位置を探索する。
【００６７】
より具体的には、決定された当該衛星の姿勢に基づき、誤マッチングされた特徴点の組を除いた図４のステップＳ２６で求められた数Ｌを用いて、次式(８)により上記なす角θの平均残差を算出する。
【００６８】
【数８】
2018138905.tif 000010
【００６９】
そして、かかる平均残差が最小となる衛星の位置を探索し、得られた位置を最終的な衛星の位置として決定する。
【００７０】
以上の衛星カメラの姿勢や位置の決定方法や画像生成方法は、当該アルゴリズムをプログラミングしたソフトウェアを実行することにより実現しても良い。すなわち、図７に示されるように構成された本発明の実施の形態に係る画像生成装置２０において、予め入出力端子２１及びバス２２を介してメモリ２４へ当該プログラムを格納し、中央演算処理装置(Central Processing Unit: CPU)２３に本プログラムをメモリ２４から読み出して実行させても良い。
【００７１】
以上より、本発明の実施の形態に係る画像生成装置１，２０や、図３及び図４に示された画像生成方法によれば、衛星画像に写る複数の地形の緯度や経度などの座標を特定し、それを手掛かりに、衛星に搭載されたカメラの観測時における正確な姿勢や位置を求めることができる。また、求めた姿勢を利用することで、衛星画像をより精度良く地図画像へ投影することができる。
【００７２】
なお、上記において、当該カメラにより撮像された画像は、可視や赤外などといった特定の周波数帯によらないものである。
【００７３】
また、本発明は、衛星に限られず、より広く航空機などの飛翔体に搭載されたカメラの姿勢を決定し、当該飛翔体から撮像された画像を地図画像へ投影させる場合にも適用できることは言うまでもない。
【００７４】
また、上記の画像生成装置１，２０は、当該カメラと共に当該衛星に搭載されても良いし、地球上に配置しても良い。
【符号の説明】
【００７５】
１，２０  画像生成装置
４  記憶部
６  特徴点抽出部
７  姿勢決定部
８  画像統合部
９  位置決定部
１２  回転行列算出部
１３  誤差算出部
１４  適合度算出部
２３  中央演算処理装置(ＣＰＵ)
２４  メモリ
【図１】
2018138905.tif 000011
【図２】
2018138905.tif 000012
【図３】
2018138905.tif 000013
【図４】
2018138905.tif 000014
【図５】
2018138905.tif 000015
【図６】
2018138905.tif 000016
【図７】
2018138905.tif 000017