(57)【特許請求の範囲】
【請求項１】
仮想参照画像を用いて、トポロジカルマップに関するカメラの位置及び向きを検出する方法であって、
既存のトポロジカルマップからローカル３Ｄモデル（２）が生成されること、当該ローカル３Ｄモデルは、予知されるカメラ位置及び向きのカメラによって観察されるマップのディテールのみを含む；
次いで、前記ローカル３Ｄモデルから仮想画像（６）が生成されること；
前記仮想画像（６）からオフラインプロセスで特徴データベース（８）が生成されること、及び、
次いで、当該特徴データベースが、観測された特徴を認識するためにオンラインプロセスで使用されること、を特徴とする方法。
【請求項２】
フライトシステムに搭載して用いられることを特徴とする、請求項１に記載の方法。
【請求項３】
仮想画像系列（６）が計算され、前記画像中の各ピクセルについて、参照座標系中の対応する３Ｄ座標が付与されることを特徴とする、請求項１又は２に記載の方法。
【請求項４】
予測される状況の仮想参照画像が、特徴抽出（１１）を用いて分析されるコンピュータグラフィックス法を用いて生成され、また、映像に基づく特徴ベクトルとローカライズされた特徴の関連する３Ｄ座標とからなる特徴カタログ（８）がそこから導出されることを特徴とする、請求項１〜３のいずれか１項に記載の方法。
【請求項５】
データがフライトシステムの中にモデルデータベース（８）の形で保存され、また、ついで、計画された照明状況（３）で、参照軌道の近くに、ナビゲーションが行われる、請求項４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想参照画像を用いて、トポロジカルマップに対するカメラの位置及び向きを検出するための方法に関する。
【背景技術】
【０００２】
例えば他の惑星や深海領域等の極端な環境の調査のために、自律行動車両（autonomously acting vehicles）が使用されることが増えている。予め計画された目標地点に到着できるように、自律行動車両は、その環境の中での自身の位置を決めなければならない。既に記述されたタイプの、既存のトポロジカルマップに基づくカメラベースのナビゲーションの方法に、この場合の一つの可能性がある。深海の海底、月や火星等の惑星の表面ような従来十分に調査されていなかった地域についても、このタイプのトポロジカルマップは存在している。特に月や火星については、過去に行われたアメリカ及び日本の宇宙事業団NASA及びJAXAの地図作成ミッションのおかげで、月の全体や火星の全体についての詳細なトポロジカルマップが存在している。それらのトポロジカルマップは、写真と高度の起伏とを含み、ステレオもしくはレーザー距離測定の手段で得られたものである。マップの資料の質は非常に高く、特に、月の極域のような領域については数メートルの解像度になっている。
【０００３】
予め決められた場所に正確に着陸しなくてはならない着陸車両は、計画された経路からの逸脱を修正することができるように、着陸プロセスの間、常にその位置と向きとを観測しなくてはならない。地球外では現行のナビゲーションシステムが無いので、何らかの他の方法でのナビゲーションが必要である。望まれる数百メートルの正確性のためには、RADARシステムを用いたナビゲーションは地球からは不可能であり、惑星表面の公知の特徴に基づく映像支援ナビゲーションのみが残る選択肢となる。この場合、カメラを活用した惑星表面のイメージングの間、その空間的位置が参照系を参照することによって知られる特徴を抽出及び認識する試みがある。ついで、参照系に対するカメラシステムの位置及び向きが、カメラ画像の２次元ロケーションと、参照系の３次元的ロケーションとの対応から、決定される。
【０００４】
地図に基づくナビゲーションのための公知の方法の基本的原則は、飛行領域の地勢の画像がカメラシステムを活用して得られるものであること、及び、地勢についての入手可能なマップ資料において認識され得る仮想的な特徴が、記録されたカメラ画像に基づいて抽出されることである。カメラ画像から抽出された特徴の２次元的位置と、マップ資料で認識された特徴の３Ｄ座標との相互の割り当てから、特定の位置及び向きが決定されうる。宇宙船の場合には、それ自身の向きはスターカメラを活用してより精密に測定されうるので、これ自身の位置の決定に限られるだろうということが既に示唆されている。公知の様々な方法の間の相違点は、主に、カメラ画像から抽出され、また、マップ資料で認識され得る特徴の選別に関する点である。
【０００５】
"Advanced Optical Terrain Absolute Navigation for Pinpoint Lunar Landing" （M. Mammarella, M. A. Rodrigalvarez, A. Pizzichini and A. M. Sanchez Montero in "Advances in Aerospace Guidance Navigation and Control", 2011, 419-430頁）の記事に記述された、月面でのナビゲーションのために実質的に開発された方法は、クレーターを認識することに基づく。ここでは、楕円形の見かけで特徴的な影の型を備えたパターンについての特別に開発された画像処理オペレータを用いて、カメラ画像が解析され、クレーターが画像から抽出される。同時に、デジタル高度マップ（ＤＥＭ）として知られている月面のトポロジカルマップにおいてクレーターが検出され、その３Ｄ座標が月面座標に保存される。続いて、マップのクレーターとカメラ画像から検出されたクレーターとの割り当てを、実質的にクレーター群の分析によって行う。異なる照明状態でクレーターを認識することによって、ナビゲーションの役目を達成するためにトポロジカルマップは十分である。
【０００６】
"Vision-Based Absolute Navigation for Descent and Landing" by B. Van Pham, S. Lacroix and M. Devy in "Journal of Field Robotics", pages 627-647, Volume 29, Issue 4, July 2012に記述された、"LandStel"と名付けられた方法では、クレーターの認識ではなく、カメラ画像中の突出点の検出器（Harrisオペレータとも名付けられる）が用いられる。スケール不変性とする目的で、例えば高度計からの高度情報が用いられる。ついで、Harris特徴がスケール調整された画像中で計算されるが、そこでは、"Distinctive Image Features from Scale-Invariant Keypoints" by David G. Lowe in the journal "International Journal of Computer Vision", Volume 60, No 2, pages 91-110, 2004に述べられたいわゆるSIFTオペレータを費やす計算を必要せずにスケール不変性が得られる。この公知の方法では、回転不変性の特徴ベクトルに変換されるHarris特徴の群が、称される特徴である。続いてこれらの特徴ベクトルが、マップと進行中のカメラ画像との間の特徴を認識するために用いられる。このケースでは、対応する特徴の３Ｄ座標を決定するために、マップは地勢写真とトポロジカルマップとを含む。
【０００７】
さらなる公知の方法では、SIFT特徴オペレータとして知られているものを活用して特徴が検出され、同様に、その特徴が写真と進行中のカメラ画像との間で比較される。このケースでは、３Ｄデータはトポロジカルマップから取得される。別の公知の方法では、何らかの点の周囲の小さな画像ディテールが抽出されるが、それは、地勢マップに修正オペレータを用いることで認識されねばならない。
【０００８】
これらの画像ベースのアプローチに加えて、ナビゲーション目的のための深さデータを示し、LIDAR（Light Detection and Ranging）のデータに基づく方法が知られてきている。
【０００９】
画像ベースのアプローチに共通することは、いずれも、ナビゲーションのために期待される画像と同じ照明条件を既に有している地図が使われる場合を除いて、クレーターベースのアプローチでクレームされているように、照明独立性の（照明に影響されない）オペレータを開発するための試みがなされていることである。
【００１０】
さらに、既に天体への着陸のための具体的な方法が知られている。DE 10 2010 051 561 A1は無人飛行物体の自動化された着地のためのシステムを開示しているが、そのシステムは、地上ユニットの存在を予め想定するものである。DE 10 2009 036 518 A1は宇宙旅行飛行物体の着陸手順を実行することに関し、そのプロセスの中で、着陸手順のためのactuatorics動力系を開示している。さらに、DE 10 2008 064 712 B4は、ヘリコプターと着陸プラットフォームとの間のセンサー支援着陸アシスト装置に関する。DE 195 21 600 A1は、着陸エリアに人工的な目印を設けておくことに基づく、自動着陸のための画像支援ナビゲーションシステムを示唆している。DE 39 39 731 C2もまた、補助目印が設けられた着陸エリアを想定しており、また、レーザースキャナーやRADARのような平面深度センサーを用いることを示唆している。最後に、DE 21 26 688 Aもまた、地上ステーションに可視的な目印を使用することを示唆している。DE 31 10 691 C2のみが巡航ミサイルのためのナビゲーションシステムを提示しており、当該システムでは、入手可能なマップ資料と、例えば距離及び強度を獲得するレーザー測定ビームのような飛行物体に搭載されるアクティブセンサーとに基づくパルス列を受信し、また、これらのパルス列を、手動又は自動的に航空画像から生成されるパルス列と比較する。さらに、複数の測定ビームを用いることがそこでは示唆されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】DE 10 2010 051 561 A1
【特許文献２】DE 10 2009 036 518 A1
【特許文献３】DE 10 2008 064 712 B4
【特許文献４】DE 195 21 600 A1
【特許文献５】DE 39 39 731 C2
【特許文献６】DE 21 26 688 A
【特許文献７】DE 31 10 691 C2
【非特許文献】
【００１２】
【非特許文献１】"Advanced Optical Terrain Absolute Navigation for Pinpoint Lunar Landing" （M. Mammarella, M. A. Rodrigalvarez, A. Pizzichini and A. M. Sanchez Montero in "Advances in Aerospace Guidance Navigation and Control", 2011, 419-430頁）
【非特許文献２】"Vision-Based Absolute Navigation for Descent and Landing" by B. Van Pham, S. Lacroix and M. Devy in "Journal of Field Robotics", pages 627-647, Volume 29, Issue 4, July 2012
【非特許文献３】"Distinctive Image Features from Scale-Invariant Keypoints" by David G. Lowe in the journal "International Journal of Computer Vision", Volume 60, No 2, pages 91-110, 2004
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、最初に申し述べたタイプの方法を、観測ベースのナビゲーションと参照データベースを生成するためのコンピュータグラフィック法の使用とで可能にするように設計することであり、当該データベースが、照明独立性でない、或いは、多様な照明バリエーションに用いるのに十分でない特徴抽出器でも使用できるようにすることである。
【課題を解決するための手段】
【００１４】
本発明はこの目的を、既存のトポロジカルマップからオフラインのプロセスで特徴データベースを生成し、ついで、観測された特徴を認識するためにオンラインプロセスで当該データベースを使用する方法を用いて、達成する。ここで、好ましくは、予測される状況の仮想参照画像が、特徴抽出を用いて分析されるコンピュータグラフィックス法を用いて生成され、また、画像ベースの特徴ベクトルとローカライズされた特徴の関連する３Ｄ座標から作られる特徴カタログがそこから導出される。これらのデータはモデルデータベースの形態でフライトシステムに保存され、また、ついで、計画された照明状況で基準軌道の近くにナビゲーションが行われる。
【００１５】
完全な画像やカメラのような受動的センサーの使用、また、本発明で使用される特徴抽出は、公開された書面であるDE 31 10 691 C2でも説明されておらず、他に議論されたいかなる方法においても知られていない。
【００１６】
このケースにおいて、本発明は、例えば惑星への着陸プロセスのような多くの可能性のある使用例では、計画された飛行場所及び時間はわかっているという事実を利用するものである。加えて、もし飛行領域の正確なトポロジカルマップが公知であるならば、カメラが撮影すると予測されるものについてのコンピュータグラフィックス的に生成された予想が、マップ資料と計画された飛行軌道とに基づくコンピュータグラフィックス法を用いる本発明の方法の活用と、計画された飛行時間とによって、計算されうる。このようにして、飛行準備において本発明の方法を用いて、仮想画像系列を計算することが可能であり、またさらに、画像の各ピクセルについて、参照座標系の中の対応する３Ｄ座標が保存される。
【００１７】
このケースにおいて予測される画像系列の予備計算はオフラインプロセスを構成し、本発明に備えられる特徴カタログの構築に用いられ、当該特徴カタログは実際の飛行の間のナビゲーションのために用いられる。つまり本発明の方法の基本的なアイデアは、まず特徴データベースが生成され、このように予め生成される特徴データベースが、オンラインアプリケーションで飛行オペレーションの間に使用される、というように、全体のプロセスを分割したことにある。本発明の方法は既存の方法を利用するものであるが、その革新性は、マップ資料の準備及び処理のためにコンピュータグラフィックス法を用いることによって、照明不変性を有さないという本来的な不利点を有する既存の特徴抽出器の多くを用いることにある。本発明の方法のみが、特徴抽出及び特徴認識のための、既存である意味非常に堅実な方法を用いることを可能にする。このことは、例えば月への着陸の使用例におけるクレーター検出と比較して、画像やマップにおいて非常によくローカライズされうる実際的にピンポイントの特徴が用いられ、ゆえに、クレーターベースのアプローチと比較して達成され得る正確性の明確な向上を与えるという利点を有する。クレーターベースのアプローチで達成される正確性がより低いことは、主に、クレーターは明確な外形線構造のある正多面体ではなく、ゆえに、入手できるマップ資料に対するそれ自体の位置ですらおおまかにしか決定されないということに起因する。また、クレーターベースの方法では、照明条件の変化が検出されるクレーターの位置のわずかな変位を引き起こすので、本発明を用いて実現される方法は、クレーターベースの方法よりもまた有利なものとなるだろう。
【００１８】
本発明の方法は、図面に基づいて次により詳しく説明される。
【図面の簡単な説明】
【００１９】
【図１】図１は、特徴データベースを生成するためのオフラインプロセスの主な手順を示す。
【図２】図２は、参照マップに対するカメラの位置及び向きの検出のためのオンラインプロセスの主な手順を示す。
【図３】図３は、仮想画像と現実の画像の間の特徴の割り当てを示す。
【図４】図４は、ロボットテストユニットの現実の画像に基づく、高度１００Ｋｍから５Ｋｍの模擬着陸テストの結果である、位置の正確性の平均である。
【図５】図５は、ロボットテストユニットの現実の画像に基づく、高度１００Ｋｍから５Ｋｍの模擬着陸テストの位置画像の標準偏差である。
【発明を実施するための形態】
【００２０】
図１に描かれたコンピュータグラフィックス法を活用する特徴生成は、まず、ローカルモデル２を生成することを含む。ローカルモデル２は、飛行エリア全体の例えばデジタル高度マップ（ＤＥＭ）のような地勢モデル１に基づき、予知されるカメラ位置及び向きのカメラによって観察されるそれらのマップのディテールのみを含む。予定された軌道の離陸の間の位置及び向きで予測される不正確性に依存して、前記ローカルモデルは、予測される不正確性を考慮するようにわずかに拡大される。例えば太陽の位置、惑星や月の位置等の関連する照明条件３を伴う計画時間が、計画された軌道のために想定される。続いて、予測される状況の仮想画像６が、例えばレイ・トレーシングとして知られているものなどそれ自体は公知であるコンピュータグラフィックス技術５を活用して、ローカルモデル、ローカルモデル２に対する予測されるカメラの位置及び向き４、及び、計画された照明条件３から、生成される。
【００２１】
つまりこのローカルモデルの生成は、飛行するエリア全体のデータ量が大きすぎる可能性があるときに必要になりうる。特定のカメラ位置及び向きについて、ローカルモデルはまず３Ｄモデルとして現され、もしあれば、Albedoマップとして公知である、表面の反射特性を現す図も提供される。このケースでは、マップに存在する全てのエラーが修正され、ギャップが補完される。
【００２２】
ローカルマップは、オリジナルのマップ資料に基づいて生成される。これは、グレー値が異なる高度に対応しているデジタル高度マップと関連する。このローカルモデルにおいては、一つのカメラが仮想的に予測された位置に置かれることができ、仮想画像や仮想深度マップもそこから生成されうる。
【００２３】
照合は、入手可能なマップ資料に依存するが、非常に類似しており、仮想画像６で計算された画像の特徴７は、現実のカメラ画像において容易に認識される。これらの特徴は、データベース８に保存され、（特徴抽出器が用いられる機能としての）特徴ベクトル及び参照系における関連する３Ｄ座標（例えば月面座標）からなるものである。
【００２４】
図２は、このように得られた特徴データベース８に基づいて、カメラ１０の位置及び向きの決定が、マップ化された地勢上を飛行する間に、どのように実行されるのかということを記述している。このケースでは、カメラ１０は、処理ユニット１１によって分析される、固定された円の中のデジタル画像を記録する。特徴抽出器１２は画像中の突出した特徴を検出する。特徴抽出器は、例えばSURF、SIFT、Harris、SUSAN、FAST又は他のより複雑な構造、例えばクレーターやLandStelの特徴等のあらゆる特徴抽出器の形式を含みうる。特徴ベクトル、すなわち、グレー値情報に基づくロケーションのローカルな記述も同様に、デジタル画像から検出された特徴のロケーションで検出され（１３）、また、画像の検出地点の２Ｄロケーションとリンクした認識ステージ１４に送られる。特徴認識１５は、関連する特徴９の予備選択を通じて、特徴データベース８の一連の特徴を受け取り、また、画像中に見出された特徴とデータベース８に保存された特徴との間の割り当てを生成することを試みる。ここで、第一に特徴ベクトルが使用されるが、これは例えば、最近傍分類を用いて認識されうる。結果は、画像中の特徴と、マップの３Ｄ座標が付されたデータベース８の特徴との割り当てである。次のステージ１６では、実行中の割り当ての考え得るエラー（外れ値として知られている）がチェックされ、除去される。これは、例えばRANSACフィルター等の公知の方法で行われうる。最後に、見出された特徴の２Ｄ座標が、カメラ１０に使用できる固有のカメラ較正１７に従って修正され、そのために、この処理ステージ１４の最後には、対応する２Ｄ及び３Ｄ位置のリストができる。
【００２５】
特徴認識において、単純化の目的のためには、特徴データベース８に存在する特徴の全てが、画像中に見いだされた特徴と比較されなくてもよい。むしろ、予め行なわれた位置と向きの予測を考慮した後に、問題になりうる特徴のみを選択してもよい。つまり、遠すぎる地図の領域に属しているために全く視認されない多数の特徴は、前もって省かれていてもよい。ついで、進行中のカメラ画像からの対応する２Ｄロケーションとデジタル高度地図からの３Ｄ座標とのリストが、カメラシステム１０の位置及び向きが２つの方法で参照地図に関して検出される（１８）ようにする。カメラの位置及び向きを直接的に決定する最適化方法によって、又は、反復フィルター（いわゆるKalmanフィルター）が用いられることによって、またさらなる他のセンサー１９を考慮することによって、利点が得られる。特徴データベース８からの次のタイムサイクルにおける関連する特徴を予備選択９するために、このように得られた位置及び向き情報が直接用いられてもよいし、或いは、外部から初期化が既定されていてもよい。
【００２６】
図３は、図面の左側部分に示された、月のクレーター２０の実際のカメラ画像と、図面の右側部分に示された、同じ月のクレーター２１の人工的に生成された画像との間の特徴の認識を示している。この画像のペアでは、SURF特徴検出器が用いられたが、これは、回転並びにスケール不変性である、すなわち、画像の回転やスケールの下でも、同じ特徴ベクトルは問題なく検出された。しかしながら、この抽出器は照明条件には独立ではない。このことにも関わらずこのオペレータが使用され得るという事実は、本発明によれば、モデルデータベースは、予測される照明条件に先んじてそれも特徴データベースに入力するコンピュータグラフィックス法を用いてモデルデータベースが生成されるということに帰結する。結果として、あらゆる所望の特徴抽出器を用いることが原理的に可能である！
【００２７】
最後に、図４及び図５は、模擬的な月への着陸のための軌道に関して、本方法がどのように試行されテストされたのかを示している。このケースでは、純粋なシミュレーションと、現実および仮想画像の間の比較との両方が用いられた。図４及び図５に描かれたカーブは、高度約１００Ｋｍから高度約５Ｋｍまでの模擬的な月モジュールへの降下の際に達成された正確性を示したものである。図４及び図５は、テストにおいて達成された平均的な位置の正確性と、各ケースでのそれに伴う標準偏差とを示している。現実のカメラ画像シークエンスを用いるこれらの試験は、ロボットテストユニットにおいて、１：５００００スケールの月の表面のモデルで実行された。
【図１】
0006023831.tif 000002
【図２】
0006023831.tif 000003
【図４】
0006023831.tif 000004
【図５】
0006023831.tif 000005
【図３】
0006023831.tif 000006