(57)【要約】  航空機の着艦を支援するシステムと方法は、前記航空機の電気光学センサから着艦サイトの画像データの順次的なフレームを受け取り、前記画像データの複数の順次的フレーム中の前記着艦サイトの複数のフィーチャを特定し、前記フレーム中のローカル座標系を用いて、画像データの複数の順次的フレーム中の識別されたフィーチャ間の相対的な位置と距離とを計算し、前記複数の順次的フレームから計算された相対的な位置と距離のデータに応じて、前記着艦サイトの数学的３次元モデルを提供し、前記航空機の前記着艦サイトへの接近中に、収集、識別、及び計算するステップを繰り返すことにより、前記３次元モデルを更新し、更新するステップからの前記３次元モデルを用いて、前記航空機を前記着艦サイトに着艦させる。
2017524932.tif 000002
【特許請求の範囲】
【請求項１】
航空機の着艦を支援する自動的方法であって、
前記航空機の電気光学センサから着艦サイトの画像データの順次的フレームを受け取るステップと、
前記画像データの複数の順次的フレーム中の前記着艦サイトの複数のフィーチャを識別するステップと、
前記フレーム中のローカル座標系を用いて、画像データの複数の順次的フレーム中の識別されたフィーチャ間の相対的な位置と距離とを計算するステップと、
前記複数の順次的フレームから計算された相対的な位置と距離のデータに応じて、前記着艦サイトの数学的３次元モデルを提供するステップと、
前記航空機の前記着艦サイトへの接近中に、収集、識別、及び計算するステップを繰り返すことにより、前記３次元モデルを更新するステップと、
更新するステップからの前記３次元モデルを用いて、前記航空機を前記着艦サイトに着艦させるステップとを含む、
方法。
【請求項２】
前記用いるステップは、
前記着艦サイトの３次元モデルの一部にある着艦エリアを識別するステップと、
更新された３次元モデルと識別された着艦エリアとに応じて、航空機の飛行の制御を可能とする信号であって、前記航空機が識別された着艦エリアに着艦できるようにする信号を生成するステップとを含む、
請求項１に記載の方法。
【請求項３】
着艦エリアを識別するステップは、前記着艦サイトについて事前に分かっている情報を用いる、請求項２に記載の方法。
【請求項４】
前記着艦サイトに関する電気光学センサの方位角と仰角を受け取るステップと、相対的な位置と距離のデータを計算するステップ、及び航空機フライトの制御を可能にする信号を生成するステップにおいて、受け取った方位角と仰角データを用いるステップとをさらに含む、
請求項２に記載の方法。
【請求項５】
前記着艦エリアは、識別された画像フィーチャの間に識別される、
請求項２に記載の方法。
【請求項６】
信号を生成するステップは、前記航空機と前記着艦エリアとの間の距離及び高度の情報を提供する、
請求項２に記載の方法。
【請求項７】
信号を生成するステップは、前記航空機と前記着艦エリアとの間の方向及び相対的速度の情報を提供する、請求項６に記載の方法。
【請求項８】
画像データの複数の順次的フレームから計算された相対的位置及び距離のデータを用いて、前記航空機が前記着艦エリアに到達する時間を決定するステップをさらに含む、請求項１に記載の方法。
【請求項９】
複数の順次的画像フレーム間の識別されたフィーチャの相対的な２次元の位置的動きを計測して、前記着艦サイトの振動性の相対的な動きを決定するステップをさらに含む、請求項１に記載の方法。
【請求項１０】
受け取られた画像データの順次的フレームは、画像取得の相対的時間を含む、
請求項１に記載の方法。
【請求項１１】
前記航空機は地理位置情報を用いて、最初に前記着艦サイトを位置特定し、識別する、請求項１に記載の方法。
【請求項１２】
前記航空機は、地理位置情報を用いて、前記航空機を最終進入路上に位置づける、
請求項１１に記載の方法。
【請求項１３】
受け取るステップは、前記着艦サイトに対して異なる角度位置から着艦サイトの画像データの順次的フレームを受け取る、
請求項１に記載の方法。
【請求項１４】
数学的３次元モデルを提供するステップは、計算された相対的位置及び距離のデータから、前記着艦サイトの数学的３次元モデルを構成するステップを含む、請求項１に記載の方法。
【請求項１５】
更新するステップは、前記着艦サイトへの接近全体において定期的に行われる、
請求項１に記載の方法。
【請求項１６】
３次元モデルデータは、フライト制御を改善するため、前記着艦サイトへの進入中に遠隔パイロットに伝送される、請求項１に記載の方法。
【請求項１７】
用いるステップは、自動操縦制御システムに信号を提供して、前記航空機の自動着艦を可能にする、請求項１に記載の方法。
【請求項１８】
航空機の着艦を支援するシステムであって、
電気光学センサと、
前記電気光学センサから画像を受け取るように結合されたプロセッサと、
メモリとを有し、前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
前記電気光学センサから着艦サイトの画像データの順次的なフレームを受け取り、
前記画像データの複数の順次的フレーム中の前記着艦サイトの複数のフィーチャを特定し、
前記フレーム中のローカル座標系を用いて、画像データの複数の順次的フレーム中の識別されたフィーチャ間の相対的な位置と距離とを計算し、
前記複数の順次的フレームから計算された相対的な位置と距離のデータに応じて、前記着艦サイトの数学的３次元モデルを提供し、
前記着艦サイトへの接近中に、収集、識別、及び計算するステップを繰り返すことにより、前記３次元モデルを更新し、
前記着艦サイトの更新された３次元モデルに応じて、前記航空機の制御を可能にさせる、
システム。
【請求項１９】
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
前記着艦サイトの３次元モデルの一部にある着艦エリアを識別し、
更新された３次元モデルと識別された着艦エリアとに応じて、航空機の飛行の制御を可能とする信号であって、前記航空機が識別された着艦エリアに着艦できるようにする信号を生成させる、
請求項１８に記載のシステム。
【請求項２０】
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
前記着艦サイトに対する前記電気光学センサの方位角及び仰角データを受け取り、
相対的位置及び距離データを計算するステップにおいて、受け取った方位角及び仰角データを用いて、航空機飛行の制御を可能にする信号を生成させる、
請求項１９に記載のシステム。
【請求項２１】
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
前記着艦サイトの識別されたフィーチャ間の前記着艦エリアを識別させる、
請求項１９に記載のシステム。
【請求項２２】
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
複数の順次的画像フレーム間の識別されたフィーチャの相対的な２次元の位置的動きを計測して、前記着艦サイトの振動性の相対的な動きを決定させる、
請求項１８に記載のシステム。
【請求項２３】
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
計算された相対的な位置及び距離データから前記着艦サイトの数学的３次元モデルを構成させる、
請求項１８に記載のシステム。
【請求項２４】
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
前記着艦サイトへの接近全体において更新するステップを定期的に行わせる、
請求項１８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、ビデオ支援着艦誘導システムに関し、特にかかるシステムのうち無人航空機で用いられるものに関する。
【背景技術】
【０００２】
無人航空機すなわちドローンは、一般的に、パイロットが着艦（ｌａｎｄｉｎｇ）を含む操縦を実行できるようにするため、離れたところにいるそのパイロットに供給されるビデオストリームを用いる。着艦は特に難しいことがあるが、それはビデオストリームの伝送遅延と、その結果として着艦の最後の数秒に調整のための制御信号が必要となるからである。航空母艦その他のプラットフォームなどの制限された着艦エリアは、２次元画像ストリームに依存するのは限界である（ｓｔｒｅｔｃｈ  ｔｈｅ  ｌｉｍｉｔｓ  ｏｆ  ｒｅｌｙｉｎｇ  ｏｎ）。悪天候や視界不良により困難性は指数関数的に増大する。付加的なデータ読み取りを提供することもできるが、伝送遅延問題は残る。自動システムを用いることもできるが、情報の収集及び処理における遅延が起こり、着艦に用いることができない。
【０００３】
したがって、無人航空機の着艦システムは、制御変更をより速くできるようにし、単なる２次元画像以上を用いることにより、改善できるだろう。
【発明の概要】
【０００４】
ここに説明する技術は、航空機の着艦に用いる、意図された着艦ロケーションのビデオセンサデータの収集及び処理と、その機能を行うシステムとに関する。
【０００５】
航空機の最終進入中に生成される着艦サイトのビデオ画像のストリームを使用して、着艦サイトの３次元の数学的モデルを生成する。３次元モデルは、遠隔パイロットにより用いられ、単純な２次元画像以上の、進入を通してクリアなライブ画像に依存しない３次元モデルを提供する。３次元モデルは自動着艦システムを誘導するのにも使える。３次元モデルのすべてのアプリケーションにより、限られた着艦エリアで、かつ低い視認性及び悪い気象条件における着艦の成功の可能性を高めることができる。
【０００６】
本発明の一実施形態は、航空機の着艦を支援する自動的方法を提供する。該方法は、前記航空機の電気光学センサから着艦サイトの画像データの順次的なフレームを受け取るステップと、前記画像データの複数の順次的フレーム中の前記着艦サイトの複数のフィーチャを特定するステップと、前記フレーム中のローカル座標系を用いて、画像データの複数の順次的フレーム中の識別されたフィーチャ間の相対的な位置と距離とを計算するステップと、前記複数の順次的フレームから計算された相対的な位置と距離のデータに応じて、前記着艦サイトの数学的３次元モデルを提供するステップと、前記航空機の前記着艦サイトへの接近中に、収集、識別、及び計算するステップを繰り返すことにより、前記３次元モデルを更新するステップと、更新するステップからの前記３次元モデルを用いて、前記航空機を前記着艦サイトに着艦させるステップとを含む。
【０００７】
用いるステップは、前記着艦サイトの３次元モデルの一部にある着艦エリアを識別するステップと、更新された３次元モデルと識別された着艦エリアとに応じて、航空機の飛行の制御を可能とする信号であって、前記航空機が識別された着艦エリアに着艦できるようにする信号を生成するステップとを含んでもよい。着艦エリアを識別するステップは、前記着艦サイトについて事前に分かっている情報を用いてもよい。本方法はさらに、前記着艦サイトに対する前記電気光学センサの方位角及び仰角データを受け取るステップと、相対的位置及び距離データを計算するステップにおいて、及び航空機飛行の制御を可能にする信号を生成するステップにおいて、受け取った方位角及び仰角データを用いるステップをさらに含む。前記着艦エリアは、識別された画像フィーチャの間に識別されてもよい。信号を生成するステップは、前記航空機と前記着艦エリアとの間の距離及び高度の情報を提供してもよい。信号を生成するステップは、前記航空機と前記着艦エリアとの間の方向及び相対的速度の情報を提供することができる。
【０００８】
方法は、画像データの複数の順次的フレームから計算された相対的位置及び距離のデータを用いて、前記航空機が前記着艦エリアに到達する時間を決定するステップをさらに含んでもよい。方法は、複数の順次的画像フレーム間の識別されたフィーチャの相対的な２次元の位置的動きを計測して、前記着艦サイトの振動性の相対的な動きを決定するステップをさらに含んでもよい。受け取られた画像データの順次的フレームは、画像取得の相対的時間を含んでもよい。前記航空機は地理位置情報を用いて、最初に前記着艦サイトを位置特定し、識別してもよい。前記航空機は、地理位置情報を用いて、前記航空機を最終進入路上に位置づけてもよい。
【０００９】
受け取るステップは、前記着艦サイトに対して異なる角度位置から着艦サイトの画像データの順次的フレームを受け取ってもよい。数学的３次元モデルを提供するステップは、計算された相対的位置及び距離のデータから、前記着艦サイトの数学的３次元モデルを構成するステップを含んでもよい。更新するステップは、前記着艦サイトへの接近全体において定期的に行われてもよい。方法は、３次元モデルデータは、フライト制御を改善するため、前記着艦サイトへの進入（ａｐｐｒｏａｃｈ）中に遠隔パイロットに伝送されるステップを含んでもよい。用いるステップは、自動操縦制御システムに信号を提供して、前記航空機の自動着艦を可能にしてもよい。
【００１０】
本発明の他の一実施形態は、航空機の着艦を支援するシステムを提供する。該システムは、電気光学センサと、前記電気光学センサから画像を受け取るように結合されたプロセッサと、メモリとを有し、前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、前記電気光学センサから着艦サイトの画像データの順次的なフレームを受け取り、前記画像データの複数の順次的フレーム中の前記着艦サイトの複数のフィーチャを特定し、前記フレーム中のローカル座標系を用いて、画像データの複数の順次的フレーム中の識別されたフィーチャ間の相対的な位置と距離とを計算し、前記複数の順次的フレームから計算された相対的な位置と距離のデータに応じて、前記着艦サイトの数学的３次元モデルを提供し、前記着艦サイトへの接近中に、収集、識別、及び計算するステップを繰り返すことにより、前記３次元モデルを更新し、前記着艦サイトの更新された３次元モデルに応じて、前記航空機の制御を可能にさせる、
前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、前記着艦サイトの３次元モデルの一部にある着艦エリアを識別し、更新された３次元モデルと識別された着艦エリアとに応じて、航空機の飛行の制御を可能とする信号であって、前記航空機が識別された着艦エリアに着艦できるようにする信号を生成させる。前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、前記着艦サイトに対する前記電気光学センサの方位角及び仰角データを受け取り、相対的位置及び距離データを計算するステップにおいて、受け取った方位角及び仰角データを用いて、航空機飛行の制御を可能にする信号を生成させる。前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、前記着艦サイトの識別されたフィーチャ間の前記着艦エリアを識別させる。
【００１１】
前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、複数の順次的画像フレーム間の識別されたフィーチャの相対的な２次元の位置的動きを計測して、前記着艦サイトの振動性の相対的な動きを決定させる。前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、計算された相対的な位置及び距離データから前記着艦サイトの数学的３次元モデルを構成させる、前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、前記着艦サイトへの接近全体において、更新するステップを定期的に行わせる。前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、関連する方法の実施形態の任意の機能を実行させる。
【００１２】
本発明の他の態様及び利点は、単なる例として本発明の原理を例示する添付した図面を参照して、次の詳細な説明から明らかになる。
【図面の簡単な説明】
【００１３】
本発明の様々な実施形態の上記の特徴は、添付した図面を参照しつつ以下の詳細な説明を読めば、容易に理解されるだろう。
【図１】本発明の一実施形態による航空機の着艦を支援するシステムを示す模式図である。
【図２】一実施形態による航空機の着艦を支援するシステムを示すブロック図である。
【図３】一実施形態による、画像フレーム中のフィーチャを処理するモジュールを示すブロック図である。
【図４】一実施形態による、画像フレーム中のフィーチャの位置を推定するモジュールを示すブロック図である。
【図５】一実施形態による航空機を着艦させる方法を示すフローチャートである。
【図６】一実施形態による航空機を着艦させるシステムで用いられる計算装置を示すブロック図である。
【図７Ａ】本発明の一実施形態を用いる、初期着艦進入中の航空機から捉えた航空母艦を示すシミュレーション画像である。
【図７Ｂ】航空母艦への着艦直前に航空機から捉えた、図７Ａの航空母艦を示すシミュレーション画像である。
【図８】航空機の３次元モデルを表すハイライトラインを示す、図７Ａと図７Ｂに示した航空母艦を示すシミュレーション画像である。
【発明を実施するための形態】
【００１４】
図１は、一実施形態による、画像センサ１０４の視野１２０において航空機１０６の着艦を支援するシステム１００を示す模式図である。システム１００は、画像センサ１０４に加え、航空機１０６のグローバル・ポジショニング・システム（ＧＰＳ）などのグローバルフレームにおける３次元位置を測定する慣性計測装置（ＩＭＵ）１０８を任意的に含み得る。このシステムは、計算装置１１２も含む。これは、画像センサ１０４の視野１２０中にある航空母艦などの着艦サイト１１６に航空機１０６が接近する時に、画像センサ１０４により捉えられるビデオデータを処理するプロセッサを含む。
【００１５】
図２は、図１の模式図に示した航空機の着艦を支援するシステム２００を示すブロック図である。画像処理モジュール２０４は、ビデオモジュール２１２、視線計測モジュール２１６、及び任意的にセンサ位置計測モジュール２０８からデータを受信する。画像処理モジュール２０４は、一以上のタイプのロケーションデータ（すなわち、着艦サイト位置データ２２０、画像センサ１０４の視野１２０内の着艦サイトへの視線位置データ２２４、及びセンサ位置データ２２８）を出力する。
【００１６】
画像処理モジュール２０４は、前処理モジュール２３２、フィーチャ処理モジュール２３６、及び推定モジュール２４０を含む。前処理モジュール２３２は、画像処理手法（例えば、画素処理、利得補正）を実行して、ビデオモジュール２１２から受信したビデオデータを調整（ｃｏｎｄｉｔｉｏｎ）する。ビデオデータは、画像センサ１０４により捉えられ、それから受信された一連のビデオ画像フレームである。幾つかの実施形態では、画像フレームは一定の（例えば、６０Ｈｚ、１２０Ｈｚ）キャプチャレートで捉えられる。各フレームは複数の画素（例えば、１０２４×１０２４、２０４８×２０４８、２０４８×１０２４）よりなる。各画素は、その画素ロケーションにおける画像フレームの強度に対応する強度値を有する。画像フレームは、グレースケールでも、カラーでも、又は画像センサが捉えられる電磁波スペクトル（例えば、赤外、近赤外、Ｘ線）を表すその他の表現でもよい。好ましい実施形態では、画像は赤外線電気光学センサで捉えられる。
【００１７】
ビデオデータの前処理により、システムの精度が改善し、例えば、画像センサ１０４により捉えられるスプリアス信号に対し、またはビデオデータ中のエラーに対し感度が下がる。前処理モジュール２３２は、例えば、ドット欠け（ｄｅａｄ  ｐｉｘｅｌｓ）を排除し、又はビデオデータ中の画像フレームの信号レベル／強度利得を補正することができる。幾つかの実施形態では、ドット欠けは、異常値が素を検出して排除するアルゴリズムを用いて、排除できる。異常値画素（ｏｕｔｌｉｅｒ  ｐｉｘｅｌｓ）は、例えば、画像フレームの計算された統計と比較して、又はオペレータにより経験的に選択された所定値と比較して、非常に大きい又は非常に小さい強度値を有する画素であり得る。幾つかの実施形態では、画像フレームの信号レベル／強度利得は、検出器における画素利得を校正することにより補正される。画素利得は、一様な背景画像フレーム上で焦点面を動かし、画素信号レベル／強度の平均値により画素利得を正規化することにより、校正できる。前処理モジュール２３２は、フィーチャ処理モジュール２３６に、処理済みビデオデータを提供する。
【００１８】
フィーチャ処理モジュール２３６は、ビデオデータを、そのビデオデータの画像フレーム中のフィーチャの座標値及び／又は速度値に変換する。フィーチャ処理モジュール２３６は、ビデオデータ、位置データ、及び速度データを推定モジュール２４０に提供する前に、ビデオデータを変換する一以上のモジュールを含む。図３は、幾つかの実施形態においてフィーチャ処理モジュール２３６により用いられるモジュール例を示すブロック図である。フィーチャ処理モジュール２３６は、フィーチャを選択するモジュール３０４、時間の関数としてフィーチャをトラッキング（ｔｒａｃｋ）するモジュール３０８、及びフィーチャトラックを滑らかにして測定誤差を低減するモジュール３１２を含む。
【００１９】
幾つかの実施形態では、フィーチャ処理モジュール２３６は、本技術分野の当業者に知られた一以上の手法に基づいて、画像フレーム中のフィーチャを自動的に選択する。幾つかの実施形態では、オペレータは、ビデオデータを与えられ、（例えば、オペレータは、マウスを用いて、トラックするフィーチャとして指定したい画像フレーム中のロケーションを選択することにより）フィーチャを特定する。後者の実施形態では、フィーチャ処理モジュール２３６はオペレータ入力を用いてフィーチャを選択する。
【００２０】
幾つかの実施形態では、フィーチャ処理モジュール２３６は、例えば、画像フレームのローカル部分の画素コントラストの最大変化、画像フレームに適用されるコーナー検出法、又は分散推定法に基づき、フィーチャを選択する（３０４）。コントラストの最大変動は、画像フレーム中の角、小さいオブジェクト、又は隣接画素もしくは画素グループ間に不連続性があるその他のフィーチャを特定するのに有用である。フィーチャ選択は高い精度で行えるが、必須ではない。航空機が着艦サイトに接近するにつれ、システムがフレームごとにフィーチャをトラッキングするので、画像の精細度が向上し、累積的に処理される。回転翼機またはヘリコプターなどの、直線着艦進入に依存しないものにおける、着艦サイトの視野角が変化するアプリケーションでは、現実的に同じシーン条件では視野角の変化は小さく、それゆえシステム性能はかかる変化に対して概してロバスト（ｒｏｂｕｓｔ）である。幾つかの実施形態では、幾つかのフィーチャは、画像フレームの各々には現れない、又は識別されないかも知れない。幾つかのフィーチャは一時的に不明瞭になるかもしれず、画像フレームに関連する視野から出るかも知れない。説明する方法は、システムの視野に戻ったフィーチャのトラッキングを開始する。
【００２１】
フィーチャは幾つかの画素よりなるジオメトリックな構成であると規定される。幾つかの実施形態では、フィーチャ（ｆｅａｔｕｒｅ）は、半径（Ｒ）の円の中心（例えば、１乃至１０画素又は１乃至２５画素の間の幾つかの画素）として規定される。フィーチャの中心は射影変換の不変量（ｉｎｖａｒｉａｎｔ  ｔｏ  ｐｒｏｊｅｃｔｉｖｅ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ）として扱われる。半径は適応的であり、（フィーチャ位置の推定のために重要である）点への局在性（ｌｏｃａｌｉｚａｔｉｏｎ−ｔｏ−ｐｏｉｎｔ）と、（画像におけるフィーチャのレジストレーションのために重要である）面への広がり（ｅｘｐａｎｓｉｏｎ−ｔｏ−ａｒｅａ）との間のトレードオフとして選択される。フィーチャの半径は、通常、小型の傾いた又は斜めのフィーチャに対しては比較的小さく選択される。フィーチャは３次元マッピング効果により動き、静止した背景と分けると有利であることが多いからである。各フィーチャの画素はガウシアンにより加重され、そのフィーチャがその境界へ滑らかに減衰するようになっている。特定されるフィーチャは、各フレームの２次元又は局所座標系に記録されるロケーションを有する。
【００２２】
アプリケーションとロケーションとに応じて、任意の好適なフィーチャを用いても良い。フィーチャは、自然のものでも、人工のものでも、意図的なものでもよく、例えば、着艦灯や赤外線環境での熱源であってもよい。
【００２３】
フィーチャが選択された後、フィーチャ処理モジュール２３６は、フィーチャトラッキングモジュール３０８を用いて、そのフィーチャをトラッキングする。幾つかの実施形態では、フィーチャ処理モジュール２３６は、画像レジストレーション手法を実装して、そのフィーチャをトラッキングする。幾つかの実施形態では、レジストレーションの２つのプロセスが実装される：１）フレームごとにフィーチャの動きの大きさと任意的に速さとを測定する（仮想的なジャイロ測定を行う）順次的レジストレーションと、２）フレームごとにフィーチャの位置を測定する（仮想ジンバル）絶対レジストレーションとである。
【００２４】
幾つかの実施形態では、フィーチャ処理モジュール２３６は、アフィン補償ステップを実行して、フィーチャの３次元的奥行きにおける変化を考慮する（ａｃｃｏｕｎｔ  ｆｏｒ）。アフィン補償ステップは、直線と、直線上にある点間の距離の間の比率とを保存する数学的変換である。アフィン補償ステップは、フレーム間で生じるかも知れない視野角の変化により行われる補正である。このステップは、例えば、フレーム間で生じるかも知れない並進、回転、せん断（ｓｈｅａｒｉｎｇ）を補正する。アフィン変換は、３次元の奥行きによる同じフィーチャの外観変化が顕著になり、焦点面のＸ−Ｙ座標におけるフィーチャのレジストレーションをより良くするために補正する必要があるとき、指定されたすべてのフレームで（例えば、３０フレームごとに）行われる。
【００２５】
レジストレーションアルゴリズムの一実施形態は、フィーチャの画素の、他のフレーム中のローカル画素との相関に基づき、そのフレームにローカルのＸ−Ｙ座標系における最もマッチするシフトを見つける。この方法は、一フレーム中のフィーチャ画素の強度の、他のフレーム中のフィーチャの画素の強度との差分を最小化することを試みるステップを含む。この方法は、最小二乗法の意味で好ましいシフト（例えば、最小シフト）を特定するステップを含む。幾つかの実施形態では、フィーチャのローカルエリアが双三次補間により再サンプリングされ（ｘ３−５）、最良マッチを見つけるために、より細かいグリッドが用いられる。この段階では、再サンプリングされた画像間の最小二乗（ＬＳ）ノルムを、互いにシフトすることにより最小化する単純グリッドサーチアルゴリズムが用いられる。幾つかの実施形態では、大域的最小化（画像レジストレーションのためＸ−Ｙにおける最良のシフト）の精度をさらに改善するために、グリッドベースの最小値の周りでＬＳノルム面の放物線ローカルフィットを実行する。これにより、画素の約１／１０以上の精度が得られる。フィーチャトラッキング及びレジストレーションにより、静止したフィーチャだけでなく、例えば、車、列車、又は飛行機などの標的上に確定された動くフィーチャもトラッキングできる。
【００２６】
フィーチャ処理モジュール２３６は、フィーチャトラック情報を推定モジュール２４０に提供する前に、平滑化モジュール３１２で、フィーチャトラックを滑らかにする。様々な平滑化アルゴリズムやフィルタを利用して、データ平滑化を実行し、システムの効率を改善し、データ中の異常値への敏感性を低減することができる。幾つかの実施形態では、フィーチャの軌跡の平滑化が、指定された時間ウィンドウにおける（例えば、所定時間にわたるフィーチャの位置の値）一連の値に局所多項式回帰を行うＳａｖｉｔｚｋｙ‐Ｇｏｌａｙフィルタにより行われる。
【００２７】
このシステムは、視線計測モジュール２１６を含む。これは推定モジュールに設けることもできる。視線計測モジュール２１６は、方位角と仰角の測定値を推定モジュール２４０に提供する。任意的センサ位置計測モジュール２０８は、ＩＭＵ１０８により計測される航空機１０６の大域的フレームの３次元位置（Ｘ、Ｙ、Ｚ）を出力する。位置は推定モジュール２４０に提供される。推定モジュール２４０は、画像フレーム中のフィーチャトラック（ローカル位置、動き、及び速度データ）と、センサ位置計測モジュール２０８の出力とを受け取る。任意的センサ位置計測モジュール２０８と視線計測モジュール２１６は、両方とも、計測値を推定モジュール２４０に提供する。この計測値は、共に図４に示したモジュール４０４（３次元におけるフィーチャの初期化）及びモジュール４１６（再帰的カルマンタイプフィルタ）により処理される。
【００２８】
図４は、幾つかの実施形態において推定モジュール２４０により用いられるモジュール例を示すブロック図である。推定モジュール２４０は、一以上のタイプのロケーションデータ（着艦サイト位置２２０、モジュール２１６からの視線データ２２４、及びセンサ位置２２８）を推定する一以上のモジュールを含む。この実施形態では、推定モジュール２４０は、初期化モジュール４０４、モデル生成モジュール４０８、パーシャルズ計算モジュール（ｐａｒｔｉａｌｓ  ｃａｌｃｕｌａｔｉｏｎ  ｍｏｄｕｌｅ）４１２、及び再帰モジュール４１６を含む。モジュール４１２は、式１２−１４の行列Ｈを出力する。
【００２９】
フィーチャの３次元位置の推定と、センサ位置及び視線（ＬＯＳ）の推定とは、非線形推定問題を解くことにより行われる。推定モジュール２４０は、画像フレーム中のフィーチャトラック（位置、動き、及び速度データ）と、センサ位置計測モジュール２０８の出力とを用いる。非線形推定問題を解く最初のステップは、３次元におけるフィーチャの位置（緯度、経度、高度）の初期化である。初期化モジュール４０４は、２つ（以上）のフレームにおけるフィーチャの対応関係を見いだし、最小二乗適合を用いて視線と交差することにより、これを行う。フィーチャ位置を初期化すると、この初期推定（基準値）の近傍では計測式を線形近似できる。それにより、ＧＰＳ／ＩＮＳからのセンサ位置及びＬＯＳの計測値を、線形近似プロセスにおける基準値としても用いる。
【００３０】
推定モジュール２４０は、入来データをリアルタイムで処理する動的推定プロセスを実装する。これは、再帰的カルマンタイプフィルタの形式で（線形近似後に）定式化される。フィルタは再帰モジュール４１６により実装される。モデル生成モジュール４０８は、式１による線形近似動的モデルの初期条件を設定する：
【００３１】
【数１】
2017524932.tif 000003
ここで、ｔは現在の画像フレームの時間であり、Δｔは画像フレーム間の時間ステップ（間隔）である。線形近似計測モデルは式２により生成される：
【００３２】
【数２】
2017524932.tif 000004
拡張状態ベクトルΔＸΣは次のブロックを含む（すべての値は、その基準値からの実際値の偏差として表される）：
【００３３】
【数３】
2017524932.tif 000005
【００３４】
【数４】
2017524932.tif 000006
【００３５】
【数５】
2017524932.tif 000007
【００３６】
【数６】
2017524932.tif 000008
【００３７】
【数７】
2017524932.tif 000009
ここで、Δｐはｎ個のフィーチャ（ｆｅａｔｕｒｅｓ）に関連するすべてのパラメータを含むブロックであり、Δｓは６個のセンサパラメータ（３個のパラメータは絶対座標系におけるセンサ位置のものであり、３個のパラメータはＬＯＳのものであり、方位角、仰角、回転）を含むブロックである。ブロックΔｐのサブブロックは、静止フィーチャ（Δｐｉｓｔａｔ）または移動フィーチャ（Δｐｉｍｏｖ）に対応し得る。それに応じて、第１の場合には、サブブロックは３次元におけるフィーチャの位置（ｘ，ｙ，ｚ）を３つ含み、第２の場合には、サブブロックは３つのｘ−ｙ−ｚパラメータ及び移動フィーチャの速度を３つ含む。
【００３８】
行列Φ（ｔ，Δｔ）は、フィーチャ、センサ位置、及びＬＯＳの対角ブロックを含む遷移行列である。それに応じて、静止フィーチャのブロックは大きさが［３×３］のユニタリー行列であり、移動ターゲットのブロックは、線形運動の場合、大きさが［６×６］の遷移行列であり、センサのパラメータのブロックは１次マルコフ過程に対応するスカラーである。行列Ｆ（ｔ）は、システムの擾乱（ｄｉｓｔｕｒｂａｎｃｅ）ξ（ｔ）を状態ベクトルδＸΣの空間にマッピングする射影行列である。擾乱のベクトルξ（ｔ）は、移動ターゲットの式とセンサのパラメータ（位置及びＬＯＳ）に、１次マルコフ成形フィルタのガウス白色ノイズを含む。ベクトルξ（ｔ）は平均がゼロであり、共分散行列Ｄξを有する。
【００３９】
各フレームの計測ベクトルΔＹΣは次のブロックを含む：
【００４０】
【数８】
2017524932.tif 000010
【００４１】
【数９】
2017524932.tif 000011
【００４２】
【数１０】
2017524932.tif 000012
【００４３】
【数１１】
2017524932.tif 000013
ここで、ブロックΔｑｉは、（ｎ個中の）ｉ番目のフィーチャに対応し、２つのサブブロックを含む：１）ΔｑｉＶＧは仮想ジャイロ（ＶＧ）計測（フィーチャ位置）の２つの成分を含み、２）ΔｑｉＶＧＲは仮想ジンバルレゾルバ（ｖｉｒｔｕａｌ  ｇｉｍｂａｌ  ｒｅｓｏｌｖｅｒ、ＶＧＲ）計測（フィーチャ速度）の２つの成分を含む。両方（ＶＧとＶＧＲ）の場合に、２つの計測成分はフィーチャの焦点面におけるｘ位置とｙ位置である。
【００４４】
線形近似モデルにおいて、行列Ｈ（ｔ）は、計測値が状態ベクトル成分にどう依存するかを定式化する感度行列（ｓｅｎｓｉｔｉｖｉｔｙ  ｍａｔｒｉｘ）である。ベクトルη（ｔ）は計測ノイズベクトルであり、平均がゼロであり共分散行列がＤηであるガウスノイズであると仮定される。仮想ジャイロ及び仮想ジンバルレゾルバの計測ノイズは、フィーチャのレジストレーション誤差の結果である。ある実験では、一組のデータのレジストレーション誤差は、ガウシアンではなく、時間的に相関していた。幾つかの実施形態では、フィルタリングアルゴリズムの定式化を簡単化するため、システム性能をロバスト（ｒｏｂｕｓｔ）にするのに分散が十分大きいガウシアンの非相関ノイズを仮定するステップを含む。
【００４５】
動的モデルと計測モデルが生成された後、推定モジュール２４０は、次式により、標準的拡張カルマンフィルタ（ＥＫＦ）を構成し、状態ベクトルとそれに関連する共分散行列の推定を伝搬する。
【００４６】
【数１２】
2017524932.tif 000014
【００４７】
【数１３】
2017524932.tif 000015
【００４８】
【数１４】
2017524932.tif 000016
【００４９】
【数１５】
2017524932.tif 000017
ＥＫＦの処理ステップにおいて、事後的統計、すなわちΔＸΣ＊−状態ベクトルΔＸΣの事後推定と、Ｐ＊（ｔ）−それに関連する事後共分散行列とが生成される。それに応じて、ＥＫＦの予測ステップにおいて、事前統計、すなわち
【００５０】
[外１]
2017524932.tif 000018
−状態ベクトルΔＸΣの事前推定と、
【００５１】
[外２]
2017524932.tif 000019
−それに関連する事前共分散行列とが生成される。
ＥＫＦフィルタリングアルゴリズムは、フレームごとに処理される可変な一組のフィーチャを管理する。特に、それにより、拡張された状態ベクトルΔＸΣに、センサの視野に入ってくる新しいフィーチャを加え、もはや視野に入っていない古いフィーチャを除外する。もはや視野に入っていないフィーチャは、一定時間の間、フィルタに保持される。視野内のフィーチャの推定に貢献し続けるからである。この時間は、フィーチャを説明するため、共分散行列の対角線上の要素における低下レベルにより決定される。フィーチャのロケーションの精度とメモリスピード要件との間のトレードオフである。フィルタリングアルゴリズムは、フィーチャが多数ある場合、例えば１００−１０００ある場合に、大きな共分散行列（事後行列Ｐ＊（ｔ）と事前行列[外３]
2017524932.tif 000020
）を管理する。本方法は、関連効果が最大の共分散行列に相関を保持する。相関は、（各計測値と状態ベクトル間の）共分散ベクトルと、このベクトルの転置との積、すなわちＰ＝ＶＶＴである、この行列を生成するプロセスで特定される。このアルゴリズムは、共分散ベクトルの第１の相関を計算し、ペアごとの乗法に相関閾値を用いて共分散行列中の基本的相関を特定することに基づく。共分散行列中の要素の選択は、ＥＫＦによる計算時間とメモリ使用量を大幅に低減する役に立つ。
【００５２】
図５は、画像センサの視野内でフィーチャを位置特定する方法５００を示すフローチャートである。本方法は、画像センサの視野から画像フレーム５０４を最初に取得するステップを含む。取得された画像フレームは、例えばプロセッサにより受け取られ（ステップ５０８）、さらに処理される。本方法は、画像フレーム５１２中の一以上のフィーチャを特定するステップを含む。フィーチャは、（例えば、図２及び図３を参照して上で説明したように）様々な好適な方法のどれかを用いて特定される。本方法は、画像センサの３次元位置計測値５１６を最初に取得するステップも含む。３次元位置計測値は、絶対座標系（例えば、グローバルＸ，Ｙ，Ｚ座標）において取得される。取得された画像フレームと取得された位置計測値は、プロセッサにより受け取られ（ステップ５２０）、さらに処理される。各ステップ５０４、５０８、５１２、５１６及び５２０は、少なくとももう１回繰り返され、２回目に、第２の画像フレームと第２の３次元位置計測値とが取得される。
【００５３】
本方法は、少なくとも２つの画像フレームが取得された後、例えば、図３のフィーチャ選択モジュール３０４とトラッキングモジュール３０８とを用いて、画像フレーム５２８におけるフィーチャの位置と速度を決定するステップを含む。本方法は、画像フレーム中のフィーチャの位置及び速度と、ステップ５１６で取得した画像センサの３次元位置計測値とに基づいて、画像フレーム５３２中のフィーチャの３次元位置を決定するステップも含む。幾つかの実施形態では、フィーチャの位置と速度の値は平滑化され（ステップ５５２）、ステップ５３２を実行する前に測定誤差を低減する。
【００５４】
幾つかの実施形態では、本方法は、画像フレームにおけるフィーチャの３次元位置を決定するのに、画像センサ５４４に対して得られた方位角と仰角の計測値を用いるステップを含む。改善された方位角及び仰角の計測値は、フィーチャの３次元位置に基づいて、画像センサについて、生成され得る（ステップ５４８）。これは上記のアルゴリズムにより実現できる。状態ベクトルが、フィーチャの３次元座標とセンサ特性（センサの位置及び視線の方位角・仰角）とを両方とも含むからである。それに応じて、フィーチャ位置の正確な知識は、センサ位置と視線の正確な知識に直接移転される。
【００５５】
幾つかの実施形態では、本発明は、画像フレーム中のフィーチャの３次元位置に基づいて、一以上の画像フレームにわたり３次元グリッド５３６を生成するステップを含む。幾つかの実施形態では、３次元グリッドは、画像フレームの視野を張る直交線の交点としてフィーチャを用いることにより構成される。幾つかの実施形態では、これは、フィーチャ位置のドローネー三角分割法（Ｄｅｌａｕｎａｙ  ｔｒｉａｎｇｕｌａｔｉｏｎ）により、次いで規則的な緯度・経度・高度グリッドによる三角化された面の補間により行われる。幾つかの実施形態では、本方法は、画像フレーム中のフィーチャのラジオメトリック（ｒａｄｉｏｍｅｔｒｉｃ）データを受け取るステップも含む。ラジオメトリックデータ（例えば、フィーチャの色、フィーチャの光学特性）は、画像フレームが取得される時に、取得できる。
【００５６】
図７Ａと図７Ｂは、着艦のために航空母艦に接近しつつある航空機から見た、航空母艦７００を示すシミュレーション画像である。図７Ａは、初期着艦進入において２５００メートル離れて３００メートルの高さから見た航空母艦７００を示す。航空母艦７００は、画像強度において明確な変化を提供するコーナー７０２、７０３、７０４などの複数のフィーチャを示している。様々なその他のフィーチャ、例えば線や構造が、視認性及び照明条件に応じて特定可能であってもよい。航空母艦７００上の照明されたマーカーを特定可能なフィーチャとして用いてもよい。図７Ｂは、３００メートル離れた５０メートルの高さから見た航空母艦７００の画像である。コーナー７０２、７０３、７０４などの画像フィーチャがより良く確定される。図７Ｂは、ライン７０２ａ、７０３ａ、７０４ａによりそれぞれ、最初の相対的画像グルーピング７００ａから図７Ｂの位置までの、コーナーの動きも示す。ライン７０２ａ、７０３ａ、７０４ａは、航空母艦７００への進入中の、ローカル画像スケールにわたるコーナー７０２、７０３、７０４の動きを表す。着艦中の画像に渡る特定可能なフィーチャの動きにより、システムは、航空母艦７００の３次元モデルを構成して、特定可能なフィーチャ間に位置する好適な着艦エリア７１０を特定できる。
【００５７】
図８は、航空母艦７００を示す他のシミュレーション画像であり、航空母艦の３次元ファセットモデル（ｆａｃｅｔ  ｍｏｄｅｌ）のハイライトラインがスーパーインポーズされている。着艦エリア７１０は、画像中、航空母艦のフィーチャと、構造物が無いオープンエリアとの間にあるものと自動的に特定可能であり、固定翼航空機が着艦できる。回転翼航空機は、フィーチャ間にオープンエリアをもっと容易に特定でき、着艦エリアを選択できるだろう。
【００５８】
図６は、画像センサの視野中のフィーチャを位置特定（ｌｏｃａｔｅ）するシステム（例えば、図１のシステム１００）で用いる計算デバイス６００を示すブロック図である。計算デバイス６００は、一以上の入力デバイス６１６と、一以上の出力デバイス６２４と、一以上の表示デバイス６２０と、一以上のプロセッサ６２８と、メモリ６３２と、通信モジュール６１２とを含む。ここに説明のモジュールとデバイスは、例えば、プロセッサ６２８を利用して、コンピュータ実行可能命令を実行でき、及び／又は、ここに説明のモジュールとデバイスは、例えば、自分自身のプロセッサを含み、コンピュータ実行可能命令を実行できる。言うまでもなく、計算デバイス６００は、例えば、本技術分野で知られたその他のモジュール、デバイス、及び／又はプロセッサ、及び／又は説明のモジュール、デバイス、及び／又はプロセッサのバラエティを含み得る。
【００５９】
通信モジュール６１２は、計算デバイスに画像センサ６０４との間で信号をやりとりできるようにするコンピュータ命令に対応する回路やコードと、慣性計測ユニット６０８（例えば、図１の慣性計測ユニット１０８）を含む。例えば、通信モジュール６１２は、画像センサの視野からビデオデータを取得するプロセッサ６２８からのコマンドを、画像センサに提供する。また、通信モジュール６１２は、例えば、慣性計測ユニット６０８から位置データを受け取る。この位置データは、メモリ６３２で記憶し、又はプロセッサ６２８で処理することができる。
【００６０】
入力デバイス６１６は、ユーザ（図示せず）及び／又はその他の計算システム（図示せず）から情報を受け取る。入力デバイス６１６は、例えば、キーボード、スキャナ、マイクロホン、スタイラス、タッチパッド、又はディスプレイを含み得る。出力デバイス６２４は、計算デバイス６００に関連する情報（例えば、プリンタへの情報、スピーカへの情報、ディスプレイへの情報、例えば情報のグラフィカル表示）を出力する。プロセッサ６２８は、計算デバイス６００のオペレーティングシステム及び／又はその他の任意のコンピュータ実行可能命令を実行する（例えば、アプリケーションを実行する）。システム６３２は、多様な情報／データを記憶し、それには分光分析システムがシステムに入来する光を、画像化のためにどう処理すべきか指定する、計算デバイス６００により用いられるプロファイルを含む。メモリ６３２は、例えば、ハードディスクドライブ、テープストレージデバイス、又はフラッシュメモリなどの長期ストレージ；ランダムアクセスメモリ、グラフィックスメモリなどの短期ストレージ；及び／又はその他のタイプのコンピュータ読み取り可能ストレージを含み得る。
【００６１】
上記のシステムと方法は、デジタル電子回路、コンピュータハードウェア、ファームウェア、及び／又はソフトウェアで実装できる。実装は、非一時的メモリデバイスに有体に具体化されたコンピュータプログラム製品として行える。実装は、例えば、データ処理装置により実行される、またはその動作を制御する機械読み取り可能記憶デバイス、及び／又は伝搬信号で行うこともできる。実装は、例えば、プログラマブルプロセッサ、コンピュータ、及び／又は複数のコンピュータであってもよい。
【００６２】
コンピュータプログラムは、コンパイラ及び／又はインタプリタ言語を含む、どんな形式のプログラミング言語で記述することもできる。コンピュータプログラムは、スタンドアロンプログラムまたはサブルーチン、エレメント、及び／又は計算環境で用いるその他のユニットを含む、どんな形式で展開することもできる。コンピュータプログラムは１つのコンピュータ上で実行しても、一箇所にある複数のコンピュータ上で実行するように展開することもできる。
【００６３】
方法ステップは、一以上のプログラム可能プロセッサ、又は一以上のプロセッサを含む一以上のサーバであって、コンピュータプログラムを実行して、入力データに演算を施して出力を生成することにより、本開示の機能を実行するにより実行できる。方法ステップは特定用途論理回路により実行することができ、装置は特定用途論理回路として実装することもできる。回路は、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）及び／又はＡＳＩＣ（特定用途集積回路）であってもよい。モジュール、サブルーチン、及びソフトウェアエージェントは、その機能を実装するコンピュータプログラム、プロセッサ、特殊回路、ソフトウェア、及び／又はハードウェアの一部を指すこともある。
【００６４】
コンピュータプログラムの実行に適したプロセッサは、例えば、特定目的及び汎用のマイクロプロセッサと、任意種類のデジタルコンピュータの任意一以上のプロセッサとを両方とも含む。一般的に、プロセッサは読み取り専用メモリまたはランダムアクセスメモリから命令またはデータまたはその両方を受け取る。コンピュータの必須要素は、命令を実行するプロセッサと、命令及びデータを記憶する一以上のメモリデバイスである。一般的に、コンピュータは、データを記憶する一以上のマスストレージデバイスに動作可能に結合し、それとの間でデータをやり取りできる。磁気ディスク、光磁気ディスク、光ディスクはそうした記憶デバイスの例である。
【００６５】
データ伝送と命令は通信ネットワークを介して行い得る。コンピュータプログラム命令およびデータを利用するのに適した情報キャリアは、例えば、半導体メモリデバイスを含む、すべての形式の不揮発性メモリを含む。情報キャリアは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス、磁気ディスク、内部ハードディスク、リムーバブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、及び／又はＤＶＤ−ＲＯＭディスクであり得る。プロセッサとメモリは特定用途論理回路により補足され、及び／又はそれに組み込まれてもよい。
【００６６】
「ｃｏｍｐｒｉｓｅ」、「ｉｎｃｌｕｄｅ」、及び／又はこれらの複数形は、オープンエンドであり、列挙したものを含み、列挙していないものも含み得る。「及び／又は」は、オープンエンドであり、列挙したもののうち一以上、及び列挙したものの組み合わせを含む。
【００６７】
当業者には言うまでもなく、本発明は、その精神や基本的特性から逸脱することなく、その他の具体的な形式で実施できる。上記の実施形態は、すべての点で例示でありここに説明した発明を限定するものではないと考えなければならない。本発明の範囲は、上記の説明ではなく、添付した請求項に記載されており、請求項の意味と均等物の範囲内での変更はすべてその請求項に含まれる。
【図１】
2017524932.tif 000021
【図２】
2017524932.tif 000022
【図３】
2017524932.tif 000023
【図４】
2017524932.tif 000024
【図５】
2017524932.tif 000025
【図６】
2017524932.tif 000026
【図７Ａ】
2017524932.tif 000027
【図７Ｂ】
2017524932.tif 000028
【図８】
2017524932.tif 000029
【国際調査報告】
2017524932.tif 000030
2017524932.tif 000031