(57)【要約】      （修正有）【課題】システムが航空機に接近するオブジェクトの位置を正確に決定できるように、２つの航空機搭載カメラの間の変化する距離および方位を補償する装置および方法を提供する。【解決手段】方法は、航空機３０のニュートラルな翼３１、３２条件の間の第１の翼３１搭載カメラ２１および第２の翼３２搭載カメラ２２の間の第１の距離および方位を決定するステップを含む。方法はさらに、航空機３０の屈曲された翼３１、３２条件の間に第１の翼３１搭載カメラおよび第２の翼３２搭載カメラの間の第２の距離および方位を決定するステップを含む。方法はまた、第１のおよび第２の翼３１、３２搭載カメラの間の補償された距離を提供する際に使用するためのリアルタイムに変化する距離および方位を提供する第１のおよび第２の距離および方位の間の差異を処理するステップを含む。【選択図】図１
2018095231.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの航空機翼の屈曲に起因する航空機の第１の翼搭載カメラと第２の翼搭載カメラの間の距離における変形を補償する方法であって、
前記航空機のニュートラルな翼条件の間に、前記第１の翼搭載カメラおよび前記第２の翼搭載カメラの間の第１の距離および方位を決定するステップと、
前記航空機の屈曲された翼条件の間に、前記第１の翼搭載カメラおよび前記第２の翼搭載カメラの間の第２の距離および方位を決定するステップと、
前記第１のおよび第２の距離および方位の間の差異を処理して、前記第１の翼搭載カメラと第２の翼搭載カメラの間の補償された距離および方位を提供する際に使用するためのリアルタイムに変化する距離および方位を提供するステップと、
を含む、方法。
【請求項２】
前記第１のおよび第２の距離および方位の間の前記差異を処理するステップは、前記第１の翼搭載カメラからキャプチャされた画像を左ノーズ・テンプレートに対して相関付けるステップを含む、請求項１に記載の方法。
【請求項３】
前記第１のおよび第２の距離および方位の間の前記差異を処理するステップは、前記第１の翼搭載カメラに関連付けられた前記相関付けられた画像を変換して左翼動きを排除するステップを含む、請求項２に記載の方法。
【請求項４】
前記第１のおよび第２の距離および方位の間の前記差異を処理するステップは、前記第２の翼搭載カメラからキャプチャされた画像を右ノーズ・テンプレートに対して相関付けるステップを含む、請求項１または２に記載の方法。
【請求項５】
前記第１のおよび第２の距離および方位の間の前記差異を処理するステップは、（ｉ）前記第１の翼搭載カメラからキャプチャされた画像を左ノーズ・テンプレートに対して相関付けるステップと、（ｉｉ）前記第１の翼搭載カメラに関連付けられた前記相関付けられた画像を変換して左翼動きを排除するステップと、（ｉｉｉ）前記第２の翼搭載カメラからキャプチャされた画像を右ノーズ・テンプレートに対して相関付けるステップと、（ｉｖ）前記第２の翼搭載カメラに関連付けられた前記相関付けられた画像を変換して右翼動きを排除するステップとを含む、請求項１、２または４の何れか１項に記載の方法。
【請求項６】
前記方法は、コンピュータにより可読なプログラム記憶媒体に有形に組み込まれた命令からなる１つまたは複数のプログラムを実行する、メモリを有する前記コンピュータにより実施される、請求項１、２、４、または５の何れか１項に記載の方法。
【請求項７】
航空機搭載オブジェクト検出および衝突回避システムのための装置であって、
前記航空機の１つの部分に取り付けられた第１のカメラと、
前記航空機の別の部分に取り付けられた第２のカメラであって、前記第１のカメラおよび第２のカメラは飛行経路内のオブジェクトの画像をキャプチャするように協調する、第２のカメラと、
前記第１のカメラおよび前記第２のカメラの間のリアルタイム距離および方位を計算するように構成された動き補償モジュールと、
前記第１のカメラおよび前記第２のカメラの間の前記計算されたリアルタイム距離および方位に基づいて前記航空機および前記オブジェクトの間の距離および方位を計算するように構成された検出モジュールと、
を備える、装置。
【請求項８】
前記第１のカメラおよび第２のカメラの各々はステレオビジョン・カメラを含む、請求項７に記載の装置。
【請求項９】
前記動き補償モジュールは、動き補償プログラムが格納されたデータ記憶ユニットおよび前記第１のカメラと第２のカメラの間の前記リアルタイム距離および方位の変形を補償するために前記動き補償プログラムの命令を実行するように構成された処理ユニットとを備える、請求項７または８に記載の装置。
【請求項１０】
前記飛行経路は空中の飛行経路または地上の滑走路を含む、請求項７乃至９の何れか１項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は航空機搭載カメラに関し、特に、少なくとも２つの航空機搭載カメラの相対的な動きを補償する装置および方法に関する。
【背景技術】
【０００２】
航空機が、例えば、オブジェクト検出および衝突回避システムの一部として使用される２つのカメラを備えることがある。この例示的なアプリケーションでは、１つのカメラを航空機翼の一部に搭載でき、他のカメラが航空機翼の別の部分に搭載されることがある。航空機翼は曲がり、カメラは相対的に互いから離れているので、カメラの間の距離および方位は、例えば、飛行中に翼の振動に応じて大幅に変化しうる。カメラ間の距離および方位における変化の結果として、システムは、航空機に接近する鳥のようなオブジェクトの位置を立体視的に正確に決定し当該オブジェクトとの衝突を回避することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
システムが航空機に接近するオブジェクトの位置を正確に決定できるように、２つの航空機搭載カメラの間の変化する距離および方位を補償する装置および方法を提供するのが望ましいであろう。
【課題を解決するための手段】
【０００４】
１態様では、少なくとも１つの航空機翼の屈曲に起因する航空機の第１の翼搭載カメラと第２の翼搭載カメラの間の距離および方位における変形を補償する方法が提供される。当該方法は、航空機のニュートラルな翼条件における第１の翼搭載カメラと第２の翼搭載カメラの間の第１の距離および方位を決定するステップと、航空機の屈曲された翼条件における第１の翼搭載カメラと第２の翼搭載カメラの間の第２の距離および方位を決定するステップと、第１のおよび第２の距離および方位の間の差異を処理して、第１の翼搭載カメラと第２の翼搭載カメラの間の補償された距離を提供する際に使用するためのリアルタイムに変化する距離および方位を提供するステップとを含む。
【０００５】
別の態様では、左および右の航空機翼の屈曲に起因するカメラの間の距離および方位における変形を補償するための航空機の左翼搭載カメラおよび航空機の右翼搭載カメラによりキャプチャされた画像データを処理する方法が提供される。当該方法は、左の航空機翼に関連付けられた左ノーズ・テンプレートに対して当該左翼搭載カメラからキャプチャされた画像を相関付けるステップと、当該左翼搭載カメラによりキャプチャされた少なくとも１つの画像フレームから画像データを変換して、当該左の航空機翼の動きに関連付けられた相対的な動きを排除するステップと、当該右翼搭載カメラからキャプチャされた画像を右の航空機翼に関連付けられた右ノーズ・テンプレートに対して相関付けるステップと、当該右翼搭載カメラによりキャプチャされた少なくとも１つの画像フレームから画像データを変換して、当該右の航空機翼の動きに関連付けられた相対的な動きを排除するステップとを含む。
【０００６】
さらに別の態様では、航空機搭載オブジェクト検出および衝突回避システムのための装置が提供される。当該装置は、航空機の１つの部分に取り付けられた第１のカメラおよび航空機の別の部分に取り付けられた第２のカメラを備える。第１のカメラおよび第２のカメラは飛行経路内のオブジェクトの画像をキャプチャするように協調する。当該装置はさらに、第１のカメラと第２のカメラの間のリアルタイム距離および方位を計算するように構成された動き補償モジュールを備える。当該装置はまた、第１のカメラと第２のカメラの間の当該計算されたリアルタイム距離に基づいて航空機と当該オブジェクトの間の距離を計算するように構成された検出モジュールを備える。
【０００７】
他の態様は以下の詳細な説明、添付図面および添付の特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【０００８】
【図１】例示的な実装に従う航空機搭載オブジェクト検出および衝突回避システムを具体化する例示的な航空機の略図である。
【図２】１実施形態に従って構築された装置を示す、図１の航空機搭載オブジェクト検出および衝突回避システムのブロック図である。
【図３】左の航空機翼に搭載されたカメラからの図１の例示的な航空機の機首の左側の画像である。
【図４】右の航空機翼に搭載されたカメラからの図１の例示的な航空機の機首の右側の画像の図である。
【図５Ａ】図４の右の航空機翼に搭載されたカメラからの一連の画像であり、航空機の機首の位置に対する翼の相対的な動きの影響を示す図である。
【図５Ｂ】図４の右の航空機翼に搭載されたカメラからの一連の画像であり、航空機の機首の位置に対する翼の相対的な動きの影響を示す図である。
【図５Ｃ】図４の右の航空機翼に搭載されたカメラからの一連の画像であり、航空機の機首の位置に対する翼の相対的な動きの影響を示す図である。
【図６】図５Ａ、５Ｂ、および５Ｃに示す翼の相対的な動きの影響を除去する画像変換の効果を示す補償された画像の図である。
【図７】動き補償方法が実装されないオブジェクト検出および衝突回避方法を示す流れ図である。
【図８】１実施形態に従う動き補償方法が実装される図７のオブジェクト検出および衝突回避方法を示す流れ図である。
【図９】左の航空機翼に搭載されたカメラおよび右の航空機翼に搭載された別のカメラに相対的なオブジェクトの（ｘ、ｙ、ｚ）距離座標を示す例示的なシナリオの座標図である。
【発明を実施するための形態】
【０００９】
本願は、少なくとも２つの航空機搭載カメラの相対的な動きを補償するための装置および方法に関する。当該特定の装置、動き補償方法、および当該装置および動き補償方法が実装される業界は変化してもよい。以下の本開示は様々な実施形態の異なる特徴を実装するための幾つかの実施形態または例を提供することは理解される。本開示を簡略化するためにコンポーネントおよび配置構成の具体的な例を説明する。これらは例にすぎず限定を意図するものではない。
【００１０】
例えば、以下の本開示では、連邦航空局（ＦＡＡ）規制に準拠する航空機に対する装置および動き補償方法を説明する。ＦＡＡ規制の仕様は既知であり、したがって、説明しない。
【００１１】
図１を参照すると、例示的な実装に従う装置を具体化する一般的に１０で指定された航空機搭載オブジェクト検出および衝突回避システムを、ビークル１２と関連して使用してもよい。ビークル１２が、（例えば、方向矢印１４で示された方向に）経路に沿って移動していてもよい。オブジェクト１６が（例えば、矢印１８により示される方向に）経路に沿って移動していてもよい。ビークル１２および／またはオブジェクト１６の相対的な位置および／または相対的な移動に依存して、オブジェクト１６がビークル１２と衝突（例えば、ストライク）するかもしれない。当業者は、ビークル１２およびオブジェクト１６が必ずしも図１と同じ大きさで示されないことを理解する。
【００１２】
図１で図示された例示的な実装では、ビークル１２が任意のタイプの航空機３０であってもよい。例えばおよび限定ではなく、航空機３０が固定翼、回転翼、または航空機よりも軽量なものであってもよい。航空機３０が有人または無人であってもよい。１例として、航空機３０が、航空会社により運用される商用乗客航空機、民間団体または公共団体により運用される貨物航空機、軍または他の政府組織により運用される軍用航空機、個人により運用される個人航空機、または任意の他の航空機オペレータにより運用される任意の他のタイプの航空機であってもよい。別の例として、航空機３０がリモートオペレータにより運用される無人空中ビークル（ＵＡＶ）であってもよい。したがって、当業者は、ビークル１２（例えば、航空機３０）が任意のミッションを実施するように設計されてもよくビークル１２の任意のオペレータにより運用されてもよいことを理解する。
【００１３】
オブジェクト１６が、潜在的にビークル１２にストライクしうる任意のオブジェクトであってもよい。１例として、オブジェクト１６が、ビークル１２の経路１４と交差しうる経路１８に沿って移動する任意の移動空中オブジェクトであってもよい。例えば、図１で図示されるように、オブジェクト１６が鳥３４であってもよい。別の例としておよび限定ではなく、オブジェクト１６が別の航空機、または任意の他の空中人造または自然オブジェクトであってもよい。
【００１４】
本開示にわたって、「ストライクする」、「ストライクされる」、「衝突」および任意の同様なまたは関連する用語が、ビークル１２とオブジェクト１６の衝突を指してもよい。例えば、「ビークルに衝突または潜在的に衝突するオブジェクト」というフレーズが、移動オブジェクト１６（例えば、空中オブジェクト）と衝突する移動ビークル１２を指してもよい。
【００１５】
図２を参照すると、システム１０が、少なくとも１つの画像キャプチャ・モジュール２０を含んでもよい。画像キャプチャ・モジュール２０が図１に示されたビークル１２（例えば、航空機３０）に接続されてもよい。画像キャプチャ・モジュール２０は、画像２４を代表する画像データを取得するように構成された少なくとも２つのカメラ２１、２２を備える。例示的な実装では、少なくとも２つのカメラ２１、２２の各々は広角カメラ（即ち、９０度より大きい）を含む。少なくとも２つのカメラ２１、２２が、同一のタイプのカメラまたは幾つかの異なるタイプのカメラを含んでもよい。例えば、少なくとも２つのカメラ２１、２２が１つまたは複数のビデオ・カメラを含んでもよい。議論の簡単さと明確さのため、２つのカメラ２１、２２のみを本明細書では説明する。
【００１６】
２つのカメラ２１、２２が、波長および／または周波数の任意の範囲または範囲にわたって動作して画像２４（例えば、ビデオ画像２６）を取得してもよい。例えばおよび限定ではなく、２つのカメラ２１、２２が、赤外線、近赤外線、可視光線、紫外線、他の波長、または波長の組合せで画像２４を取得するように構成されてもよい。２つのカメラ２１、２２が、偏った光から画像２４を取得するように構成されてもよい。
【００１７】
例えば、２つのカメラ２１、２２が、１つまたは複数の長波赤外線（「ＬＷＩＲ」）カメラを含んでもよい。別の例として、２つのカメラ２１、２２が、１つまたは複数の中波長赤外線（「ＭＷＩＲ」）カメラを含んでもよい。別の例として、２つのカメラ２１、２２が、１つまたは複数の短波赤外線（「ＷＩＲ」）カメラを含んでもよい。さらに別の例として、２つのカメラ２１、２２が、１つまたは複数の長波赤外線カメラ、中波長赤外線カメラ、および短波赤外線カメラの組合せを含んでもよい。
【００１８】
例示的な実装では、画像２４がビデオ画像２６であってもよい。ビデオ画像２６が、或る期間（例えば、３０Ｈｚ）にわたって高速に取得された連続する一連のデジタルビデオ画像フレームを含んでもよい。２つのカメラ２１、２２により提供された画像２４を使用して、１つまたは複数のオブジェクト１６の存在を検出し、オブジェクト１６の１つまたは複数の特性を識別してもよい。
【００１９】
図１を参照すると、画像キャプチャ・モジュール２０が視野４０を含んでもよい。例えば、２つのカメラ２１、２２が視野４０を含んでもよい。例えば、２つのカメラ２１、２２が、前方を見て非妨害の視野４０（例えば、ビークル１２により妨害されない視野４０）を有するビークル１２に搭載されてもよい。視野４０が、ライン２８および２９の間の（例えば、ビークル１２の移動１４の方向に）ビークル１２（例えば、航空機３０）の前にターゲット領域１５により定義されてもよい。例えば、ターゲット領域１５が、ビークル１２の前方に延伸する円錐を含んでもよい。オブジェクト１６（例えば、鳥３４）が視野４０内にあってもよい。したがって、少なくとも２つのカメラ２２からの画像２４が、オブジェクト１６の画像を含んでもよい。
【００２０】
例示的な実装では、２つのカメラ２１、２２が、結合された視野を含んでもよい。別の実装例では、２つのカメラ２１、２２が、重複する視野２７を含んでもよい。例えば、システム１０が立体のソリューション（例えば、ステレオビジョン）を用いてビークル１２に相対的なオブジェクト１６の距離を決定するために重複する視野２７を含む２つのカメラ２１、２２を使用してもよい。
【００２１】
２つのカメラ２１、２２を任意の適当なまたは適切な位置にあるビークル１２に搭載してもよい。本明細書での説明の簡単さと目的のため、図１に概略的に示すように、１つのカメラ２１は航空機３０の１つの翼３１の端に取り付けられ、他のカメラ２２は航空機３０の他の翼３２の端に取り付けられる。当業者は、２つのカメラ２１、２２を任意の他の適当なまたは適切な位置で当該ビークル（例えば、航空機３０）に取り付けてもよいことを理解する。
【００２２】
画像キャプチャ・モジュール２０の２つのカメラ２１、２２が様々な位置および方位でビークル１２に接続されてもよい。２つのカメラ２１、２２が任意の適切な方向に面してもよい。例えば、（例えば、視野４０内で）ビークル１２の経路内のまたはビークル１２の当該経路を横切るオブジェクト１６を参照するために、２つのカメラ２１、２２が一般にビークル１２の前方（例えば、移動１４の方向）を向いてもよい。
【００２３】
図２を再度参照すると、システム１０が検出モジュール５０を含んでもよい。検出モジュール５０が、画像キャプチャ・モジュール２０により送信された画像２４を受信するように構成されてもよい。検出モジュール５０が、画像２４を処理し、オブジェクト１６の存在を決定し、オブジェクト１６がビークル１２と衝突する可能性があるかどうかを判定するように構成されてもよい。検出モジュール５０がまた、画像２４に基づいてオブジェクト１６の様々な特性を識別および／または決定するように構成されてもよい。検出モジュール５０が、潜在的なストライクの様々な特性を決定するように構成されてもよい。
【００２４】
しかし、検出モジュール５０が画像２４を処理する前に、画像２４は１実施形態に従って構築された動き補償モジュール１００を含む装置により処理される。動き補償モジュール１００は、内部データ記憶ユニット１０４、外部データ記憶ユニット（図示せず）、またはそれらの組合せに格納された命令を実行する処理ユニット１０２を備える。処理ユニット１０２が任意のタイプの技術を備えてもよい。例えば、処理ユニット１０２が、専用目的の電子プロセッサを備えてもよい。他のタイプのプロセッサおよび処理ユニット技術が可能である。内部データ記憶ユニット１０４が任意のタイプの技術を備えてもよい。例えば、内部データ記憶ユニット１０４が、ランダム・アクセス・メモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、固体メモリ、または任意のそれらの組合せを備えてもよい。他のタイプのメモリおよびデータ記憶ユニット技術が可能である。
【００２５】
動き補償モジュール１００はさらに、任意のタイプの技術を備えうる幾つかの入力／出力（Ｉ／Ｏ）デバイス１０６を備える。例えば、Ｉ／Ｏデバイス１０６が、キーパッド、キーボード、タッチセンシティブなディスプレイスクリーン、液晶ディスプレイ（ＬＣＤ）スクリーン、マイクロフォン、スピーカ、または任意のそれらの組合せを備えてもよい。他のタイプのＩ／Ｏデバイスおよび技術が可能である。
【００２６】
動き補償モジュール１００は、翼３１、３２のうち少なくとも１つの屈曲動きに起因して航空機３０の翼３１、３２の端に搭載された２つのカメラ２１、２２の間の距離および方位における変形（例えば、回転）を補償するための画像２４を処理する。より具体的には、処理ユニット１０２は、翼３１、３２の一方または両方の屈曲動きに起因した２つのカメラ２１、２２の間の距離および方位における変形を補償するためのデータ記憶ユニット１０４に格納された動き補償プログラム１０５の命令を実行する。動き補償モジュール１００の動作を本明細書で以下に説明する。
【００２７】
図３を参照すると、画像３００は、左翼に搭載されたカメラから可視である航空機３０の幾つかの異なる特徴を示す。画像３００の当該特徴は、乗客ウィンドウ特徴３３、航空機ドア特徴３４、パイロットウィンドウ特徴３５、機体特徴３６、および航空機カラーリング特徴３７を含む。これらは航空機３０の例示的な特徴にすぎない。他のタイプの特徴が可能である。画像３００における当該特徴は相対的な動き補償の目的に関する非自明な相関関係を生成する。
【００２８】
図４を参照すると、画像４００は、右翼に搭載されたカメラから可視である航空機３０の幾つかの異なる特徴を示す。画像４００の当該特徴は、乗客ウィンドウ特徴４３、航空機ドア特徴４４、パイロットウィンドウ特徴４５、機体特徴４６、および航空機カラーリング特徴４７を含む。これらは航空機３０の例示的な特徴にすぎない。他のタイプの特徴が可能である。画像４００における当該特徴は相対的な動き補償の目的に対する非自明な相関関係を生成する。
【００２９】
左の航空機翼３１上のカメラ２１からの画像３００と右の航空機翼３２上のカメラ２２からの画像４００は同様であることは明らかである。２つの画像３００、４００は同一の方法で動き補償モジュール１００により処理される。簡単さのため、右の航空機翼３２上のカメラ２２からの画像４００の画像処理を詳細に説明する。同一の画像処理詳細が左の航空機翼３１上のカメラ２１に適用されることは理解される。
【００３０】
図５Ａを参照すると、右翼の動きがない（例えば、ニュートラルな翼条件または右翼３２の屈曲がない）右の航空機翼３２に搭載されたカメラ２２からの画像５１０が図示される。これは航空機の右側の参照画像であり、右翼カメラからの全ての飛行中画像が動きを決定するために相関付けられる画像である。この画像は、立体測距プロセスで使用されている２つ、またはそれ以上の、カメラの立体較正の時点でキャプチャされる。画像５１０で、航空機３０の機首の先端は（点線として示される）元の水平基準線５１２と平行に整列する。また、画像５１０において、航空機３０の機首は（やはり点線として示される）元の垂直基準線５１４と垂直に整列する。
【００３１】
図５Ｂを参照すると、（図５Ｂの矢印「Ａ」により示されるように）上方向の右翼動きを伴う右の航空機翼３２に搭載されたカメラ２２からの画像５２０が図示されている。右翼３２が上方向に移動するとき（即ち、或るタイプの屈曲された翼条件）、カメラ２２は異なる画像をキャプチャする。当該異なる画像は図５Ｂにおいて画像５２０として示される。画像５２０は航空機３０の機首の先端を示し、航空機３０の特徴は（図５Ｂの矢印「Ｂ」により示されるように）下方にシフトした。画像５２０では、航空機３０の機首の先端は（点線として示される）オフセット水平基準線５１６に沿って整列する。このオフセット水平基準線５１６は図５Ｂに示された「ｄ」の距離だけ元の水平基準線５１２から離れている。例えば、オフセット距離「ｄ」は右翼３２の長さを含む幾つかの因子に依存する。
【００３２】
図５Ｃを参照すると、（図５Ｃのオフセット角度「φ」により示されるように）反時計回りねじれ方向の右翼動きを有する右の航空機翼３２に搭載されたカメラ２２からの画像５３０が図示されている。右翼３２が反時計回り方向に捻じれるとき（即ち、別のタイプの屈曲された翼条件）、右の航空機翼３２に搭載されたカメラ２２は異なる画像をキャプチャする。当該異なる画像は図５Ｃの画像５３０として示される。画像５３０では、航空機３０の機首の先端が（図５Ｃの画像５３０内でオフセット角度「θ」により示されるように）時計回りねじれ方向に旋回する。画像５３０内の「θ」のオフセット角度および右翼３２上のオフセット角度「φ」はおおよそ同一であるべきである。
【００３３】
図５Ａ、５Ｂ、および５Ｃが右の航空機翼３２に搭載されたカメラ２２によりキャプチャされた一連の画像、およびキャプチャされた画像上の翼に相対的な動きの影響を示すことは明らかである。図５Ａの画像５１０は翼動きを示さず、図５Ｂの画像５２０は上方の翼動きを示し、図５Ｃの画像５３０は反時計回りの捻じれ翼動きを示す。他の動きが同様に決定される。
【００３４】
図６を参照すると、図５Ｂおよび５Ｃの翼に相対的な動きの影響を除去する画像変換の影響を示す補償された画像５４０が図示されている。補償された画像５４０は図５Ｂの画像５２０を変換し図５Ｃの画像５３０を変換した結果である。図６に示したように、補償された画像５４０は、ゼロに削減されている画像５２０（図５Ｂ）内の「ｄ」のオフセット距離を示し、ゼロに削減されている画像５３０（図５Ｃ）内のオフセット角度「θ」を示す。
【００３５】
図７を参照すると、流れ図７００は動き補償方法が実装されないオブジェクト検出および衝突回避方法を示す。ブロック７３０で、左翼カメラ２１はオブジェクト（例えば、本例では鳥）のビデオフレームを連続的にキャプチャし、当該鳥を検出しセグメント化する。同様に、ブロック７４０で、右翼カメラ２２は当該オブジェクトのビデオフレームを連続的にキャプチャし、当該鳥を検出しセグメント化する。左翼および右翼カメラ２１、２２が当該鳥を検出しセグメント化した後、当該鳥オブジェクトはブロック７５０で関連付けられる。ついで、ブロック７６０で、立体不均衡が測定される。
【００３６】
ブロック７５０からの関連付けられた鳥オブジェクトおよびブロック７６０で測定された鳥オブジェクトの立体不均衡に基づいて、鳥の範囲および鳥の範囲割合がブロック７７０で示すように計算される。当該プロセスはついで、鳥衝突メトリックが計算されるブロック７８０に進む。潜在的な鳥衝突がブロック７８０で鳥衝突メトリックコンピュータに基づいて決定される場合、アラームがブロック７９０で示すようにオペレータに提供される。
【００３７】
以下の追加の記述および説明が図７の流れ図７００を参照して提供される。２つのカメラ２１、２２は立体的なビューを提供するので、各翼の先端の前の全体ビューが、ビューの中のほぼ全ての鳥がカメラ２１、２２の両方により見られるように処理される。したがって、立体視法により各カメラフレーム時点での各鳥の範囲を計算できるので、立体技術を使用して、Ｎ匹の鳥のうちｉ番目に対する相対的な鳥範囲（ＢＲｉ）および範囲割合（ＢＲＲｉ）を推定してもよい。各鳥が航空機３０に接近している速度をついで使用して、以下の単純な衝突インジケータ式に基づいて任意の将来時刻Ｔの前の鳥衝突数を予測することができる。
【００３８】
【数１】
2018095231.tif 000003
【００３９】
上式に対する例示的な計算として、Ｃ（Ｔ）を、Ｔを１０秒に設定して２つのカメラ２１、２２から全てのビデオフレームに対して計算することができる。結果の整数Ｃ（１０）を使用して、それが０から任意の非ゼロ値へ増大するとき鳴るアラームを駆動することができる。当該アラームは、当該数値が増大すると緊急に増大する。したがって、多数の差し迫る鳥衝突の可能性は、当該イベントが、一つの鳥が「衝突」した場合よりもエンジン故障または障害につながる可能性がかなり高いという事実をとらえる。
【００４０】
図８を参照すると、流れ図８００は、１実施形態に従う動き補償方法が実装される図７の当該オブジェクト検出および衝突回避方法を示す。ブロック８１０で、左ノーズ・テンプレートが相関付けられる。ついで、ブロック８２０で、左翼カメラ２１からの画像が、左翼動き（上／下の垂直動きおよび時計回り／反時計回り捻じれ動きの両方）を排除するためにブロック８１０の相関付けられた機首テンプレートに基づいて変換される。同様に、ブロック８１２で、右ノーズ・テンプレートが相関付けられる。ついで、ブロック８１４で、右翼カメラ２２からの画像が、右翼の動き（上／下の垂直動きおよび時計回り／反時計回り捻じれ動きの両方）を排除するためにブロック８１２の相関付けられた機首テンプレートに基づいて変換される。
【００４１】
以下の追加の記述および説明が図８の流れ図８００を参照して提供される。２つのカメラ２１、２２の間の鳥オブジェクトを関連付け、それらの不均衡（即ち、２つのカメラ２１、２２の視野内の所与の鳥の見掛け上の位置の差異）を計算するために、カメラの相対的な位置に変更させる翼の動きを補償する必要がある。動き補償モジュール１００を含む装置を本明細書で説明する。
【００４２】
航空機３０の前部は、少なくとも２つのカメラ２１、２２の各カメラから可視である（それぞれが片側を見る）。航空機翼３１、３２が曲がるとき、航空機３０の機首の見掛け上の位置が変化する。カメラ２２からの、航空機３０の機首の見掛け上の位置の変化を、右ノーズ・テンプレートを構築し、カメラ２２からキャプチャされた画像２４を右ノーズ・テンプレートに相関付けることで容易に追跡することができる。右ノーズ・テンプレートが、例えば、図５Ａに示されたキャプチャされた画像５１０を備えてもよい。右ノーズ・テンプレートが、例えば、黒および白のテンプレートまたはカラーテンプレートを備えてもよい。図５Ｂは、上方向の翼動きを有する右の航空機翼３２上のカメラ２２に関して発生するものを示す。図５Ｃは、反時計回り捻じれにおける翼動きを有する右の航空機翼３２上のカメラ２２に関して発生するものを示す。
【００４３】
カメラ２２からキャプチャされた機首画像２４が相関付けられるとき、図４に示された特徴４３、４４、４５、４６、４７のような航空機３０の特徴が、図８のブロック８１２で示すように、右ノーズ・テンプレートに対する相関関係で使用される。相関付けるための最良の特徴は、右ノーズ・テンプレートが現在の機首画像にマッチするとき相関ピークをもたらすように全てが合計される大きな派生物を有するものである。
【００４４】
当該相関ピークの移動は、２次元画素空間での移動（変位）を決定する。この変位の逆を有する画素内の鳥位置を調節することで、カメラ２２内の画素空間内のそれらの位置が、右の航空機翼３２の屈曲移動に起因するカメラ２２の相対的な動きに対して調節されている。画素空間内の鳥位置のこの調節が、図６において本明細書で上述された補償された画像５４０として示される。
【００４５】
上述の相関関係は、カメラ２２のレンズ歪みが事前較正ステップの間に補償されていると仮定する。この較正ステップにより、画素位置（ｘ、ｙ）を固定角度ベクトル（θ、φ）にマップする固定関数ｐ（）の生成を可能とする。ここで、θは、ｘｙ空間（航空機の基準地上面）内の角度であり、φは航空機の当該基準地上面の上下角である。これを以下の式により示す。
（θ、φ）＝ｐ（ｘ、ｙ）
【００４６】
上述の関数は、オブジェクト検出および衝突回避システム１０の最終取付けの間に定義され、定期較正間隔で更新される。
【００４７】
図９を参照すると、左の航空機翼３１に搭載されたカメラ２１および右の航空機翼３２に搭載されたカメラ２２に相対的なオブジェクト１６（即ち、本例では鳥３４）の距離座標を示す（ｘ、ｙ、ｚ）を示す例示的なシナリオの座標図９００である。図９に示したように、航空機の衝突点が座標図９００の中央（即ち、（０、０、０）の（ｘ、ｙ、ｚ）座標）にあると仮定する。
【００４８】
上述の関数（θ、φ）＝ｐ（ｘ、ｙ）の計算例として、ｌ＝（ｌｘ、ｌｙ、０）を左カメラ２１の位置とし（ｚはゼロと仮定）、ｒ＝（ｒｘ、ｒｙ、０）を翼３１、３２の先端にある右カメラ２２の位置とする。図９に示したように、以下はｌおよびｒに関する座標である。
ｌ＝（ｌｘ、ｌｙ、０）＝（−４０、１２０、０）
ｒ＝（ｒｘ、ｒｙ、０）＝（−４０、−１２０、０）
【００４９】
ついで、各カメラにおける画素空間内の鳥位置（ｘｌ、ｙｌ）および（ｘｒ、ｙｒ）が与えられると、物理空間内のそれらの位置は、当該角度（θｌ、φｌ）＝ｐ（ｘｌ、ｙｌ）および（θｒ、φｒ）＝ｐ（ｘｒ、ｙｒ）およびカメラ位置により与えられる空間内の点により形成される線に沿って並ぶ。これら２つのラインは次いで、以下の１次元パラメータ形式、即ち、
（ｌｘ、ｌｙ、０）＋（ａｘ、ａｙ、ａｚ）＊ｓ
（ｒｘ、ｒｙ、０）＋（ｂｘ、ｂｙ、ｂｚ）＊ｔ
により定義される。
【００５０】
ここで、ａおよびｂの方向ベクトルが球面座標からデカルト座標への（ｐ（）を用いた）変換、即ち、
【００５１】
【数２】
2018095231.tif 000004
【００５２】
により決定される。
【００５３】
最も近い交差点ｃを以下のように計算することができる。
【００５４】
【数３】
2018095231.tif 000005
【００５５】
ｍ２は、方向ベクトルａおよびｂのクロス積のドット積であり、
Ｒは上述のように定義され、
ｒは右翼搭載カメラに対する方向ベクトルであり、
ｌは左翼搭載カメラに対する方向ベクトルである。
また、以下の変数を定義する。即ち、
【００５６】
【数４】
2018095231.tif 000006
【００５７】
最も近い交差点ｃは次式に等しい。
【００５８】
【数５】
2018095231.tif 000007
【００５９】
上で識別された方程式の例示的な計算を示す例示的なシナリオを、図９に示す座標を参照して本明細書で以下に説明する。
【００６０】
先ず、航空機３０が位置（０、０、０）にあり、鳥３４が位置（８００、−２００、１００）にいて、左の航空機翼３１上のカメラ２１が位置（−４０、−１２０、０）にいて、右の航空機翼３２上のカメラ２２が位置（−４０、−１２０、０）にいると仮定する。例えば、レンズ歪みのない１００１ｘ１００１画素のカメラで、左カメラ２１および右カメラ２２に対する以下の角度を以下のように計算することができる。
【００６１】
【数６】
2018095231.tif 000008
【００６２】
次に、カメラ２１、２２の各々が水平および垂直方向の両方で１２０度視野（ＦＯＶ）を有すると仮定する。左および右のカメラ２１、２２における鳥３４に対する画素位置を以下の用に表現することができる。
【００６３】
【数７】
2018095231.tif 000009
【００６４】
図９に示す鳥３４およびカメラ２１、２２の座標に基づいて、左および右のカメラ２１、２２における鳥３４に対する上述の識別された画素位置が［−１７３．７８７２、５２．８９９７］および［−４５．３３６１、５６．３２２３］と計算される。これらの画素位置は、理想的なカメラの補間された画素位置が与えるであろうものである。過去の画素位置の計算は行われないが、鳥３４はフレームごとのカメラ画像の画素空間内に見いだされることに留意すべきである。角度θｌ、θｒ、φｌ、φｒは度で以下のようである。
［−２０．８５４５、−５．４４０３、６．３４８０、６．７５８７］
【００６５】
カメラ２１、２２から鳥３４への線に関する正規化された方向ベクトルａおよびｂは以下の通りである。
ａ＝［０．９２８８、−０．３５３８、０．１１０６］
ｂ＝［０．９８８６、−０．０９４２、０．１１７７］
【００６６】
また、カメラ２１、２２および鳥３４の間の当該２つの線の間の最も近い点ｃを計算する計算は以下の通りである。
【００６７】
【数８】
2018095231.tif 000010
【００６８】
したがって、最終的な結果の点（この場合、実際の鳥位置）は以下のように計算される中点ｃである。
【００６９】
【数９】
2018095231.tif 000011
【００７０】
現実のシステムの場合には導入されるであろう、当該計算に導入される（航空機翼３１、３２の屈曲に起因する）動き誤差がないので、ｑ１とｑ２は両方とも同一であり、正解に等しいことに留意すべきである。
【００７１】
左翼カメラ２１に対するブロック８１０および８２０および右翼カメラ２２に対するブロック８１２および８１４に基づいて上述の翼動き誤り補償を実施した後、図８のプロセスはブロック８３０および８４０に進む。図８のブロック８３０で、左翼カメラ２１はオブジェクト（例えば、本例では鳥）のビデオフレームを連続的にキャプチャし、鳥を検出してセグメント化する。同様に、ブロック８４０で、右翼カメラは鳥のビデオフレームを連続的にキャプチャし、当該鳥を検出してセグメント化する。左翼および右翼カメラ２１、２２が鳥を検出してセグメント化した後、鳥オブジェクトがブロック８５０で関連付けられる。ついで、ブロック８６０で、立体不均衡が測定される。ブロック８５０からの関連付けられた鳥オブジェクトおよびブロック８６０で測定された鳥オブジェクトの立体不均衡に基づいて、鳥範囲および鳥範囲割合）がブロック８７０で示すように計算される。
【００７２】
より具体的には、航空機３０からの鳥範囲（即ち、ＢＲ）をｃのノルムまたは｜ｃ｜として計算でき、これは、航空機３０の翼３１、３２の間の中点（即ち、（０、０、０）に対する鳥の範囲を与える。これを、カメラ２１、２２の同期されたビデオフレームごとに計算することができる。したがって、例えば、３０Ｈｚのフレーム・レート（即ち、ＦＲ）は、３３．３ミリ秒ごとに識別された鳥ごとの新たな範囲を意味する。一般に、範囲｛ｃ＿１、ｃ＿２、・・・、｝により、全てのフレームでの範囲割合（即ち、ＢＲＲ）を以下の方程式、即ち、
【００７３】
【数１０】
2018095231.tif 000012
【００７４】
を用いて計算することができる。任意の将来の時点で予測される鳥ストライク事象を、ＢＲＲｊに対する上述の方程式を用いて計算することができる。
【００７５】
図８のプロセスは次いでブロック８８０に進み、鳥衝突メトリックが計算される。潜在的な鳥衝突がブロック８８０で計算された鳥衝突メトリックに基づいて決定された場合、ブロック８９０で示すようにアラームがオペレータに提供される。しかし、ブロック８８０で計算された鳥衝突メトリックに基づいて潜在的な鳥衝突が決定されない場合、当該プロセスはブロック８１０およびブロック８１２に戻って、左翼および右翼カメラ２１、２２の各々に対して次の画像フレームを処理する。
【００７６】
当該動き補償方法を実装するための符号化された命令を、大容量記憶装置に、揮発性メモリに、不揮発性メモリに、および／またはＣＤまたはＤＶＤのような取外し可能有形のコンピュータ可読記憶媒体に格納してもよい。
【００７７】
当該動き補償方法を、図１と関連して上述した例示的な動き補償モジュール１００に示す処理ユニット１０２のようなプロセッサにより実行するためのプログラムを含むマシン可読命令を用いて実装してもよい。当該プログラムをＣＤ−ＲＯＭ、フロッピーディスク、ハードドライブ、デジタル多用途ディスク（ＤＶＤ）、Blu-ray（登録商標）ディスクのような有形のコンピュータ可読記憶媒体、または処理ユニット１０２に関連付けられたメモリに格納されたソフトウェアに組み込んでもよいが、プログラム全体および／またはそれらの一部を処理ユニット１０２以外のデバイスにより実行しかつ／またはファームウェアまたは専用ハードウェアに組み込むことができる。例示的な動き補償モジュール１００を実装する多数の他の方法を使用してもよい。ブロックの実行の順序を変更してもよく、かつ／または図８に示された例示的な流れ図８００を参照して説明したブロックの幾つかを変更し、削除し、または結合してもよい。
【００７８】
上述のように、図８の例示的な動き補償方法を、ハード・ディスク・ドライブ、フラッシュメモリ、読取専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、キャッシュ、ランダム・アクセス・メモリ（ＲＡＭ）および／または情報が任意の期間だけ（例えば、拡張された時間だけ、永続的に、短時間だけ、一時的にバッファするために、および／または当該情報をキャッシュするために）格納された任意の他の記憶装置または記憶ディスクのような有形のコンピュータ可読記憶媒体に格納された符号化された命令（例えば、コンピュータおよび／またはマシン可読命令）を用いて実装してもよい。本明細書で使用する際、有形のコンピュータ可読記憶媒体という用語は、任意のタイプのコンピュータ可読記憶装置および／または記憶ディスクを含み伝播信号を排除し送信媒体を排除するように明示的に定義される。本明細書で使用する際、「有形のコンピュータ可読記憶媒体」および「有形のマシン可読記憶媒体」は交互に使用される。
【００７９】
さらにまたはあるいは、図８の例示的な動き補償方法を、ハード・ディスク・ドライブ、フラッシュメモリ、読取専用メモリ、コンパクトディスク、デジタル多用途ディスク、キャッシュ、ランダム・アクセス・メモリおよび／または情報が任意の期間だけ（例えば、拡張された時間だけ、永続的に、短時間だけ、一時的にバッファするために、および／または当該情報をキャッシュするために）格納された任意の他の記憶装置または記憶ディスクのような非一時的コンピュータおよび／またはマシン可読媒体に格納された符号化された命令（例えば、コンピュータおよび／またはマシン可読命令）を用いて実装してもよい。本明細書で使用する際、非一時的コンピュータ可読媒体という用語は、任意のタイプのコンピュータ可読記憶装置および／または記憶ディスクを含み伝播信号を排除し送信媒体を排除するように明示的に定義される。本明細書で使用する際、「少なくとも」というフレーズが請求項のプリアンブルにおいて移行語として使用されるとき、それは「〜を備える」という用語が開放的であるのと同様に開放的である。
【００８０】
例示的な航空機搭載オブジェクト検出および衝突回避システム１０を実装する例示的な方式が図２で図示されているが、図２で図示した要素、プロセスおよび／またはデバイスのうち１つまたは複数を、結合し、分割し、再配置し、省略し、排除し、かつ／または他の任意の方法で実装してもよい。さらに、例示的な動き補償モジュール１００および／または、より一般的に、図２の例示的な航空機搭載オブジェクト検出および衝突回避システム１０を、ハードウェア、ソフトウェア、ファームウェアおよび／またはハードウェア、ソフトウェアおよび／またはファームウェアの任意の組合せにより実装してもよい。したがって、例えば、例示的な動き補償モジュール１００および／または、より一般的に、例示的な航空機搭載オブジェクト検出および衝突回避システム１０を１つまたは複数のアナログまたはデジタル回路（複数可）、論理回路、プログラム可能プロセッサ（複数可）、特殊用途向け集積回路（複数可）（ＡＳＩＣ（複数可））、プログラム可能論理デバイス（複数可）（ＰＬＤ（複数可））および／またはフィールドプログラム可能論理デバイス（複数可）（ＦＰＬＤ（複数可））により実装することができる。
【００８１】
純粋にソフトウェアおよび／またはファームウェアの実装をカバーするように本願の装置またはシステムクレームの何れかを読むとき、例示的な動き補償モジュール１００および／または、より一般的に、例示的な航空機搭載オブジェクト検出および衝突回避システム１０うち少なくとも１つはここで、当該ソフトウェアおよび／またはファームウェアを格納するメモリ、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、Blu-ray（登録商標）ディスク等のような有形のコンピュータ可読記憶装置または記憶ディスクを含むように明示的に定義される。
【００８２】
２つのカメラ２１、２２を翼３１、３２の先端に取り付けることは、正確な距離測定のための非妨害のビューおよび長いベースライン（即ち、２つのカメラ２１、２２の間の距離）を提供する。しかし、翼３１、３２が曲がると、カメラ２１、２２が移動し、距離測定に必要な当該正確なベースラインが失われる。動き補償モジュール１００を提供することで、離陸、方向転換、および着陸を含む飛行中に当該ベースラインを維持できるようにカメラ２１、２２の相対的な動きが説明される。
【００８３】
また、２つのカメラ２１、２２を翼３１、３２の先端に取り付けることで、リアルタイムな立体測定が可能となる。これらのリアルタイムな立体測定により、２つのカメラ２１、２２はオブジェクトにフォーカスし、３次元ビューを取得し、当該オブジェクトの正確な測定値を取得することができる。動き補償モジュール１００は、例えば翼振動のため距離が変化している２つのカメラ２１、２２の間の距離を計算するためのリアルタイムな方法を提供する。２つのカメラ２１、２２の間の当該計算された距離を次いで使用して、航空機３０と、回避すべき接近オブジェクトとの間の距離を計算する。
【００８４】
上述の記述は航空機３０により回避すべきオブジェクトが空中にあることを説明するが、航空機により回避すべきオブジェクトが、例えば滑走路上のオブジェクトのような、空中にないオブジェクトであることが考えられる。
【００８５】
また、上述の記述は２つのカメラのみを有するとして画像キャプチャ・モジュール２０を説明するが、２つより多くのカメラが使用されることが考えられる。しかし、２つより多くのカメラの利用は、あまり正確でない距離測定値につながる、より短いベースラインを提供する。例えば、第３のカメラ（図示せず）を航空機３０の一部に搭載することができる。処理ユニット１０２（図２）を、左カメラ２１および第３のカメラの間のリアルタイム距離における動き、右カメラ２２および第３のカメラの間のリアルタイム距離における動き、またはその両方を補償するための動き補償プログラム１０５の命令を実行するように構成することができる。当該検出モジュールを、左カメラ２１および右カメラ２２の間の計算されたリアルタイム距離、左カメラ２１および第３のカメラの間の計算されたリアルタイム距離、および右カメラ２２および第３のカメラの間の計算されたリアルタイム距離のうち少なくとも１つに基づいて航空機３０およびオブジェクト１６の間の距離を計算するように構成することができる。
【００８６】
さらに、上述の説明はＦＡＡ規制に従う当該航空業界における航空機のための例示的な装置および例示的な動き補償方法を説明したが、装置および動き補償方法を適用可能な業界標準に従う任意の業界に対して実装してもよいことが考慮されている。
【００８７】
さらに、本開示は以下の項に従う実施形態を含む。
【００８８】
項１：少なくとも１つの航空機３０の翼３１、３２の屈曲に起因する航空機３０の第１のおよび第２の翼３１、３２の搭載カメラ２１、２２の間の距離における変形を補償する方法であって、
航空機３０のニュートラルな翼３１、３２条件の間の第１の翼３１搭載カメラ２１２２および第２の翼３２搭載カメラ２１、２２の間の第１の距離および方位を決定するステップと、
航空機３０の屈曲された翼３１、３２条件の間に第１の翼３１搭載カメラ２１、２２および第２の翼３２搭載カメラ２１、２２の間の第２の距離および方位を決定するステップと、
第１のおよび第２の距離および方位の間の差異を処理して、第１のおよび第２の翼３１、３２搭載カメラ２１、２２の間の補償された距離および方位を提供する際に使用するためのリアルタイムに変化する距離および方位を提供するステップと、
を含む、方法。
【００８９】
項２：第１のおよび第２の距離および方位の間の差異を処理するステップは、第１の翼３１搭載カメラ２１、２２からキャプチャされた画像２４を左ノーズ・テンプレートに対して相関付けるステップを含む、項１に従う方法。
【００９０】
項３：第１のおよび第２の距離および方位の間の差異を処理するステップは、第１の翼３１搭載カメラ２１、２２に関連付けられた相関付けられた画像２４を変換して、左翼３１、３２の動きを排除するステップを含む、項２に従う方法。
【００９１】
項４：第１のおよび第２の距離および方位の間の差異を処理するステップは、第２の翼３２搭載カメラ２１、２２からキャプチャされた画像２４を右ノーズ・テンプレートに対して相関付けるステップを含む、項１に従う方法。
【００９２】
項５：第１のおよび第２の距離および方位の間の差異を処理するステップは、第２の翼３２搭載カメラ２１、２２に関連付けられた相関付けられた画像２４を変換して、右翼３１、３２の動きを排除するステップを含む、項４に従う方法。
【００９３】
項６：第１のおよび第２の距離および方位の間の差異を処理するステップは、（ｉ）第１の翼３１搭載カメラ２１、２２からキャプチャされた画像２４を左ノーズ・テンプレートに対して相関付けるステップと、（ｉｉ）第１の翼３１搭載カメラ２１、２２に関連付けられた相関付けられた画像２４を変換して、左翼３１、３２の動きを排除するステップと、（ｉｉｉ）第２の翼３２搭載カメラ２１、２２からキャプチャされた画像２４を右ノーズ・テンプレートに対して相関付けるステップと、（ｉｖ）第２の翼３２搭載カメラ２１、２２に関連付けられた相関付けられた画像２４を変換して、右翼３１、３２の動きを排除するステップとを含む、項１に従う方法。
【００９４】
項７：当該方法は、当該コンピュータによりプログラム記憶媒体可読に有形に組み込まれた命令からなる１つまたは複数のプログラムを実行する、メモリを有するコンピュータにより実施される、項１に従う方法。
【００９５】
項８：キャプチャされた画像データが、請求項１に記載の方法に従って相関付けられ変換される、航空機搭載オブジェクト１６検出および衝突回避システム１０。
【００９６】
項９：キャプチャされた画像データが、請求項８に記載の方法に従って相関付けられ変換され、航空機３０の左翼３１、３２搭載カメラ２１、２２および航空機３０の右翼３１、３２搭載カメラ２１、２２により当該キャプチャされた画像データが提供される、航空機搭載オブジェクト１６検出および衝突回避システム１０。
【００９７】
項１０：航空機３０の左翼３１、３２搭載カメラ２１、２２および航空機３０の右翼３１、３２搭載カメラ２１、２２によりキャプチャされた画像データを処理して、左および右の航空機３０翼３１、３２の屈曲に起因するカメラ２１、２２の間の距離における変形を補償する方法であって、
左翼３１、３２搭載カメラ２１、２２からキャプチャされた画像２４を左の航空機３０翼３１、３２に関連付けられた左ノーズ・テンプレートに対して相関付けるステップと、
左翼３１、３２搭載カメラ２１、２２によりキャプチャされた少なくとも１つの画像フレームからの画像データを変換して、左の航空機３０翼３１、３２の動きに関連付けられた動きを排除するステップと、
右翼３１、３２搭載カメラ２１、２２からキャプチャされた画像２４を右の航空機３０翼３１、３２に関連付けられた右ノーズ・テンプレートに対して相関付けるステップと、
右翼３１、３２搭載カメラ２１、２２によりキャプチャされた少なくとも１つの画像フレームからの画像データを変換して、右の航空機３０翼３１、３２の動きに関連付けられた動きを排除するステップと、
を含む、方法。
【００９８】
項１１：キャプチャされた画像データが、請求項１０に記載の方法に従って相関付けられ変換される、航空機搭載オブジェクト１６検出および衝突回避システム１０。
【００９９】
項１２：キャプチャされた画像データが、請求項１１に記載の方法に従って相関付けられ変換され、航空機３０の左翼３１、３２搭載カメラ２１、２２および航空機３０の右翼３１、３２搭載カメラ２１、２２により当該キャプチャされた画像データが提供される、航空機搭載オブジェクト１６検出および衝突回避システム１０。
【０１００】
項１３：当該方法は、当該コンピュータによりプログラム記憶媒体可読に有形に組み込まれた命令からなる１つまたは複数のプログラムを実行する、メモリを有するコンピュータにより実施される、項１０に従う方法。
【０１０１】
項１４：航空機搭載オブジェクト１６検出および衝突回避システム１０のための装置であって、
航空機３０の１つの部分に取り付けられた第１のカメラ２１２２と、
航空機３０の別の部分に取り付けられた第２のカメラ２１、２２であって、第１のカメラおよび第２のカメラ２１、２２は飛行経路１８内のオブジェクト１６の画像２４をキャプチャするように協調する、第２のカメラ２１、２２と、
第１のカメラ２１、２２および第２のカメラ２１、２２の間のリアルタイム距離および方位を計算するように構成された動き補償モジュール１００と、
第１のカメラ２１、２１および第２のカメラ２１、２２の間の当該計算されたリアルタイム距離および方位に基づいて航空機３０およびオブジェクト１６の間の距離および方位を計算するように構成された検出モジュール５０と、
を備える装置。
【０１０２】
項１５：第１のカメラおよび第２のカメラ２１、２２の各々はステレオビジョン・カメラを含む、項１４に従う装置。
【０１０３】
項１６：動き補償モジュール１００は、動き補償プログラムが格納されたデータ記憶ユニット１０４および第１のカメラおよび第２のカメラ２１、２２の間のリアルタイム距離および方位の変形を補償するための当該動き補償プログラムの命令を実行するように構成された処理ユニット１０２を備える、項１４に従う装置。
【０１０４】
項１７：第１のカメラ２１、２２は航空機３０翼３１、３２に搭載され、第２のカメラ２１、２２は航空機３０翼３１、３２に搭載され、処理ユニット１０２は、１つまたは複数の航空機３０翼３１、３２の屈曲に起因する第１のカメラおよび第２のカメラ２１、２２の間のリアルタイム距離および方位における動きを補償するための当該動き補償プログラムの命令を実行するように構成される、項１６に従う装置。
【０１０５】
項１８：航空機３０の一部に搭載された第３のカメラ２１、２２をさらに備え、処理ユニット１０２は、第１のおよび第３のカメラ２１、２２の間のリアルタイム距離および方位における動き、第２のおよび第３のカメラ２１、２２の間のリアルタイム距離および方位における動き、またはその両方を補償するための当該動き補償プログラムの命令を実行するように構成される、項１７に従う装置。
【０１０６】
項１９：検出モジュール５０は、第１のカメラ２１、２２および第２のカメラ２１、２２の間の計算されたリアルタイム距離および方位、第１のカメラ２１、２２および第３のカメラ２１、２２の間の計算されたリアルタイム距離および方位、および第２のカメラ２１、２２および第３のカメラ２１、２２の間の計算されたリアルタイム距離および方位のうち少なくとも１つに基づいて、航空機３０およびオブジェクト１６の間の距離を計算するように構成される、項１８に従う装置。
【０１０７】
項２０：飛行経路１８は空中の飛行経路１８または地上の滑走路１８を含む、項１４に従う装置。
【０１０８】
開示された装置および動き補償方法の様々な実施形態が示され説明されているが、本明細書を読むと様々な修正は当業者に想到されうる。本願はかかる修正を含み、特許請求の範囲の範囲によってのみ限定される。
【符号の説明】
【０１０９】
２０  画像キャプチャ・モジュール
２１，２２  少なくとも２つのカメラ
２４  画像
２６  ビデオ画像
５０  検出モジュール
１００  動き補償モジュール
１０２  処理ユニット
１０４  データ記憶ユニット
１０６  入出力ユニット
【図１】
2018095231.tif 000013
【図２】
2018095231.tif 000014
【図３】
2018095231.tif 000015
【図４】
2018095231.tif 000016
【図５Ａ】
2018095231.tif 000017
【図５Ｂ】
2018095231.tif 000018
【図５Ｃ】
2018095231.tif 000019
【図６】
2018095231.tif 000020
【図７】
2018095231.tif 000021
【図８】
2018095231.tif 000022
【図９】
2018095231.tif 000023
【外国語明細書】
2018095231000001.pdf