(57)【特許請求の範囲】
【請求項１】
ビークル（２０２）への物体（２０６）の衝突を検出するための方法であって：
前記ビークル（２０２）上のビデオカメラ（３１６）からのビデオ画像（２２０）の各画素における輝度の変化に基づいて、前記物体（２０６）が前記ビデオカメラ（３１６）の視野の範囲内にいるか否かを特定すること；
前記輝度が一定の画素を前記物体（２０６）の画像として特定すること；
前記ビデオ画像（２２０）内で前記物体（２０６）の前記画像から前記ビークル（２０２）に対する前記物体（２０６）の運動（２１２）を特定すること；
前記ビークル（２０２）に対する前記物体（２０６）の前記運動（２１２）が、前記物体（２０６）が前記ビークル（２０２）に衝突することを示しているかどうかを判断すること；及び
前記物体（２０６）が前記ビークル（２０２）に衝突するという判断に対応して、前記物体（２０６）が前記ビークル（２０２）に衝突することを示す情報を含む衝突レポート（２３２）を作成すること
を含む方法。
【請求項２】
前記ビークル（２０２）に対する前記物体（２０６）の前記運動（２１２）が、前記物体（２０６）が前記ビークル（２０２）に衝突することを示しているかどうかを判断することは：
前記物体（２０６）の前記運動（２１２）を前記ビークル（２０２）に対する表面構成情報（２１９）と比較すること
を含む、請求項１に記載の方法。
【請求項３】
前記ビデオ画像（２２０）内の前記物体（２０６）の前記画像から前記物体（２０６）のサイズ（２１４）を特定すること；及び
前記衝突レポート（２３２）内に前記物体（２０６）の前記サイズ（２１４）を示す情報を含むこと
をさらに含む、請求項１に記載の方法。
【請求項４】
前記物体（２０６）が前記ビークル（２０２）に衝突する前記ビークル（２０２）上の位置（２１６）を特定すること；及び
前記物体（２０６）が前記ビークル（２０２）に衝突する前記ビークル（２０２）上の前記位置（２１６）を特定する情報を、前記衝突レポート（２３２）内に含むこと
をさらに含む、請求項１に記載の方法。
【請求項５】
前記ビークル（２０２）上のディスプレイ（２３４）、データ記憶装置（２３８）、前記ビークル（２０２）に搭乗していない前記ビークル（２０２）のオペレータ、及び前記ビークル（２０２）のための整備部門のうちの少なくとも１つに前記衝突レポート（２３２）を送信すること
をさらに含む、請求項１に記載の方法。
【請求項６】
前記ビークル（２０２）は航空機（２００）であり、また前記物体（２０６）は鳥（２０８）である、請求項１に記載の方法。
【請求項７】
前記ビークル（２０２）は飛行中の航空機（２００）であり、
前記衝突レポート（２３２）を前記航空機（２００）のための飛行管理システム（２４０）に送信することをさらに含む、請求項１に記載の方法。
【請求項８】
ビークル（２０２）への物体（２０６）の衝突を検出するための装置であって、
前記ビークル（２０２）上のビデオカメラ（３１６）からのビデオ画像（２２０）のビデオ画像データ（５１２）を受信するように構成されるビデオ画像データ（５１２）受信器（５０２）；
前記ビデオ画像（２２０）内で前記物体（２０６）の画像を特定し、また、前記ビデオ画像（２２０）内で前記物体（２０６）の前記画像から前記ビークル（２０２）に対する前記物体（２０６）の運動（２１２）を特定するため、前記ビデオ画像データ（５１２）を処理するように構成される画像データプロセッサ（５０４）；
前記ビークル（２０２）に対する前記物体（２０６）の前記運動（２１２）が、前記物体（２０６）が前記ビークル（２０２）に衝突することを示しているかどうかを判断するように構成される衝突検出器（５０６）；及び
前記物体（２０６）が前記ビークル（２０２）に衝突するという判断に対応して、前記物体（２０６）が前記ビークル（２０２）に衝突することを示す情報を含む衝突レポート（２３２）を作成するように構成される衝突レポート作成器（５０８）
を含み、
前記画像データプロセッサ（５０４）は、前記ビデオ画像（２２０）の各画素における輝度の変化に基づいて、前記物体（２０６）が前記ビデオカメラ（３１６）の視野の範囲内にいるか否かを特定し、前記輝度が一定の画素を前記物体（２０６）の画像として特定するように構成されている、
装置。
【請求項９】
前記衝突検出器（５０６）は、前記ビークル（２０２）に対する前記物体（２０６）の前記運動（２１２）が、前記物体（２０６）が前記ビークル（２０２）に衝突することを示しているかどうかを判断するため、前記物体（２０６）の前記運動（２１２）を前記ビークル（２０２）に対する表面構成情報（２１９）と比較するように構成される、請求項８に記載の装置。
【請求項１０】
前記画像データプロセッサ（５０４）は、前記ビデオ画像（２２０）内の前記物体（２０６）の前記画像から前記物体（２０６）のサイズ（２１４）を決定するように構成され；さらに
前記衝突レポート作成器（５０８）は、前記衝突レポート（２３２）内に前記物体（２０６）の前記サイズ（２１４）を示す情報を含むように構成される
請求項８に記載の装置。
【請求項１１】
前記衝突検出器（５０６）は、前記物体（２０６）が前記ビークル（２０２）に衝突する前記ビークル（２０２）上の位置（２１６）を決定するように構成され；さらに
前記衝突レポート作成器（５０８）は、前記物体（２０６）が前記ビークル（２０２）に衝突する前記ビークル（２０２）上の前記位置（２１６）を示す情報を前記衝突レポート（２３２）内に含むように構成される
請求項８に記載の装置。
【請求項１２】
前記ビークル（２０２）上のディスプレイ（２３４）、前記ビークル（２０２）上のデータ記憶装置（２３８）、前記ビークル（２０２）に搭乗していない前記ビークル（２０２）のオペレータ、及び前記ビークル（２０２）のための整備部門のうちの少なくとも１つに前記衝突レポート（２３２）を送信するように構成される衝突レポート送信器（５１０）をさらに含む、請求項８に記載の装置。
【請求項１３】
前記ビークル（２０２）は航空機（２００）であり、また前記物体（２０６）は鳥（２０８）である、請求項８に記載の装置。
【請求項１４】
前記衝突レポート（２３２）を前記航空機（２００）上の飛行管理システム（２４０）に送信するように構成される衝突レポート送信器（５１０）をさらに含む、請求項１３に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、画像を解析してビークルに衝突する物体を特定するためのシステム及び方法に関する。より具体的には、本開示は航空機へのバードストライクを特定するための航空機上のカメラの画像解析に関する。
【背景技術】
【０００２】
現在の民間航空機及び他の航空機は、航空機の安全な運行に影響を及ぼすことなく、バードストライクに耐えられるように設計されている。さらに、このような航空機は、飛行の安全に影響を及ぼしうる航空機上の任意の位置での不整合を検出及び報告するための機器を有することがある。バードストライクによって引き起こされるが、このような機器によって検出されないことがある潜在的な不整合は、航空機の外観又は空力性能に及ぼす影響に対しては限定的でありうる。したがって、バードストライクは概してこのような航空機にとっては安全上の問題にはならない。
【０００３】
バードストライクは航空機の安全性には影響を及ぼさないこともあるが、航空機へのバードストライクが発生したことが疑われる場合には、十分な注意に基づいて、航空機の運航規程又は法規定は、目的地外着陸又は引き返しを要求することがある。その結果、バードストライク及びバードストライクの疑いは、航空会社及び他の航空機運航機関にとって重大な費用発生の原因となることがある。
【０００４】
バードストライクは非民間航空機又は他の有人航空機及び無人航空ビークルにとって、安全上の問題となることがある。例えば、無人航空ビークル及び他の比較的小型の航空機は、大型の民間航空機をバードストライクに対して強固なものにするシステム及び構造体を搭載する収容能力がより少なくなることがある。
【０００５】
バードストライクは、ステルス性能を有する幾つかの有人及び無人の軍用機或いは他の航空機にとっては重大な問題になることがある。このような航空機に対するバードストライクは、航空機にステルス性をもたらす塗装又は他の機能に不整合を引き起こすことがある。
【０００６】
したがって、一又は複数の上述の問題と、起こりうる他の問題とを考慮する方法と装置を有することが有利であろう。
【発明の概要】
【０００７】
本開示の例示的な実施形態は、衝突を検出する方法を提供する。物体の画像はビークルのビデオカメラのビデオ画像で特定される。ビークルに対する物体の運動はビデオ画像内の物体の画像から特定される。ビークルに対する物体の運動が、物体がビークルに衝突することを示しているかどうかが決定される。物体がビークルに衝突することを示す情報を含む衝突のレポートは、物体がビークルに衝突するという判断に対応して作成される。
【０００８】
本開示の他の例示的な実施形態は、データ受信器のビデオ画像、画像データプロセッサ、衝突検出器、及び衝突レポート作成器を備える装置を提供する。ビデオ画像データ受信器はビークルのビデオカメラからのビデオ画像のビデオ画像データを受信するように構成されている。画像データプロセッサは、ビデオ画像内の物体の画像を特定し、さらにビデオ画像内の物体の画像からビークルに対する物体の運動を特定するように、ビデオ画像データを処理するように構成されている。衝突検出器は、物体のビークルに対する運動が、物体がビークルに衝突することを示しているかどうかを判断するように構成されている。衝突レポート作成器は、物体がビークルに衝突するという判断に応じて、物体がビークルに衝突することを示す衝突レポートを作成するように構成されている。
【０００９】
本開示の別の例示的な実施形態は、ビデオ画像を提供するように構成される航空機のカメラシステム及び航空機上の衝突検出システムを備える装置を提供する。衝突検出システムは、カメラシステムのビデオ画像に対してビデオ画像データを受信し、ビデオ画像内の鳥の画像を特定するためビデオ画像データを処理し、ビデオ画像内の鳥の画像から航空機に対する鳥の運動を特定し、航空機に対する鳥の運動が物体の航空機への衝突を示しているかどうかを判断し、さらに鳥が航空機に衝突するという判断に応じて、鳥が航空機に衝突することを示す情報を含む衝突レポートを作成する、ように構成されている。
【００１０】
特徴、機能、及び利点は、本開示の様々な実施形態で独立に実現することが可能であるか、後述の説明及び添付図面を参照してさらに詳細に説明されるさらに別の実施形態で組み合わせることが可能である。
【００１１】
例示的な実施形態の特徴と考えられる新規の機能は、添付の特許請求の範囲に明記される。しかしながら、例示的な実施形態と、好ましい使用モード、さらなる目的、及びその特徴は、添付図面を参照して本開示の例示的実施形態の後述の詳細な説明を読むことにより最もよく理解されるであろう。
【図面の簡単な説明】
【００１２】
【図１】例示的な実施形態による飛行中の航空機と鳥の図解である。
【図２】例示的な実施形態によるビデオ画像を使用する衝突検出を有する航空機のブロック図の図解である。
【図３】例示的な実施形態によるカメラシステムのブロック図の図解である。
【図４】例示的な実施形態によるカメラシステムのビデオカメラの航空機上での位置を示す図解である。
【図５】例示的な実施形態による衝突検出システムのブロック図の図解である。
【図６】例示的な実施形態による航空機上のビデオカメラからの画像の図解である。
【図７】例示的な実施形態による衝突検出のためのプロセスのフロー図の図解である。
【図８】例示的な実施形態によるデータ処理システムのブロック図の図解である。
【発明を実施するための形態】
【００１３】
種々の例示的な実施形態は、任意の数の種々の検討事項を認識し考慮している。本明細書でアイテムを参照する際に使用される「任意の数の」は、一又は複数のアイテムを意味する。例えば、「任意の数の種々の検討事項」は、一又は複数の種々の検討事項を意味する。
【００１４】
種々の例示的な実施形態は、バードストライクによって航空会社が被る費用の大部分が、航空機に対して何の不整合ももたらさない衝突又は衝突の疑いに対するものであることを認識し考慮している。航空機はそのようなバードストライク又はバードストライクの疑いによって影響を受けることはないが、目的地外着陸、引き返し、又は検査の強化によって費用が発生することがある。航空機の搭乗員が現状で推測しうるのはバードストライクが発生したという程度のことにすぎないため、このような費用が発生することがありうる。
【００１５】
現在、航空機の搭乗員は、鳥が航空機に衝突したかどうか、航空機のどこに衝突したか、どれくらいの大きさの鳥だったのか、或いはバードストライク又はバードストライクの疑いに関する他の特徴について正確に判断する手段に欠けることがある。種々の例示的な実施形態は、操縦士又は他の搭乗員がコクピットの窓からの目視観測に基づいて、バードストライクを特定し、鳥が航空機に衝突した箇所を特定し、さらに鳥のサイズを推定しうることを認識し考慮している。しかしながら、鳥がフロントガラス又は機体の正面に衝突するのでなければ、搭乗員は鳥が航空機に衝突した箇所を見ることはできない。
【００１６】
場合によっては、航空機の搭乗員は計器の読取値からバードストライクの可能性を特定することができる。航空機の様々な運行状況をモニタするために使用される様々な計器の読取値は、航空機へのバードストライクによって影響されることがある。しかしながら、これらの計器はバードストライクを検出するために設計されたものではなく、正確な一貫性のある方法でバードストライクを検出するだけの信頼性はない。
【００１７】
種々の例示的な実施形態は、搭乗員がバードストライクの特徴をより正確に特定することができれば、航空機へのバードストライクに関連する費用は軽減されうることを認識し考慮している。例えば、限定するものではないが、十分に小さな鳥が航空機の十分に強固な部分に衝突したことを搭乗員が知っていた場合には、費用のかかる目的地外着陸又は次の目的地での検査の強化を回避することができる。
【００１８】
種々の例示的な実施形態はまた、計器の読取値によって補われる目視観測を用いても、航空機の搭乗員は現状では航空機へのバードストライクに気づかないことを認識し考慮している。現在、航空機に不整合を引き起こしうる幾つかのバードストライクに、飛行中の搭乗員が気づかないことがある。
【００１９】
種々の例示的な実施形態は、航空機へのバードストライクは航空機の飛行後検査によって特定されうることを認識し考慮している。例えば、飛行後に地上で航空機の検査を行う整備士又は他の職員は、バードストライクが発生した可能性を示す血液、へこみ、又は他の不整合を見つけることがある。しかしながら、航空機の搭乗員が飛行中にバードストライクに気づかず、血液又は他のバードストライクの証拠を除去する雨又は他の天候によって航空機が洗い流されると、バードストライクは飛行後の検査で特定されないことがある。
【００２０】
種々の例示的な実施形態はまた、ステルス性能を有する軍用機の操縦士又は遠隔オペレータは航空機へのバードストライクに気づかないことを認識し考慮している。このような衝突は、好ましくない方法でステルス性能に影響を及ぼすことがある。バードストライク後に気づかぬまま航空機が敵対環境に飛行する場合には、航空機が敵のレーダー又は他のセンサーによって検出される可能性が高くなる。このような検出は、航空機のミッションを危険に晒す可能性があり、場合によっては航空機の損失につながることもある。このような結果を回避するためには、起こりうる航空機へのバードストライクを操縦士又はオペレータに警告するシステム又は方法が望まれる。
【００２１】
例示的な実施形態は、航空機へのバードストライクが発生した或いは発生した可能性があるかどうかを判断し、航空機へのバードストライクの様々な特徴を特定するためのシステム及び方法を提供する。例示的な実施形態は、飛行中に航空機に接近する鳥を特定するため、航空機のカメラシステムからのビデオ画像を使用するためのシステム及び方法を含む。鳥が衝突する可能性がある又は航空機に衝突したかどうかを判断するため、ビデオ画像を用いて、航空機に対する鳥の運動が特定される。航空機上での鳥の衝突点、又はバードストライクの他の特徴が特定されうる。航空機へのバードストライクの特徴は、バードストライクに応じて適切な対応が取りうるように適切な職員に報告される。
【００２２】
ここで図１を参照すると、例示的な実施形態による飛行中の航空機と鳥の図解が示されている。この実施例では、航空機１００は矢印１０２によって示される方向に飛行して移動中である。鳥１０４は矢印１０６によって示される方向に飛行して運動している。図１では、航空機１００と鳥１０４は必ずしも縮尺どおりに示されていない。航空機１００と鳥１０４の位置及び相対運動によっては、鳥１０４は航空機１００に衝突することがある。
【００２３】
例示的な実施形態によれば、航空機１００上のカメラシステムからのビデオ画像は、鳥１０４が航空機１００に衝突する可能性があるか又は衝突したかを判断するために使用されることがある。さらに、カメラシステムのビデオ画像は、バードストライクの様々な特徴を特定するために使用されうる。例えば、航空機１００のカメラシステムは、視野１０８を有する任意の数のビデオカメラを含むことがある。この実施例では、視野１０８は航空機１００の運動方向のライン１１０とライン１１２との間の航空機１００の正面の領域によって定義される。鳥１０４は視野１０８の範囲内にある。したがって、航空機１００のカメラシステムからのビデオ画像は鳥１０４の画像を含む。
【００２４】
例示的な実施形態によれば、航空機１００のカメラシステムからのビデオ画像は、ビデオ画像内の鳥１０４の画像を特定するため、処理されることがある。ビデオ画像内の鳥１０４の画像の経時的な運動は、航空機１００に対する鳥１０４の運動を特定するために使用されることがある。航空機１００に対する鳥１０４の運動は、鳥１０４が航空機１００に衝突したか又は衝突する可能性があるかを判断するために使用されることがある。ビデオ画像内の鳥１０４の画像はまた、バードストライクの他の特徴を決定するために使用されてもよい。例えば、限定するものではないが、ビデオ画像内の鳥１０４の画像は、航空機１００上での鳥１０４による衝突の位置及び鳥１０４のサイズを決定するために使用されることがある。
【００２５】
ここで図２を参照すると、例示的な実施形態によるビデオ画像を使用した衝突検出を有する航空機のブロック図が示されている。この実施例では、航空機２００は、図１の航空機１００の実装の一実施例である。
【００２６】
航空機２００は、任意のタイプの航空機であってよい。たとえば、限定するものではないが、航空機２００は、固定翼飛行機、回転翼飛行機、又は軽飛行機であってもよい。航空機２００は有人のものもあれば、無人のものもある。例えば、限定するものではないが、航空機２００は無人航空ビークルであってもよい。航空機２００は任意のミッションを実行するように設計されることがあり、航空機２００のオペレータによって操作されることがある。例えば、限定するものではないが、航空機２００は航空会社によって運航される商用旅客機、民間又は公的機関によって運航される貨物航空機、軍又は他の政府機関によって運航される軍用機、個人によって運航される個人航空機、又は他の航空機オペレータによって操作される他のタイプの航空機であってもよい。
【００２７】
航空機２００は、例示的な実施形態が実装されるビークル２０２の実施例である。ビークル２００は、任意の媒体を通って又は任意の媒体上を移動するように構成される任意の移動プラットフォームであってもよい。例えば、限定するものではないが、ビークル２０２は、大気中及び宇宙空間を進むように構成される航空宇宙ビークル、陸上を移動するように構成される陸上ビークル、又は他の任意の媒体又は媒体の組み合わせを通って移動するように構成される他の任意のビークルであってもよい。例えば、限定するものではないが、ビークル２０２は陸上の線路上を移動するように構成される高速鉄道であってもよい。
【００２８】
本願では、特許請求の範囲を含め、「衝突する」及び「衝突した」という表現及び任意の類似する又は関連する表現は、２つの物体が運動している又は一方の物体のみが運動しているかどうかに関わらず、また後者の場合、どちらの物体が運動していてどちらの物体が運動していないかに関わらず、第１の物体と第２の物体の衝突を意味する。例えば、本願では、「航空機に衝突する物体」という表現は、運動している航空機に衝突する運動している物体、運動していない物体に衝突する運動している航空機、及び運動していない航空機に衝突する運動している物体を意味する。
【００２９】
航空機２００は衝突検出システム２０４を含みうる。衝突検出システム２０４は、物体２０６が航空機２００に衝突したか又は衝突する可能性があるかを判断するように構成されてもよい。衝突検出システム２０４はまた、このような衝突の様々な特徴を特定するように構成されてもよい。
【００３０】
衝突検出システム２０４は、データ処理システム上で動作するソフトウェアに、ハードウェアに、又はソフトウェアとハードウェアの組み合わせに実装されてもよい。例えば、限定するものではないが、衝突検出システム２０４は、航空機２００上の専用データ処理システム上、又は航空機２００上で他の目的で使用されるデータ処理システム上に、全体的に又は部分的に実装されてもよい。衝突検出システム２０４の機能の一部又はすべては、航空機２００外に実装されてもよい。
【００３１】
物体２０６は、航空機２００に衝突しうる任意の物体であってもよい。例えば、物体２０６は鳥２０８又は他の物体２１０であってもよい。物体２０６は空中に又は地上に存在することがある。例えば、限定するものではないが、他の物体２１０は、別の航空機、ミサイル、或いは他の任意の空中に浮遊する人工の物体又は自然の物体であることもある。別の実施例として、限定するものではないが、他の物体２１０は、航空機２００が着陸する滑走路上の鹿又は他の動物、或いは他の自然物又は人工物であることもある。
【００３２】
物体２０６は、運動２１２、サイズ２１４、他の特徴２１５、或いはこれらの特徴の様々な組み合わせを有することがある。運動２１２は、航空機２００に対する物体２０６の運動を意味することがある。例えば、限定するものではないが、運動２１２は、航空機２００に対する物体２０６の運動の方向、航空機２００に対する物体２０６の運動の速さ、又はその両方で特徴づけられることがある。運動２１２はまた、航空機２００に対する物体２０６の軌跡として見なされることがある。
【００３３】
衝突検出システム２０４は、運動２１２、サイズ２１４、又は物体２０６の他の特徴２１５、又はこのような特徴の様々な組み合わせを特定するように構成されてもよい。例えば、限定するものではないが、衝突検出システム２０４は、物体２０６が衝突したか又は衝突する可能性があるかを判断するため、運動２１２を使用するように、又は運動２１２をサイズ２１４と組み合わせて使用するように構成されることがある。衝突検出システム２０４はまた、衝突２１７の位置２１６を特定するため、運動２１２を、又は運動２１２をサイズ２１４と組み合わせて使用するように構成されることがある。しかも、衝突検出システム２０４はまた、衝突２１７の他の特徴２１８を特定するため、運動２１２、サイズ２１４、他の特徴２１５、又はこのような特徴の様々な組み合わせを使用するように構成されてもよい。
【００３４】
衝突２１７の位置２１６は、物体２０６が衝突する航空機２００上の位置となることがある。例えば、衝突２１７の位置２１６は、物体２０６が衝突する航空機２００上の表面の位置となることがある。
【００３５】
衝突２１７の他の特徴２１８は、衝突２１７に関連しうる深刻な障害又は懸念のレベルを示す特徴を含むことがある。例えば、限定するものではないが、衝突２１７の他の特徴２１８は、衝突２１７が航空機２００に不整合を引き起こす可能性があるかどうかの兆候を含むことがある。衝突２１７の他の特徴２１８は、衝突２１７によって引き起こされる航空機２００の何らかの不整合の起こりうる深刻な障害の兆候を含むことがある。
【００３６】
衝突２１７の他の特徴２１８は、衝突２１７の位置２１６に依存することがある。例えば、限定するものではないが、衝突２１７によって引き起こされる航空機２００の何らかの不整合の可能性及び深刻な障害は、衝突２１７の位置２１６が衝突２１７に対する耐久性がより高い航空機２００の強固な位置に対応している場合には、低くなることがありうる。
【００３７】
衝突検出システム２０４は、物体２０６が航空機２００に衝突したか又は航空機２００に衝突する可能性があるかどうかを判断するように、さらに運動２１２を使用して、又は運動２１２をサイズ２１４と組み合わせて使用して、表面構成情報２１９と組み合わせて衝突の位置２１６を特定するように構成されてもよい。表面構成情報２１９は、物体２０６が衝突することがある航空機２００の様々な表面の構成を記述する情報を含んでもよい。例えば、限定するものではないが、表面構成情報２１９は、航空機２００の前方の表面の構成を記述する情報を含むことがある。いずれの場合でも、表面構成情報２１９は、航空機２００又は航空機の任意の部分のサイズ及び形状を記述する情報を含むことがある。
【００３８】
例示的な実施形態により、衝突検出システム２０４は、航空機２００上のカメラシステム２２２からのビデオ画像２２０を使用して、物体２０６が航空機２００に衝突したか又は衝突する可能性があるかどうかを判断し、衝突２１７の様々な特徴を決定するように構成されている。例えば、限定するものではないが、ビデオ画像２２０は、航空機２００が動いている方向で、航空機２００の正面のシーンの一連の画像を含むことがある。カメラシステム２２２は、任意の数のビデオカメラ２２４を含んでもよい。任意の数のビデオカメラ２２４は、航空機２００の既知又は知りうる位置及び方向に据え付けられる。任意の数のビデオカメラ２２４は、航空機２００の経路上の鳥２０８又は他の物体２１０を視野に捉えるため、一般的に航空機２００の前方、航空機が運動している方向に面するように据え付けられる。
【００３９】
航空機２００はライト２２６を含んでもよい。例えば、限定するものではないが、ライト２２６は着陸用ライト、カメラシステム２２２に関連するライト、或いは航空機２００の他の外部ライトを含むことがある。ライト２２６は、ビデオ画像２２０中で鳥２０８又は他の物体２１０の画像を強調するため、航空機２００に衝突しうる鳥２０８又は他の物体２１０を照らし出すために点灯されることがある。
【００４０】
衝突検出システム２０４は、カメラシステム２２２からビデオ画像２２０を受信するように構成されてもよい。衝突検出システム２０４は、ビデオ画像２２０内で物体２０６の画像を特定するため、物体２０６の様々な特徴を特定するため、物体２０６が航空機２００に衝突したか又は衝突する可能性があるかどうかを判断するため、及び衝突２１７の様々な特徴を特定するため、ビデオ画像２２０を処理するように構成されてもよい。
【００４１】
衝突検出システム２０４は、物体２０６が航空機２００に衝突したか又は衝突する可能性があるかどうかを判断するため、及び衝突２１７の様々な特徴を特定するため、ビデオ画像２２０に加えて情報を使用するように構成されてもよい。例えば、限定するものではないが、このような付加情報は、表面構成情報２１９、他の情報２２８、あるいはその両方を含むことがある。例えば、限定するものではないが、他の情報２２８は、物体２０６が航空機２００に衝突したか又は衝突する可能性があるかどうかを判断し、衝突２１７の様々な特徴を特定するため、現在の時刻、航空機２００の現在の位置、航空機２００の現在の速度、或いは衝突検出システム２０４によって使用されうる他の適切な情報又は情報の組み合わせを含むことがある。
【００４２】
他の情報２２８は、航空機システム２３０によって提供されうる。衝突検出システム２０４は航空機システム２３０から他の情報２２８を受信するように構成されてもよい。航空機システム２３０は、他の情報２２８を提供するように構成されうる航空機２００上の様々なシステム及びデバイスを含むことがある。例えば、限定するものではないが、航空機システム２３０は、衛星に基づく位置決定システムユニット、慣性ナビゲーションシステムユニットなどの、航空機２００用のナビゲーションシステム、或いは他の情報２２８を提供する航空機２００上の任意の他のシステム又はデバイスを含むことがある。
【００４３】
衝突検出システム２０４は衝突レポート２３２を作成するように構成されてもよい。衝突レポート２３２は、物体２０６が航空機２００に衝突したか又は衝突する可能性があることを示すことができる。衝突レポート２３２はまた、衝突２１７の様々な特徴を特定する情報を含むことがある。例えば、限定するものではないが、衝突レポート２３２は、航空機２００に衝突する物体２０６の衝突２１７の位置２１６、サイズ２１４、運動２１２、又は航空機２００に衝突する物体２０６の他の特徴２１５、又はそのような特徴の様々な組み合わせを含むことがある。
【００４４】
衝突レポート２３２は、様々な目的で使用されうる。衝突レポート２３２の具体的な書式及び衝突レポート２３２に盛り込まれる具体的な情報は衝突レポート２３２がどのように使用されるかに依存することがある。
【００４５】
衝突レポート２３２は、航空機２００の搭乗員の一又は複数の構成員に対して、航空機ディスプレイ２３４上に表示されてもよい。例えば、限定するものではないが、航空機ディスプレイ２３４は、航空機２００の操縦士及び他のフライトデッキ搭乗員に対して、衝突レポート２３２を表示するための航空機２００のコクピットのディスプレイを含むことがある。航空機２００の搭乗員は、飛行操作に関する判断を下すため、航空機ディスプレイ２３４に表示される衝突レポート２３２の情報を使用してもよい。例えば、限定するものではないが、搭乗員は、飛行を継続するか目的地外着陸するかを判断するため、衝突レポート２３２の情報を使用することがある。
【００４６】
衝突レポート２３２は、航空機２００外の場所に送信するため、通信システム２３６に提供されてもよい。例えば、限定するものではないが、通信システム２３６は、航空機２００から地上の場所へ、或いは航空機２００外の別の場所又は任意の数の場所へ、衝突レポート２３２を送信するため、航空機２００上に無線システム又は他のシステムを含むことがある。例えば、限定するものではないが、スペア部品が事前に準備されるよう、或いは他の適切な措置が取れるよう、整備部門に衝突レポートを送信するため通信システム２３６が使用されることがある。別の実施例として、航空機２００が無人航空ビークルの場合には、航空機２００を制御している遠隔のオペレータに衝突レポート２３２を送信するために通信システム２３６が使用されることがある。
【００４７】
衝突レポート２３２は、データ記憶装置２３８に保存されてもよい。たとえば、限定するものではないが、データ記憶装置２３８は、任意の適切なデータ記憶装置を含みうる。データ記憶装置２３８は、航空機２００上、航空機２００以外の場所、又はその両方に配置することができる。例えば、限定するものではないが、衝突レポート２３２の情報は、搭乗員、整備要員、或いは衝突レポート２３２の情報の利用が許可されている他の利用者によって、任意の適切な時にデータ記憶装置２３８から取り出されてもよい。
【００４８】
衝突レポート２３２は、飛行管理システム２４０へ提供されてもよい。飛行管理システムは、飛行管理コンピュータ、又は航空機２００の飛行を管理するために使用されうる他のシステムを含んでもよい。例えば、限定するものではないが、衝突レポート２３２の情報は、鳥２０８又は他の物体２１０による航空機２００への予測される衝突を避けるための回避行動を取るため、航空機２００を制御するための飛行管理システム２４０によって使用されてもよい。
【００４９】
衝突レポート２３２は、本明細書の実施例として説明される衝突レポート２３２の利用者に加えて、これらの利用者とは異なる様々な利用者又は利用者の組み合わせに送信されてもよい。衝突レポート２３２の情報は、本明細書の実施例として説明される衝突レポート２３２の利用に加えて、これらの利用とは異なる様々な目的及び様々な方法で、このような利用者によって利用されてもよい。
【００５０】
図２の図解は、種々の例示的な実施形態が実装される方法に対して物理的又は構造的な限定を意図するものではない。図示されたコンポーネントに加えて、代えて、又は加え及び代えて他のコンポーネントを使用することができる。一部の例示的な実施形態では、幾つかのコンポーネントは不要である。また、ブロックは、いくつかの機能的なコンポーネントを示すために提示される。種々の例示的な実施形態において実装されるとき、これらのブロックの一又は複数は、異なるブロックに合成又は分割することができる。
【００５１】
ここで図３を参照すると、例示的な実施形態によるカメラシステムのブロック図が図解されている。この実施例では、カメラシステム３００は、図２のカメラシステム２２２の一実装の実施例である。
【００５２】
カメラシステム３００は専用カメラシステム３０２又は既存のカメラシステム３０４であってもよい。専用カメラシステム３０２は、衝突検出のためのビデオ画像を取得する目的で、航空機又は他のビークル上に提供されるカメラシステムであってもよい。この実施例では、専用カメラシステム３０２によって取得されるビデオ画像は、衝突検出だけのために、或いは主として衝突検出のために使用されてもよい。既存のカメラシステム３０４は、衝突検出以外の目的でビデオ画像を取得するため、航空機又は他のビークル上に提供されるカメラシステムであってもよい。この実施例では、既存のカメラシステム３０４によって取得されるビデオ画像は、衝突検出及び他の目的の両方のために使用されてもよい。例えば、限定するものではないが、商用旅客機又は他の航空機の既存のカメラシステム３０４は、地上操作カメラシステム３０６、デジタル景観カメラシステム３０８、強化ビジョンシステム３１０、他のカメラシステム３１２、或いはこれらのシステムの組み合わせを含んでもよい。
【００５３】
地上操作カメラシステム３０６は、地上作業中に航空機の機首及び主要着陸装置を視野に捉えるために、大型航空機上で使用されるシステムである。このシステムは、操縦士に滑走路及び誘導路のエッジに対する航空機の相対位置に関する情報を提供するため、操縦士は航空機が舗装路を外れないように操縦することができる。
【００５４】
デジタル景観カメラシステム３０８は、飛行中に乗客の娯楽用に使用される。このシステムは、前方又は下方の視界に面して航空機に据え付けられた一又は複数のカメラを使用する。
【００５５】
強化ビジョンシステム３１０は、一部の航空機の赤外線カメラシステムである。このシステムは、悪天候条件下で進入、着陸、駐機及び離陸する際に、操縦士に対して状況認識を高めるために使用されることがある。このシステムは航空機のノーズコーンに据え付けられる赤外線カメラを含むことがある。
【００５６】
例えば、限定するものではないが、他のカメラシステム３１２は、パーソナルビデオカメラ、スマートフォンのビデオカメラ、或いはビデオ画像を取得するための他の適切なカメラシステムを含むことがある。
【００５７】
カメラシステム３００は、任意の数のビデオカメラ３１４を含む。任意の数のビデオカメラ３１４は、同一のタイプのビデオカメラ又は任意の数の異なるタイプのビデオカメラを含んでもよい。
【００５８】
任意の数のビデオカメラ３１４は、重複する視野３１５を有する複数のビデオカメラを含んでもよい。重複する視野３１５により、任意の数のビデオカメラ３１４によって提供されるビデオ画像内の物体の立体追跡が可能になる。
【００５９】
任意の数のビデオカメラ３１４はビデオカメラ３１６を含む。ビデオカメラ３１６は、ビデオ画像を取得するため任意の波長の範囲内で動作しうる。例えば、限定するものではないが、ビデオカメラ３１６は、赤外線３１８、近赤外線３２０、可視光３２２、紫外線３２４、或いは他の波長又は波長の組み合わせでビデオ画像を取得するように構成されてもよい。ビデオカメラ３１６は、偏光３２６されているライトからビデオ画像を取得するように構成されてもよい。例えば、限定するものではないが、偏光フィルタがビデオカメラ３１６のレンズ上に装着されてもよい。ビデオカメラ３１６はビデオ画像をカラー３２８又はグレースケール３３０で提供することができる。
【００６０】
ここで図４を参照すると、カメラシステム内のビデオカメラの航空機上での位置を示す図解が、例示的な実施形態により描画されている。この実施例では、航空機４００は、図２の航空機２００の実装の一実施例である。
【００６１】
この実施例では、衝突検出のためのビデオ画像を取得するために使用されるカメラシステムは、航空機４００に据え付けられる３台のビデオカメラを含んでもよい。これらのビデオカメラのうちの２台は、位置４０２及び４０４で、航空機４００の水平安定板の先端に据え付けられることがある。第３のビデオカメラは、位置４０６で航空機４００の機首の下に据え付けられてもよい。例えば、限定するものではないが、航空機４００の位置４０２、４０４、及び４０６は、航空機４００上の地上操作カメラシステム３０６或いは図３の他のカメラシステム３１２の一部であるビデオカメラの位置であってもよい。例示的な実施形態による衝突検出は、位置４０２、４０４、及び４０６以外の航空機４００上の位置に据え付けられるビデオカメラを有するカメラシステムを含む、他のカメラシステムによって提供されるビデオ画像を使用してもよい。
【００６２】
航空機４００に据え付けられるビデオカメラの垂直視野は、航空機４００の迎え角と共に変化することがある。ビデオカメラの視野はまた、カメラが航空機４００の可動表面上に据え付けられている場合にも変化する。例えば、航空機４００上、可動水平安定板上の位置４０２及び４０４に据え付けられるビデオカメラの視野は変化する。航空機４００上に据え付けられるビデオカメラの横方向の視野は、カメラ間で重なる画像を提供することがある。この重なりは、航空機４００に衝突しうる物体の複数の同時表示を可能にする。
【００６３】
ここで図５を参照すると、例示的な実施形態による衝突検出システムのブロック図が図解されている。この実施例では、衝突検出システム５００は、図２の衝突検出システム２４０の一実装の実施例である。衝突検出システム５００は、ビデオ画像データ受信器５０２、画像データプロセッサ５０４、衝突検出器５０６、衝突レポート作成器５０８、及び衝突レポート送信器５１０を含みうる。
【００６４】
ビデオ画像データ受信器５０２は、ビデオ画像データ５１２を受信するように構成されてもよい。ビデオ画像データ受信器５０２は、航空機又は他のビークル上のビデオカメラからのビデオ画像のビデオ画像データ５１２を受信するように構成されてもよい。例えば、限定するものではないが、ビデオ画像データ受信器５０２は、カメラシステムからビデオ画像データを取得するためのフレームグラバー５１４を含んでもよい。
【００６５】
衝突検出システム５００はまた、様々なソースから他の情報を受信するように構成されてもよい。例えば、限定するものではないが、衝突検出システム５００は、現在の時刻５１６、ビークルの位置５１８、ビークルの速度５２０、表面構成情報５２２、或いは衝突検出システム５００によって使用されうる他の情報を受信又は取得するように構成されてもよい。ビークルの位置５１８は、ビークルの現在の位置を特定する情報を含みうる。ビークルの速度５２０は、ビークルの現在の速さ及び運動の方向を特定する情報を含みうる。衝突検出システム５００は、現在の時刻５１６、ビークルの位置５１８、ビークルの速度５２０、或いは航空機又は他のビークル上の様々なデバイス又はシステムからの他の情報又は情報の組み合わせを受信するように構成されてもよい。表面構成情報５２２は、物体が衝突することがある航空機又は他のビークルの表面の形状及びサイズを特定する情報を含んでもよい。表面構成情報５２２は、衝突検出システム５００の一部として、全体的に又は部分的に保存されてもよく、或いは、衝突検出システム５００の一部ではないが衝突検出システム５００によってアクセス可能である記憶デバイスに保存されてもよい。
【００６６】
画像データプロセッサ５０４は、任意の数のビデオ画像内でビークルに衝突しうる物体の画像を特定するため、及び任意の数のビデオ画像からビークルに対する物体の運動を特定するため、ビデオ画像データ５１２を処理するように構成されてもよい。例えば、限定するものではないが、画像データプロセッサ５０４は、一連のビデオ画像内で物体の画像の運動を経時的に追跡するため、一連のビデオ画像内で物体の画像を特定するように構成されてもよい。航空機又は他のビークルに対する物体の運動は次いで、一連のビデオ画像内の物体の画像の運動から特定されうる。画像データプロセッサ５０４はまた、物体の他の様々な特徴を決定するため、ビデオ画像データ５１２を処理するように構成されてもよい。例えば、限定するものではないが、画像データプロセッサ５０４は、物体のサイズ又は他の特徴或いは特徴の組み合わせを特定するため、ビデオ画像データ５１２を処理するように構成されてもよい。
【００６７】
物体の特定された運動及び他の特徴は画像データプロセッサ５０４によって提供されるため、衝突検出器５０６は、これらを他の情報と組み合わせて使用し、物体がビークルに衝突したか又は衝突する可能性があるかどうかを判断するように構成されてもよい。例えば、限定するものではないが、衝突検出器５０６は、物体の少なくとも一部及びビークルの少なくとも一部が同時に同じ場所にあることを示す、ビークルに対する物体の運動及び物体のサイズを決定することによって、物体が衝突したか又は衝突する可能性があるかどうかを判断するように構成されてもよい。衝突検出器５０６は、物体がビークルに衝突するかどうかを判断するため、及び物体が衝突したか又は衝突する可能性があるビークルの表面上の位置を特定するため、表面構成情報５２２を使用してもよい。衝突検出器５０６はまた、衝突の他の特徴を特定するように構成されてもよい。例えば、限定するものではないが、衝突検出器５０６は、衝突がビークル上の不整合及びそのような不整合による深刻な障害を引き起こす可能性があるかどうかを特定するように構成されてもよい。
【００６８】
衝突レポート作成器５０８は、衝突レポート５２４を作成するように構成されてもよい。衝突レポート５２４は、物体がビークルに衝突したか又は衝突する可能性があることを示す情報を含んでもよい。衝突レポート５２４は、画像データプロセッサ５０４及び衝突検出器５０６によって決定されうる、物体及び衝突の様々な特徴を特定する情報を含んでもよい。衝突レポート５２４の書式及び内容は、衝突レポートが送信される任意の数のユーザー５２６、及び衝突レポート５２４の情報が任意の数のユーザー５２６によってどのように利用されるかに依存する。
【００６９】
衝突レポート送信器５１０は、衝突レポート５２４を任意の数のユーザー５２６に送信するように構成されてもよい。任意の特定の用途のための衝突レポート送信器５１０の実装は、任意の数のユーザー５２６による使用のために衝突レポート５２４が任意の数のユーザー５２６にどのように配布されるかなど、任意の数のユーザー５２６の具体的な特徴に依存する。
【００７０】
ビークルに衝突しうる物体を特定するため、物体がビークルに衝突したか或いはビークルに衝突する可能性があるかどうかを判断するため、並びに物体及び衝突の様々な特徴を決定するため、任意の適切な方法が、ビデオ画像データ５１２を処理する衝突検出システム５００によって使用されてもよい。例えば、任意の適切な方法は、衝突検出システム５００に提供されるビデオ画像の背景から、ビークルに衝突しうる物体の画像を識別するため、衝突検出システムによって使用されることがある。任意の適切な方法は、ビークルに対する物体の運動を特定するため、複数のビデオ画像内の物体などの画像を経時的に追跡するように使用されてもよい。任意の適切な幾何学的計算は次いで、ビークルに対する物体の運動が、物体がビークルに衝突する可能性があること及び衝突する可能性のあるビークル上の位置を示しているかどうかを、判断するために使用されてもよい。
【００７１】
ここで図６を参照すると、航空機上のビデオカメラの画像の図解が、例示的な実施形態により描画されている。この実施例では、画像６００は、図２の航空機２００上のカメラシステム２２２によって提供されることがあるビデオ画像２２０の例である。
【００７２】
この実施例では、画像６００は、航空機が水平巡航飛行しているときには、航空機の右舷側のビデオカメラから提供される。画像６００は、背景画像６０４及び鳥の画像６０６、６０８、６１０、及び６１２を含むシーンを経時的に重ね合わせた一連の画像を表わしている。この実施例では、航空機は背景画像６０４に見えている山脈から比較的遠く離れていると想定されている。この場合、一連の画像の各画像の間での背景画像６０４の運動は無視できる。鳥は航空機により近いため、画像６００の中の鳥の画像は一連の画像に対して、画像６０６から画像６０８、画像６１０、画像６１２へと変化している。
【００７３】
ライン６１４で表わされる航空機に対する鳥の運動は、鳥の一連の画像６０６、６０８、６１０、及び６１２から特定されうる。航空機に対する鳥の運動は、鳥が航空機に衝突するかどうかの判断及び鳥が航空機に衝突しうる航空機上の位置の決定に使用されうる。
【００７４】
鳥の画像６０６、６０８、６１０、及び６１２は、鳥のサイズ又は鳥の他の特徴或いは特徴の組み合わせを特定するために使用されることがある。鳥のサイズ又は鳥の他の特徴或いは特徴の組み合わせはまた、鳥が航空機に衝突するかどうかを判断し、鳥が航空機に衝突しうる航空機上の位置、又は衝突の特徴或いは特徴の組み合わせを特定するために使用されることがある。
【００７５】
次に図７を参照すると、衝突検出のためのプロセスのフロー図の図解が、例示的な実施形態により描画されている。この実施例では、図７のプロセスは、図２の衝突検出システム２０４又は図５の衝突検出システム５００に実装されることがある。図７のプロセスは、ビークルが運航されている時間の全部若しくは一部の間に、ビークルに衝突する又は衝突する可能性がある物体を検出し、そのような衝突を報告するため、反復されることがある。
【００７６】
プロセスは、ビデオ画像データを受信することにより開始される（操作７００）。例えば、限定するものではないが、操作７００は、ビークル上に据え付けられたカメラシステムからのビデオ画像のビデオ画像データを取得することを含んでもよい。
【００７７】
ビデオ画像データはビークルに衝突しうる物体を特定するために処理される（操作７０２）。例えば、限定するものではないが、操作７０２は、ビデオ画像内でビークルに衝突しうる鳥又は他の物体を特定するため、ビデオ画像データを処理することを含んでもよい。操作７０２は、ビデオ画像の背景の画像から、ビデオ画像内でビークルに衝突しうる鳥又は他の物体の画像を識別するため、ビデオ画像データを処理することを含んでもよい。ビデオ画像内でビークルに衝突しうる物体を特定するための任意の適切な方法が使用されてもよい。
【００７８】
例えば、限定するものではないが、画像データを提供するために使用されるカメラシステムがカラービデオ画像の画像データを提供する実施例に関しては、ビークルに衝突しうる鳥又は他の物体の画像とビデオ画像の背景の画像との色の違いは、ビデオ画像内で鳥又は他の物体の画像を特定するために使用されてもよい。カラー画像処理は技術的によく知られており、当業者はカラービデオ画像内の対象となる物体の画像を特定するため、ビデオ画像データのカラー情報を生かすことができる。
【００７９】
別の実施例では、限定するものではないが、十分に高い解像度を有するビデオ画像データを提供するためにカメラシステムが使用される実施形態に関しては、ビデオ画像内でビークルに衝突しうる鳥又は他の物体を特定するために、標準的なマシンビジョン技術が使用されてもよい。このようなカメラによって提供されるビデオ画像では、ビークルに衝突しうる鳥又は他の物体の画像は、鳥又は他の物体がビークルから比較的遠く離れているときには、幾つかの画素をカバーすることがある。標準的なマシンビジョン技術は、画像内で特定される物体が幾つかの画素をカバーするときには、十分に機能しうる。
【００８０】
このような高解像度は費用を要することがある。高解像度カメラは、焦点距離が長く比較的大口径のレンズを使用することがある。高解像度カメラのこのような特徴は、カメラを比較的重いものにすることがある。比較的重いカメラは、航空機の運航コストを増大させることがある。したがって、より重い高解像度カメラの使用は、多くの航空機運航会社にとって好ましくないことがある。その結果、多くの典型的な航空機搭載カメラは比較的軽くなっていることがあり、比較的低い解像度を有することがある。
【００８１】
ビデオ画像データを提供するために使用されるカメラシステムが比較的低い解像度を有する実施形態に関しては、ビークルに衝突しうる鳥又は他の物体の画像は、鳥又は他の物体がビークルにきわめて接近するまでビデオ画像内の画素のほんの一部しかカバーしないことがある。この場合、ビデオ画像内の鳥又は他の物体の画像が１画素よりも小さいときには、ビデオ画像内でビークルに衝突しうる鳥又は他の物体の画像を特定するため、適切な方法が使用されることがある。
【００８２】
鳥又は他の物体が航空機又は他のビークルに接近するにつれて、鳥又は他の物体は、様々な輝度値を有する背景シーンの点の前に現われることがある。しかしながら、鳥又は他の物体の輝度は一定となることがある。鳥又は他の物体の画像が現われるビデオ画像の各画素の強度の変化を特定することによって、ビデオ画像内の鳥又は他の物体の画像を特定することが可能になりうる。
【００８３】
任意のセンサーと同様に、カメラはノイズに影響されることがある。加えて、ビデオ画像内の各画素位置に示される背景シーン内の点は、航空機が移動するにつれて常に変化することがあり、また、背景シーン内の異なる点は異なる輝度を有することがある。その結果、ビデオ画像内の各画素位置での背景シーンによる強度は確実でないことがある。この不確実性の度合いは、幾つかの要因に応じて、ビデオ画像内の画素によって変化することがある。したがって、鳥又は他の物体がビークルにきわめて接近するまでは、１回に１つの画素を使用して、ビデオ画像内の鳥又は他の物体の画像を確実に特定することは不可能なことがある。
【００８４】
ビデオ画像内で鳥又は他の物体をより確実に特定するためには、ビデオ画像の複数のフレーム内の複数の画素位置に統計的検査が適用されることがある。統計的検査は、ビークルに衝突しうる鳥又は他の物体の推定画像によって占められる画素の組が背景シーンの点と同じ強度を有するという帰無仮説を検証することができる。帰無仮説は、鳥の推定画像が画素の背景の点と同じ輝度を有する場合、或いは鳥の推定画像が実際に存在しない場合にのみ真となりうる。帰無仮説が十分な信頼性で棄却される場合には、画素の組はその背景シーンの点とは異なる強度を有する、という対立仮説が承認されなければならない。この場合、画像フレーム内の鳥の推定画像は存在すると仮定されてもよい。
【００８５】
ビデオ画像データの処理によって、ビークルに衝突しうる物体が特定されたかどうかが判断されることがある（操作７０４）。ビークルに衝突しうる物体の画像がビデオ画像内で特定されない場合には、プロセスは操作７００に戻る。操作７００及び７０２は、操作７０４でビークルに衝突しうる物体の画像がビデオ画像内で特定されたと判断されるまで、ビデオ画像データを受信してそのビデオ画像を処理することを継続するため、反復されることがある。
【００８６】
操作７０４でビークルに衝突しうる物体の画像がビデオ画像内で特定されたと判断された場合には、物体の運動、サイズ、及び他の特徴が特定されうる（操作７０６）。操作７０６は、物体の運動、サイズ、及び他の特徴を特定するため、ビデオ画像データを処理することを含むことがある。物体の運動、サイズ、及び他の特徴を特定するには、任意の適切な方法が使用されてもよい。例えば、限定するものではないが、ビークルに対する物体の運動は、一連のビデオ画像内で特定される物体の画像の位置の経時的な変化から、物体の見かけ上の移動方向を決定することにより、特定されうる。
【００８７】
ビデオ画像データが複数のカメラからのビデオ画像であるような実施形態では、ビークルに衝突しうる物体の画像は、２台以上のカメラによって提供されるビデオ画像内で特定されてもよい。この場合、ビークルに対する物体の運動をより正確に推定するため三角法が使用されることがある。複数のカメラの視野が重なり、物体が重なる領域を通過する場合には、ビークルに対する物体の運動を計算することは単純な幾何学の問題である。物体が複数のカメラの視野を通過するが、重なる領域を通過しない場合には、他の方法が使用されることがある。
【００８８】
物体が非常に大きくビークルに非常に近く、物体の画像がビデオ画像の幾つかの画素を満たす場合には、物体のサイズは標準的なマシンビジョン技術を使用して特定されうる。ビデオ画像内の物体の画像が画素よりも小さい場合には、ビークルに衝突しうる物体のサイズを特定することはさらに困難になることがある。例えば、ビデオ画像の取得に比較的低解像度のカメラが使用される場合、或いはカメラから物体までの距離が比較的大きい場合がこれにあたる。
【００８９】
物体の画像が画素内に現われるときには、当該画素の強度は変化する。物体が当該画素内の背景よりも明るい場合には、画素はより明るくなる。明るくなる量は、物体によって覆われる領域及び物体と背景との間の輝度の差に比例する。同様に、物体が背景よりも暗い場合には、画素はより暗くなる。暗くなる量は、物体によって覆われる領域及び輝度の差に比例する。
【００９０】
物体の画像が画素を通過するとき画素の強度の変化は測定可能である。物体の輝度が特定されうる場合には、物体によって覆われる領域が決定可能である。物体のサイズは、物体によって覆われる領域から推定可能である。
【００９１】
ビークルに衝突しうる物体の輝度を特定する１つの方法は、ビデオ画像内の多数の画素を通過する物体の画像の経路を観測し、物体の画像が当該画素を通過するときに、その輝度が変化しない任意の画素を記録することである。物体は当該画素内の背景と同一の輝度を有すると推定されることがある。
【００９２】
物体の画像が異なる背景強度を有する２つの画素を通過することは、ほぼ現実的に起こることであるが、この場合には、強度に関して物体により近い背景を有する画素は、物体の画像がそこを通るときには、より小さな強度の変化を有する。画素の強度の相対変化は、物体の輝度を求める連立方程式を使用することによって求められる。
【００９３】
物体がビークルに衝突するかどうか、このような衝突のビークル上での推定位置、及び衝突の他の特徴は決定可能である（操作７０８）。操作７０８は、前の操作で特定される物体の推定運動を利用して、物体がビークルに衝突する可能性及び衝突の位置を決定することを含む。操作７０８は、衝突の確率及び位置を決定するために前の操作で特定される、物体の推定サイズ又は他の特徴を利用することを含んでもよい。物体がビークルに衝突するかどうか、このような衝突のビークル上での推定位置、及び衝突の他の特徴を決定するために、任意の適切な方法が使用される。
【００９４】
例えば、限定するものではないが、操作７０８は、保存されている航空機の表面の表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を用いて、航空機に対する物体の動線の交点を決定することを含みうる。航空機の表面の表現は、飛行前の航空機に読込まれる表面構成情報として提供されてもよい。航空機の表面の表現は、飛行中の航空機の表面に対する変化を反映するため、飛行中に変更されてもよい。例えば、限定するものではないが、航空機の表面の表現は、燃料が消費されるにつれて減少する航空機の推定重量、航空機のカメラによって測定される翼の曲りに基づいて、或いは他の要因又は要因の組み合わせに基づいて、飛行中に変更されることがある。物体の動線と航空機の表面の表現とで決定される交点が無（ｎｉｌ）の場合には、衝突は起こらない。物体の動線と航空機の表面の表現とで決定される交点が無（ｎｉｌ）でない場合には、衝突は起こる。この場合、物体の動線と航空機の表面の表現との交点の位置はまた、ビークル上での衝突の位置を示しうる。
【００９５】
測定の不正確性により、ビークルに衝突しうる物体の実際の運動は、動作７０６で特定される物体の動線に厳密に沿わない可能性がある。ただし、当該動線の近傍に位置しうる。このことは、適度な距離だけ離れていてビークルに当たらないと予測されうる物体でも、ビークルに衝突する可能性は実際にはゼロでないことを意味する。
【００９６】
この問題は、不正確性を定量化することによって解決されうる。カメラの特性、カメラの据付、航空機の構造的屈曲、カメラ間の時間参照の不確実性、及び他の要因又は要因の組み合わせに基づいて、物体の特定された運動の誤差を推定するため、既知の誤差累積技法が使用されてもよい。このような誤差予測に加えて、既知の誤差伝播法を使用して、物体の運動に対する確立密度関数を計算してもよい。計算能力に費用がかかるが高い精度が必要とされない用途に対しては、確立密度関数は、例えば、既知の方法を用いて楕円型確率分布として推定されてもよい。確率密度関数は、物体がビークルに衝突する確率を推定するため、ビークルの全表面にわたって積分されることがある。
【００９７】
衝突レポートは、ビークルに当たる確率が相当に高い各物体に対して作成される（操作７１０）。衝突レポートの書式及び内容は、衝突レポートが使用される方法に依存することがある。例えば、限定するものではないが、衝突レポートは、衝突が起こったこと又は起こる可能性があることを特定する情報、及び衝突の様々な特徴を特定する情報を含んでもよい。例えば、限定するものではないが、衝突レポートは、ビークル上での衝突の位置、ビークルに衝突する物体のサイズ、又は衝突の他の特徴又は特徴の組み合わせを特定する情報を含んでもよい。
【００９８】
衝突レポートはユーザーに送信され（操作７１２）、その後プロセスは終了する。例えば、限定するものではないが、衝突レポートのユーザーには、ビークル上の人間オペレータ、ビークル上にいない遠隔地の人間オペレータ、ビークルのための自動制御システム、ビークルのための整備部門、衝突レポートの情報を利用しうる他の任意のユーザーが含まれる。
【００９９】
一又は複数の例示的な実施形態は、有人又は無人航空機の近傍の鳥を検出し追跡する機能を提供する。例示的な実施形態によるシステム及び方法は、鳥が航空機に衝突したか又は衝突する可能性があるかどうかを判断するために使用されてもよい。衝突が特定される場合には、鳥のサイズ、航空機上の衝突の位置、衝突の速さ、又は衝突の他の特徴が航空機オペレータに報告されることがある。この情報により、航空機オペレータは、代替着陸地点に迂回するかどうか、或いは修理用にどのようなスペア部品を用意するかなど、バードストライクにどのように対応するかについて、情報に基づいたより良い判断を下すことができる。幾つかの実施形態では、バードストライクは予測されることがあり、時間内に回避措置をとれるように飛行管理システムに報告され、衝撃を避けること或いは衝撃の好ましくない影響を最小限に抑えることができうる。
【０１００】
ここで図８を参照すると、データ処理システムのブロック図の図解が、例示的な実施形態により描画されている。この実施例では、データ処理システム８００は、図２の衝突検出システム２０４又は図５の衝突検出システム５００を実装するためのデータ処理システムの実装の一例である。
【０１０１】
この例示的な実施例では、データ処理システム８００は通信ファブリック８０２を含む。通信ファブリック８０２は、プロセッサユニット８０４、メモリ８０６、固定記憶域８０８、通信ユニット８１０、入出力（Ｉ／Ｏ）ユニット８１２、及びディスプレイ８１４の間での通信を提供する。メモリ８０６、固定記憶域８０８、通信ユニット８１０、入出力（Ｉ／Ｏ）ユニット８１２、及びディスプレイ８１４は、通信ファブリック８０２を介してプロセッサユニット８０４によってアクセス可能なリソースの実施例である。
【０１０２】
プロセッサユニット８０４は、メモリ８０６に読み込まれるソフトウェアの命令を実行する役割を果たす。プロセッサユニット８０４は、特定の実装に応じて、任意の数のプロセッサ、マルチプロセッサコア、又は他の何らかのタイプのプロセッサであってもよい。さらに、プロセッサユニット８０４は、単一チップ上でメインプロセッサが二次プロセッサと共存する異種プロセッサシステムを任意の個数だけ使用して実装することができる。別の例示的な実施例として、プロセッサユニット８０４は同じタイプのプロセッサを複数個含む対称型マルチプロセッサシステムとすることができる。
【０１０３】
メモリ８０６及び固定記憶域８０８は、記憶デバイス８１６の実施例である。記憶装置は、情報を一時的に又は恒久的に格納できる何らかのハードウェア部分であり、この情報には、例えば、限定されないが、データ、機能的形態のプログラムコード、及びその他の適切な情報が含まれる。記憶デバイス８１６は、これらの実施例ではコンピュータ可読記憶デバイスと呼ばれることもある。これらの実施例では、メモリ８０６は例えば、ランダムアクセスメモリ又は他の任意の好適な揮発性又は不揮発性の記憶デバイスであってもよい。固定記憶域８０８は具体的な実装に応じて様々な形態を取りうる。
【０１０４】
例えば、固定記憶域８０８は、一又は複数のコンポーネント又はデバイスを含むことがある。例えば、固定記憶域８０８は、ハードドライブ、フラッシュメモリ、書換え型光ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせである。固定記憶域８０８によって使用される媒体は着脱可能なものであってもよい。例えば、着脱可能ハードドライブは固定記憶域８０８に使用することができる。
【０１０５】
通信ユニット８１０は、これらの実施例では、他のデータ処理システムまたはデバイスとの通信を提供する。これらの実施例では、通信ユニット８１０はネットワークインターフェースカードである。通信ユニット８１０は、物理的及び無線の通信リンクのいずれか一方又は両方を使用することによって、通信を提供することができる。
【０１０６】
入／出力（Ｉ／Ｏ）ユニット８１２により、データ処理システム８００に接続可能な他のデバイスによるデータの入力及び出力が可能になる。例えば、入／出力（Ｉ／Ｏ）ユニット８１２は、キーボード、マウス、及び／又は他の何らかの好適な入力デバイスによりユーザー入力のための接続を提供する。さらに、入／出力（Ｉ／Ｏ）ユニット８１２は、プリンタに出力を送信することができる。ディスプレイ８１４は、ユーザーに対して情報を表示する機構を提供する。
【０１０７】
オペレーティングシステム、アプリケーション、及び／又はプログラムに対する命令は記憶デバイス８１６上に位置し、この記憶デバイスは通信ファブリック８０２を介してプロセッサユニット８０４と通信を行う。これらの実施例では、命令は、固定記憶域８０８の機能形態である。これらの命令は、プロセッサユニット８０４で実行するためメモリ８０６に読み込むことができる。種々の実施形態のプロセスは、メモリ８０６などのメモリに配置されうるコンピュータ実装命令を使用して、プロセッサユニット８０４によって実行することができる。
【０１０８】
これらの命令は、プログラム命令、プログラムコード、コンピュータで使用可能なプログラムコード、又はコンピュータ可読プログラムコードと呼ばれ、プロセッサユニット８０４内のプロセッサによって読み込まれて実行される。種々の実施形態のプログラムコードは、メモリ８０６又は固定記憶域８０８など、種々の物理的な又はコンピュータ可読記憶媒体上に具現化し得る。
【０１０９】
プログラムコード８１８は、選択的に着脱可能なコンピュータ可読媒体８２０上に機能的な形態で配置され、またプロセッサユニット８０４による実行用にデータ処理システム８００に読込み又は転送可能である。プログラムコード８１８及びコンピュータ可読媒体８２０は、このような実施例においてコンピュータプログラム製品８２２を形成する。１つの実施例では、コンピュータ可読媒体８２０は、コンピュータ可読記憶媒体８２４又はコンピュータ可読信号媒体８２６とすることができる。
【０１１０】
コンピュータ可読記憶媒体８２４は、例えば、固定記憶域８０８の一部であるハードディスクなどのように、記憶装置上に転送するための固定記憶域８０８の一部であるドライブ又は他のデバイスに挿入又は配置される光ディスク又は磁気ディスクなどを含みうる。コンピュータ可読記憶媒体８２４は、データ処理システム８００に接続された固定記憶域（例えば、ハードドライブ、サムドライブ、又はフラッシュメモリ）の形態をとることができる。幾つかの例では、コンピュータ可読記憶媒体８２４はデータ処理システム８００から着脱可能ではないことがある。
【０１１１】
これらの実施例では、コンピュータ可読記憶媒体８２４は、プログラムコード８１８を伝播又は転送する媒体よりはむしろプログラムコード８１８を保存するために使用される物理的な又は有形の記憶デバイスである。コンピュータ可読記憶媒体８２４は、コンピュータで読取可能な有形の記憶デバイス又はコンピュータで読取可能な物理的な記憶デバイスと呼ばれることもある。すなわち、コンピュータ可読記憶媒体８２４は、人が触れることのできる媒体である。
【０１１２】
代替的に、プログラムコード８１８はコンピュータ可読信号媒体８２６を使用してデータ処理シスム８００に転送可能である。コンピュータ可読信号媒体８２６は、例えば、プログラムコード８１８を含む伝播されたデータ信号であってもよい。例えば、コンピュータ可読信号媒体８２６は、電磁信号、光信号、及び／又は他の任意の好適なタイプの信号であってもよい。これらの信号は、無線通信リンク、光ファイバケーブル、同軸ケーブル、有線などの通信リンク、及び／又は他の任意の好適なタイプの通信リンクによって送信されうる。すなわち、例示的な実施例では、通信リンクおよび／または接続は、物理的なものまたは無線によるものであってもよい。
【０１１３】
幾つかの例示的な実施形態では、プログラムコード８１８は、コンピュータ可読信号媒体８２６により、ネットワークを介して別のデバイス又はデータ処理システムから固定記憶域８０８にダウンロードされて、データ処理システム８００内で使用される。例えば、サーバーデータ処理システム内のコンピュータ可読記憶媒体に保存されているプログラムコードは、ネットワークを介してサーバーからデータ処理システム８００にダウンロードすることができる。プログラムコード８１８を提供するデータ処理システムは、サーバーコンピュータ、クライアントコンピュータ、又はプログラムコード８１８を保存及び転送することが可能な他のデバイスであってもよい。
【０１１４】
データ処理システム８００に対して例示されている種々のコンポーネントは、種々の実施形態が実装されうる方法に構造的な制限を設けることを意図していない。種々の例示的な実施形態は、データ処理システム８００に対して図解されているコンポーネントに追加的及び／又は代替的なコンポーネントを含むデータ処理システム内に実装されうる。図８に示した他のコンポーネントは、例示的な実施例と異なることがある。種々の実施形態は、プログラムコードを実行できる任意のハードウェアデバイスまたはシステムを用いて実装することができる。１つの実施例として、データ処理システム８００は、無機コンポーネントと統合された有機コンポーネントを含むことができる、及び／又は人間を除く有機コンポーネント全体からなるとしてもよい。例えば、記憶デバイスは、有機半導体で構成することができる。
【０１１５】
別の例示的な実施例では、プロセッサユニット８０４は、特定の用途のために製造又は構成された回路を有するハードウェアユニットの形態をとってもよい。このタイプのハードウェアは、操作を実施するために構成される記憶デバイスからメモリに読込まれるプログラムコードを必要とせずに操作を実施することができる。
【０１１６】
例えば、プロセッサユニット８０４がハードウェアユニットの形態をとる場合、プロセッサユニット８０４は、回路システム、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス、または任意の数の操作を実行するために構成された他の好適なタイプのハードウェアであってもよい。プログラマバル論理デバイスにより、デバイスは任意の数の作業を実行するように構成されている。デバイスは後で再構成することができるか、又は任意の数の作業を実行するように恒久的に構成することができる。プログラマブル論理デバイスの例として、例えばプログラマブル論理アレイ、プログラマブルアレイ論理、フィールドプログラマブル論理アレイ、フィールドプログラマブルゲートアレイ、および他の適切なハードウェアデバイスが挙げられる。このタイプの実装により、種々の実施形態のプロセスはハードウェアユニットで実装されるため、プログラムコード８１８は省略することができる。
【０１１７】
さらに別の例示的な実施例では、プロセッサユニット８０４は、コンピュータ及びハードウェア装置の中に見られるプロセッサの組み合わせを使用して実装可能である。プロセッサユニット８０４は、プログラムコード８１８を実行するように構成されている任意の数のハードウェアユニット及び任意の数のプロセッサを有していてもよい。図示された実施例の場合、プロセスのいくつかは任意の数のハードウェアユニットで実装される一方で、他のプロセスは任意の数のプロセッサで実装される。
【０１１８】
別の実施例では、バスシステムは、通信ファブリック８０２を実装するために使用することができ、システムバス又は入出力バスといった一又は複数のバスを含むことができる。言うまでもなく、バスシステムは、バスシステムに取り付けられた種々のコンポーネント又はデバイスの間でのデータ伝送を提供する任意の好適なタイプのアーキテクチャを使用して実装することができる。
【０１１９】
加えて、通信ユニット８１０は、データの送信、データの受信、又はデータの送受信を行う任意の数のデバイスを含みうる。通信ユニット８１０は、例えば、モデム又はネットワークアダプタ、２個のネットワークアダプタ、又はこれらの何らかの組み合わせであってもよい。さらに、メモリは、例えば、メモリ８０６、又はインターフェースに見られるようなキャッシュ、及び通信ファブリック８０２中に存在するメモリコントローラハブであってもよい。
【０１２０】
本明細書に記載されたフロー図及びブロック図は、様々な例示的実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、及び動作を例示している。これに関して、フロー図又はブロック図の各ブロックは、コードのモジュール、セグメント、又は部分を表わしており、一又は複数の特定の論理的機能を実施するための一又は複数の実行可能な命令を含んでいる。いくつかの代替的な実装態様では、ブロックに示された機能は図面に記載の順序で行われなくともよい。例えば、連続して示されている２つのブロックの機能が、含まれる機能によっては、ほぼ同時に実行されても、又は時には逆の順序で実行されてもよい。
【０１２１】
上述した種々の例示的な実施形態の説明は、例示及び説明を目的とするものであり、完全な説明であること、又はこれらの実施形態を開示された形態に限定することを意図していない。当業者には、多数の修正例及び変形例が明らかであろう。さらに、種々の例示的な実施形態は、他の例示的な実施形態に照らして別の利点を提供することができる。選択された一又は複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び、様々な実施形態の開示内容と考慮される特定の用途に適した様々な修正との理解を、他の当業者に対して促すために選択及び記述されている。
（Ａ１）
ビデオ画像（２２０）を提供するように構成される航空機（２００）上のカメラシステム（２２２）と；
前記カメラシステム（２２２）から前記ビデオ画像（２２０）のビデオ画像データ（５１２）を受信し、
前記ビデオ画像（２２０）内で鳥（２０８）の画像を特定し、また前記ビデオ画像（２２０）内で前記鳥（２０８）の前記画像から前記航空機（２００）に対する前記鳥（２０８）の運動（２１２）を特定するため、前記ビデオ画像データ（５１２）を処理し、
前記航空機（２００）に対する前記鳥（２０８）の前記運動（２１２）が前記物体（２０６）が前記航空機（２００）に衝突することを示しているかどうかを判断し、さらに
前記鳥（２０８）が前記航空機（２００）に衝突するという判断に対応して、前記鳥（２０８）が前記航空機（２００）に衝突することを示す情報を含む衝突レポート（２３２）を作成する
ように構成される前記航空機（２００）上の衝突検出システム（２０４）と
を備える装置。
（Ａ２）
前記衝突検出システム（２０４）は、前記航空機（２００）に対する前記鳥（２０８）の前記運動（２１２）が、前記鳥（２０８）が前記航空機（２００）に衝突することを示しているかどうかを判断するため、前記鳥（２０８）の前記運動（２１２）を前記航空機（２００）に対する表面構成情報（２１９）と比較するように構成される、（Ａ１）に記載の装置。
（Ａ３）
前記表面構成情報（２１９）は前記航空機（２００）の飛行中に変更される、（Ａ２）に記載の装置。
（Ａ４）
前記衝突検出システム（２０４）はさらに：
前記ビデオ画像（２２０）内の前記鳥（２０８）の前記画像から前記鳥（２０８）のサイズ（２１４）を決定し；
前記衝突レポート（２３２）内に前記鳥（２０８）の前記サイズ（２１４）を示す情報を含む
ように構成される、（Ａ１）に記載の装置。
（Ａ５）
前記衝突検出システム（２０４）はさらに：
前記鳥（２０８）が前記航空機（２００）に衝突する前記航空機（２００）上の位置（２１６）を決定し；
前記鳥（２０８）が前記航空機（２００）に衝突する前記航空機（２００）上の前記位置（２１６）を前記衝突レポート（２３２）内で示す
ように構成される、（Ａ１）に記載の装置。
（Ａ６）
前記衝突検出システム（２０４）はさらに：
前記航空機（２００）上の航空機ディスプレイ（２３４）、データ記憶装置（２３８）、前記航空機（２００）上の通信システム（２３６）、及び前記航空機（２００）のための飛行管理システム（２４０）のうちの少なくとも１つに前記衝突レポート（２３２）を送信する
ように構成される、（Ａ１）に記載の装置。
【図１】
0006356673.tif 000002
【図２】
0006356673.tif 000003
【図３】
0006356673.tif 000004
【図４】
0006356673.tif 000005
【図５】
0006356673.tif 000006
【図６】
0006356673.tif 000007
【図７】
0006356673.tif 000008
【図８】
0006356673.tif 000009