(57)【要約】  乗り物監視システム（５）は、衝突の脅威を検出するために乗り物（１０、５２）の周囲の物体（１５）の存在を検知するために使用される複数のセンサ（２０、３０）を有する。センサのうちの少なくとも１つは、乗り物の一部分がセンサに対して事前定義された位置にあり、センサの視野内にあるように配置される。一例として、航空機の場合、センサは、航空機の翼、エアロスパイク、または他の構造の一部分がセンサの視野内にあるように配置されてよい。システムは、事前定義された位置にある乗り物の部分を使用して、センサおよび必要な場合他のセンサを自動的に較正するように構成される。
2020515950.tif 000002
【特許請求の範囲】
【請求項１】
システム（５）であって、
第１の視野（２５）内の物体を検知するように構成され、乗り物の特徴（４５）が第１の視野内にあるように、乗り物（１０、５２）に配置される、第１のセンサ（２０）と、
座標系内の特徴の位置を示す較正データ（３４５）を記憶するためのメモリ（３２０）と、
第１のセンサからセンサデータ（３４３）を受信し、第１のセンサからのセンサデータに基づいて乗り物の外部の物体（１５）を検出するように構成された少なくとも１つのプロセッサ（３１０）であって、少なくとも１つのプロセッサが、第１のセンサからのセンサデータによって示された特徴の位置と較正データによって示された特徴の位置との間の第１の比較を実施するように構成され、少なくとも１つのプロセッサが、第１の比較に基づいて第１のセンサを較正するようにさらに構成される、少なくとも１つのプロセッサ（３１０）と
を備える、システム（５）。
【請求項２】
第１のセンサが光学センサである、請求項１に記載のシステム。
【請求項３】
乗り物が航空機である、請求項１に記載のシステム。
【請求項４】
乗り物が自動車である、請求項１に記載のシステム。
【請求項５】
第１の視野と重なる第２の視野（３５）内で物体を検知するように構成された第２のセンサ（３０）をさらに備え、
第１のセンサからのセンサデータが、第２の視野と重なる第１の視野の領域内の物体を示す第１のサンプルを含み、少なくとも１つのプロセッサが、物体を示すセンサデータの第２のサンプルを含む、第２のセンサからのセンサデータを受信するように構成され、少なくとも１つのプロセッサが、第１のサンプルによって示された物体の位置と第２のサンプルによって示された物体の位置との間の第２の比較を実施するように構成され、少なくとも１つのプロセッサが、第２の比較に基づいて第２のセンサを較正するようにさらに構成される、
請求項１に記載のシステム。
【請求項６】
少なくとも１つのプロセッサが、センサデータの少なくとも１つの座標値を座標系に対する少なくとも１つの座標値に変換することにより、第１のセンサを較正するように構成される、請求項１に記載のシステム。
【請求項７】
少なくとも１つのプロセッサが、第１のセンサを移動させるための制御信号を提供することにより、第１の比較に基づいて第１のセンサを較正するように構成される、請求項１に記載のシステム。
【請求項８】
検出された物体に基づいて乗り物の速度を制御するように構成された乗り物コントローラ（２２０）をさらに備える、請求項１に記載のシステム。
【請求項９】
乗り物コントローラが、乗り物をナビゲートするためのナビゲーション基準として物体のうちの少なくとも１つを識別するように構成される、請求項１に記載のシステム。
【請求項１０】
少なくとも１つのプロセッサが、センサデータに基づいて第１の視野内の物体を検出するように構成され、少なくとも１つのプロセッサが、物体が乗り物に対する衝突の脅威であるかどうかを決定するように構成される、請求項１に記載のシステム。
【請求項１１】
物体が乗り物に対する衝突の脅威であるという決定に応答して警告を提供するように構成された乗り物コントローラ（２２０）をさらに備える、請求項１０に記載のシステム。
【請求項１２】
物体が乗り物に対する衝突の脅威であるという決定に応答して乗り物の経路を調整して物体を回避するように構成された乗り物コントローラ（２２０）をさらに備える、請求項１０に記載のシステム。
【請求項１３】
システム（５）であって、
第１のセンサ（２０）であって、第１のセンサの視野（２５）内の物体（１５）の位置を検知するために乗り物（１０、５２）に配置された第１のセンサ（２０）であって、第１のセンサが、座標値と相関された測定値を有する第１のセンサデータ（３４３）を提供するように構成され、第１のセンサが、乗り物の特徴（４５）が第１のセンサの視野内にあるように配置される、第１のセンサ（２０）と、
乗り物用の座標系に対する特徴の位置を示す較正データ（３４５）を記憶するためのメモリと、
第１のセンサデータを受信するように構成された少なくとも１つのプロセッサ（３１０）であって、少なくとも１つのプロセッサが、第１のセンサデータに基づいて視野内の第１の物体（１５）の存在を検出し、座標系に対する第１の物体の位置を示す位置情報を提供するように構成され、少なくとも１つのプロセッサが、第１のセンサデータ内の乗り物の特徴を識別し、第１のセンサデータによって示された特徴の位置と較正データによって示された特徴の位置との間の第１の比較を実施するように構成され、少なくとも１つのプロセッサが、第１の比較に基づいて第１のセンサを較正するようにさらに構成される、少なくとも１つのプロセッサ（３１０）と
を備える、システム（５）。
【請求項１４】
少なくとも１つのプロセッサが、第１のセンサデータの座標値のうちの少なくとも１つが座標系に対するものであるように、第１の比較に基づいて第１のセンサを較正するように構成される、請求項１３に記載のシステム。
【請求項１５】
少なくとも１つのプロセッサが、第１のセンサを移動させるための制御信号を提供することにより、第１の比較に基づいて第１のセンサを較正するように構成される、請求項１３に記載のシステム。
【請求項１６】
第１のセンサの視野内の物体に基づいて乗り物の速度を制御するように構成された乗り物コントローラ（２２０）をさらに備える、請求項１３に記載のシステム。
【請求項１７】
少なくとも１つのプロセッサが、第１のセンサからの第１のセンサデータによって示された第１の物体の位置に基づいて、第１の物体が乗り物に対する衝突の脅威であるかどうかを決定するように構成される、請求項１３に記載のシステム。
【請求項１８】
乗り物コントローラが、乗り物をナビゲートするためのナビゲーション基準として物体のうちの少なくとも１つを識別するように構成される、請求項１３に記載のシステム。
【請求項１９】
第２のセンサ（３０）であって、第２のセンサの視野（３５）内の物体の位置を検知するために乗り物に配置され、座標値と相関された測定値を有する第２のセンサデータを提供するように構成され、第２のセンサの視野が、重複領域（６０）において第１のセンサの視野と重なる、第２のセンサ（３０）をさらに備え、
少なくとも１つのプロセッサが、第２のセンサデータを受信するように構成され、少なくとも１つのプロセッサが、第２のセンサデータに基づいて重複領域内の第２の物体（１５）の存在を検出し、および、第１のセンサデータに基づいて重複領域内の第２の物体の存在を検出するように構成され、少なくとも１つのプロセッサが、第１のセンサデータによって示された第２の物体の位置と第２のセンサデータによって示された第２の物体の位置との間の第２の比較を実施するようにさらに構成され、少なくとも１つのプロセッサが、第２の比較に基づいて第２のセンサを較正するようにさらに構成される、
請求項１３に記載のシステム。
【請求項２０】
乗り物（１０、５２）に対する衝突の脅威を監視するための方法であって、
乗り物の特徴（４５）が第１の視野内（２５）にあるように配置された第１のセンサ（２０）を用いて、第１のセンサの第１の視野（２５）内にある物体を検知するステップと、
乗り物用の座標系内の特徴の位置を示す較正データ（３４５）をメモリ（３２０）に記憶するステップと、
第１のセンサからセンサデータ（３４３）を受信するステップと、
第１のセンサからのセンサデータに基づいて乗り物の外部の物体（１５）を検出するステップと、
第１のセンサからの第１のセンサデータによって示された特徴の位置と較正データによって示された特徴の位置とを比較するステップと、
比較に基づいて第１のセンサを較正するステップと
を含む、方法。
【請求項２１】
第１のセンサが光学センサである、請求項２０に記載の方法。
【請求項２２】
第２の視野（３５）が第１の視野と重なるように配置された第２のセンサ（３０）を用いて、第２のセンサの第２の視野（３５）内の物体を検知するステップと、
第２のセンサからセンサデータを受信するステップと、
第２の視野が第１の視野と重なる領域（６０）内の物体（１５）を検出するステップと、
第１のセンサからのセンサデータによって示された物体の位置を決定するステップと、
第２のセンサからのセンサデータによって示された物体の位置を決定するステップと、
第１のセンサからのセンサデータによって示された物体の位置と第１のセンサからのセンサデータによって示された物体の位置とを比較するステップと、
比較に基づいて第２のセンサを較正するステップと
をさらに含む、請求項２０に記載の方法。
【請求項２３】
較正するステップが、第１のセンサデータの１つの座標値を座標系に対する少なくとも１つの座標値に変換するステップを含む、請求項２０に記載の方法。
【請求項２４】
較正するステップが、第１のセンサを移動させるステップを含む、請求項２０に記載の方法。
【請求項２５】
検出に基づいて乗り物の速度を制御するステップをさらに含む、請求項２０に記載の方法。
【請求項２６】
物体のうちの少なくとも１つをナビゲーション基準として識別するステップと、
ナビゲーション基準として識別された少なくとも１つの物体に基づいて乗り物をナビゲートするステップと
をさらに含む、請求項２０に記載の方法。
【請求項２７】
第１のセンサからのセンサデータに基づいて第１の視野内の物体を検出するステップと、
物体の検出に基づいて、物体が乗り物に対する衝突の脅威であるかどうかを決定するステップと
をさらに含む、請求項２０に記載の方法。
【請求項２８】
決定に基づいて物体を回避するように乗り物を制御するステップをさらに含む、請求項２７に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
多くの乗り物は、様々な目的で外部の物体を検知するためのセンサをもつ。たとえば、自動車、ボート、または航空機などの乗り物のドライバまたはパイロットは、破片、他の乗り物、機器、建物、鳥、地形、および他の物体などの多種多様の衝突リスクに遭遇する可能性がある。任意のそのような物体との衝突は、乗り物に重大な損傷を引き起こす可能性があり、場合によっては、その乗員を傷つける可能性がある。センサは、衝突リスクをもたらす物体を検出し、検出された衝突リスクをドライバまたはパイロットに警告するために使用することができる。乗り物が自走式または自己操縦式である場合、乗り物の周囲の物体を示すセンサデータは、検出された物体との衝突を回避するためにコントローラによって使用されてよい。他の例では、物体は、他の方法で乗り物のナビゲーションまたは制御を支援するために検知および識別されてよい。一例として、建物、橋、または滑走路もしくはヘリポート上のマーキングなどの地上の物体は、目的地または他の所望の場所に乗り物をナビゲートするためのナビゲーション基準として検知され使用されてよい。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
多くの場合、乗り物の周囲の様々な領域内の物体を検知するために複数のセンサが使用され、複数のセンサからのデータは、衝突回避、ナビゲーション、またはその他の目的で、検出された物体を評価するコントローラに提供される。各センサからのセンサデータは、通常、事前定義された座標系に対するものであり、そのデータが座標系を正確に参照するように、各センサが適切に較正されることが重要である。多くの場合、センサは手動で較正されるため、時間がかかり、面倒であり得る。加えて、較正後、人または物体との不注意な衝突、乗り物が遭遇する振動もしくは他の力、または他の理由により、センサの向きまたは位置が変化することがありえる。そのような場合、センサが再較正されるまで、センサからのデータは誤っている可能性がある。
【０００３】
一般に、センサの較正がより頻繁に、より少ない負担およびコストで実施できるように、センサの較正が自動的に実施されることが望ましいはずである。しかしながら、衝突の脅威を検出するために乗り物で使用されるセンサを自動的に較正することには問題があり得る。具体的には、センサの視野内の物体は、乗り物が進行するにつれて予測できないスピードで変化または移動する場合があり、その結果、乗り物の通常の運転中に較正に使用できる適切な基準点が存在しない。
【０００４】
本開示は、以下の図面を参照してより良く理解することができる。図面の要素は、必ずしも互いに対して縮尺通りではなく、代わりに、本開示の原理を明確に示すことに重点が置かれている。
【図面の簡単な説明】
【０００５】
【図１】本開示のいくつかの実施形態による、乗り物監視システムを有する乗り物の上面斜視図である。
【図２】本開示のいくつかの実施形態による、乗り物監視システムを有する乗り物の斜視図である。
【図３】図２によって描写された乗り物の上面斜視図である。
【図４】本開示のいくつかの実施形態による、乗り物監視システムの様々な構成要素を示すブロック図である。
【図５】本開示のいくつかの実施形態による、センサデータを処理するためのデータ処理要素を示すブロック図である。
【図６】本開示のいくつかの実施形態による、乗り物センサを較正するための方法を示すフローチャートである。
【図７】本開示のいくつかの実施形態による、乗り物センサを較正するための方法を示すフローチャートである。
【発明を実施するための形態】
【０００６】
本開示は、一般に、外部の物体を検知するために乗り物で使用されるセンサを較正するためのシステムおよび方法に関する。いくつかの実施形態では、乗り物監視システムは、乗り物の周囲の物体の存在を検知するために使用される複数のセンサを有する。センサのうちの少なくとも１つは、以後「基準特徴」と呼ばれる乗り物の一部分がセンサに対して事前定義された位置にあり、センサの視野内にあるように配置される。一例として、航空機の場合、航空機の翼、エアロスパイク、または航空機の胴体から延在する他の構造の一部分（たとえば、隅、表面、縁、先端、不連続点、または他の識別可能な特徴）がセンサの視野内にあるように、センサが配置されてよい。システムは、基準特徴を使用して、センサおよび必要な場合他のセンサを自動的に較正するように構成される。
【０００７】
この点に関連して、データ処理要素は、センサの視野内にある物体を示すセンサからのセンサデータを受信することができる。センサデータ内で、データ処理要素は基準特徴を表すデータを見つけ、そのようなデータを使用してセンサを較正する。一例として、座標系内の１つ以上の基準点として基準特徴の１つ以上の点を使用して、データ処理要素はセンサデータの座標を調整し、その結果、センサデータが事前定義された座標系に対するものであり、そのような座標系内で物体の位置を正確に表すようにできる。他の実施形態では、センサは他の方法で較正されてよい。一例として、センサデータの座標を調整するのではなく、基準特徴が座標系の事前定義された座標であるように、センサが移動してよい。さらに他の実施形態では、他の較正技法が使用されてよい。
【０００８】
１つのセンサを較正した後、較正されたセンサからの情報を使用して他のセンサが較正されてよい。一例として、較正されたセンサの視野は、「未較正センサ」と呼ばれる別のセンサの視野と重なる場合があり、その結果、両方の視野に物体（たとえば、別の乗り物）が存在する場合がある。この物体は、較正されたセンサからのデータに基づいた座標系内の既知の位置にあるので、そのような物体は、上で説明された較正プロセスと比べて同様の方式で未較正センサを較正するために使用することができる。このようにして、乗り物監視システムの各センサは、センサの視野内の事前定義された位置に基準特徴が存在するかどうかにかかわらず、自動的に較正されることができる。
【０００９】
図１は、本開示のいくつかの実施形態による、乗り物１０の外部の物体を検知するために使用される乗り物監視システム５を有する乗り物１０の上面斜視図を描写する。システム５は、１つ以上の複数のセンサ２０、３０を使用して、乗り物１０の経路付近などの乗り物１０の特定の近傍内にある物体１５を検出するように構成される。次いで、システム５は、検知された物体に基づいて、制御決定を行うか、または警告もしくはナビゲーション情報などの他の情報を提供することができる。
【００１０】
一例として、システム５は、物体１５が、乗り物１０の進行中に乗り物１０の経路の近くまたは内部にそれを配置する位置または速度を有するときなどに、検知された物体１５が乗り物１０に脅威を与えると決定することができる。そのような場合、システム５は、パイロットもしくはドライバに警告を提供するか、または物体１５を回避しようと試みる回避行動を自律的に取ることができる。別の例では、システム５は、検知された物体が、乗り物１０をナビゲートするために使用される事前定義されたナビゲーション基準であると決定することができる。この点に関連して、検知された物体に対して事前定義された位置に移動するように乗り物１０を制御することにより、乗り物１０は所望の目的地または他の場所に誘導され得る。そのようなナビゲーション制御は、物体が滑走路、ヘリポート、または他の離陸もしくは着陸場所に対して事前定義された場所にある航空機の着陸または離陸時に行われる場合があるが、物体は、乗り物１０の飛行または乗り物の他の動きの間の他の時間にナビゲーション制御または他の目的に使用されてよい。さらに他の例では、検知された物体を示す情報のさらに他の使用が可能である。
【００１１】
いくつかの実施形態では、乗り物１０は、図１に描写されたように航空機であってよいが、他の実施形態では、自動車または船舶などの他のタイプの乗り物１０が使用されてよい。乗り物１０は有人であっても無人あってもよく、様々なソースからの制御下で動作するように構成されてよい。たとえば、乗り物１０は、乗り物１０に乗っている可能性がある人間のパイロットによって制御される航空機であってよい。他の実施形態では、乗り物１０は、離れたパイロットまたはドライバとのワイヤレス（たとえば、無線）通信などによる遠隔制御下で動作するように構成されてよい。いくつかの実施形態では、乗り物１０は、自己操縦式または自走式であってよい。乗り物１０の動作を制御するために、様々な他のタイプの技法およびシステムが使用されてよい。
【００１２】
図１の物体１５は、特定のサイズおよび形状を有する単一の物体として描写されているが、物体１５は様々な特性を有してよいことが理解されよう。加えて、単一の物体１５が図１によって描写されているが、他の実施形態では、乗り物１０の近傍内に任意の数の物体１５が存在してよい。物体１５は、物体１５が建物であるときのように静止していてもよいが、いくつかの実施形態では、物体１５は動くことが可能であってよい。たとえば、物体１５は、乗り物１０との衝突のリスクをもたらす可能性がある経路に沿って動いている別の乗り物であってよい。物体１５は、他の実施形態では、乗り物１０の安全な動作にリスクをもたらす他の障害物（たとえば、地形または建物）であってよい。
【００１３】
図１はまた、物体の存在を検出することができる視野２５を有するセンサ２０を描写する。センサ２０は、乗り物１０の周囲の空間を監視するための様々なタイプのセンサであってよい。いくつかの実施形態では、センサ２０は、視野内の物体１５の存在を検知し、物体１５の位置を示すセンサデータを提供することができる。次いで、そのようなセンサデータは、以下でより詳細に説明されるように、物体１５が乗り物１０に衝突の脅威を与えるかどうかを決定するために処理されてよい。
【００１４】
いくつかの実施形態では、センサ２０は、シーンの画像をキャプチャし、キャプチャされたシーンを画定する画像データを提供するための、従来のカメラなどのカメラであってよい。そのような画像データは複数のピクセルを定義することができ、各ピクセルはキャプチャされたシーンの一部分を表し、色値および画像内のピクセルの位置を示す座標のセットを含む。他の実施形態では、他のタイプのセンサが可能である。一例として、センサ２０は、電気光学もしくは赤外線（ＥＯ／ＩＲ）センサ、光検出および測距（ＬＩＤＡＲ）センサ、無線検出および測距（レーダー）センサ、または他のタイプのセンサなどの、物体の存在を検出するための任意の光学センサまたは非光学センサを備えてよい。本明細書で使用される「視野」という用語は、センサが光学的であることを意味するのではなく、むしろ一般的に、使用されるセンサのタイプにかかわらず、センサが物体を検知できる領域を指すことに留意されたい。
【００１５】
センサ２０は、センサ２０が物体１５を検知することができる空間を画定する視野２５を有することができる。視野２５は、二次元および三次元空間を含む様々な領域をカバーすることができ、様々な形状または輪郭を有することができる。いくつかの実施形態では、視野２５は、センサ２０の特性に依存する寸法を有する三次元空間であってよい。しかしながら、図１の実施形態では、視野２５が、センサ２０が乗り物１０を取り巻くすべての空間を監視することを可能にする形状または輪郭をもたない場合があることに留意されたい。この点に関連して、システム５が物体を検出できる領域を拡大するために、追加のセンサが使用されてよい。一例として、図１は、センサ２０の視野２５とは異なる視野３５を有するセンサ３０を示す。必要な場合、センサ３０は、その視野３５内の物体１５を検出するためにセンサ２０と同じタイプであってもよく、センサ２０と同様に構成されてもよいが、センサ３０がセンサ２０とは異なるタイプであることも可能である。説明のために、特に明記されない限り、以後、各センサ２０、３０は、そのそれぞれの視野内のシーンの画像をキャプチャするカメラとして実現されると仮定するが、他のタイプのセンサ２０、３０が必要に応じて使用されてよいことは強調されるべきである。
【００１６】
いくつかの実施形態では、センサ２０の視野２５は、図１によって示されるように、センサ３０の視野３５と重なってもよい。そのような重なりは、カバレージ内にギャップがない、乗り物１０の周囲の完全なカバレージを確保するのに役立つ。図１は、例示のために２つのセンサ２０、３０のみを示しているが、任意の数のセンサ２０、３０が使用できることを理解されたい。一例として、乗り物１０の周囲にいくつかのセンサが配置されてよく、その結果、物体１５は、それが乗り物に接近するときに、接近する方向に関係なく検出することができる。
【００１７】
この点に関連して、図２は、その視野２５内の物体を検知するためのセンサ２０を有する例示的なＶＴＯＬ航空機５２を描写する。ＶＴＯＬ航空機の例示的な実施形態は、参照により本明細書に組み込まれる、「Ｓｅｌｆ−Ｐｉｌｏｔｅｄ  Ａｉｒｃｒａｆｔ  ｆｏｒ  Ｐａｓｓｅｎｇｅｒ  ｏｒ  Ｃａｒｇｏ  Ｔｒａｎｓｐｏｒｔａｔｉｏｎ」と題する、２０１７年２月１６日に出願された、ＰＣＴ出願番号ＰＣＴ／ＵＳ１７／１８１８２に説明されている。図２によって示されるように、視野２５は三次元である。図３によって示されるように、追加のセンサ（図２には示されず）は、センサのすべての視野がすべての方向で航空機５２を完全に取り囲むように、航空機５２の他の位置にあってよい。そのような視野は、一緒に集約されると、特定の範囲内で航空機５２に接近する物体１５が少なくとも１つのセンサ２０の視野内にあり、したがって、航空機５２からのその方向に関係なく、少なくとも１つのセンサ２０によって検知されるべきであるような、航空機５２を完全に取り囲む空域の球（または他の形状）を形成できることに留意されたい。いくつかの実施形態では、図３によって示されるものと同様の視野２５を有する単一のセンサ２０が使用されてよく、それにより、航空機５２を完全に取り囲む空域を観察するために複数のセンサをもつ必要がなくなる。
【００１８】
図１の実施形態では、センサ２０の視野２５は、センサ２０を較正するための基準として使用することができる、本明細書では「基準特徴」と呼ばれる、乗り物１０の一部分を含む。基準特徴４５は、乗り物１０の座標系に対して事前定義された位置にある乗り物１０の任意の部分であってよい。すなわち、座標系内の基準特徴４５の少なくとも１つの点の位置が知られている。一例として、基準特徴４５の１つ以上の点の位置は、メモリ（図１には示されず）に記憶された座標で定義され、次いで、以下でより詳細に説明されるように、センサ２０、３０を較正するために使用されてよい。座標はデカルト座標または極座標などの任意のタイプであってよく、座標系は乗り物１０に対して相対的なものでよいことに留意されたい。一例として、座標系の原点は、乗り物が座標系内で静止しているように、乗り物１０に対する固定点にあってよい。
【００１９】
図１によって描写された実施形態では、基準特徴４５は、乗り物１０の胴体４７から延在する翼４６の一部分である。他の実施形態では、乗り物１０の他の部分（たとえば、エンジン、エアロスパイク、胴体４７の一部分、水平または垂直安定板など）が基準特徴に使用されてよい。いくつかの実施形態では、基準特徴４５は、座標系内の固定位置に留まるように、乗り物１０に対して静止している。しかしながら、基準特徴４５が静止している必要はない。この点に関連して、乗り物１０に対して移動するかどうかに関係なく、座標系内のその位置が知られている限り、物体は基準特徴４５として使用されてよい。
【００２０】
航空機は、通常、翼、安定装置、エアロスパイク、および航空機の本体（たとえば、胴体）からかなりの距離を外に延在する他の構造物などの物体を有するので、本明細書に説明された技法による較正に特に適していることに留意されたい。しかしながら、本明細書に説明された較正技法は航空機に限定されず、自動車およびボートなどの他の乗り物の較正に使用されてよい。
【００２１】
乗り物１０の外部の物体１５を検知するためのシステム５の例示的な構成が以下に説明される。この点に関連して、乗り物１０の各センサ２０、３０は、各センサのそれぞれの視野２５、３５内の物体を示すセンサデータを収集するように構成されてよい。いくつかの実施形態では、センサデータは、それぞれのセンサ２０、３０によって使用されるローカル座標系に対する座標値と相関された測定値を含んでよい。センサ２０、３０の座標は、センサのローカル座標系から、衝突の脅威を評価するために使用されるグローバル座標系に変換されてよい。この点に関連して、複数のセンサ２０、３０からのセンサデータは、乗り物１０用のグローバル座標系に変換されてよく、その結果、１つのセンサによって検出された物体の位置は、同じグローバル座標系内の別のセンサによって検出された物体の位置と容易に比較することができる。
【００２２】
いくつかの実施形態では、システム５は、乗り物１０のグローバル座標系に対する基準特徴４５の事前定義された位置を示す、本明細書では「較正データ」と呼ばれるデータを格納することができる。較正データはまた、センサ２０によって提供されるセンサデータ内で基準特徴を識別することができるように、センサの視点からの基準特徴の予期される形状または輪郭も示す。
【００２３】
この点に関連して、センサ２０がセンサデータのサンプル（たとえば、センサ２０によってキャプチャされた画像）を提供するとき、システム５は、サンプル内で基準特徴４５を見つけるために較正データを使用してサンプルを分析することができる。たとえば、センサデータが画像を画定するとき、システム５は、基準特徴４５の予期される形状に対応する形状を有する物体についてのセンサデータを検索することができる。システム５がセンサデータ内の基準特徴４５を識別した場合、システム５は、（センサのローカル座標系に対する）基準特徴４５の１つ以上の座標を、較正データによって示されたような（グローバル座標系に対する）基準特徴４５の１つ以上の既知の座標と比較することができる。この比較に基づいて、システム５は、基準特徴４５、したがって乗り物１０に対するセンサの位置および向きを計算にいれるために、センサ２０からのデータをどのように較正するかを決定することができる。
【００２４】
一例として、センサデータ内の基準特徴４５の座標と較正データ内の基準特徴４５の予期座標における差に基づいて、システム５は、センサ２０からのローカル座標をグローバル座標系に対するグローバル座標に変換するために使用されることができる数学的関係を決定することができる。具体的には、センサ２０からのセンサデータ内の基準特徴４５の変換されたグローバル座標が、較正データ内の基準特徴４５の対応するグローバル座標と一致するような関係が定義されてよい。特に、そのような変換は、物体の変換された座標がグローバル座標系内の物体の位置を正確に表すように、基準特徴４５に対するセンサ２０の実際の位置および向きを考慮に入れる。ひとたびローカル座標とグローバル座標との間の適切な関係が決定されると、その関係は、センサ２０から受信されたローカル座標をグローバル座標に変換し、それにより、センサ２０をグローバル座標系に較正するために使用されてよい。
【００２５】
物体の検出に使用される乗り物１０の他のセンサは、センサの視野内に乗り物１０の基準特徴が存在すると仮定して、同様に較正され得ることに留意されたい。しかしながら、特定のセンサが較正用の基準特徴を有さない場合があることが可能である。そのような場合、別の較正されたセンサからの情報を使用してセンサを較正することが可能である。実際、１つのセンサが較正されている限り、較正されたセンサからの情報を使用して他のセンサのうちのいずれかを較正することが可能である。
【００２６】
一例として、図１では、センサ３０はその視野３５内に乗り物１０の基準特徴をもたないと仮定する。しかしながら、上で説明されたように、センサ３０の視野３５は、以後「重複領域」と呼ばれる領域６０において、センサ２０の視野２５と重なる。別の乗り物などの物体１５が重複領域６０内に来ると、物体１５が重複領域６０内のいかなる点に位置している場合でも、物体１５を使用してセンサ３０を較正することが可能である。この点に関連して、重複領域６０内にある間、システム５は、上で説明された技法に従って較正されたセンサ２０からの情報を使用して、グローバル座標系内の物体１５の正確な位置を決定することができる。したがって、較正されたセンサ２０からの物体１５の測定位置は、較正データからの基準特徴４５の事前定義された位置を、センサ２０を較正する基準の点として使用するための上で説明された技法に従って、センサ３０を較正する基準点として使用されることができる。
【００２７】
より具体的には、システム５は、物体１５が両方のサンプル内でほぼ同じ位置にあるべきであるように、センサ３０からのサンプルとほぼ同時に採取されたセンサ２０からのサンプルを分析するように構成されてよい。物体１５を検出し、センサ２０からのサンプル内の物体１５のグローバル座標を決定した後、システム５は、そのようなサンプル内で物体１５を見つけるためにセンサ３０からのサンプルを分析することができる。たとえば、センサ３０からのセンサデータが画像を画定すると、システム５は、センサ２０からのサンプル内で検出された物体１５に対応する形状を有する物体についてのセンサデータを検索することができる。システム５がセンサ３０からのサンプル内の物体１５を識別した場合、システム５は、較正されたセンサ２０によって提供されたサンプルから決定されたように、（センサ３０のローカル座標系に対する）物体１５の１つ以上の座標を、（グローバル座標系に対する）物体の１つ以上の既知の座標と比較することができる。この比較に基づいて、システム５は、乗り物１０に対するセンサの位置および向きを計算にいれるために、センサ３０をどのように較正するかを決定することができる。
【００２８】
一例として、センサ３０からのサンプル内の物体１５の座標と較正されたセンサ２０からのサンプル内の物体１５のグローバル座標における差に基づいて、システム５は、センサ３０からのローカル座標をグローバル座標系に対するグローバル座標に変換するために使用されることができる数学的関係を決定することができる。具体的には、センサ３０からのサンプル内の物体１５の変換されたグローバル座標が、較正されたセンサ２０からのサンプル内の物体１５の対応するグローバル座標と一致するような関係が定義されてよい。特に、そのような変換は、物体１５の変換された座標がグローバル座標系内の物体の位置を正確に表すように、乗り物１０に対するセンサ３０の実際の位置および向きを考慮に入れる。ひとたびセンサ３０についてローカル座標とグローバル座標との間の適切な関係が決定されると、その関係は、センサ３０から受信されたローカル座標をグローバル座標に変換し、それにより、センサ３０をグローバル座標系に較正するために使用されてよい。ひとたびセンサ３０が較正されると、センサ２０からの情報を使用してセンサ３０を較正するための上で説明された方法と同じ方法で、センサ３０からの情報を使用して他のセンサ（詳細に図示せず）が較正されてよい。
【００２９】
他の実施形態では、センサ２０、３０を較正するための他の技法が可能である。一例として、センサ２０は、システム５の制御下で移動するように構成されてよい。この点に関連して、センサ２０は、システム５からの制御信号に基づいて、乗り物１０に対してセンサを移動させるためのモータ（詳細に図示せず）および／または他の構成要素を有してよい。センサ２０がセンサデータのサンプルを提供すると、システム５は、較正データを使用してサンプルを分析して、上で説明されたようにサンプル内で基準特徴４５を見つけることができる。較正データは、基準特徴４５の所望の座標を示すことができる。基準特徴４５がサンプル内の所望の座標に対応する位置にないようにセンサ２０が移動した場合、システム５は、基準特徴４５が較正データによって示された所望の座標に対応する位置に現れるまで、センサ２０を移動させるように構成される。したがって、基準特徴４５が較正データによって示された所望の座標に対応する位置に現れるように、センサ２０が基準特徴４５に対して適切に方向付けられた場合、および基準特徴４５がセンサデータ内の異なる座標に現れるようにセンサ２０が不注意に移動した場合、システム５は、センサ２０が再び基準特徴４５に対して適切に方向付けられ、それによりセンサ２０を基準特徴４５に対して較正するように、センサ２０を移動させることができる。さらに他の実施形態では、センサ２０を較正するための他の技法が可能である。
【００３０】
センサ２０からのサンプル内の基準特徴４５の座標と較正データ内の基準特徴４５の座標における差は、警告が望ましい異常を示す可能性があることに留意されたい。たとえば、乗り物１０の通常の動作および振動から小さい差が生じる場合がある。しかしながら、差が十分に大きい場合、それは、乗り物１０を損傷した異物との衝突、またはセンサ２０を大きく移動させた疲労故障などの異常を示すことができる。いくつかの実施形態では、システム５は、差を事前定義されたしきい値と比較し、差がしきい値を超える場合、（警告メッセージ、音声もしくは視覚アラーム、または他のタイプの警告などの）警告通知を提供して、ユーザ（たとえば、乗り物１０のドライバまたはパイロット）に通知することができる。警告通知は、表示デバイスまたはスピーカもしくはライトインジケータなど他の種類の出力インターフェースによってユーザに表示またはそうでない場合レンダリングされてよい。警告通知に応答して、ユーザはセンサ２０の領域を検査して、乗り物１０の修理などの任意のさらなるアクションが取られるべきかどうかを決定することができる。
【００３１】
図４は、本開示のいくつかの実施形態による、乗り物監視システム２０５の例示的な実施形態を描写する。いくつかの実施形態では、乗り物監視システム２０５は、航空機の動作を監視および制御するために構成されるが、システム２０５は、他の実施形態では他のタイプの乗り物用に構成されてよい。図４の乗り物監視システム２０５は、データ処理要素２１０、複数のセンサ２０、３０、乗り物コントローラ２２０、乗り物制御システム２２５、および推進システム２３０を含んでよい。特定の機能は乗り物監視システム２０５の様々な構成要素に帰されてもよいが、そのような機能は、いくつかの実施形態では、システム２０５の１つ以上の構成要素によって実施されてよいことが理解されよう。加えて、いくつかの実施形態では、システム２０５の構成要素は乗り物１０または他のやり方で常駐することができ、有線（たとえば、導電性）または（たとえば、ワイヤレスネットワークもしくはＢｌｕｅｔｏｏｔｈなどの短距離ワイヤレスプロトコルを使用する）ワイヤレス通信を含む様々な技法を介して、システム２０５の他の構成要素と通信することができる。さらに、システム２０５は、本明細書に説明された機能を実現し、脅威検知動作および乗り物制御を一般に実施するための、図４に描写されていない様々な構成要素を備えてよい。
【００３２】
いくつかの実施形態では、図４によって示されるように、データ処理要素２１０は各センサ２０、３０に結合され、センサ２０、３０からのセンサデータを処理し、乗り物１０を制御するために乗り物コントローラ２２０に信号を提供することができる。データ処理要素２１０は、センサ２０、３０からのセンサデータを受信および処理することが可能な様々なタイプのデバイスであってよく、ハードウェアまたはハードウェアとソフトウェアの組合せに実現されてよい。データ処理要素２１０の例示的な構成は、図５を参照して以下により詳細に説明される。
【００３３】
乗り物コントローラ２２０は、乗り物１０の動作を制御するための様々な構成要素を含んでよく、ハードウェアまたはハードウェアとソフトウェアの組合せに実現されてよい。一例として、乗り物コントローラ２２０は、乗り物コントローラ２２０について本明細書に説明された機能を実施するための命令でプログラムされた１つ以上のプロセッサ（詳細に図示せず）を備えてよい。いくつかの実施形態では、乗り物コントローラ２２０は、（たとえば、上で説明されたような）データ処理要素２１０、乗り物制御システム２２５、および推進システム２３０を含む、システム２０５の他の構成要素に通信可能に結合されてよい。
【００３４】
乗り物制御システム２２５は、進行中に乗り物１０を制御するための様々な構成要素を含んでよい。一例として、航空機の場合、乗り物制御システム２２５は、１つ以上の舵、補助翼、エレベータ、フラップ、スポイラ、ブレーキ、または、通常、航空機を制御するために使用される他のタイプの航空力学デバイスなどの動翼を含んでよい。さらに、推進システム２３０は、乗り物１０に推進力または推力を与えるための、エンジンおよびプロペラなどの様々な構成要素を備えてよい。以下により詳細に説明されるように、データ処理要素２１０が物体を検知すると、乗り物コントローラ２２０は、ユーザ（たとえば、パイロットもしくはドライバ）に警告もしくは他の情報を提供するなど、物体に応答してアクションを取るか、または乗り物１０の速度（スピードおよび／もしくは方向）を変更するように乗り物制御システム２２５および推進システム２３０を制御するように構成されてよい。一例として、乗り物コントローラ２００は、検知された物体を回避するか、または検知された物体に基づいて所望の目的地もしくは他の場所にナビゲートすることを目指して、乗り物の速度を制御することができる。
【００３５】
図５は、本開示のいくつかの実施形態による、例示的なデータ処理要素２１０を描写する。いくつかの実施形態では、データ処理要素２１０は、１つ以上のプロセッサ３１０、メモリ３２０、データインターフェース３３０、およびローカルインターフェース３４０を含んでよい。プロセッサ３１０、たとえば、中央処理装置（ＣＰＵ）またはデジタル信号プロセッサ（ＤＳＰ）は、センサ２０、３０（図２）からのセンサデータの処理などの、様々な機能を実施するためにメモリに記憶された命令を実行するように構成されてよい。プロセッサ３１０は、少なくとも１つのバスを含むことができるローカルインターフェース３４０を介して、データ処理要素３０５内の他の要素と通信し、それらを駆動することができる。さらに、データインターフェース３３０（たとえば、ポートまたはピン）は、データ処理要素２１０の構成要素を、センサ２０、３０および乗り物コントローラ２２０などのシステム５の他の構成要素とインターフェースすることができる。
【００３６】
図５によって示されるように、データ処理要素２１０は、ハードウェア、ソフトウェア、またはそれらの任意の組合せに実現され得るセンサ処理ロジック３５０を備えてよい。図５では、センサ処理ロジック３５０はソフトウェアに実装され、メモリ３２０に記憶される。しかしながら、他の実施形態では、センサ処理ロジック３５０の他の構成が可能である。
【００３７】
センサ処理ロジック３５０は、ソフトウェアに実装されると、命令をフェッチおよび実行することができる命令実行装置によって、またはそれとともに、使用するための任意のコンピュータ可読媒体に記憶および転送できることに留意されたい。この文書の文脈において、「コンピュータ可読媒体」は、命令実行装置によって、またはそれとともに、使用するためのコードを収容するまたは記憶することができる任意の手段であり得る。
【００３８】
センサ処理ロジック３５０は、本明細書に説明された技法に従って、センサ２０、３０を較正し、センサ２０、３０からのセンサデータ３４３を処理するように構成される。いくつかの実施形態では、センサ処理ロジック３５０は、センサ２０、３０によって検知された物体１５を識別し、乗り物１０に対する物体の位置および速度、ならびに乗り物の速度または予期される進行経路に基づいて、各検知された物体１５が乗り物１０に対する衝突の脅威を与えるかどうかを評価するように構成されてよい。ひとたび物体１５が衝突の脅威であるとセンサ処理ロジック３５０が決定すると、センサ処理ロジック３５０は乗り物コントローラ２２０に脅威を通知することができ、乗り物コントローラ２２０は脅威に応答して追加のアクションを取ることができる。一例として、乗り物コントローラ２２０は、ユーザに警告を提供するか、または検知された物体１５を回避するように乗り物の進行経路を制御することができる。例示的な警告は、乗り物の運転者に配信される人間が読むことができるテキストメッセージなどのメッセージを含んでよい。他の例示的な警告は、可聴の警告（たとえば、サイレン）、可視の警告（たとえば、ライト）、物理的警告（たとえば、触覚）などを含んでよい。センサ処理ロジック３５０はまた、上で説明されたように、較正とのセンサデータの比較が衝突または疲労故障などの異常を示す場合、警告を提供することができる。
【００３９】
いくつかの実施形態では、センサ処理ロジック３５０は、検知された物体がナビゲーションまたは他の乗り物制御動作に使用され得るタイプの物体であるかどうかを決定することができる。そうである場合、センサ処理ロジック３５０は、乗り物コントローラ２２０に物体およびその位置を通知することができ、乗り物コントローラ２２０は、検知された物体に基づいて制御決定を行うことができる。
【００４０】
センサ２０、３０を較正するためのシステム５の例示的な使用および動作が、図６および７を参照して以下により詳細に説明される。例示の目的で、基準特徴４５はセンサ２０の視野２５内にあり、データ処理要素２１０は、図５によって示されるように、乗り物１０に対する衝突の脅威を追跡するために使用されるグローバル座標系に対する基準特徴４５の形状および位置を示す、事前定義された較正データ３４５を格納すると仮定される。
【００４１】
最初に、センサ処理ロジック３５０は、基準特徴４５が位置する視野２５を有するセンサ２０を較正するように構成される。この点に関連して、図６のブロック４１１によって示されるように、センサ２０は、センサデータ３４３のサンプルを採取し、センサ処理ロジック３５０にサンプルを送信する。センサ２０がカメラとして実現される場合、センサ２０はその視野２５内の画像をキャプチャし、キャプチャされた画像を分析のためにセンサ処理ロジック３５０に送信することができる。
【００４２】
センサ処理ロジック３５０は、図６のブロック４１５によって示されるように、サンプルを分析してサンプル内の基準特徴４５を見つけるように構成される。一例として、センサ２０がカメラである場合、センサ処理ロジック３５０は、対応する形状を有する物体を見つけるために、較正データ３４５によって示された基準特徴４５の形状をサンプル内の物体の形状と比較することができる。ひとたび基準特徴４５がサンプル内で識別されると、センサ処理ロジック３５０は、図６のブロック４２２によって示されるように、サンプルから基準特徴４５の位置を決定するように構成される。そのような位置を決定した後、センサ処理ロジック３５０は、ブロック４２５によって示されるように、センサ２０からのサンプルによって示された基準特徴４５の位置を、較正データ３４５によって示された基準特徴の位置と比較し、センサ処理ロジック３５０は、図６のブロック４３３によって示されるように、そのような比較に基づいてセンサ２０を較正する。
【００４３】
一例として、比較された位置における差に基づいて、センサ処理ロジック３５０は、センサ２０からのセンサデータの座標に適用される数学的調整を決定し、物体を追跡するために使用されるグローバル座標系に対するグローバル座標にそのような座標を正確に変換する。その後、数学的調整は、センサ処理ロジック３５０またはその他によってセンサ２０からのセンサデータ３４３の座標に適用され、その結果、検知された物体の座標は、グローバル座標系内の物体の位置を正確に示す。
【００４４】
別の例では、センサ処理ロジック３５０は、ブロック４２５において比較された位置における差に基づいて、センサ２０に制御信号を提供するように構成されてよい。そのような制御信号は、基準特徴４５が較正データ３４５によって示された基準特徴の位置にあるように、センサ２０を新しい方向に移動させるのに十分であってよい。
【００４５】
ひとたびセンサ２０が較正されると、較正されたセンサ２０の視野２５と重なる視野３５を有する未較正センサ３０は、図７の方法に従って較正されてよい。この点に関連して、図７のブロック５０７によって示されるように、物体１５が重複領域６０内にある間に、各センサ２０、３０から同時にサンプルが採取される。そのようなサンプルはセンサ処理ロジック３５０に提供され、センサ処理ロジック３５０は、図７のブロック５１２によって示されるように、較正されたセンサ２０からのサンプル内で物体１５を検出する。次いで、センサ処理ロジック３５０は、図７のブロック５１７によって示されるように、較正されたセンサ２０によって提供されたサンプルから物体１５の位置を決定する。センサ２０は較正されているので、決定された位置は、乗り物１０用のグローバル座標系内の物体の位置を正確に反映するはずである。
【００４６】
ブロック５２２によって示されるように、センサ処理ロジック３５０はまた、未較正センサ３０からのサンプル内で同じ物体１５を検出する。次いで、センサ処理ロジック３５０は、図７のブロック５２７によって示されるように、未較正センサ３０によって提供されたサンプルから物体１５の位置を決定する。そのような位置を決定した後、センサ処理ロジック３５０は、ブロック５３５によって示されるように、未較正センサ３０からのサンプルによって示された物体１５の位置を、較正されたセンサ２０からのサンプルによって示された物体１５の位置と比較し、センサ処理ロジック３５０は、図７のブロック５４２によって示されるように、そのような比較に基づいてセンサ３０を較正する。
【００４７】
一例として、比較された位置における差に基づいて、センサ処理ロジック３５０は、センサ３０からのセンサデータ３４３の座標に適用される数学的調整を決定し、物体を追跡するために使用されるグローバル座標系に対するグローバル座標にそのような座標を正確に変換する。その後、数学的調整は、センサ処理ロジック３５０またはその他によってセンサ３０からのセンサデータ３４３の座標に適用され、その結果、検知された物体の座標は、グローバル座標系内のそれらの位置を正確に示す。
【００４８】
別の例では、センサ処理ロジック３５０は、ブロック５３５において比較された位置における差に基づいて、センサ２０に制御信号を提供するように構成されてよい。そのような制御信号は、両方のセンサ２０、３０によって検出された同じ物体が両方のセンサ２０、３０に対して同じ座標にあるように、センサ２０を新しい方向に移動させるのに十分であり得る。
【００４９】
様々な実施形態は、カメラを使用してセンサ２０、３０を実現するものとして上で説明されている。しかしながら、他のタイプのセンサ２０、３０が、本明細書に説明された同じまたは同様の技法に従って、使用され較正されてよいことが強調されるべきである。
【００５０】
上記は本開示の原理の単なる例示であり、本開示の範囲から逸脱することなく当業者によって様々な修正が行われてもよい。上で説明された実施形態は、限定ではなく例示の目的で提示されている。本開示はまた、本明細書に明示的に説明されたもの以外の多くの形態を取ることができる。したがって、本開示は、明示的に開示された方法、システム、および装置に限定されず、以下の特許請求の範囲の趣旨内にあるそれらの変形形態および修正形態を含むことを意図されていることが強調される。
【００５１】
さらなる例として、本明細書に図示され説明されたように、提供された構造、デバイス、および方法をさらに最適化するために、装置またはプロセスパラメータ（たとえば、寸法、構成、構成要素、プロセスステップ順序など）の変形形態が作成されてもよい。いずれにしても、本明細書に説明された構造およびデバイス、ならびに関連する方法には多くの用途がある。したがって、開示された主題は、本明細書に記載されたいかなる単一の実施形態にも限定されるべきでなく、むしろ、添付の特許請求の範囲による広がりおよび範囲で解釈されるべきである。
【図１】
2020515950.tif 000003
【図２】
2020515950.tif 000004
【図３】
2020515950.tif 000005
【図４】
2020515950.tif 000006
【図５】
2020515950.tif 000007
【図６】
2020515950.tif 000008
【図７】
2020515950.tif 000009
【国際調査報告】
2020515950.tif 000010