(57)【要約】  装置は、装置から閲覧され、物体を含むシーンの画像データを受信するように構成された物体検出器を含む。画像データは、シーンの複数のスケール空間表現に関連する。物体検出器は、ロケーションデータと複数のスケール空間表現の第１のスケール空間表現とに応答して物体を検出するように構成される。【選択図】図７
2018505479.tif 000002
【特許請求の範囲】
【請求項１】
ロケーションデータと画像センサーからシーンの画像データとを受信するように構成された物体検出器を備える装置であって、前記シーンが前記装置から閲覧され、物体を含み、前記画像データが前記シーンの複数のスケール空間表現に関連し、前記物体検出器が、前記ロケーションデータと前記複数のスケール空間表現の第１のスケール空間表現とに応答して前記物体を検出するようにさらに構成された、装置。
【請求項２】
前記物体検出器は、前記ロケーションデータに基づいて前記第１のスケール空間表現の探索エリアを識別するように構成され、ここにおいて、前記探索エリアがシーン全体よりも小さい、請求項１に記載の装置。
【請求項３】
前記探索エリアが、前記第１のスケール空間表現に関連する第１のエリアと前記ロケーションデータに関連する第２のエリアとの重複に対応する、請求項２に記載の装置。
【請求項４】
前記物体検出器は、前記探索エリアのマスクを生成するようにさらに構成され、前記マスクが複数の領域を備え、各々が前記領域中で前記物体を検出する確率を示す割り当てられた値を有する、請求項３に記載の装置。
【請求項５】
前記物体検出器は、前記第１のスケール空間表現に関連する第１のエリアが、前記ロケーションデータに関連する第２のエリアと重複しないと決定したことに応答して、前記複数のスケール空間表現の第２のスケール空間表現を選択するように構成された、請求項１に記載の装置。
【請求項６】
前記物体検出器が、前記ロケーションデータに基づいて前記第２のスケール空間表現の探索エリアを識別するようにさらに構成された、請求項５に記載の装置。
【請求項７】
前記探索エリアが、前記ロケーションデータに関連する前記第２のエリアと前記第２のスケール空間表現に関連する第３のエリアとの重複に対応する、請求項６に記載の装置。
【請求項８】
前記ロケーションデータが、前記物体に関連し、ロケーションセンサーから受信される、請求項１に記載の装置。
【請求項９】
前記ロケーションセンサーが、レーダーデバイス、光検出および測距（ライダー）デバイス、全地球測位システム（ＧＰＳ）デバイス、超音波デバイス、専用短距離通信デバイス、またはそれらの任意の組合せを備える、請求項８に記載の装置。
【請求項１０】
前記ロケーションセンサーが前記装置とは別個である、請求項８に記載の装置。
【請求項１１】
前記ロケーションデータは、前記物体が存在し得るところを示す３次元（３Ｄ）マップの１つまたは複数のエリアに対応する、請求項１に記載の装置。
【請求項１２】
前記ロケーションデータが、ロケーションセンサーによって与えられる前記物体のロケーションにも関連する、請求項１１に記載の装置。
【請求項１３】
前記画像センサーと前記物体検出器とが、前記装置に動作可能に結合された、請求項１に記載の装置。
【請求項１４】
物体を検出する方法であって、前記方法は、
プロセッサにおいて、装置から閲覧され、物体を含むシーンの画像データを画像センサーから受信することと、前記画像データが前記シーンの複数のスケール空間表現に関連する、
前記プロセッサにおいて、前記物体に関連するか、または前記物体が存在し得るエリアを示すロケーションデータを受信することと、
前記プロセッサにおいて、第１のスケール空間表現と前記ロケーションデータとの重複に基づいて、前記複数のスケール空間表現の前記第１のスケール空間表現の探索エリアを識別することと、
前記プロセッサにおいて、前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を備える、方法。
【請求項１５】
前記探索エリアが、前記第１のスケール空間表現に関連する第１のエリアと前記ロケーションデータに関連する第２のエリアとの重複に対応する、請求項１４に記載の方法。
【請求項１６】
前記複数のスケール空間表現の第２のスケール空間表現が前記ロケーションデータと重複するかどうかを決定することをさらに備える、請求項１４に記載の方法。
【請求項１７】
前記第２のスケール空間表現が前記ロケーションデータと重複しないと決定したことに応答して、前記第２のスケール空間表現に対する物体検出の前記実行を回避することをさらに備える、請求項１６に記載の方法。
【請求項１８】
前記第２のスケール空間表現が前記ロケーションデータと重複すると決定したことに応答して、前記第２のスケール空間表現に対する物体検出を実行することをさらに備え、ここにおいて、前記第２のスケール空間表現が、前記第１のスケール空間表現よりも低解像度表現である、請求項１６に記載の方法。
【請求項１９】
前記ロケーションデータが、前記物体に関連し、ロケーションセンサーから受信される、請求項１４に記載の方法。
【請求項２０】
前記ロケーションセンサーが、レーダーデバイス、光検出および測距（ライダー）デバイス、全地球測位システム（ＧＰＳ）デバイス、超音波デバイス、専用短距離通信デバイス、またはそれらの任意の組合せを含む、請求項１９に記載の方法。
【請求項２１】
前記画像センサーと、前記ロケーションセンサーと、前記プロセッサとが、前記装置に動作可能に結合された、請求項１９に記載の方法。
【請求項２２】
前記探索エリアのマスクを生成することをさらに備え、前記マスクが複数の領域を備え、各領域が前記領域中で前記物体を検出する確率を示す割り当てられた値を有する、請求項１４に記載の方法。
【請求項２３】
前記探索エリア中で物体検出を実行することが、各領域の前記割り当てられた値に少なくとも部分的に基づく、請求項２２に記載の方法。
【請求項２４】
前記ロケーションデータは、前記物体が存在し得るところを示す３次元（３Ｄ）マップの１つまたは複数のエリアに対応する、請求項１４に記載の方法。
【請求項２５】
前記ロケーションデータが、ロケーションセンサーによって与えられる前記物体のロケーションにも関連する、請求項２４に記載の方法。
【請求項２６】
装置であって、
前記装置から閲覧され、物体を含むシーンの画像データを受信するための手段と、前記画像データが前記シーンの複数のスケール空間表現に関連する、
処理するための手段と
を備え、ここにおいて、処理するための前記手段が、
第１のスケール空間表現と、前記物体に関連するか、または前記物体が存在し得るエリアを示すロケーションデータとの間の重複に基づいて、前記複数のスケール空間表現の前記第１のスケール空間表現の探索エリアを識別することと、
前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を行うように構成された、装置。
【請求項２７】
前記ロケーションデータを生成するための手段をさらに備える、請求項２６に記載の装置。
【請求項２８】
外部ロケーションセンサーから前記ロケーションデータを受信するための手段をさらに備える、請求項２６に記載の装置。
【請求項２９】
物体を検出するための命令を記憶するコンピュータ可読記憶デバイスであって、前記命令は、プロセッサに、
装置から閲覧され、物体を含むシーンの画像データを画像センサーから受信することと、前記画像データが前記シーンの複数のスケール空間表現に関連する、
前記物体に関連するか、または前記物体が存在し得るエリアを示すロケーションデータを受信することと、
第１のスケール空間表現と前記ロケーションデータとの間の重複に基づいて、前記複数のスケール空間表現の前記第１のスケール空間表現の探索エリアを識別することと、
前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を行わせるために、前記プロセッサによって実行可能である、コンピュータ可読記憶デバイス。
【請求項３０】
前記命令は、前記プロセッサに、
前記複数のスケール空間表現の第２のスケール空間表現が前記ロケーションデータと重複するかどうかを決定することと、
前記第２のスケール空間表現が前記ロケーションデータと重複するかどうかに基づいて、前記第２のスケール空間表現に対する物体検出を選択的に実行するか、または実行することを回避することと
を行わせるために、前記プロセッサによってさらに実行可能である、請求項２９に記載のコンピュータ可読記憶デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
[0001]本出願は、その内容全体が参照により本明細書に明確に組み込まれる、２０１５年１月１６日に出願された、同一出願人が所有する米国非仮特許出願第１４／５９８，８９２号の優先権を主張する。
【０００２】
[0002]本開示は、一般に物体検出に関する。より詳細には、本開示は、画像データとロケーションデータとに応答する物体検出に関する。
【背景技術】
【０００３】
[0003]デバイスは、画像ベース技法を使用して物体検出動作を実行し得る。たとえば、カメラが車両上に取り付けられるか、または電子デバイスに組み込まれ得、カメラは、プロセッサに画像データを供給し得る。プロセッサは、車両またはモバイルデバイスの移動のフィールド内にあるかまたはその近くにある障害物（たとえば、歩行者、木、家畜、獲物、および／または別の物体）など、物体を検出するために画像データを分析する（または「走査する」）ためのコンピュータビジョンアプリケーションを実行し得る。
【０００４】
[0004]いくつかの状況では、画像ベース物体検出は、遅く、効果的でないことがある。たとえば、画像中の物体を認識するための画像「探索」は、画像セグメント化およびウィンドウ処理演算など、複数の時間がかかる動作を伴い得る。さらに、画像ベース物体検出は、検出された物体ロケーションを信頼できないものにし得る、大きい範囲の不確実性（または大きい誤差限界）に関連し得る。これらの問題は、物体検出のための意図された目的を阻止することがある。一例として、車両適用例では、画像ベース物体検出は、障害物を回避するのに間に合うように、車両が減速するか、停止するか、または場合によっては進路を変更することを可能にするにはあまりに遅く行われることがある。
【０００５】
[0005]いくつかのデバイスは、物体を検出するために、レーダー情報などのロケーションベース情報を使用し得る。しかしながら、ロケーションベース情報は、大きい範囲の不確実性を生じやすいことがある（たとえば、そのようなデバイスは、大きい誤差限界を有することがある）。
【発明の概要】
【０００６】
[0006]物体検出は、ロケーションデータと画像データのスケール空間表現とを使用して実行され得る。スケール空間表現の各々は、画像データの異なる解像度のバージョンであり得る。例示のために、デバイス、たとえば、車両または電子デバイスが、画像データを生成するように構成された画像センサー（たとえば、カメラ）を含み得る。デバイスはまた、検出されるべき物体に関連する、および／または物体が存在し得るシーン中の１つまたは複数のエリアを示す、ロケーションデータを含むか、または受信し得る。たとえば、ロケーションデータは、ロケーションデータを生成するように構成されたロケーションセンサー（たとえば、レーダーデバイス、全地球測位システム（ＧＰＳ）デバイスなど）から受信され得る。ロケーションセンサーは、画像センシングデバイスに結合されるか、または画像センシングデバイスとは別個であり得る。別の例では、ロケーションデータは、路面または地面の上にあるシーンまたは画像のエリアなど、関心物体（object of interest）（たとえば、検出されるべき物体）が存在し得るところを示す３次元（３Ｄ）マップの１つまたは複数のエリアに対応し得る。いくつかの事例では、シーンの２つ以上のエリアが、３Ｄマップによって識別され、ロケーションデータとして受信され得る。たとえば、運転車線の左側と右側の両方で物体を検出することが望ましいことがある。そのようなデバイスでは、物体（たとえば、歩行者、木、家畜、獲物、および／または別の物体）を検出するために画像データのすべてを探索する代わりに、デバイス（たとえば、プロセッサ）は、物体を検出するために、ロケーションデータと画像データのスケール空間表現との重複、交差、または収束を探索し得る。デバイスは、物体を検出するために、１つまたは複数のスケール空間表現を探索するように構成され得、異なる物体を検出するために異なるスケール空間表現が探索され得る。ロケーションデータと画像データの１つまたは複数のスケール空間表現との重複または交差を探索することは、他の技法（たとえば、「ブルートフォース（brute force）」またはすべての画像データの完全な探索）よりも計算量的に複雑でなく、したがって、ロケーションデータを考慮しない他の物体検出技法よりも効率的であり得る。
【０００７】
[0007]例示的な非限定的な例として、車両が歩行者検出を実行し得る。歩行者を検出するために、車両は、カメラによって与えられた画像データ中の関心物体の高さが、特定の数のピクセルよりも小さいかまたはそれに等しい（たとえば、高さ１００ピクセルよりも小さいかまたはそれに等しい）とモデルが仮定する、モデルベース物体検出を利用し得る。歩行者が車両に近いとき、歩行者の高さは、高さ１００ピクセル以上であり得、その結果、モデルは正常に歩行者を検出することが可能でないことがある。歩行者を検出するために、モデルベース物体検出は、画像データのダウンサンプリングされたスケール空間表現に対して再実行され得る。たとえば、歩行者の高さが元の（たとえば、フル解像度）画像中で１８０ピクセルである場合、歩行者の高さは、２分の１にダウンサンプリングされたスケール空間表現中で９０ピクセルであり、モデルベース物体検出は、ダウンサンプリングされた画像中で歩行者を正常に検出し得る。このようにして、様々な距離において物体（たとえば、歩行者）を正常に検出するために、車両は、カメラによってキャプチャされた画像データの複数のスケール空間表現（たとえば、「高」または「フル」解像度表現、「中」解像度表現、「低」解像度表現など）に対する物体検出を実行し得る。本開示は車両のための物体検出に限定されないことに留意されたい。様々な実施形態では、物体検出は、例示的な非限定的な例として、電子デバイス、モバイルデバイス、パーソナルマウントカメラ、ヘッドマウントディスプレイ、または航空機の画像センサーによってキャプチャされた画像において実行され、および／あるいはそれらに基づき得る。
【０００８】
[0008]複数のスケール空間表現の各々の全体を反復的に探索することは、時間がかかることがある。説明される技法によれば、物体検出器は、物体（たとえば、歩行者）の考えられるロケーションと交差または重複しないスケール空間表現を探索することをスキップし得る。さらに、スケール空間表現が物体の考えられるロケーションと重複するとき、探索は、重複に対応する関心エリアに制限され得る。物体の考えられるロケーションは、車両の一部であるかまたは車両とは別個であるロケーションセンサーによって与えられ得る。さらに、物体の考えられるロケーションは、物体が存在し得る３Ｄマップの１つまたは複数のエリアに少なくとも部分的に基づき得る。本明細書で使用される、物体を検出することは、画像データ中の（または画像データのスケール空間表現中の）物体の表現を検出すること、（たとえば、超音波、レーダーなどに基づいて）実際の物理的物体を検出すること、またはその両方を含むことができることを理解されたい。
【０００９】
[0009]特定の態様では、装置は、ロケーションデータと画像センサーからシーンの画像データとを受信するように構成された物体検出器を含む。シーンは、車両から閲覧され、物体を含む。画像データは、シーンの複数のスケール空間表現に関連する（たとえば、それらを生成するために使用され得る）。物体検出器は、ロケーションデータと複数のスケール空間表現の第１のスケール空間表現とに応答して物体を検出するように構成される。
【００１０】
[0010]別の特定の態様では、方法は、プロセッサにおいて、装置から閲覧され、物体を含むシーンの画像データを画像センサーから受信することを含む。画像データは、シーンの複数のスケール空間表現に関連する。本方法はまた、プロセッサにおいて、物体に関連するか、または物体が存在し得るエリアを示すロケーションデータを受信することを含む。本方法は、プロセッサにおいて、第１のスケール空間表現とロケーションデータとの間の重複に基づいて、複数のスケール空間表現の第１のスケール空間表現の探索エリアを識別することをさらに含む。本方法は、プロセッサにおいて、第１のスケール空間表現の探索エリア中で物体検出を実行することを含む。
【００１１】
[0011]別の特定の態様では、装置は、装置から閲覧され、物体を含むシーンの画像データを受信するための手段を含み、ここで、画像データはシーンの複数のスケール空間表現に関連する。本装置は、処理するための手段をさらに含む。処理するための手段は、第１のスケール空間表現と、物体に関連するか、または物体が存在し得るエリアを示すロケーションデータとの間の重複に基づいて、複数のスケール空間表現の第１のスケール空間表現の探索エリアを識別するように構成される。処理するための手段はまた、第１のスケール空間表現の探索エリア中で物体検出を実行するように構成される。
【００１２】
[0012]別の特定の態様では、コンピュータ可読記憶デバイスは、プロセッサに、装置から閲覧され、物体を含むシーンの画像データを画像センサーから受信させるために、プロセッサによって実行可能な命令を記憶する。画像データは、シーンの複数のスケール空間表現に関連する。命令はまた、物体に関連するか、または物体が存在し得るエリアを示すロケーションデータを受信することと、第１のスケール空間表現とロケーションデータとの間の重複に基づいて、複数のスケール空間表現の第１のスケール空間表現の探索エリアを識別することとを行うために実行可能である。命令は、第１のスケール空間表現の探索エリア中で物体検出を実行するためにさらに実行可能である。
【００１３】
[0013]開示される実施形態のうちの少なくとも１つによって与えられる１つの特定の利点は、物体に関連するか、または物体が存在し得るエリアを示すロケーションデータを使用することによって、画像データに対して実行される物体検出の時間が減少させられ得ることである。たとえば、物体検出は、ロケーションデータと交差または重複しない（１つまたは複数の）スケール空間表現に対して実行されないことがあり、ロケーションデータと交差または重複する（１つまたは複数の）スケール空間表現に対する物体検出は、重複または交差する（１つまたは複数の）関心エリアに限定され得る。本開示の他の態様、利点、および特徴は、以下のセクション、すなわち、図面の簡単な説明と、発明を実施するための形態と、特許請求の範囲とを含む、本出願全体を検討した後に明らかになろう。
【図面の簡単な説明】
【００１４】
【図１】[0014]ロケーションデータと画像データのスケール空間表現とを使用して物体検出を実行するように動作可能である例示的なシステムを示す図。
【図２Ａ】[0015]図１のシステムの動作の例示的な例を示す図。
【図２Ｂ】図１のシステムの動作の例示的な例を示す図。
【図２Ｃ】図１のシステムの動作の例示的な例を示す図。
【図２Ｄ】図１のシステムの動作の例示的な例を示す図。
【図３】[0016]ロケーションデータと画像データのスケール空間表現とを使用して物体検出を実行するように動作可能であるシステムの別の例示的な例を示す図。
【図４】[0017]ロケーションデータと画像データのスケール空間表現とを使用して物体検出を実行するように動作可能であるシステムの別の例示的な例を示す図。
【図５Ａ】[0018]物体検出を実行するために３次元（３Ｄ）マップデータを使用することの例示的な例を示す図。
【図５Ｂ】[0019]物体検出中に使用され得るマスクの例示的な例を示す図。
【図６】[0020]３Ｄマップデータに基づいて（１つまたは複数の）関心エリアを識別する方法の例示的な例を示すフローチャート。
【図７】[0021]ロケーションデータと画像データのスケール空間表現とを使用する物体検出の方法の例示的な例を示すフローチャート。
【図８】[0022]電子デバイスの例示的な例のブロック図。
【発明を実施するための形態】
【００１５】
[0023]図１は、物体検出を実行するように構成されたシステムの特定の例示的な実施形態を示す。図１の例では、物体検出は、車両１０２において実行される。ただし、本開示はそのようなものとして限定されるべきでないことに留意されたい。本明細書で開示される物体検出デバイス、方法、システムなどは、交通、視野などにおける物体を検出するために、代替環境において実装され得る。たとえば、本明細書で説明される１つまたは複数の機能は、電子デバイス、モバイルデバイス、ゲーミングコンソール、自動車システムコンソール（たとえば、ＡＤＡＳ）、装着可能なデバイス（たとえば、パーソナルマウントカメラ）、ヘッドマウントディスプレイなどにおいて実装され得る。追加の例は、限定はしないが、ロボットまたはロボティックデバイス、無人航空機（ＵＡＶ）、およびドローンを含む。図１の例では、車両１０２は、自動車両（たとえば、車、トラック、オートバイ、バス、または列車）、船舶（たとえば、船またはボート）、航空機（たとえば、飛行機またはヘリコプター）、宇宙船（たとえば、スペースシャトル）、自転車、または別の車両であり得る。車両１０２は、例示的な例として、装輪車両（wheeled vehicle）、装軌車両（tracked vehicle）、鉄道車両（railed vehicle）、空中車両（airborne vehicle）、またはスキー車両（skied vehicle）であり得る。いくつかの場合には、車両１０２は、１人または複数の運転者によって操作され得る。たとえば、車両１０２は、車両１０２の運転者を支援するように構成された高度運転支援システム（ＡＤＡＳ：advanced driving assistance system）を含み得る。他の場合には、車両１０２は、コンピュータ制御車両であり得る。さらに、図１の例示的なシステムにおける異議検出が車両１０２において実行されるが、他の例では、本明細書で開示される物体検出は、「クラウド」において、または車両１０２の外で、実行され得ることを理解されたい。たとえば、車両または他の電子デバイスは、物体検出を実行するために、別のデバイスにロケーションデータおよび／または画像データを与えることができる。
【００１６】
[0024]車両１０２（たとえば、車両１０２のＡＤＡＳ）は、例示的な画像センサー１０４など、１つまたは複数の画像センサーを含み得る。画像センサー１０４は、電荷結合デバイス（ＣＣＤ）ベースカメラおよび／または相補型金属酸化物半導体（ＣＭＯＳ）ベースカメラなど、カメラを含み得る。代替実施形態では、画像センサー１０４は、異なるタイプのセンサー（たとえば、赤外線）を含み得る。
【００１７】
[0025]図１の例では、車両１０２は、例示的なロケーションセンサー１０６など、１つまたは複数のロケーションセンサーをさらに含む。ロケーションセンサー１０６は、例示的な例として、レーダーデバイス、光検出および測距（ライダー（lidar））デバイス、全地球測位システム（ＧＰＳ）デバイス、超音波デバイス、および／または車両通信ネットワークにおいて使用される専用短距離通信（ＤＳＲＣ：dedicated short-range communication）デバイスなどの通信デバイスを含み得る。
【００１８】
[0026]図１の例では、画像センサー１０４の三角形の視野が示されている。画像センサー１０４の視野は、様々な方法で決定され得ることに留意されたい。例示的な非限定的な例として、画像センサー１０４（または画像センサー１０４を含む装置）は、ＧＰＳトランシーバを含み得、視野は、画像センサー１０４（または装置）の２つのＧＰＳロケーション間の時間差に基づいて決定され得る。２つのＧＰＳロケーション間の差は、画像センサー１０４の、三角形の視野の中心線または移動方向に対応し得る。別の例示的な非限定的な例として、画像センサー１０４の方向は、画像センサー１０４に結合された、あるいは車両、コンピューティングデバイス、または他の装置など、画像センサー１０４を含む装置中に含まれる、動きセンサー（たとえば、加速度計）に基づいて決定され得る。したがって、画像センサー１０４の視野および方向は、アプリオリに知られない場合でも、決定され得る。
【００１９】
[0027]車両１０２は、プロセッサ１０８とメモリ１１０とをさらに含み得る。メモリ１１０は、プロセッサ１０８によってアクセス可能な命令およびデータを記憶し得る。プロセッサ１０８は、中央プロセッサユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、電子制御ユニット（ＥＣＵ）、別の処理デバイス、またはそれらの組合せを含み得る。プロセッサ１０８は、ロケーションデータベース物体検出器およびスケール空間ベース物体検出器など、物体検出器１２８を含み得る。物体検出器１２８は、車両１０２のハードウェア構成要素、プロセッサ１０８によって実行可能なソフトウェア（たとえば、命令）、またはそれらの組合せに対応し得る。
【００２０】
[0028]動作中に、ロケーションセンサー１０６は、プロセッサ１０８にロケーションデータ１１６を与え得る。いくつかの実装形態では、ロケーションデータ１１６は、例示的な物体１１２など、１つまたは複数の物体に関連するレーダーデータ、ライダーデータ、ＧＰＳデータなどを含み得る。物体１１２は、静止していることがあるか、または動いていることがある。たとえば、物体１１２は、例示的な非限定的な例として、歩行者、別の車両、交通信号機、道路障害物（たとえば、落下した交通信号機、木の大枝、または瓦礫）、家畜（たとえば、牛、バイソン、ウマ、ヒツジ、またはヤギ）、獲物（たとえば、ヘラジカ、ムース、クマ、またはシカ）、または路側物体（たとえば、標識、広告ビルボード、または路側ユニット（ＲＳＵ：road side unit））に対応し得る。物体１１２は、車両１０２に近接しているか、または車両からかなりの距離のところに配設されている（たとえば、車両に近接していない）ことがある。たとえば、物体１１２は、車両１０２の特定の範囲内、車両１０２の移動のフィールドまたは移動方向内、画像センサー１０４の視野内などにあり得る。いくつかの実装形態では、ロケーションセンサー１０６は、物体１１２などの物体を求めて車両１０２の移動のフィールドを走査するように構成された１つまたは複数のセンサーを含む。たとえば、ロケーションセンサー１０６は、物体１１２から反射された信号を使用してロケーションデータ１１６を生成するように構成されたレーダーデバイス、超音波デバイス、および／またはライダーデバイスを含み得る。いくつかの実装形態では、ロケーションセンサー１０６は、１つまたは複数の物体に関連するロケーションデータを受信するように構成される。たとえば、ロケーションセンサー１０６は、専用短距離通信デバイス、ＲＦＩＤデバイス、パーソナルネットワークデバイス、または別の通信デバイスを含み得る。
【００２１】
[0029]画像センサー１０４は、物体１１２を含むシーンの（たとえば、１つまたは複数の画像をキャプチャすることによって）画像データ１１４を生成し得る。画像センサー１０４は、プロセッサ１０８に画像データ１１４を与え得る。いくつかの実装形態では、画像センサー１０４は、ロケーションセンサー１０６からのコマンドに応答して画像データ１１４を生成し得る。特定の例示的な例では、ロケーションセンサー１０６が（たとえば、レーダー、超音波、またはライダー技法を使用して、あるいは別のデバイスからＧＰＳおよび／またはＤＳＲＣ情報を受信することによって）物体１１２を検出した場合、ロケーションセンサー１０６は、画像センサー１０４とロケーションセンサー１０６とを接続するバスにおいて、制御信号をアサートし得る。代替的に、または追加として、画像センサー１０４の動作は、プロセッサ１０８によって制御され得る。たとえば、プロセッサ１０８は、ロケーションセンサー１０６からロケーションデータ１１６を受信したことに応答して、画像センサー１０４に画像データ１１４を生成させ得る。他の場合には、画像センサー１０４は、ロケーションセンサー１０６とは無関係に動作し得る。たとえば、画像センサー１０４は、常に、周期的に、または時々、画像をキャプチャし得、バッファ、キャッシュ、または他のメモリ（たとえば、メモリ１１０）に画像の画像データ（たとえば、画像データ１１４）をロードし得る。この例では、ロケーションセンサー１０６からロケーションデータ１１６を受信したことに応答して、プロセッサ１０８は、バッファ、キャッシュ、または他のメモリから画像データ１１４を取り出し得る。例示のために、メモリ１１０またはそれの一部分は、画像センサー１０４から受信された画像データを記憶するように構成されたサーキュラーバッファ（circular buffer）として機能し得る。
【００２２】
[0030]画像データ１１４は、たとえば、第１のスケール空間表現１２０、第２のスケール空間表現１２２、および第３のスケール空間表現１２４など、シーンの複数のスケール空間表現に関連し得る。スケール空間表現１２０、１２２、および１２４の各々は、それぞれの画像解像度に関連し得る。たとえば、第１のスケール空間表現１２０は、第１の画像解像度に関連し得、第２のスケール空間表現１２２は、第１の画像解像度よりも小さい第２の画像解像度に関連し得、第３のスケール空間表現１２４は、第２の画像解像度よりも小さい第３の画像解像度に関連し得る。図１の例では、第１のスケール空間表現１２０は、画像センサー１０４の視野においてラインセグメント１１１によって表される「高」、「フル」、および／または「完全な」解像度画像平面上に投影されたシーンに対応し得る。第２のスケール空間表現１２２は、ラインセグメント１１３によって表される「中」解像度画像平面上に投影されたシーンに対応し得、第３のスケール空間表現１２４は、ラインセグメント１１５によって表される「低」解像度画像平面上に投影されたシーンに対応し得る。したがって、図１に示されているように、ラインセグメント１１１、１１３、および１１５（ならびに対応するそれぞれの「高」、「中」、および「低」解像度画像平面）は、画像センサー１０４から異なる距離にある。
【００２３】
[0031]図１は３つのスケール空間表現を示しているが、本開示は様々な数のスケール空間表現（たとえば、２つのスケール空間表現、４つのスケール空間表現、または別の数のスケール空間表現）にも適用可能であることを諒解されたい。例示的な例では、第１のスケール空間表現１２０は、画像センサー１０４のフルまたは完全な解像度の画像データ１１４に対応し、第２のスケール空間表現１２２は、第１の係数（たとえば、２）でダウンサンプリングされた画像データ１１４に対応し、第３のスケール空間表現１２４は、第１の係数よりも大きい第２の係数（たとえば、５）でダウンサンプリングされた画像データ１１４に対応する。プロセッサ１０８は、フィルタ処理、デシメーション、サブサンプリング、補間、および／または他の画像処理技法を使用して、１つまたは複数のより低い解像度のスケール空間表現を生成するために、より高い解像度のスケール空間表現をダウンサンプリングするように構成され得る。たとえば、プロセッサ１０８は、第２のスケール空間表現１２２を生成するために、第１のスケール空間表現１２０をダウンサンプリングし得、第３のスケール空間表現１２４を生成するために、第２のスケール空間表現１２２をダウンサンプリングし得る。別の例示的な実装形態では、車両１０２は、複数の画像センサーを含み、ここで、各画像センサーはシーンの異なる解像度画像またはスケール空間表現を生成する。
【００２４】
[0032]物体検出器１２８は、ロケーションデータ１１６と、スケール空間表現１２０〜１２４のうちの１つまたは複数とに応答し得る。たとえば、物体検出器１２８は、物体１１２を検出するために、ロケーションデータ１１６に基づいてスケール空間表現を選択し得、選択されたスケール空間表現に対する物体検出を実行し得る。例示のために、物体検出器１２８は、物体１１２が位置する推定領域１１８を決定するために、ロケーションデータ１１６を使用し得る。推定領域１１８は、（たとえば、雑音、センサー遅延、物体１１２および／または車両１０２の動きの速度／方向などによる）ロケーションデータ１１６に関連する誤差限界に鑑みて、物体１１２の（１つまたは複数の）考えられるロケーションに対応し得る。物体検出器１２８は、スケール空間表現１２０〜１２４に対応する画像平面のいずれかが推定領域１１８と重複または交差するかどうかを決定し得る。図１の例では、（ラインセグメント１１１に対応する）第１のスケール空間表現１２０および（ラインセグメント１１５に対応する）第３のスケール空間表現１２４は、推定領域１１８と重複しない。重複がないことを検出したことに応答して、物体検出器１２８は、（たとえば、より迅速に物体検出を実行するために、および／または計算リソースを節約するために）第１のスケール空間表現１２０と第３のスケール空間表現１２４とに対する物体検出を実行することをスキップし得る。
【００２５】
[0033]図１の例では、物体検出器１２８は、（ラインセグメント１１３に対応する）第２のスケール空間表現１２２が推定領域１１８と重複すると決定し得る。たとえば、物体検出器１２８は、第２のスケール空間１２２の解像度画像平面の距離と受信されたロケーションデータ１１６とに基づいて、第２のスケール空間表現１２２が推定領域１１８と重複すると決定し得る。応答して、物体検出器１２８は、第２のスケール空間表現１２２をさらに処理し得る。たとえば、物体検出器１２８は、第２のスケール空間表現１２２内の探索エリアを識別し得、ここで、探索エリアは、スケール空間表現１２２に関連するロケーションのセットまたはエリアと、ロケーションデータ１１６に関連するロケーションのセットまたはエリアとの間の重複、交差、または収束に対応する。例示のために、図１は、画像センサー１０４が視野ライン１１７および１１９による水平視野境界を有するトップダウン図を示す。したがって、第２のスケール空間表現１２２の水平境界は、図１中でポイントＬ０およびＬ１によって示され、推定領域１１８と第２のスケール空間表現１２２との間の重複は、（代替的に「ラインセグメントＣ０Ｃ１」として示されることがある）ポイントＣ０とポイントＣ１との間のラインセグメントによって表される。物体検出器１２８は、物体１１２のロケーションを「特定する」ために、Ｌ０とＬ１との間のより大きいエリア中ではなく、Ｃ０とＣ１との間の探索エリア中でコンピュータビジョン演算（たとえば、画像セグメント化演算）を実行し得る。たとえば、物体検出器１２８は、歩行者のロケーションを決定するか、または（たとえば、標識上のテキストを認識するために）物体１１２を認識し得る。Ｃ０とＣ１との間のエリアを探索することは、Ｃ０およびＣ１を越えて広がる画像の一部を探索することを含み得る。たとえば、Ｃ０およびＣ１は、異なる物体検出探索ウィンドウによって使用される中心ポイントを定義し得る。物体１１２を識別するために物体検出器１２８によって使用されるべき探索ウィンドウがＷの幅を有する場合、Ｃ０とＣ１との「間の」探索エリアは、（探索ウィンドウがＣ０を中心とするときの）Ｃ０−０．５Ｗから（探索ウィンドウがＣ１を中心とするときの）Ｃ１＋０．５Ｗまでに及び得る。探索エリアは、他の次元において（たとえば、探索ウィンドウの高さを越えて垂直次元において）同様に広がり得る。探索ウィンドウは、物体モデル、バウンディングボックスなどに対応し得る。したがって、探索エリアがラインセグメントまたはポイントのセットに関して本明細書で説明され得るが、探索されている画像の実際のエリアは、ラインセグメントまたはポイントのセットを越えて広がり得ることを理解されたい。
【００２６】
[0034]図１は２次元（２Ｄ）ビューを示しているが、本明細書で説明される物体検出動作は、３次元（３Ｄ）シナリオにおいて適用され得る。例示のために、ポイントＣ０、Ｃ１、Ｌ０、およびＬ１は、すべて３Ｄ空間にあり得、（ｘ，ｙ，ｚ）座標を有し得る。図１では、物体検出および縮小は、ｘ軸に沿ってｘ−ｙ平面において、水平方向に実行される。代替的に、または追加として（たとえば、水平動作と並行して）、物体検出および縮小は、適切な垂直スケール空間表現を選択することによって、ｚ軸に沿ってｘ−ｚ平面において、垂直方向に実行され得る。水平スケール空間と垂直スケール空間の両方において動作を実行することによって、物体１１２のロケーションは、一方向のみが使用されるときよりも正確に決定され得ることが諒解されよう。
【００２７】
[0035]他の例では、物体検出器１２８は、複数のスケール空間表現が、ロケーションデータ１１６に関連する推定領域１１８と重複すると決定し得る。例示のために、図１では、第３のスケール空間表現１２４が、ラインセグメント１１５ではなくラインセグメント１１５’に対応する場合、物体検出器１２８は、第２のスケール空間表現１２２と第３のスケール空間表現１２４の両方が推定領域１１８と重複すると決定するであろう。そのようなシナリオでは、物体検出器１２８は、重複するスケール空間表現のうちのどちらに対して物体検出を実行すべきかを選択し得る。例示のために、歩行者が極めて近く、スケールにより極めて背が高いように見えるときなど、いくつかの状況では、より小さい（たとえば、より低い解像度の）スケール空間表現が、物体検出のために好ましいことがある。この状況では、より低い解像度のスケール空間表現は、より高い解像度のスケール空間表現の代わりに探索され得る。代替的に、より高い解像度のスケール空間表現が探索され、（たとえば、歩行者がスケールにより「あまりに背が高い」ので）物体が見つからなかった場合、より低い解像度のスケール空間表現も探索され得る。別の例として、検出されている物体が比較的小さいかまたは複雑な形状を有するとき、より大きい（たとえば、より高い解像度の）スケール空間表現が好ましいことがある。
【００２８】
[0036]物体検出器１２８によって実行される例示的なプロセスが、図２Ａ、図２Ｂ、図２Ｃおよび図２Ｄを参照しながら説明の目的で説明される。プロセスは、画像センサー１０４に、座標空間中のポイント（ｘ０，ｙ０）など、特定のロケーションを割り当てることを含み得る。物体１１２の測定または報告された位置は、推定領域１１８の中心にあり得る位置（ｘ１，ｙ１）を割り当てられ得る。説明を簡単にするためにｘおよびｙ座標のみが説明されるが、画像センサー１０４および推定領域１１８の中心が、３Ｄ空間において、それぞれ座標（ｘ０，ｙ０，ｚ０）および（ｘ１，ｙ１，ｚ１）を有し得ることを理解されたい。
【００２９】
[0037]ラインセグメントＬ０Ｌ１は、（たとえば、カメラジオメトリと、解像度と、探索エリアサイズとに基づいて）画像センサー１０４からの特定の距離（ｄ）に関連し得る。ｄの値と画像センサー１０４の位置（ｘ０，ｙ０）とに基づいて、ラインセグメントＬ０Ｌ１は、ポイント（ｘ０，ｙ０）および（ｘ１，ｙ１）と同じ座標系を共有するロケーションにマッピング、適合、または転置され得る。視野ライン１１７、１１９と推定領域１１８との間の交差ポイント（すなわち、ポイントＣ０およびＣ１）が決定され得る。画像データ中のロケーション間の距離の計算を可能にするために、画像データは、ロケーションデータの座標系と「融合」され得る。いくつかの実施形態では、画像データの３Ｄ世界空間の投影は、デバイス（たとえば、車両、モバイルデバイスなど）の既知のロケーションと、視野と、画像センサー１０４の姿勢とに基づいてオフラインで実行され得る。次いで、投影は、物体検出中に走査されるべきポイントを識別するために、ロケーションデータと融合され得る。
【００３０】
[0038]画像センサー１０４から距離ｄにおいて、物体１１２（たとえば、歩行者）の位置はＣ０とＣ１との間にあることを諒解されたい。ラインセグメントＩ０Ｉ１は、物体１１２のための探索エリアの中心ポイントを表し得、ラインセグメントＬ０Ｌ１とラインセグメントＣ０Ｃ１との交差として定義され得る。図２Ａの例では、Ｉ０＝Ｃ０およびＩ１＝Ｃ１であり、したがって、ラインセグメントＩ０Ｉ１はラインセグメントＣ０Ｃ１に等しいことに留意されたい。しかしながら、物体のための推定領域が完全に画像センサーの視野内に位置するとは限らないとき、Ｉ０はＣ０に等しくないことがあり、および／またはＩ１はＣ１に等しくないことがある。たとえば、図２Ｃでは、Ｉ０＝Ｌ０およびＩ１＝Ｃ１である。
【００３１】
[0039]物体検出器１２８は、Ｉ０およびＩ１を画像座標にマッピングするために、線形マッピングを実行し得る。図２Ａの例では、Ｌ０は画像の左縁に対応し（０のｘ座標、すなわち、ｘ＝＝０を有する）、Ｌ１は画像の右側に対応する（画像の幅に等しいｘ座標、すなわち、ｘ＝＝ｉｍａｇｅ＿ｗｉｄｔｈを有する）。したがって、マッピング関数Ｍが次のように定義され得る。
【００３２】
【数１】
2018505479.tif 000003
【００３３】
【数２】
2018505479.tif 000004
【００３４】
[0040]物体のための探索エリアは、ｘ＝＝Ｍ（Ｉ０）とｘ＝＝Ｍ（Ｉ１）との間のｘ座標を有する画像中のロケーション（たとえば、探索ウィンドウの中心）に制限され得る。例示のために、図２Ａに示されているように、画像センサー１０４の水平視野が５４°であり、図２Ｂに示されているように、画像センサー１０４の垂直視野が３４°であると仮定する。水平および垂直視野は、代替実施形態ではより大きくなるかまたはより小さくなり得ることを理解されたい。また、ラインセグメントＬ０Ｌ１が１０８０ｐ解像度（１９２０ｘ１０８０ピクセル）に対応し、平均的な歩行者の高さが６フィート（約２メートル）であると仮定され、これは、高さ８０ピクセルである探索エリアに対応する。さらに、図２Ｂに示されているように、探索されている画像センサー１０４からの距離がｐフィートであり、その距離において、画像の上半分がｑフィートに対応すると仮定される。上記の仮定に鑑みて、以下が確立され得る。
【００３５】
【数３】
2018505479.tif 000005
【００３６】
【数４】
2018505479.tif 000006
【００３７】
[0041]式３および式４をｐについて解くと、
【００３８】
【数５】
2018505479.tif 000007
【００３９】
[0042]画像センサー１０４が（０，０）であると仮定された場合、歩行者の報告されたロケーション（すなわち、物体１１２に対応する円の中心）は、（ｘ１，ｙ１）＝＝（−５，１２０）であり、報告されたロケーションのあり得る誤差は、３０フィート以内である（すなわち、推定領域１１８の半径は３０である）。
【００４０】
【数６】
2018505479.tif 000008
【００４１】
Ｌ０は、ポイント
【００４２】
【数７】
2018505479.tif 000009
【００４３】
にある。Ｌ１は、ポイント
【００４４】
【数８】
2018505479.tif 000010
【００４５】
にある。
【００４６】
[0043]Ｌ０、Ｌ１、Ｃ０、およびＣ１が同一線上にあるので、すべての４つのポイントは、同じｙ座標、すなわち、本例では１３２を有する。式５にｙ＝＝１３２を代入すると、解（ｘ＋５）＝２７．５および（ｘ＋５）＝−２７．５になる。したがって、Ｃ０はポイント（−３２．５，１３２）に位置し、Ｃ１はポイント（２２．５，１３２）に位置する。前に定義されたマッピングＭを使用すると、
【００４７】
【数９】
2018505479.tif 000011
【００４８】
【数１０】
2018505479.tif 000012
【００４９】
[0044]したがって、物体１１２について、探索エリアは、左にｘ＝＝４９６だけ、および右にｘ＝＝１２８１だけの境界があり得、これは、ｘ＝＝０からｘ＝＝１９２０まで探索することと比較して約６０％の節約を与える。その上、上記の例は水平方向における計算および節約を示すが、計算量的節約は、ロケーションデータ１１６に基づいて、垂直方向において探索エリアを同様に制限することによっても、達成され得ることを理解されたい。
【００５０】
[0045]図２Ｃおよび図２Ｄは、動作の追加の例を示す。図２Ｃの例では、物体の推定領域は、画像センサーの視野と部分的に交差する。図２Ｄの例では、２つの物体検出動作が実行され、すなわち、第１の物体検出動作が、右側の物体を検出するために、（ラインセグメント２０２に対応する）第１のスケール空間表現に対して実行され、第２の物体検出動作が、左側の物体を検出するために、（ラインセグメント２０４に対応する）第２のスケール空間表現に対して実行される。
【００５１】
[0046]したがって、図１〜図２は、検出されるべき物体に関連するロケーションデータに基づいて、そこから生成された画像データまたは（１つまたは複数の）スケール空間表現に対して実行されるべきである物体検出動作を改良するように構成されたシステムの実施形態を示す。たとえば、ロケーションデータは、物体のための探索エリアをシーン全体よりも小さくなるように狭くするために使用され得、これにより、物体がより速く検出されることが可能になり得る。例示のために、車両を減速すること、車両を方向転換すること、および／または、たとえば、凍結する気象においてブレーキをかけると、歩行者に向かって車両を横すべりさせることになる場合、歩行者から離れるように車両を方向転換させながら車両の速度を上げることなどによって、車両（または車両の運転者）が歩行者に反応するのに十分に迅速に、歩行者が検出され得る。別の例示的な例として、動いているまたは静止した物体と衝突することを回避するために、車両のＡＤＡＳが車両の速度を変更するのに、および／または車両を方向転換するのに十分に迅速に、物体検出が実行され得る。
【００５２】
[0047]図３は、車両１０２の代替実施形態を示す。図３は、ロケーションデータ１１６を生成するロケーションセンサーが車両１０２の外部にあるという点で、図１とは異なる。たとえば、図３では、物体１１２は、ロケーションセンサー３０６を含むか、またはそれに関連する。いくつかの実装形態では、ロケーションセンサー３０６は、歩行者によって装着されるか、別の車両にアタッチまたは結合されるか、あるいは別の車両内に組み込まれ得る。上記で説明されたように、いくつかの実装形態では、ロケーションセンサー３０６は、物体１１２および車両１０２とは別個であり得る。たとえば、ロケーションセンサー３０６は、路側ユニット（ＲＳＵ）に固定されるか、街路標識に固定されるか、あるいは車両１０２とは別個である別の車両に固定されるかまたは関連し得る。いくつかの例では、静止した路側センサーがＲＳＵおよび／または車両と通信し得る。したがって、図３はロケーションセンサー３０６と車両１０２との間の直接通信を示すが、ロケーションセンサー３０６からのデータは、代替的に、車両１０２に達する前に、１つまたは複数の中間デバイスを通して送信され得る。例示のために、歩行者によって携帯されるロケーションセンサーからのデータは、ロケーションセンサーからＲＳＵに移動し、（たとえば、歩行者に最も近い）第１の車両に移動し、（たとえば、第１の車両に続いている）第２の車両に移動し得る。
【００５３】
[0048]車両１０２は、ワイヤレスネットワーク接続など、接続３５０を介してロケーションデータ１１６を受信するように構成された受信機３４０を含み得る。例示的な例では、ロケーションセンサー３０６と受信機３４０とは、セルラー接続、ワイドエリアネットワーク、米国電気電子技術者協会（ＩＥＥＥ）８０２．１１接続、アドホックネットワーク接続、専用短距離通信（ＤＳＲＣ）ネットワーク接続、または別のタイプの接続を介して通信する。
【００５４】
[0049]例示的な例では、ロケーションセンサー３０６から受信されたロケーションデータ１１６は、ロケーション座標、たとえば、ＧＰＳ座標を含む。物体１１２が別の車両である（たとえば、ロケーションセンサー３０６が、他の車両内にあるかまたはそれに結合されたデバイスの一部である）とき、ロケーションデータ１１６は、車車間（Ｖ２Ｖ：vehicle-to-vehicle）通信を使用して、（たとえば、ＤＲＳＣネットワークを介して）他の車両から受信され得る。別の例として、路側ユニット（ＲＳＵ）は車両に交通情報を送信し得る。例示のために、物体１１２は、車両１０２の移動のフィールド内の事故に関与する車両を含み得、ロケーションデータ１１６は、事故に関与する車両のロケーション座標を含み得る。この場合、受信機３４０は、路車間（Ｖ２Ｉ：vehicle-to-infrastructure）通信を使用して、ＲＳＵからロケーションデータ１１６を受信し得る。他の例では、ロケーションデータが複数のソースから受信され得ることを理解されたい。たとえば、共通の物体に関連するロケーションデータが、２つ以上の車両、ＲＳＵ、またはロケーションセンサーから受信され得る。ロケーションデータの複数のソースが使用されるとき、ソース（および／またはそこからのデータ）は、アグリゲートされ（aggregated）るか、優先度を付けられるか、または互いを改良するために使用され得る。たとえば、図１〜図２の推定領域１１８は、複数のソースによって与えられたロケーションデータのすべてを包含し得るか、最も信頼できるソースからのロケーションデータに対応し得るか、複数のソースの各々（またはサブセット）からのロケーションデータの交差に基づき得るか、あるいは場合によっては、複数のソースの一部または全部からのロケーションデータに基づいて決定され得る。
【００５５】
[0050]上記の実施形態は、ロケーションデータに基づいて画像データ中の物体検出を改良することについて説明したが、本開示はそのように限定されないことに留意されたい。本開示によれば、第１のセンサーからのデータが、第２のセンサーの動作を改良するために使用され得る。例示的な非限定的な例として、画像センサーの特性（たとえば、解像度、キャプチャ周波数、関心エリア、（可動カメラの場合）視野など）が、ロケーションデータに基づいて調整され得る。別の例として、画像データに基づいて物体の「粗い（coarse）」ロケーションを決定することなどによって、ロケーションセンサーによるロケーション決定の速度を上げるために、画像データが使用され得る。したがって、本開示は、異なるタイプのセンサーが、それらのそれぞれの動作を改良するために、互いに通信することを可能にする。
【００５６】
[0051]特定の実施形態では、プロセッサ１０８は、３次元（３Ｄ）マップアプリケーション１３０からのロケーションデータを使用して、物体検出動作を実行し得る。例示のために、３Ｄマップアプリケーション１３０は、探索されている「既知の」物体クラス（たとえば、歩行者、車両、交通標識など）に基づいて探索エリアを狭くするために物体検出器１２８によってアクセスされ得る３Ｄマップの部分またはエリアを示すか、あるいはそれを与え得る。図１は、ロケーションデータ１１６をロケーションセンサー１０６によって決定されるものとして示すが、代替実施形態では、ロケーションデータ１１６は、ロケーションセンサー１０６（または図３のロケーションセンサー３０６などの外部ロケーションセンサー）の代わりに、またはそれに加えて、３Ｄマップアプリケーション１３０に基づいて決定され得る。したがって、本明細書で説明される物体検出技法は、３Ｄマップデータが物体検出中に使用されるか、ロケーションセンサーが物体検出中に使用されるか、または３Ｄマップデータとロケーションセンサーの両方が物体検出中に使用される実施形態とともに使用され得る。
【００５７】
[0052]図４は、物体検出器１２８が３Ｄマップアプリケーション１３０からロケーションデータ１１６を受信し、ロケーションセンサーからの追加のロケーションデータを受信しないシステムの一例を示す。３Ｄマップアプリケーション１３０によって与えられたロケーションデータ１１６は、物体クラスが画像データ１１４内で存在し得るところを示し得る。たとえば、図４に示されているシステムは、車両が、歩行者、木の大枝、他の車両などのための検出を、３Ｄマップアプリケーション１３０から受信され、これらの物体が画像データ１１４中で存在し得るところを示すロケーションデータ１１６に基づいて、実行することを可能にし得る。
【００５８】
[0053]たとえば、物体検出器１２８が、シーンのスケール空間表現内で歩行者を検出するように構成された場合、３Ｄマップアプリケーション１３０は、歩行者がおそらく存在し得るシーンの１つまたは複数のエリア（たとえば、路面または地面の上方０メートルから３メートルまで）を示し得、物体検出器１２８は、別個のロケーションセンサーからデータを受信することなしに、示された（１つまたは複数の）エリアの探索を開始し得る。別の例では、３Ｄマップアプリケーション１３０は、物体検出器１２８が道路上にある物体を効率的に検出することができるように、路面に対応するシーンの１つまたは複数のエリアを示し得る。いくつかの実装形態では、物体クラスは、画像データ１１４および／またはロケーションデータ１１６に基づいて、プロセッサ１０８によって決定され得る。代替的に、物体クラスは、物体１１２によって示され（たとえば、図３に関して説明されたように、物体１１２によって受信機に送信され）得る。
【００５９】
[0054]動作中に、３Ｄマップが、車両１０２において動的に生成されるか、車両１０２にダウンロードまたは事前ダウンロードされるか、などであり得る。路面のロケーションを決定し、ロケーションデータ１１６を受信した後に、物体検出器１２８は、３Ｄマップに基づいて、路面に探索エリアを集中させ得る（たとえば、非路面エリアが画像探索エリアから除外され得る）。例示的な例として、図１のラインセグメントＬ０Ｌ１の一部分（または図１のラインセグメントＣ０Ｃ１）が非路面エリアに対応する場合、物体検出器１２８は、探索エリアからその部分を除外し得る。非路面エリアの例としては、路面の上または下の領域、および路面の左または右の領域がある。ただし、画像センサー１０４が車両または他のデバイスの一部として動いているとき、（１つまたは複数の）関心エリアは、３Ｄマップに対する車両またはデバイスのロケーションに基づいて、フレームごとに変動し得ることを理解されたい。たとえば、地形的変化が生じた（たとえば、車両が道路において上り坂または下り坂に接近した）とき、関心探索エリアは変化し得る。３Ｄマップアプリケーション１３０によって与えられたロケーションデータ１１６は、動的であり得、車両またはデバイスの既知のロケーションに応じて変化し得る。
【００６０】
[0055]いくつかの実装形態では、物体検出器１２８は、３Ｄマップアプリケーション１３０によって示された３Ｄマップに基づいて、探索エリアマスクを生成するように構成される。マスク画像が、３Ｄマップを使用して（たとえば、ストレージと計算負担との間のトレードオフに基づいて）オフラインまたはオンラインのいずれかで生成され得る。例示的なプロセスが、図６を参照しながらさらに説明される。
【００６１】
[0056]図５Ａは、歩行者が車両の視野内にいる２つのシナリオを示し、ここで、歩行者は、車両にとって利用可能な３Ｄマップデータによって表される地形上に位置する。第１のシナリオでは、５１０において、歩行者は車両のより近くにおり、その結果、車両は、物体検出を実行するために、より小さいスケール空間表現を使用する。第２のシナリオでは、５２０において、歩行者は車両からより遠くにおり、その結果、車両は、物体検出を実行するために、より大きいスケール空間表現を使用する。複数のスケール空間表現が、物体のあり得るロケーションと重複するとき、いくつかのスケール空間表現は処理され得、他のスケール空間表現はさらなる処理から除外される。例示的な非限定的な例として、より大きいスケール空間表現中の、車両に近い歩行者の高さおよび／または幅は、歩行者物体クラスまたはモデルを使用して検出するには大きすぎることがあるので、より小さい（たとえば、より低い解像度の）スケール空間表現が、その歩行者を検出するために好ましいことがある。物体検出を実行するより前に、探索されているスケール空間表現は、３Ｄマップアプリケーションによって与えられたロケーションデータに基づいてマスキングされ得る。マスクの例示的な例が、５３０において、図５Ｂに示されている。マスクは、スケール空間表現の異なる領域を、０または非０（たとえば、「１」または非０小数値（non-zero fractional value））でマークすることによって生成され得る。物体検出中に、非０でマークされたエリアが探索され得、０でマークされたエリアが無視され得る。非０小数値が使用されるとき、より高い非０小数値は、対応するエリア中で物体の位置を特定する、より高い確率を表し得る。たとえば、図５Ｂに示されているように、「０．５」でマークされたエリアは、「０．３」でマークされたエリアを探索するより前に探索され得る。
【００６２】
[0057]特定の実施形態では、マスクのエリアのための確率（たとえば、図５Ｂのマスク中の０．５および０．３）は、トレーニングサンプルのセットに基づいて生成され得る。トレーニングサンプルのセットは、歩行者が現れることがある（１つまたは複数の）場所の（１つまたは複数の）３Ｄ位置を含んでいることがある。トレーニングサンプルのセットはまた、専門家によって「危険」としてマークされた位置を含み得る。たとえば、そのような「危険」な位置は、歩行者が、見えにくいこと、運転者が気づくことが困難であること、事故に関与することなどのより高い可能性を有する位置であり得る。いくつかの実施形態では、トレーニングサンプルのセットの３Ｄ位置は、確率に関連し得る。マスク画像を生成する間、３Ｄ位置は画像平面上に投影され得、画像平面の基礎をなすピクセルに対応する３Ｄ位置に基づいて、マスクの異なる部分が、異なる確率を割り当てられ得る。
【００６３】
[0058]特定の実施形態では、３Ｄマップデータの代わりに、またはそれに加えて、センサーデータに関して確率モデルおよびマスクが使用され得る。たとえば、図１〜図２の推定領域１１８は、異なる下位領域が０から１の間の異なる確率値を有するマスクに対応し得る。確率値は、例示的な非限定的な例として、ロケーションセンサー（たとえば、ロケーションセンサー１０６）からのロケーションデータ、３Ｄマップアプリケーション（たとえば、３Ｄマップアプリケーション１３０）からのロケーションデータ、３Ｄマップデータ、センサーまたはアプリケーション誤差限界、センサー較正、および／あるいはセンサー感度に基づき得る。
【００６４】
[0059]したがって、プロセッサ１０８は、３Ｄマップデータと物体の物体クラスとに基づいて、１つまたは複数の探索エリアを決定し得る。物体検出器は、図１を参照しながら説明されたように、探索エリア中で物体検出を実行し得る。物体検出を実行するために３Ｄマップデータを使用するとき、投影が、（１つまたは複数の）位置特定結果のあり得る不正確さに鑑みて実行され得ることに留意されたい。すなわち、様々なカメラロケーションが、位置特定の不正確さにより列挙され得る。また、特定の実施形態では、マスク／探索エリアが、オフラインで構成され、カメラ（たとえば、画像センサー１０４）から受信されたリアルタイム（またはほぼリアルタイム）ストリームにおいて、（たとえば、マスクオフされたエリアの探索をスキップするために）使用され得ることに留意されたい。その上、３Ｄマップを動的に構成する代わりに、おおよそリアルタイム（またはほぼリアルタイム）平面を与え得る平面／表面推定器を用いて、３Ｄ状態が近似され得る。たとえば、たいていの道路が平坦面上にあるエリアでは、３Ｄマップは、投影されるマスクを推定するために、いくらかの傾斜変動（slope variation）をもつ平面を使用することによって推定され得る。特定の実施形態では、上記の方法はまた、特定のエリア中で関心物体を見つけるために使用され得る。たとえば、物体検出器１２８は、車両１０２の「現在の」運転車線を含むかまたはそれに近いエリア中の歩行者（または他の物体）を見つけ得るが、歩道エリア中の歩行者を無視し得る。別の例として、物体検出器１２８は、トラッキングエリアがマスクに基づいて制限される、物体トラッキングフレームワークの一部であり得る。
【００６５】
[0060]図１〜図３は、ロケーションセンサーからのロケーションデータを使用して物体検出を実行することを表し、図４は、ロケーションセンサーの代わりに３Ｄマップアプリケーションによって与えられたロケーションデータを使用して物体検出を実行することを示すが、上述の実施形態は相互排他的でないことに留意されたい。いくつかの例では、３Ｄマップデータが、ロケーションセンサーからのデータとともに使用され得、より速い物体検出と（１つまたは複数の）走査エリアのさらなる縮小とを可能にし得る。
【００６６】
[0061]図６を参照すると、３Ｄマップデータに基づいて（１つまたは複数の）関心エリアを識別する方法の特定の実施形態が示されており、全体的に６００と称される。方法６００は、ブロック６０２において、３Ｄマップデータを受信することを含む。たとえば、３Ｄマップアプリケーション１３０は、外部データソース、ローカルストレージデバイスからなど、３Ｄマップデータを受信し得る。方法６００はまた、ブロック６０４において、３Ｄマップのロケーションが関心物体を含む可能性があるかどうかを決定することを含む。そのロケーションが関心物体を含む可能性がある場合、方法６００は、ブロック６０６において、物体検出器に与えられるべきロケーションデータとしてロケーションを識別することを含む。ロケーションが関心物体を含む可能性がない場合、またはロケーションデータを識別した後に、方法６００は、ブロック６０８において、追加のロケーションが検査されるべきであるかどうかを決定することを含む。追加のロケーションが検査されるべきである場合、方法６００はブロック６０４に戻る。例示のために、図４〜図５を参照すると、ロケーションデータ１１６は、５１０における車両に近い歩行者、または５２０における車両から遠い歩行者など、歩行者を含む可能性がある地形の１つまたは複数のエリアを示し得る。
【００６７】
[0062]ブロック６１０に進むと、方法６００は、関心物体の物体クラスに基づくサイズで、ロケーションデータ中に関心物体を投影することを含む。図５Ａの例では、歩行者は、車両によって移動されている道路に対応する、識別されたロケーションデータ中に投影され得る。方法６００は、ブロック６１２において、投影された関心物体と重複するスケール空間表現を決定することと、ブロック６１４において、スケール空間表現の（１つまたは複数の）重複するエリアを（１つまたは複数の）非０値でマークすることとをさらに含む。例示のために、図５Ａ中の、５１０における車両により近い歩行者の場合、小さいスケール空間表現中のエリアが非０値でマスキングされ得る。図５Ａ中の、５２０における車両からより遠い歩行者の場合、大きいスケール空間表現中のエリアが非０値でマスキングされ得る。例示的な例では、スケール空間表現は、図５Ｂ中で５３０において示されているようにマスキングされ得る。
【００６８】
[0063]一例では、３Ｄマップデータが、画像センサーの向きまたは視野を変更するために使用され得、および／あるいは３Ｄマップデータが、複数の画像センサーによって生成される画像データの一部分を選択するために使用され得る。別の例として、車両が左または右に曲がるとき、車両の画像センサーは、画像センサーが車両「の前方に」ある画像データをキャプチャし続けるように、左または右に自動的に作動させられ得る。別の例として、車両の画像センサーが、歩行者、他の接近する車両、道路危険などを識別するために、左および右を「見る」ように自動的に作動させられ得る。例示のために、車両の周囲の３６０°スティッチされたビューが生成され得、車両の運転者は、運転者が後で向かい得る街路を横断する歩行者がいる場合、前もって通知され得る。特定の実施形態では、運転者が（たとえば、車両のナビゲーションアプリケーションまたは車両内のモバイルデバイスによって与えられる）進路変更ごとのナビゲーション指示を使用しているとき、ナビゲーション指示は、探索エリアに優先度を付けること、探索マスクのための確率値を決定することなどを行うために、車両によって行われるであろう進路変更、行われるであろう車線変更などを予期するために使用され得る。
【００６９】
[0064]方法６００は、ブロック６１６において、関心物体を識別するために、非０値でマークされたスケール空間表現の（１つまたは複数の）エリアを、高いものから順に探索することを含む。たとえば、図５Ｂに示されているマスクを参照すると、「０．５」でマークされたエリアは、「０．３」でマークされたエリアを探索するより前に探索され得る。方法６００はブロック６１８において終了する。
【００７０】
[0065]したがって、図６の方法６００は、３Ｄマップデータに基づいて１つまたは複数のスケール空間表現に対する物体検出を実行することの一例を示す。３Ｄマップデータは、ロケーションセンサーによって与えられたロケーションデータの代わりに、またはそれに加えて使用され得る。
【００７１】
[0066]図７を参照すると、物体検出の例示的な方法が示されており、全体的に７００と称される。方法７００は、ブロック７０２において、物体を含むシーンの画像データを画像センサーから受信することを含む。画像データは、シーンの複数のスケール空間表現に関連する。たとえば、プロセッサ１０８は、画像データ１１４を画像センサー１０４から受信し得、ここで、画像データ１１４は、スケール空間表現１２０〜１２４に関連する（たとえば、それらを生成するために使用され得る）。
【００７２】
[0067]方法７００はまた、ブロック７０４において、物体に関連するか、または物体が存在し得るエリアを示すロケーションデータを受信することを含む。たとえば、プロセッサ１０８は、図１を参照しながら説明されたように、車両１０２中の車載ロケーションセンサー１０６から、ロケーションデータ１１６を受信し得る。別の例として、プロセッサ１０８は、図３を参照しながら説明されたように、車両１０２の外部にあるロケーションセンサー３０６から、受信機３４０を介して、ロケーションデータ１１６を受信し得る。別の例では、物体検出器１２８は、図４を参照しながら説明されたように、３Ｄマップアプリケーション１３０からロケーションデータ１１６を受信し、ロケーションデータは、（たとえば、道路上、車線内など）物体が存在し得るエリアを示し得る。また別の例では、ロケーションデータが、複数のロケーションセンサー、ロケーションセンサーおよび３Ｄマップアプリケーションからなど、複数のソースから受信され得る。
【００７３】
[0068]方法７００は、ブロック７０６において、第１のスケール空間表現がロケーションデータと重複するかどうかを決定することをさらに含む。第１のスケール空間表現がロケーションデータと重複するとき、ブロック７１０において、第１のスケール空間表現中の探索エリアを識別する。ブロック７１２に進むと、探索エリア中で物体検出を実行する。例示のために、図１の例では、物体検出器１２８は、スケール空間表現１２２が、ロケーションデータ１１６に対応する推定領域１１８と重複すると決定し得る。応答して、物体検出器１２８は、式１〜式５を参照しながら説明されたように、スケール空間表現１２２の探索エリアを決定し得、探索エリア中で物体検出を実行し得る。
【００７４】
[0069]代替的に、第１のスケール空間表現がロケーションデータと重複しないとき、方法７００は、ブロック７０８において、スケール空間表現に対する物体検出の実行を回避することを含む。例示のために、図１の例では、物体検出器は、推定領域１１８とスケール空間表現１２０および１２４との間の重複がないことにより、スケール空間表現１２０および１２４に対する物体検出を実行することを回避し得る。ブロック７１４に進むと、方法７００は、（たとえば、複数のスケール空間表現がロケーションデータと重複するとき）追加のスケール空間表現が検査されるべきであるかどうかを決定することを含む。追加のスケール空間表現が検査されるべきである場合、方法７００はブロック７０６に戻る。そうでない場合、またはブロック７１２において物体検出が実行された後に、方法７００は、ブロック７１６において、追加の物体が検出されるべきであるかどうかを決定することを含む。追加の物体が検出されるべきである場合、方法７００は、追加の物体のためのロケーションデータを処理するために、ブロック７０４に戻る。そうでない場合、方法７００はブロック７１８において終了する。
【００７５】
[0070]複数のスケール空間表現がロケーションデータと重複することがわかったとき、（たとえば、関心物体が検出されるまで）１つの、いくつかの、またはすべての重複するスケール空間表現に対して、物体検出が実行され得る。たとえば、図５Ａを参照しながら説明されたように、最低解像度のスケール空間表現が、車両に近い歩行者を検出するために、最初に検査され得る。
【００７６】
[0071]方法６００および／または方法７００の１つまたは複数の動作は、処理ユニットなどのハードウェアデバイスによって、開始、制御、または実行され得る。たとえば、特定の実装形態に応じて、処理ユニットは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイス、特定用途向け集積回路（ＡＳＩＣ）、中央処理ユニット（ＣＰＵ）などの処理ユニット、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、別のハードウェアデバイス、ファームウェアデバイス、またはそれらの組合せを含み得る。
【００７７】
[0072]図８を参照すると、電子デバイスの特定の例示的な実施形態のブロック図が示されており、全体的に８００と称される。特定の実施形態では、電子デバイス８００またはそれの構成要素は、（たとえば、モバイルフォン、タブレットコンピュータ、スマートウォッチなどの一部として）歩行者によって装着または携帯され得る。別の特定の実施形態では、電子デバイス８００またはそれの構成要素は、車両中に含まれ得るか、または車両にアタッチ／結合され得る。別の特定の実施形態では、電子デバイス８００またはそれの構成要素は、路側ユニット（ＲＳＵ）、街路標識、交通信号、あるいは別の路側物体またはデバイス中に含まれ得るか、またはそれらにアタッチ／結合され得る。さらなる実施形態では、電子デバイス８００は、コンピュータ（たとえば、ラップトップコンピュータ、タブレットコンピュータ、またはデスクトップコンピュータ）、セットトップボックス、エンターテインメントユニット、ナビゲーションデバイス、携帯情報端末（ＰＤＡ）、テレビジョン、チューナー、無線機（たとえば、衛星無線）、音楽プレーヤ（たとえば、デジタル音楽プレーヤ、および／またはポータブル音楽プレーヤ）、ビデオプレーヤ（たとえば、デジタルビデオディスク（ＤＶＤ）プレーヤおよび／またはポータブルデジタルビデオプレーヤなど、デジタルビデオプレーヤ）、別の電子デバイス、あるいはそれらの組合せに対応し得る。
【００７８】
[0073]電子デバイス８００は、例示的な例として、メモリ８３２と、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、および／またはグラフィックス処理ユニット（ＧＰＵ）など、プロセッサ８１０とを含む。プロセッサ８１０は命令８６８を実行し得る。例示的な例では、命令８６８は、限定はしないが、図６の方法６００および／または図７の方法７００を含む、本明細書で説明される１つまたは複数の機能または方法を実行するために、プロセッサ８１０によって実行可能である。プロセッサ８１０はまた、物体検出器８６９（たとえば、図１、図３、および図４の物体検出器１２８）と３Ｄマップアプリケーション８７０（たとえば、図１および図４の３Ｄマップアプリケーション１３０）とに対応するハードウェアを含み、および／またはそれらに対応するソフトウェア命令を実行し得る。
【００７９】
[0074]図８は、プロセッサ８１０とディスプレイ８２８とに結合されたディスプレイコントローラ８２６をも示す。アナログオーディオ処理フロントエンドなどのコーダ／デコーダ（コーデック）８３４もプロセッサ８１０に結合され得る。スピーカー８３６およびマイクロフォン８３８がコーデック８３４に結合され得る。図８は、ワイヤレスコントローラおよび／またはトランシーバなど、ワイヤレスインターフェース８４０が、プロセッサ８１０とアンテナ８４２とに結合され得ることをも示す。特定の実施形態では、電子デバイス８００は、複数のワイヤレスインターフェースおよびアンテナを含み得る。各ワイヤレスインターフェースおよび／またはアンテナは、異なる通信技術またはネットワーク（たとえば、セルラー、ＩＥＥＥ８０２．１１、ＤＳＲＣなど）に対応し得る。
【００８０】
[0075]特定の実施形態では、プロセッサ８１０は、画像センサー８８０（たとえば、図１、図３、および図４の画像センサー１０４）にさらに結合され得る。プロセッサ８１０はまた、ロケーションセンサー８９０（たとえば、図１のロケーションセンサー１０６）に結合され得る。代替的に、プロセッサ８１０は、ワイヤレスインターフェース８４０および／またはアンテナ８４２など、受信機を介して外部ロケーションセンサーからロケーションデータを受信し得、ならびに／あるいはプロセッサ８１０は３Ｄマップアプリケーション８７０からロケーションデータを受信し得る。
【００８１】
[0076]特定の実施形態では、プロセッサ８１０、ディスプレイコントローラ８２６、コーデック８３４、ワイヤレスインターフェース８４０、画像センサー８８０、および（存在するとき）ロケーションセンサー８９０は、システムインパッケージまたはシステムオンチップデバイス８２２中に含まれる。さらに、入力デバイス８３０および電源８４４がシステムオンチップデバイス８２２に結合され得る。その上、特定の実施形態では、図８に示されているように、ディスプレイ８２８、入力デバイス８３０、スピーカー８３６、マイクロフォン８３８、アンテナ８４２、および電源８４４は、システムオンチップデバイス８２２の外部にある。ただし、ディスプレイ８２８、入力デバイス８３０、スピーカー８３６、マイクロフォン８３８、アンテナ８４２、および電源８４４の各々は、インターフェースにまたはコントローラになど、システムオンチップデバイス８２２の構成要素に結合され得る。
【００８２】
[0077]説明される実施形態に関して、装置は、装置から閲覧され、物体を含むシーンの画像データを受信するための手段を含み、画像データはシーンの複数のスケール空間表現に関連する。たとえば、受信するための手段は、画像センサー１０４、画像センサー８８０、画像センサーに結合されたプロセッサまたはコントローラ（たとえば、プロセッサ１０８またはプロセッサ８１０）、画像データを受信するように構成された別のデバイス、あるいはそれらの任意の組合せを含み得る。本装置は、処理するための手段をも含む。処理するための手段は、第１のスケール空間表現と、物体に関連するか、または物体が存在し得るエリアを示すロケーションデータとの間の重複に基づいて、複数のスケール空間表現の第１のスケール空間表現の探索エリアを識別するように構成される。処理するための手段はまた、第１のスケール空間表現の探索エリア中で物体検出を実行するように構成される。たとえば、処理するための手段は、プロセッサ１０８、物体検出器１２８、プロセッサ８１０、物体検出器８６９、３Ｄマップアプリケーション１３０、３Ｄマップアプリケーション８７０、データを処理するように構成された別のデバイス、またはそれらの任意の組合せを含み得る。特定の実施形態では、本装置は、ロケーションデータを生成するための手段を含む。たとえば、ロケーションデータを生成するための手段は、ロケーションセンサー１０６、ロケーションセンサー３０６、ロケーションセンサー８９０、３Ｄマップアプリケーション１３０、ロケーションデータを生成するように構成された別のデバイス、またはそれらの任意の組合せを含み得る。特定の実施形態では、本装置は、外部ロケーションセンサーからロケーションデータを受信するための手段を含む。たとえば、受信するための手段は、受信機３４０、ワイヤレスインターフェース８４０、アンテナ８４２、外部センサーからデータを受信するように構成された別のデバイス、またはそれらの任意の組合せを含み得る。
【００８３】
[0078]上記の開示されたデバイスおよび機能は、コンピュータファイル（たとえば、ＲＴＬ、ＧＤＳＩＩ、ＧＥＲＢＥＲなど）を使用して設計され、表され得る。コンピュータファイルはコンピュータ可読媒体に記憶され得る。一部または全部のそのようなファイルは、そのようなファイルに基づいてデバイスを作製する作製ハンドラに与えられ得る。得られた製品は、次いで、ダイに切断され、集積回路（または「チップ」）にパッケージングされる、ウエハを含む。次いで、チップは、車両１０２の構成要素、電子デバイス８００など、電子デバイスにおいて採用される。
【００８４】
[0079]図１〜図８のうちの１つまたは複数は、本開示の教示によるシステム、装置、および／または方法を示し得るが、本開示は、これらの示されたシステム、装置、および／または方法に限定されない。本明細書で示されるまたは説明される図１〜図８のいずれかの１つまたは複数の機能または構成要素は、図１〜図８の別の１つまたは複数の他の部分と組み合わせられ得る。したがって、いずれの単一の例も、限定的なものと解釈されるべきではなく、本開示の実施形態は、本開示の教示から逸脱することなく適切に組み合わせられ得る。
【００８５】
[0080]さらに、本明細書で開示される実施形態に関して説明される様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、プロセッサによって実行されるコンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は諒解されよう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップが、概してそれらの機能に関して上記で説明された。そのような機能がハードウェアとして実装されるか、プロセッサ実行可能命令として実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。
【００８６】
[0081]本明細書で開示される実施形態に関して説明された方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、あるいは当技術分野において知られている任意の他の形態の非一時的コンピュータ可読またはプロセッサ可読記憶媒体または記憶デバイス中に常駐し得る。例示的な記憶媒体またはデバイスは、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体またはデバイスはプロセッサに一体化され得る。プロセッサおよび記憶媒体またはデバイスは特定用途向け集積回路（ＡＳＩＣ）中に存在し得る。ＡＳＩＣはコンピューティングデバイスまたはユーザ端末中に存在し得る。代替として、プロセッサおよび記憶媒体またはデバイスは、コンピューティングデバイスまたはユーザ端末中に個別構成要素として存在し得る。コンピュータ可読またはプロセッサ可読記憶媒体または記憶デバイスは、信号ではない。
【００８７】
[0082]開示される実施形態の上記の説明は、開示される実施形態を当業者が作成または使用することを可能にするために与えられた。これらの実施形態への様々な変更は当業者には容易に明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、本明細書に示された実施形態に限定されるものではなく、以下の特許請求の範囲によって定義される原理および新規の特徴に一致する可能な最も広い範囲を与えられるべきである。
【図１】
2018505479.tif 000013
【図２Ａ】
2018505479.tif 000014
【図２Ｂ】
2018505479.tif 000015
【図２Ｃ】
2018505479.tif 000016
【図２Ｄ】
2018505479.tif 000017
【図３】
2018505479.tif 000018
【図４】
2018505479.tif 000019
【図５Ａ】
2018505479.tif 000020
【図５Ｂ】
2018505479.tif 000021
【図６】
2018505479.tif 000022
【図７】
2018505479.tif 000023
【図８】
2018505479.tif 000024
【手続補正書】
【提出日】平成29年9月22日(2017.9.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体に関連するロケーションデータを受信することと、画像センサーからシーンの画像データを受信することとを行うように構成された物体検出器を備える装置であって、前記シーンが前記装置から閲覧され、前記物体を含み、前記画像データが前記シーンの複数のスケール空間表現に関連し、前記物体検出器が、前記ロケーションデータに基づいて前記複数のスケール空間表現の第１のスケール空間表現を選択することと、前記ロケーションデータと前記選択された第１のスケール空間表現とに基づいて前記物体を検出するようにさらに構成された、装置。
【請求項２】
前記物体検出器は、前記ロケーションデータに基づいて前記第１のスケール空間表現の探索エリアを識別するように構成され、ここにおいて、前記探索エリアがシーン全体よりも小さく、前記複数のスケール空間表現の各々は、前記シーンの異なる解像度画像に対応する、請求項１に記載の装置。
【請求項３】
前記探索エリアが、前記第１のスケール空間表現に関連する第１のエリアと前記ロケーションデータに関連する第２のエリアとの重複に対応する、請求項２に記載の装置。
【請求項４】
前記物体検出器は、前記探索エリアのマスクを生成するようにさらに構成され、前記マスクが複数の領域を備え、前記複数の領域の各々は、前記画像データに関連する１つまたは複数のピクセルに、および前記領域中で前記物体を検出する確率を示す値に対応する、請求項３に記載の装置。
【請求項５】
前記物体検出器は、第２のスケール空間表現に関連する第１のエリアが、前記ロケーションデータに関連する第２のエリアと重複しないという決定に応答して、前記複数のスケール空間表現の前記第１のスケール空間表現を選択するように構成された、請求項１に記載の装置。
【請求項６】
前記物体検出器が、前記第１のスケール空間表現に関連する第３のエリアが前記物体の検出より前に前記第２のエリアと重複するかどうかを決定するようにさらに構成された、請求項５に記載の装置。
【請求項７】
前記第１のスケール空間表現は、前記シーンの第１の解像度画像に対応し、前記第２のスケール空間表現は、前記シーンの第２の解像度画像に対応し、前記第２の解像度画像は、前記第１の解像度画像よりも低い解像度画像である、請求項５に記載の装置。
【請求項８】
前記ロケーションデータが、ロケーションセンサーから受信される、請求項１に記載の装置。
【請求項９】
前記ロケーションセンサーが、レーダーデバイス、光検出および測距（ライダー）デバイス、全地球測位システム（ＧＰＳ）デバイス、超音波デバイス、専用短距離通信デバイス、またはそれらの任意の組合せを備える、請求項８に記載の装置。
【請求項１０】
前記ロケーションセンサーが前記装置とは別個である、請求項８に記載の装置。
【請求項１１】
前記ロケーションデータは、前記物体が存在し得るところを示す３次元（３Ｄ）マップの１つまたは複数のエリアに対応する、請求項１に記載の装置。
【請求項１２】
前記ロケーションデータが、ロケーションセンサーによって与えられる前記物体のロケーションにも関連する、請求項１１に記載の装置。
【請求項１３】
前記画像センサーをさらに備え、前記画像センサーと前記物体検出器とが、前記装置に動作可能に結合された、請求項１に記載の装置。
【請求項１４】
物体を検出する方法であって、前記方法は、
プロセッサにおいて、装置から閲覧され、物体を含むシーンの画像データを画像センサーから受信することと、前記画像データが前記シーンの複数のスケール空間表現に関連する、
前記プロセッサにおいて、前記物体に関連するロケーションデータを受信することと、
前記プロセッサにおいて、前記ロケーションデータに基づいて前記複数のスケール空間表現の第１のスケール空間表現を選択することと、
前記プロセッサにおいて、前記第１のスケール空間表現と前記ロケーションデータとに基づいて、前記第１のスケール空間表現の探索エリアを識別することと、
前記プロセッサにおいて、前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を備える、方法。
【請求項１５】
前記探索エリアが、前記第１のスケール空間表現に関連する第１のエリアと前記ロケーションデータに関連する第２のエリアとの重複に対応する、請求項１４に記載の方法。
【請求項１６】
前記複数のスケール空間表現の前記第１のスケール空間表現および第２のスケール空間表現の各々が前記ロケーションデータと重複するかどうかを決定することをさらに備え、前記第１のスケール空間表現は、ある方向における前記装置からの第１の距離に関連し、前記第２のスケール空間表現は、前記方向における前記装置からの第２の距離に関連し、前記第１の距離は前記第２の距離とは異なる、請求項１４に記載の方法。
【請求項１７】
前記第２のスケール空間表現が前記ロケーションデータと重複しないと決定したことに応答して、前記第２のスケール空間表現に対する物体検出の前記実行を回避することをさらに備える、請求項１６に記載の方法。
【請求項１８】
前記第２のスケール空間表現が前記ロケーションデータと重複すると決定したことに応答して、前記第２のスケール空間表現に対する物体検出を実行することをさらに備え、ここにおいて、前記第２のスケール空間表現が、前記第１のスケール空間表現よりも低解像度表現である、請求項１６に記載の方法。
【請求項１９】
前記画像データは、前記複数のスケール空間表現のうちの少なくとも１つのスケール空間表現を含み、前記少なくとも１つのスケール空間表現に基づいて前記複数のスケール空間表現の第２のスケール空間表現を生成することをさらに備える、請求項１４に記載の方法。
【請求項２０】
前記少なくとも１つのスケール空間表現は、前記第１のスケール空間表現を備え、前記第２のスケール空間表現を生成することは、前記第２のスケール空間表現を生成するために前記第１のスケール空間表現をダウンサンプリングすることを備える、請求項１９に記載の方法。
【請求項２１】
前記画像データは、前記第１のスケール空間表現に対応し、前記プロセッサにおいて、前記シーンの第２の画像データを第２の画像センサーから受信することをさらに備え、前記第２の画像データは、第２のスケール空間表現に対応する、請求項１４に記載の方法。
【請求項２２】
前記探索エリアのマスクを生成することをさらに備え、前記マスクが複数の領域を備え、前記複数の領域の各々が前記領域中で前記物体を検出する確率を示す値に対応する、請求項１４に記載の方法。
【請求項２３】
前記探索エリア中で物体検出を実行することが、前記複数の領域の１つまたは複数の値に少なくとも部分的に基づく、請求項２２に記載の方法。
【請求項２４】
前記ロケーションデータは、前記物体が存在し得るところを示す３次元（３Ｄ）マップの１つまたは複数のエリアに対応する、請求項１４に記載の方法。
【請求項２５】
前記ロケーションデータが、ロケーションセンサーによって与えられる前記物体のロケーションにも関連する、請求項２４に記載の方法。
【請求項２６】
装置であって、
前記装置から閲覧され、物体を含むシーンの画像データを受信するための手段と、前記画像データが前記シーンの複数のスケール空間表現に関連する、
処理するための手段と
を備え、ここにおいて、処理するための前記手段が、
前記物体に関連するロケーションデータに基づいて前記複数のスケール空間表現の第１のスケール空間表現を選択することと、
前記第１のスケール空間表現と、前記ロケーションデータとに基づいて、前記複数のスケール空間表現の前記第１のスケール空間表現の探索エリアを識別することと、
前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を行うように構成された、装置。
【請求項２７】
前記ロケーションデータを生成するための手段をさらに備える、請求項２６に記載の装置。
【請求項２８】
外部ロケーションセンサーから前記ロケーションデータを受信するための手段をさらに備える、請求項２６に記載の装置。
【請求項２９】
物体を検出するための命令を記憶するコンピュータ可読記憶デバイスであって、前記命令は、プロセッサに、
装置から閲覧され、物体を含むシーンの画像データを画像センサーから受信することと、前記画像データが前記シーンの複数のスケール空間表現に関連する、
前記物体に関連するロケーションデータを受信することと、
前記ロケーションデータに基づいて前記複数のスケール空間表現の第１のスケール空間表現を選択することと、
前記第１のスケール空間表現と前記ロケーションデータとに基づいて、前記複数のスケール空間表現の前記第１のスケール空間表現の探索エリアを識別することと、
前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を行わせるために、前記プロセッサによって実行可能である、コンピュータ可読記憶デバイス。
【請求項３０】
前記第１のスケール空間表現は、前記第１のスケール空間表現が前記物体に関連する第１の推定領域と重なるという決定に基づいて選択され、前記命令は、前記プロセッサに、
前記複数のスケール空間表現の第２のスケール空間表現が前記第１の推定領域と重複するかどうかを決定することと、
第２の物体に関連する第２のロケーションデータを受信することと、前記第２の物体は前記画像データに含まれる、
前記複数のスケール空間表現の第３のスケール空間表現が前記第２の物体に関連する第２の推定領域と重なるかどうかを決定することと、
前記第３のスケール空間表現が前記第２の推定領域と重なることに応答して、
前記第３のスケール空間表現と前記第２のロケーションデータとに基づいて前記第３のスケール空間表現の第２の探索エリアを識別することと、
前記第３のスケール空間表現の前記第２の探索エリア中で物体検出を実行することと
を行わせるために、前記プロセッサによってさらに実行可能である、請求項２９に記載のコンピュータ可読記憶デバイス。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
[0082]開示される実施形態の上記の説明は、開示される実施形態を当業者が作成または使用することを可能にするために与えられた。これらの実施形態への様々な変更は当業者には容易に明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、本明細書に示された実施形態に限定されるものではなく、以下の特許請求の範囲によって定義される原理および新規の特徴に一致する可能な最も広い範囲を与えられるべきである。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ロケーションデータと画像センサーからシーンの画像データとを受信するように構成された物体検出器を備える装置であって、前記シーンが前記装置から閲覧され、物体を含み、前記画像データが前記シーンの複数のスケール空間表現に関連し、前記物体検出器が、前記ロケーションデータと前記複数のスケール空間表現の第１のスケール空間表現とに応答して前記物体を検出するようにさらに構成された、装置。
［Ｃ２］
前記物体検出器は、前記ロケーションデータに基づいて前記第１のスケール空間表現の探索エリアを識別するように構成され、ここにおいて、前記探索エリアがシーン全体よりも小さい、Ｃ１に記載の装置。
［Ｃ３］
前記探索エリアが、前記第１のスケール空間表現に関連する第１のエリアと前記ロケーションデータに関連する第２のエリアとの重複に対応する、Ｃ２に記載の装置。
［Ｃ４］
前記物体検出器は、前記探索エリアのマスクを生成するようにさらに構成され、前記マスクが複数の領域を備え、各々が前記領域中で前記物体を検出する確率を示す割り当てられた値を有する、Ｃ３に記載の装置。
［Ｃ５］
前記物体検出器は、前記第１のスケール空間表現に関連する第１のエリアが、前記ロケーションデータに関連する第２のエリアと重複しないと決定したことに応答して、前記複数のスケール空間表現の第２のスケール空間表現を選択するように構成された、Ｃ１に記載の装置。
［Ｃ６］
前記物体検出器が、前記ロケーションデータに基づいて前記第２のスケール空間表現の探索エリアを識別するようにさらに構成された、Ｃ５に記載の装置。
［Ｃ７］
前記探索エリアが、前記ロケーションデータに関連する前記第２のエリアと前記第２のスケール空間表現に関連する第３のエリアとの重複に対応する、Ｃ６に記載の装置。
［Ｃ８］
前記ロケーションデータが、前記物体に関連し、ロケーションセンサーから受信される、Ｃ１に記載の装置。
［Ｃ９］
前記ロケーションセンサーが、レーダーデバイス、光検出および測距（ライダー）デバイス、全地球測位システム（ＧＰＳ）デバイス、超音波デバイス、専用短距離通信デバイス、またはそれらの任意の組合せを備える、Ｃ８に記載の装置。
［Ｃ１０］
前記ロケーションセンサーが前記装置とは別個である、Ｃ８に記載の装置。
［Ｃ１１］
前記ロケーションデータは、前記物体が存在し得るところを示す３次元（３Ｄ）マップの１つまたは複数のエリアに対応する、Ｃ１に記載の装置。
［Ｃ１２］
前記ロケーションデータが、ロケーションセンサーによって与えられる前記物体のロケーションにも関連する、Ｃ１１に記載の装置。
［Ｃ１３］
前記画像センサーと前記物体検出器とが、前記装置に動作可能に結合された、Ｃ１に記載の装置。
［Ｃ１４］
物体を検出する方法であって、前記方法は、
プロセッサにおいて、装置から閲覧され、物体を含むシーンの画像データを画像センサーから受信することと、前記画像データが前記シーンの複数のスケール空間表現に関連する、
前記プロセッサにおいて、前記物体に関連するか、または前記物体が存在し得るエリアを示すロケーションデータを受信することと、
前記プロセッサにおいて、第１のスケール空間表現と前記ロケーションデータとの重複に基づいて、前記複数のスケール空間表現の前記第１のスケール空間表現の探索エリアを識別することと、
前記プロセッサにおいて、前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を備える、方法。
［Ｃ１５］
前記探索エリアが、前記第１のスケール空間表現に関連する第１のエリアと前記ロケーションデータに関連する第２のエリアとの重複に対応する、Ｃ１４に記載の方法。
［Ｃ１６］
前記複数のスケール空間表現の第２のスケール空間表現が前記ロケーションデータと重複するかどうかを決定することをさらに備える、Ｃ１４に記載の方法。
［Ｃ１７］
前記第２のスケール空間表現が前記ロケーションデータと重複しないと決定したことに応答して、前記第２のスケール空間表現に対する物体検出の前記実行を回避することをさらに備える、Ｃ１６に記載の方法。
［Ｃ１８］
前記第２のスケール空間表現が前記ロケーションデータと重複すると決定したことに応答して、前記第２のスケール空間表現に対する物体検出を実行することをさらに備え、ここにおいて、前記第２のスケール空間表現が、前記第１のスケール空間表現よりも低解像度表現である、Ｃ１６に記載の方法。
［Ｃ１９］
前記ロケーションデータが、前記物体に関連し、ロケーションセンサーから受信される、Ｃ１４に記載の方法。
［Ｃ２０］
前記ロケーションセンサーが、レーダーデバイス、光検出および測距（ライダー）デバイス、全地球測位システム（ＧＰＳ）デバイス、超音波デバイス、専用短距離通信デバイス、またはそれらの任意の組合せを含む、Ｃ１９に記載の方法。
［Ｃ２１］
前記画像センサーと、前記ロケーションセンサーと、前記プロセッサとが、前記装置に動作可能に結合された、Ｃ１９に記載の方法。
［Ｃ２２］
前記探索エリアのマスクを生成することをさらに備え、前記マスクが複数の領域を備え、各領域が前記領域中で前記物体を検出する確率を示す割り当てられた値を有する、Ｃ１４に記載の方法。
［Ｃ２３］
前記探索エリア中で物体検出を実行することが、各領域の前記割り当てられた値に少なくとも部分的に基づく、Ｃ２２に記載の方法。
［Ｃ２４］
前記ロケーションデータは、前記物体が存在し得るところを示す３次元（３Ｄ）マップの１つまたは複数のエリアに対応する、Ｃ１４に記載の方法。
［Ｃ２５］
前記ロケーションデータが、ロケーションセンサーによって与えられる前記物体のロケーションにも関連する、Ｃ２４に記載の方法。
［Ｃ２６］
装置であって、
前記装置から閲覧され、物体を含むシーンの画像データを受信するための手段と、前記画像データが前記シーンの複数のスケール空間表現に関連する、
処理するための手段と
を備え、ここにおいて、処理するための前記手段が、
第１のスケール空間表現と、前記物体に関連するか、または前記物体が存在し得るエリアを示すロケーションデータとの間の重複に基づいて、前記複数のスケール空間表現の前記第１のスケール空間表現の探索エリアを識別することと、
前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を行うように構成された、装置。
［Ｃ２７］
前記ロケーションデータを生成するための手段をさらに備える、Ｃ２６に記載の装置。
［Ｃ２８］
外部ロケーションセンサーから前記ロケーションデータを受信するための手段をさらに備える、Ｃ２６に記載の装置。
［Ｃ２９］
物体を検出するための命令を記憶するコンピュータ可読記憶デバイスであって、前記命令は、プロセッサに、
装置から閲覧され、物体を含むシーンの画像データを画像センサーから受信することと、前記画像データが前記シーンの複数のスケール空間表現に関連する、
前記物体に関連するか、または前記物体が存在し得るエリアを示すロケーションデータを受信することと、
第１のスケール空間表現と前記ロケーションデータとの間の重複に基づいて、前記複数のスケール空間表現の前記第１のスケール空間表現の探索エリアを識別することと、
前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を行わせるために、前記プロセッサによって実行可能である、コンピュータ可読記憶デバイス。
［Ｃ３０］
前記命令は、前記プロセッサに、
前記複数のスケール空間表現の第２のスケール空間表現が前記ロケーションデータと重複するかどうかを決定することと、
前記第２のスケール空間表現が前記ロケーションデータと重複するかどうかに基づいて、前記第２のスケール空間表現に対する物体検出を選択的に実行するか、または実行することを回避することと
を行わせるために、前記プロセッサによってさらに実行可能である、Ｃ２９に記載のコンピュータ可読記憶デバイス。
【手続補正書】
【提出日】平成29年9月25日(2017.9.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体に関連するロケーションデータを受信することと、画像センサーからシーンの画像データを受信することとを行うように構成された物体検出器を備える装置であって、前記シーンが前記装置から閲覧され、前記物体を含み、前記画像データが前記シーンの複数のスケール空間表現に関連し、前記物体検出器が、前記ロケーションデータに基づいて前記複数のスケール空間表現の第１のスケール空間表現を選択することと、前記ロケーションデータと前記選択された第１のスケール空間表現とに基づいて前記物体を検出するようにさらに構成された、装置。
【請求項２】
前記物体検出器は、前記ロケーションデータに基づいて前記第１のスケール空間表現の探索エリアを識別するように構成され、ここにおいて、前記探索エリアがシーン全体よりも小さく、前記複数のスケール空間表現の各々は、前記シーンの異なる解像度画像に対応する、請求項１に記載の装置。
【請求項３】
前記探索エリアが、前記第１のスケール空間表現に関連する第１のエリアと前記ロケーションデータに関連する第２のエリアとの重複に対応する、請求項２に記載の装置。
【請求項４】
前記物体検出器は、前記探索エリアのマスクを生成するようにさらに構成され、前記マスクが複数の領域を備え、前記複数の領域の各々は、前記画像データに関連する１つまたは複数のピクセルに、および前記領域中で前記物体を検出する確率を示す値に対応する、請求項３に記載の装置。
【請求項５】
前記物体検出器は、第２のスケール空間表現に関連する第１のエリアが、前記ロケーションデータに関連する第２のエリアと重複するかどうかを決定するように構成された、請求項１に記載の装置。
【請求項６】
前記物体検出器が、前記第１のスケール空間表現に関連する第３のエリアが前記物体の検出より前に前記第２のエリアと重複するかどうかを決定するようにさらに構成された、請求項５に記載の装置。
【請求項７】
前記第１のスケール空間表現は、前記シーンの第１の解像度画像に対応し、前記第２のスケール空間表現は、前記シーンの第２の解像度画像に対応し、前記第２の解像度画像は、前記第１の解像度画像よりも低い解像度画像である、請求項５に記載の装置。
【請求項８】
前記ロケーションデータが、ロケーションセンサーから受信される、請求項１に記載の装置。
【請求項９】
前記ロケーションセンサーが、レーダーデバイス、光検出および測距（ライダー）デバイス、全地球測位システム（ＧＰＳ）デバイス、超音波デバイス、専用短距離通信デバイス、またはそれらの任意の組合せを備える、請求項８に記載の装置。
【請求項１０】
前記ロケーションセンサーが前記装置とは別個である、請求項８に記載の装置。
【請求項１１】
前記ロケーションデータは、前記物体が存在し得るところを示す３次元（３Ｄ）マップの１つまたは複数のエリアに対応する、請求項１に記載の装置。
【請求項１２】
前記ロケーションデータが、ロケーションセンサーによって与えられる前記物体のロケーションにも関連する、請求項１１に記載の装置。
【請求項１３】
前記画像センサーをさらに備え、前記画像センサーと前記物体検出器とが、前記装置に動作可能に結合された、請求項１に記載の装置。
【請求項１４】
物体を検出する方法であって、前記方法は、
プロセッサにおいて、装置から閲覧され、物体を含むシーンの画像データを画像センサーから受信することと、前記画像データが前記シーンの複数のスケール空間表現に関連する、
前記プロセッサにおいて、前記物体に関連するロケーションデータを受信することと、
前記プロセッサにおいて、前記ロケーションデータに基づいて前記複数のスケール空間表現の第１のスケール空間表現を選択することと、
前記プロセッサにおいて、前記第１のスケール空間表現と前記ロケーションデータとに基づいて、前記第１のスケール空間表現の探索エリアを識別することと、
前記プロセッサにおいて、前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を備える、方法。
【請求項１５】
前記探索エリアが、前記第１のスケール空間表現に関連する第１のエリアと前記ロケーションデータに関連する第２のエリアとの重複に対応する、請求項１４に記載の方法。
【請求項１６】
前記複数のスケール空間表現の前記第１のスケール空間表現および第２のスケール空間表現の各々が前記ロケーションデータと重複するかどうかを決定することをさらに備え、前記第１のスケール空間表現は、ある方向における前記装置からの第１の距離に関連し、前記第２のスケール空間表現は、前記方向における前記装置からの第２の距離に関連し、前記第１の距離は前記第２の距離とは異なる、請求項１４に記載の方法。
【請求項１７】
前記第２のスケール空間表現が前記ロケーションデータと重複しないと決定したことに応答して、前記第２のスケール空間表現に対する物体検出の前記実行を回避することをさらに備える、請求項１６に記載の方法。
【請求項１８】
前記第２のスケール空間表現が前記ロケーションデータと重複すると決定したことに応答して、前記第２のスケール空間表現に対する物体検出を実行することをさらに備え、ここにおいて、前記第２のスケール空間表現が、前記第１のスケール空間表現よりも低解像度表現である、請求項１６に記載の方法。
【請求項１９】
前記画像データは、前記複数のスケール空間表現のうちの少なくとも１つのスケール空間表現を含み、前記少なくとも１つのスケール空間表現に基づいて前記複数のスケール空間表現の第２のスケール空間表現を生成することをさらに備える、請求項１４に記載の方法。
【請求項２０】
前記少なくとも１つのスケール空間表現は、前記第１のスケール空間表現を備え、前記第２のスケール空間表現を生成することは、前記第２のスケール空間表現を生成するために前記第１のスケール空間表現をダウンサンプリングすることを備える、請求項１９に記載の方法。
【請求項２１】
前記画像データは、前記第１のスケール空間表現に対応し、前記プロセッサにおいて、前記シーンの第２の画像データを第２の画像センサーから受信することをさらに備え、前記第２の画像データは、第２のスケール空間表現に対応する、請求項１４に記載の方法。
【請求項２２】
前記探索エリアのマスクを生成することをさらに備え、前記マスクが複数の領域を備え、前記複数の領域の各々が前記領域中で前記物体を検出する確率を示す値に対応する、請求項１４に記載の方法。
【請求項２３】
前記探索エリア中で物体検出を実行することが、前記複数の領域の１つまたは複数の値に少なくとも部分的に基づく、請求項２２に記載の方法。
【請求項２４】
前記ロケーションデータは、前記物体が存在し得るところを示す３次元（３Ｄ）マップの１つまたは複数のエリアに対応する、請求項１４に記載の方法。
【請求項２５】
前記ロケーションデータが、ロケーションセンサーによって与えられる前記物体のロケーションにも関連する、請求項２４に記載の方法。
【請求項２６】
装置であって、
前記装置から閲覧され、物体を含むシーンの画像データを受信するための手段と、前記画像データが前記シーンの複数のスケール空間表現に関連する、
処理するための手段と
を備え、ここにおいて、処理するための前記手段が、
前記物体に関連するロケーションデータに基づいて前記複数のスケール空間表現の第１のスケール空間表現を選択することと、
前記第１のスケール空間表現と、前記ロケーションデータとに基づいて、前記複数のスケール空間表現の前記第１のスケール空間表現の探索エリアを識別することと、
前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を行うように構成された、装置。
【請求項２７】
前記ロケーションデータを生成するための手段をさらに備える、請求項２６に記載の装置。
【請求項２８】
外部ロケーションセンサーから前記ロケーションデータを受信するための手段をさらに備える、請求項２６に記載の装置。
【請求項２９】
物体を検出するための命令を記憶するコンピュータ可読記憶デバイスであって、前記命令は、プロセッサに、
装置から閲覧され、物体を含むシーンの画像データを画像センサーから受信することと、前記画像データが前記シーンの複数のスケール空間表現に関連する、
前記物体に関連するロケーションデータを受信することと、
前記ロケーションデータに基づいて前記複数のスケール空間表現の第１のスケール空間表現を選択することと、
前記第１のスケール空間表現と前記ロケーションデータとに基づいて、前記複数のスケール空間表現の前記第１のスケール空間表現の探索エリアを識別することと、
前記第１のスケール空間表現の前記探索エリア中で物体検出を実行することと
を行わせるために、前記プロセッサによって実行可能である、コンピュータ可読記憶デバイス。
【請求項３０】
前記第１のスケール空間表現は、前記第１のスケール空間表現が前記物体に関連する第１の推定領域と重なるという決定に基づいて選択され、前記命令は、前記プロセッサに、
前記複数のスケール空間表現の第２のスケール空間表現が前記第１の推定領域と重複するかどうかを決定することと、
第２の物体に関連する第２のロケーションデータを受信することと、前記第２の物体は前記画像データに含まれる、
前記複数のスケール空間表現の第３のスケール空間表現が前記第２の物体に関連する第２の推定領域と重なるかどうかを決定することと、
前記第３のスケール空間表現が前記第２の推定領域と重なることに応答して、
前記第３のスケール空間表現と前記第２のロケーションデータとに基づいて前記第３のスケール空間表現の第２の探索エリアを識別することと、
前記第３のスケール空間表現の前記第２の探索エリア中で物体検出を実行することと
を行わせるために、前記プロセッサによってさらに実行可能である、請求項２９に記載のコンピュータ可読記憶デバイス。
【国際調査報告】
2018505479.tif 000025
2018505479.tif 000026
2018505479.tif 000027