(57)【特許請求の範囲】
【請求項１】
電子デバイスによって実行される方法であって、
垂直非障害物推定を決定するために深度マップの垂直処理を実行すること、ここにおいて、垂直処理を実行することは、
前記深度マップをセグメントに分割すること、ここにおいて、少なくとも１つのセグメントは、前記深度マップ中のピクセルの列の一部分である、と、
前記垂直非障害物推定を決定するために前記少なくとも１つのセグメントのための線形モデルパラメータを推定することと
を備える、と、
水平非障害物推定を決定するために前記深度マップの水平処理を実行することと、
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることと、
前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成することと
を備え、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
前記垂直処理と前記水平処理の両方を並列に実行することと、
垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定および水平非障害物推定をマージすることと
を備える、方法。
【請求項２】
垂直処理を実行することは、
前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成することをさらに備える、請求項１に記載の方法。
【請求項３】
前記垂直信頼性マップを決定することは、
前記推定された線形モデルパラメータと所定の線形モデルパラメータとの間の差に基づいて、所与のセグメントのためのセグメント適合誤差を決定することと、
前記セグメント適合誤差を垂直推定しきい値と比較することによって、前記所与のセグメントのための信頼性値を決定することと、
前記所与のセグメントのための前記信頼性値を前記所与のセグメント中の少なくとも１つのピクセルに適用することと
を備える、請求項２に記載の方法。
【請求項４】
前記所定の線形モデルパラメータは、複数の道路状態モデルの中から選択され、前記複数の道路状態モデルは、線形モデルパラメータの対応するセットを有する、
請求項３に記載の方法。
【請求項５】
水平処理を実行することは、
前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得することと、
前記深度ヒストグラムから地形ラインを決定することと、
前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定することと、
前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成することと
を備える、請求項１に記載の方法。
【請求項６】
前記水平信頼性マップを生成することは、
所与のピクセルの前記深度値が前記深度ヒストグラムのモードの範囲内にあるかどうかを決定することを備え、前記所与のピクセルは、前記所与のピクセルの前記深度値が前記深度ヒストグラムの前記モードの前記範囲内にあるとき、高い信頼性値を有する、
請求項５に記載の方法。
【請求項７】
所与のピクセルは、前記非障害物マップ中の非障害物エリアとして識別され、ここで、前記垂直信頼性マップと前記水平信頼性マップの両方は、前記所与のピクセルのための高い信頼性値によって特徴づけられる、
請求項１に記載の方法。
【請求項８】
所与のピクセルは、前記非障害物マップ中の障害物エリアとして識別され、ここで、前記垂直信頼性マップまたは前記水平信頼性マップのうちの少なくとも１つは、前記所与のピクセルのための低い信頼性値によって特徴づけられる、
請求項１に記載の方法。
【請求項９】
所与のピクセルは、前記所与のピクセルの座標に基づいて、前記非障害物マップ中の非障害物エリアまたは障害物エリアとして識別され、ここで、前記垂直信頼性マップと前記水平信頼性マップとは、前記所与のピクセルのための異なる信頼性値によって特徴づけられる、
請求項１に記載の方法。
【請求項１０】
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
前記深度マップの垂直処理を実行することと、
モデル適合信頼度に基づいて垂直信頼性マップを取得することと、
前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行することと
を備える、請求項１に記載の方法。
【請求項１１】
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
前記深度マップの水平処理を実行することと、
深度ヒストグラム距離に基づいて水平信頼性マップを取得することと、
前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行することと
を備える、請求項１に記載の方法。
【請求項１２】
前記非障害物マップは、物体検出アルゴリズムまたは車線検出アルゴリズムのうちの少なくとも１つによって使用される関心領域を識別する際に使用される、
請求項１に記載の方法。
【請求項１３】
電子デバイスであって、前記電子デバイスは、
プロセッサと、
前記プロセッサと電子通信しているメモリと、
前記メモリに記憶された命令と
を備え、前記命令は、
垂直非障害物推定を決定するために深度マップの垂直処理を実行すること、ここにおいて、垂直処理を実行することを行うように前記プロセッサによって実行可能である前記命令は、
前記深度マップをセグメントに分割すること、ここにおいて、少なくとも１つのセグメントは、前記深度マップ中のピクセルの列の一部分である、と、
前記垂直非障害物推定を決定するために前記少なくとも１つのセグメントのための線形モデルパラメータを推定することと
を行うように前記プロセッサによって実行可能である命令を備える、と、
水平非障害物推定を決定するために前記深度マップの水平処理を実行することと、
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることと、
前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成することと
を行うように前記プロセッサによって実行可能であり、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように実行可能な命令は、
前記垂直処理と前記水平処理の両方を並列に実行することと、
垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定および水平非障害物推定をマージすることと
を行うように前記プロセッサによって実行可能である、電子デバイス。
【請求項１４】
垂直処理を実行することを行うように前記プロセッサによって実行可能である命令は、
前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成することを行うように前記プロセッサによって実行可能である命令をさらに備える、請求項１３に記載の電子デバイス。
【請求項１５】
水平処理を実行することを行うように前記プロセッサによって実行可能である命令は、
前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得することと、
前記深度ヒストグラムから地形ラインを決定することと、
前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定することと、
前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成することと
を行うように前記プロセッサによって実行可能である命令を備える、請求項１３に記載の電子デバイス。
【請求項１６】
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように前記プロセッサによって実行可能である命令は、
前記深度マップの垂直処理を実行することと、
モデル適合信頼度に基づいて垂直信頼性マップを取得することと、
前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行することと
を行うように前記プロセッサによって実行可能である命令を備える、請求項１３に記載の電子デバイス。
【請求項１７】
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように前記プロセッサによって実行可能である命令は、
前記深度マップの水平処理を実行することと、
深度ヒストグラム距離に基づいて水平信頼性マップを取得することと、
前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行することと
を行うように前記プロセッサによって実行可能である命令を備える、請求項１３に記載の電子デバイス。
【請求項１８】
垂直非障害物推定を決定するために深度マップの垂直処理を実行するための手段、ここにおいて、垂直処理を実行するための手段は、
前記深度マップをセグメントに分割するための手段、ここにおいて、少なくとも１つのセグメントは、前記深度マップ中のピクセルの列の一部分である、と、
前記垂直非障害物推定を決定するために前記少なくとも１つのセグメントのための線形モデルパラメータを推定するための手段と
を備える、と、
水平非障害物推定を決定するために前記深度マップの水平処理を実行するための手段と、
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせるための手段と、
前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成するための手段と
を備え、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせるための手段は、
前記垂直処理と前記水平処理の両方を並列に実行するための手段と、
垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定および水平非障害物推定をマージするための手段と
を備える、装置。
【請求項１９】
前記垂直処理を実行するための手段は、
前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成するための手段をさらに備える、請求項１８に記載の装置。
【請求項２０】
前記水平処理を実行するための手段は、
前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得するための手段と、
前記深度ヒストグラムから地形ラインを決定するための手段と、
前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定するための手段と、
前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成するための手段と
を備える、請求項１８に記載の装置。
【請求項２１】
前記垂直非障害物推定と前記水平非障害物推定とを前記組み合わせるための手段は、
前記深度マップの垂直処理を実行するための手段と、
モデル適合信頼度に基づいて垂直信頼性マップを取得するための手段と、
前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別するための手段と、
前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行するための手段と
を備える、請求項１８に記載の装置。
【請求項２２】
前記垂直非障害物推定と前記水平非障害物推定とを前記組み合わせるための手段は、
前記深度マップの水平処理を実行するための手段と、
深度ヒストグラム距離に基づいて水平信頼性マップを取得するための手段と、
前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別するための手段と、
前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行するための手段と
を備える、請求項１８に記載の装置。
【請求項２３】
コンピュータ実行可能コードを備えるコンピュータ可読記憶媒体であって、
電子デバイスに、垂直非障害物推定を決定するために深度マップの垂直処理を実行させるためのコード、ここにおいて、前記電子デバイスに垂直処理を実行させるためのコードは、
前記電子デバイスに、前記深度マップをセグメントに分割させるためコード、ここにおいて、少なくとも１つのセグメントは、前記深度マップ中のピクセルの列の一部分である、と、
前記電子デバイスに、前記垂直非障害物推定を決定するために前記少なくとも１つのセグメントのための線形モデルパラメータを推定させるためコードと
を備える、と、
前記電子デバイスに、水平非障害物推定を決定するために前記深度マップの水平処理を実行させるためのコードと、
前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせさせるためのコードと、
前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成させるためのコードと
を備え、前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わさせるためコードは、
前記電子デバイスに、前記垂直処理と前記水平処理の両方を並列に実行させるためコードと、
前記電子デバイスに、垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定および水平非障害物推定をマージさせるためコードと
を備える、コンピュータ可読記憶媒体。
【請求項２４】
前記電子デバイスに、垂直処理を実行させるための前記コードは、
前記電子デバイスに、前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成させるためのコードをさらに備える、請求項２３に記載のコンピュータ可読記憶媒体。
【請求項２５】
前記電子デバイスに、水平処理を実行させるための前記コードは、
前記電子デバイスに、前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得させるためのコードと、
前記電子デバイスに、前記深度ヒストグラムから地形ラインを決定させるためのコードと、
前記電子デバイスに、前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定させるためのコードと、
前記電子デバイスに、前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成させるためのコードと
を備える、請求項２３に記載のコンピュータ可読記憶媒体。
【請求項２６】
前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせさせるための前記コードは、
前記電子デバイスに、前記深度マップの垂直処理を実行させるためのコードと、
前記電子デバイスに、モデル適合信頼度に基づいて垂直信頼性マップを取得させるためのコードと、
前記電子デバイスに、前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別させるためのコードと、
前記電子デバイスに、前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行させるためのコードと
を備える、請求項２３に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は、一般に電子デバイスに関する。より詳細には、本開示は、非障害物エリア（non-obstacle area）検出のためのシステムおよび方法に関する。
【背景技術】
【０００２】
[0002]最近の数十年で、電子デバイスの使用が一般的になった。特に、電子技術の進歩は、ますます複雑で有用になる電子デバイスのコストを低減した。コスト低減および消費者需要により、電子デバイスが現代社会において事実上ユビキタスであるように、電子デバイスの使用が激増した。電子デバイスの使用が拡大したので、電子デバイスの新たな改善された特徴の需要も拡大した。より詳細には、新しい機能を実行する、ならびに／あるいはより高速に、より効率的に、またはより高品質で機能を実行する、電子デバイスがしばしば求められる。
【０００３】
[0003]いくつかの電子デバイス（たとえば、カメラ、ビデオカムコーダ、デジタルカメラ、セルラーフォン、スマートフォン、コンピュータ、テレビジョンなど）は画像をキャプチャし、および／または利用する。たとえば、スマートフォンは、静止画像および／またはビデオ画像をキャプチャし、および／または処理し得る。自動および自律車両アプリケーションでは、障害物検出は、画像を処理することによって実行され得る。画像を処理することは、比較的大きい量の時間、メモリおよびエネルギーリソースを要求し得る。要求されるリソースは、処理することの複雑さに従って変動し得る。
【０００４】
[0004]いくつかの複雑な処理タスクを実装することは困難であり得る。たとえば、いくつかのプラットフォームは、制限された処理、メモリおよび／またはエネルギーリソースを有し得る。さらに、いくつかのアプリケーションは時間依存であり得る。この説明からわかるように、画像処理を改善するシステムおよび方法が有益であり得る。
【発明の概要】
【０００５】
[0005]電子デバイスによって実行される方法が説明される。本方法は、垂直非障害物推定を決定するために深度マップの垂直処理を実行することを含む。本方法は、水平非障害物推定を決定するために深度マップの水平処理を実行することをも含む。本方法は、垂直非障害物推定と水平非障害物推定とを組み合わせることをさらに含む。本方法は、垂直非障害物推定と水平非障害物推定の組み合せに基づいて非障害物マップを生成することをさらに含む。
【０００６】
[0006]垂直処理を実行することは、深度マップをセグメントに分割することを含み得る。少なくとも１つのセグメントは、列中のいくつかのピクセルを含み得る。垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータが推定され得る。垂直非障害物推定のための信頼性値を含む垂直信頼性マップが生成され得る。
【０００７】
[0007]垂直信頼性マップを決定することは、推定された線形モデルパラメータと所定の線形モデルパラメータとの間の差に基づいて、所与のセグメントのためのセグメント適合誤差（segment fitting error）を決定することを含み得る。所与のセグメントのための信頼性値が、セグメント適合誤差を垂直推定しきい値と比較することによって決定され得る。所与のセグメントのための信頼性値は、所与のセグメント中の少なくとも１つのピクセルに適用され得る。
【０００８】
[0008]所定の線形モデルパラメータは、複数の道路状態モデルの中から選択され得る。複数の道路状態モデルは、線形モデルパラメータの対応するセットを有し得る。
【０００９】
[0009]水平処理を実行することは、深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得することを含み得る。地形ライン（terrain line）が、深度ヒストグラムから決定され得る。水平非障害物推定は、地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて決定され得る。水平非障害物推定のための信頼性値を含む水平信頼性マップが生成され得る。
【００１０】
[0010]水平信頼性マップを生成することは、所与のピクセルの深度値が深度ヒストグラムのモードの範囲内にあるかどうかを決定することを含み得る。所与のピクセルは、所与のピクセルの深度値が深度ヒストグラムのモードの範囲内にあるとき、高い信頼性値を有し得る。
【００１１】
[0011]垂直非障害物推定と水平非障害物推定とを組み合わせることは、垂直処理と水平処理の両方を並列に実行することを含み得る。垂直非障害物推定と水平非障害物推定とは、垂直信頼性マップと水平信頼性マップとに基づいてマージされ得る。
【００１２】
[0012]所与のピクセルは、非障害物マップ中の非障害物エリアとして識別され得、ここで、垂直信頼性マップと水平信頼性マップの両方が所与のピクセルのための高い信頼性値によって特徴づけられる。所与のピクセルは、非障害物マップ中の障害物エリアとして識別され得、ここで、垂直信頼性マップまたは水平信頼性マップのうちの少なくとも１つが所与のピクセルのための低い信頼性値によって特徴づけられる。所与のピクセルは、所与のピクセルの座標に基づいて、非障害物マップ中の非障害物エリアまたは障害物エリアとして識別され得、ここで、垂直信頼性マップと水平信頼性マップとが所与のピクセルのための異なる信頼性値によって特徴づけられる。
【００１３】
[0013]垂直非障害物推定と水平非障害物推定とを組み合わせることは、深度マップの垂直処理を実行することを含み得る。垂直信頼性マップは、モデル適合信頼度（model fitting confidence）に基づいて取得され得る。垂直信頼性マップの信頼できる領域が、非障害物エリアとして識別され得る。水平処理は、垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、信頼できない領域に対して実行され得る。
【００１４】
[0014]垂直非障害物推定と水平非障害物推定とを組み合わせることは、深度マップの水平処理を実行することを含み得る。水平信頼性マップは、深度ヒストグラム距離（depth histogram distance）に基づいて取得され得る。水平信頼性マップの信頼できる領域が、非障害物エリアとして識別され得る。水平信頼性マップの信頼できない領域に対する垂直処理は、信頼できない領域が非障害物エリアであるかどうかを決定するために実行され得る。
【００１５】
[0015]非障害物マップは、物体検出アルゴリズムまたは車線検出アルゴリズムのうちの少なくとも１つによって使用される関心領域を識別する際に使用され得る。
【００１６】
[0016]また、電子デバイスが説明される。本電子デバイスは、垂直非障害物推定を決定するために深度マップの垂直処理を実行することを行うように構成される。本電子デバイスはまた、水平非障害物推定を決定するために深度マップの水平処理を実行することを行うように構成される。本電子デバイスは、垂直非障害物推定と水平非障害物推定とを組み合わせることを行うようにさらに構成される。本電子デバイスは、垂直非障害物推定と水平非障害物推定の組み合せに基づいて非障害物マップを生成することを行うようにさらに構成される。
【００１７】
[0017]また、装置が説明される。本装置は、垂直非障害物推定を決定するために深度マップの垂直処理を実行するための手段を含む。本装置は、水平非障害物推定を決定するために深度マップの水平処理を実行するための手段をも含む。本装置は、垂直非障害物推定と水平非障害物推定とを組み合わせるための手段をさらに含む。本装置は、垂直非障害物推定と水平非障害物推定の組み合せに基づいて非障害物マップを生成するための手段をさらに含む。
【００１８】
[0018]また、コンピュータプログラム製品が説明される。本コンピュータプログラム製品は、その上に命令を有する非一時的有形コンピュータ可読媒体を含む。命令は、電子デバイスに、垂直非障害物推定を決定するために深度マップの垂直処理を実行させるためのコードを含む。命令は、電子デバイスに、水平非障害物推定を決定するために深度マップの水平処理を実行させるためのコードをも含む。命令は、電子デバイスに、垂直非障害物推定と水平非障害物推定とを組み合わせさせるためのコードをさらに含む。命令は、電子デバイスに、垂直非障害物推定と水平非障害物推定の組み合せに基づいて非障害物マップを生成させるためのコードをさらに含む。
【図面の簡単な説明】
【００１９】
【図１】非障害物エリア検出を実行するように構成された電子デバイスを示すブロック図。
【図２】非障害物決定モジュールを示すブロック図。
【図３】非障害物エリア検出を実行するための方法を示すフローチャート。
【図４Ａ】深度マップの垂直処理の一例を示す図。
【図４Ｂ】深度マップの垂直処理の一例を示す図。
【図４Ｃ】深度マップの垂直処理の一例を示す図。
【図４Ｄ】深度マップの垂直処理の一例を示す図。
【図５】垂直処理を使用して非障害物エリア検出を実行するための方法を示すフローチャート。
【図６Ａ】深度マップの水平処理の一例を示す図。
【図６Ｂ】深度マップの水平処理の一例を示す図。
【図６Ｃ】深度マップの水平処理の一例を示す図。
【図６Ｄ】深度マップの水平処理の一例を示す図。
【図７】水平処理を使用して非障害物エリア検出を実行するための方法を示すフローチャート。
【図８】非障害物マップを決定するために垂直非障害物推定と水平非障害物推定とを組み合わせるための方法を示すフローチャート。
【図９】非障害物マップを決定するために垂直非障害物推定と水平非障害物推定とを組み合わせるための別の方法を示すフローチャート。
【図１０】非障害物マップを決定するために垂直非障害物推定と水平非障害物推定とを組み合わせるためのまた別の方法を示すフローチャート。
【図１１Ａ】画像中の非障害物エリアを決定することの一例を示す図。
【図１１Ｂ】画像中の非障害物エリアを決定することの一例を示す図。
【図１２Ａ】画像中の非障害物エリアを決定することの別の例を示す図。
【図１２Ｂ】画像中の非障害物エリアを決定することの別の例を示す図。
【図１３Ａ】非障害物エリアからの距離を決定することの一例を示す図。
【図１３Ｂ】非障害物エリアからの距離を決定することの一例を示す図。
【図１４】物体検出アルゴリズムによって使用される関心領域（ＲＯＩ：region of interest）を識別するために非障害物マップを使用することの一例を示す図。
【図１５】車線検出アルゴリズムによって使用されるＲＯＩを識別するために非障害物マップを使用することの一例を示す図。
【図１６】推定された線形モデルパラメータに基づいて道路を分類するための方法を示すフローチャート。
【図１７】電子デバイス内に含まれ得るいくつかの構成要素を示す図。
【発明を実施するための形態】
【００２０】
[0036]多くのアプリケーションでは、障害物回避のために領域または環境内の非物体エリアを識別することは有利である。たとえば、先進運転者支援システム（ＡＤＡＳ：advanced driver assistance system）の場合、障害物回避のために車の前の運転可能なエリアを識別することは重要である。障害物回避が重要である別のシナリオは、自律車両（たとえば、無人航空機（ＵＡＶ）または自律自動車）がそれの環境を検知し、人間の入力なしにナビゲートする車両自動化である。
【００２１】
[0037]一般に、障害物回避の問題は、他の方向から考察され、ここで、関心物体（たとえば、歩行者、車、自転車）が検出され、物体検出／認識アルゴリズムを介して識別され得、予防措置をとるために運転者に警報が与えられる。たとえば、交通標識（たとえば、速度制限標識、停止標識、道路標識など）を検出し、識別するために、障害物検出が利用され得る。しかしながら、このアプローチは、遅く、不正確であり得る。さらに、すべての物体クラスがあらかじめトレーニングされなければならず、これは、新しいオブジェクトクラスを追加するのを困難にする。
【００２２】
[0038]本明細書で説明されるシステムおよび方法では、物体を識別する代わりに、障害物または物体がない領域が識別される。これらの領域は、移動可能なエリアと呼ばれることがある。言い換えれば、これらの３次元領域は、その中で移動が可能である非障害物エリアである。たとえば、非障害物エリアは、道路上で識別され得る。非障害物エリアを識別すると、道路プロファイリング、速度制御、より速いおよびより信頼できる物体および車線検出など、様々な他のアプリケーションが、非障害物エリアを使用して実行され得る。
【００２３】
[0039]本明細書で説明されるシステムおよび方法は、深度マップを分析することによって非障害物エリアを識別するために使用され得る。一実装形態では、深度マップは、ステレオ画像ペアから生成され得る。道路シナリオでは、前方のオープン空間は、深度ドメインにおいて道路を表す線形モデルにマッピングされ得る。道路セグメントの深度を使用することによって、線形モデルパラメータが推定され得る。推定された線形モデルパラメータは、前の（たとえば、所定の）モデルパラメータと比較され得る。適合が達成された場合、セグメントは、オープンエリアの一部であることを宣言される。ステレオ画像ペアが利用可能でない場合、ストラクチャフロムモーション（structure from motion）などの方法が、モノカメラ入力シーケンスを使用することによって深度マップを取得するために使用され得る。
【００２４】
[0040]本明細書で説明されるシステムおよび方法は、１つまたは複数の画像の垂直処理と水平処理のインテリジェントな組み合せに基づいて非障害物マップの決定を行う。非障害物エリアを識別することを実行するシステムおよび方法が、以下でより詳細に説明される。
【００２５】
[0041]図１は、非障害物エリア検出を実行するように構成された電子デバイス１０２を示すブロック図である。電子デバイス１０２は、ワイヤレス通信デバイス、モバイルデバイス、移動局、加入者局、クライアント、クライアント局、ユーザ機器（ＵＥ）、リモート局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることもある。電子デバイスの例としては、ラップトップまたはデスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲーミングシステム、ロボット、航空機、無人航空機（ＵＡＶ）、自動車などがある。これらのデバイスのうちのいくつかは、１つまたは複数の業界規格に従って動作し得る。
【００２６】
[0042]多くのシナリオでは、電子デバイス１０２は、シーンの非障害物マップ１２６を使用し得る。一例では、スマートフォンが、占有されていない空間を識別するためにシーンの非障害物マップ１２６を生成し得る。別の例では、自動車が、検出された交通標識、信号および／または他の物体に基づいて自動車の速度、ステアリング、パーキングなどを調節するために非障害物マップ１２６を使用し得る先進運転者支援システム（ＡＤＡＳ）を含み得る。別の例では、無人航空機（ＵＡＶ）が、飛行の間に記録されたビデオから非障害物マップ１２６を生成し得、検出された物体（たとえば、建築物、標識、人々、パッケージなど）に基づいてナビゲートし得、検出されたパッケージなどをピックアップし、および／または配達し得る。多くの他の例が、本明細書で開示されるシステムおよび方法に従って実装され得る。たとえば、本明細書で開示されるシステムおよび方法は、非障害物マップ１２６を使用して検出された１つまたは複数の物体に基づいて１つまたは複数のアクション（たとえば、何かを取ってくること、何かを組み立てること、アイテムを探索することなど）を実行するロボットにおいて実装され得る。
【００２７】
[0043]電子デバイス１０２は１つまたは複数のカメラを含み得る。カメラは、画像センサー１０４と、光学システム１０８の視野内に位置する物体の画像を画像センサー１０４上に合焦させる光学システム１０８（たとえば、レンズ）とを含み得る。電子デバイス１０２は、カメラソフトウェアアプリケーションとディスプレイスクリーンとをも含み得る。カメラアプリケーションが動作しているとき、光学システム１０８の視野内に位置する物体の画像１１４は、画像センサー１０４によって記録され得る。これらの画像１１４は、メモリバッファ１１２に記憶され得る。いくつかの実装形態では、カメラは電子デバイス１０２とは別個であり得、電子デバイス１０２は、電子デバイス１０２の外部の１つまたは複数のカメラから画像データを受信し得る。
【００２８】
[0044]本システムおよび方法は、キャプチャされた画像１１４に関して説明されるが、本明細書で説明される技法は、任意のデジタル画像上で使用され得る。したがって、ビデオフレームおよびデジタル画像という用語は、本明細書では互換的に使用され得る。
【００２９】
[0045]多くのアプリケーションでは、電子デバイス１０２が障害物がないエリアを識別することは有益である。たとえば、ＡＤＡＳの場合、障害物回避のために車の前の運転可能なエリアを識別することは重要である。いくつかのアプローチでは、この問題は他の方向から考察される。これらのアプローチでは、物体検出および認識アルゴリズムを介して関心物体（たとえば、歩行者、車、自転車）が識別され、予防措置をとるために運転者に警報が与えられる。
【００３０】
[0046]他のアプローチは、画像１１４の垂直処理または水平処理のいずれかのうちの１つを実行することによって非障害物エリアを決定し得る。垂直処理および水平処理の各々は、画像１１４中の非障害物エリアを推定し得る。しかしながら、各アプローチは、独立して実行されるとき、制限を有する。
【００３１】
[0047]水平処理は、道路が傾斜しているとき、間違った非障害物推定を与え得る。垂直処理は、画像１１４に対してセグメンテーションを実行し得る。セグメントが大きい場合、適合は、より信頼できる。しかしながら、物体の部分が、同様に非障害物（すなわち、非障害物）エリアとして含まれ得る。たとえば、垂直処理を使用すると、車または歩行者の下部および上部が、非障害物エリアとして間違って識別され得る。また、垂直処理アプローチを用いると、歩道が非障害物エリアとして間違って識別され得る。しかしながら、セグメントが小さい場合、非障害物エリアの不正確な検出が起こり得る。
【００３２】
[0048]本明細書で説明されるシステムおよび方法は、１つまたは複数の画像１１４の垂直処理と水平処理のインテリジェントな組み合せに基づいて非障害物マップ１２６の決定を行う。説明されるシステムおよび方法では、物体を識別する代わりに、非障害物マップ１２６は、深度マップの垂直処理と水平処理とを組み合わせることによって決定され得る。一実装形態では、深度マップは、１つまたは複数の画像から取得され得る。別の実装形態では、深度マップは、深度データ収集プロセス（たとえば、ＬＩＤＡＲ）から取得され得る。
【００３３】
[0049]一実装形態では、電子デバイス１０２は、非障害物マップ１２６を決定するための非障害物決定モジュール１１６を含み得る。非障害物決定モジュール１１６は、深度マップを取得するための深度マップ生成器１１８を含み得る。非障害物決定モジュール１１６は、垂直非障害物推定を決定するために深度マップの垂直処理を実行するための垂直推定モジュール１２０をも含み得る。非障害物決定モジュール１１６は、水平非障害物推定を決定するために深度マップの水平処理を実行するための水平推定モジュール１２２をさらに含み得る。
【００３４】
[0050]推定コンバイナ１２４が、非障害物マップ１２６を決定するために垂直非障害物推定と水平非障害物推定とを組み合わせ得る。一実装形態では、推定コンバイナ１２４は、推定に関連する信頼性値に基づいて垂直非障害物推定と水平非障害物推定とをインテリジェントに組み合わせ得る。非障害物マップ１２６は、１つまたは複数の画像１１４のどのエリアが非障害物エリアであるか、およびどのエリアが障害物エリアであるかを示し得る。非障害物マップ１２６を生成することに関するさらなる詳細が、図２に関して与えられる。
【００３５】
[0051]一例では、非障害物マップ１２６は、道路上の障害物（たとえば、物体）がない非障害物エリアを含み得る。画像１１４の垂直処理と水平処理とを組み合わせることによって、誤検出がなくされ得る。さらに、組み合わせられたアプローチは、より信頼できる非障害物推定を与え得る。
【００３６】
[0052]説明されるシステムおよび方法は、様々な他のアプリケーションの速度を上げるために使用され得る。たとえば、電子デバイス１０２は、物体検出、シーン理解、道路プロファイリング、および車線検出など、他の適用例のために非障害物マップ１２６を使用し得る。説明されるシステムおよび方法はまた、現在の車線検出アルゴリズムが扱うことができない道路縁石検出の問題を解決し得る。説明されるシステムおよび方法は、さらに、自律運転に役立ち得、ここで、速度は、道路の地形に基づいて調整される。
【００３７】
[0053]図２は、非障害物決定モジュール２１６を示すブロック図である。非障害物決定モジュール２１６は、電子またはワイヤレスデバイス内に実装され得る。非障害物決定モジュール２１６は、深度マップ生成器２１８と、垂直推定モジュール２２０と、水平推定モジュール２２２と、推定コンバイナ２２４とを含み得る。非障害物決定モジュール２１６、深度マップ生成器２１８、垂直推定モジュール２２０、水平推定モジュール２２２および推定コンバイナ２２４は、図１に関して上記で説明された非障害物決定モジュール１１６、深度マップ生成器１１８、垂直推定モジュール１２０、水平推定モジュール１２２および推定コンバイナ１２４の構成であり得る。
【００３８】
[0054]深度マップ生成器２１８は、１つまたは複数の画像２１４を受信し得る。一構成では、１つまたは複数の画像２１４は、図１に関して説明されたように、カメラ（たとえば、画像センサー１０４および光学システム１０８）を介して取得され得る。一実装形態では、深度マップ生成器２１８はステレオ画像ペアを受信し得る。別の実装形態では、１つまたは複数の画像２１４は、ビデオモノ画像から来得る。画像２１４は、ピクセルからなるデジタル画像であり得る。
【００３９】
[0055]深度マップ生成器２１８は、１つまたは複数の画像２１４から深度マップ２３０を取得し得る。深度マップ２３０は、１つまたは複数の画像２１４のピクセルに対応するピクセル２３２を含み得る。深度マップ２３０中の各ピクセル２３２は、深度値２３４を有する。深度値２３４は、カメラに対するピクセル２３２の距離を示す。たとえば、より高い深度値２３４をもつピクセル２３２は、より低い深度値２３４をもつピクセル２３２よりも、カメラに対するより近い近接度を示し得る。深度マップ２３０の一例が、図４Ａ〜図４Ｄに関して説明される。
【００４０】
[0056]本明細書で説明されるアルゴリズムが各ピクセル２３２のための深度値２３４を必要としないことに留意されたい。たとえば、深度マップ２３０はホールを有し得る。これらのホールの深度値２３４は、処理を開始する前に充填され得る。
【００４１】
[0057]ステレオ画像ペアの場合、深度マップ生成器２１８は、視差を推定するためにピクセル２３２間の対応を見つけ得る。視差から、深度マップ生成器２１８は、各ピクセル２３２のための深度値２３４を決定し得る。代替的に、ビデオモノ画像の場合、深度マップ生成器２１８は、ビデオの動きに基づいて各ピクセル２３２のための深度値２３４を決定し得る。
【００４２】
[0058]深度マップ２３０は、垂直推定モジュール２２０および水平推定モジュール２２２に与えられ得る。垂直推定モジュール２２０は、垂直非障害物推定２４２を決定するために深度マップ２３０の垂直処理を実行し得る。水平推定モジュール２２２は、水平非障害物推定２５８を決定するために深度マップ２３０の水平処理を実行し得る。
【００４３】
[0059]垂直推定モジュール２２０は、深度マップ２３０をセグメント２３６に分割し得る。各セグメント２３６は、深度マップ２３０の列中のいくつかのピクセル２３２を含み得る。言い換えれば、垂直推定モジュール２２０は、深度マップ２３０の垂直セグメント２３６を処理し得る。セグメント２３６は、深度マップ２３０中のピクセル２３２の列の一部分であり得る。たとえば、セグメント２３６は、１０〜１５個のピクセル２３２のベクトルであり得る。セグメント２３６は、重複することも重複しないこともある。
【００４４】
[0060]垂直推定モジュール２２０は、垂直非障害物推定２４２を決定するために各セグメント２３６のための線形モデルパラメータを推定し得る。垂直方向における各セグメント２３６は、線形モデルを介して推定され得る。線形モデルは次のように表され得る。
【００４５】
【数１】
0006794436.tif 000002
【００４６】
ここで、ｙはピクセル２３２の深度値２３４であり、ｘはピクセル２３２の座標であり、ｐ1およびｐ2は推定された線形モデルパラメータ２３８である。推定誤差が垂直推定しきい値２４６よりも小さく、線形適合が一定の勾配を有する場合、それは、有効な空き空間（非障害物エリア２６６）としてラベリングされ得る。一実装形態では、０よりも大きい勾配が非障害物を示し、０よりも小さいかまたはそれに等しい勾配が物体または障害物を示す。このアプローチの一例が、図４Ａ〜図４Ｄに関して説明される。
【００４７】
[0061]行列形式では、式（１）の線形モデルは式（２）によって与えられる。
【００４８】
【数２】
0006794436.tif 000003
【００４９】
[0062]式（２）では、ｙは深度値２３４のｎ×１（n-by-1）ベクトルであり、ｘは垂直次元におけるモデル座標のためのｎ×２（n-by-2）設計行列（すなわち、ｎ個の行、２つの列の行列）であり、ｐ1およびｐ2は推定された線形モデルパラメータ２３８である。ｎの値は、深度マップセグメント２３６中のピクセル２３２の数に対応する。
【００５０】
[0063]１つのアプローチでは、ｐ1およびｐ2は最小２乗解を使用して解かれ得る。このアプローチでは、ｐは、未知の係数ｐ1およびｐ2のベクトルである。正規方程式は、以下によって与えられる。
【００５１】
【数３】
0006794436.tif 000004
【００５２】
ここで、ＸTは設計行列Ｘの転置である。式（４）においてｐについて解くことは、推定された線形モデルパラメータ２３８（すなわち、ｐ1およびｐ2）を生じる。
【００５３】
【数４】
0006794436.tif 000005
【００５４】
[0064]最適化された実装形態では、行列反転項（ＸTＸ）-1ＸTがロケーション（すなわち、ｙ座標）に基づいて固定され、ロケーションに基づいて事前計算され、記憶され得ることに留意されたい。また、区分的線形モデルが、ｐ1、ｐ2およびセグメント長の変動を用いて、表面におけるくぼみおよび隆起を推定し得る。さらに、このアプローチの主要な複雑さは、上記の式（２）におけるサイズｎの２つのベクトルの行列乗算による。一例では、ｎは、１０、または１０の代わりの選定された区分的長さであり得る。
【００５５】
[0065]垂直推定モジュール２２０は、垂直非障害物推定２４２のための垂直信頼性マップ２４８信頼性値２５０を決定し得る。一実装形態では、垂直推定モジュール２２０は、推定された線形モデルパラメータ２３８と所定の線形モデルパラメータ２４０との間の差に基づいて、各セグメント２３６のためのセグメント適合誤差２４４を決定し得る。所定のモデルパラメータは、［ｐＭ１，ｐＭ２］と呼ばれることがある。垂直推定モジュール２２０は、しきい値（ＴＨ１）と比較することによって、所定のモデルパラメータが推定されたパラメータ［ｐ1，ｐ2］にどのくらい近いかを確認し得る。たとえば、｜ｐ1−ｐＭ１｜＜ＴＨ１である。
【００５６】
[0066]垂直推定しきい値２４６は、推定された線形モデルパラメータ２３８がトレーニングされたモデルパラメータに適合するかどうかを決定し得る。所定の線形モデルパラメータ２４０は、複数の道路状態モデルの中から選択され得る。複数の道路状態モデルの各々は、線形モデルパラメータ２４０の対応するセットを有し得る。道路状態モデルの例としては、平坦な平面、丘陵、谷などがある。所定の線形モデルパラメータ２４０は、トレーニングによって決定され得る。
【００５７】
[0067]垂直推定モジュール２２０は、式（５）に従って、推定された線形モデルパラメータ２３８を使用して、推定された深度値（
【００５８】
【数５】
0006794436.tif 000006
【００５９】
）を決定し得、ここで、
【００６０】
【数６】
0006794436.tif 000007
【００６１】
はｉ番目のロケーションにおける推定された深度値である。
【００６２】
【数７】
0006794436.tif 000008
【００６３】
[0068]推定された線形モデルパラメータ２３８を用いた深度推定誤差（ｅi）は、式（６）に従って決定され得、ここで、ｙiはｉ番目のロケーションにおける深度値２３４である。
【００６４】
【数８】
0006794436.tif 000009
【００６５】
[0069]セグメント適合誤差２４４（ｓ2）は、式（７）に従って決定され得、ここで、ｎはセグメント２３６の長さである。
【００６６】
【数９】
0006794436.tif 000010
【００６７】
[0070]セグメント適合誤差２４４は、垂直処理のための信頼性メトリックとして使用され得る。垂直推定モジュール２２０は、各セグメント２３６のセグメント適合誤差２４４を垂直推定しきい値２４６と比較することによって、各セグメント２３６のための垂直信頼性値２５０を決定し得る。
【００６８】
[0071]垂直推定しきい値２４６は、所定の線形モデルパラメータ２４０に基づき得る。垂直推定しきい値２４６は、どの所定の線形モデルパラメータ２４０が使用されるかに応じて変動し得る。たとえば、垂直推定しきい値２４６は、平坦な道路のための所定の線形モデルパラメータ２４０が使用される場合、ある値を有し得る。垂直推定しきい値２４６は、丘陵のための所定の線形モデルパラメータ２４０が使用される場合、異なる値を有し得る。
【００６９】
[0072]垂直推定モジュール２２０は、セグメント適合誤差２４４と垂直推定しきい値２４６との間の差の絶対値を検査し得る。所与のセグメント２３６のためのセグメント適合誤差２４４が垂直推定しきい値２４６よりも小さいとき、所与のセグメント２３６は高い垂直信頼性値２５０を有し得る。逆に、所与のセグメント２３６のためのセグメント適合誤差２４４が垂直推定しきい値２４６よりも大きいかまたはそれに等しいとき、所与のセグメント２３６は低い垂直信頼性値２５０を有し得る。したがって、セグメント適合誤差２４４と垂直推定しきい値２４６との間の差が小さい場合、セグメント２３６は非障害物エリア２６６の一部と見なされる。差が大きい場合、セグメント２３６は非障害物エリア２６６の一部と見なされない。
【００７０】
[0073]所与のセグメント２３６のための信頼性値２５０を決定すると、垂直推定モジュール２２０は、バイナリマップを得るために垂直信頼性マップ２４８をしきい値処理し得る。所与のセグメント２３６のための信頼性値２５０は、セグメント２３６が非物体エリア（たとえば、移動可能）であるのか物体エリア（たとえば、移動不可能なエリア）であるのかを決定するために、しきい値と比較され得る。垂直信頼性マップ２４８は、深度マップ２３０中のピクセル２３２の信頼性値２５０を含み得る。したがって、垂直信頼性マップ２４８は、深度ピクセル２３２ごとに、ならびにセグメント２３６ごとに適合信頼度を有するマップである。
【００７１】
[0074]水平推定モジュール２２２は、水平非障害物推定２５８を決定するために深度マップ２３０の水平処理を実行し得る。水平処理は、深度マップ２３０のピクセル２３２の各行のための深度ヒストグラム２５２を取得することを含み得る。深度ヒストグラム２５２の一例が、図６Ａ〜図６Ｄに関して説明される。深度ヒストグラム２５２は、視差ヒストグラムと呼ばれることもある。
【００７２】
[0075]一実装形態では、深度ヒストグラム２５２は、深度マップ２３０中の各行のためのヒストグラムを取得することによって取得され得る。たとえば、深度マップ２３０からのピクセル２３２の行について、その行中のピクセル２３２に対応する深度値２３４のためのヒストグラムが生成され得る。
【００７３】
[0076]水平推定モジュール２２２は、深度ヒストグラム２５２から地形ライン２５４を決定し得る。地形ライン２５４のエンドポイントのｙ座標は、最近および最遠空き空間距離を決定する。
【００７４】
[0077]地形ライン２５４は、ライン抽出アプローチを使用して決定され得る。深度ヒストグラム２５２に対してハフ変換が適用され得る。ハフ変換は、深度ヒストグラム２５２から複数のラインセグメントを抽出し得る。たとえば、ハフ変換は、１０〜２０個の小さいラインを生成し得る。ラインセグメントは、地形ライン２５４を形成するためにマージされ得る。一実装形態では、地形ライン２５４の角度は、非障害物空間の勾配特性に基づいて（たとえば、−２０度から−４０度の間に）制限され得る。
【００７５】
[0078]水平推定モジュール２２２は、地形ライン２５４からの各ピクセル２３２の深度値２３４の距離に基づいて、各ピクセル２３２のための水平非障害物推定２５８を決定し得る。地形ライン２５４の水平推定しきい値２６０内にある深度値２３４を有するピクセル２３２が、非障害物エリア２６６として識別され得る。たとえば、ピクセル２３２の深度値２３４が、地形ライン２５４のある視差範囲内にある場合、そのピクセル２３２は、非障害物エリア２６６としてラベリングされ得る。ピクセル２３２の深度値２３４が、地形ライン２５４のある視差範囲外にある場合、そのピクセル２３２は、障害物エリア２６８としてラベリングされ得る。
【００７６】
[0079]水平推定モジュール２２２はまた、深度ヒストグラム２５２距離に基づいて水平信頼性マップ２６２を決定し得る。水平信頼性マップ２６２は、各ピクセル２３２の水平非障害物推定２５８のための信頼性値２６４を含み得る。
【００７７】
[0080]深度ヒストグラム２５２のモード２５６までの距離が、水平処理のための信頼性メトリックとして使用され得る。水平推定モジュール２２２は、各ピクセル２３２の深度値２３４が深度ヒストグラム２５２のモード２５６の信頼性しきい値２６１内にあるかどうかを決定し得る。所与のピクセル２３２は、所与のピクセル２３２の深度値２３４が深度ヒストグラム２５２のモード２５６の信頼性しきい値２６１内にあるとき、高い信頼性値２６４を有し得る。
【００７８】
[0081]推定コンバイナ２２４は、非障害物マップ２２６を決定するために垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせ得る。この組み合せは、垂直信頼性値２５０と水平信頼性値２６４とに基づき得る。１つのアプローチでは、垂直処理と水平処理とは並列に実行され得、得られた非障害物推定２４２、２５８がマージされ得る。別のアプローチでは、垂直処理と水平処理とは順次実行され得、得られた非障害物推定がマージされ得る。
【００７９】
[0082]並列処理アプローチの場合、垂直処理と水平処理の両方が並列に実行され得る。たとえば、上記で説明されたように、垂直推定モジュール２２０が垂直処理を実行し得、水平推定モジュール２２２が水平処理を同時に実行し得る。推定コンバイナ２２４は、各ピクセル２３２を非障害物エリア２６６または障害物エリア２６８として識別することによって、非障害物マップ２２６を生成し得る。この識別は、垂直信頼性マップ２４８の垂直信頼性値２５０と水平信頼性マップ２６２の水平信頼性値２６４とに基づき得る。
【００８０】
[0083]垂直信頼性マップ２４８と水平信頼性マップ２６２の両方が、ピクセル２３２が高い信頼性を有することを示す場合、ピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６として識別され得る。言い換えれば、所与のピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６として識別され得、ここで、垂直信頼性マップ２４８と水平信頼性マップ２６２の両方が所与のピクセル２３２のための高い信頼性値によって特徴づけられる。
【００８１】
[0084]一実装形態では、これは、垂直信頼性マップ２４８および水平信頼性マップ２６２をそれぞれのしきい値でしきい値処理することによって達成され得る。たとえば、所与のピクセル２３２の垂直信頼性値２５０および水平信頼性値２６４がしきい値よりも大きい場合、ピクセル２３２は、非障害物エリア２６６として識別され得る。垂直信頼性マップ２４８と水平信頼性マップ２６２の両方が低い信頼性を示す場合、ピクセル２３２は、障害物エリア２６８としてラベリングされ得る。
【００８２】
[0085]垂直信頼性マップ２４８または水平信頼性マップ２６２のいずれかが高い信頼性を示し、他方が低い信頼性を示す場合、１つまたは複数の異なるマージングアプローチが実行され得る。１つのアプローチでは、垂直信頼性マップ２４８または水平信頼性マップ２６２のうちの少なくとも１つが、所与のピクセル２３２が低い信頼性を有することを示す場合、所与のピクセル２３２は、非障害物マップ２２６中の障害物エリア２６８として識別される。言い換えれば、所与のピクセル２３２は、非障害物マップ２２６中の障害物エリア２６８として識別され得、ここで、垂直信頼性マップ２４８または水平信頼性マップ２６２のうちの少なくとも１つが所与のピクセル２３２のための低い信頼性値によって特徴づけられる。このアプローチでは、信頼性マップ２４８、２６２のうちの１つが低い信頼性を示している場合、ピクセル２３２は、その信頼性マップ２４８、２６２のみに基づいてラベリングされ得る。
【００８３】
[0086]別のアプローチでは、垂直信頼性マップ２４８および水平信頼性マップ２６２は、所与のピクセル２３２のための異なる信頼性値２５０、２６４によって特徴づけられる。この場合、所与のピクセル２３２は、所与のピクセル２３２の座標に基づいて非障害物エリア２６６または障害物エリア２６８として識別され得る。このアプローチでは、両方の信頼性マップ２４８、２６２が信頼性に関して互いに近い（たとえば、一方が他方よりも高い）場合、決定は、ピクセル２３２座標を考慮することによってさらに向上され得る。
【００８４】
[0087]一例では、ＲＨｉｊは、水平処理からのｉ番目およびｊ番目のピクセル２３２のための水平信頼性値２６４であり、ＲＶｉｊは、垂直処理からの垂直信頼性値２５０である（ここで、両方の信頼性値２５０、２６４は、異なる方法によって取得された場合に正規化される）。｜ＲＨｉｊ−ＲＶｉｊ｜＜ＴＨである場合、これは、信頼性マップ２４８、２６２が近いことを示す。さらに、ＲＨｉｊは、ＲＶｉ＋ｎ，ｊ＋ｎと比較され得、ここで、（たとえば７２０ｐ解像度についてＮ＝５の場合）ｎは＜Ｎである。
【００８５】
[0088]シーケンシャル処理アプローチの場合、垂直処理または水平処理のいずれかが第１に実行され得る。第１の処理が実行された後、信頼性マップ（たとえば、垂直信頼性マップ２４８または水平信頼性マップ２６２のいずれか）が、深度マップ２３０全体について計算され得る。信頼性が満たされないピクセル２３２について、第２の処理が求められる。第１の処理の結果と第２の処理の結果とは、非障害物マップ２２６を取得するためにマージされ得る。垂直処理で開始するシーケンシャル処理の一例が、図９に関して説明される。水平処理で開始するシーケンシャル処理の一例が、図１０に関して説明される。
【００８６】
[0089]非障害物決定モジュール２１６は、非障害物マップ２２６の追加の処理を実行し得る。一実装形態では、非障害物決定モジュール２１６は、外れ値除去を実行し得る。たとえば、少数のピクセル２３２が、非障害物エリア２６６内の間違ってラベリングされた障害物エリア２６８であり得る。非障害物決定モジュール２１６は、これらの外れ値を識別し、それらのステータスを障害物または非障害物のいずれかに変更し得る。非障害物決定モジュール２１６は、非障害物マップ２２６を後続の動作のために準備するために、非障害物マップ２２６の追加のフィルタ処理を実行し得る。
【００８７】
[0090]非障害物マップ２２６は、異なる動作のために使用され得る。一実装形態では、非障害物マップ２２６は、物体検出アルゴリズムによって使用される関心領域を識別するために使用され得る。これは、図１４に関して説明されるように達成され得る。別の実装形態では、非障害物マップ２２６は、車線検出アルゴリズムによって使用される関心領域を識別するために使用され得る。これは、図１５に関して説明されるように達成され得る。
【００８８】
[0091]図２に示されているように、図示された構成要素のうちの１つまたは複数は、プロセッサ２２８によって随意に実装され得る。たとえば、非障害物決定モジュール２１６は、プロセッサ２２８によって実装され得る。いくつかの構成では、異なる構成要素を実装するために異なるプロセッサが使用され得る（たとえば、あるプロセッサが深度マップ生成器２１８を実装し得、別のプロセッサが垂直推定モジュール２２０を実装するために使用され得、別のプロセッサが水平推定モジュール２２２を実装するために使用され得、また別のプロセッサが推定コンバイナ２２４を実装するために使用され得る）。
【００８９】
[0092]画像２１４を回転し、対角処理を実行することそれが可能であることに留意されたい。画像２１４が回転される場合、垂直処理および水平処理は対角処理になり得る。したがって、本明細書では垂直処理および水平処理という用語が使用されるが、対応する座標マッピングを用いて、回転された画像を通して異なるセクションにわたって処理が適用され得ることが認識され得る。
【００９０】
[0093]図３は、非障害物エリア検出を実行するための方法３００を示すフローチャートである。方法３００は、図１に関して、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。電子デバイス１０２は、３０２において、１つまたは複数の画像２１４から深度マップ２３０を取得する。一実装形態では、電子デバイス１０２は、ステレオ画像ペアから深度マップ２３０を生成し得る。別の実装形態では、電子デバイス１０２は、ビデオモノ画像から深度マップ２３０を生成し得る。深度マップ２３０中の各ピクセル２３２は、深度値２３４を有し得る。
【００９１】
[0094]電子デバイス１０２は、３０４において、垂直非障害物推定２４２を決定するために深度マップ２３０の垂直処理を実行する。垂直処理は、深度マップ２３０をセグメント２３６に分割することを含み得る。各セグメント２３６は、列中のいくつかのピクセル２３２を含み得る。電子デバイス１０２は、垂直非障害物推定２４２を決定するために各セグメント２３６のための線形モデルパラメータ２３８を推定し得る。電子デバイス１０２は、垂直非障害物推定２４２のための信頼性値２５０を含む垂直信頼性マップ２４８を決定し得る。
【００９２】
[0095]電子デバイス１０２は、３０６において、水平非障害物推定２５８を決定するために深度マップ２３０の水平処理を実行する。水平処理は、深度マップ２３０のピクセル２３２の各行のための深度ヒストグラム２５２を取得することを含み得る。電子デバイス１０２は、深度ヒストグラム２５２から地形ライン２５４を決定し得る。電子デバイス１０２は、地形ライン２５４からの各ピクセル２３２の深度値２３４の距離に基づいて、各ピクセル２３２のための水平非障害物推定２５８を決定し得る。電子デバイス１０２はまた、各ピクセル２３２の水平非障害物推定２５８のための信頼性値２６４を含む水平信頼性マップ２６２を決定し得る。
【００９３】
[0096]電子デバイス１０２は、３０８において、非障害物マップ２２６を決定するために垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせる。一実装形態では、電子デバイス１０２は、並列の垂直処理および水平処理を実行し得る。この実装形態では、電子デバイス１０２は、図１０に関して説明されるように、垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせ得る。別の実装形態では、電子デバイス１０２は、図１１Ａ〜図１１Ｂに関して説明されるように、垂直処理で開始するシーケンシャル処理を実行し得る。また別の実装形態では、電子デバイス１０２は、図１２Ａ〜図１２Ｂに関して説明されるように、水平処理で開始するシーケンシャル処理を実行し得る。
【００９４】
[0097]図４Ａ〜図４Ｄは、深度マップ４３０の垂直処理の一例を示す。深度マップ４３０は、１つまたは複数の画像４０４から生成され得る。深度マップ４３０は、（１つまたは複数の）元の画像４０４のピクセルに対応するロケーションを含み得る。深度マップ４３０中の各ロケーション（たとえば、座標）は、（１つまたは複数の）元の画像４０４のピクセルに対応する水平座標４７２および垂直座標４７４ａを有し得る。
【００９５】
[0098]深度マップ４３０は、深度が元の解像度から計算される場合、元の画像４０４のサイズに一致し得る。深度マップ４３０の可視化において、深度値４３４は、元の画像４０４の対応する座標から取得され得る。非障害物マップ２２６を生成するときに深度マップ４３０の可視化が生成されることも生成されないこともあることに留意されたい。
【００９６】
[0099]深度マップ４３０の各ピクセル２３２は、深度値４３４を有し得る。この例では、深度値４３４ａは、０から１２０までにわたり得、ここで、０が最も遠い距離を示し、１２０が最も近い距離を示す。深度値４３４のために異なる値が使用され得ることに留意されたい。
【００９７】
[00100]一実装形態では、深度マッピングに対する視差は、以下の式によって説明され得る。Ｚ＝ｆＢ／ｄ、ここで、ＺはカメラＺ軸に沿った距離であり、ｆは（ピクセル単位の）焦点距離であり、Ｂは（メートル単位の）ベースラインであり、ｄは（ピクセル単位の）視差である。視差が小さいとき、深度は大きい。深度は、メートル換算で見つけられ得る。
【００９８】
[00101]ステレオ画像４０４からの深度推定アルゴリズムは完全には信頼できないことがあることに留意されたい。たとえば、深度推定アルゴリズムは、いくつかの領域中の深度値４３４を割り当てることが可能でないことがある。消失した深度値４３４を充填するために深度充填アルゴリズムが使用され得る。たとえば、近接する深度値４３４は、隣接するエリアに伝搬され得る。伝搬は、左側から、または右側からであり得る。代替的に、消失した深度値４３４は、左側と右側、ならびに上部と下部との間を補間することによって充填され得る。
【００９９】
[00102]この例は、第１の列４７０ａおよび第２の列４７０ｂを示す。第１の列のグラフ４７５ａにおいて、第１の列４７０ａ中のピクセル２３２のための深度値４３４ｂが示される。この第１の列のグラフ４７５ａにおいて、深度値４３４ｂは、第１の列４７０ａからのピクセル２３２の垂直座標４７４ｂに対してプロットされる。この例では、０から４０ピクセルまでの０値と４００ピクセルの後の０値とは、そこに割り当てられた深度がないためであることに留意されたい。ステレオ画像は較正され得るので、それらは、較正の後に、一致する視野（ＦＯＶ：field of view）を有しないことがある。深度推定は、同じＦＯＶ内でのみ実行され得るにすぎない。
【０１００】
[00103]第２の列のグラフ４７５ｂにおいて、第２の列４７０ｂ中のピクセル２３２のための深度値４３４ｃが示される。この第２の列のグラフ４７５ｂにおいて、深度値４３４ｃは、第２の列４７０ｂからのピクセル２３２の垂直座標４７４ｃヴァースプロットされる。０から１５０までの破線は、アルゴリズム結果を示すマッピングである。マッピングは、（非物体道路エリアを指定する）勾配をつけられた（すなわち、傾斜した）ラインに対してのものであり得るにすぎない。（平坦なラインである）物体にマッピングするために、同じアルゴリズムが使用され得るが、マッピングパラメータは変更され得る。
【０１０１】
[00104]グラフ４７５ａ、ｂ中の実線は、元の深度値から来る。破線は、説明されるシステムおよび方法に従って生成される。マッピングが破線の勾配に基づき得ることに留意されたい。これらのグラフ４７５ａ、ｂにおいて、０よりも大きい勾配が非障害物エリア２６６を示す。０よりも小さいかまたはそれに等しい勾配が障害物エリア２６８を示す。
【０１０２】
[00105]垂直処理中に、電子デバイス１０２は、深度マップ４３０をセグメント２３６に分割し得る。各セグメント２３６は、列４７０中のいくつかのピクセル２３２を含み得る。たとえば、セグメント２３６は、１０〜１５個のピクセル２３２のベクトルであり得る。電子デバイス１０２は、図２に関して説明されたように、垂直非障害物推定２４２を決定し得、線形モデルパラメータ２３８を推定し得る。推定誤差がしきい値２４６よりも小さく、線形適合が一定の勾配を有する場合、セグメント２３６は、有効な非障害物エリア２６６としてラベリングされ得る。
【０１０３】
[00106]図５は、垂直処理を使用して非障害物エリア検出を実行するための方法５００を示すフローチャートである。方法５００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。電子デバイス１０２は、５０２において、深度マップ４３０をセグメント２３６に分割する。各セグメント２３６は、列４７０中のｎ個のピクセル２３２を含み得る。一実装形態では、ｎは、１０個のピクセル２３２に等しくなり得る。
【０１０４】
[00107]電子デバイス１０２は、５０４において、垂直非障害物推定２４２を決定するために各セグメント２３６のための線形モデルパラメータ２３８を推定する。これは、上記で説明された式１〜４に従って達成され得る。
【０１０５】
[00108]電子デバイス１０２は、５０６において、垂直非障害物推定２４２のための信頼性値２５０を含む垂直信頼性マップ２４８を決定する。たとえば、電子デバイス１０２は、推定された線形モデルパラメータ２３８と所定の線形モデルパラメータ２４０との間の差に基づいて、各セグメント２３６のためのセグメント適合誤差２４４を決定し得る。セグメント適合誤差２４４は、上記の式５〜７に従って決定され得る。所定の線形モデルパラメータ２４０は、複数の道路状態モデル（たとえば、平坦、丘陵、谷）の中から選択され得る。複数の道路状態モデルの各々は、線形モデルパラメータ２４０の対応するセットを有し得る。
【０１０６】
[00109]電子デバイス１０２は、各セグメント２３６のセグメント適合誤差２４４を垂直推定しきい値２４６と比較することによって、各セグメント２３６のための信頼性値２５０を決定し得る。所与のセグメント２３６のためのセグメント適合誤差２４４が垂直推定しきい値２４６よりも小さいとき、所与のセグメント２３６は高い信頼性値２５０を有し得る。
【０１０７】
[00110]電子デバイス１０２は、所与のセグメント２３６のための信頼性値２５０を所与のセグメント２３６中の各ピクセル２３２に適用し得る。したがって、垂直信頼性マップ２４８中の各ピクセル２３２は、垂直非障害物推定２４２の信頼度を示す信頼性値２５０を有し得る。
【０１０８】
[00111]図６Ａ〜図６Ｄは、深度マップ６３０の水平処理の一例を示す。深度マップ６３０は、１つまたは複数の画像１１４から生成され得る。図６Ａに示されている深度マップ６３０は、（ページに合うように圧縮された）図４Ｂに関して説明された同じ深度マップ４３０である。深度マップ６３０は、（１つまたは複数の）元の画像１１４のピクセルに対応するロケーションを含み得る。深度マップ６３０中の各ロケーションは、（１つまたは複数の）元の画像１１４のピクセル２３２に対応する水平座標６７２および垂直座標６７４を有し得る。
【０１０９】
[00112]電子デバイス１０２は深度ヒストグラム６５２を生成し得る。深度ヒストグラム６５２は、深度マップ６３０中の各行のための深度のヒストグラムを取得することによって生成され得る。たとえば、深度ヒストグラム６５２は、垂直軸において深度マップ６３０を投影することによって生成され得る。
【０１１０】
[00113]深度ヒストグラム６５２は、画像１１４中の各行について計算され得る。深度ヒストグラム６５２中のビンの数は、画像１１４中の最大視差値の数に対応する。たとえば、それは、７２０ｐ画像について１５０であり得るか、または、それは、より大きい解像度の画像についてはより大きく、より小さい解像度の画像についてはより小さくなり得る。図６Ｂの右側のｘ軸は視差値に対応し、画像１１４中の強度値は、その視差値のためのヒストグラムカウントに対応する。シェードが暗いほど視差値は高くなり、シェードが淡いほどヒストグラムの視差値は低くなる。この例では、視差ビンの最大数は１５０である。深度ヒストグラム６５２において、視差値は、垂直座標６７４に対してプロットされる。
【０１１１】
[00114]電子デバイス１０２は、ラインセグメント６７６を抽出するために深度ヒストグラム６５２に対してハフ変換を適用し得る。ハフ変換は、深度ヒストグラム２５２から複数のラインセグメント６７６を抽出し得る。たとえば、ハフ変換は、１０〜２０個の小さいラインセグメント６７６を生成し得る。
【０１１２】
[00115]ラインセグメント６７６は、地形ライン６５４を形成するためにマージされ得る。地形ライン２５４のエンドポイントのｘ座標は、最近および最遠空き空間距離を決定する。一実装形態では、地形ライン２５４の角度は、非障害物空間がいくつかの勾配特性を有するので（たとえば、−２０度から−４０度の間に）制限され得る。
【０１１３】
[00116]深度ヒストグラム６５２が負の勾配をもつラインを与える場合、それは、いかなる障害物もない、車の前の道路セグメントに対応する。障害物は、９０度のまっすぐな垂直線によって表される。地形ライン２５４は、カメラの前の深度値が画像１１４の行中で分析されるとき、その深度値が緩やかに減少していることを示す。物体がある場合、物体は、一定数の行について同じ深度値を有することになる。この場合、深度値は減少していないことになる。勾配（すなわち、地形ライン２５４の角度）は、道路が有することができる最大勾配に従って選定され得る。
【０１１４】
[00117]電子デバイス１０２は、地形ライン６５４の水平推定しきい値２６０内にある深度値６３４をもつピクセル２３２を、非障害物エリア２６６としてラベリングし得る。地形ライン６５４の水平推定しきい値２６０外にある深度値６３４をもつピクセル２３２は、障害物エリア２６８としてラベリングされ得る。
【０１１５】
[00118]図７は、水平処理を使用して非障害物エリア検出を実行するための方法７００を示すフローチャートである。方法７００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。電子デバイス１０２は、７０２において、深度マップ２３０のピクセル２３２の各行のための深度ヒストグラム２５２を取得する。これは、図６Ａ〜図６Ｄに関して説明されたように達成され得る。
【０１１６】
[00119]電子デバイス１０２は、７０４において、深度ヒストグラム２５２から地形ライン２５４を決定する。これは、図６Ａ〜図６Ｄに関して説明されたように達成され得る。
【０１１７】
[00120]電子デバイス１０２は、７０６において、地形ライン２５４からの各ピクセル２３２の深度値２３４の距離に基づいて、各ピクセル２３２のための水平非障害物推定２５８を決定する。地形ライン６５４の水平推定しきい値２６０内にある深度値６３４をもつピクセル２３２は、非障害物エリア２６６としてラベリングされ得る。地形ライン６５４の水平推定しきい値２６０外にある深度値６３４をもつピクセル２３２は、障害物エリア２６８としてラベリングされ得る。
【０１１８】
[00121]電子デバイス１０２は、７０８において、各ピクセル２３２の水平非障害物推定２５８のための信頼性値２６４を含む水平信頼性マップ２６２を決定する。たとえば、深度ヒストグラム２５２のモード２５６までの距離が、水平処理のための信頼性メトリックとして使用され得る。電子デバイス１０２は、各ピクセル２３２の深度値２３４が深度ヒストグラム２５２のモード２５６の信頼性しきい値２６１内にあるかどうかを決定し得る。所与のピクセル２３２は、所与のピクセル２３２の深度値２３４が深度ヒストグラム２５２のモード２５６の信頼性しきい値２６１内にあるとき、高い信頼性値２６４を有し得る。
【０１１９】
[00122]図８は、非障害物マップ２２６を決定するために垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせるための方法８００を示すフローチャートである。方法８００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。この方法８００では、電子デバイス１０２は、垂直処理および水平処理を並列に実行し得る。
【０１２０】
[00123]電子デバイス１０２は、８０２において、垂直非障害物推定２４２を決定するために深度マップ２３０の垂直処理を実行する。これは、図５に関して説明されたように達成され得る。
【０１２１】
[00124]電子デバイス１０２は、８０４において、モデル適合信頼度に基づいて垂直信頼性マップ２４８を取得する。これは、図５に関して説明されたように達成され得る。
【０１２２】
[00125]電子デバイス１０２は、８０６において、水平非障害物推定２５８を決定するために深度マップ２３０の水平処理を実行する。これは、図７に関して説明されたように達成され得る。
【０１２３】
[00126]電子デバイス１０２は、８０８において、深度ヒストグラム２５２距離に基づいて水平信頼性マップ２６２を取得する。これは、図７に関して説明されたように達成され得る。
【０１２４】
[00127]ステップ８０２、８０４、８０６、８０８が並列に実行され得ることに留意されたい。たとえば、電子デバイス１０２が垂直処理ステップ８０２および８０４を実行する間、電子デバイス１０２は、水平処理ステップ８０６および８０８を同時に実行し得る。
【０１２５】
[00128]電子デバイス１０２は、８１０において、非障害物マップ２２６を取得するために垂直非障害物推定２４２と水平非障害物推定２５８とをマージする。このマージは、垂直信頼性マップ２４８と水平信頼性マップ２６２とに基づき得る。
【０１２６】
[00129]垂直信頼性マップ２４８と水平信頼性マップ２６２の両方が、ピクセル２３２が高い信頼性を有することを示す場合、ピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６として識別され得る。たとえば、垂直信頼性マップ２４８が高い垂直信頼性値２５０を示し、水平信頼性マップ２６２が高い水平信頼性値２６４を示す場合、ピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６としてラベリングされ得る。
【０１２７】
[00130]垂直信頼性マップ２４８または水平信頼性マップ２６２のいずれかが高い信頼性を示し、他方が低い信頼性を示す場合、１つまたは複数の異なるマージングアプローチが実行され得る。１つのアプローチでは、垂直信頼性マップ２４８または水平信頼性マップ２６２のうちの少なくとも１つが、所与のピクセル２３２が低い信頼性値２５０、２６４を有することを示す場合、所与のピクセル２３２は、非障害物マップ２２６中の障害物エリア２６８として識別される。別のアプローチでは、垂直信頼性マップ２４８および水平信頼性マップ２６２は、異なる信頼性値２５０、２６４を示し得る。この場合、所与のピクセル２３３２は、所与のピクセル２３２の座標に基づいて非障害物エリア２６６または障害物エリア２６８として識別され得る。
【０１２８】
[00131]図９は、非障害物マップ２２６を決定するために垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせるための別の方法９００を示すフローチャートである。方法９００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。この方法９００では、電子デバイス１０２は、垂直処理と、後続の水平処理とのシーケンシャルアプリケーションを実行し得る。
【０１２９】
[00132]電子デバイス１０２は、９０２において、垂直非障害物推定２４２を決定するために深度マップ２３０の垂直処理を実行する。これは、図５に関して説明されたように達成され得る。
【０１３０】
[00133]電子デバイス１０２は、９０４において、モデル適合信頼度に基づいて垂直信頼性マップ２４８を取得する。これは、図５に関して説明されたように達成され得る。
【０１３１】
[00134]電子デバイス１０２は、９０６において、垂直信頼性マップ２４８に基づいて、信頼できる領域を非障害物エリア２６６として識別する。たとえば、垂直信頼性マップ２４８中の高い垂直信頼性値２５０を有する各ピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６としてラベリングされ得る。
【０１３２】
[00135]電子デバイス１０２は、９０８において、垂直信頼性マップ２４８の信頼できない領域が非障害物エリア２６６であるかどうかを決定するために、信頼できない領域に対して水平処理を実行する。たとえば、電子デバイス１０２は、低い信頼性値２５０を有するピクセル２３２の少なくとも１つの行に対して水平処理を実行し得る。行の長さが、画像１１４と同程度に広くなり得るか、または画像幅よりも短くなり得ることに留意されたい。水平処理は、水平非障害物推定２５８を決定するために、図７に関して説明されたように達成され得る。非障害物マップ２２６は、信頼できない領域の水平信頼性マップ２６２の結果に基づいて更新され得る。
【０１３３】
[00136]図１０は、非障害物マップ２２６を決定するために垂直非障害物推定２４２と水平非障害物推定２５８とを組み合わせるためのまた別の方法１０００を示すフローチャートである。方法１０００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。この方法１０００では、電子デバイス１０２は、水平処理と、後続の垂直処理とのシーケンシャルアプリケーションを実行し得る。
【０１３４】
[00137]電子デバイス１０２は、１００２において、水平非障害物推定２５８を決定するために深度マップ２３０の水平処理を実行する。これは、図７に関して説明されたように達成され得る。
【０１３５】
[00138]電子デバイス１０２は、１００４において、深度ヒストグラム２５２距離に基づいて水平信頼性マップ２６２を取得する。これは、図７に関して説明されたように達成され得る。
【０１３６】
[00139]電子デバイス１０２は、１００６において、水平信頼性マップ２６２に基づいて、信頼できる領域を非障害物エリア２６６として識別する。たとえば、水平信頼性マップ２６２中の高い水平信頼性値２６４を有する各ピクセル２３２は、非障害物マップ２２６中の非障害物エリア２６６としてラベリングされ得る。
【０１３７】
[00140]電子デバイス１０２は、１００８において、水平信頼性マップ２６２の信頼できない領域が非障害物エリア２６６であるかどうかを決定するために、信頼できない領域に対して垂直処理を実行する。たとえば、電子デバイス１０２は、低い水平信頼性値２６４を有するピクセル２３２の１つまたは複数の列に対して垂直処理を実行し得る。ピクセル２３２の１つまたは複数の列は、画像１１４と同程度に高くなり得るか、または画像高さよりも小さくなり得る。
【０１３８】
[00141]垂直処理は、垂直非障害物推定２４２を決定するために、図５に関して説明されたように達成され得る。非障害物マップ２２６は、信頼できない領域の垂直信頼性マップ２４８の結果に基づいて更新され得る。
【０１３９】
[00142]図１１Ａ〜図１１Ｂは、画像１１１４中の非障害物エリア１１６６を決定することの一例を示す。この例では、元の画像１１１４ａは一方通行道路の画像である。
【０１４０】
[00143]処理された画像１１１４ｂは、本明細書で説明されるシステムおよび方法に従って決定された非障害物エリア１１６６を示す。処理された画像１１１４ｂは、最終結果ではなく、アルゴリズムの中間ステップからの一例を示す。これは、さらに処理されるべきであるホールが非障害物マップ１２６中にあり得ることを示すことである。また、これは、垂直処理のみからの結果を示す。
【０１４１】
[00144]非障害物エリア１１６６は、道路に対応するオープンエリアを含む。非障害物エリア１１６６中のいくつかの外れ値エリア１１７８は、非障害物エリア１１６６の一部として識別されなかった。本明細書で使用される外れ値は、画像１１１４ｂ中の深度値が所定のモデルに適合しなかったことを意味する。これは、深度値の考えられる間違った推定（たとえば、入力された深度値が完全でないことがある）に起因していることがあり、したがって、いくつかのエリアは、ホール（または外れ値）のように見える。これらの外れ値エリア１１７８は、画像１１１４の追加の処理を実行することによって除去され得る。
【０１４２】
[00145]図１２Ａ〜図１２Ｂは、画像１２１４中の非障害物エリア１２６６を決定することの別の例を示す。この例では、元の画像１２１４ａは交差点の画像である。処理された画像１２１４ｂは、本明細書で説明されるシステムおよび方法に従って決定された非障害物エリア１２６６を示す。
【０１４３】
[00146]図１３Ａ〜図１３Ｂは、非障害物エリア１３６６からの距離１３８０を決定することの一例を示す。この例は、図１１Ａ〜図１１Ｂに関して説明された道路の処理された画像１３１４を示す。非障害物エリア１３６６は、本明細書で説明されるシステムおよび方法に従って決定される。
【０１４４】
[00147]図１３Ｂの深度マップ１３３０では、ｘ座標およびｙ座標は座標位置であり、シェーディングは深度を示す。この例では、深度マップ１３３０は、非障害物エリア１３６６のための深度情報を含む。深度マップ１３３０は、カメラの前の空き空間がどのくらい遠くにあるかを示す。
【０１４５】
[00148]深度マップ１３３０からの深度値２３４を使用して、電子デバイス１０２は、非障害物エリア１３６６ｂに関連する様々な距離を決定し得る。たとえば、電子デバイス１０２は、非障害物エリア１３６６ｂ中の最遠距離が、画像センサー１０４から４５〜５０メートル離れていると決定し得る。同様に、電子デバイス１０２は、最も近い車が画像センサー１０４から約１１メートルのところにあると決定し得る。
【０１４６】
[00149]図１４は、物体検出アルゴリズムによって使用される関心領域（ＲＯＩ）１４８２を識別するために非障害物マップ２２６を使用することの一例を示す。この例は、図１１Ａ〜図１１Ｂに関して説明された道路の処理された画像１４１４を示す。非障害物エリア１４６６は、本明細書で説明されるシステムおよび方法に従って決定される。
【０１４７】
[00150]電子デバイス１０２は、次いで、潜在的障害物エリア２６８のための１つまたは複数のＲＯＩ１４８２を識別し得る。たとえば、電子デバイス１０２は、非障害物マップ２２６から障害物エリア２６８を識別し得る。一実装形態では、非障害物エリア１４６６としてラベリングされないピクセル２３２は、障害物エリア２６８として識別され得る。これらの障害物エリア２６８は、１つまたは複数のＲＯＩ１４８２中に含まれ得る。この例では、電子デバイス１０２は、４つのＲＯＩ１４８２ａ〜ｄを潜在的物体エリアとして識別する。
【０１４８】
[00151]電子デバイス１０２は、識別されたＲＯＩ１４８２中で物体検出器を動作させ得る。たとえば、電子デバイス１０２は、ＲＯＩ１４８２が、車、交通信号、歩行者、車線、縁石などを含むかどうかを検出し得る。
【０１４９】
[00152]最初に非障害物エリア１４６６を識別することは、物体検出のための低減された探索エリアを生じる。これは、物体検出のために実行される処理の量を低減し得る。
【０１５０】
[00153]図１５は、車線検出アルゴリズムによって使用される関心領域（ＲＯＩ）１５８２を識別するために非障害物マップ２２６を使用することの一例を示す。この例は、道路の処理された画像１５１４を示す。非障害物エリア１５６６は、本明細書で説明されるシステムおよび方法に従って決定される。
【０１５１】
[00154]電子デバイス１０２は、次いで、路側および／または縁石のための１つまたは複数のＲＯＩ１５８２を識別し得る。たとえば、電子デバイス１０２は、非障害物マップ２２６から障害物エリア２６８を識別し得る。この例では、電子デバイス１０２は、潜在的路側および／または縁石として非障害物エリア１５６６の側部上の２つのＲＯＩ１５８２ａ〜ｂを識別する。
【０１５２】
[00155]電子デバイス１０２は、識別されたＲＯＩ１５８２ａ〜ｂ中で車線検出器を動作させ得る。最初に非障害物エリア１５６６を識別することは、車線検出のための低減された探索エリアを生じる。これは、車線検出のために実行される処理の量を低減し得る。
【０１５３】
[00156]図１６は、推定された線形モデルパラメータ２３８に基づいて道路を分類するための方法１６００を示すフローチャートである。方法１６００は、電子デバイス１０２、たとえば、非障害物決定モジュール１１６によって実装され得る。
【０１５４】
[00157]電子デバイス１０２は、１６０２において、道路画像１１４の深度マップ２３０を取得する。深度マップ２３０は、図２に関して説明されたように生成され得る。
【０１５５】
[00158]電子デバイス１０２は、１６０４において、線形モデルパラメータ２３８を推定するためにセグメント適合を実行する。推定された線形モデルパラメータ２３８は、図２に関して説明されたように決定され得る。
【０１５６】
[00159]電子デバイス１０２は、１６０６において、推定された線形モデルパラメータ２３８に基づいて道路を分類する。たとえば、電子デバイス１０２は、推定された線形モデルパラメータ２３８を複数の所定の線形モデルパラメータ２４０と比較し得る。上記で説明されたように、所定の線形モデルパラメータ２４０は、複数の道路状態モデルに関連し得る。複数の道路状態モデルの各々は、線形モデルパラメータ２４０の対応するセットを有し得る。道路状態モデルの例としては、平坦な平面、勾配（たとえば、丘陵）、谷、不整路などがある。
【０１５７】
[00160]一実装形態では、所定の線形モデルパラメータ２４０は、トレーニングを介して取得され得る。あらかじめラベリングされたテストデータが使用され得、ここで、あらかじめラベリングされたは、平坦な道路、または不整路などのラベリングされた画像１１４および深度マップ２３０を指す。このデータを用いて、所定の線形モデルパラメータ２４０は生成され得る。
【０１５８】
[00161]電子デバイス１０２は、所定の線形モデルパラメータ２４０のうちのどれが、推定された線形モデルパラメータ２３８に最も良く適合するかを決定し得る。道路は、１６０６において、推定された線形モデルパラメータ２３８に最も良く適合する道路状態モデルに従って分類され得る。したがって、１６０６において道路を分類することによって、電子デバイス１０２は、道路画像１１４中の空き空間のタイプを決定し得る。
【０１５９】
[00162]図１７は、電子デバイス１７０２内に含まれ得るいくつかの構成要素を示す。電子デバイス１７０２は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラーフォン、スマートフォン、コンピュータ（たとえば、デスクトップコンピュータ、ラップトップコンピュータなど）、タブレットデバイス、メディアプレーヤ、テレビジョン、自動車、パーソナルカメラ、アクションカメラ、監視カメラ、マウントカメラ、コネクテッドカメラ、ロボット、航空機、ドローン、無人航空機（ＵＡＶ）、ヘルスケア機器、ゲーミングコンソール、携帯情報端末（ＰＤＡ）、セットトップボックスなどであり得るか、またはそれらの内部に含まれ得る。電子デバイス１７０２はプロセッサ１７２８を含む。プロセッサ１７２８は、汎用シングルまたはマルチチップマイクロプロセッサ（たとえば、ＡＲＭ）、専用マイクロプロセッサ（たとえば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ１７２８は中央処理ユニット（ＣＰＵ）と呼ばれることがある。電子デバイス１７０２中に単一のプロセッサ１７２８のみが示されているが、代替構成では、プロセッサの組み合せ（たとえば、ＡＲＭとＤＳＰ）が使用され得る。
【０１６０】
[00163]電子デバイス１７０２はメモリ１７３９をも含む。メモリ１７３９は、電子情報を記憶することが可能な任意の電子的構成要素であり得る。メモリ１７３９は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭ中のフラッシュメモリデバイス、プロセッサに含まれるオンボードメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタなど、およびそれらの組み合せとして実施され得る。
【０１６１】
[00164]データ１７２１ａおよび命令１７４１ａがメモリ１７３９に記憶され得る。命令１７４１ａは、本明細書で説明される方法のうちの１つまたは複数を実装するためにプロセッサ１７２８によって実行可能であり得る。命令１７４１ａを実行することは、メモリ１７３９に記憶されたデータの使用を伴い得る。プロセッサ１７２８が命令１７４１を実行すると、命令１７４１ｂの様々な部分がプロセッサ１７２８上にロードされ得、様々ないくつかのデータ１７２１ｂがプロセッサ１７２８上にロードされ得る。
【０１６２】
[00165]電子デバイス１７０２は、電子デバイス１７０２との間での信号の送信および受信を可能にするために、送信機１７２５と受信機１７２７とをも含み得る。送信機１７２５および受信機１７２７は、トランシーバ１７２９と総称されることがある。１つまたは複数のアンテナ１７３７ａ〜ｂがトランシーバ１７２９に電気的に結合され得る。電子デバイス１７０２は、複数の送信機、複数の受信機、複数のトランシーバおよび／または追加のアンテナをも含み得る（図示せず）。
【０１６３】
[00166]電子デバイス１７０２はデジタル信号プロセッサ（ＤＳＰ）１７３１を含み得る。電子デバイス１７０２は通信インターフェース１７３３をも含み得る。通信インターフェース１７３３は、１つまたは複数の種類の入力および／または出力を可能にするを可能にし得る。たとえば、通信インターフェース１７３３は、他のデバイスを電子デバイス１７０２にリンクするための１つまたは複数のポートおよび／または通信デバイスを含み得る。追加または代替として、通信インターフェース１７３３は、１つまたは複数の他のインターフェース（たとえば、タッチスクリーン、キーパッド、キーボード、マイクロフォン、カメラなど）を含み得る。たとえば、通信インターフェース１７３３は、ユーザが電子デバイス１７０２と対話することを可能にし得る。
【０１６４】
[00167]電子デバイス１７０２の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、１つまたは複数のバスによって互いに結合され得る。明快のために、図１７では様々なバスはバスシステム１７２３として示されている。
【０１６５】
[00168]本開示によれば、電子デバイス中の回路が、１つまたは複数の画像から深度マップを取得するように適応され得る。深度マップ中の各ピクセルは、深度値を有し得る。同じ回路、異なる回路、あるいは同じまたは異なる回路の第２のセクションが、垂直非障害物推定を決定するために深度マップの垂直処理を実行するように適応され得る。同じ回路、異なる回路、あるいは同じまたは異なる回路の第３のセクションが、水平非障害物推定を決定するために深度マップの水平処理を実行するように適応され得る。同じ回路、異なる回路、あるいは同じまたは異なる回路の第４のセクションが、非障害物マップを決定するために垂直非障害物推定と水平非障害物推定とを組み合わせるように適応され得る。さらに、同じ回路、異なる回路、あるいは同じまたは異なる回路の第５のセクションが、上記で説明された機能を与える（１つまたは複数の）回路または（１つまたは複数の）回路の（１つまたは複数の）セクションの構成を制御するように適応され得る。
【０１６６】
[00169]「決定すること」という用語は多種多様なアクションを包含し、したがって、「決定すること」は、計算すること（calculating）、算出すること（computing）、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含むことができる。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含むことができる。また、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含むことができる。
【０１６７】
[00170]「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
【０１６８】
[00171]「プロセッサ」という用語は、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状態機械などを包含するものと広く解釈されたい。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを指すことがある。「プロセッサ」という用語は、処理デバイスの組み合せ、たとえば、ＤＳＰとマイクロプロセッサとの組み合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは他のそのような構成を指すことがある。
【０１６９】
[00172]「メモリ」という用語は、電子情報を記憶することが可能な任意の電子的構成要素を包含するものと広く解釈されたい。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データストレージ、レジスタなど、様々なタイプのプロセッサ可読媒体を指すことがある。プロセッサがメモリから情報を読み取り、および／または情報をメモリに書き込むことができる場合、メモリはプロセッサと電子通信していると言われる。プロセッサに一体化されたメモリは、プロセッサと電子通信している。
【０１７０】
[00173]「命令」および「コード」という用語は、任意のタイプの（１つまたは複数の）コンピュータ可読ステートメントを含むものと広く解釈されたい。たとえば、「命令」および「コード」という用語は、１つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャなどを指すことがある。「命令」および「コード」は、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを備え得る。
【０１７１】
[00174]本明細書で説明された機能は、ハードウェアによって実行されるソフトウェアまたはファームウェアで実装され得る。機能は、１つまたは複数の命令としてコンピュータ可読媒体上に記憶され得る。「コンピュータ可読媒体」または「コンピュータプログラム製品」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の有形記憶媒体を指す。限定ではなく例として、コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備え得る。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。コンピュータ可読媒体は有形で非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理または算出され得るコードまたは命令（たとえば、「プログラム」）と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指すことがある。
【０１７２】
[00175]ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
【０１７３】
[00176]本明細書で開示された方法は、説明された方法を達成するための１つまたは複数のステップまたはアクションを備える。方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく、互いに入れ替えられ得る。言い換えれば、説明された方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲を逸脱することなく修正され得る。
【０１７４】
[00177]さらに、本明細書で説明された方法および技法を実行するためのモジュールおよび／または他の適切な手段は、デバイスによってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、デバイスは、本明細書で説明された方法を実行するための手段の転送を可能にするために、サーバに結合され得る。代替的に、本明細書で説明された様々な方法は、デバイスが、記憶手段をそのデバイスに結合するかまたは与えると様々な方法を取得し得るように、記憶手段（たとえば、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって与えられ得る。
【０１７５】
[00178]特許請求の範囲は、上記で示された厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明されたシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更、および変形が行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
電子デバイスによって実行される方法であって、
垂直非障害物推定を決定するために深度マップの垂直処理を実行することと、
水平非障害物推定を決定するために前記深度マップの水平処理を実行することと、
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることと、
前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成することと
を備える、方法。
［Ｃ２］
垂直処理を実行することは、
前記深度マップをセグメントに分割すること、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定することと、
前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成することと
を備える、［Ｃ１］に記載の方法。
［Ｃ３］
前記垂直信頼性マップを決定することは、
前記推定された線形モデルパラメータと所定の線形モデルパラメータとの間の差に基づいて、所与のセグメントのためのセグメント適合誤差を決定することと、
前記セグメント適合誤差を垂直推定しきい値と比較することによって、前記所与のセグメントのための信頼性値を決定することと、
前記所与のセグメントのための前記信頼性値を前記所与のセグメント中の少なくとも１つのピクセルに適用することと
を備える、［Ｃ２］に記載の方法。
［Ｃ４］
前記所定の線形モデルパラメータは、複数の道路状態モデルの中から選択され、前記複数の道路状態モデルは、線形モデルパラメータの対応するセットを有する、
［Ｃ３］に記載の方法。
［Ｃ５］
水平処理を実行することは、
前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得することと、
前記深度ヒストグラムから地形ラインを決定することと、
前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定することと、
前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成することと
を備える、［Ｃ１］に記載の方法。
［Ｃ６］
前記水平信頼性マップを生成することは、
所与のピクセルの前記深度値が前記深度ヒストグラムのモードの範囲内にあるかどうかを決定することを備え、前記所与のピクセルは、前記所与のピクセルの前記深度値が前記深度ヒストグラムの前記モードの前記範囲内にあるとき、高い信頼性値を有する、
［Ｃ５］に記載の方法。
［Ｃ７］
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
前記垂直処理と前記水平処理の両方を並列に実行することと、
垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージすることと
を備える、［Ｃ１］に記載の方法。
［Ｃ８］
所与のピクセルは、前記非障害物マップ中の非障害物エリアとして識別され、ここで、前記垂直信頼性マップと前記水平信頼性マップの両方は、前記所与のピクセルのための高い信頼性値によって特徴づけられる、
［Ｃ７］に記載の方法。
［Ｃ９］
所与のピクセルは、前記非障害物マップ中の障害物エリアとして識別され、ここで、前記垂直信頼性マップまたは前記水平信頼性マップのうちの少なくとも１つは、前記所与のピクセルのための低い信頼性値によって特徴づけられる、
［Ｃ７］に記載の方法。
［Ｃ１０］
所与のピクセルは、前記所与のピクセルの座標に基づいて、前記非障害物マップ中の非障害物エリアまたは障害物エリアとして識別され、ここで、前記垂直信頼性マップと前記水平信頼性マップとは、前記所与のピクセルのための異なる信頼性値によって特徴づけられる、
［Ｃ７］に記載の方法。
［Ｃ１１］
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
前記深度マップの垂直処理を実行することと、
モデル適合信頼度に基づいて垂直信頼性マップを取得することと、
前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行することと
を備える、［Ｃ１］に記載の方法。
［Ｃ１２］
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることは、
前記深度マップの水平処理を実行することと、
深度ヒストグラム距離に基づいて水平信頼性マップを取得することと、
前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行することと
を備える、［Ｃ１］に記載の方法。
［Ｃ１３］
前記非障害物マップは、物体検出アルゴリズムまたは車線検出アルゴリズムのうちの少なくとも１つによって使用される関心領域を識別する際に使用される、
［Ｃ１］に記載の方法。
［Ｃ１４］
電子デバイスであって、前記電子デバイスは、
垂直非障害物推定を決定するために深度マップの垂直処理を実行することと、
水平非障害物推定を決定するために前記深度マップの水平処理を実行することと、
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることと、
前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成することと
を行うように構成された、電子デバイス。
［Ｃ１５］
前記電子デバイスを備える、垂直処理を実行することを行うように構成される前記電子デバイスは、
前記深度マップをセグメントに分割すること、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定することと、
前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成することと
を行うように構成される、［Ｃ１４］に記載の電子デバイス。
［Ｃ１６］
前記電子デバイスを備える、水平処理を実行することを行うように構成される前記電子デバイスは、
前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得することと、
前記深度ヒストグラムから地形ラインを決定することと、
前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定することと、
前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成することと
を行うように構成される、［Ｃ１４］に記載の電子デバイス。
［Ｃ１７］
前記電子デバイスを備える、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように構成される前記電子デバイスは、
前記垂直処理と前記水平処理の両方を並列に実行することと、
垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージすることと
を行うように構成される、［Ｃ１４］に記載の電子デバイス。
［Ｃ１８］
前記電子デバイスを備える、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように構成される前記電子デバイスは、
前記深度マップの垂直処理を実行することと、
モデル適合信頼度に基づいて垂直信頼性マップを取得することと、
前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行することと
を行うように構成される、［Ｃ１４］に記載の電子デバイス。
［Ｃ１９］
前記電子デバイスを備える、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせることを行うように構成される前記電子デバイスは、
前記深度マップの水平処理を実行することと、
深度ヒストグラム距離に基づいて水平信頼性マップを取得することと、
前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別することと、
前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行することと
を行うように構成される、［Ｃ１４］に記載の電子デバイス。
［Ｃ２０］
垂直非障害物推定を決定するために深度マップの垂直処理を実行するための手段と、
水平非障害物推定を決定するために前記深度マップの水平処理を実行するための手段と、
前記垂直非障害物推定と前記水平非障害物推定とを組み合わせるための手段と、
前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成するための手段と
を備える、装置。
［Ｃ２１］
前記垂直処理を実行するための手段は、
前記深度マップをセグメントに分割するための手段、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定するための手段と、
前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成するための手段と
を備える、［Ｃ２０］に記載の装置。
［Ｃ２２］
前記水平処理を実行するための手段は、
前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得するための手段と、
前記深度ヒストグラムから地形ラインを決定するための手段と、
前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定するための手段と、
前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成するための手段と
を備える、［Ｃ２０］に記載の装置。
［Ｃ２３］
前記垂直非障害物推定と前記水平非障害物推定とを前記組み合わせるための手段は、
前記垂直処理と前記水平処理の両方を並列に実行するための手段と、
垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージするための手段と
を備える、［Ｃ２０］に記載の装置。
［Ｃ２４］
前記垂直非障害物推定と前記水平非障害物推定とを前記組み合わせるための手段は、
前記深度マップの垂直処理を実行するための手段と、
モデル適合信頼度に基づいて垂直信頼性マップを取得するための手段と、
前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別するための手段と、
前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行するための手段と
を備える、［Ｃ２０］に記載の装置。
［Ｃ２５］
前記垂直非障害物推定と前記水平非障害物推定とを前記組み合わせるための手段は、
前記深度マップの水平処理を実行するための手段と、
深度ヒストグラム距離に基づいて水平信頼性マップを取得するための手段と、
前記水平信頼性マップの信頼できる領域を非障害物エリアとして識別するための手段と、
前記水平信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して垂直処理を実行するための手段と
を備える、［Ｃ２０］に記載の装置。
［Ｃ２６］
その上に命令を有する非一時的有形コンピュータ可読媒体を備える、コンピュータプログラム製品であって、前記命令は、
電子デバイスに、垂直非障害物推定を決定するために深度マップの垂直処理を実行させるためのコードと、
前記電子デバイスに、水平非障害物推定を決定するために前記深度マップの水平処理を実行させるためのコードと、
前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせさせるためのコードと、
前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定の前記組み合せに基づいて非障害物マップを生成させるためのコードと
を備える、コンピュータプログラム製品。
［Ｃ２７］
前記電子デバイスに、垂直処理を実行させるための前記コードは、
前記電子デバイスに、前記深度マップをセグメントに分割させるためのコード、ここにおいて、少なくとも１つのセグメントは、列中のいくつかのピクセルを含む、と、
前記電子デバイスに、前記垂直非障害物推定を決定するために少なくとも１つのセグメントのための線形モデルパラメータを推定させるためのコードと、
前記電子デバイスに、前記垂直非障害物推定のための信頼性値を含む垂直信頼性マップを生成させるためのコードと
を備える、［Ｃ２６］に記載のコンピュータプログラム製品。
［Ｃ２８］
前記電子デバイスに、水平処理を実行させるための前記コードは、
前記電子デバイスに、前記深度マップのピクセルの少なくとも１つの行のための深度ヒストグラムを取得させるためのコードと、
前記電子デバイスに、前記深度ヒストグラムから地形ラインを決定させるためのコードと、
前記電子デバイスに、前記地形ラインからの少なくとも１つのピクセルの深度値の距離に基づいて、水平非障害物推定を決定させるためのコードと、
前記電子デバイスに、前記水平非障害物推定のための信頼性値を含む水平信頼性マップを生成させるためのコードと
を備える、［Ｃ２６］に記載のコンピュータプログラム製品。
［Ｃ２９］
前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせさせるための前記コードは、
前記電子デバイスに、前記垂直処理と前記水平処理の両方を並列に実行させるためのコードと、
前記電子デバイスに、垂直信頼性マップと水平信頼性マップとに基づいて、前記垂直非障害物推定と前記水平非障害物推定とをマージさせるためのコードと
を備える、［Ｃ２６］に記載のコンピュータプログラム製品。
［Ｃ３０］
前記電子デバイスに、前記垂直非障害物推定と前記水平非障害物推定とを組み合わせさせるための前記コードは、
前記電子デバイスに、前記深度マップの垂直処理を実行させるためのコードと、
前記電子デバイスに、モデル適合信頼度に基づいて垂直信頼性マップを取得させるためのコードと、
前記電子デバイスに、前記垂直信頼性マップの信頼できる領域を非障害物エリアとして識別させるためのコードと、
前記電子デバイスに、前記垂直信頼性マップの信頼できない領域が非障害物エリアであるかどうかを決定するために、前記信頼できない領域に対して水平処理を実行させるためのコードと
を備える、［Ｃ２６］に記載のコンピュータプログラム製品。
【図１】
0006794436.tif 000011
【図２】
0006794436.tif 000012
【図３】
0006794436.tif 000013
【図４Ａ】
0006794436.tif 000014
【図４Ｂ】
0006794436.tif 000015
【図４Ｃ】
0006794436.tif 000016
【図４Ｄ】
0006794436.tif 000017
【図５】
0006794436.tif 000018
【図６Ａ】
0006794436.tif 000019
【図６Ｂ】
0006794436.tif 000020
【図６Ｃ】
0006794436.tif 000021
【図６Ｄ】
0006794436.tif 000022
【図７】
0006794436.tif 000023
【図８】
0006794436.tif 000024
【図９】
0006794436.tif 000025
【図１０】
0006794436.tif 000026
【図１１Ａ】
0006794436.tif 000027
【図１１Ｂ】
0006794436.tif 000028
【図１２Ａ】
0006794436.tif 000029
【図１２Ｂ】
0006794436.tif 000030
【図１３Ａ】
0006794436.tif 000031
【図１３Ｂ】
0006794436.tif 000032
【図１４】
0006794436.tif 000033
【図１５】
0006794436.tif 000034
【図１６】
0006794436.tif 000035
【図１７】
0006794436.tif 000036