(57)【特許請求の範囲】
【請求項１】
電子デバイスであって、
シーンの画像を取り込むように構成されたカメラと、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行するように構成された画像セグメンテーションマッパーと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられ、ここにおいて、前記画像セグメントの少なくとも一部は、前記画像コンテンツに基づいて、不規則なジオメトリ、サイズ、及び分布を有する不均一なセグメントを備え、ここにおいて、各画像セグメントの前記空間座標は、各画像セグメントについてのサンプリングポイントに対応する、
前記画像及び前記空間座標を記憶するように構成されたメモリと、
ＬＩＤＡＲ（光＋レーダ）ユニットと、前記ＬＩＤＡＲユニットは、前記空間座標に対応する前記シーンの深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成するように構成された深度マッパーと
を備える電子デバイス。
【請求項２】
前記画像セグメンテーションマッパーは、画像複雑性に基づいてセグメンテーションを実行するように構成され、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、請求項１に記載の電子デバイス。
【請求項３】
前記ＬＩＤＡＲユニットは、前記シーン内の実質的に均一なオブジェクトを含む前記シーンの領域にわたって粗スキャンを実行するように構成される、請求項１に記載の電子デバイス。
【請求項４】
各画像セグメントについての前記サンプリングポイントは、前記セグメントの重心に対応する、請求項１に記載の電子デバイス。
【請求項５】
前記画像セグメンテーションマッパーは、各画像セグメントについての前記サンプリングポイントを前記ＬＩＤＡＲユニットに供給するように及び前記画像の前記セグメントを前記深度マッパーに供給するように構成される、請求項１に記載の電子デバイス。
【請求項６】
前記深度マッパーは、前記セグメントを対応する深度値とマージすることで前記深度マップを生成するように構成される、請求項１に記載の電子デバイス。
【請求項７】
前記深度マッパーは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することで前記深度マップを生成するように構成される、請求項１に記載の電子デバイス。
【請求項８】
前記ＬＩＤＡＲユニットによって取得される前記深度値の数は、前の深度マップからのフィードバックに基づいて調節されるように構成される、請求項１に記載の電子デバイス。
【請求項９】
方法であって
シーンの画像を取り込むことと、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行することと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられ、ここにおいて、前記画像セグメントの少なくとも一部は、前記画像コンテンツに基づいて、不規則なジオメトリ、サイズ、及び分布を有する不均一なセグメントを備え、ここにおいて、各画像セグメントの前記空間座標は、各画像セグメントについてのサンプリングポイントに対応する、
ＬＩＤＡＲユニットが、前記空間座標に対応する前記シーンの深度値を取得することと、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成することと
を備える方法。
【請求項１０】
前記画像のセグメンテーションを実行することは、画像複雑性に基づいてセグメンテーションを実行することを備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、請求項９に記載の方法。
【請求項１１】
前記ＬＩＤＡＲユニットは、前記シーン内の実質的に均一なオブジェクトを含む前記シーンの領域にわたって粗スキャンを実行するように構成される、請求項９に記載の方法。
【請求項１２】
前記深度マップを生成することは、前記セグメントを対応する深度値とマージすることを備える、請求項９に記載の方法。
【請求項１３】
前記深度マップを生成することは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することを備える、請求項９に記載の方法。
【請求項１４】
前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節することを更に備える、請求項９に記載の方法。
【請求項１５】
装置であって、
シーンの画像を取り込むための手段と、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行するための手段と、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられ、ここにおいて、前記画像セグメントの少なくとも一部は、前記画像コンテンツに基づいて、不規則なジオメトリ、サイズ、及び分布を有する不均一なセグメントを備え、ここにおいて、各画像セグメントの前記空間座標は、各画像セグメントについてのサンプリングポイントに対応する、
ＬＩＤＡＲユニットによって、前記空間座標に対応する前記シーンの深度値を取得するための手段と、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成するための手段と
を備える装置。
【請求項１６】
前記画像のセグメンテーションを実行するための前記手段は、画像複雑性に基づいてセグメンテーションを実行するための手段を備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、請求項１５に記載の装置。
【請求項１７】
各画像セグメントについての前記サンプリングポイントは、前記セグメントの重心に対応する、請求項１５に記載の装置。
【請求項１８】
前記深度マップを生成するための前記手段は、前記セグメントを対応する深度値とマージするための手段を備える、請求項１５に記載の装置。
【請求項１９】
前記深度マップを生成するための前記手段は、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加するための手段を備える、請求項１５に記載の装置。
【請求項２０】
前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節するための手段を更に備える、請求項１５に記載の装置。
【請求項２１】
命令を有する非一時的な有形のコンピュータ読取可能な媒体を備えるコンピュータプログラム製品であって、前記命令は、
シーンの画像を取り込むことを電子デバイスに行わせるためのコードと、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行することを前記電子デバイスに行わせるためのコードと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられ、ここにおいて、前記画像セグメントの少なくとも一部は、前記画像コンテンツに基づいて、不規則なジオメトリ、サイズ、及び分布を有する不均一なセグメントを備え、ここにおいて、各画像セグメントの前記空間座標は、各画像セグメントについてのサンプリングポイントに対応する、
ＬＩＤＡＲユニットによって、前記空間座標に対応する前記シーンの深度値を取得することを前記電子デバイスに行わせるためのコードと、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成することを前記電子デバイスに行わせるためのコードと
を備える、コンピュータプログラム製品。
【請求項２２】
前記画像のセグメンテーションを実行することを前記電子デバイスに行わせるための前記コードは、画像複雑性に基づいてセグメンテーションを実行することを前記電子デバイスに行わせるためのコードを備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、請求項２１に記載のコンピュータプログラム製品。
【請求項２３】
各画像セグメントについての前記サンプリングポイントは、前記セグメントの重心に対応する、請求項２１に記載のコンピュータプログラム製品。
【請求項２４】
前記深度マップを生成することを前記電子デバイスに行わせるための前記コードは、前記セグメントを対応する深度値とマージすることを前記電子デバイスに行わせるためのコードを備える、請求項２１に記載のコンピュータプログラム製品。
【請求項２５】
前記深度マップを生成することを前記電子デバイスに行わせるための前記コードは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することを前記電子デバイスに行わせるためのコードを備える、請求項２１に記載のコンピュータプログラム製品。
【請求項２６】
前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節することを前記電子デバイスに行わせるためのコードを更に備える、請求項２１に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は一般に、電子デバイスに関する。より具体的には、本開示は、深度マップサンプリングのためのシステム及び方法に関する。
【背景技術】
【０００２】
[0002]過去数十年間で、電子デバイスの使用は日常的になってきた。特に、電子技術の進歩は、ますます複雑かつ有用になる電子デバイスのコストを低減させてきた。コスト低減及び消費者の需要は、電子デバイスが現代社会において事実上ユビキタスになるように、それらの使用を激増させた。電子デバイスの使用が拡大するにつれて、電子デバイスの新しい及び改良された機能に対する需要も拡大してきた。より具体的には、新しい機能を実行する、及び／又は、より速く、より効率的に、又は、より高品質で機能を実行する電子デバイスが求められていることが多い。
【０００３】
[0003]いくつかの電子デバイス（例えば、カメラ、ビデオカムコーダ、デジタルカメラ、セルラ電話、スマートフォン、コンピュータ、テレビ、等）は、ＬＩＤＡＲ（光＋レーダ）スキャンを使用して深度マップを作成し得る。ＬＩＤＡＲスキャンを使用したシーンの高密度サンプリングは、時間及び電力の観点でコストがかかる。これは、低フレームレート及びバッテリの消耗（drainage）につながり得る。本考察から観察され得るように、ＬＩＤＡＲ深度マップサンプリングを改善するシステム及び方法が有益であり得る。
【発明の概要】
【０００４】
[0004]電子デバイスが説明される。電子デバイスは、シーンの画像を取り込むように構成されたカメラを含む。電子デバイスはまた、複数の画像セグメントを生成するために、画像コンテンツに基づいて画像のセグメンテーションを実行するように構成された画像セグメンテーションマッパーを含み、ここで、複数の画像セグメントの各々は、シーン内の各セグメントのロケーションを示す空間座標に関連付けられている。電子デバイスは、画像及び空間座標を記憶するように構成されたメモリを更に含む。電子デバイスは追加的に、ＬＩＤＡＲ（光＋レーダ）ユニットを含み、ここで、ＬＩＤＡＲユニットは、空間座標の少なくともサブセットに対応する深度値を選択的に取得するように操向可能（steerable）である。電子デバイスは、深度値と空間座標とに基づいて、シーンの深度マップを生成するように構成された深度マッパーを更に含む。
【０００５】
[0005]画像セグメントの少なくとも一部は、画像内のオブジェクトの境界を定義する不均一なセグメントを備える。画像セグメンテーションマッパーは、画像複雑性に基づいてセグメンテーションを実行するように構成され得る。生成されるセグメントの量は、決定された画像の複雑性の関数であり得る。
【０００６】
[0006]ＬＩＤＡＲユニットは、シーン内の実質的に均一なオブジェクトを含むシーンの領域にわたって粗スキャンを実行するように構成され得る。画像セグメンテーションマッパーは、空間座標をＬＩＤＡＲユニットに供給するように構成され得、画像のセグメントを深度マッパーに供給するように構成され得る。
【０００７】
[0007]深度マッパーは、セグメントを対応する深度値とマージすることで深度マップを生成するように構成され得る。深度マッパーは、空間座標においてＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加する（populate）ことで、深度マップを生成するように構成され得る。
【０００８】
[0008]ＬＩＤＡＲユニットによって取得される深度値の数は、前の深度マップからのフィードバックに基づいて調節されるように構成され得る。セグメントの空間座標は、セグメントの重心に対応し得る。
【０００９】
[0009]方法もまた説明される。方法は、シーンの画像を取り込むことを含む。方法はまた、複数の画像セグメントを生成するために、画像コンテンツに基づいて画像のセグメンテーションを実行することを含み、ここで、複数のセグメントの各々は、シーン内の各セグメントのロケーションを示す空間座標に関連付けられている。方法は、ＬＩＤＡＲ（光＋レーダ）ユニットによって、空間座標の少なくともサブセットに対応する深度値を取得することを更に含む。ＬＩＤＡＲユニットは、深度値を選択的に取得するように操向可能である。方法は追加的に、深度値と空間座標とに基づいて、シーンの深度マップを生成することを含む。
【００１０】
[0010]装置もまた説明される。装置は、シーンの画像を取り込むための手段を含む。装置はまた、複数の画像セグメントを生成するために、画像コンテンツに基づいて画像のセグメンテーションを実行するための手段を含み、ここで、複数の画像セグメントの各々は、シーン内の各セグメントのロケーションを示す空間座標に関連付けられている。装置は、ＬＩＤＡＲユニットによって、空間座標の少なくともサブセットに対応する深度値を取得するための手段を更に含む。ＬＩＤＡＲユニットは、深度値を選択的に取得するように操向可能である。装置は追加的に、深度値と空間座標とに基づいて、シーンの深度マップを生成するための手段を含む。
【００１１】
[0011]コンピュータプログラム製品もまた説明される。コンピュータプログラム製品は、命令を有する非一時的な有形のコンピュータ読取可能な媒体を含む。命令は、シーンの画像を取り込むことを電子デバイスに行わせるためのコードを含む。命令はまた、複数の画像セグメントを生成するために、画像コンテンツに基づいて画像のセグメンテーションを実行することを電子デバイスに行わせるためのコードを含み、ここで、複数の画像セグメントの各々は、シーン内の各セグメントのロケーションを示す空間座標に関連付けられている。命令は、ＬＩＤＡＲユニットによって、空間座標の少なくともサブセットに対応する深度値を取得することを電子デバイスに行わせるためのコードを更に含む。ＬＩＤＡＲユニットは、深度値を選択的に取得するように操向可能である。命令は追加的に、深度値と空間座標とに基づいて、シーンの深度マップを生成することを電子デバイスに行わせるためのコードを含む。
【図面の簡単な説明】
【００１２】
【図１】[0012]図１は、画像支援型ＬＩＤＡＲ（光＋レーダ）深度マップサンプリングを実行するように構成された電子デバイスを例示するブロック図である。
【図２】[0013]図２は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するように構成された電子デバイスの別の構成を例示するブロック図である。
【図３】[0014]図３は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するための方法を例示するフロー図である。
【図４】[0015]図４は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するための別の方法を例示するフロー図である。
【図５】[0016]図５Ａ−５Ｃは、画像から生成されたセグメンテーションマップの例を例示する。
【図６】[0017]図６Ａ−６Ｄは、画像支援型ＬＩＤＡＲ深度マップサンプリングの例を例示する。
【図７】[0018]図７Ａ−７Ｄは、画像支援型ＬＩＤＡＲ深度マップサンプリングの別の例を例示する。
【図８】[0019]図８は、画像支援型ＬＩＤＡＲ深度マップサンプリングのためのシステム及び方法が実施され得る電子デバイスの一例を例示するブロック図である。
【図９】[0020]図９は、電子デバイス内に含まれ得る特定の構成要素を例示する。
【発明の詳細な説明】
【００１３】
[0021]多くのアプリケーションでは、シーン内のオブジェクトの深度マップを生成することが重要である。例えば、先進運転支援システム（ＡＤＡＳ）で、障害物回避のために車の前方にある運転可能エリアを識別することが重要である。障害物検知は、交通標識（例えば、速度制限標識、一時停止の標識、道路標識、等）を識別するために深度マップを使用し得る。深度マップが重要である別のシナリオは、自律走行車両（例えば、無人航空機（ＵＡＶ）又は自律走行自動車）がその環境を検知し、人間による入力なしにナビゲートする車両オートメーションである。
【００１４】
[0022]深度マップ生成は、様々な生産性及び娯楽シナリオでも有益であり得る。例えば、部屋又は環境の深度マップは、ゲーム、拡張又は仮想現実、３Ｄ再構成、安全・危機管理、及び同様のアプリケーションで利用され得る。更には、深度は、例えば、オートフォーカス動作を支援するために、画像及び／又はビデオ取込みの際に参照され得る。これらの及び他のシナリオでは、シーン、部屋、又は環境の深度情報を精確かつ精密に得る（capture）深度マップをインテリジェントに獲得することは有利であり得る。
【００１５】
[0023]ＬＩＤＡＲ（光＋レーダ）スキャンは、オブジェクトの深度値をサンプリングするために使用され得る。ＬＩＤＡＲでは、レーザは、オブジェクトを照明し得、基準ロケーションからのオブジェクトの距離（すなわち、深度値）は、反射光を分析することで決定され得る。シーンの高密度サンプリングは、時間及び電力の観点でコストがかかり、低フレームレート及びバッテリの消耗につながる。しかしながら、規則的なポイントにおける均一な（すなわち、ネイティブな）ＬＩＤＡＲスキャンは、質の悪い深度マップに帰着し得る。同様に、シーンコンテンツに関係なく均一な又は所定のスキャンパターンが用いられるとき、高密度サンプルでさえも、依然として小さいオブジェクトを見逃し得（miss）、深度マップ誤りを引き起こし得る。
【００１６】
[0024]本明細書で説明されるシステム及び方法では、均一なスキャンポイントに基づいてＬＩＤＡＲスキャンを実行する代わりに、ＬＩＤＡＲユニットは、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行し得る。ＬＩＤＡＲユニットの近くに位置付けられているカメラは、シーンの１つ又は複数の画像を取り込み得る。この画像又は画像のセットは、セグメント化され得る。セグメントは、画像内のオブジェクトの境界をたどり得、故にオブジェクトのエッジを保存する。例えば、セグメントの重心の空間座標（Ｘ，Ｙ位置）が、それらの空間座標においてＬＩＤＡＲスキャンを実行するＬＩＤＡＲユニットに供給され得る。ＬＩＤＡＲユニットによるスキャンから生成される深度値は、シーンに関する深度マップを作成するために、対応するセグメントに追加される。例えば、各セグメントは、それぞれのセグメントの重心の深度に関連付けられた均一な深度が与えられ得る。画像支援型ＬＩＤＡＲ深度マップサンプリングのためのシステム及び方法は、以下でより詳細に説明される。
【００１７】
[0025]図１は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するように構成された電子デバイス１０２を例示するブロック図である。電子デバイス１０２は、ワイヤレス通信デバイス、モバイルデバイス、モバイル局、加入者局、クライアント、クライアント局、ユーザ機器（ＵＥ）、リモート局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニット、等とも呼ばれ得る。電子デバイスの例には、ラップトップ又はデスクトップコンピュータ、セルラ電話、スマートフォン、ワイヤレスモデム、電子リーダ、タブレットデバイス、ゲームシステム、ロボット、航空機、無人航空機（ＵＡＶ）、自動車、等が含まれる。これらのデバイスのうちのいくつかは、１つ又は複数の業界規格に従って動作し得る。
【００１８】
[0026]多くのシナリオでは、電子デバイス１０２は、シーンの深度マップ１２０を使用し得る。一例では、スマートフォンは、シーンの深度マップ１２０を生成し得る。別の例では、自動車は、検出された交通標識、信号、及び／又は他のオブジェクトに基づいて自動車の速度、ステアリング、駐車、等を調節するために深度マップ１２０を使用し得る先進運転支援システム（ＡＤＡＳ）を含み得る。別の例では、無人航空機（ＵＡＶ）は、飛行中に記録されたビデオから深度マップ１２０を生成し得、検出されたオブジェクト（例えば、建物、標識、人間、パッケージ、等）に基づいてナビゲートし得、検出されたパッケージをピックアップ及び／又は配達し得る。多くの他の例は、本明細書で開示されるシステム及び方法に従って実施され得る。例えば、本明細書で開示されるシステム及び方法は、深度マップ１２０を使用して検出された１つ又は複数のオブジェクトに基づいて１つ又は複数のアクション（例えば、何かを取ってくること、何かを組み立てること、アイテムを探すこと、等）を実行するロボットにより実施されるであろう。
【００１９】
[0027]例えば、スマートフォン又はタブレットコンピュータのような電子デバイス１０２は、カメラ１０４を含み得る。カメラ１０４は、画像センサ１０８と、光学システム１０６の視野内に位置するオブジェクトの画像の焦点を画像センサ１０８に合せる光学システム１０６（例えば、レンズ）とを含み得る。カメラ１０４は、デジタル画像を取り込むように構成され得る。ある実施では、デジタル画像は、カラー画像であり得る。本システム及び方法は取り込まれた画像の観点で説明されるが、本明細書で考察される技法は、任意のデジタル画像に使用され得る。従って、ビデオフレーム及びデジタル画像という用語は、本明細書では交換して使用され得る。同様に、特定の実施では、電子デバイス１０２は、カメラ１０４及び光学システム１０６を含むのではなく、記憶されたデジタル画像を受け得る又は利用し得る。
【００２０】
[0028]電子デバイス１０２はまた、カメラソフトウェアアプリケーション及びディスプレイスクリーンを含み得る。カメラアプリケーションが稼働しているとき、光学システムカメラ１０４の視野内に位置するオブジェクトの画像は、画像センサ１０８によって記録され得る。画像センサ１０８によって記録されている画像は、ディスプレイスクリーン上に表示され得る。これらの画像は、カメラ１０４の視野内に位置するオブジェクトが任意の時点でディスプレイスクリーン上に表示されるように、比較的高いフレームレートで立て続けに表示され得る。
【００２１】
[0029]カメラアプリケーションのユーザインターフェース１１２は、ディスプレイスクリーン上に表示されている１つ又は複数のオブジェクトが選択されることを許可し得る。一構成では、ディスプレイは、例えば、指、タッチペン、又は他のツールによる物理的接触からの入力を受けるタッチスクリーン１１０である。タッチスクリーン１１０は、ターゲットオブジェクトを定義するタッチ入力を受け得る。ターゲットオブジェクトは、任意の適切な方法で選択され得る。例えば、顔認識、歩行者認識、等は、ターゲットオブジェクトを選択するために使用され得る。
【００２２】
[0030]電子デバイス１０２はまた、ＬＩＤＡＲユニット１１４を含み得る。ＬＩＤＡＲ（光＋レーダ）は、レーザを用いてターゲットを照明し、反射光を分析することで距離を測定するリモートセンシング技術である。ＬＩＤＡＲユニット１１４は、シーン内のオブジェクトまでの深度値を決定するためにシーンをサンプリングし得る。故に、ＬＩＤＡＲユニット１１４は、発光（レーザ）部１３７と、受光（センサ）部１３９とを備え得る。ＬＩＤＡＲユニットは、以下で説明されるように、発光すること及び受光することを容易にするための様々なオプティックス（光学系）１４１及び追加の特徴を更に備え得る。
【００２３】
[0031]ある実施では、ＬＩＤＡＲユニット１１４は、ある方向にレーザパルスを送り得、このレーザパルスがＬＩＤＡＲユニット１１４に戻るまでにかかる時間を測定し得る。このプロセスは、信号を送り、エコーを受けるレーダに類似する。ＬＩＤＡＲユニット１１４は、レーザを送ってから反射光を受けるまでの時間差を記録し得る。この時間差から、ＬＩＤＡＲユニット１１４は、距離推定値を表す深度値を取得し得る。いくつかの実施では、時間測定値、記録すること、及び／又は深度値を取得することは、ＬＩＤＡＲユニット１１４の外で、例えば、電子デバイス１０２内の又はそれから離れた１つ又は複数のプロセッサ１４２において実行され得る。いくつかの実施では、メモリ１４４は、画像支援型ＬＩＤＡＲ深度マップサンプリング（例えば、画像、深度値、セグメント、及び深度マップ１２０）に関連付けられた情報を記憶し得る。
【００２４】
[0032]ＬＩＤＡＲユニット１１４のレーザは、異なるロケーション、例えば、画像セグメンテーションプロセスを通じて識別されたロケーション、に向けられ得る。従って、レーザは、操向可能であり得る。１つのアプローチでは、レーザは、機械的に向けられ得る。例えば、レーザは、ミラー又はアクチュエータを用いて向けられ得る。別の例では、レーザは、電子的に操向可能な光学素子を介して向けられ得る。このアプローチでは、ＬＩＤＡＲユニット１１４は、可動部を有さないことができ、柔軟性をより高める（offer）。
【００２５】
[0033]ＬＩＤＡＲユニット１１４によるシーンの高密度サンプリングは、時間及び電力の観点でコストがかかる。これは、電子デバイス１０２が処理し得るフレームレート（例えば、カメラ１０４によって取り込まれる画像の数）を低減し得る。更に、これは、特に、バッテリを使用するプラットフォームに関し得る。光パルスを送ることは、かなりの量の電力を消費する。バッテリによって電力供給されるモバイルプラットフォーム（例えば、モバイル電話）の場合、非常に高いレートで周囲のシーンをサンプリングすることは、バッテリをすぐに消耗し得る。時間のかかる深度マップの獲得及び／又は生成はまた、モバイルプラットフォームよりも電力制約の少ない又は電力制約がないプラットフォームにおいても懸念であり得る。例えば、速度は、深度情報を得たシーンが動的（例えば、様々な（有人及び無人の）地上車両及び飛行体、ロボット、等）である状況において有利であり得る。
【００２６】
[0034]更に、ＬＩＤＡＲスキャンを実行するのに最良のロケーションを決定するのに問題がある。いくつかのアプローチは、均一なＬＩＤＡＲスキャンを実行し得る。例えば、回転ミラーアプローチは、ＬＩＤＡＲスキャンが等しい又は均一な増分ごとに実行されるシーンの等しいサンプリングを取得し得る。このアプローチは、ネイティブＬＩＤＡＲスキャンと呼ばれ得る。このアプローチでは、ミラーは、特定の速度で回転し、ＬＩＤＡＲは、同数のミリ秒ごとにレーザパルスを送る。均一な速度の回転及び均一なレーザパルスは、シーンの均一なサンプリング、すなわち、シーンの水平及び垂直範囲（horizontal and vertical extent）にわたって均一な又は他の所定の二次元グリッドのポイント、を与える。しかしながら、このアプローチは、シーン内の特定のオブジェクトを検出しない場合がある。例えば、均一なＬＩＤＡＲサンプリングは、サンプリングポイント同士の間に位置する薄いオブジェクトを検出しない場合がある。
【００２７】
[0035]本明細書で説明されるシステム及び方法は、画像支援型ＬＩＤＡＲ深度マップサンプリングを提供する。ＬＩＤＡＲユニット１１４は、カメラ１０４によって取り込まれる画像によって支援されるＬＩＤＡＲスキャンを実行し得る。ＬＩＤＡＲユニット１１４は、画像によって取り込まれるシーンコンテンツに応答して深度サンプリングを適合させ得る。
【００２８】
[0036]ある実施では、電子デバイス１０２は、画像セグメンテーションマッパー１１６を含み得る。カメラ１０４は、取り込まれた画像を画像セグメンテーションマッパー１１６に供給し得る。画像セグメンテーションマッパー１１６は、セグメンテーションマップを生成するために画像をセグメント化し得る。セグメンテーションマップは、複数のセグメントを含み得る。セグメントの重心は、空間座標を有し得る。画像セグメンテーションマッパー１１６は、セグメント重心の空間座標をＬＩＤＡＲユニット１１４に送り得る。画像セグメンテーションマッパー１１６はまた、セグメントを深度マッパー１１８に供給し得る。
【００２９】
[0037]ＬＩＤＡＲユニット１１４は、受けた空間座標に基づいてＬＩＤＡＲスキャンを実行し得る。ある実施では、ＬＩＤＡＲユニット１１４は、操向可能なＬＩＤＡＲを使用して各セグメントの重心においてシーンの深度をサンプリングし得る。ＬＩＤＡＲユニット１１４及びカメラ１０４は、互いに近くに位置し得る。ＬＩＤＡＲユニット１１４及びカメラ１０４は、それらが実質的に同じ視野（ＦＯＶ）を有するように位置合わせされ得る。ＬＩＤＡＲユニット１１４及びカメラ１０４は、互いに対して較正され得る。例えば、ズーム又はカメラ１０４及びＬＩＤＡＲユニット１１４は、較正され得る。
【００３０】
[0038]精確なシーン座標のために、システムは、サンプリング座標（例えば、重心）、較正パラメータ、及び前の深度マップを使用することができる。例えば、ＬＩＤＡＲユニット１１４は、重心の空間座標におけるシーンの深度値を決定するためにレーザを操向し得る。一実施では、ＬＩＤＡＲユニット１１４は、深度値を決定し、この深度値を深度マッパー１１８に送り得る。別の実施では、ＬＩＤＡＲユニット１１４は、深度値の決定のために、原データ（例えば、時間測定値）をプロセッサ１４２に送り得る。次いで、プロセッサ１４２は、深度値を深度マッパー１１８に供給し得る。
【００３１】
[0039]画像セグメンテーションマッパー１１６からセグメントを、ＬＩＤＡＲユニット１１４から深度値を受けると、深度マッパーは、深度マップ１２０を作成するために、各セグメントにその重心の深度値を追加し得る。画像支援型ＬＩＤＡＲ深度マップサンプリングについての更なる詳細が、図２に関連して与えられる。
【００３２】
[0040]説明されるシステム及び方法は、シーンコンテンツに適合する深度サンプリングを提供する。例えば、ＬＩＤＡＲユニット１１４は、シーンの画像内に大きいかつ実質的に均一なオブジェクトを含むシーンの領域にわたって比較的粗い（単位面積あたりのポイントがより少ない）スキャンを実行するよう命令され得る一方で、ＬＩＤＡＲユニット１１４は、小さく、ジオメトリが変化し、及び／又は複数の隣接又は近接オブジェクトを含むオブジェクトを含むシーンの領域にわたって比較的細かい（単位面積あたりのポイントがより多い）スキャンを実行するよう命令され得る。
【００３３】
[0041]従って、シーンコンテンツに基づいてスキャンパターンを適応的に生成することで、深度マップが、精度を犠牲にすることなく効率的に取得され得る。実際、精度（すなわち、グラウンドトルースに匹敵するシーンの深度マップ１２０）は、例えば、均一にスキャンを使用して見逃す可能性のあるオブジェクト又はオブジェクトの部分におけるポイントを取り込むことで、均一に間隔が空いたスキャンよりも改善され得る。これは、深度マップ１２０のより高い精度とより高いフレームレートに帰着する。ＬＩＤＡＲスキャンは、取り込まれた画像に基づいて最適化されるため、これは、より少ない電力消費に帰着し、これは、特に、バッテリ電力供給型アプリケーションにとって重要である。
【００３４】
[0042]図２は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するように構成された電子デバイス２０２の別の構成を例示するブロック図である。電子デバイス１０２は、カメラ２０４と、画像セグメンテーションマッパー２１６と、ＬＩＤＡＲユニット２１４と、深度マッパー２１８とを含み得る。カメラ２０４、画像セグメンテーションマッパー２１６、ＬＩＤＡＲユニット２１４、及び深度マッパー２１８は、図１に関連して上で説明したカメラ１０４、画像セグメンテーションマッパー１１６、ＬＩＤＡＲユニット２１４、及び深度マッパー１１８の構成であり得る。
【００３５】
[0043]カメラ２０４は、ＬＩＤＡＲユニット２１４上に又はその近くに位置付けられ得る。例えば、カメラ２０４は、電子デバイス２０２上でＬＩＤＡＲユニット２１４の隣に取り付けられ得る。カメラ２０４及びＬＩＤＡＲユニット２１４は、それらがシーン２２２の実質的に同じビューを有するように方向付けされ得る。シーン２２２は、異なるロケーションに１つ又は複数のオブジェクトを含み得る。従って、１つ又は複数のオブジェクトは、カメラ２０４及びＬＩＤＡＲユニット２１４から同じ又は異なる深度（例えば、距離）にあり得る。
【００３６】
[0044]カメラ２０４は、シーン２２２の画像２２４を取り込み得る。画像２２４は、デジタルカラー画像であり得る。カラー画像は、グレーレベル画像より優れた性能をセグメンテーションに提供し得る。赤いボールが緑色のグラスの上にある画像の例では、この画像は、カラードメインではセグメント化し易いが、グラスとボールのグレーレベルは類似している可能性があり、結果として不精確なセグメント境界に帰着する。
【００３７】
[0045]画像２２４は、複数の画素から成り得る。各画素は、空間座標２３２を有し得る。ある実施では、空間座標２３２は、デカルト座標（例えば、ｘ−ｙ座標）で表され得、ここで、ｘは、画素の水平ロケーションに対応し、ｙは、画素の垂直ロケーションに対応する。
【００３８】
[0046]カメラ２０４は、画像２２４を画像セグメンテーションマッパー２１６に供給し得る。画像セグメンテーションマッパー２１６は、画像２２４からセグメンテーションマップ２２６を生成し得る。セグメンテーションマップ２２６は、複数のセグメント２２８から成り得る。各セグメント２２８は、空間座標２３２によって識別され得る。例えば、セグメント２２８は、それの重心２３０に関連付けられた空間座標２３２によって識別され得る。
【００３９】
[0047]画像セグメンテーションマッパー２１６は、低水準コンピュータビジョン技法を使用してセグメンテーションマップ２２６を生成し得る。セグメント２２８は、画像２２４のコンテンツに基づいて決定され得る。セグメント２２８は、不均一であり得、画像２２４のコンテンツに応答して、不規則なジオメトリ、サイズ、及び分布を有する。１つ又は複数のセグメント２２８は、画像２２４内のオブジェクトの境界を定義し得る。セグメント５２８の境界は、画像２２４からのオブジェクト境界又はエッジをたどる。例えば、画像セグメンテーションマッパー２１６は、画像２２４内のオブジェクト間において境界がどこにあるのかを決定し得る。セグメント２２８は、画像２２４内のオブジェクト間の境界（例えば、エッジ）を保存するために生成され得る。セグメンテーションマップ２２６の例が、図５に関連して説明される。
【００４０】
[0048]画像セグメンテーションマッパー２１６は、セグメンテーションマップ２２６内の各セグメント２２８を識別する空間座標２３２を決定し得る。空間座標２３２は、シーン２２２における各セグメント２２８のロケーションを示す。一実施では、画像セグメンテーションマッパー２１６は、各セグメント２２８の重心２３０の空間座標２３２を決定し得る。所与のセグメント２２８の重心２３０は、セグメント２２８の幾何学的中心である。重心２３０は、セグメント２２８内の全てのポイントの算術平均（例えば、平均）位置として決定され得る。セグメント２２８の重心２３０は、関連する空間座標２３２を有する。例えば、重心２３０は、ｘ（例えば、水平）座標と、ｙ（例えば、垂直）座標とによって表され得る。
【００４１】
[0049]セグメント２２８の空間座標２３２は、他のアプローチによって識別され得る。あるアプローチでは、セグメント２２８の空間座標２３２は、セグメント２２８の周りの境界ボックスの中心に対応し得る。別のアプローチでは、セグメント２２８が、クラスタリングアルゴリズム（例えば、Ｋ平均法）で計算される場合、最後の反復におけるクラスタ中心が、セグメント２２８のサンプリングポイント（例えば、空間座標２３２）として使用され得る。更に別のアプローチでは、セグメント２２８のモルフォロジカルエロージョン（形態学的崩壊）（morphological erosion）がある場合、最後のポイントスタンディングが、サンプリング位置（例えば、空間座標２３２）である。
【００４２】
[0050]画像セグメンテーションマッパー２１６によって生成されるセグメント２２８の数は、異なるアプローチに従って決定され得る。あるアプローチでは、セグメント２２８の数は、固定数（例えば、２０００個のセグメント）であり得る。別のアプローチでは、セグメント２２８の数は、最大数であり得る。更に別のアプローチでは、セグメント２２８の数又は量は、以下で説明されるように、生成された深度マップ２２０からのフィードバック２４０に基づいて変化し得る。別のアプローチでは、セグメント２２８の数又は量は、画像コンテンツの関数として決定され得る。例えば、複雑なシーン２２２（例えば、多数のオブジェクト、小さいオブジェクト、多様なオブジェクト）は、より単純なシーン（例えば、少ないオブジェクト、大きいオブジェクト、均一なオブジェクト）に対してより多い数のセグメント２２８を利用し得る。様々なアプローチ（エッジの量、エッジ長、カラー、カラー差、等を示す測定値）は、セグメント２２８の量を導出するために使用され得るシーンの複雑性を決定するために利用され得る。
【００４３】
[0051]画像セグメンテーションマッパー２１６は、セグメント２２８の空間座標２３２をＬＩＤＡＲユニット２１４に供給し得る。例えば、画像セグメンテーションマッパー２１６は、重心２３０の空間座標２３２を含む空間座標情報２３３をＬＩＤＡＲユニット２１４に送り得る。画像セグメンテーションマッパー２１６はまた、画像２２４のセグメント２２８を深度マッパー２１８に供給し得る。例えば、画像セグメンテーションマッパー２１６は、セグメント情報２２９を深度マッパー２１８に送り得る。
【００４４】
[0052]ＬＩＤＡＲユニット２１４は、セグメント２２８の空間座標２３２に基づいてＬＩＤＡＲスキャンを実行し得る。従って、空間座標２３２は、ＬＩＤＡＲユニット２１４がＬＩＤＡＲスキャンを実行するためのサンプリングポイントであり得る。
【００４５】
[0053]ＬＩＤＡＲユニット２１４は、操向可能なレーザ２３４と、深度値決定ブロック２３６とを含み得る。操向可能なレーザ２３４は、画像２２４の空間座標２３２に従って動くように較正され得る。従って、操向可能なレーザ２３４の向きは、画像２２４の空間座標２３２に合わせられる。カメラ２０４及び操向可能なレーザ２３４は、画像の空間座標２３２が操向可能なレーザ２３４の位置に変換され得るように較正され得る。従って、カメラ２０４及び操向可能なレーザ２３４を位置合わせすること及び較正することで、電子デバイス２０２は、画像空間からＬＩＤＡＲ空間への変換を決定し得る。
【００４６】
[0054]いくつかの実施では、ＬＩＤＡＲユニット２１４は、プロセッサ２４２のようなプロセッサからスキャン命令を受け得る。スキャン命令は、シーン２２２をサンプリングするために、ＬＩＤＡＲユニット２１４を位置付ける、操向する、方向付ける、又は他の方法でその動きを達成するコマンド及び／又は情報を含み得る。更に他の実施では、ＬＩＤＡＲユニット２１４は、セグメント２２８又は画像２２４を受け、セグメント２２８及び／又は重心２３０を生成し得る。
【００４７】
[0055]深度値２３８がＬＩＤＡＲ空間から画像空間に変換され得ることは留意されるべきである。深度データ（例えば、深度値２３８）は、世界座標系（すなわち、ＸＹＺ空間）における座標である。これら３Ｄ座標は、射影変換によって画像２２４（すなわち、画像空間）上に投射され得る。変換は、例えば、較正ターゲットから推定され得る。
【００４８】
[0056]操向可能なレーザ２３４は、セグメント２２８の空間座標２３２に対応するポイントにおいてシーン２２２のサンプルを採るために操向され得る。ＬＩＤＡＲスキャンがセグメンテーションマップ２２６の空間座標２３２に基づくため、ＬＩＤＡＲスキャンが不均一なスキャンであり得ることは留意されるべきである。
【００４９】
[0057]深度値決定ブロック２３６は、セグメント２２８の空間座標２３２における深度値２３８を決定し得る。これは、光がシーン２２２内のオブジェクトから反射して受光されるまでにかかる時間量を分析することで達成され得る。ＬＩＤＡＲユニット２１４は、深度値２３８を深度マッパー２１８に供給し得る。別の実施では、ＬＩＤＡＲユニット２１４は、深度値２３８を算出するために、例えば、深度値を示すタイミングデータのようなデータをプロセッサ２４２に供給し得る。
【００５０】
[0058]深度マッパー２１８は、画像セグメンテーションマッパー２１６によって供給されるセグメント２２８を、ＬＩＤＡＲユニット２１４によって供給される深度値２３８とマージすることで深度マップ２２０を作成し得る。あるアプローチでは、深度マッパー２１８は、ＬＩＤＡＲユニット２１４によって決定された、対応する重心２３０の深度値２３８を各セグメント２２８に追加し得る。換言すると、深度マッパー２１８は、セグメント２２８内の各画素に、そのセグメントの重心２３０の深度値２３８を追加し得る。従って、このアプローチでは、深度マップ２２０は、セグメント２２８の深度値２３８を含み、ここで、所与のセグメント２２８は、単一の深度値２３８を有する。
【００５１】
[0059]別のアプローチでは、深度マッパー２１８は、深度値２３８を各セグメント２２８に追加するために隣接セグメント２２８の加重平均を使用し得る。例えば、深度マッパー２１８は、加重された隣接セグメント２２８に従って同じオブジェクトのセグメント２２８に追加し得る。隣接セグメント２２８の加重平均は、セグメント２２８間のカラーの類似性及び／又はそれらの共通境界の長さに影響され得る。
【００５２】
[0060]更に別のアプローチでは、重心２３０からの距離もまた、深度値２３８の補間に影響を与えるパラメータであり得る。深度マッパー２１８は、重心２３０からの距離に基づいてセグメント２２８を深度値２３８とマージすることで深度マップ２２０を作成し得る。
【００５３】
[0061]電子デバイス２０２は、様々なアプリケーションのために深度マップ２２０を使用し得る。例えば、あるアプリケーションでは、電子デバイス１０２は、電子デバイス１０２がオブジェクト中を動き回るときにこのオブジェクトの３次元モデルを構築するために深度マップ２２０を使用し得る。別のアプリケーションでは、電子デバイス１０２は、駐車場ビルを通り抜けている車に電子デバイス１０２が搭載されている室内ナビゲーションのために深度マップ２２０を使用し得る。深度マップ２２０は、カメラ２０４のためのオートフォーカスアプリケーションに対して使用され得る。深度マップ２２０の他のアプリケーションは、シーン２２２内のオブジェクトのマップ、オブジェクト検出（例えば、歩行者検出、交通信号検出、等）、自律走行、及びＵＡＶナビゲーションを作成するためのものであり得る。
【００５４】
[0062]ある実施では、画像セグメンテーションマッパー２１６は、前の深度マップ２２０からフィードバック２４０を使用して、画像２２４のセグメント２２８を調節し得る。深度マッパー２１８は、フィードバック２４０を画像セグメンテーションマッパー２１６に供給し得る。画像セグメンテーションマッパー２１６は、セグメンテーションを最適化するために深度マッパー２１８からのフィードバック２４０に基づいてより多い数の又はより少ない数のセグメント２２８を生成し得る。例えば、２つの隣接セグメント２２８が類似したカラーを有し、かつ、それらが最後の１０個のフレームで同じ深度値２３８を有する場合、画像セグメンテーションマッパー２１６は、次のフレームでは、２つのセグメント２２８を１つのセグメント２２８へと組み合わせ得る。ＬＩＤＡＲユニット２１４は、組み合わせられたセグメント２２８について、２つのサンプルではなく１つのサンプルを採り得る。これにより、フレームレートが更に改善し、バッテリ消費を低減し得る。
【００５５】
[0063]図２に例示されるように、例示された構成要素のうちの１つ又は複数は、プロセッサ２４２によってオプションで実施され得る。いくつかの構成では、異なるプロセッサが、異なる構成要素を実施するために使用され得る（例えば、あるプロセッサは、画像セグメンテーションマッパー２１６を実施し得、別のプロセッサは、深度値決定ブロック２３６を実施するために使用され得、別のプロセッサは、深度マッパー２１８を実施するために使用され得る）。
【００５６】
[0064]図３は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するための方法３００を例示するフロー図である。方法３００は、図２に描写されている電子デバイス２０２によって実施され得る。具体的には、方法３００は、電子デバイス２０２のＬＩＤＡＲユニット２１４によって実施され得る。いくつかの実施では、方法得る３００は、一部が、電子デバイス２０２内のプロセッサ、例えば、プロセッサ２４２及びＬＩＤＡＲユニット２１４によって実施され得る。
【００５７】
[0065]図２及び図３を参照すると、ＬＩＤＡＲユニット２１４は、画像セグメンテーションマッパー２１６から空間座標２３２を受け得る３０２。空間座標２３２は、シーン２２２の画像２２４に基づいて生成され得る。例えば、画像セグメンテーションマッパー２１６は、ＬＩＤＡＲユニット２１４上に又はその近くに位置付けられているカメラ２０４から画像２２４を受け得る。画像セグメンテーションマッパー２１６は、画像２２４からセグメンテーションマップ２２６を生成し得る。セグメンテーションマップ２２６は、複数のセグメント２２８を含み得る。１つ又は複数のセグメント２２８は、画像２２４内のオブジェクトの境界を定義し得る。
【００５８】
[0066]各セグメント２２８は、関連する空間座標２３２を有する重心２３０を有し得る。ＬＩＤＡＲユニット２１４は、画像セグメンテーションマッパー２１６から重心２３０及び／又は関連する空間座標２３２を受け得る３０２。いくつかの実施では、ＬＩＤＡＲユニット２１４は、プロセッサ２４２のようなプロセッサからスキャン命令を受け得る。スキャン命令は、シーン２２２をサンプリングするために、ＬＩＤＡＲユニット２１４を位置付ける、操向する、方向付ける、又は他の方法でその動きを達成するコマンド及び／又は情報を含み得る。更に他の実施では、ＬＩＤＡＲユニット２１４は、セグメント２２８又は画像２２４を受け、セグメント２２８及び／又は重心を生成し得る。
【００５９】
[0067]ＬＩＤＡＲユニット２１４は、空間座標２３２に基づいてＬＩＤＡＲスキャンを実行し得る３０４。ＬＩＤＡＲユニット２１４は、空間座標２３２においてシーン２２２をサンプリングするように操向され得る。例えば、操向可能なレーザ２３４は、重心２３０の空間座標２３２に対応するポイントにおいてシーン２２２のサンプルを採るように操向され得る。別の例では、操向可能なレーザ２３４は、所与のセグメント２２８の周りの境界ボックスの中心の空間座標２３２に対応するポイントにおいてシーン２２２のサンプルを採るように操向され得る。サンプリングポイントはまた、他のアプローチ（例えば、クラスタ中心又はモルフォロジーエロージョン）に従って決定され得る。
【００６０】
[0068]ＬＩＤＡＲユニット２１４は、セグメント２２８の空間座標２３２において深度値２３８を決定し得る。深度値２３８は、ＬＩＤＡＲユニット２１４からの１つ又は複数のオブジェクトの距離に対応し得る。いくつかの実施では、ＬＩＤＡＲユニット２１４は、例えば、深度値を示すタイミングデータのようなデータを、プロセッサ２４２のような、電子デバイス２０２のプロセッサに供給し得る。
【００６１】
[0069]ＬＩＤＡＲユニット２１４は、深度マップ２２０を作成するために、ＬＩＤＡＲスキャンによって取得される深度値２３８を深度マッパー２１８に供給し得る３０６。深度マッパー２１８は、画像セグメンテーションマッパー２１６から画像２２４のセグメント２２８を受け得る。深度マッパー２１８は、ＬＩＤＡＲユニット２１４によって供給されるセグメント２２８の空間座標２３２に対応する深度値２３８を各セグメント２２８に追加し得る。
【００６２】
[0070]あるアプローチでは、深度マッパー２１８は、ＬＩＤＡＲユニット２１４によって決定された、対応する重心２３０の深度値２３８を各セグメント２２８に追加し得る。別のアプローチでは、深度マッパー２１８は、深度値２３８を各セグメント２２８に追加するために隣接セグメント２２８の加重平均を使用し得る。更に別のアプローチでは、深度マッパー２１８は、重心２３０からの距離に基づいて、セグメント２２８を深度値２３８とマージすることで深度マップ２２０を作成し得る。
【００６３】
[0071]図４は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するための別の方法４００を例示するフロー図である。方法４００は、例えば、図２に描写されている電子デバイス２０２によって実施され得る。
【００６４】
[0072]図２及び図４を参照すると、電子デバイス２０２は、シーン２２２のカラー画像２２４を取得し得る４０２。例えば、カメラ２０４は、カラー画像２２４を取り込み得る。カメラ２０４は、ＬＩＤＡＲユニット２１４上に又はその近くに位置付けされ（例えば、取り付けられ）得る。カメラ２０４は、画像２２４を画像セグメンテーションマッパー２１６に供給し得る。
【００６５】
[0073]電子デバイス２０２は、画像２２４から、複数のセグメント２２８を含むセグメンテーションマップ２２６を生成し得る４０４。１つ又は複数のセグメント２２８は、画像２２４内のオブジェクトの境界を定義し得る。電子デバイス２０２によって生成されるセグメント２２８の数は、異なるアプローチに従って決定され得る。あるアプローチでは、セグメント２２８の数は、固定数であり得る。別のアプローチでは、セグメント２２８の数は、最大数であり得る。別のアプローチでは、セグメント２２８の数は、フィードバック２４０に基づいて変化し得る。更に別のアプローチでは、セグメント２２８の数は、画像コンテンツの関数として決定され得、ここで、比較的複雑なシーン２２２は、より単純なシーンと比べて、よりを多い数のセグメント２２８を利用し得る。
【００６６】
[0074]電子デバイス２０２は、セグメント２２８の空間座標２３２を決定し得る４０６。空間座標２３２は、シーン２２２内の各セグメント２２８のロケーションを示す。空間座標２３２は、ＬＩＤＡＲスキャンを実行するためのサンプリングポイントであり得る。一実施では、電子デバイス２０２は、セグメント２２８の重心２３０の空間座標２３２を決定し得る４０６。各セグメント２２８は、重心２３０を有し得る。重心２３０は、空間座標２３２によって表され得る。例えば、重心２３０は、ｘ（例えば、水平）座標と、ｙ（例えば、垂直）座標とを有し得る。セグメント２２８の空間座標２３２はまた、他のアプローチ（例えば、クラスタ中心又はモルフォロジーエロージョン）に従って決定され得る。
【００６７】
[0075]電子デバイス２０２は、深度値２３８を決定するために、セグメント２２８の空間座標２３２においてＬＩＤＡＲスキャンを実行し得る４０８。空間座標２３２は、セグメント２２８に関連付けられたサンプリングポイント（例えば、重心２３０、境界ボックスの中心、クラスタ中心、又はモルフォロジーエロージョン）に関連付けられ得る。操向可能なレーザ２３４は、空間座標２３２に対応するポイントにおいてシーン２２２のサンプルを採るように操向され得る。所与のセグメント２２８の空間座標２３２について、電子デバイス２０２は、そのロケーションの深度値２３８を決定するために、光がシーン２２２内のオブジェクトから反射するのにかかる時間量を分析し得る。
【００６８】
[0076]電子デバイス２０２は、シーン２２２の深度マップ２２０を作成するために、深度値２３８をセグメント２２８とをマージし得る４１０。例えば、電子デバイス２０２は、ＬＩＤＡＲスキャンによって決定されたセグメント２２８の空間座標２３２に対応する深度値２３８を各セグメント２２８に追加し得る。
【００６９】
[0077]電子デバイス２０２は、前の深度マップ２２０からのフィードバック２４０を使用して、画像２２４のセグメント２２８を（オプションで）調節し得る４１２。例えば、深度マッパー２１８は、フィードバック２４０を画像セグメンテーションマッパー２１６に供給し得る。画像セグメンテーションマッパー２１６は、セグメンテーションを最適化するために深度マッパー２１８からのフィードバック２４０に基づいてより多い数の又はより少ない数のセグメント２２８を生成し得る。
【００７０】
[0078]図５Ａ−５Ｃは、画像５２４から生成されるセグメンテーションマップ５２６の例を例示する。画像５２４は、ＬＩＤＡＲユニット２１４上に又はその近くに位置付けられているカメラ２０４によって取り込まれるカラー画像であり得る。画像５２４は、１つ又は複数のオブジェクトを含むシーン２２２のピクチャであり得る。画像５２４は、デジタル画像であり得るか、ビデオのフレームから取得され得る。
【００７１】
[0079]この例では、図５Ａに示される画像５２４は、異なる深度に複数のオブジェクトを含む。画像５２４内のオブジェクトのうちのいくつかは、（画像５２４の左にある）円錐５５４と、（画像５２４の手前右にある）鉛筆５５８の入っているカップと、格子５６０とを含む。
【００７２】
[0080]セグメンテーションマップ５２６は、画像５２４から生成される。様々な要因が、画像５２４のセグメンテーションのためのセグメント５２８の数を決定するときに考慮され得る。セグメント５２８の数を決定することに関連性のあり得る要因は、画像コンテンツ／複雑性、１秒あたりの最小フレーム（ｆｐｓ）、所望の精度（例えば、最大セグメントサイズ）、及びリソース使用（例えば、バッテリ使用／ＭＩＰＳ／時間）を含み得る。
【００７３】
[0081]この例では、セグメンテーションマップ５２６は、２０００個のセグメント５２８を含む。他の例では、より少ない数の又はより多い数のセグメント５２８が利用され得る。図５Ｂ及び図５Ｃから分かるように、この例におけるセグメント５２８は均一ではなく、画像５２４のコンテンツに応答してジオメトリ、サイズ、及び分布が不規則である。セグメント５２８の境界は、円錐５５４のクローズアップビューの図５Ｃに例示されるように、画像５２４からのオブジェクトの境界又はエッジをたどる。薄いオブジェクト（例えば、画像５２４の右下にある鉛筆５５８）について、このオブジェクトの幅が単一のセグメント５２８によって定義され得ることは留意されるべきである。
【００７４】
[0082]各セグメント５２８は、対応する重心５３０を有する。この例では、単一の重心５３０が、所与のセグメントについて例示される。重心５３０は、空間座標２３２によって特徴付けられ得る。これらの空間座標２３２は、画像５２４内の重心５３０のロケーションに従って決定され得る。ある実施では、重心５３０は、ｘ（例えば、水平）座標と、ｙ（例えば、垂直）座標とによって表され得る。
【００７５】
[0083]図６Ａ−６Ｄは、画像支援型ＬＩＤＡＲ深度マップ６２０サンプリングの例を例示する。図６Ａに描写される画像６２４は、図５Ａに関連して説明されたシーンの画像５２４と同じである。数あるオブジェクトの中でもとりわけ、画像６２４は、複数の円錐６５４と、鉛筆６５６と、格子６６０とを含む。画像６２４は、デジタル画像であり得るか、ビデオのフレームから取得され得る。
【００７６】
[0084]グラウンドトルース６６２は、深度マップ６２０が比較され得る参照である。グラウンドトルース６６２は、それぞれ、支援型及び無支援型アプローチを使用してサンプリングされた深度マップ６２０の品質を目視検証するために、図６Ｂに含まれる。グラウンドトルース６６２が本明細書で説明されるシステム及び方法の一部ではないことは留意されるべきである。
【００７７】
[0085]図６Ｃ及び６Ｄに例示される深度マップ６２０ａ−ｂは、深度値２３８の視覚表現である。深度値２３８は、深度マップ６２０内で異なる陰影で示される。深度マップ６２０内のより明るい陰影は、オブジェクトがＬＩＤＡＲユニット２１４のより近くにいることを示す。深度マップ６２０内のより暗い陰影は、オブジェクトがＬＩＤＡＲユニット２１４からより離れていることを示す。従って、シーンの背景にあるオブジェクトは、深度マップ６２０においてより暗い陰影で描写され、シーンの前景にあるオブジェクトは、深度マップ６２０においてより明るい陰影で描写される。
【００７８】
[0086]深度マップ画像が、視覚化及び例示の目的で提供される深度マップ情報の１つの例となる視覚描写であることは留意されるべきである。実際、深度メイ６２０の視覚化は、異なって提示されるか又は全く提示されないであろう。代わりに、深度マップ情報は、３次元モデルを構築すること、室内ナビゲーション、自律ナビゲーション、オブジェクト検出、及び他のアプリケーションのような様々な動作及びプロセスのために利用され得る。
【００７９】
[0087]無支援型ＬＩＤＡＲ深度マップ６２０ａが図６Ｃに例示される。無支援型ＬＩＤＡＲ深度マップ６２０ａは、深度値２３８のネイティブの規則的なＬＩＤＡＲサンプリングを使用して取得されたものである。このケースでは、ＬＩＤＡＲサンプリングは、２０００個の規則的に間隔が空けられたサンプリングポイントを使用して均一な方式で実行された。従って、このアプローチは、どこにＬＩＤＡＲスキャンを実行するかを決定するときシーン内のオブジェクトを考慮しない。
【００８０】
[0088]画像支援型ＬＩＤＡＲ深度マップ６２０ｂは、本明細書で説明されたシステム及び方法に従って生成される。このケースでは、セグメンテーションマップ２２６は、２０００個のセグメント２２８で作成される。セグメント２２８の境界は、図５に関連して説明したように、オブジェクトの境界をたどる。次いで、ＬＩＤＡＲスキャンが、セグメント２２８の空間座標２３２において実行される。次いで、ＬＩＤＡＲスキャンからの深度値２３８は、画像支援型ＬＩＤＡＲ深度マップ６２０ｂを生成するために、対応するセグメント２２８に追加される。
【００８１】
[0089]図６Ｃ及び６Ｄを比較することで観察されるように、無支援型ＬＩＤＡＲ深度マップ６２０ａは、結果として、特に、境界線において性能が劣る。例えば、図６Ｃの無支援型ＬＩＤＡＲ深度マップ６２０ａ内の円錐６５４がセグメント化され、格子６６０の開口部はいびつである。また、薄いオブジェクト（例えば、鉛筆６５６）は、サンプリングポイント同士の間に位置し得、図６Ｃによって論証されるように、ＬＩＤＡＲスキャンによって検出されることができないであろう。
【００８２】
[0090]ＬＩＤＡＲサンプリングは、かなり精確な解像度（例えば、０．１度）で、比較的高密度の水平グリッドを使用し得る。しかしながら、垂直フィールドでは、この解像度は、（例えば、０．５度から４度の範囲の）かなり粗い解像度であり得る。垂直視野は、例えば、８度から２０度の間に限られ得る。スキャンレートは、通常、１０ｆｐｓから５０ｆｐｓの間である。
【００８３】
[0091]これらの仮定では、１つのＬＩＤＡＲスキャンは、２０ｍｓから１００ｍｓまでの範囲の１つのフレームで獲得されるであろう。これは、システムに運動及び／又はジッタを考慮させるのに十分なインターバルである。例えば、慣性計測装置（ＩＭＵ）は、ＬＩＤＡＲユニット１１４の運動及び／又はジッタを考慮するために使用され得る。ＩＭＵは、自己運動中心データ（例えば、環境内でのＬＩＤＡＲユニット１１４の三次元運動に関するデータ）を、世界規模の座標系で参照されるものへと補間するためにＬＩＤＡＲユニット１１４に結合され得る。
【００８４】
[0092]ＬＩＤＡＲユニットが車両に結合されている実施における車両運動についても同様である。デフォルトで、ＬＩＤＡＲユニット１１４からの原データは、ローカルの座標系においてポイントクラウドを供給するであろう。説明されるシステムが可動式プラットフォーム（例えば、車両）上に位置し得るため、この動きは、これらのポイントを世界的に参照される座標系に変換するために、対処され得る。
【００８５】
[0093]図６Ａ、６Ｂ、６Ｃ、及び６Ｄに例示される例によって論証されるように、画像支援型ＬＩＤＡＲ深度マップ６２０ｂによって生成される深度マップ６２０ｂの精度は、無支援型ＬＩＤＡＲ深度マップ６２０ａによって生成される深度マップ６２０ａよりも優れている。この例における深度マップ６２０は、同じ数（すなわち、２０００個）のスキャンポイントを使用するが、より少ない数のスキャンポイントを使用して画像支援型ＬＩＤＡＲサンプリングアプローチに従って生成される深度マップ６２０が、より多くのスキャンポイントで無支援型アプローチに従って生成される深度マップ６２０よりも精確であり得ることは留意されるべきである。
【００８６】
[0094]画像６２４をセグメント化するとき画像支援型アプローチがシーン内のオブジェクトを考慮に入れるため、より少ない数のセグメント２２８が、異なるオブジェクトを表すために必要とされ得る。セグメント２２８は、画像２２４内のオブジェクト間の境界（例えば、エッジ）を保存するために生成され得る。オブジェクト間の境界を保存する大きいセグメント２２８は、本明細書で説明された画像支援型アプローチに従って精確な深度マップ６２０を生成するのに十分であり得る。従って、より低いセグメンテーション密度で生成される深度マップ６２０は、十分な精度を提供し得る。更に、より大きなセグメント２２８を使用することは、より少ないセグメント２２８に帰着し、これは、次に、より少ないスキャンポイントに帰着する。深度マップ６２０を生成するためにより少ないＬＩＤＡＲサンプルを使用することで、電子デバイス２０２は、十分な精度を保ちつつ、効率向上（例えば、処理、バッテリ消費、時間、等）を達成し得る。
【００８７】
[0095]画像支援型ＬＩＤＡＲ深度マップ６２０ｂは、無支援型ＬＩＤＡＲ深度マップ６２０ａより精確である。セグメント２２８が画像６２４内のオブジェクトの境界をたどるため、図６Ｄの画像支援型ＬＩＤＡＲ深度マップ６２０ｂは、無支援型ＬＩＤＡＲ深度マップ６２０ａと比べて、オブジェクト（例えば、円錐６５４及び格子６６０の開口部）のよりはっきりとした（sharper）エッジを保持する。更に、画像支援型ＬＩＤＡＲ深度マップ６２０ｂでは、薄いオブジェクト（例えば、鉛筆６５６）が取り込まれる。
【００８８】
[0096]図７Ａ−７Ｄは、画像支援型ＬＩＤＡＲ深度マップ７２０サンプリングの別の例を例示する。シーンの画像７２４が図７Ａに示され、対応するグラウンドトルース７６２が図７Ｂに示されている。数あるオブジェクトの中でもとりわけ、画像７２４は、布７６４、植物７６６、及び鳥小屋７６８を含む。
【００８９】
[0097]無支援型ＬＩＤＡＲ深度マップ７２０ａが図７Ｃに例示される。無支援型ＬＩＤＡＲ深度マップ７２０ａは、深度値２３８のネイティブの規則的なＬＩＤＡＲサンプリングを使用して取得されたものである。このケースでは、ＬＩＤＡＲサンプリングは、２０００個の規則的に間隔が空けられたサンプリングポイントを使用して均一な方式で実行された。従って、このアプローチは、どこにＬＩＤＡＲスキャンを実行するかを決定するときシーン内のオブジェクトを考慮しない。
【００９０】
[0098]画像支援型ＬＩＤＡＲ深度マップ７２０ｂは、本明細書で説明されたシステム及び方法に従って生成される。このケースでは、セグメンテーションマップ２２６は、２０００個のセグメント２２８で作成される。セグメント２２８の境界は、図５に関連して説明したように、オブジェクトの境界をたどる。次いで、ＬＩＤＡＲスキャンは、セグメント２２８の空間座標７３２において実行される。次いで、ＬＩＤＡＲスキャンからの深度値２３８は、画像支援型ＬＩＤＡＲ深度マップ７２０ｂを生成するために、対応するセグメント２２８に追加される。
【００９１】
[0099]図７Ｃ及び７Ｄを比較することで観察されるように、画像支援型ＬＩＤＡＲ深度マップ７２０ｂは、特に、オブジェクト境界線において、より優れた性能に帰着する。布７６４、植物７６６の葉、及び鳥小屋７６８の屋根のエッジは、図７Ｃの無支援型ＬＩＤＡＲ深度マップ７２０ａと比べて図７Ｄの画像支援型ＬＩＤＡＲ深度マップ７２０ｂではよりはっきりしている。
【００９２】
[00100]図８は、画像支援型ＬＩＤＡＲ深度マップサンプリングのシステム及び方法が実施され得る電子デバイス８０２の一例を例示するブロック図である。電子デバイス８０２の例には、カメラ、ビデオカムコーダ、デジタルカメラ、セルラ電話、スマートフォン、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ、等）、タブレットデバイス、メディアプレーヤ、テレビ、自動車、パーソナルカメラ、アクションカメラ、監視カメラ、搭載カメラ、接続済みカメラ、ロボット、航空機、ドローン、無人航空機（ＵＡＶ）、ヘルスケア機器、ゲームコンソール、携帯情報端末（ＰＤＡ）、セットトップボックス、等が含まれる。電子デバイス８０２は、１つ又は複数の構成要素又は要素を含み得る。構成要素又は要素のうちの１つ又は複数は、ハードウェア（例えば、回路）又はハードウェアとソフトウェアとの組み合わせ（例えば、命令を有するプロセッサ）により実施され得る。
【００９３】
[00101]いくつかの構成では、電子デバイス８０２は、プロセッサ８４２、メモリ８４４、ディスプレイ８４６、カメラ８０４、ＬＩＤＡＲユニット８１４、及び／又は通信インターフェース８０５を含み得る。プロセッサ８４２は、メモリ８４４、ディスプレイ８４６、カメラ８０４、ＬＩＤＡＲユニット８１４、及び／又は通信インターフェース８０５に結合され得る（例えば、それらと電子通信状態にある）。図８に例示された要素のうちの１つ又は複数がオプションであり得ることは留意されるべきである。特に、電子デバイス８０２は、いくつかの構成では、図８に例示される要素のうちの１つ又は複数を含まない場合がある。例えば、電子デバイス８０２は、通信インターフェース８０５を含むことも含まないこともあり得る。追加的に又は代替的に、電子デバイス８０２は、ディスプレイ８４６を含むことも含まないこともあり得る。
【００９４】
[00102]通信インターフェース８０５は、電子デバイス８０２が１つ又は複数の他の電子デバイスと通信することを可能にし得る。例えば、通信インターフェース８０５は、ワイヤード及び／又はワイヤレス通信のためのインターフェースを提供し得る。いくつかの構成では、通信インターフェース８０５は、無線周波数（ＲＦ）信号を送信及び／又は受信するために１つ又は複数のアンテナ８０７に結合され得る。追加的に又は代替的に、通信インターフェース８０５は、１つ又は複数の種類のワイヤライン（例えば、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）、等）通信を可能にし得る。
【００９５】
[00103]いくつかの構成では、複数の通信インターフェース８０５が実施及び／又は利用され得る。例えば、ある通信インターフェース８０５は、セルラ（例えば、第３世代ロングタームエボリューション（ＬＴＥ（登録商標））、ＣＤＭＡ、等）通信インターフェース８０５であり得、別の通信インターフェース８０５は、イーサネットインターフェースであり得、別の通信インターフェース８０５は、ユニバーサルシリアルバス（ＵＳＢ）インターフェースであり得、更に別の通信インターフェース８０５は、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）インターフェース（例えば、電気電子技術者協会（ＩＥＥＥ）８０２．１１インターフェース）であり得る。
【００９６】
[00104]いくつかの構成では、電子デバイス８０２は、図１−８のうちの１つ又は複数に関連して説明された機能、プロシージャ、方法、ステップ、等のうちの１つ又は複数を実行し得る。追加的に又は代替的に、電子デバイス８０２は、図１−８のうちの１つ又は複数に関連して説明された構造のうちの１つ又は複数を含み得る。いくつかの構成では、図８に関連して説明された画像支援型ＬＩＤＡＲ深度マップサンプリングは、図１−８のうちの１つ又は複数に関連して説明されたアプローチのうちの１つ又は複数と併せて実施され得る。図８に関連して説明される画像支援型ＬＩＤＡＲ深度マップサンプリングが、図１−８のうちの１つ又は複数に関連して説明された画像スキャン及び／又はオブジェクトトラッキングに対するアプローチのうちの１つ又は複数に加えて又はそれとは代替的に、実施され得ることは留意されるべきである。
【００９７】
[00105]電子デバイス８０２は、１つ又は複数の画像８２４（例えば、デジタル画像、画像フレーム、ビデオ、等）を取得し得る。例えば、電子デバイス８０２は、光学システム１０６（例えば、レンズ）と画像センサ１０８とを有するカメラ８０４を含み得る。いくつかの構成では、カメラ８０４は、１つ又は複数の画像８２４を取り込み得る。カメラ８０４は、プロセッサ８４２に結合され得る及び／又はプロセッサ８４２によって制御され得る。追加的に又は代替的に、電子デバイス８０２は、別のデバイス（例えば、電子デバイス８０２に結合された外部の画像センサ、ネットワークサーバ、交通カメラ、ドロップカメラ、自動車カメラ、ウェブカメラ、等）からの１つ又は複数の画像８２４を要求し得る及び／又は受け得る。いくつかの構成では、電子デバイス８０２は、通信インターフェース８０５を介して１つ又は複数の画像８２４を要求し得る及び／又は受け得る。例えば、電子デバイス８０２は、カメラ８０４を含むことも含まないこともあり得、リモートデバイスから画像８２４を受け得る。
【００９８】
[00106]１つ又は複数の画像８２４は、メモリ８４４に記憶され得る。画像８２４のうちの１つ又は複数は、シーン２２２内のオブジェクトを含み得る。
【００９９】
[00107]メモリ８４４は、命令及び／又はデータを記憶し得る。プロセッサ８４２は、メモリ７８４４にアクセスし（それから読み取り及び／又はそれに書き込み）得る。メモリ８４４によって記憶され得る命令及び／又はデータの例には、画像データ（例えば、１つ又は複数の画像８２４）、画像セグメンテーションマッパー８１６命令、ＬＩＤＡＲユニット８１４命令、深度マッパー８１８命令、及び／又は他の要素のための命令、等が含まれ得る。いくつかの構成では、電子デバイス８０２（例えば、メモリ８４４）は、画像データバッファ（図示されない）を含み得る。画像データバッファは、カメラ８０４からの画像データ（例えば、画像８２４）をバッファ（例えば、記憶）し得る。バッファされた画像データは、プロセッサ８４２に供給され得る。
【０１００】
[00108]いくつかの構成では、電子デバイス８０２は、カメラソフトウェアアプリケーション及び／又はディスプレイ８４６を含み得る。カメラアプリケーションが稼働しているとき、カメラ８０４の視野内に位置しているオブジェクトの画像８２４は、カメラ８０４によって取り込まれ得る。カメラ８０４によって取り込まれている画像８２４は、ディスプレイ８４６上に提示され得る。いくつかの構成では、これらの画像８２４は、カメラ８０４の視野内に位置するオブジェクトが任意の時点でディスプレイ８４６上に表示されるように、比較的高いフレームレートで立て続けに表示され得る。電子デバイス８０２によって取得される１つ又は複数の画像８２４は、１つ又は複数のビデオフレーム及び／又は１つ又は複数の静止画像であり得る。
【０１０１】
[00109]プロセッサ８４２は、画像セグメンテーションマッパー８１６、ＬＩＤＡＲユニットコントローラ８４８、及び／又は深度マッパー８１８を含み得る及び／又は実施し得る。いくつかの構成では、プロセッサ８４２は、図２に関連して説明されたプロセッサ２４２の例であり得る。電子デバイス８０２及び／又はプロセッサ８４２内に例示される要素のうちの１つ又は複数がオプションであり得ることは留意されるべきである。例えば、プロセッサ８４２内に例示された要素のうちの１つ又は複数は、含まれる及び／又は実施されることもそうでないこともある。追加的に又は代替的に、プロセッサ８４２内に例示される要素のうちの１つ又は複数は、プロセッサ８４２とは別に（例えば、他の回路内、別のプロセッサ上、離れた電子デバイス上、等で）実施され得る。例えば、ＬＩＤＡＲユニットコントローラ８４８は、電子デバイス８０２上には実施されない場合がある。
【０１０２】
[00110]プロセッサ８４２は、画像セグメンテーションマッパー８１６を含み得る及び／又は実施し得る。いくつかの構成では、画像セグメンテーションマッパー８１６は、図１−２のうちの１つ又は複数に関連して説明された画像セグメンテーションマッパー１１６、２１６のうちの１つ又は複数の例であり得る。画像セグメンテーションマッパー８１６は、シーン２２２の画像８２４からセグメンテーションマップ２２６を生成し得る。セグメンテーションマップ２２６は、複数のセグメント２２８を含み得る。
【０１０３】
[00111]プロセッサ８４２は、ＬＩＤＡＲユニットコントローラ８４８を含み得る及び／又は実施し得る。ＬＩＤＡＲユニットコントローラ８４８は、セグメント２２８の重心２３０の空間座標２３０を受け得る。ＬＩＤＡＲユニットコントローラ８４８は、重心２３０の空間座標２３２においてＬＩＤＡＲスキャンを実行するようＬＩＤＡＲユニット８１４に命令し得る。ＬＩＤＡＲユニット８１４は、空間座標２３２においてシーン２２２をサンプリングするように操向され得る。ＬＩＤＡＲユニット８１４は、重心２３０の空間座標２３２においてシーン２２２の深度値２３８を決定し得る。
【０１０４】
[00112]プロセッサ８４２は、深度マッパー８１８を含み得る及び／又は実施し得る。いくつかの構成では、深度マッパー８１８は、本明細書で説明された深度マッパー１１８、２１８のうちの１つ又は複数の例であり得る。深度値２３８のうちの１つ又は複数は、深度マッパー８１８に供給され得る。深度マッパー８１８は、深度マップ８２０を作成するためにセグメント２２８の重心２３０の深度値２３８を各セグメント２２８に追加し得る。
【０１０５】
[00113]いくつかの構成では、電子デバイス８０２は、深度マップ８２０に基づいて支援型走行を実行し得る。例えば、プロセッサ８４２は、先進運転支援システム（ＡＤＡＳ）を含み（例えば、実施し）得るか、それと通信し得る。例えば、電子デバイス８０２（例えば、ＡＤＡＳ）は、深度マップ８２０に基づいて支援型走行を実行し得る。電子デバイス８０２は、深度マップ８２０に基づいて１つ又は複数の動作を実行し得る。動作の例には、オブジェクト検出及び／又はオブジェクトトラッキングが含まれ得る。動作の例にはまた、インジケータを表示すること（例えば、制限速度、一時停止の標識、歩行者警告、潜在的衝突の警告、車線逸脱警告、道の名前、住所、等）、サウンドを出力すること（例えば、チャイム、アラーム、スピーチ、自動車のクラクションを鳴らすこと、等）、車両速度を制御すること（例えば、掲示された制限速度で走行すること、衝突を回避するためにブレーキをかけること、等）、車両ステアリングを制御すること（例えば、衝突を回避するために向きを変えること、縦列駐車すること、等）、車両環境を制御すること（例えば、デフロスタ又は曇り除去装置を制御すること、等）、車両のライトを制御すること（例えば、フォグランプをオンにすること、非常灯をアクティブにすること、方向指示器を制御すること、等）が含まれ得る。いくつかの構成では、電子デバイス８０２が自動車から離れ得るかそれに統合され得ることは留意されるべきである。
【０１０６】
[00114]いくつかの構成では、プロセッサ８４２は、１つ又は複数の他の要素を含み得る及び／又は実施し得る。例えば、プロセッサ８４２は、オブジェクト検出器、オブジェクトトラッカ、等を含み得る。
【０１０７】
[00115]いくつかの構成では、電子デバイス８０２は、ディスプレイ８４６上にユーザインターフェース８１２を提示し得る。例えば、ユーザインターフェース８１２は、ユーザが電子デバイス８０２と対話することを可能にし得る。いくつかの構成では、ディスプレイ８４６は、（例えば、指、タッチペン、又は他のツールによる）物理的接触からの入力を受けるタッチスクリーン１１０であり得る。追加的に又は代替的に、電子デバイス８０２は、別の入力インターフェースを含み得るかそれに結合され得る。例えば、電子デバイス８０２は、ユーザの方を向いているカメラを含み得、ユーザジェスチャ（例えば、ハンドジェスチャ、アームジェスチャ、視線追跡、まぶた瞬き、等）を検出し得る。別の例では、電子デバイス８０２は、マウスに結合され得、マウスクリックを検出し得る。
【０１０８】
[00116]いくつかの構成ではいずれのユーザ入力も必要とされないであろうことは留意されるべきである。例えば、電子デバイス８０２は、画像支援型ＬＩＤＡＲ深度マップサンプリングを自動的に実行し得る。
【０１０９】
[00134]図９は、電子デバイス９０２内に含まれ得る特定の構成要素を例示する。電子デバイス９０２は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラ電話、スマートフォン、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ、等）、タブレットデバイス、メディアプレーヤ、テレビ、自動車、パーソナルカメラ、アクションカメラ、監視カメラ、搭載カメラ、接続済みカメラ、ロボット、航空機、ドローン、無人航空機（ＵＡＶ）、ヘルスケア機器、ゲームコンソール、携帯情報端末（ＰＤＡ）、セットトップボックス、等であり得るか又はそれらに含まれ得る。電子デバイス９０２は、プロセッサ９４２を含む。プロセッサ９４２は、汎用のシングルチップ又はマルチチップマイクロプロセッサ（例えば、ＡＲＭ）、専用マイクロプロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイ、等であり得る。プロセッサ９４２は、中央処理装置（ＣＰＵ）と呼ばれ得る。電子デバイス９０２には単一のプロセッサ９４２だけが示されているが、代替的な構成では、プロセッサの組み合わせ（例えば、ＡＲＭとＤＳＰ）が使用されることができであろう。
【０１１０】
[00135]電子デバイス９０２はまた、メモリ９４４を含む。メモリ９４４は、電子情報を記憶することができる任意の電子構成要素であり得る。メモリ９４４は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光学記憶媒体、ＲＡＭにおけるフラッシュメモリデバイス、プロセッサと共に含まれるオンボードメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、等、なお、それらの組み合わせを含む、として具現化され得る。
【０１１１】
[00136]データ９５０ａ及び命令９５２ａは、メモリ９４４に記憶され得る。命令９５２ａは、本明細書で説明された方法のうちの１つ又は複数を実施するためにプロセッサ９４２によって実行可能であり得る。命令９５２ａを実行することは、メモリ９４４に記憶されたデータの使用を伴い得る。プロセッサ９４２が命令９５２を実行すると、命令９５２ｂの様々な部分がプロセッサ９４２上にロードされ得、データ９５０ｂの様々な部分がプロセッサ９４２上にロードされ得る。
【０１１２】
[00137]電子デバイス９０２はまた、電子デバイス９０２への信号の送信と、電子デバイス９０２からの信号の受信とを可能にするための送信機９２５及び受信機９２７を含み得る。送信機９２５及び受信機９２７は、集合的にトランシーバ９３５と呼ばれ得る。１つ又は複数のアンテナ９０７ａ−ｂは、トランシーバ９３５に電気的に結合され得る。電子デバイス９０２はまた、複数の送信機、複数の受信機、複数のトランシーバ、及び／又は追加のアンテナを含み得る（図示されない）。
【０１１３】
[00138]電子デバイス９０２は、デジタルシグナルプロセッサ（ＤＳＰ）９３１を含み得る。電子デバイス９０２はまた、通信インターフェース９０５を含み得る。通信インターフェース９０５は、１つ又は複数の種類の入力及び／又は出力を可能にし得る。例えば、通信インターフェース９０５は、他のデバイスを電子デバイス９０２にリンク付けるための１つ又は複数のポート及び／又は通信デバイスを含み得る。追加的に又は代替的に、通信インターフェース９０５は、１つ又は複数の他のインターフェース（例えば、タッチスクリーン、キーパッド、キーボード、マイクロフォン、カメラ、等）を含み得る。例えば、通信インターフェース９０５は、ユーザが電子デバイス９０２と対話することを可能にし得る。
【０１１４】
[00139]電子デバイス９０２の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバス、等を含み得る１つ又は複数のバスによって互いに結合され得る。明瞭さのために、様々なバスが、バスシステム９２３として図９に示されている。
【０１１５】
[00140]本開示に従って、電子デバイス内の回路は、画像セグメンテーションマッパーから空間座標を取得受信するように適合され得る。空間座標は、シーンの画像に基づいて生成され得る。同じ回路、異なる回路、又は同じもしくは異なる回路の第２のセクションは、ＬＩＤＡＲスキャンを実行するために深度マップの垂直処理を実行するように適合され得る。ＬＩＤＡＲユニットは、空間座標においてシーンをサンプリングするように操向され得る。同じ回路、異なる回路、又は同じもしくは異なる回路の第３のセクションは、深度マップを作成するためにＬＩＤＡＲスキャンによって取得される深度値を深度マッパーに供給するように適合され得る。加えて、同じ回路、異なる回路、又は同じもしくは異なる回路の第４のセクションは、上で説明された機能性を提供する回路又は回路のセクションの構成を制御するように適合され得る。
【０１１６】
[00141]「決定すること」という用語は、多種多様なアクションを包含し、従って、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、ルックアップすること（例えば、表、データベース、又は別のデータ構造をルックアップすること）、確認すること、等を含むことができる。また、「決定すること」は、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）、等を含むことができる。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立すること、等を含むことができる。
【０１１７】
[00142]「〜に基づいて」という表現は、別途明記されていない限り、「〜だけに基づいて」を意味しない。換言すると、「〜に基づいて」という表現は、「〜だけに基づいて」及び「〜に少なくとも基づいて」の両方を説明する。
【０１１８】
[00143]「プロセッサ」という用語は、汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、ステートマシン、等を包含するように広く解釈されるべきである。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、等を指し得る。「プロセッサ」という用語は、例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと連結した１つ又は複数のマイクロプロセッサ、又は任意の他のこのような構成との組み合わせのような、処理デバイスの組み合わせを指し得る。
【０１１９】
[00144]「メモリ」という用語は、電子情報を記憶することができる任意の電子構成要素を包含するように広く解釈されるべきである。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読取専用メモリ（ＰＲＯＭ）、消去可能なプログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気又は光データ記憶装置、レジスタ、等のような様々なタイプのプロセッサ読取可能な媒体を指し得る。メモリは、プロセッサがメモリから情報を読み取ること及び／又はメモリに情報を書き込むことができる場合、プロセッサと電子通信状態にあると考えられる。プロセッサに統合されたメモリは、プロセッサと電子通信状態にある。
【０１２０】
[00145]「命令」及び「コード」という用語は、任意のタイプのコンピュータ読取可能なステートメントを含むように広く解釈されるべきである。例えば、「命令」及び「コード」という用語は、１つ又は複数のプログラム、ルーチン、サブルーチン、関数、プロシージャ、等を指し得る。「命令」及び「コード」は、単一のコンピュータ読取可能なステートメント又は多くのコンピュータ読取可能なステートメントを備え得る。
【０１２１】
[00146]本明細書で説明された機能は、ハードウェアによって実行されているソフトウェア又はファームウェアにより実施され得る。これらの機能は、コンピュータ読取可能な媒体上の１つ又は複数の命令として記憶され得る。「コンピュータ読取可能な媒体」又は「コンピュータプログラム製品」という用語は、コンピュータ又はプロセッサによってアクセスされることができる任意の有形の記憶媒体を指す。限定ではなく例として、コンピュータ読取可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、又はデータ構造又は命令の形式で所望のプログラムコードを記憶又は搬送するために使用されることができかつコンピュータによってアクセスされることができる任意の他の媒体を備え得る。ディスク（disk）及びディスク（disc）は、本明細書で使用される場合、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、及びブルーレイディスクを含み、ここで、ディスク（disk）は通常、磁気的にデータを再生し、ディスク（disc）は、レーザを用いて光学的にデータを再生する。コンピュータ読取可能な媒体は、有形及び非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイス又はプロセッサによって実行、処理、又は計算され得るコード又は命令（例えば、「プログラム」）と組み合わせてコンピューティングデバイス又はプロセッサを指す。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイス又はプロセッサによって実行可能であるソフトウェア、命令、コード、又はデータを指し得る。
【０１２２】
[00147]ソフトウェア又は命令もまた、伝送媒体を通じて伝送され得る。例えば、ソフトウェアが、ウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、電波、及びマイクロ波のようなワイヤレス技術を使用して伝送される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、電波、及びマイクロ波のようなワイヤレス技術は、伝送媒体の定義に含まれる。
【０１２３】
[00148]本明細書で開示された方法は、説明された方法を達成するための１つ又は複数のステップ又はアクションを備える。方法のステップ及び／又はアクションは、特許請求の範囲から逸脱することなく互いと置き換えられ得る。換言すると、ステップ又はアクションの特定の順序が、説明されている方法の正常な動作のために必要とされない限り、特定のステップ及び／又はアクションの順序及び／又は使用は、特許請求の範囲から逸脱することなく修正され得る。
【０１２４】
[00149]更に、本明細書で説明された方法及び技法を実行するためのモジュール及び／又は他の好適な手段が、デバイスによって、ダウンロードされ得ること及び／又は他の方法で取得され得ることは認識されるべきである。例えば、デバイスは、本明細書で説明された方法を実行するための手段の移動を容易にするために、サーバに結合され得る。代替的に、本明細書で説明された様々な方法は、デバイスに記憶手段を結合又は提供するとデバイスが様々な方法を取得し得るように、記憶手段（例えば、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）又はフロッピーディスクのような物理記憶媒体、等）を介して提供され得る。
【０１２５】
[00150]特許請求の範囲が上で例示されたとおりの構成及び構成要素に限られないことは理解されるべきである。特許請求の範囲から逸脱することなく、本明細書で説明されたシステム、方法、及び装置の配列、動作、及び詳細において、様々な修正、変更、及び変形がなされ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］  電子デバイスであって、
シーンの画像を取り込むように構成されたカメラと、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行するように構成された画像セグメンテーションマッパーと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられている、
前記画像及び前記空間座標を記憶するように構成されたメモリと、
ＬＩＤＡＲ（光＋レーダ）ユニットと、前記ＬＩＤＡＲユニットは、前記空間座標の少なくともサブセットに対応する深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成するように構成された深度マッパーと
を備える電子デバイス。
［Ｃ２］  前記画像セグメントの少なくとも一部は、前記画像内のオブジェクトの境界を定義する不均一なセグメントを備える、Ｃ１に記載の電子デバイス。
［Ｃ３］  前記画像セグメンテーションマッパーは、画像複雑性に基づいてセグメンテーションを実行するように構成され、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、Ｃ１に記載の電子デバイス。
［Ｃ４］  前記ＬＩＤＡＲユニットは、前記シーン内の実質的に均一なオブジェクトを含む前記シーンの領域にわたって粗スキャンを実行するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ５］  前記セグメントの前記空間座標は、前記セグメントの重心に対応する、Ｃ１に記載の電子デバイス。
［Ｃ６］  前記画像セグメンテーションマッパーは、前記空間座標を前記ＬＩＤＡＲユニットに供給するように及び前記画像の前記セグメントを前記深度マッパーに供給するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ７］  前記深度マッパーは、前記セグメントを対応する深度値とマージすることで前記深度マップを生成するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ８］  前記深度マッパーは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することで前記深度マップを生成するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ９］  前記ＬＩＤＡＲユニットによって取得される前記深度値の数は、前の深度マップからのフィードバックに基づいて調節されるように構成される、Ｃ１に記載の電子デバイス。
［Ｃ１０］  方法であって
シーンの画像を取り込むことと、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行することと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられている、
ＬＩＤＡＲユニットが、前記空間座標の少なくともサブセットに対応する深度値を取得することと、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成することと
を備える方法。
［Ｃ１１］  前記画像セグメントの少なくとも一部は、前記画像内のオブジェクトの境界を定義する不均一なセグメントを備える、Ｃ１０に記載の方法。
［Ｃ１２］  前記画像のセグメンテーションを実行することは、画像複雑性に基づいてセグメンテーションを実行することを備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、Ｃ１０に記載の方法。
［Ｃ１３］  前記ＬＩＤＡＲユニットは、前記シーン内の実質的に均一なオブジェクトを含む前記シーンの領域にわたって粗スキャンを実行するように構成される、Ｃ１０に記載の方法。
［Ｃ１４］  前記深度マップを生成することは、前記セグメントを対応する深度値とマージすることを備える、Ｃ１０に記載の方法。
［Ｃ１５］  前記深度マップを生成することは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することを備える、Ｃ１０に記載の方法。
［Ｃ１６］  前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節することを更に備える、Ｃ１０に記載の方法。
［Ｃ１７］  装置であって、
シーンの画像を取り込むための手段と、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行するための手段と、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられている、
ＬＩＤＡＲユニットによって、前記空間座標の少なくともサブセットに対応する深度値を取得するための手段と、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成するための手段と
を備える装置。
［Ｃ１８］  前記画像セグメントの少なくとも一部は、前記画像内のオブジェクトの境界を定義する不均一なセグメントを備える、Ｃ１７に記載の装置。
［Ｃ１９］  前記画像のセグメンテーションを実行するための前記手段は、画像複雑性に基づいてセグメンテーションを実行するための手段を備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、Ｃ１７に記載の装置。
［Ｃ２０］  前記セグメントの前記空間座標は、前記セグメントの重心に対応する、Ｃ１７に記載の装置。
［Ｃ２１］  前記深度マップを生成するための前記手段は、前記セグメントを対応する深度値とマージするための手段を備える、Ｃ１７に記載の装置。
［Ｃ２２］  前記深度マップを生成するための前記手段は、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加するための手段を備える、Ｃ１７に記載の装置。
［Ｃ２３］  前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節するための手段を更に備える、Ｃ１７に記載の装置。
［Ｃ２４］  命令を有する非一時的な有形のコンピュータ読取可能な媒体を備えるコンピュータプログラム製品であって、前記命令は、
シーンの画像を取り込むことを電子デバイスに行わせるためのコードと、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行することを前記電子デバイスに行わせるためのコードと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられている、
ＬＩＤＡＲユニットによって、前記空間座標の少なくともサブセットに対応する深度値を取得することを前記電子デバイスに行わせるためのコードと、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成することを前記電子デバイスに行わせるためのコードと
を備える、コンピュータプログラム製品。
［Ｃ２５］  前記画像セグメントの少なくとも一部は、前記画像内のオブジェクトの境界を定義する不均一なセグメントを備える、Ｃ２４に記載のコンピュータプログラム製品。
［Ｃ２６］  前記画像のセグメンテーションを実行することを前記電子デバイスに行わせるための前記コードは、画像複雑性に基づいてセグメンテーションを実行することを前記電子デバイスに行わせるためのコードを備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、Ｃ２４に記載のコンピュータプログラム製品。
［Ｃ２７］  前記セグメントの前記空間座標は、前記セグメントの重心に対応する、Ｃ２４に記載のコンピュータプログラム製品。
［Ｃ２８］  前記深度マップを生成することを前記電子デバイスに行わせるための前記コードは、前記セグメントを対応する深度値とマージすることを前記電子デバイスに行わせるためのコードを備える、Ｃ２４に記載のコンピュータプログラム製品。
［Ｃ２９］  前記深度マップを生成することを前記電子デバイスに行わせるための前記コードは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することを前記電子デバイスに行わせるためのコードを備える、Ｃ２４に記載のコンピュータプログラム製品。
［Ｃ３０］  前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節することを前記電子デバイスに行わせるためのコードを更に備える、Ｃ２４に記載のコンピュータプログラム製品。
【図１】
0006571274.tif 000002
【図２】
0006571274.tif 000003
【図３】
0006571274.tif 000004
【図４】
0006571274.tif 000005
【図５】
0006571274.tif 000006
【図６】
0006571274.tif 000007
【図７】
0006571274.tif 000008
【図８】
0006571274.tif 000009
【図９】
0006571274.tif 000010