(57)【要約】      （修正有）【課題】奥行き情報に関連付けられ，欠落および/または不正確な奥行き値を識別して訂正するコンテンツフィルタリングに基づく構造化３次元（３Ｄ）奥行マップを提供する。【解決手段】方法は、受信機デバイスで、構造化光画像に対応する画像データを受信するステップを含む。方法は、投影されたコード化光のパターンに基づいて奥行き情報を復号するために画像データを処理するステップをさらに含む。奥行き情報は、奥行きマップに対応する。方法はまた、画像データに対して1つまたは複数のフィルタリング動作を実行するステップを含む。1つまたは複数のフィルタリング動作の出力は、フィルタリングされた画像データを含む。方法は、奥行き情報とフィルタリングされた画像データとの比較を実行するステップと、修正された奥行きマップを作成するために比較に基づいて奥行き情報を修正するステップとをさらに含む。【選択図】図６
2018185862.tif 000002
【特許請求の範囲】
【請求項１】
受信機デバイスで画像データを受信するステップであって、前記画像データが構造化光画像に対応する、ステップと、
投影されたコード化光のパターンに基づいて奥行き情報を復号するために前記画像データを処理することによって、奥行き値データを生成するステップであって、前記奥行き値データが、奥行きマップに対応する、ステップと、
前記画像データに対して1つまたは複数のフィルタリング動作を実行するステップであって、前記1つまたは複数のフィルタリング動作の出力が、フィルタリングされた画像データを含む、ステップと、
前記奥行き値データと前記フィルタリングされた画像データとの間の比較を実行するステップと、
前記比較に基づいて、前記奥行きマップと前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別するステップと、
修正された奥行きマップを作成するために前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き値データの少なくとも1つの奥行き値を修正するステップと
を備える方法。
【請求項２】
前記1つまたは複数のフィルタリング動作が、同様の反射率を有する前記構造化光画像内の領域を識別するために前記画像データを修正する、請求項1に記載の方法。
【請求項３】
前記フィルタリングされた画像データが、異なる反射率を有する2つの隣接する領域間のエッジを決定することなく生成される、請求項1に記載の方法。
【請求項４】
前記フィルタリングされた画像データが、フィルタリングされた構造化光画像に対応する、請求項1に記載の方法。
【請求項５】
前記フィルタリングされた構造化光画像が、セグメント化マップ画像である、請求項4に記載の方法。
【請求項６】
前記奥行き情報を復号するために前記画像データを処理するステップが、
前記画像データに基づいてコードワードを識別するステップと、
投影されたコードマスク内の前記コードワードの第1の位置から前記構造化光画像内の前記コードワードの第2の位置へのコードワードの変位を決定するステップであって、前記構造化光画像が、前記投影されたコードマスクの反射に対応する、ステップと、
前記変位に基づいて奥行きデータを生成するステップと
を備える、請求項1に記載の方法。
【請求項７】
前記1つまたは複数のフィルタリング動作を実行するステップが、前記フィルタリングされた画像データを生成するために前記画像データをフィルタリングするために、ぼかしフィルタ、トータルバリエーションフィルタ、ローパスフィルタ、またはそれらの組合せを適用するステップを備える、請求項1に記載の方法。
【請求項８】
前記比較が、前記奥行き値データと前記フィルタリングされた画像データとの間のピクセルごとの比較に対応する、請求項1に記載の方法。
【請求項９】
修正するステップが、前記奥行き値データ内に含まれる前記不正確な奥行き値を訂正するステップを含む、請求項8に記載の方法。
【請求項１０】
前記修正するステップが、前記奥行き値データ内に含まれるように前記欠損した奥行き値を入力するステップを含む、請求項8に記載の方法。
【請求項１１】
前記奥行きマップの特定のピクセル位置を識別するステップであって、前記特定のピクセル位置が、前記奥行き値データ内に含まれる不正確な奥行きデータに対応する、ステップと、
前記フィルタリングされた画像データに基づいて、前記特定のピクセル位置に対応する前記フィルタリングされた画像データの特定のフィルタリングされたデータ値を決定するステップであって、前記奥行き値データの少なくとも1つの奥行き値を修正するステップが、前記特定のフィルタリングされたデータ値に基づいて前記不正確な奥行きデータを修正するステップを含む、ステップと
をさらに備える、請求項1に記載の方法。
【請求項１２】
前記特定のピクセル位置に基づいて、前記奥行きマップに関連付けられた領域を選択するステップであって、前記領域が、前記特定のピクセル位置を含む複数のピクセル位置に関連付けられる、ステップと、
前記複数のピクセル位置のうちの1つまたは複数のピクセル位置のセットを識別するステップであって、前記1つまたは複数のピクセル位置のセットに関連付けられた各ピクセルが、前記特定のフィルタリングされたデータ値と同様の前記フィルタリングされた画像データのフィルタリングされたデータ値に対応する、ステップと
をさらに備える、請求項11に記載の方法。
【請求項１３】
前記1つまたは複数のピクセル位置のセットに対応する奥行き値データに基づいて特定の奥行き値を決定するステップと、
前記特定のピクセル位置に対応する前記不正確な奥行きデータを更新するステップであって、前記不正確な奥行きデータが、前記特定の奥行き値に基づいて更新される、ステップと
をさらに備える、請求項12に記載の方法。
【請求項１４】
投影されたコード化光のパターンに基づいて奥行き情報を復号するために、構造化光画像に対応する画像データを処理し、フィルタリングされた画像データを生成するために、前記画像データに対してフィルタリング動作を実行するように構成されたプロセッサであって、前記プロセッサが、
前記奥行き情報と前記フィルタリングされた画像データとの間の比較に基づいて、前記奥行き情報と前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別し、
修正された奥行き情報を生成するために前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き情報に含まれる少なくとも1つの奥行き値を修正する
ようにさらに構成された、プロセッサと、
前記修正された奥行き情報を記憶するように構成されたメモリと
を備えるデバイス。
【請求項１５】
前記デバイスが、前記構造化光画像を取り込み、前記画像データを生成するように構成されたカメラを含む、請求項14に記載のデバイス。
【請求項１６】
前記奥行き情報が、奥行き値データを含むとともに、前記構造化光画像に関連付けられた奥行きマップに対応し、前記投影されたコード化光の前記パターンが、コードマスクに関連付けられる、請求項14に記載のデバイス。
【請求項１７】
前記画像データが、複数のピクセルに対応し、前記複数のピクセルの各ピクセルについて、前記画像データが、対応するピクセル強度値を含む、請求項14に記載のデバイス。
【請求項１８】
前記複数のピクセルの各ピクセルについて、前記奥行き情報が、対応する奥行き値を含み、前記フィルタリングされた画像データが、対応する強度値を含む、請求項17に記載のデバイス。
【請求項１９】
前記プロセッサが、前記奥行き情報の奥行き値と前記フィルタリングされた画像データとの間の比較を実行するようにさらに構成され、前記比較が、前記奥行き情報と前記フィルタリングされた画像データとの間のピクセルごとの比較を含む、請求項14に記載のデバイス。
【請求項２０】
構造化光画像に対応する画像データに基づいて、かつ、投影されたコード化光のパターンに基づいて奥行き情報を復号するための手段と、
フィルタリングされた画像データを生成するために、前記画像データに対して1つまたは複数のフィルタリング動作を実行するための手段と、
前記奥行き情報と前記フィルタリングされた画像データとの間の比較に基づいて、前記奥行き情報と前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別するための手段と、
前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き情報に含まれる少なくとも1つの奥行き値を修正するための手段と
を備える装置。
【請求項２１】
前記構造化光画像を取り込むための手段をさらに備える、請求項20に記載の装置。
【請求項２２】
前記少なくとも1つの奥行き値が、前記奥行き情報の不正確な奥行きデータを訂正するために修正され、前記不正確な奥行きデータが、不正確な奥行き値、または欠損した奥行き値を含む、請求項20に記載の装置。
【請求項２３】
プロセッサに動作を実行させるために前記プロセッサによって実行可能である命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記動作が、
投影されたコード化光のパターンに基づいて奥行き情報を復号するために、構造化光画像に対応する画像データを処理することであって、前記奥行き情報が、奥行きマップに対応する、ことと、
フィルタリングされた画像データを生成するために、前記画像データに対して1つまたは複数のフィルタリング動作を実行することと、
前記奥行き情報と前記フィルタリングされた画像データとの間の比較に基づいて、前記奥行き情報と前記フィルタリングされた画像データとの特定のピクセル位置にオブジェクトが存在するか否かに従って、不正確な奥行き値と欠損した奥行き値とのうちの少なくとも1つを識別することと、
前記不正確な奥行き値と前記欠損した奥行き値とのうちの前記少なくとも1つを識別することに基づいて前記奥行き情報に含まれる少なくとも1つの奥行き値を修正することと
を含む、非一時的コンピュータ可読記憶媒体。
【請求項２４】
前記画像データが、前記構造化光画像を取り込むように構成された画像取り込みセンサから受信される、請求項23に記載の非一時的コンピュータ可読記憶媒体。
【請求項２５】
前記1つまたは複数のフィルタリング動作を実行することが、ぼかしフィルタリング動作、トータルバリエーションフィルタリング動作、またはそれらの組合せを実行することを備える、請求項23に記載の非一時的コンピュータ可読記憶媒体。
【請求項２６】
修正することが、前記奥行き情報内に含まれる前記不正確な奥行き値を訂正することを含む、請求項23に記載の非一時的コンピュータ可読記憶媒体。
【請求項２７】
修正することが、前記奥行き情報内に含まれるように前記欠損した奥行き値を入力することを含む、請求項23に記載の非一時的コンピュータ可読記憶媒体。
【請求項２８】
1つまたは複数のフィルタリング動作を実行することが、ローパスフィルタリング動作、バンドパスフィルタリング動作、またはそれらの組合せを実行することを備える、請求項23に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、それらの内容がそれら全体において参照により本明細書に明確に組み込まれている、2014年6月19日に出願した本願の譲受人が所有する米国仮特許出願第62/014,652号、および2015年6月18日に出願した米国非仮特許出願第14/743,980号の優先権を主張するものである。
【０００２】
本開示は、全体的には、コンテンツフィルタリングに基づく構造化光(structured light)3次元(3D)奥行きマップに関する。
【背景技術】
【０００３】
技術の進歩は、より小型な装置とより強力なコンピューティングデバイスをもたらした。たとえば、小型、軽量で、ユーザによって容易に携帯されるポータブルワイヤレス電話、携帯情報端末(PDA)、およびページングデバイスなどのワイヤレスコンピューティングデバイスを含む、様々なポータブルパーソナルコンピューティングデバイスが現在存在している。より具体的には、セルラー電話、インターネットプロトコル(IP)電話のようなポータブルワイヤレス電話は、ワイヤレスネットワークを通じて音声およびデータパケットを通信することができる。さらに、多くのそのようなワイヤレス電話は、その中に組み込まれた他のタイプのデバイスを含む。たとえば、ワイヤレス電話はまた、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレーヤを含み得る。また、そのようなワイヤレス電話は、インターネットにアクセスするために使用され得るウェブブラウザアプリケーションのようなソフトウェアアプリケーションを含む、実行可能命令を処理することができる。このように、これらのワイヤレス電話はかなりのコンピューティング能力を含み得る。
【０００４】
ワイヤレス電話などのワイヤレスデバイスは、3次元(3D)奥行きマップを生成するように構成され得る。たとえば、ワイヤレスデバイスは、3次元(3D)オブジェクトを含むシーンに照明パターン(たとえば、縦縞を有するマスク)を投影するように構成された奥行き推定のための構造化光システムを含み得、またはそれに関連付けられ得る。シーン上または3Dオブジェクト上の照明パターンは、典型的には、シーンまたは3Dオブジェクトの奥行き情報を符号化する。構造化光システムはまた、照明されたシーンの画像を取り込むように構成され得る。シーンの画像内の取り込まれたパターンに基づいて、シーン内の異なる奥行きを示す奥行きマップが生成され得る。しかしながら、奥行きマップは、偽陽性(たとえば、物体が存在しない場合に有効な奥行きデータを検出し、復号する)、偽陰性(たとえば、投影されたコード化光のパターンが画像内に検出されない場合、画像の影領域に基づく奥行き値が欠落する)、および/または復号エラー(たとえば、人体から反射された投影光のパターンを不正確に復号すること、および/または画像の処理中に生成されたエラーを復号すること)に基づく1つまたは複数の誤った奥行き値を含む可能性がある。
【発明の概要】
【課題を解決するための手段】
【０００５】
例示的な例では、方法は、受信機デバイスで、構造化光画像に対応する画像データを受信するステップを含む。方法は、投影されたコード化光のパターンに基づいて奥行き情報を復号するために画像データを処理するステップをさらに含む。奥行き情報は、奥行きマップに対応する。方法はまた、画像データに対して1つまたは複数のフィルタリング動作を実行するステップを含む。1つまたは複数のフィルタリング動作の出力は、フィルタリングされた画像データを含む。方法は、奥行き情報とフィルタリングされた画像データとの間の比較を実行するステップと、修正された奥行きマップを作成するために比較に基づいて奥行き情報を修正するステップとをさらに含む。
【０００６】
別の例示的な例では、デバイスは、投影されたコード化光のパターンに基づいて奥行き情報を復号するために、構造化光画像に対応する画像データを処理するように構成されたプロセッサを含む。プロセッサは、フィルタリングされた画像データを生成するために、画像データに対してフィルタリング動作を実行するようにさらに構成される。プロセッサは、奥行き情報とフィルタリングされた画像データとの間の比較に基づいて奥行き情報を修正するように構成される。デバイスはまた、修正された奥行き情報を記憶するように構成されたメモリを含む。
【０００７】
別の例示的な例では、装置は、構造化光画像に対応する画像データに基づいて、かつ、投影されたコード化光のパターンに基づいて奥行き情報を復号するための手段を含む。装置は、フィルタリングされた画像データを生成するために、画像データに対して1つまたは複数のフィルタリング動作を実行するための手段をさらに含む。装置は、奥行き情報とフィルタリングされた画像データとの間の比較に基づいて奥行き情報を修正するための手段をさらに含む。
【０００８】
別の例示的な例では、非一時的コンピュータ可読媒体は、投影されたコード化光のパターンに基づいて奥行き情報を復号するために、構造化光画像に対応する画像データを処理することを含む動作をプロセッサに実行させるためにプロセッサによって実行可能である命令を記憶する。命令は、フィルタリングされた画像データを生成するために、画像データに対して1つまたは複数のフィルタリング動作を実行することを含む動作をプロセッサにさらに実行させる。命令は、奥行き情報とフィルタリングされた画像データとの間の比較に基づいて奥行き情報を修正することを含む動作をプロセッサにさらに実行させる。
【０００９】
本開示の他の態様、利点、および特徴は、以下の段落、図面の簡単な説明と、詳細な説明と、特許請求の範囲を含む本出願全体の検討後に明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】構造化光システムの受信機デバイスのブロック図である。
【図２】図1の受信機デバイスによって実行される処理段階を示す図である。
【図３】例示的な構造化光システムのブロック図である。
【図４】オブジェクトまたはシーンに基づいて奥行きを感知することの説明の図である。
【図５】奥行きマップを生成するように構成された例示的な構造化光システムのブロック図である。
【図６】奥行き情報を修正する方法の第1の例示的な例のフロー図である。
【図７】奥行き情報を修正する方法の第2の例示的な例のフロー図である。
【図８】図1のシステムを使用して画像内に含まれる線分を検出および/または追跡するために画像データを処理するためのデバイスのブロック図である。
【発明を実施するための形態】
【００１１】
本開示の特定の態様は、図面を参照して以下に説明される。説明では、図面全体を通じて共通の特徴が共通の参照番号によって示される。
【００１２】
モバイルデバイスなどのデバイスは、コンテンツフィルタリングに基づいて、構造化光3次元(3D)奥行きマップを生成するように構成され得る。デバイスは、投影されたコード化光のパターンに基づくピクセル強度値を含む、構造化光画像などの画像を受け取り得る。デバイスは、パターンに基づいて奥行き情報を復号し、奥行きマップ(たとえば、奥行き値)を生成するために画像を処理し得る。デバイスはまた、セグメント化マップなどの、フィルタリングされた画像データを生成するために画像を処理し得る。たとえば、フィルタリングされた画像データは、ぼかし(blurring)フィルタ、ローパスフィルタ、バンドパスフィルタ、および/またはトータルバリエーション(total variation)フィルタを用いることなどによって、画像をフィルタリングすることによって生成され得る。例示するために、1つまたは複数のフィルタリング動作は、画像内に含まれる投影されたコード化光のパターンの存在を低減または排除するために画像に適用され得る。奥行きマップは、奥行きマップに関連付けられた欠落したおよび/または不正確な奥行き値を識別するために、フィルタリングされた画像データと比較され得る。奥行きマップ(たとえば、奥行き値)は、欠落した奥行き値のための奥行き値を生成するため、および/または、不正確な奥行き値を訂正するために、フィルタリングされた画像データと奥行きマップとの間の比較に基づいて修正され得る。
【００１３】
開示された態様の少なくとも1つによって提供される1つの特定の利点は、フィルタリングされた画像データを生成し、フィルタリングされた画像データを奥行き情報と比較することによって、奥行き情報に関連付けられた欠落したおよび/または不正確な奥行き値が識別され得、訂正され得ることである。たとえば、欠落したおよび/または不正確な奥行き値は、偽陽性、偽陰性、および/または復号エラーに基づき得る。欠落したおよび/または不正確な奥行き値を訂正することによって、奥行き情報は、修正され得る(たとえば、訂正され得る)。欠落したおよび/または不正確な奥行き値を訂正することは、オブジェクト検出アプリケーションなどの他のアプリケーションによる、(たとえば、奥行きマップに対応する)修正された奥行き情報の改善された処理を可能にし得る。
【００１４】
図1を参照すると、構造化光システム100の受信機デバイス102の例示的な例が示されている。構造化光システム100は、送信機デバイス(図示せず)と受信機デバイス102とを含み得る。構造化光システム100は、電子デバイスなどの1つまたは複数のデバイス内に含まれ得るおよび/または埋め込まれ得る。具体的な実施態様では、電子デバイス(たとえば、受信機デバイス102)は、画像を取り込むように構成されたカメラなどの画像センサを含むモバイルデバイスであり得る。たとえば、電子デバイスは、画像を取り込み得、対応する画像データ110を生成し得る。
【００１５】
受信機デバイス102は、画像データ110を生成または受信するように構成され得る。画像データ110は、反射されたコードマスクを含む画像に対応し得る。たとえば、送信機デバイス(図示せず)は、1つまたは複数のコードワードを含むコードマスクをオブジェクトまたはシーン上に投影し得る。各コードワードは、構造化光の対応するパターンを有し得、コードマスク内の既知の位置に配置され得る。オブジェクトまたはシーンからのコードマスクの反射は、カメラなどの受信機センサによって画像として取り込まれ得る。投影されたコードマスクと比較した反射されたコードマスクにおける(たとえば、1つまたは複数のコードワードの)コードマスクのシフトは、本明細書でさらに説明するように、投影されたコードマスクを反映したオブジェクトまたはシーンに関連付けられた奥行き情報および/または形状情報を「符号化」し得る(たとえば、それらを決定するために使用され得る)。画像は、複数のピクセルを含み得、または複数のピクセルに対応し得、ここで、各ピクセルは、対応するピクセル強度値を有する。ピクセル強度値は、画像データ110内に含まれ得、受信機デバイス102に提供され得る。いくつかの実施態様では、受信機デバイス102は、画像を取り込み、画像に基づいて画像データ110を生成する受信機センサを含み得る。受信機デバイス102および/または受信機センサは、送信機デバイスによって投影されたコードマスクと、したがって、投影されたコードマスク内に含まれる1つまたは複数のコードワードの位置とを認識し得る(たとえば、知り得る)。
【００１６】
受信機デバイス102は、奥行きマップ生成器120と、フィルタ130と、奥行き修正器140と、メモリ160とを含み得る。受信機デバイス102によって受信された画像データ110は、奥行きマップ生成器120およびフィルタ130に提供され得る。画像データ110はまた、メモリ106に提供され、記憶され得る。
【００１７】
奥行きマップ生成器120は、画像データ110に基づいて奥行き情報122aを生成するように構成され得る。たとえば、奥行きマップ生成器120は、画像データ110(たとえば、画像)に含まれる1つまたは複数のコードワードを識別するために画像データ110を処理し得る。たとえば、特定のコードワードは、ピクセル強度値の特定のグループに対応する構造化光の特定のパターンを含み得る。奥行きマップ生成器120は、画像データ110に含まれるピクセル強度値の特定のグループを識別し得、ピクセル強度値のグループに対応する画像の位置(たとえば、反射されたコードマスクの画像内のコードワードの位置)を決定し得る。
【００１８】
各々の検出されたコードワードについて、奥行きマップ生成器120は、コードワードの決定された位置を、投影されたコードマスク内のコードワードの元の位置と比較し得る。たとえば、奥行きマップ生成器120は、投影されたコードマスクの受信された反射内のコードワードと比較した、投影されたコードマスク内のコードワードの変位(たとえば、距離)を決定し得る。変位に基づいて、奥行きマップ生成器120は、コードワードに対応する1つまたは複数の奥行き値を決定するために、三角測量技法および/または立体画像処理技法などの1つまたは複数の技法を使用し得る。したがって、受信されたコードワード部分と送信されたコードワード部分との間の差は、特定のオブジェクト(または、その一部)の奥行き(たとえば、奥行き値)を決定するために使用され得る。例示するために、コードワードについて決定された各奥行き値は、ピクセル強度値の特定のグループに含まれる異なるピクセル強度値に関連付けられ得、および/またはそれに対応し得る。したがって、各奥行き値は、画像に対応する複数のピクセルの異なるピクセル位置に対応し得る。したがって、奥行きマップ生成器120は、(たとえば、画像データ110内に含まれる1つまたは複数のピクセル強度値について)反射されたコードワードに基づいて画像の1つまたは複数のピクセルのための奥行き値を含む奥行き情報122aを生成し得る。奥行き情報122aは、画像内のオブジェクトまたはシーンに関連付けられた1つまたは複数の奥行き値を示す奥行きマップに対応し得る。
【００１９】
奥行き情報122aは、1つまたは複数の不正確な奥行き値などの不正確な奥行きデータを含み得る。不正確な奥行き値は、偽陽性、偽陰性、復号エラー、またはそれらの組合せに基づき得る。偽陽性は、画像内に含まれるオブジェクトが存在しない場合に深さデータを検出し、復号することに関連し得る。偽陰性は、投影されたコード化光のパターン(たとえば、コードワード)が画像内で検出されない場合に、画像の影領域に基づく奥行き値の欠落に関連し得る。復号エラーは、人体などのオブジェクトから反射された投影光のパターンを不正確に復号すること、および/または、画像データ110の処理中に奥行きマップ生成器120によって生成されたエラーを復号するなど、画像の処理中に生成されたエラーを復号することに関連し得る。
【００２０】
フィルタ130は、画像データ110を受信し、フィルタリングされた画像データ132を生成するように構成され得る。フィルタリングされた画像データ132は、画像データ110内に含まれる各ピクセル強度値に関するフィルタリングされた強度データ値(たとえば、画像に対応する各ピクセルに関するフィルタリングされた強度値)を含み得る。たとえば、フィルタ130は、フィルタリングされた画像データ132を生成するために、画像データ110に対して1つまたは複数のフィルタリング動作を実行し得る。1つまたは複数のフィルタリング動作は、例示的で非限定的な例として、ぼかしフィルタリング動作、ローパスフィルタリング動作、バンドパスフィルタリング動作、および/またはトータルバリエーションフィルタリング動作を含み得る。1つまたは複数のフィルタリング動作は、投影光のパターンに対応する画像データ110の成分を低減または排除するように構成され得る。投影光のパターンに対応する画像データ110の成分をフィルタリング除去することによって、フィルタ130は、画像取込みデバイスの視野内に含まれるオブジェクトまたはシーンを表すフィルタリングされた画像を生成し得る。いくつかの実施態様では、1つまたは複数のフィルタリング動作は、画像内に含まれる同様の反射率を有する1つまたは複数のオブジェクトなどの、同様の反射率を有する画像の部分に対応するピクセル強度値のグループを識別するために使用され得る。たとえば、フィルタ130は、フィルタリングされた画像データ132を生成するために、画像データ110に対して1つまたは複数のフィルタリング動作の1回または複数回の反復を実行し得る。
【００２１】
フィルタリングされた画像データ132は、画像データ110内のピクセル強度値の数と奥行き情報122a内の奥行き値の数と同じ数のフィルタリングされた画像データ値を含み得る。例示するために、画像データ110内に含まれるピクセル強度値の各々は、画像に関連付けられたピクセルに対応し得る。奥行きマップ生成器120は、各奥行き値が画像の異なるピクセルに対応するように、画像データ110内に含まれる各ピクセル強度値に関する奥行き値を生成するために画像データ110を処理し得る。加えて、フィルタ130は、各々のフィルタリングされた画像データ値が画像の異なるピクセルに対応するように、画像データ110内に含まれる各ピクセル強度値に関するフィルタリングされた画像データ値を生成するために画像データ110を処理し得る。
【００２２】
奥行き修正器140は、奥行き情報122aおよびフィルタリングされた画像データ132を受信するように構成され得る。奥行き修正器140は、比較ロジック150を含み得る。比較ロジック150は、(画像の奥行きマップに対応する)奥行き情報122aと、(画像のフィルタリングされたバージョンに対応する)フィルタリングされた画像データ132とを比較するように構成され得る。たとえば、比較ロジック150は、奥行き情報122aとフィルタリングされた画像データ132との間のピクセルごとの比較を実行するように構成され得る。
【００２３】
奥行き情報122aとフィルタリングされた画像データ132との比較に基づいて、比較ロジック150は、奥行き情報122a内に含まれる有効な奥行きデータおよび/または無効な奥行きデータ(たとえば、不正確な奥行きデータ)を識別し得る。たとえば、比較ロジック150は、(画像のピクセル位置に対応する)奥行きデータ値および(画像の同じピクセル位置に対応する)フィルタリングされた画像データ値が、オブジェクトがピクセル位置に存在することを両方とも示すとき、または、オブジェクトがピクセル位置に存在しないことを両方とも示すとき、奥行き情報122a内に含まれる奥行き値を有効であると識別し得る。別の例として、比較ロジック150は、(画像のピクセル位置に対応する)奥行きデータ値および(画像の同じピクセル位置に対応する)フィルタリングされた画像データ値が、オブジェクトがピクセル位置に存在するかどうかの異なる指示を提供するとき、奥行き情報122a内に含まれる奥行き値を無効(たとえば、不正確な奥行きデータ)であると識別し得る。
【００２４】
無効(たとえば、不正確な奥行きデータ)として識別された奥行き値は、不正確な奥行き値および/または欠損した奥行き値を含み得、またはそれに対応し得る。無効な奥行き値は、(画像のピクセル位置に対応する)奥行きデータ値が、オブジェクトがピクセル位置に存在することを示し、(画像のピクセル位置に対応する)フィルタリングされた画像データ値が、オブジェクトがピクセル位置に存在することを示さないとき、識別され得る。欠損した奥行き値は、(画像のピクセル位置に対応する)奥行きデータ値が、オブジェクトがピクセル位置に存在することを示さず、(画像のピクセル位置に対応する)フィルタリングされた画像データ値が、オブジェクトがピクセル位置に存在することを示すとき、識別され得る。
【００２５】
奥行き修正器140は、無効な(不正確な)奥行きデータとして比較ロジック150によって識別された奥行き情報122a内に含まれる1つまたは複数の奥行きデータ値を修正するように構成され得る。たとえば、奥行き修正器140は、無効な奥行き値を識別し得、オブジェクトがピクセル位置に存在しないことを代わりに示すように、(オブジェクトがピクセル位置に存在することを示す)無効な奥行き値を修正(たとえば、変更)し得る。
【００２６】
別の例として、奥行き修正器140は、欠損した奥行き値を識別し得、オブジェクトがピクセル位置に存在することを代わりに示すように、(オブジェクトがピクセル位置に存在しないことを示す)欠損した奥行き値を修正(たとえば、変更)し得る。奥行き修正器140は、フィルタリングされた画像データ132に基づいて欠損した奥行き値を修正し得る。例示するため、奥行き修正器140は、欠損した奥行き値に対応する画像の特定のピクセルを識別し得る。奥行き修正器140は、特定のピクセルに対応する(フィルタリングされた画像データ132内に含まれる)特定のフィルタリングされた画像データ値を識別し得る。フィルタリングされた画像データ値に基づいて、奥行き修正器140は、特定のピクセルに近い(たとえば、特定のピクセルからしきい値距離内の)画像の1つまたは複数のピクセルを識別し得る。1つまたは複数のピクセルの各々は、特定のフィルタリングされた画像データ値と同様のフィルタリングされた画像データ値に対応し得、有効であると識別された奥行き値に対応し得る。奥行き修正器140は、1つまたは複数のピクセルに基づいて特定の奥行き値を決定し得、欠落した奥行き値を特定の奥行き値に修正(たとえば、設定)し得る。たとえば、1つまたは複数のピクセルの各々について、奥行き修正器140は、奥行き情報122内に含まれる対応する奥行き値を決定し得、1つまたは複数のピクセルに対応する奥行き値の中央値として特定の奥行き値を生成し得る。
【００２７】
奥行き情報122aを修正(たとえば、訂正)した後、奥行き修正器140は、奥行き情報122aの訂正されたバージョンを、修正された奥行き情報122bとして出力し得る。修正された奥行き情報122bは、奥行き情報122aよりも正確であり得る。修正された奥行き情報122bは、画像内に含まれる1つまたは複数のオブジェクトの奥行き値を含む(画像の)奥行きマップに対応し得る。奥行き修正器140は、修正された奥行き情報122bをメモリ160に送り得る。メモリ160は、奥行き修正器140から修正された奥行き情報122bを受信し、修正された奥行き情報122bを記憶するように構成され得る。
【００２８】
構造化光システム100の動作中、受信機デバイス102は、画像データ110を生成または受信し得、画像データ110を奥行きマップ生成器120およびフィルタ130に提供し得る。画像データ110は、受信機デバイス102内に含まれる画像取込みセンサなどの、画像を取り込むように構成された画像取込みセンサから受信され得る。画像データ110は、投影されたコードマスクの反射に基づいて「符号化された」奥行き情報を有する画像に対応し得る。
たとえば、投影されたコードマスクは、受信機デバイス102が1つまたは複数のパターンを反映するオブジェクトの奥行きを決定することを可能にする構造化光の1つまたは複数のパターン(たとえば、1つまたは複数のコードワード)に関連付けられ得る。
【００２９】
受信機デバイス102(たとえば、奥行きマップ生成器120)は、奥行き情報122aを生成するために画像データ110を処理し得る。たとえば、奥行きマップ生成器120は、投影されたコード化光のパターン(たとえば、コードワード)に基づいて画像内に含まれる奥行き情報を復号するために画像データ110を処理し得る。奥行き情報122aは、画像に関連付けられた奥行きマップに対応し得る。加えて、受信機デバイス102(たとえば、フィルタ130)は、フィルタリングされた画像データ132を生成するために画像データ110を処理し得る。たとえば、ぼかしフィルタ、トータルバリエーションフィルタ、またはそれらの組合せが、フィルタリングされた画像データを生成するために画像データ110をフィルタリングするために適用され得る。フィルタリングされた画像データは、同様の反射率を有する画像内の領域(または、オブジェクト)に関連付けられ得る。いくつかの実施態様では、フィルタリングされた画像データ132は、画像のセグメント化マップに関連付けられ得る。
【００３０】
奥行き情報122a内に含まれる不正確な奥行きデータ(たとえば、不正確な奥行き値および/または欠落した奥行き値)を識別するために、奥行き情報122aとフィルタリングされた画像データ132との間で比較が実行され得る。たとえば、比較は、奥行き情報122aとフィルタリングされた画像データ132との間のピクセルごとの比較に対応し得る。受信機デバイス102は、修正された奥行き情報122bを生成するために不正確な奥行きデータを修正(たとえば、訂正)し得る。
【００３１】
奥行きマップ生成器120、フィルタ130、および奥行き修正器140は、別々の構成要素として示されているが、奥行きマップ生成器120、フィルタ130、および奥行き修正器140のうちの1つまたは複数は、単一の構成要素内に含まれ得る。比較ロジック150は、奥行き修正器140内に含まれているものとして示されているが、他の実施態様では、比較ロジック150は、奥行き修正器140と別個であり得る。奥行きマップ生成器120、フィルタ130、奥行き修正器140、および/または比較ロジック150の各々は、1つまたは複数のハードウェア構成要素、ソフトウェア、またはそれらの組合せで具体化され得る。
【００３２】
特定の実施態様では、奥行き修正器140は、不正確な奥行きデータに対応する奥行きマップの特定のピクセル位置を識別する。奥行き修正器140は、フィルタリングされた画像データ132に基づいて、特定のピクセル位置に対応する特定のフィルタリングされた画像データ値を決定し得、特定のピクセル位置に基づいて、画像(たとえば、奥行きマップ)に関連付けられた領域を選択し得る。領域は、特定のピクセル位置を含む複数のピクセル位置に関連付けられ得る。受信機デバイス102は、複数のピクセル位置のうちの1つまたは複数のピクセル位置のセットを識別し、1つまたは複数のピクセル位置のセットに対応する奥行きデータに基づいて特定の奥行き値を決定し得る。受信機デバイス102は、修正された奥行き情報122bを生成するために、特定の奥行き値に基づいて特定のピクセル位置に対応する不正確な奥行きデータを更新し得る。
【００３３】
2つの異なる構成要素(たとえば、奥行きマップ生成器120およびフィルタ130)を使用して画像データ110を処理することによって、受信機デバイス102は、受信機デバイス102の単一の画像取込みデバイスによって取り込まれたデータの単一のセット(たとえば、画像データ110)に基づいて、奥行き情報122aおよびフィルタリングされた画像データ132などのデータの2つのセットを生成し得る。したがって、フィルタリングされた画像データ132を生成し、フィルタリングされた画像データ132を奥行き情報122aと比較することによって、奥行き情報122aに関連付けられた欠損した奥行き値および/または不正確な奥行き値は、識別され、訂正され得る。たとえば、欠損した奥行き値および/または不正確な奥行き値は、偽陽性、偽陰性、および/または復号エラーに基づき得る。欠損した奥行き値および/または不正確な奥行き値を訂正することによって、奥行き情報122aは、修正され得る(たとえば、訂正され得る)。欠損した奥行き値および/または不正確な奥行き値を訂正することは、オブジェクト検出アプリケーションなどの他のアプリケーションによる(たとえば、奥行きマップに対応する)修正された奥行き情報122bの改善された処理を可能にし得る。
【００３４】
図2を参照すると、図1の受信機デバイス102によって実行される処理段階を例示する例示的な例が示されている。構造化光画像の一例が示され、全体として200で示されている。構造化光画像は、図1の受信機デバイス102によって受信され、奥行きマップ生成器120およびフィルタ130に提供される画像データ110を含み得、またはそれに対応し得る。構造化光画像200は、3Dオブジェクト上に投影され、3Dオブジェクトから反射された構造化光(たとえば、縦縞に対応する符号化)を検出するカメラによって生成され得る。
【００３５】
典型的な奥行きマップ画像の一例が示され、全体として210で示されている。奥行きマップ画像210では、異なる色は、異なる奥行きを示す。奥行きマップ画像210は、図1の奥行き情報122aに対応し得る。奥行きマップ画像210は、構造化光画像200と同じ数のピクセルを含み得、各ピクセルは、対応する奥行きデータ値を有し得る。奥行きマップ画像210は、構造化光画像200に基づき得る。たとえば、構造化光画像200の光パターン(たとえば、コードマスクの反射)は、奥行きマップ画像210を生成するために復号され得る。たとえば、構造化光画像200は、画像データ110を処理した後、奥行きマップ生成器120によって生成された奥行き情報122aを表し得る。
【００３６】
奥行きマップ画像210は、第1の不正確な値212、第2の不正確な値214、および第3の不正確な値216などの、1つまたは複数の不正確な奥行き値を含む。第1の不正確な値212は、構造化光画像200内の1つまたは複数のオブジェクトの影の領域によって引き起こされる偽陽性(たとえば、なにも存在するべきではない奥行きデータ)に対応し得る。第2の不正確な値214は、不適切に復号されたデータ(たとえば、復号エラー)に基づく欠損した奥行き値に対応し得る。第3の不正確な値216は、偽陰性(たとえば、奥行きデータが存在すべきである場合に奥行きデータがない)に基づく欠損した奥行き値に対応し得る。
【００３７】
典型的なフィルタリングされた画像の一例が示され、全体として220で示されている。フィルタリングされた画像220は、図1のフィルタリングされた画像データ132に対応し得る。フィルタリングされた画像220は、構造化光画像200と同じ数のピクセルを含み得、各ピクセルは、対応するフィルタリングされた画像データ値を有し得る。フィルタリングされた画像220は、構造化光画像200に基づき得る。たとえば、構造化光画像200は、フィルタリングされた画像220を生成するために、同様の反射率を有する画像の部分を識別するために処理され得る(たとえば、ぼかしフィルタおよび/またはトータルバリエーションフィルタを使用することなどによってフィルタリングされ得る)。処理は、エッジ領域にわたる画像の領域をぼかし得ない。したがって、フィルタリングされた画像220は、同様の反射率を有する構造化光画像200の統合された部分を識別し得る。
【００３８】
典型的な中間奥行きマップ画像の一例が示され、全体として230で示されている。中間奥行きマップ画像230は、構造化光画像200と同じ数をピクセルを含み得る。中間奥行きマップ画像230では、異なる色は、異なる奥行きを示すが、奥行きマップ画像210内に含まれる色に直接対応しない。中間奥行きマップ画像230では、本明細書でさらに説明するように、赤色は、奥行きマップ画像210内で識別される不正確な奥行きデータを示す。
【００３９】
中間奥行きマップ画像230は、不正確な奥行きデータを識別するために、奥行きマップ画像210とフィルタリングされた画像220との間の比較に対応し得る。たとえば、比較は、奥行き情報122aとフィルタリングされた画像データ132とを比較するために比較ロジック150によって実行される比較を含み得、またはそれに対応し得る。たとえば、奥行きマップ画像210とフィルタリングされた画像220との間のピクセルごとの比較は、無効な奥行きデータ値(たとえば、影に基づく誤った値)を識別するために実行され得る。例示するために、奥行きマップ画像210は、(第1の不正確な値212に対応する)第1のピクセルが第1の奥行き値を有することを示し得る。しかしながら、第1のピクセルは、第1のピクセルの位置にオブジェクトが存在しないことを示す、フィルタリングされた画像220内のきわめて低い反射率値を有し得る。したがって、第1の奥行き値は、無効であると識別され得る。第1の奥行き値は、中間奥行きマップ画像230内に示されているように、オブジェクトが存在しないことを示すように訂正され得る。
【００４０】
追加で、または代替的に、ピクセルごとの比較は、欠損した奥行きデータ値を識別し得る。例示するために、奥行きマップ画像210は、(第3の不正確な値216に対応する)第2のピクセルが奥行き値を持たないことを示し得るが、フィルタリングされた画像220は、反射オブジェクトが第2のピクセルの位置に存在することを示し得る。したがって、奥行きマップ画像210の一部は、(中間奥行きマップ画像230内で赤色によって示されるように)欠損した奥行きデータを有するとして識別され得る。したがって、ピクセルごとの比較に基づいて、無効な奥行き値は、訂正され得、欠損した奥行き値は、識別され得る。したがって、中間奥行きマップ画像230は、無効な奥行きデータの訂正後、および(栗色領域として示される)欠損した奥行きデータの識別後の奥行きマップ画像210のバージョンを示す。
【００４１】
修正された奥行きマップ画像の一例が示され、全体として240で示されている。修正された奥行きマップ画像240は、図1の修正された奥行き情報122bに対応し得る。修正された奥行きマップ画像240は、構造化光画像200と同じ数のピクセルを含み得る。修正された奥行きマップ画像240では、異なる色は、異なる奥行きを示すが、奥行きマップ画像210内に含まれる色、または中間奥行きマップ画像230に直接対応しない。
【００４２】
修正された奥行きマップ画像240では、ピクセルごとの比較に基づいて識別された欠損した奥行き値は、入力(populate)され、奥行きマップ内に含まれ得る。たとえば、奥行きマップ画像210および/または中間奥行きマップ画像230に対応する奥行き情報は、欠損した奥行き値を含むように修正され得る。奥行きマップ画像210(または、中間奥行きマップ画像230)の特定のピクセルに対応する特定の欠損した奥行き値を入力するために、ウィンドウが、特定のピクセルの周囲の奥行きマップ画像210内に設定され得、有効な奥行きデータを有するウィンドウ内の1つまたは複数のピクセル(たとえば、奥行きデータを欠損していない1つまたは複数のピクセル)が識別され得る。有効な奥行きデータを有するウィンドウ内の1つまたは複数のピクセルの各々について、(フィルタリングされた画像220に基づく)対応する反射率値が決定され得る。(欠損した奥行き値を持たない)特定のピクセルに対応する反射率値と同様の反射率値を有する1つまたは複数のピクセルのセットが識別され得る。中央奥行き値は、ピクセルのセットの有効な奥行き値に基づいて決定され得、特定のピクセルの欠損した奥行き値は、中央奥行き値として設定され得る。したがって、修正された奥行きマップ画像240に示されているように、欠損した奥行き値は、入力されている。たとえば、欠損した指に関する欠損した奥行き値は、入力(たとえば、記入)され得る。加えて、上記で説明したエラー識別技法および奥行き値修正技法に基づいて、鼻、口、および耳などの、顔のより詳細な細部は、奥行きマップ画像210と比較して、修正された奥行きマップ画像240において達成されている。
【００４３】
図3を参照すると、構造化光システム300が示されている。構造化光システム300は、シーンまたはオブジェクトを照明し、2次元(2D)画像および/または2D情報から3次元(3D)情報を生成するための奥行き情報を取得するために既知のパターンを使用し得る。構造化光システム300は、送信機デバイス301および受信機デバイス102を含み得る。
【００４４】
送信機デバイス301は、1つまたは複数のコードワードをオブジェクト306(および/またはシーン)上に投影するために、コードマスク304(たとえば、コードを有する画像)を介してライトフィールドを投影するように構成され得る。たとえば、送信機内に含まれるエンコーダ/形状変調器は、コードマスク304を生成するように構成され得、コードマスク304は、次いで、送信チャネルを介して送信機デバイス301によって投影される(たとえば、チャネルは、複合コードマスクが投影されるべき経路および/または軌道を含む)。コードマスク304は、オブジェクト306(たとえば、ターゲット)上に投影され得る。
【００４５】
受信機デバイス102は、投影されたコードマスク310と、その中の1つまたは複数のコードワードとを取り込むように構成され得る。たとえば、受信機デバイス102に結合された、または受信機デバイス102内に含まれる受信機センサは、オブジェクト306の画像を取り込むなどの、オブジェクト306から反射された光を取り込むように構成され得る。オブジェクト306(たとえば、ターゲット)の形状および/または奥行きは、画像内に「符号化」され得る。たとえば、投影されたコードマスクから投影されたコードマスクの取り込まれた反射への特定のコードワードのシフト(たとえば、変位)は、投影されたコードマスクを反射したオブジェクトの奥行き値を表し得る(たとえば、符号化し得る)。例示するために、画像内で取り込まれた投影されたコードマスク310(たとえば、オブジェクト306からのコードマスク304の反射)は、オブジェクト306の形状および/または奥行きを決定するために受信機デバイス102によって使用され得る。受信機デバイス102は、図4に関連してさらに説明するように、奥行きマップ307(たとえば、図1の奥行き情報122aなどの奥行きデータ)を得るために、取り込まれた画像(たとえば、図1の画像データ110などの画像データ)を「復号」し得る。奥行きマップ307は、オブジェクト306(たとえば、ターゲット)の3Dバージョン(たとえば、3D画像)を生成、提示、および/または提供するために、受信機デバイス102内に含まれるアプリケーションなどによって使用され得る。受信機デバイス102は、偽陽性、偽陰性、および/または復号エラーから生じるエラーなどの奥行きマップデータエラーを訂正する奥行き修正器140を含み得る。たとえば、奥行き修正器140は、修正された奥行きマップを生成するために、奥行きマップ307を修正し得る。
【００４６】
図3に示すように、コードマスク304のセクション/部分/ウィンドウ312は、オブジェクト306の表面(たとえば、投影されたセクション/部分/ウィンドウ316)上に(セクション/部分/ウィンドウ314として)投影される。投影されたセクション/部分/ウィンドウ316は、次いで、取り込まれたセグメント318として受信機デバイス102によって取り込まれ得る。セクション/部分/ウィンドウ312は、一意的に識別され得るコードワードとして使用され得る。したがって、この方法で1つまたは複数の一意的なコードワードでオブジェクト306(および/またはシーン)をカバーすることによって、オブジェクト306(および/またはシーン)のセクション/部分は、識別/タグ付けされ得、1つまたは複数の一意的なコードワードは、受信機デバイス102による奥行き検知のために使用され得る。
【００４７】
受信機デバイス102によって取り込まれた画像から、複数のセグメント(たとえば、複数のコードワード)は、オブジェクト306(または、シーン)上で識別され得る。各セグメント318は、受信機デバイス102において一意的に識別可能であり得、他のセグメントに対する特定のセグメントの位置は、コードマスク304の既知のパターンから確認され得る。各セグメント/部分/ウィンドウからのコード(たとえば、コードワード)の識別は、(たとえば、歪みに対処するための)パターンセグメント化と、対応するコードへの知覚されたセグメント/部分/ウィンドウの復号とを伴い得る。加えて、向きおよび/または奥行きを確認するために、各々の取り込まれたセグメント/部分/ウィンドウにわたって三角測量が適用され得る。複数のそのようなセグメント/部分/ウィンドウは、取り込まれた画像パターンをつなぎ合わせる(stitch together)ために組み合わされ得る。このようにして、奥行きのマップ(たとえば、図1の奥行き情報122aなどの奥行きマップ)が、オブジェクト306(または、シーン)について生成され得る。
【００４８】
図4を参照すると、奥行き(たとえば、奥行きデータ)がオブジェクトまたはシーンに対してどのように感知され得るのかの一例が示されており、全体として400で示されている。送信機デバイス301は、受信機デバイス102と同じベースライン基準面(たとえば、レンズ面405)上に配置され得る。送信機デバイス301および/または受信機デバイス102は、図1の構造化光システム100および/または図3の構造化光システム300内に含まれ得、またはそれらに対応し得る。
【００４９】
送信機デバイス301は、開口部またはレンズを介してシーンまたはオブジェクト上にコードマスク410を投影し得る。たとえば、送信機デバイス301は、コードマスク410を生成するために使用され得る様々なタイプの変調およびコーディング方式を使用し得る。これらの変調およびコーディング方式は、例示的で非限定的な例として、時間コーディングと、空間コーディングと、直接コード化(direct codification)とを含み得る。コードマスク410は、図3のコードマスク304を含み得る、またはそれに対応し得る。例示の目的のため、(コードワードを表す)投影されたセグメント/部分/ウィンドウ412は、送信されるコードマスク410の一部として示されている。このコードセグメント/部分/ウィンドウ412は、送信機デバイス301から第1の距離で第1のシーン(たとえば、第1のオブジェクト406)上に投影され得、および/または、送信機デバイス301から第2の距離で第2のシーン(たとえば、第2のオブジェクト408)上に投影され得る。第1のオブジェクト406または第2のオブジェクト408は、図3のオブジェクト306を含み得、またはそれに対応し得る。
【００５０】
受信機デバイス102内に含まれる、または受信機デバイス102に結合されたセンサ(たとえば、カメラ)は、1つまたは複数のオブジェクトからの投影されたコードマスク410の反射などの、受信機開口部を介して投影されたコードマスク410の画像(たとえば、受信されたコードマスク411)を取り込み得る。例示の目的のために、送信されたコードマスク310は、受信されたコードマスク411と同じセンサ平面407上に示されている。センサによって取り込まれた画像は、図1の画像データ110などの画像データに変換され得(たとえば、画像データとして表され得)、受信機デバイス102に提供される。画像データは、画像に関連付けられたピクセル強度値を含み得、またはそれに対応し得る。受信機デバイス102は、偽陽性、偽陰性、および/または復号エラーから生じたエラーなどの、受信機デバイス102によって生成された奥行きマップ内に含まれる奥行きマップデータエラーを訂正する奥行き修正器140を含み得る。
【００５１】
第1のオブジェクト406が(第2のオブジェクト408と比較して)送信機デバイス301のより近く(たとえば、送信機デバイス301から第1の距離)にあるとき、投影されたセグメント412の反射は、送信機デバイス301によって送信されたようにその初期位置から距離d1に現れる。第2のオブジェクト408が(第1のオブジェクト406と比較して)送信機デバイス301からより遠く(たとえば、送信機デバイスから第2の距離)に位置するとき、投影されたセグメント/部分/ウィンドウ412の反射は、送信機デバイスによって送信されたようにその初期位置から距離d2に現れる(ここで、d2>d1)。したがって、オブジェクトが送信機/受信機から遠ざかるほど、受信される投影されたセグメント/部分/ウィンドウは、受信機デバイス102におけるその元の位置により近づく(たとえば、出て行く投影および入ってくる投影は、より平行になる)。反対に、オブジェクトが送信機/受信機に近づくほど、受信される投影されたセグメント/部分/ウィンドウは、受信機デバイス102におけるその元の位置からより遠ざかる。したがって、受信されたコードワード位置と送信されたコードワード位置との間の差は、特定のオブジェクトの奥行き(たとえば、奥行き値)を決定するために使用され得る。たとえば、奥行き(たとえば、相対的奥行き)は、画像に関連付けられたグループ化されたピクセル(たとえば、2つ以上のピクセルの領域)の各ピクセルまたはサブセットに関する奥行き値を提供し得る。したがって、反射されたコードワードを受信する画像のピクセルに対応する奥行き情報(たとえば、奥行き値)は、投影されたコードマスク内のコードワードの位置に対する反射されたコードワードの変位に基づいて決定され得る。
【００５２】
図5を参照すると、構造化光システムの別の例が示されており、全体として500で示されている。構造化光システム500は、送信機デバイス301および受信機デバイス102を含む。構造化光システム500は、図1の構造化光システム100および/または図3の構造化光システム300を含み得、またはそれらに対応し得る。
【００５３】
送信機デバイス301は、コードマスク(たとえば、構造化光のパターン)を生成するように、および/またはコードマスクを投影するように構成され得る。コードマスクは、1つまたは複数のコードワードを含み得、またはそれに対応し得る。たとえば、コードマスクは、図3のコードマスク304または図4のコードマスク410を含み得る。送信機デバイス301は、メモリ/記憶デバイス510、画像投影デバイス518、および/または記憶媒体526に結合された処理回路520を含み得る。
【００５４】
処理回路520は、コードマスク生成器/選択器522および/または事前整形(pre-shaping)回路524を含み得る。コードマスク生成器/選択器522は、メモリ/記憶デバイス510に記憶された1つまたは複数の予め記憶されたコードマスク512を選択するように構成され得る。たとえば、コードマスク生成器/選択器522は、1つまたは複数の予め記憶されたコードマスク512から、コードマスク528などの特定のコードマスクを選択し得る。処理回路520は、記憶媒体526に記憶されるべき選択されたコードマスク(たとえば、コードマスク528)を送り得る。事前整形回路524は、コードマスク528が投影されるべきチャネルにおける予想される歪みを補償するために、選択された特定のコードマスクを事前整形するように構成され得る(たとえば、チャネルは、複合コードマスクが投影されるべき経路および/または軌道を含む)。事前整形回路524は、記憶媒体526にコードマスク528を記憶する前に、または、記憶媒体526に記憶した後だが、コードマスク528が画像投影デバイス518に提供される前に、コードマスク528を事前整形し得る。
【００５５】
記憶媒体526は、コードマスク528を記憶し得る。コードマスク528は、1つまたは複数の一意的に識別可能な空間的にコード化されたコードワード(たとえば、一意的に識別可能な構造化光のパターン)などの、複数のシンボルによって定義された1つまたは複数のコードワードを含み得る。コードマスク528は、投影の前に合成点像分布関数によって(たとえば、事前整形回路524によって)事前整形され得る。記憶媒体526は、単一のコードマスクを含むように示されているが、記憶媒体526は、複数のコードマスクを含み得る。メモリ/記憶デバイス510および記憶媒体526は、別個の構成要素として示されているが、他の実施態様では、メモリ/記憶デバイス510および記憶媒体526は、単一のメモリ構成要素を含み得る。
【００５６】
画像投影デバイス518は、オブジェクト530などの対象のオブジェクト上に選択された特定のコードマスク(たとえば、コードマスク528)を投影するように構成され得る。たとえば、画像投影デバイス518は、構造化光のパターン531としてオブジェクト530上にコードマスク528を投影し得る。画像投影デバイス518は、(たとえば、投影チャネルを介して)対象のオブジェクト上に選択された特定のコードマスクを投影するレーザまたは別の光源を含み得る。たとえば、コードマスク528は、コードマスク528が肉眼で見えないように、赤外線スペクトルにおいて投影され得る。
【００５７】
受信機デバイス102は、受信された「反射された」コードマスクから、図1の奥行き情報122aなどの奥行き情報を取得し、修正された奥行き情報122bを生成するように構成され得る。受信機デバイス102は、メモリ/記憶デバイス160と受信機センサ570(たとえば、画像取込みデバイス)とに結合された処理回路560を含み得る。受信機デバイス102はまた、オブジェクト検出アプリケーションなどのアプリケーションを含み得、またはそれに結合され得る。
【００５８】
受信機センサ570(たとえば、カメラなど)は、オブジェクト530の表面上に投影されたコードマスクの少なくとも一部を取得(たとえば検出)するように構成され得る。たとえば、受信機センサ570は、オブジェクト530上に投影された(たとえば、そこから反射された)構造化光のパターン531を含む画像を取り込み得る。取り込まれた画像に基づいて、受信機センサ570は、画像に対応する画像データ110(たとえば、ピクセル強度値)を生成し、出力し得る。いくつかの実施態様では、受信機センサ570は、赤外線スペクトルにおける画像(たとえば、反射されたコードマスク)を取り込むように構成され得る。
【００５９】
処理回路560は、歪み調整回路/モジュール562、コードワード識別子回路/モジュール563、フィルタ130、奥行きマップ生成器120、および/または奥行き修正器140を含み得る。歪み調整回路/モジュール562は、受信機センサ570によって検出されたコードマスクの部分の歪み(たとえば、スキュー)を訂正するために画像データ110を調整するように構成され得る。コードワード識別子回路/モジュール563は、画像データ内に含まれるデータ値のグループ(たとえば、受信機センサ570によって検出されたコードマスクの部分内に定義されたウィンドウに対応するデータ値のグループ)からコードワードを検出するように構成され得る。
【００６０】
奥行きマップ生成器120は、歪み調整回路/モジュール562から調整された画像データ110を受信し、コード識別子回路/モジュール563によって検出されたコードワードを受信するように構成され得る。奥行きマップ生成器120は、データ値のグループ(たとえば、ウィンドウ)に対応するオブジェクト530の表面部分に関する奥行き情報を決定するように構成された奥行き検出回路/モジュール565を含み得る。たとえば、奥行き検出回路/モジュール565は、送信機デバイス301によって使用され、投影されるコードマスクなどの、既知の基準コードマスク552に基づいて、コードワードの予想される位置に対する取り込まれた画像内の検出されたコードワードの位置の変位を決定し得る。基準コードマスク552は、受信機デバイス102のメモリ/記憶デバイス160において記憶され得る。奥行きマップ生成器120は、取り込まれた画像に関する奥行き情報を含む奥行きマップを生成するように構成され得る。たとえば、奥行き情報は、オブジェクト530に関する特定の奥行き情報を含み得る。図1の奥行き情報122aなどの奥行き情報は、奥行きマップ生成器120から奥行き修正器140に提供され得る。
【００６１】
フィルタ130は、図1のフィルタリングされた画像データ132などのフィルタリングされた画像データを生成するために画像データ110を処理し得る。たとえば、フィルタ130は、ぼかしフィルタ、トータルバリエーションフィルタ、またはそれらの組合せを含み得、またはそれらに対応し得る。フィルタリングされた画像データは、同様の反射率を有する画像内の領域(またはオブジェクト)に関連付けられ得る。
【００６２】
奥行き修正器140は、奥行きマップ生成器120から奥行き情報を受信し、フィルタ130からフィルタリングされた画像データを受信するように構成され得る。奥行き修正器140は、奥行き情報内に含まれる不正確な奥行きデータを識別し、修正された奥行き情報122bを生成するために不正確な奥行きデータを訂正するように構成され得る。奥行き修正器140は、修正された奥行き情報122bをメモリ/記憶デバイス160に提供し得る。
【００６３】
メモリ/記憶デバイス160は、典型的なコードマスク552などの1つまたは複数のコードマスクと、奥行き修正器140によって生成された修正された奥行き情報122bとを記憶し得る。コードマスク552は、送信機デバイス301のメモリ/記憶デバイス510において記憶されたコードマスク512のうちの1つに対応し得る(たとえば、それと同じであり得る)。
【００６４】
オブジェクト検出アプリケーションなどのアプリケーション556は、受信機デバイス102のメモリ/記憶デバイス160において記憶された修正された奥行き情報122bにアクセスするように構成され得る。たとえば、アプリケーション556は、受信機センサ570によって取り込まれた画像内に含まれる1つまたは複数のオブジェクトを検出するように構成され得る。例示するために、アプリケーション556は、画像内に含まれる手の上で伸ばされた指の数を識別する指検出アプリケーションを含み得る。代替的には、または加えて、アプリケーション556は、受信機デバイスによって処理される一連の画像に対応する修正された奥行き情報に基づいて1つまたは複数のジェスチャを識別するジェスチャ検出アプリケーションを含み得る。
【００６５】
図6を参照すると、奥行き情報を修正する方法600の第1の例示的な例のフロー図が示されている。方法600は、図1、3、4、もしくは5の受信機デバイス102、および/または図3の処理回路360によって実行され得る。
【００６６】
方法600は、602において、受信機デバイスにおいて画像データを受信するステップを含み、ここで、画像データは、構造化光画像に対応する。たとえば、画像データ110は、図1の受信機デバイス102によって受信され得る。方法600は、604において、投影されたコード化光のパターンに基づいて奥行き情報を復号するために画像データを処理するステップをさらに含む。奥行き情報は、奥行きマップに対応し得る。一例として、画像データ110は、奥行き情報122aを生成するために奥行きマップ生成器120によって処理され得る。方法600は、606において、画像データに対して1つまたは複数のフィルタリング動作を実行するステップをさらに含み、ここで、1つまたは複数のフィルタリング動作の出力は、フィルタリングされた画像データを含む。たとえば、画像データ110は、図1に関して説明したように、フィルタリングされた画像データ132などのフィルタリングされた画像データを生成するためにフィルタ130によって処理され得る。方法600は、608において、奥行き情報とフィルタリングされた画像データとの間の比較を実行するステップを含み得る。方法600は、610において、修正された奥行きマップを生成するために比較に基づいて奥行き情報を修正するステップをさらに含む。たとえば、奥行き情報122aは、修正された奥行き情報122bを生成するために奥行き修正器140によって、フィルタリングされた画像データ132に基づいて修正され得る。
【００６７】
特定の例示的な実施形態では、画像データは、画像を取り込むように構成された画像取込みセンサから受信される。たとえば、画像データ110は、カメラ内のセンサなどの画像取込みセンサから受信機デバイス102によって受信され得る。画像データは、ピクセル強度値を含み得、画像データは、コードマスクに関連付けられたフィルタを介して、投影されたコード化光を送信することによって生成された反射画像に関連付けられ得る。たとえば、送信機デバイス301は、図4におけるように、受信機デバイス102に反射される画像に、コードワード投影412を介すなど、フィルタを介して、投影されたコード化光を送信し得る。
【００６８】
画像データは、画像データに基づいてコードワードを識別することと、投影されたコードマスク内のコードワードの位置から画像内のコードワードの位置へのコードワードの変位を決定することとを含む、奥行き情報を復号することによって処理され得、画像は投影されたコードマスクの反射に対応する。奥行きデータは、変位に基づいて生成され得る。
【００６９】
特定の実施態様では、フィルタリングされた画像データを生成するために画像データを処理するステップは、フィルタリングされた画像データを生成するために画像データをフィルタリングするために、ぼかしフィルタ、トータルバリエーションフィルタ、ローパスフィルタ、バンドパスフィルタ、またはそれらの組合せを適用するステップを含む。たとえば、フィルタ130は、ぼかしフィルタ、トータルバリエーションフィルタ、またはそれらの組合せであり得る。フィルタ130は、フィルタリングされた画像データ132を生成するために画像データ110をフィルタリングし得る。画像データを処理する方法は、奥行き情報とフィルタリングされた画像データとの間の比較を実行するステップをさらに含み得る。たとえば、比較は、奥行き情報とフィルタリングされた画像データとの間のピクセルごとの比較を実行することに対応し得る。
【００７０】
図7を参照すると、奥行き情報を修正する方法700の第2の例示的な例のフロー図が示されている。方法700は、図1、3、4、もしくは5の受信機デバイス102、および/または図3の処理回路360によって実行され得る。いくつかの実施態様では、方法700は、図6の方法600の608においてフィルタリングされた画像データに基づいて奥行き情報を修正するステップを含み得、またはそれに対応し得る。
【００７１】
方法700は、702において、構造化光画像に関連付けられた奥行き情報内に含まれる不正確な奥行き値を識別するステップを含み得る。奥行き情報を修正するステップは、奥行き情報内に含まれる不正確な奥行き値を訂正するステップを含み得る。代替的には、奥行き情報を処理するステップは、比較に基づいて、奥行き情報に関連付けられた欠損した奥行き値を識別するステップを含み得る。したがって、欠損した奥行き情報または不正確な奥行き情報のいずれかは、改善された精度を有する修正された奥行き情報を生成するために訂正され得る。奥行き情報に含まれる不正確な奥行きデータは、奥行きマップに関連付けられた1つまたは複数のピクセルに対応し得、奥行き情報を修正するステップは、奥行きマップ内の不正確な奥行きデータを訂正するステップを含み得る。
【００７２】
方法700は、奥行きマップの特定のピクセル位置を識別するステップであって、704において、特定のピクセル位置が不正確な奥行きデータに対応する、ステップと、706において、フィルタリングされた画像データに基づいて特定のピクセル位置に対応する特定のフィルタリングされた画像データ値を決定するステップとを含み得る。たとえば、奥行き修正器140内の比較ロジック150は、図1に関して説明したように、奥行き情報122aとフィルタリングされた画像データ132とを比較し得る。
【００７３】
方法700は、708において、特定のピクセル位置に基づいて奥行きマップに関連付けられた領域を選択するステップであって、領域は、特定のピクセル位置を含む複数のピクセル位置に関連付けられる、ステップと、710において、複数のピクセル位置の1つまたは複数のピクセル位置のセットを識別するステップとをさらに含み得る。加えて、方法700は、712において、1つまたは複数のピクセル位置のセットに対応する奥行きデータに基づいて特定の奥行き値を決定するステップと、714において、特定のピクセル位置に対応する不正確な奥行きデータを更新するステップとを含み得る。不正確な奥行きデータは、更新された奥行きデータを生成するために特定の奥行き値に基づいて更新され得る。
【００７４】
図6〜図7の方法は、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)、グラフィカル処理ユニット(GPU)などの処理ユニット、中央処理ユニット(CPU)、デジタル信号プロセッサ(DSP)、コントローラ、別のハードウェアデバイス、ファームウェアデバイス、またはそれらの任意の組合せによって実施され得る。一例として、図6〜図7の方法は、奥行き情報を修正する命令を実行する1つまたは複数のプロセッサによって実行され得る。
【００７５】
図8を参照すると、ワイヤレス通信デバイス800の特定の例示的な例のブロック図が示されている。デバイス800は、図1の構造化光システム100、図3の構造化光システム300、図4の構造化光システム400、図5の構造化光システム500、またはそれらの組合せの1つまたは複数の構成要素を含み得る。
【００７６】
デバイス800は、デジタル信号プロセッサ(DSP)、グラフィカル処理ユニット(GPU)、および/または中央処理ユニット(CPU)などの、1つまたは複数のプロセッサ810(たとえば、1つまたは複数の処理コア)を含む。1つまたは複数のプロセッサ810は、メモリ832に結合され得る。メモリ832は、コンピュータ可読命令またはプロセッサ可読命令などの命令868(たとえば、実行可能命令)を含む。命令868は、1つまたは複数のプロセッサ810の各々などによって、コンピュータによって実行可能な1つまたは複数の命令を含み得る。
【００７７】
たとえば、1つまたは複数の命令は、1つまたは複数のプロセッサ810に、投影されたコード化光のパターンに基づいて奥行き情報を復号するために画像に対応する画像データを処理することを含む動作を実行させるために、1つまたは複数のプロセッサ810によって実行可能であり得る。例示するために、デバイス800は、投影されたコード化光のパターンの画像を取り込むセンサ884に結合された構造化光受信機886を含み得る。構造化光受信機886は、センサ884の出力に基づいて画像データ110を生成し得る。1つまたは複数のプロセッサ810は、画像データ110に基づいて奥行き情報122aを復号/生成する奥行きマップ生成器120を含み得る。いくつかの実施態様では、投影された構造化光のパターンは、構造化光送信機882に結合されたプロジェクタ880によって投影される。したがって、いくつかの実施態様では、デバイス800は、構造化光システムの送信機デバイスと受信機デバイスの両方として機能するように構成され得る。
【００７８】
動作はまた、フィルタリングされた画像データを生成するために画像データを処理することを含み得、ここで、フィルタリングされた画像データは、同様の反射率を有する画像の領域に関連付けられる。たとえば、1つまたは複数のプロセッサ810は、フィルタリングされた画像データ132を生成するために画像データ110を処理するフィルタ130を含み得る。動作は、フィルタリングされた画像データに基づいて奥行き情報を修正することをさらに含み得る。たとえば、1つまたは複数のプロセッサ810は、修正された奥行き情報122bを生成するために奥行き情報122aを修正し得る奥行き修正器140を含み得る。
【００７９】
図8はまた、1つまたは複数のプロセッサ810およびディスプレイ828に結合されたディスプレイコントローラ826を示す。コーダ/デコーダ(CODEC)834はまた、1つまたは複数のプロセッサ810に結合され得る。スピーカ836およびマイクロフォン838は、CODEC834に結合され得る。1つまたは複数のプロセッサ810はまた、カメラ862に結合されたカメラコントローラ860に結合され得る。いくつかの実施態様では、デバイス800は、単一の画像取込みデバイスを含む(たとえば、カメラ862は、センサ884を含む)。
【００８０】
図8はまた、ワイヤレスコントローラなどのワイヤレスインターフェース840が1つまたは複数のプロセッサ810およびアンテナ842に結合され得ることを示す。いくつかの実施態様では、1つまたは複数のプロセッサ810、ディスプレイコントローラ826、カメラコントローラ860、メモリ832、CODEC834、プロジェクタ880、センサ884、およびワイヤレスインターフェース840は、システムインパッケージまたはシステムオンチップデバイス822内に含まれる。他の実施態様では、入力デバイス830および電源844は、システムオンチップデバイス822に結合される。さらに、図8に示すように、ディスプレイ828、入力デバイス830、スピーカ836、マイクロフォン838、アンテナ842、カメラ862、プロジェクタ880、センサ884、および電源844は、システムオンチップデバイス822の外部にある。しかしながら、ディスプレイ828、カメラ862、プロジェクタ880、センサ884、入力デバイス830、スピーカ836、マイクロフォン838、アンテナ842、および電源844の各々は、インターフェース、コントローラ、送信機(たとえば、送信機回路)、または受信機(たとえば、受信機回路)などの、システムオンチップデバイス822の構成要素に結合され得る。
【００８１】
開示された態様のうちの1つまたは複数は、通信デバイス、固定位置データユニット、モバイル位置データユニット、モバイルフォン、セルラー電話、衛星電話、コンピュータ、タブレット、ポータブルコンピュータ、またはデスクトップコンピュータなどを含むデバイス800などの、システムまたは装置内に実装され得る。代替的に、または加えて、デバイス800は、セットトップボックス、エンターテインメントユニット、ナビゲーションデバイス、携帯情報端末(PDA)、モニタ、コンピュータモニタ、テレビジョン、チューナー、ラジオ、衛星ラジオ、音楽プレーヤ、デジタル音楽プレーヤ、ポータブル音楽プレーヤ、ビデオプレーヤ、デジタルビデオプレーヤ、デジタルビデオディスク(DVD)プレーヤ、ポータブルデジタルビデオプレーヤ、データもしくはコンピュータ命令を記憶するか取り出す任意の他のデバイス、またはそれらの組合せを含み得る。別の説明のための非限定的な例として、システムまたは装置は、携帯電話、ハンドヘルドパーソナル通信システム(PCS)ユニットのような遠隔ユニット、携帯情報端末のようなポータブルデータユニット、全地球測位システム(GPS)対応デバイス、ナビゲーションデバイス、メータ読取り機器のような固定位置データユニット、またはデータもしくはコンピュータ命令を記憶するか取り出す任意の他のデバイス、またはそれらの任意の組合せを含み得る。
【００８２】
本開示の態様は、メモリと、プロセッサと、オンチップ回路とを含む集積回路を含む任意のデバイスにおいて適切に用いられ得る。図1〜図8のうちの1つまたは複数は、本開示の教示によるシステム、装置、および/または方法を示し得るが、本開示は、これらの示されたシステム、装置、および/または方法に限定されない。本明細書において示されたまたは説明された図1〜図8のいずれかの1つまたは複数の機能または構成要素は、図1〜図8のうちの別のものの1つまたは複数の他の部分と組み合わせられ得る。したがって、本明細書に記載の単一の例は、限定として解釈されるべきではなく、開示の態様は、本開示の教示から逸脱することなく適切に組み合わせられ得る。
【００８３】
当業者は、本明細書で開示された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、プロセッサによって実行されるコンピュータソフトウェア、または両方の組合せとして実装され得ることをさらに理解するであろう。種々の例示的な構成要素、ブロック、構成、モジュール、回路、およびステップが、それらの機能の観点から概略的にこれまで説明されてきた。そのような機能が、ハードウェアとして実現されるか、プロセッサ実行可能命令として実現されるかは、特定の用途およびシステム全体に課される設計制約によって決まる。当業者は、特定の適用例ごとに様々な方法で上記の機能を実施してもよいが、そのような実装形態の決定は、本開示の範囲からの逸脱を引き起こすと解釈されるべきではない。
【００８４】
本明細書で開示された態様に関連して説明した方法またはアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはそれら2つの組合せにおいて具体化され得る。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、フラッシュメモリ、読取り専用メモリ(ROM)、プログラム可能読取り専用メモリ(PROM)、消去可能プログラム可能読取り専用メモリ(EPROM)、電気的消去可能プログラム可能読取り専用メモリ(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取り専用メモリ(CD-ROM)、または当技術分野において既知の任意の他の形の非一時的記憶媒体内に存在する場合がある。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替において、記憶媒体は、プロセッサと一体であり得る。プロセッサおよび記憶媒体は特定用途向け集積回路(ASIC)内に存在する場合がある。ASICは、コンピューティングデバイスまたはユーザ端末内に存在し得る。代替において、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末内に別個の構成要素として存在し得る。
【００８５】
先の説明は、開示した態様を当業者が作成または使用することを可能にするように与えられる。これらの態様への様々な変更は当業者にはすぐに明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の態様に適用され得る。したがって、本開示は、本明細書に示された態様に限定されることを意図するものではなく、以下の特許請求の範囲によって定義される原理および新規な特徴と可能な限り幅広く一致する。
【符号の説明】
【００８６】
100  構造化光システム
102  受信機デバイス
106  メモリ
110  画像データ
120  奥行きマップ生成器
122a  奥行き情報
122b  修正された奥行き情報
130  フィルタ
132  フィルタリングされた画像データ
140  奥行き修正器
150  比較ロジック
160  メモリ
200  構造化光画像
210  奥行きマップ画像
212  第1の不正確な値
214  第2の不正確な値
216  第3の不正確な値
220  フィルタリングされた画像
230  中間奥行きマップ画像
240  修正された奥行きマップ画像
300  構造化光システム
301  送信機デバイス
304  コードマスク
306  オブジェクト
307  奥行きマップ
310  コードマスク
312  セクション/部分/ウィンドウ
314  セクション/部分/ウィンドウ
316  セクション/部分/ウィンドウ
318  セグメント
400  構造化光システム
405  レンズ面
406  第1のオブジェクト
407  センサ平面
408  第2のオブジェクト
410  コードマスク
412  セグメント/部分/ウィンドウ
500  構造化光システム
510  メモリ/記憶デバイス
512  コードマスク
518  画像投影デバイス
520  処理回路
522  コードマスク生成器/選択器
524  事前整形回路
526  記憶媒体
528  コードマスク
530  オブジェクト
531  パターン
552  基準コードマスク
556  アプリケーション
560  処理回路
562  歪み調整回路/モジュール
563  コードワード識別子回路/モジュール
565  奥行き検出回路/モジュール
570  受信機センサ
800  ワイヤレス通信デバイス
810  プロセッサ
822  システムオンチップデバイス
826  ディスプレイコントローラ
828  ディスプレイ
830  入力デバイス
832  メモリ
834  コーダ/デコーダ(CODEC)
836  スピーカ
838  マイクロフォン
840  ワイヤレスインターフェース
842  アンテナ
844  電源
860  カメラコントローラ
862  カメラ
868  命令
880  プロジェクタ
882  構造化光送信機
884  センサ
886  構造化光受信機
【図１】
2018185862.tif 000003
【図２】
2018185862.tif 000004
【図３】
2018185862.tif 000005
【図４】
2018185862.tif 000006
【図５】
2018185862.tif 000007
【図６】
2018185862.tif 000008
【図７】
2018185862.tif 000009
【図８】
2018185862.tif 000010
【外国語明細書】
2018185862000001.pdf