(57)【要約】  装置、画像キャプチャデバイス、コンピューティングデバイス、コンピュータ可読媒体が本明細書で説明される。装置は、デプス指標を判断するロジックを含む。装置は、また、デプス指標に基づいて画像のデプス情報を変更するロジックと、可変解像度デプス表現を生成するロジックとを含む。デプス指標は、明暗、テクスチャ、複数のエッジ、複数の輪郭、複数の色、動き、時間、又はそれらの任意の組み合わせであってよい。
2016515246.tif 000002
【特許請求の範囲】
【請求項１】
可変解像度デプス表現を生成する装置であって、
デプス指標を判断するロジックと、
前記デプス指標に基づいて、画像のデプス情報を変更するロジックと、
前記可変解像度デプス表現を生成するロジックと
を備える装置。
【請求項２】
前記デプス指標は、明暗、テクスチャ、複数のエッジ、複数の輪郭、複数の色、動き、時間、又はそれらの任意の組み合わせである、請求項１に記載の装置。
【請求項３】
前記デプス指標は、前記可変解像度デプス表現の使用によって特定される、請求項１又は２に記載の装置。
【請求項４】
前記デプス指標に基づいて画像のデプス情報を変更するロジックは、可変ビットデプス、可変空間解像度、画素サイズの減少、又はそれらの任意の組み合わせを用いて、前記デプス情報を変更することを含む、請求項１から３のいずれか一項に記載の装置。
【請求項５】
前記変更されたデプス情報から１又は複数のデプスレイヤを取得することをさらに備え、各デプスレイヤは、特定のデプス解像度を含む、請求項１から４のいずれか一項に記載の装置。
【請求項６】
前記デプス指標に基づいて画像のデプス情報を変更するロジックは、層状可変空間解像度を用いることを含む、請求項１から５のいずれか一項に記載の装置。
【請求項７】
前記可変解像度デプス表現は、標準化ヘッダ情報を有する標準化ファイルフォーマットで格納される、請求項１から６のいずれか一項に記載の装置。
【請求項８】
コマンドプロトコルは、前記可変解像度デプス表現を生成するために用いられる、請求項１から７のいずれか一項に記載の装置。
【請求項９】
前記装置はタブレットデバイスである、請求項１から８のいずれか一項に記載の装置。
【請求項１０】
前記装置はプリントデバイスである、請求項１から８のいずれか一項に記載の装置。
【請求項１１】
ディスプレイ上に画像又はビデオを描画するために用いられる前記可変解像度デプス表現を描画することをさらに備える、請求項１から１０のいずれか一項に記載の装置。
【請求項１２】
センサを含み、前記センサは、デプス指標を判断し、前記デプス指標に基づいてデプス情報をキャプチャし、前記デプス情報に基づいて可変解像度デプス表現を生成する、画像キャプチャデバイス。
【請求項１３】
前記デプス指標は、明暗、テクスチャ、複数のエッジ、複数の輪郭、複数の色、動き、時間、又はそれらの任意の組み合わせである、請求項１２に記載の画像キャプチャデバイス。
【請求項１４】
前記デプス指標は、コマンドプロトコルを用いて前記センサによって受信される複数のコマンドに基づいて判断される、請求項１２又は１３に記載の画像キャプチャデバイス。
【請求項１５】
前記センサは、可変ビットデプス、可変空間解像度、画素サイズの減少、又はそれらの任意の組み合わせを用いて、前記デプス情報を変更する、請求項１２から１４のいずれか一項に記載の画像キャプチャデバイス。
【請求項１６】
前記センサは、前記デプス情報から複数のデプスレイヤを生成し、各デプスレイヤは、特定のデプス解像度を含む、請求項１２から１５のいずれか一項に記載の画像キャプチャデバイス。
【請求項１７】
前記センサは、標準化ヘッダ情報を有する標準化ファイルフォーマットで前記可変解像度デプス表現を生成する、請求項１２から１６のいずれか一項に記載の画像キャプチャデバイス。
【請求項１８】
前記センサは、前記可変解像度デプス表現を生成するために用いられるコマンドプロトコルのためのインターフェースを含む、請求項１２から１７のいずれか一項に記載の画像キャプチャデバイス。
【請求項１９】
前記画像キャプチャデバイスは、カメラ、ステレオカメラ、飛行時間センサ、デプスセンサ、構造光カメラ、又はそれらの任意の組み合わせである、請求項１２から１８のいずれか一項に記載の画像キャプチャデバイス。
【請求項２０】
格納される複数の命令を実行するように構成される中央処理装置（ＣＰＵ）と、
複数の命令を格納するストレージデバイスと
を備え、
前記ストレージデバイスは、プロセッサ実行可能コードを備え、前記ＣＰＵによって実行された場合に、
デプス指標を判断し、
前記デプス指標に基づいて画像のデプス情報を変更し、
可変解像度デプス表現を生成する
ように構成される、コンピューティングデバイス。
【請求項２１】
前記デプス指標は、明暗、テクスチャ、複数のエッジ、複数の輪郭、複数の色、動き、時間、又はそれらの任意の組み合わせである、請求項２０に記載のコンピューティングデバイス。
【請求項２２】
前記デプス指標に基づいて画像のデプス情報を変更することは、可変ビットデプス、可変空間解像度、画素サイズの減少、又はそれらの任意の組み合わせを用いて、前記デプス情報を変更することを含む、請求項２０又は２１に記載のコンピューティングデバイス。
【請求項２３】
前記変更されたデプス情報から１又は複数のデプスレイヤを取得することをさらに備え、各デプスレイヤは、特定のデプス解像度の含む、請求項２０から２２のいずれか一項に記載のコンピューティングデバイス。
【請求項２４】
コンピュータに、
デプス指標を判断すること、
前記デプス指標に基づいて画像のデプス情報を変更すること、及び
可変解像度デプス表現を生成すること
を実行させるためのプログラム。
【請求項２５】
前記デプス指標は、明暗、テクスチャ、複数のエッジ、複数の輪郭、複数の色、動き、時間、又はそれらの任意の組み合わせである、請求項２４に記載のプログラム。
【請求項２６】
前記デプス指標は、アプリケーションによる前記可変解像度デプス表現の使用によって特定される、請求項２４又は２５に記載のプログラム。
【請求項２７】
前記デプス指標に基づいて画像のデプス情報を変更することは、可変ビットデプス、可変空間解像度、画素サイズの減少、又はそれらの任意の組み合わせを用いて、前記デプス情報を変更することを含む、請求項２４から２６のいずれか一項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、デプス表現に関する。より具体的には、本発明は、可変解像度を有する標準化デプス表現に関する。
【背景技術】
【０００２】
画像キャプチャの間に、画像情報に関連付けられるデプス情報をキャプチャするために用いられる様々な技術がある。デプス情報は、典型的には、画像内に含まれるデプスの表現を生成するために用いられる。例えば、ポイントクラウド、デプスマップ、又は３次元（３Ｄ）多角形メッシュは、画像内の複数の３Ｄオブジェクトの形状のデプスで示すために用いられてよい。デプス情報は、また、複数のステレオペア又は複数の多視点ステレオ再構成方法を用いて複数の２次元（２Ｄ）画像から導かれ、また、構造化照明、複数の飛行時間センサ、及び多くの他の方法を含む複数の直接デプスセンシング方法の広い範囲から導かれることができる。
【図面の簡単な説明】
【０００３】
【図１】複数の可変解像度デプス表現を生成するために用いられてよいコンピューティングデバイスのブロック図である。
【図２】複数の可変ビットデプスに基づく可変解像度デプスマップ及び別の可変解像度デプスマップの実例である。
【図３】可変空間解像度に基づく可変解像度デプスマップ及び結果として生じる画像の実例である。
【図４】複数の可変解像度デプスマップから展開される複数の画像のセットである。
【図５】可変解像度デプスマップを生成する方法の処理フロー図である。
【図６】可変解像度デプスマップを生成するための例示的なシステムのブロック図である。
【図７】図６のシステム６００が具現化されてよい小型フォームファクタデバイスの概略図である。
【図８】複数の可変解像度デプス表現のためのコードを格納する有形の非一時的コンピュータ可読媒体を示すブロック図である。
【０００４】
本開示及び図面を通して、同様の複数のコンポーネント及び複数の機能に言及するために、同一の数字が用いられる。１００のシリーズの数字は、最初に図１に表れる複数の機能を指し、２００のシリーズの数字は、最初に図２に表れる複数の機能を指し、他も同様である。
【発明を実施するための形態】
【０００５】
各デプス表現は、デプスの一様な表現である。デプスは、各画素に対して密に生成、又は既知の複数の特徴によって囲まれる複数の特定の画素で疎に生成される。したがって、現在の複数のデプスマップは、人間視覚システムに一致、又はデプスマッピング処理を最適化せず、一様な又は一定の解像度のみを提供する。
【０００６】
本明細書で提供される複数の実施形態は、複数の可変解像度デプス表現を可能にする。いくつかの実施形態において、デプス表現は、デプスマップ又はデプスマップ内の関心エリアの使用に基づいて調整されてよい。いくつかの実施形態において、別の最適化デプスマップ表現が生成される。説明を簡単にするために、複数の技術が複数の画素を用いて説明される。しかしながら、例えば、コンピュータグラフィックスにおいて用いられるようなボクセル、ポイントクラウド、又は３Ｄメッシュのような画像データの任意の単位が用いられることができる。可変解像度デプス表現は、全体のデプス表現を通して一様でない複数の解像度でキャプチャされたデプス情報のセット、及び共に動作する１又は複数のデプスセンサからキャプチャされたデプス情報を含んでよい。結果として生じるデプス情報は、選択された複数の方法によって、密な複数の等間隔点、又は疎な複数の不等間隔点、又は画像の複数の線、又は全体の２Ｄ画像アレイの形を採ってよい。
【０００７】
以下の説明及び複数の請求項において、「結合」及び「接続」という用語は、それらの派生語とともに用いられてよい。これらの複数の用語が互いに類義語として意図されないことが理解されるべきである。むしろ、複数の特定の実施形態では、「接続」は、２つ又はより多い要素が互いに直接物理的に又は電気的に接触することを示すために用いられてよい。「結合」は、２つ又はより多い要素が直接物理的に又は電気的に接触することを意味してよい。しかしながら、「結合」は、また、２つ又はより多い要素が互いに直接接触しないが、それでもさらに互いに協働又は情報をやりとりすることを意味してよい。
【０００８】
いくつかの実施形態は、ハードウェア、ファームウェア、及びソフトウェアのうちの１つ又は組み合わせで実装されてよい。いくつかの実施形態は、また、機械可読媒体に格納された複数の命令として実装されてよく、それは、本明細書中で説明される複数の動作を実行するために、コンピューティングプラットフォームによって読み出されて実行されてよい。機械可読媒体は、機械、例えば、コンピュータによって読み取り可能な形で、情報を格納又は送信するための任意のメカニズムを含んでよい。例えば、機械可読媒体は、特に、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、複数のフラッシュメモリデバイス、又は電気、光、音、若しくは他の形の伝搬される複数の信号、例えば、複数の搬送波、複数の赤外線信号、複数のデジタル信号、若しくは複数の信号の送信及び／又は受信する複数のインターフェースを含んでよい。
【０００９】
実施形態は、実装又は例である。「実施形態」、「一実施形態」、「いくつかの実施形態」、「様々な実施形態」、又は「複数の他の実施形態」に対する本明細書における参照は、複数の実施形態に関連して説明される特定の機能、構造、又は特性が、本発明の少なくともいくつかの実施形態に含まれることを意味するが、全ての実施形態に含まれることを必ずしも意味しない。「実施形態」、「一実施形態」、又は「いくつかの実施形態」の様々な出現は、必ずしも全て同一の実施形態に言及しているわけではない。実施形態からの複数の要素又は複数の態様は、別の実施形態の複数の要素又は複数の態様と組み合わせられることができる。
【００１０】
本明細書で説明されて示される全てのコンポーネント、機能、構造、特性等は、特定の実施形態又は複数の実施形態に含まれる必要があるとは限らない。コンポーネント、機能、構造、又は特性が含まれ「てよい」、「る場合がある」、「ることができる」、「得る」と本明細書で述べた場合、例えば、特定のコンポーネント、機能、構造、又は特性は含まれることを必要とされない。明細書又は請求項が「ある」要素に言及する場合、それは、その要素が１つだけ存在することを意味しない。明細書又は請求項で、「ある追加の」要素に言及する場合、それは、追加の要素が１より多く存在することを除外しない。
【００１１】
いくつかの実施形態が複数の特定の実装を参照して説明されるが、いくつかの実施形態によれば、他の複数の実装が可能であることが留意される。さらに、図面に示される及び／又は本明細書で説明される複数の回路要素又は他の複数の機能の配置及び／又は順序は、示される及び説明される特定の方法で配置される必要はない。多くの他の配置が、いくつかの実施形態に従って可能である。
【００１２】
図に示される各システムにおいて、複数の要素は、場合によっては、表される複数の要素が、異なり及び／又は類似し得ることを示唆するために、各々同一の参照番号又は異なる参照番号を有してよい。しかしながら、要素は、異なる複数の実装を有し、本明細書に示される又は説明されるシステムのいくつか又は全てとともに動作できるほど十分に柔軟であってよい。図に示される様々な要素は、同一又は異なるものであってよい。どちらが第１の要素と称され、どちらが第２の要素と呼ばれるかは任意である。
【００１３】
図１は、複数の可変解像度デプス表現を生成するために用いられてよいコンピューティングデバイス１００のブロック図である。コンピューティングデバイス１００は、特に、例えば、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、モバイルデバイス、又はサーバであってよい。コンピューティングデバイス１００は、格納される複数の命令を実行するように構成された中央処理装置（ＣＰＵ）１０２、及びＣＰＵ１０２によって実行可能な複数の命令を格納するメモリデバイス１０４を含んでよい。ＣＰＵは、バス１０６によってメモリデバイス１０４に結合されていてよい。さらに、ＣＰＵ１０２は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、又は任意の数の他の構成であり得る。さらに、コンピューティングデバイス１００は、１より多いＣＰＵ１０２を含んでよい。ＣＰＵ１０２によって実行される複数の命令は、共有仮想メモリを実装するために用いられてよい。
【００１４】
コンピューティングデバイス１００は、また、グラフィックス処理ユニット（ＧＰＵ）１０８を含んでよい。示されるように、ＣＰＵ１０２は、バス１０６を通じてＧＰＵ１０８に結合されてよい。ＧＰＵ１０８は、コンピューティングデバイス１００内で任意の数のグラフィックス処理を実行するように構成されてよい。例えば、ＧＰＵ１０８は、コンピューティングデバイス１００のユーザに対して表示させるために、複数のグラフィックス画像、複数のグラフィックスフレーム、複数のビデオ、又はその類のものを描画又は操作するように構成されてよい。いくつかの実施形態において、ＧＰＵ１０８は、多数のグラフィックスエンジン（不図示）を含み、各グラフィックスエンジンは、複数の特定のグラフィックスタスクを実行する、又は特定のタイプの複数の作業負荷を実行するように構成される。例えば、ＧＰＵ１０８は、複数の可変解像度デプスマップを生成するエンジンを含んでよい。デプスマップの特定の解像度は、アプリケーションに基づいてよい。
【００１５】
メモリデバイス１０４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、又は任意の他の適切なメモリシステムを含むことができる。例えば、メモリデバイス１０４は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含んでよい。メモリデバイス１０４は、ドライバ１１０を含む。ドライバ１１０は、コンピューティングデバイス１００内の様々なコンポーネントの動作のための複数の命令を実行するように構成される。デバイスドライバ１１０は、ソフトウェア、アプリケーション、プログラム、アプリケーションコード、又はその類のものであってよい。
【００１６】
コンピューティングデバイス１００は、画像キャプチャデバイス１１２を含む。いくつかの実施形態において、画像キャプチャデバイス１１２は、カメラ、ステレオカメラ、赤外線センサ、又はその類のものである。画像キャプチャデバイス１１２は、画像情報をキャプチャするために用いられる。画像キャプチャメカニズムは、例えば、デプスセンサ、画像センサ、赤外線センサ、Ｘ線光子カウントセンサ、又はそれらの任意の組み合わせのようなセンサ１１４を含んでよい。画像センサは、複数の電荷結合素子（ＣＣＤ）画像センサ、複数の相補型金属酸化物半導体（ＣＭＯＳ）画像センサ、複数のシステムオンチップ（ＳＯＣ）画像センサ、複数の感光性薄膜トランジスタを有する複数の画像センサ、又はそれらの任意の組み合わせを含んでよい。いくつかの実施形態において、センサ１１４は、デプスセンサ１１４である。デプスセンサ１１４は、画像情報に関連付けられるデプス情報をキャプチャするために用いられてよい。いくつかの実施形態において、ドライバ１１０は、例えば、デプスセンサのような画像キャプチャデバイス１１２内でセンサを動作させるために用いられてよい。デプスセンサは、複数の画素の間の変化を解析すること、及び所望の解像度に従って複数の画素をキャプチャすることによって、可変解像度デプスマップを生成してよい。
【００１７】
ＣＰＵ１０２は、コンピューティングデバイス１００を１又は複数の入力／出力（Ｉ／Ｏ）デバイス１１８に接続するように構成されるＩ／Ｏデバイスインターフェース１１６に、バス１０６を通じて接続されてよい。Ｉ／Ｏデバイス１１８は、例えば、キーボード及びポインティングデバイスを含んでよく、ここで、ポインティングデバイスは、特に、タッチパッド又はタッチスクリーンを含んでよい。Ｉ／Ｏデバイス１１８は、コンピューティングデバイス１００の複数の内蔵コンポーネントであってよく、又はコンピューティングデバイス１００に外部接続される複数のデバイスであってよい。
【００１８】
ＣＰＵ１０２は、また、コンピューティングデバイス１００をディスプレイデバイス１２２に接続するように構成されるディスプレイインターフェース１２０に、バス１０６を通じてリンクされてよい。ディスプレイデバイス１２２は、コンピューティングデバイス１００の内蔵コンポーネントであるディスプレイスクリーンを含んでよい。ディスプレイデバイス１２２は、また、特に、コンピュータモニタ、テレビ、又はプロジェクタを含んでよく、それは、コンピューティングデバイス１００に外部接続される。
【００１９】
コンピューティングデバイスは、また、ストレージデバイス１２４を含む。ストレージデバイス１２４は、例えば、ハードドライブ、光学式ドライブ、サムドライブ、複数のドライブのアレイ、又はそれらの任意の組み合わせのような物理メモリである。ストレージデバイス１２４は、また、複数のリモートストレージドライブを含んでよい。ストレージデバイス１２４は、コンピューティングデバイス１００上で動作するように構成される任意の数のアプリケーション１２６を含む。複数のアプリケーション１２６は、複数の３Ｄステレオカメラ画像及び複数のステレオディスプレイのための３Ｄグラフィックスを含む、複数のメディア及びグラフィックスを組み合わせるために用いられてよい。複数の例において、アプリケーション１２６は、可変解像度デプスマップを生成するために用いられてよい。
【００２０】
コンピューティングデバイス１００は、また、バス１０６を通じてコンピューティングデバイス１００をネットワーク１３０に接続するように構成されてよいネットワークインターフェースコントローラ（ＮＩＣ）１２８も含んでよい。ネットワーク１３０は、特に、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はインターネットであってよい。
【００２１】
図１のブロック図は、コンピューティングデバイス１００が図１に示されるコンポーネントの全てを含むことを示すことが意図されない。さらに、コンピューティングデバイス１００は、特定の実装の詳細に依存して、図１に示されない任意の数の追加のコンポーネントを含んでよい。
【００２２】
可変解像度デプス表現は、例えば、３Ｄポイントクラウド、多角形メッシュ、又は２次元（２Ｄ）デプスＺアレイのような様々なフォーマットであってよい。説明のために、デプスマップは、可変解像度デプス表現のための複数の特徴を説明するために用いられる。しかしながら、任意のタイプのデプス表現は、本明細書で説明されるように用いられることができる。さらに、説明のために、複数の画素は、複数の表現のいくつかのユニットを説明するために用いられる。しかしながら、例えば、体積画素（ボクセル）のような任意のタイプのユニットが用いられることができる。
【００２３】
デプス表現の解像度は、人の眼と同様の態様で変更されてよい。人間視覚システムは、網膜の中心の近くの複数の光受容体及び複数の神経節細胞の変化する放射状の集合内の有効解像度を増加させ、中心から離れるにつれて指数関数的にこれらの細胞を低減させることによって、必要とされているところの増大する詳細をキャプチャするために高度に最適化され、必要とされているところの詳細を増大させ、他のところの詳細を減少させることによって、解像度及びデプスの認知を最適化する。
【００２４】
網膜は、中心小窩（ｆｏｖｅｏｌａ）と呼ばれる小さい領域を含み、これは、目標位置に最も高いデプス解像度を提供し得る。そして、眼は、目標位置の周囲でディザし（ｄｉｔｈｅｒ）、目標位置に追加の解像度を追加するために、さらに迅速な衝動性運動を行う。したがって、ディザリング（ｄｉｔｈｅｒｉｎｇ）は、焦点の周囲の複数の画素からのデータが焦点の解像度を計算する場合に考慮されることを可能にする。中心窩（ｆｏｖｅａ）領域は、人間の視覚に詳細をさらに追加する中心小窩（ｆｏｖｅｏｌａ）を囲むエリアであるが、中心小窩（ｆｏｖｅｏｌａ）領域と比較するとより低い解像度である。傍中心窩（ｐａｒａｆｏｖｅａ）領域は、中心小窩（ｆｏｖｅｏｌａ）領域より少ない詳細を提供し、周中心窩（ｐｅｒｉｆｏｖｅａ）領域は、傍中心窩（ｐａｒａｆｏｖｅａ）領域より低い解像度を提供する。したがって、周中心窩（ｐｅｒｉｆｏｖｅａ）領域は、人間視覚システム内で最も少ない詳細を提供する。
【００２５】
複数の可変デプス表現は、人間視覚システムと同様の態様で配置されることができる。いくつかの実施形態において、センサは、センサの中心の近くの複数の画素のサイズを減少させるために用いられることができる。複数の画素が減少されるエリアの位置は、また、センサによって受信される複数のコマンドに従って可変であってよい。デプスマップは、また、いくつかのデプスレイヤを含んでよい。デプスレイヤは、特定のデプス解像度を有するデプスマップの領域である。複数のデプスレイヤは、人間視覚システムの複数の領域と同様である。例えば、中心窩（ｆｏｖｅａ）レイヤは、デプスマップの焦点であって、最も高い解像度を有するエリアであってよい。中心小窩（ｆｏｖｅｏｌａ）レイヤは、中心窩（ｆｏｖｅａ）レイヤより低い解像度で、中心窩（ｆｏｖｅａ）レイヤを囲んでよい。傍中心窩（ｐａｒａｆｏｖｅａ）レイヤは、中心小窩（ｆｏｖｅｏｌａ）レイヤより低い解像度で、中心小窩（ｆｏｖｅｏｌａ）レイヤを囲んでよい。さらに、周中心小窩（ｐｅｒｉｆｏｖｅｏｌａ）レイヤは、傍中心小窩（ｐａｒａｆｏｖｅｏｌａ）レイヤより低い解像度で、傍中心小窩（ｐａｒａｆｏｖｅｏｌａ）レイヤを囲んでよい。いくつかの実施形態において、傍中心小窩（ｐａｒａｆｏｖｅｏｌａ）レイヤは、デプス表現の背景レイヤと称されてよい。さらに、背景レイヤは、特定の距離を過ぎた全てのデプス情報を含むデプスマップの一様なエリアであってよい。背景レイヤは、デプス表現内の最も低い解像度に設定されてよい。４つのレイヤがここで説明されるが、可変解像度デプス表現は、任意の数のレイヤを含んでよい。
【００２６】
可変解像度デプス表現によって示されるデプス情報は、いくつかの技術を用いて変更されることができる。可変解像度デプス表現を変更するための１つの技術は、可変ビットデプスを用いることである。各画素に対するビットデプスは、各画素に対するビット精度のレベルを指す。各画素のビットデプスを変更することによって、各画素に対して格納される情報の量は、また、変更されることができる。より小さい複数のビットデプスを有する複数の画素は、画素に関するより少ない情報を格納し、それは、描画される場合に、画素に対してより低い解像度をもたらす。可変解像度デプス表現を変更する別の技術は、可変空間解像度を用いることである。空間解像度を変更することによって、各画素又はボクセルのサイズが変更される。変化するサイズは、より大きい画素領域が複数の領域として共に処理される場合に、より少ないデプス情報が格納されること、及びより小さい複数の画素が独立して処理される場合に、より多いデプス情報が保持されることをもたらす。いくつかの実施形態において、可変ビットデプス、可変空間解像度、画素サイズの減少、又はそれらの任意の組み合わせは、デプス表現内の複数の領域の解像度を変更するために用いられることができる。
【００２７】
図２は、可変ビットデプスに基づく可変解像度デプスマップ２０２及び別の可変解像度デプスマップ２０４の実例である。可変ビットデプスは、また、可変ビット精度と称されてよい。可変解像度デプスマップ２０２及び可変解像度デプスマップ２０４の両方は、デプスマップ２０２及びデプスマップ２０４の各四角形の中の複数の数字によって示されるように、特定のビットデプスを有する。説明のために、デプスマップ２０２及びデプスマップ２０４は、多数の四角形に分割され、デプスマップの画素を表す各四角形を有する。しかしながら、デプスマップは、任意の数の画素を含むことができる。
【００２８】
デプスマップ２０２は、四角形の形状である複数の領域を有し、一方で、デプスマップ２０４は、実質的に円形の形状である複数の領域を有する。デプスマップ２０４の複数の領域は、実質的に円形であり、示される複数の四角形は、完全には円形形状に適合しない。例えば、複数の円形、複数の矩形、複数の八角形、複数の多角形、又は複数の湾曲スプライン形状のような任意の形状が、可変解像度デプス表現における様々な領域を定義するために用いられることができる。デプスマップ２０２及びデプスマップ２０４のそれぞれにおける参照番号２０６のレイヤは、１６ビットのビットデプスを有し、１６ビットの情報が各画素に対して格納される。各画素に対して１６ビットの情報を格納することによって、最大６５，５３６の色の異なる階調が、２進数表現によって各画素に対して格納されることができる。デプスマップ２０２及びデプスマップ２０４の参照番号２０８のレイヤは、８ビットのビットデプスを有し、８ビットの情報が各画素に対して格納され、それは、各画素に対して最大２５６の色の異なる階調をもたらす。最後に、参照番号２１０のレイヤは、４ビットのビットデプスを有し、４ビットの情報が各画素に対して格納され、それは、各画素に対して最大１６の色の異なる階調をもたらす。
【００２９】
図３は、可変空間解像度に基づく可変解像度デプスマップ３０２及び結果として生じる画像３０４の実例である。いくつかの実施形態において、デプスマップ３０２は、デプスのボクセルピラミッド表現を用いてよい。ピラミッド表現は、例えば顔又は複数の眼のような画像の複数の特徴を検出するために用いられてよい。ピラミッドオクターブ解像度は、デプスマップの複数のレイヤの間で変更できる。参照番号３０６のレイヤは、粗い１／４ピラミッドオクターブ解像度を有し、それは、一体として処理される４つのボクセルをもたらす。参照番号３０８のレイヤは、より細かい１／２ピラミッドオクターブ解像度を有し、それは、一体として処理される２つのボクセルをもたらす。参照番号３１０の中心レイヤは、１／１ピラミッドオクターブ解像度を有する最も高いピラミッドオクターブ解像度を有し、１つのボクセルは、一体として処理される。結果として生じる画像３０４は、画像の複数の眼の近くの画像の中心に最も高い解像度を有する。いくつかの実施形態において、デプス情報は、構造化ファイルフォーマットで複数の可変解像度レイヤとして格納されてよい。さらに、いくつかの実施形態において、層状可変空間解像度は、可変解像度デプス表現を生成するために用いられてよい。層状可変空間解像度において、画像ピラミッドは、生成され、そして、オーバレイされるために、より高い複数の解像度領域のための複製された背景として用いられる。画像ピラミッドの最も小さい領域は、視野全体をカバーすべく画像のエリアを埋めるために、背景として複製され得る。
【００３０】
デプス表現の一部のみに高解像度を用いることによって、より少ない情報がより低い解像度の複数のエリアに対して格納されるので、デプスマップのサイズは減少されてよい。さらに、複数の可変デプス表現を用いるより小さいファイルが処理される場合、電力消費が減少される。いくつかの実施形態において、複数の画素のサイズは、デプスマップの焦点で低減されてよい。複数の画素のサイズは、焦点を含む表現のレイヤの有効解像度を増加する態様で減少されてよい。画素サイズの減少は、人間視覚システムの網膜パターンと同様である。複数の画素のサイズを減少するために、追加の複数の光子が画像の焦点で集められることができるように、センサ細胞受容体のデプスは増加させられることができる。いくつかの実施形態において、デプスセンシングモジュールは、人間視覚システムと同様に形成される設計によって有効解像度を増加してよく、複数のフォトダイオードとして実装される複数の光受容体を増加することは、上で説明された複数の網膜パターンに似ているパターンで実装される。いくつかの実施形態において、層状デプス精度及び可変デプス領域形状は、デプスマップのサイズを減少するために用いられることができる。
【００３１】
図４は、複数の可変解像度デプスマップから展開される複数の画像４００のセットである。複数の画像４００は、様々なレベルの解像度を有するいくつかの領域を含む。いくつかの実施形態において、可変ビットデプス、可変空間解像度、画素サイズの減少、又はそれらの任意の組み合わせは、複数のデプス指標に基づいて自動的に調整される。本明細書で用いられるように、デプス指標は、様々なデプス解像度の複数のエリアを区別するために用いられることができる画像の特徴である。したがって、デプス指標は、明暗、テクスチャ、複数のエッジ、複数の輪郭、複数の色、動き、又は時間であり得る。しかしながら、デプス指標は、様々なデプス解像度の複数のエリアを区別するために用いられることができる画像の任意の特徴であり得る。
【００３２】
自動的に調整された複数の解像度領域は、デプス指標を用いて、空間解像度、ビットデプス、画素サイズ、又はそれらの任意の組み合わせに調整されるデプスマップのエリアである。デプスマップの任意のレイヤは、調整された複数の解像度領域でオーバレイされることができる。調整された複数の解像度領域は、複数のデプス指標が特定の値であるデプスを減少するために、画像センサへの複数のコマンドに基づくことができる。例えば、テクスチャが低い場合、デプス解像度は低くてよく、テクスチャが高いところで、デプス解像度は、また、高くてよい。画像センサは、デプス画像、及びデプスマップに格納される結果として生じる複数の可変解像度を自動的に調整できる。
【００３３】
画像４００は、デプス解像度を変更するために、デプス指標としてテクスチャを用いる。いくつかの実施形態において、デプスセンサは、テクスチャベースのデプス調整を用いて低いテクスチャの複数の領域を自動的に検出するために用いられる。低いテクスチャの複数の領域は、デプスセンサによって検出されてよい。いくつかの実施形態において、低いテクスチャの複数の領域は、テクスチャ解析を用いて検出される。いくつかの実施形態において、低いテクスチャの複数の領域は、複数の画素がテクスチャを示すいくつかの閾値を満たすことによって検出される。さらに、可変ビットデプス及び可変空間解像度は、デプスセンサによって見つけられるような低いテクスチャの複数の領域におけるデプス解像度を減少するために用いられてよい。同様に、可変ビット精度及び可変空間解像度は、高いテクスチャの複数のエリアにおけるデプス解像度を増加するために用いられてよい。デプス表現における解像度を変更するために用いられる特定の指標は、デプスマップのための特定のアプリケーションに基づいてよい。さらに、複数のデプス指標を用いることは、デプス表現のサイズ、及びデプス表現を処理するために用いられる電力を減少しながら、指標に基づくデプス情報が格納されることを可能にする。
【００３４】
動きがデプス指標として用いられる場合、動的フレームレートは、デプスセンサがシーンの動きに基づいてフレームレートを判断することを可能にするために用いられる。例えば、シーンの動きがない場合、新しいデプスマップを計算する必要はない。結果として、予め定められた閾値を下回るシーンの動きに対して、より低いフレームレートが用いられることができる。同様に、予め定められた閾値を上回るシーンの動きに対して、より高いフレームレートが用いられることができる。いくつかの実施形態において、センサは、複数の画素隣接比較を用い、フレーム毎に画素の動きに複数の閾値を適応して、フレームの動きを検出できる。フレームレートの複数の調節は、デプスマップが、一定の複数の間隔及び上昇／下降の複数の傾斜を含む、選択される又は動的に計算される複数の間隔で生成されることを可能にする。さらに、フレームレートは、デプスレイヤに基づいて可変であり得る。例えば、より低い解像度のデプスレイヤに対するデプスマップを３０ＦＰＳに更新する一方で、デプスマップは、高解像度のデプスレイヤに対して６０フレーム／秒（ＦＰＳ）のレートに更新されることができる。
【００３５】
デプス指標を用いるデプス解像度の自動調整に加えて、デプス解像度は、画像内の特定の焦点が最も高い又は最も低い解像度のポイントになるように、センサへのコマンドに基づいて調整されてよい。さらに、デプス解像度は、画像内の特定のオブジェクトが最も高い又は最も低い解像度のポイントになるように、センサへのコマンドに基づいて調整されてよい。複数の例において、焦点は、画像の中心になり得る。そして、センサは、中心窩（ｆｏｖｅａ）レイヤとして画像の中心を指定し、そして、センサへのさらなる複数のコマンドに基づいて中心小窩（ｆｏｖｅｏｌａ）レイヤ、周中心小窩（ｐｅｒｉｆｏｖｅｏｌａ）レイヤ、及び傍中心小窩（ｐａｒａｆｏｖｅｏｌａ）レイヤを指定し得る。他の複数のレイヤは、また、既に整っているセンサの複数の設定を通じて指定されてよい。さらに、各レイヤは、必ずしも可変デプスマップ表現で存在するとは限らない。例えば、焦点が追跡される場合、可変デプスマップ表現は、中心窩（ｆｏｖｅａ）レイヤ及び周中心小窩（ｐｅｒｉｆｏｖｅｏｌａ）レイヤを含んでよい。
【００３６】
デプス表現の異なる複数の領域の間で解像度を変更することの結果は、可変解像度のデプス情報の複数のレイヤで構成されるデプス表現である。いくつかの実施形態において、可変解像度は、センサによって自動的に生成される。ドライバは、デプス表現の解像度を変更する態様でセンサを動作させるために用いられてよい。センサが特定のデプス指標に関連付けられることができる複数の画素を処理している場合に、センサが複数の画素のビットデプス又は空間解像度を自動的に修正するように、複数のセンサドライバは修正されることができる。例えば、ＣＭＯＳセンサは、典型的に、ライン毎の方法で画像データを処理する。センサが低い解像度が所望される特定の明暗値の範囲を有する複数の画素を処理する場合、センサは、その明暗値の範囲内の複数の画素に対するビットデプス又は空間解像度を自動的に減少してよい。このように、センサは、可変解像度デプスマップを生成するために用いられることができる。いくつかの実施形態において、コマンドプロトコルは、センサを用いて可変解像度デプスマップを取得するために用いられてよい。いくつかの実施形態において、画像キャプチャデバイスは、画像キャプチャメカニズムの複数の機能を示すプロトコル内の複数のコマンドを用いてコンピューティングデバイスと通信してよい。例えば、画像キャプチャメカニズムは、画像キャプチャメカニズムによって提供される解像度の複数のレベルを示す複数のコマンド、画像キャプチャメカニズムによってサポートされる複数のデプス指標、及び複数の可変デプス表現を用いる動作のための他の情報を用いることができる。コマンドプロトコルは、また、各デプスレイヤのサイズを指定するために用いられてよい。
【００３７】
いくつかの実施形態において、可変解像度デプス表現は、標準ファイルフォーマットを用いて格納されることができる。可変解像度デプス表現を含むファイル内で、ヘッダ情報は、格納されてよく、各デプスレイヤのサイズ、用いられるデプス指標、各レイヤの解像度、ビットデプス、空間解像度、及び画素サイズを示す。このように、可変解像度デプス表現は、複数のコンピューティングシステムを超えて可搬的であり得る。さらに、標準化可変解像度デプス表現ファイルは、レイヤ毎に画像情報へのアクセスを可能にできる。例えば、アプリケーションは、標準化可変解像度デプス表現ファイルにおけるヘッダ情報にアクセスすることによって、処理する画像の最も低い解像度の部分にアクセスできる。いくつかの実施形態において、可変解像度デプスマップは、ファイルフォーマット及びデプスセンシングモジュールにおける複数の特徴として標準化されることができる。
【００３８】
図５は、可変解像度デプスマップを生成する方法の処理フロー図である。
【００３９】
ブロック５０２において、デプス指標が判断される。上で説明されたように、デプス指標は、明暗、テクスチャ、複数のエッジ、複数の輪郭、複数の色、動き、又は時間であり得る。さらに、デプス指標は、センサによって判断されることができ、又は、デプス指標は、コマンドプロトコルを用いてセンサに送信されることができる。
【００４０】
ブロック５０４において、デプス情報は、デプス指標に基づいて変更される。いくつかの実施形態において、デプス情報は、可変ビットデプス、可変空間解像度、画素サイズの減少、又はそれらの任意の組み合わせを用いて変更されることができる。デプス情報の変化は、可変解像度デプスマップ内の１又は複数のデプスレイヤをもたらす。いくつかの実施形態において、層状可変空間解像度は、特定のデプスレイヤにおける残りの空間を埋めるべく、デプスレイヤの一部を複製することによって、デプス情報を変更するために用いられることができる。さらに、デプス情報は、自動的に調整された複数の解像度領域を用いて変更されることができる。ブロック５０６において、可変解像度デプス表現は、変更されたデプス情報に基づいて生成される。可変解像度デプス表現は、標準化ヘッダ情報を有する標準化ファイルフォーマットで格納されてよい。
【００４１】
現在説明されている複数の技術を用いて、デプス表現精度は増大することができる。複数の可変解像度デプスマップは、デプス表現内の必要とされているところに精度を提供し、それは、精度が必要とされているところに複数の集約アルゴリズムが用いられ、精度が必要とされていないところにより少ない複数の集約アルゴリズムが用いられることを可能にする。例えば、複数のステレオデプスマッチングアルゴリズムは、いくつかの領域におけるサブ画素精度、他の複数の領域における画素精度、及び複数の低解像度領域における画素グループ精度を提供するために、複数の特定の領域において最適化されることができる。
【００４２】
複数のデプス解像度は、人間視覚システムに一致する態様で提供されることができる。必要とされるところのみの精度に対して適切に定義される人の眼の後にモデリングされたデプスマップ解像度を計算することによって、デプスマップ全体が高解像度でないので、性能が増大し、電力が減少する。さらに、可変解像度をデプスマップに追加することによって、より高解像度を要求するデプス画像の複数の部分はそれを有してよく、より低い解像度を要求する複数の部分は同様にそれを有してよく、より少ないメモリを消費する複数のより小さいデプスマップをもたらす。動きがデプス指標としてモニタされる場合、解像度は、選択的に、大きい動きの複数のエリアにおいて増加され、小さい動きの複数のエリアにおいて低減されることができる。また、デプス指標としてテクスチャをモニタすることによって、デプスマップの精度は、高いテクスチャの複数のエリアにおいて増加され、低いテクスチャの複数のエリアにおいて低減されることができる。デプスマップの視野は、また、変更された複数のエリアに限定されることができ、メモリの帯域幅を低減する。
【００４３】
図６は、可変解像度デプスマップを生成するための例示的なシステム６００のブロック図である。同様の数字が付けられた複数のアイテムは、図１に関連して説明されたとおりである。いくつかの実施形態において、システム６００は、メディアシステムである。その上、システム６００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、又はその類のものに組み込まれてよい。
【００４４】
様々な実施形態において、システム６００は、ディスプレイ６０４に結合されたプラットフォーム６０２を備える。プラットフォーム６０２は、例えば、（複数の）コンテンツサービスデバイス６０６、（複数の）コンテンツ配信デバイス６０８、又は他の類似のコンテンツソースのようなコンテンツデバイスからコンテンツを受信してよい。１又は複数のナビゲーション機能を含むナビゲーションコントローラ６１０は、例えば、プラットフォーム６０２及び／又はディスプレイ６０４と情報をやりとりするために用いられてよい。これらのコンポーネントのそれぞれは、下でより詳細に説明される。
【００４５】
プラットフォーム６０２は、チップセット６１２、中央処理装置（ＣＰＵ）１０２、メモリデバイス１０４、ストレージデバイス１２４、グラフィックスサブシステム６１４、アプリケーション１２６、及び無線機６１６の任意の組み合わせを含んでよい。チップセット６１２は、ＣＰＵ１０２、メモリデバイス１０４、ストレージデバイス１２４、グラフィックスサブシステム６１４、複数のアプリケーション１２６、及び無線機６１４の間の相互通信を提供してよい。例えば、チップセット６１２は、ストレージデバイス１２４との相互通信を提供することが可能なストレージアダプタ（不図示）を含んでよい。
【００４６】
ＣＰＵ１０２は、複数の複合命令セットコンピュータ（ＣＩＳＣ）若しくは縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、複数のｘ８６命令セット互換プロセッサ、マルチコア、又は、任意の他のマイクロプロセッサ若しくは中央処理装置（ＣＰＵ）として実装されてよい。いくつかの実施形態において、ＣＰＵ１０２は、（複数の）デュアルコアプロセッサ、（複数の）デュアルコアモバイルプロセッサ、又はその類のものを含む。
【００４７】
メモリデバイス１０４は、限定されないが、例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、又はスタティックＲＡＭ（ＳＲＡＭ）のような揮発性メモリデバイスとして実装されてよい。ストレージデバイス１２４は、限定されないが、例えば、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージデバイス、付属ストレージデバイス、フラッシュメモリ、バッテリバックアップＳＤＲＡＭ（シンクロナスＤＲＡＭ）、及び／又はネットワークアクセス可能ストレージデバイスのような不揮発性ストレージデバイスとして実装されてよい。いくつかの実施形態において、ストレージデバイス１２４は、例えば、複数のハードドライブが含まれる場合、重要なデジタルメディアに対するストレージ性能の強化された保護を向上させるための技術を含む。
【００４８】
グラフィックスサブシステム６１４は、例えば、表示するためのスチル又はビデオのような複数の画像の処理を実行してよい。例えば、グラフィックスサブシステム６１４は、例えば、ＧＰＵ１０８又は視覚処理ユニット（ＶＰＵ）のようなグラフィックス処理ユニット（ＧＰＵ）を含んでよい。アナログ又はデジタルのインターフェースは、グラフィックスサブシステム６１４とディスプレイ６０４とを通信可能に結合するために用いられてよい。例えば、インターフェースは、Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ（ＨＤＭＩ（登録商標））、ディスプレイポート（ＤｉｓｐｌａｙＰｏｒｔ）、無線ＨＤＭＩ（登録商標）、及び／又は複数の無線ＨＤ準拠技術のいずれかであってよい。グラフィックスサブシステム６１４は、ＣＰＵ１０２又はチップセット６１２に統合されてよい。代替的には、グラフィックスサブシステム６１４は、チップセット６１２に通信可能に結合されるスタンドアロンカードであってよい。
【００４９】
本明細書で説明される複数のグラフィックス及び／又はビデオ処理技術は、様々なハードウェアアーキテクチャで実装されてよい。例えば、グラフィックス及び／又はビデオ機能は、チップセット６１２内に統合されてよい。代替的には、別個のグラフィックス及び／又はビデオプロセッサが用いられてよい。さらに別の実施形態として、複数のグラフィックス及び／又はビデオ機能は、マルチコアプロセッサを含む汎用プロセッサによって実装されてよい。さらなる実施形態において、複数の機能は、家庭用電気機器に実装されてよい。
【００５０】
無線機６１６は、様々な適切な無線通信技術を用いて、複数の信号を送信及び受信することが可能な１又は複数の無線機を含んでよい。そのような複数の技術は、１又は複数の無線ネットワークをまたがる通信を伴ってよい。例示的な複数の無線ネットワークは、複数の無線ローカルエリアネットワーク（ＷＬＡＮ）、複数の無線パーソナルエリアネットワーク（ＷＰＡＮ）、複数の無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、複数のセルラーネットワーク、複数の衛星ネットワーク、又はその類のものを含む。そのような複数のネットワークをまたがった通信において、無線機６１６は、任意のバージョンの１又は複数の適用規格に従って動作してよい。
【００５１】
ディスプレイ６０４は、任意のテレビタイプモニタ又はディスプレイを含んでよい。例えば、ディスプレイ６０４は、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビ、又はその類のものを含んでよい。ディスプレイ６０４は、デジタル及び／又はアナログであってよい。いくつかの実施形態において、ディスプレイ６０４は、ホログラフィックディスプレイである。また、ディスプレイ６０４は、視覚投影を受信し得る透明な面であってよい。そのような投影は、情報の様々な形、複数の画像、複数のオブジェクト、又はその類のものを伝達してよい。例えば、そのような投影は、モバイル拡張現実（ＭＡＲ）アプリケーションの視覚的オーバレイであってよい。１又は複数のアプリケーション１２６の制御下において、プラットフォーム６０２は、ディスプレイ６０４上にユーザインターフェース６１８を表示してよい。
【００５２】
（複数の）コンテンツサービスデバイス６０６は、任意の国の、国際の、又は独立のサービスによって主催されてよく、したがって、例えば、インターネットを介してプラットフォーム６０２にアクセス可能であってよい。（複数の）コンテンツサービスデバイス６０６は、プラットフォーム６０２及び／又はディスプレイ６０４に結合されてよい。プラットフォーム６０２及び／又は（複数の）コンテンツサービスデバイス６０６は、ネットワーク１３０から及びに対してメディア情報を通信（例えば、送信及び／又は受信）するために、ネットワーク１３０に結合されてよい。（複数の）コンテンツ配信デバイス６０８は、また、プラットフォーム６０２及び／又はディスプレイ６０４に結合されてよい。
【００５３】
（複数の）コンテンツサービスデバイス６０６は、デジタル情報を配信することが可能なインターネット可能なデバイス、電話、ネットワーク、パーソナルコンピュータ、又はケーブルテレビボックスを含んでよい。その上、（複数の）コンテンツサービスデバイス６０６は、ネットワーク１３０を介して又は直接、複数のコンテンツプロバイダとプラットフォーム６０２又はディスプレイ６０４との間で、一方向又は双方向にコンテンツを通信することが可能な任意の他の類似の複数のデバイスを含んでよい。コンテンツは、ネットワーク１３０を介して、システム６００及びコンテンツプロバイダにおける複数のコンポーネントのうちのいずれか１つから及びに対して一方向及び／又は双方向に通信されてよいことが理解される。コンテンツの複数の例は、例えば、ビデオ、音楽、医療、及びゲーム情報、並びにその他を含む任意のメディア情報を含んでよい。
【００５４】
（複数の）コンテンツサービスデバイス６０６は、例えば、メディア情報、デジタル情報、又は他のコンテンツを含むケーブルテレビ番組のようなコンテンツを受信してよい。複数のコンテンツプロバイダの複数の例は、特に、任意のケーブル若しくは衛星テレビ、又は複数の無線若しくはインターネットコンテンツプロバイダを含んでよい。
【００５５】
いくつかの実施形態において、プラットフォーム６０２は、ナビゲーションコントローラ６１０から複数の制御信号を受信し、それは、１又は複数のナビゲーション機能を含む。ナビゲーションコントローラ６１０の複数のナビゲーション機能は、例えば、ユーザインターフェース６１８と情報をやりとりするために用いられてよい。ナビゲーションコントローラ６１０は、ユーザが空間（例えば、連続又は多次元）データをコンピュータに入力することを可能にするコンピュータハードウェアコンポーネント（具体的には、ヒューマンインターフェースデバイス）であってよいポインティングデバイスであってよい。例えば、複数のグラフィカルユーザインターフェース（ＧＵＩ）、並びに複数のテレビ及び複数のモニタのような多くのシステムは、ユーザが複数の身体的なジェスチャを用いてコンピュータ又はテレビを制御及びそれにデータを提供することを可能にする。複数の身体的なジェスチャは、限定されないが、複数の顔の表情、複数の顔の動き、様々な手足の動き、複数の体の動き、ボディランゲージ、又はそれらの任意の組み合わせを含む。そのような複数の身体的なジェスチャは、認識されて複数のコマンド又は複数の命令に変換されることができる。
【００５６】
ナビゲーションコントローラ６１０の複数のナビゲーション機能の複数の動きは、ディスプレイ６０４上に表示されるポインタ、カーソル、フォーカスリング、又は複数の他の視覚的な指標の複数の動きによって、ディスプレイ６０４上に繰り返されてよい。例えば、複数のアプリケーション１２６の制御下において、ナビゲーションコントローラ６１０上に位置付けられる複数のナビゲーション機能は、ユーザインターフェース６１８上に表示される複数の仮想ナビゲーション機能にマッピングされてよい。いくつかの実施形態において、ナビゲーションコントローラ６１０は、別個のコンポーネントではなくてよいが、むしろ、プラットフォーム６０２及び／又はディスプレイ６０４に統合されてよい。
【００５７】
システム６００は、例えば、有効にされた場合、最初の起動の後に、複数のユーザがボタンのタッチでプラットフォーム６０２を即座にオン及びオフすることを可能にする技術を含む複数のドライバ（不図示）を含んでよい。プログラムロジックは、プラットフォームが「オフ」される場合、プラットフォーム６０２が複数のメディアアダプタ又は他の（複数の）コンテンツサービスデバイス６０６又は（複数の）コンテンツ配信デバイス６０８にコンテンツをストリームすることを可能にしてよい。その上、チップセット６１２は、例えば、５．１サラウンドサウンドオーディオ及び／又は高品位７．１サラウンドサウンドオーディオのためのハードウェア及び／又はソフトウェアサポートを含んでよい。複数のドライバは、統合された複数のグラフィックスプラットフォームのためのグラフィックスドライバを含んでよい。いくつかの実施形態において、グラフィックスドライバは、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）グラフィックスカードを含む。
【００５８】
様々な実施形態において、システム６００の中に示される複数のコンポーネントのうちの任意の１又は複数は、統合されてよい。例えば、プラットフォーム６０２及び（複数の）コンテンツサービスデバイス６０６が統合されてよく、プラットフォーム６０２及び（複数の）コンテンツ配信デバイス６０８が統合されてよく、又はプラットフォーム６０２、（複数の）コンテンツサービスデバイス６０６、及び（複数の）コンテンツ配信デバイス６０８が統合されてよい。いくつかの実施形態において、プラットフォーム６０２及びディスプレイ６０４は、統合されたユニットである。例えば、ディスプレイ６０４及び（複数の）コンテンツサービスデバイス６０６が統合されてよく、又はディスプレイ６０４及び（複数の）コンテンツ配信デバイス６０８が統合されてよい。
【００５９】
システム６００は、無線システム又は有線システムとして実装されてよい。無線システムとして実装される場合、システム６００は、例えば、１又は複数のアンテナ、送信機、受信機、送受信機、増幅器、フィルタ、制御ロジック、及びその他のような、無線共有媒体で通信するために適切な複数のコンポーネント及び複数のインターフェースを含んでよい。無線共有媒体の例は、例えば、ＲＦスペクトルのような無線スペクトルの部分を含んでよい。有線システムとして実装される場合、システム６００は、例えば、複数の入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続する複数の物理コネクタ、ネットワークインターフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ、又はその類のもののような、有線通信媒体で通信するために適切な複数のコンポーネント及び複数のインターフェースを含んでよい。有線通信媒体の複数の例は、ワイヤ、ケーブル、複数の金属リード線、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、ツイストペアワイヤ、同軸ケーブル、ファイバ光学、又はその類のものを含んでよい。
【００６０】
プラットフォーム６０２は、情報を通信するために、１又は複数の論理又は物理チャネルを確立してよい。情報は、メディア情報及び制御情報を含んでよい。メディア情報は、ユーザのためのコンテンツを表す任意のデータを指してよい。コンテンツの複数の例は、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール（ｅメール）メッセージ、音声メールメッセージ、複数の英数字のシンボル、グラフィックス、画像、ビデオ、テキスト、及びその類のものからのデータを含んでよい。音声会話からのデータは、例えば、音声情報、複数の沈黙期間、背景ノイズ、快適ノイズ、複数のトーン、及びその類のものであってよい。制御情報は、自動化されたシステムのための複数のコマンド、複数の命令、又は複数の制御語を表す任意のデータを指してよい。例えば、制御情報は、システムを通じてメディア情報をルーティングするために、又は予め定められた態様でメディア情報を処理することをノードに指示するために用いられてよい。しかしながら、複数の実施形態は、図６に示される又は説明される複数の要素又はコンテキストに限定されない。
【００６１】
図７は、図６のシステム６００が具現化されてよい小型フォームファクタデバイス７００の概略図である。図６に関連して説明されたように、同様の番号のアイテムがある。いくつかの実施形態において、例えば、デバイス７００は、複数の無線機能を有するモバイルコンピューティングデバイスとして実装される。モバイルコンピューティングデバイスは、例えば、処理システム、及び例えば、１又は複数のバッテリのようなモバイル電源又は電力供給装置を有する任意のデバイスを指してよい。
【００６２】
上で説明されたように、モバイルコンピューティングデバイスの複数の例は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、及びその類のものを含んでよい。
【００６３】
モバイルコンピューティングデバイスの例は、また、例えば、リストコンピュータ、フィンガーコンピュータ、リングコンピュータ、眼鏡コンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、靴コンピュータ、衣類コンピュータ、又は任意の他の適切なタイプのウェアラブルコンピュータのような、人によって身につけられるように配置されるコンピュータを含んでよい。例えば、モバイルコンピューティングデバイスは、音声通信及び／又はデータ通信だけでなく、複数のコンピュータアプリケーションを実行することが可能なスマートフォンとして実装されてよい。いくつかの実施形態は、例として、スマートフォンとして実装されるモバイルコンピューティングデバイスを用いて説明されてよいが、複数の他の実施形態は、同様に、複数の他の無線モバイルコンピューティングデバイスを用いて実装されてよいことが理解される。図７において示されるように、デバイス７００は、筐体７０２、ディスプレイ７０４、入力／出力（Ｉ／Ｏ）デバイス７０６、及びアンテナ７０８を含んでよい。デバイス７００は、また、複数のナビゲーション機能７１０を含んでよい。ディスプレイ７０４は、モバイルコンピューティングデバイスに適切な情報を表示するための任意の適切なディスプレイユニットを含んでよい。Ｉ／Ｏデバイス７０６は、モバイルコンピューティングデバイスに情報を入力するための任意の適切なＩ／Ｏデバイスを含んでよい。例えば、Ｉ／Ｏデバイス７０６は、英数字キーボード、テンキーパッド、タッチパッド、複数の入力キー、複数のボタン、複数のスイッチ、複数のロッカースイッチ、複数のマイク、複数のスピーカ、音声認識デバイス、及びソフトウェア、又はその類のものを含んでよい。情報は、また、マイク経由でデバイス７００に入力されてよい。そのような情報は、音声認識デバイスによってデジタル化されてよい。
【００６４】
いくつかの実施形態において、小型フォームファクタデバイス７００はタブレットデバイスである。いくつかの実施形態において、タブレットデバイスは、画像キャプチャメカニズムを含み、画像キャプチャメカニズムは、カメラ、ステレオカメラ、赤外線センサ、又はその類のものである。画像キャプチャデバイスは、画像情報、デプス情報、又はそれらの任意の組み合わせをキャプチャするために用いられてよい。タブレットデバイスは、また、１又は複数のセンサを含んでよい。例えば、複数のセンサは、デプスセンサ、画像センサ、赤外線センサ、Ｘ線光子カウントセンサ、又はそれらの任意の組み合わせであってよい。画像センサは、電荷結合素子（ＣＣＤ）画像センサ、相補型金属酸化物半導体（ＣＭＯＳ）画像センサ、システムオンチップ（ＳＯＣ）画像センサ、複数の感光性薄膜トランジスタを有する複数の画像センサ、又はそれらの任意の組み合わせを含んでよい。いくつかの実施形態において、小型フォームファクタデバイス７００はカメラである。
【００６５】
さらに、いくつかの実施形態において、本技術は、例えば、複数のテレビパネル及び複数のコンピュータモニタのような複数のディスプレイと共に用いられてよい。任意のサイズのディスプレイが用いられることができる。いくつかの実施形態において、ディスプレイは、複数の可変解像度デプス表現を含む複数の画像及びビデオを描画するために用いられる。さらに、いくつかの実施形態において、ディスプレイは３次元ディスプレイである。いくつかの実施形態において、ディスプレイは、複数の可変解像度デプス表現を用いる複数の画像をキャプチャするための画像キャプチャデバイスを含む。いくつかの実施形態において、画像デバイスは、複数の可変解像度デプス表現を用いる複数の複数の画像又はビデオをキャプチャし、そして、リアルタイムでユーザに対して複数の画像又はビデオを描画してよい。
【００６６】
さらに、複数の実施形態において、コンピューティングデバイス１００又はシステム６００は、プリントエンジンを含んでよい。プリントエンジンは、画像をプリントデバイスに送信できる。画像は、本明細書で説明されるようなデプス表現を含んでよい。プリントデバイスは、複数のプリンタ、複数のファックスマシン、及びプリントオブジェクトモジュールを用いて結果として生じる画像をプリントできる他のプリントデバイスを含むことができる。いくつかの実施形態において、プリントエンジンは、ネットワーク１３０（図１、図６）を超えて、可変解像度デプス表現をプリントデバイスに送信してよい。いくつかの実施形態において、プリントデバイスは、デプス指標に基づいてデプス情報を変更するために、１又は複数のセンサを含む。プリントデバイスは、また、可変解像度デプス表現を生成し、描画し、プリントしてよい。図８は、複数の可変解像度デプス表現のためのコードを格納する有形の非一時的コンピュータ可読媒体８００を示すブロック図である。有形の非一時的コンピュータ可読媒体８００は、コンピュータバス８０４を超えてプロセッサ８０２によってアクセスされてよい。さらに、有形の非一時的コンピュータ可読媒体８００は、本明細書で説明される複数の方法を実行するようにプロセッサ８０２に指示するように構成されるコードを含んでよい。
【００６７】
図８に示されるように、本明細書中で説明される様々なソフトウェアコンポーネントは、１又は複数の有形の非一時的コンピュータ可読媒体８００に格納されてよい。例えば、指標モジュール８０６は、デプス指標を判断するように構成されてよい。デプスモジュール８０８は、デプス指標に基づいて、画像のデプス情報を変更するように構成されてよい。表現モジュール８１０は、可変解像度デプス表現を生成してよい。
【００６８】
図８のブロック図は、有形の非一時的コンピュータ可読媒体８００が図８に示される複数のコンポーネントの全てを含むことを示すことが意図されない。さらに、有形の非一時的コンピュータ可読媒体８００は、特定の実装の詳細に依存して、図８に示されない任意の数の追加のコンポーネントを含んでよい。
【実施例１】
【００６９】
可変解像度デプス表現を生成する装置が本明細書で説明される。装置は、デプス指標を判断するロジックと、デプス指標に基づいて画像のデプス情報を変更するロジックと、可変解像度デプス表現を生成するロジックとを含む。
【００７０】
デプス指標は、明暗、テクスチャ、複数のエッジ、複数の輪郭、複数の色、動き、時間、又はそれらの任意の組み合わせであってよい。さらに、デプス指標は、可変解像度デプス表現の使用によって特定されてよい。デプス指標に基づいて画像のデプス情報を変更するロジックは、可変ビットデプス、可変空間解像度、画素サイズの減少、又はそれらの任意の組み合わせを用いて、デプス情報を変更することを含んでよい。１又は複数のデプスレイヤは、変更されたデプス情報から取得されてよく、各デプスレイヤは、特定のデプス解像度を含む。デプス指標に基づいて画像のデプス情報を変更するロジックは、層状可変空間解像度を用いることを含んでよい。可変解像度デプス表現は、標準化ヘッダ情報を有する標準化ファイルフォーマットで格納されてよい。コマンドプロトコルは、可変解像度デプス表現を生成するために用いられてよい。装置は、タブレットデバイス又はプリントデバイスであってよい。さらに、可変解像度デプス表現は、ディスプレイ上に画像又はビデオを描画するために用いられてよい。
【実施例２】
【００７１】
画像キャプチャデバイスが本明細書で説明される。画像キャプチャデバイスは、センサを含み、センサは、デプス指標を判断し、デプス指標に基づいてデプス情報をキャプチャし、デプス情報に基づいて可変解像度デプス表現を生成する。デプス指標は、明暗、テクスチャ、複数のエッジ、複数の輪郭、複数の色、動き、時間、又はそれらの任意の組み合わせであってよい。デプス指標は、コマンドプロトコルを用いてセンサによって受信される複数のコマンドに基づいて判断されてよい。センサは、可変ビットデプス、可変空間解像度、画素サイズの減少、又はそれらの任意の組み合わせを用いて、デプス情報を変更してよい。さらに、センサは、デプス情報から複数のデプスレイヤを生成してよく、各デプスレイヤは、特定のデプス解像度を含む。センサは、標準化ヘッダ情報を有する標準化ファイルフォーマットで可変解像度デプス表現を生成してよい。さらに、センサは、可変解像度デプス表現を生成するために用いられるコマンドプロトコルのためのインターフェースを含んでよい。画像キャプチャデバイスは、カメラ、ステレオカメラ、飛行時間センサ、デプスセンサ、構造光カメラ、又はそれらの任意の組み合わせであってよい。
【実施例３】
【００７２】
コンピューティングデバイスが本明細書で説明される。コンピューティングデバイスは、格納される複数の命令を実行するように構成される中央処理装置（ＣＰＵ）と、複数の命令を格納するストレージデバイスとを含み、ストレージデバイスは、プロセッサ実行可能コードを備える。プロセッサ実行可能コードは、ＣＰＵによって実行される場合に、デプス指標を判断し、デプス指標に基づいて画像のデプス情報を変更し、可変解像度デプス表現を生成するように構成される。デプス指標は、明暗、テクスチャ、複数のエッジ、複数の輪郭、複数の色、動き、時間、又はそれらの任意の組み合わせであってよい。デプス指標に基づいて画像のデプス情報を変更することは、可変ビットデプス、可変空間解像度、画素サイズの減少、又はそれらの任意の組み合わせを用いて、デプス情報を変更することを含んでよい。１又は複数のデプスレイヤは、変更されたデプス情報から取得されてよく、各デプスレイヤは、特定のデプス解像度を含む。
【実施例４】
【００７３】
有形の非一時的コンピュータ可読媒体が本明細書で説明される。コンピュータ可読媒体は、デプス指標を判断し、デプス指標に基づいて画像のデプス情報を変更し、可変解像度デプス表現を生成するようにプロセッサに指示するコードを含む。デプス指標は、明暗、テクスチャ、複数のエッジ、複数の輪郭、複数の色、動き、時間、又はそれらの任意の組み合わせであってよい。さらに、デプス指標は、アプリケーションによる可変解像度デプス表現の使用によって特定されてよい。デプス指標に基づいて画像のデプス情報を変更することは、可変ビットデプス、可変空間解像度、画素サイズの減少、又はそれらの任意の組み合わせを用いて、デプス情報を変更することを含んでよい。
【００７４】
上記の複数の例における詳細は、１又は複数の実施形態のいずれにおいても用いられてよいことが理解される。例えば、上で説明されるコンピューティングデバイスの全ての選択的な機能は、また、本明細書で説明される複数の方法又はコンピュータ可読媒体のいずれかに関連して実装されてよい。さらに、複数のフロー図及び／又は複数の状態図は、複数の実施形態を説明するために本明細書で用いられるが、本発明は、これらの図面又は対応する本明細書の説明に限定されない。例えば、フローは、示される各ボックス若しくは状態を通じて、又は本明細書に示される及び説明される全く同一の順序で動く必要はない。
【００７５】
本発明は、本明細書に列挙された特定の詳細に限定されない。実際、本開示の恩恵を有する当業者は、前述の説明及び図面から多くの他の変形が本発明の範囲内でなされ得ることを理解できるだろう。したがって、それは、それに加えて、本発明の範囲を定義する任意の補正を含む以下の請求項である。
【図１】
2016515246.tif 000003
【図２】
2016515246.tif 000004
【図３】
2016515246.tif 000005
【図４】
2016515246.tif 000006
【図５】
2016515246.tif 000007
【図６】
2016515246.tif 000008
【図７】
2016515246.tif 000009
【国際調査報告】
2016515246.tif 000010
2016515246.tif 000011