(57)【要約】  飛行時間（ＴｏＦ）カメラは、ＴｏＦカメラの電力消費が低減されるようなやり方で動作するように構成されている。キーフレームについて、複数セットのキーフレームＩＲ画像に基づいてキーフレーム深度画像が生成される。各セットのキーフレームＩＲ画像は、アクティブＩＲ光の異なる変調周波数を用いて取得される。キーフレームの後のＰフレームについて、アクティブＩＲ光の単一の変調周波数を用いて取得された１セットのＰフレームＩＲ画像に基づいてＰフレーム深度画像が生成される。
2021523347.tif 000002
【特許請求の範囲】
【請求項１】
アクティブＩＲ光を放射するように構成されたＴｏＦ照明器と、
複数のセンサを含むセンサアレイと、
ＴｏＦコントローラマシンであって、
キーフレームについて、前記センサアレイの複数のセンサのそれぞれのセンサに対して、複数セットのキーフレームＩＲ画像に基づく深度値を含む、キーフレーム深度画像を生成することであって、各セットのキーフレームＩＲ画像はアクティブＩＲ光の異なる変調周波数を用いて取得される、ことと、
前記キーフレームの後に生じるＰフレームについて、前記センサアレイの複数のセンサのそれぞれのセンサに対して、アクティブＩＲ光の単一の変調周波数を用いて取得される単一セットのＰフレームＩＲ画像に基づく深度値を含む、Ｐフレーム深度画像を生成することと、
を行うように構成されているＴｏＦコントローラマシンと、
前記センサアレイに動作可能に接続されるとともに、前記キーフレーム深度画像及び前記Ｐフレーム深度画像を出力するように構成されている出力マシンと、
を含むＴｏＦカメラ。
【請求項２】
前記ＴｏＦコントローラマシンは、
前記キーフレームについて、
前記ＴｏＦ照明器を繰り返し作動させて、シーンをアクティブＩＲ光で照らすことであって、前記ＴｏＦ照明器は該アクティブＩＲ光を複数の異なる変調周波数で変調する、ことと、
前記シーンから反射されて前記センサアレイに戻った前記アクティブＩＲ光の測定値を表す１セットのキーフレームＩＲ画像を取得するために、前記複数の異なる変調周波数のそれぞれについて、前記センサアレイを繰り返しアドレスすることと、
前記センサアレイの複数のセンサのそれぞれセンサに対して、前記複数セットのＩＲ画像に基づいて深度値を決定することと、
前記複数のセットのキーフレームＩＲ画像に基づいて、前記シーンの１つ以上の特徴を特定することと、
を行い、
前記Ｐフレームについて、
前記ＴｏＦ照明器を作動させて、前記シーンを前記単一の変調周波数で変調されたアクティブＩＲ光で照らすことと、
前記シーンから反射されて前記センサアレイに戻った前記アクティブＩＲ光の測定値を表す前記セットのＰフレームＩＲ画像を取得するために、前記センサアレイをアドレスすることと、
前記セットのＰフレームＩＲ画像に基づいて、前記シーンの前記１つ以上の特徴を特定することと、
前記キーフレームから前記Ｐフレームへの前記１つ以上の特徴の位置移転を判定すること、
を行うように構成され、
前記Ｐフレーム深度画像の各深度値は、前記単一セットのＰフレームＩＲ画像と、前記シーンの前記１つ以上の特徴の位置移転とに基づいて決定される、請求項１に記載のＴｏＦカメラ。
【請求項３】
前記ＴｏＦカメラの位置を測定するように構成された１つ以上のモーションセンサをさらに含み、
前記ＴｏＦコントローラマシンは、
前記キーフレームについて、
前記ＴｏＦ照明器を繰り返し作動させて、シーンをアクティブＩＲ光で照らすことであって、前記ＴｏＦ照明器は該アクティブＩＲ光を複数の異なる変調周波数で変調する、ことと、
前記複数の異なる変調周波数のそれぞれについて、前記シーンから反射されて前記センサアレイに戻った前記アクティブＩＲ光の測定値を表す１セットのキーフレームＩＲ画像を取得するために、前記センサアレイを繰り返しアドレスすることと、
前記センサアレイの複数のセンサのそれぞれセンサに対して、前記複数のセットのＩＲ画像に基づいて深度値を決定することと、
を行い、
前記Ｐフレームについて、
前記ＴｏＦ照明器を作動させて、前記シーンを前記単一の変調周波数で変調されたアクティブＩＲ光で照らすことと、
前記シーンから反射されて前記センサアレイに戻った前記アクティブＩＲ光の測定値を表す１セットのＩＲ画像を取得するために、前記センサアレイをアドレスすることと、
前記１つ以上のモーションセンサのモーションデータに基づいて、前記キーフレームから前記Ｐフレームへの前記ＴｏＦカメラの変化した視点を特定することと、
を行うように構成され、
前記Ｐフレーム深度画像の各深度値は、前記単一セットのＰフレーム画像と、前記ＴｏＦカメラの変化した視点に基づいて決定される、請求項１に記載のＴｏＦカメラ。
【請求項４】
前記ＴｏＦコントローラマシンは、キーフレーム間の連続するＰフレームについて複数のＰフレーム深度画像を生成するように構成されている、請求項１に記載のＴｏＦカメラ。
【請求項５】
前記ＴｏＦコントローラマシンは、前記キーフレームから前記Ｐフレームへの前記ＴｏＦカメラの視点の変化した量に基づいて、キーフレーム間の連続するＰフレームの数を動的に調整するように構成されている、請求項４に記載のＴｏＦカメラ。
【請求項６】
前記ＴｏＦコントローラマシンは、前記複数のセットのキーフレームＩＲ画像及び前記セットのＰフレームＩＲ画像内で特定された１つ以上の特徴の、前記キーフレームから前記Ｐフレームへの移動の量に基づいて、キーフレーム間の連続するＰフレームの数を動的に調整するように構成されている、請求項４に記載のＴｏＦカメラ。
【請求項７】
前記ＴｏＦコントローラマシンは、前記Ｐフレームの単一の変調周波数以外の前記変調周波数に対する前記セットのキーフレームＩＲ画像にも基づいて、前記Ｐフレーム深度画像を生成するように構成されている、請求項１に記載のＴｏＦカメラ。
【請求項８】
前記ＴｏＦコントローラマシンは、前記ＴｏＦカメラの変化した視点の位置移転に基づいて、前記単一の変調周波数以外の前記変調周波数に対する前記キーフレームＩＲ画像をクロップするように構成され、前記ＴｏＦコントローラマシンは、該クロップされたキーフレームＩＲ画像にも基づいて前記Ｐフレーム深度画像を生成するように構成されている、請求項７に記載のＴｏＦカメラ。
【請求項９】
前記ＴｏＦコントローラマシンは、前記複数のキーフレームＩＲ画像に対する強度のノイズ除去動作、前記複数のキーフレームＩＲ画像及び前記複数のＰフレームＩＲ画像に対する空間周波数の低減動作及び前記複数セットのキーフレームＩＲ画像及び前記セットのＰフレームＩＲ画像に対するダイナミックレンジの低減動作のうちの１つ以上を行うように構成されている、請求項１に記載のＴｏＦカメラ。
【請求項１０】
前記単一の変調周波数は、前記複数の異なる変調周波数のうちの最も高い変調周波数である、請求項１に記載のＴｏＦカメラ。
【請求項１１】
センサアレイ内の複数のセンサのそれぞれに対して、複数セットのキーフレーム赤外線（ＩＲ）画像に基づく深度値を含む、キーフレーム深度画像を生成するステップであって、各セットのキーフレームＩＲ画像は、アクティブＩＲ光の異なる変調周波数を用いて取得される、ステップと、
前記センサアレイの複数のセンサのそれぞれに対して、アクティブＩＲ光の単一の変調周波数を用いて取得される単一セットのＰフレームＩＲ画像に基づく深度値を含む、Ｐフレーム深度画像を生成するステップと、
を含む飛行時間（ＴｏＦ）方法。
【発明の詳細な説明】
【背景技術】
【０００１】
飛行時間（ＴｏＦ）カメラは、既知の光速及びＴｏＦカメラと被写体との間の測定された光の飛行時間に基づいて、ＴｏＦカメラに対する被写体の深度を特定し得る。例えば、被写体を照らすために光信号が時間的に変調され得る。後方反射された光信号はＴｏＦカメラのセンサアレイによって取得されて、深度が計算され得る位相差を特定するために評価され得る。
【発明の概要】
【課題を解決するための手段】
【０００２】
本概要は、下記の詳細な説明でさらに説明する選択された概念を簡略化した形式で紹介するために提供される。本概要は、クレームの主題の主要な特徴又は本質的な特徴を特定することを意図したものでもなければ、クレームの主題の範囲を限定するために用いることを意図したものでもない。さらに、クレームの主題は、本開示のいずれかの部分で言及するいずれかの又は全てのデメリットを解決する実施に限定されない。
【０００３】
飛行時間（ＴｏＦ）カメラは、ＴｏＦカメラの電力消費が低減させるようなやり方で動作するように構成されている。キーフレームについて、複数セットのキーフレームＩＲ画像に基づいてキーフレーム深度画像が生成される。各セットのキーフレームＩＲ画像は、アクティブＩＲ光の異なる変調周波数を用いて取得される。キーフレームの後のＰフレームについて、アクティブＩＲ光の単一の変調周波数を用いて取得された１セットのＰフレームＩＲ画像に基づいてＰフレーム深度画像が生成される。
【図面の簡単な説明】
【０００４】
【図１】図１は、例示の飛行時間（ＴｏＦ）カメラの態様を示す分解概略図である。
【図２】図２は、キーフレームについて、複数の異なる変調周波数のそれぞれに対して１セットのキーフレーム赤外線（ＩＲ）画像を取得するためのＴｏＦ照明器の例示の動作シーケンスを示すタイミング図である。
【図３】図３は、Ｐフレームについて、単一の変調周波数に対して１セットのＰフレームＩＲ画像を取得するためのＴｏＦ照明器の例示の動作シーケンスを示すタイミング図である。
【図４】図４は、キーフレーム深度画像を生成し、その後にキーフレーム及びＰフレーム内で特定された特徴の位置移転に基づいてＰフレーム深度画像を生成するための例示のアプローチを概略的に示す。
【図５】図５は、キーフレーム間の複数のＰフレームについて行われるＴｏＦカメラの例示の動作を示す。
【図６】図６は、キーフレーム深度画像を生成し、その後に１つ以上のモーションセンサからのモーションデータに基づいて特定された変化した視点に基づいてＰフレーム深度画像を生成するための例示のアプローチを概略的に示す。
【図７】図７Ａ、図７Ｂは、ＴｏＦカメラの消費電力が低減されるようなやり方で複数の深度画像を取得するための例示の方法のフローチャートである。
【図８】図８は、例示のニアアイディスプレイ装置を示す。
【図９】図９は、例示のコンピュータシステムを示す。
【発明を実施するための形態】
【０００５】
飛行時間（ＴｏＦ）カメラは、飛行時間照明器によって時間的に変調された光信号の位相差に基づいて、被写体の深度を特定し得る。しかしながら、位相差が２πよりも大きくなる距離に被写体が位置する場合、被写体は、２πの倍数の距離にある置かれた別のオブジェクトと混同され得る。係る距離に相当する位相差に加えられる周期の数は「位相ラッピング」と呼ばれることがある。この問題を解決するために、１つの例では、ＴｏＦカメラは、いくつかの異なる変調周波数を用いてアクティブ赤外線（ＩＲ）光信号を変調してスパース解空間を生成する。このスパース解空間から位相差の位相差ラッピングを決定できるとともに、深度画像が生成され得る。しかしながら、この多周波数変調アプローチでは、深度画像を生成するために各変調周波数で複数のＩＲ画像の取り込みを必要となる。ＴｏＦカメラの電子コンポーネント（例えば、ＩＲレーザ、センサアレイ、マイクロコントローラ）は各ＩＲ画像取り込み毎に作動され、電力を消費する。したがって、変調周波数の数が多く、各周波数でのＩＲ画像の取り込みの数が多いほど、ＴｏＦカメラの電力消費が大きくなる。
【０００６】
したがって、本開示はＴｏＦカメラの電力消費が低減されるようなやり方でＴｏＦカメラを動作するためのアプローチに関する。具体的には、本アプローチは、キーフレームについてキーフレーム深度画像を生成することと、キーフレーム間の１つ以上の連続するＰフレームについて１つ以上のＰフレーム深度画像を生成することを含む。各キーフレーム深度画像は、複数の異なる変調周波数のそれぞれに対する１セットのＩＲ画像に基づいて生成される。各Ｐフレーム深度画像は、単一の変調周波数に対する１セットのＩＲ画像に基づいて生成される。Ｐフレーム深度画像は、単一の変調周波数を用いるため、キーフレーム深度画像を生成するのに必要なＩＲ画像の数に比べて少ない数のＩＲ画像を用いて生成され得る。そのため、Ｐフレーム深度画像は、キーフレーム深度画像よりも少ない電力を用いて生成され得る。キーフレーム深度画像の間に１つ以上の連続するＰフレーム深度画像を生成することにより、多周波数アプローチを用いて深度画像しか生成しない（すなわち、Ｐフレーム深度画像を生成せずにキーフレーム深度画像のみを生成する）ＴｏＦカメラに比べて、ＴｏＦカメラの電力消費が低減され得る。
【０００７】
図１は、上述したように動作するよう構成された例示のＴｏＦカメラ１００の態様を示す。本明細書では、「カメラ」という用語はシーン又は被写体１０２を撮像するように構成された、少なくとも１つの光学的開口及びセンサアレイを有する任意の撮像コンポーネントを意味する。カメラ１００は、個々にアドレス可能なセンサ１０６のセンサアレイ１０４を含む。一部の実施では、センサは相補型金属酸化物半導体（ＣＭＯＳ）素子であり得るが、他の適好適なアーキテクチャも想定され得る。各センサは広い波長帯域にわたって光に応答し得るが、これは必要ではない。シリコンベースのセンサの場合、波長応答の範囲は例えば３００〜１１００ｎｍであり得る。簡略化のために、センサアレイ１０４を２５個のセンサ１０６を有するものとして概略的に示すが、センサ１０６の数に理論的な制限はない。
【０００８】
任意で、マイクロレンズアレイ１０８がセンサアレイ１０４の上に直接配置されてもよい。マイクロレンズアレイ１０８は複数のマイクロレンズ素子１１０を含む。マイクロレンズアレイ１０８の各マイクロレンズ素子１１０は、センサアレイ１０４のセンサ１０６に位置合わせ（registered）され得る。マイクロレンズアレイ１０８が含まれる場合、マイクロレンズアレイ１０８は、収集効率を向上させるとともにピクセル間のクロストークを低減させるために、センサのそれぞれにおいてより大きな実効フィルファクターを提供し得る。
【０００９】
ＴｏＦ照明器１１２は、被写体１０２を照らすためにアクティブＩＲ光を放射するように構成されている。１つの例では、ＴｏＦ照明器１１２はＩＲ光を放射するように構成されたＩＲレーザを含む。一部の実施では、ＴｏＦ照明器１１２は、ＴｏＦ照明器１１２の照明の場（field  of  illumination）をカバーするディフューザー１１４を任意で含み得る。本開示において、「赤外（ＩＲ）」光という用語は、約８５０ｎｍの所謂近赤外（ＮＩＲ）波長を含む。深度測定は、ＮＩＲ光を含むＩＲ光又は任意の他の好適な波長を用いて行われ得る。図１に示していないが、カメラは、センサ１０６に到達する電磁スペクトルの部分を、ＴｏＦ照明器１１２により放射される電磁スペクトルの部分に制限するバンドパスフィルタを任意で含み得る。
【００１０】
電子コントローラ１１６は、論理マシンと、関連する記憶マシンとを含み得る。記憶マシンは、論理マシンに、本明細書で開示する任意の動作、アルゴリズム、計算又は変換を行わせる命令を保持し得る。一部の実施では、論理マシンは、特定用途向け集積回路（ＡＳＩＣ）又はシステムオンチップ（ＳｏＣ）の形態を取り得る。その場合、命令の一部又は全てはハードウェア又はファームウェアコード化されている。電子コントローラ１１６は、センサアレイ１０４及び／又はＴｏＦ照明器１１２に動作可能に接続され得るＴｏＦコントローラマシン１１８及び出力マシン１２０を含む。マシン１１８及び１２０は、別個の物理的ハードウェア及び／又はファームウェアコンポーネントとして実施され得るか又は単一のハードウェア及び／又はファームウェアコンポーネントに組み込まれ得る。
【００１１】
ＴｏＦコントローラマシン１１８は、ＩＲ画像を取得するためにＴｏＦ照明器１１２を繰り返し作動させ、同期的にセンサアレイ１０４のセンサ１０６をアドレス（address）するように構成されている。ＴｏＦ照明器１１２から放射されるアクティブ光信号は、異なるＩＲ画像の取り込みのために異なる変調周波数で時間的に変調され得る。図示の例では、ＴｏＦコントローラマシン１１８はＴｏＦ照明器１１２を作動させて被写体１０２をアクティブＩＲ光１２２で照らし、同期的にセンサアレイ１０４のセンサ１０６をアドレスする。ＩＲ光１２２’は被写体１０２に反射されてカメラ１００に戻る。反射されたＩＲ光１２２’は、測定結果を提供するために、受光光学素子１２４を通過し、センサアレイ１０４のセンサ１０６に入射する。例えば、測定結果は、被写体からセンサに後方反射されたアクティブＩＲ光の強度の測定結果であり得る。図示の例では、ＩＲ光１２２’はセンサアレイ１０４のセンサ１０６によって測定されるため、被写体１０２の場所の世界空間位置（world  space  position）を特定するためにカメラの構成の知識と共に用いることができる位相情報を提供する。
【００１２】
ＴｏＦコントローラマシン１１８は、複数の取り込まれたＩＲ画像に基づいて深度画像１２８を生成するように構成されている。「深度画像」という用語は、撮像されたシーンの対応する領域（Ｘｉ、Ｙｉ）に位置合わせされた一連の画素を意味し、深度値Ｚｉは各画素について対応する領域の深さを示す。「深度」とは、カメラの光軸に平行な座標として定義され、深度はカメラからの距離が大きくなるにつれて増加する。本明細書では、「深度映像（depth  video）」という用語は時間分解された一連の深度画像を意味する。出力マシン１２０は、ＴｏＦコントローラマシン１１８によって生成された深度画像１２８を出力するように構成されている。出力マシン１２０は、任意の好適な形態で深度画像１２８を出力するように構成され得る。一部の例では、出力マシン１２０は、マトリクスの各要素が異なるピクセルに対応するデータ構造として深度画像１２８を出力し得る。
【００１３】
ＴｏＦカメラ１００は、キーフレームについて取得された１セットのキーフレームＩＲ画像に基づいてキーフレーム深度画像を生成するように構成されている。１セットのキーフレームＩＲ画像は、ＴｏＦ照明器１１２から放射されるＩＲ光の複数の異なる変調周波数に対して取得される。なお、１セットのキーフレームＩＲ画像は１つ以上のキーフレームＩＲ画像を含み得る。
【００１４】
図２は、キーフレーム２００について複数セットのキーフレームＩＲ画像を取得するためのＴｏＦ照明器の例示の動作シーケンスを示す。具体的には、キーフレーム２００の第１の収集期間２０２の間、ＴｏＦ照明器が作動されて第１の変調周波数（点線で示すＦ１）で変調されたＩＲ光を放射し、第１のセットの３つのＩＲ画像を取得する。次に、キーフレーム２００の第２の収集期間２０４の間、ＴｏＦ照明器が作動されて第２の変調周波数（点線で示すＦ２）で変調されたＩＲ光を放射し、第２のセットの３つのＩＲ画像を取得する。最後に、キーフレーム２００の第３の収集期間２０６の間、ＴｏＦ照明器が作動されて第３の変調周波数（実戦で示すＦ３）で変調されたＩＲ光を放射し、第３のセットの３つのＩＲ画像を取得する。キーフレームの全収集期間は、３つの収集期間２０２、２０４、２０６の間で均等に分けられ得る。１つの例では、ＴｏＦカメラのフレームレートは毎秒３３フレームであり、キーフレームの３つの収集期間のそれぞれは１１ミリ秒である。図示の例では、キーフレーム２００の収集期間中に合計で９つのキーフレームＩＲ画像が取得される。他の例では、各キーフレームついて異なる数のキーフレームＩＲ画像が取得され得る。３つの変調周波数（Ｆ１、Ｆ２、Ｆ３）は任意の好適な異なる変調周波数であり得る。１つの例では、第２の変調周波数は第１の変調周波数よりも高く、第３の変調周波数は第２の変調周波数よりも高い。他の例では、ＴｏＦ照明器は、異なる数の変調周波数（例えば、２つの変調周波数又は４つ以上の変調周波数）で変調され得る。
【００１５】
キーフレームについて用いられるこの多周波数変調アプローチは、ＴｏＦカメラ１００に比較的大量の電力を消費させる比較的多い回数のＩＲ画像取り込みを必要とする。ＴｏＦカメラ１００の電力消費を低減するために、ＴｏＦカメラ１００は、キーフレーム間の１つ以上の連続するＰフレームについて１つ以上のＰフレーム深度画像を生成するように構成されている。各Ｐフレーム深度画像は、Ｐフレームついて取得される１セットのＰフレームＩＲ画像に基づいて生成され得る。なお、１セットのＰフレームＩＲ画像は１つ以上のＰフレームＩＲ画像を含み得る。１セットのＰフレームＩＲ画像は単一の変調周波数に対して取得される。１つの例では、キーフレームについて取り込まれるＩＲ画像の数に対して、Ｐフレームについて取り込まれ得るＩＲ画像の数は１/３であり得る。
【００１６】
図３は、Ｐフレーム３００について１セットのＰフレームＩＲ画像を取得するためのＴｏＦ照明器の例示の動作シーケンスを示す。具体的には、Ｐフレーム３００の第１の期間３０２の間、ＴｏＦ照明器は非作動状態で留まる。１つの例では、Ｐフレーム３００の第１の期間３０２は、キーフレーム２００の第１の収集期間２０２及び第２の収集期間２０４の合計と時間的に等しくてもよい。Ｐフレーム３００の第２の期間３０４の間、ＴｏＦ照明器が作動されて単一の変調周波数で変調されたＩＲ光を放射し、１セットの３つのＩＲ画像を取得する。図示の例では、合計で３つのＰフレームＩＲ画像がＰフレームの全期間の間に取得される。他の例では、各Ｐフレームについて異なる数のＰフレームＩＲ画像が取得され得る。
【００１７】
Ｐフレームについて撮像されるＩＲ光の単一の変調周波数は任意の好適な変調周波数であり得る。１つの例では、単一の変調周波数は、キーフレームの第３の変調周波数（Ｆ３）と等しい。通常、Ｐフレームについて用いられる変調周波数は高周波数であり得る。Ｐフレームについて高い変調周波数を用いることにより、より正確な深度の測定結果が得られ得る。しかしながら、一部の実施では、異なるＰフレームについて異なる変調周波数が用いられ得る。
【００１８】
ＴｏＦカメラのＴｏＦ照明器、センサアレイ及び他の電子コンポーネントは、Ｐフレームの第１の期間３０２の間は非作動状態で留まり得るため、ＴｏＦカメラの電力消費が低減され得る。これは、ＴｏＦカメラが、スマートフォン、ヘッドマウントニアアイディスプレイ装置又は他のモバイルコンピュータ装置等のバッテリ駆動装置に組み込まれる実施においてとりわけ有益であり得る。さらに、Ｐフレームの第１の期間３０２の間にＩＲ画像が生成されないため、ＴｏＦカメラの処理リソースは他の処理動作に向けられ得るため、ＴｏＦカメラのより効率的な動作がもたらされ得る。
【００１９】
図４は、キーフレーム深度画像を生成し、その後にＰフレーム深度画像を生成するための例示のアプローチを概略的に示す。具体的には、キーフレーム（ＫＦ１）について、ＴｏＦコントローラマシン１１８は複数の異なる変調周波数に対して複数セットのキーフレームＩＲ画像４００を取得するように構成されている。この例では、異なる変調周波数の数を（Ｋ）で表し、各セットのキーフレームＩＲ画像は１つのキーフレームＩＲ画像を含む。第１の変調周波数（ＫＦ１１）に対するキーフレームＩＲ画像を点線で示す。第２の変調周波数（ＫＦ１２）に対するキーフレームＩＲ画像を破線で示す。Ｋ番目の変調周波数（ＫＦ１Ｋ）に対するキーフレームＩＲ画像を実線で示す。この例では、Ｋ番目の変調周波数は複数の異なる変調周波数のうち最も高い周波数である。
【００２０】
一部の実施では、決定される深度及び強度値の精度を高めるために、キーフレームＩＲ画像４００に対して様々な処理動作が行われ得る。１つの例では、複数セットのＴｏＦコントローラマシン１１８は、複数セットのキーフレームＩＲ画像に対して強度のノイズ除去動作（intensity  de-noising  operation）を行うように構成されている。任意の好適な強度のノイズ除去動作が行われ得る。１つの例では、強度のノイズ除去動作は複数セットのキーフレームＩＲ画像にローパスフィルタを適用することを含む。別の例では、ＴｏＦコントローラマシン１１８は、複数セットのキーフレームＩＲ画像に対して空間周波数の低減動作を行うように構成されている。任意の適切な空間周波数の低減動作が行われ得る。別の例では、ＴｏＦコントローラマシン１１８は、複数セットのキーフレームＩＲ画像に対してダイナミックレンジの低減動作を行うように構成されている。１つの例では、ダイナミックレンジの低減動作は、複数セットのキーフレームＩＲ画像に対してネイピア対数を適用することを含む。対数は、キーフレームＩＲ画像の非常に明るい領域又は暗い領域内の値に対する伸長効果を低減するために、アクティブな輝度のダイナミックレンジを低減し得る。
【００２１】
キーフレーム（ＫＦ１）について取得された複数セットのキーフレームＩＲ画像４００はキーフレーム深度画像４０２を生成するために用いられ得る。図示の例では、各セットは１つの画像しかを含まないが、各セットはより多くの画像を含んでいてもよい。ＴｏＦコントローラマシン１１８は複数セットのキーフレームＩＲ画像４００からスパース解空間を生成するように構成されている。このスパース解空間からＩＲ光の位相差の位相ラッピングが決定されるとともにキーフレーム深度画像４０２が生成される。深度情報は複数セットのキーフレームＩＲ画像４００のから特定することができるため、キーフレーム深度画像４０２は、他のフレーム（例えば、他のキーフレーム又はＰフレーム）からの情報を用いることなく生成することができる。加えて、ＴｏＦコントローラマシン１１８は、複数のキーフレームＩＲ画像４００に基づいてキーフレームＩＲ強度画像を生成するように構成され得る。キーフレームＩＲ強度画像は、センサアレイの各センサについてＩＲ光強度値を含み得る。
【００２２】
さらに、ＴｏＦコントローラマシン１１８は、複数セットのキーフレームＩＲ画像４００に基づいて、撮像されたシーンの１つ以上の特徴を特定し得る。任意の好適な数の特徴がフレームからフレームにかけて追跡される及び／又は特定され得る。この例では、異なる特徴の数は（ｊ）で表される。図示の例において、Ｋ番目の変調周波数に対するキーフレームＩＲ画像では、第１の特徴は位置（ｍ１１、ｎ１１）を有し、第２の特徴は位置（ｍ２１、ｎ２１）を有し、j番目の特徴は位置（ｍｊ１、ｎｊ１）を有する。ここで、ｍはＩＲ画像の行を表し、ｎは列を表す。特定された特徴の位置は、キーフレームからＰフレームにかけて追跡され、Ｐフレーム深度画像を生成するためにＰフレームについて取得されるＰフレームＩＲ画像に適用される位相ラッピングを決定するのに用いられ得る位置移転（positional  translation）が特定され得る。
【００２３】
キーフレーム（ＫＦ１）の後のＰフレーム（ＰＦ２）について、ＴｏＦコントローラマシン１１８は、単一の変調周波数（Ｋ）に対して１セットのＰフレームＩＲ画像４０４を取得するように構成されている。この例では、該セットは実線で示す１つのＰフレームＩＲ画像（ＰＦ２Ｋ）を含む。この例では、単一の変調周波数（Ｋ）は、キーフレーム（ＫＦ１）の複数の変調周波数のうちの最も高い変調周波数（Ｋ）に対応する。
【００２４】
一部の実施では、決定される深度及び強度値の精度を高めるために、１セットのＰフレームＩＲ画像４０４に対して様々な処理動作が行われ得る。１つの例では、ＴｏＦコントローラマシン１１８は、１セットのＰフレームＩＲ画像に対して強度のノイズ除去動作を行うように構成されている。任意の好適な強度のノイズ除去動作が行われ得る。１つの例では、強度のノイズ除去動作は１セットのキーフレームＩＲ画像にローパスフィルタを適用することを含む。別の例では、ＴｏＦコントローラマシン１１８は、１セットのＰフレームＩＲ画像に対して空間周波数の低減動作を行うように構成されている。任意の適切な空間周波数の低減動作が行われ得る。１つの例では、空間周波数の低減動作は１セットのＰフレームＩＲ画像に対してネイピア対数を適用することを含む。別の例では、ＴｏＦコントローラマシン１１８は、複数セットのＰフレームＩＲ画像に対してダイナミックレンジの低減動作を行うように構成されている。１つの例では、ダイナミックレンジの低減動作は、複数セットのキーフレームＩＲ画像に対してネイピア対数を適用することを含む。
【００２５】
ＴｏＦコントローラマシン１１８は、１セットのＰフレームＩＲ画像４０４に基づいて、撮像されたシーンの特徴を特定するように構成されている。図示の例では、Ｐフレーム（ＰＦ２）について、第１の特徴は更新された位置（ｍ１２、ｎ１２）を有し、第２の特徴は更新された位置（ｍ２２、ｎ２２）を有し、ｊ番目の特徴は更新された位置（ｍｊ２、ｎｊ２）を有する。ＴｏＦコントローラマシン１１８は、変調周波数（Ｋ）に対する１セットのキーフレームＩＲ画像から１セットのＰフレームＩＲ画像へのこれらの特徴の位置移転４０６を特定するように構成されている。１つの例では、位置移転４０６は、キーフレームＩＲ画像がＰフレームＩＲ画像に位置合わせされるように、追跡された特徴の位置の変化に基づいて、他の変調周波数に対する１セットのキーフレームＩＲ画像に適用される水平及び垂直シフトを含む。ＴｏＦコントローラマシン１１８が位置移転を１セットのキーフレームＩＲ画像に適用した後、ＴｏＦコントローラマシン１１８は、ＰフレームＩＲ画像にマッチするようにキーフレームＩＲ画像をクロップするように構成され得る。ＴｏＦコントローラマシン１１８は、単一の変調周波数（Ｋ）に対して取得された１セットのＰフレームＩＲ画像と、シーンの特徴の位置移転とに少なくとも基づいてＰフレーム深度画像４０８を生成するように構成されている。より具体的には、ＴｏＦコントローラマシン１１８は、他の変調周波数に対する移転され且つクロップされた（translated  and  cropped）キーフレームＩＲ画像にも基づいてＰフレーム深度画像４０８を生成するように構成され得る。
【００２６】
Ｐフレーム深度画像を生成するためのこのアプローチは、キーフレームについてのキーフレーム深度画像の生成の間に、連続するＰフレームについて任意の好適な回数繰り返し行われ得る。図５は、キーフレーム間の複数のＰフレームについて行われる例示の動作を示す。第１のキーフレーム（ＫＦ１）ついて、ＴｏＦコントローラマシン１１８は、複数の異なる変調周波数（１、２、Ｋ）のそれぞれに対して生成された複数セットのキーフレームＩＲ画像に基づいてキーフレーム深度画像及びキーフレームＩＲ強度画像を生成する。さらに、ＴｏＦコントローラマシン１１８は、複数セットのキーフレームＩＲ画像における特徴を特定する。第１のキーフレーム（ＫＦ１）の後の第１のＰフレーム（ＰＦ２）について、ＴｏＦコントローラ１１８は、単一の変調周波数（Ｋ）に対して１セットのＰフレームＩＲ画像を生成する。ＴｏＦコントローラマシン１１８は、１セットのＰフレームＩＲ画像内の特徴を特定し、特定した特徴の、最も高い変調周波数（Ｋ）に対する１セットのキーフレームＩＲ画像から１セットのＰフレームＩＲ画像への位置移転を判定する。すなわち、同じ変調周波数に対するＩＲ画像が比較されて、シーンにおける特徴の位置移転が判定される。ＴｏＦコントローラマシン１１８は、特定された特徴の位置移転に基づいて、他の変調周波数に対するキーフレームＩＲ画像を水平及び／又は垂直にシフトする。ＴｏＦコントローラマシン１１８は、他の変調周波数に対するシフトされた１セットのキーフレームＩＲ画像をクロップする。ＴｏＦコントローラマシン１１８は、第１のＰフレーム（ＰＦ２）の変調周波数Ｋに対する１ＰフレームＩＲ画像と、第１のキーフレーム（ＫＦ１）の他の変調周波数（１、２）に対する複数のシフトされ且つクロップされたキーフレームＩＲ画像とに基づいてＰフレーム深度画像を生成する。
【００２７】
後続のＰフレーム（ＰＦ３〜ＰＦＮ）についてのＰフレーム深度画像が第１のＰフレーム（ＰＦ２）と同じやり方で生成される。具体的には、各Ｐフレームについて、Ｐフレームについて特定された特徴の位置をキーフレーム内の特徴の位置と比較して、他の変調周波数に対する複数のキーフレームＩＲ画像に適用された位置移転を判定する。Ｐフレーム深度画像は、Ｐフレームについての１セットのＰフレームＩＲ画像と、特定された特徴の先のキーフレームからＰフレームへの位置移転に基づいて生成される。一部の実装では、位置移転は、ＰフレームからＰフレームに中間的に追跡され得る。
【００２８】
任意の好適な数のＰフレーム深度画像が、キーフレーム間の連続するＰフレームついて生成され得る。一部の実施では、キーフレーム間の連続するＰフレームの数は予め決定されているか又は固定のものであり得る。例えば、キーフレーム深度画像の間に、３〜５の範囲の固定数のＰフレーム深度画像が生成され得る。
【００２９】
他の実施では、ＴｏＦコントローラマシンは、キーフレーム間の連続するＰフレームの数を動的に調整するように構成されている。キーフレーム間の連続するＰフレームの数は、任意の好適な動作パラメータ又は条件に基づいて動的に調整され得る。１つの例では、ＴｏＦコントローラマシン１１８は、キーフレームＩＲ画像及びＰフレームＩＲ画像内で特定された１つ以上の特徴の位置移転の量に基づいて、キーフレーム間の連続するＰフレームの数を動的に調整するように構成されている。例えば、特定された特徴の位置の変化が、キーフレームと現在のＰフレームとの間で閾値量未満である場合、次のフレームはＰフレームに指定され、別のＰフレーム深度画像が生成される。特定された特徴の位置の変化が、キーフレームと現在のＰフレームとの間で閾値量以上である場合、次のフレームはキーフレームに指定され、キーフレーム深度画像が生成される。このようなアプローチによれば、シーン内の動きの速いオブジェクトの深度が正確に測定され、さらにはＴｏＦカメラの電力消費が低減される。
【００３０】
上述のアプローチでは、キーフレーム及びＰフレームのＩＲ画像内で特定された特徴の位置移転に基づいてＰフレーム深度画像が生成される。そのようなアプローチは、スタンドアロンＴｏＦカメラで実施され得る。一部の実装形態では、ＴｏＦカメラの外部の１つ以上のモーションセンサを含む、モバイルコンピュータデバイス（例えば、スマートフォン、拡張現実装置、ニアアイディスプレイ装置）等の装置にＴｏＦカメラが組み込まれ得る。ＴｏＦカメラの位置を特定するように構成されたモーションセンサの非限定例としては、加速度計及び／又はジャイロスコープを含む慣性測定ユニット（ＩＭＵ）が挙げられる。そのような実施では、モーションセンサからの情報は、Ｐフレーム深度画像を生成するのに用いられ得るキーフレームとＰフレームとの間のＴｏＦカメラの視点の変化（change  in  perspective）を特定するためにＴｏＦカメラによって利用され得る。このアプローチでは、Ｐフレーム深度画像を生成するために、シーンの特徴を特定し、フレームからフレームに追跡する必要はない。そのため、このアプローチは、特徴追跡アプローチよりも処理リソースの集約度が少ない。しかしながら、一部の実施ではそのような特徴追跡も行ってよい。
【００３１】
図６は、キーフレーム深度画像を生成し、その後にモーションセンサのデータに基づいて決定されるキーフレームからＰフレームへのＴｏＦカメラの視点の変化に基づいてＰフレーム深度画像を生成するための例示のアプローチを概略的に示す。具体的には、キーフレーム（ＫＦ１）について、ＴｏＦコントローラマシン１１８は、複数の異なる変調周波数のそれぞれに対して、複数セットのキーフレームＩＲ画像６００を取得するように構成されている。なお、キーフレームＩＲ画像は１つ以上のキーフレームＩＲ画像を含み得る。各セットのキーフレーム（ＫＦ１）について取得された複数セットのキーフレームＩＲ画像６００はキーフレーム深度画像６０２を生成するために用いられ得る。具体的には、ＴｏＦコントローラマシン１１８は複数のキーフレームＩＲ画像６００からスパース解空間を生成するように構成され、そのスパース解空間からＩＲ光の位相差の位相ラッピングが決定されるとともにキーフレーム深度画像６０２が生成される。
【００３２】
キーフレーム（ＫＦ１）の後のＰフレーム（ＰＦ２）について、ＴｏＦコントローラマシン１１８は、単一の変調周波数（Ｋ）に対する１セットのＰフレームＩＲ画像６０４を取得するように構成されている。１つのＰフレームＩＲ画像（ＰＦ２Ｋ）含むセットが図示されている。この例では、単一の変調周波数（Ｋ）は、キーフレーム（ＫＦ１）の複数の変調周波数のうちの最も高い変調周波数（Ｋ）に対応する。コントローラマシン１１８はモーションセンサからモーションデータ６０６を受信するように構成されている。ＴｏＦコントローラマシン１１８は、キーフレーム（ＫＦ１）からＰフレーム（ＰＦ２）までの検出された動きに基づいてＴｏＦカメラの変化した視点を特定するように構成されている。ＴｏＦコントローラマシン１１８は、ＴｏＦカメラの特定された変化した視点に基づいてキーフレームＩＲ画像が１セットのＰフレームＩＲ画像に位置合わせされるように、他の変調周波数に対するセットのキーフレームＩＲ画像をシフトするように構成されている。ＴｏＦコントローラマシン１１８は、シフトされたキーフレームＩＲ画像をクロップするように構成されている。ＴｏＦコントローラマシン１１８は、第１のＰフレーム（ＰＦ２）の変調周波数Ｋに対する１セットのＰフレームＩＲ画像と、第１のキーフレーム（ＫＦ１）の他の変調周波数（１、２）に対するシフトされ且つクロップされたセットのキーフレームＩＲ画像とに基づいてＰフレーム深度画像６０８を生成するように構成されている。Ｐフレーム深度画像を生成するためのこのアプローチは、キーフレームについてのキーフレーム深度画像の生成の間に連続するＰフレームについて任意の好適な回数繰り返し行われ得る。
【００３３】
図７Ａ〜図７Ｂは、ＴｏＦカメラの電力消費が低減されるようなやり方で深度画像を生成するための例示の方法７００のフローチャートを示す。例えば、方法７００は、カメラ１００の電子コントローラ１１６によって行われ得る。
【００３４】
図７Ａにおいて、方法７００の７０２で、キーフレームについて、ＴｏＦカメラのＴｏＦ照明器が繰り返し作動されて、シーンをアクティブＩＲ光で照らす。ＴｏＦは、アクティブＩＲ光を複数の異なる変調周波数で変調する。方法７００の７０４で、複数の異なる変調周波数のそれぞれに対して、ＴｏＦカメラのセンサアレイが繰り返しアドレスされて、シーンから反射されてセンサアレイに戻ったアクティブＩＲ光の測定値を表す１セットのキーフレームＩＲ画像を取得する。方法７００の７０６で、複数セットのキーフレームＩＲ画像に基づいてキーフレーム深度画像が生成される。各セットのキーフレームＩＲ画像は、アクティブＩＲ光の異なる変調周波数を用いて取得される。キーフレーム深度画像は、センサアレイの各センサに対する深度値を含む。
【００３５】
一部の実施では、方法７００の７０８で、複数セットのキーフレームＩＲ画像に対して強度のノイズ除去動作が任意で行われ得る。方法７００の７１０では、複数セットのキーフレームＩＲ画像に対して空間周波数の低減動作が任意で行われ得る。方法７００の７１２で、複数セットのキーフレームＩＲ画像に基づいてシーンの１つ以上の特徴が任意で特定され得る。特徴は、特定された特徴の位置移転がＰフレーム深度画像を生成するのに用いられる実施において特定され得る。
【００３６】
方法７００の７１４で、ＴｏＦカメラからキーフレーム深度画像が出力される。一部の実施では、方法７００の７１６で、ＴｏＦカメラからキーフレームＩＲ強度画像が任意で出力され得る。
【００３７】
図７Ｂでは、方法７００の７１８で、Ｐフレームについて、ＴｏＦ照明器が作動されて、シーンを単一の変調周波数のアクティブＩＲ光で照らす。方法７００の７２０で、センサアレイがアドレスされて、シーンから反射されてセンサアレイに戻ったアクティブＩＲ光の測定値を表す１セットのＰフレームＩＲ画像を取得する。
【００３８】
一部の実施では、方法７００の７２２で、１セットのＰフレームＩＲ画像に対して強度のノイズ除去動作が任意で行われ得る。方法７００の７２４で、１セットのＰフレームＩＲ画像に対して空間周波数の低減動作が任意で行われ得る。方法７００の７２６で、１セットのＰフレームＩＲ画像に基づいてシーンの１つ以上の特徴が任意で特定され得る。方法７００の７２８で、１つ以上の特定された特徴のキーフレームからＰフレームへの位置移転が任意で判定され得る。ＩＲ画像内で特徴が特定される実施では、特定された特徴の位置移転は、他の変調周波数に対する１セットのキーフレームＩＲ画像に適用され、これらの変換されたキーフレームＩＲ画像は、Ｐフレーム深度画像を生成するために用いられ得る。方法７００の７３０で、キーフレームに対してＰフレームについてＴｏＦカメラの変化した視点が１つ以上のモーションセンサのモーションデータに基づいて任意で判定され得る。１つ以上のモーションセンサからモーションデータが受信される実施においては、モーションデータから判定されたＴｏＦカメラの変化した視点は、他の変調周波数に対する１セットのキーフレームＩＲ画像を変換するために用いられ、これらの変換された１セットのキーフレームＩＲ画像はＰフレーム深度画像を生成するために用いられ得る。方法７００の７３４で、特定された特徴の位置移転又はＴｏＦカメラの変化した視点に基づいて、他の変調周波数に対する１セットのキーフレームＩＲ画像が任意でクロップされ得る。
【００３９】
方法７００の７３４で、１セットのＰフレームＩＲ画像の及び特定された特徴の位置移転又はＴｏＦカメラの変化した視点に基づいて、Ｐフレーム深度画像が生成される。Ｐフレーム深度画像は、センサアレイの各センサに対する深度値を含む。キーフレームからＰフレームに特定された特徴が追跡される実施では、特定された特徴の位置移転に基づいて変換される１セットのキーフレームＩＲ画像が、Ｐフレーム深度画像を生成するために１セットのＰフレームＩＲ画像と共に用いられる。キーフレームからＰフレームにＴｏＦカメラの視線が追跡される実施では、ＴｏＦカメラの変化した視点に基づいて変換された１セットのキーフレームＩＲ画像が、Ｐフレーム深度画像を生成するために１セットのＰフレームＩＲ画像と共に用いられる。
【００４０】
方法７００の７３６で、ＴｏＦカメラからＰフレーム深度画像が出力される。一部の実施では、方法７００の７３８で、ＴｏＦカメラからＰフレームＩＲ強度画像が任意で出力され得る。方法７００の部分は、キーフレームについてキーフレーム深度画像を、キーフレーム間の１つ以上の連続するＰフレームについてＰフレーム深度画像を生成するために繰り返され得る。
【００４１】
図８は、ＴｏＦカメラが組み込まれ得るニアアイディスプレイ装置８００の態様を示す。ニアアイディスプレイ装置８００は、シースルーディスプレウィンドウ８０２Ｒ、８０２Ｌと、ユーザーの頭部に置かれるように構成されたフレーム８０４とを有する双眼のニアアイディスプレイ装置である。ニアアイディスプレイ装置８００は右側マイクロディスプレイ８０６Ｒ及び左側マイクロディスプレイ８０６Ｌを含む。左右のマイクロディスプレイは、コンピュータ化された仮想ディスプレイ画像を、右側ディスプレイウィンドウ８０２Ｒ及び左側ディスプレイウィンドウ８０２Ｌにそれぞれ投影するように構成されている。マイクロディスプレイはオンボードコンピュータ８０８により駆動される。左右のディスプレイ画像が適切な方法で作成されるとともにディスプレイウィンドウ８０２Ｒ、８０２Ｌに提示されると、ユーザーは、特定の位置にあり、特定の３Ｄコンテンツ及び他の表示プロパティを有する１つ以上の仮想オブジェクトの錯覚を経験する。そのような仮想画像は所望の複雑さを有してもよく、例えば、前景部分及び背景部分の双方を有する完全仮想シーンを含み得る。
【００４２】
ニアアイディスプレイ装置８００は、コンピュータシステム８０６に動作可能に連結されるセンササブシステム８１０を含む。センササブシステム８１０は、１つ以上の実際のオブジェクトを含む、ユーザーの環境の任意の又は全ての側面を撮像するように構成されたワールドフェイシング（world-facing）ＴｏＦカメラ８１２を含む。例えば、環境を仮想的に再構築する目的で、ワールドフェイシングＴｏＦカメラ８１２からの深度画像がコンピュータシステム８０８に提供され得る。センササブシステム８１０は、ＴｏＦカメラ８１２の光軸と同じ方向に方向付けられた光軸を備える個別の平面撮像（flat  imaging）カメラ８１４を含み得る。一部の実施では、平面撮像カメラから出力されるとともにＴｏＦカメラから出力される画像又は映像はコレジストレーションされ、単一の（例えば、ＲＧＢ＋深度）データ構造又はストリームに組み合わされ得る。一部の例では、深度及び輝度（例えば、ＩＲ＋深度）の両方を表すデータストリームは、位相が異なる出力を組み合わせることにより利用可能となり得る。
【００４３】
センササブシステムは、環境内のオブジェクト又は他の基準位置に対するニアアイディスプレイ装置８００の位置及び向きを検知するように構成された位置センサ８１６を含む。位置センサは、１つ以上の加速度計、ジャイロスコープ、磁力計及び／又は全地球測位システム（ＧＰＳ）受信機を含む慣性測定ユニット（ＩＭＵ）を含み得る。一部の実施では、位置センサは、ニアアイディスプレイ装置の３つのデカルト座標に加えて、３つのデカルト軸のそれぞれを中心にした回転の６自由度（６ＤＯＦ）推定値を返す。位置センサの出力は、（グローバルに定義されている）仮想ディスプレイオブジェクトの位置、サイズ及び向きをニアアイディスプレイ装置８００の左右のディスプレイウィンドウ８０２にマッピングするのに用いられ得る。センササブシステム８１０は、ニアアイディスプレイ装置８００の位置及び／又は向きを特定するように構成された１つ以上のモーションセンサを含む任意の好適な種類のセンサを含み得る。
【００４４】
センササブシステム８１０のセンサは、ＴｏＦカメラ８１２にセンサデータを送信して、本明細書で上述したやり方でＰフレーム深度画像を生成するためにＴｏＦカメラ８１２により使用され得るＴｏＦカメラ８１２の変更された視点を示すように構成され得る。
【００４５】
一部の実施では、本明細書に記載の方法及びプロセスは、１つ以上のコンピュータ装置のコンピュータシステムと結び付けられ得る。具体的には、そのような方法及びプロセスは、コンピュータアプリケーションプログラム又はサービス、アプリケーションプログラミングインターフェース（ＡＰＩ）、ライブラリ及び／又は他のコンピュータプログラム製品として実施され得る。
【００４６】
図９は、上述した方法及びプロセスのうちの１つ以上を行うことができるコンピュータシステム９００の非限定の実施を概略的に示す。コンピュータシステム９００は簡略化された形態で示している。例えば、コンピュータシステム９００は、図１のカメラ１００又は電子コントローラ１１６の形態を取り得る。
【００４７】
コンピュータシステム９００は、論理マシン９０２及び記憶マシン９０４を含む。コンピュータシステム９００は、任意でディスプレイサブシステム９０６、入力サブシステム９０８、通信サブシステム９１０及び／又は図９００に示していない他のコンポーネントを含んでもよい。
【００４８】
論理マシン９０２は、命令を実行するように構成された１つ以上の物理装置を含む。例えば、論理マシン９０２は、１つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造体又は他の論理構成体の一部である命令を実行するように構成され得る。そのような命令は、タスクを行うため、データタイプを実施するため、１つ以上のコンポーネントの状態を変換するため、技術的効果を得るため又は所望の結果に到達するために実施され得る。
【００４９】
論理マシン９０２は、ソフトウェア命令を実行するように構成された１つ以上のプロセッサを含み得る。それに加えて又は代えて、論理マシン９０２は、ハードウェア又はファームウェアの命令を実行するように構成された１つ以上のハードウェア又はファームウェアの論理マシンを含み得る。論理マシン９０２のプロセッサはシングルコア又はマルチコアであってもよく、それにより実行される命令は、逐次処理、並列処理及び／又は分散処理のために構成され得る。論理マシンの個々のコンポーネントは、任意で、遠隔的に位置し得る及び／又は協調処理のために構成され得る２つ以上の別個の装置の間で分散されてもよい。論理マシン９０２の態様は仮想化されて、クラウドコンピューティング構成において構成された遠隔アクセス可能なネットワーク化されたコンピュータ装置によって実行されてもよい。
【００５０】
記憶マシン９０４は、本明細書に記載の方法及びプロセスを実施するために論理マシン９０２によって実行可能な命令を保持するように構成された１つ以上の物理装置を含む。そのような方法及びプロセスが実施された場合、記憶マシン９０４の状態は、例えば異なるデータを保持するために変換され得る。
【００５１】
記憶マシン９０４は、とりわけ半導体メモリ（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）及び/又は磁気メモリ（例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、ＭＲＡＭ等）を含み得る。記憶マシン９０４は揮発性、不揮発性、動的、静的、読み取り／書き込み、読み取り専用、ランダムアクセス、シーケンシャルアクセス、位置アドレス指定可能、ファイルアドレス指定可能及び／又はコンテンツアドレス指定可能な装置を含み得る。
【００５２】
記憶マシン９０４は１つ以上の物理装置を含むことが分かる。しかしながら、本明細書に記載した命令の態様は、代替的に、有限の期間にわたって物理装置によって保持されない通信媒体（例えば、電磁信号、光信号等）によって伝搬されてもよい。
【００５３】
論理マシン９０２及び記憶マシン９０４の態様は１つ以上のハードウェア論理コンポーネントに共に統合されてもよい。そのようなハードウェア論理コンポーネントは、例えば、フィールド-プログラマブルゲートアレイ（ＦＰＧＡ）、プログラム及び特定用途向け集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、プログラム及び特定用途向け標準製品（ＰＳＳＰ／ＡＳＳＰ）、システムオンチップ（ＳＯＣ）及びコンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）を含み得る。
【００５４】
ディスプレイサブシステム９０６が含まれる場合、ディスプレイサブシステム９０６は記憶マシン９０４によって保持されるデータの視覚表現を提示するために使用され得る。この視覚表現は、ピクセル１２６のマトリックスを人間が知覚可能な視覚フォーマットに変換する表示画像の形態を取り得る。本明細書に記載の方法及びプロセスが記憶マシンによって保持されるデータを変化させることにより、記憶マシンの状態を変換すると、ディスプレイサブシステム９０６の状態も、基本的なデータの変化を視覚的に表すために同様に変換され得る。ディスプレイサブシステム９０６は実質的に任意のタイプの技術を利用する１つ以上のディスプレイ装置を含み得る。そのようなディスプレイ装置は、共有エンクロージャ内で論理マシン９０２及び／又は記憶マシン９０４と組み合わせてもよいし、そのようなディスプレイ装置は周辺のディスプレイ装置であってもよい。
【００５５】
入力サブシステム９０８が含まれる場合、入力サブシステム９０８は、キーボード、マウス、タッチスクリーン又はゲームコントローラ等の１つ以上のユーザー入力装置を含むか又は１つ以上のユーザー入力装置と相互作用する。一部の実施形態において、入力サブシステムは、選択された自然ユーザー入力（ＮＵＩ）コンポーネントを含むか又はＮＵＩコンポーネントと相互作用し得る。そのようなコンポーネントは統合されるか又は周辺的なものであってもよく、入力アクションの変換及び／又は処理は、オンボード又はオフボードで取り扱われ得る。例示のＮＵＩコンポーネントは、発話及び／又は音声認識のためのマイクロフォン、機械視覚及び／又はジェスチャ認識のための赤外線カメラ、カラーカメラ、立体カメラ及び／又は深度カメラ、動作検出及び／又は意図認識のためのヘッドトラッカー、アイトラッカー、加速度計及び／又はジャイロスコープ、ならびに脳活動を評価するための電界検知コンポーネントを含み得る。
【００５６】
通信サブシステム９１０が含まれる場合、通信サブシステム９１０はコンピュータシステム９００を１つ以上の他のコンピュータ装置と通信的に結合するように構成され得る。通信サブシステム９１０は、１つ以上の異なる通信プロトコルと互換性のある有線及び／又は無線通信装置を含み得る。非限定例として、通信サブシステム９１０は、無線電話ネットワーク又は有線若しくは無線のローカル若しくはワイドエリアネットワークを介した通信のために構成され得る。一部の実施形態では、通信サブシステム９１０は、コンピュータシステム９００が、インターネット等のネットワークを介して他の装置とメッセージの送受信することができるようにし得る。
【００５７】
１つの例では、飛行時間（ＴｏＦ）カメラは、アクティブＩＲ光を放射するように構成されたＴｏＦ照明器と、それぞれがアクティブＩＲ光を測定するように構成された複数のセンサを含むセンサアレイと、ＴｏＦコントローラマシンであって、キーフレームついて、ＴｏＦ照明器を繰り返し作動させて、シーンをアクティブＩＲ光で照らすことであって、ＴｏＦ照明器は、複数の異なる変調周波数でアクティブＩＲ光を変調する、ことと、複数の異なる変調周波数のそれぞれについて、シーンから反射されてセンサアレイに戻ったアクティブＩＲ光の測定値をそれぞれ表す１セットのキーフレームＩＲ画像を取得するために、センサアレイを繰り返しアドレスすることと、センサアレイの各センサに対して、複数のセットのキーフレームＩＲ画像に基づく深度値を含む、キーフレーム深度画像を生成することであって、各セットのキーフレームＩＲ画像は、アクティブＩＲ光の異なる変調周波数を用いて取得される、ことと、複数セットのキーフレームＩＲ画像に基づいて、シーンの１つ以上の特徴を特定することと、キーフレームの後に生じるＰフレームについて、ＴｏＦ照明器を作動させて、シーンを単一の変調周波数で変調されたアクティブＩＲ光で照らすことと、シーンから反射されてセンサアレイに戻ったアクティブＩＲ光の測定値を表す１セットのＰフレームＩＲ画像を取得するために、センサアレイをアドレスすることと、前記セットのＰフレームＩＲ画像に基づいてシーンの１つ以上の特徴を特定することと、キーフレームからＰフレームへの１つ以上の特徴の位置移転を特定することと、センサアレイの各センサに対して、アクティブＩＲ光の単一の変調周波数を用いて取得された前記セットのＰフレームＩＲ画像と、シーンの１つ以上の特徴の位置移転とに少なくとも基づく深度値を含む、Ｐフレーム深度画像を生成することと、を行うように構成されている、ＴｏＦコントローラマシンと、センサアレイに動作可能に接続されるともに、キーフレーム深度画像及びＰフレーム深度画像を出力するように構成されている、出力マシンと、を含む。この例及び／又は他の例では、ＴｏＦコントローラマシンは、キーフレーム間の連続するＰフレームについて複数のＰフレーム深度画像を生成するように構成され得る。この例及び／又は他の例では、ＴｏＦコントローラマシンは、１つ以上の特徴の位置移転の量に基づいて、キーフレーム間の連続するＰフレームの数を動的に調整するように構成され得る。この例及び／又は他の例では、単一の変調周波数は、複数の異なる変調周波数のうちの最も高い変調周波数であり得る。この例及び/又は他の例では、ＴｏＦコントローラマシンは、Ｐフレームの単一の変調周波数以外の変調周波数についての複数セットのキーフレームＩＲ画像にも基づいて、Ｐフレーム深度画像を生成するように構成され得る。この例及び／又は他の例では、ＴｏＦコントローラマシンは、１つ以上の特徴の位置移転に基づいて、単一の変調周波数以外の変調周波数についてのキーフレームＩＲ画像をクロップするように構成されてもよく、ＴｏＦコントローラマシンは、クロップされたキーフレームＩＲ画像にも基づいて、Ｐフレーム深度画像を生成するように構成され得る。この例及��／又は他の例では、ＴｏＦコントローラマシンは、複数のセットのキーフレームＩＲ画像及び前記セットのＰフレームＩＲ画像に対して強度のノイズ除去動作を行うように構成され得る。この例及び/又は他の例では、強度のノイズ除去動作は、複数のセットのキーフレームＩＲ画像及び前記セットのＰフレームＩＲ画像にローパスフィルタを適用することを含み得る。この例及び/又は他の例では、ＴｏＦコントローラマシンは、複数のセットのキーフレームＩＲ画像及び前記セットのＰフレームＩＲ画像に対して空間周波数の低減動作を行うように構成され得る。この例及び/又は他の例では、ＴｏＦコントローラマシンは、複数のセットのキーフレームＩＲ画像及び前記セットのＰフレームＩＲ画像に対してダイナミックレンジの低減動作を行うように構成され得る。
【００５８】
１つの例では、ＴｏＦカメラは、アクティブＩＲ光を放射するように構成されたＴｏＦ照明器と、複数のセンサを含むセンサアレイと、ＴｏＦコントローラマシンであって、キーフレームについて、センサアレイの複数のセンサの各センサに対して、複数のセットのキーフレームＩＲ画像に基づく深度値を含む、キーフレーム深度画像を生成することであって、各セットのキーフレームＩＲ画像はアクティブＩＲ光の異なる変調周波数を用いて取得される、ことと、キーフレームの後に生じるＰフレームについて、センサアレイの複数のセンサの各センサに対して、アクティブＩＲ光の単一の変調周波数を用いて取得される単一セットのＰフレームＩＲ画像に基づく深度値を含むＰフレーム深度画像を生成することと、を行うように構成されている、ＴｏＦコントローラマシンと、センサアレイに動作可能に接続されるとともに、キーフレーム深度画像及びＰフレーム深度画像を出力するように構成されている出力マシンとを含む。この例及び／又は他の例では、ＴｏＦコントローラマシンは、キーフレームについて、ＴｏＦ照明器を繰り返し作動させて、シーンをアクティブＩＲ光で照らすことであって、ＴｏＦ照明器は、複数の異なる変調周波数でアクティブＩＲ光を変調する、ことと、複数の異なる変調周波数のそれぞれについて、シーンから反射されてセンサアレイに戻ったアクティブＩＲ光の測定値を表す１セットのキーフレームＩＲ画像を取得するために、センサアレイを繰り返しアドレスすることと、センサアレイの複数のセンサの各センサに対して、複数のセットのＩＲ画像に基づいて深度値を決定することと、複数のセットのキーフレームＩＲ画像に基づいてシーンの１つ以上の特徴を特定することと、Ｐフレームについて、ＴｏＦ照明器を作動させて、シーンを単一の変調周波数で変調されたアクティブＩＲ光で照らすことと、シーンから反射されてセンサアレイに戻ったアクティブＩＲ光の測定値を表す前記セットのＰフレームＩＲ画像を取得するために、センサアレイをアドレスすることと、前記セットのＰフレームＩＲ画像に基づいてシーンの１つ以上の特徴を特定することと、キーフレームからＰフレームへの１つ以上の特徴の位置移転を特定することと、を行うように構成されてもよく、Ｐフレーム深度画像の各深度値は、単一セットのＰフレームＩＲ画像及びシーンの１つ以上の特徴の位置移転に基づいて決定される。この例及び/又は他の例では、ＴｏＦカメラは、ＴｏＦカメラの位置を測定するように構成された１つ以上のモーションセンサをさらに含んでもよく、ＴｏＦコントローラマシンは、キーフレームについて、ＴｏＦ照明装置を繰り返し作動させて、シーンをアクティブＩＲ光で照らすことであって、ＴｏＦ照明器は、複数の異なる変調周波数でアクティブＩＲ光を変調することと、複数の異なる変調周波数について、シーンから反射されてセンサアレイに戻ったアクティブＩＲ光の測定値を表す１セットのキーフレームＩＲ画像を取得するために、センサアレイを繰り返しアドレスすることと、センサアレイの複数のセンサの各センサに対して、複数のセットのＩＲ画像に基づいて深度値を決定することと、Ｐフレームについて、ＴｏＦ照明器を作動させて、シーンを単一の変調周��数で変調されたアクティブＩＲ光で照らすことと、シーンから反射されてセンサアレイに戻ったアクティブＩＲ光の測定値を表す１セットのＩＲ画像を取得するためにセンサアレイをアドレスすることと、１つ以上のモーションセンサのモーションデータに基づいてキーフレームからＰフレームへのＴｏＦカメラの変化した視点を特定することと、を行うように構成されてもよく、Ｐフレーム深度画像の各深度値は、単一セットのＰフレームＩＲ画像及びＴｏＦカメラの変化した視点に基づいて決定される。この例及び/又は他の例では、ＴｏＦコントローラマシンは、キーフレーム間の連続するＰフレームについて複数のＰフレーム深度画像を生成するように構成され得る。この例及び／又は他の例では、ＴｏＦコントローラマシンは、キーフレームからＰフレームに変化したＴｏＦカメラの視点の量に基づいて、キーフレーム間の連続するＰフレームの数を動的に調整するように構成され得る。この例及び／又は他の例では、ＴｏＦコントローラマシンは、複数のセットのキーフレームＩＲ画像及び前記セットのＰフレームＩＲ画像内で特定された１つ以上の特徴がキーフレームからＰフレームに移動した量に基づいて、キーフレーム間の連続するＰフレームの数を動的に調整するように構成され得る。この例及び／又は他の例では、ＴｏＦコントローラマシンは、Ｐフレームの単一の変調周波数以外の変調周波数に対する前記セットのキーフレームＩＲ画像にも基づいてＰフレーム深度画像を生成するように構成され得る。この例及び／又は他の例では、ＴｏＦコントローラマシンは、ＴｏＦカメラの変化した視点の位置移転に基づいて、単一の変調周波数以外の変調周波数に対するキーフレームＩＲ画像をクロップするように構成されてもよく、ＴｏＦコントローラマシンは、クロップされたキーフレームＩＲ画像にも基づいて、Ｐフレーム深度画像を生成するように構成され得る。この例及び／又は他の例では、ＴｏＦコントローラマシンは、複数のキーフレームＩＲ画像に対する強度のノイズ除去動作、複数のキーフレームＩＲ画像及び複数のＰフレームＩＲ画像に対する空間周波数の低減動作、複数のセットのキーフレームＩＲ画像及び前記セットのＰフレームＩＲ画像に対するダイナミックレンジの低減動作のうちの１つ以上を行うように構成され得る。
【００５９】
１つの例では、飛行時間（ＴｏＦ）方法は、センサアレイ内の複数のセンサのそれぞれに対して、複数セットのキーフレーム赤外線（ＩＲ）画像に基づく深度値を含む、キーフレーム深度画像を生成するステップであって、各セットのキーフレームＩＲ画像は、アクティブＩＲ光の異なる変調周波数を用いて取得される、ステップと、前記センサアレイの複数のセンサのそれぞれに対して、アクティブＩＲ光の単一の変調周波数を用いて取得される単一セットのＰフレームＩＲ画像に基づく深度値を含む、Ｐフレーム深度画像を生成するステップと、を含む。
【００６０】
本明細書に記載の構成及び／又はアプローチは本質的に例示であり、これらの特定の実施形態又は実施例は数多くの変形が可能であるため、限定的に考えるできではないことが分かるであろう。本明細書に記載の特定のルーチン又は方法は、任意の数の処理戦略のうちの１つ以上を表し得る。そのため、図示及び／又は記載された様々な行為は、図示及び／又は記載された順番で、他の順番で、並列に行われるか又は省略され得る。同様に、上述した処理の順序も変更され得る。
【００６１】
本開示の主題は、様々なプロセス、システム及び構成並びに本明細書で開示した他の特徴、機能、行為及び／又は特性に加えて、それらのありとあらゆる等価物の全ての新規及び非自明の組み合わせ及びサブコンビネーションを含む。
【図１】
2021523347.tif 000003
【図２】
2021523347.tif 000004
【図３】
2021523347.tif 000005
【図４】
2021523347.tif 000006
【図５】
2021523347.tif 000007
【図６】
2021523347.tif 000008
【図７Ａ】
2021523347.tif 000009
【図７Ｂ】
2021523347.tif 000010
【図８】
2021523347.tif 000011
【図９】
2021523347.tif 000012
【国際調査報告】
2021523347.tif 000013
2021523347.tif 000014