(57)【要約】  飛行時間画素を有する画素アレイを含む装置が記載される。当該装置は、飛行時間画素に連結されたクロッキング回路をさらに含む。クロッキング回路は、異なる位相のクロック信号を同一の飛行時間画素に多重化するマルチプレクサを多相クロック発生器と画素アレイとの間に含む。当該装置は、画素のうちのいずれか特定の１つが１回の距離計算を行なうのに十分な信号を発生させることができる第２のレートよりも大きい第１のレートで、画素によって発生した信号のストリームから距離計算を行なう画像信号プロセッサをさらに含む。
2018513366.tif 000002
【特許請求の範囲】
【請求項１】
装置であって、
飛行時間画素を有する画素アレイと、
前記飛行時間画素に連結されたクロッキング回路とを備え、前記クロッキング回路は、異なる位相のクロック信号を同一の飛行時間画素に多重化するマルチプレクサを多相クロック発生器と前記画素アレイとの間に含んでおり、前記装置はさらに、
前記画素のうちのいずれか特定の１つが１回の距離計算を行なうのに十分な信号を発生させることができる第２のレートよりも大きい第１のレートで、前記画素によって発生した信号のストリームから距離計算を行なう画像信号プロセッサを備える、装置。
【請求項２】
前記多相クロック発生器はＩ＋，Ｑ＋，Ｉ−およびＱ−クロック信号を発生させるためのものである、請求項１に記載の装置。
【請求項３】
前記マルチプレクサは、前記Ｉ＋，Ｑ＋，Ｉ−およびＱ−クロック信号の各々を受信するために前記多相クロック発生器に連結されている、請求項２に記載の装置。
【請求項４】
前記画素のうちの１つの画素について距離測定が計算された後に次のクロックサイクル上で前記画素のうちの別の画素について計算されている距離測定をサポートする、異なる画素からの出力チャネルをさらに備える、請求項１に記載の装置。
【請求項５】
前記マルチプレクサは、前記画素の２つ以上に連結された出力を有する、請求項１に記載の装置。
【請求項６】
前記マルチプレクサは、１つのみのマルチプレクサに連結された出力を有する、請求項１に記載の装置。
【請求項７】
前記マルチプレクサは、すべての異なる位相の飛行時間クロック信号を受信するために連結されている、請求項１に記載の装置。
【請求項８】
前記マルチプレクサは、２つの異なる位相のクロック信号を受信するために連結されている、請求項１に記載の装置。
【請求項９】
飛行時間距離測定のために、複数の異なる位相のクロック信号を発生させることと、
前記異なる位相のクロック信号の各々を異なる飛行時間画素にルーティングすることと、
前記飛行時間画素のうちのいずれかが飛行時間距離測定に十分な電荷信号を発生させるレートよりも大きいレートで、前記画素からの電荷信号から飛行時間測定を行なうこととを備える、方法。
【請求項１０】
前記画素の各々は異なるクロックを受信する、請求項９に記載の方法。
【請求項１１】
前記画素は前記異なるクロックの２つ以上を受信する、請求項１０に記載の方法。
【請求項１２】
前記クロックのうちの異なるクロックが同一画素に多重化される、請求項１１に記載の方法。
【請求項１３】
前記画素の各々は、飛行時間距離測定のために用いられるクロックのすべてを受信する、請求項１１に記載の方法。
【請求項１４】
前記画素は、飛行時間測定のために用いられるクロックの２つを受信する、請求項１１に記載の方法。
【請求項１５】
コンピューティングシステムであって、
複数のプロセッサと、
前記複数のプロセッサに連結されたメモリコントローラと、
カメラとを備え、前記カメラは、
飛行時間画素を有する画素アレイと、
前記飛行時間画素に連結されたクロッキング回路とを有し、前記クロッキング回路は、異なる位相のクロック信号を同一の飛行時間画素に多重化するマルチプレクサを多相クロック発生器と前記画素アレイとの間に含んでおり、前記カメラはさらに、
前記画素のうちのいずれか特定の１つが１回の距離計算を行なうのに十分な信号を発生させることができる第２のレートよりも大きい第１のレートで、前記画素によって発生した信号のストリームから距離計算を行なう画像信号プロセッサを有する、コンピューティングシステム。
【請求項１６】
前記多相クロック発生器はＩ＋，Ｑ＋，Ｉ−およびＱ−クロック信号を発生させるためのものである、請求項１５に記載のコンピューティングシステム。
【請求項１７】
前記マルチプレクサは、前記Ｉ＋，Ｑ＋，Ｉ−およびＱ−クロック信号の各々を受信するために前記多相クロック発生器に連結されている、請求項１６に記載のコンピューティングシステム。
【請求項１８】
前記画素のうちの１つの画素について距離測定が計算された後に次のクロックサイクル上で前記画素のうちの別の画素について計算されている距離測定をサポートする、異なる画素からの出力チャネルをさらに備える、請求項１５に記載のコンピューティングシステム。
【請求項１９】
前記マルチプレクサは、前記画素の２つ以上に連結された出力を有する、請求項１５に記載のコンピューティングシステム。
【請求項２０】
前記マルチプレクサは、１つのみのマルチプレクサに連結された出力を有する、請求項１５に記載のコンピューティングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
発明の分野は一般に画像処理に関し、より具体的には、飛行時間測定のフレームレートを増加させるための方法および装置に関する。
【背景技術】
【０００２】
背景
多くの既存のコンピューティングシステムは、１つ以上の従来の画像キャプチャカメラを統合周辺装置として含んでいる。現在の傾向は、深度キャプチャをその撮像コンポーネントに統合することによってコンピューティングシステム撮像能力を高めることである。深度キャプチャは、たとえば、（たとえばセキュアなシステムロック解除のための）顔認識または（たとえば非接触のユーザインターフェイス機能のための）ハンドジェスチャ認識といった、さまざまなインテリジェントな物体認識機能を実行するために用いられ得る。
【０００３】
「飛行時間」撮像と称される、１つの深度情報キャプチャアプローチは、システムから物体上に光を放射し、画像センサの複数の画素ごとに、光の放射からセンサ上のその反射画像の受信までの時間を測定する。飛行時間画素によって生成される画像は、異なる（ｘ，ｙ）画素位置の各々において固有の深度測定（ｚ）によって特徴付けられるような物体の三次元プロファイルに対応する。
【０００４】
撮像能力を有する多くのコンピューティングシステムはモバイルな性質である（たとえば、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン等）ため、光源（「イルミネータ」）を当該システムに統合して飛行時間演算を達成することは、コストの課題、パッケージングの課題、および／または消費電力の課題といった多数の設計課題を提示する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
概要
飛行時間画素を有する画素アレイを含む装置が記載される。当該装置は、飛行時間画素に連結されたクロッキング回路をさらに含む。クロッキング回路は、異なる位相のクロック信号を同一の飛行時間画素に多重化するマルチプレクサを多相クロック発生器と画素アレイとの間に含む。当該装置は、画素のうちのいずれか特定の１つが１回の距離計算を行なうのに十分な信号を発生させることができる第２のレートよりも大きい第１のレートで、画素によって発生した信号のストリームから距離計算を行なう画像信号プロセッサをさらに含む。
【０００６】
飛行時間距離測定のために複数の異なる位相のクロック信号を発生させるための第１の手段を有する装置が記載される。当該装置は、異なる位相のクロック信号の各々を異なる飛行時間画素にルーティングするための第２の手段をさらに含む。当該装置は、飛行時間画素のうちのいずれかが飛行時間距離測定に十分な電荷信号を発生させるレートよりも大きいレートで、画素からの電荷信号から飛行時間測定を行なうことをさらに含む。
【０００７】
図面
以下の説明および添付の図面を用いて本発明の実施形態を例示する。
【図面の簡単な説明】
【０００８】
【図１】従来の飛行時間システムを示す図（先行技術）である。
【図２ａ】フレームレートが増加した、第１の向上した飛行時間システムに関する図である。
【図２ｂ】フレームレートが増加した、第１の向上した飛行時間システムに関する図である。
【図３ａ】フレームレートが増加した、第２の向上した飛行時間システムに関する図である。
【図３ｂ】フレームレートが増加した、第２の向上した飛行時間システムに関する図である。
【図３ｃ】フレームレートが増加した、第２の向上した飛行時間システムに関する図である。
【図３ｄ】フレームレートが増加した、第２の向上した飛行時間システムに関する図である。
【図３ｅ】フレームレートが増加した、第２の向上した飛行時間システムに関する図である。
【図４ａ】フレームレートが増加した、第３の向上した飛行時間システムに関する図である。
【図４ｂ】フレームレートが増加した、第３の向上した飛行時間システムに関する図である。
【図４ｃ】フレームレートが増加した、第３の向上した飛行時間システムに関する図である。
【図５】画像センサの描写を示す図である。
【図６】本明細書に記載の実施形態によって実行される方法を示す図である。
【図７】カメラシステムの実施形態を示す図である。
【図８】コンピューティングシステムの実施形態を示す図である。
【発明を実施するための形態】
【０００９】
詳細な説明
図１は、従来の先行技術の飛行時間システムの演算の描写を示す。挿入図１０１において観察されるように、画像センサの画素アレイの一部は、複数の可視光画素（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の中の飛行時間画素（Ｚ）を示している。一般的なアプローチでは、画像センサが一部をなしているカメラから非可視（たとえば赤外（ＩＲ））光が放射される。当該光はカメラの前の物体の表面から反射して、画素アレイのＺ画素に当たる。各Ｚ画素は、受信したＩＲ光に応答して信号を発生させる。これらの信号が処理されて各画素と物体のその対応部分との間の距離が求められることによって、物体の全体的な３Ｄ画像が得られる。
【００１０】
図１に観察される１組の波形は、入射するＩＲ光に応答している上述の信号を発生させる目的で、各Ｚ画素に与えられるクロック信号に対応する。具体的には、１組の直交クロック信号Ｉ＋，Ｑ＋，Ｉ−，Ｑ−がＺ画素に順番に印加される。当該技術において公知であるように、Ｉ＋信号は典型的に０°位相を有し、Ｑ＋信号は典型的に９０°位相オフセットを有し、Ｉ−信号は典型的に１８０°位相オフセットを有し、Ｑ−信号は典型的に２７０°位相オフセットを有する。Ｚ画素は、これら信号の各々の固有のパルス位置に従って、入射するＩＲ光から電荷を連続して収集して、一連の４つの応答信号（４つのクロック信号の各々に１つずつ）を発生させる。
【００１１】
たとえば、サイクル１の終わりに、Ｚ画素は、Ｉ＋信号内に観察されるパルスの存在中に収集される電荷に比例している第１の信号を発生させ、サイクル２の終わりに、Ｚ画素は、Ｑ＋信号内に観察されるパルスの存在中に収集される電荷に比例している第２の信号を発生させ、サイクル３の終わりに、Ｚ画素は、Ｉ−信号内に観察されるパルスの存在中に収集される電荷に比例している第３の信号を発生させ、サイクル４の終わりに、Ｚ画素は、Ｑ−信号内に観察される１対の半パルスの存在中に収集される電荷に比例している第４の信号を発生させる。
【００１２】
次に、Ｚ画素によって発生した第１の、第２の、第３のおよび第４の応答信号を処理して、画素からカメラの前の物体までの距離を求める。次に、当該プロセスを次の１組の４クロックサイクルについて繰返して次の距離値を求める。したがって、各距離計算ごとに４つのクロック信号が消費されることに留意すべきである。距離計算ごとの４クロックサイクルの消費は、（距離画像のフレームを４クロックサイクルごとに一度しか生成できないため）本質的に低フレームレートに対応する。
【００１３】
図２ａは、各々が直交クロック信号の各自のアームを受信するように設計された４つのＺ画素がある、向上したアプローチを示す。すなわち、第１のＺ画素は＋Ｉクロックを受信し、第２のＺ画素は＋Ｑクロックを受信し、第３のＺ画素は−Ｉクロックを受信し、第４のＺ画素は−Ｑクロックを受信する。４つのＺ画素の各々がそれぞれの直交アームクロックを受信するので、距離測定を計算するのに必要な１組の４つの電荷応答信号を１クロックサイクルで発生させることができる。したがって、図２ａのアプローチは、図１の先行技術アプローチに対するフレームレートの４倍の向上を表わしている。
【００１４】
図２ｂは、直前に述べたようなより高速の深度キャプチャフレームレートを有する画像センサについての回路設計の実施形態を示す。図２ｂに観察されるように、クロック発生器はＩ＋，Ｑ＋，Ｉ−，Ｑ−信号の各々を発生させる。次に、これらクロック信号の各々の１つが、各自の確保されたＺ画素にルーティングされる。各画素からの出力チャネルに関して、典型的に各出力チャネルは、画素からのアナログ信号をデジタル値に変換するアナログ−デジタル変換器（ＡＤＣ）を含むことに留意すべきである。例示目的のため、ＡＤＣは図示されていない。
【００１５】
しかし、画素からのデジタル化信号を処理して当該画素からの距離を計算する画像信号プロセッサ２０２または他の機能ユニット（以下ＩＳＰ）が図示されている。４つの画素信号から距離を求めるためにＩＳＰ２０２が行なう数学演算は当該技術においてよく理解されており、ここでは記載しない。しかし、ＩＳＰ２０２は、さまざまな実施形態において、逐次的にではなく同時に４画素からデジタル化信号を受信可能であることに言及することが適切である。これは、４つの信号を並列にではなく直列に受信する図１の先行技術アプローチとは異なる。したがって、ＩＳＰ２０２はサイクルごとに距離計算を行ない、サイクルごとに１組の４つの新たな画素値を並列に受信する。
【００１６】
ＩＳＰ２０２（または他の機能ユニット）は、画素値から距離計算を行なうように特別に設計された特殊論理回路を有する専用ハードウェアにおいて完全に実現されてもよく、または、距離計算を行なうように記述されたプログラムコードを実行するプログラマブルハードウェア（たとえばプロセッサ）、または、これら２つのアーキテクチャ的な両極端同士の組合せを伴うおよび／もしくは両極端同士の間にある他の何らかの種類の回路において完全に実現されてもよい。
【００１７】
図２ａおよび図２ｂのアプローチで起こり得る問題は、図１の先行技術アプローチと比較した場合、時間分解能が空間分解能を犠牲にして得られていることである。すなわち、図２ａおよび図２ｂのアプローチは図１のアプローチの４倍のフレームレートを有しているが、これは、図１のアプローチと比較して画素アレイ表面積を４倍多く消費することによって達成されている。言い換えれば、図１のアプローチは距離測定に必要な４つの電荷信号を発生させるために１つのＺ画素しか含んでいないが、対照的に、図２ａおよび図２ｂのアプローチでは１回の距離測定をサポートするのに４画素が必要である。これは空間分解能の損失（画素アレイ表面積当たりの情報の減少）に対応する。これはさまざまな用途に許容可能であり得るが、許容可能でない用途もある。
【００１８】
したがって、図３ａ、図３ｂおよび図３ｃは、図２ａおよび図２ｂのアプローチと同様に、１クロックサイクルで４つのＺ画素応答信号を発生させることができる別のアプローチに関する。しかし、図２ａおよび図２ｂのアプローチとは異なり、１回の距離測定のための空間分解能は、４つのＺ画素ではなく１つのＺ画素に減少している。したがって、図１の先行技術アプローチの空間分解能は維持されるが、フレームレートは図２ａおよび図２ｂのアプローチと同様に４倍高速化することになる。
【００１９】
空間分解能の向上は、新たな各クロックサイクル上で異なる直交クロックが画素に送られるように、異なるＩ＋，Ｑ＋，Ｉ−およびＱ−信号を単一画素に多重化することによって達成される。図３ａに観察されるように、４つのＺ画素の各々は同一のクロックサイクル上で同一のクロック信号を受信し得る。しかし、４クロックサイクルのうちのどれが、距離測定が可能となる前の最後のクロックサイクルであると見なされるかは、画素出力情報を循環して効果的に「回転させる」または「パイプラインする」ために、４画素によって異なる。
【００２０】
たとえば、図３ａに見られるように、第１の画素３０１はＩ＋，Ｑ＋，Ｉ−，Ｑ−の順序でクロック信号を受信すると見なされ、第２の画素３０２はＱ＋，Ｉ−，Ｑ−，Ｉ＋の順序でクロック信号を受信すると見なされ、第３の画素３０３はＩ−，Ｑ−，Ｉ＋，Ｑ＋の順序でクロック信号を受信すると見なされ、第４の画素３０４はＱ−，Ｉ＋，Ｑ＋，Ｉ−の順序でクロック信号を受信すると見なされる。この場合もやはり、ある実施形態では、４画素３０１から３０４の各々は同一のクロックサイクル上で同一のクロック信号を受信する。しかし、異なる画素に割当てられた異なる順序パターンに基づいて、異なる画素は異なるクロックサイクル上で４つの異なるクロック信号の各自の受信を完了していると見なされことになる。
【００２１】
具体的には、図３ａの例において、第１の画素３０１はサイクル４の終わりにすべての４つのクロック信号を受信していると見なされ、第２の画素３０２はサイクル５の終わりにすべての４つのクロック信号を受信していると見なされ、第３の画素３０３はサイクル６の終わりにすべての４つのクロック信号を受信していると見なされ、第４の画素３０４はサイクル７の終わりにすべての４つのクロック信号を受信していると見なされる。その後、当該プロセスを繰返す。したがって、４画素３０１から３０４は、それぞれのクロック信号の各自の受信を循環してラウンドロビン的に完了する。
【００２２】
４画素の１つがクロックサイクルごとにその４つのクロック信号の受信を完了するので、１画素ごとの距離測定は、図２ａおよび図２ｂの実施形態において達成されるフレームレートが同じく４倍高速化して達成される（図２ａおよび図２ｂの実施形態は意図的に、１画素のみではなく４画素を用いて１つの距離を測定可能であったことを思い起こされたい）。対照的に、図２ａおよび図２ｂのアプローチとは異なり、空間分解能は４つのＺ画素ごとに１回の距離測定ではなく、１つのＺ画素ごとに１回の距離測定に向上してている。
【００２３】
図３ｂは、図３ａのアプローチを実現するための画像センサ回路の実施形態を示す。図３ｂに観察されるように、クロック発生回路は４つの直交クロック信号を発生させる。これらの各々は次にマルチプレクサ３１１の異なる入力に与えられる。マルチプレクサ３１１はその出力を４画素にブロードキャストする。カウンタ回路３１０が繰返しのカウント値（たとえば、１，２，３，４，１，２，３，４…）を与え、これは次にマルチプレクサ３１１のチャネル選択入力に与えられる。したがって、マルチプレクサ３１１は安定した順に４つの異なるクロック信号の選択を本質的に交互に行ない、それを４画素にブロードキャストする。
【００２４】
次に、４画素からの出力を処理する画像信号プロセッサ３０２または他の機能ユニットが、クロックサイクルごとに新たな距離測定を生成することができる。先行技術アプローチでは、画素応答信号は典型的に、すべてのＺ画素にわたって互いに同相でストリームアウトされる（すべてのＺ画素は同時に１組の４つの電荷応答を完了する）。対照的に、図３ａのアプローチでは、異なるＺ画素が異なる時間に１組の４つの電荷応答を完了する。
【００２５】
したがって、ＩＳＰ３０２は、正確な瞬間に距離計算を行なうために、異なる画素ストリームの異なる相対位相を理解している。具体的には、さまざまな実施形態において、ＩＳＰ３０２は、異なる画素信号ストリームごとに異なる時間に距離計算を行なうように構成される。上記に詳述したように、たとえば、特定の画素ストリームについて距離計算が行なわれた直後に別の画素ストリームについて距離計算を行えることは、画像センサ全体のフレームレートの増加に対応する（すなわち、異なる画素はフレームシーケンス内の異なるフレームに寄与する）。
【００２６】
図３ｃおよび図３ｄは、クロック信号を物理的に回転させる代替のアプローチを示す。図３ｄを参照して、４つのマルチプレクサへの入力チャネルは互いに比較してスウィズルされるため、４つのクロック信号の各々が４つのＺ画素の周りを物理的に回転する。理論的には、すべての４つのＺ画素は同一サイクルの終わりに距離測定の準備ができていると見なすことができるが、画素ごとに固有の異なるパターンを認識するので、図３ｂおよび図３ｃに関して上述したアプローチと同様に、次のＺ画素が次の距離測定の準備ができている（すなわち、クロックサイクルごとに１回の距離測定）ステージ化された出力シーケンスを依然として有することになり得る。
【００２７】
図３ａ、図３ｂまたは図３ｃ、図３ｄのアプローチのいずれか一方に関して、距離測定は画素解像度ごとに行なうことができるため、同一のクロック信号を共有する４画素は図３ａから図３ｄに示されるように互いに隣接して配置されなくてもよい。むしろ、図３ｅに観察されるように、４画素の各々は画素アレイ表面積上で互いにいくらか離れて配置されてもよい。図３ｅは、画素アレイの表面積全体にわたって繰返され得る画素アレイタイルを示す（ある実施形態では、各タイルは１組の４つのクロック信号を受信する）。図３ｅに観察されるように、１画素ごとの距離測定は当該タイル内の４つの異なる位置で行なうことができる。
【００２８】
この場合もやはり、これは、１回の距離測定を４画素を用いてしか行なうことができない図２ａ、図２ｂのアプローチと対照的である。図２ａ、図２ｂのアプローチの４画素も、図３ｅに観察される画素と同様にタイル上に分散していてもよい。しかし、距離測定は、単一画素からの距離測定ではなく、はるかに幅広い画素アレイ表面積上の４画素にわたる補間となる。
【００２９】
図４ａから図４ｃは、空間分解能の観点から、図２ａ、図２ｂのアプローチと図３ａから図３ｅのアプローチとの間のどこかにアーキテクチャ的に存在するさらに別のアプローチに関する。図２ａ、図２ｂのアプローチと同様に、すべての４つのクロックを受信する単一画素はない。したがって、単一画素から距離測定を行なうことができない（代わりに、距離測定は複数の画素にわたって空間的に補間される）。
【００３０】
さらに、図３ａ〜図３ｅのアプローチと同様に、異なるクロック信号が同一画素に多重化されることによって、異なる位相のクロック信号パターンの識別が可能となり、４画素ごとの１回の距離測定よりも良好な空間分解能で距離計算を行なうこととが可能となる。しかし、図２ａ、図２ｂおよび図３ａ〜図３ｅのアプローチのいずれとも異なり、図４ａ、図４ｂ、図４ｃのアプローチは、クロックサイクルごとではなく１つおきのクロックサイクルごとに距離計算を実行する。したがって、図４ａ、図４ｂ、図４ｃのアプローチは、（図２ａ、図２ｂおよび図３ａ〜図３ｅのアプローチのように４倍の向上ではなく）フレームレートの２倍の向上を提供する。
【００３１】
図４ａに観察されるように、Ｉ＋，Ｑ−の第１のクロックパターンは第１の画素に多重化され、Ｉ−，Ｑ＋の第２のクロックパターンは第２の画素に多重化される。ゆえに、この２画素システムは２クロックサイクル後にすべての４つのクロックを受信していることになる。したがって、２クロックサイクルごとに距離測定を行なうことができる。
【００３２】
図４ｂに観察されるように、Ｉ＋，Ｑ−クロック信号は第１のマルチプレクサ４１１＿１に送られ、Ｉ−，Ｑ＋クロック信号は第２のマルチプレクサ４１１＿２に送られる。カウンタ４１０は１，２，１，２…を繰返しカウントして両マルチプレクサ４１１＿１，４１１＿２の一対の入力チャネルの選択を交互に行なって、上述のように異なるクロック信号の１対の画素への多重化を行なう。第１および第２の電荷信号は、第１および第２のクロックサイクル上で両画素から送られる。したがって、２クロックサイクルの後、１組の４つの電荷値を距離計算に使用することができる。
【００３３】
図４ｃは、画像センサの画素アレイの表面積にわたって繰返され得る別のタイルを示す。ここで、上述のような１対のＺ画素が、それらの応答信号の両方が寄与する特定の距離測定の補間効果を減少させるために互いに隣接して配置されていることに留意すべきである（他の実施形態では、より多くの補間を含むようにそれらを分散させてもよい）。２対のそのような画素がタイルに含まれており、可視画素についてのＲＧＢバイエルパターンの順序を保存しつつＺ画素を均一に分散させている。この結果は、画素アレイの表面にわたって繰返され得る８×８のタイルである。
【００３４】
図５は画像センサ５００の一般的な描写を示す。図５に観察されるように、画像センサは典型的に、画素アレイ５０１と、画素アレイ回路５０２と、アナログ−デジタル（ＡＤＣ）回路５０３と、タイミングおよび制御回路５０４とを含む。上記の教示を図５に観察される標準的な画像センサのフォーマットに統合することに関して、（図４ｃまたは図５ｃのタイルといった）任意の特別な画素レイアウトタイルが画素アレイ５０１内に実現されることが明確であるべきである。画素アレイ回路５０２は、（行デコーダおよびセンス増幅器といった）画素アレイの画素に連結されている回路を含む。ＡＤＣ回路５０３は、画素によって発生したアナログ信号をデジタル情報に変換する。
【００３５】
タイミングおよび制御回路５０４は、画像センサの全体的な演算を制御する（たとえば、ローリングシャッターモードで行エンコーダ出力のスクロールを制御する）クロック信号および結果として生じる制御信号を発生させる役割を果たす。したがって、クロック発生回路、クロック信号を画素に与えるマルチプレクサ、ならびに図２ｂ、図３ｂおよび図４ｂのカウンタは、タイミングおよび制御回路５０４内のコンポーネントとして実現される。
【００３６】
ＩＳＰ５０４または上述のような他の機能ユニットは、画像センサに統合されてもよく、または画像センサを含むカメラを有するコンピューティングシステムの一部、たとえばホスト側の一部であってもよい。ＩＳＰ５０４が画像センサに含まれている実施形態では、当該タイミングおよび制御回路は、ＩＳＰが、たとえば異なる位相関係の信号を提供していると理解される異なる画素ストリームから距離計算を行なって、上記に詳述したようなより高いフレームレートをもたらすことができる回路を含む。
【００３７】
距離計算をサポートするために４つの直交クロック信号を用いることは例に過ぎず、他の実施形態では異なる数のクロックを用いてもよいことに言及することが適切である。たとえば、カメラを使用する予定の環境が厳格に管理され得る場合は３つのクロックを用いてもよい。他の実施形態では、たとえば、追加の分解能／性能が必要であり、コストが正当化される場合は、５つ以上のクロックを用いてもよい。したがって、当業者は、他の実施形態が本明細書に提供される教示を用いて、４つ以外のクロック以外を用いる飛行時間システムに当該教示を適用し得ることを認識するであろう。とりわけ、これによって、より高いフレームレートをもたらすための結合ユニットとして互いに用いられる画素の数を変更することができる（たとえば、８個のクロックを用いるシステムでは８画素のブロックを用いてもよい）。
【００３８】
図６は、上述のような画像センサによって実行されるプロセスを示す。図６に観察されるように、当該プロセスは、飛行時間距離測定のために複数の異なる位相のクロック信号を発生させること６０１を含む。当該プロセスは、異なる位相のクロック信号の各々を異なる飛行時間画素にルーティングすること６０２をさらに含む。当該方法は、飛行時間画素のいずれかが飛行時間距離測定に十分な電荷信号を発生させるレートよりも大きいレートで、画素からの電荷信号から飛行時間測定を行なうこと６０３をさらに含む。
【００３９】
図７は、統合された従来のカメラおよび飛行時間撮像システム７００を示す。システム７００は、ラップトップコンピュータ、タブレットコンピュータまたはスマートフォンのシステム／マザーボードといった、たとえばより大きいシステム／マザーボードと電気的に接触するためのコネクタ７０１を有する。レイアウトおよび実装に応じて、コネクタ７０１は、たとえば当該システム／マザーボードに実際に接続する可撓性ケーブルに接続してもよく、または、コネクタ７０１は当該システム／マザーボードに直接接触してもよい。
【００４０】
コネクタ７０１は、交互の導電層および絶縁層の多層構造として実現され得る平面基板７０２に取付けられており、導電層は、システム７００の内部の電気的接続をサポートする電子トレースを形成するようにパターン化されている。コネクタ７０１を介して、カメラシステム７００内のコンフィギュレーションレジスタにコンフィギュレーション情報を書込む／コンフィギュレーションレジスタからコンフィギュレーション情報を読出すコンフィギュレーションコマンドなどのコマンドが、より大きいホストシステムから受信される。
【００４１】
ＲＧＢＺ画像センサ７１０および光源ドライバ７０３が、受光レンズ７０２の下の平面基板７０２に装着されている。ＲＧＢＺ画像センサ７１０はさまざまな種類の画素を有する画素アレイを含んでおり、その一部は可視光に対して高感度であり（具体的には、可視赤色光に対して高感度のＲ画素のサブセット、可視緑色光に対して高感度のＧ画素のサブセット、および青色光に対して高感度のＢ画素のサブセット）、一部はＩＲ光に対して高感度である。
【００４２】
ＲＧＢ画素は、従来の「２Ｄ」可視画像キャプチャ（従来の写真撮影）機能をサポートするために用いられる。ＩＲ高感度画素は、飛行時間技術を用いる３Ｄ深度プロファイル撮像をサポートするために用いられる。基本的な実施形態は可視画像キャプチャのためのＲＧＢ画素を含むが、他の実施形態では異なる着色画素スキーム（たとえばシアン、マゼンタおよびイエロー）を用いてもよい。画像センサ７１０は、画素アレイからの信号をデジタル化するためのＡＤＣ回路と、画素アレイおよびＡＤＣ回路のためにクロッキング信号および制御信号を発生させるためのタイミングおよび制御回路とをさらに含み得る。
【００４３】
平面基板７０２も同様に、ＡＤＣ回路によって与えられたデジタル情報を、（たとえばアプリケーションプロセッサ上に統合されている）画像信号処理パイプラインといった、ホストコンピューティングシステムのよりハイエンドのコンポーネントによって処理するために、コネクタ７０１に搬送する信号トレースを含み得る。
【００４４】
カメラレンズモジュール７０４が、統合されたＲＧＢＺ画像センサおよび光源ドライバ７０３の上に統合されている。カメラレンズモジュール７０４は、受光した光を統合画像センサのアパーチャおよび光源ドライバ７０３を通して集光する１つ以上のレンズのシステムを含む。カメラレンズモジュールの可視光の受光は画像センサの飛行時間画素によるＩＲ光の受光に干渉し得、反対に、カメラモジュールのＩＲ光の受光は画像センサのＲＧＢ画素による可視光の受光に干渉し得るため、画像センサの画素アレイおよびレンズモジュール７０３の一方または両方は、ＲＧＢ画素が受光すべきＩＲ光を実質的に遮断するように、かつ、飛行時間画素が受光すべき可視光を実質的に遮断するように配置されたフィルタのシステムを含み得る。
【００４５】
アパーチャ７０６の下の光源アレイ７０７で構成されたイルミネータ７０５も平面基板７０１に装着されている。光源アレイ７０７は、平面基板７０１に装着されている半導体チップ上に実装され得る。同一のパッケージ７０３内でＲＧＢＺ画像センサに統合されている光源ドライバは、光源アレイに特定強度および変調波形を有する光を放射させるように光源アレイに連結されている。
【００４６】
ある実施形態では、図７の統合システム７００は、１）２Ｄモード、３）３Ｄモード、および３）２Ｄ／３Ｄモードの３つの演算モードをサポートする。２Ｄモードの場合、システムは従来のカメラのように挙動する。したがって、イルミネータ７０５は無効にされ、画像センサを用いてそのＲＧＢ画素を介して可視画像を受信する。３Ｄモードの場合、システムはイルミネータ７０５の視野内の物体の飛行時間深度情報をキャプチャしている。したがって、イルミネータ７０５は有効にされ、ＩＲ光を（たとえばオン−オフ−オン−オフ…の順序で）物体上に放射している。ＩＲ光は物体から反射され、カメラレンズモジュール７０４を介して受光され、画像センサの飛行時間画素によって検知される。２Ｄ／３Ｄモードの場合、上述の２Ｄモードおよび３Ｄモードの両方が同時にアクティブである。
【００４７】
図８は、パーソナルコンピューティングシステム（たとえばデスクトップもしくはラップトップ）、またはタブレットデバイスもしくはスマートフォンといったモバイルもしくはハンドヘルドコンピューティングシステムといった、例示的なコンピューティングシステム８００の描写を示す。図８に観察されるように、この基本的なコンピューティングシステムは、中央処理装置８０１（たとえば複数の汎用処理コアを含み得る）と、アプリケーションプロセッサまたはマルチコアプロセッサ８５０上に配置されたメインメモリコントローラ８１７と、システムメモリ８０２と、ディスプレイ８０３（たとえばタッチスクリーン、フラットパネル）と、ローカル有線ポイントツーポイントリンク（たとえばＵＳＢ）インターフェイス８０４と、さまざまなネットワークＩ／Ｏ機能８０５（イーサネット（登録商標）インターフェイスおよび／またはセルラーモデムサブシステムなど）と、無線ローカルエリアネットワーク（たとえばＷｉＦｉ）インターフェイス８０６と、無線ポイントツーポイントリンク（たとえばブルートゥース（登録商標））インターフェイス８０７と、全地球測位システムインターフェイス８０８と、さまざまなセンサ８０９＿１から８０９＿Ｎと、１つ以上のカメラ８１０と、バッテリ８１１と、パワーマネジメント制御ユニット８１２と、スピーカおよびマイク８１３と、音声コーダ／デコーダ８１４とを含み得る。
【００４８】
アプリケーションプロセッサまたはマルチコアプロセッサ８５０は、そのＣＰＵ４０１内の１つ以上の汎用処理コア８１５と、１つ以上のグラフィカル処理ユニット８１６と、メインメモリコントローラ８１７と、Ｉ／Ｏ制御機能８１８と、１つ以上の画像信号プロセッサパイプライン８１９とを含み得る。汎用処理コア８１５は典型的に、コンピューティングシステムのオペレーティングシステムおよびアプリケーションソフトウェアを実行する。グラフィックス処理ユニット８１６は典型的に、たとえばディスプレイ８０３上に提示されるグラフィックス情報を生成するためのグラフィックス集約機能を実行する。メモリ制御機能８１７はシステムメモリ８０２とインターフェイスする。画像信号処理パイプライン８１９はカメラから画像情報を受信し、生画像情報を下流での使用のために処理する。パワーマネジメント制御ユニット８１２は一般にシステム８００の電力消費を制御する。
【００４９】
タッチスクリーンディスプレイ８０３、通信インターフェイス８０４〜８０７、ＧＰＳインターフェイス８０８、センサ８０９、カメラ８１０、およびスピーカ／マイクコーデック８１３，８１４のすべての各々は、適切な場合、統合周辺装置（たとえば１つ以上のカメラ８１０）をさらに含むコンピューティングシステム全体に対するさまざまな形態のＩ／Ｏ（入力および／または出力）と見なすことができる。実装に応じて、これらＩ／Ｏコンポーネントのさまざまなコンポーネントはアプリケーションプロセッサ／マルチコアプロセッサ８５０上に統合されてもよく、またはアプリケーションプロセッサ／マルチコアプロセッサ８５０のダイから離れて、もしくはアプリケーションプロセッサ／マルチコアプロセッサ８５０のパッケージの外部に位置していてもよい。
【００５０】
ある実施形態では、１つ以上のカメラ８１０は、上記に詳述したようにフレームレート出力が高められたＲＧＢＺ画像センサを有する統合された従来の可視画像キャプチャおよび飛行時間深度測定システムを含む。アプリケーションプロセッサまたは他のプロセッサの汎用ＣＰＵコア（もしくはプログラムコードを実行する命令実行パイプラインを有する他の機能ブロック）上で実行されるアプリケーションソフトウェア、オペレーティングシステムソフトウェア、デバイスドライバソフトウェアおよび／またはファームウェアが当該カメラシステムにコマンドを送り、当該カメラシステムから画像データを受信してもよい。
【００５１】
コマンドの場合、当該コマンドは、上述の２Ｄ、３Ｄまたは２Ｄ／３Ｄシステム状態のいずれかへの出入りを含み得る。さらに、コマンドは、画像センサおよび光のコンフィギュレーションスペースに送られて、上記の教示と一致したコンフィギュレーション設定を実現してもよい。たとえば、コマンドは、画像センサの高められたフレームレートモードを設定してもよい。
【００５２】
本発明の実施形態は上述のようなさまざまなプロセスを含み得る。当該プロセスは機械実行可能命令において具体化されてもよい。当該命令は、汎用または専用プロセッサに一定のプロセスを実行させるために用いられ得る。あるいは、これらプロセスは、当該プロセスを実行するためのハードワイヤードロジックを含む特別なハードウェアコンポーネントによって、またはプログラムされたコンピュータコンポーネントとカスタムハードウェアコンポーネントとの任意の組合せによって実行されてもよい。
【００５３】
本発明の要素は、機械実行可能命令を格納するための機械読取可能媒体として提供されてもよい。機械読取可能媒体は、フロッピー（登録商標）ディスケット、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、ＦＬＡＳＨメモリ、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光学カード、電子命令を格納するのに好適な伝搬媒体または他の種類の媒体／機械読取可能媒体を含み得るがこれらに限定されない。たとえば、本発明は、通信リンク（たとえばモデムまたはネットワーク接続）を介して搬送波または他の伝搬媒体において具体化されるデータ信号によってリモートコンピュータ（たとえばサーバ）から要求側コンピュータ（たとえばクライアント）に伝達され得るコンピュータプログラムとしてダウンロードされてもよい。
【００５４】
上記の明細書では、本発明をその具体的な例示の実施形態を参照して説明した。しかし、添付の請求項に記載のような本発明のより広範な精神および範囲から逸脱することなくさまざまな修正および変更が本発明になされ得ることが明白になるであろう。したがって、明細書および図面は限定的ではなく例示的に考えられるべきである。
【図１】
2018513366.tif 000003
【図２ａ】
2018513366.tif 000004
【図２ｂ】
2018513366.tif 000005
【図３ａ】
2018513366.tif 000006
【図３ｂ】
2018513366.tif 000007
【図３ｃ】
2018513366.tif 000008
【図３ｄ】
2018513366.tif 000009
【図３ｅ】
2018513366.tif 000010
【図４ａ】
2018513366.tif 000011
【図４ｂ】
2018513366.tif 000012
【図４ｃ】
2018513366.tif 000013
【図５】
2018513366.tif 000014
【図６】
2018513366.tif 000015
【図７】
2018513366.tif 000016
【図８】
2018513366.tif 000017
【手続補正書】
【提出日】平成30年1月29日(2018.1.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
装置であって、
飛行時間画素を有する画素アレイと、
前記飛行時間画素に連結されたクロッキング回路とを備え、前記クロッキング回路は、異なる位相のクロック信号を同一の飛行時間画素に多重化するマルチプレクサを多相クロック発生器と前記画素アレイとの間に含んでおり、前記装置はさらに、
前記画素のうちのいずれか特定の１つが１回の距離計算を行なうのに十分な信号を発生させることができる第２のレートよりも大きい第１のレートで、前記画素によって発生した信号のストリームから距離計算を行なう画像信号プロセッサを備える、装置。
【請求項２】
前記多相クロック発生器はＩ＋，Ｑ＋，Ｉ−およびＱ−クロック信号を発生させるためのものである、請求項１に記載の装置。
【請求項３】
前記マルチプレクサは、前記Ｉ＋，Ｑ＋，Ｉ−およびＱ−クロック信号の各々を受信するために前記多相クロック発生器に連結されている、請求項２に記載の装置。
【請求項４】
前記画素のうちの１つの画素について距離測定が計算された後に次のクロックサイクル上で前記画素のうちの別の画素について計算されている距離測定をサポートする、異なる画素からの出力チャネルをさらに備える、請求項１〜３のいずれかに記載の装置。
【請求項５】
前記マルチプレクサは、前記画素の２つ以上に連結された出力を有する、請求項１〜４のいずれかに記載の装置。
【請求項６】
前記マルチプレクサは、１つのみのマルチプレクサに連結された出力を有する、請求項１〜５のいずれかに記載の装置。
【請求項７】
前記マルチプレクサは、すべての異なる位相の飛行時間クロック信号を受信するために連結されている、請求項１〜６のいずれかに記載の装置。
【請求項８】
前記マルチプレクサは、２つの異なる位相のクロック信号を受信するために連結されている、請求項１〜７のいずれかに記載の装置。
【請求項９】
飛行時間距離測定のために、複数の異なる位相のクロック信号を発生させることと、
前記異なる位相のクロック信号の各々を異なる飛行時間画素にルーティングすることと、
前記飛行時間画素のうちのいずれかが飛行時間距離測定に十分な電荷信号を発生させるレートよりも大きいレートで、前記画素からの電荷信号から飛行時間測定を行なうこととを備える、方法。
【請求項１０】
前記画素の各々は異なるクロックを受信する、請求項９に記載の方法。
【請求項１１】
前記画素は前記異なるクロックの２つ以上を受信する、請求項１０に記載の方法。
【請求項１２】
前記クロックのうちの異なるクロックが同一画素に多重化される、請求項１１に記載の方法。
【請求項１３】
前記画素の各々は、飛行時間距離測定のために用いられるクロックのすべてを受信する、請求項１１に記載の方法。
【請求項１４】
前記画素は、飛行時間測定のために用いられるクロックの２つを受信する、請求項１１に記載の方法。
【請求項１５】
コンピューティングシステムであって、
複数のプロセッサと、
前記複数のプロセッサに連結されたメモリコントローラと、
カメラとを備え、前記カメラは、
飛行時間画素を有する画素アレイと、
前記飛行時間画素に連結されたクロッキング回路とを有し、前記クロッキング回路は、異なる位相のクロック信号を同一の飛行時間画素に多重化するマルチプレクサを多相クロック発生器と前記画素アレイとの間に含んでおり、前記カメラはさらに、
前記画素のうちのいずれか特定の１つが１回の距離計算を行なうのに十分な信号を発生させることができる第２のレートよりも大きい第１のレートで、前記画素によって発生した信号のストリームから距離計算を行なう画像信号プロセッサを有する、コンピューティングシステム。
【請求項１６】
前記多相クロック発生器はＩ＋，Ｑ＋，Ｉ−およびＱ−クロック信号を発生させるためのものである、請求項１５に記載のコンピューティングシステム。
【請求項１７】
前記マルチプレクサは、前記Ｉ＋，Ｑ＋，Ｉ−およびＱ−クロック信号の各々を受信するために前記多相クロック発生器に連結されている、請求項１６に記載のコンピューティングシステム。
【請求項１８】
前記画素のうちの１つの画素について距離測定が計算された後に次のクロックサイクル上で前記画素のうちの別の画素について計算されている距離測定をサポートする、異なる画素からの出力チャネルをさらに備える、請求項１５〜１７のいずれかに記載のコンピューティングシステム。
【請求項１９】
前記マルチプレクサは、前記画素の２つ以上に連結された出力を有する、請求項１５〜１８のいずれかに記載のコンピューティングシステム。
【請求項２０】
前記マルチプレクサは、１つのみのマルチプレクサに連結された出力を有する、請求項１５〜１９のいずれかに記載のコンピューティングシステム。
【国際調査報告】
2018513366.tif 000018
2018513366.tif 000019