(57)【要約】【課題】  カメラの移動やシーンの変化による影響を減らすためのより効率的な方法を提供すること。【解決手段】  光検出信号と各位相シフト参照信号を相関させることによって、直交相関信号と同相相関信号を含む相関信号を取得するように構成された回路を具備する装置であって、上記直交相関信号の取得の平均時間と上記同相相関信号の取得の平均時間が略等しくなるように、上記回路が構成される装置を提供する。【選択図】図６
2020513555.tif 000002
【特許請求の範囲】
【請求項１】
光検出信号と各位相シフト参照信号を相関させることによって、直交相関信号と同相相関信号を含む相関信号を取得するように構成された回路を具備する装置であって、
前記直交相関信号の取得の平均時間と前記同相相関信号の取得の平均時間が等しい、または略等しくなるように、前記回路が構成される
装置。
【請求項２】
請求項１に記載の装置であって、
プロセッサは、下記の位相シフトシーケンスのいずれか１つに基づき前記相関信号を取得するように構成される
装置。
【表９】
2020513555.tif 000030
【請求項３】
請求項１に記載の装置であって、
変調光信号と比較して、参照信号はそれぞれ０°、９０°、２７０°、および１８０°位相シフトされる
装置。
【請求項４】
請求項１に記載の装置であって、
前記相関信号は直交変調信号であり、
前記回路は１８０°反対の位相において第１および最後の相関信号を取得し、第２および第３の相関信号も１８０°反対の位相において取得するように構成される
装置。
【請求項５】
請求項１に記載の装置であって、
前記回路は、まず０°と９０°の相関測定の第１の集合を続けて取得し、次に２１０°と１２０°の相関測定の第２の集合を続けて取得するように構成される
装置。
【請求項６】
請求項３に記載の装置であって、
前記回路は
第１の時間Ｔ０において０°の相関信号を取得し、
第２の時間Ｔ０＋ΔＴにおいて９０°の相関信号を取得し、
第３の時間Ｔ０＋２．ΔＴにおいて２７０°の相関信号を取得し、
最後の時間Ｔ０＋３．ΔＴにおいて１８０°の相関信号を取得するように構成され、
Ｔ０は前記相関信号の取得が開始された時間を示し、ΔＴは所定の時間間隔を示す
装置。
【請求項７】
請求項１に記載の装置であって、
プロセッサは、下記の位相シフトシーケンスのいずれか１つに基づき前記相関信号を取得するように構成される
装置。
【表１０】
2020513555.tif 000031
【請求項８】
請求項１に記載の装置であって、
プロセッサは、下記の位相シフトシーケンスのいずれか１つに基づき前記相関信号を取得するように構成される
装置。
【表１１】
2020513555.tif 000032
【請求項９】
請求項１に記載の装置であって、
変調光信号でシーンを照らすように構成される照明ユニットをさらに具備する
装置。
【請求項１０】
請求項９に記載の装置であって、
前記光検出信号を受信するように構成された撮像素子をさらに具備する
装置。
【請求項１１】
光検出信号と各位相シフト参照信号を相関させることによって、相関信号の第１の集合と相関信号の第２の集合を含む相関信号を取得するように構成された回路を具備する装置であって、
前記相関信号の第１の集合の平均位相と前記相関信号の第２の集合の平均位相が直交する、または略直交するように前記回路が構成され、
前記相関信号の第１の集合の取得の平均時間と前記相関信号の第２の集合の取得の平均時間が等しい、または略等しくなるように前記回路が構成される
装置。
【請求項１２】
請求項１１に記載の装置であって、
前記相関信号の第１の集合は直交変調信号を含み、
前記相関信号の第２の集合は同相相関信号を含む
装置。
【請求項１３】
請求項１１に記載の装置であって、
前記相関信号の第１の集合は、所定の位相角で位相シフトされた直交変調信号を含み、
前記相関信号の第２の集合は、前記所定の位相角で位相シフトされた同相相関信号を含む
装置。
【請求項１４】
請求項１１に記載の装置であって、
プロセッサは、下記の位相シフトシーケンスのいずれか１つに基づき前記相関信号の第１の集合および前記相関信号の第２の集合を取得するように構成される
装置。
【表１２】
2020513555.tif 000033
【請求項１５】
請求項１１に記載の装置であって、
プロセッサは、下記の位相シフトシーケンスのいずれか１つに基づき前記相関信号の第１の集合および前記相関信号の第２の集合を取得するように構成される
装置。
【表１３】
2020513555.tif 000034
【請求項１６】
光検出信号と各位相シフト参照信号を相関させることによって、直交相関信号と同相相関信号を含む相関信号を取得することを含む方法であって、
前記直交相関信号の取得の平均時間と前記同相相関信号の取得の平均時間が略等しくなるよう前記相関信号を取得する
方法。
【請求項１７】
プロセッサ上で実行される際に前記プロセッサに請求項１６に記載の方法を実行させる命令を含むコンピュータ・プログラム。
【請求項１８】
光検出信号と各位相シフト参照信号を相関させることによって、相関信号の第１の集合と相関信号の第２の集合を含む相関信号を取得することを含む方法であって、
前記相関信号の第１の集合の平均位相と前記相関信号の第２の集合の平均位相が直交、または略直交し、
前記相関信号の第１の集合の取得の平均時間と前記相関信号の第２の集合の取得の平均時間が等しい、または略等しい
方法。
【請求項１９】
プロセッサ上で実行される際に前記プロセッサに請求項１８に記載の方法を実行させる命令を含むコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は概して、飛行時間（Time of Flight）撮像装置および方法に関する。
【背景技術】
【０００２】
ＴｏＦ（Time of Flight）３Ｄ撮像装置は、光源からオブジェクトまでの往復の飛行時間（ＴｏＦ：Time of Flight）の分析によってオブジェクトまでの距離に関する情報を提供する装置として知られている。ＴｏＦ  ３Ｄ撮像装置（または３Ｄ  ＴｏＦカメラ）は、カメラからオブジェクトまでの実際の距離を推定するためにどの深度から算出が行われるかの複数の連続した計測が必要なＴｏＦ原理に基づく。各測定はそれぞれ独自のインテグレーション・タイム（積分時間）を有し、デプス・マップ（深度図）を決定する必要がある複数の測定が行われる期間は、所定の期間を含む。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ＴｏＦカメラは、ＴｏＦ原理（図１を参照し後述する）に基づいて行われる一連の連続した取得結果・計測結果から、３Ｄ画像または深度図を算出する。一連の連続した計測結果を通してシーンにおけるオブジェクトが動く際に（または時間と共に距離が変わるように、オブジェクトに対してシーンにおいてカメラが動く場合）、各画素におけるそれぞれの連続した計測がそのシーンにおける同じ箇所と対応しなくなり、ＴｏＦ原理に基づく連続した計測によって抽出される、算出された深度の計測によって推定される深度が不正確になるという悪影響が、算出された深度に発生する恐れがある（２Ｄ撮像においてはモーションブラー（被写体ぶれ）と呼ばれる）。
【０００４】
カメラからオブジェクトまでの距離を判定するため、光検出信号は通常、元の光信号と比較してそれぞれ０°、１８０°、９０°、および２７０°でシフトされる４つの電気参照信号と相関している。取得ステップは、動的アスペクトが含まれるシーン（すなわち、カメラまたはシーン／オブジェクトの動き）の深度算出の際に発生する誤差を最小化するのに適しているべきである。従来技術の相関測定のシーケンスは、まず０°と９０°の相関測定を含む第１の組の測定が連続して行われ、次に１８０°と２７０°の相関測定を含む第２の組の測定が連続して行われるように設定されていた。４つの相関測定が行われる際のカメラの移動やシーンの変化の影響を減らすため、可能な限り迅速に４つの相関計測を行うことによってシーンの変化（モーションブラー（被写体ぶれ））による誤差を減らしたり、モーションブラー（被写体ぶれ）が発生した領域を特定するための追加の信号処理を行ったりすることが考えられてきた。
【０００５】
カメラの移動やシーンの変化による影響を減らすため、上記のような技術が存在はするが、一般的に、カメラの移動やシーンの変化による影響を減らすためのより効率的な方法が求められている。
【課題を解決するための手段】
【０００６】
本開示の第１の態様によると、光検出信号と各位相シフト参照信号を相関させることによって、直交相関信号と同相相関信号を含む相関信号を取得するように構成された回路を具備する装置であって、上記直交相関信号の取得の平均時間と上記同相相関信号の取得の平均時間が略等しくなるように、上記回路が構成される装置が提供される。
【０００７】
本開示の他の態様によると、光検出信号と各位相シフト参照信号を相関させることによって、相関信号の第１の集合と相関信号の第２の集合を含む相関信号を取得するように構成された回路を具備する装置であって、上記相関信号の第１の集合の平均位相と上記相関信号の第２の集合の平均位相が直交する、または略直交するように上記回路が構成され、上記相関信号の第１の集合の取得の平均時間と上記相関信号の第２の集合の取得の平均時間が等しい、または略等しくなるように上記回路が構成される装置が提供される。
【０００８】
本開示の他の態様によると、光検出信号と各位相シフト参照信号を相関させることによって、直交相関信号と同相相関信号を含む相関信号を取得することを含む方法であって、上記直交相関信号の取得の平均時間と上記同相相関信号の取得の平均時間が略等しくなるよう上記相関信号を取得する方法が提供される。
【０００９】
本開示の他の態様によると、光検出信号と各位相シフト参照信号を相関させることによって、相関信号の第１の集合と相関信号の第２の集合を含む相関信号を取得することを含む方法であって、上記相関信号の第１の集合の平均位相と上記相関信号の第２の集合の平均位相が直交、または略直交し、上記相関信号の第１の集合の取得の平均時間と上記相関信号の第２の集合の取得の平均時間が等しい、または略等しい方法が提供される。
【００１０】
さらに他の側面に関しては、従属請求項、並びに以下の説明及び図面から明らかにされる。
【００１１】
図面を参照して本開示の実施形態の詳細な説明を行う前に、いくつかの一般的な説明を行う。
【００１２】
回路は、マイクロチップ等の集積回路、ＣＰＵ等の処理ユニット、ＬＥＤ、および／またはレーザードライバー電子機器等を含む任意の種類の電子回路であり得る。
【００１３】
光検出信号は、例えば、ＴｏＦカメラのカメラセンサによって得られる光に対応し得る。例えば、ＴｏＦ撮像において、光検出信号は変調光によって照らされたシーンによって反射された光に対応し得る。
【００１４】
光検出信号はＴｏＦカメラシステムによって取得され得る。このＴｏＦカメラシステムは光の既知の速度に基づく距離の解像を行い、画像の各点におけるカメラと被写体との間の変調光信号の飛行時間（ＴｏＦ：Time of Flight）を計測する。本実施形態においては、ＴｏＦカメラに関する様々な技術が用いられ得る。例えば、距離ゲート式撮像装置や位相検出器を備えるＲＦ変調光源が挙げられる。例えば、反射光は画素配列を含むセンサによって捕捉される。この場合、１個の画素は入射光を電流に変換する感光素子（例えば、フォトダイオード）からなる。
【００１５】
ＴｏＦ撮像において、例えば、参照信号は相関信号を生成するための光検出信号と相関している。参照信号は電気参照信号等であり得る。いくつかの実施形態によると、参照信号とは、変調光信号と比較して、それぞれ０°、１８０°、９０°、および２７０°位相シフトされた電気参照信号である。
【００１６】
直交相関とは、例えば９０°または略９０°位相シフトされた参照信号、または２７０°または略２７０°位相シフトされた参照信号に関するものであってもよい。一方、同相相関とは、例えば０°または１８０°位相シフトされた参照信号、または略０°または略１８０°位相シフトされた参照信号に関するものであってもよい。
【００１７】
本実施形態によると、直交相関信号の取得の平均時間と同相相関信号の取得の平均時間は略等しい。直交相関信号の取得の平均時間と同相相関信号の取得の平均時間が略等しい場合、変調光信号と光検出信号間の位相シフト角度を表す式の分子で用いる相関の取得の平均時間と、この位相シフト角度を表す式の分母における相関の取得の平均時間は略等しくなり得る。つまり、直交相関信号の取得の平均時間と同相相関信号の取得の平均時間が略等しい場合、モーションブラーを引き起こす位相オフセット誤差は大幅に減少されることになり得る。
【００１８】
いくつかの実施形態によると、相関信号は直交変調信号であり、回路は１８０°反対の位相において第１および最後の相関信号を取得し、第２と第３の相関信号も１８０°反対の位相において取得するように構成される。
【００１９】
いくつかの実施形態によると、第１および最後の相関信号は直交相関信号であり、一方で第２と第３の相関信号は同相相関信号である。
【００２０】
さらに他の実施形態によると、第１および最後の相関信号は同相相関信号であり、一方で第２と第３の相関信号は直交相関信号である。
【００２１】
いくつかの実施形態によると、回路は、まず０°と１８０°の相関測定の第１の集合を続けて取得し、次に９０°と２７０°の相関測定の第２の集合を続けて取得するように構成される。
【００２２】
いくつかの実施形態によると、回路は、第１の時間Ｔ０において０°の相関信号を取得し、第２の時間Ｔ０＋ΔＴにおいて９０°の相関信号を取得し、第３の時間Ｔ０＋２．ΔＴにおいて２７０°の相関信号を取得し、最後の時間Ｔ０＋３．ΔＴにおいて１８０°の相関信号を取得するように構成される。この場合、Ｔ０は相関信号の取得が開始された時間を示し、ΔＴは所定の時間間隔を示す。
【００２３】
いくつかの実施形態によると、他の位相シフトシーケンスに基づき相関信号を取得するように回路が構成される。
【００２４】
例えば、本出願に記載の基本概念を逸脱しない範囲で、相関信号のすべての位相を同一の所定の位相角でシフトしてもよい。
【００２５】
つまり、例えば、光検出信号と各位相シフト参照信号を相関させることによって、相関信号の第１の集合と相関信号の第２の集合を含む相関信号を取得するように回路が構成されてもよい。この場合、相関信号の第１の集合の平均位相と相関信号の第２の集合の平均位相が直交、または略直交するように回路が構成され、また、相関信号の第１の集合の取得の平均時間と相関信号の第２の集合の取得の平均時間が等しい、または略等しくなるように回路が構成される。
【００２６】
特に、相関信号の第１の集合は、所定の位相角で位相シフトされた直交変調信号を含み得る。相関信号の第２の集合は、同じ上記所定の位相角で位相シフトされた同相相関信号を含み得る。
【００２７】
例えば、相関信号の第１の集合は、直交変調信号を含み得る。相関信号の第２の集合は、任意の位相角で位相シフトされた同相相関信号を含み得る。
【００２８】
この装置は、変調光信号でシーンを照らすための照明ユニットをさらに含んでもよい。例えば、照明ユニットとは発光ダイオード（ＬＥＤ）であってもよく、特に、レーザーダイオード等であってもよい。
【００２９】
この装置は、光検出信号を受信するための撮像素子をさらに含んでもよい。例えば、この撮像素子はＣＣＤ画素配列を含んでもよい。
【００３０】
例えば、本実施形態に係る方法は、光検出信号と各位相シフト参照信号を相関させることによって、直交相関信号と同相相関信号を含む相関信号を取得することを含んでもよい。この場合、直交相関信号の取得の平均時間と同相相関信号の取得の平均時間が略等しくなるよう相関信号を取得する。
【発明の効果】
【００３１】
以上のように、本開示によれば、カメラの移動やシーンの変化による影響を減らすためのより効率的な方法を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】ＴｏＦカメラの基本動作原理を概略的に示す図である。
【図２】飛行時間（Time of Flight）測定に関する信号の例を示す図である。
【図３】光検出信号Ｓφの極形式を示す図である。
【図４】相関測定制御シーケンスの例を示す図である。
【図５】従来技術の位相シフトシーケンスによるＴｏＦ  ３Ｄ画像の例と、実質的なモーションブラーを示す図である。
【図６】どのようにして分子Ｑと分母Ｉに対する取得の平均時間を判定するかの例を概略的に示す図である。
【図７】本開示の実施形態に係る位相シフトシーケンスを用いたＴｏＦ画像の取得方法を概略的に示す図である。
【図８】人差し指を立てた状態で手を回すような動作を行った際に手の上部に設置した３Ｄ  ＴｏＦカメラで取得したシーンにおける手を後ろから見た図である。
【発明を実施するための形態】
【００３３】
以下、添付図面を参照しながら、実施形態について例示する。
【００３４】
図１はＴｏＦカメラ３の基本動作原理を概略的に示す図である。ＴｏＦカメラ３は、専用の照明ユニット１８からオブジェクトまでの光の飛行時間（ＴｏＦ：Time of Flight）を分析して、シーン１５の３Ｄ画像を撮影する。ＴｏＦカメラ３は例えば３Ｄセンサ１等のカメラと、プロセッサ４を含む。シーン１５は、専用の照明ユニット１８を用いて所定の波長の変調光１６によって能動的に照らされる。例えば、タイミング発生器５によって生成された少なくとも１の所定の周波数のいくつかの光パルスによって照らされる。変調光１６はシーン１５内のオブジェクトによって反射される。レンズ２は反射光１７を集光し、カメラの撮像素子１上にオブジェクトの像を結像する。オブジェクトとカメラの距離に応じて、変調光１６、例えばいわゆる光パルスの照射と、反射された光パルス１７のカメラにおける受光との間に遅延が発生する。カメラと反射オブジェクト間の距離は、観察された時間遅延作用および光定数値の速度として判定されてもよい。
【００３５】
オブジェクトとカメラの距離は以下のように計算される。
【００３６】
図２はＴｏＦ測定に関する信号の例を示す図である。変調信号Ｓ（図１における１６）はオブジェクトに向かって送信される。オブジェクトよる反射の後、反射光（図１における１７）を受光した光検出器によって信号Ｓφが検出される。移動時間があるため、元の信号Ｓと比較して位相φの分だけ信号Ｓφは位相シフトされる。例えば、信号Ｓが正弦波形の場合は、
【数１】
2020513555.tif 000003
・・・（式１）
そして、Ｓφは、下記の数式を用いて位相シフト波とみなされ得る。
【数２】
2020513555.tif 000004
・・・（式２）
【００３７】
下記の式によって、いわゆる同相Ｉ成分と直交Ｑ成分を定義する。
【数３】
2020513555.tif 000005
・・・（式３）
【数４】
2020513555.tif 000006
・・・（式４）
そして、Ｓφは以下のように表すことができる。
【数５】
2020513555.tif 000007
・・・（式５）
【００３８】
この式は、図３に示すベクトルとしてＳφの極形式を表すことができる。φはＳφの位相を示し、ｒは信号Ｓφの振幅Ａに対応するパラメータであり、いわゆる信頼度に関する。
【００３９】
φ、Ｉ、Ｑはオブジェクトとカメラの距離を計測するための主要パラメータである。これらのパラメータを計測するために、光検出信号Ｓφは通常、電気参照信号ＳＩ、ＳＩ￣、ＳＱ、ＳＱ￣と相関させられる。図２に示すように、ＳＩ、ＳＩ￣、ＳＱ、ＳＱ￣は、元の光信号Ｓと比較して、それぞれ０°、１８０°、９０°、および２７０°シフトされた電気参照信号である。取得される相関信号は以下のように定義される。
【数６】
2020513555.tif 000008
・・・（式６）
【数７】
2020513555.tif 000009
・・・（式７）
【数８】
2020513555.tif 000010
・・・（式８）
【数９】
2020513555.tif 000011
・・・（式９）
【００４０】
そして、２つのパラメータＩとＱは以下のように計算される。
【数１０】
2020513555.tif 000012
・・・（式１０）
【数１１】
2020513555.tif 000013
・・・（式１１）
【００４１】
ＡＳおよびαはそれぞれ、光検出信号Ｓφの振幅変化と、相関の効率を表し、両者は動作中に測定される。
【００４２】
φの抽出は、変調信号Ｓの形に基づく。例えば、Ｓが正弦波の場合、
【数１２】
2020513555.tif 000014
・・・（式１２〜１４）
【００４３】
一度位相φが既知となると、下記の式に基づき、オブジェクトとカメラの距離Ｄφを取得することができる。
【数１３】
2020513555.tif 000015
・・・（式１５）
ｃは光の速度を表し、ｆｍｏｄは変調周波数を表し、ｎは位相アンビギュイティに関する整数を表す。
【００４４】
（シーンまたはカメラの変化）
式１２〜１４の逆正接項は、４つの相関が計測される際にはシーンもカメラも変化しないという仮定に基づく。例えば、φが定数で、０°、９０°、１８０°、２７０°の信号シフトが行われた相関の間でＡＳが定数ΔＡＳの分だけ増加する場合、位相オフセット誤差は以下のようになる。
【数１４】
2020513555.tif 000016
・・・（式１６）
【００４５】
詳述すると、従来技術の相関計測シーケンスは以下のように論理的に設定される。まず０°（Ｓφ,Ｉ）と９０°（Ｓφ,Ｑ）の相関測定を含む第１の組の測定が連続して行われ、次に１８０°（Ｓφ,Ｉ￣）と２７０°（Ｓφ,Ｑ￣）の相関測定を含む第２の組の測定が連続して行われるように設定される。これは、ある位相からその隣の位相にオフセットが線形増加するのを容易にするためである。この増加は、毎回１つの同じ９０°のオフセットに基づき設定される（このオフセットを格納するために１つのメモリを割り当てる必要がある）。
【００４６】
図４は相関測定制御シーケンスの例を示す図である。制御シーケンスはｕＦｒａｍｅ  ｕＦを含み、ｕＦｒａｍｅ  ｕＦは４つのサブフレームＳＦ１、ＳＦ２、ＳＦ３、ＳＦ４を含む。各サブフレームは、特定の参照信号に対する特定の相関測定に関する。従来技術の位相シフトシーケンスによると、サブフレームＳＦ１は０°の相関測定（Ｓφ,Ｉ）を制御し、サブフレームＳＦ２は９０°の相関測定（Ｓφ,Ｑ）を制御し、サブフレームＳＦ３は１８０°の相関測定（Ｓφ,Ｉ￣）を制御し、サブフレームＳＦ４は２７０°の相関測定（Ｓφ,Ｑ￣）を制御する。各サブフレームは積分（ｉｎｔｅｇｒａｔｉｏｎ）シーケンスを含む。この積分シーケンスにおいて、相関信号は受信され、積分される。この積分シーケンスの後に、Ｒ／Ｏシーケンスが続く。Ｒ／Ｏシーケンスにおいて、積分結果が読み出される。Ｒ／Ｏシーケンスの後に、ＳＦ  ＤＴシーケンスが続く。ＳＦ  ＤＴシーケンスでサブフレームは終わりとなる。ＤＴとはサブフレーム・ダウンタイムのことであり、この間には何も起こらない。
【００４７】
図５は従来技術の位相シフトシーケンスによるＴｏＦ  ３Ｄ画像の例を示す図である。ＴｏＦ  ３Ｄカメラの前でユーザが手を振ったときにこのＴｏＦ  ３Ｄ画像が取得されると、ＴｏＦ  ３Ｄ画像は著しいモーションブラーを含むことになる。
【００４８】
下記の本実施形態は、時間とともに行われる取得についての好適な構成に関する。この構成によると、ＴｏＦ原理によって推測を行う際の深度算出誤差を最小化するこができる。特に本実施形態は、位相誤差が減少するように信号シフトを並び変えることに関する。
【００４９】
この構成によると、（位相シフト角φを表す式１２〜１４における）分子に用いられる相関の取得の平均時間と、（位相シフト角φを表す式１２〜１４における）分母に用いられる相関の取得の平均時間とが等しくなる。
【００５０】
上記のような直交変調において、これは、１８０°反対の位相において第１および最後の３Ｄ写真を取得し、第２と第３の３Ｄ写真は、例えば下記の改良された位相シフトにおいて取得されることを意味する。
【００５１】
図６は、本発明の実施形態の０°（Ｓφ,Ｉ）、９０°（Ｓφ,Ｑ）、２７０°（Ｓφ,Ｑ￣）、１８０°（Ｓφ,Ｉ￣）の位相シフトシーケンスを用いる際に式１２〜１４においてどのようにして分子Ｑと分母Ｉに対する取得の平均時間を判定するかの例を概略的に示す図である。図６の下のグラフは、時間ｔの経過とともに行われる、式１２〜１４における分子Ｑに対する相関信号Ｓφ,ＱおよびＳφ,Ｑ￣（直交相関）の取得について信号振幅Ａとして示す。それに応じて、図６の上のグラフは、時間ｔの経過とともに行われる、式１２〜１４における分母Ｉに対する相関信号Ｓφ,ＩおよびＳφ,Ｉ￣（同相相関）の取得について信号振幅Ａとして示す。相関信号Ｓφ,Ｉの取得は時刻Ｔ０に開始し、積分時間δｔの間継続する。相関信号Ｓφ,Ｑの取得は時刻Ｔ０＋ΔＴに開始し、積分時間δｔの間継続する。相関信号Ｓφ,Ｑ￣の取得は時刻Ｔ０＋２．ΔＴに開始し、積分時間δｔの間継続する。相関信号Ｓφ,Ｉ￣の取得は時刻Ｔ０＋３．ΔＴに開始し、積分時間δｔの間継続する。例示のため、ここでは積分時間δｔと信号振幅Ａ（ｔ）＝Ａ０が各相関測定において同一であると仮定する。従って、分子相関Ｓφ,ＱおよびＳφ,Ｑ￣に対する取得ｙＱの平均時間は以下のようになる。
【数１５】
2020513555.tif 000017
【００５２】
従って、分母相関Ｓφ,ＩおよびＳφ,Ｉ￣の取得ｙＩの平均時間は以下のようになる。
【数１６】
2020513555.tif 000018
【００５３】
つまり、図６に例示した位相シフトシーケンスを用いた場合、分子相関Ｓφ,ＱおよびＳφ,Ｑ￣（直交相関）の取得ｙＱの平均時間と分母相関Ｓφ,ＩおよびＳφ,Ｉ￣（同相相関）の取得ｙＩの平均時間は等しくなる。
【００５４】
図６の実施形態に示すように、積分時間δｔと信号振幅Ａ（ｔ）＝Ａ０は各相関測定において同一であり、分子相関（直交相関）の取得ｙＱの平均時間と分母相関（同相相関）の取得ｙＩの平均時間は完全に同一であると仮定される。他の実施例においては、振幅Ａ，時間間隔ΔＴ、及び積分期間δｔは各相関測定において同一であってはならない。このような場合、分子相関（直交相関）の取得ｙＱの平均時間と分母相関（同相相関）の取得ｙＩの平均時間は完全に同一であってはならない。両者は略同一であればよい。
【００５５】
以下の表は、従来技術の位相シフトシーケンスと比較した上記第１の実施形態の位相シフトシーケンスを示す。
【表１】
2020513555.tif 000019
【００５６】
例えば、この順番で式１６を以下に示す式１７に変換する。式１７は位相の誤差が０まで減少したことを示す。
【数１７】
2020513555.tif 000020
・・・（式１７）
【００５７】
また、他の実施形態の位相シフトシーケンスを下記の表に示す。ここで、位相シフトシーケンスＡは上記の表を用いて説明したものと同一である。
【表２】
2020513555.tif 000021
【００５８】
上記の位相シフトシーケンスによると、１８０°反対の位相において第１および最後の相関信号が取得され、第２と第３の相関信号も１８０°反対の位相において取得される。
【００５９】
さらに他の実施形態の場合、相関信号は放出信号に対して二次式または同相である必要はない。例えば、各位相の差が維持されたまま、実施形態の効果が失われないように、相関信号の全ての位相を同じ角度δでシフトすることができる。例えば、０°、９０°、２７０°、１８０°の位相シフトシーケンスＡの代わりに、実施形態の要旨から逸脱しない範囲内で、０°＋δ、９０°＋δ、２７０°＋δ、１８０°＋δの位相シフトシーケンスＡ'が用いられてもよい。
【００６０】
これらの実施形態によると、位相シフト直交相関信号の平均位相と、位相シフト同相相関信号の平均位相は互いに直交する。例えば、上記の位相シフトシーケンスＡ'によると、シフト同相相関信号０°＋δ、１８０°＋δの平均値は９０°＋δであり、シフト直交相関信号９０°＋δ、２７０°＋δの平均値は１８０°＋δである。つまり、シフト同相相関信号の平均値９０°＋δとシフト直交相関信号の平均値１８０°＋δは互いに直交する（｜（１８０°＋δ）−（９０°＋δ）｜＝９０°）。
【００６１】
このような実施形態によると、相関信号のすべての位相が同じ角度δでシフトされる場合、式１６は以下の形を取る。
【数１８】
2020513555.tif 000022
・・・（式１６'）
【００６２】
以下の表は、さらに他の実施形態の位相シフトシーケンスを示す。
【表３】
2020513555.tif 000023
【００６３】
この場合も、各位相の差が維持されたまま、実施形態の効果が失われないように、すべての角度を同じ角度δでシフトすることができる。例えば、０°、９０°、２１０°、１２０°の位相シフトシーケンスＩの代わりに、実施形態の要旨から逸脱しない範囲内で、０°＋δ、９０°＋δ、２１０°＋δ、１２０°＋δの位相シフトシーケンスＩ'が用いられてもよい。これらの実施形態によると、この場合も、位相シフト直交相関信号の平均位相と、位相シフト同相相関信号の平均位相は互いに直交する。例えば、上記の位相シフトシーケンスＩ'によると、シフト同相相関信号０°＋δ、１８０°＋δの平均値は９０°＋δであり、シフト直交相関信号９０°＋δ、２７０°＋δの平均値は１８０°＋δである。つまり、シフト同相相関信号の平均値９０°＋δとシフト直交相関信号の平均値１８０°＋δは互いに直交する（｜（１８０°＋δ）−（９０°＋δ）｜＝９０°）。
【００６４】
上記の位相シフトシーケンスによると、１２０°反対の位相において第１および最後の相関信号が取得され、第２と第３の相関信号も１２０°反対の位相において取得される。
【００６５】
このような実施形態によると、式１６は以下の形（式１６'と同一）を取る。
【数１９】
2020513555.tif 000024
・・・（式１６"）
【００６６】
先行技術においては、可能な限り迅速に４つの相関計測を行うことによってシーンの変化（モーションブラー（被写体ぶれ））による誤差を減らしてシーン変化の影響を減らしたり、モーションブラー（被写体ぶれ）が発生した領域を特定するための追加の信号処理を行ったりする。しかしながら、上記の本実施形態においては、追加の計算やシステムの変更をすることなく、メソッドパラメータを変更するだけで、主要な共通のケースにおける深度計測誤差を誘発するモーションブラーを制限したり、大幅に削減したりする。
【００６７】
図７は本開示の一実施形態に係る位相シフトシーケンスを用いたＴｏＦ画像の取得方法を概略的に示す図である。処理８０１において、光検出信号Ｓφを各位相シフト参照信号ＳＱと相関させることによって相関信号Ｓφ,Ｑが取得される。処理８０２において、光検出信号Ｓφを各位相シフト参照信号ＳＩと相関させることによって相関信号Ｓφ,Ｉが取得される。処理８０３において、光検出信号Ｓφを各位相シフト参照信号ＳＩ￣と相関させることによって相関信号Ｓφ,Ｉ￣が取得される。処理８０４において、光検出信号Ｓφを各位相シフト参照信号ＳＱ￣と相関させることによって相関信号Ｓφ,Ｑ￣が取得される。相関信号Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣は、直交相関信号Ｓφ,Ｑ、Ｓφ,Ｑ￣と同相相関信号Ｓφ,Ｉ、Ｓφ,Ｉ￣を含む。直交相関信号Ｓφ,Ｑ、Ｓφ,Ｑ￣の取得の平均時間と同相相関信号Ｓφ,Ｉ、Ｓφ,Ｉ￣の取得の平均時間が略等しくなるよう相関信号Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣を取得する。
【００６８】
（実施形態の効果）
図８は人差し指を立てた状態で手を回すような動作を行った際に手の上部に設置した３Ｄ  ＴｏＦカメラで取得したシーンにおける手を後ろから見た図である。連続して取得された相関から算出された位相差の誤差は、Ｙ軸上のカメラに近づいたり離れたりするような誤った深度計測を引き起こす。対象画素とその周囲の画素との勾配とともに深度計測の誤差が増加する。左の画像（図８ａ）は、従来技術の位相シフトシーケンスによって取得された画像である。右の画像（図８ｂ）は上記の実施形態の位相シフトシーケンスによって取得された画像である。図８から分かるように、従来技術の位相シフトシーケンスによるモーションブラーと比較して、本実施形態の位相シフトシーケンスによるモーションブラーは減少されている。
【００６９】
本実施形態はＴｏＦカメラが動作するすべての状況に適用される。特に、モーションブラーを最小化しなければならない状況、および／またはシステム制約が一定のモーションブラーにおいて緩和される状況に適用される。例えば、動いている手や指の追跡や、車内における、動いている全身の追跡、または動いているオブジェクト／カメラによる３Ｄオブジェクトのスキャニングなどである。
【００７０】
本明細書及び添付の特許請求の範囲に記載されるすべてのユニットおよびエンティティは、別段の記載がない限り、例えばオンチップ論理集積回路として実装することができ、このようなユニットおよびエンティティによって提供される機能は、別段の記載がない限り、ソフトウェアによって実装することができる。
【００７１】
上述の本開示の実施形態の少なくとも一部が、ソフトウェア制御データ処理装置を使用して実施される限り、このようなソフトウェア制御を提供するコンピュータ・プログラムと、このようなコンピュータ・プログラムが提供される送信、記憶または他の媒体とが、本開示の態様として想定される。つまり、本明細書において説明される方法は、いくつかの実施形態では、コンピュータおよび／またはプロセッサが、コンピュータおよび／またはプロセッサ上においてその方法を実行するためのコンピュータ・プログラムとして実装されてもよい。いくつかの実施形態では、上述のプロセッサのようなプロセッサによって、本明細書で説明される方法を実行させるコンピュータ・プログラム製品を内部に格納する、非一過性のコンピュータ読み取り可能な記録媒体も提供される。
【００７２】
上記のいくつかの実施形態によると、４つの異なる相関信号Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣とともに直交変調相関信号が用いられる。しかし、本実施形態はこのような特定の構造に限定されない。例えば、他の実施形態として、４つ以上または４つ以下の相関信号が使用されてもよい。
【００７３】
同様に、上記のいくつかの実施形態において、光検出信号Ｓφを各位相シフト参照信号ＳＩ、ＳＩ￣、ＳＱ、ＳＱ￣と相関させることによって相関信号Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣が取得される。各位相シフト参照信号ＳＩ、ＳＩ￣、ＳＱ、ＳＱ￣は、それぞれ変調光信号Ｓと比較して、０°、１８０°、９０°、２７０°位相シフトされている。しかし、本実施形態はこのような特定の構造に限定されない。例えば、他の実施形態として、０°、９０°、１２０°、２７０°といった他の位相シフトや、他の組み合わせが用いられてもよい。
【００７４】
当業者にとっては、本開示が実施形態に記載された具体的な処理手順に限定されないことは容易に理解できるものである。例えば、図７における処理８０１と例８０２は入れ替え可能である。
【００７５】
なお、本技術は、以下のような構成をとることも可能である。
（１）
光検出信号（Ｓφ）と各位相シフト参照信号（ＳＱ、ＳＱ￣、ＳＩ、ＳＩ￣）を相関させることによって、直交相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）と同相相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）を含む相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣）を取得するように構成された回路を具備する装置であって、
上記直交相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の取得の平均時間と上記同相相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の取得の平均時間が等しい、または略等しくなるように、上記回路が構成される
装置。
（２）
（１）に記載の装置であって、
プロセッサは、下記の位相シフトシーケンス（ＡからＨ）のいずれか１つに基づき上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣）を取得するように構成される
装置。
【表４】
2020513555.tif 000025
（３）
（１）または（２）に記載の装置であって、
変調光信号（Ｓ）と比較して、参照信号（ＳＩ、ＳＱ、ＳＱ￣、ＳＩ￣）はそれぞれ０°、９０°、２７０°、および１８０°位相シフトされる
装置。
（４）
（１）から（３）のいずれか１つに記載の装置であって、
上記相関信号は直交変調信号であり、
上記回路は１８０°反対の位相において第１および最後の相関信号を取得し、第２および第３の相関信号も１８０°反対の位相において取得するように構成される
装置。
（５）
（１）から（３）のいずれか１つに記載の装置であって、
上記回路は、まず０°と９０°の相関測定の第１の集合を続けて取得し、次に２１０°と１２０°の相関測定の第２の集合を続けて取得するように構成される
装置。
（６）
（３）に記載の装置であって、
上記回路は
第１の時間Ｔ０において０°の相関信号（Ｓφ,Ｉ）を取得し、
第２の時間Ｔ０＋ΔＴにおいて９０°の相関信号（Ｓφ,Ｑ）を取得し、
第３の時間Ｔ０＋２．ΔＴにおいて２７０°の相関信号（Ｓφ,Ｑ￣）を取得し、
最後の時間Ｔ０＋３．ΔＴにおいて１８０°の相関信号（Ｓφ,Ｉ￣）を取得するように構成され、
Ｔ０は上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣）の取得が開始された時間を示し、ΔＴは所定の時間間隔を示す
装置。
（７）
（１）から（４）のいずれか１つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス（ＡからＨ）のいずれか１つに基づき上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣）を取得するように構成される
装置。
【表５】
2020513555.tif 000026
（８）
（１）から（３）のいずれか１つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス（ＩからＰ）のいずれか１つに基づき上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣）を取得するように構成される
装置。
【表６】
2020513555.tif 000027
（９）
（１）から（３）のいずれか１つに記載の装置であって、
変調光信号（Ｓ）でシーン（２４）を照らすように構成される照明ユニット（１８）をさらに具備する
装置。
（１０）
（１）から（９）に記載の装置であって、
上記光検出信号（Ｓφ）を受信するように構成された撮像素子（１）をさらに具備する
装置。
（１１）
光検出信号（Ｓφ）と各位相シフト参照信号（ＳＱ、ＳＱ￣、ＳＩ、ＳＩ￣）を相関させることによって、相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合と相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の第２の集合を含む相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣を取得するように構成された回路を具備する装置であって、
上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合の平均位相と上記相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣の第２の集合の平均位相が直交する、または略直交するように上記回路が構成され、
上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合の取得の平均時間と上記相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の第２の集合の取得の平均時間が等しい、または略等しくなるように上記回路が構成される
装置。
（１２）
（１１）に記載の装置であって、
上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合は直交変調信号を含み、
上記相関信号の第２の集合は同相相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）を含む
装置。
（１３）
（１１）または（１２）に記載の装置であって、
上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合は、所定の位相角で位相シフトされた直交変調信号を含み、
上記相関信号の第２の集合は、上記所定の位相角で位相シフトされた同相相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）を含む
装置。
（１４）
（１１）から（１３）のいずれか１つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス（ＡからＨ）のいずれか１つに基づき上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合および上記相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の第２の集合を取得するように構成される
装置。
【表７】
2020513555.tif 000028
（１５）
（１１）から（１３）のいずれか１つに記載の装置であって、
プロセッサは、下記の位相シフトシーケンス（ＩからＰ）のいずれか１つに基づき上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合および上記相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の第２の集合を取得するように構成される
装置。
【表８】
2020513555.tif 000029
（１６）
光検出信号（Ｓφ）と各位相シフト参照信号（ＳＱ、ＳＱ￣、ＳＩ、ＳＩ￣）を相関させることによって、直交相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）と同相相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）を含む相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣）を取得することを含む方法であって、
上記直交相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の取得の平均時間と上記同相相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の取得の平均時間が略等しくなるよう上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣）を取得する
方法。
（１７）
プロセッサ上で実行される際に上記プロセッサに（１６）に記載の方法を実行させる命令を含むコンピュータ・プログラム。
（１８）
光検出信号（Ｓφ）と各位相シフト参照信号（ＳＱ、ＳＱ￣、ＳＩ、ＳＩ￣）を相関させることによって、相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合と相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の第２の集合を含む相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣）を取得することを含む方法であって、
上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合の平均位相と上記相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の第２の集合の平均位相が直交、または略直交し、
上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合の取得の平均時間と上記相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の第２の集合の取得の平均時間が等しい、または略等しい
方法。
（１９）
プロセッサ上で実行される際に上記プロセッサに（１８）に記載の方法を実行させる命令を含むコンピュータ・プログラム。
（２０）
プロセッサ上で実行される際に上記プロセッサに、
光検出信号（Ｓφ）と各位相シフト参照信号（ＳＱ、ＳＱ￣、ＳＩ、ＳＩ￣）を相関させることによって、直交相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）と同相相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）を含む相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣）を取得すること
を実行させる命令を含むコンピュータ・プログラムであって、
上記直交相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の取得の平均時間と上記同相相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の取得の平均時間が略等しくなるよう相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣）を取得させる
コンピュータ・プログラム。
（２１）
プロセッサ上で実行される際に上記プロセッサに、
光検出信号（Ｓφ）と各位相シフト参照信号（ＳＱ、ＳＱ￣、ＳＩ、ＳＩ￣）を相関させることによって、相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合と相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の第２の集合を含む相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣、Ｓφ,Ｉ、Ｓφ,Ｉ￣）を取得すること
を実行させる命令を含むコンピュータ・プログラムであって、
上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合の平均位相と上記相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の第２の集合の平均位相が直交、または略直交し、
上記相関信号（Ｓφ,Ｑ、Ｓφ,Ｑ￣）の第１の集合の取得の平均時間と上記相関信号（Ｓφ,Ｉ、Ｓφ,Ｉ￣）の第２の集合の取得の平均時間が等しい、または略等しい
コンピュータ・プログラム。
【図１】
2020513555.tif 000035
【図２】
2020513555.tif 000036
【図３】
2020513555.tif 000037
【図４】
2020513555.tif 000038
【図５】
2020513555.tif 000039
【図６】
2020513555.tif 000040
【図７】
2020513555.tif 000041
【図８】
2020513555.tif 000042
【国際調査報告】
2020513555.tif 000043
2020513555.tif 000044
2020513555.tif 000045