(57)【特許請求の範囲】
【請求項１】
ＴＯＦ測定の正確性を増大させ、その中のノイズを低減するために、位相データおよび信頼度データを含む、シーンからの飛行時間（ＴＯＦ）データをビニングするための方法であって、
複数の変調された信号（Ｓ１、Ｓ２、およびＳ３）で前記シーンを照射することによって複数のＴＯＦデータを取得するステップを含む、方法において、
さらに、
各々の変調された信号（Ｓ１、Ｓ２、およびＳ３）を、位相データ（φ１、φ２、およびφ３）および信頼度データ（ｒ１、ｒ２、およびｒ３）によって定義されたベクトル（
0006621767.tif 000036
および
0006621767.tif 000037
）にそれぞれ関連付けるステップと、
ビニングされたベクトル（
0006621767.tif 000038
）を得るために複数の前記定義されたベクトルを加算するステップと、
前記ビニングされたベクトル（
0006621767.tif 000039
）を得るために加算される複数のベクトルそれぞれに関連付けられた位相データ（φ１、φ２、およびφ３）および信頼度データ（ｒ１、ｒ２、およびｒ３）に基づいて位相（φｆ）および信頼度（ｒｆ）を決定するステップと、
前記シーンの奥行きデータ（Ｄ）を得るために、前記ビニングされたベクトル（
0006621767.tif 000040
）の前記位相（φｆ）および信頼度データ（ｒｆ）を処理するステップとを特徴とする、方法。
【請求項２】
前記複数のＴＯＦデータが、時間的ビニングを実行するために異なる時間において取得される、請求項１に記載の方法。
【請求項３】
前記複数のＴＯＦデータが、空間的ビニングを実行するために異なる感光性素子によって取得される、請求項１に記載の方法。
【請求項４】
前記ビニングが、時間的および空間的両方のビニングの組み合わせである、請求項１に記載の方法。
【請求項５】
さらに、
信頼度目標パラメータを事前に決定するステップと、
ビニングされたベクトル（
0006621767.tif 000041
）を得るために加算される複数のベクトルそれぞれに関連付けられた信頼度データ（ｒ１、ｒ２、およびｒ３）に基づいて決定される前記信頼度（ｒｆ）が、前記事前に決定された信頼度目標パラメータに到達するように、前記取得するＴＯＦデータの数を決定するステップとを含む、請求項１〜４のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、飛行時間データをビニングするための方法に関する。詳細には、本発明は、ノイズを最小限に抑えながら、より正確な飛行時間の測定を実行するための方法に関する。
【背景技術】
【０００２】
飛行時間（ＴＯＦ）技術は、奥行き知覚のための期待される技術である。標準的なＴＯＦカメラシステム３のよく知られている基本的な作動原理が、図１に示される。ＴＯＦカメラシステム３は、専用の照明ユニット１８から対象物までの光の飛行時間（到達時間）を分析することによってシーン（領域、環境）１５の３Ｄ画像を取り込む。ＴＯＦカメラシステム３は、カメラ、たとえば３Ｄセンサ１と、データ処理手段４とを含む。シーン１５は、専用の照明ユニット１８を使用して事前に決定された波長において変調された光１６によって、たとえば少なくとも１つの事前に決定された周波数のいくつかの光パルスによって能動的に照明される。変調された光は、シーン内の対象物から反射されて戻される。レンズ２は、反射された光１７を収集し、対象物の画像をカメラの画像センサ１上に形成する。カメラから対象物の距離に応じて、変調された光の発光、たとえばいわゆる光パルスと、これらの反射された光パルスのカメラにおける受光との間に、遅延が生まれる。反射対象物とカメラの間の距離は、観察された時間遅延および光速度の一定値の関数として決定され得る。
【０００３】
カメラから対象物の距離は、以下の通りに算出することができる。明確にする目的で、信号の一例が、図２に与えられる。変調信号Ｓ１６が、対象物に向けて送信される。対象物に対する反射後、信号Ｓφ１７が、光検出器によって検出される。この信号Ｓφは、進行時間により、元の信号Ｓと比較して位相φだけ位相シフトされる。たとえば、信号Ｓ１６が、式：
【数１】
0006621767.tif 000002
の正弦波の場合、
Ｓφは、以下の式：
【数２】
0006621767.tif 000003
によって、位相シフトされた波として理解され得る。
いわゆる同相Ｉおよび直角位相Ｑ成分を
【数３】
0006621767.tif 000004
および
【数４】
0006621767.tif 000005
によって定義することにより、
Ｓφは、
【数５】
0006621767.tif 000006
として記述され得る。
この式は、極形式のＳφを、図３に表されるベクトルとして表すことを可能にし、このとき、φは、Ｓφの位相であり、ｒは、信号Ｓφの振幅Ａに対応するパラメータであり、いわゆる信頼度にも関連付けられる。
【０００４】
φ、ＩおよびＱは、カメラからの対象物の距離を測定するための重要なパラメータである。これらのパラメータを測定するために、光検出された信号Ｓφは、通常、
0006621767.tif 000007
および
0006621767.tif 000008
と称される電気参照信号（electrical reference signal）に相関付けられ、
0006621767.tif 000009
および
0006621767.tif 000010
は、図２に示されるように、元の光学信号Ｓと比較して、０°、１８０°、９０°および２７０°それぞれによってシフトされた電気参照信号である。得られた相関信号は、以下の通りに規定される。
【数６】
0006621767.tif 000011
【数７】
0006621767.tif 000012
【数８】
0006621767.tif 000013
【数９】
0006621767.tif 000014
このとき、２つのパラメータＩおよびＱは、
【数１０】
0006621767.tif 000015
および
【数１１】
0006621767.tif 000016
であるように算出され得る。
Ａｓおよびαはそれぞれ、光検出された信号Ｓφの増幅変化および相関付けの効率である。
【０００５】
φの抽出は、変調信号Ｓの形状によって決まる。たとえば、Ｓが正弦波である場合、
【数１２−１４】
0006621767.tif 000017
である。
位相φが知られた後、カメラから対象物の距離Ｄφは、以下の式により引き出され得る。
【数１５】
0006621767.tif 000018
式中、ｆｍｏｄは、変調周波数であり、ｎは、整数である。
【０００６】
従来技術において、データビニング(data binning)は、画像のノイズを低減するために使用される技術である。これは、小さい観測誤差の影響を低減するために使用されるデータ事前処理技術である。所与の小さいインターバル、すなわちビン内に含まれる元のデータ値は、そのインターバルを表す値、しばしば中央値によって置き換えられる。
【０００７】
画像処理の文脈において、ビニングは、異なる画像データを単一の画像データに組み合わせる手段である。ビニングは、時間的または空間的なものになることができる。時間的ビニングの場合、単一の画素は、異なる時点においてデータを取得し、取得されたデータは、組み合わされて、時間のインターバル（間隔、隔たり）を表す単一のデータを形成する。空間的ビニングの場合、単一の時点において複数の画素によって取得されたデータが組み合わされて、空間のインターバル（間隔、隔たり）を表す単一のデータを形成する。たとえば、４画素の配列が、単一のより大きい画素になり、画素の全体数を低減する。データの数を低減するこの集約によって、分析が容易になる。データをビニングすることはまた、処理された画像に対する読み取りノイズの影響を低減することもできる。
【０００８】
飛行時間測定の文脈において、ビニング技術が実施されているが、これらの方法は正確でないことがよくある。位相φは、しばしば、一連の測定を実行し、測定された位相を平均化することによって得られ、これは、以下の段落で説明される。
【０００９】
特許文献１は、本発明に関連する従来技術の参照文献である。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許出願第２０１４／０４９７６７Ａ１号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１１】
正確な測定を得るために、パラメータＩおよびＱの正しい測定を確実にすることが重要である。これらの測定の正確性を改善するための解決策が、提案され続けている。
【課題を解決するための手段】
【００１２】
本発明は、請求項１による、位相データおよび信頼度データを含む飛行時間データをビニングするための方法に関する。
【００１３】
この方法は、飛行時間測定のノイズを大幅に低減することができる。本発明によって得られた、ビニングされた位相φｆは、より正確でもある。
【００１４】
有利には、ビニングは、複数のＴＯＦデータが種々の時間において取得される場合の時間的なものであり、または複数のＴＯＦデータが種々の感光性素子によって取得される場合の空間的なものであり、または空間的および時間的両方のビニングの組み合わせである。
【００１５】
好ましくは、方法は、さらに、信頼度目標パラメータを事前に決定するステップと、ビニングされたベクトルの信頼度が所定の信頼度目標パラメータに到達するように、取得されるＴＯＦデータの数を決定するステップとを含む。
【００１６】
より好ましくは、ビニングが時間的である場合、方法は、さらに、移動閾値を事前に決定するステップと、シーンの移動を検出するステップと、検出されたシーンの移動が、事前に決定された移動閾値を上回る場合にＴＯＦデータを加算することを停止するステップとを含む。この移動閾値は、測定が正確であり続けることを確実にする。
【００１７】
より有利には、ビニングが空間的である場合、方法は、さらに、奥行き閾値を事前に決定するステップと、シーンの奥行きを検出するステップと、検出されたシーンの奥行きが所定の深さ閾値を上回る場合にＴＯＦデータを加算することを停止するステップとを含む。
【００１８】
本発明の他の利点および新規の特徴は、添付の図を併用して以下の詳細な説明からより明白になるであろう。
【００１９】
本発明は、以下の説明および添付の図に照らしてより良好に理解されるものとする。
【図面の簡単な説明】
【００２０】
【図１】ＴＯＦカメラシステムの基本的な作動原理を示す図である。
【図２】ＴｏＦシステムにおいて相関測定値を決定するために使用される信号の例を示す図である。
【図３】反射された信号Ｓφの極形式を示すである。
【図４】位相ビニングの従来技術の方法を示す図である。
【図５】本発明の実施形態によるベクトル加算を示す図である。
【図６】本発明の方法によって得られたノイズと、従来技術の方法によって得られたものとを比較するグラフである。
【発明を実施するための形態】
【００２１】
本発明の利点および新規の特徴は、添付の図を併用して以下の詳細な説明からより明白になるであろう。
【００２２】
従来技術では、飛行時間測定のノイズを低減するために、ビニング技術が実施されている。これらの技術の１つが、図４に表される。各々のベクトル
0006621767.tif 000019
および
0006621767.tif 000020
は、位相φ１、φ２、およびφ３、ならびにノルム（または信頼度）ｒ１、ｒ２、およびｒ３をそれぞれ有する、反射された、変調された信号Ｓｌ、Ｓ２およびＳ３に対応する。これらの３つのベクトルは、（空間的ビニングのために）同じ時間において３つの異なる画素によって得られ、または（時間的ビニングのために）３つの異なる時間において単一の画素によって得られ得る。例示の目的で、３つのベクトル
0006621767.tif 000021
および
0006621767.tif 000022
のみが表されているが、方法は、通常、さらに多くの信号および対応するベクトルと共に使用される。
【００２３】
従来技術では、位相ビニングは、非常に簡単なやり方で実行される。ビニングされた位相φｍは、単に、φ１、φ２、およびφ３の平均であり、すなわちφｍ＝
0006621767.tif 000023
である。
【００２４】
シーンの対象物の距離は、次いで、この平均化された位相φｍから、たとえば式１５を使用することによって算出される。
【００２５】
別の等価の方法は、３つの奥行きＤ１、Ｄ２、およびＤ３をφ１、φ２、およびφ３から算出し、次いで、ビニングされた奥行きＤｍを得るためにＤ１、Ｄ２、およびＤ３の平均化を実行することである。
【００２６】
本発明では、ビニングされた位相を算出するためのより精度の高い技術が提供される。この技術は、図５に表される。ここでも、明確にする目的で、３つの信号Ｓ１、Ｓ２，およびＳ３のみのデータが組み合わされ、またはビニングされるが、本発明はこれに限定されず、任意の数の信号で実施することができる。
【００２７】
方法の第１のステップは、複数の変調された信号でシーンを照明することによって複数の飛行時間データを取得することである。飛行時間データとは、シーンから反射された信号の位相およびノルムまたは信頼度を意味する。この取得は、従来技術において知られている多くの種々の技術、たとえば相関付けなどを用いて実行され得る。
【００２８】
次いで、変調された信号の位相および信頼度が知られた後、各々の飛行時間データは、位相および信頼度データそれぞれによって定義されたベクトルによって関連付けられ、または表される。図５では、３つのベクトル
0006621767.tif 000024
および
0006621767.tif 000025
が表される。
【００２９】
各々のベクトル、
0006621767.tif 000026
および
0006621767.tif 000027
は、位相φ１、φ２、およびφ３、ならびにノルムまたは信頼度ｒ１、ｒ２、およびｒ３をそれぞれ有する、変調された信号Ｓ１、Ｓ２およびＳ３に対応する。これらの３つのベクトルは、同じ時間において３つの異なる画素によって得られ（空間的ビニング）、または３つの異なる時間において単一の画素によって得られ得る（時間的ビニング）。
次いで、本発明の方法は、「ビニングされたベクトル」と呼ぶことができるもの、すなわち変調された信号に関連付けられたベクトルを加算するまたはビニングすることによって得られるベクトルを得るために、３つのベクトルのベクトル加算を実行することである。各々のベクトル
0006621767.tif 000028
は、式
0006621767.tif 000029
の複素指数に関連付けられ得る。
【００３０】
ベクトル加算が実行された後、ビニングされたベクトル
0006621767.tif 000030
は、
0006621767.tif 000031
を有する
0006621767.tif 000032
の複素指数に関連付けることができ、このビニングされたベクトル
0006621767.tif 000033
の位相φｆおよび信頼度（正確度）ｒｆを決定することが可能である。
【００３１】
ビニングされたベクトル
0006621767.tif 000034
のこの位相および信頼度は、最終的に、シーンの奥行きデータを得るために使用される。位相φｆは、たとえば、距離パラメータを決定するために式１５に導入され得る。
【００３２】
ビニングは、時間的もしくは空間的なものになることができ、または以下の両方の組み合わせになることができる。
−時間的ビニング場合、組み合わされるＴＯＦデータは、異なる時点、すなわち異なるフレームにおいて取得され、
−空間的ビニングの場合、組み合わされるＴＯＦデータは、同じ時点であるが、異なる感光性素子、たとえばＴＯＦカメラの異なる画素によって取得される。
本発明の利点の１つは、以下のものである。実際の状況では、飛行時間カメラシステムからの対象物の距離を測定するとき、
0006621767.tif 000035
である場合の構成を得ることは極めてまれである。
【００３３】
故に、本発明によって得られる、ビニングされた位相φｆは、より正確であり、測定のノイズを低減することができる。
【００３４】
図６では、従来技術の方法によって得られたノイズと本発明によって得られたものを比較するグラフが、提示される。
【００３５】
グラフは、Ｘ軸上の信頼度（またはノルム）の関数としてのＹ軸上のノイズ量を示す。円（丸）によって表されるデータは、奥行き生値、すなわちビニングしていない値である。十字によって表されるデータは、ビニング方法が、奥行きドメインに適用された、すなわち従来技術の方法によって適用された奥行き値に対応する。最後に、より濃く暗い十字によって表されるデータは、本発明のＩＱビニングの方法が適用された奥行き値に対応する。
【００３６】
このグラフは、信頼度が高いほど、生データ上のノイズが低いことを実証する。本発明は、信頼度範囲全体上のノイズを２分の１に低減することができ、一方で奥行きドメイン内のビニング、すなわち従来技術の方法は、低信頼度においてノイズを増大させる。
【００３７】
さらなるステップが、方法に対して実施され得る。１つの実施形態では、方法は、さらに、
−信頼度目標パラメータ、たとえば閾値を事前に決定するステップと、
−ビニングされたベクトルの信頼度が、事前に決定された信頼度目標パラメータに到達するように、取得されるＴＯＦデータの数を決定するステップとを含むことができる。
時間的ビニングの場合、方法は、さらに、
−移動閾値を事前に決定するステップと、
−移動閾値に対するシーンの移動を検出するステップと、
−検出されたシーンの移動が、事前に決定された移動閾値を上回る場合、飛行時間データを経時的に加算することを停止するステップとを含むことができる。
【００３８】
移動検出は、従来技術において知られているいくつかの方法によって実行され得る。たとえば、事前に決定された移動閾値が２５ｃｍである場合で、５０ｃｍの移動が検出された場合、データの加算および平均化は停止され、新しい組の取得が開始する。このようにして、結果として生じたビデオストリームは、シーンの非移動部分に時間的にフィルタリングをかけながら、動作のロバスト性を確保する。移動を検出する他の方法は、信頼度の変化および／または存在する他のセンサ、たとえばＲＧＢセンサまたは加速度計を利用することができる。
【００３９】
空間的ビニングの場合、方法は、さらに、
−奥行き閾値を事前に決定するステップと、
−シーンの奥行きを検出するステップと、
−検出されたシーンの奥行きが、事前に決定された奥行き閾値を上回る場合、飛行時間データを加算することを停止するステップとを含むことができる。
【００４０】
この奥行き閾値基準は、さまざまな方法で実施され得る。これは、閾値との簡単な比較になり得るが、インテリジェントなビニングゾーン（ｃｆｒ．スーパー画素）を特定するための反復プロセスにもなり得る。最終的な目標は、シーン内に存在するエッジを維持し、飛行時間データを一緒に加算して、１つのゾーン内の複数の部分に対して類似の（同様の）距離を離してビニングを行うことである。 
【図１】
0006621767.tif 000042
【図２】
0006621767.tif 000043
【図３】
0006621767.tif 000044
【図４】
0006621767.tif 000045
【図５】
0006621767.tif 000046
【図６】
0006621767.tif 000047