(57)【要約】  撮像装置のアクティブスペースを与えるようにオーバーラップする固定された広角及び狭角ＦＯＶをそれぞれ有した２つのカメラと、カメラによって与えられる距離、並びにアクティブスペースの近方、中間、及び遠方区域への分割に応じてアクティブスペース内の特徴までの距離を決定する制御器と、を備える３Ｄ撮像装置。【選択図】図１
2015510586.tif 000002
【特許請求の範囲】
【請求項１】
アクティブスペース内の特徴を撮像し前記特徴までの距離を測定する３次元（３Ｄ）撮像システムであって、
前記アクティブスペースを少なくとも１つの光パルスで照明する光源と、
それぞれ第１及び第２の光センサーを備えた第１及び第２の飛行時間（ＴＯＦ）３次元（３Ｄ）カメラであって、前記第１及び第２の光センサーは、光学中心と、前記カメラが前記特徴の距離画像を得るために前記少なくとも１つの光パルスから反射された光をその上に結像するピクセルとを有し、前記第１及び第２のＴＯＦカメラは、それぞれ広角及び狭角の視野（ＦＯＶ）を有し、前記広角及び狭角のＦＯＶは、オーバーラップして前記アクティブスペースを生じさせる、第１及び第２のＴＯＦ  ３Ｄカメラと、
前記アクティブスペースを区域に分ける複数の範囲境界と、
前記特徴までの距離を決定するように前記距離画像を前記区域に応じて処理する制御器と、
を備えた３Ｄ撮像システム。
【請求項２】
前記範囲境界は、近方範囲下側境界「ＮＲＬ」、近方範囲上側境界「ＮＲＵ」、遠方範囲下側境界「ＦＲＬ」、及び遠方範囲上側境界「ＦＲＵ」を含む、請求項１に記載の装置。
【請求項３】
前記範囲境界は、関係ＮＲＬ＜ＦＲＬ＜ＮＲＵ＜ＦＲＵを満たし、前記アクティブスペースを、前記アクティブスペース内の特徴までの距離がそれぞれＦＲＬとＮＲＵの間、ＦＲＬとＮＲＵの間、及びＦＲＬとＮＲＵの間にある、近方区域、中間区域、及び遠方区域に分離する、請求項２に記載の装置。
【請求項４】
前記アクティブスペース内の特徴までの距離を含んだ範囲画像を提供するために、前記制御器は、
前記ＴＯＦカメラのうちの一方を主カメラ、他方を副カメラと指定し、
前記主カメラにおける複数のピクセルのそれぞれについて、前記ピクセル上に撮像される前記アクティブスペース内の特徴に対する試行距離を決定し、
前記主カメラが前記第１のカメラであり且つ前記決定された距離が前記近方区域内に存在するか、又は前記主カメラが前記第２のカメラであり且つ前記試行距離が前記遠方区域内に存在する場合、前記特徴までの距離を前記試行距離であると決定し、
前記主カメラが前記第１のカメラであり且つ前記決定された距離が前記近方区域内に存在しないか、又は前記主カメラが前記第２のカメラであり且つ前記試行距離が前記遠方区域内に存在しない場合、前記距離を、前記試行距離と前記副カメラにおけるピクセルによって与えられる距離とに応じて決定し、
前記主カメラのピクセルについて決定された前記距離を、前記範囲画像における距離に対して用いる、請求項３に記載の装置。
【請求項５】
前記試行距離は前記中間区域にある、請求項４に記載の装置。
【請求項６】
前記制御器は、前記特徴までの距離を前記試行距離と前記副カメラにおけるピクセルによって与えられる距離の平均として決定する、請求項５に記載の装置。
【請求項７】
前記主カメラが前記第１のカメラであり且つ前記試行距離が前記遠方区域にあるか、又は前記主カメラが前記第２のカメラであり且つ前記試行距離が前記近方区域にある、請求項４に記載の装置。
【請求項８】
前記制御器は、前記副カメラにおけるどのピクセルが、前記主カメラにおけるピクセルと前記主カメラの光学中心とを通る直線に沿った点を撮像するかを判定する、請求項７に記載の装置。
【請求項９】
前記制御器は、前記副カメラにおける前記決定されたピクセルのそれぞれについての距離を、前記少なくとも１つの光パルスからの光を用いて前記ピクセルによって得られた距離画像に応じて決定する、請求項８に記載の装置。
【請求項１０】
前記制御器は、
前記副カメラの光学中心と前記決定されたピクセルとを通る直線に沿った所与の距離が前記決定されたピクセル上に撮像される特徴の前記副カメラからの実際の距離である確率分布を決定し、
前記主カメラにおける前記直線に沿った所与の距離が前記主カメラのピクセル上に撮像される特徴の前記主カメラからの実際の距離である確率分布を決定し、
前記確率分布を用いて前記主カメラのピクセル上に撮像される特徴の前記主カメラからの距離を決定する、請求項９に記載の装置。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  物体がカメラから遠ざかるにつれて、カメラがその物体を撮像する光センサーにおいて当該物体を見込む角度は小さくなり、カメラが光センサー上に投射する当該物体の像のサイズとその像により覆われる光センサーのピクセル数は減少する。像のサイズ及びその像が投射されるピクセル数の減少と共に、当該物体の特徴の解像度は小さくなり、物体の細部は見分けにくくなるだろう。ズーム機能を提供するカメラの光学系は、物体がカメラから遠ざかるにつれて「ズームイン」されて、カメラの光センサーにおいて当該物体を見込む角度を維持又は増大させるように、調整可能である。物体にズームインすることで、カメラが光センサー上に合焦させる当該物体の像が拡大され、その物体の撮像される特徴の解像度が向上する。
【０００２】
[0002]  カメラのズーム調整は、典型的には、カメラの光学系内のレンズ又はレンズ群を動かしてレンズの相対位置、したがって光学系の焦点距離を変化させる機構システムによって提供される。当該システムは、相対的に長い焦点距離と、相対的に小さい視野角により特徴付けられる視野（ＦＯＶ）とをカメラに与えるようにレンズを動かして、物体にズームインし、カメラが得るその物体の像を拡大する。当該システムは、相対的に短い焦点距離と相対的に広角のＦＯＶをカメラに与えるようにレンズを動かして、物体を「ズームアウト」し、カメラが得るその物体の像を縮小する。
【０００３】
[0003]  カメラのＦＯＶは、当該カメラの光学中心から伸びる立体角により区画され、その内部の点がカメラの光学系によりカメラの光センサー上に結像される、空間の領域である。ほとんどの撮像目的におけるＦＯＶのサイズは、水平視野角と垂直視野角によって測るのが便利である。水平視野角及び垂直視野角は、カメラの光学中心から伸び、ＦＯＶに含まれ、地面に対してそれぞれ平行及び直角な平面においてカメラの光軸と同一面にある２本の直線の間の最大角度である。
【０００４】
[0004]  ズームインは、カメラが撮像するシーン内の物体の像を拡大する一方で、カメラのＦＯＶの視野角を減少させもし、その結果として、撮像されるシーンのサイズと、カメラが撮像することが可能なカメラの周囲環境部分を小さくする。ズームアウトは、カメラが撮像するシーン内の物体の像を縮小する一方で、カメラのＦＯＶの視野角を増大させもし、その結果として、撮像されるシーンのサイズと、カメラが撮像することが可能なカメラの周囲環境部分を大きくする。
【０００５】
[0005]  例えば人物のジェスチャーを追跡してその人物をコンピューターとインターフェイスするなどの多くのアプリケーションにとって、当該人物を撮像するカメラが、以降において「アクティブスペース」と称される相対的に大きな空間体積にわたって満足のいく程度の解像度で人物を撮像することが有利である。例えば、人物の全身の動きに応答するボクシングゲーム又は運動を要するゲームなどの、以降で全身３次元（３Ｄ）ゲームとも称されるコンピューターゲームと人物をインターフェイスするために、カメラが当該人物を実質的にアクティブスペース内のあらゆる場所において満足のいく解像度で撮像することが有利であり得る。アクティブスペースは、例えば、およそ１ｍ（メートル）に等しいカメラ近くの距離から、およそ３ｍに等しいカメラから遠い距離まで広がる「長さ」を有してよい。アクティブスペースの長さにわたって有利な画像解像度を提供するために、カメラ光学はズーム調整可能に構成されることができる。
【０００６】
[0006]  ３Ｄゲームのプレイ中に人物のジェスチャー又は動きを追跡するための人物撮像は、その人物の特徴及び任意選択としてその人物の環境の特徴までの距離を取得する３Ｄカメラ、例えば三角測量３Ｄカメラや飛行時間（ＴＯＦ）３Ｄカメラを用いて有利に行われる。３Ｄカメラによって人物及び任意選択として人物の環境に対して実質的に同一のある時点で得られる距離は、当該人物を含むシーンの「範囲画像」を与える。３Ｄカメラは、一般に、当該カメラにより発せられてシーン内の特徴までの距離を測定するように設定された光でシーンを撮像する、アクティブ照明カメラである。
【０００７】
[0007]  三角測量型３Ｄカメラは、シーン内の特徴までの距離を、当該カメラが２つの一般には僅かに異なる視点からその特徴を撮像する際の角度から取得する。三角測量カメラは、「構造化光」と称される空間的に変調された光でシーンを照明することができる。飛行時間（ＴＯＦ）３Ｄカメラは、当該カメラが撮像するシーン内の特徴までの距離を、それが送出する時間的に変調された光がその特徴まで伝搬してカメラまで戻ってくるのにどのくらいの時間がかかるかを計時することによって取得する。このカメラは、光を通常は非常に短い光パルスで送出し、当該カメラが収集する特徴によって反射されたパルスからの光を撮像して、往復即ち「行き帰り」の光の伝搬時間を測定する。
【０００８】
[0008]  ３Ｄカメラにズーム光学を提供することは、概して技術的且つコスト的にチャレンジングである。
【発明の概要】
【０００９】
[0009]  本発明の一実施態様は、第２の３Ｄカメラの狭角ＦＯＶの少なくとも一部分とオーバーラップする広角ＦＯＶを有した第１の３Ｄカメラを備える、以降で「３Ｄ撮像装置」とも称される３Ｄ撮像システムを提供することに関する。第１及び第２の３ＤカメラのＦＯＶは、３Ｄ撮像装置のアクティブスペースを規定する。３Ｄ撮像装置は、第１及び第２の３Ｄカメラによって与えられる距離情報に応じてアクティブスペース内の特徴の範囲画像を提供するアルゴリズムを実装するための実行可能命令セットを用いてプログラムされるプロセッサーを備える。
【００１０】
[0010]  本発明の一実施態様に従って、アルゴリズムは、以降で「近方カメラ」とも称される第１の３Ｄカメラにより決定される距離に応じて、相対的に３Ｄ撮像装置に近いアクティブスペースの第１の「近方領域」にある特徴までの距離を決定する。アルゴリズムは、以降で「遠方カメラ」とも称される第２の３Ｄカメラにより決定される距離に応じて、相対的に３Ｄ撮像装置から遠いアクティブスペースの第２の「遠方領域」にある特徴までの距離を決定する。近方及び遠方３ＤカメラのＦＯＶがオーバーラップするアクティブスペースの第３の「オーバーラップ」領域にある特徴までの距離が、両方の３Ｄカメラによって与えられる距離情報を用いて決定される。
【００１１】
[0011]  本発明の一実施態様において、近方及び遠方３Ｄカメラは、それぞれ、以降で近方及び遠方ＴＯＦカメラとも称される近方及び遠方ＴＯＦ  ３Ｄカメラを備える。近方又は遠方ＴＯＦカメラのピクセルは、当該ピクセル上に撮像されるアクティブスペース内の特徴のＴＯＦカメラからの距離の測定値を与える、以降で「距離画像」とも称される画像を取得する。本発明の一実施態様に従って、アルゴリズムは、近方又は遠方ＴＯＦカメラにおけるどのピクセルが、それぞれ遠方又は近方ＴＯＦカメラのピクセルによって撮像されるアクティブスペースの実質的に同一の特徴を撮像するかを決定するように、ＴＯＦカメラのピクセルを相関付ける方法を提供する。相関付けは、当該ピクセルにより取得された距離画像が与える距離情報に応じて実施される。任意選択的に、相関付けは、異なるＴＯＦカメラにおけるピクセルがアクティブスペース内の同一の特徴を撮像する確率分布を最大化することによって実施される。
【００１２】
[0012]  一実施態様では、３Ｄ撮像装置は、３Ｄ撮像装置により供給されるアクティブスペースを照明するための光の強度を、３Ｄ撮像装置によって撮像されたアクティブスペース内の特徴の距離に応じて制御する制御器を備える。
【００１３】
[0013]  ３Ｄ撮像装置が広角及び狭角ＦＯＶをそれぞれ有した近方及び遠方ＴＯＦカメラを備えるように本発明の一実施態様に従って３Ｄ撮像装置を構成することによって、３Ｄ撮像装置は、相対的に大きなアクティブスペースを有する。３Ｄ撮像装置は、従来のズーム光学を用いる必要なく、実質的に当該スペース内のどこにあっても同じ相対的に高い空間解像度で特徴を撮像する。
【００１４】
[0014]  議論の中では、別段の記載のない限り、本発明の一実施態様に係る特徴の条件又は関係の特性を変更する「実質的に」や「およそ」などの形容詞は、当該条件又は特性が、実施態様の意図された用途による動作にとって容認できる許容範囲内で規定されるということを意味するものと理解される。
【００１５】
[0015]  この概要は、詳細な説明において更に後述される概念からの選抜を簡略な形で導入するために提供される。この概要は、請求された主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求された主題の有効範囲を限定するのに用いられることを意図したものでもない。
【図面の簡単な説明】
【００１６】
[0016]  この段落に引き続いて列挙される添付図を参照して、本発明の実施態様の非限定的な例が以下で説明される。２以上の図に現れる同一の構造、要素、又は部分は、それらが現れる図の全てにおいて全体的に同じ符号を付される。図に示された構成要素及び特徴の寸法は、便宜上及び提示の明確性のために選ばれており、必ずしも縮尺どおりには示されていない。
【００１７】
【図１】図１は、本発明の一実施態様による、第１及び第２のＴＯＦカメラを備えた３Ｄ撮像装置、並びに、ＴＯＦカメラのＦＯＶによって与えられる撮像装置のアクティブスペースの平面図を模式的に示す。
【図２】図２は、本発明の一実施態様による、ＴＯＦカメラによって取得されアクティブスペース内の特徴までの距離を決定するのに用いられる、図１に示された３Ｄ撮像装置のアクティブスペースの同一領域にある特徴の距離画像間における幾何学的関係を模式的に示す。
【図３Ａ】図３Ａは、本発明の一実施態様による、アクティブスペース内の特徴までの距離を決定するためのアルゴリズムのフロー図を示す。
【図３Ｂ】図３Ｂは、本発明の一実施態様による、アクティブスペース内の特徴までの距離を決定するためのアルゴリズムのフロー図を示す。
【発明を実施するための形態】
【００１８】
[0020]  詳細な説明の以下の文章では、任意選択的に２つである複数のＴＯＦカメラを備えるＴＯＦ  ３Ｄ撮像装置の態様が、図１を参照して論じられ、図１は、ＴＯＦ  ３Ｄ撮像装置の構成要素と、ＴＯＦカメラのＦＯＶによって与えられるアクティブスペースとを示す。図２は、図１に示されたＴＯＦ  ３Ｄ撮像装置のアクティブスペースの同一領域にある特徴に対して２つのＴＯＦカメラのピクセルによって得られる距離画像間における幾何学的関係を模式的に示す。当該図は、距離画像により与えられる距離測定値の不確定性と、ＴＯＦカメラのピクセルにより与えられる距離測定値の、便宜上ガウシアンであると仮定される頻度分布とを模式的に示す。２つのＴＯＦカメラによって与えられる情報を用いてアクティブスペース内の特徴までの距離を決定するための方法、及び、２つのカメラにおけるどのピクセルが対応し、アクティブスペース内の実質的に同一の特徴を撮像するかを決定するようにピクセルを相関付けるための方法が、図２と、図３Ａ及び３Ｂに示されたフロー図とを参照して論じられる。
【００１９】
[0021]  図１は、近方ＴＯＦカメラ３０、遠方ＴＯＦカメラ４０、及び光源５０を備えたＴＯＦ  ３Ｄ撮像装置２０の平面図を模式的に示している。ＴＯＦカメラの細部は挿入図９０に示されている。
【００２０】
[0022]  近方ＴＯＦカメラ３０は、近方ＴＯＦカメラにより撮像される物体からの光を集光し、その集光光を光センサー３２上に結像する、レンズによって代表された光学系３１を備えている。光学系３１は、相対的に大きな、任意選択として固定の、直線４４で区画された水平視野角θＮによって特徴付けられる近方ＴＯＦカメラの広角ＦＯＶを、光センサー３２と共に規定する光学中心３３及び焦点距離ｆＮを有している。近方ＴＯＦカメラ３０の広角ＦＯＶの視野角θＮを規定する直線を指し示している符号４４は、近方ＴＯＦカメラ３０のＦＯＶを参照するのにも用いられ、これは「近方ＦＯＶ」と称されることもある。光学系３１はまた、近方ＴＯＦカメラ３０をシャッター開状態及びシャッター閉状態にするためのシャッター３５も含んでいる。
【００２１】
[0023]  同様に、遠方ＴＯＦカメラ４０は、カメラのＦＯＶ内の物体からの光を集光し、その集光光を光センサー４２上に結像する、レンズによって代表された光学系４１を備えている。当該光学系は、相対的に大きな、任意選択として固定の、直線３４で区画された水平視野角θＦによって特徴付けられる遠方ＴＯＦカメラの狭角ＦＯＶを、光センサー４２と共に規定する光学中心４３及び焦点距離ｆＦを有している。遠方ＴＯＦカメラ４０の広角ＦＯＶの視野角θＦを規定する直線を指し示している符号３４は、遠方ＴＯＦカメラのＦＯＶを参照するのにも用いられ、これは「遠方ＦＯＶ」と称されることもある。光学系４１はまた、遠方ＴＯＦカメラをシャッター開状態及びシャッター閉状態にするためのシャッター４５も含んでいる。
【００２２】
[0024]  光源５０は、近方ＦＯＶ４４及び遠方ＦＯＶ３４内の物体を照明するための光パルス列を放射するように制御器６０によって制御可能である。光源５０により放射された光パルスは、符号５２を付された矩形「パルス」によって模式的に表現されている。光パルス５２は、好適な発光ダイオード（ＬＥＤ）及び／又はレーザーによってスペクトルの任意の部分から供給される光を含んでよいが、通常は、近赤外（ＮＩＲ）の光パルスである。
【００２３】
[0025]  光パルス列中の各光パルス５２が近方ＦＯＶ４４及び遠方ＦＯＶ３４内の物体を照明するために光源５０によって放射された時点から予め定められた遅延τＮＤに引き続いて、制御器６０は、近方シャッター３５を制御して、持続時間τＮを有する短い露光期間の間、近方ＴＯＦカメラ３０をシャッター開状態にする。当該露光期間中に、近方ＴＯＦカメラ３０に到達する近方ＦＯＶ４４内の特徴により光パルスから反射された光が、レンズ３１によって光センサー３２上に結像される。結像された光は、近方ＴＯＦカメラによって記録され、光パルス５２の光が往復で光源５０から当該特徴まで伝搬して近方ＴＯＦカメラ３０まで戻ってくるのにどのくらいの時間がかかるかを測定するのに用いられる。当該特徴が近方ＴＯＦカメラから、したがってＴＯＦ  ３Ｄ撮像装置２０からどのくらい遠くにあるかを決定するために、往復時間と光速が用いられる。
【００２４】
[0026]  同様に、各パルス５２が光源５０によって放射された後の遅延τＦＤに引き続いて、制御器６０は、遠方ＴＯＦカメラ４０のシャッター４５を制御して、持続時間τＦを有する短い露光期間の間、遠方ＴＯＦカメラをシャッター開状態にする。遠方ＴＯＦカメラは、当該露光期間中に遠方ＴＯＦカメラに到達する光パルスから反射された光を結像及び記録し、その記録された光を用いてＴＯＦ  ３Ｄ撮像装置２０から遠方ＦＯＶ３４内の特徴までの距離を測定する。
【００２５】
[0027]  遠方ＴＯＦカメラ４０は、その狭角ＦＯＶ３４のために、ＴＯＦ  ３Ｄ撮像装置２０からより遠くにある特徴を近方ＴＯＦカメラ３０よりも良好な空間解像度で撮像するが、ＴＯＦ  ３Ｄ撮像装置２０に近い相対的に小さい体積の空間を撮像する。一方、近方ＴＯＦカメラ３０は、その相対的に広角のＦＯＶ４４のために、ＴＯＦ  ３Ｄ撮像装置２０に近い相対的に大きい体積の空間を撮像することが可能であり、密集した特徴を満足のいく空間解像度で撮像するように構成されることができる。
【００２６】
[0028]  本発明の一実施態様に従って、ＴＯＦ  ３Ｄ撮像装置２０に有利なアクティブスペースを提供すべく近方ＦＯＶ４４と遠方ＦＯＶ３４を結合するために、また近方ＴＯＦカメラ３０と遠方ＴＯＦカメラ４０により与えられる距離情報をどのように用いるかを決定するために、撮像範囲の下側境界と上側境界が、近方ＴＯＦカメラ３０と遠方ＴＯＦカメラ４０に対して制定される。近方ＴＯＦカメラ３０に関する下側範囲境界と上側範囲境界が、それぞれＮＲＬとＮＲＵによって表されることにしよう。近方ＴＯＦカメラ３０の下側境界と上側境界は、ＮＲＬ及びＮＲＵと符号付けされた破線によって図１に模式的に示されている。遠方ＴＯＦカメラ４０に関する下側範囲境界と上側範囲境界がそれぞれＦＲＬとＦＲＵによって表されることにしよう。遠方カメラ４０の下側境界と上側境界は、ＦＲＬ及びＦＲＵと符号付けされた破線によって図１に模式的に示されている。
【００２７】
[0029]  視野角θＮ及びθＦ、並びに範囲境界ＮＲＬ、ＮＲＵ、ＦＲＬ、及びＦＲＵは、任意選択的に、太い破線２２によって模式的に輪郭を描かれたＴＯＦ  ３Ｄ撮像装置２０のアクティブスペースを画定する。ＴＯＦ  ３Ｄ撮像装置２０のアクティブスペースの輪郭を描く破線を符号付けしている符号２２は、アクティブスペースを参照するのにも用いられる。
【００２８】
[0030]  本発明の一実施態様では、近方ＴＯＦカメラ３０の広角ＦＯＶ４４の視野角θＮは、アクティブスペース２２がＴＯＦ  ３Ｄ撮像装置２０の近くにおいて有利な幅を有するように決定される。近方上側境界ＮＲＵ及び遠方上側境界ＦＲＵ、並びに遠方ＴＯＦカメラ４０の狭角ＦＯＶ３４の視野角θＦは、近方ＴＯＦカメラ３０と遠方ＴＯＦカメラ４０がそれぞれ距離ＮＲＵ及びＦＲＵにおいて実質的に同じ空間解像度で物体を撮像するように決定される。説明的な例として、光センサー３２及び４２が実質的に同じピクセルサイズを有していると仮定すると、もしｔａｎ［θＦ／２］＝（ＮＲＵ／ＦＲＵ）ｔａｎ［θＮ／２］であれば、近方ＴＯＦカメラ３０と遠方ＴＯＦカメラ４０はそれぞれ、距離ＮＲＵ及びＦＲＵにおいて実質的に同じ空間解像度で物体を撮像する。
【００２９】
[0031]  数値的な例として、近方ＴＯＦカメラ３０及び遠方ＴＯＦカメラ４０が６４０×４８０ピクセルのアレイを備えた光センサー３２及び４２を有しており、当該ピクセルが５．６μｍ（マイクロメートル）の対角長を有していると想定されたい。ＮＲＵ＝２００ｃｍ且つＦＲＵ＝３００ｃｍの場合、近方ＴＯＦカメラ３０と遠方ＴＯＦカメラ４０は、もしそれらのＦＯＶ角θＮ及びθＦがそれぞれおよそ７４°及びおよそ５３°に等しければ、それぞれ距離２００ｃｍ及び３００ｃｍにおいておよそ０．５ｃｍ離れた特徴を解像するだろう。
【００３０】
[0032]  滑らかに連続的なアクティブスペース２２を提供し、近方ＴＯＦカメラ３０及び遠方ＴＯＦカメラ４０によって与えられる画像の空間的記録を容易化するために、遠方ＴＯＦカメラ４０の下側境界範囲ＦＲＬと近方ＴＯＦカメラ３０の上側境界範囲ＮＲＵは、ＦＲＬ＜ＮＲＵであるように決定される。したがって、アクティブスペース２２は、３つの区域：近方区域２３、中間区域２４、及び遠方区域２５を含む。
【００３１】
[0033]  数値的な例として、アクティブスペース、例えば全身３Ｄコンピューターゲームをプレイするためのアクティブスペース２２が、ＴＯＦ  ３Ｄ撮像装置２０からおよそ０．８０ｍに等しいＮＲＬから、ＴＯＦ  ３Ｄ撮像装置２０からおよそ３ｍに等しいＦＲＵまで有利に広がっていると想定されたい。もしＴＯＦ  ３Ｄ撮像装置２０から０．８０ｍにおいてアクティブスペース２２がおよそ幅１ｍであれば、有利には、近方ＴＯＦカメラ３０は、およそ６２．５°に等しい視野角θＮを有する。もしＴＯＦ  ３Ｄ撮像装置２０から距離ＮＲＵにおいてアクティブスペース２２が有利におよそ２．５ｍの幅を有していれば、ＮＲＵはおよそ２ｍに等しく、θＦ＝ａｒｃｔａｎ［θＦ／２］＝ａｒｃｔａｎ（（ＮＲＵ／ＦＲＵ）ｔａｎ［θＮ／２］θＦ）はおよそ４２°に等しい。もし近方ＴＯＦカメラ及び遠方ＴＯＦカメラが一辺１５μｍの正方形のピクセルを有しており、距離ＮＲＵ及びＦＲＵにおいておよそ１ｃｍ離れた特徴を解像することが有利に可能であれば、それらの焦点距離ｆＮ及びｆＦは、それぞれおよそ３０ｍｍ（ミリメートル）及び４５ｍｍに有利に等しい。
【００３２】
[0034]  制御器６０は、ＴＯＦ  ３Ｄ撮像装置２０を制御し、下側及び上側境界ＮＲＬ、ＮＲＵ、ＦＲＬ、及びＦＲＵ、並びにそれらが区画する区域２３、２４、及び２５に応じて、近方ＴＯＦカメラ３０と遠方ＴＯＦカメラ４０により得られた距離画像によって与えられる距離情報を処理する。本発明の一実施態様では、制御器６０は、実質的にそれぞれ遠方ＴＯＦカメラ４０の遅延τＦＤ及び露光期間τＦに等しい近方ＴＯＦカメラ３０の遅延τＮＤ及び露光期間の持続時間τＮを用いて、ＴＯＦ  ３Ｄ撮像装置２０を制御する。これらの実質的同等性の条件の下では、両方のＴＯＦカメラは、ＴＯＦ  ３Ｄ撮像装置から同じ距離の範囲にわたってアクティブスペース２２内の特徴の画像を取得する。
【００３３】
[0035]  本発明の一実施態様では、制御器６０は、遠方ＴＯＦカメラ４０が、遠方ＦＯＶ３４内に存在する特徴の近方ＴＯＦカメラからの距離がＦＲＬとＦＲＵの間にある場合にのみ、当該特徴を光源５０からの光で撮像するように決定されたτＦＤ及びτＦを用いて、遠方ＴＯＦカメラ４０をシャッター制御する。同様に、制御器は、近方ＴＯＦカメラ３０が、近方ＦＯＶ４４内に存在する特徴の近方ＴＯＦカメラからの距離がＮＲＬとＮＲＵの間にある場合にのみ、当該特徴を光源５０からの光で撮像するように決定されたτＮＤ及びτＦを用いて、近方ＴＯＦカメラ３０をシャッター制御する。
【００３４】
[0036]  概して、制御器６０は、近方ＴＯＦカメラ３０によってのみ提供される距離画像を用いて、区域２３内の特徴に対する満足のいく距離測定値を与えることができる。概して、制御器６０は、遠方ＴＯＦカメラ４０によってのみ提供される距離画像を用いて、区域２５内の特徴に対する満足のいく距離測定値を与えることができる。中間区域２４に位置している特徴に対して、又はＴＯＦカメラの一方によってもたらされる明らかに無効な若しくは不確かな距離に対しては、制御器は、任意選択的に、近方ＴＯＦカメラと遠方ＴＯＦカメラの両方によって提供されるデータを使用する。黒丸７３、７４、及び７５は、区域２３、２４、及び２５内の位置にある特徴を模式的に表している。
【００３５】
[0037]  距離画像から決定される特徴までの近方ＴＯＦカメラ３０と遠方ＴＯＦカメラ４０の双方からの距離に対して、制御器は、ＴＯＦカメラのうちの一方を「主」ＴＯＦカメラとして指定する。表現上の便宜のため、本発明の一実施態様に従ってＴＯＦカメラからの情報がどのように用いられるのかに関する以下の説明において、文字「Ｃ」が主カメラを表す。文字Ｃ＊はもう一方のカメラを表し、それは「副」カメラと称されることができる。ＴＯＦ  ３Ｄ撮像装置２０からの距離は、主カメラＣのピクセルＰｊ上に撮像された特徴に対して測定されるべきであると考えられる。例として、図２を参照する以下の議論では、主カメラは、近方ＴＯＦカメラ３０であると想定され、ピクセルＰｊ上に撮像される特徴は、中間区域２４に位置する図１に示された特徴７４であると想定される。
【００３６】
[0038]  図２は、近方ＴＯＦカメラ３０及び遠方ＴＯＦカメラ４０の拡大図と、特徴７４が位置している中間区域２４の領域１００と、特徴７４が撮像される主カメラＣ即ち近方ＴＯＦカメラ３０の光センサー３２上のピクセルＰｊとを模式的に示している。
【００３７】
[0039]  本発明の一実施態様に従い、特徴７４は、空間内の直線、即ち当該特徴から近方ＴＯＦカメラ３０の光学中心３３を通り抜けてピクセルＰｊと交わる主撮像ライン１０１とも称される撮像ライン１０１に沿って存在するように拘束されているものと想定される。特徴７４の裾引き（trail）距離は、ピクセルＰｊによって得られた特徴７４の距離画像から決定される距離「ｄＣＰｊ」である。主撮像ライン１０１に沿った距離「ｄ」は、確率分布関数Ｐ（ｄ；ｄＣＰｊ，σｊ）によって与えられる確率を持つ特徴７４の位置における当該撮像ラインに沿った実際の距離であると想定され、ここでσｊは試行（trial）距離ｄＣＰｊに関係した誤差の尺度である。典型的には、ショットノイズ及び読み出しノイズが、裾引き距離に関係した誤差を生じさせる。補助線１１０及び１１１の間の撮像ライン１０１の一区間は、ｄＣＰｊに関係した誤差の大きさを模式的に表している。図２では、確率分布Ｐ（ｄ；ｄＣＰｊ，σｊ）は、撮像ライン１０１に沿って示された曲線１２０により表される、距離ｄＣＰｊにおいて最大値を有すると共に標準偏差σｊを有する正規分布であると想定される。
【００３８】
[0040]  本発明の一実施態様に従い、補助線１１０及び１１１の間の距離ｄｊｍにおける撮像ライン１０１に沿った複数のＭ個の領域Ｒｊｍ（１≦ｍ≦Ｍ）のそれぞれについて、もしそれが領域内に位置していたなら領域Ｒｊｍが撮像されることになる、遠方ＴＯＦカメラ４０の光センサー４２内のピクセルＰ＊ｊｍが決定される。図２では、Ｍは恣意的に５に等しく示されている。領域Ｒｊｍは、補助線１１０及び１１１間の主撮像ライン１０１の区間に沿って、それぞれＲｊ１、Ｒｊ２、…Ｒｊ５に対応する距離ｄｊ１、ｄｊ２、…ｄｊ５により符号付けされた菱形アイコンによって模式的に指定されている。
【００３９】
[0041]  ピクセルＰ＊ｊｍは、ｄｊｍから副カメラ即ち遠方ＴＯＦカメラ４０の光学中心４３を通って伸びる、以降で副撮像ラインＩＬｍとも称される撮像ラインＩＬｍの端に存在している。ピクセルＰ＊ｊｍによって得られる距離画像は、当該ピクセル上に撮像される特徴に対して当該ピクセルに関係した撮像ラインＩＬｍに沿った距離ｄＣ＊Ｐ＊ｊｍを与え、この距離ｄＣ＊Ｐ＊ｊｍは、誤差σ＊ｊｍに関係していると想定されたい。距離ｄＣ＊Ｐ＊ｊｍは、副撮像ラインＩＬｍに沿った距離ｄＣ＊Ｐ＊ｊｍ（１≦ｍ≦５）により符号付けされた円形アイコンによって図的に表されている。
【００４０】
[0042]  ピクセルＰ＊ｊｍ上に撮像される特徴の撮像ラインＩＬｍに沿った距離ｄ＊ｍが当該特徴の実際の距離である確率が、確率分布関数Ｐ（ｄ＊ｍ；ｄＣ＊Ｐ＊ｊｍ，σ＊ｊｍ）によって与えられるとしよう。図２では、例示的な分布Ｐ（ｄ＊ｊｍ；ｄＣ＊Ｐ＊ｊｍ，σ＊ｊｍ）が、ｍ＝５の場合の正規分布１３０として示されている。もし主撮像ライン１０１の副撮像ラインＩＬｍとの交点が遠方ＴＯＦカメラ４０からの撮像ラインＩＬｍに沿った距離ｄ＊ｊｍに位置しているならば、ｄ＊ｊｍがピクセルＰ＊ｊｍ上に撮像される特徴の遠方カメラ４０からの実際の距離である確率は、Ｐ（ｄ＊ｊｍ；ｄＣ＊Ｐ＊ｊｍ，σ＊ｊｍ）である。
【００４１】
[0043]  本発明の一実施態様に従い、制御器６０は、主即ち近方ＴＯＦカメラ３０のピクセルＰｊ上に撮像される特徴、例えば特徴７４の距離ＤＣＰｊが、Ｐ（ｄｍ；ｄＣＰｊ，σｊ）・Ｐ（ｄ＊ｊｍ；ｄＣ＊Ｐ＊ｊｍ，σ＊ｊｍ）を最大化する距離ｄｍ（１≦ｍ≦Ｍ）であると判定する。
【００４２】
[0044]  上記の議論では、近方ＴＯＦカメラ３０が主カメラと指定され、遠方ＴＯＦカメラ４０が副カメラと指定されたが、距離を決定するための手順は、通常、どちらのカメラが主カメラであるかとは実質的に無関係であるということが留意される。遠方ＴＯＦカメラ４０が主カメラと指定され、近方ＴＯＦカメラが副カメラと指定され、主撮像ライン１０１が遠方ＴＯＦカメラに関係付けられる場合、カメラの役割は反対にすることができる。
【００４３】
[0045]  図３Ａ及び３Ｂは、ＴＯＦ  ３Ｄ撮像装置２０が近方ＴＯＦカメラ３０及び遠方ＴＯＦカメラ４０により得られたアクティブスペース２２の画像からの情報を処理して、アクティブスペース２２内の特徴までの距離を判定し、当該アクティブスペース内の特徴の範囲画像を提供するアルゴリズムのフロー図２００を示しており、当該アルゴリズムもまた符号２００によって参照される。
【００４４】
[0046]  ブロック２０２において、任意選択的に、制御器６０は、ズームアウトモード又はズームインモードで動作するようにＴＯＦ  ３Ｄ撮像装置２０を調整するか否かを決定する。ＴＯＦ  ３Ｄ撮像装置を調整することは、近方ＴＯＦカメラ３０（広角ＦＯＶズームアウトカメラ）又は遠方ＴＯＦカメラ４０（狭角ＦＯＶズームインカメラ）のどちらのカメラが、当該カメラによって供給される距離情報を処理するための主カメラと指定されるかを決定することを含む。図１に関する上記の議論は、アクティブスペース２２（図１）内の特徴までの距離を測定する際における主カメラの役割の例を与えている。任意選択的に、どちらのカメラが有利に主カメラと指定されるかを決定するために、制御器６０は、近方ＴＯＦカメラ３０と遠方ＴＯＦカメラ４０によって供給された距離から、アクティブスペース２２の近方区域２３、オーバーラップ区域２４、及び遠方区域２５のそれぞれに存在する関心のある特徴の数を評価する。制御器は、その評価された特徴の数に応じて、ズームイン又はズームアウトを決定する。
【００４５】
[0047]  例えば、もし優勢数の特徴が近方区域２３又は遠方区域２５にあるならば、制御器６０は、主カメラをそれぞれ近方ＴＯＦカメラ３０によるズームインモード、又は遠方ＴＯＦカメラ４０によるズームアウトモードで動作させるように、ＴＯＦ  ３Ｄ撮像装置２０を調整する。任意選択的に、もし優勢数の関心のある特徴が中間区域に存在すると判明したならば、制御器６０は、ＴＯＦ  ３Ｄ撮像装置を、関心のある特徴の数を評価する前に動作していたズームモードで動作するままにしておくか、又は、予め定められたデフォルトの手順に従ってズームモードを決定する。
【００４６】
[0048]  ブロック２０４において、制御器６０は、光源５０によって放射される光パルスの強度をズームモードの選択に合うように設定する。もしズームモードがズームアウトであるならば、制御器は、任意選択的に、ＴＯＦ  ３Ｄ撮像装置２０に近い近方区域２３にある特徴が、光パルスから近方ＴＯＦカメラ３０及び遠方ＴＯＦカメラ４０へとそれらＴＯＦカメラ内のピクセルを飽和させる光の量を反射する蓋然性を低減するように、適度なレベルに強度を設定する。もしズームモードがズームインであるならば、制御器６０は、任意選択的に、ＴＯＦ  ３Ｄ撮像装置２０から相対的に遠い遠方区域２５にある特徴が、満足のいく撮像にとって十分な光をＴＯＦカメラへ反射しない蓋然性を低減するように、ズームアウトモード向けに選択された前記適度な強度よりも大きく、放射パルスの強度を設定する。中間的な強度が、相対的に多数の関心のある特徴が中間区域２４に見出された状況に対して、任意選択的に決定される。
【００４７】
[0049]  ブロック２０６において、制御器は、近方ＴＯＦカメラ３０又は遠方ＴＯＦカメラ４０の何れかであり得る主カメラＣのピクセルを指定するインデックス「ｊ」をゼロに初期化する。インデックスｊは、Ｊに等しい最大値を有し、Ｊは近方ＴＯＦカメラ３０における総ピクセル数を表す。ブロック２０８において、制御器は、インデックスを１だけ増加させる。ブロック２１０において、制御器６０は、主カメラＣのピクセルＰｊによって得られた距離画像からアクティブスペース２２内の特徴に対する裾引き距離ｄＣＰｊを決定する。判定ブロック２１２において、制御器６０は、ピクセルＰｊ上に撮像された特徴が以降で「Ｃ区域」とも称される主カメラＣに関係するアクティブスペース２２内の区域に位置しているか否かを、ｄＣＰｊの値が示しているか判定する。即ち、もし近方ＴＯＦカメラ３０が主カメラＣであるならば、Ｃ区域は近方区域２３（図１）であり、もし遠方ＴＯＦカメラ４０が主カメラＣであるならば、Ｃ区域は遠方区域２５である。もし撮像された特徴がＣ区域にあると分かったなら、ブロック２１４において、制御器は、任意選択的に、距離ＤＣＰｊ＝ｄＣＰｊが、主カメラＣのピクセルＰｊ上に撮像された特徴に対する距離であると決定する。
【００４８】
[0050]  制御器は次いで、任意選択的に、ブロック２２４へ進んで、ｊ＝Ｊであるかどうかを判定する。ここでＪは主カメラＣにおけるピクセル総数である。もしｊがＪに等しくなければ、制御器６０は、ブロック２０８へ戻ってインデックスｊを１だけ増加させ、続けて次のピクセルＰ（ｊ＋１）上に撮像された特徴についての距離を決定する。もしｊ＝Ｊならば、制御器６０は、主カメラＣのピクセルＰｊに対する距離を決定するための処理を終了し、任意選択的に、ブロック２２６において、距離ＤＣＰｊ  ｊ＝１→Ｊを用いてアクティブスペース２２に対する範囲画像を提供する。制御器は次いで、任意選択的に、ブロック２２８へ進んで処理を終了する。
【００４９】
[0051]  本発明の一実施態様において、もし特徴がＣ区域に存在しなければ、制御器は、任意選択的に、ピクセルＰｊ上に撮像された特徴が中間区域２４に位置していそうかどうかを試行距離ｄＣＰｊが示しているか、判定ブロック２１６において判定する。もしそうなら、任意選択的に、ブロック２１８において、制御器６０は、主カメラＣと副カメラＣ＊の両方からの距離情報を用いて、Ｐｊ上に撮像された特徴に対する距離ＤＣＰｊを決定する。任意選択的に、制御器は、ＴＯＦ  ３Ｄ撮像装置２０における近方ＴＯＦカメラ３０及び遠方ＴＯＦカメラ４０の幾何学的配置とそれらの相互に対する位置から、どのピクセルＰ＊ｋ：ｊ→ｋがピクセルＰｊに対応し、ピクセルＰｊが撮像するのと実質的に同じ特徴を撮像するのかを決定する。任意選択的に、制御器は、式ＤＣＰｊ＝ｗＣｄＣＰｊ＋ｗＣ＊ｄＣ＊Ｐ＊ｋ：ｊ→ｋに従って、裾引き距離ｄＣＰｊとピクセルＰ＊ｋ：ｊ→ｋによって得られた距離画像により与えられる試行距離ｄＣＰ＊ｋ：ｊ→ｋとの重み付け平均として距離ＤＣＰｊを決定する。但しｗＣ及びｗＣ＊は重み付け係数である。重み付け係数は、例えば、主カメラＣからの情報を副カメラＣ＊からの情報よりも大きく重み付けし、又は試行距離をそれぞれの誤差の関数によって重み付けすることができる。ＤＣＰｊを決定した後、制御器６０は、任意選択的に、ブロック２１８から判定ブロック２２４を介しブロック２０８へ進んでインデックスｊを増加させ、又は、ブロック２２６へ進んでアクティブスペース２２の範囲画像を提供し、ブロック２２８へ進んで処理を終了する。
【００５０】
[0052]  もしブロック２１６において、制御器６０が、試行距離ｄＣＰｊは特徴が中間区域２４に位置していることを示していない、と判断したなら、当該試行距離は、特徴が副カメラＣ＊に関係したアクティブスペース２２内の区域であるＣ＊区域に位置していることを示すか、あるいは、当該試行距離は無効であるかの何れかであり、制御器は、任意選択的にブロック２２０へ進む。任意選択的に、制御器は、図２を参照して上述されたのと同様の手順を実行し、式ＤＣＰｊ＝｛ｄｍ｜ＭＡＸ［Ｐ（ｄｍ；ｄＣＰｊ，σｊ）・Ｐ（ｄ＊ｊｍ；ｄＣ＊Ｐ＊ｊｍ，σ＊ｊｍ）］｝に従ってＤＣＰｊを決定する。
【００５１】
[0053]  ブロック２２０から、制御器は、任意選択的にブロック２２４へ進み、その後、ブロック２０８へ戻って主カメラＣの次のピクセルに対する手順を繰り返すか、又は、ブロック２２６へ進んで範囲画像を提供し、それから手順を終了する。
【００５２】
[0054]  当然ながら、もしＴＯＦ  ３Ｄ撮像装置２０がアクティブスペース２２内の特徴を反復的に撮像するように連続動作している、例えば全身３Ｄコンピューターゲームをサポートしているのなら、制御器は、アクティブスペースについてゲーム中に得られた画像の各セットに対して、続けてアルゴリズム２００を反復的に実行することができる。
【００５３】
[0055]  本願の説明及びクレームにおいて、動詞「備える（comprise）」、「含む（include）」、及び「有する（have）」の各々並びにそれらの活用形は、動詞の目的語が必ずしも当該動詞の主題に係る成分、要素、又は部分につていの完全なリストであるという訳ではないことを示すために用いられている。
【００５４】
[0056]  本願における発明の実施態様の説明は、例として提供されており、発明の範囲を限定することを意図していない。説明された実施態様は様々な特徴を備えており、それらの全てが本発明の全実施態様において必要とされる訳ではない。いくつかの実施態様は、当該特徴のうちのいくつか、又は当該特徴のあり得る組み合わせのみを利用する。説明された発明の実施態様のバリエーション、及び説明された実施態様において述べられた特徴の異なる組み合わせを備える発明の実施態様は、当業者が思い付くだろう。本発明の範囲は、クレームによってのみ限定される。
【図１】
2015510586.tif 000003
【図２】
2015510586.tif 000004
【図３Ａ】
2015510586.tif 000005
【図３Ｂ】
2015510586.tif 000006
【国際調査報告】
2015510586.tif 000007
2015510586.tif 000008