(57)【特許請求の範囲】
【請求項１】
ビデオ・プロジェクター・デバイスであって、
光源と、
前記光源を駆動するドライバーと、
前記光源からの可視光を視野に投射する光学素子と、
前記視野内の物体から反射された可視光を含む可視光を検知するセンサーであって、複数の画素を含む、センサーと、
前記ドライバーと前記センサーとに関連した少なくとも１つの制御回路であって、該少なくとも１つの制御回路が、
１フレーム期間において１フレームの画素データーを提供し、前記フレーム期間をゲート・サブフレームを含む複数のサブフレームに分割し、前記ビデオ・プロジェクター・デバイスを、前記ゲート・サブフレームにおいて、投射および検知モードと、これに続く検知なしの投射のみモードとで動作させ、
前記投射および検知モードを提供して、前記ドライバーに前記光源を該光源が可視光のパルスを出すパルス・モードで駆動させその間前記センサーをゲート・モードで動作させ、これにより前記複数の画素が前記物体からの可視光の前記パルスの反射からの電荷を蓄積し、
検知なしの前記投射のみモードを提供して、前記ドライバーに前記光源を該光源が連続の可視光を出す連続モードで駆動させその間前記センサーが光強度値を得るために前記複数の画素からの蓄積された電荷を読み取らせ、
飛行時間の原理を使用し、前記光強度値に基づいて、前記視野内の前記物体に関する深度データーを得る、
少なくとも１つの制御回路と、
を含む、ビデオ・プロジェクター・デバイス。
【請求項２】
請求項１記載のビデオ・プロジェクター・デバイスにおいて、
前記複数のサブフレームが、前記ゲート・サブフレームに続く非ゲート・サブフレームを含み、
前記少なくとも１つの制御回路が、前記ドライバーに前記光源を前記パルス・モードで駆動させその間前記センサーが非ゲート・モードで動作し、その後前記ドライバーに前記光源を連続モードで駆動させその間前記センサーが光強度値を得るために読み取られる非ゲート・サブフレームを与え、前記少なくとも１つの制御回路が、前記視野内の前記物体の反射率を補償するために、前記センサーから読み取られかつ前記非ゲート・サブフレームの間に得られた光強度値に基づいて、前記ゲート・サブフレームの間に得られた光強度値を調節する、ビデオ・プロジェクター・デバイス。
【請求項３】
請求項１記載のビデオ・プロジェクター・デバイスにおいて、
前記複数のサブフレームが、前記ゲート・サブフレームに続く背景サブフレームを含み、
前記少なくとも１つの制御回路が、前記背景サブフレームを与え、これにおいて、前記ビデオ・プロジェクター・デバイスによって前記物体に対し可視光が出されずその間前記センサーが背景光を検知するためにゲート・モードで動作し、その後前記ドライバーに前記光源を連続モードで駆動させている間に前記センサーが光強度値を得るために読み取られ、前記少なくとも１つの制御回路が、前記視野の中における前記背景光を補償するために、前記センサーから読み取られかつ前記背景サブフレームの間に得られた前記光強度値に基づいて、前記ゲート・サブフレームの間に得られた光強度値を調節する、ビデオ・プロジェクター・デバイス。
【請求項４】
請求項３記載のビデオ・プロジェクター・デバイスにおいて、
前記少なくとも１つの制御回路が、前記複数のサブフレームにおいて２つの前記背景サブフレームを与える、ビデオ・プロジェクター・デバイス。
【請求項５】
請求項１記載のビデオ・プロジェクター・デバイスにおいて、
前記複数のサブフレームが、前記ゲート・サブフレームに続くカラー・サブフレームを含み、
前記少なくとも１つの制御回路が、前記ドライバーに前記光源を前記連続モードで駆動させその間前記センサーが標準的なカラー検知モードで動作し、その後前記ドライバーに前記光源を前記連続モードで駆動させその間前記センサーが前記視野からのカラー・データーを含む光強度値を得るために読み取られる、前記カラー・サブフレームを与える、ビデオ・プロジェクター・デバイス。
【請求項６】
請求項１記載のビデオ・プロジェクター・デバイスにおいて、
前記複数のサブフレームが、カラー・サブフレームを含み、これにおいて、前記少なくとも１つの制御回路が、前記ドライバーに前記光源を前記連続モードで駆動させその間前記センサーがアクティブである、ビデオ・プロジェクター・デバイス。
【請求項７】
請求項１記載のビデオ・プロジェクター・デバイスにおいて、
前記少なくとも１つの制御回路が、前記ドライバーに、前記ゲート・サブフレームの間、三角形状パルスを使用して前記光源を駆動させる、ビデオ・プロジェクター・デバイス。
【請求項８】
請求項１記載のビデオ・プロジェクター・デバイスにおいて、
前記少なくとも１つの制御回路が、前記ドライバーに、パルスを使用して前記光源を駆動させ、各前記パルスが少なくとも、（ａ）前記光源の立ち上がりレートよりも低いレートで上に遷移する先端エッジ、および（ｂ）前記光源の立ち下がりレートよりも低いレートで下に遷移する後端エッジの内少なくとも１つを有する、ビデオ・プロジェクター・デバイス。
【請求項９】
請求項１記載のビデオ・プロジェクター・デバイスにおいて、前記光源が前記ビデオ・プロジェクター・デバイスのバックライトである、ビデオ・プロジェクター・デバイス。
【請求項１０】
請求項１記載のビデオ・プロジェクター・デバイスにおいて、
前記光源、前記光学素子、前記少なくとも１つの制御回路、および前記センサーが、共通の筐体内に設けられている、ビデオ・プロジェクター・デバイス。
【請求項１１】
請求項１記載のビデオ・プロジェクター・デバイスであって、更に、
ビデオ情報を前記可視光にエンコードする少なくとも１つの光透過性ＬＣＤパネルを含み、この少なくとも１つの光透過性ＬＣＤパネルが複数の画素を含む、ビデオ・プロジェクター・デバイス。
【請求項１２】
請求項１記載のビデオ・プロジェクター・デバイスにおいて、
前記少なくとも１つの制御回路が、前記深度データーに基づいて、前記光学素子を合焦させる、ビデオ・プロジェクター・デバイス。
【請求項１３】
ビデオ・プロジェクター・デバイスであって、
光源と、
前記光源を駆動するドライバーと、
前記光源からの可視光を視野に投射する光学素子と、
前記視野内の物体から反射された可視光を含む可視光を検知するセンサーであって、複数の画素を含む、センサーと、
深度検知フレームと非深度検知フレームとを前記物体に交互に投射させる少なくとも１つの制御回路であって、該少なくとも１つの制御回路が、
（ａ）前記深度検知フレームを与え、
前記ドライバーに前記光源をパルス・モードで駆動させ、これにおいて、前記光源が前記深度検知フレームの１部分の間において可視光のパルスを出し、
可視光の前記パルスを検出するために、前記深度検知フレームの前記１部分の間においてゲート・モードで前記センサーを動作させ、
飛行時間の原理を使用して、前記センサーから読み取られた光強度値に基づいて、前記視野内の前記物体に関する深度データーを得、
前記ドライバーに前記光源を連続モードで駆動させ、これにおいて、前記光源が、前記深度検知フレームの別の１部分の間において連続の可視光を出し、
（ｂ）前記深度検知フレームとは異なった時点において、前記非深度検知フレームを与え、
前記ドライバーに、前記光源が連続の可視光を出す連続モードで前記光源を駆動させ、
前記視野内の前記物体に関して深度データーを得ない、
少なくとも１つの制御回路と、
を含む、ビデオ・プロジェクター・デバイス。
【請求項１４】
請求項１３記載のビデオ・プロジェクター・デバイスにおいて、
前記少なくとも１つの制御回路が、前記光源に、前記深度検知フレームにおいては、前記非深度検知フレームにおけるよりも高い照明電力で可視光を出させる、ビデオ・プロジェクター・デバイス。
【請求項１５】
請求項１３記載のビデオ・プロジェクター・デバイスにおいて、
前記深度検知フレームが前記非深度検知フレームよりも長い、ビデオ・プロジェクター・デバイス。
【発明の詳細な説明】
【従来技術】
【０００１】
[0001]  リアル・タイム深度カメラは、このカメラの視野の中にいる人間または他の物体までの距離を判定することができ、更にこのカメラのフレーム・レートに基づいて、実質的にリアル・タイムで距離を更新することができる。このような深度カメラは、例えば、モーション・キャプチャー・システムにおいて、物理的空間内の人間の身体または他の被写体の位置および動きに関するデーターを得るために使用することができ、更にこのデーターを計算システムにおけるアプリケーションへの入力として使用することができる。軍事、娯楽、スポーツ、および医療目的のためというような、多くの用途が可能である。通例、深度カメラは視野を照明する赤外線照明器と、画像を形成するために視野からの光を検知する画像センサーとを含む。更に、ユーザーの家庭にあるテレビジョンのようなディスプレイ・デバイスと通信するゲーミング・コンソールの一部として、深度カメラを設けることもできる。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
しかしながら、ビデオ・プロジェクター・デバイスのような携帯用デバイスまたは形状係数が小さな他のデバイスに深度カメラ技術を適用するには、種々の課題が存在する。これらの課題には、電力および空間の制限が含まれる。
【課題を解決するための手段】
【０００３】
[0002]  小型サイズ、消費電力低減、およびコスト削減という目標を達成するビデオ・プロジェクター・デバイスを提供する。このビデオ・プロジェクター・デバイスのバックライトを変調して光パルスを作り、これらの光パルスを可視光カメラによって検出し、視野に関する距離／深度データーに変換することができる。この種の変調は、必ずしも投射光の画像品質に著しい影響を及ぼすことはなく、種々の移動体デバイスまたは非移動体デバイスにおいて具体化することができる。これらのデバイスは、当該デバイスまたはこのデバイスに接続されているホストにおいて実行する種々のアプリケーションのために使用される。
【０００４】
[0003]  一実施形態では、ビデオ・プロジェクター・デバイスは、プロジェクターのバックライトのような光源を含み、この光源が可視光を出す。このビデオ・プロジェクター・デバイスのプロジェクター部分には、光源から出された可視光を変調するドライバーが設けられている。また、個々に制御可能な画素を有する１つ以上の光透過性ＬＣＤパネルも、光源からの可視光にカラー・ビデオ情報を伝える設けることができる。カラー・コード化可視光を視野に投射する少なくとも１つの光学素子が設けられている。例えば、１つ以上のレンズを使用することができる。ビデオ・プロジェクター・デバイスのセンサー部分では、電荷結合デバイス（ＣＣＤ）のような１つ以上のセンサーが設けられ、視野内の少なくとも１つの物体から反射した可視光を含む、可視光を検知する。このセンサーは、画素のアレイを含む。有利なことを上げると、このセンサーは、ディジタル・カメラにおいて使用されている従来のタイプのＣＣＤとすることができる。ビデオ・フレームを投射する少なくとも１つの制御回路が設けられている。フレームは、ゲート・サブフレーム（gated sub-frame)を含むことができ、このゲート・サブフレームでは、光源がパルス・モードで駆動され、その間センサーはゲート・モードで動作させられる。続いて、光源が連続モードで駆動させられ、その間にセンサーが読み取られて、光強度値が得られる。少なくとも１つの生後回路は、この光強度値に基づいて、飛行時間の原理を使用して、視野内の少なくとも１つの物体に関する深度データーを得る。この深度データーは、例えば、視野の深度マップの形態で提供することができる。
【０００５】
[0004]  この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを簡略化された形式で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために使用されることを意図するのでもない。
【図面の簡単な説明】
【０００６】
[0011]  図面において、同様の番号が付けられたエレメントは互いに対応するものとする。
【図１】図１は、ビデオ・プロジェクター・デバイスを含む環境例の側面図を示す。
【図２】図２は、図１の環境例の上面図を示す。
【図３】図３は、図１のビデオ・プロジェクター・デバイスのブロック図例を示す。
【図４】図４Ａは、ビデオ・プロジェクター・デバイスを使用するプロセスを示す。図４Ｂは、図４Ａのステップ４００において使用することができるサブフレームを伴うプロセスの例を示す。図４Ｃは、図４Ａのステップ４００において使用することができるサブフレームを伴うプロセスの他の例を示す。
【図５Ａ】図５Ａは、図４Ｂのステップ４１０において記したゲート・サブフレームを与えるプロセスの例を示す。
【図５Ｂ】図５Ｂは、図４Ｂのステップ４１２において記した非ゲート・サブフレームを与えるプロセスの例を示す。
【図５Ｃ】図５Ｃは、図４Ｂのステップ４１４において記した背景サブフレームを与えるプロセスの例を示す。
【図５Ｄ】図５Ｄは、図４Ｂのステップ４１６において記したカラー・サブフレームを与えるプロセスの例を示す。
【図６】図６Ａは、図４Ｃのステップ４２０において記するゲート・サブフレームを与えるプロセスの例を示す。図６Ｂは、図４Ｃのステップ４２２において記する非ゲート・サブフレームを与えるプロセスの例を示す。
【図７Ａ】図７Ａは、図４Ｂのプロセスに対応するプロジェクターの出力を示す。
【図７Ｂ】図７Ｂは、図７Ａのプロジェクター出力に基づく、センサーへの入力を示す。
【図７Ｃ】図７Ｃは、連続投射が行われる、非深度検知フレームを示す。
【図７Ｄ】図７Ｄは、低い光強度および高い光強度のフレームを交互に与えるフレーム・シーケンス例を示す。
【図７Ｅ】図７Ｅは、長いフレーム期間および短いフレーム期間のフレームを交互に与えるフレーム・シーケンス例を示す。
【図８】図８Ａは、図４Ｃのプロセスに対応するプロジェクターの出力を示す。図８Ｂは、図８Ａのプロジェクター出力に基づく、センサーの出力を示す。
【図９】図９Ａは、方形波形を使用するプロジェクターからの出力であるパルス光を示す。図９Ｂは、図９Ａのプロジェクター出力に基づく、センサーの出力を示す。
【図１０】図１０Ａは、三角波形を使用するプロジェクターからの出力であるパルス光を示す。図１０Ｂは、図１０Ａのプロジェクター出力に基づく、センサーへの入力であるパルス光を示す。
【発明を実施するための形態】
【０００７】
[0029]  複数の用途において有用なビデオ・プロジェクター・デバイスを提供する。用途の一例では、表面上に画像を投射し、この画像が、ユーザー・インターフェースにおけるメニュー項目のような、複数の選択可能な画像部分を有する。ユーザーは、例えば、彼の手を使ってジェスチャーを行い、これらの画像部分から１つを選択することができる。新たなビデオまたは静止画像コンテンツを選択する、現在投射されているビデオまたは静止画像コンテンツを変更する、ゲームをプレーする、電話コールのような通信を開始する等というような、対応する制御入力をアプリケーションに供給することができる。１つの手法では、表面上に投射された画像がタッチ・ディスプレイになる。他の用途例では、視野内の物体の３−Ｄ形状を検知し、記録する。ビデオ・プロジェクター・デバイスは、可視光プロジェクターを使用して、視野における表面または物体上というように、視野において所望のパターンで連続光を投影しつつ、飛行時間の原理を使用して、深度データーを得るときに使用するためのパルス光を供給するという双方を行う利点がある。画質が顕著に低下しないように、光源を周期的に駆動して、連続光出力が供給される期間に対して、限定した期間にわたって可視光パルスを供給することによって、深度データーを得ることができる。この限定した期間において、ビデオ・プロジェクター・デバイスのセンサーが、視野からの反射した可視光パルスを検出するようにゲートされる(gated)。また、このセンサーは、典型的なディジタル・カメラのように、静止画像、例えば、写真、またはビデオ画像、例えば、ビデオを得るというようなことのために、視野からカラー・データーを得る能力も有する。
【０００８】
[0030]  ビデオ・プロジェクター・デバイスにおいて共通して使用されるエレメントを新たな方法で使用して、そのデバイスを３−Ｄデーター検出デバイスに変換することによって、追加の機能を得ることができる。例えば、ビデオ画像が投射される表面の近くにある物体について３−Ｄ深度データーを得ることができる。
【０００９】
[0031]  ビデオ・プロジェクターは、検知専用モードで動作することもでき、このモードでは、可視光パルスは供給されるが、連続光出力は供給されない。他の選択肢では、ビデオ・プロジェクターが投射および検知モードで動作するとき、ビデオ・プロジェクターが投射専用モードで動作するときと比較して、カラー・コントラストを高めるために、フレーム期間を延長することができ、および／または光強度を高めることができる。
【００１０】
[0032]  図１は、ビデオ・プロジェクター・デバイスを伴う環境例の側面図を示す。最初に述べたように、深度カメラは増々普及しつつある。深度検知技術は、移動体または形状係数が小さいビデオ・プロジェクター・デバイスのような他の製品においても使用することができる。ビデオ・プロジェクター・デバイスは、ピコ・プロジェクターと呼ばれることもある小型のハンドヘルド・デバイス、移動体プロジェクター、およびポケット・プロジェクターを含む。このようなデバイスは、微小ハードウェアおよびソフトウェアを含むことができ、平らな壁またはテーブル、あるいは一般に任意の形状をした表面／物体というような、任意の近隣視聴表面上にデジタル画像を投射することができる。ビデオ・プロジェクター・デバイスは、必ずしもハンドヘルドでも携帯用でもない他のデバイスを含むことができ、テーブルの上面上に載せるデバイス、壁または他の表面に取り付けるデバイスが含まれる。
【００１１】
[0033]  １つの用途では、静止画像またはビデオ・画像を表示して、手のジェスチャーによって動かすことによって、ユーザーが画像を変更することを可能にする。例えば、手、または１つの手の指を別々に動かすジェスチャーを行うと、投射されている画像を拡大／ズームイン(zoom in)することができ、逆の動きを行うと、投射されている画像が小さくなる／ズームアウト(zoom out)する。ユーザーは、投射画像から物体を持ち上げるまたはそれ以外で選択する様子を見せることができ、その物体が選択されたときに、その物体の投射が変化する。手を横に振るまたは弾くジェスチャーを行うと、メニューをスクロールする、あるいはビデオまたは静止画像の表示を停止または開始することができる。自然ユーザー・インターフェース（ＮＵＩ）体験を作ることができ、ユーザーは、投射された物体が本当に実在の物体であるかのように、これらと相互作用することができる。多くの他の用途も可能である。人の一部、人全体、または他の物体を追跡することに関する更なる情報は、例えば、２０１０年８月５日に公開された"Visual Target Tracking"（視覚目標追跡）と題する米国特許出願公開２０１０年第０１９７３９９号、および２０１０年８月５日に公開された"Body Scan"（身体走査）と題する米国特許出願公開２０１０年第０１９４８７２号において見いだすことができる。これらをここで引用したことにより、各々、その内容が本願にも含まれるものとする。
【００１２】
[0034]  図１において、ビデオ・プロジェクター・デバイス１００は、テーブルの上面１０２に載せられたところが示されている。プロジェクター・レンズ１００は、この例では、光線１１２および１１４によって区切られる視野に可視光を透過または投射させるために使用されている。投射光の一部は、光線１２２および１２４によって区切られる領域によって示されるように、反射し、カメラ・レンズ１２０を介して、ビデオ・プロジェクター・デバイス１００内のセンサーによって検知される。ユーザー１３０は、彼の腕または手１３２を、投射された視野の中に入れ、この手の存在または手の任意の動きをセンサーによって検知できるようにする。
【００１３】
[0035]  図２は、図１の環境例の上面図を示す。ビデオ・プロジェクター・デバイスによって、テーブルの上面１０２上に画像領域１５０が投射される。画像領域１５０は、例えば、画像部分１５２、１５４、１５６、および１５８を含む。ユーザーは、手１３２を画像部分１５２の上に置くことによって、画像部分１５２を選択することができる。画像部分１５２の選択は、異なる方法でトリガすることもできる。１つの手法では、１〜２秒というような最短時間期間画像部分１５２の上に手があることによって、画像部分５１２の選択をトリガすることができる。他の手法では、ユーザーが、画像部分１５２の上に手を置くというようなジェスチャーを行い、続いて手を画像部分１５２に向かって下ろしていくか、または画像部分１５２から離れるように手を持ち上げなければならない。多くの他の可能性も存在する。同様の例は、画像が垂直な表面または他の表面上に投射される場合にも示すことができる。この表面は必ずしも平面ではない。
【００１４】
[0036]  図３は、図１のビデオ・プロジェクター・デバイスのブロック図例を示す。これらのコンポーネントは１つの筐体の中に設けることができる。ビデオ・プロジェクター・デバイス３００は、バックライトのような光源３１８を含む。光源３１８は、連続可視光またはパルス状可視光を出すように作動させる（給電するまたはオンに切り替える）ことができる。また、光源３１８は、電力消費を低減するために可視光を出さないように、作動させない（電源を切るまたはオフに切り替える）こともできる。光源は、深度検知の間変調され、ビデオ投射の間作動させられ続ける。オフにする場合、これは、システムがカラー・ビデオ／画像を取り込むことしかできないことを意味する。１つの可能な手法では、光源３１８は１つ以上の発光ダイオード（ＬＥＤ）を含むことができる。図示されていない種々の他の光学素子も、通例使用される。１つの手法では、ハロゲン化金属ランプのような白色光源が使用される場合、この光源は白色光を構成し、この白色光が３つの色成分（例えば、赤、緑、青）にプリズムによって分離され、各色成分が別々の変調器を通過する。変調された各カラーの光は、その後、しかるべき光学素子を使用して、組み合わされそして投射される。他の手法では、白色光が１つの変調器に、カラー・ホイールのようなコンポーネントを介して供給され、例えば、赤、緑、および青成分が時間多重法で変調器に供給される。ＬＥＤが使用されるときというような１つの手法では、ＬＥＤの各グループが赤、緑、および青というような、異なるカラーを出し、各カラー成分が別々の変調器を通過し、変調された各カラーの光が、その後、しかるべき光学素子を使用して組み合わされそして投射される。
【００１５】
[0037]  光源に対する他の選択肢に、ディジタル光処理（ＤＬＰ）（登録商標）チップ（Texas Instruments, Inc.)がある。このチップは、２百万個までのヒンジ取り付け型極微小ミラー(microscopic mirror)の矩形アレイを含み、これらのミラーがディジタル画像を画面または他の表面上に反射することができる。ＤＬＰチップの変調は、ＬＣＤチップの変調と同様である。１ＤＬＰチップ構成では、白色光はカラー・フィルターを通過して、赤、緑、青、およびイエロー・シアン、マジェンタ等のような追加の原色をも、ＤＬＰチップの表面上で順次光らせる。これらのミラーの切り替え、ならびにこれらが「オン」および「オフ」になっている時間の割合は、これらのミラー上で光るカラーにしたがって調整される。次いで、これらのカラーが順次混ざり合ってフル・カラー画像が作られて投射される。
【００１６】
[0038]  ＬＣＤパネル３２０は、光源から出された光を、カラー・ビデオ情報によってエンコードして、カラー・エンコード可視光を生成し、投射レンズ３２２のような少なくとも１つの光学素子を介して投射する。例えば、光透過性ＬＣＤチップを使用することによってというようにして、１つ以上の光透過性ＬＣＤパネルを設けることができる。ＬＣＤパネルは、光透過性画素のアレイを１つ以上含むことができ、プロジェクター制御回路３１０に応答して、各画素を各々個別に制御することができる。ＬＣＤパネルの画素は、投射しようとする所望のカラー画像のような、画像データーを知らせるように制御することができる。
【００１７】
[0039]  投射レンズ３２２および／またはセンサー・レンズ３６０は、センサー制御回路３４０からプロジェクター制御回路３１０に供給される深度情報に基づいて、自動合焦機能を設けるため等で、プロジェクター制御回路３１０によって制御することができる。視野内の１つ以上の物体の深度または深度の範囲が分かると、最適な焦点を設定することができる。
【００１８】
[0040]  プロジェクター制御回路３１０は、プロセッサー３１２によって代表される１つ以上のプロセッサーと、メモリー・コンポーネント３１４によって代表される１つ以上のメモリー・コンポーネントと、ドライバー３１６によって代表される１つ以上のドライバーとを含むことができる。プロセッサーは、例えば、マイクロプロセッサーとすることができ、メモリー３１４に格納されている命令を実行して、本明細書において記載するような機能を設ける。メモリー３１４は、プロセッサー３１２によって実行される命令を格納することができ、更に所望の投射画像を供給するようにＬＣＤパネル３２０を制御するための画像データーも格納することができる。例えば、メモリー３１４は、ランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、キャッシュ、フラッシュ・メモリー、ハード・ディスク、または任意の他の適した有形コンピュータ読み取り可能記憶媒体を含むのでもよい。メモリー・コンポーネント３１４は、プロセッサーおよび／またはプロジェクター制御回路３１０と、例えば、バスを介して通信可能な別々のコンポーネントであってもよい。または、メモリー・コンポーネント３１４をプロセッサー３１２および／またはプロジェクター制御回路３１０の中に統合してもよい。メモリー３１４は、本明細書において記載するようなビデオ・プロジェクター・デバイスにおいて画像データーを処理する方法を実行するように少なくとも１つのプロセッサー３１２をプログラミングするためのコンピュータ読み取り可能ソフトウェアが具体化されている、有形コンピュータ読み取り可能記憶媒体である。
【００１９】
[0041]  ドライバー３１６は、光源と通信して、本明細書に記載するように、光源を駆動または変調する。例えば、出された光を変調するように、光源への電流および／または電圧をドライバーによって変調することができる。ドライバーは、高速パルス・モードおよび連続照明モードの双方をサポートするカスタム・ドライバーとすることができる。プロジェクター制御回路は、ＬＣＤパネルの画素の行および列を制御することができる。
【００２０】
[0042]  ユーザー・インターフェース３３０は、ボタンまたはタッチ・スクリーンのような制御装置を含み、ユーザーがビデオ・プロジェクター・デバイスを制御するためのコマンドを入力することを可能にする。コマンドの例には、フレームのビデオ・プロジェクター・シーケンスのを開始または停止すること、静止画像、例えば、１つのフレームの投射を開始および停止すること、深度検知モードを開始または停止することが含まれる。１つの手法では、ユーザーは、検知専用モードにおいて、スナップ・ショットと同様に、１フレームの深度データーを取り込む選択肢を有する。ユーザーは、例えば、投射および深度検知モード、投射および非深度検知モード、または深度検知非投射モードを設定することができる。また、ユーザーは、視野内の物体を追跡するときに応答または感度に影響を及ぼす設定値を調節することもできる。異なるユーザーが、投射画像と相互作用するとき、異なる状況において異なるレベルの追跡感度を好む場合がある。また、ユーザーは、プロジェクターの明るさというような設定値を調節することもできる。
【００２１】
[0043]  ビデオ・プロジェクター・デバイス３００のセンサー部分は、センサー・レンズ３６０を含む。視野からの可視光が このセンサー・レンズ３６０を通過して、センサー３５０によって代表される１つ以上のセンサーに到達する。可視光は、ビデオ・プロジェクター・デバイス以外の人工光源、例えば、電球から、そして自然光源、例えば、部屋における日光というような、周囲の背景光だけでなく、投射光の反射も含む可能性がある。このセンサーは、例えば、感光画素を有する１つ以上のＣＣＤを含むことができる。各画素は、電荷を生成し、蓄積または集積された電荷の量を、画素に到達した光強度の指示として読み取ることができる。センサーは、ゲート・モードまたは非ゲート・モードで、センサー制御回路３４０の制御の下で動作することができる。
【００２２】
[0044]  ゲート動作の一実施態様では、制御されたシーケンスで画素が交互に作動および非作動とされる。画素が作動されている時間をゲート期間と呼ぶ。画素が作動させられているとき、光を検知し電荷を蓄積することができる。画素が非作動にされているとき、光が画素に入射していても、光を検知することや電荷を蓄積することはできない。ゲート動作の他の実施態様では、別の変調器（図示せず）を、センサー３５０とレンズ３６０との間に設けることができ、シャッターのように、光を遮断させたりまたは通過させることができる。この変調器またはセンサーは、所望通りに開くまたは閉じることができ、シャッターとして作用することができる。
【００２３】
[0045]  非ゲート動作の一実施態様では、センサー画素が連続時間期間にわたって電荷を蓄積するように、これらが作動させられる。この連続時間期間の後、蓄積された電荷の量が、センサー制御回路３４０によって読み出される。
【００２４】
[0046]  センサー制御回路３４０は、プロセッサー３４２によって代表される１つ以上のプロセッサーと、メモリー・コンポーネント３４８によって代表される１つ以上メモリー・コンポーネントとを含むことができる。プロセッサーは、例えば、マイクロプロセッサーとすることができ、メモリー３４８に格納されている命令を実行して、本明細書において記載するような機能を設ける。メモリー３４８は、プロセッサー３１２によって実行される命令を格納することができ、センサーからの読み取り値や画像データーを格納することができる。例えば、メモリー３４８は、先に論じたように、メモリー３１４と同様に構成することができる。メモリー３４８は、本明細書において記載するようなビデオ・プロジェクター・デバイスにおいて画像データーを処理する方法を実行するように少なくとも１つのプロセッサー３４２をプログラミングするためのコンピュータ読み取り可能ソフトウェアが具体化されている、有形コンピュータ読み取り可能記憶媒体である。
【００２５】
[0047]  プロセッサー３４２は、深度データー処理部分３４４を含むことができる。深度データー処理部分３４４は、センサーからの読み取り値を受け取り、これらをセンサーの画素毎の深度データーに変換する。例えば、画素からの読み取り値は、蓄積された電荷の量を示すことができ、センサーの特性に基づいて、これを光強度と相関付けることができる。更に、プロジェクターがパルス・モードで動作しセンサーがゲート・モードで動作するとき、画素が光を検知するタイミングをプロジェクターからの光のパルスと相関付けることができる。これによって、飛行時間の原理に基づいて、深度値を画素と関連付けることができる。深度値を得るためには、２回の測定、ゲートおよび非ゲートが必要になる。センサーの一部または全部の画素からの１組の深度値から、検知された画像データーのフレームについての深度マップが求められる。この深度マップを、例えば、メモリー３４８に格納することができる。センサー制御回路３４０は、プロジェクター制御回路と通信して、タイミング・データーを得ることができる。深度データー処理部分３４４は、このタイミング・データーを使用して深度値を計算する。任意なこととして、中央制御回路が、プロジェクター制御回路３１０およびセンサー制御回路３４０を管理する。これには、プロジェクター制御回路３１０においてパルス・モードまたは連続モードを設定するためにタイミング・データーを供給すること、およびセンサー制御回路３４０においてゲート・モードまたは非ゲート・モードを設定するためにタイミング・データーを供給することが含まれる。
【００２６】
[0048]  プロセッサー３４２は、カラー・データー処理部分３４６を含むことができる。カラー・データー処理部分３４６は、静止画またはビデオ・カメラ・センサーが動作する方法と同様に、センサーからのカラー画素データーを受け取る。このように、センサーの視野のカラー画像を得て、例えば、メモリー３４８に格納することができる。
【００２７】
[0049]  また、プロセッサー３４２は、ジェスチャー・フィルタの集合体のような、ジェスチャー・ライブラリー３４７も含むことができる。各ジェスチャー・フィルターは、手のジェスチャーも含んで、ユーザーによって行われるかもしれないジェスチャーに関する情報を有する。検出された動きを各フィルターと比較することによって、指定されたジェスチャーまたは動きがユーザーによって行われたことを特定することができる。
【００２８】
[0050]  図４Ａは、ビデオ・プロジェクター・デバイスを使用するプロセスを示す。ステップ４００は、可視光を視野に投射し、その間にセンサーを読み取って深度データーを得ることによって、１フレームの画像データーを供給することを含む。ステップ４０２は、深度データーに基づいて、制御入力をアプリケーションに供給することを含む。判断ステップ４０４では、次のフレームを投射すべきか否か判断する。次のフレームを投射する場合、本プロセスはステップ４００から開始して繰り返す。次のフレームを投射しない場合、本プロセスはステップ４０６において終了する。ステップ４００の実施態様例について、以下で論ずる。
【００２９】
[0051]  図４Ｂは、図４Ａのステップ４００において使用することができるサブフレームを伴うプロセスの例を示す。一般に、光源によって出された光は、センサーのゲート・シーケンス(gating sequence)にしたがって変調することができる。例えば、このセンサーに可能な１つの実施態様は、SONY（登録商標）社のモデルICX424AQ CCDセンサーである。ICX424ALは、正方形の画素アレイを有し、対角線が６ｍｍ（タイプ１／３）インターラインＣＣＤソリッド・ステート画像センサーである。累進走査(progressive scan)によって、全ての画素の信号を独立して約１／６０秒以内に出力することが可能になる。このチップは、電荷格納時間が可変である電子シャッタを有し、機械的シャッターを使用することなく、フル・フレーム静止画像を実現することを可能にする。これは、様々な画素解像度／モードをサポートし、ビデオ・グラフィクス・アレイ（ＶＧＡ）（６０Ｈｚにおいて６４０×４８０）、１／４ＶＧＡ（ＱＶＧＡ）（１２０Ｈｚにおいて３２０×２４０）、および１／４ＱＶＧＡ（ＱＱＶＧＡ）（２４０Ｈｚにおいて１６０×１２０）を含む。図７Ａおよび図７Ｂも参照して、ＱＱＶＧＡモードを使用すると仮定する。ＱＱＶＧＡモードは、３３ｍ秒の投射期間、即ち、全フレーム期間を含み、これが４つのセクションまたはサブフレームに分割される。各サブフレームにおいて、センサーが光に露出され、選択されたサブフレームにおいて光強度値が読み取られる。
【００３０】
[0052]  フル・フレームは、投射しようとする画素データーのフレームによって定めることができる。画素データーが投射される異なるサブフレームでは、パルス・モードまたは連続モードにおいて、フレームの同じ画素データーを使用することができる。しかし、投射画像がその中に黒いセクションを有する場合、パルス光が同じ画像を示すとすると、深度を測定することができない。これは、様々な方法で解決することができ、黒レベルを変更する（何かを投射するように）ことが含まれる。サブフレームとは、組み合わせると１つのフレームの全体出力が得られる画像のことである。例えば、ゲート画像および非ゲート画像はサブフレームである。本願の観念では、フレームは、１回の検知サイクルにおける全てのサブフレームを含む。投射画素データーは、光源変調とは独立している（これとは同期が取られているが）。光源のドライバーは、一般に、投射画素データーにアクセスすることができない。
【００３１】
[0053]  ステップ４１０では、パルス光を使用し、続いて連続光を使用して、ゲート・サブフレームを与える(provide)。このサブフレームでは、パルスはプロジェクターによって送られ、ゲート画像はセンサーによって検知される。例えば、センサーは、送られる各パルスに対応する限られた間隔の間でのみ光を検知することが許されている。プロジェクターは、パルス照明が使用された後、連続照明モードを与える。ゲート・サブフレームは、光強度値を生成することができ、この光強度値は、視野内の１つ以上の物体の深度データーと相関がある。
【００３２】
[0054]  ステップ４１２では、パルス光を使用し、次いで連続光を使用して、非ゲート・サブフレームを与える。このサブフレームでは、ここでもプロジェクターによってパルスが送られるが、非ゲート画像がセンサーによって検知される。通常、非ゲート・モードでは、センサーはゲート・モードと同様に振る舞い、主な相違は、シャッターが開くおよび閉じる時間である。いずれの場合でも、周囲光に対するロバスト性を高めるために、センサーは、送られる各パルスに対応する時間間隔で開く。非ゲート・サブフレームは、視野内の１つ以上の物体の反射率データーを生成することができる。
【００３３】
[0055]  ステップ４１４では、光を使用せず、続いて連続光を使用して、背景サブフレームを与える。このサブフレームでは、最初に、背景光がセンサーによって検知されるように、プロジェクターによって光が送られない。その後、連続光がプロジェクターによって供給される。背景サブフレームは、視野における背景光に関するデーターを生成することができる。背景光は、ビデオ・プロジェクター・デバイスから発したのではなく、人工光源または自然光源からのものとすることができる。
【００３４】
[0056]  ステップ４１６では、連続光を使用して、任意のカラー・サブフレームを与える。このサブフレームでは、センサーは、視野からのカラー・データーを検知し格納することによって、カメラとして動作する。このカラー・データーは、例えば、標準的なＲＧＢ画像とすることができる。カラー・サブフレームでは、光を連続モードで駆動することができ、その間センサーはアクティブである。
【００３５】
[0057]  尚、サブフレームの順序は変化する可能性があることを注記しておく。１つの手法では、ゲート・サブフレームを与え、その次に非ゲート・サブフレームが続き、その次に背景サブフレームが続き、その次にカラー・サブフレームが続く。しかしながら、この順序は必須ではない。更に、異なるサブフレームを異なる発生頻度で与えることもできる。例えば、仮に使用するにしても、ゲート・サブフレームをｎ１≧１フレーム毎に与えることができ、非ゲート・サブフレームをｎ２≧１フレーム毎に与えることができ、背景サブフレームをｎ３≧１フレーム毎に与えることができ、カラー・サブフレームをｎ４≧１フレーム毎に与えることができる。ｎ１、ｎ２、ｎ３、およびｎ４は、正の整数である。例えば、２フレーム毎に深度データーを供給すれば十分であると仮定すると、ｎ１＝ｎ２＝ｎ３＝２、そしてｎ４＝１となる。１つ以上のサブフレームが１つのフレームにおいて与えられない場合、このフレームの残りの部分を延長してフレーム期間を満たすことができる。例えば、カラー・サブフレームのみを含むフレームでは、カラー・サブフレームを最大の３３ｍ秒まで延長する。または、フレーム期間を短縮することもできる。１つの手法では、フレームの時間の残りは、投射されたビデオのコントラストを高めるために、連続投射のために使用することができる。深度検知にとっては、露出時間を延長することは望ましくない。一方、カラーにとっては、光が少ない場面では望ましい場合もある。
【００３６】
[0058]  他の例では、カラー・データーが必要でない場合、２回目の背景検知を行うことができ、この場合、１つのフレームが、背景サブフレーム、ゲート・サブフレーム、非ゲート・サブフレーム、および背景サブフレームをこの順序で含む。
【００３７】
[0059]  図４Ｃは、図４Ａのステップ４００において使用することができるサブフレームを伴うプロセスの他の例を示す。この場合、深度検知のみが行われ、視野における連続投射は行われない。ステップ４２０は、パルス光を使用してゲート・サブフレームを与えることを含む。この後に連続光は供給されない。ステップ４２２は、パルス光を使用して、非ゲート・サブフレームを与えることを含む。この場合も、この後に連続光は供給されない。パルス可視光は、一般に、人間の目には気付かれない。これは、照明期間が非常に短いからである。また、背景画像を撮影することもできる（パルスを使用しない画像）（ステップ４２４）。この場合、発光条件に相違がないので、背景画像およびカラー画像が同じ画像であることができる。また、カラー・サブフレームも与えることができる（ステップ４２６）。これは、背景サブフレームと同じである。連続投射を使用しない深度検知の利点は、電力消費が低減することである。更なる詳細については、図８Ａおよび図８Ｂを参照のこと。
【００３８】
[0060]  図５Ａは、図４Ｂのステップ４１０において記したゲート・サブフレームを与えるプロセスの例を示す。ステップ５００は、ゲート・サブフレームを開始する。ゲート・サブフレームは、パルス光、その後にプロジェクターからの連続光を使用する。ステップ５０２および５０３は、少なくとも部分的に、同時に行うことができる。１つの手法では、光源は連続的に可視光を出す。ステップ５０２において、パルス可視光が視野に出されるようにプロジェクターの光源をパルス・モードで駆動する。図９Ａおよび図１０Ａは、パルス光の波形例を示す。図７Ａにおける時間０〜２ｍ秒も参照のこと。ステップ５０３において、センサーをゲート・モードで動作させ、その間に反射パルスを（および背景光も）検知する。図９Ｂおよび図１０Ｂは、検知した光に対する波形例を示す。図７Ｂにおける時間０〜２ｍ秒も参照のこと。
【００３９】
[0061]  ステップ５０４および５０５は、少なくとも部分的に、同時に行うことができる。ステップ５０４において、連続可視光が視野に出されるように、光源を連続モードで駆動する。図７Ａにおける時間２〜８ｍ秒を参照のこと。ステップ５０５において、センサーを読み取り、光強度値を得る。図７Ｂにおける時間２〜８ｍ秒を参照のこと。この読み出し期間において、追加の光はセンサーによって検知されない。光強度値は、深度値を判定するときに後に使用するために格納することができる。例えば、光強度値に基づいて、光強度値を正規化することもできる。これらは、非ゲート・サブフレームにおいて得られる。この正規化は、背景サブフレームをゲート・サブフレームおよび非ゲート・サブフレーム双方から減算した後に行われる。次いで、正規化した光強度値を使用して、深度値を決定することができる。
【００４０】
[0062]  図５Ｂは、図４Ｂのステップ４１２において記した非ゲート・サブフレームを与えるプロセスの例を示す。ステップ５１０は、パルス光を使用する非ゲート・サブフレームを開始し、続いてプロジェクターから連続光を供給する。ステップ５１２および５１３は、少なくとも部分的に、同時に行うことができる。ステップ５１２において、パルス可視光が視野に出されるように、光源をパルス・モードで駆動する。図９Ａおよび図１０Ａは、パルス光に対する波形例を示す。図７Ａにおける時間８〜１０ｍ秒も参照のこと。ステップ５１３において、センサーを非ゲート・モードで動作させ、その間に反射パルスを（および背景光も）検知する。図９Ｂおよび図１０Ｂは、検知された光に対する歯敬礼を示す。図７Ｂにおける時間８〜１０ｍ秒も参照のこと。
【００４１】
[0063]  ステップ５１４および５１５は、少なくとも部分的に、同時に行うことができる。ステップ５１４において、連続可視光が視野に出されるように、光源を連続モードで駆動する。図７Ａにおける時間１０〜１６ｍ秒を参照のこと。ステップ５１５において、センサーを読み取って、反射率を示す光強度値を得る。図７Ｂにおける時間１０〜１６ｍ秒を参照のこと。ステップ５１６において、ステップ５１５の光強度値に基づいて、図５Ａのステップ５０５において決定された光強度値を調節する、例えば、正規化する。一般に、様々な特性が、センサーの各画素に到達する光の量に影響を及ぼす。これらの特性には、光が進む距離、物体の反射率、光が反射する物体の法線方向が含まれる。この調節は、反射率および法線方向を考慮する。非ゲート・サブフレームの間、パルス毎に、視野に投射されセンサーから反射して戻された全ての光を回収した（get back)後、特定の時点でセンサーへのシャッタを閉じる。対照的に、ゲート画像では、光パルスの全てがセンサーから反射して戻ってくるまで待たない。反射率および／または法線方向のために、比較的大量の光が反射して戻ってくる場合、非ゲート光強度値は比較的高くなる。ステップ５１５の対応する光強度値で除算することによって、ステップ５０５の光強度値を正規化して、深度値を求めることができる。
【００４２】
[0064]  図５Ｃは、図４Ｂのステップ４１４において記した背景サブフレームを与えるプロセスの例を示す。ステップ５２０は、光を使用しない背景サブフレームを開始する。この後に、プロジェクターから連続光を供給する。ステップ５２２および５２３は、少なくとも部分的に、同時に行うことができる。ステップ５２２において、可視光が視野に出されないように、光源を駆動しない。図７Ａにおける時間１６〜１８ｍ秒を参照のこと。ステップ５２３において、センサーをゲート・モードで動作させ、その間に背景光を検知する。また、背景を非ゲート・モードで検知してもよい。ゲート・モードは、アクティブな照明フェーズの間に背景光が受光される方法を「シミュレート」する。図７Ｂにおける時間１６〜１８ｍ秒を参照のこと。
【００４３】
[0065]  ステップ５２５および５２６は、少なくとも部分的に、同時に行うことができる。ステップ５２５において、連続可視光が視野に出されるように、光源を連続モードで駆動する。図７Ａにおける時間１８〜２４ｍ秒を参照のこと。ステップ５２６において、センサーを読み取って、背景光の量を示す光強度値を得る。図７Ｂにおける時間１８〜２４ｍ秒を参照のこと。ステップ５２７において、図５Ａのステップ５０５または図５Ｂのステップ５１６において決定された光強度値を、ステップ５２６の光強度値に基づいて調節する。この調節は、背景光強度値を減算することを伴うことができる。尚、反射率の調節は、背景光の調節の後に行うとよいことを注記しておく。非ゲート画像によるゲート画像の正規化は、深度データーを供給するために使用される。背景画像を使用する正規化は、例えば、プロジェクターを暗闇の中で動作させるときには、省略することができる。ステップ５２８において、調節した光強度値に基づいて深度値を決定する。
【００４４】
[0066]  図５Ｄは、図４Ｂのステップ４１６において記したカラー・サブフレームを与えるプロセスの例を示す。ステップ５３０において、プロジェクターから連続光を使用するカラー・サブフレームを開始する。ステップ５３２および５３３は、少なくとも部分的に、同時に行うことができる。ステップ５３２において、連続可視光が視野に出されるように、プロジェクターの光源を連続モードで駆動する。図７Ａにおける時間２４〜２６ｍ秒を参照のこと。ステップ５３３において、センサーをカラー検知モードで動作させる。これは、標準的なディジタル・カメラ検知モードである。その間に、反射光を（および背景光も）検知する。図７Ｂにおける時間２４〜２６ｍ秒を参照のこと。ステップ５３４において、センサーを読み取って、カラー・データーを示す光強度値を得る。
【００４５】
[0067]  図６Ａは、図４Ｃのステップ４２０において記したゲート・サブフレームを与えるプロセスの例を示す。ステップ６００において、パルス光を使用するゲート・サブフレームを開始する。ステップ６０２および６０３は、少なくとも部分的に、同時に行うことができる。ステップ６０２において、パルス可視光が視野に出されるように、プロジェクターの光源をパルス・モードで駆動する。図９Ａおよび図１０Ａは、パルス光に対する波形例を示す。また、図８Ａにおける時間０〜２ｍ秒も参照のこと。ステップ６０３において、センサーをゲート・モードで駆動し、その間に反射パルスを（および背景光も）検知する。図９Ｂおよび図１０Ｂは、検知した光に対する波形例を示す。また、図８Ｂにおける時間０〜２ｍ秒も参照のこと。
【００４６】
[0068]  ステップ６０５および６０６は、少なくとも部分的に、同時に行うことができる。ステップ６０５において、可視光が出されないように、光源を駆動しない。図８Ａにおける時間２〜８ｍ秒を参照のこと。ステップ６０６において、センサーを読み取って、光強度値を得る。図８Ｂにおける時間２〜８ｍ秒を参照のこと。光強度値は、後に深度値を決定するときに使用するために、格納することができる。例えば、非ゲート・サブフレームにおいて、そして任意なこととして、背景サブフレームにおいて得られた光強度値に基づいて、光強度値を調節することができる。次いで、この調節した光強度値を使用して、深度値を決定することができる。
【００４７】
[0069]  図６Ｂは、図４Ｃのステップ４２２において記した非ゲート・サブフレームを与えるプロセスの例を示す。ステップ６１０において、パルス光を使用する非ゲート・サブフレームを開始する。ステップ６１２および６１３は、少なくとも部分的に、同時に行うことができる。ステップ６１２において、パルス可視光が視野に出されるように、光源をパルス・モードで駆動する。図９Ａおよび図１０Ａは、パルス光に対する波形例を示す。また、図８Ａにおける時間８〜１０ｍ秒も参照のこと。ステップ６１３において、センサーを非ゲート・モードで動作させてその間に反射パルスを（および背景光も）検知する。図９Ｂおよび図１０Ｂは、検知した光に対する波形例を示す。また、図８Ｂにおける時間８〜１０ｍ秒も参照のこと。
【００４８】
[0070]  ステップ６１５および６１６は、少なくとも部分的に、同時に行うことができる。ステップ６１５において、光源を駆動しない。その結果、可視光は出されない。図８Ａにおける時間１０〜１６ｍ秒を参照のこと。ステップ６１６において、センサーを読み取って、反射率を示す光強度値を得る。ステップ６１６において、図８Ｂにおける時間１０〜１６ｍ秒を参照のこと。ステップ６１７において、図６Ａのステップ６０６において決定した光強度値を、ステップ６１６の光強度値に基づいて調節する。ステップ６１８において、この調節した光強度値に基づいて、深度値を決定する。
【００４９】
[0071]  以下で論ずる図７Ａおよび図７Ｂの実施態様例は、３３ｍ秒のフレーム期間を含むＱＱＶＧＡモードについてであり、このフレーム期間を４つのセクションまたはサブフレームに分割する。これは、深度検知、カラー検知、および投射を含むフレームの例である。多くの他の実施態様も可能である。更に、前述のように、異なるサブフレームを異なるフレームにおいて使用することもできる。例えば、一部のサブフレームは、フレーム毎よりも少ない頻度で使用することができ、一方他のサブフレームはフレーム毎に用いることもできる。
【００５０】
[0072]  図７Ａは、図４Ｂのプロセスに対応するプロジェクターの出力を示す。３３ｍ秒としたフレーム期間の例では、４つのサブフレームが設けられる。ゲート・サブフレームは、０〜８ｍ秒にわたる。０〜２ｍ秒では、プロジェクターがパルス可視光を出力する。２〜８ｍ秒では、プロジェクターは、振幅１２を有する連続可視光を出力する。非ゲート・サブフレームは、８〜１６ｍ秒にわたる。８〜１０ｍ秒では、プロジェクターはパルス可視光を出力する。１０〜１６ｍ秒では、プロジェクターは連続可視光を出力する。１０〜１６ｍ秒では、プロジェクターは連続可視光を出力する。背景サブフレームは、１６〜２４ｍ秒にわたる。１６〜１８ｍ秒では、プロジェクターは可視光を出力しない。１８〜２４ｍ秒では、プロジェクターは連続可視光を出力する。カラー・サブフレームは、２４〜３３ｍ秒にわたる。２４〜２６ｍ秒では、プロジェクターは連続可視光を出力する。２６〜３３ｍ秒では、プロジェクターは連続可視光を出力し続ける。
【００５１】
[0073]  線７００は、非深度検知フレームにおいて、プロジェクターが連続出力を供給し、検知が行われないフレームの光強度Ｉ１を表す。１つの手法では、Ｉ１＜Ｉ２となるように、低い強度または電力出力が使用される。深度検知フレームの間、非深度検知フレームと比較して高い光出力を供給することは、パルス駆動(pulsing)を使用する期間または光出力を使用しない期間を補償することによって、投射される画像のカラー・コントラストを改善するのに有用とすることができる。加えてまたは代わりに使用することができる他の選択肢には、深度検知フレームと比較して、非深度検知フレームには長いフレーム期間（図７Ｃにおいてフレーム期間ＦＰによって示されている）を与えることがあげられる。例えば、ＦＰ＞３３ｍ秒であり、３３ｍ秒は深度検知フレームのフレーム期間である。いずれの手法でも、時間単位当たりプロジェクターによって出力される光の量を増大させる。光強度および／またはフレーム期間を選択的に調節することによって、電力消費および投射画質を最適化する。更なる詳細については、図７Ｄおよび図７Ｅを参照のこと。
【００５２】
[0074]  図７Ｂは、図７Ａのプロジェクター出力に基づくセンサーへの入力を示す。各サブフレームは、集積またはアクティブ検知期間を含み、この期間において、検知された光の量に比例する電荷が、センサーにおける各画素によって生成される。この期間に後に読み出し期間またはオーバーヘッド期間が続き、この期間において、蓄積された電荷の量が全ての画素から読み出される。読み出しの間、アキュミュレーターと呼ばれる画素の部分を読み出すことができ、続く検知のために、アキュミュレーターをリセットする(zeroed out)ことができる。ゲート・サブフレームにおいて、０〜２ｍ秒では、プロジェクターをパルス動作させている間にセンサーが電荷を集積または蓄積し、２〜８ｍ秒では、蓄積された電荷が読み出される。非ゲート・サブフレームでは、８〜１０ｍ秒において、プロジェクターをパルス動作させ、その間にセンサーが電荷を集積し、１０〜１６ｍ秒において、蓄積された電荷が読み出される。背景サブフレームでは、１６〜１８ｍ秒において、プロジェクターが光を出力せず、その間にセンサーが電荷を集積し、１８〜２４ｍ秒において、蓄積された電荷が読み出される。カラー・サブフレームでは、２４〜２６ｍ秒において、プロジェクター出力が連続であり、その間にセンサーが電荷を集積し、２６〜３３ｍ秒において、蓄積された電荷が読み出される。
【００５３】
[0075]  図７Ｄは、フレーム・シーケンスの一例を示す。このフレーム・シーケンスは、交互に、ステップ７２０および７２４におけるような低い光強度Ｉ１を使用する非深度検知フレームと、ステップ７２２および７２６におけるような高い光強度Ｉ２を使用する深度検知フレームとを与える。ここでは、少なくとも１つの制御回路が、異なる時点において、（ａ）少なくとも１つの制御回路が、飛行時間の原理を使用して、センサーから読み出した光強度値に基づいて、視野内の少なくとも1つの物体に関する深度値を得る、深度検知フレーム（ステップ７２２および７２６）と、（ｂ）少なくとも１つの制御回路が視野内の少なくとも１つの物体に関する深度データーを得ない、非深度検知フレーム（ステップ７２０および７２４）とを与える。更に、少なくとも１つの制御回路が、深度検知フレームにおいて、非深度検知フレームの間のよりも高い照明電力で、光源に可視光を出させる。
【００５４】
[0076]  他の選択肢では、異なる深度検知モードを伴う。一般に、少なくとも１つの制御回路が限られた数の１つ以上のフレームを使用して、視野内の少なくとも１つの物体に関する深度データーを得る第１モードと、少なくとも１つの制御回路が視野内の少なくとも１つの物体に関する深度データーを連続的に得る第２モードとにおいて選択的に動作するように、この少なくとも１つの制御回路は制御可能である。例えば、第１モードにおいて深度データーを得るための限られた数の１つ以上のフレームは、１つのフレーム、または、例えば、１秒までの期間における少数のフレームとすることができる。これは、ユーザー・コマンドに基づいて、静止物体のような、視野内の物体について深度データーを得るスナップ・ショット深度検知モードを設けるために使用することができる。例えば、深度データーは、対象物体について得ることができる。第２モードでは、動く物体のような、対象物体について、深度データーが連続的に得られる。前述のように、プロジェクター・モードは、深度データーを得るときには、使用する必要はない。
【００５５】
[0077]  図７Ｅは、ステップ７３０および７３４におけるように、短いフレーム期間／持続期間(duration)を使用する非深度検知フレームと、ステップ７３２および７３６におけるような、長いフレーム期間を使用する深度検知フレームとを交互に与えるフレーム・シーケンス例を示す。
【００５６】
[0078]  以下で論ずる図８Ａおよび図８Ｂの実施態様例は、３３ｍ秒のフレーム期間を含むＱＱＶＧＡモードについてであり、このフレーム期間が２つのサブフレームに分割され、検知のみが行われる。これは、深度検知フレームおよび非投射フレームの例である。
【００５７】
[0079]  図８Ａは、図４Ｃのプロセスに対応するプロジェクターの出力を示す。ゲート・サブフレームは、０〜８ｍ秒にわたる。０〜２ｍ秒において、プロジェクターはパルス可視光を出力する。２〜８ｍ秒において、プロジェクターは可視光を出力しない。非ゲート・サブフレームは、８〜１６ｍ秒にわたる。８〜１０ｍ秒において、プロジェクターはパルス可視光を出力する。１０〜１６ｍ秒において、プロジェクターは可視光を出力しない。同様に、このフレームの残りにおいて、１６〜３３ｍ秒でも、プロジェクターは可視光を出力しない。このモードでは、背景画像が、１６〜３３ｍ秒において、カラー画像から得られる。何故なら、これらは本質的に同一であるからである。
【００５８】
[0080]  図８Ｂは、図８Ａのプロジェクター出力に基づくセンサーへの入力を示す。ゲート・サブフレームでは、０〜２ｍ秒において、プロジェクターがパルス動作し、その間にセンサーが電荷を集積し、２〜８ｍ秒において、蓄積された電荷が読み出される。非ゲート・サブフレームでは、８〜１０ｍ秒において、プロジェクターがパルス動作し、その間にセンサーが電荷を集積し、１０〜１６ｍ秒において、蓄積された電荷が読み出される。フレームの残りの部分では、１６〜３３ｍ秒において、本質的に同じである背景サブフレームおよびカラー・フレームを検知することができる。前述のように、このモードは、ビデオ・プロジェクター・デバイスが検知専用モードで動作することを可能とし、投射が行われないので、電力消費が低減する。ゲート・サブフレームおよび非ゲート・サブフレームの間以外のときには、可視光は出されない。例えば、電力消費を低減するために、電源をオフにすることができる。
【００５９】
[0081]  図９Ａは、方形波形を使用するプロジェクターからの出力であるパルス光を示す。飛行時間の原理によって、視野内の物体上のポイントの深度を、光がプロジェクターからポイントまで移動し反射してセンサーに戻ってくるまでの経過時間に基づいて、判定することが可能になる。更に、ゲート期間におけるセンサーの光表面(photosurface)上にある画素によって登録された光の量が、この画素上で撮像された場面の表面エレメントまでの距離を判定するために使用される。パルス・レートの一例は４４Mhzである。時間を表すｘ軸に沿って、Δｔ１は、パルス例９００および９２０のパルス持続期間を表し、Δｔ２は、各パルスの開始間の期間を表す。投射光強度を表すｙ軸に沿って、この実施態様では、各パルスが立ち上がり、本質的に方形波形状を有する。１つの手法では、各パルスは、本質的に０の強度レベルから最大レベルまで立ち上がる。他の手法では、各パルスは、ゼロ以外の強度レベルから最大レベルまで立ち上がる。他の手法では、投射強度は、別個の光パルスを供給する代わりに、正弦波のような連続波変調に従う。この場合、特定の光パルスの総移動時間(trip time)を直接測定する代わりに、送られた信号と受け取られた信号との間における位相差を測定する。変調周波数が分かっているので、この測定された位相は直接飛行時間に対応する。パルス光源は、この光源をしかるべく駆動することによって得ることができる。
【００６０】
[0082]  図９Ｂは、図９Ａのプロジェクター出力に基づいたセンサーへの入力であるパルス光を示す。図９Ｂのｘ軸は、図９Ａのｘ軸と時間が整列されている。センサーがゲート・モードにあるとき、ゲート期間Δｔ３が定められ、この期間において検知を行うことができる。検知された光は、パルス９１０および９３０によって表される。通例、Δｔ３＞Δｔ１であるので、各ゲート期間の前および後に、それぞれ、時間マージンΔ４ｔｆおよびΔ４４ｂが設けられている。パルス９００および９１０によって表される飛行時間（ＴＯＦ）が示されている。検知されたパルス９１０および９３０は、それぞれ、投射パルス９００および９２０に対応する。検知された光の周囲レベルまたはフロア・レベルが、検知の間にわたって存在するものとして示されている。
【００６１】
[0083]  図１０Ａは、三角波形を使用するプロジェクターから出力されたパルス光を示す。三角波形は、（ａ）変調器のステップ・アップ・レート(step up rate)よりも低いレートで高い方に遷移する先端エッジ、および（ｂ）変調器のステップ・ダウン・レートよりも低いレートで低い方に遷移する後端エッジの内少なくとも１つを有するパルスであると考えることができる。即ち、先端エッジは、即座の立ち上がり(immediate step up) である、可能な限り最も高いレートよりも低いレートで高い方に遷移するように制御され、および／または後端エッジは、即座の立ち下がりである、可能な限り最も高いレートよりも低いレートで低い方に遷移するように制御される。このような波形は、対称的または非対称的な先端および後端エッジを有することができる。１つの選択肢では、波形は最大振幅に達し、そのレベルである時間残留するので、波形例１０００および１０１０のように、台形形状を有する。波形１０００は、先端エッジ１００２、最大振幅１００４、および後端エッジ１００６を含む。他の選択肢では、波形は、鋭角の頂角を有する三角形である。
【００６２】
[0084]  図１０Ｂは、図１０Ａの投射出力に基づいた、センサーへの入力であるパルス光を示す。検知波形１０２０および１０３０は、それぞれ、投射波形パルス１０００および１０１０に対応する。
【００６３】
[0085]  本明細書における技術についての以上の詳細な説明は、例示および説明の目的に限って提示されたのである。これは、網羅的であることも、開示した形態そのものに本技術を限定することも意図していない。以上の教示を考慮すれば、多くの変更および変形が可能である。以上で説明した実施形態は、本技術の原理およびその実用的用途を最良に説明することによって、当業者が本技術を種々の実施形態において最良に利用すること、および考えられる個々の使用に適した種々の変更と共に最良に利用することを可能にするように選択されたのである。本技術の範囲は、添付した特許請求の範囲によって定められることを意図している。
【図１】
0005894600.tif 000002
【図２】
0005894600.tif 000003
【図３】
0005894600.tif 000004
【図４】
0005894600.tif 000005
【図５Ａ】
0005894600.tif 000006
【図５Ｂ】
0005894600.tif 000007
【図５Ｃ】
0005894600.tif 000008
【図５Ｄ】
0005894600.tif 000009
【図６】
0005894600.tif 000010
【図７Ａ】
0005894600.tif 000011
【図７Ｂ】
0005894600.tif 000012
【図７Ｃ】
0005894600.tif 000013
【図７Ｄ】
0005894600.tif 000014
【図７Ｅ】
0005894600.tif 000015
【図８】
0005894600.tif 000016
【図９】
0005894600.tif 000017
【図１０】
0005894600.tif 000018