(57)【要約】【課題】二次元画像を含む環境内にある特定の基準点から物体までの距離に関する深度情報を含む深度マップにおいて、そのダナミック・レンジを拡張する。【解決手段】異なる光強度レベルにおいて取り込まれた複数の画像および／または異なるセンサー積分時間にわたって取り込まれた複数の画像の合成画像から深度情報を導き出すことによって、深度マップのダイナミック・レンジを拡張する。第１光強度の光で環境を照明しながら、この環境の初期画像を取り込む。続いて、この環境に１つ以上の異なる光強度の光で照明しながら、１つ以上の後続画像を取り込む。１つ以上の異なる光強度は、以前に取り込んだ画像に関連付けられた画素飽和度に基づいて動的に設定する。高ダイナミック・レンジ撮像技法を適用することによって、初期画像および１つ以上の後続画像を合成して、合成画像を得る。【選択図】図７Ａ
2014533347.tif 000002
【特許請求の範囲】
【請求項１】
深度マップの範囲を拡張する方法であって、
第１光強度レベルを用いて第１環境内に光パターンを投射するステップと、
第１センサー積分時間にわたって前記第１環境の第１画像を取り込むステップであって、前記第１画像が前記第１光強度レベルと関連付けられる、ステップと、
前記第１画像と関連付けられた画素飽和度を判定するステップと、
前記画素飽和度に基づいて前記第１光強度レベルとは異なる第２光強度レベルを設定するステップと、
前記第２光強度レベルを用いて、前記光パターンを前記第１環境内に投射するステップと、
前記第１環境の第２画像を取り込むステップであって、前記第２画像が、前記第２光強度レベルと関連付けられる、ステップと、
前記第１画像および第２画像を合成して、組み合わせ画像を得るステップと、
を含む、方法。
【請求項２】
請求項１記載の方法において、
前記画素飽和度が、前記第１画像と関連付けられた画素の内飽和したものの割合を含み、
第２光強度レベルを設定する前記ステップが、前記第１画像と関連付けられた画素の内飽和したものの割合が所定の割合よりも高い場合、前記第２光強度レベルを、前記第１光強度レベルよりも低い強度レベルに設定するステップを含む、方法。
【請求項３】
請求項１記載の方法において、
第２光強度レベルを設定する前記ステップが、前記画素飽和度が閾値よりも高くない場合、前記第２光強度レベルを前記第１光強度レベルよりも高い強度レベルに設定するステップを含む、方法。
【請求項４】
請求項１から３までのいずれかに記載の方法において、
第１画像および第２画像を合成して組み合わせ画像を得る前記ステップが、前記第１画像における飽和画素位置に対応する前記組み合わせ画像における画素位置に、前記第２画像に関連付けられた倍率調整画素値を割り当てるステップを含む、方法。
【請求項５】
請求項１から３までのいずれかに記載の方法において、
第１画像および第２画像を合成して組み合わせ画像を得る前記ステップが、高ダイナミック・レンジ撮像技法を前記第１画像および第２画像に適用するステップを含む、方法。
【請求項６】
請求項１記載の方法において、
光パターンを第１環境に投射する前記ステップが、レーザーを用いて前記光パターンを投射するステップを含み、
光パターンを第１環境に投射する前記ステップが、第１時間期間の間に行われ、前記第１センサー積分時間が前記第１時間期間の後に続き、
前記光強度レベルが、前記レーザーからの特定の距離に関連付けられる、方法。
【請求項７】
深度マップ範囲を拡張する電子デバイスであって、
照明源であって、第１光強度レベルを用いて光パターンを第１環境内に投射する、照明源と、
センサーであって、当該センサーが第１センサー積分時間にわたって前記第１環境の第１画像を取り込み、前記第１画像が前記第１光強度レベルと関連付けられる、センサーと、
１つ以上のプロセッサーであって、当該１つ以上のプロセッサーが、前記第1画像と関連付けられた画素飽和度を判定し、前記１つ以上のプロセッサーが、前記飽和度に基づいて第２光強度レベルを決定し、前記照明源が前記第２光強度レベルを用いて前記光パターンを前記第１環境内に投射し、前記センサーが前記第１環境の第２画像を取り込み、前記第２画像が前記第２光強度レベルと関連付けられ、前記第２光強度レベルが前記第１光強度レベルとは異なり、前記１つ以上のプロセッサーが、前記第１画像および第２画像から組み合わせ画像を生成する、１つ以上のプロセッサーと、
を含む、電子デバイス。
【請求項８】
請求項７記載の電子デバイスにおいて、
前記画素飽和度が、前記第１画像と関連付けられた画素の内飽和したものの割合を含み、
前記１つ以上のプロセッサーが、前記第１画像と関連付けられた画素の内飽和したものの割合が特定の割合よりも高い場合、前記第２光強度レベルを、前記第１光強度レベルよりも低い強度レベルに設定する、電子デバイス。
【請求項９】
請求項７記載の電子デバイスにおいて、
前記１つ以上のプロセッサーが、前記画素飽和度が閾値よりも高くない場合、前記第２光強度レベルを前記第１光強度レベルよりも高い強度レベルに設定する、電子デバイス。
【請求項１０】
請求項７から９までのいずれかに記載の電子デバイスにおいて、
前記１つ以上のプロセッサーが、高ダイナミック・レンジ撮像技法を前記第1画像および第２画像に適用することによって、前記組み合わせ画像を生成する、電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像の合成画像から深度情報を導き出すことによって、深度マップのダイナミック・レンジを拡張する方法に関する。
【背景技術】
【０００２】
深度マップは、通例、ある環境の二次元画像を含み、この環境内にある物体までの、特定の基準点からの距離に関する深度情報を含む。特定の基準点は、画像キャプチャー・デバイスと関連付けることができる。二次元画像における各画素は、特定の基準点からの直線距離を表す深度値と関連付けることができる。深度マップを生成するためには、構造化光照明および飛行時間技法というような、種々の技法を使用することができる。
【０００３】
構造化光照明は、光パターンを環境内に投射し、反射光パターンの画像を取り込み、次いで投射光パターンに対する反射光パターンと関連付けられた間隔および／または歪みから距離情報を判定することを伴う。光パターンは、裸眼には見えない光（例えば、ＩＲまたはＵＶ光）を用いて投射することができ、１つのドット、１本の線、または種々の寸法のパターン（例えば、水平線および垂直線、または市松模様）を構成することができる。場合によっては、高い精度の深度情報を生成するために、様々な異なる光パターンが必要になることもある。
【０００４】
飛行時間技法は、光源から出射された光が物体まで進行し、そして反射して画像センサーに戻って来るのに要する時間を計ることによって、環境内において、これらの物体までの距離を判定することができる。場合によっては、短い光パルス（または一連の光パルス）を第１時点において環境内に投射し、この短い光パルスと関連付けられた反射を、第１時点に続く第２時点において取り込むことができる。飛行時間システムは、第１時点と第２時点との間における時間差を調節して、この時間差に関連付けられた特定の距離（またはある距離の範囲）において物体を検出することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の課題は、深度マップに関連付けられた二次元画像を含む環境（例えば、プレー空間）内にある特定の基準点から物体までの距離に関する深度情報を含む深度マップにおいて、あらゆる有意な深度情報を区別するのを可能にするために、深度マップのナミック・レンジを拡張することである。
【課題を解決するための手段】
【０００６】
異なる光強度レベルにおいて取り込まれた複数の画像および／または異なる精査積分時間にわたって取り込まれた複数の画像の合成画像から深度情報を導き出すことによって、深度マップのダイナミック・レンジを拡張する技術について記載する。実施形態では、第１光強度の光で環境を照明しながら、この環境の初期画像を取り込む。続いて、この環境に１つ以上の異なる光強度の光で照明しながら、１つ以上の後続画像を取り込む。１つ以上の異なる光強度は、以前に取り込んだ画像に関連付けられた画素飽和度に基づいて動的に設定する(configure)ことができる。高ダイナミック・レンジ撮像技法を適用することによって、初期画像および１つ以上の後続画像を合成して、合成画像を得ることができる。
【０００７】
一実施形態は、第１光強度レベルを用いて光パターンを第１環境に投射し、第１センサー積分時間にわたって第１環境の第１画像を取り込むステップと、第１画像に関連付けられた画素飽和度を判定するステップと、この画素飽和度に基づいて第２光強度レベルを設定するステップとを含む。この方法は、更に、第２光強度レベルを用いて光パターンを第１環境に投射し、第１環境の第２画像を取り込み、第１画像および第２画像を合成して組み合わせ画像を得て、この組み合わせ画像に基づいて深度マップを出力するステップも含む。
【０００８】
この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断するときに補助として用いられることを意図するのでもない。
【図面の簡単な説明】
【０００９】
【図１】図１は、目標検出および追跡システムの一実施形態を、ボクシング・ゲームをプレーするユーザーと共に示す。
【図２】図２は、目標検出および追跡システムの一実施形態、およびキャプチャー・デバイスの視野内の環境を示す。
【図３】図３は、キャプチャー・デバイスおよび計算環境を含む計算システムの一実施形態を示す。
【図４Ａ】図４Ａは、時間の経過と共に環境内に投射される一連の光パルスの一実施形態を示す。
【図４Ｂ】図４Ｂは、図４Ａに図示した時間期間と同じ時間期間にわたる一連のセンサー積分時間の一実施形態を示す。
【図５Ａ】図５Ａは、環境に投射される第１光強度の光パルスの一実施形態を示す。
【図５Ｂ】図５Ｂは、図５Ａに図示した時間期間と同じ時間期間にわたる一連のセンサー積分時間の一実施形態を示す。
【図６Ａ】図６Ａは、環境に投射される第１光強度の光パルスの一実施形態を示す。
【図６Ｂ】図６Ｂは、センサー積分時間の一実施形態を示す。
【図６Ｃ】図６Ｃは、時間の経過と共に環境内に投射される一連の光パルスの一実施形態を示す。
【図６Ｄ】図６Ｄは、図６Ｃに図示した時間期間と同じ時間期間にわたる一連のセンサー積分時間の一実施形態を示す。
【図６Ｅ】図６Ｅは、特定の距離を仮定したときに、初期光強度を判定する機能の一実施形態を示す。
【図７Ａ】図７Ａは、深度マップのダイナミック・レンジを拡張するプロセスの一実施形態を説明するフローチャートである。
【図７Ｂ】図７Ｂは、複数の画像から深度情報を生成するプロセスの一実施形態を説明するフローチャートである。
【図７Ｃ】図７Ｃは、光強度レベルおよびセンサー積分時間を更新するプロセスの一実施形態を説明するフローチャートである。
【図８】図８は、ゲーミングおよびメディア・システムの一実施形態のブロック図である。
【図９】図９は、移動体デバイスの一実施形態のブロック図である。
【図１０】図１０は、計算システム環境の一実施形態のブロック図である。
【発明を実施するための最良の形態】
【００１０】
異なる光強度レベルにおいてとりこまれた複数の画像および／または異なるセンサー積分時間にわたって取り込まれた複数の画像の合成画像から深度情報を導き出すことによって、深度マップのダイナミック・レンジを拡張する技術について記載する。実施形態では、第１光強度の光で環境を照明しながら、この環境の初期画像を取り込む。続いて、１つ以上の異なる光強度の光でこの環境を照明しながら、１つ以上の後続画像を取り込む。１つ以上の異なる光強度は、以前に取り込んだ画像に関連付けられた画素飽和度に基づいて動的に設定する(configure)ことができる。高ダイナミック・レンジ撮像技法を適用することによって、初期画像および１つ以上の後続画像を合成して、合成画像を得ることができる。
【００１１】
深度マップは、深度検出システムを用いて生成することができる。深度検出システムは、特定の光パターンを投射する光源と、この特定の光パターンの反射に関連付けられた１つ以上の画像を取り込む光センサー・デバイスとを含む。深度マップの精度およびダイナミック・レンジは、この深度マップに関連付けられた環境（例えば、プレー空間）が、深度マップが生成される光センサー・デバイス（例えば、カメラ・システムまたは画像センサー）に近い物体および遠い物体の双方を含むときに、低下する虞がある。光センサー・デバイスが遠く離れた物体を見るためには、光センサー・デバイスが遠く離れた物体からの反射光を検出することができるように、遠く離れた物体を「照らし出す」ために、光強度を高くする（例えば、光レーザー・パワーを上げることによって）ことが必要となろう。しかしながら、深度検出システムが使用する光強度を高くすると、光センサー・デバイスに近接する物体が飽和する、即ち、白くぼやける原因となり、つまりあらゆる有意な深度情報を区別することが難しくなる虞がある。したがって、遠く離れた物体を照明するために投射光強度を設定すると、物体が光センサーに近接する程、この物体の画像が飽和される虞がある。地点によっては、画素飽和のために、深度差が区別できなくなる可能性がある。
【００１２】
更に、反射性表面、半透明な表面、または透明な表面を有する物体も、深度検出システムにとって難点を引き起こす虞がある。例えば、物体の表面がとても反射する場合、光が反射して光センサー・デバイスから遠ざかることや、または光が光センサー・デバイスに向かって直接集中することもあり得る。物体の表面が非常に透明である場合、十分な光が反射されず光センサー・デバイスに向かって戻ってこないことがあり得る。したがって、光センサー・デバイスから物体までの距離が異なることに加えて、物体の表面プロパティも、光センサー・デバイスによって取り込まれる反射光に大きな差を生ずる原因となり得る。
【００１３】
本文書に限って言うと、「光」という用語は、可視光、赤外線光、および紫外線光を含む、あらゆる種類の放射光線を指すことができる。
図１は、目標検出および追跡システム１０の一実施形態を、ボクシング・ゲームをプレーするユーザー１８と共に示す。目標検出および追跡システム１０は、ユーザー１８のような人間目標物および／またはユーザー１８によって保持されるプロップ（図示せず）のような人間以外の目標物を検出、認識、分析、および／または追跡するために使用することができる。目標検出および追跡システム１０は、ユーザー１８が存在する場所空間環境(place space environment)の深度マップを生成する深度検出システムを含むことができる。
【００１４】
図１に示すように、目標検出および追跡システム１０は計算環境１２を含むことができる。計算環境１２は、コンピューター、ゲーミング・システムまたはコンソール等を含むことができる。一実施形態では、計算環境（計算システム）１２は、オペレーティング・システムおよびゲーミング・アプリケーション、ゲーミング以外のアプリケーション等のようなアプリケーションを実行するために計算環境１２を使用することができるように、ハードウェア・コンポーネントおよび／またはソフトウェア・コンポーネントを含むとよい。一実施形態では、計算システム１２は、標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等というような、本明細書において説明するプロセスを実行するために、プロセッサー読み取り可能記憶デバイスに格納される命令を実行することができるプロセッサーを含むことができる。
【００１５】
目標検出および追跡システム１０は、更に、キャプチャー・デバイス２０も含むことができる。一実施形態では、キャプチャー・デバイス２０は、ユーザー１８のような１人以上のユーザーを含む１つ以上の目標物を視覚的に監視するために使用することができるカメラを含むことができる。１人以上のユーザーによって行われるジェスチャー（姿勢を含む）を取り込み、分析し、追跡して、オペレーティング・システムまたはアプリケーションのユーザー・インターフェースに対する１つ以上の制御または行為(action)を実行することができる。実施形態の中には、キャプチャー・デバイス２０が深度検知カメラを含むとよい場合もある。
【００１６】
ユーザーは、彼または彼女の身体を動かすことによって、ジェスチャーを行うことができる。ジェスチャーは、ユーザーによる動きまたは姿勢を含むことができ、これを画像データーとして取り込み、解析して意味を求めることができる。ジェスチャーは、動的であってもよく、ボールを投げる動作を真似るというような、動きを含むことができる。ジェスチャーは、腕を組んだままにしておくというような静止姿勢であってもよい。また、ジェスチャーは、刀(mock sword)を振るというように、プロップを組み込むこともできる。
【００１７】
キャプチャー・デバイス２０は、１人以上のユーザーおよび／または物体に関する画像およびオーディオ・データーを取り込むことができる。例えば、キャプチャー・デバイス２０は、１人以上のユーザーの部分的または全体的な身体の動き、ジェスチャー、および音声に関する情報を取り込むために使用することができる。キャプチャー・デバイス２０によって取り込まれた情報は、計算環境１２および／またはキャプチャー・デバイス２０内部にある処理エレメントによって受け取られ、ゲーミング・アプリケーションまたは他のアプリケーションの態様(aspects)をレンダリングするために、相互作用するために、および制御するために用いることができる。一例では、キャプチャー・デバイス２０は、特定のユーザーに関する画像およびオーディオ・データーを取り込み、計算環境１２は、顔および音声認識ソフトウェアを実行することによって、取り込まれたデーターを処理して特定のユーザーを識別する。
【００１８】
実施形態の中には、目標検出および追跡システム１０が、環境における物体を検出および／または追跡するための深度マップを生成し利用するとよい場合がある。この深度マップは、環境の画像またはフレームを含むことができ、この環境に関連付けられた深度情報を含む。一例では、深度画像は、複数の被観察画素を含むことができ、各被観察画素は、関連する深度値を有する。例えば、各画素は、キャプチャー・デバイスの視野からの、環境における物体までの長さまたは距離というような深度値を含むことができる。
【００１９】
目標検出および追跡システム１０は、ゲームまたはアプリケーションの映像および／または音声をユーザー１８のようなユーザーに供給するために、テレビジョン、モニター、または高品位テレビジョン（ＨＤＴＶ)というようなオーディオ・ビジュアル・デバイス１６に接続されてもよい。例えば、計算環境１２は、グラフィクス・カードのようなビデオ・アダプター、および／またはサウンド・カードのようなオーディオ・アダプターを含むこともでき、ゲーム・アプリケーション、ゲーム以外のアプリケーション等に関連付けられたオーディオ・ビジュアル信号を供給することができる。オーディオ・ビジュアル・デバイス１６は、このオーディオ・ビジュアル信号を計算環境１２から受け取り、このオーディオ・ビジュアル信号に関連付けられる、ゲームまたはアプリケーションの映像および／または音声をユーザー１８に出力することができる。オーディオ・ビジュアル・デバイス１６は、例えば、Ｓ−Ｖｉｄｅｏケーブル、同軸ケーブル、ＨＤＭＩ（登録商標）ケーブル、ＤＶＩケーブル、ＶＧＡケーブル等を通じて、計算環境１２に接続することができる。
【００２０】
図１に示すように、計算環境において実行するアプリケーションは、ユーザー１８がプレーしているボクシング・ゲームであってもよい。計算環境１２は、オーディオ・ビジュアル・デバイス１６を用いて、ボクシングの対戦相手２２の視覚表現をユーザー１８に供給することができる。計算環境１２は、オーディオ・ビジュアル・デバイス１６を用いて、プレーヤー・アバター２４の視覚的表現を供給することができ、ユーザー１８は、彼または彼女の動きによって、プレーヤー・アバター２４を制御することができる。例えば、ユーザー１８は、物理空間においてパンチを放つと、プレーヤー・アバター２４にゲーム空間においてパンチを放たせることができる。一実施形態では、計算環境１２ならびに目標検出および追跡システム１０のキャプチャー・デバイス２０は、パンチがゲーム空間におけるプレーヤー・アバター２４のゲーム制御手段として解釈できるように、物理空間におけるユーザー１８のパンチを認識し分析するために使用することができる。
【００２１】
一実施形態では、ユーザーの動きを、プレーヤー・アバター２４を制御する以外の行為に対応することができる制御として解釈することができる。例えば、ユーザー１８は、ゲームを終了する、ゲームを一時停止する、ゲームを保存する、レベルを選択する、高スコアを見る、または友人と通信するために特定の動きを用いることができる。他の実施形態では、目標検出および追跡システム１０は、目標物の動きを、ゲームの範囲外になるオペレーティング・システムおよび／またはアプリケーション制御として解釈する。例えば、オペレーティング・システムおよび／またはアプリケーションの事実上あらゆる制御可能な態様を、ユーザー１８のような目標物の動きによって制御することができる。他の実施形態では、ユーザー１８は、主要ユーザー・インターフェースからゲームまたは他のアプリケーションを選択するために動きを用いることもできる。ユーザー１８の全範囲の運動(motion)が利用可能であり、アプリケーションまたはオペレーティング・システムと相互作用するために、任意の適したやり方で使用および分析することができる。
【００２２】
目標検出および追跡システム１０およびそのコンポーネントの適した例が、以下の同時係属中の特許出願において見出される。これらの全ては、ここに引用することにより、その内容全体が本願にも含まれるものとする。２００９年５月２９日に出願され"Environment and/or Target Segmentation"（環境および／または目標物のセグメント化）と題する米国特許出願第１２／４７５，０９４号、２００９年７月２９日に出願され"Auto Generating a Visual Representation"（視覚表現の自動生成）と題する米国特許出願第１２／５１１，８５０号、２００９年５月２９日に出願され"Gesture Tool"（ジェスチャー・ツール）と題する米国特許出願第１２／４７４，６５５号、２００９年１０月２１日に出願され"Pose Tracking Pipeline"（姿勢追跡パイプライン）と題する米国特許出願第１２／６０３，４３７号、２００９年５月２９日に出願され"Device for Identifying and Tracking Multiple Humans Over Time"（経時的に多数の人間を識別し追跡するデバイス）と題する米国特許出願第１２／４７５，３０８号、２００９年１０月７日に出願され"Human Tracking System"（人間追跡システム）と題する米国特許出願第１２／５７５，３８８号、２００９年４月１３日に出願され"Gesture Recognizer System Architecture"（ジェスチャー認識システム・アーキテクチャー）と題する米国特許出願第１２／４２２，６６１号、２００９年２月２３日に出願され"Standard Gestures"（標準的ジェスチャー）と題する米国特許出願第１２／３９１，１５０号、および２００９年５月２９日に出願され"Gesture Tool"（ジェスチャー・ツール）と題する米国特許出願第１２／４７４，６５５号。
【００２３】
図２は、目標検出および追跡システム１０の一実施形態、およびキャプチャー・デバイス２０の視野内における環境３００を示す。環境３００は、人間オブジェクト（ユーザー１８）および非人間オブジェクト（椅子１９）を含む。図示のように、ユーザー１８は、椅子１９よりもキャプチャー・デバイス２０にはるかに近接する。一実施形態では、目標検出および追跡システム１０は、この環境の２つ以上の異なる画像を併合または合成することによって、環境３００の深度マップを生成する。２つ以上の異なる画像の各々は、異なる光強度レベルに関連付けられた光パターンで環境３００を照明するときに取り込むとよい。この環境の２つ以上の異なる画像を合成して合成画像を得ることによって、近い物体および遠い物体の双方に関連付けられた情報を保存することができる。例えば、合成画像のダイナミック・レンジが広い(higher)程、この合成画像から深度情報を生成することによって、キャプチャー・デバイス２０からユーザー１８および椅子１９までの距離を一層精度高く判定することに備える(provide for)ことができる。
【００２４】
一実施形態では、第１光強度の第１光パルスが環境３００に投射され、キャプチャー・デバイス２０によって取り込まれる。続いて、第２光強度の第２光パルスが環境３００に投射され、キャプチャー・デバイス２０によって取り込まれる。第１光強度は、第２光強度よりも低い光強度にするとよい。この場合、低い方の光強度に関連付けられた第１光パルスは、ユーザー１８に関連付けられた深度情報を取り込むために用いられるとよく、一方高い方の光強度に関連付けられた第２光パルスは、椅子１９に関連付けられた深度情報を取り込むために用いられるとよい（即ち、高い方の光強度は、低い方の光強度よりも遠くにある物体を照明するために用いられる）。
【００２５】
目標検出および追跡システム１０は、光強度の変動に関連付けられる画像を生成するために、環境に投射される光の強度（例えば、光源に供給される電流または電力の量を増減することによって）、またはキャプチャー・デバイスの露出時間（例えば、光センサーの積分時間を増減することによって）のいずれかを変更することができる。実施形態の中には、所定数の可変光強度の光パルスを環境３００に投射し、これらの光パルスの各々に関してこの環境の関連する画像を続いて取り込むとよい場合もある。
【００２６】
深度マップを生成する前に、目標検出および追跡システム１０は、特定の環境に必要な最大光強度レベルを決定するために較正ステップを実行することもできる（例えば、深度検出システムが存在する部屋またはプレー空間の広さを推定することによって）。また、目標検出および追跡システム１０は、電力および性能要件に基づいて、光パルスの最大数および／または取り込みステップの最大数も決定することができる。例えば、目標検出および追跡システム１０が低電力モードにある場合、光パルスの最大数を減らすことができる。このように、システム要件が変化するに連れて、光パルスの最大数および／または取り込みステップの最大数を、時間の経過と共に調節することもできる。
【００２７】
図３は、キャプチャー・デバイス５８および計算環境５４を含む計算システム５０の一実施形態を示す。計算システム５０は、図１および図２の目標検出および追跡システム１０についての実施態様の一例である。例えば、計算環境５４は、図１および図２における計算環境１２に対応することができ、キャプチャー・デバイス５８は、図１および図２におけるキャプチャー・デバイス２０に対応することができる。
【００２８】
一実施形態では、キャプチャー・デバイス５８は、画像およびビデオを取り込むために１つ以上の画像センサーを含むことができる。画像センサーは、ＣＣＤ画像センサーまたはＣＭＯＳセンサーを備えることができる。実施形態の中には、キャプチャー・デバイス５８がＩＲ  ＣＭＯＳ画像センサーを含むとよい場合もある。キャプチャー・デバイス５８は、また、深度情報と共にビデオを取り込むように構成された深度カメラ（または深度検知カメラ）も含むことができる。このビデオは、例えば、飛行時間、構造化光、立体視画像等を含むいずれかの適した技法による深度値を含むことができる深度画像を含む。
【００２９】
キャプチャー・デバイス５８は、撮像カメラ・コンポーネント３２を含むことができる。一実施形態では、撮像カメラ・コンポーネント３２は、場面の深度画像を取り込むことができる深度カメラを含むことができる。深度画像は、取り込んだ場面の二次元（２−Ｄ）画素エリアを含むことができ、この２−Ｄ画素エリアにおける各画素は、撮像カメラ・コンポーネント３２から、取り込まれた場面における、例えば、センチメートル、ミリメートル等を単位とした、物体の深度値を表すことができる。
【００３０】
撮像カメラ・コンポーネント３２は、ＩＲ発光コンポーネント３４、三次元（３−Ｄ）カメラ３６、および取り込みエリアの深度画像を取り込むために用いることができるＲＧＢカメラ３８を含むことができる。例えば、飛行時間分析では、キャプチャー・デバイス５８のＩＲ発光コンポーネント３４は、赤外線光を取り込みエリア上に放出し、次いでセンサーを用いて取り込みエリアにおける１つ以上の物体の表面からの後方散乱光を、例えば、３−Ｄカメラ３６および／またはＲＧＢカメラ３８を用いて検出することができる。実施形態の中には、出射光パルスと対応する入射光パルスとの間の時間を測定し、キャプチャー・デバイス５８から取り込みエリアにおける１つ以上の物体上の特定の位置までの物理的距離を判定するために用いることができるように、パルス状赤外線光を用いるとよい場合がある。加えて、出射光波の位相を、入射光波の位相と比較して、位相のずれを判定することもできる。次いで、この位相のずれを用いて、キャプチャー・デバイスから１つ以上の物体に関連付けられる特定の位置までの物理的距離を判定することができる。
【００３１】
他の例では、キャプチャー・デバイス５８は、構造化光を用いて深度情報を取り込むこともできる。このような分析では、パターン化光（即ち、格子パターンまたは縞状パターンというような既知のパターンとして表示される光）を取り込みエリアに、例えば、ＩＲ発光コンポーネント３４によって投射するとよい。取り込みエリアにおいて１つ以上の物体（または目標物）の表面に衝突すると、パターンは応答して変形すると考えられる。このようなパターンの変形は、例えば、３−Dカメラ３６および／またはＲＧＢカメラ３８によって取り込み、分析して、キャプチャー・デバイスから１つ以上の物体上における特定の位置までの物理的距離を判定することができる。キャプチャー・デバイス５８は、平行化光を生成する光学素子を含むことができる。実施形態の中には、レーザー・プロジェクターを用いて構造化光パターンを形成するとよい場合もある。この光プロジェクターは、レーザー、レーザー・ダイオード、および／またはＬＥＤを含むことができる。
【００３２】
実施形態の中には、２つ以上の異なるカメラを統合キャプチャー・デバイスに組み込むことができる場合もある。例えば、深度カメラおよびビデオ・カメラ（例えば、ＲＧＢビデオ・カメラ）を共通のキャプチャー・デバイスに組み込むことができる。実施形態の中には、同じまたは異なるタイプの２つ以上の別個のキャプチャー・デバイスを協働するように使用することもできる。例えば、深度カメラおよび別個のビデオ・カメラを使用することができ、２つのビデオ・カメラを使用することができ、２つの深度カメラを使用することができ、２つのＲＧＢカメラを使用することができ、あるいはいずれの組み合わせおよび個数のカメラでも使用することができる。一実施形態では、キャプチャー・デバイス５８は、２つ以上の物理的に分離されたカメラを含むこともでき、これらが異なる角度から取り込みエリアを視野内に入れて(view)視覚的立体視データーを得ることができ、この視覚的立体視データーを解明して深度情報を生成することができる。また、深度は、複数の検出器を用いて画像を取り込み、視差計算を実行することによって判定することもできる。検出器は、白黒、赤外線、ＲＧＢ、または他のいずれのタイプの検出器でもよい。他のタイプの深度画像センサーも、深度画像を形成するために用いることができる。
【００３３】
図３に示すように、キャプチャー・デバイス５８はマイクロフォン４０を含むことができる。マイクロフォン４０は、音を受け取り電気信号に変換する変換器またはセンサーを含むことができる。
【００３４】
キャプチャー・デバイス５８は、画像カメラ・コンポーネント３２と動作的に通信することができるプロセッサー４２を含むことができる。プロセッサー４２は、標準化されたプロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができる。プロセッサー４２は、命令を実行することができる。この命令は、フィルターまたはファイルを格納する命令、画像を受け取り分析する命令、特定の状況が発生したか否か判定する命令を含み、あるいは他の適した命令であればいずれでも含むことができる。尚、少なくとも一部の画像分析および／または目標物分析および追跡動作は、キャプチャー・デバイス５８のような１つ以上のキャプチャー・デバイスに内蔵されているプロセッサーによって実行してもよいことは言うまでもない。
【００３５】
キャプチャー・デバイス５８は、メモリー４４を含むことができる。メモリー４４は、プロセッサー４２によって実行することができる命令、３−ＤカメラまたはＲＧＢカメラによって取り込まれた画像または画像のフレーム、フィルターまたはプロファイル、あるいは他のあらゆる適した情報、画像等を格納することができる。一例では、メモリー４４は、ランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、キャッシュ、フラッシュ・メモリー、ハード・ディスク、または他のあらゆる適した記憶コンポーネントを含むことができる。図３に示すように、メモリー４４は、画像キャプチャー・コンポーネント３２およびプロセッサー４２と通信可能な別個のコンポーネントであってもよい。他の実施形態では、メモリー４４がプロセッサー４２および／または画像キャプチャー・コンポーネント３２に統合されてもよい。他の実施形態では、図３に示すキャプチャー・デバイス５８のコンポーネント３２、３４、３６、３８、４０、４２、および４４の一部または全部が１つの筐体に収容される。
【００３６】
キャプチャー・デバイス５８は、通信リンク４６を介して計算環境５４と通信することができる。通信リンク４６は、例えば、ＵＳＢ接続、FireWire接続、イーサネット（登録商標）・ケーブル接続等を含む有線接続、および／またはワイヤレス８０２．１１ｂ、ｇ、ａ、またはｎ接続というようなワイヤレス接続とすることができる。計算環境５４は、クロックをキャプチャー・デバイス５８に供給することができ、例えば、通信リンク４６を介していつ場面を取り込むか判断するために用いることができる。一実施形態では、キャプチャー・デバイス５８は、例えば、３Ｄカメラ３６および／またはＲＧＢカメラ３８によって取り込まれた画像を計算環境５４に通信リンク４６を介して供給することができる。
【００３７】
図３に示すように、計算環境５４は、オペレーティング・システム１９６と通信する画像およびオーディオ処理エンジン１９４を含む。画像およびオーディオ処理エンジン１９４は、仮想データー・エンジン１９７、物体およびジェスチャー認識エンジン１９０、構造データー１９８、処理ユニット１９１、ならびにメモリー・ユニット１９２を含み、これらは全て互いに通信する。画像およびオーディオ処理エンジン１９４は、キャプチャー・デバイス５８から受け取ったビデオ、画像、およびオーディオ・データーを処理する。物体の検出および／または追跡において補助するために、画像およびオーディオ処理エンジン１９４は、構造データー１９８ならびに物体およびジェスチャー認識エンジン１９０を利用することができる。仮想データー・エンジン１９７は、仮想物体を処理し、メモリー・ユニット１９２に格納されている実世界環境の種々のマップに関係付けて仮想物体の位置および向きを登録することができる。
【００３８】
処理ユニット１９１は、物体、顔、および音声認識アルゴリズムを実行するために、１つ以上のプロセッサーを含むことができる。一実施形態では、画像およびオーディオ処理エンジン１９４は、物体認識および顔認識技法を画像またはビデオ・データーに適用することができる。例えば、物体認識は、特定の物体（例えば、サッカー・ボール、車、または陸標）を検出するために使用することができ、顔認識は、特定の人の顔を検出するために使用することができる。画像およびオーディオ処理エンジン１９４は、オーディオおよび音声認識技法をオーディオ・データーに適用することができる。例えば、オーディオ認識は、特定の音を検出するために使用することができる。検出すべき特定の顔、音声、音、および物体を、メモリー・ユニット１９２に内蔵される１つ以上のメモリーに格納することができる。
【００３９】
実施形態の中には、物体の検出および／または追跡を改良するために、追跡される１つ以上の物体を、ＩＲ回帰反射型マーカーのような１つ以上のマーカーで強調するとよい場合がある。平面基準画像、コード化ＡＲマーカー、ＱＲコード（登録商標）、および／またはバー・コードも、物体の検出および／または追跡を改良するために使用することができる。１つ以上の物体を検出したとき、画像およびオーディオ処理エンジン１９４は、オペレーティング・システム１９６に、検出された各物体の識別(identification)ならびに対応する位置および／または向きを報告することができる。
【００４０】
画像およびオーディオ処理エンジン１９４は、物体の認識を実行しつつ構造データー１９８を利用することができる。構造データー１９８は、追跡すべき目標物および／または物体についての構造情報を含むことができる。例えば、人間の骨格モデルを格納し、身体部分を認識するのに役立てることができる。他の例では、構造データー１９８は、１つ以上の無生体物体を認識するのに役立てるために、これら１つ以上の無生体物体についての構造情報を含むことができる。
【００４１】
また、画像およびオーディオ処理エンジン１９４は、物体の認識を実行しつつ、物体およびジェスチャー認識エンジン１９０を利用することもできる。一例では、物体およびジェスチャー認識エンジン１９０は、ジェスチャー・フィルターの集合体を含むことができ、各々、骨格モデルによって実行され得るジェスチャーに関する情報を含む。物体およびジェスチャー認識エンジン１９０は、キャプチャー・デバイス５８によって取り込まれたデーターを、それに関連する骨格モデルおよび動きの形態で、ジェスチャー・ライブラリーにおけるジェスチャー・フィルターと比較して、ユーザー（骨格モデルによって表される）が１つ以上のジェスチャーを行ったときを特定することができる。一例では、画像およびオーディオ処理エンジン１９４は、骨格モデルの動きを解釈するのに役立てるため、そして特定のジェスチャーの実行を検出するために、物体およびジェスチャー認識エンジン１９０を用いることができる。
【００４２】
物体の検出および追跡に関するこれ以上の情報は、２００９年１２月１８日に出願された米国特許第１２／６４１，７８８号、"Motion Detection Using Depth Images"（深度画像を使用する動き検出）および 米国特許出願第１２／４７５，３０８号、"Device for Identifying and Tracking Multiple Humans Over Time"（多数の人間を経時的に特定および追跡するデバイス）において見出すことができる。これら双方の特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。物体およびジェスチャー認識エンジン１９０についてのこれ以上の情報は、既に引用して本願にもその内容全体が含まれるものとした、２００９年４月１３日に出願された米国特許出願第１２／４２２，６６１号"Gesture Recognizer System Architecture"（ジェスチャー認識システム・アーキテクチャー）において見出すことができる。ジェスチャーの認識についてのこれ以上の情報は、２００９年２月２３日に出願された米国特許出願第１２／３９１，１５０号"Standard Gestures"（標準的ジェスチャー）、および２００９年５月２９日に出願された米国特許出願第１２／４７４，６５５号"Gesture Tool"（ジェスチャー・ツール）において見出すことができる。これら双方の特許出願も、ここで引用したことにより、その内容全体が本願にも含まれるものとする。
【００４３】
図４Ａは、時間の経過と共に環境内に投射される一連の光パルスの一実施形態を示す。図示のように、時点ｔ１およびｔ４の間に第１光強度の光パルス１４が環境内に投射され、時点ｔ５およびｔ８の間に第２光強度の光パルス１２が環境内に投射され、時点ｔ９およびｔ１２の間に第３光強度の光パルス１３が環境内に投射される。一実施形態では、第１光パルスは、環境に投射される初期光パルスを構成する。第１光パルスに関連付けられる光強度は、特定の光源に関連付けられる最大光強度、または図３におけるキャプチャー・デバイス５８のような、キャプチャー・デバイスからの特定の距離（または到達距離）に関連付けられる特定の光強度に設定することができる。
【００４４】
図４Ｂは、図４Ａに示した時間期間と同じ時間期間における一連のセンサー積分時間の一実施形態を示す。図示のように、３つのセンサー積分時間は、図４Ａに示した３つの光パルスに対応する。実施形態の中には、図１および図２における目標検出および追跡システム１０のような目標検出および追跡システムが、時点ｔ１において開始する第１光パルスを投射し、時点ｔ２およびｔ３の間において第１光パルスに関連付けられた第１画像を取り込むとよい場合がある。次いで、目標検出および追跡システムは、第１画像に関連付けられた画素飽和度を判定することができる。その後、後続の光パルスの光強度を、以前に取り込んだ画像に関連付けられた画素飽和度に応じて、動的に調節することができる。
【００４５】
一実施形態では、画素飽和度を判定するには、第１画像内において飽和した画素の割合を判定する。第１画像が特定の割合閾値（例えば、画素の５％よりも多くが飽和した）よりも高い画素飽和度を有する場合、次の光パルスに関連付けられる光強度レベルを下げることができる。また、第１画像に関連付けられた画素飽和度の判定には、可能な最高光強度設定値（例えば、２２５に等しい８ビット画素値）が割り当てられた画素数を判定すること、または特定の閾値よりも高い光強度値（例えば、２５０に等しい８ビット画素値よりも高い全ての値）が割り当てられた画素数を判定することを含むものでもよい。
【００４６】
図示のように、図４Ａにおける第２光パルスは、時点ｔ５において開始する第１光強度（１４）の半分である光強度（１２）で投射される。時点ｔ６およびｔ７の間において、目標検出および追跡システムは、第２光パルスに関連付けられた第２画像を取り込む。続いて、この第２画像に関連付けられた画素飽和度が判定される。この画素飽和度が特定の閾値よりも低い場合、後続の光パルスに関連付けられる光強度レベルを上げることができる。第３光パルスは、第１光パルスの強度と第２光パルスの強度との間の光強度で投射され、時点ｔ１０およびｔ１１の間において、第３画像が取り込まれる。
【００４７】
図５Ａは、時点ｔ１およびｔ８の間に環境内に投射された光強度Ｉ１の光パルスの一実施形態を示す。図５Ｂは、図５Ａに示したのと同じ時間期間における一連のセンサー積分時間の一実施形態を示す。図示のように、第１画像が、時点ｔ２およびｔ３の間にある第１センサー積分時間中に取り込まれる。実施形態の中には、図１および図２における目標検出および追跡システム１０のような目標検出および追跡システムが、第１画像に関連付けられた画素飽和度を判定するとよい場合がある。第１画像が特定の閾値よりも高い画素飽和度（例えば、画素の５％よりも多くが飽和した）を有すると判定された場合、後続の取り込み時間に関連付けられるセンサー積分時間を短縮することができる。つまり、以前に取り込まれた画像に関連付けられた画素飽和度に応じて、センサー積分時間を動的に調節することができる。
【００４８】
図示のように、時点ｔ４およびｔ５の間にある第２センサー積分時間中に、第２画像が取り込まれる。第１画像は、特定の閾値よりも高い画素飽和度を有すると判定されたので、第２センサー積分時間に関連付けられるセンサー積分時間は、第１センサー積分時間の半分になる。続いて、目標検出および追跡システムは、第２画像に関連付けられた画素飽和度を判定することができる。第２画像に関連付けられた画素飽和度が特定の閾値よりも低い場合、後続の取り込み時間に関連付けられるセンサー積分時間を延長することができる。図示のように、時点ｔ６およびｔ７の間にある第３センサー積分時間には、第１センサー積分時間と第２センサー積分時間との間の積分時間（または露出時間）量が与えられる。
【００４９】
実施形態の中には、光強度レベルおよび／またはセンサー積分時間の双方が、以前に取り込まれた画像に関連付けられた画素飽和度に応じて、動的に調節されるとよい場合がある。例えば、ある画像に関連付けられた画素飽和度が特定の閾値よりも高い場合、光強度レベルおよびセンサー積分時間の双方を低下／短縮してもよい。
【００５０】
更に、目標検出および追跡システムに利用可能な処理パワー、メモリー、および時間によって、光パルス数および／またはセンサー積分時間の回数を制限してもよい。取り込まれる画像数が多い程、合成画像を処理し作成するために必要とされるリソース量が増大する。多くの用途では、深度情報を生成するのに必要な時間は、エンド・ユーザーに投影されるビデオ・ストリームが毎秒３０フレームよりも遅くならないようにしなければならない。
【００５１】
図６Ａは、時点ｔ１およびｔ２の間に環境内に投射された光強度Ｉ４の光パルスの一実施形態を示す。図６Ｂは、時点ｔ３およびｔ４の間にあるセンサー積分時間の一実施形態を示す。センサー積分時間が光パルスと重複しないので、センサー積分時間中に取り込まれる画像は、光パルスとセンサー積分時間との間の時間差に依存し、更に環境内におけるある距離にある物体に依存する。この距離は、これらの物体から反射する光パルスの飛行時間遅延に関連付けられる。例えば、光が１５メートル離れた物体まで進み反射してキャプチャー・デバイスに戻って来る時間は、大凡１００ｎｓとなる（即ち、１５メートル×２／３００，０００，０００メートル／秒）。光パルス（例えば、レーザー光源から）のパルス幅は、物体を見ることができる範囲の分解能を決定する（即ち、パルス幅が小さい程、距離に関する分解能が高くなる）。例えば、３メートルの分解能を得るには、１０ｎｓのパルスが必要になる（即ち、３メートル／３００，０００，０００メートル／秒）。更に、センサー積分時間も範囲の分解能を低下させる場合がある。何故なら、投射された光は、センサー積分時間内であればいつの時点でも反射し取り込まれ得るからである（即ち、時点ｔ３において取り込まれた光は、時点ｔ４において取り込まれた光よりも、進んだ距離が短い可能性が高い）。最悪の場合、時点ｔ２において投射された光が時点ｔ３において取り込まれ、時点ｔ１において投射された光が時点ｔ４において取り込まれることになる。つまり、投射された光パルスと対応するセンサー積分時間との間の時間差は、目標検出および追跡システムからの特定の範囲に関連付けられた距離情報を取り込むために用いることができる（例えば、目標検出および追跡システムから１０メートルおよび２０メートルの間にある物体を取り込むために、特定の時間差を用いることができる）。
【００５２】
一実施形態では、投射された光パルスと対応するセンサー積分時間との間の時間差は、目標検出および追跡システムからの特定の距離（または距離の範囲）に基づくこともできる。例えば、図６Ａおよび図６Ｂにおける時点ｔ２およびｔ３の間の時間差は、目標検出および追跡システムに近い距離に関連付けられた距離情報を取り込むときは、目標検出および追跡システムから離れた距離に関連付けられた距離情報を取り込むときと比較して、小さくなるであろう。
【００５３】
図６Ｃは、時間の経過と共に環境内に投射された一連の光パルスの一実施形態を示す。図示のように、光強度Ｉ４の光パルスが、時点ｔ１およびｔ２の間に環境内に投射され、Ｉ４よりも低い光強度Ｉ２の第２光パルスが、時点ｔ５およびｔ６の間に環境に投射される。図６Ｄは、図６Ｃに示した時間期間と同じ時間期間における一連のセンサー積分時間の一実施形態を示す。時点ｔ３およびｔ４間における第１センサー積分時間は、第１光パルスと対応し、環境の第１画像を取り込むことができる。時点ｔ７およびｔ８間における第２センサー積分時間は、第２光パルスと対応し、環境の第２画像を取り込むことができる。図示のように、第１光パルスの投射と第１センサー積分時間との間における第１時間差Ｄ１は、第２光パルスと第２積分時間との間における第２時間差Ｄ２よりも大きい。この場合、環境の第１画像は、第２画像と関連付けられた第２範囲の距離よりも、目標検出および追跡システムから遠い第１範囲の距離に関連付けられた距離情報を含むことができる。
【００５４】
一実施形態では、光パルスの光強度、および光パルスの投影と対応するセンサー積分時間との間の時間差は、目標検出および追跡システムからの取り込み距離に基づいて調節することができる。取り込み距離が目標検出および追跡システムに近い程、目標検出および追跡システムから遠く離れた取り込み距離と比較して、光強度および時間差の双方を減少させることができる。
【００５５】
図６Ｅは、特定の距離（または距離の範囲）を想定して初期光強度を決定する機能の一実施形態を示す。図示のように、距離ｄ１およびｄ２に関連付けられた特定の範囲に対して、Ｉ３の初期光強度が、環境に投射される第１光パルスに用いられる。ｄ２よりも遠い距離では、Ｉ４の初期光強度が用いられる。参照表および種々の線形または非線形関数を用いてもよい。実施形態の中には、距離が長い程、初期光強度が大きい場合がある。
【００５６】
一実施形態では、第１光パルスと第１センサー積分時間との間の第１時間差を用いて、目標検出および追跡システムからの第１距離範囲内における距離情報を判定する（例えば、目標検出および追跡システムから最初の１０メートル以内）。投射される光パターンに対して初期光強度を決定するために、目標検出および追跡システムからの距離に応じた所定の最大光強度の参照表を用いることもできる。目標検出および追跡システムは、続いて、可変光強度の複数の光パルスを投射し、同じ第１時間差を用いて、複数の光パルス全てに関連付けられた複数の画像を取り込むことができる。目標検出および追跡システムから第２距離範囲内（例えば、目標検出および追跡システムから１０メートルから２０メートルの範囲内）にある距離情報を判定するために、第２時間差を用いることもできる。第２距離範囲は第１距離範囲よりも離れているので、投射光パターンにはより高い初期光強度を用いるとよい。続いて、可変光強度の第２複数の光パルスを環境内に投射することができ、第２時間差を用いて、第２複数の画像を取り込むことができる。
【００５７】
図７Ａは、深度マップのダイナミック・レンジを拡張するプロセスの一実施形態を説明するフローチャートである。図７Ａのプロセスは、連続的に、そして１つ以上の計算デバイスによって実行することができる。図７Ａのプロセスにおける各ステップは、他のステップにおいて用いられるのと同じまたは異なる計算デバイスで実行してもよく、各ステップを必ずしも１つの計算デバイスによって実行する必要はない。一実施形態では、図７Ａのプロセスは、図１および図２における目標検出および追跡システム１０のような、目標検出および追跡システムによって実行される。
【００５８】
ステップ５０２において、光強度レベル、センサー積分時間、および最大画像数の設定値を初期化する。初期光強度レベルおよびセンサー積分時間は、目標検出および追跡システムからの特定の範囲に基づけばよい。最大画像数は、所望のビデオ・フレーム・レート（例えば、毎秒３０フレーム）の関数とするとよい。ステップ５０４において、この光強度レベルの光を第１時間にわたって発光する。発光された光は、環境内に投射される構造化パターンを構成することができる。ステップ５０６において、複数の画像の内、第１画像を、センサー積分時間の間に取り込む。ステップ５０７において、第１画像を格納する。一例では、第１画像はメモリー・バッファに格納されるとよい。
【００５９】
ステップ５０８において、最大数の画像を取り込んだか否か判定を行う。最大数の画像が取り込まれていないと判定された場合（ＮＯ）、ステップ５１０を実行する。ステップ５１０において、第１画像に関連付けられた画素飽和度を判定する。画素飽和度は、第１画像内において飽和した画素数の関数とするとよい。画素飽和度は、画像センサー内にある閾値検出回路によって、または画像処理ソフトウェアによって判定することができる。ステップ５１２において、ステップ５１０で判定した画素飽和度に基づいて、光強度レベルおよびセンサー積分時間を更新する。ステップ５１４において、更新された光強度レベルおよびセンサー積分時間に関連付けられた１つ以上の倍率調整値を格納する。一例では、更新された光強度レベルは、直前の光強度レベルの半分であり、したがって、１／２の倍率調整値が格納される。ステップ５１４の後、更新された光強度レベルおよびセンサー積分時間を用いて、ステップ５０４を再度実行する。
【００６０】
最大数の画像が取り込まれたと判定された場合（ＹＥＳ）、ステップ５１６を実行する。ステップ５１６において、複数の取り込まれた画像から深度情報を生成する。一実施形態では、深度情報は、複数の画像から合成される基準画像から得られる。
【００６１】
図７Ｂは、複数の画像から深度情報を生成するプロセスの一実施形態を説明するフローチャートである。図７Ｂにおいて説明するプロセスは、図７Ａにおけるステップ５１６を実現するプロセスの一例である。図７Ｂのプロセスは、連続的にそして１つ以上の計算デバイスによって実行することができる。図７Ｂのプロセスにおける各ステップは、他のステップにおいて用いられるのと同じ計算デバイスまたは異なる計算デバイスによって実行してもよく、各ステップは必ずしも１つの計算デバイスによって実行される必要はない。一実施形態では、図７Ｂのプロセスは、図１および図２における目標検出および追跡システム１０のような目標検出および追跡システムによって実行される。
【００６２】
ステップ５２２において、複数の画像の各々を、共通の座標系に対して位置合わせ(register)または整列(align)する。画像位置合わせの間、目標検出および追跡システムは、特定の環境内において撮影した異なる画像（例えば、多少異なる視点から、および／または異なる時点において撮影した画像）を、環境に関連付けられた共通座標系に位置合わせすることができる。
【００６３】
ステップ５２４において、図７Ａのステップ５１４において格納された１つ以上の倍率調整値に基づいて、複数の画像を合成する。一実施形態では、高ダイナミック・レンジ撮像技法を複数の画像に適用することによって、基準画像を生成する。高ダイナミック・レンジ撮像技法は、従前からのデジタル撮像技法と比較して、画像の最も明るいエリアと最も暗いエリアとの間において輝度(luminance)のダイナミック・レンジ拡大に備えることができ、これによって大きなコントラスト比がある環境の詳細を保存することが可能になる。高ダイナミック・レンジ画像は、通例、多数の画像を取り込み、多くの場合露出ブラケット操作(bracketing)を用い、次いでこれらを１つの高ダイナミック・レンジ画像に融合することによって作成される。
【００６４】
実施形態の中には、目標検出および追跡システムに近い画像における飽和画素位置には、目標検出および追跡システムから離れている１つ以上の画像に関連付けられた画素値を倍率調整して割り当てられる場合がある。２つの画像を合成する場合、高い方の光強度に関連付けられた画像における飽和画素位置が、低い方の光強度に関連付けられた画像からの関連する画素値を倍率調整したものと置き換えられる。
【００６５】
ステップ５２６において、基準画像に関連付けられた深度情報を生成する。実施形態の中には、構造化光パターンにおける歪み、および／または構造化光パターンの部分間における間隔を考慮する画像処理技法を用いるとよい場合がある。ステップ５２８において、深度情報を出力する。一例では、深度情報は、図３における計算環境５４のような、計算環境に送信される。
【００６６】
図７Ｃは、光強度レベルおよびセンサー積分時間を更新するプロセスの一実施形態を説明するフローチャートである。図７Ｃにおいて説明するプロセスは、図７Ａにおけるステップ５１２を実現するプロセスの一例である。図７Ｃのプロセスは、連続的にそして１つ以上の計算デバイスによって実行することができる。図７Ｃのプロセスにおける各ステップは、他のステップにおいて用いられるのと同じ計算デバイスまたは異なる計算デバイスによって実行してもよく、各ステップは必ずしも１つの計算デバイスによって実行される必要はない。一実施形態では、図７Ｃのプロセスは、図１および図２における目標検出および追跡システム１０のような目標検出および追跡システムによって実行される。
【００６７】
ステップ５４２において、画素飽和度が特定の閾値を満たしているか否か判定を行う。画素飽和度が特定の閾値を満たしていると判定した場合（ＹＥＳ）、次にステップ５４８を実行する。ステップ５４８において、光強度レベルを低下させるか、またはセンサー積分時間を短縮する。一例では、後続の光パルスの光強度レベルを１／２に低下する。他の例では、後続の光パルスに関連付けられたセンサー積分時間を１／４に短縮する。画素飽和度が特定の閾値を満たしていないと判定した場合（ＮＯ）、次にステップ５４６を実行する。ステップ５４６において、光強度レベルを高める、またはセンサー積分時間を延長することができる。一例では、光強度レベルが、直前の光強度レベルと最大光強度レベル（または最低光強度レベル）との間のレベルに設定される。一実施形態では、画素飽和度が特定の閾値よりも低い場合、光パルスまたは画像が取り込まれなくてもよい。
【００６８】
以上で開示した技術は、種々の計算システムと共に使用することができる。図８から図１０は、開示した技術の実施形態を実現するために使用することができる種々の計算システムの例を示す。
【００６９】
図８は、ゲーミングおよびメディア・システム７２０１の一実施形態のブロック図であり、図１および図２における計算環境１２の一例である。ゲーム・コンソール７２０３は、中央処理ユニット（ＣＰＵ）７２００、およびメモリー・コントローラー７２０２を有する。メモリー・コントローラー７２０２は、フラッシュ・リード・オンリー・メモリー（ＲＯＭ）７２０４、ランダム・アクセス・メモリー（ＲＡＭ）７２０６、ハード・ディスク・ドライブ７２０８、および携帯用メディア・ドライブ７１０７を含む、種々のタイプのメモリーに対するプロセッサーのアクセスを容易にする。一実施態様では、ＣＰＵ７２００は、レベル１キャッシュ７２１０およびレベル２キャッシュ７２１２を含む。これらは、一時的にデーターを格納し、ハード・ドライブ７２０８に対して行われるメモリー・アクセスのサイクル回数を減少させることによって、処理速度およびスループットを高める。
【００７０】
ＣＰＵ７２００、メモリー・コントローラー７２０２、および種々のメモリー・デバイスは、１つ以上のバス（図示せず）を通じて相互接続される。１つ以上のバスは、シリアルおよびパラレル・バス、メモリー・バス、周辺バス、およびプロセッサーまたはローカル・バスの内１つ以上を含み、種々のバス・アーキテクチャーの内いずれかを使用する。一例として、このようなアーキテクチャーは、業界標準アーキテクチャー（ＩＳＡ）バス、マイクロ・チャネル・アーキテクチャー（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ電子規格連合（ＶＥＳＡ）ローカル・バス、周辺コンポーネント相互接続（ＰＣＩ）バスを含むことができる。
【００７１】
一実施態様では、ＣＰＵ７２００、メモリー・コントローラー７２０２、ＲＯＭ７２０４、およびＲＡＭ７２０６は、共通モジュール７２１４上に集積される。この実施態様では、ＲＯＭ７２０４はフラッシュＲＯＭとして構成され、このフラッシュＲＯＭは、ＰＩＣバスおよびＲＯＭバス（いずれも示されていない）を通じてメモリー・コントローラー７２０２に接続される。ＲＡＭ７２０６は、多数のデーター倍速同期ダイナミックＲＡＭ（ＤＤＲ  ＳＤＲＡＭ）モジュールとして構成され、別個のバス（図示せず）を通じてメモリー・コントローラー７２０２によって独立して制御される。ハード・ディスク・ドライブ７２０８および携帯用メディア・ドライブ７１０７は、メモリー・コントローラー７２０２にＰＣＩバスおよびＡＴ取り付け（ＡＴＡ）バス７２１６を通じて接続されることが示されている。しかしながら、他の実施態様では、異なるタイプの専用データー・バス構造を代わりに適用してもよい。
【００７２】
三次元（３Ｄ）グラフィクス処理ユニット７２２０およびビデオ・エンコーダ７２２２は、高速および高解像度（例えば、高品位）グラフィクス処理のためのビデオ処理パイプラインを形成する。データーは、３Ｄグラフィクス処理ユニット７２２０からビデオ・エンコーダ７２２２に、ディジタル・ビデオ・バス（図示せず）を通じて搬送される。オーディオ処理ユニット７２２４およびオーディオ・コデック（コーダ／エンコーダ）７２２６は、種々のディジタル・オーディオ・フォーマットのマルチチャネル・オーディオ処理のための対応するオーディオ処理パイプラインを形成する。オーディオ・データーは、オーディオ処理ユニット７２２４とオーディオ・コデック７２２６との間で、通信リンク（図示せず）を通じて搬送される。ビデオおよびオーディオ処理パイプラインは、テレビジョンまたは他のディスプレイへの送信のために、データーをＡ／Ｖ（オーディオ／ビデオ）ポート７２２８に出力する。図示した実施態様では、ビデオおよびオーディオ処理コンポーネント７２２０〜７２２８は、モジュール７２１４上に実装される。
【００７３】
図８は、ＵＳＢホスト・コントローラー７２３０およびネットワーク・インターフェース（ＮＷ  Ｉ／Ｆ）７２３２を含むモジュール７２１４を示す。ＵＳＢホスト・コントローラー７２３０は、ＣＰＵ７２００およびメモリー・コントローラー７２０２とバス（図示せず）を通じて通信し、周辺コントローラー７２０５（１）〜７２０５（４）のホストとして機能する。ネットワーク・インターフェース７２３２は、ネットワーク（例えば、インターネット、ホーム・ネットワーク等）へのアクセスを付与し、イーサネット・カード、モデム、ワイヤレス・アクセス・カード、Bluetooth（登録商標）モジュール、ケーブル・モデム等を含む、多種多様の様々なワイヤまたはワイヤレス・インターフェース・コンポーネントの内いずれでもよい。
【００７４】
図８に示す実施態様では、ゲーム・コンソール７２０３は、４つのコントローラー７２０５（１）〜７２０５（４）をサポートするためにコントローラー・サポート・サブアセンブリー７２４０を含む。コントローラー・サポート・サブアセンブリー７２４０は、例えば、メディアおよびゲーム・コントローラーのような外部制御デバイスとの有線およびワイヤレス動作をサポートするために必要とされるあらゆるハードウェアおよびソフトウェア・コンポーネントを含む。フロント・パネルＩ／Ｏサブアセンブリー７２４２は、電源ボタン７２１３、イジェクト・ボタン７２１５、および任意のＬＥＤ（発光ダイオード）、またはコンソール７２０３の外面上に露出されている他のインディケーターの複数の機能をサポートする。サブアセンブリー７２４０および７２４２は、１つ以上のケーブル・アセンブリー７２４４を通じてモジュール７２１４と通信可能である。他の実施態様では、コンソール７２０３は追加のコントローラー・サブアセンブリーを含む。また、図示する実施態様は、モジュール７２１４に伝達することができる信号を送るおよび受ける（例えば、リモコン７２９０から）ように構成される光Ｉ／Ｏインターフェース７２３５も示す。
【００７５】
メモリー・ユニット（ＭＵ）７２４１（１）および７２４１（２）は、それぞれ、ＭＵポート「Ａ」７２３１（１）および「Ｂ」７２３１（２）に接続可能であることが示されている。追加のＭＵ（例えば、ＭＵ７２４１（３）〜７２４１（６））が、コントローラー７２０５（２）および７２０５（３）に接続可能であることが示されている。即ち、コントローラー毎に２つのＭＵがある。また、コントローラー７２０５（２）および７２０５（４）は、ＭＵ（図示せず）を受けるように構成することもできる。各ＭＵ７２４１は、追加のストレージを提供し、このストレージには、ゲーム、ゲーム・パラメーター、および他のデーターを格納することができる。携帯用ＵＳＢデバイスのような追加のメモリーを、ＭＵの代わりに用いることができる。実施態様の中には、他のデーターが、ディジタル・ゲーム・コンポーネント、実行可能ゲーミング・アプリケーション、ゲーミング・アプリケーションを拡張するための命令セット、およびメディア・ファイルの内、任意のものを含むことができる場合がある。コンソール７２０３またはコントローラーに挿入されると、メモリー・コントローラー７２０２によってＭＵ７２４１にアクセスすることができる。システム電源モジュール７２５０は、ゲーミング・システム７２０１のコンポーネントに電力を供給する。ファン７２５２はコンソール７２０３内部の回路を冷却する。
【００７６】
機械命令を含むアプリケーション７２６０が、ハード・ディスク・ドライブ７２０８に格納される。コンソール７２０３に電源を入れると、アプリケーション７２６０の種々の部分が、ＣＰＵ７２００による実行のために、ＲＡＭ７２０６および／またはキャッシュ７２１０および７２１２にロードされる。ハード・ディスク・ドライブ７２０８には、ＣＰＵ７２００における実行のために種々のアプリケーションを格納することができる。
【００７７】
ゲーミングおよびメディア・システム７２０１は、単にこのシステムをモニター、テレビジョン、ビデオ・プロジェクター、または他のディスプレイ・デバイスに接続することによって、単体システムとして動作することもできる。この単体モードでは、ゲーミングおよびメディア・システム７２０１は、１人以上のプレーヤーが、（例えば、ムービーを見るまたは音楽を聴くことによって）ゲームをプレーするまたはディジタル・メディアを楽しむことを可能にする。しかしながら、ネットワーク・インターフェース７２３２を介して利用可能となるブロードバンド接続の統合によって、ゲーミングおよびメディア・システム７２０１は、更に大きなネットワーク・ゲーミング共同体における参加者として動作することもできる。
【００７８】
図９は、モバイル・デバイス８３００の一実施形態のブロック図である。これは、図３における計算システム５０を実現するために用いることができる。モバイル・デバイスは、ラップトップ・コンピューター、ポケット・コンピューター、移動体電話機、パーソナル・ディジタル・アシスタント、およびワイヤレス受信／送信技術と統合されたハンドヘルド・メディア・デバイスを含むことができる。
【００７９】
モバイル・デバイス８３００は、１つ以上のプロセッサー８３１２およびメモリー８３１０を含む。メモリー８３１０は、アプリケーション８３３０および不揮発性ストレージ８３４０を含む。メモリー８３１０は、不揮発性メモリーおよび揮発性メモリーを含む、種々のタイプのメモリー記憶媒体のいずれでも可能である。モバイル・デバイスのオペレーティング・システムが、モバイル・デバイス８３００の異なる動作を扱い、発呼および着呼、テキスト・メッセージ送信、音声メールのチェック等というような動作のためのユーザー・インターフェースを内蔵することができる。アプリケーション８３３０は、写真および／またはビデオ用のカメラ・アプリケーション、住所録、カレンダー・アプリケーション、メディア・プレーヤー、インターネット・ブラウザー、ゲーム、警報アプリケーション、およびその他のアプリケーションというような、あらゆるプログラムの集合体が可能である。メモリー８３１０における不揮発性ストレージ８３４０は、音楽、写真、連絡先データー、予定データー、およびその他のファイルというようなデーターを収容することができる。
【００８０】
また、１つ以上のプロセッサー８３１２は、ＲＦ送信器／受信器８３０６とも通信する。一方、ＲＦ送信器／受信器８３０６は、アンテナ８３０２に結合される。１つ以上のプロセッサーは、更に、赤外線送信器／受信器８３０８、地球測位サービス受信器（ＧＰＳ）８３６５、および移動／方位センサー８３１４とも通信する。移動／方位センサー８３１４は、加速度計および／または磁力計を含むこともできる。ＲＦ送信器／受信器８３０６は、Bluetooth（登録商標）またはＩＥＥＥ８０２．１１規格というような種々のワイヤレス技術の規格にしたがってワイヤレス通信を可能にすることができる。加速度計は、モバイル・デバイスに組み込まれており、ユーザーにジェスチャーを通じてコマンドを入力させるインテリジェント・ユーザー・インターフェース・アプリケーション、モバイル・デバイスが回転させられたときにディスプレイを自動的に縦向きから横向きに変化させることができる方位アプリケーションというようなアプリケーションを可能にする。加速度計は、例えば、微小電気機械システム（ＭＥＭＳ）によって設けることができる。ＭＥＭＳは、半導体チップ上に構築された小型の機械的デバイス（マイクロメータ単位の寸法）である。加速方向、ならびに方位、振動、および衝撃を検知することができる。更に、１つ以上のプロセッサー８３１２は、リンガー／バイブレーター(ringer/vibrator)８３１６、ユーザー・インターフェース・キーパッド／スクリーン８３１８、スピーカー８３２０、マイクロフォン８３２２、カメラ８３２４、光センサー８３２６、および温度センサー８３２８とも通信する。ユーザー・インターフェース・キーパッド／スクリーンは、接触感応スクリーン・ディスプレイを含むこともできる。
【００８１】
１つ以上のプロセッサー８３１２は、ワイヤレス信号の送信および受信を制御する。送信モードの間、１つ以上のプロセッサー８３１２は、マイクロフォン８３２２からの音声信号、または他のデーター信号をＲＦ送信器／受信器８３０６に供給する。ＲＦ送信器／受信器８３０６は、この信号を、アンテナ８３０２を介して送信する。リンガー／バイブレーター８３１６は、着信呼、テキスト・メッセージ、カレンダー備忘録、目覚まし時計(alarm clock)備忘録、またはその他の通知をユーザーに知らせるために用いられる。受信モードの間、ＲＦ送信器／受信器８３０６は、音声信号またはデーター信号を遠隔局からアンテナ８３０２を介して受信する。受信音声信号は、スピーカー８３２０に供給され、一方他の受信データー信号はしかるべく処理される。
【００８２】
加えて、物理コネクター８３８８は、バッテリー８３０４を再充電するために、ＡＣアダプターまたは給電ドッキング・ステーションというような、外部電源にモバイル・デバイス８３００を接続するために用いることができる。また、物理コネクター８３８８は、外部計算デバイスへのデーター接続として用いることもできる。このデーター接続は、移動体デバイスのデーターを他のデバイス上にある計算データーと同期させるというような動作を考慮する。
【００８３】
図１０は、図３における計算環境５４のような、計算システム環境２２００の一実施形態のブロック図である。計算システム環境２２００は、コンピューター２２１０の形態とした汎用計算デバイスを含む。コンピューター２２１０のコンポーネントは、処理ユニット２２２０、システム・メモリー２２３０、およびシステム・バス２２２１を含むことができるが、これらに限定されるのではない。システム・バス２２２１は、システム・メモリー２２３０を含む種々のシステム・コンポーネントを処理ユニット２２２０に結合する。システム・バス２２２１は、メモリー・バス、周辺バス、および種々のバス・アーキテクチャーの内いずれかを用いるローカル・バスを含む、様々なタイプのバス構造の内いずれでもよい。一例として、そして限定ではなく、このようなアーキテクチャーは、業界標準アーキテクチャー（ＩＳＡ）バス、マイクロ・チャネル・アーキテクチャー（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ・エレクトロニクス標準連盟（ＶＥＳＡ）ローカル・バス、および周辺素子相互接続（ＰＣＩ）バスを含む。
【００８４】
コンピューター２２１０は、通例、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体は、コンピューター２２１０によってアクセスすることができるあらゆる入手可能な媒体とすることができ、揮発性および不揮発性双方の媒体、リムーバブルおよび非リムーバブル媒体を含む。一例として、そして限定ではなく、コンピューター読み取り可能媒体は、コンピューター記憶媒体を含むことができる。コンピューター記憶媒体は、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体を含み、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターというようないずれかの情報記憶方法または技術で実現される。コンピューター記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスク記憶デバイスまたはその他の磁気記憶デバイス、あるいは所望の情報を格納するために用いることができ、計算デバイス２２１０によってアクセスすることができる他のあらゆる媒体が含まれる。以上のいずれの組み合わせも、コンピューター読み取り可能記憶媒体の範囲に含まれてしかるべきである。
【００８５】
システム・メモリー２２３０は、リード・オンリー・メモリー（ＲＯＭ）２２３１およびランダム・アクセス・メモリー（ＲＡＭ）２２３２のような揮発性および／または不揮発性メモリーの形態をなすコンピューター記憶媒体を含む。基本入出力システム（ＢＩＯＳ）２２３３は、起動中のように、コンピューター２２１０内のエレメント間における情報転送を補助する基本的なルーチンを含み、通例ＲＯＭ２２３１内に格納されている。ＲＡＭ２２３２は、通例、処理ユニット２２２０が直ちにアクセス可能であるデーターおよび／またはプログラム・モジュール、および／または処理ユニット２２２０によって現在処理されているデーターおよび／またはプログラム・モジュールを含む。一例として、そして限定ではなく、図１０は、オペレーティング・システム２２３４、アプリケーション・プログラム２２３５、その他のプログラム・モジュール２２３６、およびプログラム・データー２２３７を示す。
【００８６】
また、コンピューター２２１０は、その他のリムーバブル／非リムーバブル揮発性／不揮発性コンピューター記憶媒体も含むことができる。一例として示すに過ぎないが、図１０は、非リムーバブル不揮発性磁気媒体からの読み取りおよびこれへの書き込みを行なうハード・ディスク・ドライブ２２４１、リムーバブル不揮発性磁気ディスク２２５２からの読み取りおよびこれへの書き込みを行なう磁気ディスク・ドライブ２２５１、ならびにＣＤ  ＲＯＭまたはその他の光媒体のようなリムーバブル不揮発性光ディスク２２５６からの読み取りおよびこれへの書き込みを行なう光ディスク・ドライブ２２５５を示す。本動作環境例において使用可能なその他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピューター記憶媒体には、磁気テープ・カセット、フラッシュ・メモリー・カード、ディジタル・バーサタイル・ディスク、ディジタル・ビデオ・テープ、ソリッド・ステートＲＡＭ、ソリッド・ステートＲＯＭ等が含まれるが、これらに限定されるのではない。ハード・ディスク・ドライブ２２４１は、インターフェース２２４０のような非リムーバブル・メモリー・インターフェースを介してシステム・バス２２２１に接続することができ、磁気ディスク・ドライブ２２５１および光ディスク・ドライブ２２５５は、通例、インターフェース２２５０のようなリムーバブル・メモリー・インターフェースによって、システム・バス２２２１に接続することができる。
【００８７】
先に論じ、図１０に示すドライブおよびそれらに付帯するコンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、およびコンピューター２２１０のその他のデーターを格納する。図１０では、例えば、ハード・ディスク・ドライブ２２４１は、オペレーティング・システム２２４４、アプリケーション・プログラム２２４５、その他のプログラム・モジュール２２４６、およびプログラム・データー２２４７を格納するように示されている。尚、これらの構成要素は、オペレーティング・システム２２３４、アプリケーション・プログラム２２３５、その他のプログラム・モジュール２２３６、およびプログラム・データー２２３７と同じであっても異なっていても可能であることを注記しておく。オペレーティング・システム２２４４、アプリケーション・プログラム２２４５、その他のプログラム・モジュール２２４６、およびプログラム・データー２２４７は、ここでは、少なくともこれらが異なるコピーであることを示すために、異なる番号が付けられる。ユーザーは、キーボード２２６２のような入力デバイス、および一般にマウス、トラックボールまたはタッチ・パッドと呼ばれるポインティング・デバイス２２６１によって、コマンドおよび情報をコンピューター２２１０に入力することができる。他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲーム・パッド、衛星ディッシュ、スキャナー等を含むことができる。これらおよびその他の入力デバイスは、多くの場合、ユーザー入力インターフェース２２６０を介して、処理ユニット２２２０に接続されている。ユーザー入力インターフェース２２６０は、システム・バスに結合されているが、パラレル・ポート、ゲーム・ポート、またはユニバーサル・シリアル・バス（ＵＳＢ）のようなその他のインターフェースおよびバス構造によって接続されてもよい。また、モニター２２９１またはその他の形式のディスプレイ・デバイスも、ビデオ・インターフェース２２９０のようなインターフェースを介して、システム・バス２２２１に接続されている。モニターに加えて、コンピューターは、スピーカー２２９７およびプリンター２２９６のような、その他の周辺出力装置も含むことができ、これらは出力周辺インターフェース２２９５を介して接続することができる。
【００８８】
コンピューター２２１０は、リモート・コンピューター２２８０のような１つ以上のリモート・コンピューターへの論理接続を用いて、ネットワーク接続環境において動作することもできる。リモート・コンピューター２２８０は、パーソナル・コンピューター、サーバー、ルーター、ネットワークＰＣ、ピア・デバイス、またはその他の共通ネットワーク・ノードとすることができ、通例、コンピューター２２１０に関して先に説明したエレメントの多くまたは全てを含むが、図１０にはメモリー装置２２８１のみを示す。図１０に示す論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）２２７１およびワイド・エリア・ネットワーク（ＷＡＮ）２２７３、ならびに他のネットワークも含むことができる。このようなネットワーク環境は、事務所、企業規模のコンピューター・ネットワーク、イントラネットおよびインターネットにおいては、極一般的である。
【００８９】
ＬＡＮネットワーク接続環境で用いる場合、コンピューター２２１０は、ネットワーク・インターフェース２２７０またはアダプターを介して、ＬＡＮ２２７１に接続される。ＷＡＮネットワーク接続環境で用いる場合、コンピューター２２１０は、通例、モデム２２７２、またはインターネットのようなＷＡＮ２２７３を通じて通信を確立するその他の手段を含む。モデム２２７２は、内蔵型でも外付けでもよく、ユーザー入力インターフェース２２６０またはその他のしかるべきメカニズムを介してシステム・バス２２２１に接続することができる。ネットワーク接続環境では、コンピューター２２１０に関して図示したプログラム・モジュール、またはその一部は、リモート・メモリー記憶装置に格納することもできる。一例として、そして限定ではなく、図１０は、リモート・アプリケーション・プログラム２２８５がメモリー・デバイス２２８１に存在するものとして示している。尚、図示のネットワーク接続は一例であり、コンピューター間で通信リンクを確立する他の手段も使用可能であることは認められよう。
【００９０】
以上に開示した技術は、多数の他の汎用または特殊目的計算システム環境または構成とでも動作する。本技術と共に使用するのに適している周知の計算システム、環境、および／または構成の例には、パーソナル・コンピューター、サーバー・コンピューター、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサー・システム、マイクロプロセッサー・ベース・システム、セット・トップ・ボックス、プログラマブル消費者用電子機器、ネットワークＰＣ、ミニコンピューター、メインフレーム・コンピューター、以上のシステムまたはデバイスの内いずれを含む分散型計算環境等も含まれる。
【００９１】
開示した技術は、コンピューターによって実行される、プログラム・モジュールのような、コンピューター実行可能命令という一般的なコンテキストで説明することができる。一般に、本明細書において記載されるようなソフトウェアおよびプログラム・モジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データー構造、および他のタイプの構造等を含み、特定のタスクを実行するか、または特定の抽象データー・タイプを実現する。ハードウェアまたはハードウェアおよびソフトウェアの組み合わせを、本明細書において説明したように、ソフトウェア・モジュールの代わりに使用してもよい。
【００９２】
また、開示した技術は、分散型計算環境において実施することもでき、この場合、タスクは、通信ネットワークを通じてリンクされる遠隔処理デバイスによって実行される。分散型計算環境では、プログラム・モジュールは、メモリー・デバイスを含むローカルおよびリモート双方のコンピューター記憶媒体に配置されてもよい。
【００９３】
本文書に限って言うと、明細書における「実施形態」、「一実施形態」、「一部の実施形態」(some embodiments)、または「他の実施形態」に対する引用は、記載された異なる実施形態に対して使用され、必ずしも同じ実施形態に言及するとは限らない。
【００９４】
本文書に限って言うと、接続は直接接続または間接接続（例えば、他の部分を介する）とすることができる。
本文書に限って言うと、「１組の」物体という用語は、当該物体の内１つ以上の「１組」を指す。
【００９５】
以上、構造的特徴および／または方法論的動作に特定的な文言で主題について説明したが、特許請求の範囲において定められる主題は、以上で説明した具体的な特徴や動作には必ずしも限定されないことは言うまでもない。逆に、以上で説明した具体的な特徴および動作は、特許請求の範囲を実現する形態例として開示したまでである。
【図１】
2014533347.tif 000003
【図２】
2014533347.tif 000004
【図３】
2014533347.tif 000005
【図４Ａ】
2014533347.tif 000006
【図４Ｂ】
2014533347.tif 000007
【図５Ａ】
2014533347.tif 000008
【図５Ｂ】
2014533347.tif 000009
【図６Ａ】
2014533347.tif 000010
【図６Ｂ】
2014533347.tif 000011
【図６Ｃ】
2014533347.tif 000012
【図６Ｄ】
2014533347.tif 000013
【図６Ｅ】
2014533347.tif 000014
【図７Ａ】
2014533347.tif 000015
【図７Ｂ】
2014533347.tif 000016
【図７Ｃ】
2014533347.tif 000017
【図８】
2014533347.tif 000018
【図９】
2014533347.tif 000019
【図１０】
2014533347.tif 000020
【国際調査報告】
2014533347.tif 000021
2014533347.tif 000022