(57)【要約】  画像キャプチャ装置の画像キャプチャ設定を調整する方法が提供される。この方法は、最初にシーンを特定する。次に、シーンの画像がキャプチャされる。この方法では、シーンの画像を定義しているデータからシーンの深度マスクを生成する。次に、キャプチャされた画像の前景領域及び背景領域の一方又は両方内の物体に対応するピクセル値が、深度マスクのビット値に基づいて調整される。画像キャプチャ装置及びシステムが提供される。
2007518357.tif 000002
【特許請求の範囲】
【請求項１】
画像キャプチャ装置によってキャプチャされるシーン内の前景の物体と背景の物体とを判別する方法であって、
光源から前記シーンの物体に向けて光線を射出するステップと、
前記光源から出て反射された光が前記画像キャプチャ装置のセンサに入るように絞りカバーを開くステップと、
前記光が進む最大距離に対応する所定の設定時間後に前記絞りカバーを閉じるステップと、
前記設定時間の間にキャプチャされた光に基づいて、前記シーンの前景領域内の物体を特定する深度マスクを生成するステップと、
前記シーンの後続の対応する画像をキャプチャする前に、前記深度マスクのビット値に従って画像キャプチャ装置のパラメータを調整するステップと、を含む、
方法。
【請求項２】
前記画像キャプチャ装置のメモリに前記深度マスクを記憶するステップ、を更に含む、
請求項１記載の方法。
【請求項３】
前記光源は赤外光を射出するように構成されている、
請求項１記載の方法。
【請求項４】
前記画像キャプチャ装置のセンサに入るように絞りカバーを開く前記ステップは、
前記前景領域内の前記物体から反射光を受け取るステップを含む、
請求項１記載の方法。
【請求項５】
前記設定時間の間にキャプチャされた光に基づいて、前記シーンの前景領域内の物体を特定する深度マスクを生成する前記ステップは、
第１のビット値により前記前景領域内の物体を特定するステップと、
第２のビット値により背景領域内の物体を特定するステップと、を含む、
請求項１記載の方法。
【請求項６】
前記シーンの後続の対応する画像をキャプチャする前に、前記深度マスクのビット値に従って画像キャプチャ装置のパラメータを調整する前記ステップは、
前記深度マスクに基づいて最適光量を決めるステップと、
前記最適光量が前記画像キャプチャ装置に入るように前記絞りカバーを調整するステップと、を含む、
請求項１記載の方法。
【請求項７】
前記画像キャプチャ装置のパラメータは、焦点、輝度、露出、及びゲインからなる群から選択される、
請求項１記載の方法。
【請求項８】
光源から前記シーンの物体に向けて光線を射出する前記ステップは、
前記光源から赤外光をパルスとして送出するステップを含む、
請求項１記載の方法。
【請求項９】
画像キャプチャ装置の画像キャプチャ設定を調整する方法であって、
シーンを特定するステップと、
前記シーンの画像をキャプチャするステップと、
前記シーンの前記画像を定義するデータから前記シーンの深度マスクを生成するステップと、
前記キャプチャされた画像の前景領域及び背景領域の一方又は両方の物体に対応するピクセル値を調整するステップと、を含む、
方法。
【請求項１０】
前記シーンの前記画像を定義するデータから前記シーンの深度マスクを生成する前記ステップは、
前記シーンの前記前景領域と背景領域とを分割するステップを含む、
請求項９記載の方法。
【請求項１１】
前記シーンの前記画像を定義している前記データは、ピクセル毎に距離情報が対応付けられたピクセルデータを含む、
請求項９記載の方法。
【請求項１２】
前記深度マスクのビット値に基づいて、前記キャプチャされた画像の前景領域及び背景領域の一方又は両方の物体に対応するピクセル値を調整する前記ステップは、
前記前景領域に対応するピクセル値を、前記背景領域に対応するピクセル値とは独立して調整するステップを含む、
請求項９記載の方法。
【請求項１３】
前記画像キャプチャ装置は、デジタルカメラ、ウェブカム、及びカムコーダからなる群から選択される、
請求項９記載の方法。
【請求項１４】
調整されたピクセル値を用いて前記シーンの前記画像の一部を表示するステップを更に含む、
請求項９記載の方法。
【請求項１５】
前記シーンの前記画像の前記一部は、インタラクティブなゲームアプリケーションに用いる参加者の画像である、
請求項１４記載の方法。
【請求項１６】
前記キャプチャされた画像の前景領域及び背景領域の一方又は両方の物体に対応するピクセル値を調整する前記ステップは、
前記深度マスクのビット値に従って前記ピクセル値を調整するステップを含む、
請求項９記載の方法。
【請求項１７】
シーンの画像を提供するように構成された画像キャプチャ装置であって、
前記シーンに対応付けられ、前記シーン内の前景の物体と背景の物体とを判別するように構成された深度マスクを提供するように構成された深度ロジックと、
前記深度マスクの対応するビット値に基づいて前記画像に関連する特性を調整するように構成された画像キャプチャロジックと、を備え、
前記ビット値は、ピクセル毎に前記前景の物体と前記背景の物体のいずれに対応するかを定義する、
画像キャプチャ装置。
【請求項１８】
前記深度マスクは、前記前景の物体を表すために割り当てられる第１の論理値と、前記背景の物体を表すために割り当てられる第２の論理値とを有するビットマスクである、
請求項１７記載の画像キャプチャ装置。
【請求項１９】
前記深度ロジックと通信するセンサを更に有して、前記センサは前記前景の物体の１つから反射された光信号を受信するように構成されており、前記光信号の前記受信は、前記前景の物体のうちの１つに対応する位置を示す、
請求項１７記載の画像キャプチャ装置。
【請求項２０】
各ロジック要素は、ハードウェア及びソフトウェアの一方、或いはハードウェアとソフトウェアとを組合せたものである、
請求項１７記載の画像キャプチャ装置。
【請求項２１】
前記画像キャプチャ装置はビデオキャプチャ装置である、
請求項１７記載の画像キャプチャ装置。
【請求項２２】
前記深度ロジックは、前記ビデオキャプチャ装置によってキャプチャされた一連のビデオフレームに深度マスクを周期的に提供するように更に構成されている、
請求項２１記載の画像キャプチャ装置。
【請求項２３】
前記特性は、露出、ゲイン、焦点、及び輝度からなる群から選択される、
請求項１７記載の画像キャプチャ装置。
【請求項２４】
前記画像キャプチャロジックは、前記シーンの画像データの各ピクセルを調整するように更に構成されている、
請求項１７記載の画像キャプチャ装置。
【請求項２５】
コンピューティング装置と、
前記コンピューティング装置と通信して、シーンの画像を表示するように構成されたディスプレイ画面と、
前記コンピューティング装置と通信して、前記ディスプレイ画面に提示するために、シーンの画像データを前記コンピューティング装置に提供するように構成されたビデオキャプチャ装置と、を備えており、
前記ビデオキャプチャ装置は、
前記シーンに対応付けられ、前記シーン内の前景の物体と背景の物体とを判別するように構成された深度マスクを提供するように構成された深度ロジックと、
深度情報に基づいて前記画像データの各ピクセルに関連する特性を調整するように構成された画像キャプチャロジックと、を備える、
システム。
【請求項２６】
前記コンピューティング装置はゲームコンソールである、
請求項２５記載のシステム。
【請求項２７】
前記深度ロジックは、前記ビデオキャプチャ装置によってキャプチャされた一連のビデオフレームに１つの深度マスクを周期的に提供するように更に構成されている、
請求項２５記載のシステム。
【請求項２８】
前記特性は、露出、ゲイン、焦点、及び輝度からなる群から選択される、
請求項２５記載のシステム。
【請求項２９】
前記ビデオキャプチャ装置はウェブカムである、
請求項２５記載のシステム。
【請求項３０】
前記画像データは各ピクセルのデータを定義しており、各ピクセルの前記データは距離情報を含む、
請求項２５記載のシステム。
【請求項３１】
前記シーンの画像データは人物の画像を含み、前記人物の前記画像は、ビデオゲームとの対話のために該ビデオゲームに取り込まれる、
請求項２６記載のシステム。
【請求項３２】
前記深度情報は深度マスクから得られ、前記深度マスクは、対応するピクセルに対応する物体と前記ビデオキャプチャ装置の間の相対距離を定義している、
請求項２５記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、画像キャプチャ技術に関し、より詳細には、深度情報により可能となる調整によって、シーンのキャプチャ画像を改善することに関する。
【背景技術】
【０００２】
画像キャプチャ装置は、カメラやビデオをベースとしたものであっても、一般にシーンで最も暗い部分と最も明るい部分との差を示す尺度であるコントラスト比が低い。代表的なシーンの１つに、人物が日陰にいて、背景に明るい日光が当っているシーンがある。画像キャプチャ装置の露出を背景に合わせると、日陰になっている人物の顔の細部がほとんど或いはまったくわからなくなってしまう。
【０００３】
キャプチャ装置の輝度レベルを設定するために、自動露出機能とオートゲイン機能が一般に用いられる。このような機能は、シーン全体を撮り、その平均をとって、所定の露出又はゲインの設定に適用することが多い。平均をとる方法は、画像と色数に非常に富むシーンでは有効であるが、変化に乏しいシーンではすぐに機能しなくなる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
現行のキャプチャ装置のコントラスト比の低さを解決する試みの１つに、逆光機能を用いる方法がある。例えば、日光などの明るい光源が背景に存在する場合、逆光補償は、シーンの中央をとり、その領域を平均として使用する。これにより、シーンの中央を明るくし、端の明るい日光を褪せさせる（washed out）（すなわち暗くする）ことができる。この逆光補償の短所は、明るくする物体がシーンの中央になければならない点にある。更に、平均の計算に、実際の物体自体ではなくシーンの一領域が使用されることで、表示に人為的な影響（artifacts）が生じてしまう可能性がある。また、逆光補償は、シーンの異なる領域に複数の前景画像が存在する場合は解決策とならない。更に、逆光補償によって前景の物体が明るくなるが、これと引き替えに背景の細部が失われてしまう。このためにユーザは、前景の細部と背景の細部のいずれをとるかを選択しなければならない。上記の欠点の幾つかは、インタラクティブなエンターテイメントアプリケーションに用いることができるビデオキャプチャ装置にも及ぶことがある。例えば、ビデオゲームにユーザの画像を取り込む際に、明るい光源が上記のような悪影響を表示画像に及ぼす可能性がある。この悪影響は、画像の表示画質を低下させることに加え、画像の物体のトラッキングの妨げとなる可能性がある。
【０００５】
したがって、従来技術の課題を解決するための、前景と背景の両方に対して、露出／ゲイン及びその他の関連パラメータが調整された画像を生成するシステム及び方法を提供することが求められている。
【課題を解決するための手段】
【０００６】
おおまかにいうと本発明は、前景画像及び背景画像等のシーンの一部の調整を可能にする方法及びシステムを提供することによって、このようなニーズを満たす。これらにおいては、深度マスクにより前景画像と背景画像とが識別される。本発明は、プロセス、システム又は装置など、多くの方法で実装することができる点を理解されたい。以下に本発明のいくつかの発明の実施形態を記載する。
【０００７】
一実施形態において、画像キャプチャ装置によってキャプチャされるシーン内の前景の物体と背景の物体とを判別する方法が提供される。この方法は、光源から前記シーンの物体に向けて光線を射出するステップで始まる。この方法は、前記光源から出て反射された光が前記画像キャプチャ装置のセンサに入るように絞りカバーを開くステップを含む。前記光が進む最大距離に対応する所定の設定時間後に前記絞りカバーが閉じられる。次に、前記設定時間の間にキャプチャされた光に基づいて、前記シーンの前景領域内の物体を特定するための深度マスクが生成される。次に、前記シーンの後続の対応する画像をキャプチャする前に、前記深度マスクのビット値に従って画像キャプチャ装置のパラメータが調整される。
【０００８】
別の実施形態では、画像キャプチャ装置の画像キャプチャ設定を調整する方法が提供される。この方法は、シーンを特定するステップで始まる。次に、前記シーンの画像がキャプチャされる。この方法は、前記シーンの前記画像を定義するデータから前記シーンの深度マスクを生成するステップを含む。次に、前記キャプチャされた画像の前景領域及び背景領域の一方又は両方の物体に対応するピクセル値が、深度マスクのビット値に基づいて調整される。
【０００９】
更に別の実施形態では、シーンの画像をキャプチャするように構成された画像キャプチャ装置が提供される。この画像キャプチャ装置は、前記シーンに対応付けられた深度マスクを提供するように構成された深度ロジックを有する。前記深度マスクは、前記シーン内の前景の物体と背景の物体とを判別するように構成されている。上記画像キャプチャ装置は、前記深度マスクの対応するビット値に基づいて前記画像に関連する特性を調整するように構成された画像キャプチャロジックも有する。前記ビット値は、ピクセル毎に前記前景の物体と前記背景の物体のいずれに対応するかを決定する。
【００１０】
更に別の実施形態では、システムが提供される。このシステムは、コンピューティング装置と、このコンピューティング装置と通信するディスプレイ画面とを有する。前記ディスプレイ画面はシーンの画像を表示するように構成されている。前記コンピューティング装置と通信するビデオキャプチャ装置が含まれる。前記ビデオキャプチャ装置は、前記ディスプレイ画面に提示するためのシーンの画像データを、前記コンピューティング装置に提供する。前記ビデオキャプチャ装置は、深度ロジックと画像キャプチャロジックとを有する。前記深度ロジックは、前記シーンに関連付けられた深度マスクを提供するように構成されている。前記深度マスクは、前記シーン内の前景の物体と背景の物体とを判別するように構成されている。前記画像キャプチャロジックは、前記深度マスクの対応するデータに基づいて前記画像データの各ピクセルに関連する特性を調整するように構成されている。前記深度マスクの前記データは、前記対応するピクセルに関連する物体と前記ビデオキャプチャ装置の間の相対距離を決定する。
【００１１】
本発明の他の態様及び利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
【００１２】
本発明とその更なる利点とは、添付の図面を参照して以下の記載をよめば、よりよく理解できるであろう。
【発明を実施するための最良の形態】
【００１３】
シーンの前景の物体と背景の物体とを判別して、物体が前景と背景のいずれに存在するかに基づいて、画像特性又はビデオ特性を調整するためのシステム及び方法に関して、発明が開示される。別の実施形態では、画像特性又はビデオ特性が、物体と画像キャプチャ装置間の相対距離に基づいて調整されうる。以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部又はすべてを用いなくとも本発明を実施し得ることは、当業者にとって自明である。場合によっては、本発明が不必要にわかりづらくならないように、公知のプロセス操作については詳しく記載しない。
【００１４】
本発明の実施形態は、シーンの前景の物体か背景の物体かの選択からユーザを排除する方法及びシステムを提供する。深度情報を用いることにより、シーンが、深度の異なる領域に分割されうる。更に、深度情報により、画像の正確な輪郭の定義が可能となり、これにより、露出／ゲイン／輝度／ゲイン、及び焦点などの画像キャプチャ装置のパラメータを制御するための固有かつ高精度の機構が提供される。深度情報に基づいて分割することにより、デジタルキャプチャ装置のピクセル領域毎に異なるパラメータ値を割り当てることが可能となる。このため、後述する実施形態により、前景と背景との両方について露出／ゲインが適切に調整された画像が実現される。深度に基づく分割は、後述する深度機能を有する画像キャプチャ装置或いはタイムオブフライトカットオフ（time of flight cut-off）技術による光パルス／フラッシュを使用して生成することが可能な、前景／背景の深度マスクによって行われる。
【００１５】
図１は、本発明の一実施形態による画像キャプチャ装置によってキャプチャされ、その後表示される前景の物体と背景の物体とが存在するシーンを示す簡略模式図である。画像キャプチャ装置１００は、前景の人物１０２と背景の景色１０４を含むシーンの画像をキャプチャするように構成されている。シーンのキャプチャ画像は、次いで表示パネル１０６に表示される。表示パネル１０６は、画像キャプチャ装置がデジタルカメラ又はカムコーダの場合には、画像キャプチャ装置１００に固定された、例えば液晶ディスプレイ（ＬＣＤ）パネル等の表示パネルである。その他に、画像キャプチャ装置がコンピューティング装置（ゲームコンソール等）と併用されるウェブカムの場合には、表示パネル１０６が画像キャプチャ装置１００と離れていてもよく、例えばテレビ画面であってもよい。下記に詳述するように、前景画像１０２と背景の景色１０４は、それぞれ前景又は背景のどこに位置していても、対応する画像特性又はビデオ特性の補償を独立して受けることができる。図１には前景画像１０２が１つしか図示されていないが、複数の前景画像がキャプチャされてもよい点に留意されたい。複数の前景画像がある場合、それぞれの画像特性又はビデオ特性が、深度情報に基づいて独立して調整されうる。本明細書で用いられる、“画像特性又はビデオ特性”とは、画像表示のために調整することができる輝度、露出、ゲイン、焦点、及び他の適切な特性を指しうる。画像特性又はビデオ特性は、単に“特性”と呼ばれ、本明細書に記載の実施形態を用いて、画像データの表示品質を改良する固有の画像データに対応することがあるという点に留意すべきである。更に画像キャプチャ装置１００は、デジタルスチルカメラ、一眼レフカメラ、ウェブカム又はカムコーダ等のビデオキャプチャ装置、又は他の適切な画像キャプチャ装置であってよい。
【００１６】
図１の画像キャプチャ装置１００は、後で詳述するように、物体が前景領域と背景領域とのいずれに存在するかを特定するために、マスクを生成、利用することができる。このマスクは、その後、前景領域及び背景領域内の物体の細部を表示するために、前景領域、背景領域の両方の補償に使用されうる。例えば、シーンにおいて太陽１０８等の明るい光源の影響を減らす逆光補償を用いると、前景の物体（すなわち物体１０２）の細部が定義される一方、背景画像が暗くされる（washed out）。表示パネル１０６に太陽１０８が図示されているが、これは例示のために示した過ぎず、シーンは、太陽からの光によって悪影響を及ぼす、太陽の実際の画像を含む必要がない。逆光補償を行わなければ、前景の物体が暗くなり、生成される表示内でその細部が失われてしまう。下記で更に詳しく説明する深度マスク機能を用いると、前景及び背景の正確な位置と、シーン内の背景の物体を決定することができる。対応するピクセル値を操作して生成される画像を改善するために、この位置が、生成されるシーンの画像に変換されうる。更に、シーンに最適な設定のために、画像キャプチャ装置の設定（生成画像の画像特性又はビデオ特性に影響する機械的設定及び電気的設定等）が調整されうる。
【００１７】
画像キャプチャ装置１００がウェブカム等のビデオキャプチャ装置の場合には、画像表示を改良又は改善するために、マスクが提供する深度情報によって可能となった改良された機能が、キャプチャされたビデオフレームに適用されうる。例えば、ビデオキャプチャ装置が、後にインタラクティブなエンタテインメントアプリケーションに取り込まれる物体又は人物のトラッキングに使用される場合、マスクを適用して、明るい光源の下で物体又は人物をトラッキングする際の不具合を回避することができる。本願の譲受人が所有するＥＹＥＴＯＹ（登録商標）アプリケーションなど、家庭用のビデオゲームアプリケーションでは、トラッキングされてビデオゲームに取り込まれるユーザが窓の前にいることがある。図４を参照して更に詳細に後述するように、明るい光源からの光が窓から入ってくる場合、ユーザが暗くなり（washed out）、窓にキャプチャ装置の焦点が合うことがある。この場合、ユーザがキャプチャ領域の中央にいなければ、逆光補償技術は効果がないという点に留意すべきである。
【００１８】
図２は、本発明の一実施形態による、前景の物体と背景の物体との判別に用いる深度マスクを生成する様子を示す簡略模式図である。“深度マスク”及び“マスク”の文言は、本明細書中で置き換え可能に用いられ、複数の深度レイヤが含まれてもよい点に留意すべきである。例えば、前景と背景は２つの深度レイヤとなるが、シーンが３以上の深度レイヤに分割されてもよい。画像キャプチャ装置１００は、光源１１０を備える。一実施形態では、光源１１０がバースト又はパルスの光を送出し、これが前景の物体１１４、１１６によって反射される。この反射光は、画像キャプチャ装置１００のレンズ１１２の後方にあるセンサによって最終的にキャプチャされる。当然、光源１１０はカメラによく用いられるフラッシュであってもよい。センサは、画像キャプチャ装置１００の任意の場所に配置することができ、所定の時間の間、シーン内の前景の物体から反射光を受け取ることができるものであることを当業者は理解するであろう。
【００１９】
光速は公知であるため、図２の画像キャプチャ装置１００は、光源１１０の光のバーストをパルスとして送出し、前景の物体からの反射光を受光できるように、画像キャプチャ装置１００の絞りを開くように構成されうる。絞りは、予め定められた所定の時間の間、開けておかれる。この予め定められた所定の時間は、光源１１０から送出されて反射されて画像キャプチャ装置１００に戻る光が、定められた最長距離を通るように決められる。画像キャプチャ装置１００からの最大距離は線１１７で示される。このため、線１１７より遠くにある反射源によって反射された光は、この反射光が画像キャプチャ装置のセンサに到達する前に絞りが閉じられるため、画像キャプチャ装置によって受光されなくなる。当然、光源の光のバーストにより発生したものではない周辺光は、受信光から差し引かれる。
【００２０】
タイムオブフライト（time of flight）によって前景の物体を決定するために、様々な技術を用いることができる。一つの技術に、周辺光には存在しない光の周波数を用いるものがある。別の実施形態では、発光しない状態でシーンの画像を取得して、次に光源から発光させた状態で画像を取得する。光源が発する光は、発光させたときの画像から、光源から光が発せられない、すなわち発光させないときの画像を差し引くことによって求めることができる。更に別の実施形態では、各ピクセルに当るべき光量のしきい値を定めることによって、光源からの反射光量を、周辺光と見分けることができる。このため、このしきい値未満の値は、装置から出た光ではないとみなされ、しきい値以上の値は、キャプチャ装置の光源から出た光であるとみなされる。更に別の実施形態では変調光源を使用する。この場合、光源からの光が変調形式（正弦波など）に形成される。選択される周波数は、光源を出てから装置に戻るまでの全飛程をカバーする変調期間が、複数存在しない範囲によって決まる。
【００２１】
一実施形態では、最大距離は画像キャプチャ装置から４メートルに定義される。このデータから、深度マスクが生成されて画像キャプチャ装置のメモリに記憶される。この深度マスクは、これに従って前景の物体及び背景の物体の画像特性又はビデオ特性を補償するために、同時或いは続いてキャプチャされるシーンの画像と共に用いられうる。光源１１０が射出する光は、任意の適切な波長の光であってもよいことは、当業者にとって明らかであろう。一実施形態では、赤外光が光源１１０から射出される。
【００２２】
別の実施形態では、反射光によって定義される深度マスクはバイナリのビットマスクである。この場合、マスク内の、前景画像に対応する位置に第１の論理値が割り当てられ、背景画像に対応する位置に第２の論理値が割り当てられる。このため、画像キャプチャ装置１００がデジタル装置の場合には、深度マスクと対応付けられた画像のピクセルデータが操作されて、前景画像及び背景画像の輝度が調整される。画像キャプチャ装置が従来のカメラの場合には、前景画像と背景画像が、光のバーストを発する上記の方法によって検出されうる。シーンの画像を取得する前に、前景画像及び背景画像の検出結果に基づいて、露出、ゲイン、輝度、焦点等のカメラの設定が調整されうる。上記のように、絞りのサイズが変更されて、画像キャプチャ装置が受け取る光量が調整されうる。当然、他の機械的設定及び電気的設定が生成画像の品質に影響する場合には、その機械的設定及び電気的設定が調整されうる。このように、前景か背景かのいずれかを選択するのではなく、前景と背景との両方のプロパティが調整されうる。
【００２３】
図３Ａ、３Ｂは、本発明の一実施形態による、前景の物体の定義により可能となった詳細の量を示す簡略模式図である。図３Ａは、矩形領域１２２によって定義された前景の物体を表示しているディスプレイ画面１２０を示す。図３Ｂは前景の物体１２４を表示しているディスプレイ画面１２０を示しており、この例では、前景画像の正確な輪郭をキャプチャするために本明細書に記載のようにマスクが定義されている。すなわち現行のオートフォーカス、オートゲイン、逆光補償の各技術では、画像キャプチャ装置が対象とするシーンの中央が、通常は領域として表され、画像の輪郭を正確に得ることができない。このため、図３Ａに示すように、矩形領域１２２には前景の物体の他に、別の画像データも含まれる。更に、前景の物体が画像の中央の領域に存在しなければならず、外れている場合には、オートフォーカス、オートゲイン、又は逆光補償が機能しなくなる。これに対して深度マスクは、シーン内の位置に関係なく、どのような前景の物体でもキャプチャする。更に、前景の物体は、他の画像データを含まない形でキャプチャされる。上記のように、デジタル装置では、どのような前景の物体の画像特性又はビデオ特性も、ピクセル値を調整することによって操作することができる。従来のフィルムカメラの場合、ゲイン、露出、焦点、及び輝度を、深度マスクに対応して機械的又は電気的に調整することによって操作することができる。
【００２４】
図４は、本発明の一実施形態による、背景画像及び前景画像を定義するために生成されたマスクにより改善されたキャプチャ画像を示す簡略模式図である。ここで画像シーン１２８は、参加者１３０がインタラクティブなゲームアプリケーションに取り込まれる場合に、このインタラクティブなゲームアプリケーションのために、ビデオカム又はウェブカム等の画像キャプチャ装置によってキャプチャされるシーンでありえる。代表的なインタラクティブゲームアプリケーションに、ＥＹＥＴＯＹ（登録商標）インタラクティブゲームアプリケーションがある。ここで、参加者１３０は、ウェブカム又は他の適切なビデオキャプチャ装置の前に立っている。参加者１３０の背後に窓１３２がある。窓１３２から明るい光が差し込んでいる場合に、参加者１３０が画像キャプチャ装置によってキャプチャされて生成された画像が暗くなるという点に留意すべきである。ユーザのトラッキングが重要なインタラクティブなビデオゲームアプリケーションでは、明るい光のためにユーザの画像が暗くなると、トラッキングが困難になる。このため、ビデオカムが本明細書に記載の実施形態を含む場合、ユーザのトラッキングがより容易になる。すなわち、上記のように生成されたマスクを使用して、ピクセル値を操作して輝度を下げることができる。
【００２５】
図５は、本発明の一実施形態による、ユーザをより効果的にトラッキングするために生成されたマスクを利用する、インタラクティブなエンタテインメントシステムの簡略模式図である。ここで画像キャプチャ装置１００は、ユーザの画像がディスプレイ画面１３６に表示されるように、ユーザ１３４の画像をキャプチャするように構成される。画像キャプチャ装置１００はコンピューティング装置１３８と通信しており、コンピューティング装置１３８はディスプレイ画面１３６と通信している。図からわかるように、ユーザ１３４の画像１３５がディスプレイ画面１３６に表示されている。このためユーザ１３４が移動すると、この移動が画像キャプチャ装置１００によってキャプチャされて、エンタテインメントアプリケーションと対話するためにディスプレイ画面１３６に表示される。上記のように、画像キャプチャ装置は、窓１３２から入ってくる明るい光を補償するように構成されている。
【００２６】
引き続き図５を参照すると、画像キャプチャ装置１００はビデオキャプチャ装置である。ここで、各ビデオフレームに対応するピクセルデータが、対応する深度マスクに従って調整されうる。一実施形態では、深度マスクがビデオフレーム毎に生成される。別の実施形態では、深度マスクがｘ個のフレーム毎に生成される（ｘは任意の整数でありえる）。本実施形態では、マスクと対応付けられていないフレームについては、マスクと対応付けられている直近のフレームの画像特性又はビデオ特性が適用される。このため、新しいマスクが生成されるまで、一定数のフレームについて画像特性又はビデオ特性が固定される。本明細書に記載の機能の処理がコンピューティング装置１３８のプロセッサによって実行されうるということは、当業者にとって明らかであろう。しかし、深度マスクは、画像キャプチャ装置１００によって生成され、画像キャプチャ装置のメモリに記憶されてもよい。当然、画像キャプチャ装置が、深度マスクを生成し、画像特性又はビデオ特性を調整したり装置のパラメータを調整する機能を実行するマイクロプロセッサを備えていてもよい。
【００２７】
図５の画像キャプチャ装置１００は、図２を参照して記載した技術によってマスクを生成するが、別の実施形態として、画像キャプチャ装置１００が、３ＤＶ  ＳＹＳＴＥＭ社のＺＣＡＭ（登録商標）、又はＣＡＮＥＳＴＡ（登録商標）社から商業的に入手可能な同様の製品などの深度キャプチャロジックを備えていてもよい。深度キャプチャロジックは、本明細書に記載のように用いられる深度マスクを生成するために、シーン内の各ピクセルの深度値をキャプチャするイメージセンサを備える。図５には１人のユーザ１３４が図示されているが、本明細書に記載の実施形態において複数人のユーザが取り込まれてもよいという点に留意されたい。深度マスクにより、前景の物体と背景の物体の両方の画像特性又はビデオ特性の調整が可能となるため、ユーザ１３４が、画像キャプチャ装置１００のために、キャプチャ領域の中央或いは他の特定の場所にいる必要がなくなる。図５に示すシステムの一例に、上記のＥＹＥＴＯＹ（登録商標）システムがあるという点に更に留意すべきである。
【００２８】
図６は、本発明の一実施形態よる画像キャプチャ装置の簡略模式図である。画像キャプチャ装置１００は、深度ロジック１４０、画像キャプチャ装置ロジック１４２、及びメモリ１４４を備えており、これらはすべて相互に通信する。本明細書に記載のように、深度ロジック１４０は、深度情報を用いて画像キャプチャ装置１００がキャプチャ画像を改善するためのマスクを生成するように構成された回路を備える。例えば、深度ロジック１４０は、画像シーン内の前景の物体と背景の物体とを判別するためにマスクを生成し、このマスクがメモリ１４４に記憶されうる。次に、画像キャプチャ装置ロジック１４２によってキャプチャされ処理された対応する画像のシーンが改善される。すなわち、深度マスクによって決定されるシーン内の物体が前景に存在するか背景に存在するかに応じて、特定の画像特性又はビデオ特性が、本明細書に記載のように操作される。一実施形態では、深度ロジック１４０は、ボタン１４１又はその他の適切な起動機構によって起動される。このためにユーザは、改善された画像を表現させるために深度ロジックを起動するか、或いは画像の表現を回避するかを選択することができる。
【００２９】
図７は、本発明において、前景画像と背景画像とを判別するように構成されたロジックを有する画像キャプチャ装置の別の簡略模式図である。画像キャプチャ装置１００はレンズ１５０を備え、その背後に電荷結合素子（ＣＣＤ）１５２が設けられる。深度ロジック１４０、マイクロプロセッサ（ＭＰＵ）１４８、及びメモリ１４４も備えられている。画像キャプチャ装置１００は表示パネル１５４を有する。画像キャプチャ装置１００は図７においてデジタルカメラとして示されているが、本発明がデジタルカメラに限定されないということは当業者にとって明らかであろう。各フレーム或いはｘ番目のフレームの画像特性又はビデオ特性を調整するために、深度ロジックモジュール１４０がビデオキャプチャ装置に備えられていてもよい。
【００３０】
図８は、本発明の一実施形態による、画像キャプチャ装置の画像キャプチャ設定を調整するための方法オペレーションを示すフローチャート図である。この方法は、シーンが特定される操作１６０で始まる。ここでは、画像キャプチャ装置を使用して、キャプチャ領域によって定義されるシーンが特定されうる。当然、画像キャプチャ装置はビデオキャプチャ装置であってもよい。次に、本方法は操作１６２に進み、前景領域と背景領域とに分割するためのシーンの深度マスクが生成される。一実施形態で深度マスクは、図２を参照して記載したように、光のパルスを発して、一定の距離内の物体からの反射をキャプチャすることによって生成される。ここで、光は赤外光でありえる。別の実施形態では、画像キャプチャ装置は、各ピクセルの深度値をキャプチャすることが可能な深度ロジックを備える。深度ロジックを有する代表的な画像キャプチャ装置に、上記のＺＣＡＭ（登録商標）がある。次に、本方法は操作１６４に進み、深度マスクに対応するシーンの画像がキャプチャされる。ＺＣＡＭ（登録商標）を用いた実施形態では、操作１６２と操作１６４が同時に実行される点に留意すべきである。次に、本方法は操作１６６に移動し、キャプチャ画像の前景領域、背景領域のいずれか、又は両方の物体のピクセル値が調整される。この調整は、上で定義した深度マスクに基づくものである。
【００３１】
例えば、深度マスクがビット値によって定義されてもよく、その場合、前景の物体に第１のビット値が割り当てられ、背景の物体に第２のビット値が割り当てられる。一実施形態では、調整の結果、前景の物体の輝度が上げられる一方、明るい光源が存在する背景の物体の輝度が下げられる。画像キャプチャ装置が、一眼レフ（ＳＬＲ）カメラ等のデジタル装置ではない場合、画像キャプチャ装置のパラメータが、ビットマスクによって特定された前景の物体及び背景の物体に基づいて、機械的又は電気的に調整されうる。この機械的又は電気的な調整には、特定の露光レベルに対応した絞りサイズの調整、特定の焦点レベルに対応したレンズの設定の調整等がある。別の実施形態では、画像データに含まれる深度情報（すなわち画像データの各ピクセルに対応付けられた距離情報）に従ってピクセル値が調整される。絞りのサイズは、機械的又は電子的に制御できることを当業者は認めるであろう。電子制御は、チップ上のセンサによって実行されうる。このため、各ピクセルが電子制御によって個々に調整される。
【００３２】
以上まとめると、シーンの対応する部分に対する深度マスクを生成することが可能な画像キャプチャ装置が提供される。本発明を、シーンの背景部分と前景部分（２レイヤ）に関して記載したが、本明細書に記載した実施形態は、任意の数のシーンのレイヤにも拡張することができるという点に留意すべきである。深度マスクにより、物体がシーンのどこに存在していても、画像の画像特性又はビデオ特性が選択的に調整されうる。更に、本明細書に記載したキャプチャ装置は、インタラクティブなエンタテインメントアプリケーションに改善された機能を実現する。例えば、ユーザがトラッキングされてその画像がビデオゲームに取り込まれるビデオゲームアプリケーションの場合、上記したキャプチャ装置により、ユーザのトラッキングの改善が実現される。ユーザは、キャプチャ領域のどこにでも自由に移動でき、中央の領域等の特定の領域に制約されることはない。更に、ユーザが明るい光源の前、例えば窓から日光が差し込む場所に移動しても、ユーザの画像の細部が失われることはない。ビデオキャプチャ装置の場合、調整が常に行われることのないように、フレームの間隔毎に調整が適用されてもよい。例えば、ユーザが短時間の間、体の前に黒い紙を掲げたときに、フレーム間隔の遅延により、ユーザが急に暗くなることがなくなる。また、ユーザが一時的に画像キャプチャ装置の視野を出てから戻って来たときに、シーンの調整と再調整が行われない。
【００３３】
上記の実施形態は、インタラクティブなエンタテインメント入力装置、すなわちＥＹＥＴＯＹ（登録商標）システムキャプチャ装置以外のシステムにも拡張することができるという点に留意すべきである。例えば、ビデオキャプチャ装置は、会議のための改良されたビデオ画像を提供するために、テレビ会議システムに使用されてもよい。ここでキャプチャ装置は、トラッキング目的に使用されなくてもよく、深度情報によって実現される画像特性又はビデオ特性の改善を目的としてもよい。
【００３４】
本発明は、コンピュータシステムに記憶されているデータに関わる、各種のコンピュータに実装された操作を使用し得る。これらの操作は、物理量の物理的操作を必要とする。この物理量は通常、記憶、転送、結合、比較等の操作が可能な電気信号又は磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定、又は比較等と呼ばれることが多い。
【００３５】
本発明の一部を構成する本明細書に記載された操作は、いずれも有用な機械的操作である。本発明は、これらの操作を実行するデバイス又は装置にも関係する。この装置は、所望の目的のために特別に構成されたものであっても、或いは汎用コンピュータで、そのコンピュータに記憶されているコンピュータプログラムによって選択的に動作若しくは構成されてもよい。特に、各種の汎用の機械を、本明細書の開示に従って記述したコンピュータプログラムと併用してもよく、或いは所望の操作を実行するために特化した機械を構成するほうが利便性が高いこともある。
【００３６】
上記に、本発明を明確に理解できるように本発明を多少詳細に記載したが、変更例又は変形例を実施可能であることは明らかである。したがって、本実施形態は例に過ぎず、限定を意図したものではなく、本発明は、本明細書に記載されている詳細な事項に限定されることはなく、明細書の範囲及びその均等物の範囲内で変更することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態による、画像キャプチャ装置によってキャプチャされ、その後表示される前景の物体と背景の物体とが存在するシーンを示す簡略模式図である。
【図２】本発明の一実施形態による、前景の物体と背景の物体との判別に用いる深度マスクの生成を示す簡略模式図である。
【図３Ａ】本発明の一実施形態による、前景の物体の定義により可能となった詳細の量を示す簡略模式図である。
【図３Ｂ】本発明の一実施形態による、前景の物体の定義により可能となった詳細の量を示す簡略模式図である。
【図４】本発明の一実施形態による、背景画像及び前景画像を定義するために生成されたマスクにより改善されたキャプチャ画像を示す簡略模式図である。
【図５】本発明の一実施形態による、ユーザをより効率的にトラッキングするためにマスク生成を利用するインタラクティブなエンタテインメントシステムの簡略模式図である。
【図６】本発明の一実施形態よる画像キャプチャ装置の簡略模式図である。
【図７】本発明による、前景画像と背景画像とを判別するように構成されたロジックを有する画像キャプチャ装置の別の簡略模式図である。
【図８】本発明の一実施形態による、画像キャプチャ装置の画像キャプチャ設定を調整するための方法オペレーションを示すフローチャート図である。
【図１】
2007518357.tif 000003
【図２】
2007518357.tif 000004
【図３Ａ】
2007518357.tif 000005
【図３Ｂ】
2007518357.tif 000006
【図４】
2007518357.tif 000007
【図５】
2007518357.tif 000008
【図６】
2007518357.tif 000009
【図７】
2007518357.tif 000010
【図８】
2007518357.tif 000011
【国際調査報告】
2007518357.tif 000012
2007518357.tif 000013
2007518357.tif 000014
2007518357.tif 000015