(57)【要約】撮影されたシーン内の要素に基づいてカメラのパラメータを調整するためのシステム及び方法が説明される。カメラが画像をキャプチャするフレーム・レートが、カメラの電力消費を改善するために、関心オブジェクトがカメラの視野内に現れるかどうかに基づいて調整され得る。露光時間が、取得されたカメラ・データの品質を向上させるために、カメラからオブジェクトまでの距離に基づいて設定され得る。
2015526927.tif 000002
【特許請求の範囲】
【請求項１】
デプス・カメラを用いて、１以上の奥行き画像を取得するステップと、
前記１以上の奥行き画像の内容を分析する分析ステップと、
前記分析に基づいて、前記デプス・カメラの１以上のパラメータを自動的に調整するステップと、
を含む、方法。
【請求項２】
前記１以上のパラメータは、フレーム・レートを含む、請求項１記載の方法。
【請求項３】
前記フレーム・レートは、前記デプス・カメラの利用可能な電力リソースに基づいて、さらに調整される、請求項２記載の方法。
【請求項４】
前記１以上のパラメータは、積分時間を含み、前記分析は、前記デプス・カメラから関心オブジェクトまでの距離を含む、請求項１記載の方法。
【請求項５】
前記積分時間は、前記１以上の奥行き画像内の振幅ピクセル値のファンクションを、ある範囲内に維持するために、さらに調整される、請求項４記載の方法。
【請求項６】
前記１以上のパラメータは、前記デプス・カメラの範囲を含む、請求項１記載の方法。
【請求項７】
ＲＧＢカメラの焦点及び被写界深度を調整するステップであって、前記ＲＧＢカメラの調整は、前記デプス・カメラの前記１以上のパラメータの少なくとも一部に基づく、調整するステップ
をさらに含む、請求項１記載の方法。
【請求項８】
前記デプス・カメラの前記１以上のパラメータを調整するために、前記分析において使用されるオブジェクトをユーザ入力により識別するステップ
をさらに含む、請求項１記載の方法。
【請求項９】
前記１以上のパラメータは、フレーム・レートを含み、前記フレーム・レートは、前記オブジェクトが前記デプス・カメラの視野から離れるときに低減される、請求項８記載の方法。
【請求項１０】
前記デプス・カメラは、照明光源を有するアクティブ・センサを使用し、前記１以上のパラメータは、前記照明光源の電力レベルを含み、前記電力レベルは、前記１以上の奥行き画像内の振幅ピクセル値のファンクションを、ある範囲内に維持するために調整される、請求項１記載の方法。
【請求項１１】
前記分析ステップは、前記１以上の奥行き画像内のオブジェクトを検出してトラッキングするステップを含む、請求項１記載の方法。
【請求項１２】
前記オブジェクトの前記検出及び前記トラッキングに基づいて、ディスプレイ上に表示画像をレンダリングするレンダリングステップ
をさらに含む、請求項１１記載の方法。
【請求項１３】
１以上のトラッキングされた前記オブジェクトに対して、ジェスチャ認識を実行するステップであって、前記レンダリングステップは、さらに、前記１以上のトラッキングされたオブジェクトの認識されたジェスチャに基づく、実行するステップ
をさらに含む、請求項１２記載の方法。
【請求項１４】
複数の奥行き画像を取得するよう構成されたデプス・カメラと、
前記複数の奥行き画像内のオブジェクトを検出してトラッキングするよう構成されたトラッキング・モジュールと、
前記オブジェクトの前記検出及び前記トラッキングに基づいて、１以上のデプス・カメラ・パラメータの調整値を計算し、前記調整値を前記デプス・カメラに送信するよう構成されたパラメータ調整モジュールと、
を備えた、システム。
【請求項１５】
ディスプレイと、
前記オブジェクトの前記検出及び前記トラッキングに基づいて、前記ディスプレイ上に表示画像をレンダリングするよう構成されたアプリケーション・ソフトウェア・モジュールと、
をさらに備えた、請求項１４記載のシステム。
【請求項１６】
前記オブジェクトによりジェスチャが実行されたかどうかを判定するよう構成されたジェスチャ認識モジュールであって、前記アプリケーション・ソフトウェア・モジュールは、前記ジェスチャ認識モジュールの前記判定にさらに基づいて、前記表示画像をレンダリングするよう構成されている、ジェスチャ認識モジュール
をさらに備えた、請求項１５記載のシステム。
【請求項１７】
前記１以上のデプス・カメラ・パラメータは、フレーム・レートを含む、請求項１４記載のシステム。
【請求項１８】
前記フレーム・レートは、前記デプス・カメラの利用可能な電力リソースに基づいて、さらに調整される、請求項１７記載のシステム。
【請求項１９】
前記１以上のデプス・カメラ・パラメータは、前記デプス・カメラから前記オブジェクトまでの距離に基づいて調整される積分時間を含む、請求項１４記載のシステム。
【請求項２０】
前記積分時間は、前記複数の奥行き画像内の振幅ピクセル値のファンクションを、ある範囲内に維持するために、さらに調整される、請求項１９記載のシステム。
【請求項２１】
前記１以上のデプス・カメラ・パラメータは、前記デプス・カメラの範囲を含む、請求項１４記載のシステム。
【請求項２２】
前記デプス・カメラは、照明光源を有するアクティブ・センサを使用し、前記１以上のデプス・カメラ・パラメータは、前記照明光源の電力レベルを含み、前記電力レベルは、前記複数の奥行き画像内の振幅ピクセル値のファンクションを、ある範囲内に維持するために調整される、請求項１４記載のシステム。
【請求項２３】
デプス・カメラを用いて、１以上の奥行き画像を取得する手段と、
前記１以上の奥行き画像内のオブジェクトを検出してトラッキングする手段と、
前記検出及び前記トラッキングに基づいて、前記デプス・カメラの１以上のパラメータを調整する手段と、
を備え、
前記１以上のパラメータは、フレーム・レート、積分時間、及び前記デプス・カメラの範囲を含む、システム。
【発明の詳細な説明】
【背景技術】
【０００１】
本出願は、２０１２年７月３１日出願の米国特許出願番号第１３／５６３，５１６号の優先権を主張し、その全体が参照により本明細書書に組み込まれる。
【０００２】
デプス・カメラは、インタラクティブな高フレーム・レートで、その環境の奥行き画像を取得する。奥行き画像は、カメラの視野内のオブジェクトとカメラ自体との距離のピクセル精度の測定を提供する。デプス・カメラは、コンピュータ・ビジョンの一般領域における多くの問題を解決するために使用される。特に、デプス・カメラは、人間の動き、並びに、人間の手及び指の動きをトラッキングする等、ＨＭＩ（ヒューマン・マシン・インタフェース）に適用される。さらに、デプス・カメラは、例えば、人間をトラッキングし禁止区域へのアクセスをモニタリングするために、監視業界のためのコンポーネントとして展開されている。
【０００３】
実際、電子デバイスとのユーザ・インタラクションのためのジェスチャ制御の用途において、近年、著しい進歩がなされた。デプス・カメラによりキャプチャされたジェスチャは、例えば、ホーム・オートメーションのためにテレビジョンを制御するために、又は、タブレット、パーソナル・コンピュータ、及び携帯電話とのユーザ・インタフェースを可能にするために使用することができる。そのようなカメラにおいて使用される核となる技術は改良し続け、そのコストは減少しているので、ジェスチャ制御は、電子デバイスとのヒューマン・インタラクションを支援することにおいて、重要な役割を果たし続けるであろう。
【図面の簡単な説明】
【０００４】
シーンの内容に基づいてデプス・カメラのパラメータを調整するシステムの例が図面に示される。例及び図面は、限定的なものではなく、例示的なものである。
【図１】いくつかの実施形態に従った、手／指のトラッキングによるリモート・デバイスの制御を示す概略図。
【図２Ａ】いくつかの実施形態に従った、トラッキングすることができる手のジェスチャの例の図。
【図２Ｂ】いくつかの実施形態に従った、トラッキングすることができる手のジェスチャの例の図。
【図３】いくつかの実施形態に従った、カメラのパラメータを調整するために使用されるシステムの例示的なコンポーネントを示す概略図。
【図４】いくつかの実施形態に従った、カメラのパラメータを調整するために使用されるシステムの例示的なコンポーネントを示す概略図。
【図５】いくつかの実施形態に従った、デプス・カメラ・オブジェクト・トラッキングのための例示的なプロセスを示すフロー図。
【図６】いくつかの実施形態に従った、カメラのパラメータを調整するための例示的なプロセスを示すフロー図。
【発明を実施するための形態】
【０００５】
多くの技術のように、デプス・カメラのパフォーマンスは、カメラのパラメータのいくつかを調整することにより、最適化することができる。しかしながら、それらのパラメータに基づく最適なパフォーマンスは変化し、撮影されたシーン内の要素に依存する。例えば、ＨＭＩアプリケーションに対するデプス・カメラの適用性のため、ラップトップ、タブレット、及びスマートフォン等のモバイル・プラットフォームのためのジェスチャ制御インタフェースとして、デプス・カメラを使用するのは当然である。モバイル・プラットフォームの制限された電力供給のため、システム電力消費は、重要な懸案事項である。このようなケースにおいて、デプス・カメラにより取得される奥行きデータの品質と、デプス・カメラの電力消費との間には、直接的なトレードオフが存在する。デプス・カメラのデータに基づいてトラッキングされるオブジェクトの正確さと、こうしたデバイスにより消費される電力との間の最適なバランスを得るには、カメラのパラメータの注意深いチューニングが必要となる。
【０００６】
本開示は、データの全体的な品質及びシステムのパフォーマンスを向上させるために、撮影されたシーンの内容に基づいてカメラのパラメータを設定する技術を説明する。上記にて紹介された例における電力消費のケースにおいて、カメラの視野内にオブジェクトが存在しない場合、カメラのフレーム・レートを大幅に低減させることができ、それにより、カメラの電力消費が低減される。関心オブジェクトがカメラの視野内に現れるとき、オブジェクトを正確且つ確実にトラッキングするために必要なフル・カメラ・フレーム・レートを元に戻すことができる。このようにして、全体的なシステム・パフォーマンスを向上させるために、シーン内容に基づいて、カメラのパラメータが調整される。
【０００７】
本開示は、カメラがプライマリ入力キャプチャ・デバイスとして使用される場合に特に関する。このようなケースにおける目的は、カメラが撮影するシーンを解釈すること、すなわち、オブジェクトを検出し（可能であれば）識別すること、そのようなオブジェクトをトラッキングすること、オブジェクトの位置及びアーティキュレーション（articulation）をより正確に理解するために、可能であればモデルをオブジェクトに適用すること、そして、関連がある場合、そのようなオブジェクトの動きを解釈することである。本開示の核心において、シーンを解釈し関心オブジェクトを検出してトラッキングするためのアルゴリズムを使用するトラッキング・モジュールをシステムに統合することができ、カメラのパラメータを調整するために当該トラッキング・モジュールを使用することができる。
【０００８】
本発明の様々な態様及び例について、これより説明する。以下の説明は、このような例の完全な理解及び実施化のための特定の詳細を提供する。しかしながら、当業者は、こうした詳細の多くを必要とせずに、本発明を実施できることを理解するであろう。さらに、関連する説明を不必要に分かりにくくすることを避けるために、いくつかの周知の構造又は機能が、詳細に示されない、あるいは記載されないことがある。
【０００９】
以下で提供される説明において使用される用語は、技術の特定の例の詳細な説明とともに使用されているとしても、最も広い合理的な形で解釈されることが意図されている。所定の用語は、以下において強調されることがある。しかしながら、制限された形で解釈されるよう意図されている用語は、この説明セクションにおいてそのようなものとして明確且つ具体的に定義されるであろう。
【００１０】
デプス・カメラは、奥行き画像をキャプチャするカメラである。通常、デプス・カメラは、１秒当たり複数のフレーム（フレーム・レート）で、一連の奥行き画像をキャプチャする。各奥行き画像は、ピクセルごとに奥行きデータを含み得る。すなわち、取得された奥行き画像内の各ピクセルは、撮影されたシーン内のオブジェクトの関連セグメントとカメラとの距離を表す値を有する。デプス・カメラは、しばしば３次元カメラと呼ばれる。
【００１１】
デプス・カメラは、コンポーネントの中でもとりわけ、奥行き画像センサ、光学レンズ、及び照明光源を含み得る。奥行き画像センサは、様々なセンサ技術のうちの１つに依拠する。そのようなセンサ技術は、飛行時間型（ＴＯＦ）（スキャニングＴＯＦ又はアレイＴＯＦを含む）、ストラクチャード・ライト、レーザ・スペックル・パターン技術、立体視カメラ、アクティブ立体視センサ、及びシェープ・フロム・シェーディング技術である。そのような技術の多くは、自身の照明光源を提供するアクティブ・センサ・システムに依拠する。反対に、立体視カメラ等のパッシブ・センサ・システムは、自身の照明光源を提供せず、代わりに、周囲照明に依拠する。デプス・カメラはまた、奥行きデータに加えて、従来型のカラー・カメラと同様、色データを生成することができる。色データは、奥行きデータとともに処理することができる。
【００１２】
飛行時間型センサは、奥行き画像を計算するために、飛行時間原理を利用する。飛行時間原理によれば、入射光信号ｓと、オブジェクトで反射された入射光信号である基準信号ｇとの相関性は、以下のように定められる。
【００１３】
【数１】
2015526927.tif 000003
例えば、ｇが理想的な正弦波信号であり、ｆｍが変調周波数であり、ａが入射光信号の振幅であり、ｂが相関バイアスであり、φが位相ずれ（オブジェクト距離に対応）である場合、相関性は、以下により与えられる。
【００１４】
【数２】
2015526927.tif 000004
異なるオフセットを有する４つのシーケンシャルな位相画像
【００１５】
【数３】
2015526927.tif 000005
を用いると、信号の位相ずれ、強度、及び振幅は、以下により決定することができる。
【００１６】
【数４】
2015526927.tif 000006
実際、入力信号は、正弦波信号とは異なる場合がある。例えば、入力信号は、矩形信号である場合がある。そして、対応する位相ずれ、強度、及び振幅は、上記にて与えられた理想的な数式とは異なるであろう。
【００１７】
ストラクチャード・ライト・カメラの場合、光のパターン（通常は、グリッド・パターン又は縞パターン）を、シーンに投影することができる。パターンは、シーン内に存在するオブジェクトにより変形される。変形されたパターンは、奥行き画像センサによりキャプチャすることができ、奥行き画像は、このデータから計算することができる。
【００１８】
積分時間、フレーム・レート、及びアクティブ・センサ・システムにおける照明の強度等、いくつかのパラメータは、カメラにより生成される奥行きデータの品質に影響を与える。露光時間としても知られている積分時間は、センサ・ピクセル・アレイに入射する光の量を制御する。例えば、ＴＯＦカメラ・システムにおいて、オブジェクトがセンサ・ピクセル・アレイに近い場合、長い積分時間は、シャッタを通過する多量の光をもたらすことがあり、アレイ・ピクセルは、過飽和になり得る。一方、オブジェクトがセンサ・ピクセル・アレイから遠い場合、オブジェクトで反射される不十分な戻り光は、高レベルのノイズを伴うピクセル奥行き値を生成することがある。
【００１９】
環境に関するデータを取得するというコンテキストにおいて、このデータは、その後、画像処理（又は他の）アルゴリズムにより処理することができ、デプス・カメラにより生成されるこのデータは、「２Ｄ（２次元）」カメラ又は「ＲＧＢ（赤，緑，青）」カメラとしても知られている従来のカメラにより生成されるデータよりも、いくつかの有利な点を有する。奥行きデータは、背景を前景と分けるという問題を大いに単純化し、一般に照明条件の変化に強く、オクルージョン（occlusion）を解釈するために効果的に使用することができる。例えば、デプス・カメラを用いると、ユーザの手及び指をリアルタイムに識別し確実にトラッキングすることが可能である。ユーザの手及び指の位置の知識は、次に、仮想的な「３Ｄ」タッチ・スクリーン、及び、自然で且つ直感的なユーザ・インタフェースを可能にするために使用することができる。手及び指の動きは、コンピュータ、タブレット、携帯電話、ハンドヘルド・ゲーミング・コンソール、及び自動車のダッシュボード・コントロールを含む、多種多様なシステム、装置、及び／又は電子デバイスとのユーザ・インタラクションを促進することができる。さらに、このインタフェースにより可能となったアプリケーション及びインタラクションは、生産性ツール及びゲームとともに、（メディア・センタ等の）エンターテインメント・システム・コントロール、拡張現実、及び他の多くの形態の人間と電子デバイスとの間のコミュニケーション／インタラクションを含み得る。
【００２０】
図１は、デプス・カメラを使用することができる例示的な用途を表示している。ユーザ１１０は、手及び指１３０の動きにより、リモート外部デバイス１４０を制御する。ユーザは、デプス・カメラを含むデバイス１２０を一方の手に保持し、トラッキング・モジュールは、デプス・カメラにより生成された奥行き画像から、ユーザの指の動きを識別してトラッキングし、その動きを外部デバイス１４０に対する命令に変換するためにその動きを処理し、その命令を外部デバイス１４０に送信する。
【００２１】
図２Ａ及び図２Ｂは、検出され、トラッキングされ、認識され得る動きの例としての、一連の手のジェスチャを示している。図２Ｂに示される例のうちいくつかは、意味のある認識可能な信号又はジェスチャを生成するための、指の動きを示す一連の重ね合わされた矢印を含む。もちろん、ユーザの身体の他のパーツから又は他のオブジェクトから、他のジェスチャ又は信号が検出されトラッキングされてもよい。さらなる例において、例えば、２本又は３本以上の指の同時の動きといった複数のオブジェクトのユーザの動きからのジェスチャ又は信号が、検出され、トラッキングされ、認識され、実行されてもよい。もちろん、手及び指に加えて、トラッキングは、身体の他のパーツ又は他のオブジェクトに対して実行されてもよい。
【００２２】
次に図３を参照する。図３は、パフォーマンスを最適化するために、デプス・カメラのパラメータを調整するための例示的なコンポーネントを示す概略図である。一実施形態に従うと、カメラ３１０は、独立したデバイスであり、ＵＳＢポートを介してコンピュータ３７０に接続されるか、あるいは、有線又は無線により何らかの他の方法でコンピュータ３７０に接続される。コンピュータ３７０は、トラッキング・モジュール３２０、パラメータ調整モジュール３３０、ジェスチャ認識モジュール３４０、及びアプリケーション・ソフトウェア３５０を含み得る。一般性を失うことなく、コンピュータは、例えば、ラップトップ、タブレット、又はスマートフォンとすることができる。
【００２３】
カメラ３１０は、奥行き画像センサ３１５を含み得る。奥行き画像センサ３１５は、１以上のオブジェクトの奥行きデータを生成するために使用される。カメラ３１０は、オブジェクト３０５が生じ得るシーンをモニタリングする。こうしたオブジェクトのうち１以上をトラッキングするのが望ましい。一実施形態において、ユーザの手及び指をトラッキングするのが望ましい。カメラ３１０は、トラッキング・モジュール３２０に転送される一連の奥行き画像をキャプチャする。２０１０年６月１６日出願の”METHOD  AND  SYSTEM  FOR  MODELING  SUBJECTS  FROM  A  DEPTH  MAP”という名称の米国特許出願番号第１２／８１７，１０２号が、トラッキング・モジュール３２０により実行することができる、デプス・カメラを用いて人間の形態をトラッキングする方法を説明しており、この特許出願は、その全体が本明細書に組み込まれる。
【００２４】
トラッキング・モジュール３２０は、カメラの視野内のオブジェクトを識別してトラッキングするために、カメラ３１０により取得されたデータを処理する。このトラッキングの結果に基づいて、トラッキングされたオブジェクトに関して取得されたデータの品質を最大化するために、カメラのパラメータが調整される。こうしたパラメータは、とりわけ、積分時間、光力、フレーム・レート、及びカメラの有効範囲を含み得る。
【００２５】
例えば、特定のオブジェクトに関する情報をキャプチャするアルゴリズムを実行することにより、関心オブジェクトが、トラッキング・モジュール３２０により検出されると、カメラからオブジェクトまでの距離に応じて、カメラの積分時間を設定することができる。オブジェクトがカメラに近づくにつれ、センサの過飽和を避けるために、積分時間は低減され、オブジェクトがカメラから遠ざかるにつれ、関心オブジェクトに対応するピクセルのより正確な値を取得するために、積分時間は増大される。このようにして、関心オブジェクトに対応するデータの品質が最大化され、これにより、アルゴリズムによるより正確且つ確実なトラッキングが可能となる。次いで、トラッキング結果は、カメラ・ベースのトラッキング・システムのパフォーマンスを最大化するよう設計されているフィードバック・ループにおいて、カメラ・パラメータを再び調整するために使用される。積分時間は、臨機応変に調整することができる。
【００２６】
代替として、飛行時間型カメラでは、（上述した）奥行き画像センサにより計算される振幅値を使用して、デプス・カメラが良好な品質データをキャプチャすることを可能にする範囲内に積分時間を維持することができる。事実上、振幅値は、撮影されたシーン内のオブジェクトで反射した後画像センサに戻る光子の総数に対応する。結果として、カメラにより近いオブジェクトは、より高い振幅値に対応し、カメラからより遠いオブジェクトは、より低い振幅値を生成する。したがって、関心オブジェクトに対応する振幅値を、固定された範囲内に維持することが効果的であり、これは、カメラのパラメータ、特に、積分時間及び光力を調整することにより実現される。
【００２７】
フレーム・レートは、固定された時間期間の間に、カメラによりキャプチャされるフレームすなわち画像の数である。一般には、１秒当たりのフレームの数の観点で測定される。より高いフレーム・レートは、データのより多くのサンプルをもたらすので、通常、フレーム・レートと、トラッキング・アルゴリズムにより実行されるトラッキングの品質との間には、比例の関係が存在する。すなわち、フレーム・レートが増大すると、トラッキングの品質は向上する。さらに、より高いフレーム・レートは、ユーザが受けるシステムの待ち時間を低減させる。一方、より高いフレーム・レートは、増大した計算のため、より高い電力消費を必要とし、アクティブ・センサ・システムのケースでは、照明光源により必要とされる増大した電力を必要とする。一実施形態において、フレーム・レートは、残存バッテリ電力の量に基づいて、動的に調整される。
【００２８】
別の実施形態において、トラッキング・モジュールは、カメラの視野内のオブジェクトを検出するために使用することができる。関心オブジェクトが存在しない場合、電力を節約するために、フレーム・レートを著しく低減させることができる。例えば、フレーム・レートを、１フレーム／秒に低減させることができる。フレーム・キャプチャごとに（１秒に１度）、カメラの視野内に関心オブジェクトが存在するかどうかを判定するために、トラッキング・モジュールを使用することができる。この場合、トラッキング・モジュールの有効性を最大化するために、フレーム・レートを増大させることができる。オブジェクトが視野から離れると、電力を節約するために、フレーム・レートが再度低減される。これは、臨機応変になされ得る。
【００２９】
一実施形態において、カメラの視野内に複数のオブジェクトが存在する場合、複数のオブジェクトから、カメラ・パラメータを決定するために使用される１つのオブジェクトを指定することができる。オブジェクトをトラッキングするために使用されるデータをキャプチャするデプス・カメラの能力というコンテキストにおいては、関心オブジェクトに対応するデータが最適な品質であり、この役割においてカメラのパフォーマンスを向上させるように、カメラ・パラメータを調整することができる。このケースのさらなる強化においては、複数の人間が見えるシーンの監視のために、カメラを使用することができる。システムは、シーン内の１人の人間をトラッキングするよう設定することができ、カメラ・パラメータは、その関心のある人間に関する最適なデータ結果を生成するために自動的に調整することができる。
【００３０】
デプス・カメラの有効範囲は、有効なピクセル値が得られる、カメラ前方の３次元空間である。この範囲は、カメラ・パラメータの特定の値により決定される。結果として、関心オブジェクトに関して得られるトラッキング・データの品質を最大化するために、カメラの範囲は、本開示内に記載される方法により調整することができる。詳細には、オブジェクトが、カメラから離れた有効範囲の端部に存在する場合、オブジェクトのトラッキングを継続するために、この範囲を延ばすことができる。例えば、積分時間を長くすること、又は、より多くの照明を発することにより、この範囲を延ばすことができる。というのは、これらは、画像センサに到達する入射信号からのより多くの光をもたらすからである。これにより、データの品質を向上させる。代替的に、又は追加的に、焦点距離を調整することにより、この範囲を延ばすことができる。
【００３１】
本明細書において説明される方法は、従来のＲＧＢカメラと組み合わせることができ、ＲＧＢカメラの設定は、トラッキング・モジュールの結果に応じて、固定的にすることができる。詳細には、ＲＧＢカメラの焦点は、ＲＧＢカメラの被写界深度を最適に調整するために、シーン内の関心オブジェクトまでの距離に対して自動的に適応させることができる。この距離は、奥行きセンサによりキャプチャされる奥行き画像から計算することができ、トラッキング・アルゴリズムを使用してシーン内の関心オブジェクトを検出しトラッキングすることができる。
【００３２】
トラッキング・モジュール３２０は、トラッキング情報をパラメータ調整モジュール３３０に送信し、次いで、パラメータ調整モジュール３３０は、キャプチャされたデータの品質を最大化するために、適切なパラメータ調整値をカメラ３１０に送信する。一実施形態において、トラッキング・モジュール３２０の出力は、ジェスチャ認識モジュール３４０に送信することができ、ジェスチャ認識モジュール３４０は、所与のジェスチャが実行されたか否かを計算する。トラッキング・モジュール３２０の結果、及びジェスチャ認識モジュール３４０の結果は、ともにソフトウェア・アプリケーション３５０に転送される。インタラクティブなソフトウェア・アプリケーション３５０を用いると、所定のジェスチャ及びトラッキング設定が、ディスプレイ３６０上にレンダリングされる画像を変えることができる。ユーザは、ユーザのアクションがディスプレイ３６０上の結果に直接的に影響を与えたかのように、この一連のイベントを解釈する。
【００３３】
次に、図４を参照する。図４は、カメラのパラメータを設定するために使用される例示的なコンポーネントを示す概略図である。一実施形態に従うと、カメラ４１０は、奥行き画像センサ４２５を含み得る。カメラ４１０はまた、トラッキング・モジュール４３０及びパラメータ調整モジュール４４０の機能を実行するために使用される組み込みプロセッサ４２０を含み得る。カメラ４１０は、ＵＳＢポートを介してコンピュータ４５０に接続されてもよいし、あるいは、有線又は無線により何らかの他の方法でコンピュータ４５０に接続されてもよい。コンピュータ４５０は、ジェスチャ認識モジュール４６０及びソフトウェア・アプリケーション４７０を含み得る。
【００３４】
例えば、”METHOD  AND  SYSTEM  FOR  MODELING  SUBJECTS  FROM  A  DEPTH  MAP”という名称の米国特許出願番号第１２／８１７，１０２号に記載されたデプス・カメラを用いて人間の形態をトラッキングする方法を用いるトラッキング・モジュール４３０により、カメラ４１０からのデータを処理することができる。関心オブジェクトを検出してトラッキングすることができ、トラッキング・モジュール４３０からパラメータ調整モジュール４４０にこの情報を渡すことができる。パラメータ調整モジュール４４０は、関心オブジェクトに対応するデータの最適な品質をもたらすためにどのようにカメラ・パラメータが調整されるべきかを決定するための計算を実行する。次いで、パラメータ調整モジュール４４０は、パラメータ調整値をカメラ４１０に送信し、カメラ４１０は、それに従って、パラメータを調整する。このようなパラメータは、とりわけ、積分時間、光力、フレーム・レート、及びカメラの有効範囲を含み得る。
【００３５】
トラッキング・モジュール４３０からのデータはまた、コンピュータ４５０に送信され得る。一般性を失うことなく、コンピュータは、例えば、ラップトップ、タブレット、又はスマートフォンとすることができる。トラッキング結果は、特定のジェスチャがユーザにより実行されたかどうかを検出するために、ジェスチャ認識モジュール４６０により処理することができる。特定のジェスチャの検出は、例えば、２０１０年２月１７日出願の”METHOD  AND  SYSTEM  FOR  GESTURE  RECOGNITION”という名称の米国特許出願番号第１２／７０７，３４０号に記載されたデプス・カメラを用いてジェスチャを識別する方法、又は、２００７年１０月２日出願の”METHOD  AND  SYSTEM  FOR  GESTURE  CLASSIFICATION”という名称の米国特許番号第７，９７０，１７６号に記載されたデプス・カメラを用いてジェスチャを識別する方法を用いてなされる。両方の特許出願は、それらの全体が本明細書に組み込まれる。ジェスチャ認識モジュール４６０の出力、及びトラッキング・モジュール４３０の出力をアプリケーション・ソフトウェア４７０に渡すことができる。アプリケーション・ソフトウェア４７０は、ユーザに表示すべき出力を計算し、関連ディスプレイ４８０上にその出力を表示する。インタラクティブなアプリケーションにおいては、所定のジェスチャ及びトラッキング設定が、通常、ディスプレイ４８０上にレンダリングされる画像を変える。ユーザは、ユーザのアクションがディスプレイ４８０上の結果に直接的に影響を与えたかのように、この一連のイベントを解釈する。
【００３６】
次に図５を参照する。図５は、デプス・カメラ３１０又は４１０により生成されるデータを用いてユーザの１以上の手及び１以上の指をトラッキングするための、トラッキング・モジュール３２０又は４３０により実行される例示的なプロセスを説明する。ブロック５１０において、オブジェクトが、背景から分けられ、分離される。これは、例えば、ある閾値を境に奥行き値を二値化することにより、又は、以前のフレームのオブジェクトの輪郭をトラッキングし、それを現在のフレームの輪郭とマッチングすることにより、実行することができる。一実施形態において、ユーザの手は、デプス・カメラ３１０又は４１０から取得される奥行き画像データから識別され、その手が、背景から分けられる。不必要なノイズ及び背景データは、この段階で奥行き画像から取り除かれる。
【００３７】
次いで、ブロック５２０において、奥行き画像データと、関連振幅データ及び／又は関連ＲＧＢ画像とにおいて、特徴が検出される。一実施形態において、こうした特徴は、指の先端、指の付け根が掌と交わるポイント、及び検出することができる任意の他の画像データであってよい。次いで、ブロック５２０において検出された特徴は、ブロック５３０において画像データ内の個々の指を識別するために使用される。ブロック５４０において、指が、以前のフレーム内の位置に基づいて、現在のフレーム内でトラッキングされる。このステップは、ブロック５２０において検出される場合がある誤検出の特徴をフィルタリングするのを助けるのに重要である。
【００３８】
ブロック５５０において、指の先端及び指の関節のいくつかの３次元ポイントを用いて、手骨格モデルを構築することができる。このモデルを使用して、トラッキングの品質をさらに向上させることができ、オクルージョン又はカメラの視野の範囲外にあった手のパーツの見逃された特徴のため以前のステップにおいて検出されなかった関節にポジションを割り当てることができる。さらに、ブロック５５０において骨格の一部として運動学的モデルを適用して、トラッキング結果を向上させるさらなる情報を付加することができる。
【００３９】
次に図６を参照する。図６は、カメラのパラメータを調整するための例示的なプロセスを示すフロー図である。ブロック６１０において、デプス・カメラは、１つの関心オブジェクト又は複数の関心オブジェクトを含み得るシーンをモニタリングする。
【００４０】
ブーリアン状態変数「ｏｂｊＴｒａｃｋｉｎｇ」を使用して、システムが現在どのような状態にあるか、詳細には、ブロック６１０においてカメラによりキャプチャされたデータのごく最近のフレーム群内でオブジェクトが検出されたかどうかを示すことができる。判断ブロック６２０において、この状態変数「ｏｂｊＴｒａｃｋｉｎｇ」の値が評価される。「真」である場合、すなわち、関心オブジェクトが現在カメラの視野内に存在する場合（ブロック６２０−Ｙｅｓ）、ブロック６３０において、トラッキング・モジュールは、関心オブジェクトの位置を見つけるために、カメラにより取得されたデータをトラッキングする（図５において、より詳細に説明された）。本プロセスは、ブロック６６０及び６５０に続く。
【００４１】
ブロック６６０において、トラッキング・データが、ソフトウェア・アプリケーションに渡される。次いで、ソフトウェア・アプリケーションは、適切なレスポンスをユーザに表示することができる。
【００４２】
ブロック６５０において、ｏｂｊＴｒａｃｋｉｎｇ状態変数が更新される。関心オブジェクトがカメラの視野内に存在する場合、ｏｂｊＴｒａｃｋｉｎｇ状態変数は真に設定される。関心オブジェクトがカメラの視野内に存在しない場合、ｏｂｊＴｒａｃｋｉｎｇ状態変数は偽に設定される。
【００４３】
次いで、ブロック６７０において、カメラ・パラメータが、状態変数ｏｂｊＴｒａｃｋｉｎｇに応じて調整され、カメラに送信される。例えば、ｏｂｊＴｒａｃｋｉｎｇが真である場合、ブロック６３０においてトラッキング・モジュールによりより高い正確さをサポートするために、フレーム・レート・パラメータを増大させることができる。さらに、関心オブジェクトに関する、カメラにより取得されたデータの品質を最大化するために、カメラから関心オブジェクトまでの距離に応じて、積分時間を調整することができる。電力消費と必要とされるデータの品質との間でバランスを取るために、カメラからオブジェクトまでの距離に応じて、光力もまた調整することができる。
【００４４】
カメラ・パラメータは、臨機応変に、又は、カメラ・パラメータの最適な値を計算するよう設計されたアルゴリズムにより、調整することができる。例えば、（上記の記載において説明された）飛行時間型カメラの場合、振幅値は、戻り（入射）信号の強度を表す。この信号強度は、カメラからオブジェクトまでの距離、材料の反射率、及び周囲光からの考えられる影響を含むいくつかの要因によって決まる。カメラ・パラメータは、振幅信号の強度に基づいて調整することができる。詳細には、所与の関心オブジェクトに関して、オブジェクトに対応するピクセルの振幅値は、所与の範囲内にあるべきである。こうした値のファンクション（function）が許容可能な範囲以下に下がる場合、振幅ピクセル値のファンクションが許容可能な範囲に戻るように、積分時間を長くすることができる、あるいは、光力を増大させることができる。振幅ピクセル値のこのファンクションは、総計であってもよいし、重み付け平均であってもよいし、又は、振幅ピクセル値に依存する他の何らかのファンクションであってもよい。同様に、関心オブジェクトに対応する振幅ピクセル値のファンクションが許容可能な範囲以上となる場合、奥行きピクセル値の過飽和を避けるために、積分時間を低減させることができる、あるいは、光力を低減させることができる。
【００４５】
一実施形態において、ブロック６５０におけるｏｂｊＴｒａｃｋｉｎｇ状態変数を更新するかどうかの判断は、複数のフレームにつき１回適用されてもよいし、フレームごとに適用されてもよい。ｏｂｊＴｒａｃｋｉｎｇ状態変数を評価して、カメラ・パラメータを調整するかどうかを判断することは、何らかのシステム・オーバヘッドを招くものであり、したがって、複数のフレームにつき１回のみこのステップを実行するのが効果的であろう。カメラ・パラメータが計算され、新たなパラメータがカメラに転送されると、ブロック６１０において、新たなパラメータ値が適用される。
【００４６】
関心オブジェクトが現在カメラの視野内に現れていない場合（ブロック６２０−Ｎｏ）、ブロック６４０において、イニシャル検出モジュールは、今現在関心オブジェクトがカメラの視野内に最初に現れたかどうかを判定する。イニシャル検出モジュールは、カメラの視野及び範囲内の任意のオブジェクトを検出することができる。これは、手等の特定の関心オブジェクトであってもよいし、又は、カメラの前方を通過する何かであってもよい。さらなる実施形態において、ユーザは、検出すべき特定のオブジェクトを定めることができ、カメラの視野内に複数のオブジェクトが存在する場合、ユーザは、カメラのパラメータを調整するために、複数のオブジェクトのうち特定の１つのオブジェクト又は任意の１つのオブジェクトが使用されるべきであることを指定することができる。
【００４７】
本記載及び特許請求の範囲を通じて、文脈が別なふうに明らかに必要としない限り、「備える」、「含む」等の用語は、排他的又は網羅的な意味ではなく、包括的な意味で（すなわち、「限定的ではなく、〜を含む」という意味で）解釈されるべきである。本明細書で使用されるとき、「接続された」、「結合された」、又はそれらの変形といった用語は、複数の要素間の直接的又は間接的な任意の接続又は結合を意味する。要素間のそのような接続又は結合は、物理的であってもよいし、論理的であってもよいし、又はこれらの組合せであってもよい。さらに、「本明細書において」、「上記の」、「以下の」という用語、及び類似のインポート（import）の用語は、本出願において使用されるとき、本出願を全体として指すものであって、本出願の特定の部分を指すものではない。文脈が許す場合において、単数形又は複数形を用いた上記の詳細な説明における用語はまた、それぞれ、複数形又は単数形を含み得る。複数の項目のリストを参照する「又は」という用語は、リスト内の項目のいずれか１つ、リスト内の項目の全て、及び、リスト内の項目の任意の組合せという解釈の全てをカバーする。
【００４８】
本発明の例の上記の説明は、網羅的であるよう意図するものではなく、あるいは、本発明を上記において開示された正確な形態に限定するよう意図するものではない。本発明の特定の例について上記において例示的な目的で説明したが、当業者であれば認識されるように、様々な均等な変形が本発明の範囲内で可能である。本出願において、プロセス又はブロックが所与の順序で示されたが、代替の実装により、異なる順序で実行されるステップを有するルーチンが実行され得る、あるいは、異なる順序のブロックを有するシステムが使用され得る。代替の組合せ又は下位の組合せを提供するために、いくつかのプロセス又はブロックが、削除されてもよいし、移動されてもよいし、付加されてもよいし、細分されてもよいし、組み合わされてもよいし、且つ／又は、変形されてもよい。また、プロセス又はブロックが、時として、順番に実行されるものとして示されているが、このようなプロセス又はブロックは、その代わりに、並行して実行又は実装されてもよいし、あるいは、時を異にして実行されてもよい。さらに、本明細書において示された特定の数字は例に過ぎない。代替の実装により、異なる値又は範囲が使用され得ることを理解されたい。
【００４９】
本明細書において提供された様々な例示及び教示はまた、上記において説明したシステム以外のシステムにも適用することができる。上記において説明した様々な例の要素及び動作は、本発明のさらなる実装を提供するために、組み合わせることができる。
【００５０】
添付の出願書類にリストされ得る任意のものを含む、上記において示された任意の特許、及び出願、並びに他の文献は、参照により本明細書に組み込まれる。本発明のさらなる実装を提供するために、必要であれば、そのような文献に含まれるシステム、機能、及び概念を利用するため、本発明の態様を変形することができる。
【００５１】
上記の説明を踏まえて、こうした変形及び他の変形を本発明に施すことができる。上記の記載は、本発明の所定の例を説明し、考えられるベスト・モードを説明するが、上記がどんなに詳細にテキストで現れようとも、本発明は、多くの方法により実行することができる。本システムの詳細は、その特定の実装において大幅に変わり得るが、それもまた、本明細書において開示した本発明に含まれる。上記に示されるように、本発明の所定の特徴又は態様を説明する際に使用された特定の用語は、その用語が関連する本発明の特定の特徴、機能、又は態様に限定されるよう本明細書において再定義されていることを意味するものと解釈されるべきではない。上記の詳細な説明セクションにより、そのような用語が明示的に定義されない限り、一般に、特許請求の範囲において使用される用語は、本発明を、本明細書に開示された特定の例に限定するよう解釈されるべきではない。したがって、本発明の実際の範囲は、開示した例だけでなく、特許請求の範囲下にある本発明を実行又は実装する全ての均等な態様も包含する。
【００５２】
本発明の所定の態様が、所定の請求項の形態で示されるが、出願人は、任意の数の請求項の形態で本発明の様々な態様を意図している。例えば、本発明の１つの態様が、３５  Ｕ．Ｓ．Ｃ．  §１１２  第６パラグラフの下、ミーンズ・プラス・ファンクション・クレームとして記載されるが、他の態様も同様に、ミーンズ・プラス・ファンクション・クレームとして、又は、コンピュータ読み取り可能な媒体に具現化される等、他の形態で、具現化され得る。（３５  Ｕ．Ｓ．Ｃ．  §１１２  第６パラグラフの下で取り扱われるよう意図されるクレームは、「〜する手段（means  for）」という語で始まる。）したがって、出願人は、本発明の他の態様のためのさらなるクレームの形態を追及するために、本出願を出願した後にそのようなさらなるクレームを追加する権利を有する。
【図１】
2015526927.tif 000007
【図２Ａ】
2015526927.tif 000008
【図２Ｂ】
2015526927.tif 000009
【図３】
2015526927.tif 000010
【図４】
2015526927.tif 000011
【図５】
2015526927.tif 000012
【図６】
2015526927.tif 000013
【手続補正書】
【提出日】平成26年11月19日(2014.11.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
デプス・カメラのパラメータを調整する方法であって、
前記デプス・カメラを用いて、１以上の奥行き画像を取得するステップと、
前記１以上の奥行き画像の内容を分析する分析ステップと、
前記分析に基づいて、前記デプス・カメラの１以上のパラメータを自動的に調整するステップと、
を含む、方法。
【請求項２】
前記１以上のパラメータは、フレーム・レートを含む、請求項１記載の方法。
【請求項３】
前記フレーム・レートは、前記デプス・カメラの利用可能な電力リソースに基づいて、さらに調整される、請求項２記載の方法。
【請求項４】
前記１以上のパラメータは、積分時間を含み、前記分析は、前記デプス・カメラから関心オブジェクトまでの距離を含む、請求項１乃至３いずれか一項記載の方法。
【請求項５】
前記積分時間は、前記１以上の奥行き画像内の振幅ピクセル値のファンクションを、ある範囲内に維持するために、さらに調整される、請求項４記載の方法。
【請求項６】
前記１以上のパラメータは、前記デプス・カメラの範囲を含む、請求項１乃至５いずれか一項記載の方法。
【請求項７】
ＲＧＢカメラの焦点及び被写界深度を調整するステップであって、前記ＲＧＢカメラの調整は、前記デプス・カメラの前記１以上のパラメータの少なくとも一部に基づく、調整するステップ
をさらに含む、請求項１乃至６いずれか一項記載の方法。
【請求項８】
前記デプス・カメラの前記１以上のパラメータを調整するために、前記分析において使用されるオブジェクトをユーザ入力により識別するステップ
をさらに含む、請求項１乃至７いずれか一項記載の方法。
【請求項９】
前記１以上のパラメータは、フレーム・レートを含み、前記フレーム・レートは、前記オブジェクトが前記デプス・カメラの視野から離れるときに低減される、請求項８記載の方法。
【請求項１０】
前記デプス・カメラは、照明光源を有するアクティブ・センサを使用し、前記１以上のパラメータは、前記照明光源の電力レベルを含み、前記電力レベルは、前記１以上の奥行き画像内の振幅ピクセル値のファンクションを、ある範囲内に維持するために調整される、請求項１乃至９いずれか一項記載の方法。
【請求項１１】
前記分析ステップは、前記１以上の奥行き画像内のオブジェクトを検出してトラッキングするステップを含む、請求項１乃至１０いずれか一項記載の方法。
【請求項１２】
前記オブジェクトの前記検出及び前記トラッキングに基づいて、ディスプレイ上に表示画像をレンダリングするレンダリングステップ
をさらに含む、請求項１１記載の方法。
【請求項１３】
１以上のトラッキングされた前記オブジェクトに対して、ジェスチャ認識を実行するステップであって、前記レンダリングステップは、さらに、前記１以上のトラッキングされたオブジェクトの認識されたジェスチャに基づく、実行するステップ
をさらに含む、請求項１２記載の方法。
【請求項１４】
デプス・カメラのパラメータを調整するシステムであって、
複数の奥行き画像を取得するデプス・カメラと、
前記複数の奥行き画像内のオブジェクトを検出してトラッキングするトラッキング・モジュールと、
前記オブジェクトの前記検出及び前記トラッキングに基づいて、１以上のデプス・カメラ・パラメータの調整値を計算し、前記調整値を前記デプス・カメラに送信するパラメータ調整モジュールと、
を備えた、システム。
【請求項１５】
ディスプレイと、
前記オブジェクトの前記検出及び前記トラッキングに基づいて、前記ディスプレイ上に表示画像をレンダリングするアプリケーション・ソフトウェア・モジュールと、
をさらに備えた、請求項１４記載のシステム。
【請求項１６】
前記オブジェクトによりジェスチャが実行されたかどうかを判定するよう構成されたジェスチャ認識モジュールであって、前記アプリケーション・ソフトウェア・モジュールは、前記ジェスチャ認識モジュールの前記判定にさらに基づいて、前記表示画像をレンダリングするよう構成されている、ジェスチャ認識モジュール
をさらに備えた、請求項１５記載のシステム。
【請求項１７】
前記１以上のデプス・カメラ・パラメータは、フレーム・レートを含む、請求項１４乃至１６いずれか一項記載のシステム。
【請求項１８】
前記フレーム・レートは、前記デプス・カメラの利用可能な電力リソースに基づいて、さらに調整される、請求項１７記載のシステム。
【請求項１９】
前記１以上のデプス・カメラ・パラメータは、前記デプス・カメラから前記オブジェクトまでの距離に基づいて調整される積分時間を含む、請求項１４乃至１８いずれか一項記載のシステム。
【請求項２０】
前記積分時間は、前記複数の奥行き画像内の振幅ピクセル値のファンクションを、ある範囲内に維持するために、さらに調整される、請求項１９記載のシステム。
【請求項２１】
前記１以上のデプス・カメラ・パラメータは、前記デプス・カメラの範囲を含む、請求項１４乃至２０いずれか一項記載のシステム。
【請求項２２】
前記デプス・カメラは、照明光源を有するアクティブ・センサを使用し、前記１以上のデプス・カメラ・パラメータは、前記照明光源の電力レベルを含み、前記電力レベルは、前記複数の奥行き画像内の振幅ピクセル値のファンクションを、ある範囲内に維持するために調整される、請求項１４乃至２０いずれか一項記載のシステム。
【請求項２３】
デプス・カメラのパラメータを調整するシステムであって、
デプス・カメラを用いて、１以上の奥行き画像を取得する手段と、
前記１以上の奥行き画像内のオブジェクトを検出してトラッキングする手段と、
前記検出及び前記トラッキングに基づいて、前記デプス・カメラの１以上のパラメータを調整する手段と、
を備え、
前記１以上のパラメータは、フレーム・レート、積分時間、及び前記デプス・カメラの範囲を含む、システム。
【請求項２４】
ＲＧＢカメラの焦点及び被写界深度を調整するステップであって、前記ＲＧＢカメラの調整は、前記デプス・カメラの前記１以上のパラメータの少なくとも一部に基づく、調整するステップ
をさらに含む、請求項１乃至６いずれか一項記載のシステム。
【請求項２５】
命令を有するマシン読み取り可能な媒体であって、前記命令がプロセッサにより実行されたとき、前記命令は、前記プロセッサに、請求項１乃至１３いずれか一項記載の方法を実行させる、マシン読み取り可能な媒体。
【国際調査報告】
2015526927.tif 000014
2015526927.tif 000015