【手続補正書】
【提出日】平成20年5月13日(2008.5.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像ピクセルに関連し、デジタル画像を取得するカメラへの距離に対応する深度データを含む対象のデジタル画像を受信するステップと、
前記画像ピクセルのそれぞれ及び前記対象の形状に関連する前記深度データに基づいて前記画像ピクセル内の対象の手の位置を決定するステップと、
記憶された複数の形状画像の一以上と候補画像とを比較することにより、前記デジタル画像で取得された前記対象の前記手の候補画像と前記複数の形状画像からの記憶された形状画像とをマッチングすることによって前記対象のデジタル画像を前処理し、前記比較は、前記候補画像に関連する前記画像ピクセルのそれぞれに関連する前記深度データを有するベクトルを形成し、記憶された複数の形状画像を表す射影係数ベクトルの行列に基づいてマッチングを算出することを含むステップと、
前記手の位置の画像ピクセルデータから前記手の骨格表現を生成し、前記骨格表現から少なくとも指の数を含む一以上の手の特性を決定することにより、前記手の候補画像をマッチングするステップと、
を含むことを特徴とする人間−機械相互作用のためのコンピュータに基づく方法。
【請求項２】
前記手の候補画像をマッチングするステップは、
前記画像ピクセルの決定された位置における前記手のエッジを決定するステップと、
前記手のエッジに関する前記画像ピクセルにピクセル距離変換を適用して候補エッジ画像を作成するステップと、
をさらに含み、
前記候補エッジ画像と記憶された画像の距離変換との間の相関関係に基づいて類似度値を決定するために、記憶された複数の形状画像の一以上は、記憶された形状画像への前記候補画像の射影に基づいて前記候補画像と比較するための画像のエッジピクセル変換を含む
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記対象の手の位置を決定するステップは、
前記デジタル画像を複数の所定の領域に分割するステップと、
所定の領域と前記手の位置とを関連付けるステップと、
対象の頭の位置及び対象の胴体の位置の少なくとも一つと関連する一以上の領域を決定するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項４】
各画像ピクセルに関連し、デジタル画像を取得するカメラまでの距離を表す深度データを備える対象のデジタル画像を受信するステップと、
前記デジタル画像を前処理して、前記各画像ピクセルに関連する前記深度データに基づいて、少なくとも手の位置と、前記対象の頭及び胴体の少なくとも一つの位置と、を決定するステップと、
前記手の形状と記憶された複数の手の形状画像の一つとをマッチングして、前記デジタル画像に関連するマッチングされた形状を提供するステップであって、前記手の位置に関連する前記画像ピクセルのそれぞれに関連する前記深度データを有するベクトルを形成し、記憶された複数の手の形状画像を表す射影係数ベクトルの行列に基づいてマッチングを算出することを含むするステップと、
前記対象の頭及び胴体の一つに対する前記手の位置に関連する情報と、前記デジタル画像に関連するマッチングされた形状を示す情報と、を含む候補画像データオブジェクトを生成するステップと、
前記候補画像データオブジェクトとテンプレートジェスチャに関して記憶された一以上のジェスチャプロファイルとを比較することにより、一以上のデジタル画像により取得されたジェスチャとテンプレートジェスチャとをマッチングし、前記ジェスチャプロファイルは、ボディパーツに対する手の位置情報と、前記候補画像データオブジェクトと比較するための手の形状情報と、を含むステップと、
前記手の位置の画像ピクセルデータから手の骨格表現を生成し、前記骨格表現から少なくとも指の数を含む一以上の手の特性を決定することにより、前記手の候補形状をマッチングするステップと、
を含むことを特徴とする人間−機械相互作用のためのコンピュータに基づく方法。
【請求項５】
トレーニング処理を含む前処理が、
前記対象の既知のポーズを有する画像のトレーニングセットの主成分分析を実行して射影行列を得るステップと、
前記射影行列に基づく前記対象の候補ポーズに対応するベクトルを射影することにより前記デジタル画像内の前記対象のポーズを決定し、既知のポーズを有する前記トレーニングセット内の最近傍のポーズを得るステップと、
を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記候補画像データオブジェクトは、形状情報、向き情報及び軌道情報を含む掌情報セクションと、前記指の数及び前記指の方向を含む指情報セクションと、を含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記対象の前記デジタル画像は、ハイブリッドな深度−画像情報を含むことを特徴とする請求項４に記載の方法。
【請求項８】
前処理が、前記ハイブリッドな深度−画像情報を分析して、前記対象の画像取得システムまでの距離に基づいて位置を決定するステップを含むことを特徴とする請求項７に記載の方法。
【請求項９】
一以上のデジタル画像により取得されたジェスチャとテンプレートジェスチャとをマッチングするステップは、
用いられる手の数、用いられる指の数、指間の距離、手の位置、手の位置の変化、手の形状の情報及び指情報からなるグループのうちの一以上の特性に関連する値を比較するステップ
をさらに含むことを特徴とする請求項４に記載の方法。
【請求項１０】
前記手の形状の情報は、指の数、指の識別番号、指の形状及び指の向きからなるグループのうちの一以上の特性をさらに含むことを特徴とする請求項９の記載の方法。
【請求項１１】
デジタル画像を取得するカメラまでの距離を表す各画像ピクセルに関連する深度データを備える一以上のデジタル画像で取得された手の形状と複数の手の形状パターンとをマッチングして候補ジェスチャ手形状を決定するステップであって、前記画像ピクセルのそれぞれに関連する前記深度データを有するベクトルを形成し、記憶された複数の手の形状パターンを表す射影係数ベクトルの行列に基づいてマッチングを算出することを含むステップと、
一以上のデジタル画像から前記手の軌道曲線を決定するステップと、
前記手の軌道曲線と複数の軌道曲線テンプレートとをマッチングして候補ジェスチャ動きを決定するステップと、
前記候補ジェスチャ手形状及び前記候補ジェスチャ動きとジェスチャ手形状及びジェスチャ動きに関連する複数のジェスチャプロファイルとを比較することにより、前記候補ジェスチャ手形状及び前記候補ジェスチャ動きに対応するジェスチャを決定するステップと、
前記手の位置の画像ピクセルデータから前記手の骨格表現を生成し、前記骨格表現から少なくとも指の数を含む一以上の手の特性を決定することにより、前記手の候補形状をマッチングするステップと、
を含むことを特徴とする人間−機械相互作用のためのコンピュータに基づく方法。
【請求項１２】
一以上のデジタル画像で取得された前記手の形状が静止しているか否かを判定するステップと、
前記手の形状が静止していると判定された場合に、前記手の形状と静止したジェスチャに対応する複数の手の形状パターンとを比較してジェスチャを決定するステップと、
をさらに含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
人間画像情報を含む画像データのフレームを受信し、前記フレーム内の人間の一以上のボディパーツの位置を決定するように構成されており、前記画像データのフレームのそれぞれは、デジタル画像を取得するカメラまでの距離を表す各画像ピクセルに関連する深度データを備える画像データ前処理モジュールと、
決定された前記位置を受信できるように前記画像データ前処理モジュールに接続され、前記画像データに関連する情報と形状データベースに記憶された形状プロファイルとを比較することにより前記一以上のボディパーツの形状をマッチングするように構成されており、前記比較は、前記一以上のボディパーツの決定された位置に関連する前記画像ピクセルのそれぞれに関連する前記深度データを有するベクトルを形成し、記憶された複数のボディパーツ形状画像を表す射影係数ベクトルの行列に基づいてマッチングを算出することを含む形状マッチングモジュールと、
形状及び位置情報を受信できるように前記画像データ前処理モジュール及び前記形状マッチングモジュールに接続され、前記一以上のボディパーツのジェスチャ特性とジェスチャデータベースに記憶されたジェスチャプロファイルとを比較することにより前記一以上のボディパーツのジェスチャをマッチングするジェスチャマッチングモジュールと、
を備え、
前記ジェスチャ特性は、ボディパーツの位置に関連する値と形状情報とを含み、
前記ジェスチャマッチングモジュールは、前記手の位置の画像ピクセルデータから前記手の骨格表現を生成し、前記骨格表現から少なくとも指の数を含む一以上の手の特性を決定することにより、前記手の候補形状をマッチングするように構成された手形状マッチングモジュールをさらに備える
ことを特徴とする人間−機械相互作用のためのコンピュータに基づくシステム。
【請求項１４】
画像データ取得システムをさらに備え、
前記画像データ取得システムは、当該画像データ取得システムからの深度の範囲内のシーンのハイブリッドな画像−深度情報を取得するように構成されている
ことを特徴とする請求項１３に記載のコンピュータに基づくシステム。
【請求項１５】
前記画像データ取得システムは、単一の光軸に沿って前記ハイブリッドな画像−深度情報を取得するように構成された飛行時間カメラを備えていることを特徴とする請求項１４に記載のコンピュータに基づくシステム。
【請求項１６】
前記形状マッチングモジュール及び前記ジェスチャマッチングモジュールに接続され、前記形状データベース及び前記ジェスチャデータベースを備えたデータ記憶システムをさらに備えることを特徴とする請求項１３に記載のコンピュータに基づくシステム。
【請求項１７】
前記画像データ前処理モジュール、前記形状マッチングモジュール及び前記ジェスチャマッチングモジュール間の接続は、ＲＡＭ装置を備えていることを特徴とする請求項１３に記載のコンピュータに基づくシステム。
【請求項１８】
デジタル画像を取得するカメラまでの距離を表す各画像ピクセルに関連する深度データを備える対象のデジタル画像を受信するためのプログラム命令と、
前記デジタル画像に前処理を施して、各画像ピクセルに関連する前記深度データに基づいて少なくとも手の位置と前記対象の頭及び胴体の少なくとも一つの位置とを決定するためのプログラム命令と、
前記手の形状と記憶された複数の手の形状画像の一つとをマッチングして、前記デジタル画像に関連するマッチングされた形状を提供するためのプログラム命令であって、前記手の位置に関連する画像ピクセルのそれぞれに関連する深度データを有するベクトルを形成するためのプログラム命令と、記憶された複数の手形状画像を表現する射影係数ベクトルの行列に基づいてマッチングを算出するためのプログラム命令と、を備えるプログラム命令と、
前記対象の頭及び胴体の一つに対する前記手の位置に関連する情報と、前記デジタル画像に関連するマッチングされた形状を示す情報と、を含む候補画像データオブジェクトを生成するためのプログラム命令と、
前記候補画像データオブジェクトとテンプレートジェスチャに関して記憶された一以上のジェスチャプロファイルとを比較することにより、一以上のデジタル画像により取得されたジェスチャとテンプレートジェスチャとをマッチングするためのプログラム命令と、
前記手の位置の画像ピクセルデータから前記手の骨格表現を生成し、前記骨格表現から少なくとも指の数を含む一以上の手の特性を決定することにより、前記手の候補形状をマッチングするためのプログラム命令と、
を含み、
前記ジェスチャプロファイルは、ボディパーツに対する手の位置情報と、前記候補画像データオブジェクトと比較するための手の形状情報と、を含む
ことを特徴とする人間−機械相互作用のためのコンピュータ読取可能な媒体。
【請求項１９】
デジタル画像を取得するカメラまでの距離を表す各画像ピクセルに関連する深度データを備える対象のデジタル画像を受信するための手段と、
前記デジタル画像に前処理を施して、各画像ピクセルに関連する前記深度データに基づいて少なくとも手の位置と前記対象の頭及び胴体の少なくとも一つの位置とを決定するための手段と、
前記手の形状と記憶された複数の手の形状画像の一つとをマッチングして、前記デジタル画像に関連するマッチングされた形状を提供するための手段であって、前記手の位置に関連する画像ピクセルのそれぞれに関連する深度データを有するベクトルを形成するための手段と、記憶された複数の手形状画像を表現する射影係数ベクトルの行列に基づいてマッチングを算出するための手段と、を備える手段と、
前記対象の頭及び胴体の一つに対する前記手の位置に関連する情報と、前記デジタル画像に関連するマッチングされた形状を示す情報と、を含む候補画像データオブジェクトを生成するための手段と、
前記候補画像データオブジェクトとテンプレートジェスチャに関して記憶された一以上のジェスチャプロファイルとを比較することにより、一以上のデジタル画像により取得されたジェスチャとテンプレートジェスチャとをマッチングするための手段と、
前記手の位置の画像ピクセルデータから前記手の骨格表現を生成し、前記骨格表現から少なくとも指の数を含む一以上の手の特性を決定することにより、前記手の候補形状をマッチングするための手段と、
を備え、
前記ジェスチャプロファイルは、ボディパーツに対する手の位置情報と、前記候補画像データオブジェクトと比較するための手の形状情報と、を含む
ことを特徴とする人間−機械相互作用のためのコンピュータに基づくシステム。
【請求項２０】
各画像ピクセルに関連し、対象からデジタル画像を取得するカメラまでの距離に対応する深度データを備える、手を有する対象のデジタル画像を受信するステップと、
前記画像ピクセルのそれぞれに関連する前記深度データに基づいて、前記画像ピクセル内における前記対象の手の位置を決定するステップと、
前記手の位置の画像ピクセルデータから前記手の骨格表現を生成するステップであって、前記手の第一の骨格表現の特性を決定するステップと、決定された特性に対して規則を適用することによって前記第一の骨格表現における線分の少なくとも一つを消去し、それによって第二の骨格表現を生成するステップと、
を含み、
前記手の骨格表現を生成するステップは、
前記手の第一の骨格表現における線分の端点及び交点を決定するステップを含むステップと、
前記線分の端点から交点までの距離を決定するステップと、
前記距離と、指の最小距離を特徴付ける距離閾値と、を比較するステップと、
前記距離閾値との比較に基づいて前記第一の骨格表現における線分を消去することによって誤った指骨格線分を消去し、それによって第二の骨格表現を生成するステップと、
を含むことを特徴とする人間−機械相互作用のためのコンピュータに基づく方法。
【請求項２１】
前記第二の骨格表現から少なくとも指の数を含む一以上の手の特性を決定するステップと、
決定された手の特性と記憶された手の特性プロファイルとを比較することによって手のサインを認識するステップと、
をさらに含むことを特徴とする請求項２０に記載の人間−機械相互作用のためのコンピュータに基づく方法。
【請求項２２】
前記手の特性プロファイルは、面積と、指の数と、前記対象の胴体に対する位置と、を含む特性を記述する掌オブジェクトを含む
ことを特徴とする請求項２１に記載の人間−機械相互作用のためのコンピュータに基づく方法。
【請求項２３】
前記第二の骨格表現から一以上の手の特性を決定するステップは、前記第二の骨格表現における骨格線分の向きを決定するステップをさらに含むことを特徴とする請求項２１に記載の人間−機械相互作用のためのコンピュータに基づく方法。