【手続補正書】
【提出日】平成22年11月2日(2010.11.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力動画に、登録されているアクションが含まれているか否かを認識する情報処理装置において、
前記アクションを認識するためのモデルを含むモデル動画を画像平面および時間の３次元とした場合における、特徴点であるモデル特徴点と、前記モデル特徴点における特徴量であるモデル特徴量の情報を記憶する記憶手段と、
前記入力動画を取得する第１の取得手段と、
前記第１の取得手段により取得された前記入力動画を画像平面および時間の３次元として、前記入力動画から前記アクションを認識するための特徴点である入力特徴点を抽出する第１の特徴点抽出手段と、
前記第１の特徴点抽出手段により抽出された前記入力特徴点における特徴量である入力特徴量を抽出する第１の特徴量抽出手段と、
前記第１の特徴量抽出手段により抽出された前記入力特徴量と、前記記憶手段により記憶された前記モデル特徴量とを比較し、類似する特徴量を有する特徴点の組としての候補対応特徴点ペアを生成する特徴量比較手段と、
前記特徴量比較手段による比較の結果得られた前記候補対応特徴点ペアから、アウトライヤを除去し、前記入力動画上での前記モデルの姿勢を推定するとともに、前記モデルの姿勢に対応する認識対応特徴点ペア群を求める姿勢推定手段と、
前記姿勢推定手段により得られる前記モデルの姿勢の推定結果、および、前記認識対応特徴点ペア群に基づいて、認識結果を生成する認識結果生成手段と
を備える情報処理装置。
【請求項２】
前記姿勢推定手段は、ランダムに選択したＮ組の前記候補対応特徴点ペアにより決定される前記モデル動画の画像平面および時間の３次元における位置姿勢を決める画像変換パラメータをパラメータ空間に投射し、前記パラメータ空間上をクラスタリングすることにより形成されるクラスタのうち、最多メンバ数を有するクラスタを求め、前記最多メンバ数を有するクラスタのメンバである前記候補対応特徴点ペア群を前記認識対応特徴点ペア群とする
請求項１に記載の情報処理装置。
【請求項３】
前記姿勢推定手段は、前記最多メンバ数を有するクラスタのセントロイドを検出し、前記セントロイドを、姿勢に対応するパラメータとして、前記モデルの姿勢を推定する
請求項２に記載の情報処理装置。
【請求項４】
前記姿勢推定手段は、NN法により前記パラメータ空間上をクラスタリングする
請求項２に記載の情報処理装置。
【請求項５】
前記画像変換パラメータは、アフィンパラメータである
請求項２に記載の情報処理装置。
【請求項６】
前記姿勢推定手段は、前記アフィンパラメータのレンジを正規化し、正規化された前記アフィンパラメータをパラメータ空間に投射する
請求項５に記載の情報処理装置。
【請求項７】
前記姿勢推定手段は、回転、拡大縮小、および、せん断変形のそれぞれを決定する９次元のパラメータの正規化係数を１．０とし、平行移動を決定するための３次元のパラメータのうち、横方向の平行移動に関するパラメータの正規化係数を想定される動画の横ピクセル数の逆数とし、縦方向の平行移動に関するパラメータの正規化係数を想定される動画の縦ピクセル数の逆数とし、時間方向の平行移動に関するパラメータの正規化係数を想定される動画の時間長の逆数とし、これらの正規化係数を前記アフィンパラメータに乗じることにより、前記アフィンパラメータのレンジを正規化する
請求項６に記載の情報処理装置。
【請求項８】
前記姿勢推定手段は、回転、拡大縮小、および、せん断変形のそれぞれを決定する９次元のパラメータに対するクラスタリング規範となる距離の第１の閾値と、平行移動を決定するための３次元のパラメータに対するクラスタリング規範となる距離の第２の閾値を用いてクラスタリングを実行し、前記第２の閾値は前記第１の閾値よりも大きい
請求項６に記載の情報処理装置。
【請求項９】
前記第１の特徴点抽出手段は、画像平面および時間の３次元に拡張されたＨａｒｒｉｓ関数Ｈの極大および極小を与える画像平面および時間の３次元座標を、前記入力動画における前記入力特徴点として抽出する
請求項１に記載の情報処理装置。
【請求項１０】
前記第１の特徴量抽出手段は、画像平面および時間の３次元のそれぞれの次元について、４次までの偏微分ガウスオペレーションをかけた画像情報から構成される特徴ベクトルを前記入力特徴量として抽出する
請求項１に記載の情報処理装置。
【請求項１１】
前記特徴量比較手段は、前記入力特徴量と、前記モデル特徴量とのノルムを、前記入力特徴量と前記モデル特徴量との非類似度の尺度に用いて、前記候補対応特徴点ペアを生成する
請求項１に記載の情報処理装置。
【請求項１２】
前記認識結果生成手段は、前記姿勢推定手段により得られた前記認識対応特徴点ペア群の要素数が所定の閾値以上である前記モデルを、登録されている前記アクションが含まれているモデルの認識結果とする
請求項１に記載の情報処理装置。
【請求項１３】
前記認識結果生成手段は、前記姿勢推定手段により得られた前記認識対応特徴点ペア群の要素数が所定の閾値以上である前記モデルを、要素数の多い順にソートし、検出されたモデル全てとそれらの順位とを、登録されている前記アクションが含まれているモデルの認識結果とする
請求項１に記載の情報処理装置。
【請求項１４】
前記認識結果生成手段は、前記姿勢推定手段により得られた前記認識対応特徴点ペア群の要素数が所定の閾値以上である前記モデルの要素数の総和に対する、それぞれのモデルの前記認識対応特徴点ペア群の要素数の割合を、前記認識対応特徴点ペア群の要素数が所定の閾値以上であるそれぞれの前記モデルの信頼度とする
請求項１に記載の情報処理装置。
【請求項１５】
前記認識結果生成手段は、前記姿勢推定手段により得られる前記モデルの姿勢の推定結果を認識結果とする
請求項１に記載の情報処理装置。
【請求項１６】
前記認識結果生成手段は、前記姿勢推定手段により得られた前記認識対応特徴点ペア群の要素数が所定の閾値以上である前記モデルの前記画像変換パラメータの最小二乗推定結果を認識結果とする
請求項２に記載の情報処理装置。
【請求項１７】
前記第１の取得手段により取得された前記入力動画を、前記モデルに対応する領域と背景に対応する領域とに分割する分割手段を更に備え、
前記第１の特徴点抽出手段は、前記分割手段によって分割された前記入力動画中の前記モデルに対応する領域から、前記入力特徴点を抽出する
請求項１に記載の情報処理装置。
【請求項１８】
アクションを認識するためのモデルを含むモデル動画を画像平面および時間の３次元とした場合における、特徴点であるモデル特徴点と、前記モデル特徴点における特徴量であるモデル特徴量の情報を記憶する記憶部を有し、入力動画に、登録されている前記アクションが含まれているか否かを認識する情報処理装置の情報処理方法において、
前記入力動画を取得し、
前記入力動画を画像平面および時間の３次元として、前記入力動画から前記アクションを認識するための特徴点である入力特徴点を抽出し、
前記入力特徴点における特徴量である入力特徴量を抽出し、
前記入力特徴量と、前記記憶部に記憶されている前記モデル特徴量とを比較し、類似する特徴量を有する特徴点の組としての候補対応特徴点ペアを生成し、
前記候補対応特徴点ペアから、アウトライヤを除去し、前記入力動画上での前記モデルの姿勢を推定するとともに、前記モデルの姿勢に対応する認識対応特徴点ペア群を求め、
前記モデルの姿勢の推定結果、および、前記認識対応特徴点ペア群に基づいて、認識結果を生成する
ステップを含む情報処理方法。
【請求項１９】
所定の記憶部に記憶されているアクションを認識するためのモデルを含むモデル動画を画像平面および時間の３次元とした場合における、特徴点であるモデル特徴点と、前記モデル特徴点における特徴量であるモデル特徴量の情報を用いて、入力動画に、登録されている前記アクションが含まれているか否かを認識する処理をコンピュータに実行させるためのプログラムであって、
前記入力動画を取得し、
前記入力動画を画像平面および時間の３次元として、前記入力動画から前記アクションを認識するための特徴点である入力特徴点を抽出し、
前記入力特徴点における特徴量である入力特徴量を抽出し、
前記入力特徴量と、前記記憶部に記憶されている前記モデル特徴量とを比較し、類似する特徴量を有する特徴点の組としての候補対応特徴点ペアを生成し、
前記候補対応特徴点ペアから、アウトライヤを除去し、前記入力動画上での前記モデルの姿勢を推定するとともに、前記モデルの姿勢に対応する認識対応特徴点ペア群を求め、
前記モデルの姿勢の推定結果、および、前記認識対応特徴点ペア群に基づいて、認識結果を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項２０】
請求項１９に記載のプログラムが記録されている記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】削除
【補正の内容】