(57)【要約】【課題】動画像データに対して高次局所自己相関特徴によるデータ処理を行い、低計算量、高識別率での動作認識を可能とする動作認識装置および動作認識処理方法に提供する。【解決手段】動画像データに対して高次局所自己相関特徴によるデータ処理を行うため、観察対象空間から取り出した動画像データを、モーションヒストリーイメージ（Motion History Image：ＭＨＩ）データに変換し、ＭＨＩデータに対して高次局所自己相関特徴を演算して抽出し、抽出された特徴を用いて動作認識を行う。【選択図】図１
2008140267.tif 000002
【特許請求の範囲】
【請求項１】
動画像データをモーションヒストリーイメージデータに変換するデータ変換手段と、
濃淡画像データに対する高次局所自己相関特徴の局所パターンを格納する局所パターン格納手段と、
前記高次局所自己相関特徴の局所パターンに基づいて前記モーションヒストリーイメージデータから高次局所自己相関特徴を抽出する特徴抽出手段と、
前記高次局所自己相関特徴抽出手段により抽出された高次局所自己相関特徴に対して主成分分析を行い、次元を圧縮した特徴ベクトルデータとする処理手段と、
前記特徴ベクトルデータに対してダイナミックプログラミング処理により基準データとの類似度を評価する動作認識手段と、
を備えることを特徴とする動作認識装置。
【請求項２】
請求項１に記載の動作認識装置において、更に、
観察対象空間から動画像データを取得する撮像手段を備え、
前記基準データは、個人の動作認識のための動画像データから作成された基準データであり、
前記評価手段は、更に、類似度に基づいて個人識別を行う
ことを特徴とする動作認識装置。
【請求項３】
動画像データを取り込み、動画像データから動作認識処理をコンピュータにより行う動作認識処理方法であって、
動画像データをモーションヒストリーイメージデータに変換する変換ステップと、
予め格納された濃淡画像データに対する高次局所自己相関特徴の局所パターンに基づいて前記モーションヒストリーイメージデータから高次局所自己相関特徴を抽出する抽出ステップと、
前記抽出ステップにより抽出された高次局所自己相関特徴に対して主成分分析を行い、次元を圧縮した特徴ベクトルデータとする圧縮ステップと、
前記特徴ベクトルデータに対してダイナミックプログラミング処理により基準データとの類似度を評価する動作認識ステップと
の処理をコンピュータにより実行することを特徴とする動作認識処理方法。
【請求項４】
請求項３に記載の動作認識処理方法において、更に、
撮像手段により観察対象空間から動画像データを取得するステップの処理をコンピュータにより実行し、
前記基準データが、個人の動作認識のための動画像データから作成された基準データであり、
評価ステップでは、更に、類似度に基づいて個人識別を行う
ことを特徴とする動作認識処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データに対してデータ処理を行い、動作認識を行う動作認識装置および動作認識処理方法に関するものであり、特に、観察対象空間から取り出した動画像データをモーションヒストリーイメージ（Motion History Image：ＭＨＩ）データに変換し、このＭＨＩデータの高次局所自己相関特徴を用いて動作認識を行う動作認識処理装置および動作認識処理方法に関するものである。
【背景技術】
【０００２】
近年、犯罪等の増加により映像監視に関する研究が盛んとなっている。特に汎用的で高速、高精度な対象と動きの特徴抽出手法として立体高次局所自己相関特徴（Ｃｕｂｉｃ  Ｈｉｇｈｅｒ  ｏｒｄｅｒ  Ｌｏｃａｌ  Ａｕｔｏ  Ｃｏｒｒｅｌａｔｉｏｎ：ＣＨＬＡＣ）が報告されており、非常に高い識別率を得る事が出来ている（非特許文献１，非特許文献２）。
【０００３】
また、非特許文献３に記載のように、動きに関する情報を持つ画像であるＰＡＲＣＯＲ  画像を形成し、この画像より高次局所自己相関特徴（Ｈｉｇｈｅｒ  ｏｒｄｅｒ  Ｌｏｃａｌ  Ａｕｔｏ  Ｃｏｒｒｅｌａｔｉｏｎ：ＨＬＡＣ）を抽出し、ジェスチャー認識に利用する手法も報告されている。
【０００４】
また、動画像データを扱う場合には、１つの方法としてＭＨＩデータが用いられる。ＭＨＩデータ処理においては、動画像から動きのある部分を抽出し、履歴を含んだ形で画像化される。フレーム間差分を取って輝度値変化が見られた部分には常に最大明度を割り振り、その後、輝度値が変化しない場合は逐次明度を減少させていく。ＭＨＩデータは一般に下式で作成される（非特許文献４）。
【数１】
2008140267.tif 000003
ただし、Ｈｒ（ｘ，ｙ，ｔ）は、ある時刻ｔにおける画素（ｘ，ｙ）での輝度値であり、τは、ＭＨＩが画像中に存続する時間（ｄｕｒａｔｉｏｎ）であり、また、Ｄ（ｘ，ｙ，ｔ）は、ある時刻ｔにおける画素（ｘ，ｙ）のフレーム間差分の結果がバイナリ化して表現されたものであり、輝度値変化があった場合は１、それ以外は０となる。
【０００５】
非特許文献５に記載されているように、高次局所自己相関特徴（ＨＬＡＣデータ）は定常時系列データの有効な特徴の一つである自己相関特徴を画像認識および計測等に有効な画像特徴として拡張したものであり、次の式で表現される。
【数２】
2008140267.tif 000004
ただし、（ａ１，・・・・，ａＮ）は、参照点周りにおけるＮ個の変位、ｒは参照点およびＩ（ｒ）は、参照点ｒにおける対象画像の輝度値を示す。ここでは、次数Ｎを高々２次までとし、変位を参照点の周りの局所的な３×３画素の領域に限定した３５個のＨＬＡＣを用いる。この３５個のＨＬＡＣの計算は局所パターンに対する輝度値の積を全画面に対して足し合わせる事により求められるので、明らかに、対象の位置に関して不変となる。
【０００６】
例えば、図３に示すように、濃淡画像に対するＨＬＡＣの局所パターンは３×３画素の領域における３箇所までの輝度値の積となり、平行移動による等価な特徴を除き、かつ重複した領域の選択を許す３５通りとなる。
【０００７】
また、特許文献１および特許文献２には、本発明者等が提案した２次元画像に対する高次局所自己相関特徴（ＨＬＡＣデータ）を用いた学習適応型画像認識・計測方法の技術が開示されている。
【０００８】
立体高次局所自己相関特徴とは、２次元画像を時系列に並べたボクセルデータ（３次元データ）に対して、その中の各点において局所的な自己相関特徴を計算し、この局所特徴をボクセルデータ全体にわたって積分することにより得られる統計的特徴量であり、動作特徴であるといえる。
【非特許文献１】大津展之:適応学習型ビジョンへのアプローチ，ＣＶＩＭ−１５３，ｐｐ．１７１−１７２，２００６．
【非特許文献２】T. Kobayashiand N. Otsh : Action and Simultaneous Multiple-Person Identification UsingCubic Higher-order Local Auto-Correlation, Proc. 17th.Int.Conf. on PatternRecognition(ICPR'04), pp. 741-744,2004.
【非特許文献３】T. Kurita andS. Hayamizu : Gesture Recognition Using HLAC Features of PARCOR Images, IEICETrans. Inf. & syst., pp.719-726, 2003.
【非特許文献４】A. Bobick andJ. Davis : Real-time recognition of activity using temporal templates, Proc.Int. Conf. Automatic Face and Gesture Recognition (FG ’96), pp.39-42, 1996.
【非特許文献５】N. Otsu and T. Kurita: A new scheme for practical, flexible and intelligent vision systems, Proc.IAPR Workshop on Computer Vision, pp.431-435, 1988.
【特許文献１】特許第２９８２８１４号公報
【特許文献２】特許第２８３４１５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１および特許文献２において提案されている高次局所自己相関特徴を利用した適応的画像認識・計測手法においては、高次局所自己相関特徴（ＨＬＡＣデータ）の計算を、画像中のすべての場所で局所領域の画素の輝度値の積を計算し、それらを均一な重みで足し合わせるようにして行う。
【００１０】
高次局所自己相関特徴を利用する場合には、その特徴と適応的な学習を組み合わせることにより、画像中の対象の認識や計測が可能となる。しかし、この高次局所自己相関特徴を直接に用いて、動画像処理を行うことはできないという問題がある。
【００１１】
本発明は、上記のような問題を解決するためになされたものであり、本発明の目的は、動画像データに対して高次局所自己相関特徴によるデータ処理を行い、低計算量、高識別率での動作認識を可能とする動作認識装置および動作認識処理方法に提供することにある。
【課題を解決するための手段】
【００１２】
上記のような目的を達成するため、本発明の動作認識装置および動作認識処理方法においては、動画像データに対して高次局所自己相関特徴によるデータ処理を行うため、観察対象空間から取り出した動画像データを、モーションヒストリーイメージ（Motion History Image：ＭＨＩ）データに変換し、ＭＨＩデータに対して高次局所自己相関特徴を演算して抽出し、抽出された特徴を用いて動作認識を行う。
【００１３】
具体的に、本発明は、第１の態様として、本発明による動作認識装置は、動画像データをモーションヒストリーイメージデータに変換するデータ変換手段と、濃淡画像データに対する高次局所自己相関特徴の局所パターンを格納する局所パターン格納手段と、前記高次局所自己相関特徴の局所パターンに基づいて前記モーションヒストリーイメージデータから高次局所自己相関特徴を抽出する特徴抽出手段と、前記高次局所自己相関特徴抽出手段により抽出された高次局所自己相関特徴に対して主成分分析を行い、次元を圧縮した特徴ベクトルデータとする処理手段と、前記特徴ベクトルデータに対してダイナミックプログラミング処理により基準データとの類似度を評価する動作認識手段とを備える構成とされる。
【００１４】
また、第２の態様として、本発明による動作認識装置においては、更に、観察対象空間から動画像データを取得する撮像手段を備え、前記基準データは、個人の動作認識のための動画像データから作成された基準データであり、前記評価手段は、更に、類似度に基づいて個人識別を行うように構成される。このような構成により、動画像データから個人識別を行うことができる。
【００１５】
本発明は、第３の態様として、本発明の動作認識処理方法が、動画像データを取り込み、動画像データから動作認識処理をコンピュータにより行う動作認識処理方法であって、動画像データをモーションヒストリーイメージデータに変換する変換ステップと、予め格納された濃淡画像データに対する高次局所自己相関特徴の局所パターンに基づいて前記モーションヒストリーイメージデータから高次局所自己相関特徴を抽出する抽出ステップと、前記抽出ステップにより抽出された高次局所自己相関特徴に対して主成分分析を行い、次元を圧縮した特徴ベクトルデータとする圧縮ステップと、前記特徴ベクトルデータに対してダイナミックプログラミング処理により基準データとの類似度を評価する動作認識ステップとの処理をコンピュータにより実行するように構成される。
【００１６】
この場合、本発明の動作認識処理方法において、更に、撮像手段により観察対象空間から動画像データを取得するステップの処理をコンピュータにより実行し、前記基準データが、個人の動作認識のための動画像データから作成された基準データであり、評価ステップでは、更に、類似度に基づいて個人識別を行うように構成される。このような動作認識処理方法によって、動画像データから個人識別を行うことができる。
【発明の効果】
【００１７】
本発明による動作認識装置および動作認識処理方法における動作認識では、動画像データから動作認識のデータ処理を、立体高次局所自己相関特徴（ＣＨＬＡＣ）による特徴の抽出よりも簡便な手法として、動きの情報を持った画像データ（ＭＨＩデータ）に変換し、この画像データから取得した高次局所自己相関特徴（ＨＬＡＣ）の特徴を用いて動作認識を行う。動きに関する情報を持つ画像データとしては、自己回帰分析を用いたＰＡＲＣＯＲ画像よりも直接的な動きに関する情報で構成されるモーションヒストリーイメージデータ（ＭＨＩデータ）を使用することにより、低計算量、高識別率で動作認識を行うことができる動作認識装置が構成できる。高次局所自己相関特徴（ＨＬＡＣ）は１画像あたり３５次元の特徴量となるが、更に次元圧縮を行うため、主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ：ＰＣＡ）を行い、累積寄与率が所定値（９９％）以上となった第二主成分スコアまでを用いて、ダイナミックプログラミング処理によるマッチングを行い、動作を認識する。このように、本発明によれば、低計算量、高識別率で動作認識を行うことができる動作認識装置および動作認識処理方法が提供される。
【発明を実施するための最良の形態】
【００１８】
次に、本発明を実施するための形態について、具体的に図面を参照して説明する。図１および図２は、本発明による動作認識装置の構成を示すブロック図である。また、これらのブロック図は、本発明による動作認識処理方法を処理プロセスをデータの流れで示すフロー図となっている。
【００１９】
図１において、１０は観察対象空間から取得した動画像データ、１１はＭＨＩデータ変換処理部、１２はＭＨＩデータ、１３はＨＬＡＣ局所パターン格納部、１４はＨＬＡＣ処理部、１５は多次元ベクトルデータのＨＬＡＣデータ、２０は観察対象空間から動画像データを取得する監視カメラ装置である。また、図２において、１５はＨＬＡＣデータ、１６はＰＣＡ処理部、１７はＰＣＡデータ、１８はＤＰマッチング処理部、１９は動作認識結果データである。
【００２０】
図１は、本発明による動作認識装置において、動作認識のデータ処理で動画像データからＨＬＡＣデータを得るまでの処理プロセスを示す図であり、図２は、同じく、本発明による動作認識装置において、動作認識のデータ処理でＨＬＡＣデータから動作認識結果を得るまでの処理プロセスを示す図である。
【００２１】
動作認識のデータ処理では、図１に示すように、監視カメラ装置２０により観察対象空間を撮影して動画像データ１０が取得されて、または予め観察対象空間から取得された動画像データ１０が、ＭＨＩデータ変換処理部１１に入力されると、ＭＨＩデータ変換処理部１１は、動画像データ１０をモーションヒストリーイメージデータに変換する処理を行い、ＭＨＩデータ１２を出力する。
【００２２】
ＭＨＩデータ１２は、動画像データから動作履歴の情報を抽出するためにＭＨＩの時系列データに変換されたものであり、動画像データのフレーム毎に背景差分を取り、最新のフレームにおける動作体（前景）の画素における輝度値が最高となるように重み付けをしたデータである。動作履歴の画像表現のデータとなっている。前述したように、下式に示す通りのデータを用いる。
【数３】
2008140267.tif 000005
ここで、Ｈｒ（ｘ，ｙ，ｔ）＝τが成立するのは、Ｄ（ｘ，ｙ，ｔ）＝１の場合のみであり、Ｈｒ（ｘ，ｙ，ｔ）はある時刻ｔの画像中の位置における輝度値、Ｄ（ｘ，ｙ，ｔ）はバイナリで記述した（動作の存在する領域における）配列およびτはＭＨＩが画像中に存続する時間（ｄｕｒａｔｉｏｎ）である。
【００２３】
ＭＨＩデータ１２は、ＨＬＡＣ処理部１４に入力されて、ＨＬＡＣ局所パターン格納部１３に格納されているマスクパターンを用いて、積和演算を行い、高次局所自己相関特徴を抽出して、多次元ベクトルデータのＨＬＡＣデータ１５とされる。ここで、ＨＬＡＣ処理を行うために用いられるマスクパターンは、濃淡画像データに対する高次局所自己相関特徴の局所パターンであり、局所パターン格納部１３に予め格納されているマスクスパターンである。このようにして、前記高次局所自己相関特徴の局所パターンに基づいてＭＨＩデータから高次局所自己相関特徴が抽出されて、多次元ベクトルデータのＨＬＡＣデータ１５とされる。
【００２４】
次に、図２に示すように、各ＭＨＩデータから取得したＨＬＡＣデータ１５に対して、ＰＣＡ処理部１６によって、主成分分析の処理を行い、特徴ベクトルの次元を圧縮する処理を行い、ＰＣＡデータ１７とされる。主成分分析の処理が行われたＰＣＡデータ１７については、第１成分スコアを横軸とし、第２成分スコアを縦軸とした２次元表示した例を示している。そして、圧縮したベクトルデータに基づいて、ＤＰマッチング処理部１８が動的計画法を用いたマッチング（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ  ｍａｔｃｈｉｎｇ）処理を行い、基準データとの類似度を評価して動作の認識を行い、認識結果１９を出力する。
【００２５】
すなわち、抽出された高次局所自己相関特徴のＨＬＡＣデータに対して主成分分析を行い、次元を圧縮した特徴ベクトルデータのＰＣＡデータ１７とされ、ＤＰマッチング処理部１８により、ＰＣＡデータ１７の特徴ベクトルデータに対してダイナミックプログラミング処理により基準データとの類似度を評価し、動作認識結果１７として出力する。
【００２６】
次に、サンプルデータに対して、本発明による動作認識処理の実験を行った概略について説明する。動画像データより取得したＭＨＩデータの動作終了となるｔフレームまでにおいて、各フレームにおけるＨＬＡＣデータを取得し、時系列特徴ベクトルとし、この特徴ベクトルに対してＰＣＡを用いた次元圧縮を行い、ＤＰマッチング処理を用いたサンプル間の類似度を比較する際の入力ベクトルとした。
【００２７】
ここでは、ＭＨＩより取得したＨＬＡＣは、主成分分析（ＰＣＡ）を用いて次元を圧縮した後に、脱落挿入を許容したＤＰマッチング処理により評価した。ＤＰマッチング処理による評価は、類似度が最小となった訓練サンプルが属するクラスと評価サンプルが属するクラスを比較し、その正答率を算出することにより求めた。
【００２８】
実験では、比較対照となる動画像サンプルより、異なる個人または日付のサンプルを５例づつ、計１０例選別することにより訓練サンプルとし、それ以外を評価サンプルとした。訓練サンプルにおけるＭＨＩより取得したＨＬＡＣに対して、主成分分析（ＰＣＡ）を行い、累積寄与率が９９％以上となる第二主成分スコアまでを比較に用いた。同様に評価サンプルにおいてもＭＨＩより取得したＨＬＡＣに対し、訓練サンプルで形成したＰＣＡ空間への射影を行い、第二主成分スコアまでを比較に用いた。
【００２９】
図４は、各投手のＭＨＩおよびＰＣＡ結果を説明する図である。図４において、上段は投手ＡおよびＢのＭＨＩデータの画像である。サンプルに使用したＭＨＩデータでは、セットポジションから足が地面に着地するまでを１投球動作としている。下段は訓練サンプルにおける第一、第二主成分スコアのプロット図である。左側が投手Ａの異なる投球回におけるランナー無の場合のプロット図であり、中央が投手ＡおよびＢにおけるランナー無の場合のプロット図である。右側が投手ＡおよびＢにおけるランナー有の場合のプロット図である。投球動作の開始点は全て第三象限であり、プロットされた点の軌跡が動作の違いを示している。ここでは、この軌跡を基準データとＤＰマッチング処理により、類似比較を行い、動作認識を行う。
【００３０】
また、このような動作認識を用いると、個人は特有な動作を行うことから、個人識別を行うことができる。この実験について説明する。投手ＡおよびＢの動画像各１５例から訓練サンプルを各個人５例ずつ計１０例、評価サンプルを計２０例とした。これらのサンプルにおいて動作履歴の残る時間を１０００ミリ秒としたＭＨＩを取得し、この３００×３００ピクセルの元画像の解像度を９０×９０ピクセルに変更した後ＨＬＡＣを取得、ＰＣＡを用いて特徴量の次元圧縮を行った後、訓練サンプルに対する評価サンプルの比較をＤＰ  ｍａｔｃｈｉｎｇを用いて行った。
【００３１】
図４に示すように、上段に示した各投手のＭＨＩデータに対して、データ処理を行った結果に下段に示している。訓練サンプルの第一主成分スコア、第二主成分スコアを時系列でプロットした結果である。このように、野球における投球の動作では、塁にランナーが存在しない場合の動作は似たものとなる。これは、図４の下段左側のプロット図より明らかである。また、異なる投手の場合に動作が異なっていることは、図４下段中央および右側のプロット図より明らかであり、投手ＡおよびＢでは投球動作の開始後、特に、第１、第４象限付近に属する領域において異なる挙動を示している。
【００３２】
このように、主成分分析を行うことにより、例えば、第一主成分スコア、第二主成分スコアを用いることにより、ＰＣＡの結果に個人の動作の違いが反映されている。ＤＰマッチング処理を用いた比較結果からも明らかであり、表１に示すように、投手ＡおよびＢの個人識別に関しては１００％の識別率を得ることができた。
【表１】
2008140267.tif 000006
【００３３】
野球における投球動作では、ランナーの有無で動作が微妙に異なるため、ランナーの有無に対する識別率は６５％となった。このことは、投手Ａにおけるランナーの有無および投手Ｂにおけるランナーの有無を識別する４クラスの識別問題として考えると、２５％以上の識別率を達成しており、識別はしているものと考えられる。この検証のため、次に、２クラスの識別問題として、異なる日付の同一投手におけるランナーの有無に対する識別率の比較を行った。
【００３４】
個人識別で使用した投手Ｂにおける動作認識を行った実験の結果について説明する。ＨＬＡＣの位置不変性より、記録日時が異なることによって発生するカメラアングルの差異は識別に大きな影響は与えないと判断し、異なる日付ではあるが、投手Ｂのランナーが塁に出ていない場合および一塁に出ている場合の２クラスの動画像を計４０サンプル取得した。この取得した動画像データにおいて、上述の２クラスを含む計１０サンプルを訓練サンプルとし、残り３０サンプルを評価サンプルとして、同様の手法で評価実験を行った。
【００３５】
評価実験の結果、解像度が９０×９０ピクセルの場合、８３．３％の識別率を得ることができた。また、解像度を変化させた場合の識別率では、元となる動画像データと同様の解像度である３００×３００ピクセルの場合は８０％の識別率となったが、１０×１０から２５×２５ピクセルの解像度では９６．７％の識別率を得ることができた。このため、この手法における最適な解像度は２５×２５ピクセル以下であると考えられる（図５）。
【００３６】
図５は、解像度変更による識別率の変化を説明するための図であり、３００×３００ピクセル，１５０×１５０ピクセルおよび１００×１００から１０×１０ピクセルまで解像度を変更した際のランナーの有無についての識別率をグラフ化した図である。３００×３００ピクセルは元となる動画像の解像度、１００×１００から１０×１０ピクセルの間は５ピクセル毎に解像度を変更している。
【００３７】
高次局所自己相関に基づく特徴は、近傍画素の濃淡値の積を全画面で足し合わせたものとなるので、非常に局所的な特徴となる。よって、異なる解像度により得られたＨＬＡＣを結合させることにより、大まかな特徴から詳細な特徴までの多段階の特徴を取得できるようになる。したがって、異なる解像度のＨＬＡＣを結合させることによる識別率の向上を検討した（表２）。
【００３８】
表２は、ＨＬＡＣ結合による識別率の違いを表している。表２に示すように、識別率が９６．７％となった１０×１０ピクセル，１５×１５ピクセルおよび２０×２０ピクセルのサンプルにおいて、それぞれの３５次元ＨＬＡＣを結合して７０次元の特徴量とし、この７０次元ＨＬＡＣに対してＰＣＡを用いた次元圧縮を行った後、累積寄与率が９９％以上となった第二主成分スコアまでを用いて、ＤＰマッチング処理による識別率の導出を行った。
【表２】
2008140267.tif 000007
【００３９】
表２における３通りの識別結果において、ＨＬＡＣを結合させた場合の識別率は、結合させない場合の最高の識別率である９６．７％と同様であった。よって本手法を用いた場合における動作認識では、計算量低減の観点からも２５×２５ピクセル以下の画像解像度を用いた３５次元ＨＬＡＣを用いる事で十分である事が示唆される。
【００４０】
以上の動作認識の結果はＭＨＩ取得において動作履歴の持続時間を１０００ミリ秒に固定して検討したものである。また、動作履歴の持続時間を変化させた場合における識別率の変化の検討を行った（図６）。
【００４１】
図６は、ＭＨＩ持続時間変更による識別率の変化を説明するための図である。図６に示すように、ＭＨＩにおける動作履歴の持続時間を、１，１０，１００，５００，１０００，１５００および２０００ミリ秒として、１０×１０および９０×９０ピクセルの解像度における識別率の変化を検討した。
【００４２】
図６に示すように、識別率が最大であり、かつ解像度が最小となる１０×１０ピクセルのサンプルおよび解像度９０×９０ピクセルのサンプルを用いて動作履歴の持続時間を変更し、同様の手法で比較実験を行った。１０×１０ピクセルの解像度では動作履歴の持続時間が１５００ミリ秒以上、また９０×９０ピクセルの解像度では動作履歴の持続時間が１００ミリ秒以上で識別率の低下が見られた。この事は、動作履歴の持続時間を延長する事により画像に存在するノイズの影響を受けているものと考えられる。
【００４３】
この評価実験に示されるように、ＭＨＩより取得したＨＬＡＣを使用することにより、個人識別では１００％の識別率、動作認識においても最高で９６．７％の識別率を得ることができた。また、使用するＭＨＩの画像解像度も２５×２５ピクセル以下が識別に適した解像度であった。この値は元となる動画像の解像度３００×３００ピクセルの１０％以下の大きさである。これらの結果は本手法が高識別率、低計算量な動作認識手法である事を示唆するものである。
【００４４】
また、更なる識別率の向上を目指す場合には、事前にサンプルのクラス分類が可能なことから特徴量の次元圧縮において判別分析（Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ）を使用する事が有効であると考えられる。また、さらにサンプル数を増加させられる場合には、隠れマルコフモデル（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌ）を用いた訓練、評価サンプル間の比較が有効であると考えられる。
【図面の簡単な説明】
【００４５】
【図１】本発明による動作認識装置において動作認識のデータ処理で動画像データからＨＬＡＣデータを得るまでの処理プロセスを示す図である。
【図２】本発明による動作認識装置において動作認識のデータ処理でＨＬＡＣデータから動作認識結果を得るまでの処理プロセスを示す図である。
【図３】濃淡画像に対する高次局所自己相関特徴の局所パターンを示す図である。
【図４】各投手のＭＨＩおよびＰＣＡ結果を説明する図である。
【図５】解像度変更による識別率の変化を説明するための図である。
【図６】ＭＨＩ持続時間変更による識別率の変化を説明するための図である。
【符号の説明】
【００４６】
１０  動画像データ
１１  ＭＨＩデータ変換処理部
１２  ＭＨＩデータ
１３  ＨＬＡＣ局所パターン格納部
１４  ＨＬＡＣ処理部
１５  ＨＬＡＣデータ
１６  ＰＣＡ処理部
１７  ＰＣＡデータ
１８  ＤＰマッチング処理部
１９  動作認識結果データ
２０  監視カメラ装置
【図１】
2008140267.tif 000008
【図２】
2008140267.tif 000009
【図３】
2008140267.tif 000010
【図４】
2008140267.tif 000011
【図５】
2008140267.tif 000012
【図６】
2008140267.tif 000013