(57)【要約】【課題】  時間方向の非線形な伸縮に対して頑健であり、且つ、複雑な動画像データを詳細に記述可能な動画像データの記述方法、及び、該動画像データ記述方法を用いた、動画像パターン識別方法を提供する。【解決手段】  発明の動画像情報処理方法は、動画像データを入力し、動画像データから局所特徴の時系列データを抽出する。そして、抽出した時系列データに関する少なくとも１つの時系列データ遷移モデルを入力し、抽出した時系列データと、時系列データ遷移モデルとに基づいて、入力した動画像データの記述データを生成することを特徴とする。【選択図】  図１
2014030164.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを入力する工程と、
前記動画像データから局所特徴の時系列データを抽出する工程と、
前記時系列データに関する少なくとも１つの時系列データ遷移モデルを入力する工程と、
前記時系列データと、前記時系列データ遷移モデルとに基づいて、前記動画像データを記述する記述データを生成する工程を有することを特徴とする動画像情報処理方法。
【請求項２】
前記時系列データは、前記動画像データの複数のフレームの、所定の定点位置における局所特徴またはそのフレーム間の差分を、時系列的に並べたデータであることを特徴とする請求項１に記載の動画像情報処理方法。
【請求項３】
前記時系列データは、前記動画像データにおける特徴点を追跡し、前記追跡された特徴点位置における局所特徴を、時系列的に並べたデータであることを特徴とする請求項１に記載の動画像情報処理方法。
【請求項４】
前記時系列データ遷移モデルは、複数の種類の時系列データ遷移モデルであって、
前記記述データを生成する工程では、前記時系列データと、前記複数の種類の時系列データ遷移モデルのそれぞれとのマッチングを行い、得られたそれぞれのマッチング結果に基づいて、記述データを得ることを特徴とする請求項１に記載の動画像情報処理方法。
【請求項５】
前記時系列データ遷移モデルは、前記時系列データの中で、所定の時刻のデータが、前記所定の時刻のデータより過去の時刻のデータと依存関係を有するモデルであることを特徴とする請求項１乃至３のいずれか１項に記載の動画像情報処理方法。
【請求項６】
前記時系列データ遷移モデルは、隠れマルコフモデルであることを特徴とする請求項４または５に記載の動画像情報処理方法。
【請求項７】
前記記述データを生成する工程では、前記時系列データと前記時系列データ遷移モデルとのマッチングを行い、当該時系列データ遷移モデルに当該時系列データがマッチした頻度を算出し、該算出された頻度を前記動画像データの記述データとすることを特徴とする請求項１乃至６のいずれか１項に記載の動画像情報処理方法。
【請求項８】
前記記述データを生成する工程では、前記時系列データと前記時系列データ遷移モデルとのマッチングを行い、前記時系列データと前記時系列データ遷移モデルとの適合度を算出し、該算出された適合度の累積値を、前記動画像データの記述データとすることを特徴とする請求項１乃至５のいずれか１項に記載の動画像情報処理方法。
【請求項９】
前記記述データを生成する工程では、前記時系列データと前記時系列データ遷移モデルとのマッチングを行い、前記時系列データ遷移モデルにマッチした前記時系列データの位置情報のリストを、前記動画像データの記述データとして生成することを特徴とする請求項１乃至６のいずれか１項に記載の動画像情報処理方法。
【請求項１０】
前記記述データを生成する工程では、前記時系列データと前記時系列データ遷移モデルとのマッチングを行い、前記時系列データの、位置情報、及び、前記時系列データ遷移モデルとの適合度のリストを、前記動画像データの記述データとして生成することを特徴とする請求項１乃至６のいずれか１項に記載の動画像情報処理方法。
【請求項１１】
複数の動画像データを含む動画像データ群を入力する工程と、
前記動画像データ群に含まれるそれぞれの動画像データに対し、
前記動画像データから局所特徴の時系列データを抽出する工程と、
前記時系列データに関する少なくとも１つの時系列データ遷移モデルを入力する工程と、
前記時系列データと、前記時系列データ遷移モデルとに基づいて、前記動画像データを記述する記述データを生成する工程と、
前記それぞれの動画像データに対応する記述データ間の類似度を算出する工程と、
前記算出した類似度に基づいて、前記動画像データ群に含まれる動画像データをクラスタリングする工程を有することを特徴とする動画像情報処理方法。
【請求項１２】
請求項１乃至１０のいずれか１項に記載の動画像情報処理方法を実行する工程と、
少なくとも１つの動画像パターンのモデルを入力する工程と、
前記記述データと、前記動画像パターンのモデルとのマッチングを行い、前記動画像データが、いずれの動画像パターンであるかを識別する工程を有することを特徴とする動画像パターン識別方法。
【請求項１３】
動画像データを入力する手段と、
前記動画像データから局所特徴の時系列データを抽出する手段と、
前記時系列データに関する少なくとも１つの時系列データ遷移モデルを入力する手段と、
前記時系列データと、前記時系列データ遷移モデルとに基づいて、前記動画像データの記述データを生成する手段を有することを特徴とする動画像情報処理装置。
【請求項１４】
複数の動画像データを含む動画像データ群を入力する手段と、
前記動画像データ群が含むそれぞれの動画像データに対し、
前記動画像データから局所特徴の時系列データを抽出する手段と、
前記時系列データに関する少なくとも１つの時系列データ遷移モデルを入力する手段と、
前記時系列データと、前記時系列データ遷移モデルとに基づいて、前記動画像データの記述データを生成する手段と、
前記それぞれの動画像データに対応する記述データ間の類似度を算出する手段と、
前記算出した類似度に基づいて、前記動画像データ群に含まれるそれぞれの動画像データをクラスタリングする手段を有することを特徴とする動画像情報処理装置。
【請求項１５】
請求項１３に記載の動画像情報処理装置と、
少なくとも１つの動画像パターンのモデルを入力する手段と、
前記記述データと、前記動画像パターンのモデルとのマッチングを行い、前記動画像データが、いずれの動画像パターンであるかを識別する手段を有することを特徴とする動画像パターン識別装置。
【請求項１６】
請求項１乃至１２のいずれか１項に記載された方法をコンピュータに実行させるためのプログラム。
【請求項１７】
請求項１６に記載されたプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データの記述方法、及び、該記述方法を用いた動画像パターン識別方法に関する。
【背景技術】
【０００２】
動画像パターン識別のための動画像データの記述方法としては、例えば、特許文献１の立体高次局所自己相関特徴を用いた動画像データの記述方法が提案されている。また、非特許文献１に開示された動画像データ記述方法では、動画像データ中から、Ｋｅｙとなる時空間的な点を検出し、検出した点の時空間的近傍のデータを用いて、動画像データを記述する方法が提案されている。
また、特許文献２では、動画像データをボリュームデータとして扱わない方法が開示されている。まず、動画像データから、動き量といったマクロな特徴量の時系列データを抽出する。そして、抽出した時系列データの、複数の確率モデルにおける尤度と、非時系列特徴量とを並べたベクトルとして動画データを記述する方法が提案されている。この複数の確率モデルとして、時間方向の非線形な伸縮に対して頑健性を持つ、非特許文献２に記載されている、隠れマルコフモデル等を用いることで、時間方向の非線形な伸縮に対して頑健な動画像データ記述が可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４０６１３７７号公報
【特許文献２】特開２００９−１２２８２９号公報
【非特許文献】
【０００４】
【非特許文献１】Ｉｖａｎ  Ｌａｐｔｅｖ，  “Ｏｎ  Ｓｐａｃｅ−Ｔｉｍｅ  Ｉｎｔｅｒｅｓｔ  Ｐｏｉｎｔｓ”，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｖｏｌ．  ６４，  Ｎｏ．  ２，  ｐｐ．  １０７−１２３，  Ｓｅｐｔｅｍｂｅｒ  ２００５
【非特許文献２】Ｅｌｌｉｏｔｔ，  Ｒ．  Ｊ．，  Ｌ．  Ａｇｇｏｕｎ，  ａｎｄ  Ｊ．  Ｂ．  Ｍｏｏｒｅ，  “Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌｓ：  Ｅｓｔｉｍａｔｉｏｎ  ａｎｄ  Ｃｏｎｔｒｏｌ”，  １９９５
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１、非特許文献１に記載の方法では、いずれも動画像データを、２次元＋時間軸という３次元ボリュームデータとして取り扱って、動画像データの記述を行っている。このため、時間方向の非線形な伸縮に対しては、高い頑健性を持たない。
また、特許文献２に記載の方法に非特許文献記載の方法を用いても、動き量といったマクロな特徴量の時系列データでは、複雑な動画像意データを詳細に記述するのは難しい。
このように、動画像データのパターンを識別する等を目的とした、時間方向の非線形な伸縮に対して頑健であり、かつ、複雑な動画像データを詳細に記述可能な動画像データの記述方法が望まれている。
本発明は、このような課題に鑑みてなされたものであり、時間方向の非線形な伸縮に対して頑健であり、且つ、複雑な動画像データを詳細に記述できる記述データを作成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的を達成するために、例えば、本発明の動画像情報処理方法は、動画像データを入力する工程と、前記動画像データから局所特徴の時系列データを抽出する工程と、前記時系列データに関する少なくとも１つの時系列データ遷移モデルを入力する工程と、前記時系列データと、前記時系列データ遷移モデルとに基づいて、前記動画像データを記述する記述データを生成する工程を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、時間方向の非線形な伸縮に対して頑健であり、且つ、複雑な動画像データを詳細に記述することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態における動画像パターン識別方法の処理構成図である。
【図２】本発明の第１の実施形態における動画像パターン識別方法の処理を示すフローチャートである。
【図３】本発明の第１の実施形態における時系列データ遷移モデル生成方法の処理構成図である。
【図４】本発明の第１の実施形態における時系列データ遷移モデル生成方法の処理を示すフローチャートである。
【図５】本発明の第２の実施形態における動画像パターン識別方法の処理構成図である。
【図６】本発明の第２の実施形態における動画像パターン識別方法の処理を示すフローチャートである。
【図７】本発明の第２の実施形態における変位特徴決定基準の例を示す図である。
【図８】本発明の第２の実施形態におけるタイプ２時系列データ遷移モデル生成方法の処理構成図である。
【図９】本発明の第２の実施形態におけるタイプ２時系列データ遷移モデル生成方法の処理を示すフローチャートである。
【図１０】本発明の第３の実施形態における動画像データクラスタリング方法の処理構成図である。
【図１１】本発明の第３の実施形態における動画像データクラスタリング方法の処理を示すフローチャートである。
【図１２】本発明の第３の実施形態におけるＫ−ｍｅｄｏｉｄｓクラスタリング部での処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら、本発明の実施形態を説明する。
【００１０】
［第１の実施形態］
本発明の第１の実施形態として、動画像データを入力して、まず、その動画像データの記述データを生成する動画像情報処理方法の例を示す。また、該生成した記述データに基づいて、その動画像データが、所定のカテゴリＣの動画像データであるかどうかを識別する動画像パターン識別方法の例を示す。本実施形態では、入力動画像データとして、任意のスポーツシーンを撮影した、画像サイズが３２０×２４０画素、４秒間、１５フレーム／秒（総フレーム数６０）の動画像データを入力する。所定のカテゴリＣは、本実施形態では、ある特定のスポーツ種別（例えばサッカーや、野球等）とし、入力された動画像データが、そのカテゴリＣに属するか否かを判定する。
【００１１】
図１に、本実施形態の動画像パターン識別方法の処理ブロック図を示す。また、図２に、本実施形態の動画像パターン識別方法の処理フローを示す。以下、図１、及び、図２を用いて、本実施形態の動画像パターン識別方法の例について説明する。
【００１２】
時系列データ遷移モデル群保持部１０は、多数の時系列データ遷移モデル群を保持するデータ保持部である。本実施形態では、時系列データ遷移モデルとして、隠れマルコフモデル（ＨＭＭ）を用いる。
【００１３】
後述するが、本実施形態においては、ＨＭＭの観測時系列データとして、連続値のデータを用いるので、連続変数を定義域とする確率密度関数を出力確率関数としたＨＭＭを用いる。この時系列データ遷移モデル群保持部１０には、少なくとも１つのＨＭＭのデータを入力して保持するが、本実施形態では、４００個のＨＭＭのデータを入力して保持する。ここで入力したＨＭＭは、順序は問わないが、ＨＭＭ１、ＨＭＭ２、・・・、ＨＭＭ４００と、インデックスを付与しておく。ここでの処理は、図２の時系列データ遷移モデル群入力ステップ２０に対応する。ここで入力するＨＭＭのデータは、予め生成したＨＭＭのデータを入力するが、このＨＭＭのデータの生成方法については、後に詳細に説明する。尚、本実施形態では、時系列データ遷移モデルとしてＨＭＭを用いるが、本発明はこれに限るものではない。例えば、通常のマルコフモデルや、下記の文献に記載されるＤＰマッチングのモデル等、ある所定時刻のデータが、同じ時系列データ内の過去のデータと依存関係を有するようなモデルであれば、その他のモデルであっても構わない。
【００１４】
Ｃｏｒｙ  Ｓ．  Ｍｙｅｒｓ  ａｎｄ  Ｌａｗｒｅｎｃｅ  Ｒ．  Ｒａｂｉｎｅｒ，  “Ｃｏｎｎｅｃｔｅｄ  Ｄｉｇｉｔ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｕｓｉｎｇ  ａ  Ｌｅｖｅｌ−Ｂｕｉｌｄｉｎｇ  ＤＴＷ  Ａｌｇｏｒｉｔｈｍ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ，  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｖｏｌ．  ２９，  Ｎｏ．  ３，  ｐｐ．  ３５１−３６３，  Ｊｕｎｅ  １９８１
動画像パターンモデル保持部１１は、所定のカテゴリの動画像パターンのモデルを保持するデータ保持部である。本実施形態では、動画像データが所定のカテゴリＣであるか否かの識別手法として、部分空間法の１つである、ＣＬＡＦＩＣ法を用いる。ＣＬＡＦＩＣ法については、下記の文献に示されているため、説明は省略する。
【００１５】
Ｗａｔａｎａｂｅ，  Ｓ．  ａｎｄ  Ｎ．  Ｐａｋｖａｓａ，  “Ｓｕｂｓｐａｃｅ  Ｍｅｔｈｏｄ  ｉｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｉｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ｐｐ．  ２−３２，  １９７３
そこで、本実施形態では、所定カテゴリＣの動画像データを用いて生成した動画像パターンの部分空間モデルデータを、動画像パターンモデル保持部１１に入力して保持する。ここでの処理は、図２の動画像パターンモデル入力ステップ２１に対応する。ここで入力する部分空間モデルデータの生成方法についても後に詳細に説明する。尚、本実施形態では、所定のカテゴリＣであるか否かの識別方法としてＣＬＡＦＩＣ法を用いるが、本発明はこれに限るものではなく、例えば、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ（ＳＶＭ）等、その他の公知の識別方法を用いることも可能である。
【００１６】
動画像データ入力部１２は、所定のカテゴリＣであるか否かを識別する対象の動画像データを入力する処理部である。前述の通り、本実施形態では、画像サイズが３２０×２４０画素の６０フレームの動画像データを入力する。ここでの処理は、図２の動画像データ入力ステップ２２に対応する。
【００１７】
続いて、局所特徴抽出部１３は、動画像データ入力部１２で入力した動画像データに対し、各フレームの画像上の複数の定点において、局所特徴を抽出する処理を行う処理部である。本実施形態においては、画像上に、５画素ステップでグリッド状に配置した複数の点を定点とし、各定点を中心とした局所領域の画像データを用いて、それぞれの定点に対応した局所特徴の抽出を行う。
【００１８】
局所特徴としては、本実施形態では、Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴を抽出する。抽出するＨＯＧ特徴は、本実施形態では、定点を中心とする２７×２７画素の局所領域の画像データを用いて算出し、特徴の次元は８１次元としている。本実施形態の動画像データは、画像サイズが３２０×２４０画素、フレーム数が６０で、２７×２７画素の局所領域が取れない画像の周辺部を除いた、画像上の５画素ステップでＨＯＧ特徴の抽出を行うので、約１５万個のＨＯＧ特徴を抽出することになる。ここでの処理は、図２の局所特徴抽出ステップ２３に対応する。本実施形態では、上述のように、局所特徴としてＨＯＧ特徴を抽出するが、本発明はこれに限るものではなく、例えば、ＳＩＦＴ特徴等、画像の局所的な情報を記述するような特徴量であれば、その他のものでも構わない。
【００１９】
また、１フレームの２次元画像内のみから特徴を抽出するのではなく、非特許文献１に記載の３次局所Ｊｅｔ特徴のような、時空間的な局所領域から局所特徴を抽出するようにしてもよい。
【００２０】
時系列データ生成部１４は、局所特徴抽出部１３において抽出した多数の局所特徴に基づいて、複数の時系列データを生成する処理部である。ここでは、上述の各定点について、１つの時系列データを生成する。１つの定点における時系列データは、本実施形態においては、隣接する２フレームの局所特徴、つまり、ＨＯＧ特徴の差分を求め、それらを時系列的に順に並べたものである。このＨＯＧ特徴の差分を時系列的に並べたものが、本実施形態におけるＨＭＭの観測時系列データとなる。
【００２１】
本実施形態の動画像データは、前述の通り６０フレームであり、ＨＯＧ特徴のフレーム間での差分を時系列的に並べるので、１つの時系列データは、５９個のＨＯＧ特徴の差分データで構成されたデータとなる。時系列データ生成部１４では、このような時系列データを、上述の全定点のそれぞれについて求める処理を行う。ここでの処理は、図２の時系列データ生成ステップ２４に対応する。
【００２２】
本実施形態では、定点位置は、上述の通り５画素ステップであるので、ここでの処理により、約２５００個の時系列データが生成されることになる。本実施形態では、局所特徴の差分データを時系列的に並べたものを時系列データとするが、局所特徴そのものを時系列的に並べたものを用いても構わない。また、例えば、以下の文献に記載のＰＣＡ等の次元削減手法を用い、局所特徴の次元を削減するようにしてもよい。
【００２３】
Ｉ．  Ｔ．  Ｊｏｌｌｉｆｆｅ，  “Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ  （Ｓｅｃｏｎｄ  Ｅｄｉｔｉｏｎ）”，  Ｓｐｒｉｎｇｅｒ  Ｓｅｒｉｅｓ  ｉｎ  Ｓｔａｔｉｓｔｉｃｓ，  ２００２
時系列データマッチング部１５は、時系列データ生成部１４で生成した時系列データと、時系列データ遷移モデル群保持部１０に保持されている時系列データ遷移モデルとのマッチングを行う処理部である。ここでは、時系列データ生成部１４で生成した全ての時系列データそれぞれについて、時系列データ遷移モデル群保持部１０に保持されている全ての時系列データ遷移モデルとのマッチングを行う。そして、各時系列データが、いずれの時系列データ遷移モデルと、最もマッチしたかを求める処理を行う。ここでの処理は、図２の時系列データマッチングステップ２５に対応する。
【００２４】
本実施形態では、時系列データ遷移モデルとしてＨＭＭを用いるので、ここでのマッチングでは、ＨＭＭでの時系列データの尤度を求める処理を行う。そして、ＨＭＭ１からＨＭＭ４００までのＨＭＭの中で、最も高い尤度となったＨＭＭのインデックスを求めることになる。尚、マッチングを行った結果、いずれの時系列データ遷移モデルに対してもマッチしない場合は、その時系列データに関しては、マッチした時系列データ遷移モデルが無かったと判定してもよい。
【００２５】
次に、記述データ生成部１６では、時系列データマッチング部１５での処理結果に基づいて、動画像データ入力部１２で入力した動画像データを記述する記述データを生成する処理を行う。
【００２６】
具体的には、各時系列データ遷移モデルそれぞれについて、最もマッチした時系列データの個数を求め、その個数を並べた頻度データを生成し、それを、動画像データ入力部１２で入力した動画像データの記述データとする。
【００２７】
例えば、１番目の時系列データ遷移モデルに最もマッチした時系列データの個数が１０個、２番目の時系列データ遷移モデルでは０個、３番目では４個、・・・、という結果であったとする。この場合、ここで生成する頻度データは、１０、０、４、・・・、と、全時系列データ遷移モデルの個数分の数値を並べたものとなる。
【００２８】
本実施形態では、時系列データ遷移モデルは４００個なので、４００個の数値を並べたものが、ここで生成される頻度データとなり、これが、動画像データ入力部１２で入力した動画像データの記述データとなる。ここでの処理は、図２の記述データ生成ステップ２６に対応する。
【００２９】
動画像パターンモデルマッチング部１７は、記述データ生成部１６で生成した記述データと、動画像パターンモデル保持部１１に保持されている動画像パターンのモデルとのマッチングを行う処理部である。ここでの処理は、図２の動画像パターンモデルマッチングステップ２７に対応する。本実施形態では、上記のＣＬＡＦＩＣ法を用いてパターンの識別を行うので、記述データ生成部１６で生成した記述データを、多次元ベクトルとみなし、動画像パターンのモデル、即ち、部分空間モデルと、このベクトルとの成す角を算出する処理を行う。
【００３０】
ここで、本実施形態で用いる部分空間モデルの生成方法について説明する。部分空間モデルの生成では、所定のカテゴリＣに属する多数の動画像データを用いる。ここでは、動画像データ入力部１２で入力した動画像データと同形式、つまり、本実施形態では、画像サイズが３２０×２４０画素、総フレーム数が６０の、カテゴリＣの動画像データをＮ個（例えば１００個等）用いることとする。
【００３１】
まず、これらカテゴリＣであるＮ個の動画像データそれぞれに対し、上記説明した、局所特徴抽出部１３から、記述データ生成部１６までの処理部での処理を行い、各動画像データの記述データを生成する。この多数の記述データそれぞれを、多次元ベクトルｘ（ｉ）｛ｉ＝１、２、・・・、Ｎ｝とみなし、これらのデータに基づいて、自己相関行列Ｒ＝１／Ｎ・Σｘ（ｉ）ｘ（ｉ）Ｔを求める。
【００３２】
そして、この自己相関行列Ｒの固有値と固有ベクトルを求め、大きさが上位ｋ個の固有値に対応する固有ベクトルｅｓ（ｊ）｛ｊ＝１、２、・・・、ｋ｝が張るｋ次元の部分空間への直交射影行列Ｐを求める。
【００３３】
この直交射影行列Ｐが、本実施形態での部分空間モデルとなる。部分空間の次元数ｋは、部分空間モデルの生成に用いたカテゴリＣの動画像データ、及び、カテゴリＣのカテゴリＣ以外のカテゴリである動画像データからなる多数の検定データを用い、検定データに対する識別性能に基づいて最適なｋを設定すればよい。このように生成した部分空間モデル、即ち、上記直交射影行列Ｐを、動画像パターンモデル保持部１１に入力して保持しておき、動画像パターンモデルマッチング部１７での処理に用いることになる。
【００３４】
最後に、識別結果出力部１８では、動画像パターンモデルマッチング部１７でのマッチング結果に基づき、入力した動画像データが、所定のカテゴリＣであるか否かを判定して、その結果を出力する処理を行う。
【００３５】
本実施形態では、動画像パターンモデルマッチング部１７で算出した部分空間モデルとベクトルの成す角に基づいて、入力した動画像データが、所定のカテゴリＣであるか否かを判定する。具体的には、動画像パターンモデルマッチング部１７で算出した部分空間モデルとベクトルの成す角が、所定角度以内であるならば、入力した動画像データが、所定のカテゴリＣであると判定し、所定角度以上であるならば、所定のカテゴリＣではないと判定する。
【００３６】
そして、この判定結果を出力することで、本実施形態の動画像パターン識別方法の処理が終了となる。ここでの処理は、図２の識別結果出力ステップ２８に対応する。カテゴリＣであるか否かの判定に用いる所定角度は、上記説明した部分空間モデルの生成において、部分空間の次元数ｋの設定に用いた検定データに基づき、検定データを誤って判定する割合が最も低くなるといった値を実験的に設定すればよい。
【００３７】
上記処理により、入力した動画像データが、所定のカテゴリＣの動画像データであるか否かの判定を行うことが可能になる。上記説明したように、本発明の動画像パターン識別方法では、まず、動画像データから多数の時系列データを抽出し、各時系列データが、多数の時系列データ遷移モデルの内、いずれのモデルにマッチするかを求める。
【００３８】
そして、マッチした時系列データ遷移モデルの頻度を、当該動画像データの記述データとする。最後に、この記述データと、所定カテゴリの動画像パターンモデルとのマッチングを行って、入力した動画像データが、所定のカテゴリであるか否かを判定することになる。
【００３９】
次に、時系列データ遷移モデルの生成方法について、図３の、時系列データ遷移モデル生成方法の処理ブロック図、及び、図４の、時系列データ遷移モデル生成方法の処理フロー図を用いて説明する。
【００４０】
まず、動画像データベース３１は、予め、多数の動画像データを保持しているデータ保持部である。この多数の動画像データは、任意の動画像データで構わない。本実施形態では、上記説明した識別方法の処理を行う対象である動画像データと同形式のデータ、つまり、画像サイズが３２０×２４０画素で、総フレーム数が６０の、様々なスポーツシーンを撮影した動画像データを用いる。
【００４１】
図３の動画像データ入力部３２では、動画像データベース３１に保持されている動画像データから、１つの動画像データを選択して入力する。選択する順は、任意の順序で構わず、１つずつ順に動画像データを選択して入力すればよい。ここでの処理は、図４の動画像データ入力ステップ４２に対応する。
【００４２】
図３の局所特徴抽出部３３、及び、時系列データ生成部３４は、図１の局所特徴抽出部１３、及び、時系列データ生成部１４と同様の処理部であり、入力した動画像データから多数の時系列データを生成する処理を行う。ここでの処理の内容は、前述のものと同様なので説明を省略する。ここでの処理は、図４の局所特徴抽出ステップ４３、及び、時系列データ生成ステップ４４に対応する。
【００４３】
そして、時系列データ生成部３４の処理により生成された多数の時系列データを、図３の時系列データ群保持部３６に累積的に記録する。この処理は、図４の時系列データ追加ステップ４５に対応する。このような処理を、動画像データベース３１に保持されている全ての動画像データに対して順に実行し、全て動画像データに対する処理が終了するまで繰り返す。この処理により、時系列データ群保持部３６に、多数の様々な時系列データが記録されることになる。
【００４４】
次に、ランダムインデクシング部３６０では、時系列データ群保持部３５に保持されている多数の時系列データそれぞれに対して、ランダムに時系列データ遷移モデルのインデックスを割り当てる処理を行う。ここでの処理は、図４のランダムインデクシングステップ４６０に対応する。
【００４５】
本実施形態では、前述の通り、４００個の時系列データ遷移モデルを生成するので、１から４００までのインデックスを、各時系列データに対してランダムに割り当てる。このランダムな割り当ては、任意の方法で割り当てれば構わないが、本実施形態では、１から４００までの範囲の一様疑似乱数を用い、各インデックスに対応する時系列データの個数が、概略同数程度になるように割り当てを行う。
【００４６】
初期時系列データ遷移モデル生成部３７０は、初期の時系列データ遷移モデル群を生成し、それを時系列データ遷移モデル群記録部３８に記録する処理を行う。ここでは、ランダムインデクシング部３６０で割り当てられたインデックスが、同一である時系列データの集合を用いて、各インデックスに対応する初期の時系列データ遷移モデルを生成する。つまり、例えば、インデックスｉが割り当てられた複数の時系列データを用い、これらの時系列データをモデル化した時系列データ遷移モデルを、インデックスｉに対応する初期の時系列データ遷移モデルとして生成することになる。ここでの処理は、図４の初期時系列データ遷移モデル生成ステップ４７０に対応する。
【００４７】
本実施形態では、時系列データ遷移モデルとしてＨＭＭを用いるので、同一のインデックスである複数の時系列データを用いてＨＭＭを生成することになる。
【００４８】
具体的には、まず、ＨＭＭのモデルパラメータをランダムに初期化する。そして、このパラメータを初期値とし、該当するインデックスが割り当てられた複数の時系列データを用い、ＥＭアルゴリズムにより、ＨＭＭのモデルパラメータを更新する。このモデルパラメータの更新は、通常のＨＭＭの場合と同様に、対数尤度の期待値が収束するまで、Ｅステップ、及び、Ｍステップを繰り返し行っても構わない。
【００４９】
しかし、そもそも、ランダムに割り当てられた複数の時系列データを用いているので、パラメータを過剰に適合させることはせず、数回（例えば１、２回等）だけパラメータの更新を行うようにしてもよい。このように生成した、各インデックスに対応するそれぞれのＨＭＭのデータ、つまり、ＨＭＭのモデルパラメータを、時系列データ遷移モデル群記録部３８にそれぞれ記録ことになる。
【００５０】
時系列データインデクシング部３６１は、ランダムインデクシング部３６０と同様に、時系列データ群保持部３５に保持されている多数の時系列データそれぞれに、時系列データ遷移モデルのインデックスを割り当てる処理を行う。しかし、ランダムインデクシング部３６０との処理とは異なり、ここでは、時系列データ遷移モデル群記録部３８に記録されている複数の時系列データ遷移モデルとのマッチング結果に基づいて、各時系列データにインデックスを割り当てる。
【００５１】
具体的には、図１の時系列データマッチング部１５での処理と同様に、各時系列データそれぞれについて、まず、時系列データ遷移モデル群記録部３８に保持されている全ての時系列データ遷移モデルとのマッチングを行う。そして、最もマッチした時系列データ遷移モデルに対応するインデックスを、各時系列データに割り当てるようにする。ここでの処理は、図４の時系列データインデクシングステップ４６１に対応する。本実施形態では、時系列データ遷移モデルにＨＭＭを用いるので、各時系列データの、各ＨＭＭでの尤度を求め、最も尤度が高いＨＭＭに対応するインデックスを、各時系列データに割り当てることになる。
【００５２】
上記時系列データインデクシング部３６１での処理により、各時系列データにインデックスが割り当てられることになるが、この段階で、時系列データ遷移モデルの生成処理が収束したか否かを判定する。
【００５３】
具体的には、新たに割り当てられた各時系列データのインデックスが、前回に割り当てられたインデックスと一致した場合、生成処理が収束したと判定し、一致しなかった場合、生成処理が収束していないと判定する。生成処理が収束していないと判定された場合、時系列データ遷移モデル更新部３７１での処理に進み、生成処理が収束したと判定されるまで、時系列データインデクシング部３６１、及び、時系列データ遷移モデル更新部３７１での処理を繰り返し行う。
【００５４】
時系列データ遷移モデル更新部３７１は、時系列データインデクシング部３６１で割り当てられたインデックスが同一である時系列データの集合を用い、各インデックスに対応する時系列データ遷移モデルを更新する処理を行う。ここでは、インデックスが同一である複数の時系列データをモデル化する時系列データ遷移モデルを求め、時系列データ遷移モデル群記録部３８に記録されている、対応するインデックスの時系列データ遷移モデルを更新する。ここでの処理は、図４の時系列データ遷移モデル更新ステップ４７１に対応する。
【００５５】
本実施形態では、初期時系列データ遷移モデル生成部３７０と同様、該当するインデックスが割り当てられた複数の時系列データを用い、ＥＭアルゴリズムにより、ＨＭＭのモデルパラメータを更新する処理を行う。ただし、初期時系列データ遷移モデル生成部３７０では、モデルパラメータの初期値をランダムに初期化したが、ここでは、時系列データ遷移モデル群記録部３８に記録されている、対応するインデックスのＨＭＭのモデルパラメータを初期値とする。
【００５６】
また、ＥＭアルゴリズムでの更新を、数回で打ち切らず、対数尤度の期待値が収束するまで、Ｅステップ、及び、Ｍステップを繰り返し、モデルパラメータの更新を繰り返し行う。そして、対数尤度の期待値が収束した後のモデルパラメータを、新たな時系列データ遷移モデルとし、時系列データ遷移モデル群記録部３８に記録されている、対応するインデックスの時系列データ遷移モデルを更新する。
【００５７】
一方、時系列データインデクシング部３６１での処理後、生成処理が収束したと判定された場合、時系列データ遷移モデル群記録部３８に記録されている複数の時系列データ遷移モデルを、最終的な時系列データ遷移モデルとして出力する。この処理は、図４の時系列データ遷移モデル出力ステップ４８に対応し、この最終的な時系列データ遷移モデルを出力した段階で、この時系列データ遷移モデル生成方法の処理が終了となる。
【００５８】
上記処理により、複数の時系列データ遷移モデルが得られ、これが、時系列データに関する下記の文献に記載されたＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄｓに対応するものとなる。
【００５９】
Ｃｓｕｒｋａ，  Ｇ．，  Ｃ．  Ｂｒａｙ，  Ｃ．  Ｄａｎｃｅ  ａｎｄ  Ｌ．  Ｆａｎ，  “Ｖｉｓｕａｌ  Ｃａｔｅｇｏｒｉｚａｔｉｏｎ  ｗｉｔｈ  Ｂａｇｓ  ｏｆ  Ｋｅｙｐｏｉｎｔｓ”，  ＥＣＣＶ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｓｔａｔｉｓｔｉｃａｌ  Ｌｅａｒｎｉｎｇ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ｐｐ．  １−２２，  ２００４
このような複数の時系列データ遷移モデルを用いることで、動画像データがどのようなタイプの時系列データから構成されているかを表現した記述データを生成することが可能になる。この時、本実施形態で用いたＨＭＭのような時系列データ遷移モデルを用いることで、各時系列データの時間方向に非線形な伸縮に対して頑健になり、結果として、動画像データにおける時間方向の非線形な伸縮に対応することができる。
【００６０】
また、動画像データから多数の時系列データを抽出して、それらに基づいて、動画像データを記述するため、動画像データの詳細を記述することも可能となる。そして、このような記述データを用いることで、結果として、時間方向の非線形な伸縮に対応可能で、且つ、複雑な動画像データに対する動画像パターン識別を行うことが可能になる。尚、本実施形態では、入力した動画像データが所定のカテゴリＣであるか否かの、いわゆる２クラス識別の例を示したが、本発明はこれに限るものではない。例えば、複数のカテゴリのそれぞれの動画像パターンのモデルを用意することで、入力した動画像データがどのカテゴリであるかを判定する、いわゆるマルチクラス識別も実現可能であることはいうまでもない。
【００６１】
［第２の実施形態］
本発明の第２の実施形態では、第１の実施形態で示した動画像情報処理方法を用いた動画像パターン識別方法の別形態として、第１の実施形態と同様に、入力した動画像データが、所定のカテゴリＣであるか否かを識別する動画像パターン識別方法の例を示す。本実施形態でも、入力動画像データは、第１の実施形態と同形式の動画像データとし、その動画像データが特定のスポーツシーンであるか否かを判定する。尚、本実施形態において、第１の実施形態と同様の部分については、適宜、説明を省略する。
【００６２】
図５に、本実施形態の動画像パターン識別方法の処理ブロック図を示す。また、図６に、本実施形態の動画像パターン識別方法の処理フローを示す。以下、図５、及び、図６を用いて、本実施形態の動画像パターン識別方法の例について説明する。
【００６３】
タイプ１時系列データ遷移モデル群保持部５００、及び、タイプ２時系列データ遷移モデル群保持部５０１は、第１の実施形態の時系列データ遷移モデル群保持部１０と同様に、それぞれ複数の時系列データ遷移モデルを保持するデータ保持部である。
【００６４】
この２種類の時系列データ遷移モデル群保持部では、保持する時系列データ遷移モデルのタイプが異なる。本実施形態では、タイプ１時系列データ遷移モデル群保持部５００は、第１の実施形態と同様の時系列データ遷移モデル、即ち、ＨＭＭを多数保持する。本実施形態においても、４００個のＨＭＭのデータを入力して、タイプ１時系列データ遷移モデル群保持部５００に、各ＨＭＭにインデックスを付与して保持する。ここでの処理は、図６のタイプ１時系列データ遷移モデル群入力ステップ６００に対応する。
【００６５】
一方、タイプ２時系列データ遷移モデル群保持部５０１は、時系列データ遷移モデルとして、ＤＰマッチングのモデルを多数保持する。このタイプ２時系列データ遷移モデルについても、予め生成した複数のモデルを入力し、タイプ２時系列データ遷移モデル群保持部５０１に保持する。この処理は、図６のタイプ２時系列データ遷移モデル群入力ステップ６０１に対応する。
【００６６】
タイプ２時系列データ遷移モデルについても、少なくとも１つのモデルのデータを入力するが、本実施形態では、１００個のＤＰマッチングのモデルのデータを入力する。ここで入力するタイプ２時系列データ遷移モデル、即ち、ＤＰマッチングのモデルも、ＨＭＭと同様に、予め生成したものを入力するが、この生成方法については、後に詳細に説明する。
【００６７】
動画像パターンモデル保持部５１は、第１の実施形態と同様、所定のカテゴリの動画像パターンのモデルを保持するデータ保持部である。
【００６８】
本実施形態では、所定のカテゴリＣであるか否かの識別手法として、ＳＶＭを用いる。そこで、本実施形態では、所定のカテゴリＣの動画像データ、及び、カテゴリＣとは異なる動画像データを用いて生成した動画像パターンの識別モデルデータを、動画像パターンモデル保持部５１に入力して保持する。ここでの処理は、図６の動画像パターンモデル入力ステップ６１に対応する。ここで入力する動画像パターンの識別モデルデータ、及び、その生成方法についても、後に詳細に説明する。
【００６９】
動画像データ入力部５２は、第１の実施形態における動画像データ入力部１２と同様に、所定のカテゴリＣであるか否かを識別する対象の動画像データを入力する処理部である。第２の実施形態においても、動画像データの形式は、第１の実施形態と同様、画像サイズが３２０×２４０画素、６０フレームの動画像データを入力する。この処理は図６の動画像データ入力ステップ６２に対応する。
【００７０】
次に、特徴点追跡部５９は、動画像データ入力部５２で入力した動画像データに対し、例えば、角点等の特徴点を追跡することにより、複数の特徴点追跡結果を求める処理部である。ここでの処理は、図６の特徴点追跡ステップ６９に対応する。本実施形態では、特徴点追跡手法として、ＫＬＴ法を用い、入力した動画像データ中から多数の特徴点追跡結果を求める。ＫＬＴ法は、下記の文献で説明されている。
【００７１】
Ｃ．  Ｔｏｍａｓｉ  ａｎｄ  Ｔ．  Ｋａｎａｄｅ，  “Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ  ｏｆ  Ｐｏｉｎｔ  Ｆｅａｔｕｒｅｓ”，  Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＣＭＵ−ＣＳ−９１−１３２，  １９９１
ここでの特徴点追跡手法として、本実施形態では、ＫＬＴ法を用いるが、本発明はこれに限るものではない。例えば、下記の文献では、ＳＩＦＴ特徴量を用いた特徴点追跡方法が示されている。このような、画像の時間的な変化に応じて画像上の点を追跡するような方法であれば、その他の方法でも構わない。
【００７２】
Ｊｕ  Ｓｕｎ，  Ｘｉａｏ  Ｗｕ，  Ｓｈｕｉｃｈｅｎｇ  Ｙａｎ，  Ｌｏｏｎｇ−Ｆａｈ  Ｃｈｅｏｎｇ，  Ｔａｔ−Ｓｅｎｇ  Ｃｈｕａ  ａｎｄ  Ｊｉｎｔａｏ  Ｌｉ，  “Ｈｉｅｒａｒｃｈｉｃａｌ  Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ  Ｃｏｎｔｅｘｔ  Ｍｏｄｅｌｉｎｇ  ｆｏｒ  Ａｃｔｉｏｎ  Ｒｅｃｏｇｎｉｔｉｏｎ”，  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ｐｐ．  ２００４−２０１１，  ２００９
タイプ１局所特徴抽出部５３０では、第１の実施形態の局所特徴抽出部１３と同様、各フレームの画像から局所特徴を抽出するが、第１の実施形態とは異なり、予め定めた定点上ではなく、特徴点追跡部５９で求めた各特徴点を中心とした局所特徴を抽出する。つまり、特徴点追跡部５９で求めた複数の特徴点追跡結果それぞれの、各フレームにおける特徴点位置を中心とした局所特徴を抽出する。ここでの処理は、図６のタイプ１局所特徴抽出ステップ６３０に対応する。
【００７３】
本実施形態においても、第１の実施形態と同様、局所特徴としてＨＯＧ特徴を用い、各特徴点を中心とした２７×２７画素の局所領域からＨＯＧ特徴を抽出する。
【００７４】
続いて、タイプ１時系列データ生成部５４０では、特徴点追跡部５９で求めた特徴点追跡結果と、タイプ１局所特徴抽出部５３０で抽出した局所特徴に基づき、タイプ１時系列データを複数生成する。ここでは、特徴点追跡部５９で求めた各特徴点追跡結果それぞれについて、１つの時系列データを生成する。ここでの処理は、図６のタイプ１時系列データ生成ステップ６４０に対応する。
【００７５】
本実施形態では、同一の特徴点追跡結果の、時間的に隣接する２つの特徴点におけるＨＯＧ特徴の差分を求め、それを時系列的に並べたものを１つの時系列データとする。
【００７６】
具体的には、例えば、ある１つの特徴点追跡結果が、全６０フレーム中、４０フレームで特徴点が追跡されたとする。そして、その各特徴点の画像上の位置が、（ｕ１、ｖ１）、（ｕ２、ｖ２）、・・・、（ｕ４０、ｖ４０）であり、各特徴点位置におけるＨＯＧ特徴が、ｈ１、ｈ２、・・・、ｈ４０であったとする。この時、この特徴点追跡結果に対応する時系列データは、ｈ２−ｈ１、ｈ３−ｈ２、・・・、ｈ４０−ｈ３９という３９個のＨＯＧ特徴の差分を並べたものになる。
【００７７】
タイプ２局所特徴抽出部５３１は、特徴点追跡部５９で求めた特徴点追跡結果のそれぞれの特徴点の位置が、時間的に隣接する前フレームの特徴点位置から、どのように変位したかという局所的な変位特徴（以下、変位特徴）を、各特徴点について求める処理を行う。ここでの処理は、図６のタイプ２局所特徴抽出ステップ６３１に対応する。
【００７８】
本実施形態では、特徴点位置の変位量を、上に変位（Ｕ）、下に変位（Ｄ）、左に変位（Ｌ）、右に変位（Ｒ）、変位無し（Ｏ）の５つのパターンに量子化したものを変位特徴とする。
【００７９】
例えば、ある特徴点位置が（ｕｔ、ｖｔ）で、その特徴点が含まれる特徴点追跡結果の、前フレームでの特徴点位置が（ｕｔ−１、ｖｔ−１）であったとする。この時、変位量は（ｕｔ−ｕｔ−１、ｖｔ−ｖｔ−１）であり、この変位量に基づいて、図７に示したような基準で、上記５つのパターンに量子化する。
【００８０】
具体的には、本実施形態においては、この変位量のＬ２ノルム＝（（ｕｔ−ｕｔ−１）２＋（ｖｔ−ｖｔ−１）２）１／２が、所定閾値ｒ以内（図７中の点線の円の内部）ならば、変位無しとみなして、パターン“Ｏ”とする。そして、このＬ２ノルムが所定閾値ｒ以上（図７中の点線の円の外側）の場合、図７に示した通り、例えば、｜ｕｔ−ｕｔ−１｜＞｜ｖｔ−ｖｔ−１｜で、ｕｔ−ｕｔ−１＞０ならば“Ｒ”、ｕｔ−ｕｔ−１＜０ならば“Ｌ”とする。一方、｜ｕｔ−ｕｔ−１｜＜｜ｖｔ−ｖｔ−１｜で、ｖｔ−ｖｔ−１＞０ならば“Ｄ”、ｖｔ−ｖｔ−１＜０なら“Ｕ”とすることになる（この例では、画像中の鉛直下方向をｖ正方向としているため、ｖｔ−ｖｔ−１方向が下方向になっていることに注意）。
【００８１】
また、特徴点追跡結果の始点に関しては、本実施形態では、常に、変位無しの“Ｏ”としている。所定閾値ｒは、画像のサイズ等に応じて、特徴点が、ほぼ動いていないと判断される程度の値にすればよく、本実施形態では、ｒ＝３画素としている。このような基準で、各特徴点における変位特徴を決定することにより、各特徴点それぞれに対して、上記、“Ｕ”、“Ｄ”、“Ｌ”、“Ｒ”、“Ｏ”の５つのパターンのいずれかの変位特徴が決定されることになる。
【００８２】
続いて、タイプ２時系列データ生成部５４１では、特徴点追跡部５９で求めた特徴点追跡結果と、タイプ２局所特徴抽出部５３１で求めた変位特徴に基づき、タイプ２時系列データを複数作成する。ここでも、タイプ１時系列データ生成部５４０と同様に、特徴点追跡部５９で求めた各特徴点追跡結果それぞれについて、１つの時系列データを生成する。ここでの処理は、図６のタイプ２時系列データ生成ステップ６４１に対応する。本実施形態では、同一の特徴点追跡結果における、それぞれの特徴点に対応する変位特徴を、時系列的に並べたものを１つの時系列データとする。
【００８３】
具体的には、例えば、タイプ１時系列データ生成部５４０での例と同様、ある１つの特徴点追跡結果が、全６０フレーム中、４０フレームで特徴点が追跡されたとする。そして、その各特徴点における、上記変位特徴抽出部５３１で求めた変位特徴が、ｄ１＝“Ｏ”、ｄ２＝“Ｒ”、・・・、ｄ４０＝“Ｕ”であったとする。この時、この特徴点追跡結果に対応する時系列データは、これらの４０個の変位特徴を単純に時系列的に並べたものになる。
【００８４】
タイプ１時系列データマッチング部５５０は、第１の実施形態における時系列データマッチング部１５と、ほぼ同様の処理部であるが、処理の内容が少し異なる。まず、タイプ１時系列データ生成部５４０で生成した多数のタイプ１時系列データそれぞれと、タイプ１時系列データ遷移モデル群保持部５００に記録されている複数のタイプ１時系列データ遷移モデルとのマッチングを行う。ここまでは、第１の実施形態における時系列データマッチング部１５での処理と同様である。
【００８５】
そして、各タイプ１時系列データの、各タイプ１時系列データ遷移モデルとの適合度を求める処理を行う。この適合度は、ある時系列データが、時系列データ遷移モデルにどの程度マッチしているかを表す値である。本実施形態においては、この適合度に、タイプ１時系列データが、タイプ１時系列データ遷移モデルにマッチする確率を用いる。
【００８６】
このように、第１の実施形態では、各時系列データが、どの時系列データ遷移モデルに最もマッチするかを求めたが、ここでは、それぞれの時系列データ遷移モデルに、どの程度の確率でマッチしているのか、つまり、適合度を求めるようにする。この処理は、図６のタイプ１時系列データマッチングステップ６５０に対応する。あるタイプ１時系列データＸが、ｉ番目のタイプ１時系列データ遷移モデルにマッチする確率ｐ（ｉ｜Ｘ）は、本実施形態では、以下の式により求める。
【００８７】
【数１】
2014030164.tif 000003
【００８８】
ここで、ｐ（Ｘ｜ｉ）は、ｉ番目のタイプ１時系列データ遷移モデルにおける、時系列データＸの尤度、ｐ（ｉ）は、任意の時系列データがｉ番目のタイプ１時系列データ遷移モデルである事前確率である。分母のΣｊは、全てのタイプ１時系列データ遷移モデルでの総和を意味する。事前確率は、全てのタイプ１時系列データ遷移モデルで一定としてもよいが、タイプ１時系列データ遷移モデルを生成する際に求めておき、それを利用しても構わない。ここで用いるタイプ１時系列データ遷移モデルは、第１の実施形態における時系列データ遷移モデルと同様のものである。
【００８９】
しかし、第１の実施形態では、定点上の局所特徴の時系列データを用いたのに対し、本実施形態では、追跡された特徴点上の局所特徴の時系列データを用いる。そのため、第１の実施形態の説明において、図３、及び、図４を用いて説明した時系列データ遷移モデルの生成方法を、少し変形させた方法で、タイプ１時系列データ遷移モデルを生成するのが好適である。
【００９０】
具体的には、まず、上記説明した、図５の特徴点追跡部５９から、局所特徴抽出部５３０、タイプ１時系列データ生成部５４０までの処理により、複数の動画像データから、多数のタイプ１時系列データを生成する。そして、これらのタイプ１時系列データを、図３の時系列データ群保持部３５に累積的に記録していき、後は、第１の実施形態と同様の方法で生成すればよい。ちなみに、各タイプ１時系列データ遷移モデルの事前確率に関しては、収束したと判定された時の、それぞれのタイプ１時系列データ遷移モデルに割り当てられたタイプ１時系列データの個数に基づいて決定すればよい。
【００９１】
具体的には、ｐ（ｉ）＝（ｉ番目のタイプ１時系列データ遷移モデルに割り当てられたタイプ１時系列データの個数）／（生成に用いた全タイプ１時系列データの個数）というように求めればよい。このように、本実施形態では、第１の実施形態とは異なり、どの時系列データ遷移モデルにマッチするかを１つに決定せず、それぞれの時系列データ遷移モデルにどの程度の確率でマッチするのか、つまり、適合度を求める。
【００９２】
本実施形態では、上述のように、４００個のタイプ１時系列データ遷移モデルを用いるため、１つのタイプ１時系列データについて、４００個のタイプ１時系列データ遷移モデルそれぞれに対する適合度、つまり、４００個の適合度を求めることになる。
【００９３】
タイプ２時系列データマッチング部５５１は、タイプ２時系列データ生成部５４１で生成したタイプ２時系列データと、タイプ２時系列データ遷移モデル群保持部５０１に保持されているタイプ２時系列データ遷移モデルとのマッチングを行う処理部である。
【００９４】
ここでは、タイプ１時系列データマッチング部５５０とは異なり、第１の実施形態における時系列データマッチング部１５と同様、タイプ２時系列データそれぞれが、どのタイプ２時系列データ遷移モデルに最もマッチしたかを求める。
【００９５】
前述のように、本実施形態では、タイプ２時系列データ遷移モデルとして、ＤＰマッチングのモデルを用いる。後述するが、このＤＰマッチングのモデルは、タイプ２時系列データ生成部５４１で生成したタイプ２時系列データと同形式のデータ、つまり、上記説明した、“Ｕ”、“Ｄ”、“Ｌ”、“Ｒ”、“Ｏ”の５つのパターンの変位特徴を、複数個並べたものである。
【００９６】
従って、ここでのマッチングでは、単純に、シンボル列間のＤＰマッチングを行うことになる。よって、ここでは、各タイプ２時系列データについて、それぞれのＤＰマッチングのモデルとのシンボル列間のＤＰマッチングを行い、最もマッチングコストが低いタイプ２時系列データ遷移モデルにマッチしたと判定すればよい。尚、このＤＰマッチングにおいて、シンボルが異なる場合のマッチングコストを一定としてもよいが、相反するシンボル、つまり、“Ｕ”と“Ｄ”や、“Ｌ”と“Ｒ”に関しては、より高いマッチングコストを設定するようにしても構わない。
【００９７】
ここで、この複数のタイプ２時系列データ遷移モデルの生成方法について、図８のタイプ２時系列データ遷移モデル生成方法の処理ブロック図、及び、図９のタイプ２時系列データ遷移モデル生成方法の処理フロー図を用いて説明する。このタイプ２時系列データ遷移モデルの生成方法は、第１の実施形態の説明において、図３、及び、図４を用いて説明した時系列データ遷移モデルの生成方法と概略一致しているため、類似した部分に関しては、適宜、説明を省略する。
【００９８】
動画像データベース８１、及び、動画像データ入力部８２は、図３の動画像データベース３１、及び、動画像データ入力部３２と同様のものであり、動画像データベース８１に保持されている多数の動画像データを順次入力する。ここでの処理は、図９の動画像データ入力ステップ９２に対応する。
【００９９】
特徴点追跡部８９、タイプ２局所特徴抽出部８３１、及び、タイプ２時系列データ生成部８４１は、本実施形態における、図５中の特徴点追跡部５９、タイプ２局所特徴抽出部５３１、及び、タイプ２時系列データ生成部５４１と同様の処理部である。各処理部での処理は、上記説明したものと同様であるので、説明を省略する。この各処理部での処理により、動画像データ入力部８２で入力した動画像データから、多数のタイプ２時系列データを抽出し、それらをタイプ２時系列データ群保持部８５１に累積的に記録することになる。ここでの処理は、図９の特徴点追跡ステップ９９、タイプ２局所特徴抽出ステップ９３１、タイプ２時系列データ生成ステップ９４１、及び、タイプ２時系列データ追加ステップ９５１に対応する。
【０１００】
これらの処理を、動画像データベース８１に記録されている全ての動画像データに対して行うことで、タイプ２時系列データ群保持部８５１に、多数のタイプ２時系列データが記録されることになる。
【０１０１】
上記処理により、多数の動画像データから抽出した、多数のタイプ２時系列データが記録された後、これらのデータに基づいて、実際のタイプ２時系列データ遷移モデルの生成処理を行う。本実施形態では、データ間の距離に、ＤＰマッチングのマッチングコストを用いた、下記の文献に記載されている、Ｋ−ｍｅｄｏｉｄｓ法を用いたクラスタリング方法により、このタイプ２時系列データ遷移モデルの生成を行う。
【０１０２】
Ｈ．  Ｖｉｎｏｄ，  “Ｉｎｔｅｇｅｒ  Ｐｒｏｇｒａｍｍｉｎｇ  ａｎｄ  Ｔｈｅｏｒｙ  ｏｆ  Ｇｒｏｕｐｉｎｇ”，  Ｊｏｕｒｎａｌ  ｏｆ  Ａｍｅｒｉｃａｎ  Ｓｔａｔｉｓｔｉｃａｌ  Ａｓｓｏｃｉａｔｉｏｎ，  Ｖｏｌ．  ６４，  ｐｐ．  ５０６−５１７，  １９６９
以下、具体的に、この生成処理について説明する。
【０１０３】
初期タイプ２時系列データ遷移モデル生成部８７０は、初期のタイプ２時系列データ遷移モデルを生成する処理部である。ここでは、まず、タイプ２時系列データ群保持部８５１に記録されている多数のタイプ２時系列データの中から、生成するタイプ２時系列データ遷移モデルの個数分の、タイプ２時系列データをランダムにサンプリングする。本実施形態においては、前述のように、タイプ２時系列データ遷移モデルを１００個用いるので、１００個のタイプ２時系列データをランダムにサンプリングする。そして、ここでサンプリングしたタイプ２時系列データそのものを、初期のタイプ２時系列データ遷移モデルとする。
【０１０４】
つまり、ここでサンプリングしたタイプ２時系列データを、順序は任意で構わないが、インデックスを付与して、タイプ２時系列データ遷移モデル群記録部８８に、初期のタイプ２時系列データ遷移モデルとして記録する。本実施形態では、１００個のタイプ２時系列データ遷移モデルを用いるので、１から１００までのインデックスが付与されたタイプ２時系列データ遷移モデルが記録されることになる。ここでの処理は、図９の初期タイプ２時系列データ遷移モデル生成ステップ９７０に対応する。
【０１０５】
タイプ２時系列データインデクシング部８６では、タイプ２時系列データ群保持部８５１に記録されている多数のタイプ２時系列データそれぞれに、タイプ２時系列データ遷移モデルのインデックスを割り当てる処理を行う。ここでの処理は、第１の実施形態において説明した、図３の時系列データインデクシング部３６１での処理と同様の処理であり、時系列データのマッチング処理が、ＤＰマッチングである部分が異なるのみである。ここでは、各タイプ２時系列データそれぞれについて、図５のタイプ２時系列データマッチング部５５１での処理と同様に、タイプ２時系列データ遷移モデル群記録部８８に記録されている全てのタイプ２時系列データ遷移モデルとのＤＰマッチングを行う。
【０１０６】
そして、最もマッチングコストが低かったタイプ２時系列データ遷移モデルに対応するインデックスを、各タイプ２時系列データに割り当てることになる。ここでの処理は、図９のタイプ２時系列データインデクシングステップ９６に対応する。
【０１０７】
タイプ２時系列データインデクシング部８６での処理により、各タイプ２時系列データにインデックスが割り当てられることになるが、第１に実施形態における、時系列データ遷移モデルの生成と同様、この段階で、生成処理が収束したか否かを判定する。
【０１０８】
具体的には、第１の実施形態の場合と同様、新たに割り当てられたインデックスが、前回のインデックスと一致した場合、生成処理が収束したと判定し、一致しなかった場合は、収束しなかったと判定する。
【０１０９】
生成処理が収束していないと判定された場合、タイプ２時系列データ遷移モデル更新部８７１での処理に進む。生成処理が収束したと判定されるまで、タイプ２時系列データインデクシング部８６、及び、タイプ２時系列データ遷移モデル更新部８７１での処理を繰り返し行う。
【０１１０】
タイプ２時系列データ遷移モデル更新部８７１では、タイプ２時系列データインデクシング部８６で割り当てられたインデックスが同一であるタイプ２時系列データの集合を用い、各インデックスに対応するタイプ２時系列データ遷移モデルを更新する。ここでは、第１の実施形態の場合と同様に、インデックスが同一である複数のタイプ２時系列データを用い、それらをモデル化するようなタイプ２時系列データ遷移モデルを決定する。
【０１１１】
そして、タイプ２時系列データ遷移モデル群記録部８８に記録されている、各インデックスのタイプ２時系列データ遷移モデルを、決定したタイプ２時系列データ遷移モデルに更新する。ここでの処理は、図９のタイプ２時系列データ遷移モデル更新ステップ９７１に対応する。本実施形態では、インデックスが同一である複数のタイプ２時系列データの中から、これらを代表するデータを選択し、選択されたデータそのものを、これらのデータをモデル化するようなタイプ２時系列データ遷移モデルとする。
【０１１２】
具体的には、まず、インデックスが同一であるタイプ２時系列データ集合内での、２つのタイプ２時系列データの全組み合わせについて、ＤＰマッチングを行い、それぞれの組み合わせでのマッチングコストを求める。
【０１１３】
つまり、インデックスが同一のタイプ２時系列データの中から、２つのタイプ２時系列データを取り出し、２つの内の一方をＤＰマッチングのモデルとみなし、もう一方とのマッチングコストを計算する。これを、インデックスが同一であるタイプ２時系列データ集合内の、２つのタイプ２時系列データの全組み合わせにおいて計算することになる。
【０１１４】
そして、各タイプ２時系列データそれぞれについて、同一のインデックスであるタイプ２時系列データとのマッチングコストの総和を求める。最後に、この総和が、インデックスが同一であるタイプ２時系列データの集合の中で最小であったものを、この集合の代表データとして選択し、選択されたタイプ２時系列データそのものを、対応するインデックスの、新たなタイプ２時系列データとする。
【０１１５】
このように、マッチングコストの総和が最小となるデータを選択することで、概念的には、データ集合の中心に位置するデータを選択することができ、このデータを、データ集合の代表データとして、対応するタイプ２時系列データ遷移モデルとすることになる。
【０１１６】
タイプ２時系列データインデクシング部８６での処理後、生成処理が収束したと判定された場合は、タイプ２時系列データ遷移モデル記録部８８に記録されている複数のタイプ２時系列データ遷移モデルを、最終的な結果として出力する。この処理は、図９のタイプ２時系列データ遷移モデル出力ステップ９８に対応し、この最終的なタイプ２時系列データ遷移モデルを出力した段階で、このタイプ２時系列データ遷移モデル生成方法の処理が終了となる。このような処理により、本実施形態のタイプ２時系列データ遷移モデルを生成することが可能になる。
【０１１７】
そして、これらのタイプ２時系列データ遷移モデルを、図５のタイプ２時系列データ遷移モデル群保持部５０１に入力して保持しておき、これらを用いて、図５のタイプ２時系列データマッチング部５５１での処理を行うことになる。
【０１１８】
本実施形態の動画像パターン識別方法に戻り、図５の記述データ生成部５６では、タイプ１時系列データマッチング部５５０、及び、タイプ２時系列データマッチング部５５１での処理結果に基づいて、動画像データの記述データを生成する処理を行う。本実施形態では、タイプ１時系列データに関する記述データと、タイプ２時系列データに関する記述データをそれぞれ生成し、それを単純に連結した記述データを生成する。ここでの処理は、図６の記述データ生成ステップ６６に対応する。
【０１１９】
タイプ２時系列データに関しては、第１の実施形態と同様に、各タイプ２時系列データ遷移モデルそれぞれについて、最もマッチしたタイプ２時系列データの個数を求め、その個数を並べた頻度データを生成する。本実施形態では、１００個のタイプ２時系列データ遷移モデルを用いるので、この頻度データは、１００個の数値を並べたものになる。
【０１２０】
一方、タイプ１時系列データに関しては、各タイプ１時系列データ遷移モデルそれぞれについて、各タイプ１時系列データの適合度を累積した適合度累積データを生成する。
【０１２１】
具体的には、例えば、全てのタイプ１時系列データの、１番目のタイプ１時系列データ遷移モデルに対する適合度の総和が１２．５、２番目のタイプ１時系列データ遷移モデルでは３．２、３番目では７．８、・・・、という結果であったとする。この場合、ここで生成する適合度累積データは、１２．５、３．２、７．８、・・・、と、全タイプ１時系列データ遷移モデルの個数分の適合度の累積値を並べたものになる。本実施形態では、上述のように、タイプ１時系列データ遷移モデルは４００個であるので、４００個の数値を並べたものが、ここで生成される適合度累積データとなる。
【０１２２】
そして、この適合度累積データと、前述のタイプ２時系列データに関して生成した頻度データを、単純に連結したデータを、本実施形態における、動画像データの記述データとする。本実施形態では、前述のように、適合度累積データは４００個の数値を並べたものであり、タイプ２時系列データに関して生成した頻度データは１００個の数値を並べたものなので、この記述データは、５００個の数値を並べたデータとなる。
【０１２３】
動画像パターンモデルマッチング部５７では、記述データ生成部５６で生成した記述データと、動画像パターンモデル保持部５１に保持されている動画像パターンのモデルとのマッチング処理を行う。ここでの処理は、図６の動画像パターンモデルマッチングステップ６７に対応する。本実施形態では、ＳＶＭを用いてパターンの識別を行うが、まず、記述データ生成部５６で生成した記述データの正規化を行う。
【０１２４】
この正規化は、本実施形態では、記述データを構成する、タイプ１時系列データに関して生成した適合度累積データ部分と、タイプ２時系列データに関して生成した頻度データ部分を、それぞれ独立に、各値の総和が１となるように正規化する。そして、それを多次元ベクトルとみなし、動画像パターンのモデル、即ち、ＳＶＭの識別モデルデータに基づいて、所定のカテゴリＣの動画像データあるか否かの判定を行う。
【０１２５】
ここで、本実施形態で用いる、ＳＶＭの識別モデルデータ、及び、その生成方法について説明する。本実施形態では、カーネル関数ｋ（ｘ、ｘ’）に、式２に示すカイ２乗カーネルを用いた２クラスＳＶＭの識別モデルを用いる。
【０１２６】
【数２】
2014030164.tif 000004
【０１２７】
ここで、ｘはベクトル、ｘｉは、ベクトルｘのｉ番目の要素である。また、Σは、ベクトルの全要素での総和を意味し、Ｓは、カーネルの幅を決めるパラメータである。このカーネルの幅を決めるパラメータＳとしては、一般的には、データ間でのカイ２乗距離の期待値を用いることが多い。ＳＶＭの識別モデルは、このカーネル関数ｋを用い、以下の式で表される。
【０１２８】
【数３】
2014030164.tif 000005
【０１２９】
式中、ｘ（ＳＶｊ）は、ｊ番目のサポートベクトル、αＳＶｊは、ｊ番目のサポートベクトルに対応する結合係数、βはバイアス項である。また、ΣＳＶは、全てのサポートベクトルでの総和を意味する。この式に基づき、ある入力ベクトルｘに対して、式３の左辺の値を計算し、値が０以上であれば、ポジティブ、つまり、本実施形態においては、所定のカテゴリＣであると判定し、そうでなければ、ネガティブ、つまり、所定のカテゴリＣではないと判定する。本実施形態であれば、正規化を行った記述データを多次元ベクトルｘとみなして、式３の左辺を計算し、その値の正負により、所定のカテゴリＣであるか否かを判定することになる。
【０１３０】
従って、ＳＶＭの識別モデルは、複数のサポートベクトル｛ｘ（ＳＶｊ）｝と、それぞれに対応する結合係数αＳＶｊ、バイアス項β、及び、カーネルの幅を決めるパラメータＳで表現でき、これらがＳＶＭの識別モデルデータとなる。このＳＶＭの識別モデルデータは、所定のカテゴリＣである多数の動画像データ、及び、所定のカテゴリＣではない多数の動画像データを用いて、以下の方法により予め生成する。
【０１３１】
まず、上記多数の動画像データそれぞれに対し、本実施形態の記述データ生成部５６までの処理を行い、各動画像データの記述データを生成し、それを上記説明した方法で正規化する。この処理により、例えば、カテゴリＣである動画像データと、カテゴリＣでない動画像データが、全部でＮ個であるならば、Ｎ個の正規化されたデータが得られ、これらをＮ個の多次元ベクトルｘ（ｊ）｛ｊ＝１、２、・・・、Ｎ｝とみなす。次に、これらＮ個の多次元ベクトルを用いて、カーネルの幅を決めるパラメータＳを、以下の式により求める。
【０１３２】
【数４】
2014030164.tif 000006
【０１３３】
これは、上記Ｎ個の多次元ベクトルデータを用いて推定した、データ間のカイ２乗距離の期待値である。そして、求めたＳの値を用い、以下の制約付き最適化問題の解として、各ベクトルに対する係数αｊ｛ｊ＝１、２、・・・、Ｎ｝を求める。
【０１３４】
【数５】
2014030164.tif 000007
【０１３５】
ここで、ｙｊは、ベクトルｘ（ｊ）に対応するラベル情報であり、本実施形態では、ｘ（ｊ）が、所定のカテゴリＣである動画像データから生成したベクトルであれば、ｙｊ＝１、そうでなければ、ｙｊ＝−１となる。また、制約条件中のＣは、ＳＶＭのソフトマージンのパラメータであり、このパラメータは、例えば５−Ｆｏｌｄ  Ｃｒｏｓｓ−Ｖａｌｉｄａｔｉｏｎ等の交差検定により最適化すればよい。式５の最適化問題の結果として、αｊ｛ｊ＝１、２、・・・、Ｎ｝は、一般的にスパースな解、つまり、多くが０となるような解が得られる。そして、解が０ではないものに対応する全てのベクトルがサポートベクトルとなる。例えば、上記最適化問題の結果、α１＝０、α２＝１、・・・、ならば、α１に対応するベクトルｘ（１）はサポートベクトルとならず、α２に対応するベクトルｘ（２）はサポートベクトル、・・・、となる。
【０１３６】
この時、例えば、サポートベクトルｘ（２）に対応する結合係数は、ｙ２α２とする。つまり、αｊ≠０ならば、ｘ（ｊ）はサポートベクトルとなり、その結合係数は、ｙｊαｊということになる。最後に、バイアス項βに関しては、得られたサポートベクトルの内、結合係数の絶対値がＣより小さい任意のサポートベクトルｘ（ＳＶａ）、及び、対応するラベル情報ｙＳＶａを用いて、以下の式により求めればよい。
【０１３７】
【数６】
2014030164.tif 000008
【０１３８】
上記の方法により、カーネルの幅を決めるパラメータＳ、複数のサポートベクトルと、対応する結合係数、及び、バイアス項βが求められ、これが、本実施形態のＳＶＭの識別モデルデータとなる。そして、このように生成したＳＶＭの識別モデルデータを、動画像パターンモデル保持部５１に入力して保持しておき、動画像パターンモデルマッチング部５７での処理に用いることになる。
【０１３９】
最後に、識別結果出力部５８では、動画像パターンモデルマッチング部５７でのマッチング結果を出力する処理を行う。本実施形態では、動画像パターンモデルマッチング部５７での処理の結果、所定のカテゴリＣの動画像であるか否かの判定が得られるので、その判定結果を出力することになる。そして、この判定結果を出力することで、本実施形態の動画像パターン識別方法の処理が終了となる。ここでの処理は、図６の識別結果出力ステップ６８に対応する。
【０１４０】
上記処理により、入力した動画像データが、所定のカテゴリＣの動画像データであるか否かの判定を行うことが可能になる。このように、本実施形態では、第１の実施形態とは異なり、特徴点追跡結果に基づいて、複数の時系列データを抽出した。このように、本発明は、動画像中の特徴点を追跡して、そこから時系列データを抽出するような方法にも適用可能である。
【０１４１】
また、第１の実施形態では、１つのタイプの時系列データのみを、動画像データから抽出したが、本実施形態のように、異なる複数タイプの時系列データを抽出するようにしても構わない。抽出する時系列データのタイプは、本実施形態のように、局所的な画像特徴の時系列データや、特徴点の変位の時系列データ等、様々なものを用いることが可能である。
【０１４２】
尚、本実施形態では、入力した動画像データが、所定のカテゴリＣの動画像であるか否かの判定を行った。しかし、本発明はこれに限るものではなく、入力した動画像データが、複数の所定のカテゴリのいずれであるかを判定することも可能である。例えば、複数の所定のカテゴリごとに、式３に示したＳＶＭの識別モデルを予め求めておく。そして、入力した動画像データに対して、本実施形態の記述データ生成部５６までの処理を行い、入力した動画像データの記述データを生成する。この記述データを用いて、各カテゴリに対応する予め求めたＳＶＭの識別モデル（式３）の、左辺の値をそれぞれ算出する。そして、入力した動画像データを、算出した左辺の値が最も高かった識別モデルに対応するカテゴリであると判定する。尚、複数のカテゴリごとに識別モデルを求めた場合、識別モデルの生成に用いた動画像データ数の偏り等により、例えば、特定のカテゴリに対応する識別モデルを用いて算出した値が、他と比べて高くなる傾向を示すことがある。そのような場合、以下の式に示すように、カテゴリごとに固有のバイアスｂｃを、各識別モデルの左辺に付加し、上記傾向を補正してやればよい。
【０１４３】
【数７】
2014030164.tif 000009
【０１４４】
式中、ｘ（ＳＶｃ、ｊ）は、カテゴリｃの識別モデルにおけるｊ番目のサポートベクトル、αＳＶｃ、ｊは、そのｊ番目のサポートベクトルに対応する結合係数、βｃはバイアス項である。また、ΣＳＶｃは、カテゴリｃの識別モデルにおける全てのサポートベクトルでの総和を意味する。カテゴリごとに固有のバイアスｂｃは、ＳＶＭのソフトマージンのパラメータ等と同様に、例えば５−Ｆｏｌｄ  Ｃｒｏｓｓ−Ｖａｌｉｄａｔｉｏｎ等の交差検定により定めてやればよい。このようにすることにより、入力した動画像データが、複数の所定のカテゴリのいずれであるかを判定することが可能になる。
【０１４５】
［第３の実施形態］
本発明の第３の実施形態では、まず、複数の動画像データからなる動画像データ群の、それぞれの記述データを、第１または第２の実施形態の動画像情報処理方法により生成する。そして、それらの記述データを用いて、動画像データをクラスタリングする動画像データクラスタリング方法の例を示す。本実施形態において、クラスタリングとは、動画像データのグループ化のことを意味する。
【０１４６】
本実施形態においても、第１、及び、第２の実施形態と同様の部分については、適宜、説明を省略する。
【０１４７】
図１０に、本実施形態の動画像データクラスタリング方法の処理ブロック図を示す。また、図１１に、本実施形態の動画像データクラスタリング方法の処理フローを示す。以下、図１０、及び、図１１を用いて、本実施形態の動画像データクラスタリング方法の例について説明する。
【０１４８】
時系列データ遷移モデル群保持部１００は、本実施形態における時系列データに対応する時系列データ遷移モデルを多数保持するデータ保持部である。本実施形態でも、この時系列データ遷移モデルとしてＨＭＭを用いる。ただし、他の実施形態と異なり、後に述べるが、本実施形態では、動画像データから多数抽出する時系列データが、離散値データの時系列データであるので、ここでは離散変数を定義域とする確率密度関数を出力確率関数としたＨＭＭを用いる。この時系列データ遷移モデル群保持部１００には、本実施形態でも、４００個のＨＭＭのデータを入力し、インデックスを付与して保持する。ここでの処理は、図１１の時系列データ遷移モデル群入力ステップ１１０に対応する。
【０１４９】
タイプ１局所特徴モデル群保持部１０１０は、本実施形態におけるタイプ１局所特徴に関するＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄｓのデータを保持するデータ保持部である。本実施形態では、このＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄｓとして、下記の文献に記載されているＭｏｔｉｏｎ  Ｂｏｕｎｄａｒｙ  Ｈｉｓｔｏｇｒａｍ（ＭＢＨ）特徴のＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄｓを用いる。
【０１５０】
Ｄａｌａｌ，  Ｎ．，  Ｂ．  Ｔｒｉｇｇｓ  ａｎｄ  Ｃ．  Ｓｃｈｍｉｄ，  “Ｈｕｍａｎ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  Ｏｒｉｅｎｔｅｄ  Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｆｌｏｗ  ａｎｄ  Ａｐｐｅａｒａｎｃｅ”，  ＩＥＥＥ  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｖｏｌ．  ２，  ｐｐ．  ４２８−４４１，  ２００６
このＭＢＨ特徴のＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄｓは、予め、多数の動画像データから多数のＭＢＨ特徴を抽出し、それらに対してＫ−ｍｅａｎｓ法等のクラスタリング手法でクラスタリングを行うことにより生成すればよい。本実施形態では、このタイプ１局所特徴モデルとして、１０００個のＭＢＨ特徴からなるＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄｓを用いる。そのため、予め、１から１０００までのインデックスを付与した１０００個分のＭＢＨ特徴からなるＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄｓのデータを入力して、タイプ１局所特徴モデル群保持部１０１０に保持する。ここでの処理は、図１１のタイプ１局所特徴モデル群入力ステップ１１３に対応する。
【０１５１】
動画像データ入力部１０２では、動画像データセット保持部１０１に記録されている動画像データ群を、順次１つずつ選択して入力する。ここでの処理は、図１１の動画像データ入力ステップ１１２に対応する。図１１に示した通り、動画像データセット保持部１０１に記録されている全ての動画像データに対して、各動画像データに対応する記述データを生成するまで、動画像データの入力を繰り返すことになる。
【０１５２】
特徴点追跡部１０９は、第２の実施形態における、図５の特徴点追跡部５９と、同様の処理部であり、入力された動画像データから、多数の特徴点追跡結果を抽出する。また、タイプ２局所特徴抽出部１０３１も、第２の実施形態における、図５のタイプ２局所特徴抽出部５３１と同様であり、各特徴点における変位特徴を抽出する。これらの処理は、図１１の特徴点追跡ステップ１１９、及び、タイプ２局所特徴抽出ステップ１１３１に対応する。処理の詳細は、第２の実施形態と同様であるので、説明を省略する。
【０１５３】
タイプ１局所特徴抽出部１０３０では、第２の実施形態における、図５のタイプ１局所特徴抽出部５３０と同様に、特徴点追跡部１０９で求めた各特徴点を中心とした局所特徴を抽出するが、第２の実施形態とは、抽出する局所特徴の形式が異なる。
【０１５４】
具体的には、本実施形態では、まず、各特徴点を中心とした局所領域においてＭＢＨ特徴を抽出する。そして、タイプ１局所特徴モデル群保持部１０１０に保持されているＭＢＨ特徴のＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄｓのデータに基づき、抽出したＭＢＨ特徴に対応するＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄのインデックスを求める。このインデックスは、例えば次のように求めることができる。例えば、ユークリッド距離や、カイ２乗距離の基準で、抽出されたＭＢＨ特徴に、最も近いＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄを検索し、そのＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄに対応するインデックスとすればよい。
【０１５５】
そして、ここで求めたインデックスを、その特徴点におけるタイプ１局所特徴とする。本実施形態では、１０００個のＶｉｓｕａｌ  Ｃｏｄｅｗｏｒｄｓを用いるので、このタイプ１局所特徴は、１から１０００までの、いずれかのインデックスとなる。このようなタイプ１局所特徴を、特徴点追跡部１０９で求めた全ての特徴点について求める。ここでの処理は、図１１のタイプ１局所特徴抽出部１１３０に対応する。
【０１５６】
時系列データ生成部１０４では、特徴点追跡部１０９で求めた特徴点追跡結果と、タイプ１局所特徴抽出部１０３０、及び、タイプ２局所特徴抽出部１０３０で抽出した２種類の局所特徴に基づき、各特徴点追跡結果それぞれに対応する時系列データを生成する。ここでの処理は、図１１の時系列データ生成ステップ１１４に対応する。本実施形態では、同一の特徴点追跡結果における、それぞれの特徴点に対応する、タイプ１局所特徴と変位特徴の単純な組み合わせを時系列的に並べたものを１つの時系列データとする。上述のように、本実施形態のタイプ１局所特徴は、１から１０００までの離散値、変位特徴は、量子化された５つのパターンであるので、この時系列データは、１０００×５＝５０００の可能性を持つ離散データの時系列データとなる。
【０１５７】
時系列データマッチング部１０５は、第１の実施形態における、図１の時系列データマッチング部１５と同様、時系列データ遷移モデル群保持部１００に保持されている複数の時系列データ遷移モデルとのマッチングを行う。そして、時系列データ生成部１０４で生成された各時系列データそれぞれについて、最もマッチした時系列データ遷移モデルを求め、その時系列データ遷移モデルのインデックスを求める処理を行う。ここでの処理は、図１１の時系列データマッチングステップ１１５に対応する。本実施形態でも、第１の実施形態と同様、４００個の時系列データ遷移モデルにＨＭＭを用いるが、前述の通り、このＨＭＭは、離散変数を定義域とする確率密度関数を出力確率関数としたＨＭＭである。この複数のＨＭＭも、他の実施形態と同様、多数の動画像データから抽出した、上記時系列データを用いて、第１の実施形態における時系列データ遷移モデルと同様の方法で求めればよい。
【０１５８】
記述データ生成部１０６では、時系列データマッチング部１０５での処理結果に基づいて、動画像データの記述データを生成する処理を行う。ここでの処理は、図１１の記述データ生成ステップ１１６に対応する。本実施形態では、他の実施形態とは異なり、いわゆるＢｏＷ表現の記述データではなく、各時系列データに最もマッチした時系列データ遷移モデルのインデックスと、時系列データの位置をセットにした要素データのリストを記述データとして生成する。
【０１５９】
時系列データの位置情報には、本実施形態では、対応する特徴追跡結果の始点位置を用いる。例えば、ある時系列データに対応する時系列データ遷移モデルのインデックスがｉで、その時系列データに対応する特徴追跡結果の始点位置が（ｕ０、ｖ０）である場合、（ｉ、ｕ０、ｖ０）というデータが、この時系列データに対応する要素データになる。このような要素データを、全時系列データについて並べた（順序は問わない）リストが、本実施形態における動画像データの記述データとなる。
【０１６０】
具体的には、例えば、ある動画像データから、４０００個の時系列データが抽出された場合、上記のような（インデックス、始点位置ｕ、始点位置ｖ）という要素データの４０００個のリストが、この動画像データの記述データとなる。そして、このようにして生成した各動画像データに対応する記述データを、記述データ群保持部１０７に累積的に記録することになる。この処理は、図１１の記述データ追加ステップ１１７に対応する。これらの処理を、動画像データセット保持部１０１に記録されている全ての動画像データに対して行うことで、記述データ群保持部１０７に、各動画像データに対する記述データが記録されることになる。本実施形態では、上記のように、各時系列データに最もマッチする時系列データ遷移モデルを１つに決定する。
【０１６１】
しかし、第２の実施形態と同様に、各時系列データ遷移モデルに対する適合度を求め、例えば、適合度が所定値以上のデータに関してリストを生成し、それを動画像データの記述データとするようにしても構わない。
【０１６２】
上記処理により、各動画像データに対する記述データが記録された後、Ｋ−ｍｅｄｏｉｄｓクラスタリング部１０８において、これらのデータに対してクラスタリングの処理を行い、このクラスタリングの結果を出力する。この処理は、図１１のＫ−ｍｅｄｏｉｄｓクラスタリングステップ１１８に対応し、これにより、本実施形態の動画像データクラスタリング方法の処理が終了になる。クラスタリングの処理は、本実施形態では、第２の実施形態におけるタイプ２時系列データ遷移モデルの生成処理において用いたのと同様なＫ−ｍｅｄｏｉｄｓ法を用いる。Ｋ−ｍｅｄｏｉｄｓクラスタリング部１０８での処理の処理フローを図１２に示す。以下、図１２を用いて、Ｋ−ｍｅｄｏｉｄｓクラスタリング部１０８での処理について説明する。
【０１６３】
初期クラスタ中心選択ステップ１２７では、記述データ群保持部１０７に保持されている、各動画像データに対応する記述データの中から、ランダムに、生成するクラスタの個数分（例えばＫ個）のデータを選択する。そして、ここで選択された記述データを、初期のクラスタ中心として、インデックスを付与して記録しておく。
【０１６４】
次に、記述データインデクシングステップ１２６において、記述データ群保持部１０７に保持されている各記述データそれぞれについて、その記述データと、現在の各クラスタ中心との距離を求める。そして、最も距離が近いクラスタ中心に対応するインデックスを割り当てる処理を行う。この段階で、各記述データに割り当てられたインデックスが、前回の割り当てと同一であるならば、収束したと判定して、クラスタリング結果出力ステップ１２８へ進む。割り当てられたインデックスが同一でなかったら、収束していないと判定し、クラスタ中心更新ステップ１２７１の処理を行う。ここで、各記述データと、各クラスタ中心との距離は、２つの記述データ間の非類似度を表すようなものであればよい。本実施形態においては、２つの記述データＡ、Ｂ間の類似度Ｓｉｍ（Ａ、Ｂ）を以下の式のように定義する。
【０１６５】
【数８】
2014030164.tif 000010
【０１６６】
上記式において、ＬＡ、ＬＢは、各記述データＡ、Ｂそれぞれのリストの要素データ数である。ＡＥ（ｍ）は、記述データＡのｍ番目の要素データを意味し、ＡＥｉ（ｍ）は、この要素データのインデックス情報、つまり、この要素データに対応する時系列データが、どの時系列データ遷移モデルに対応したかを表す。ＡＥｕ（ｍ）、ＡＥｖ（ｍ）は、要素データの位置情報であり、ｗｄは、位置情報のＬ２ノルムに基づく重み項である。また、δ（ｉ、ｊ）は、クロネッカーのデルタで、ｉ＝ｊの時１で、それ以外は０となる。
【０１６７】
つまり、上記の式は、それぞれの要素データの対応要素データ（要素データのインデックス情報が一致するものの中で、最も位置情報が近い要素データ）との位置の差に基づく重み付き総和を、要素データの総数で正規化したものである。重み項の中のσは、画像のサイズ等に応じて設定すればよく、本実施形態においては、σ＝１０、つまり、位置が１０画素程度離れると、０．６程度の重みとなるようにしている。このような類似度を用い、本実施形態では、２つの記述データＡ、Ｂ間の距離Ｄ（Ａ、Ｂ）を、以下の式のように定義する。
【０１６８】
【数９】
2014030164.tif 000011
【０１６９】
本実施形態では、この記述データインデクシングステップ１２６において、上記の距離定義を用い、最も距離が近いクラスタ中心に対応するインデックスを割り当てる処理を行うことになる。
【０１７０】
クラスタリング中心更新ステップ１２７１では、記述データインデクシングステップ１２６で割り当てられたクラスタが同一である記述データの集合を用い、対応するクラスタ中心を更新する。本実施形態では、第２の実施形態におけるＫ−ｍｅｄｏｉｄｓ法を用いたタイプ２時系列データ遷移モデルの生成方法と同様、割り当てられたクラスタが同一である複数の記述データの中から、これらを代表するデータを選択し、それを新たなクラスタ中心とする。代表データは、割り当てられたクラスタが同一である記述データ群の中で、同群内の他の記述データとの、上記説明した距離の総和が、最も小さいデータとすればよい。
【０１７１】
つまり、第２の実施形態においては、ＤＰマッチングのマッチングコストを距離の定義に用いたが、ここでは、マッチングコストの代わりに、上記説明した距離を用いて、同様の処理を行うことになる。
【０１７２】
記述データインデクシングステップ１２６の処理後、処理が収束したと判定された場合は、クラスタリング結果出力ステップ１２８で、クラスタリング結果を出力する。ここまでが、Ｋ−ｍｅｄｏｉｄｓクラスタリング部１１８での処理であり、これにより、本実施形態の動画像データクラスタリング方法の処理が終了となる。クラスタリング結果とは、各記述データが、どのようにグループ化されたかであり、これが動画像データのクラスタリング結果となる。
【０１７３】
上記処理により、多数の動画像データのクラスタリングが可能になる。このように、本発明は、動画像データの記述データに基づいて、動画像データのクラスタリングを行うような手法にも適用可能である。更に、本実施形態のように、動画像データの記述データとして、他の実施形態のＢｏＷ形式とは異なり、位置情報を含むような記述データを用いることも可能である。また、本実施形態のように、動画像データから抽出する時系列データに関しては、ＭＢＨ特徴と、変位特徴という、異なるモーダルの局所特徴を統合した特徴の系列データを用いるようにしても構わない。
【０１７４】
［第４の実施形態］
本発明の第４の実施形態では、第２の実施形態で示した動画像情報処理方法を用いた動画像パターン識別方法の別形態を説明する。本実施形態でも、第２の実施形態と同様に、入力した動画像データが、複数の所定のカテゴリの内、いずれのカテゴリであるかを識別する動画像パターン識別方法の例を示す。本実施形態でも、入力動画像データは、第１の実施形態と同形式の動画像データとし、その動画像データが、複数の特定のスポーツシーンの内、いずれのスポーツシーンであるかを識別する。尚、本実施形態において、第２の実施形態と同様の部分については、説明を省略する場合がある。
【０１７５】
本実施形態の処理ブロック構成、及び、処理フローは、第２の実施形態と同様であるので、第２の実施形態と同様、図５及び図６を用いて、本実施形態の動画像パターン識別方法の例について説明する。
【０１７６】
タイプ１時系列データ遷移モデル群保持部５００、及び、タイプ２時系列データ遷移モデル群保持部５０１は、第２の実施形態と同様、それぞれ複数の時系列データ遷移モデルを保持するデータ保持部である。第２の実施形態では、それぞれの時系列データ遷移モデルとして、ＨＭＭとＤＰマッチングのモデルを用いた。本実施形態でもＨＭＭを用いるが、ＤＰマッチングのモデル等を用いても構わない。また、第２の実施形態では、各々４００個、１００個の時系列データ遷移モデルのデータを入力して保持した。時系列データ遷移モデルの個数は任意であるので、本実施形態でも、第２の実施形態と同様の個数でも構わないが、本実施形態では、それぞれ２０００個の時系列データ遷移モデルのデータを入力して保持する。この処理は、図６のタイプ１時系列データ遷移モデル群入力ステップ６００、及び、タイプ２時系列データ遷移モデル群入力ステップ６０１に対応する。
【０１７７】
本実施形態では、これまでの実施形態と異なり、上記のように多数の時系列データ遷移モデルを用いる。多数の時系列データ遷移モデルを利用した場合、計算量は増加するが、入力された動画像データに対して生成する記述データの情報量が増えるため、動画像データのカテゴリ識別性能が向上する傾向がある。多数の時系列データ遷移モデルを生成する処理は、基本的に、その他の実施形態と同様である。しかし、時系列データ遷移モデルにＨＭＭを用いた場合、時系列データ遷移モデル生成のために用いる時系列データの数が少ないと、ＨＭＭのモデルパラメータ更新の処理が不安定になる。そのような場合、ＨＭＭの各隠れ状態、及び、状態遷移に関する周辺事後確率に下限値を設定することで、パラメータ更新の処理が安定させられる可能性が高くなる。
【０１７８】
動画像パターンモデル保持部５１は、複数の所定のカテゴリの動画像パターンのモデルを保持するデータ保持部である。本実施形態では、入力された動画像データがいずれのカテゴリであるかを識別する手法として、複数のカテゴリそれぞれに対応したＳＶＭを用い、出力が最大であったＳＶＭに対応するカテゴリであると識別する。このため、本実施形態でも、予め学習した、各カテゴリについて、そのカテゴリの動画像データ、及び、そのカテゴリとは異なる動画像データを用いて生成した動画像パターンの識別モデルデータを、それぞれ動画像パターンモデル保持部５１に入力して保持する。ここでの処理は、図６の動画像パターンモデル入力ステップ６１に対応する。
【０１７９】
動画像データ入力部５２、特徴点追跡部５９、タイプ１局所特徴抽出部５３０、及び、タイプ１時系列データ生成部５４０に関しては、第２の実施形態と同様の処理部であるので説明を省略する。ここでの処理は、図６の動画像データ入力ステップ６２、特徴点追跡ステップ６９、タイプ１局所特徴抽出ステップ６３０、及び、タイプ１時系列データ生成ステップ６４０に対応する。
【０１８０】
タイプ２局所特徴抽出部５３１では、第２の実施形態と同様に、特徴点追跡結果のそれぞれの特徴点位置変化に基づく変位特徴を求める処理を行う。本実施形態でも、第２の実施形態と同様、変位量を量子化した変位特徴を用いても構わないが、本実施形態では、第２の実施形態とは異なり、量子化を行わず、連続値として変位特徴を求める。つまり、例えば、ある特徴点位置が（ｕｔ、ｖｔ）で、その特徴点が含まれる特徴点追跡結果の、前フレームでの特徴点位置が（ｕｔ−１、ｖｔ−１）であったとする。この時、変位量は（ｕｔ−ｕｔ−１、ｖｔ−ｖｔ−１）であり、この２次元の連続値データを、変位特徴とする。尚、本実施形態においては、特徴点追跡結果の始点に関しては、変化が無いとみなし、常に、変位特徴を（０、０）としている。ここでの処理は、図６のタイプ２局所特徴抽出ステップ６３１に対応する。
【０１８１】
続いて、タイプ２時系列データ生成部５４１では、特徴点追跡部５９で求めた特徴点追跡結果と、タイプ２局所特徴抽出部５３１で求めた変位特徴に基づき、タイプ２時系列データを複数作成する。ここでも、特徴点追跡部５９で求めた各特徴点追跡結果それぞれについて、１つの時系列データを生成する。ここでの処理は、図６のタイプ２時系列データ生成ステップ６４１に対応する。本実施形態でも、第２の実施形態と同様、同一の特徴点追跡結果における、それぞれの特徴点に対応する変位特徴を、時系列的に並べたものを１つの時系列データとする。具体的には、例えば、ある１つの特徴点追跡結果では、４０フレームで特徴点が追跡されたとする。そして、その各特徴点における、上記変位特徴抽出部５３１で求めた変位特徴が、ｄ１＝（０、０）、ｄ２＝（ｕ２−ｕ１、ｖ２−ｖ１）、・・・、ｄ４０＝（ｕ４０−ｕ３９、ｖ４０−ｖ３９）であったとする。この時、この特徴点追跡結果に対応する時系列データは、これらの４０個の変位特徴を、それぞれ２次元のベクトルとみなし、これらの２次元ベクトルを、単純に時系列的に並べたものになる。ここでの処理は、図６のタイプ２時系列データ生成ステップ６４１に対応する。
【０１８２】
タイプ１時系列データマッチング部５５０は、第１の実施形態における時系列データマッチング部１５と同様の処理部である。つまり、各タイプ１時系列データについて、タイプ１時系列データ遷移モデル群保持部５００に保持されている２０００個のＨＭＭそれぞれにおける尤度を求め、尤度が最も高いＨＭＭのインデックスを求めることになる。この処理は、図６のタイプ１時系列データマッチングステップ６５０に対応する。同様に、タイプ２時系列データマッチング部５５１も、各タイプ２時系列データについて、タイプ２時系列データ遷移モデル群保持部５００に保持されている２０００個のＨＭＭそれぞれにおける尤度を求め、尤度が最も高いＨＭＭのインデックスを求める。ここでの処理は、図６のタイプ２時系列データマッチングステップ６５１に対応する。
【０１８３】
記述データ生成部５６では、第２の実施形態と同様に、タイプ１時系列データマッチング部５５０、及び、タイプ２時系列データマッチング部５５１での処理結果に基づいて、動画像データの記述データを生成する処理を行う。本実施形態では、タイプ１時系列データに関する記述データｘ［１］と、タイプ２時系列データに関する記述データｘ［２］の２つ記述データをそれぞれ生成し、この２つをセットにした｛ｘ｝＝｛ｘ［１］、ｘ［２］｝を記述データとする。ここで生成する２つの記述データは、いずれも、第１の実施形態の記述データや、第２の実施形態におけるタイプ２時系列データに関する時系列データと同様の頻度データである。ここでの処理は、図６の記述データ生成ステップ６６に対応する。本実施形態では、前述のように、それぞれのタイプに関して、２０００個の時系列データ遷移モデルを用いるため、それぞれ２０００個の数値を並べた頻度データを２つ生成することになる。
【０１８４】
動画像パターンモデルマッチング部５７では、記述データ生成部５６で生成した記述データと、動画像パターンモデル保持部５１に保持されている複数の動画像パターンのモデルとのマッチング処理を行う。ここでの処理は、図６の動画像パターンモデルマッチングステップ６７に対応する。本実施形態では、第２の実施形態と同様、ＳＶＭを用いてパターンの識別を行う。ＳＶＭに用いるカーネル関数は、第２の実施形態と同様のカーネル関数を用いてもよい。しかし、本実施形態では、時系列データのそれぞれのタイプの違い、及び、各カテゴリの違いに対して、カーネル関数の幅を最適化できるようにするため、以下の式に示すカーネル関数を用いる。
【０１８５】
【数１０】
2014030164.tif 000012
【０１８６】
ここで、｛ｘ｝は、２つのベクトルｘ［１］とｘ［２］のセットであり、ｘ［Ｆ］、ｉは、ベクトルｘ［Ｆ］のｉ番目の要素である。また、ρＣ、及び、ＳＦは、カーネルの幅を決めるパラメータである。ρＣは、カテゴリＣであるか否かを識別するＳＶＭのモデルごとの、カーネルの幅を決めるパラメータであり、このパラメータは、例えば５−Ｆｏｌｄ  Ｃｒｏｓｓ−Ｖａｌｉｄａｔｉｏｎ等の交差検定により最適化する。また、ＳＦは、ベクトルｘ［Ｆ］に関する、データ間でのカイ２乗距離の期待値を用いる。本実施形態で用いる、ＳＶＭの識別モデルデータに関しては、上記カーネル関数を用い、第２の実施形態と場合と同様の手法で生成したものを用いればよい。そして、動画像パターンモデルマッチング部５７では、以下の式を用い、各カテゴリに関するスコアを求める処理を行う。
【０１８７】
【数１１】
2014030164.tif 000013
【０１８８】
上記の式において、｛ｘ（ＳＶＣ、ｊ）｝は、カテゴリＣの識別モデルにおけるｊ番目のサポートベクトルセット、αＳＶＣ、ｊは、そのｊ番目のサポートベクトルセットに対応する結合係数で、βＣはバイアス項である。また、ΣＳＶＣは、カテゴリＣの識別モデルにおける全てのサポートベクトルセットでの総和を意味する。ｂＣは、カテゴリごとに固有のバイアス項であり、第２の実施形態で説明したのと同様、５−Ｆｏｌｄ  Ｃｒｏｓｓ−Ｖａｌｉｄａｔｉｏｎ等の交差検定により定めてやればよい。
【０１８９】
最後に、識別結果出力部５８では、動画像パターンモデルマッチング部５７での結果に基づいて、入力した動画像データが、いずれのカテゴリの動画像データであるかを出力する処理を行う。本実施形態では、動画像パターンモデルマッチング部５７での処理により、複数のＳＶＭにおけるスコアが得られるので、入力した動画像データが、このスコアが最も高かったＳＶＭに対応するカテゴリであるという判定結果を出力することになる。そして、この判定結果を出力することで、本実施形態の動画像パターン識別方法の処理が終了となる。ここでの処理は、図６の識別結果出力ステップ６８に対応する。これにより、入力した動画像データが、複数の所定のカテゴリのいずれであるかを判定することが可能になる。
【０１９０】
上記説明した実施形態では、短い動画像データに対して１つの記述データを生成するようにした。しかし、本発明はこれに限るものではなく、例えば、動画像データを、時間的にオーバーラップするように区分して、それぞれの区分において記述データを生成し、その記述データの時系列データとして、動画像データを記述しても構わない。また、動画像データから、複数の時系列データを抽出せず、少なくとも１つの時系列データを抽出するようにしても構わない。
【０１９１】
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラム、もしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１９２】
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
【０１９３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１９４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１９５】
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【０１９６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記憶媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１９７】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
【０１９８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【０１９９】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。
【符号の説明】
【０２００】
１０  時系列データ遷移モデル保存部
１１  動画像パターンモデル保存部
１２  動画像データ入力部
１３  局所特徴抽出部
１４  時系列データ生成部
１５  時系列データマッチング部
１６  記述データ生成部
１７  動画像パターンモデルマッチング部
１８  識別結果出力部
【図１】
2014030164.tif 000014
【図２】
2014030164.tif 000015
【図３】
2014030164.tif 000016
【図４】
2014030164.tif 000017
【図５】
2014030164.tif 000018
【図６】
2014030164.tif 000019
【図７】
2014030164.tif 000020
【図８】
2014030164.tif 000021
【図９】
2014030164.tif 000022
【図１０】
2014030164.tif 000023
【図１１】
2014030164.tif 000024
【図１２】
2014030164.tif 000025