(57)【特許請求の範囲】
【請求項１】
入力された映像から、予め定められた一定時間間隔でフレーム画像のペアの各々を抽出する画像ペア抽出部と、
前記画像ペア抽出部で抽出されたフレーム画像のペアの各々に対し、前記フレーム画像のペアのうちの一方の画像から局所特徴点を各々検出し、前記検出された局所特徴点の各々について、予め求められた、複数の局所特徴点をクラスタリングした結果から得られる複数のクラスタのうち、前記局所特徴点が属するクラスタと、前記局所特徴点とを対応付けると共に、前記フレーム画像のペアのうちの他方の画像から、前記一方の画像について抽出された局所特徴点の各々を追跡し、前記追跡された局所特徴点の各々について、前記局所特徴点が属するクラスタと、前記局所特徴点とを対応付けるクラスタ中心領域表現部と、
前記画像ペア抽出部で抽出されたフレーム画像のペアの各々に対し、前記クラスタ中心領域表現部により局所特徴点と対応付けられた前記フレーム画像のペアの一方の画像のクラスタ及び前記フレーム画像のペアの他方の画像のクラスタの組み合わせの各々について、前記組み合わせのクラスタと対応付けられた局所特徴点に基づいて、前記組み合わせのクラスタ間の相対動き特徴量を抽出する動き特徴量抽出部と、
前記画像ペア抽出部で抽出されたフレーム画像のペアの各々に対し、予め求められた、前記複数のクラスタ間の関連性に基づいて、前記動き特徴量抽出部により前記クラスタの組み合わせの各々について抽出された、前記組み合わせのクラスタ間の相対動き特徴量に、前記組み合わせのクラスタ間の関連性に従った重み付けを行う関連性重み付け部と、
前記画像ペア抽出部で抽出されたフレーム画像のペアの各々に対し、前記関連性重み付け部により重み付けされた、前記クラスタの組み合わせの各々についての、前記相対動き特徴量に基づいて、前記映像の時空間特徴量を生成する時空間特徴量生成部と、
を含む映像特徴抽出装置。
【請求項２】
入力された学習用映像群の学習用映像の各々について、前記学習用映像から予め定められた一定の時間間隔でフレーム画像の各々を抽出するフレーム画像抽出部と、
前記フレーム画像抽出部で前記学習用映像の各々について抽出された前記フレーム画像の各々から局所特徴点の各々を検出し、前記検出された局所特徴点の各々をクラスタリングして、複数のクラスタを生成するクラスタ中心領域生成部と、
前記クラスタ中心領域生成部によって生成された複数のクラスタ間の類似性に基づいて、前記複数のクラスタ間の関連性を表したコードブックを生成するコードブック生成部と、
を更に含む請求項１記載の映像特徴抽出装置。
【請求項３】
画像ペア抽出部が、入力された映像から、予め定められた一定時間間隔でフレーム画像のペアの各々を抽出するステップと、
クラスタ中心領域表現部が、前記フレーム画像のペアの各々を抽出するステップで抽出されたフレーム画像のペアの各々に対し、前記フレーム画像のペアのうちの一方の画像から局所特徴点を各々検出し、前記検出された局所特徴点の各々について、予め求められた、複数の局所特徴点をクラスタリングした結果から得られる複数のクラスタのうち、前記局所特徴点が属するクラスタと、前記局所特徴点とを対応付けると共に、前記フレーム画像のペアのうちの他方の画像から、前記一方の画像について抽出された局所特徴点の各々を追跡し、前記追跡された局所特徴点の各々について、前記局所特徴点が属するクラスタと、前記局所特徴点とを対応付けるステップと、
動き特徴量抽出部が、前記フレーム画像のペアの各々を抽出するステップで抽出されたフレーム画像のペアの各々に対し、前記クラスタ中心領域表現部により局所特徴点と対応付けられた前記フレーム画像のペアの一方の画像のクラスタ及び前記フレーム画像のペアの他方の画像のクラスタの組み合わせの各々について、前記組み合わせのクラスタと対応付けられた局所特徴点に基づいて、前記組み合わせのクラスタ間の相対動き特徴量を抽出するステップと、
関連性重み付け部が、前記フレーム画像のペアの各々を抽出するステップで抽出されたフレーム画像のペアの各々に対し、予め求められた、前記複数のクラスタ間の関連性に基づいて、前記動き特徴量抽出部により前記クラスタの組み合わせの各々について抽出された、前記組み合わせのクラスタ間の相対動き特徴量に、前記組み合わせのクラスタ間の関連性に従った重み付けを行うステップと、
時空間特徴量生成部が、前記画像ペア抽出部で抽出されたフレーム画像のペアの各々に対し、前記関連性重み付け部により重み付けされた、前記クラスタの組み合わせの各々についての、前記相対動き特徴量に基づいて、前記映像の時空間特徴量を生成するステップと、
を含む映像特徴抽出方法。
【請求項４】
フレーム画像抽出部が、入力された学習用映像群の学習用映像の各々について、前記学習用映像から予め定められた一定の時間間隔でフレーム画像の各々を抽出するステップと、
クラスタ中心領域生成部が、前記フレーム画像の各々を抽出するステップで前記学習用映像の各々について抽出された前記フレーム画像の各々から局所特徴点の各々を検出し、前記検出された局所特徴点の各々をクラスタリングして、複数のクラスタを生成するステップと、
コードブック生成部が、前記複数のクラスタを生成するステップで生成された複数のクラスタ間の類似性に基づいて、前記複数のクラスタ間の関連性を表したコードブックを生成するステップと、
を更に含む請求項１記載の映像特徴抽出方法。
【請求項５】
コンピュータを、請求項１又は請求項２に記載の映像特徴抽出装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像特徴抽出装置、方法、及びプログラムに係り、特に、映像から時空間特徴量を抽出するための映像特徴抽出装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、映像のシーン認識やイベント検出などにおいて、映像のシーン解析には幅広い技術が用いられている。シーン解析において、被写体（物体や人物）の変化や状態をより良く表現できるのは時空間特徴量である。時空間特徴量とは，映像から抽出される動き情報と視覚情報を同時に表現することが可能な特徴量である。従来の時空間特徴量生成方法として次のような方法がある。
【０００３】
まず映像の連続フレーム画像から、時間軸と空間軸におけるｃｕｂｏｉｄｓと呼ばれる局所立方体を抽出する。例えば、非特許文献１及び非特許文献２においては、空間軸にガウシアンフィルター、時間軸にガボールフィルタを適応することでこのｃｕｂｏｉｄｓを抽出する手法が用いられている。次に、抽出されたｃｕｂｏｉｄｓに対して、Ｈｉｓｔｇｒａｍ ｏｆ Ｏｒｉｅｎｔ Ｇｒａｄｉｅｎｔ（ＨｏＧ）と、Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔ Ｆｌｏｗ（ＨｏＦ）のそれぞれのヒストグラムで表現し、ｃｕｂｏｉｄｓの視覚特徴量と動き特徴量とする。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】P. Dollar, G. Cottrell, and S. Belongie. Behavior recognition  via sparse spatio-temporal features. In Proc. of Surveillance  and Performance Evaluation of Tracking and Surveillance,pp. 65ー72, 2005
【非特許文献２】Ivan Laptev, Tony Lindeberg. Local descriptors for spatiotemporal recognition. Spatial Coherence for Visual Motion Analysis Lecture Notes in Computer Science Volume 3667, 2006, pp 91-103
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しがしながら、上記の非特許文献１に示すような時空間特徴量生成方法には、次のような課題がある。制約なしに自由に現実環境を撮影した映像においては、背景の変化は複雑であり、被写体の動き、すなわち速度や方向の変化は様々である。このような背景の変化や被写体の動きによる影響によって、ｃｕｂｏｉｄｓのサイズを量子化により求めることは困難であり、個々に抽出された関連性を考慮していないｃｕｂｏｉｄｓは映像の被写体への対応関係が不明確となってという問題があった。また、従来の時空間特徴量は映像の被写体の変化を捉えることや追跡を行うことが困難となっているため、このような特徴量を用いた映像のシーン認識とイベント検出の精度は低くなるという問題があった。
【０００６】
本発明は、上記問題点を解決するために成されたものであり、被写体の視覚と動き情報を適切に表現した時空間特徴量を抽出できる映像特徴抽出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、第１の発明に係る映像特徴抽出装置は、入力された映像から、予め定められた一定時間間隔でフレーム画像のペアの各々を抽出する画像ペア抽出部と、前記画像ペア抽出部で抽出されたフレーム画像のペアの各々に対し、前記フレーム画像のペアのうちの一方の画像から局所特徴点を各々検出し、前記検出された局所特徴点の各々について、予め求められた、複数の局所特徴点をクラスタリングした結果から得られる複数のクラスタのうち、前記局所特徴点が属するクラスタと、前記局所特徴点とを対応付けると共に、前記フレーム画像のペアのうちの他方の画像から、前記一方の画像について抽出された局所特徴点の各々を追跡し、前記追跡された局所特徴点の各々について、前記局所特徴点が属するクラスタと、前記局所特徴点とを対応付けるクラスタ中心領域表現部と、前記画像ペア抽出部で抽出されたフレーム画像のペアの各々に対し、前記クラスタ中心領域表現部により局所特徴点と対応付けられた前記フレーム画像のペアの一方の画像のクラスタ及び前記フレーム画像のペアの他方の画像のクラスタの組み合わせの各々について、前記組み合わせのクラスタと対応付けられた局所特徴点に基づいて、前記組み合わせのクラスタ間の相対動き特徴量を抽出する動き特徴量抽出部と、前記画像ペア抽出部で抽出されたフレーム画像のペアの各々に対し、予め求められた、前記複数のクラスタ間の関連性に基づいて、前記動き特徴量抽出部により前記クラスタの組み合わせの各々について抽出された、前記組み合わせのクラスタ間の相対動き特徴量に、前記組み合わせのクラスタ間の関連性に従った重み付けを行う関連性重み付け部と、前記画像ペア抽出部で抽出されたフレーム画像のペアの各々に対し、前記関連性重み付け部により重み付けされた、前記クラスタの組み合わせの各々についての、前記相対動き特徴量に基づいて、前記映像の時空間特徴量を生成する時空間特徴量生成部と、を含んで構成されている。
【０００８】
また、第１の発明に係る映像特徴抽出装置において、入力された学習用映像群の学習用映像の各々について、前記学習用映像から予め定められた一定の時間間隔でフレーム画像の各々を抽出するフレーム画像抽出部と、前記フレーム画像抽出部で前記学習用映像の各々について抽出された前記フレーム画像の各々から局所特徴点の各々を検出し、前記検出された局所特徴点の各々をクラスタリングして、複数のクラスタを生成するクラスタ中心領域生成部と、前記クラスタ中心領域生成部によって生成された複数のクラスタ間の類似性に基づいて、前記複数のクラスタ間の関連性を表したコードブックを生成するコードブック生成部と、を更に含むようにしてもよい。
【０００９】
第１の発明に係る映像特徴抽出方法は、画像ペア抽出部が、入力された映像から、予め定められた一定時間間隔でフレーム画像のペアの各々を抽出するステップと、クラスタ中心領域表現部が、前記フレーム画像のペアの各々を抽出するステップで抽出されたフレーム画像のペアの各々に対し、前記フレーム画像のペアのうちの一方の画像から局所特徴点を各々検出し、前記検出された局所特徴点の各々について、予め求められた、複数の局所特徴点をクラスタリングした結果から得られる複数のクラスタのうち、前記局所特徴点が属するクラスタと、前記局所特徴点とを対応付けると共に、前記フレーム画像のペアのうちの他方の画像から、前記一方の画像について抽出された局所特徴点の各々を追跡し、前記追跡された局所特徴点の各々について、前記局所特徴点が属するクラスタと、前記局所特徴点とを対応付けるステップと、動き特徴量抽出部が、前記フレーム画像のペアの各々を抽出するステップで抽出されたフレーム画像のペアの各々に対し、前記クラスタ中心領域表現部により局所特徴点と対応付けられた前記フレーム画像のペアの一方の画像のクラスタ及び前記フレーム画像のペアの他方の画像のクラスタの組み合わせの各々について、前記組み合わせのクラスタと対応付けられた局所特徴点に基づいて、前記組み合わせのクラスタ間の相対動き特徴量を抽出するステップと、関連性重み付け部が、前記フレーム画像のペアの各々を抽出するステップで抽出されたフレーム画像のペアの各々に対し、予め求められた、前記複数のクラスタ間の関連性に基づいて、前記動き特徴量抽出部により前記クラスタの組み合わせの各々について抽出された、前記組み合わせのクラスタ間の相対動き特徴量に、前記組み合わせのクラスタ間の関連性に従った重み付けを行うステップと、時空間特徴量生成部が、前記画像ペア抽出部で抽出されたフレーム画像のペアの各々に対し、前記関連性重み付け部により重み付けされた、前記クラスタの組み合わせの各々についての、前記相対動き特徴量に基づいて、前記映像の時空間特徴量を生成するステップと、を含んで実行することを特徴とする。
【００１０】
また、第１の発明に係る映像特徴抽出方法において、フレーム画像抽出部が、入力された学習用映像群の学習用映像の各々について、前記学習用映像から予め定められた一定の時間間隔でフレーム画像の各々を抽出するステップと、クラスタ中心領域生成部が、前記フレーム画像の各々を抽出するステップで前記学習用映像の各々について抽出された前記フレーム画像の各々から局所特徴点の各々を検出し、前記検出された局所特徴点の各々をクラスタリングして、複数のクラスタを生成するステップと、コードブック生成部が、前記複数のクラスタを生成するステップで生成された複数のクラスタ間の類似性に基づいて、前記複数のクラスタ間の関連性を表したコードブックを生成するステップと、を更に含んで実行するようにしてもよい。
【００１１】
第２の発明に係るプログラムは、上記第１の発明に係る映像特徴抽出装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１２】
本発明の映像特徴抽出装置、方法、及びプログラムによれば、フレーム画像のペアの各々に対し、対応付けられたフレーム画像のペアの一方の画像のクラスタ及びフレーム画像のペアの他方の画像のクラスタの組み合わせの各々について、組み合わせのクラスタと対応付けられた局所特徴点に基づいて、組み合わせのクラスタ間の相対動き特徴量を抽出し、予め求められた、複数のクラスタ間の関連性に基づいて、組み合わせのクラスタ間の相対動き特徴量に、組み合わせのクラスタ間の関連性に従った重み付けを行い、相対動き特徴量に基づいて、映像の時空間特徴量を生成することにより、被写体の視覚と動き情報を適切に表現した時空間特徴量を抽出できる、という効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本実施の形態に係る映像特徴抽出装置の機能的構成を示すブロック図である。
【図２】コードブックの例を表す抽象図である。
【図３】実施の形態に係る映像特徴抽出装置におけるクラスタ生成処理ルーチンを示すフローチャートである。
【図４】実施の形態に係る映像特徴抽出装置における映像特徴抽出処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１５】
＜本発明の実施の形態に係る概要＞
【００１６】
まず、本発明の実施の形態における概要を説明する。
【００１７】
本実施の形態の前提となるのは、ＳＩＦＴ点などの画像の局所特徴点を用いたＢａｇ ｏｆ Ｗｏｒｄｓ（ＢｏＷ）という手法である。ＢｏＷは一般画像認識、３次元画像合成などさまざまな分野に応用され、有効性が示されている手法である。局所特徴点を用いたＢｏＷは、まず、画像群から抽出されたＳＩＦＴ局所特徴点群をクラスタリングする。これらのクラスタの個々はｖｉｓｕａｌ ｗｏｒｄｓと呼ばれる。そして、ある画像から抽出されたＳＩＦＴ局所特徴点群のそれぞれの局所特徴点をクラスタに対応付けることにより得られた、ｖｉｓｕａｌ ｗｏｒｄｓの集合をその画像の表現として用いる手法である。ここで、ｖｉｓｕａｌ ｗｏｒｄｓは実世界の一般的な物体の部分（人間であれば目、耳、車であればタイヤ、ドアなど）に対応付けられる。
【００１８】
また、映像イベント検出やシーン認識に対して、ｖｉｓｕａｌ ｗｏｒｄｓを応用した場合、次の２つの事象が観察できる。一つ目は、あるイベントやシーンに対しては、特定のｖｉｓｕａｌ ｗｏｒｄｓが検出されるというものである。例えば、動物の場合、目と耳がよく検出されるが、タイヤが検出されることは少ない。二つ目は、イベントやシーンにおけるｖｉｓｕａｌ ｗｏｒｄｓは一定の関連性を持っているというものである。例えば、目と耳、タイヤとドアは時空間的に関連している。
【００１９】
以上の観察を踏まえて、映像の被写体の視覚的な特徴についてｖｉｓｕａｌ ｗｏｒｄｓとｖｉｓｕａｌ ｗｏｒｄｓ間の関連性を用いて表現する。また、被写体の動き特徴を用いて、被写体に対応づけられたｖｉｓｕａｌ ｗｏｒｄｓの動き特徴量を用いて表現することによって、被写体の視覚と動き情報を精度よく捉えることができるようにする。
【００２０】
なお、上記、クラスタとしてｖｉｓｕａｌ ｗｏｒｄｓを用いた場合を例に説明したが、本実施の形態において、ｖｉｓｕａｌ ｗｏｒｄｓはクラスタの一例であり、画像の特徴を表現可能な他のクラスタを用いても良い。
【００２１】
＜本発明の実施の形態に係る映像特徴抽出装置の構成＞
【００２２】
次に、本発明の実施の形態に係る映像特徴抽出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る映像特徴抽出装置１００は、ＣＰＵと、ＲＡＭと、後述するクラスタ生成処理ルーチン及び映像特徴抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この映像特徴抽出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部８０とを備えている。
【００２３】
入力部１０は、映像蓄積部４０に記憶された学習用映像群に対応する全カテゴリの入力を受け付ける。また、入力部１０は、映像蓄積部４０に記憶された特徴抽出の対象となる映像の指定を受け付ける。
【００２４】
演算部２０は、映像取得部３０と、フレーム画像抽出部３２と、クラスタ中心領域生成部３４と、コードブック生成部３６と、映像蓄積部４０と、クラスタ中心領域記憶部４２と、コードブック記憶部４４と、画像ペア抽出部５０と、クラスタ中心領域表現部５２と、動き特徴量抽出部５４と、関連性重み付け部５６と、時空間特徴量生成部５８とを含んで構成されている。
【００２５】
まず、映像特徴抽出装置１００は、複数のクラスタの生成及びコードブックの生成を行う。
【００２６】
映像取得部３０は、入力部１０で受け付けた全カテゴリの入力に基づいて、映像蓄積部４０にカテゴリ毎に格納された学習映像群を取得する。
【００２７】
フレーム画像抽出部３２は、映像取得部３０で取得したカテゴリ毎の学習用映像群の学習用映像の各々について、当該学習用映像から予め定められた一定の時間間隔でフレーム画像の各々を抽出する。時間間隔としては、例えば、２秒ごとに抽出すればよい。
【００２８】
クラスタ中心領域生成部３４は、フレーム画像抽出部３２で学習用映像の各々について抽出されたフレーム画像の各々から局所特徴点の各々を検出し、検出された局所特徴点の集合に対してクラスタリングを行って、複数のクラスタを生成し、クラスタ中心領域記憶部４２に記憶する。クラスタ中心領域生成部３４は、例えば、一般的な手法により、ＳＩＦＴを局所特徴点として検出し、局所特徴点の集合においてｋ−ｍｅａｎｓなどのクラスタリング手法を用いて、クラスタリングを行う。そして、複数のクラスタ（ｖ１，ｖ２，．．．，ｖＮ）の各々として、当該クラスタの中心、すなわち、当該クラスタに属する局所特徴点群の平均値をとって生成されたものを用いる。
【００２９】
コードブック生成部３６は、クラスタ中心領域生成部３４によって生成された複数のクラスタ間の類似性に基づいて、複数のクラスタ間の関連性を表したコードブックを生成する。
【００３０】
コードブック生成部３６は、具体的には、クラスタ中心領域生成部３４によって生成された複数のクラスタに対して、複数のクラスタｖｉ,ｖｊ間の類似性Ｓ（ｖｉ,ｖｊ）に基づいて、図２に示すようなｔｒｅｅ構造のコードブックを生成し、コードブック記憶部４４に記憶する。図２の例では、同じ親を持つクラスタ、例えば、同じノードｅのｖ３及びｖ４は関連性が高いといえる。一方、異なる親を持つクラスタ、例えばｅのｖ３及びｃのｖ６は、ｖ３及びｖ４に比べて関連性が低いことを表している。ここで、複数のクラスタの類似性Ｓ（ｖｉ,ｖｊ）はＳＩＦＴ特徴量間のコサイン類似度で算出してもよい。また、ｔｒｅｅ構造のコードブック生成については、ｈｉｅｒａｒｃｈｉｃａｌクラスタリング手法（例えば、ａｇｇｌｏｍｅｒａｔｉｖｅ ｃｌｕｓｔｅｒｉｎｇ）などの既存の手法を用いればよく、その他のＮｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ等の手法を用いてもよい。
【００３１】
映像蓄積部４０には、カテゴリ毎の学習用映像群が格納されている。また、特徴抽出の対象となる映像が記憶されている。
【００３２】
クラスタ中心領域記憶部４２には、クラスタ中心領域生成部３４で生成された複数のクラスタが記憶されている。
【００３３】
コードブック記憶部４４には、コードブック生成部３６で生成されたコードブックが記憶されている。
【００３４】
次に、映像特徴抽出装置１００は、映像の特徴の抽出を行う。
【００３５】
画像ペア抽出部５０は、入力部１０で指定を受け付けた特徴抽出の対象となる映像を取得し、予め定められた一定時間間隔でフレーム画像のペアの各々を抽出する。画像ペア抽出部５０は、例えば、映像から時間軸に対して連続して一定の時間間隔でフレーム画像ペアを抽出し、フレーム画像群（Ｊ）を生成する。具体的には、フレーム画像のペアを（ａ１，ｂ１）、（ａ２，ｂ２）、（ａ３、ｂ３）・・・として抽出する。ここで、ｂ１−ａ１、ｂ２−ａ２、ｂ３−ａ３が一定の時間間隔である。例えば、時間間隔を２秒とすると、ａ２＝ａ１＋３、ａ３＝ａ２＋３となる。
【００３６】
クラスタ中心領域表現部５２は、画像ペア抽出部５０で抽出されたフレーム画像のペアの各々に対し、当該フレーム画像のペアのうちの一方の画像から局所特徴点を各々検出し、検出された局所特徴点の各々について、クラスタ中心領域記憶部４２に記憶された複数のクラスタのうち、局所特徴点が属するクラスタと、局所特徴点とを対応付けると共に、フレーム画像のペアのうちの他方の画像から、一方の画像について抽出された局所特徴点の各々を追跡し、追跡された局所特徴点の各々について、局所特徴点が属するクラスタと、局所特徴点とを対応付ける。
【００３７】
クラスタ中心領域表現部５２は、具体的には、フレーム画像ペアｊ（ｆ１、ｆ２）に対して、まず、ｆ１におけるＳＩＦＴを局所特徴点（p）として検出し、クラスタ中心領域記憶部４２に格納されている複数のクラスタに基づいて、局所特徴点が属するクラスタを求め、局所特徴点をクラスタに対応付ける。参照手法としては、例えば、局所特徴点と複数のクラスタとのコサイン類似度を算出して、局所特徴点が属するクラスタを求めるようにすればよい。次に、追跡手法を用いて、ｆ１における局所特徴点に対応する局所特徴点をｆ２から追跡して、追跡された局所特徴点を、同じクラスタと対応付ける。ここでの追跡手法としては、非特許文献３（An iterative image registration technique with an application to stereo vision,  Bruce D. Lucas , Takeo Kanade, IJCAI'81 Proceedings of the 7th international joint conference on Artificial intelligence - Volume 2 Pages 674-679）に記載する手法を用いてもよい。
【００３８】
動き特徴量抽出部５４は、画像ペア抽出部５０で抽出されたフレーム画像のペアの各々に対し、クラスタ中心領域表現部５２により局所特徴点と対応付けられた当該フレーム画像のペアの一方の画像のクラスタ及び当該フレーム画像のペアの他方の画像のクラスタの組み合わせの各々について、当該組み合わせのクラスタと対応付けられた局所特徴点に基づいて、当該組み合わせのクラスタ間の相対動き特徴量を抽出する。
【００３９】
ここで、参考として、局所特徴点と対応付けられたクラスタｖの各々の動き特徴量Ｈｉ（ｖ）について説明する。動き特徴量はＩ次元のｍｏｔｉｏｎ ｈｉｓｔｏｇｒａｍで表現してもよい。例えば、Ｉ＝４次元の場合、ＳＩＦＴを局所特徴点とした動きをｕｐ、ｄｏｗｎ、ｌｅｆｔ、及びｒｉｇｈｔの４つの方向でｈｉｓｔｏｇｒａｍ化してもよい。下記（１）式のｐはあるクラスタｖに属する局所特徴点である。ｍｐは局所特徴点ｐについてのｆ１→ｆ２間の動き特徴量である。例えば、ｏｐｔｉｃａｌ ｆｌｏｗ手法から算出してもよい。Ｄ（）はｍｐをＩ次元、４次元の場合であれば、ｕｐ、ｄｏｗｎ、ｌｅｆｔ、及びｒｉｇｈｔの各々に投射し、ｈｉｓｔｏｇｒａｍ化する。
【００４０】
【数１】
0005995943.tif 000002
【００４１】
本実施の形態では、動き特徴量抽出部５４は、フレーム画像のペアｆ１及びｆ２において、クラスタ間（ｖＩ,ｖｊ）の相対動き特徴量を下記の（２）式で算出する。
【００４２】
【数２】
0005995943.tif 000003
【００４３】
ここで、クラスタ中心領域表現部５２で生成されるクラスタの数をＮとすると、フレーム画像ペア（ｆ１、ｆ２）のクラスタの相対動き特徴量は、Ｎ＊Ｎ（ｉ,ｊ＝１，２，．．，Ｎ）の行列となるため、行列の要素は上記（２）式で表現できる。
【００４４】
なお、このような相対動き特徴量はカメラの動きの影響を低減できる。例えば、同じ人物が歩くシーンについて、どのように撮影するかを考えたときに、カメラが人物を追って撮影した場合には、カメラと人物の相対的な位置は同じであるため、近しい動き特徴となるのに対して、カメラの位置を固定して撮影した場合には、動き特徴は異なってくる。ここで、カメラの位置を固定して撮影したとすると、上記（１）式で算出した場合は、動き特徴量が異なるのに対して、上記（２）式で算出した場合は、フレーム画像の被写体の相対的な動きを考慮しているため、動き特徴量が同じとなる。
【００４５】
関連性重み付け部５６は、画像ペア抽出部５０で抽出されたフレーム画像のペアの各々に対し、以下に説明するように、コードブック記憶部４４に記憶されたコードブックに基づいて、動き特徴量抽出部５４によりクラスタの組み合わせの各々について抽出された、当該組み合わせのクラスタ間の相対動き特徴量に、当該組み合わせのクラスタ間の関連性に従った重み付けを行う。
【００４６】
関連性重み付け部５６は、まず、動き特徴量抽出部５４で抽出されたフレーム画像のペア（ｆ１、ｆ２）についての動き特徴量と、コードブック記憶部４４に記憶されたコードブックとを読み込む。次に、読み込んだコードブックのクラスタ間の関連性に基づいて、上記（２）式で表現されるクラスタの相対動き特徴量のＮ＊Ｎの行列において、Ｉ次元ごとの個々の要素について重みを付けし、下記の（３）式で表される関連性を考慮した動き特徴量ＳＲＭ（ｖＩ,ｖｊ）を求める。
【００４７】
【数３】
0005995943.tif 000004
【００４８】
ここで、
【００４９】
【数４】
0005995943.tif 000005
【００５０】
はコードブックにおいてクラスタｖlと同じ親を持つクラスタである。また、Ｓ（）はクラスタ間の類似性を表し、例えば、コサイン類似度を用いて算出してもよい。
【００５１】
時空間特徴量生成部５８は、画像ペア抽出部５０で抽出されたフレーム画像のペアの各々に対する、関連性重み付け部５６により重み付けされた、クラスタの組み合わせの各々についての、相対動き特徴量のＮ＊Ｎの行列に基づいて、映像の時空間特徴量を生成する。時空間特徴量生成部５８では、フレーム画像のペアの各々についての相対動き特徴量の行列を、時系列順に並べて合わせることにより、映像の時空間特徴量を生成し、出力部８０により出力する。
【００５２】
＜本発明の実施の形態に係る映像特徴抽出装置の作用＞
【００５３】
次に、本発明の実施の形態に係る映像特徴抽出装置１００の作用について説明する。
【００５４】
まず、入力部１０において映像蓄積部４０に記憶された学習用映像群に対応する全カテゴリの入力を受け付けると、映像特徴抽出装置１００は、図３に示すクラスタ生成処理ルーチンを実行する。
【００５５】
まず、ステップＳ１００では、入力部１０において受け付けた学習用映像群に対応する全カテゴリの入力に基づいて、映像蓄積部４０にカテゴリ毎に格納された学習用映像群を取得する。
【００５６】
次に、ステップＳ１０２では、ステップＳ１００で取得したカテゴリ毎の学習用映像群の学習用映像の各々について、当該学習用映像から予め定められた一定の時間間隔でフレーム画像の各々を抽出する。
【００５７】
ステップＳ１０４では、ステップＳ１０２で学習用映像の各々について抽出されたフレーム画像の各々から局所特徴点の各々を検出し、検出された局所特徴点の集合に対してクラスタリングを行って、複数のクラスタを生成し、クラスタ中心領域記憶部４２に記憶する。
【００５８】
ステップＳ１０６では、ステップＳ１０４で生成された複数のクラスタ間の類似性に基づいて、複数のクラスタ間の関連性を表したコードブックを生成し、コードブック記憶部４４に記憶する。
【００５９】
次に、入力部１０において映像蓄積部４０に記憶された特徴抽出の対象となる映像の指定を受け付けると、映像特徴抽出装置１００は、映像特徴抽出処理ルーチンを実行する。
【００６０】
まず、ステップＳ２００では、入力部１０で指定を受け付けた特徴抽出の対象となる映像を取得し、予め定められた一定時間間隔でフレーム画像のペアの各々を抽出する。
【００６１】
次に、ステップＳ２０２では、ステップＳ２００で抽出されたフレーム画像のペアの集合から、一つのフレーム画像のペアを選択する。
【００６２】
ステップＳ２０４では、ステップＳ２０２で選択されたフレーム画像のペアのうちの一方の画像から局所特徴点を各々検出し、検出された局所特徴点の各々について、クラスタ中心領域記憶部４２に記憶された複数のクラスタのうち、局所特徴点が属するクラスタと、局所特徴点とを対応付けると共に、フレーム画像のペアのうちの他方の画像から、一方の画像について抽出された局所特徴点の各々を追跡し、追跡された局所特徴点の各々について、局所特徴点が属するクラスタと、局所特徴点とを対応付ける。
【００６３】
ステップＳ２０６では、ステップＳ２０４で局所特徴点と対応付けられたフレーム画像のペアの一方の画像のクラスタ及び当該フレーム画像のペアの他方の画像のクラスタの組み合わせの各々について、当該組み合わせのクラスタと対応付けられた局所特徴点に基づいて、当該組み合わせのクラスタ間の相対動き特徴量を抽出する。
【００６４】
ステップＳ２０８では、コードブック記憶部４４に記憶されたコードブックに基づいて、ステップＳ２０６でクラスタの組み合わせの各々について抽出された、当該組み合わせのクラスタ間の相対動き特徴量に、当該組み合わせのクラスタ間の関連性に従った重み付けを行う。
【００６５】
ステップＳ２１０では、全てのフレーム画像ペアについて、ステップＳ２０２〜Ｓ２０８の処理を終了したかを判定し、全てのフレーム画像ペアについて処理を終了していなければ、ステップＳ２０２に戻って、まだ処理していないフレーム画像のペアを選択してステップＳ２０２〜Ｓ２０８の処理を繰り返し、全てのフレーム画像ペアについて処理を終了していれば、ステップＳ２１２へ移行する。
【００６６】
ステップＳ２１２では、ステップＳ２００で抽出されたフレーム画像のペアの各々に対する、ステップＳ２０６により重み付けされた、クラスタの組み合わせの各々についての、相対動き特徴量のＮ＊Ｎの行列に基づいて、映像の時空間特徴量を生成する。
【００６７】
そして、ステップＳ２１４では、ステップＳ２１２で生成された映像の時空間特徴量を出力部８０により出力し、処理を終了する。
【００６８】
以上説明したように、本実施の形態に係る映像特徴抽出装置によれば、フレーム画像のペアの各々に対し、対応付けられたフレーム画像のペアの一方の画像のクラスタ及びフレーム画像のペアの他方の画像のクラスタの組み合わせの各々について、組み合わせのクラスタと対応付けられた局所特徴点に基づいて、組み合わせのクラスタ間の相対動き特徴量を抽出し、コードブックに基づいて、組み合わせのクラスタ間の相対動き特徴量に、組み合わせのクラスタ間の関連性に従った重み付けを行い、相対動き特徴量のＮ＊Ｎの行列に基づいて、映像の時空間特徴量を生成することにより、被写体の視覚と動き情報を適切に表現した時空間特徴量を抽出できる。
【００６９】
また、クラスタ間の関連性を考慮した動き特徴量については、いくつかの効果が得られる。例えば、現実環境を撮影した映像に複雑な背景を持つことや被写体の遮蔽されることがよくため、従来の特徴点やＣｕｂｏｉｄｓによる時空間特徴量生成手法による特徴点では、連続的に被写体を追跡することが困難である。一方、本実施の形態では、一般的な被写体の部分に対応付けられるクラスタ（特徴点のかたまり）に着目し、追跡した局所特徴点をクラスタと対応付けたものを用いて、動き特徴量を抽出する。このような動き特徴量を利用することで、複雑な背景を持つ場合や被写体が遮蔽されることがあった場合でも、精度よく被写体の状態や動きを捉えることができる。
【００７０】
また、相対動き特徴量を用いることで、カメラの動きの影響を低減できる。
【００７１】
また、クラスタ間の関連性を考慮した動き特徴量を生成するため、ｓｐａｒｓｅなＮ＊Ｎの動き特徴量の行列において、更にカテゴリやシーンにおけるクラスタを絞り込むことで、映像中の主要な被写体の動きを精度よく捉えることができるようになる。
【００７２】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【００７３】
１０   入力部
２０   演算部
３０   映像取得部
３２   フレーム画像抽出部
３４   クラスタ中心領域生成部
３６   コードブック生成部
４０   映像蓄積部
４２   クラスタ中心領域記憶部
４４   コードブック記憶部
５０   画像ペア抽出部
５２   クラスタ中心領域表現部
５４   動き特徴量抽出部
５６   関連性重み付け部
５８   時空間特徴量生成部
８０   出力部
１００ 映像特徴抽出装置
【図１】
0005995943.tif 000006
【図３】
0005995943.tif 000007
【図４】
0005995943.tif 000008
【図２】
0005995943.tif 000009