(57)【要約】【課題】映像により示される動作を精度良く識別できる識別装置及び識別プログラムを提供すること。【解決手段】識別装置１は、映像を時空間小領域に分割する映像分割部１１と、時空間小領域それぞれについて、当該領域内の特徴点の軌跡に関する局所特徴量を算出し、所定次元で記述する特徴記述部１２と、局所特徴量の集合を統計処理し、特徴表現を求める特徴表現部１３と、時空間小領域毎の特徴表現の集合に基づいて、所定の識別器により映像中の動作を識別する識別部１４と、を備える。【選択図】図１
2015022702.tif 000002
【特許請求の範囲】
【請求項１】
映像により示される動作を識別する識別装置であって、
前記映像を時空間小領域に分割する映像分割部と、
前記時空間小領域それぞれについて、当該領域内の特徴点の軌跡に関する局所特徴量を算出し、所定次元で記述する特徴記述部と、
前記局所特徴量の集合を統計処理し、特徴表現を求める特徴表現部と、
前記時空間小領域毎の特徴表現の集合に基づいて、所定の識別器により前記動作を識別する識別部と、を備える識別装置。
【請求項２】
前記特徴表現部は、前記時空間小領域から得られた部分特徴表現、及び当該時空間小領域を包含し、かつ、時間スケールが等しい大領域から得られた大域特徴表現を組み合わせた特徴対を作成し、
前記識別部は、前記特徴対の集合に基づいて、前記動作を識別する請求項１に記載の識別装置。
【請求項３】
前記映像分割部は、互いに重なり、かつ、時間スケールが異なる複数の時空間小領域を含むように前記映像を分割する請求項２に記載の識別装置。
【請求項４】
前記識別部は、前記特徴対それぞれを入力とする第１の識別処理に続いて、当該第１の識別処理の結果の組み合わせを入力とする第２の識別処理を行う請求項２又は請求項３に記載の識別装置。
【請求項５】
前記特徴記述部は、特徴点の軌跡内の動きベクトルの方向と強さの分布を示す動き特徴、当該軌跡周辺の色の分布を示す見え特徴、並びに当該軌跡の時間長及び移動距離を示す形状特徴を表す特徴量を算出する請求項１から請求項４のいずれかに記載の識別装置。
【請求項６】
映像により示される動作をコンピュータに識別させるための識別プログラムであって、
前記映像を時空間小領域に分割する映像分割ステップと、
前記時空間小領域それぞれについて、当該領域内の特徴点の軌跡に関する局所特徴量を算出し、所定次元で記述する特徴記述ステップと、
前記局所特徴量の集合を統計処理し、特徴表現を求める特徴表現ステップと、
前記時空間小領域毎の特徴表現の集合に基づいて、所定の識別器により前記動作を識別する識別ステップと、を実行させるための識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像により示される動作を識別するための装置及びプログラムに関する。
【背景技術】
【０００２】
従来、画像から特徴点を検出し特徴量を記述するＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）アルゴリズムと、ＢｏＦ（Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓ）法との組み合わせにより、静止画像から物体を認識する技術がある。ＢｏＦは、抽出した局所特徴量を統合し、ヒストグラムとして表現する手法である。
【０００３】
特許文献１には、映像の時空間情報を利用して前景と背景とを分離し、背景上に発生する信号をノイズとして処理する方法が提案されている。特許文献２には、連続する数フレームの画像から得られる時間微分と空間微分とを利用した時空間特徴量の作成手法が提案されている。特許文献３には、輝度勾配特徴の共起を用いてオブジェクトを検出する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−８１７１４号公報
【特許文献２】特開２０１０−９２２９３号公報
【特許文献３】特開２００９−３０１１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、画像から抽出した多数の局所特徴（例えば、ＳＩＦＴ）の統計量を用いて画像を表現する手法は、画像内のオブジェクト認識又は画像のクラスタリング等に利用されている。この手法を動画像に拡張し、映像中から取得した局所特徴に基づいて被写体の動作を認識する手法も考えられる。しかしながら、静止画像で用いた特徴量を時間方向へ拡張したＭｏＳＩＦＴ（Ｍｏｔｉｏｎ  ＳＩＦＴ）、ＳＴＩＰ（Ｓｐａｃｅ−Ｔｉｍｅ  Ｉｎｔｅｒｅｓｔ  Ｐｏｉｎｔｓ）等の手法は、時間軸上では十分な情報量を持たない。
【０００６】
映像から人物動作を検出する場合、空間情報に加えて比較的長期（例えば、数秒間）の時間情報を扱う必要がある。また、人物動作は個人差が大きく、撮影方向によって見え方や動きは大きく変化する。これらの原因により、人物動作の解析に適した特徴量を記述することは難しかった。
【０００７】
また、ＢｏＦ等の画像又は映像の表現手法では、サイズ変化による不変性を保つために局所特徴の位置情報を無視している。局所特徴の空間上の位置情報を埋め込むために、Ｓｐａｔｉａｌ−Ｐｙｒａｍｉｄ等の手法も考案されているが、時間方向の情報がないため、映像から人物の動作を検出することは難しかった。
【０００８】
本発明は、映像により示される動作を精度良く識別できる識別装置及び識別プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る識別装置は、映像により示される動作を識別する装置であって、前記映像を時空間小領域に分割する映像分割部と、前記時空間小領域それぞれについて、当該領域内の特徴点の軌跡に関する局所特徴量を算出し、所定次元で記述する特徴記述部と、前記局所特徴量の集合を統計処理し、特徴表現を求める特徴表現部と、前記時空間小領域毎の特徴表現の集合に基づいて、所定の識別器により前記動作を識別する識別部と、を備える。
【００１０】
この構成によれば、識別装置は、時空間小領域により位置と時間情報を考慮した特徴表現を作成する。これにより、識別装置は、動作の時間的・空間的変化に頑健であり、映像コンテンツ内の人物が行う特定動作を高い精度で検出できる。
【００１１】
前記特徴表現部は、前記時空間小領域から得られた部分特徴表現、及び当該時空間小領域を包含し、かつ、時間スケールが等しい大領域から得られた大域特徴表現を組み合わせた特徴対を作成し、前記識別部は、前記特徴対の集合に基づいて、前記動作を識別してもよい。
【００１２】
この構成によれば、識別装置は、特徴対を用いて、大領域におけるカメラの動き情報を含んだ特徴表現を生成することにより、動作の識別精度を向上できる。
【００１３】
前記映像分割部は、互いに重なり、かつ、時間スケールが異なる複数の時空間小領域を含むように前記映像を分割してもよい。
【００１４】
この構成によれば、識別装置は、時空間小領域において時間的スケールを複数用意することで、動作速度の個人差にも対応でき、動作の識別精度を向上できる。
【００１５】
前記識別部は、前記特徴対それぞれを入力とする第１の識別処理に続いて、当該第１の識別処理の結果の組み合わせを入力とする第２の識別処理を行ってもよい。
【００１６】
この構成によれば、識別装置は、特徴表現を２段階の識別器で識別することにより、各段階の次元数を低減でき、少ない次元数で人物動作を精度良く識別できた。
【００１７】
前記特徴記述部は、特徴点の軌跡内の動きベクトルの方向と強さの分布を示す動き特徴、当該軌跡周辺の色の分布を示す見え特徴、並びに当該軌跡の時間長及び移動距離を示す形状特徴を表す特徴量を算出してもよい。
【００１８】
この構成によれば、識別装置は、見え特徴、動き特徴及び形状特徴を用いて、映像により示される動作の特徴を効率的に表現でき、動作の識別精度を向上できる。
【００１９】
本発明に係る識別プログラムは、映像により示される動作をコンピュータに識別させるためのプログラムであって、前記映像を時空間小領域に分割する映像分割ステップと、前記時空間小領域それぞれについて、当該領域内の特徴点の軌跡に関する局所特徴量を算出し、所定次元で記述する特徴記述ステップと、前記局所特徴量の集合を統計処理し、特徴表現を求める特徴表現ステップと、前記時空間小領域毎の特徴表現の集合に基づいて、所定の識別器により前記動作を識別する識別ステップと、を実行させる。
【発明の効果】
【００２０】
本発明によれば、映像により示される動作を精度良く識別できる。
【図面の簡単な説明】
【００２１】
【図１】第１実施形態に係る識別装置の構成を示すブロック図である。
【図２】第１実施形態に係る識別処理の流れを示す図である。
【図３】第１実施形態に係る見え特徴を説明する図である。
【図４】第１実施形態に係る動き特徴を説明する図である。
【図５】第１実施形態に係る特徴表現の概略図である。
【図６】第２実施形態に係る識別処理の流れを示す図である。
【図７】第１実施形態及び第２実施形態による識別精度を、従来手法と比較した評価実験結果を示す図である。
【発明を実施するための形態】
【００２２】
［第１実施形態］
以下、本発明の第１実施形態について説明する。
本実施形態の識別装置１は、映像中で人物等が行っている動作を識別する。ここで、映像とは、動画で表現されるコンテンツであり、例えば、所定のフレームレートで伝送される放送映像、家庭映像、インターネット映像等を含む。
【００２３】
図１は、本実施形態に係る識別装置１の構成を示すブロック図である。
識別装置１は、制御部１０と、記憶部２０と、通信部３０と、入力部４０と、表示部５０とを備える。
【００２４】
制御部１０は、識別装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各種機能を実現している。制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であってよい。
また、制御部１０は、映像分割部１１と、特徴記述部１２と、特徴表現部１３と、識別部１４とを備え、後述の識別処理を実行する。
【００２５】
記憶部２０は、ハードウェア群を識別装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスク（ＨＤＤ）等であってよい。具体的には、記憶部２０は、本実施形態の各機能を制御部１０に実行させるための識別プログラムの他、後述の特徴記述、特徴表現、及び識別器の学習データ等を記憶する。
【００２６】
通信部３０は、識別装置１が他の装置と通信する場合のネットワーク・アダプタである。具体的には、通信部３０は、制御部１０の制御に従って、ネットワークを介して、通信端末又は各種サーバ等と通信する。これにより、映像データ、学習データ及び識別結果データ等の送受信を行う。
【００２７】
入力部４０は、識別装置１に対するユーザからの指示入力を受け付けるインタフェース装置である。入力部４０は、例えば、キーボード、マウス、タッチパネル及び操作ボタン等により構成される。
【００２８】
表示部５０は、制御部１０による表示制御に従って、ユーザにデータの入力を受け付ける画面を表示したり、制御部１０による処理結果の画面を表示したりする。表示部５０は、液晶ディスプレイ（ＬＣＤ）又は有機ＥＬディスプレイ等のディスプレイ装置であってよい。
【００２９】
図２は、本実施形態に係る制御部１０の各部により実行される識別処理の流れを示す図である。
識別処理は、映像分割部１１による映像分割ステップ（ステップＳ１）、特徴記述部１２による局所特徴抽出ステップ（ステップＳ２）及び特徴記述ステップ（ステップＳ３）、特徴表現部１３による特徴表現ステップ（ステップＳ４）、識別部１４による識別ステップ（ステップＳ５）の順に実行される。
以下、各部の機能を詳述する。
【００３０】
ステップＳ１において、映像分割部１１は、映像を時空間小領域に分割する。時空間小領域とは、空間及び時間のそれぞれを所定の単位に分割した領域である。例えば、放送映像の場合、連続した所定数のフレームそれぞれから座標が共通の部分を取り出した領域である。
【００３１】
ＢｏＦでは画面全体から１つの特徴ベクトルを作成するため、映像から抽出した局所特徴の位置情報は考慮されない。また軌跡を抽出する時間尺を固定しているため、動作速度の変化が許容されない。これらの課題は、軌跡特徴の抽出範囲を空間的・時間的に固定していることに起因する。
そこで、本実施形態では、局所特徴の時空間上の位置を考慮した特徴表現ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ  Ｍｕｌｔｉｓｃａｌｅ  Ｂａｇｓ（ｓｔＭＢ）を用いる。ｓｔＭＢでは、空間的・時間的に分割された小領域の集合を定義し、これら小領域それぞれの内部から得られた局所特徴量を個別の特徴として扱うことで時空間上の位置情報を特徴表現へ埋め込むことができる。これにより、動作の時間的・空間的変化に頑健で、映像解析に基づく動作の識別性能が高い特徴表現が得られる。
【００３２】
具体的には、映像分割部１１は、互いに重なり、かつ、時間スケールが異なる複数の時空間小領域を含むように映像を分割する。
例えば、映像分割部１１は、識別対象の映像（例えば、３秒間の映像）に対して、空間的に９種類（縦横にそれぞれ３分割）の領域、時間的に３種類（１秒、２秒、３秒）のスケールを設ける。
【００３３】
ステップＳ２において、特徴記述部１２は、時空間小領域それぞれについて、この領域内の特徴点を抽出する。
特徴点は、画像内のエッジ等、時間経過に従って追跡可能な複数の点であり、既存の画像解析手法により抽出される。
【００３４】
ステップＳ３において、特徴記述部１２は、抽出した特徴点の軌跡に関する局所特徴量を算出し、所定次元で記述する。特徴点の軌跡は、画像中の特徴頂点の移動履歴であり、空間情報及び時間情報の双方を有する。
具体的には、特徴記述部１２は、特徴点の軌跡内の動きベクトルの方向と強さの分布を示す「動き特徴」、軌跡周辺の色の分布を示す「見え特徴」、並びに軌跡の時間長及び移動距離を示す「形状特徴」を表す特徴量を算出する。
【００３５】
図３は、本実施形態に係る見え特徴を説明する図である。
特徴記述部１２は、特徴点の周囲（正方形の領域内）の点の色を、２７分割したＲＧＢ色空間のいずれかの領域に当てはめ、２７次元の色ヒストグラムを作成する。これにより、ある特徴点の周囲の色の分布が所定次元の特徴量として表現される。
【００３６】
図４は、本実施形態に係る動き特徴を説明する図である。
特徴記述部１２は、特徴点の軌跡をフレーム間の動きベクトルに分割し、各ベクトルの向き及び大きさに応じて量子化処理を施して２５通りのラベルを付与し、２５次元のヒストグラムを作成する。これにより、ある特徴点が動く方向及び大きさの分布が所定次元の特徴量として表現される。このとき、軌跡内の全フレームの情報が使用されるため、動作の識別に有効な情報の欠落が抑制される。
【００３７】
ステップＳ４において、特徴表現部１３は、ステップＳ３で得られた局所特徴量の集合を統計処理し、特徴表現を求める。
特徴表現部１３は、各局所特徴量を特徴空間へ射影した後、これらを固定次元の特徴ベクトルへと統合する。まず、特徴表現部１３は、全ての局所特徴量を特徴空間へ射影し、特徴量の分布に応じたクラスタリング処理を施す。その後、特徴表現部１３は、クラスタ毎に量子化や平均化等の統計処理を行い、画像を１つの特徴ベクトルで表現する。画像により抽出される特徴点の数は異なるが、このステップを経ることで特徴点の数に関わらず、特徴量の集合は常に固定次元の特徴ベクトルへと変換できる。
【００３８】
このステップは、ＢｏＦで処理されることが多いが、本実施形態では、特徴表現部１３は、ＶＬＡＤ（Ｖｅｃｔｏｒ  ｏｆ  Ｌｏｃａｌｌｙ  Ａｇｇｒｅｇａｔｅｄ  Ｄｅｓｃｒｉｐｔｏｒｓ）の手法を用いる。
具体的には、特徴表現部１３は、領域内の複数の特徴点から得られる局所特徴量の集合を、所定のコードワード数（例えば、１６）×局所特徴量の次元数（見え特徴の２７次元＋動き特徴の２５次元＋形状特徴の２次元）の情報として部分特徴表現を生成する。
なお、部分特徴表現は、コードワード毎に、中心からこのコードワードに分類された局所特徴量のベクトル和として算出される。
【００３９】
さらに、特徴表現部１３は、ｓｔＭＢにより、時空間小領域から得られた部分特徴表現を結合し、全体の特徴表現とする。
【００４０】
図５は、本実施形態に係る特徴表現の概略図である。
特徴表現部１３は、空間的に９種類、時間的に３種類のスケールを設けているため、特徴表現は、全部で２７種類のヒストグラムを統合した形となる。各ヒストグラムの次元は、特徴量の記述手法によって異なり、ＢｏＦではコードワード数、本実施形態のＶＬＡＤではコードワード数×特徴次元数となる。
【００４１】
このように、特徴表現部１３は、ｓｔＭＢにより時空間内の小領域毎に軌跡特徴を取得することで、位置と時間の双方を考慮した特徴量を生成できる。
通常、カメラマンは３分割法と言われる水平・垂直の３分割線を意識して被写体を撮影することが多いため、この空間分割法はプロカメラマンが撮影した放送映像に対して特に効果が期待できる。また、特徴表現部１３は、小領域の時間的スケールを複数用意することで、動作速度の個人差にも対応できる。
【００４２】
ステップＳ５において、識別部１４は、時空間小領域毎の特徴表現の集合に基づいて、所定の識別器により動作を識別する。
具体的には、識別部１４は、ステップＳ４で作成された固定次元ベクトルを入力とし、サポートベクターマシン（ＳＶＭ）等の識別器により、予め設定された複数種類の動作のうち、いずれであるかの判定を行う。なお、識別器は、正解データを与えた「教師付き学習」により、事前に学習しておく。
【００４３】
［第２実施形態］
以下、本発明の第２実施形態について説明する。
なお、第１実施形態と同様の構成については、同一の符号を付し、説明を省略又は簡略化する。
本実施形態の識別装置１ａは、制御部１０ａにおける特徴表現部１３ａ及び識別部１４ａの機能が第１実施形態と異なる。
【００４４】
特徴表現部１３ａは、時空間小領域から得られた部分特徴表現、及びこの時空間小領域を包含し、かつ、時間スケールが等しい大領域から得られた大域特徴表現を組み合わせた特徴対を作成する。
【００４５】
一般に放送映像のカメラワークにはある程度のパターンが存在し、そのパターンに則ってカメラ操作が行われることが多い。特にスポーツ中継映像ではその傾向が顕著である。例えば野球中継では、投球シーンには投手を後ろから撮影したロングショット映像が用いられ、ヒットの際は即座にボールを追うカメラへと切り替わる。また、ゴルフのパッティングではグリーン全体を捉えたロングショットから始まり、ボールの移動に合わせてボールへのズームアップ画像へと移行する。また、バスケットボールでは、シュート後に相手チームへ攻撃が移るため、カメラが反対方向へパンされる。このように、カメラ操作には人物動作をキーとした典型的パターンが存在する。
カメラ操作により発生し、映像の背景領域から得られる局所特徴量は、一般にノイズとして扱われることが多いが、これらはカメラの動きを表す特徴量でもあるため、人物動作とカメラモーションの共起を考慮することが人物動作の認識精度に貢献すると考えられる。
【００４６】
そこで、特徴表現部１３ａは、空間的小領域と画像全体との共起特徴量を作成し、被写体の動作とカメラの動きとの双方を表現する。
具体的には、特徴表現部１３ａは、画面全体から抽出した大域特徴表現（Ｇｌｏｂａｌ  Ｒｅｐｒｅｓｅｎｔａｉｏｎ）と、小領域から抽出した部分特徴表現（Ｌｏｃａｌ  Ｒｅｐｒｅｓｅｎｔａｉｏｎ）の対を作成し、この特徴対（ＧＰＲ：Ｇｌｏｃａｌ  Ｐａｉｒｗｉｓｅ  Ｒｅｐｒｅｓｅｎｔａｉｏｎ）を、時空間小領域及び大領域の共起特徴量の基本単位とする。
【００４７】
識別部１４ａは、特徴対の集合に基づいて、動作を識別する。
具体的には、識別部１４ａは、特徴対それぞれを入力とする第１の識別処理に続いて、この第１の識別処理の結果の組み合わせを入力とする第２の識別処理を行う。
【００４８】
図６は、本実施形態に係る識別部１４ａによる識別処理の流れを示す図である。
第１段階において、識別部１４ａは、単一の特徴対（ＧＰＲ）を入力し、ＳＶＭ回帰により、入力された特徴対（Ｐ１１〜ＰＮＴＮＳ）それぞれに対応する時空間領域に各識別対象動作（行動１〜ＮＡ）が含まれる信頼度を連続値（０〜１の実数）で出力する。
【００４９】
例えば、時空間分割数（＝特徴対の数）が２７（空間分割数ＮＳ＝９、時間分割数ＮＴ＝３）、識別対象の動作がＮＡ種類ある場合、この第１段階目のＳＶＭ識別器は２７×ＮＡ個必要となる。識別部１４ａは、全ＳＶＭ識別器で信頼度を算出した後、これらを結合し、２７×ＮＡ次元の特徴ベクトルとして表現する。
【００５０】
第２段階において、識別部１４ａは、第１段階で生成した特徴ベクトルを、ＮＡクラスＳＶＭ識別器へ入力し、複数の対象動作のいずれであるかを識別する。識別部１４ａは、この２段階ＳＶＭにより、特徴量の次元数を膨張させることなく、かつ各小領域で抽出した特徴量を十分に考慮した上で人物動作を識別することが可能となった。
【００５１】
このように、ｓｔＭＢが構成する２７通りの時空間領域から、２７対のＧＰＲが生成される。これらを単純連結して１つの特徴ベクトルとすることも可能であるが、この場合は非常に高次元となるため、識別器が十分な精度を持つためには多量の学習データが必要である。そこで、識別部１４ａは、入力特徴量の異なる２段階のＳＶＭ識別器を用い、各段階では低次元の特徴量で識別処理を行うと同時に、最終的な識別精度を向上させた。
【００５２】
［実験結果］
図７は、第１実施形態に係る識別装置１及び第２実施形態に係る識別装置１ａによる識別精度を、従来手法と比較した評価実験結果を示す図である。
既存の３手法（コードワード数ｋ＝１６のＢｏＦ、コードワード数ｋ＝１０００のＢｏＦ、コードワード数ｋ＝１６のＶＬＡＤ）と、新規２手法（ｓｔＭＢ、ＧＰＲ）とを比較した結果を示す。なお、新規２手法におけるコードワード数は１６である。
【００５３】
評価には２試合分の放送映像データを用いた。識別した動作は、４種（ジャンプ、レイアップシュート、ジャンプシュート、セットシュート）及び「対象動作なし」である。１時間分の映像を用いて識別器を学習し、残りの１時間で評価した。各動作開始から終了までの時間に得られた特徴量を正例、いずれの動作も起きていない時間の特徴量を負例として学習した。各動作の生起タイミング（正解データ）は、目視により手動で作成した。
精度は、識別結果に含まれる正解の割合（適合率）と全正解のどれだけを正しく識別できたかの割合（再現率）の調和平均であるＦ値（％）で評価した。
【００５４】
ｓｔＭＢを用いてＶＬＡＤを記述した場合（第１実施形態）、従来３手法より高い識別精度（Ｔｏｔａｌ）が得られた。これにより、軌跡特徴の位置を考慮した記述手法（第１実施形態）の有効性が示された。特にスポーツ映像では画面内の特定領域で特定動作（例えばシュート）が行われる傾向があるため、位置情報の利用効果が高い。さらに、時間方向にスケールを変化させ、動作速度の個人差を吸収したことにより、精度が向上した。
なお、個別の動作では、既存のＶＬＡＤの精度が高い場合もあるが、識別対象に応じて精度が高い方の手法を選択的に用いることにより、高い精度が期待できる。
【００５５】
また、特徴対（ＧＰＲ）による２段階ＳＶＭで識別した場合（第２実施形態）、精度はさらに高まった。評価に用いたバスケットボール映像では、ゴール直後にカメラを反対方向へパンする等、カメラ操作に一定のパターンが見られた。ＧＰＲにより、人物動作をキーとしたカメラ操作パターンが学習されるため、高い識別精度が得られた。
【００５６】
以上のように、識別装置１は、ｓｔＭＢにより位置と時間情報を考慮した特徴表現を作成した。これにより、識別装置１は、動作の時間的・空間的変化に頑健であり、映像コンテンツ内の人物が行う特定動作を高い精度で検出することが可能となった。
本手法は、放送映像、インターネット上の映像、監視映像等、あらゆる映像に幅広く応用可能であり、行動をキーとした検索又は特定動作の監視等に利用できる。また、本手法は、特にカメラ操作に固定パターンが数多く存在するスポーツ放送映像の解析に適した手法である。
【００５７】
識別装置１は、見え特徴、動き特徴及び形状特徴を用いて、映像により示される動作の特徴を効率的に表現できるので、動作の識別精度を向上できた。
【００５８】
識別装置１は、ｓｔＭＢにおいて時間的スケールを複数用意することで、動作速度の個人差にも対応でき、動作の識別精度を向上できた。
【００５９】
識別装置１ａは、特徴対（ＧＰＲ）を用いて、大領域におけるカメラの動き情報を含んだ特徴表現を生成することにより、動作の識別精度を向上できた。
【００６０】
識別装置１ａは、ｓｔＭＢとＧＰＲを組み合わせた特徴表現を２段階の識別器で識別することで、人物動作の検出精度を向上できた。
さらに、全領域から得られたヒストグラムを単純に並べた場合、最終的な次元数は、例えば、５４軌跡特徴次元数×１６コードワード数×９空間分割数×３時間分割数＝２３３２８と膨大になるため、少ない学習データでは十分な精度を期待できないが、この２段階の識別手法により、少ない次元数で人物動作を精度良く識別できた。
【００６１】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【００６２】
ｓｔＭＢにおける時空間の分割数は、適宜設定可能である。
また、識別装置は、対象映像（例えば、バスケットボール、アメリカンフットボール等の種類）に応じて、識別器群を切り替え可能であってよく、この場合、各識別器に対して固有の識別対象動作が設定される。
【００６３】
本実施形態では、主に識別装置の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、映像中の動作を識別するための方法、又はプログラムとして構成されてもよい。
【００６４】
さらに、識別装置の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【００６５】
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６６】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【００６７】
１、１ａ  識別装置
１０、１０ａ  制御部
１１  映像分割部
１２  特徴記述部
１３、１３ａ  特徴表現部
１４、１４ａ  識別部
【図１】
2015022702.tif 000003
【図２】
2015022702.tif 000004
【図３】
2015022702.tif 000005
【図４】
2015022702.tif 000006
【図５】
2015022702.tif 000007
【図６】
2015022702.tif 000008
【図７】
2015022702.tif 000009