(57)【要約】【課題】  映像中から、ユーザが指定した被写体の動きに類似した動きが発生するシーンを、的確かつ簡易に検索することが可能な映像検索装置、映像検索方法、および映像検索用プログラムを提供する。【解決手段】  映像が表示される画面上で、検索対象の動きが発生しているとユーザにより判断されて画面上へ入力デバイスが用いられて描画により囲まれた領域の位置情報を、検索対象領域として指定する検索対象領域指定部１８と、前記検索対象の一連の動きが発生している前記映像中の一区間を決定する動き発生区間決定部１９と、前記検索対象領域指定部１８で指定された検索対象領域において、前記動き発生区間決定部１９で決定された一区間の被写体の動きと類似する動きが発生した映像情報部分を検索する検索処理部２１とを備える。【選択図】図１
2013164667.tif 000002
【特許請求の範囲】
【請求項１】
映像が表示される画面上で、検索対象の動きが発生しているとユーザにより判断されて画面上へ入力デバイスが用いられて描画により囲まれた領域の位置情報を、検索対象領域として指定する検索対象領域指定部と、
前記検索対象の一連の動きが発生している前記映像中の一区間を決定する動き発生区間決定部と、
前記検索対象領域指定部で指定された検索対象領域において、前記動き発生区間決定部で決定された一区間の被写体の動きと類似する動きが発生した映像情報部分を検索する検索処理部と
を備えることを特徴とする映像検索装置。
【請求項２】
前記映像の開始時点から終了時点までのフレームごとの各位置における動き角度情報を取得し、前記動き角度情報の大きさに基づいて異なる色彩のブロック情報を前記画面上の対応する位置に重畳して表示するための表示情報、または、前記映像開始時点から終了時点までの間の各時点における動きが発生したと認識される位置情報の計数値を時間軸上に示したグラフを、前記ユーザに検索対象の動きが発生している場所を判断させるための動き可視化情報として生成して表示させる動き可視化情報生成部をさらに有する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項３】
指定された前記検索対象領域内の各位置における動き角度情報を、前記映像を構成するフレームごとに取得し、当該各位置における動き角度情報の角度範囲ごとの出現頻度を示す情報を時系列に連結させたヒストグラム画像情報を生成するヒストグラム生成部と、
前記検索処理部は、前記動き変化情報生成部で生成されたヒストグラム画像情報の中から、前記動き発生区間決定部で決定された一区間に対応するヒストグラム画像情報部分の類似度が予め設定された閾値以上であると判定される画像情報部分を有する区間を検索し、前記検索対象の動きと類似する動きが発生している区間として抽出する
ことを特徴とする請求項１または２に記載の映像検索装置。
【請求項４】
映像検索装置が、
映像が表示される画面上で、検索対象の動きが発生しているとユーザにより判断されて画面上へ入力デバイスが用いられて描画により囲まれた領域の位置情報を、検索対象領域として指定する検索対象領域指定ステップと、
前記検索対象の一連の動きが発生している前記映像中の一区間を決定する動き発生区間決定ステップと、
前記検索対象領域指定ステップで指定された検索対象領域において、前記動き発生区間決定ステップで決定された一区間の被写体の動きと類似する動きが発生した映像情報部分を検索する検索処理ステップと
を有することを特徴とする映像検索方法。
【請求項５】
前記映像の開始時点から終了時点までのフレームごとの各位置における動き角度情報を取得し、前記動き角度情報の大きさに基づいて異なる色彩のブロック情報を前記画面上の対応する位置に重畳して表示するための表示情報、または、前記映像開始時点から終了時点までの間の各時点における動きが発生したと認識される位置情報の計数値を時間軸上に示したグラフを、前記ユーザに検索対象の動きが発生している場所を判断させるための動き可視化情報として生成して表示させる動き可視化情報生成ステップをさらに有する
ことを特徴とする請求項４に記載の映像検索方法。
【請求項６】
指定された前記検索対象領域内の各位置における動き角度情報を、前記映像を構成するフレームごとに取得し、当該各位置における動き角度情報の角度範囲ごとの出現頻度を示す情報を時系列に連結させたヒストグラム画像情報を生成するヒストグラム生成ステップをさらに有し、
前記検索処理ステップでは、前記動き変化情報生成ステップで生成されたヒストグラム画像情報の中から、前記動き発生区間決定ステップで決定された一区間に対応するヒストグラム画像情報部分の類似度が予め設定された閾値以上であると判定される画像情報部分を有する区間を検索し、前記検索対象の動きと類似する動きが発生している区間として抽出する
ことを特徴とする請求項４または５に記載の映像検索方法。
【請求項７】
請求項１〜３のいずれか１項に記載の映像検索装置で実行される機能を、コンピュータで実行させるための映像検索用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中から、ユーザが指定した被写体の動きに類似した動きが発生した映像区間（シーン）を検索する映像検索装置、映像検索方法、および映像検索用プログラムに関する。
【背景技術】
【０００２】
従来、映像中から、指定した被写体の動きに類似した動きが発生するシーンを検索する技術として、例えば下記の非特許文献１および２に示すような技術がある。
【０００３】
非特許文献１に記載された技術に関し、野球中継において撮影した映像を例として説明する。
【０００４】
まず、検索するシーンとして、投球するシーンやバットを振るシーン、走るシーンなどのいくつかの動きに関する短いシーン（70フレーム程度）の映像を用意する。
【０００５】
次に、検索処理対象の映像フレームの画面全体について動きベクトルの方向（角度）を求め、各方向が出現する頻度を計数する。これが画像系列の各フレームについて繰り返され、方向と時間とを軸として２次元のヒストグラムを映像ごとに生成する。そして、検索対象の動きに関する各シーンについて１つのヒストグラムを基準として選び、それと重なりが最大になるように時間軸方向にずらすことで、該当するシーンを分析する。
【０００６】
ここで、ヒストグラムを多次元尺度法で分析すると、同じ動作を含むシーンは特徴空間内の近い座標に配置されてクラスタが形成される。同じクラスタに属するシーンには似た動きが含まれているといえるため、動きに基づいたシーンの検索に利用することができる。
【０００７】
また非特許文献２に記載された技術に関し、サッカー中継において撮影した映像を例として説明する。
【０００８】
この技術では、予め被写体であるサッカー選手やボールにセンサが装着されており、センサ位置が測定されることによりサッカー選手やボールの位置が取得され、映像に時系列のメタデータとして付加されている。
【０００９】
検索を行うユーザは、まず所望の移動体（選手やボールなど）をパレットから選択し、映像が表示されている画面上に検索したい移動体の軌跡を描画する。このとき、複数の移動体を選択する場合は、それぞれの移動体の軌跡を描画する。
【００１０】
そして、描画された軌跡と移動体の時系列データとのマッチングを行うことにより、軌跡と類似した動きが発生したシーンを、検索処理対象の映像から検索することができる。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】ズデネク プロハースカ, 伊藤 崇: "野球映像における動作認識のための特徴の検討", 電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解, Vol.101, No.125, pp.23-30, 2001
【非特許文献２】矢島 史, 角谷 和俊,田中 克己, "映像上での動きの直接描画によるサッカー映像検索", 情報処理学会研究報告. データベース・システム研究会報告, Vol.2002, No.41, pp.33-40, 2002)
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかし、上述した従来の技術では、以下のような問題があった。
【００１３】
非特許文献１の技術では、画面全体から動きの情報を取得してヒストグラムを作成しており、画面中から動きを抽出、あるいは指定するための具体的な手法については検討されていない。そのため、画面中にいくつかの動きが含まれている場合や背景の動きによるノイズなどが含まれている場合には、ユーザが意図した動きを的確に反映した抽出処理を行うことができない場合がある。
【００１４】
また非特許文献２の技術を利用するためには、被写体となる人や物にセンサを装着し、このセンサから時系列の位置情報を取得する必要がある。しかしセンサの装着には手間がかかり、特に人を対象とする場合にはセンサの存在が作業や運動の妨げとなる可能性があるため実用的でない。また、人間の四肢の動きを検索対象とする場合には特殊なセンサあるいは多数のセンサが必要になるため、現実的ではない。
【００１５】
本発明は上記事情に鑑みてなされたものであり、映像中から、ユーザが指定した被写体の動きに類似した動きが発生するシーンを、的確かつ簡易に検索することが可能な映像検索装置、映像検索方法、および映像検索用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記の課題を解決するための、本発明の映像検索装置は、映像が表示される画面上で、検索対象の動きが発生しているとユーザにより判断されて画面上へ入力デバイスが用いられて描画により囲まれた領域の位置情報を、検索対象領域として指定する検索対象領域指定部と、前記検索対象の一連の動きが発生している前記映像中の一区間を決定する動き発生区間決定部と、前記検索対象領域指定部で指定された検索対象領域において、前記動き発生区間決定部で決定された一区間の被写体の動きと類似する動きが発生した映像情報部分を検索する検索処理部とを備えることを特徴とする。
【００１７】
また本発明の映像検索方法は、映像検索装置が、映像が表示される画面上で、検索対象の動きが発生しているとユーザにより判断されて画面上へ入力デバイスが用いられて描画により囲まれた領域の位置情報を、検索対象領域として指定する検索対象領域指定ステップと、前記検索対象の一連の動きが発生している前記映像中の一区間を決定する動き発生区間決定ステップと、前記検索対象領域指定ステップで指定された検索対象領域において、前記動き発生区間決定ステップで決定された一区間の被写体の動きと類似する動きが発生した映像情報部分を検索する検索処理ステップとを有することを特徴とする。
【００１８】
また本発明の映像検索用プログラムは、上記映像検索装置で実行される機能を、コンピュータで実行させることを特徴とする。
【発明の効果】
【００１９】
本発明の映像検索装置、映像検索方法、および映像検索用プログラムによれば、映像中から、ユーザが指定した被写体の動きに類似した動きが発生するシーンを、的確かつ簡易に検索することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態による映像検索装置の構成を示すブロック図である。
【図２】本発明の一実施形態による映像検索装置において動き配列表情報を生成する処理を示すフローチャートである。
【図３】本発明の一実施形態による映像検索装置で、（ａ）処理される検索処理対象の映像情報内のフレーム画像情報の一例、（ｂ）生成された動き配列表情報の一例である。
【図４】本発明の一実施形態による映像検索装置において映像検索処理が実行されるときの動作を示すフローチャートである。
【図５】本発明の一実施形態による映像検索装置において、（ａ）動き角度情報の数値をフレーム画像情報に重畳して表示させた画面構成図の一例、（ｂ）動き角度情報の数値を色情報に変換してフレーム画像情報にカラーブロックとして重畳して表示させた画面構成図の一例である。
【図６】本発明の一実施形態による映像検索装置において、（ａ）表示されたフレーム画像情報上で指定されて位置を中心とした注目範囲を示す画面構成図、（ｂ）注目範囲に対応する動き角度情報を表示させた状態を示す画面構成図である。
【図７】本発明の一実施形態による映像検索装置において、フレーム画像情報ごとの、各探索サイズ領域の動き角度情報が記憶された数のカウント値を示すグラフである。
【図８】本発明の一実施形態による映像検索装置において、フレーム画像情報上でユーザにより入力された検索対象領域が表示された状態を示す画面表示図である。
【図９】本発明の一実施形態による映像検索装置において、（ａ）検索対象領域に対応する動き角度情報が表示された状態を示す画面表示図、（ｂ）フレーム画像情報ごとの、各探索サイズ領域の動き角度情報が記憶された数のカウント値を示すグラフである。
【図１０】本発明の一実施形態による映像検索装置において生成された、検索対象領域の動き角度情報が角度範囲ごとに分類され計数されたグラフである。
【図１１】本発明の一実施形態による映像検索装置において、（ａ）生成された１つのフレーム画像情報に関する色変換情報、（ｂ）各フレーム画像情報の色変換情報が横に連結されて生成されたヒストグラム画像情報である。
【図１２】本発明の一実施形態による映像検索装置において、生成されたヒストグラム画像情報から、映像検索処理が行われ類似するヒストグラム画像情報部分が抽出されるときの処理を示す説明図である。
【発明を実施するための形態】
【００２１】
〈一実施形態による映像検索装置の構成〉
本発明の一実施形態による映像検索装置の構成を、図１を参照して説明する。本実施形態による映像検索装置１は、映像情報記憶部１１と、動き検出部１２と、動き配列表情報記憶部１３と、映像表示制御部１４と、表示部１５と、動き可視化情報生成部１６と、入力部１７と、検索対象領域指定部１８と、動き発生区間決定部１９と、ヒストグラム生成部２０と、検索処理部２１と、検索結果出力部２２とを有する。
【００２２】
映像情報記憶部１１は、検索処理対象の映像情報であるテニスの試合を撮影した映像情報を記録する。この映像情報は、予め記録された映像ファイルでもよいし、外部から随時取得して記録している映像ストリームでもよい。
【００２３】
動き検出部１２は、映像情報記憶部１１に記録された映像情報を構成する映像開始時点から映像終了時点までの全フレームについてフレーム画像情報内の各位置の動き角度情報を取得し、これらを格納したセルを有する動き配列表情報を生成する。
【００２４】
動き配列表情報記憶部１３は、動き検出部１２で生成された動き配列表情報を記憶する。
【００２５】
映像表示制御部１４は、映像情報記憶部１１に記憶された映像情報を取得し表示制御を行う。
【００２６】
表示部１５は、映像表示制御部１４で取得された映像情報や、検索結果等を表示する画面である。
【００２７】
動き可視化情報生成部１６は、動き配列表情報記憶部１３に記憶された動き配列表情報に基づいて映像中の動き角度情報が発生している場所を可視化するための動き可視化情報を生成し、表示部１５に表示させる。
【００２８】
入力部１７は、ユーザにより操作されるマウスやタッチディスプレイなどの入力デバイスであり、表示部１５上の任意の位置を指定するための入力処理を行う。
【００２９】
検索対象領域指定部１８は、映像が表示された表示部１５の画面上で、検索対象の動きが発生しているとユーザにより判断されて、入力部１７の入力デバイスが用いられて描画により囲まれた領域の画面上の位置情報を、検索対象領域として指定する。
【００３０】
動き発生区間決定部１９は、映像中内の、検索対象の一連の動きが発生している一区間を決定する。
【００３１】
ヒストグラム生成部２０は、動き配列表情報記憶部１３に記憶された動き配列表情報中の、検索対象領域指定部１８で指定された検索対象領域に対応する各セルの動き角度情報の変化を時系列に示したヒストグラム画像情報を生成する。
【００３２】
検索処理部２１は、ヒストグラム生成部２０で生成された映像開始時点から終了時点までに対応するヒストグラム画像情報の中から、動き発生区間決定部１９により決定された一区間に対応するヒストグラム画像情報部分と類似する画像情報部分を有する区間を検索し、検索対象の動きと類似する動きが発生している区間として抽出する。
【００３３】
検索結果出力部２２は、検索処理部２１の検索により抽出された区間を検索結果として表示部１５に出力する。
【００３４】
〈一実施形態による映像検索装置の動作〉
本実施形態による映像検索装置１に動作として、テニスの試合を固定カメラで撮影した映像情報が検索処理対象として映像情報記憶部１１に記憶され、この映像情報から、ユーザが指定したサーブのシーンが検索対象として検索され表示部１５に表示される映像検索処理について説明する。
【００３５】
まず映像検索処理の前段階として実行される動き配列表情報を生成する処理について図２のフローチャートを参照して説明する。
【００３６】
映像検索装置１の動き検出部１２において、検索処理対象である「テニスの試合を撮影した映像情報」の連続する２枚のフレーム画像情報が映像情報記憶部１１から取得され（Ｓ１）、これらのフレーム画像情報内の各位置に関する動きベクトルが検出される。
【００３７】
具体的には、フレーム番号nおよびフレーム番号n+1の連続する２枚のフレーム画像情報が取得され、これら２枚のフレーム画像情報中の基準座標lnの周辺の画像情報が比較されることにより、当該座標lnに関する被写体の動きベクトル（オプティカルフロー）が検出される（Ｓ２）。本実施形態において被写体の動きベクトルはブロックマッチング法を用いて検出する場合について説明するが、これには限定されず、勾配法やLucas-Kanade法などを用いて検出するようにしてもよい。
【００３８】
そして、検出された動きベクトルが予め設定された閾値よりも低い場合は動きが検出されなかったものとして無視され、動きベクトルが当該閾値以上であった場合に、この動きベクトルの動き角度情報が算出される（Ｓ３）。
【００３９】
算出された動きベクトルの動き角度情報は、フレーム画像情報ごとに生成される動き配列表情報に格納される（Ｓ４）。動き配列表情報は、動きベクトルの検出を行う探索サイズを一辺とする正方形領域で分割された、フレーム画像情報内の各領域に対応するセルを有する２次元の配列表情報を、当該映像情報の全フレーム画像情報数分有した３次元の動き配列表情報である。つまりこの動き配列表情報には、当該映像情報内の全てのフレーム画像情報全体にわたる位置に関する動きベクトルの動き角度情報を格納するセルが備えられている。
【００４０】
映像に含まれるフレーム画像情報の総数をfcとし、表示部１５の画面の横方向サイズをwidthとし、縦方向サイズをheightとし、動きベクトル検出処理の、基準座標lnに対する比較処理対象の周辺領域のサイズをblockSizeとし、探索サイズをshiftSizeとすると、動き配列表情報の情報量（セル総数）は以下の式（１）で示される。
【数１】
2013164667.tif 000003
【００４１】
例えば図３（ａ）に示すようなフレーム画像情報３０nと、これに連続するフレーム画像情報３０n+1とから検索サイズごとの各位置に関する動きベクトルを検出し、各動きベクトルから算出された動き角度情報を、当該フレーム画像情報３０nに対応する配列表情報４０nの対応するセルに格納した状態を、図３（ｂ）に示す。図３（ｂ）では、説明を簡易にするために探索サイズを大きく設定し、探索サイズにより画面の横方向のサイズが１３個に分割され、縦方向のサイズが７個に分割された場合について示している。
【００４２】
図３（ａ）の例では、サーブを打つ動作が画面の右側で行われているため、対応する配列表情報４０nにおいても右側のセルに多くの動き角度情報が格納されている。また、サーブを打つ動作以外にも他のプレイヤーの動きや背景の動きが検出され、対応するセルに算出された動き角度情報が格納されている。動きが検出されなかった位置に対応するセルには、nullなどの動き角度情報として扱わない値が挿入される。
【００４３】
上述したステップＳ２〜Ｓ４の処理は、基準座標lnから探索サイズずつずらして繰り返されることにより、フレーム画像情報内全体に対して実行される（ループＢ）。
【００４４】
さらに、映像情報内の全てのフレーム画像情報に関してループＢの処理が実行されて（ループＡ）、動き配列表情報が生成され動き配列表情報記憶部１３に記憶される（Ｓ５）。
【００４５】
次に、記憶された動き配列表情報を利用して映像検索処理が実行されるときの処理について図４のフローチャートを参照して説明する。
【００４６】
まず映像情報記憶部１１に記憶された、検索処理対象であるテニスの試合を撮影した映像情報が映像表示制御部１４の制御により表示部１５に表示される。表示された映像は、ユーザにより視聴される。
【００４７】
そしてユーザが映像を視聴したことにより、映像情報の中からサーブを打つシーンを検索対象として処理を実行したいと考えたとき、ユーザにより再生操作や早送り操作、または画面上に表示されたシークバーを利用した操作などの既存の技術により映像再生制御処理が実行され、当該映像情報の中のいずれか１回のサーブシーン中のフレーム画像情報が表示部１５に表示される。
【００４８】
ここでユーザが映像を視聴する際に、記憶された動き配列表情報を利用して、動きの動き角度情報を可視化するための動き可視化情報を動き可視化情報生成部１６で生成し、表示部１５に表示させるようにする（Ｓ１１）ことで、ユーザが動き角度情報を把握でき、検索対象とする被写体の動きを発見しやすくすることができる。
【００４９】
例えば図５（ａ）に示すように、生成された配列表情報４０n情報中の動き角度情報の数値をフレーム画像情報３０n中の対応する場所に重畳して表示させたり、図５（ｂ）に示すように、生成された配列表情報４０nの動き角度情報の数値をHSV色空間の情報に変換した動き可視化情報５０nをフレーム画像情報３０nの対応する場所にカラーブロックとして重畳して表示させることで、動き角度情報を可視化することができる。
【００５０】
検索対象とする被写体の動きをユーザが発見しやすくするための他の手法について、図６および図７を参照して説明する。例えば図６（ａ）に示すように、ユーザがポインタにより示した位置（矢印で示した位置）を中心とした一定範囲を注目範囲６０nとし、図６（ｂ）に示すように、注目範囲６０nに対応する動き配列表情報中の動き角度情報のみを各フレーム画像情報に対応する動き配列表情報から抽出する。そしてフレーム画像情報ごとに、動き角度情報が記憶されたセル数をカウントし、カウントした結果を図７に示すように時系列に棒グラフで表示させることにより、画面上の任意の位置周辺で動きが多く発生した区間を時間軸上において視認しやすい状態で可視化することができる。この棒グラフは画面上に表示された、映像の開始位置から終了位置を直線的に示したシークバー上に表示させるようにしてもよい。また表示された棒グラフを利用して、ユーザのクリック操作やタップ操作により、図７の矢印で示すように動きが多く発生した時点のフレームまで再生位置をスキップできるようにしてもよい。
【００５１】
次に、ユーザが検索対象としたい一連のサーブのシーン中のいずれかのフレーム画像情報が表示部１５に表示された状態で、サーブを打つ動作を行っている被写体が表示されている場所、つまり検索対象の動きが発生していると判断された画面上の領域が、検索対象領域としてユーザにより入力される。このユーザによる画面上での検索対象領域の入力は、入力部１７の入力デバイスであるマウスのドラッグ操作や指でなぞるなどの操作が行われることにより、描画された自由線で囲まれて実行される。そして、入力された検索対象領域の位置情報が検索対象領域指定部１８で取得されることにより、検索対象領域が指定される（Ｓ１２）。
【００５２】
例えば図８に示すように、ステップＳ１１の処理により表示されたカラーブロックが参照されて、サーブを打つ動作を行っている被写体を囲むように、点線で示すような自由線で検索対象領域７０nが描画されて入力される。
【００５３】
次に動き発生区間決定部１９により、映像情報中で、当該検索対象領域で検索対象の一連の動きが発生している一区間の時間情報が動き発生区間として決定される（Ｓ１３）。例えば、本実施形態においては１回のサーブが行われる映像部分に対応する区間が、動き発生区間として決定される。この動き発生区間は、予め設定された定数を利用して決定してもよく、例えば現在表示されているフレームから前後１秒分、合計２秒分（６０フレーム相当）に対応する区間として決定してもよい。また図９（ａ）に示すように、当該検索対象領域に対応する動き配列表情報中の動き角度情報を参照し、図９（ｂ）に示すようにフレーム画像情報ごとの、動き角度情報が記憶されたセル数のカウント値を時系列に棒グラフ化し、表示中のフレーム画像情報の前後について動き角度情報が多く発生し始めたフレームに対応する時点を始点、少なくなったフレームに対応する時点を終点として、動き発生区間が決定されるようにしてもよい。また映像情報を再生させながら、検索対象とする動きが始めったとユーザが判断した時点でクリック操作を行い、当該動きが終わったと判断した時点でクリック操作を離すことで、ユーザにより指定された区間が動き発生区間として決定されるようにしてもよい。
【００５４】
次にヒストグラム生成部２０において、動き配列表情報記憶部１３に記憶された動き配列表情報から、各フレームの検索対象領域に対応するセルの要素が抽出され、映像開始時点から終了時点までの各時点における角度範囲ごとの動き角度情報の出現頻度の変化情報が時系列に並べられたヒストグラム画像情報が生成される（Ｓ１４）。
【００５５】
動き配列表情報からヒストグラム画像情報の生成処理について、図１０および図１１を参照して説明する。
【００５６】
まず、最初のフレーム画像情報に関し、ステップＳ１２において指定された検索対象領域に対応する動き配列表情報の動き角度情報が、予め設定された角度範囲ごとに分類されてそれぞれ計数される。
【００５７】
例えば、図８に示すフレーム画像情報で指定された検索対象領域について、図９（ａ）で示すように取得された対応する動き配列表情報の動き角度情報が、予め設定された角度範囲ごとの出現頻度が計数される。このとき、動き角度情報のばらつきを丸め、0度と360度とをまとめるために、複数の角度範囲が重畳するように設定される。例えば、「0度から30度」、「15度から45度」、・・・「345度から15度」というように重畳した24個の角度範囲が設定され、それぞれの出現頻度が計数される。
【００５８】
この計数結果をグラフ化すると、図１０のように表される。図１０では、横軸に、動き角度情報を分類する角度範囲が示され、縦軸に各角度範囲の出現頻度が示されている。
【００５９】
次に図１１（ａ）に示すように、図１０で表された計数結果が、色の濃淡に変換された色変換情報が生成される。図１１（ａ）の色変換情報では、縦幅が各角度範囲に1pixelごとに対応して最上部の画素が角度範囲「0度から30度」に対応し、最下部の画素が角度範囲「345度から15度」に対応しており、横幅が当該フレームに対応して1pixelで構成され、角度範囲の出現頻度が高い程、輝度の高い色で示されている。ここでは角度範囲「75度から90度」の出現頻度が最も高いため、この角度範囲に対応する画素が最も輝度が高い白色で示されている。
【００６０】
このようにして映像情報の開始時点から終了時点までのすべてのフレーム画像情報について検索対象領域の色変換情報が生成され、これらが時系列に横に連結させることにより、図１１（ｂ）に示すような横幅が映像のフレーム長分の画素数（fc pixel）のヒストグラム画像情報８０が生成される。このヒストグラム画像情報には正規化処理が施され、最も出現頻度が高い動き角度情報に対応する画素ほど輝度が高くなるように表される。
【００６１】
次に検索処理部２１において、ヒストグラム生成部２０で生成されたヒストグラム画像情報８０の中から、動き発生区間決定部１９で決定された一区間に対応するヒストグラム画像情報部分と類似する画像情報部分を有する区間が検索される（Ｓ１５）。
【００６２】
この検索処理においてはまず、図１２に示すように、ヒストグラム画像情報８０の中からステップＳ１３において決定された動き発生区間に対応する区間のヒストグラム画像情報部分がコピーされ、テンプレート画像情報９０として取得される。
【００６３】
そして、ヒストグラム画像情報８０の全体に対してテンプレート画像情報９０をずらしながらマッチング処理が行われ、２つの画像情報の画素値が比較される。マッチング処理で計算される画像を比較したときの近さ（画像の重なり度合い）をここでは類似度と呼び、例えば下記式（２）で示されるような相関関係を求める式により算出される。
【数２】
2013164667.tif 000004
【００６４】
上記式（２）において、T’（x’,y’）は座標（x’,y’）におけるテンプレート画像情報９０の画素値であり、I’（x’,y’）は比較する画像情報（ここではヒストグラム画像情報８０の一部）の画素値であり、Rは相関関数を示す。
【００６５】
算出され正規化された類似度について、画像情報が完全に一致して重なったときの類似度を「1」、全く一致せず重ならなかったときの類似度を「0」とすると、例えば類似度が「0.5」以上であると判定される区間が類似する画像情報部分を有する区間として抽出される。この類似する画像情報部分は、１つのヒストグラム画像情報８０から複数抽出される場合もある。複数の区分が非常に近い位置で抽出された場合、それらは１つの区分としてまとめられる。
【００６６】
この抽出された画像情報部分に対応する映像情報部分は、ステップＳ１２においてユーザにより指定された検索対象の動きに類似する動きが発生している映像情報部分であると予測される。
【００６７】
次に検索結果出力部２２において、抽出された区分に対応する映像情報部分に関する情報が、検索結果として表示部１５に出力される（Ｓ１６）。映像情報部分に関する情報の表示としては、対応する映像情報部分内のフレーム画像情報を利用したサムネイル画面の表示、映像情報中の開始から終了までの各時点を直線上に示したシークバー上における対応する位置の表示、あるいは対応する映像情報部分の再生表示等により行われる。
【００６８】
以上の本実施形態によれば、映像中から、ユーザが指定した被写体の動きに類似した動きが発生するシーンを、ユーザの意図を基に的確かつ簡易に検索し、出力することができる。
【００６９】
このとき、ユーザが入力した検索対象領域に基づいて処理を行うため、ユーザが検索したいと意図した動きに基づいて的確に映像情報部分（シーン）の検索を実現することができる。これにより、同じ映像区間に異なる場所で複数の動きが発生している場合やノイズが含まれる場合であっても、高い精度でユーザの意図した検索処理を行うことができる。
【００７０】
また、映像情報に関して検索対象の動きに対応する区間をユーザが予め手動で切り出しておく操作も必要とせず、長い映像情報からでも任意の動きを含むシーンを間に簡易に検索することができる。
【００７１】
また、被写体の複雑な動きを検索対象とする場合であっても、ユーザは画面上の該当する被写体を囲むように描画するという簡単な操作のみで検索処理を実行させることができる。例えば、画面内で多数の選手が全体的に動くようなマクロな動きを検出したい場合は、該当する多数の選手の位置を包含して囲むように画面上で描画して検索対象領域を指定するのみで、検索処理が可能である。このときヒストグラム生成部では、各フレームの角度範囲ごとの動き角度情報の出現頻度を基にヒストグラム画像情報が生成されるため、厳密な各動きの位置の情報は考慮されず、全体的な動きの傾向に着目して検索が実行される。
【００７２】
一方で、被写体の四肢や手元の動きなどミクロな動きを検索する場合には、その動きに対応する範囲だけを囲むように描画すればよい。このとき、検索処理部でマッチング処理に用いられるテンプレート画像情報には、動き発生区間の中で変化する動き角度情報が含まれるため、当該検索対象の一連の動きの流れに基づいて検索が実行される。
【００７３】
また、動き可視化情報生成部において映像中の動きが発生している場所が動き角度情報に基づいて可視化されるため、検索対象としたい動きと別個の動きが近い位置で発生している場合にも、個々の動きの境界が明確に可視化され、ユーザが所望の動きを発見しやすくなる。
【００７４】
また、本実施形態の映像検索装置の各機能部の機能を、コンピュータに実行させるための映像検索用プログラムを構築することにより、当該コンピュータを映像検索装置として機能させることも可能である。
【符号の説明】
【００７５】
１…映像検索装置
１１…映像情報記憶部
１２…動き検出部
１３…動き配列表情報記憶部
１４…映像表示制御部
１５…表示部
１６…動き可視化情報生成部
１７…入力部
１８…検索対象領域指定部
１９…発生区間決定部
２０…ヒストグラム生成部
２１…検索処理部
２２…検索結果出力部
３０n…フレーム画像情報
４０n…動き配列表情報
６０n…注目範囲
７０n…検索対象領域
８０…ヒストグラム画像情報
９０…テンプレート画像情報
【図１】
2013164667.tif 000005
【図２】
2013164667.tif 000006
【図３】
2013164667.tif 000007
【図４】
2013164667.tif 000008
【図５】
2013164667.tif 000009
【図６】
2013164667.tif 000010
【図７】
2013164667.tif 000011
【図８】
2013164667.tif 000012
【図９】
2013164667.tif 000013
【図１０】
2013164667.tif 000014
【図１１】
2013164667.tif 000015
【図１２】
2013164667.tif 000016