(57)【要約】【課題】早い段階から暫定テンプレートを用いた再検索の途中経過を確認でき、テンプレートの更新による再計算のコストを最小限に抑える。【解決手段】本発明は、テンプレートを作成し、該テンプレートを格納し、ある時刻に作成されたテンプレートを取得し、記憶されている推定最小テンプレート距離が一定値以下である時刻について、作成されたテンプレートと各フレームとのテンプレート距離を計算して格納し、旧テンプレートと新たに作成された新テンプレートと、格納されている推定最小テンプレート距離から、推定最小テンプレート距離を求めて格納する。上記で格納されているテンプレート距離・フレーム時刻に基づいて、検出結果を作成し、記憶手段に出力する。【選択図】図１
2007172175.tif 000002
【特許請求の範囲】
【請求項１】
映像に対して検索を行う映像検索装置であって、
映像記憶手段から映像を取得して、テンプレートを作成し、該テンプレートをテンプレート記憶手段に格納するテンプレート作成手段と、
ある時刻に作成されたテンプレートを前記テンプレート記憶手段から読み出して、推定最小テンプレート距離記憶手段における推定最小テンプレート距離が一定値以下である時刻について、作成されたテンプレートと前記映像記憶手段の映像の各フレームとの距離を計算し、テンプレート距離として該テンプレート距離記憶手段及び推定最小テンプレート距離記憶手段に格納するテンプレート距離算出手段と、
前記テンプレート記憶手段に格納されている旧テンプレートと新たに作成された新テンプレートと、前記推定最小テンプレート距離記憶手段に格納されている推定最小テンプレート距離から、推定最小テンプレート距離を求め、該推定最小テンプレート距離記憶手段に格納する推定最小テンプレート距離算出手段と、
前記テンプレート距離記憶手段に格納されている情報を用いて前記映像対象データを検索して、検出結果を作成し、その結果を検出結果記憶手段に出力する結果出力手段と、
を有することを特徴とする映像検索装置。
【請求項２】
前記推定最小テンプレート距離算出手段から前記推定最小テンプレート距離を取得し、該推定最小テンプレート距離が閾値以下となっている割合を算出する閾値以下割合算出手段と、
前記推定最小テンプレート距離が閾値以下の部分の割合が一定値以下であるかを判定し、一定値以下の推定最小テンプレート距離を前記テンプレート距離算出手段に出力する推定状況判定手段と、
を更に有する請求項１記載の映像検索装置。
【請求項３】
映像に対して検索を行う映像検索方法であって、
テンプレート作成手段が、映像記憶手段から映像を取得して、テンプレートを作成し、該テンプレートをテンプレート記憶手段に格納するテンプレート作成ステップと、
テンプレート距離算出手段が、ある時刻に作成されたテンプレートを前記テンプレート記憶手段から読み出して、推定最小テンプレート距離記憶手段における推定最小テンプレート距離が一定値以下である時刻について、作成されたテンプレートと前記映像記憶手段の映像の各フレームとの距離を計算し、テンプレート距離として該テンプレート距離記憶手段及び推定最小テンプレート距離記憶手段に格納するテンプレート距離算出ステップと、
推定最小テンプレート距離算出手段が、前記テンプレート記憶手段に格納されている旧テンプレートと新たに作成された新テンプレートと、前記推定最小テンプレート距離記憶手段に格納されている推定最小テンプレート距離から、推定最小テンプレート距離を求め、該推定最小テンプレート距離記憶手段に格納する推定最小テンプレート距離算出ステップと、
検索結果出力手段が、前記テンプレート距離記憶手段に格納されている情報を用いて前記映像データを検索して、検出結果を作成し、その結果を検出結果記憶手段に出力する結果出力ステップと、
を行うことを特徴とする映像検索方法。
【請求項４】
前記推定最小テンプレート距離算出手段から前記推定最小テンプレート距離を取得し、該推定最小テンプレート距離が閾値以下となっている割合を算出する閾値以下割合算出ステップと、
前記推定最小テンプレート距離が閾値以下の部分の割合が一定値以下であるかを判定し、一定値以下の推定最小テンプレート距離を前記テンプレート距離算出手段に出力する推定状況判定ステップと、
を更に行う請求項３記載の映像検索方法。
【請求項５】
コンピュータを、
請求項１または２記載の映像検索装置として機能させることを特徴とする映像検索プログラム。
【請求項６】
コンピュータを、
請求項１または２記載の映像検索装置として機能させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、映像中からテンプレートを作成し、そのテンプレートを用いて映像全体への再検索を行うための映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
映像中から第１の処理によってテンプレートを作成し、第２の処理として、当該テンプレートを用いた映像全体への再検索を行う映像検索方法がある。この方法は、検索対象映像を処理することによって、検索対象映像の中からテンプレートを作成し、当該テンプレートを用いて映像全体を再検索することで高精度に映像中からイベント検出するものである（例えば、非特許文献１参照）。
【非特許文献１】三上弾、紺谷精一、森本正志「突発音検出と教師なしクラスタリングを用いた野球映像からの投球イベント検出」信学技報 PRUMU2004-139,pp31-36 (200年12月)
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の手法では、第１の処理（テンプレートの作成）が完了しなければ、第２の処理（テンプレートを用いた映像全体の再検索）を開始することができず、処理状況の途中経過を見るまでに非常に長い時間がかかってしまうという問題があった。
【０００４】
また、暫定的なテンプレートを作成することは可能であるが、その場合、テンプレートが更新されるたびに、再計算が必要でありその計算量は大きく処理コストが膨大となってしまうという別の問題が発生してしまう。
【０００５】
本発明は、上記の点に鑑みなされたもので、早い段階から暫定テンプレートを用いた再検索の途中経過を確認でき、テンプレートの更新による再計算のコストを最小限に抑えることが可能な映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
図１は、本発明の原理構成図である。
【０００７】
本発明（請求項１）は、映像に対して検索を行う映像検索装置であって、
映像記憶手段１０から映像を取得して、テンプレートを作成し、該テンプレートをテンプレート記憶手段１６に格納するテンプレート作成手段１と、
ある時刻に作成されたテンプレートをテンプレート記憶手段１６から読み出して、推定最小テンプレート距離記憶手段９における推定最小テンプレート距離が一定値以下である時刻について、作成されたテンプレートと映像記憶手段１０の映像の各フレームとの距離を計算し、テンプレート距離として該テンプレート距離記憶手段８及び推定最小テンプレート距離記憶手段９に格納するテンプレート距離算出手段４と、
テンプレート記憶手段１６に格納されている旧テンプレートと新たに作成された新テンプレートと、推定最小テンプレート距離記憶手段９に格納されている推定最小テンプレート距離から、推定最小テンプレート距離を求め、該推定最小テンプレート距離記憶手段９に格納する推定最小テンプレート距離算出手段５と、
テンプレート距離記憶手段８に格納されている情報を用いて映像対象データを検索して、検出結果を作成し、その結果を検出結果記憶手段１３に出力する結果出力手段１２と、を有する。
【０００８】
また、本発明（請求項２）は、推定最小テンプレート距離算出手段から前記推定最小テンプレート距離を取得し、該推定最小テンプレート距離が閾値以下となっている割合を算出する閾値以下割合算出手段と、
前記推定最小テンプレート距離が閾値以下の部分の割合が一定値以下であるかを判定し、一定値以下の推定最小テンプレート距離を前記テンプレート距離算出手段に出力する推定状況判定手段と、を更に有する。
【０００９】
図２は、本発明の原理を説明するための図である。
【００１０】
本発明（請求項３）は、映像に対して検索を行う映像検索方法であって、
テンプレート作成手段が、映像記憶手段から映像を取得して、テンプレートを作成し、該テンプレートをテンプレート記憶手段に格納するテンプレート作成ステップ（ステップ１）と、
テンプレート距離算出手段が、ある時刻に作成されたテンプレートをテンプレート記憶手段から読み出して、推定最小テンプレート距離記憶手段における推定最小テンプレート距離が一定値以下である時刻について、作成されたテンプレートと映像記憶手段の映像の各フレームとの距離を計算し、テンプレート距離として該テンプレート距離記憶手段及び推定最小テンプレート距離記憶手段に格納するテンプレート距離算出ステップ（ステップ２）と、
推定最小テンプレート距離算出手段が、テンプレート記憶手段に格納されている旧テンプレートと新たに作成された新テンプレートと、推定最小テンプレート距離記憶手段に格納されている推定最小テンプレート距離から、推定最小テンプレート距離を求め、該推定最小テンプレート距離記憶手段に格納する推定最小テンプレート距離算出ステップ（ステップ３）と、
検出結果出力手段が、テンプレート距離記憶手段に格納されている情報を用いて映像データを検索して、検出結果を作成し、その結果を出力する結果出力ステップ（ステップ４）と、を行う。
【００１１】
また、本発明（請求項４）は、推定最小テンプレート距離算出手段から前記推定最小テンプレート距離を取得し、該推定最小テンプレート距離が閾値以下となっている割合を算出する閾値以下割合算出ステップと、
前記推定最小テンプレート距離が閾値以下の部分の割合が一定値以下であるかを判定し、一定値以下の推定最小テンプレート距離を前記テンプレート距離算出手段に出力する推定状況判定ステップと、を更に行う。
【００１２】
本発明（請求項５）は、コンピュータを、請求項１または２記載の映像検索装置として機能させる映像検索プログラムである。
【００１３】
本発明（請求項６）は、コンピュータを、請求項１または２記載の映像検索装置として機能させるプログラムを格納したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１４】
従来、第１の処理であるテンプレート作成が終了した後に、第２の処理であるテンプレートを用いた再検索を行うため、再検索の途中経過が確認できるようになるまでには、処理開始後長い時間を必要としたが、本発明によれば、テンプレートを作成し、当該テンプレートの更新に伴って、推定最小テンプレート距離を算出することで、早い段階から途中経過が確認可能となり、かつ、テンプレートの更新による再計算のコストを最小限にすることが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、図面と共に本発明の実施の形態を説明する。
【００１６】
本発明では、映像中から第１の処理としてテンプレートを作成し、第２の処理として当該テンプレートを用いて映像全体に対して再検索を行う際に、第１の処理の途中で、暫定的なテンプレートを作成し、最終的なテンプレート完成の以前に暫定的なテンプレートを用いて再検索を開始する。そして、暫定的なテンプレートが更新された場合には、推定最小テンプレート距離（実際のテンプレート距離は推定最小テンプレートより大きいことが証明可能）を求める。
【００１７】
最終的なテンプレートが完成した後に、最終テンプレートを用いた、推定最小テンプレート距離を算出し、距離が所定の閾値より小さい場合のみテンプレート距離を計算する。
【００１８】
これにより、最終的なテンプレートの完成を待たずに、再検索処理を開始し、処理の開始から早い段階から経過を確認することを可能とし、かつ、テンプレート更新による再計算の処理用を推定最小テンプレート距離の導入により最小限に留めるものである。
【００１９】
[第１の実施の形態]
図３は、本発明の第１の実施の形態における映像検索装置の構成を示す。
【００２０】
同図に示す映像検索装置は、テンプレート作成部１、テンプレート距離算出部４、推定最小テンプレート距離算出部５、テンプレート距離記憶部８、推定参照テンプレート距離記憶部９、映像記憶部１０、検出結果出力部１２、検出結果記憶部１３、テンプレート記憶部１６から構成される。
【００２１】
テンプレート作成部１は、テンプレートを作成し、当該テンプレートと作成時刻をテンプレート記憶部１６に格納する。図４に、テンプレート記憶部１６の例を示す。テンプレート記憶部１６は、テンプレートＩＤ、テンプレート作成時刻、テンプレートファイル名から構成される。なお、テンプレートの作成方法については、例えば、時間情報を持った動きを、履歴を用いて静止画で表現する技術であるMHI(Motion History Image)を用いたクラスタリングによるテンプレートの作成手法を用いることができる。
【００２２】
テンプレート距離算出部４は、テンプレート記憶部１６からある時刻に作成されたテンプレートを読み出して、推定最小テンプレート距離記憶部９における推定最小テンプレート距離が一定値以下である時刻について、当該作成されたテンプレートと映像記憶部１０の映像中の各フレームとの距離を算出し、テンプレート距離としてテンプレート距離記憶部８と推定最小テンプレート距離記憶部９に格納する。図５に、推定最小テンプレート距離記憶部９の例を示す。推定最小テンプレート距離記憶部９は、テンプレートＩＤ、時刻、推定最小テンプレート距離、推定値フラグから構成される。
【００２３】
推定最小テンプレート距離算出部５は、テンプレート記憶部１６に格納されている旧テンプレートと新たに作成された新テンプレートを読み出し、推定最小テンプレート距離記憶部９に格納されている推定最小テンプレート距離から、推定最小テンプレート距離を求め、推定最小テンプレート距離記憶部９に格納する。
【００２４】
テンプレート距離記憶部８は、テンプレート距離算出部４により求められたテンプレート距離、テンプレートＩＤ、フレームの時刻情報を格納する。
【００２５】
推定最小テンプレート距離記憶部９は、推定最小テンプレート距離算出部５で求められた推定最小テンプレート距離とフレームの時刻情報を記録する。
【００２６】
検出結果出力部１２は、テンプレート距離記憶部８に格納されているテンプレート距離に対応付けられているフレーム時刻に基づいて検出結果を決定し、検出結果記憶部１３に出力する。
【００２７】
次に、上記の構成における動作を説明する。
【００２８】
図６は、本発明の第１の実施の形態における動作のフローチャートである。
【００２９】
テンプレート作成部１において、映像記憶部１０の映像を用いてテンプレートを作成し（ステップ１１）、当該テンプレートをテンプレート記憶部１６に出力する（ステップ１２）。ここで、最終テンプレートが作成された場合には、ステップ１４に移行し、そうでない場合には、ステップ１１に移行する（ステップ１３）。
【００３０】
初期テンプレートである場合には（ステップ１７、Ｙｅｓ）、テンプレート距離算出部４において、初期テンプレートと映像記憶部１０の映像の各フレームとの距離を計算し、テンプレート距離記憶部８、及び推定最小テンプレート距離記憶部９に格納し、ステップ１３に移行する（ステップ１８）。
【００３１】
ステップ１７において、初期テンプレートではなく、かつ、最終テンプレートでない場合には、推定最小テンプレート距離算出部５において、テンプレート記憶部１６に格納されている旧テンプレートと新しく作成されたテンプレートを読み出して、推定最小テンプレート記憶部９に格納されている現在の推定最小テンプレート距離から推定最小テンプレート距離を求め、推定最小テンプレート距離記憶部９に格納し、ステップ１４に移行する（ステップ１９）。
【００３２】
ステップ１９の処理終了後、及び、ステップ１３において最終テンプレートであると判定された場合には（ステップ１３、Ｙｅｓ）、推定最小テンプレート距離算出部５において、推定最小テンプレート記憶部９に格納されている現在の推定最小テンプレート距離から推定最小テンプレート距離を求め、推定最小テンプレート距離記憶部９に格納する（ステップ１４）。
【００３３】
次に、テンプレート距離算出部４において、推定最小テンプレート距離記憶部９からテンプレートを読み出して、一定値以下である時刻の推定最小テンプレート距離を用いて、作成されたテンプレートまたは、最終テンプレートと映像の各フレームとの距離を計算し、テンプレート距離記憶部８に格納する（ステップ１５）。
【００３４】
検出結果出力部１２において、テンプレート距離記憶部８に格納されているテンプレート距離に対応するフレーム時刻に基づいて検出結果（映像フレームの時刻）を作成し、検出結果記憶部１３に出力する（ステップ１６）。
【００３５】
図７は、本発明の第１の実施の形態における処理イメージを示す。
【００３６】
同図において、横軸（ｔ）は時間である。ｔ＝０は初期テンプレートができた時刻としている。
【００３７】
テンプレート作成部１で初期テンプレートが作成されると、テンプレート距離算出部４でテンプレート距離の計算が開始され、検出の途中経過の確認が可能となる。一方で、テンプレート作成も継続されるため、テンプレート記憶部１６のテンプレートは更新される。
【００３８】
テンプレートが更新されると（ｔ＝テンプレート更新１）、第１のテンプレート更新によって求められた新しいテンプレートによって推定最小テンプレート距離が求まる（図７黒太実線）。
【００３９】
テンプレートが更に更新されると（ｔ＝テンプレート更新２）に、この例における、区間Ａにおいて、第２のテンプレートによる推定最小テンプレート距離が、閾値以下となった区間の割合が一定値以上となる。そのため、区間Ａにおいて、第２のテンプレートを用いてテンプレート距離を再計算する（図７黒太実線）。これにより、検出の途中経過は更新される。
【００４０】
以下、上記の図６の処理を詳細に説明する。
【００４１】
上記のステップ１９の推定最小テンプレート距離算出部５による、最小テンプレート距離推定方法を説明する。
【００４２】
図８は、本発明の第１の実施の形態における最小テンプレート距離推定処理のフローチャートである。
【００４３】
ステップ１９０１）  推定最小テンプレート距離算出部５は、テンプレート記憶部１６から新しいテンプレートを読み込む。Ｈnewとする。
【００４４】
ステップ１９０２）  また、テンプレート記憶部１６から旧テンプレートを読み込む。Ｈoldとする。
【００４５】
ステップ１９０３）  新しいテンプレートと旧テンプレートとの距離の絶対値を求め、Ｄdistとする。
【００４６】
Ｄdist＝｜Ｈnew−Ｈold｜
ステップ１９０４）  推定最小テンプレート距離記憶部９の推定最小テンプレート距離（Ｄpred（ｔ））を以下の式を用いて更新する。
【００４７】
Ｄpred(t)=Dpred(t)-Ddist
ステップ１９０５）  全ての時刻（ｔ）について、更新を行ったかを確認し、更新されていれば終了し、そうでなければ時刻を進めてステップ１９０４に戻る。
【００４８】
ここで、ステップ１９０４の処理について更に詳細に説明する。
【００４９】
テンプレート記憶部１６のテンプレートが更新され、Ｈnewとなった場合、映像記憶部１０内のフレーム画像Ｉとの距離は以下の通りである。
【００５０】
｜Ｉ−Ｈnew｜＝｜Ｉ−Ｈold＋ＨoldＨnew｜
＝｜（Ｉ−Ｈold）−（Ｈnew−Ｈold）｜
≧｜Ｉ−Ｈold｜−｜Ｈnew−Ｈold｜
＝｜Ｉ−Ｈold｜−Ｄdist
＝Ｄpred（ｔ）−Ｄdist
となり、
｜Ｉ−Ｈnew｜≧Ｄpred（ｔ）−Ｄdist
となることがわかる。従って、ステップ１９０４の推定結果は可能性のある限りにおいて最小の値であり、推定結果が所定の検出閾値よりも大きい場合には、間違いなく検出されない。
【００５１】
テンプレート記憶部１６において複数のテンプレートを記憶し、推定最小テンプレート距離記憶部９において、各テンプレートにおける推定最小テンプレート距離を記憶した場合、
Dpred(t,N)=MAX(Dpred(t,I)-Ddist(I,N))
と拡張可能である。
ここで、Dpred(t,N)は時刻ｔにおいて、暫定テンプレートＮを適用した場合の、推定最小テンプレート距離である。また、MAX()は最大値を返す関数であり、上記の式では、変数Ｉについての最大化を行う。Ddist(I,N)は、暫定テンプレートと暫定テンプレートＮとの距離とする。
【００５２】
これにより、推定最小テンプレート距離の精度が向上し、再計算部分を少なく抑えることができる。
【００５３】
次に、ステップ１５の処理の詳細について図９を用いて説明する。
【００５４】
ステップ１５０１）  テンプレート距離算出部４は、推定最小テンプレート距離記憶部９から推定最小テンプレート距離を読み込む。
【００５５】
ステップ１５０２）  テンプレート距離算出部４は、推定最小テンプレート距離が閾値以下かどうか判定を行い、閾値以下の場合は、ステップ１５０３に移行する。そうでない場合にはステップ１５０４に移行する。
【００５６】
ステップ１５０３）  テンプレート距離算出部４は、推定最小テンプレート距離を用いてテンプレート距離を計算する。
【００５７】
ステップ１５０４）  時刻を進める。
【００５８】
ステップ１５０５）  終了時刻まで処理を行ったかを判定し、終了していなければ、ステップ１５０１に移行する。
【００５９】
[第２の実施の形態]
本実施の形態では、推定最小テンプレート距離の閾値割合を考慮した例を説明する。
【００６０】
図１０は、本発明の第２の実施の形態における映像検索装置の構成を示す。
【００６１】
同図に示す映像検索装置は、第１の実施の形態における図３の構成に、閾値以下割合算出部６、推定状況判定部７を付加した構成であり、閾値以下割合算出部６は推定最小テンプレート距離記憶部９に接続されている。
【００６２】
閾値以下割合算出部６は、推定最小テンプレート距離算出部５から取得した推定最小テンプレート距離が閾値以下となっている割合を算出する。
【００６３】
推定状況判定部７は、推定最小テンプレート距離が閾値以下の部分の割合が一定値以下かを判定し、一定値以下の推定最小テンプレート距離をテンプレート距離算出部４に出力する。
【００６４】
図１１は、本発明の第２の実施の形態における動作のフローチャートである。同図に示す動作は、図６に示す第１の実施の形態にステップ１９、ステップ２０の処理を加えたものである。
【００６５】
本実施の形態では、第１の実施の形態との差分を説明する。
【００６６】
推閾値以下割合算出部６において、推定最小テンプレート距離記憶部９から推定最小テンプレート距離を取得し、最小テンプレート距離が閾値以下となっている割合を算出し（ステップ２０）、推定状況判定部７において、推定最小テンプレート距離が閾値以下の部分の割合が一定値以上かを判定し、一定値以上であった場合には（ステップ２１、Ｙｅｓ）、ステップ１８に移行し、再度テンプレート距離を算出する（ステップ１８）。一定値以上でない場合には（ステップ２１、Ｎｏ）、当該最小テンプレート距離を推定最小テンプレート距離記憶部９に格納する。
【００６７】
次に、上記のステップ２０の閾値以下割合算出部６及び推定状況判定部７の処理について図１２を用いて詳細に説明する。
【００６８】
ステップ２００１）  時刻のポインタｔ及びカウンタＣを０と初期化する。
【００６９】
ステップ２００２）  閾値以下割合算出部６は、推定最小テンプレート距離算出部５から渡された推定最小テンプレート距離が閾値以下の割合を算出し、推定状況判定部７において、推定最小テンプレート距離が閾値以下であるかを判定し、閾値以下であればステップ２００３に移行する。そうでなければステップ２００４に移行する。
【００７０】
ステップ２００３）  カウンタＣをインクリメントする。
【００７１】
ステップ２００４）  時刻ｔをインクリメントする。
【００７２】
ステップ２００５）  最終時刻まで確認したかチェックし、終了していればステップ２００６へ移行する。
【００７３】
ステップ２００６）  閾値以下の場合ｖにＣ／Ｔ＿ＭＡＸを代入し終了する。
【００７４】
閾値以下の割合が増加すると、最終テンプレート決定後のテンプレート距離算出で計算を省略できる部分が減少してしまう。そのため、閾値以下の割合が一定値以上かどうかをステップ２０により判定し、一定値以上となった場合には、その時点で暫定テンプレートを用いて、テンプレート距離を再計算することで処理の効率化を図っている。
【実施例】
【００７５】
以下、図面と共に本発明の実施例を説明する。
【００７６】
野球の投球イベントを検出することで、映像の視聴を手助けすることができる。その際の投球イベント検出方法として、検索対象映像を処理することによって、検索対象映像の中からテンプレートを作成し、当該テンプレートを用いて映像全体を再検索することで高精度に映像中からイベント検出する方法が提案されている。
【００７７】
当該方法では、投球イベントの候補を音響解析により探索し、クラスタリングを用いて投球イベント候補から投球動作テンプレートを作成し、テンプレートを用いて投球動作を再検索する。
【００７８】
上記の方法の、第１の処理（テンプレートの作成）が完了しなければ、第２の処理（テンプレートを用いた映像全体の再検索）を開始することができず、処理状況の途中経過を見るまでに非常に長い時間がかかってしまうという課題について、本発明を用いて解決する例を以下に示す。
【００７９】
図１３は、本発明の一実施例の動作を示すフローチャートである。
【００８０】
ステップ１００１）  音響解析による投球イベント候補検出を開始する。
【００８１】
ステップ１００２）  ステップ１００１によって検出された投球イベントの候補の数がＮの倍数であるか判定を行い、Ｎの倍数であれば、ステップ１０１１に移行する。そうでなければ、ステップ１０１３に移行する。
【００８２】
ステップ１０１１）  テンプレート作成部１において、投球動作テンプレートを作成する。
【００８３】
ステップ１０１２）  作成された投球動作テンプレートをテンプレート記憶部１６に出力する。
【００８４】
ステップ１０１７）  作成された投球動作テンプレートをテンプレート記憶部１６から読み込んで、当該テンプレートが初期テンプレートかどうかを判定する。初期テンプレートであった場合にはステップ１０１８に移行し、そうでなければステップ１０１９に移行する。
【００８５】
ステップ１０１８）  テンプレート距離算出部４において、野球映像中の各フレームと、投球動作テンプレートとの距離を計算し、テンプレート距離記憶部８に格納し、また、推定最小テンプレート距離算出部５において、各フレーム画像と投球動作テンプレートとの距離の可能性のある最小値である、推定最小テンプレート距離を推定最小テンプレート距離記憶部９に格納する。
【００８６】
ステップ１０１９）  既に計算され推定最小テンプレート距離記憶部９に格納されている推定最小テンプレート距離と、テンプレート記憶部１６から読み込んだ新・旧テンプレートとの差を用いて、推定最小テンプレート距離を更新する。
【００８７】
ステップ１０２０）  閾値以下割合算出部６において、推定最小テンプレート距離が閾値以下割合を求める。
【００８８】
ステップ１０２１）  推定状況判定部７において、閾値以下の割合が一定値以上であれば、ステップ１０１８に移行し、最小テンプレート距離算出部５においてテンプレート距離を再計算する。そうでなければ、推定最小テンプレート距離を推定最小テンプレート距離記憶部９に格納する。
【００８９】
ステップ１０１３）  現在の投球動作テンプレートが最終テンプレートであるかどうか判定を行い、最終テンプレートの場合には、ステップ１０１４に移行し、そうでない場合はステップ１００１に移行する。
【００９０】
ステップ１０１４）  最小テンプレート距離算出部１０は、最終投球動作テンプレートを用いて、最小テンプレート距離を算出する。
【００９１】
ステップ１０１５）  テンプレート距離算出部１１において、推定最小テンプレート距離が閾値以下となっている部分に関してのみ、野球映像フレーム画像と最終投球動作テンプレートとのテンプレート距離を求める。
【００９２】
ステップ１０１６）  検出結果出力部１２において、検出結果を決定し、検出結果記憶部１３に出力する。
【００９３】
以上の処理から投球イベントの検出を行うことができる。
【００９４】
また、本発明は、上記の図３、図１０の構成をプログラムとして構築し、映像検索装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００９５】
また、構築されたプログラムをハードディスク装置、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、コンピュータにインストールして実行させる、または、配布することが可能である。
【００９６】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００９７】
本発明は、テンプレートを用いて映像を検索する技術に適用可能である。
【図面の簡単な説明】
【００９８】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の第１の実施の形態における映像検索装置の構成図である。
【図４】本発明の第１の実施の形態におけるテンプレート記憶部の例である。
【図５】本発明の第１の実施の形態における推定最小テンプレート距離記憶部の例である。
【図６】本発明の第１の実施の形態における動作のフローチャートである。
【図７】本発明の第１の実施の形態における処理イメージである。
【図８】本発明の第１の実施の形態における最小テンプレート距離推定処理のフローチャートである。
【図９】本発明の第１の実施の形態におけるテンプレート距離算出のフローチャートである。
【図１０】本発明の第２の実施の形態における映像検索装置の構成図である。
【図１１】本発明の第２の実施の形態における動作のフローチャートである。
【図１２】本発明の第２の実施の形態における閾値割合判定処理のフローチャートである。
【図１３】本発明の一実施例の動作を示すフローチャートである。
【符号の説明】
【００９９】
１  テンプレート作成部、テンプレート作成手段
４  テンプレート距離算出部、テンプレート距離算出手段
５  最小テンプレート距離算出部、推定最小テンプレート距離算出手段
６  閾値以下割合算出部
７  推定状況判定部
８  テンプレート距離記憶部、テンプレート距離記憶手段
９  推定最小テンプレート距離記憶部、推定最小テンプレート距離記憶手段
１０  映像記憶手段、映像記憶部
１２  検出結果出力部、検出結果出力手段
１３  検出結果記憶部
【図１】
2007172175.tif 000003
【図２】
2007172175.tif 000004
【図３】
2007172175.tif 000005
【図４】
2007172175.tif 000006
【図５】
2007172175.tif 000007
【図６】
2007172175.tif 000008
【図７】
2007172175.tif 000009
【図８】
2007172175.tif 000010
【図９】
2007172175.tif 000011
【図１０】
2007172175.tif 000012
【図１１】
2007172175.tif 000013
【図１２】
2007172175.tif 000014
【図１３】
2007172175.tif 000015