(57)【要約】【課題】  映像から撮影環境の影響を受けずに、イベントを高精度に検出する。【解決手段】  本発明は、映像記憶手段から映像を読み込み、読み込まれた映像中の音響の特徴を検出し、音響の特徴に基づいて、イベント候補の検出を行い、イベント候補の映像区間から映像特徴を抽出し、映像特徴に基づいて、映像候補のクラスタリングを行い、クラスタリングの結果に基づいて、正解クラスタを選択し、該クラスタに対応するイベントを記憶手段に格納する。【選択図】  図１
2006166105.tif 000002
【特許請求の範囲】
【請求項１】
映像中から特定のイベントを検出するイベント検出方法において、
映像記憶手段から映像を読み込む映像読み込みステップと、
読み込まれた前記映像中の音響の特徴を検出する音響特徴検出ステップと、
前記音響の特徴が検出された映像区間に基づいて、イベント候補の検出を行うイベント候補検出ステップと、
前記イベント候補の映像区間における映像特徴を抽出する映像特徴抽出ステップと、
前記映像特徴に基づいて、映像候補のクラスタリングを行うクラスタリングステップと、
前記クラスタリングの結果に基づいて、正解クラスタを選択し、記憶手段に格納する正解クラスタ選択ステップと、
を行うことを特徴とするイベント検出方法。
【請求項２】
前記正解クラスタ選択ステップの後に、
前記クラスタリングの結果からテンプレート画像を取得するテンプレート画像取得ステップと、
前記テンプレート画像により前記映像記憶手段の映像全体を再検索するイベント再検索ステップと、
を更に行う請求項１記載のイベント検出方法。
【請求項３】
前記音響特徴検出ステップにおいて、
音響パワー推移に突発音の特徴がある部分を前記音響の特徴として抽出する請求項１記載のイベント検出方法。
【請求項４】
前記映像特徴抽出ステップにおいて、
前記映像特徴として、前記イベント候補の区間における画像のＲＧＢ値を用いる請求項１記載のイベント検出方法。
【請求項５】
前記映像特徴抽出ステップにおいて、
前記映像特徴として、エッジ画像の方向成分を用いる請求項４記載のイベント検出方法。
【請求項６】
前記映像特徴抽出ステップにおいて、
前記映像特徴として、動き特徴を用いる請求項４記載のイベント検出方法。
【請求項７】
映像中から特定のイベントを検出するイベント検出装置であって、
映像を記憶する映像記憶手段と、
前記映像記憶手段から映像を読み込む映像読み込み手段と、
読み込まれた前記映像中の音響の特徴を検出する音響特徴検出手段と、
前記音響の特徴が検出された映像区間に基づいて、イベント候補の検出を行うイベント候補検出手段と、
前記イベント候補の映像区間における映像特徴を抽出する映像特徴抽出手段と、
前記映像特徴に基づいて、映像候補のクラスタリングを行うクラスタリング手段と、
前記クラスタリングの結果に基づいて、正解クラスタを選択し、記憶手段に格納する正解クラスタ選択手段と、
を有することを特徴とするイベント検出装置。
【請求項８】
前記クラスタリングの結果からテンプレート画像を取得するテンプレート画像取得手段と、
前記テンプレート画像により前記映像記憶手段の映像全体を再検索するイベント再検索手段と、
を更に有する請求項７記載のイベント検出装置。
【請求項９】
前記音響特徴検出手段は、
音響パワー推移に突発音の特徴がある部分を前記音響の特徴として抽出する請求項７記載のイベント検出装置。
【請求項１０】
前記映像特徴抽出手段は、
前記映像特徴として、前記イベント候補の区間における画像のＲＧＢ値を用いる請求項７記載のイベント検出装置。
【請求項１１】
前記映像特徴抽出手段は、
前記映像特徴として、エッジ画像の方向成分を用いる請求項１０記載のイベント検出装置。
【請求項１２】
前記映像特徴抽出手段は、
前記映像特徴として、動き特徴を用いる請求項１０記載のイベント検出装置。
【請求項１３】
映像中から特定のイベントを検出するイベント検出プログラムであって、
前記請求項１乃至６記載のイベント検出方法を実現するための方法をコンピュータに実行させることを特徴とするイベント検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、直線パターン識別方法及び装置及びプログラムに係り、特に、映像中から特定のイベントを検出するためのイベント検出方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
映像中からイベントを検出することにより、一覧性を向上させるといった研究は古くから行われている。例えば、野球映像中から投球のイベントを検出することにより、要約を行う方法がある（例えば、特許文献１参照）。
【特許文献１】特開２００３−５２００３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の方法では、映像中の緑色領域の検出や、褐色領域の検出を行って、投手が投球するときの構図を検出することによって、投球イベントの特定を行っている。すなわち、テンプレートマッチングによる検出である。
【０００４】
しかし、内野には芝のないグランドもあれば、マウンドの砂の色が赤褐色のグランドから一般的な砂の色まで様々である。さらにそれは、デイゲームであったり、ナイトゲームであったりして映り方は様々に変化してしまう。さらに、カメラが設置される位置は球場及び放送局によって、変化してしまい、全ての球場、試合時刻、放送局において利用可能なテンプレートを用意するのは非常に難しい。
【０００５】
本発明は、上記の点に鑑みなされたもので、映像から撮影環境の影響を受けずに、イベントを高精度に検出することが可能なイベント検出方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
図１は、本発明の原理を説明するための図である。
【０００７】
本発明（請求項１）は、映像中から特定のイベントを検出するイベント検出方法において、
映像記憶手段から映像を読み込む映像読み込みステップ（ステップ１）と、
読み込まれた映像中の音響の特徴を検出する音響特徴検出ステップ（ステップ２）と、
音響の特徴が検出された映像区間に基づいて、イベント候補の検出を行うイベント候補検出ステップ（ステップ３）と、
イベント候補の映像区間における映像特徴を抽出する映像特徴抽出ステップ（ステップ４）と、
映像特徴に基づいて、映像候補のクラスタリングを行うクラスタリングステップ（ステップ５）と、
クラスタリングの結果に基づいて、正解クラスタを選択し、記憶手段に格納する正解クラスタ選択ステップ（ステップ６）と、を行う。
【０００８】
また、本発明（請求項２）は、正解クラスタ選択ステップ(ステップ６)の後に、
クラスタリングの結果からテンプレート画像を取得するテンプレート画像取得ステップと、
テンプレート画像により映像記憶手段の映像全体を再検索するイベント再検索ステップと、を更に行う。
【０００９】
また、本発明（請求項３）は、音響特徴検出ステップ（ステップ２）において、
音響パワー推移に突発音の特徴がある部分を音響の特徴として抽出する。
【００１０】
また、本発明（請求項４）は、映像特徴抽出ステップ（ステップ４）において、
映像特徴として、イベント候補の区間における画像のＲＧＢ値を用いる。
【００１１】
また、本発明（請求項５）は、映像特徴抽出ステップ（ステップ４）において、
映像特徴として、エッジ画像の方向成分を用いる。
【００１２】
また、本発明（請求項６）は、映像特徴抽出ステップ（ステップ４）において、
映像特徴として、動き特徴を用いる。
【００１３】
図２は、本発明の原理構成図である。
【００１４】
本発明（請求項７）は、映像中から特定のイベントを検出するイベント検出装置であって、
映像を記憶する映像記憶手段１１０と、
映像記憶手段１１０から映像を読み込む映像読み込み手段と、
読み込まれた映像中の音響の特徴を検出する音響特徴検出手段２と、
音響の特徴が検出された映像区間に基づいて、イベント候補の検出を行うイベント候補検出手段３と、
イベント候補の映像区間における映像特徴を抽出する映像特徴抽出手段４と、
映像特徴に基づいて、映像候補のクラスタリングを行うクラスタリング手段５と、
クラスタリングの結果に基づいて、正解クラスタを選択し、記憶手段１２０に格納する正解クラスタ選択手段６と、を有する。
【００１５】
また、本発明（請求項８）は、クラスタリングの結果からテンプレート画像を取得するテンプレート画像取得手段と、
テンプレート画像により映像記憶手段１１０の映像全体を再検索するイベント再検索手段と、を更に有する。
【００１６】
また、本発明（請求項９）は、音響特徴検出手段２において、
音響パワー推移に突発音の特徴がある部分を音響の特徴として抽出する。
【００１７】
また、本発明（請求項１０）は、映像特徴抽出手段４において、
映像特徴として、イベント候補の区間における画像のＲＧＢ値を用いる。
【００１８】
また、本発明（請求項１１）は、映像特徴抽出手段４において、
映像特徴として、エッジ画像の方向成分を用いる。
【００１９】
また、本発明（請求項１２）は、映像特徴抽出手段４において、
映像特徴として、動き特徴を用いる。
【００２０】
本発明（請求項１３）は、映像中から特定のイベントを検出するイベント検出プログラムであって、
請求項１乃至６記載のイベント検出方法を実現するための方法をコンピュータに実行させるプログラムである。
【発明の効果】
【００２１】
上記のように、本発明によれば、スポーツ映像(例えば、野球)と打撃や捕球の映像シーンとのマッチングを行う処理において、先に音響からシーン抽出処理を行い、次に、抽出した映像シーンのクラスタリング処理を行うことにより、従来の技術と比べて、高い精度で打撃や捕球の映像シーンとのマッチングが可能となる。このため、撮影環境に影響を受けずにイベントを高精度に検出することが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、図面と共に本発明の実施の形態を説明する。
【００２３】
本発明では、イベント検出装置において、まず、経験的知識として、映像に比べて撮影角度などによる変化が少ない音響情報を用いた検出を行い、その後映像特徴を用いてイベントを絞り込む処理を行う。
【００２４】
図３は、本発明の一実施の形態におけるイベント検出装置の構成を示す。
【００２５】
同図に示すイベント検出装置は、読み込み部１、音響特徴抽出部２、イベント候補検出部３、映像特徴抽出部４、クラスタリング部５、正解クラスタ選択部６、テンプレート作成部７、テンプレート利用再検索部８、映像記憶部１１０及びイベント記憶部１２０から構成される。
【００２６】
読み込み部１は、映像記憶部１１０から映像を読み込み、音響特徴抽出部２に出力する。
【００２７】
音響特徴抽出部２は、読み込まれた映像の音響の特徴を抽出し、イベント候補検出部３に出力する。
【００２８】
イベント候補検出部３は、音響の特徴からイベント候補の検出を行い、映像特徴抽出部４に出力する。
【００２９】
映像特徴抽出部４は、イベント候補となった区間から、映像の特徴を抽出し、正解候補クラスタリング部５に出力する。
【００３０】
正解候補クラスタリング部５は、映像の特徴量に基づいてイベント候補のクラスタリングを行い、正解クラスタ選択部６に出力する。
【００３１】
正解クラスタ選択部６は、クラスタリング結果から正解クラスタを選択し、テンプレート作成部７に出力する。
【００３２】
テンプレート作成部７は、クラスタリング結果からテンプレート画像を取得する。
【００３３】
テンプレート利用再検索部８は、テンプレート画像により映像全体を再検索し、その結果をイベント記憶部１２０に格納する。
【００３４】
映像記憶部１１０は、ディスク装置等の記憶媒体であり、映像を蓄積する。
【００３５】
イベント記憶部１２０は、ディスク装置等の記憶媒体であり、テンプレート利用再検索部８から出力されたクラスタのイベントを記録する。
【００３６】
図４は、本発明の一実施の形態におけるイベント検出装置の動作のフローチャートである。
【００３７】
ステップ１０１）  読み込み部１において、映像記憶部１１０から映像を読み込む。
【００３８】
ステップ１０２）  音響特徴抽出部２において、読み込まれた映像の音響信号のパワーを計算し、当該パワーの推移に基づいて音響の特徴を抽出する。音響の特徴を抽出する方法としては、パワーの推移に突発音の特徴がある部分を検出する方法がある。
【００３９】
ステップ１０３）  イベント候補検出部３は、音響特徴抽出部２により抽出された音響の特徴に基づいてイベント候補の検出を行う。具体的には、抽出された音響の特徴が含まれる映像の区間を検出する。
【００４０】
ステップ１０４）  映像特徴抽出部４は、イベント候補検出部３において検出された映像の区間から任意の方法により映像の特徴量を求める。
【００４１】
ステップ１０５）  正解候補クラスタリング部５は、映像特徴抽出部４で求められた特徴量に基づいて映像のクラスタリングを行う。クラスタリングの方法としては、映像特徴量を用いた教師なしクラスタリングを行う方法がある。
【００４２】
ステップ１０６）  正解クラスタ選択部６は、クラスタリングの結果に基づいて、正解クラスタを選択する。
【００４３】
ステップ１０７）  テンプレート作成部７は、クラスタリングの結果からテンプレート画像を取得する。
【００４４】
ステップ１０８）  テンプレート利用再検索部８は、テンプレート画像を用いて映像記憶部１１０を再検索し、その結果をイベント記憶部１２０に格納する。
【００４５】
なお、ステップ１０７とステップ１０８の処理は、必須でなく、映像特徴量として再検出に利用できる程度に出現する特徴(例えば、ＭＨＩ：Motion History Image)を検出できた場合に、ステップ１０７においてテンプレートを生成し、ステップ１０８において当該テンプレートを用いて再検索することにより、良い結果を得ることができる。
【実施例】
【００４６】
以下、図面と共に本発明の実施例を説明する。
【００４７】
本実施例では、野球映像から音響解析によって投球後に発生する打球音、あるいは捕球音の候補を取得し、投球イベントの候補を求め、その投球イベントの各候補に対する動画像区間から動き特徴によるクラスタリングを行い、映像中から投球イベントを取得する例を説明する。
【００４８】
図５は、本発明の一実施例のイベント検出装置の構成を示す。
【００４９】
同図に示すイベント検出装置は、映像読み込み部１０、突発音区間検出部２０、突発音区間取得部４０、突発音区間映像クラスタリング部５０、テンプレート作成部７０、テンプレート画像利用再建策部８０、映像記憶部１１０、打捕球イベント記憶部１２０から構成される。
【００５０】
映像読み込み部１０は、映像記憶部１１０から映像を読み込み、突発音区間検出部２０に出力する。
【００５１】
突発音区間検出部２０は、読み込まれた映像中から突発音響を含む部分を検出し、突発音区間映像取得部４０に出力する。このとき、後述する音響解析により突発音を検出し、投球シーンの候補を取得する。
【００５２】
突発音区間映像取得部４０は、検出された突発音区間について、その突発区間映像を取得し、突発音区間映像クラスタリング部５０に出力する。
【００５３】
突発音区間映像クラスタリング部５０は、突発音区間映像をクラスタリングすることにより、イベントを選択する。
【００５４】
テンプレート作成部７０は、クラスタリング結果から、テンプレート画像を取得する。
【００５５】
テンプレート利用再検索部８０は、テンプレート画像を用いて再検索し、その結果を打捕球イベント記憶部１２０に格納する。
【００５６】
図６は、本発明の一実施例のイベント検出処理のフローチャートである。
【００５７】
ステップ２０１）  映像読み込み部１０は、映像記憶部１１０から映像を読み込む。
【００５８】
ステップ２０２）  突発音区間検出部２０は、読み込まれた映像中から突発音響を含む部分を音響解析により検出する。
【００５９】
ステップ２０３）  突発区間映像取得部４０において、ステップ２０２で検出された突発音区間に対応する映像を取得する。
【００６０】
ステップ２０４）  突発音区間映像クラスタリング部５０において、ステップ２０３で取得した突発音区間映像をクラスタリングし、クラスタリング結果に基づいて、イベントを選択する。
【００６１】
ステップ２０５）  テンプレート作成部７０において、ステップ２０４で得られたクラスタリング結果からテンプレート画像を取得する。
【００６２】
ステップ２０６）  テンプレート利用再検索部８０において、テンプレート画像を用いて、映像記憶部１１０を再検索し、その結果を打捕球イベント記憶部１２０に格納する。
【００６３】
以下、上記の動作を詳細に説明する。
【００６４】
まず、上記のステップ２０２の突発音検出動作について説明する。
【００６５】
図７は、本発明の一実施例の突発音の検出のフローチャートである。
【００６６】
ステップ３０１）  突発音区間検出部２０は、読み込まれた映像の音響信号のパワーを計算する。
【００６７】
ステップ３０２）  パワーの推移に突発音の特徴がある部分を検出する。
【００６８】
次に、図７のステップ３０１について詳細に説明する。
【００６９】
図８は、本発明の一実施例の音響信号のパワーの計算方法のフローチャートである。
【００７０】
ステップ４０１）  突発音区間検出部２０において、ｉ＝０と初期化する。
【００７１】
ステップ４０２）  ｊ＝ｉからj＝i＋WindowSize（ウィンドウサイズ）の音響信号data[j]に対して窓関数をかける。窓関数としては、Hamming 窓やHanning窓、矩形窓などが有名である。ここでは、どのような窓関数を使っても特に構わない。
【００７２】
ステップ４０３）  \sum_{j=i^{i+WindowSize}data[i]で、ｉからWindowSize幅の音響信号に対してパワーを計算し、ｐ（ｉ）に代入する。
【００７３】
ステップ４０４）  ｉにWindowSlide（ウィンドウスライド量）を加算する。
【００７４】
ステップ４０５）  i+WindowSlideがDataMaxよりも小さいかどうかを判断する。小さければ、ステップ４０２に移行し、そうでなければ処理を終了する。
【００７５】
次に、図７のステップ３０２の突発性検出処理について詳細に説明する。
【００７６】
図９は、本発明の一実施例の突発性検出処理のフローチャートである。
【００７７】
ステップ５０１）  ｉ=0と初期化する。
【００７８】
ステップ５０２）  flag＝０と初期化する。
【００７９】
ステップ５０３）  現在のflagにnew_flagを代入してから、new_flag=F(p(i),flag)を計算する。F(p(i),flag)は、ステップ３０１で求めたパワーと、現在のflagとから決定する関数である。new_flagの求め方を図１０に示す。
【００８０】
ステップ５０４）  new_flagが１であれば、ステップ５０５へ移行し、そうでなければステップ５０６に移行する。
【００８１】
ステップ５０５）  時刻ｓｔにｉを代入する。
【００８２】
ステップ５０６）  flag=3のときに、new_flagが１か０の場合には、ステップ５０７に移行し、それ以外の場合はステップ５１０に移行する。
【００８３】
ステップ５０７）  ｔにｉ−ｓｔを代入する。
【００８４】
ステップ５０８）  ｔｈ４＜ｔ＜ｔｈ５を満たせばステップ５０９に移行し、そうでなければステップ５１０に移行する。
【００８５】
ステップ５０９）  時刻ｓｔを突発音区間の先頭として保存する。
【００８６】
ステップ５１０）  i+WindowSlideを加えてステップ５０３に移行し、そうでなければステップ処理を終了する。
【００８７】
ステップ５１１）  ｉにWindowSlideを加えてステップ５０３に移行する。
【００８８】
図１０は、new_flagを求める関数を表した表である。突発音として検出されるのは網掛け部分であり、ｔｈ１＞p（i）かつflag=3の場合、new_flag=1となり、ｔｈ３＞ｐ（ｉ）＞ｔｈ１かつ、flag=3の場合は、new_flag=0となることを表している。
【００８９】
次に、ステップ２０４の突発音区間映像クラスタリング部５０におけるサムネイル画像のクラスタリング処理について説明する。
【００９０】
図１１は、本発明の一実施例のサムネイル画像のクラスタリングのフローチャートである。
【００９１】
ステップ７０１）  突発音区間映像から特徴を抽出する。
【００９２】
ステップ７０２）  突発音区間映像を特徴量を用いて教師なしクラスタリングを行う。
【００９３】
ステップ７０３）  要素数の多いＮクラスタを打捕球クラスタとし、図１２に示す打捕球イベント記憶部８０に保存する。
【００９４】
次に、上記のステップ７０１の映像特徴の抽出処理について説明する。
【００９５】
図１３は、本発明の一実施例のサムネイルの画像特徴量検出処理のフローチャート（その1）である。同図に示す処理は、画像を小さなブロックに区切ったときの画素値の平均値を用いて特徴量を検出するものである。
【００９６】
ステップ８０１）  ｘ＝０、ｙ＝０と初期化する。
【００９７】
ステップ８０２）  左上が（ｘ，ｙ）、右下が（x+block_size, y+block_size）の矩形領域に関して、RGB（Red,Green,Blue）各々について、画素値の平均を求め、v[x/block_size][y/block_size]に代入する。
【００９８】
ステップ８０３）  x+block_size<width-block_sizeであれば、ステップ８０４へ移行し、そうでなければステップ８０５に移行する。
【００９９】
ステップ８０４）  xにblock_sizeを加えてステップ８０２へ移行する。
【０１００】
ステップ８０５）  ｘに０を代入する。
【０１０１】
ステップ８０６）  y+block_size<height-block_sizeであれば、ステップ８０７へ移行し、そうでなければ処理を終了する。
【０１０２】
ステップ８０５）  xに０を代入する。
【０１０３】
ステップ８０６）  y+block_size<height-block_sizeであれば、ステップ８０７へ移行し、そうでなければ処理を終了する。
【０１０４】
ステップ８０７）  ｙにblock_sizeを加えて、ステップ８０２へ移行する。
【０１０５】
上記の方法は、vを特徴量として用いるものである。
【０１０６】
次に、上記のステップ７０１の別の実施方法について説明する。
【０１０７】
図１４は、本発明の一実施例のサムネイルの画像特徴量検出処理のフローチャート（その２）である。同図に示す処理は、エッジ画像の方向成分を用いて映像の特徴量を検出するものである。
【０１０８】
ステップ１００１）  ｘ＝０、ｙ＝０と初期化する。
【０１０９】
ステップ１００２）  左上が（x，ｙ）、右下が（x+block_size,y+block_size）の矩形領域に関して、ＲＧＢ各々について、画素値のｘ方向差分を求め、d_x[x/block_size][y/block_size]に代入する。
【０１１０】
ステップ１００３）  左上が（ｘ，ｙ）、右下が（x+block_size, y+block_size)の木液領域に関して、ＲＧＢ各々について、画素値のｙ方向差分を求め、d_y[x/block_size][y/block_size]に代入する。
【０１１１】
ステップ１００４）  x+block_size<width-block_sizeであれば、ステップ１００６へ移行する。そうでなければステップ８０５に移行する。
【０１１２】
ステップ１００５）  ｘにblock_sizeを加えてステップ１００２へ移行する。
【０１１３】
ステップ１００６）  ｘに０を代入する。
【０１１４】
ステップ１００７）  y+block_size<height-block_sizeであれば、ステップ８０７へ移行し、そうでなければ処理を終了する。
【０１１５】
ステップ１００８）  ｙにblock_sizeを加えてステップ１００２へ移行する。
【０１１６】
上記の手法では、d_x及びd_yを特徴量として用いている。
【０１１７】
上記のｖ，d_x及びd_yの全てを用いて画像特徴量の検出を行ってもよい。
【０１１８】
さらに、ステップ７０１の別の方法として動き特徴を利用してもよい。その場合には、例えば、K. Fujii and K. Arakawa, “Video editing based on motion recognition using temporal templates,” Proc, ACM User Interface Software Technology (UIST) 2003, pp. 71-72,2003を利用することが可能である。なお、動き特徴を用いる場合には、図４のステップ１０４とステップ１０５の間に、ステップ１０４で取得した映像特徴をテンプレートとして用いて、映像記憶部１１０に格納されている映像全体を再検索する処理が必要となる。
【０１１９】
次に、本実施例を実施した際の評価実験について説明する。
【０１２０】
実験に用いたコンテンツは、メジャーリーグ放送映像（以降、放送映像）、及び自ら撮影したキャッチボール映像（以降、個人撮影映像）である。
【０１２１】
放送映像は３種類、個人撮影映像は２種類のコンテンツについて実験を行った。全てのコンテンツとも４４．１kHzのmpeg映像である。以降、音を用いた打捕球音検出の結果、それらをクラスタリングすることにより作成したテンプレートＭＨＩ(Motion History Image)の例、テンプレートＭＨＩを用いて映像から投球シーン検出を行った結果について説明する。
【０１２２】
まず、音による投球シーン検出を、テレビ放送コンテンツ及び家庭用テレビカメラで撮影したキャッチボール映像において実験した。その結果を表１に示す。
【０１２３】
【表１】
2006166105.tif 000003
音による投球シーン検出は球場、撮影環境により、その精度が大幅に変化してしまう。放送映像に関しては、人が聞いて打球音捕球音を何とか聞き取ることができる音響レベルのコンテンツである。そのため、再現率が低めの値になっている。
【０１２４】
また、個人撮影のキャッチボールに関しては会話をしながらのキャッチボールであり、会話以外に大きな突発性雑音は含まれていない。検出漏れは、投球ミスにより捕球音が含まれないものであり、再現率の低さはキャッチャーからの返球の検出によるものが多い。
【０１２５】
この適合率・再現率では、放送映像に関しては想定どおり適合率が５０％を超えているため問題ないが、個人撮影映像に関しては５０％を下回ってしまい、クラスタリング時に、投球イベントのクラスタの要素数が、他のクラスタの要素数を下回ってしまう可能性がある。
【０１２６】
このクラスタリングでは、再現率が低すぎると、音検出による投球イベント検出の制度がよくない場合に問題が発生してしまう可能性があるが、一方で適合率を常に１００％に保つ必要がある。さらに、実装上の問題として、初期クラスタ要素数ｎは、Ο（ｎ２）で計算量を増大させる。これらの状況を考え、以降の実験では、ｎ＝３を用いることとした。
【０１２７】
打捕球音により検出した投球イベント候補うち、クラスタリングによって得られたた投球イベントクラスタを用いてテンプレートを作成する。
【０１２８】
個人撮影映像に関しては、適合率が約３０％と低いため、投球イベント以外のクラスタの要素数が最も多くなってしまう危険性があった。しかし、実際には音による投球イベント検出での投球イベント候補のうち投球イベント以外に関しては、その時刻での動きが様々であり、大きな一つのクラスタにまとまることはなく、経験的に、個人撮影映像においても十分な制度でテンプレートＭＨＩの作成が可能である。
【０１２９】
テンプレートＭＨＩとのマッチングによる投球シーン検出の結果を表２に示す。
【０１３０】
【表２】
2006166105.tif 000004
また、テンプレートＭＨＩとの距離の時間による推移のグラフを図１５に示す。表２から分かるとおり、再現率が９５．８％、適合率が８５．０％と、音による検出に比べて四度よく検出ができていることがわかる。さらに、適合率について、誤検出の全てがリプレーの投球シーンであった。リプレーはスロー再生しているため理想的には検出しないことが望ましいため不正解としているが、当然ながら非常に困難である。リプレーも正解とするならば、適合率は１００％であり、適合率・再現率ともに高精度であることがわかる。
【０１３１】
また、図１５に示すテンプレートＭＨＩと個人撮影映像との距離の時間変化において、距離が小さくなっている部分は全て投球イベントであった。これから分かるとおり、投球イベントとそのほかのイベントに関して十分に分離可能であり、テンプレートが適切なものであることも見て取れる。これから野球映像インデキシングとして極めて有用であることがわかる。
【０１３２】
なお、図３、図５に示すイベント検出装置の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行し、本発明を実現することができること、あるいは、図４、図６〜図９、図１１、図１３、図１４のフローチャートや本文記載の説明文で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることはいうまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＨＤＤ，ＭＯ，ＲＯＭ，メモリカード，ＣＤ，ＤＶＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。
【０１３３】
上記のプログラムは、インターネットや電子メールなど、ネットワークを通して提供することも可能である。
【０１３４】
以上、本発明の代表的な実施の形態及び実施例を説明したが、本発明は上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【０１３５】
本発明は、映像からイベントを検出する技術に適用可能である。
【図面の簡単な説明】
【０１３６】
【図１】本発明の原理説明図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態におけるイベント検出装置の構成図である。
【図４】本発明の一実施の形態におけるイベント検出装置の動作のフローチャートである。
【図５】本発明の一実施例のイベント検出装置の構成図である。
【図６】本発明の一実施例のイベント検出処理のフローチャートである。
【図７】本発明の一実施例の突発音の検出のフローチャートである。
【図８】本発明の一実施例の音響信号のパワーの計算方法のフローチャートである。
【図９】本発明の一実施例の突発性検出処理のフローチャートである。
【図１０】本発明の一実施例のnew_flagの求め方F(p(i)，flag)の例である。
【図１１】本発明の一実施例のサムネイル画像のクラスタリング処理のフローチャートである。
【図１２】本発明の一実施例の打捕球イベント記憶部の例である。
【図１３】本発明の一実施例のサムネイルの画像特徴量検出処理のフローチャート(その１)である。
【図１４】本発明の一実施例のサムネイルの画像特徴量検出処理のフローチャート(その２)である。
【図１５】テンプレートMHIとの距離を示す図である。
【符号の説明】
【０１３７】
１  読み込み手段、読み込み部
２  音響特徴抽出手段、音響特徴抽出部
３  イベント候補検出手段、イベント候補検出部
４  映像特徴抽出手段、映像特徴抽出部
５  クラスタリング手段、クラスタリング部
６  正解クラスタ選択手段、正解クラスタ選択部
７  テンプレート作成部
８  テンプレート利用再検索部
１０  映像読み込み部
２０  突発音区間検出部
４０  突発音区間映像取得部
５０  突発音区間映像クラスタリング部
７０  テンプレート作成部
８０  テンプレート利用再検索部
１１０  映像記憶手段、映像記憶部
１２０  イベント記憶手段、イベント記憶部、打捕球イベント記憶部
【図１】
2006166105.tif 000005
【図２】
2006166105.tif 000006
【図３】
2006166105.tif 000007
【図４】
2006166105.tif 000008
【図５】
2006166105.tif 000009
【図６】
2006166105.tif 000010
【図７】
2006166105.tif 000011
【図８】
2006166105.tif 000012
【図９】
2006166105.tif 000013
【図１０】
2006166105.tif 000014
【図１１】
2006166105.tif 000015
【図１２】
2006166105.tif 000016
【図１３】
2006166105.tif 000017
【図１４】
2006166105.tif 000018
【図１５】
2006166105.tif 000019