(57)【要約】【課題】            動画圧縮データからカット点を高速且つ高精度に検出でき、更には、その検出されたカット点により区分されるショットの内容を高速且つ高精度に識別することができるカット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラムを提供する。【解決手段】        ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出し、この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成し、このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別し、更に、同ＭＢＴ記号列を用いて推定モデルによりショットを識別する。【選択図】          図１
2008042364.tif 000002
【特許請求の範囲】
【請求項１】
ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出する手段と、
この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成する手段と、
このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別する手段とを含むカット点検出システム。
【請求項２】
上記ＭＢＴ記号には、順方向予測符号化ＭＢＴの頻度が最大であることを示す第一ＭＢＴ記号と、逆方向予測符号化ＭＢＴの頻度が最大であることを示す第二ＭＢＴ記号とが含まれ、
上記ＭＢＴ記号列中における前記第一ＭＢＴ記号と前記第二ＭＢＴ記号の配列的特徴から、動画像のカット点を判別するようにしたことを特徴とする請求項１記載のカット点検出システム。
【請求項３】
上記第一ＭＢＴ記号は、順方向予測符号化ＭＢＴの頻度が最大であり、且つ、逆方向予測符号化ＭＢＴとイントラ符号化ＭＢＴの数の合計が所定の閾値よりも小さいことを示すものであることを特徴とする請求項２記載のカット点検出システム。
【請求項４】
上記第二ＭＢＴ記号は、逆方向予測符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴとイントラ符号化ＭＢＴの数の合計が所定の閾値よりも小さいことを示すものであることを特徴とする請求項２又は３記載のカット点検出システム。
【請求項５】
上記ＭＢＴ記号列中において二つの上記第一ＭＢＴ記号が隣り合う場合に、これらの内の先頭のＭＢＴ記号に対応するフレームの直前を、カット点とすることを特徴とする請求項２乃至４何れか１項記載のカット点検出システム。
【請求項６】
上記ＭＢＴ記号列中において二つの上記第二ＭＢＴ記号が隣り合う場合に、これらの内の末尾のＭＢＴ記号に対応するフレームの直後を、カット点とすることを特徴とする請求項２乃至５何れか１項記載のカット点検出システム。
【請求項７】
上記ＭＢＴ記号列中において上記第一ＭＢＴ記号と上記第二ＭＢＴ記号とがフレーム順に隣り合う場合に、これら二つのＭＢＴ記号に対応する二つのフレームの間を、カット点とすることを特徴とする請求項２乃至６何れか１項記載のカット点検出システム。
【請求項８】
上記カット点検出システムにより検出された二つのカット点間を識別対象となるショットとする手段と、
前記識別対象となるショットについて上記カット点検出システムにより作成したＭＢＴ記号列を用いて推定モデルによりその確率が最大となるものを選定して識別する手段とを含むことを特徴とする請求項1乃至７何れか１項記載のカット点検出システムを用いたショット識別システム。
【請求項９】
上記推定モデルは、あらかじめ識別したいショットであるイベントショットが含まれる動画圧縮データから特定のイベントショットを選定し、この特定のイベントショット毎に上記ＭＢＴ記号列を作成し、このＭＢＴ記号列を学習対象ＭＢＴ記号列としてイベントショット毎に学習させるようにしたものを用いることを特徴とする請求項８記載のショット識別システム。
【請求項１０】
上記推定モデルが隠れマルコフモデルであることを特徴とする請求項８又は９記載のショット識別システム。
【請求項１１】
コンピュータが、ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出するステップと、
コンピュータが、この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成するステップと、
コンピュータが前記ＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別するステップと、を含むカット点検出方法。
【請求項１２】
ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出する手段と、
この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成する手段と、
このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別する手段として、コンピュータを機能させるためのカット点検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画圧縮データのカット点を検出するカット点検出システム、及び、このカット点検出システムにより区分されるショットの内容を識別するショット識別システム、カット点検出方法、並びにカット点検出プログラムに関するものである。
【背景技術】
【０００２】
近年、地上ディジタル放送やインターネット放送の一般家庭への普及がはじまるとともに、コンピュータ技術、特に、ストレージ技術の急速な発展にともない、数年前では考えられなかったテラバイト級の記憶装置が搭載されたHDDレコーダが市販されるようになってきた。
このような状況においては、多くの番組（コンテンツ）をあらかじめ録画しておき、見たいときに見るといった従来の楽しみ方だけでなく、膨大な数のコンテンツの中から、見たい場面（シーン）だけを自動的に検索したり、あるいは、スポーツ番組のように長時間の番組から見どころのシーンだけを集めたハイライトシーンを自動的に作成するといった、高機能な編集機能をもったマルチメディアデータベースへの関心が高まってきている。
このようなマルチメディアデータベースを実現するための一つの基礎技術として、一本のビデオコンテンツをシーンごとに分割して、再構成する作業が必要になる。すなわち、シーンが変化したデータ位置を特定し、各シーンをその内容に基づいて分類する作業、つまり映像インデキシングを自動的に行う方法が必要となってくる。
【０００３】
従来、この種の発明には、例えば、特許文献１に記載されたＭＰＥＧ圧縮ビデオ環境における階層的混合型ショット変換検出方法がある。
この発明では、先ず、カラーヒストグラムに基づいたショット検出アルゴリズムを適用してＩフレーム間の全域的なカラー分布の差を利用してシーン候補区間を検出する。次いで、前記検出された各候補区間内のＰフレームを付加的に復号する。次いで、隣接したＩ／Ｐ、Ｐ／ＰまたはＰ／Ｉフレーム間の全域的カラーヒストグラムの差を利用して縮小されたショット変換候補区間を求める。次いで、前記ショット変換候補区間に対し、区間内の各Ｂフレームをマクロブロックレベルで復号して、イントラ符号化ブロックの分布特性、各Ｂフレームの参照タイプ、及び参照パターンを求め、それらを利用して瞬時カット点を検出する。
【０００４】
また、他の従来技術として、非特許文献１に記載されたカット点検出方法では、先ず、ＩフレームのＤＣ画像情報を用いてカット点を含むＧＯＰ（Group Of Picture）を検出する（非特許文献１：3.1.1 Ｉ法参照）。
続いて、前記した処理によりカット点を含むと判断されたＧＯＰに対して、ＭＢＴ(Macro Block Type)の分布を用いてフレーム単位でカット点位置を検出し（非特許文献１：3.1.2MBT法参照）、その検出の際の未検出を減らすために、前記ＧＯＰ中の各Ｂフレーム対（Bi,Bi+1）に対して、
Δ＝｜fi−bi｜＋｜fi+1−bi+1｜
（fi,fi+1:順方向予測ＭＢＴの数、bi,bi+1:逆方向予測ＭＢＴの数）
を計算し、最大値ΔmaxをとるＢフレーム対を求め、他のフレームのとる値とΔmaxの比が一定のしきい値ＴΔ以下であるとき、カット点が発生したと判断している。
そして、この従来技術によれば、前記のような段階的な処理により、９０％以上の高い検出率で瞬時カット点を検出することに成功している。
【０００５】
しかしながら、前者の従来技術では、候補区間の検出、該候補区間におけるカット点の検出という段階的な検出処理が必要な上、Ｐフレームを復号する処理や、Ｂフレームをマクロブロックレベルで復号する処理等、複数回の復号処理を要するため、その処理に時間がかかる。
また、後者の従来技術においても、ＤＣ画像を用いたＧＯＰ単位での粗い検出、Ｂフレームのマクロブロックタイプの特徴を用いた検出という段階的な検出処理を要する上、検出精度を向上するためには上記のような比較的処理時間のかかる演算処理を要するため、処理の簡素化や全体的な処理時間の高速化等、改善の余地がある。
また、前者および後者の何れにおいても、カット点を検出した後に、そのカット点により区分されるショットが、どのような内容の映像であるのかを識別するまでには至っていなかった。
【特許文献１】特開２００１−３１３９５６号公報
【非特許文献１】”マクロブロックタイプを用いたＭＰＥＧ２圧縮動画像のカット点検出”、情報処理学会論文誌：コンピュータビジョンとイメージメディア、Vol.46、No.SIG15(CVIM12)、pp.51-58、2005年10月
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記従来事情に鑑みてなされたものであり、その課題とする処は、動画圧縮データからカット点を高速且つ高精度に検出でき、更には、その検出されたカット点により区分されるショットの内容を高速且つ高精度に識別することができるカット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために第一の発明のカット点検出システムは、ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出する手段と、この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成する手段と、このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別する手段とを含むことを特徴とする。
【０００８】
この第一の発明によれば、先ず、動画圧縮データからフレーム毎にＭＢＴ情報が抽出される。そして、その抽出されたＭＢＴ情報から特定のＭＢＴが含まれる頻度が求められ、その頻度的特徴が所定のＭＢＴ記号によって表される。すなわち、ＭＢＴ記号は、フレーム毎のＭＢＴ情報における特定のＭＢＴの頻度的特徴に応じて、フレーム毎に付与される記号である。
そして、このＭＢＴ記号は、フレーム順に並べられることで、複数のＭＢＴ記号からなるＭＢＴ記号列を構成する。
次に、前記ＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点が判別される。
【０００９】
なお、上記動画圧縮データは、ＭＢＴ情報（マクロブロックタイプ情報）を含む動画圧縮データであればよく、この動画圧縮データの具体例には、MPEGデータや、H261データ等を含む。
また、上記ＭＢＴ記号は、例えば、「０」や「１」、「２」、「Ａ」、「Ｘ」等、任意に選択された記号とすればよい。
【００１０】
また、第二の発明のカット点検出システムでは、上記ＭＢＴ記号には、順方向予測符号化のマクロブロック数の頻度が最大であることを示す第一ＭＢＴ記号と、逆方向予測符号化のマクロブロック数の頻度が最大であることを示す第二ＭＢＴ記号とが含まれ、上記ＭＢＴ記号列中における前記第一ＭＢＴ記号と前記第二ＭＢＴ記号の配列的特徴から、動画像のカット点を判別するようにしたことを特徴とする。
【００１１】
また、第三の発明のカット点検出システムでは、上記第一ＭＢＴ記号は、順方向予測符号化のマクロブロック数の頻度が最大であり、且つ、逆方向予測符号化のマクロブロック数とイントラ符号化のマクロブロック数との合計が所定の閾値よりも小さいことを示すものであることを特徴とする。
【００１２】
また、第四の発明のカット点検出システムでは、上記第二ＭＢＴ記号は、逆方向予測符号化のマクロブロック数の頻度が最大であり、且つ、順方向予測符号化のマクロブロック数とイントラ符号化のマクロブロック数との合計が所定の閾値よりも小さいことを示すものであることを特徴とする。
【００１３】
また、第五の発明のカット点検出システムでは、上記ＭＢＴ記号列中において二つの上記第一ＭＢＴ記号が隣り合う場合に、これらの内の先頭のＭＢＴ記号に対応するフレームの直前を、カット点とすることを特徴とする。
【００１４】
また、第六の発明のカット点検出システムでは、上記ＭＢＴ記号列中において二つの上記第二ＭＢＴ記号が隣り合う場合に、これらの内の末尾のＭＢＴ記号に対応するフレームの直後を、カット点とすることを特徴とする。
【００１５】
また、第七の発明のカット点検出システムでは、上記ＭＢＴ記号列中において上記第一ＭＢＴ記号と上記第二ＭＢＴ記号とがフレーム順に隣り合う場合に、これら二つのＭＢＴ記号に対応する二つのフレームの間を、カット点とすることを特徴とする。
【００１６】
また、第八の発明のショット識別システムでは、上記カット点検出システムにより検出された二つのカット点間を識別対象となるショットとする手段と、前記識別対象となるショットについて上記カット点検出システムにより作成したＭＢＴ記号列を用いて推定モデルによりその確率が最大となるものを選定して識別する手段とを含むことを特徴とする。
【００１７】
また、第九の発明のショット識別システムでは、上記推定モデルは、あらかじめ識別したいショットであるイベントショットが含まれる動画圧縮データから特定のイベントショットを選定し、この特定のイベントショット毎に上記ＭＢＴ記号列を作成し、このＭＢＴ記号列を学習対象ＭＢＴ記号列としてイベントショット毎に学習させるようにしたものを用いることを特徴とする。
【００１８】
また、第十の発明のショット識別システムでは、上記推定モデルが隠れマルコフモデルであることを特徴とする。
【００１９】
また、第十一の発明のカット点検出方法では、コンピュータが、ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出するステップと、コンピュータが、この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成するステップと、コンピュータが前記ＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別するステップと、を含むことを特徴とする。
【００２０】
また、第十二の発明のカット点検出プログラムでは、ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出する手段と、この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成する手段と、このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別する手段として、コンピュータを機能させることを特徴とする。
【発明の効果】
【００２１】
本発明は、以上説明したように構成されているので、以下に記載されるような作用効果を奏する。
本発明によれば、動画圧縮データから復号処理を行うことなく直接的にＭＢＴ情報が抽出され、このＭＢＴ情報に含まれる特定のＭＢＴの頻度的特徴に基づきＭＢＴ記号列が作成され、そして、このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴からカット点が判別される。
したがって、ＤＣ画像情報を用いた処理や、動画圧縮データを復号する処理、非特許文献２に記載された演算処理等を必要とせず、比較的簡単な処理だけでもって、カット点を高速且つ高精度に検出することができる。
更に、カット点検出の際に用いたＭＢＴ記号列を用いて、前記カット点により区分されたショットの内容を高速且つ高精度に識別することが可能になる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明に係わるカット点検出システムおよびショット識別システムの構成を示すブロック図であり、本発明の特徴を明確にするために、一般的なＭＰＥＧ復号器の構成を同ブロック図に併せて記載している。
【００２３】
図１に示すように、ＤＶＤやハードディスク等の記録媒体に記憶された動画圧縮データは、バッファ１を経由して復号器２へ入力される。その一方で、本発明に係わるカット点検出システムおよびショット識別システム３は、復号前の同動画圧縮データからＭＢＴ情報（マクロブロックタイプ情報）を抽出する。
これらの構成は、例えば、コンピュータやＤＶＤレコーダ等の装置、および該装置を機能させるためのプログラムや電子回路等として実現される。
【００２４】
復号器２は、可変長復号化、逆量子化、逆離散コサイン変換（ＩＤＣＴ）等の周知の復号処理により動画圧縮データを復号化する装置であり、この復号器２によって復号化された動画像はディスプレイ等の表示装置に表示される。
【００２５】
動画圧縮データは、本実施の形態の一例によれば、ＭＰＥＧ２データを用いている。
【００２６】
カット点検出システムおよびショット識別システム３は、動画像圧縮データから直接ＭＢＴ情報を抽出し、そのＭＢＴ情報からＭＢＴ記号列を作成し、このＭＢＴ記号列を用いて、カット点の検出およびショットの識別を行う。
【００２７】
ここで、野球映像を例にして、カット点およびショットについて説明すれば、図２に示すように、動画像は、例えばホームラン等のハイライトシーンやデッドボールやフォアボール等のアクシデントが起きたシーン等、複数の連続するシーンからなる。
各シーンは、ストーリー上意味のある連続した場面のことをいい、連続する複数のショットにより構成される。ショットとは、通常１台のカメラが捉えた時間的かつ空間的に連続した場面を意味し、各ショットは連続する複数のフレームからなる。
また、カット点とは、ショットとショットの境界点、つまりカメラの切り替わりにより生じた映像の切り替わり点のことを指す。すなわち、各ショットは、カット点とカット点の間に位置することになる。
【００２８】
一般的に、カット点には、映像が急激に変化する瞬時カット点（ハードカット点とも呼称される）や、ディゾルブカット点、ワイプカット点、その他の特殊なカット点等があるが、本実施の形態で扱うカット点は瞬時カット点である。
また、本実施の形態で識別対象となる映像は、前記シーンではなく、前記ショットである。
【００２９】
各ショットを構成している複数のフレームは、図３に示す再生順のデータであるが、符号化されるときに順番が入れ替えられることで、同図３に示すビットストリーム順のデータとなる。
更に、このビットストリーム順のデータは、復号化されるときに順番が入れ替えられることで、元の順番（前記再生順と同じ順番）に戻され、同図３に示す出力順のデータとなる。
本実施の形態では、前記再生順または出力順のことを、フレーム順と称する。
また、本実施の形態で扱う動画圧縮データは、１５枚の圧縮された画像フレームから一つのＧＯＰ（group of picture）を構成し、この１ＧＯＰの中に、連続する２枚のＢフレームを周期的に含む一般的なＭＰＥＧ２データである。
【００３０】
前記各フレームは、図４に示すように、略マス目状に配置された多数のＭＢ（macro block）からなる。各ＭＢには、ＭＢＴ（macro block type）という属性が与えられている。このＭＢＴは、ＭＢ毎に対応するコードとして動画圧縮データのマクロブロック層に書き込まれている。
ＭＢＴは、各ＭＢがどのような符号化方式により符号化されたかを示す情報であり、このＭＢＴの種類には、イントラ符号化ＭＢＴ（mbIntra）、順方向予測符号化ＭＢＴ（mbForward）、逆方向予測符号化ＭＢＴ（mbBack）、双方向予測符号化ＭＢＴ（mbInter）、その他の符号化ＭＢＴ（mbOther）等がある。
本実施の形態では、ＭＰＥＧ２方式の動画圧縮データからフレーム毎に前記ＭＢＴを抽出し、これら抽出された複数のＭＢＴを、フレーム毎にＭＢＴ情報として扱っている。
【００３１】
次に、瞬時カット点が発生する位置のパターンについて説明する。
瞬時カット点が発生する位置は、一対の連続したＢフレーム（Ｂi，Ｂi+1）に注目すると、以下の(i)，(ii)，(iii)の場合に分類される。
(i)   Biの直前にカット点が存在する場合
(ii)  BiとBi+1の間にカット点が存在する場合
(iii)  Bi+1の直後にカット点が存在する場合
以下に、それぞれの場合が生じたとき，Bフレームの符号化にどのような影響があるのかについて説明する。
【００３２】
(i)の場合には、図５（ａ）に示すように、Bi，Bi+1はＩを参照しても類似した値を得ることができないため、類似したP に対して参照を行う。そのためBi，Bi+1共に逆方向予測を行うＭＢの数が多くなる。
【００３３】
(ii)の場合には、図５（ｂ）に示すように、画像の類似性からBiはＩに対しての参照を行い、Bi+1はＰに対して参照を行う。そのためBiはＩに対しての順方向予測符号化を行ったＭＢの数が多く、Bi+1 はPに対しての逆方向予測符号化を行ったＭＢの数が多くなる。
【００３４】
(iii)の場合には、画像の類似性からBi，Bi+1共にＩに対して参照を行う。そのためBi，Bi+1 ともに、Ｉに対しての順方向予測化を行ったＭＢの数が多くなる。
【００３５】
以上は特にＢフレームのみのＭＢＴ情報に注目しているが、ＰフレームのＭＢＴも、イントラ符号化ＭＢＴか順方向予測符号化ＭＢＴを選択できることになっており、その変動はやはり映像の動きに依存している。Ｐフレームは基本的には順方向予測符号化されたＭＢからなるが、図６に示すように直前にカット点が存在したり、あるいはあまりにも激しい動きのシーンであったりした場合には、過去のＩフレーム、またはＰフレームを参照することができず、Ｐフレームにイントラ符号化されたＭＢが発生することになる。
【００３６】
また、ＭＢの符号化方式は基本的には、イントラ符号化方式、順方向予測符号化方式、逆方向予測符号化方式、双方向予測符号化方式の４通りであるが、ＭＰＥＧ２では、これらの符号化方式によらないＭＢであって情報を何も必要としないＭＢが存在する。このようなＭＢにはコードが用意されており、読み飛ばされることになるのでスキップトマクロブロックと呼ばれる。そして、このスキップトマクロブロックは、一つ前のＭＢとＤＣＴ係数が同じになるので、特に動きが少ない場合にＰフレームに発生する。
【００３７】
以上の傾向はフレーム毎のＭＢＴ情報に反映されており、このことは、本願発明者が、一般的な市販のＭＰＥＧ２エンコーダにより符号化された動画圧縮データを用いて、実験的に確認している。
【００３８】
以上のことに基づき、本実施の形態のカット点検出システムおよびショット識別システム３では、フレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成し、このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別している。
【００３９】
より具体的に説明すれば、先ず、各フレームのＭＢＴ情報について、イントラ符号化ＭＢＴ（mbIntra）の数、順方向予測符号化ＭＢＴ（mbForward）の数、逆方向予測符号化ＭＢＴ（mbBack）の数、双方向予測符号化ＭＢＴ（mbInter）の数、その他の符号化ＭＢＴ（mbOther）の数が、それぞれ求められる。
【００４０】
次に、フレーム毎のＭＢＴ情報の頻度的特徴として、Ｂフレームであって、順方向予測符号化ＭＢＴの頻度が最大であり、且つ、逆方向予測符号化ＭＢＴとイントラ符号化ＭＢＴの数の合計が所定の閾値ｔよりも小さい場合には、その頻度的特徴を、予め設定された第一ＭＢＴ記号により表す。この第一ＭＢＴ記号は、図７の表に示す一例によれば、数字の「０」という記号としている。
すなわち、前記条件を満たすフレームに対し、第一ＭＢＴ記号である「０」という記号が付与される。
【００４１】
同様に、フレーム毎のＭＢＴ情報の頻度的特徴として、Ｂフレームであって、逆方向予測符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴとイントラ符号化ＭＢＴの数の合計が所定の閾値ｔよりも小さい場合には、その頻度的特徴を第二ＭＢＴ記号により表す。この第二ＭＢＴ記号は、図７の表に示す一例によれば、数字の「２」という記号としている。
すなわち、前記条件を満たすフレームに対し、第一ＭＢＴ記号である「２」という記号が付与される。
【００４２】
その他、図７の表に例示するように、Ｂフレームであって、順方向予測符号化ＭＢＴの頻度が最大であり、且つ、逆方向予測符号化ＭＢＴとイントラ符号化ＭＢＴの数の合計が所定の閾値ｔ以上である場合には、そのフレームに対し「１」という記号が付与される。
また、Ｂフレームであって、逆方向予測符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴとイントラ符号化ＭＢＴの数の合計が所定の閾値ｔ以上である場合には、そのフレームに対し「３」という記号が付与される。
また、Ｂフレームであって、イントラ符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴと逆方向予測符号化ＭＢＴの数の合計が所定の閾値ｔよりも小さい場合には、そのフレームに対し「４」という記号が付与される。
また、Ｂフレームであって、イントラ符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴと逆方向予測符号化ＭＢＴの数の合計が所定の閾値ｔ以上である場合には、そのフレームに対し「５」という記号が付与される。
また、Ｐフレームであって、且つ、その他の符号化ＭＢＴの数が所定の閾値ｓ以上である場合には、そのフレームに対し「６」という記号が付与される。
また、Ｐフレームであって、且つ、イントラ符号化ＭＢＴの数が所定の閾値ｓ以上である場合には、そのフレームに対し「７」という記号が付与される。
また、上記記号「６」，「７」以外のＰフレームには、「８」という記号が付与される。
【００４３】
なお、Ｉフレームは他のフレームを参照しない静的なフレームであり、カット点検出およびショット識別のために直接的に寄与するフレームでないので、前記記号を付与していないが、必要に応じて、このＩフレームに例えば「９」等の記号を付与するようにしてもよい。
【００４４】
上記のように閾値ｔという制約を与えるのは、カット点の誤検出減らすためであり、この閾値ｔは実験的に適宜な値に決められている。
また、閾値ｓは後述するショット識別の際に、その識別率を向上するためのものであり、この閾値ｓも実験的に適宜な値に決められている。
【００４５】
そして、上記のようにして作成されたＭＢＴ記号は、図８に例示するように、フレーム順に対応するように並べられることで、一連のＭＢＴ記号列を構成する。
したがって、このＭＢＴ記号列において、各ＭＢＴ記号は、対応するフレームにおける特定のＭＢＴの頻度的特徴を表していることになる。
【００４６】
次に、本実施の形態のカット点検出システムおよびショット識別システム３は、図８（ａ）に示すように、上記ＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴として、二つの上記第一ＭＢＴ記号（具体的には記号「０」）が隣り合う場合には、これらの内の先頭のＭＢＴ記号に対応するフレームの直前を、瞬時カット点とする。
また、図８（ｂ）に示すように、上記第一ＭＢＴ記号（具体的には「０」）と上記第二ＭＢＴ記号（具体的には「２」）とがフレーム順に隣り合う場合には、これら二つのＭＢＴ記号に対応する二つのフレームの間を、瞬時カット点とする。
また、図８（ｃ）に示すように、二つの上記第二ＭＢＴ記号（具体的には記号「２」）が隣り合う場合には、これらの内の末尾のＭＢＴ記号に対応するフレームの直後を、瞬時カット点とする。
【００４７】
次に、カット点検出システムおよびショット識別システム３は、上記のようにしてＭＢＴ記号列を用いて検出された二つのカット点間を、識別対象となるショットとし、このショットについて、上記のようにして作成したＭＢＴ記号列を用いて推定モデルによりその確率が最大となるものを選定して識別する。
この推定モデルは、あらかじめ識別したいショットであるイベントが含まれる動画圧縮データから特定のイベントを選定し、この特定のイベント毎に上記ＭＢＴ記号列を作成し、このＭＢＴ記号列を学習対象ＭＢＴ記号列としてイベント毎に学習させるようにしたものが用いられる。
【００４８】
本実施の形態の好ましい一例によれば、上記推定モデルとして隠れマルコフモデル（ＨＭＭ）を用いている。このＨＭＭは、不確定な時系列のデータをモデル化するための有効な統計手法である。以下に、このＨＭＭについて詳細に説明する。
【００４９】
（ＨＭＭの要素）
観測系列を  
Ｏ＝（ｏ１，ｏ２，・・・，ｏＴ）
とした場合、離散シンボル確率事象のHMMはパラメータとして状態遷移確率、シンボル出力確率、初期状態確率を持ち、次のように表現される。
１．Ｎ：モデルの状態数
使用したモデルはすべての状態から他のあらゆる状態に遷移できるように連結されているものとした(すなわち、エルゴディック(ergodic) モデル)。各状態は｛１，２，・・・｝とラベルを付与し、時刻ｔの状態をｑｔと表す。
２．Ｍ：各状態における観測シンボル数、つまりシンボルの種類のことであり、本実施の形態においてはＭＢＴ記号列に与える記号の種類にあたる。個々のシンボルをＶ＝｛ｖ１，ｖ２，・・・，ｖＭ｝とおく。
３．Ａ＝｛ａｉｊ｝：状態遷移確率行列，ａｉｊは状態ｉから状態ｊへの遷移確率である。ここで、
【数１】
2008042364.tif 000003
４．Ｂ＝｛ｂＪ(ｋ)｝：観測シンボル確率分布、ここで、
【数２】
2008042364.tif 000004
これは状態ｊ，（ｊ＝１，２，・・・，Ｎ）におけるシンボル分布を定義する。
５．π＝｛πｉ｝：初期状態確率分布、ここで
【数３】
2008042364.tif 000005
上記から、ＨＭＭを完全に記述するためには、Ｎ，Mの２つのモデルパラメータ、観測シンボル、そしてＡ，Ｂ，πの３つの確率尺度の集合が必要となる。ここでは簡単のため、モデルのパラメータ集合全体を示すために、次の簡単な表記を用いる。
【数４】
2008042364.tif 000006
このパラメータ集合を使ってＯに対する確率、Ｐ(O|λ) を定義することができる。
【００５０】
（モデルを用いての認識）
本実施の形態では、HMMを用いる際、対象とするイベント(ショット単位)の種類の数だけのHMMを用意し、認識したいデータに対して、それぞれのHMMからそのデータが出力される確率の計算を行うことで、認識を行う。つまり、各イベントの種類の数だけ｛λ1,λ2,・・・,λn｝を用意し、それぞれに対して，P(O|λi)を計算し、その最大のものをもってデータの属するイベントとする。基本的には、P(O|λi)は可能な状態遷移に対する確率を加え合わせたものであるが、通常、計算量が多くなり過ぎるので効率良く計算することが重要になる。このための方法としてforwardアルゴリズムと呼ばれるものを説明する。これは認識の過程だけではなく、パラメータ推定の際にも用いる。
【００５１】
（Forward Algorithm）
前向き変数αｔ(i)を以下のように定義する。
【数５】
2008042364.tif 000007
これは、モデルλが与えられたときに、部分的な観測系列ｏ１ｏ２・・・ｏｔを時刻ｔまでに出力し、時刻ｔに状態ｉに存在する確率である．αt(i)は以下のように帰納的に計算できる。
1) 初期化:
【数６】
2008042364.tif 000008
2) 帰納:
【数７】
2008042364.tif 000009
3) 終了:
【数８】
2008042364.tif 000010
初期化ステップでは、前向き確率を、状態ｉと初期観測事象ｏ１の同時確率として初期化する。帰納ステップは図９のようになっており、この図は時刻ｔで到達可能なＮ個の状態ｉ，（１≦ｉ≦Ｎ）から、時刻ｔ＋１で状態ｊにいかに到達できるかを示している。
【００５２】
αt(i)は、ｏ１ｏ２・・・ｏｔが観測され、時刻ｔで状態ｉを経た後に時刻ｔ＋１で状態ｊに到達する同時事象の確率である。この積を時刻ｔにおける可能なＮ個の全ての状態ｉ，（１≦ｉ≦Ｎ）で総和した結果は、時刻ｔ以前の部分的な観測事象のすべてを考慮して時刻ｔ＋１で状態ｊに存在する確率である。一旦、これが計算され、ｊが決まれば、状態ｊの観測事象ｏt+1を考慮することにより、つまり、確率bj(ot+1)を総和した結果に掛け合わせることにより、αt+1(j)が得られる。数７に示す式の計算は、時刻ｔのすべての状態ｊ，（１≦ｊ≦Ｎ）に対して実行され、さらにｔ＝１，２，・・・Ｔ−１に対して繰り返される。
最後に、目的である確率P(O|λ)は、終了ステップによって、前向き確率の終端の確率αT(i)を総和して求められる。なぜなら定義から
【数９】
2008042364.tif 000011
であるから、P(O|λ)は単なるαT(i)の総和になるのである。
【００５３】
（学習）
ＨＭＭを実際に用いる場合、モデルパラメータ(A,B,π)をいかに決定するかが問題となる。観測系列の確率を最大化するモデルパラメータ集合を、解析的に直接求める方法は知られていない。しかし、Baum-Welch法という尤度P(O|λ)が局所的に最大になるモデルパラメータλ=(A,B,π)を求める方法が知られており(Lawrence Rabiner，Biing-Hwang Juang 共著”Fundamentals of Speech Recognition”，1993 参照)。本実施の形態でもこれを用いることにした。ここではBaum-welch法について説明するが、そのために必要なアルゴリズムとして、Backward Algorithm アルゴリズムについて説明する。
【００５４】
（Backward Algorithm）
Forward Algorithmと同様にして、以下に定義する後ろ向き変数を考えることができる。
【数１０】
2008042364.tif 000012
これは、モデルλと時刻ｔにおける状態ｉが与えられたとき、時刻ｔ＋１から終端までの部分的な観測系列の確率である。βt(i)も以下のように帰納的に計算できる。
1) 初期化:
【数１１】
2008042364.tif 000013
2) 帰納:
【数１２】
2008042364.tif 000014
初期化ステップでは、βT(i)がすべてのｉに対して１になるように定義する。図１０は以下の事柄を示す。時刻ｔに状態ｉに存在し、時刻ｔ＋１以降の観測系列を考慮するためには、時刻ｔ＋１において到達可能なすべての状態ｊと、ｉからｊへの遷移(aij項)、状態ｊの観測事象ot+1(bj(ot+1) 項)、状態ｊ以降の部分観測系列(βt+1(j)項)を考慮しなければならない。上記で求めた前向き変数とこの後ろ向き変数を用いてＨＭＭパラメータの再推定手法(Baum-Welch 法)について説明する。
【００５５】
（Baum-Welch Algorithm）
初めに、モデルと観測系列が与えられたとき、時刻ｔに状態ｉに存在し、時刻ｔ＋１に状態ｊに存在する確率ξt(i,j)を定義する。すなわち、
【数１３】
2008042364.tif 000015
数１３に示す式の条件を満足するパスを図１１に示す。前向き、後ろ向き変数の定義から、ξt(i,j)は次のように書ける。
【数１４】
2008042364.tif 000016
また、モデルと観測系列全体が与えられたときに、時刻ｔで状態ｉに存在する確率γt(i)を次のように定義する。
【数１５】
2008042364.tif 000017
P(O,qt=i|λ)は前向き変数と後ろ向き変数を使って表すと、αt(i)βt(i)となるので、γt(i)は次のように書ける。
【数１６】
2008042364.tif 000018
これより、γt(i)はξt(i,j)をjについて総和したものとして関係づけられる。つまり
【数１７】
2008042364.tif 000019
γt(i)を時刻ｔについて和をとれば、状態ｉを訪れた回数の期待値とみなせる値を得ることができる。その総和から時刻ｔ＝Ｔを除いたものは等価的に状態ｉから遷移する回数の期待値になる。同様にξt(i,j)のｔについての(ｔ＝１からｔ＝Ｔ−１までの)総和は状態ｉから状態ｊへ遷移する回数の期待値となる。つまり、
【数１８】
2008042364.tif 000020
【数１９】
2008042364.tif 000021
上記の式および、事象の発生回数を数える概念を用いて、ＨＭＭのパラメータの再推定手法を示すことができる。π,A,Bの適切な再推定式は次のようになる。
【数２０】
2008042364.tif 000022
【数２１】
2008042364.tif 000023
【数２２】
2008042364.tif 000024
仮に現在のモデルをλ=(A,B,π)として、これを数20〜22に示す式の右辺を計算するために用いるとする。そして数20〜22に示す式の左辺によって決定される再推定モデルを、以下の数23に示す式のように定義する。
【数２３】
2008042364.tif 000025
Baumら（Lawrence Rabiner，Biing-Hwang Juang 共著”Fundamentals of Speech Recognition”，1993 参照）はモデルバーλ（バーは論理否定記号付記号を意味する。）がモデルλよりも以下の数24に示す式の意味で、よりもっともらしいことを証明した。つまり、観測系列が生成された可能性がより高い新しいモデルバーλを手に入れることができた。
【数２４】
2008042364.tif 000026
【００５６】
上記の手法に基づいて、バーλをλに入れ替えて繰り返し使いながら再推定計算を繰り返せば，Ｏがそのモデルから観測されたという確率を、ある限界点に達するまで高めることができる。この再推定手法の最終結果は、ＨＭＭの最尤推定値になる。本実施の形態ではこの再推定手法(Forward Algorithm・Backward Algorithm・Baum-Welch Algorithm)のプログラムをJava(登録商標)で作成し、学習・認識の実験を行った。ただし、実際にこの再推定の計算をこの通りに行うと、例えば前向き変数αt(i)の各項は指数的に０に向かい始める。よって基本的にはあらゆる計算機の精度を越えてしまうので、この計算を実現するためには、スケーリングという処理を行う必要がある。
【００５７】
次に、上記隠れマルコフモデル（ＨＭＭ）によりショットを識別する際の具体的手順について説明する。
【００５８】
（イベントショットの学習）
先ず、識別したいショットである特定のイベントショットが含まれる動画圧縮データについて、上述したＭＢＴ記号列が作成される。
前記特定のイベントショットには、例えば、動画圧縮データが野球映像である場合において、投球ショットや、ファールフライのショット、フライアウトのショット、バッターのアップのショット、プレイヤーのアップのショット等が挙げられる。
【００５９】
そして、同動画圧縮データが、カット点によりショット単位に分割される。
なお、この際のカット点は、上述したようにＭＢＴ記号列を用いて検出すればよいが、他の周知技術により検出するようにしてもよい。
【００６０】
次に、ショット単位に分割された各映像を目視確認することにより、正解となるイベントショットがＭＢＴ記号列中におけるどの範囲に対応するかを調べる。
そして、正解となるイベントショットに対応するＭＢＴ記号列に対し正解ラベルを付与することで、このＭＢＴ記号列が学習対象ＭＢＴ記号列とされる。
【００６１】
そして、各学習対象ＭＢＴ記号列に対して、上述したBaum-Welchアルゴリズムを用いて、ＨＭＭのモデルパラメータを推定する。これでイベント毎の推定モデルであるＨＭＭが構築される。
【００６２】
以上は、ショット識別のための前段階として手動で行われる前処理である。
以下に、カット点検出システムおよびショット識別システム３が自動的に行うショット識別処理について、図１２に基づき詳細に説明する。
【００６３】
（イベントショットの識別）
既に説明したように、カット点検出システムおよびショット識別システム３は、識別対象となるショットが含まれる動画像圧縮データ１０から、フレーム毎にＭＢＴ情報を抽出し、このＭＢＴ情報に基づき、図７に示す表の条件に応じて各フレームに所定の記号を付与することで、ＭＢＴ記号列１１を作成する。そして、ＭＢＴ記号列１１における第一ＭＢＴ記号（「０」）と第二ＭＢＴ記号（「２」）の配列的特徴からカット点を検出し、検出された二つのカット点間に位置する複数のフレームを、識別対象のショット１３とする。
【００６４】
次に、カット点検出システムおよびショット識別システム３は、上記カット点により分割された全てのショット１３について、そのショット１３毎のＭＢＴ記号列１１ａに対して、識別処理を行う。
詳細に説明すれば、各ショット１３に対応するＭＢＴ記号列１１ａについて、各イベントショット毎に用意されている推定モデル１４（具体的にはＨＭＭ）から出力される確率を計算し、最も出力確率が大きい推定モデル１４から出力されたものとする。このようにして、各ショット１３がどのイベントショットに属するかが識別される。
【００６５】
なお、上記実施の形態によれば推定モデルとしてＨＭＭ（隠れマルコフモデル）を用いた一例を示したが、他例としては、学習型の他のアルゴリズム（例えば、遺伝アルゴリズムやニュートラルネットワーク等）を用いることも可能である。
【実施例１】
【００６６】
（瞬時カット点検出実験）
次に、上記構成のカット点検出システムおよびショット識別システム３を用いて、実際の野球映像のMPEG2データからカット点を検出する実験を行った結果について説明する。
まず使用したMPEG2データ、そしてカット点検出の評価方法について説明する。
（使用映像）
使用した映像はMPEGキャプチャーボックスを市販のPCに取り付け、DVDレコーダから入力した映像データからMPEG2動画像データを作成した。
動画像は、解像度640×480、ビットレートは平均5.5Mbps、最大8MbpsのVBR(Variable Bit Rate，可変速度)。
プロファイルとレベルは、MP@ML，GOPはIBBPBBPBBPBBPBBIBB・・・というPフレームの後にBフレームが2枚続くN=2の構成をしている。1つのGOPは基本的にはIフレーム1枚、Pフレーム4枚，Bフレーム10枚の計15枚だが、それ以外のランダムGOPも存在し、その場合のランダムGOPは15枚未満の3の倍数で構成される。そして1GOPの時間間隔は0.5秒である。
【００６７】
（瞬時カット点検出評価方法）
まず，瞬時カット点検出の結果を以下の式を用いて評価する。
・CSC(Correct Scene Change)：  既知正解カット点数
・CD(Correct Detection)：  正しく検出されたカット点数
・FD(False Detection)：  誤検出したカット点数
・CD+FD：  カット点として検出した数
これらを用いて，検出率, 誤検出率, 検出性能を以下のように定義する。
・RCD(Rate of Correct Detection)：  検出率
RCD = 100(CD/CSC)      (4.1)
検出率はどれくらい正しいカット点を検出できたかを調べるために用いる.
・RFD(Rate of False Detection)：  誤検出率
RFD = 100{FD/(CD + FD)}      (4.2)
誤検出率は検出したカット点の中でどれくらい誤検出を含んでいるかを調べるために用いる。
・DP(Detection Performance)：  検出性能
DP = 100{(CD - FD)/CSC}      (4.3)
検出性能は検出率と誤検出率を統合的に判断するために用いる。カット点検出では検出率だけ良くても誤検出率が高ければ実用的ではない。そのため両方の検出率を共に評価できる指標としてDPを設定する。実験においてはDP の値が高くなるものを最も良いものとする。
【００６８】
カット点の検出率などを出すため既知正解カット点をあらかじめ見つけておかなくてはならない。これは実際の映像を見ていきながら目で見て確認し、手作業で正解カット点にラベルを与えていった。
なお、カット点検出や後の隠れマルコフモデル構築のためのBaum-WelchプログラムはJAVA（登録商標）にて作成した。JAVA（登録商標）の言語仕様は型チェックが厳密であること、入出力エラーのハンドリングに優れていることなどからデバックが容易であるという利点を持つ。さらにJAVA（登録商標）はマルチプラットフォームを目指したプログラミング言語であるためOSによる依存が非常に少ない。様々なOSが普及している世の中でこのように1つの共通のソースコードで様々な環境で使えるという点からJAVA（登録商標）を使用した。
【００６９】
（瞬時カット点検出実験の評価）
以下の野球映像（MPEG2データ）で実験を行う。
【表１】
2008042364.tif 000027
また、Ｂフレームに対してＭＢＴ記号列を作成する際、図７に示す表の閾値ｔはｔ＝３５０とした。
（検出結果）
それぞれの野球映像における提案法の検出結果を以下に示す。
（１）野球１
【表２】
2008042364.tif 000028
（２）野球２
【表３】
2008042364.tif 000029
（３）野球３
【表４】
2008042364.tif 000030
【００７０】
（考察）
＜検出率＞
野球1，野球2，野球3すべてにおいて、97％以上という非常に高い結果を得る事ができた。＜誤検出率＞
誤検出もまた、すべての場合において3％未満と非常に低く抑えられていることがわかる。また誤検出となったところも、カメラが選手を撮影している時に別の選手が一瞬横切った場合などに発生した場合が多く、やむを得ない誤検出であった。
＜検出性能＞
検出性能は野球3において94.3％と若干低くなっているが、それでも十分実用的であるといえる。従来技術として非特許文献２で行っているカット点検出実験においては、スポーツ映像に対してこの検出性能が92.31％であり、従来技術と比べてもより簡単な処理であるうえ、優れた結果であることがわかる。
【実施例２】
【００７１】
（ショット識別実験）
次に、上記構成のカット点検出システムおよびショット識別システム３を用いて、実際の野球映像のMPEG2データに対して、ショットの識別を行う実験を行った結果について説明する。
実行環境や使用した動画像については、上述した実施例１に記載した実験と同様である。また、瞬時カット点検出評価方法と同様、ここでは投球ショット検出評価方法を以下のように定める。
（ショット識別評価方法）
ショットの識別によって投球ショットがどれだけ正しく認識することができたかを以下の式を用いて評価する。
・CS(Correct Shot)：  既知正解投球ショット
・CR(Correct recognition)：  正しく認識された投球ショット数
・FR(False recognition)：  誤認識した投球ショット数
・CR+FR：  ショット数として認識した数
これらを用いて、認識率，誤認識率，認識性能を以下のように定義する。
・RCR(Rate of Correct recognition)：  認識率
RCR = 100(CR/CS)      (4.4)
認識率はどれくらい正しい投球ショットを認識できたかを調べるために用いる。
・RFR(Rate of False recognition)：  誤認識率
RFR = 100{FR/(CR + FR)}      (4.5)
誤認識率は認識した投球ショットの中でどれくらい誤認識を含んでいるかを調べるために用いる。
・RP(recognition Performance)：  認識性能
RP = 100{(CR - FR)/CS}      (4.6)
認識性能は認識率と誤認識率を統合的に判断するために用いる。カット点と同様，投球ショットでは認識率だけ良くても誤認識率が高ければ実用的ではない。そのため両方の認識率を共に評価できる指標としてRPを設定する。実験においてはRPの値が高くなるものを最も良いものとする。
投球ショットの認識率などを出すため既知正解投球ショットをあらかじめ見つけておかなくてはならない。また、認識実験の結果として、投球ショットの誤認識あるいは認識されなかった場合、そのショットがどのようなショットであるか、確かめる必要がある。そこで投球だけでなく、映像を見ながら全てのショットに対して手作業で正解ラベルを振った。
【００７２】
（イベントショットに対するＨＭＭの構築）
まず、イベントショットの推定モデルであるHMMを構築する必要がある。HMMの種類は、投球ショット、ファールフライのショット、フライアウトのショット、バッターのアップのショット、プレイヤーのアップのショットの５種類とする。
学習段階としては、各イベントショットの正解ショットを野球１（表１参照）から３カ所ずつ探し、正解ショットのMBT記号列を学習対象ＭＢＴ記号列とした。この学習対象ＭＢＴ記号列を上記Baum-Welchアルゴリズムを用いて、HMMを構成するモデルパラメータを推定した。
今回使用したHMMは状態数N = 4 ですべての状態から他のあらゆる状態に遷移できるように連結されているものとした。また観測シンボルには図７に示すMBT記号からなるＭＢＴ記号列を用いるため、観測シンボル数M = 9 となる。またその際の閾値ｔ，ｓはそれぞれｔ＝350，ｓ＝150 とした。以下に各イベントショットのモデルパラメータを示す。モデルは各イベントショット毎に３つずつ構築した。
また，各パラメータは、π = {πi}:初期状態確率，A = {aij}:状態遷移確率，B = {bj(k)}:観測シンボル確率である。
【００７３】
・投球ショット
【数２５】
2008042364.tif 000031
・ファールフライのショット
【数２６】
2008042364.tif 000032
・フライアウトのショット
【数２７】
2008042364.tif 000033
・バッターのアップのショット
【数２８】
2008042364.tif 000034
・プレイヤーのアップのショット
【数２９】
2008042364.tif 000035
【００７４】
（ショット識別の評価）
各イベントショットのHMMを用意したうえで、表１に示す野球１および野球２の映像(MPEG2 データ)で実験を行った。
実施例１に示す実験結果から瞬時カット点の検出結果は非常によいことがわかったので、カット点の検出からショットの識別までを一連の流れで行った。つまり、瞬時カット点検出法からショット単位に分割されたＭＢＴ記号列に対してそのまま、数25〜29のように構築した各HMMから出力した確率を計算した。各イベント毎に３つのHMM を用意したので、計15回計算を行った。計算した結果、最も出力確率が高いモデルからそのショットは出力されたことにした。
識別したショットの中でも、特に投球ショットに対して、そして、あらかじめラベルを振っておいた既知正解投球ショットに対して、上記の処理から出た結果を評価方法に基づき以下に示す。
【００７５】
（認識結果）
（１）野球１
【表５】
2008042364.tif 000036
（２）野球２
【表６】
2008042364.tif 000037
【００７６】
（考察）
＜認識率＞
野球1，野球2の両方とも83％以上という高い認識率を得る事ができた。このことから、ＭＢＴ記号列は投球ショットにおいてある法則にのっとって遷移していたということや、映像の内容理解の手助けになること等がわかる。
＜誤認識率＞
上記実験では誤認識を避けるためにバッターアップあるいはプレイヤーアップのHMMを用意した。これらのHMMからの出力確率と比較することで誤認識を下げることができた。
＜認識性能＞
認識性能は75.5％，80.0％となっており、マクロブロックタイプのみを用いた結果であることを考慮すると、従来の複雑な画像処理を行う認識に比べて、良好な結果であるといえる。
【００７７】
なお、上述した実施の形態、および実施例１，２によれば、カット点検出およびショット識別の対象となる動画圧縮データの一例として野球映像を用いるようにしているが、例えば、サッカーの映像や、相撲の映像、メロドラマ等、野球映像以外の動画圧縮データを用いることも可能である。
【図面の簡単な説明】
【００７８】
【図１】本発明に係わるカット点検出システムおよびショット識別システムの一例を示すブロック図である。
【図２】一般的な動画像の構造を示す概念図である。
【図３】動画像圧縮データについて、再生順、ビットストリーム順、出力順の関係を説明する概念図である。
【図４】フレームの構造を示す概念図であり、併せてＭＢＴの種類を示している。
【図５】カット点が発生する位置とＢフレームが参照するフレームとの関係を示す概念図である。
【図６】カット点が発生する位置とＰフレームが参照するフレームとの関係を示す概念図である。
【図７】ＭＢＴ記号と該ＭＢＴ記号を与える条件との関係を示す表である。
【図８】ＭＢＴ記号列とカット点との関係を示す概念図である。
【図９】前向き変数αt+1(j)の計算を示す概念図である。
【図１０】後ろ向き変数βt(j)の計算を示す概念図である。
【図１１】時刻tに状態i,t+1に状態jに存在する確率を計算する流れを示す概念図である。
【図１２】ショット識別処理の流れを示す概念図である。
【符号の説明】
【００７９】
２：復号器
３：カット点検出システムおよびショット識別システム
１０：動画像圧縮データ
１１，１１ａ：ＭＢＴ記号列
１４：推定モデル（ＨＭＭ）
【図１】
2008042364.tif 000038
【図２】
2008042364.tif 000039
【図３】
2008042364.tif 000040
【図４】
2008042364.tif 000041
【図５】
2008042364.tif 000042
【図６】
2008042364.tif 000043
【図７】
2008042364.tif 000044
【図８】
2008042364.tif 000045
【図９】
2008042364.tif 000046
【図１０】
2008042364.tif 000047
【図１１】
2008042364.tif 000048
【図１２】
2008042364.tif 000049