(57)【特許請求の範囲】
【請求項１】
動画像データの各フレームの特徴量を抽出する特徴量抽出手段と、
予め特徴量−尤度変換テーブルに記憶された特徴量の値の大きさからカットが存在する尤度とカットが存在しない尤度の比に基づいて、前記特徴量抽出手段によって抽出された特徴量から前記カットの有無の尤度比を算出する手段と、この算出された尤度比から得られる値をしきい値処理して入力された動画像データのカットを検出する検出手段とを有することを特徴とする動画像データのカット検出装置。
【請求項２】
動画像データの各フレームの特徴量を抽出する特徴量抽出手段と、
動画像データのカットのフレームを示すカットデータを入力するためのカットデータ入力手段と、
カットデータを参照して、前記特徴量抽出手段によって抽出された各フレームの特徴量のうちカットであるフレームの特徴量とカットでないフレームの特徴量の出現回数を計測する手段と、
計測された特徴量の出現回数をもとに、特徴量ごとにカットがある確率とカットがない確率の比である尤度比を算出する尤度比算出手段と、
算出された特徴量ごとの尤度比を記憶する記憶手段と、
記憶された特徴量ごとの尤度比をしきい値処理して入力された動画像データのカットを検出する検出手段とを有することを特徴とする動画像データのカット検出装置。
【請求項３】
前記特徴量抽出手段によって抽出される特徴量として、
動画像データを圧縮符号化する際に使用されるパラメータを用いたことを特徴とする請求項２記載の動画像データのカット検出装置。
【請求項４】
動画像を圧縮符号化する際に使用されるパラメータとして、
動き補償付き画像間予測符号化時に使用される動きベクトルの値、または動きベクトルの符号化の際に用いられるパラメータを使ったことを特徴とする請求項３記載の動画像データのカット検出装置。
【請求項５】
動画像データの各フレームの特徴量を抽出し、
入力された動画像データのカットのフレームを示すカットデータを参照して、前記特徴量抽出手段によって抽出された各フレームの特徴量のうちカットであるフレームの特徴量とカットでないフレームの特徴量の出現回数を計測し、計測された特徴量の出現回数をもとに、特徴量ごとにカットがある確率とカットがない確率の比である尤度比を算出し、
算出された特徴量ごとの尤度比を記憶手段に記憶させ、
記憶させた特徴量ごとの尤度比をしきい値処理して入力された動画像データのカットを検出することを特徴とする動画像データのカット検出方法。
【請求項６】
動画像データのカット検出するためのプログラムをコンピュータで実行可能なように記録した記録媒体において、
動画像データの各フレームの特徴量を抽出し、入力された動画像データのカットのフレームを示すカットデータを参照して、
前記特徴量抽出手段によって抽出された各フレームの特徴量のうちカットであるフレームの特徴量とカットでないフレームの特徴量の出現回数を計測し、
計測された特徴量の出現回数をもとに、特徴量ごとにカットがある確率とカットがない確率の比である尤度比を算出し、
算出された特徴量ごとの尤度比を記憶手段に記憶させ、
記憶させた特徴量ごとの尤度比をしきい値処理して入力された動画像データのカットを検出するプログラムをコンピュータで実行可能なように記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像から映像の不連続点であるカットを検出するための動画像データのカット検出装置及び方法及び記録媒体に関する。
【０００２】
【従来の技術】
従来のカット検出の手法としては、連続する２フレーム間の対応する画素ごとの輝度の差分の絶対値和を動画像の特徴量とする方法、連続する２フレーム間の対応する画素ごとの輝度の差分が大きいものの数を特徴量とする方法、フレームごとの輝度や色のヒストグラムを求めて２フレーム間で絶対値差分和をとる方法など（例えば「カラービデオ映像における自動索引付け方と物体探索法」、情報処理学会論文誌、ｐｐ．５４３−５５０，１９９０  ）がよく知られている。そして、特徴量を求めた後、しきい値との比較によりカットの検出を行う。
【０００３】
また、圧縮された動画像を対象にしたカット検出手法としては、フレーム内の小ブロックごとの予測符号化方式の割合を特徴量とする方法（「例えばＭＰＥＧ２映像からのカット点検出法」、電子情報通信学会、情報・システムソサエティ大会、Ｄ−２７２，１９９６）や、予測符号化時の動き補償において非ゼロの動きベクトルが用いられている小ブロックの数を特徴量とする手法（「Ｖｉｄｅｏ  Ｐａｒｉｓｉｎｇ  ａｎｄ  Ｂｒｏｗｓｉｎｇ  Ｕｓｉｎｇ  Ｃｏｍｐｒｅｓｓｅｄ  Ｄａｔｅ  」、Ｍｕｌｔｉｍｅｄｉａ  Ｔｏｏｌｓ  ａｎｄ  Ａｐｐｌｉｃａｎｔｉｏｎｓ、ｐｐ．８９−１１１  、１９９５    ）などが提案されている。これらの手法でもやはり特徴量に対してしきい値処理を行うことにより、カットの検出を行う。
これら従来の手法は、動画像データから得られる特定の特徴量を求め、特徴量に対して直接しきい値処理を行っていた。
【０００４】
【発明が解決しようとする課題】
一般にカット検出の性能は、カットを見落とす確率である未検出率と、カットでないところをカットとしてしまう確率である過剰検出率とにより評価される。どちらも小さい方がよいが、通常は両者はトレードオフの関係にあり、一方を小さくすれば他方が大きくなるという性質がある。よって、一方を固定したときに他方の確率が小さくなる手法ほどよいカット検出手法であるといえる。
【０００５】
しきい値処理によりカットの検出を行う場合、未検出率と過剰検出率は観測する特徴量の出現確率と密接に結びついており、これら特徴量の出現確率を使うと未検出率と過剰検出率の一方を固定したとき他方を最小にするように設計することができる。そのため、特徴量の値に対してそのまましきい値処理を行っている手法では、特徴量の出現確率分布は考慮されておらず、性能の最適性は全く保証されていない。
また、しきい値を決めるにあたっても、従来の手法では設計者の経験からアドホックに決めることしかできなかった。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、動画像データの各フレームの特徴量を抽出する特徴量抽出手段と、予め特徴量−尤度変換テーブルに記憶された特徴量の値の大きさからカットが存在する尤度とカットが存在しない尤度の比に基づいて、前記特徴量抽出手段によって抽出された特徴量から前記カットの有無の尤度比を算出する手段と、この算出された尤度比から得られる値をしきい値処理して入力された動画像データのカットを検出する検出手段とを有することを特徴とする動画像データのカット検出装置。
【０００７】
また、動画像データの各フレームの特徴量を抽出する特徴量抽出手段と、動画像データのカットのフレームを示すカットデータを入力するためのカットデータ入力手段と、カットデータを参照して、前記特徴量抽出手段によって抽出された各フレームの特徴量のうちカットであるフレームの特徴量とカットでないフレームの特徴量の出現回数を計測する手段と、計測された特徴量の出現回数をもとに、特徴量ごとにカットがある確率とカットがない確率の比である尤度比を算出する尤度比算出手段と、算出された特徴量ごとの尤度比を記憶する記憶手段と、記憶された特徴量ごとの尤度比をしきい値処理して入力された動画像データのカットを検出する検出手段とを有することを特徴とする。
【０００８】
また、前記特徴量抽出手段によって抽出される特徴量として、動画像データを圧縮符号化する際に使用されるパラメータを用いたことを特徴とする。
また、動画像を圧縮符号化する際に使用されるパラメータとして、動き補償付き画像間予測符号化時に使用される動きベクトルの値、または動きベクトルの符号化の際に用いられるパラメータを使ったことを特徴とする。
【０００９】
また、動画像データの各フレームの特徴量を抽出し、入力された動画像データのカットのフレームを示すカットデータを参照して、前記特徴量抽出手段によって抽出された各フレームの特徴量のうちカットであるフレームの特徴量とカットでないフレームの特徴量の出現回数を計測し、計測された特徴量の出現回数をもとに、特徴量ごとにカットがある確率とカットがない確率の比である尤度比を算出し、算出された特徴量ごとの尤度比を記憶手段に記憶させ、記憶させた特徴量ごとの尤度比をしきい値処理して入力された動画像データのカットを検出することを特徴とする。
【００１０】
また、動画像データのカット検出するためのプログラムをコンピュータで実行可能なように記録した記録媒体において、動画像データの各フレームの特徴量を抽出し、入力された動画像データのカットのフレームを示すカットデータを参照して、前記特徴量抽出手段によって抽出された各フレームの特徴量のうちカットであるフレームの特徴量とカットでないフレームの特徴量の出現回数を計測し、計測された特徴量の出現回数をもとに、特徴量ごとにカットがある確率とカットがない確率の比である尤度比を算出し、算出された特徴量ごとの尤度比を記憶手段に記憶させ、記憶させた特徴量ごとの尤度比をしきい値処理して入力された動画像データのカットを検出するプログラムをコンピュータで実行可能なように記録したことを特徴とする。
【００１１】
つまり、本発明のカット検出方法では、動画像データから得られる特徴量の出現頻度からカットの有無の尤度比を算出し、求められた尤度比を用いて尤度比検定を行うことにより、動画像からカットの検出を行うことを特徴とする。
【００１２】
【発明の実施の形態】
本発明の実施例を、図を用いて詳しく説明する。
図１はカット検出装置の、動画像データから特徴量の生起確率を推定し、カットの有無の尤度比を算出するための処理を行う部分の構成例である。まず、動画像データ入力部１０１から動画像のデータが入力される。特徴量取り出し部１０２は、動画像から特定の特徴量を抽出もしくは算出する。
【００１３】
動画像データ入力部１０１に非圧縮の動画像データが入力された場合、連続する２フレーム間の対応する画素ごとに輝度の差分を求め、この絶対値をフレーム全体にわたって加算した値をカット検出のための特徴量とする。
【００１４】
また、連続する２フレーム間の対応する画素ごとの輝度の差分を求め、この値があらかじめ定められた値よりも大きいものの数を特徴量としたり、フレームごとの輝度もしくは色のヒストグラムを求め、連続する２フレーム間のヒストグラムの絶対値差分和を特徴量としてもよい。
【００１５】
また、動画像データ入力部１０１に離散コサイン変換（ＤＣＴ）を用いて圧縮された動画像データが入力された場合には、連続する２フレーム間で対応するブロックのＤＣＴ係数の差分を求め、この差分値の絶対値をフレーム全体で足しあわせた値を特徴量とする。動画像データ入力部１０１に画像間予測符号化により圧縮された動画像データが入力されたときには、フレーム内の特定の予測符号化方式のブロック数を特徴量としてもよい。
【００１６】
さらに、後で説明するように動き補償付き画像間予測符号化により圧縮されている動画像データが１０１に入力される場合には、比ゼロの動きベクトル数や動きベクトルの値そのもの、隣接するブロックの動きベクトルの差分ベクトルの値などが特徴量として利用できる。
【００１７】
出現回数カウンタ１０３は、特徴量の特定の値が何回出現したかを計数する。このとき出現回数カウンタ１０３は、カットデータ入力部１０５から送られるカットデータを参照して、カットにおける特徴量の出現回数とカットでない場合の特徴量の出現回数を分けて計数する。特徴量が非常に多くの数値をとり得る場合には、各数値ごとに出現回数を計数するよりも特徴量のとりうる数値をいくつかの集合に分割しておき、集合ごとの出現回数を計数するようにしておくとよい。
【００１８】
尤度比算出部１０４は、出現回数カウンタで計数された特徴量の出現回数データからカットの有無の尤度比を算出する。特徴量の各値の生起が記憶を持たない場合、特徴量の取り得る値の数をＮ、特徴量の値をＸｉ（ｉ＝１，２，．．．．，Ｎ）、カットがあるときのＸｉの出現回数をＮｃ（Ｘｉ）、カットがないときのＸｉの出現回数をＮｎ（Ｘｉ）とすると、Ｘｉの尤度比は
【００１９】
【数１】
0003571200.tif 000002
により算出することができる。算出された尤度比は、尤度比算出部１０４から出力される。出力された尤度比データは、特徴量の値から尤度比を引くことのできるテーブルデータとしてカット検出時に利用される。
【００２０】
次に、動画像データ入力部１０１にＭＰＥＧ（ＩＳＯ／ＩＥＣ  １１１７２，ＩＳＯ／ＩＥＣ  １３８１８  ）により圧縮された動画像データが入力された場合に、差分動きベクトルを特徴量としてカットの有無の尤度比を算出する方法について詳細に説明する。
【００２１】
ＭＰＥＧにおいては、１フレームまたは１フィールドを１ピクチャという単位で扱っている。ピクチャはフレーム内符号化ピクチャ（Ｉ）、フレーム間予測符号化ピクチャ（Ｐ）、双方向予測符号化ピクチャ（Ｂ）の３種類があり、図２に示すような予測関係を持っている。
【００２２】
図２において、２０１はフレームを表しており、フレームの中の文字Ｂ、ＰはそれぞれのフレームがＢピクチャ、Ｐピクチャであることを表している。２０２はＰピクチャにおける予測関係を表しており、過去のＰピクチャ（またはＩピクチャ）から予測した画像を利用してＰピクチャが符号化されていることを表している。
【００２３】
２０３はＢピクチャにおける予測関係を表しており、Ｂピクチャの前後のＰピクチャ（またはＩピクチャ）２つを使った予測画像を利用してＢピクチャが符号化されている。２０２や２０３のような予測を用いた圧縮方法では、予測画像の生成に参照される画像と符号化対象の画像との相関が反映されている。ＭＰＥＧビットストリームに含まれる差分動きベクトルデータはそのような画像間の相関を反映しているデータの一つであり、これを動画像データの特徴量としてカット検出に利用することができる。
【００２４】
図３はＭＰＥＧにより圧縮された動画像データからＢピクチャに含まれる差分動きベクトルを特徴量としてカットの有無の尤度比を算出する処理の流れを表した流れ図である。以下この図に従って処理を説明する。
【００２５】
まず、新しいＢピクチャのデータを取り出す。次にＦに前方予測の参照フレームまでのフレーム間隔、Ｂに後方予測の参照フレームまでのフレーム間隔を代入する。前方予測は過去のフレームを参照画像として使う予測であり、後方予測は未来のフレームを参照画像として使う予測方式である。図２の場合は（Ｆ，Ｂ）＝（２，１）または（Ｆ，Ｂ）＝（１，２）である。
【００２６】
次にｉに０を代入する。ｉはピクチャに含まれるマクロブロック（１６×１６画素のブロック）の番号に対応しており、１ピクチャ内のマクロブロック数をｎとする。ｉ番目のマクロブロックＭＢｉから差分動きベクトルのデータを取りだし、この値をＶとする。Ｖは差分動きベクトルでもよいし、また、差分動きベクトルを再構成するための１つのパラメータであってもよい。
【００２７】
ｈｃ（Ｆ：Ｂ：Ｖ），ｈｎ（Ｆ：Ｂ：Ｖ）  はＶの出現回数のヒストグラムである。Ｖを観測したときには、処理中のフレームと前方予測の参照フレームとの間にカットがある場合にはｈｃ（Ｆ：Ｂ：Ｖ）  の値を１増やし、処理中のフレームと後方予測の参照フレームとの間にカットがある場合にはｈｃ（Ｂ：Ｆ：Ｖ）  の値を１増やす。前方予測の参照フレームと後方予測の参照フレームとの間にカットがない場合には、ｈｎ（Ｆ：Ｂ：Ｖ）  の値を１増やす。このようなヒストグラムの更新処理が終わるとｉをインクリメントしておく。
【００２８】
以上のようなマクロブロックＭＢｉのデータからＶを取り出し、ヒストグラムを更新する処理はｉ＜ｎの間ずっと繰り返し行われる。ｉ≧ｎとなったときには、ピクチャ内のすべてのマクロブロックの処理が終了しているので、次のＢピクチャがあるかないかをみて、ある場合には次の新しいＢピクチャを取り出して同様の処理を行う。ない場合には新たなピクチャを取り出すことは行わず、生起確率、尤度比の算出に移る。
【００２９】
カットを含む場合の差分動きベクトルＶの生起確率は、ヒストグラムｈｃ（Ｆ：Ｂ：Ｖ）  をカットを含む場合の差分動きベクトルの総数で割ることにより求められる。また、カットを含まない場合の差分動きベクトルＶの生起確率はｈｎ（Ｆ：Ｂ：Ｖ）  をカットを含まない場合の差分動きベクトルの総数で割ることにより求められる。このようにして求めた生起確率を、カットを含む場合ｐｃ（Ｆ：Ｂ：Ｖ）  、カットを含まない場合ｐｎ（Ｆ：Ｂ：Ｖ）  と表しておく。
【００３０】
次にカットの有無の尤度比を算出する。ただし、後で処理しやすいように対数尤度比を求めておく。カットがあるという事象のカットがないという事象に対する対数尤度比Ｉ（Ｆ：Ｂ：Ｖ）は、Ｖの出現確率からＩ（Ｆ：Ｂ：Ｖ）＝ｌｏｇ（（ｐｃ（Ｆ：Ｂ：Ｖ）／ｐｎ（Ｆ：Ｂ：Ｖ））により求めることができる。
【００３１】
以上の処理により、動画像データからカットの有無の尤度比を算出することができた。すなわち、Ｆ、Ｂ、Ｖの値からＩ（Ｆ：Ｂ：Ｖ）を参照することが可能になり、これが特徴量−尤度比変換テーブルとなる。
【００３２】
図４はカット検出装置の、特徴量の値と尤度比のテーブルを用いてカットの検出を行うための処理を行う部分の構成例である。動画像データ入力部４０１は、動画像データの取り込みを行う。特徴量取り出し部４０２は、動画像から特定の特徴量を抽出もしくは算出する。取り出す特徴量は、用いる特徴量−尤度比変換テーブルで用いられている特徴量である。
【００３３】
尤度比変換部３０３は動画像データから取り出された特徴量から、特徴量−尤度変換テーブル３０５を用いてカットの有無の尤度比を算出する処理を行う。特徴量が１フレームにつき１つしか与えられないようなものであれば、特徴量−尤度変換テーブルを引くことにより直ちにカットの有無の尤度比を求めることができる。
【００３４】
例えば、連続する２フレーム間の対応する画素ごとの輝度の絶対値差分和や、連続する２フレーム間の対応する画素ごとの輝度の絶対値差分のうち特定の値よりも大きいものの数、フレームごとの輝度もしくは色のヒストグラムの絶対値差分和などを特徴量としている場合などである。
【００３５】
それに対して、１フレームあたりに複数の特徴量が存在するような特徴量を選択した場合には、尤度比変換部３０３でフレームあたりのカットの有無の尤度比を算出する。例えば、連続する２フレーム間の対応する画素の輝度の絶対値差分や、フレームごとの輝度もしくは色のヒストグラムの各ビンでの絶対値差分などを特徴量としている場合などである。フレーム内の各特徴量の生起確率が独立であると仮定できる場合には、フレームあたりのカットの有無の尤度比を求めるには、フレーム内の特徴量ごとに定まる尤度比の積をとればよい。
【００３６】
また、あらかじめ対数尤度比が求められている場合には、フレームあたりのカットの有無の対数尤度比を求めるには、フレーム内の特徴量ごとの対数尤度比を加算すればよい。
【００３７】
最後にしきい値処理部３０４は尤度比変換部３０３から出力されるフレームあたりの尤度比に対してしきい値処理を行い、カットの有無を判定する。
次に、動画像データ入力部１０１にＭＰＥＧにより圧縮された動画像データが入力された場合に、差分動きベクトルを特徴量として特徴量−尤度比変換テーブルが作成されている場合のカットの有無を判定する方法について、より詳細に説明する。
【００３８】
図５は処理手順を表す流れ図である。カット検出処理は隣接するＰピクチャとＰピクチャ、もしくは隣接するＩピクチャとＰピクチャを単位として行われる。この隣接したＰとＰ、もしくはＩとＰピクチャのフレーム間隔をＭと表記する。
【００３９】
また、隣接するＰとＰ、もしくはＩとＰピクチャとなっているフレームのうち、時刻の早いピクチャの次のピクチャに０，その次のピクチャに１と順番に番号をつけてゆき、最後のＰまたはＩピクチャにＭの番号を振っておく。
ｉ＝０  およびＬ（０）＝．．．．＝Ｌ（Ｍ−１）＝０と変数を初期化した後、ピクチャデータを取り出す。
【００４０】
まず、このデータがＢピクチャである場合の処理について説明する。
変数ｊを０に初期化した後、ピクチャのマクロブロックＭＢｊの差分動きベクトルＶを取り出す。そしてＬ（０）からＬ（ｉ）それぞれにＩ（ｉ＋１：Ｍ：Ｖ）を加算する。また、Ｌ（ｉ＋１）からＬ（Ｍ−１）それぞれにＩ（Ｍ−１：ｉ＋１：Ｖ）を加算する。その後ｊを１だけ増加させておく。ｊ＜ｎである限りマクロブロックＭＢｊから差分動きベクトルを取り出すところからの処理を繰り返し、ｊ≧ｎとなったところで次のピクチャを取り出す処理に移る。
【００４１】
次に取り出したピクチャがＢピクチャ以外である場合の処理について説明する。このとき、Ｌ（０）からＬ（Ｍ−１）にはフレーム０からフレームＭ−１までのフレームのカットの有無に対する対数尤度比が入っている。従って、あらかじめ定められたしきい値θとの比較を行い、この値を上回る対数尤度比を有するフレームがあればそのフレームでカットが生じていると判定する。そして処理区間の準備のため、次の処理区間に対するＭの値を代入しておく。
【００４２】
カットの判定を行う際のしきい値θは、カットの過剰検出により生じるコストをＣ１、未検出により生じるコストをＣ２、カットの生じる確率をＰとしたとき、
【００４３】
【数２】
0003571200.tif 000003
とすることにより、最適に設定することができる。ここでいう最適とは、カットの未検出と過剰検出によって生じる総コストを最小にするという意味である。ただし、カットの有無を正しく判定できたときのコストは０としている。
【００４４】
以上の処理を取り出すピクチャがなくなるまで繰り返す。取り出すピクチャデータがなくなったとき、入力された動画像データすべての区間のカット検出処理が終了する。
【００４５】
なお、本願の動画像データのカット検出方法は、コンピュータに実行させることのできるプログラムとしてフロッピーディスク、ハードディスク、ＣＤ−ＲＯＭ、半導体メモリなどの記録媒体に格納して配布することもできる。
【００４６】
例えば、ハードディスク装置、フロッピーディスク装置及び光ディスク装置のいずれかの記録媒体に上述した動画像データのカット検出方法のプログラムが格納される。そして、このプログラムに従って、入力部から入力された動画像に対して、ＣＰＵで、図３や図５のフローチャートに示した処理が実行され、その処理結果が出力される。
このようにすることにより、通常のパーソナルコンピュータを用いて本発明を実施することができる。
【００４７】
【発明の効果】
本発明のカット検出方法により、観測する動画像の特徴量を決めたとき、カットの未検出率と過剰検出率のうちの一方を固定すると他方を最小にできるという意味で最適なカット検出手法を設計することができるようになる。
また、あらかじめ未検出と過剰検出が生じたときのコストをもとにしきい値の設定ができるようになる。
【図面の簡単な説明】
【図１】本願発明の実施例１におけるカット検出装置の構成を示す図である。
【図２】本願発明のＭＰＥＧにおける画像間予測の構造を示す図である。
【図３】本願発明の実施例１におけるカットの有無に対する尤度比算出処理の流れ図である。
【図４】本願発明の実施例２におけるカット検出装置の構成を示す図である。
【図５】本願発明の実施例２における特徴量−尤度比変換テーブルを用いたカット検出処理の流れ図である。
【符号の説明】
動画像データ入力部  １０１，  特徴量取り出し部  １０２，
出現回数カウンタ  １０３，  尤度比算出部  １０４，
カットデータ入力部  １０５，
動画像データ入力部  ４０１，  特徴量取り出し部  ４０２，
尤度比変換部  ４０３，  しきい値処理部  ４０４，
特徴量−尤度変換テーブル  ４０５
【図１】
0003571200.tif 000004
【図２】
0003571200.tif 000005
【図３】
0003571200.tif 000006
【図４】
0003571200.tif 000007
【図５】
0003571200.tif 000008