(57)【特許請求の範囲】
【請求項１】
映像データの時間変化の中よりカット部分を検出するカット検出装置において、
カット部分が既知の映像データを基に、前記カット部分が既知の映像データより抽出した複数の特徴項目とその特徴量、および、カット部分および非カット部分のどちらから抽出したかを識別する情報とを特徴情報として記憶する学習情報記憶手段と、
前記学習情報記憶手段から前記特徴情報を抽出する特徴情報抽出手段と、
前記特徴項目に各々対応する判別関数の係数を求め、判別関数を生成する判別関数生成手段と、
カット部分が未知の映像データのフレーム間から前記複数の特徴項目についての特徴量を抽出する情報抽出手段と、
前記カット部分が未知の映像データの特徴量を前記判別関数へ代入計算する判別関数計算手段と、
前記判別関数計算手段の計算結果を基に、前記カット部分が未知の映像データのフレーム間がカット部分であるかどうかを識別するカット部分識別手段と
を具備することを特徴とするカット検出装置。
【請求項２】
前記判別関数生成手段の生成した前記判別関数の関数が、有意なものか所定の計算式により検定する係数検定手段を更に具備し、
前記係数検定手段が、有意でないと検定した係数がある場合、前記判別関数生成手段は、有意でないと検定された係数に対応する特徴項目を除いた特徴項目を基に、前記判別関数の係数を求め、前記判別関数を生成することを特徴とする請求項１に記載のカット検出装置。
【請求項３】
前記係数検定手段が、生成された前記判別関数の全ての係数が有意であると検定した場合、前記情報抽出手段は、前記係数に対応する特徴項目についての特徴量を前記カット部分が未知の映像データより抽出し、
前記判別関数計算手段は、前記係数検定手段により全ての係数が有意であると検定された前記判別関数を用いて計算することを特徴とする請求項２に記載のカット検出装置。
【請求項４】
映像データの時間変化の中よりカット部分を検出するカット検出方法のプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
カット部分が既知の映像データを基に、前記カット部分が既知の映像データより抽出した複数の特徴項目とその特徴量、および、カット部分および非カット部分のどちらから抽出したかを識別する情報を特徴情報として学習情報記憶手段へ記憶するステップと、
前記学習情報記憶手段から前記特徴情報を抽出するステップと、
前記特徴項目に各々対応する判別関数の係数を求め、判別関数を生成するステップと、
カット部分が未知の映像データのフレーム間から前記複数の特徴項目についての特徴量を抽出するステップと、
前記カット部分が未知の映像データの特徴量を前記判別関数へ代入計算するステップと、
前記判別関数計算手段の計算結果を基に、前記カット部分が未知の映像データのフレーム間がカット部分であるかどうかを識別するステップと
を有することを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、映像データの時間変化の中よりカット部分を検出するカット検出装置およびカット検出方法のプログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
従来、映像データをまとまりの最小単位であるショットに切り分けるカット検出方法として、カットが存在する映像フレーム間では、カットが存在しない場合に比べて、画像の類似度が小さく、動きベクトル量が大きいなどの特徴に注目してカット検出を行っている。すなわち、映像フレーム間からある特徴量を抽出し、閾値判定することによってカット検出を行っていた。
【０００３】
【発明が解決しようとする課題】
上述したように、従来は閾値判定を使用している為、閾値を決定する為に用いた映像データに対しても、カット検出の最適性が保証できていないという問題があった。また、カット検出に用いた特徴量と閾値について統計的な意味付けが明確にできていないという問題もあった。また、閾値の決定において、経験や、試行錯誤による所が大きく、多大な時間を必要とする問題があった。
【０００４】
この発明は、上述した事情を考慮してなされたもので、カット検出用のパラメータを決定する為に用いた映像データに対して、カット検出の最適性が保証できるカット検出装置およびカット検出方法のプログラムを記録した記録媒体提供することを目的とする。また、カット検出に用いた特徴量とパラメータについて統計的な意味付けが明確にできるカット検出装置およびカット検出方法のプログラムを記録した記録媒体提供することを目的とする。また、パラメータの決定において、試行錯誤により、多大な時間を必要としないカット検出装置およびカット検出方法のプログラムを記録した記録媒体提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明は、上述した課題を解決すべくなされたもので、本発明によるカット検出装置においては、映像データの時間変化の中よりカット部分を検出するカット検出装置において、カット部分が既知の映像データを基に、前記カット部分が既知の映像データより抽出した複数の特徴項目とその特徴量、および、カット部分および非カット部分のどちらから抽出したかを識別する情報とを特徴情報として記憶する学習情報記憶手段と、前記学習情報記憶手段から前記特徴情報を抽出する特徴情報抽出手段と、前記特徴項目に各々対応する判別関数の係数を求め、判別関数を生成する判別関数生成手段と、カット部分が未知の映像データのフレーム間から前記複数の特徴項目についての特徴量を抽出する情報抽出手段と、前記カット部分が未知の映像データの特徴量を前記判別関数へ代入計算する判別関数計算手段と、前記判別関数計算手段の計算結果を基に、前記カット部分が未知の映像データのフレーム間がカット部分であるかどうかを識別するカット部分識別手段とを具備することを特徴とする。
【０００８】
これにより、上記映像データの時間変化の中よりカット部分を検出するカット検出装置において、カット部分が既知の映像データを基に、カット部分が既知の映像データより抽出した複数の特徴項目とその特徴量、および、カット部分および非カット部分のどちらから抽出したかを識別する情報とを特徴情報として記憶する学習情報記憶手段と、学習情報記憶手段から特徴情報を抽出する特徴情報抽出手段と、特徴項目に各々対応する判別関数の係数を求め、判別関数を生成する判別関数生成手段と、カット部分が未知の映像データのフレーム間から複数の特徴項目についての特徴量を抽出する情報抽出手段と、カット部分が未知の映像データの特徴量を判別関数へ代入計算する判別関数計算手段と、判別関数計算手段の計算結果を基に、カット部分が未知の映像データのフレーム間がカット部分であるかどうかを識別するカット部分識別手段とをとを具備するので、判別関数によりカット部分であるか非カット部分であるかの判別を行うことで、カット検出を行うことができる。
また、映像データのカット部分の特徴量と、非カット部分の特徴量の違いを基に判別関数を生成でき、かつ生成した判別関数の係数が有意なものかを、例えば統計的に判別を行う所定の計算式で計算することができる。
【０００９】
また、本発明によるカット検出装置においては、前記判別関数生成手段の生成した前記判別関数の関数が、有意なものか所定の計算式により検定する係数検定手段を更に具備し、前記係数検定手段が、有意でないと検定した係数がある場合、前記判別関数生成手段は、有意でないと検定された係数に対応する特徴項目を除いた特徴項目を基に、前記判別関数の係数を求め、前記判別関数を生成することを特徴とする。
【００１０】
これにより、上記係数検定手段が、有意でないと検定した係数がある場合、判別関数生成手段は、有意でないと検定された係数に対応する特徴項目を除いた特徴項目を基に、判別関数の係数を求め、判別関数を生成するので、カット検出に有効でない特徴項目を削除して、特徴項目を絞り込むことができる。
【００１１】
また、本発明によるカット検出装置においては、前記係数検定手段が、生成された前記判別関数の全ての係数が有意であると検定した場合、前記情報抽出手段は、前記係数に対応する特徴項目についての特徴量を前記カット部分が未知の映像データより抽出し、前記判別関数計算手段は、前記係数検定手段により全ての係数が有意であると検定された前記判別関数を用いて計算することを特徴とする
【００１２】
これにより、上記係数検定手段が、生成された判別関数の全ての係数が有意であると検定した場合、情報抽出手段は、係数に対応する特徴項目についての特徴量を前記カット部分が未知の映像データより抽出し、判別関数計算手段は、係数検定手段により全ての係数が有意であると検定された判別関数を用いて計算するので、種々のカット部分が既知の映像データを基に生成したカット検出の為の判別関数を用いて、カット部分が未知の映像データのカット検出ができる。
【００１３】
また、本発明による記録媒体においては、映像データの時間変化の中よりカット部分を検出するカット検出方法のプログラムを記録したコンピュータ読み取り可能な記録媒体であって、カット部分が既知の映像データを基に、前記カット部分が既知の映像データより抽出した複数の特徴項目とその特徴量、および、カット部分および非カット部分のどちらから抽出したかを識別する情報を特徴情報として学習情報記憶手段へ記憶するステップと、前記学習情報記憶手段から前記特徴情報を抽出するステップと、前記特徴項目に各々対応する判別関数の係数を求め、判別関数を生成するステップと、カット部分が未知の映像データのフレーム間から前記複数の特徴項目についての特徴量を抽出するステップと、前記カット部分が未知の映像データの特徴量を前記判別関数へ代入計算するステップと、前記判別関数計算手段の計算結果を基に、前記カット部分が未知の映像データのフレーム間がカット部分であるかどうかを識別するステップとを有することを特徴とするプログラムを記録したコンピュータ読取り可能な記録媒体である。
【００１４】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明する。ただし、以下の実施の形態は特許請求の範囲に記載された発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせのすべてが発明の解決手段に必要であるとは限らない。
図１はこの発明の一実施形態によるカット検出装置の概略構成を示すブロック図である。この図において符号１０は、映像データよりカット部分を検出するカット検出装置である。１１は、カット検出装置１０内のデータの制御を行う制御部である。１２は、カット検出処理用の映像データを格納する映像データベース１２ａと、学習処理用のカット部分が既知の映像データである学習情報を格納する学習情報データベース１２ｂである。１３は、カット検出を行う為の種々の処理プログラムを具備する処理プログラム部である。
【００１５】
尚、映像データベース１２ａは必ずしも必要ではなく、カット検出装置１０で処理する映像データは、通信ネットワーク経由で取得した映像データや、ＣＤ−ＲＯＭ等の記録媒体に記録した映像データであってもよい。また、学習情報データベース１２ｂの構築例を図４に示す。カット部分が既知の映像データ、その映像データより抽出した特徴項目とその特徴量、カット部分のフレームか、非カット部分のフレームかの情報、判別関数の係数に関する係数情報などが格納される。
【００１６】
次に、処理プログラム部１３について構成を説明する。処理プログラム部１３には、学習情報データベース１２ｂに格納されるカット部分、非カット部分が既知の映像データを基に、判別関数を生成する為の学習処理を行う学習処理部１４と、映像データベース１２ａに格納されるカット部分、非カット部分が未知の映像データを基に、カット部分を検出する検出処理部１５から成る。
尚、本実施形態の判別関数とは、判別分析に用いられる関数であって、一つもしくは複数の観測値（本実施形態では特徴量）を変数とする線形式である線形判別関数である。また、この限りではなく、他の判別分析の方法を用いてもよい。
【００１７】
上記判別関数について更に説明する。対象となるサンプル（映像データにおけるフレーム間より抽出する特徴量）にのサンプル数をｉとし、サンプルについてのｎ種類の特徴量をｘi1〜ｘinとした場合、図５に示すように、フレーム５１の時間変化における、フレーム間の特徴量が抽出される。次に、判別関数の定数項をａ0とし、各特徴量に対する係数をａ1〜ａnとすると、サンプルｉに対する判別関数ｆiは、以下の（式１）で表される
ｆi＝ａ0＋ａ1ｘi1＋ａ2ｘi2＋…＋ａnｘin  …（式１）
また、係数ａ1〜ａnの有意性を検定する方法は、検定統計量がＦ分布に従っているとして、Ｆ分布値を求めることで、各係数に対応する特徴量がカット部分の判別にどの程度、寄与しているかを求める。
【００１８】
ここで、本実施形態においては、映像データのフレーム間より抽出する特徴量は、▲１▼輝度の絶対値差分の平均値（ｘi1）、▲２▼輝度ヒストグラムの絶対値差分値（ｘi2）、▲３▼画面全体の平均動きベクトル長（ｘi3）、とする。よって、上記に示した判別関数ｆiは
ｆi＝ａ0＋ａ1ｘi1＋ａ2ｘi2＋ａ3ｘi3  …（式２）
となる。以下（式２）を用いてカット検出装置１０の説明を行う。
尚、▲１▼輝度の絶対値差分の平均値とは、隣接フレーム間で同じ位置にあるブロック（フレームを幾つかのエリアに分割した単位）の輝度の絶対値差分を求めて平均した値である。▲２▼輝度ヒストグラムの絶対値差分値とは、隣接フレームでそれぞれの輝度ヒストグラムを求め、各段階（例えば１６段階に分ける）毎に絶対値差分を求め合計した値である。▲３▼画面全体の平均動きベクトル長とは、隣接するフレーム間で、動きベクトルの長さを本数で平均した値である。
また、本発明は上記の特徴量（ｘi1、ｘi2、ｘi3）に限定されず、種々のカット検出する為の特徴量を用いて好適である。
【００１９】
学習処理部１４には、以下に示す処理部を具備する。特徴情報抽出処理部１６は、上記▲１▼〜▲３▼の特徴項目について、学習情報データベース１２ｂより読み出したカット部分、非カット部分が既知の映像データより特徴量（ｘi1、ｘi2、ｘi3）を抽出する。判別関数生成処理部１７は、情報抽出処理部１６が抽出したカット部分、非カット部分における特徴量を基に、係数（ａ1〜ａ3）を求めて判別関数（式２）を生成する。係数検定処理部１８は、判別関数生成処理部１７が、生成した判別関数の係数の各々について、カット検出の判別に有意なものであるか検定する。具体的には、係数検定処理部１８は、カット検出への貢献度として各係数に対応する特徴項目毎のＦ分布値を計算し所定の値以上であるかを検定する。以上により、カット部分、非カット部分が既知の映像データを基に、より正確なカット検出を行う判別関数を生成する為の学習処理を行う。
【００２０】
次に、検出処理部１５について、以下に説明する。情報抽出処理部１９は、映像データより、判別関数生成処理部１７が生成した判別関数（式２）に代入する特徴量（ｘi1、ｘi2、ｘi3）についての特徴情報を抽出する。判別関数計算処理部２０は、特徴情報に含まれる特徴量を判別関数（式２）へ代入し計算する。カット部分識別処理部２１は、判別関数計算処理部２０の計算結果を基に、カット部分であるか非カット部分であるかを識別する。以上により、検出処理部１５は、判別関数（式２）を用いて映像データのカット部分、非カット部分を識別し、カット検出を行う。
【００２１】
尚、上記に示したこれらの各処理部は専用のハードウェアにより実現されるものであってもよく、また、各処理部はメモリおよびＣＰＵ（中央演算装置）により構成され、各処理部の機能を実現する為のプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、上記メモリは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されるものとする。
【００２２】
次に、上述したカット検出装置１０の動作について図を用いて説明する。
まず、学習処理部１４の動作についての説明を以下に示す。図２は、本発明の一実施形態におけるカット検出装置１０の学習動作を示すフロー図である。まず、学習情報データベース１２ｂよりカット部分が既知の映像データを読み出し、特徴情報抽出処理部１６は、設定した特徴項目▲１▼〜▲３▼について、特徴量（ｘi1、ｘi2、ｘi3）の抽出を行う（ステップＳ２０）。次に、判別関数生成処理部１７は、該特徴量（ｘi1、ｘi2、ｘi3）とカット部分か非カット部分かの情報を含む特徴情報を基に、係数（ａ1〜ａ3）を求めて判別関数（式２）を生成する（ステップＳ２１）。
【００２３】
次に、係数検定処理部１８は、カット検出への貢献度として各係数（ａ1〜ａ3）に対応する特徴項目▲１▼〜▲３▼のＦ分布値を計算し所定の値以上であるか（有意な係数であるか）を検定する（ステップＳ２２）。ここで、全ての係数が有意と判断されなかった場合（ステップＳ２２のＮＯ）、最も有意でなかった係数に対応する特徴項目を削除する（ステップＳ２３）。次に、残りの特徴項目に対応する特徴量を基に係数を求めるステップＳ２１へ戻る。また、全ての係数（ａ1〜ａ3）が有意と判断された場合（ステップＳ２２のＹＥＳ）、学習処理部１４は、該係数を含むステップＳ２１で生成した判別関数（式２）に決定する。
【００２４】
以上により、学習処理部１４は、統計的な意味付けが明確な係数を用いた判別関数を生成することができる。尚、係数の有意性の検定は、上記の限りではなく、カット検出の判別に、各々の特徴量が貢献しているかどうかを検定する種々の方法を用いて好適である。また、上記では判別関数の決定の方法として、変数（本実施形態における特徴項目）減少法を用いたがこの限りではない。
【００２５】
次に、検出処理部１５の動作について説明する。図３は、本発明の一実施形態におけるカット検出装置１０のカット検出動作を示すフロー図である。まず、映像データベース１２ａよりカット部分、非カット部分が未知の映像データを読み出し、最初のフレーム間について情報抽出処理部１９は、学習処理部１４が決定した判別関数（式２）に代入すべき特徴量（ｘi1、ｘi2、ｘi3）を抽出する（ステップＳ３０）。次に、判別関数計算処理部２０は、決定した判別関数（式２）へ抽出した特徴量を代入しｆiを計算する（ステップＳ３１）。
【００２６】
次に、カット部分識別処理部２１は、判別関数計算処理部２０の計算結果ｆiを基に、カット部分である（ｆiがプラス値）か非カット部分である（ｆiがマイナス値）かを識別する（ステップＳ３２）。次に、上記の処理がカット検出中の映像データにおける最後のフレーム間についての処理でない場合（ステップＳ３３のＮＯ）、次のフレーム間を処理する為、ステップＳ３０へ戻る。以上の処理を繰り返すことにより、大量のフレーム数となる映像データのカット検出を行う。また、上記の処理がカット検出中の映像データにおける最後のフレーム間についての処理であった場合（ステップＳ３３のＹＥＳ）、カット検出の処理を終了する。
【００２７】
以上により、検出処理部１５は、映像データよりカット検出を行う。尚、本実施形態により実際に映像データを処理した結果、例えば、▲３▼の動きベクトルの長さを本数で平均した値をある閾値で判断することで、カット検出を行う場合に比べて、適合率＝（検出した正解カット数／検出した全カット数）×１００において、一割程度の向上結果が得られた。
【００２８】
また、図１における処理プログラム部１３で各種処理を行う処理部の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」とは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００２９】
また、「コンピュータ読み取り可能な記録媒体」とは、フロッピーディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００３１】
【発明の効果】
以上説明したように本発明によるカット検出装置においては、映像データの時間変化の中よりカット部分を検出するカット検出装置であって、映像データより複数の特徴項目についての特徴量である特徴情報を抽出する情報抽出手段と、特徴情報に含まれる特徴量を予め求めた判別関数へ代入計算する判別関数計算手段と、判別関数計算手段の計算結果を基に、カット部分であるかどうかを識別するカット部分識別手段とを具備するので、判別関数によりカット部分であるか非カット部分であるかの判別を行うことで、カット検出を行うことができる。
【００３２】
また、本発明によるカット検出装置においては、カット部分が既知の映像データを基に、前記映像データより複数の特徴項目についての特徴量である特徴情報を抽出し、カット部分および非カット部分のどちらから抽出したか識別する情報を前記特徴情報に含める特徴情報抽出手段と、特徴情報を基に判別関数の係数を求め、判別関数を生成する判別関数生成手段と、判別関数生成手段の生成した判別関数の係数が、有意なものか所定の計算式により検定する係数検定手段とを更に具備するので、映像データのカット部分の特徴量と、非カット部分の特徴量の違いを基に判別関数を生成できる。また、生成した判別関数の係数が有意なものかを、例えば統計的に判別を行う所定の計算式で計算することができる。
【００３３】
また、本発明によるカット検出装置においては、上記係数検定手段が、有意でないと検定した係数がある場合、判別関数生成手段は、有意でないと検定された係数に対応する特徴情報を除いた特徴情報を基に、判別関数の係数を求め、判別関数を生成するので、カット検出に有効でない特徴項目を削除して、特徴項目を絞り込むことができる。
【００３４】
また、本発明によるカット検出装置においては、上記係数検定手段が、全ての係数が有意であると検定した場合、上記情報抽出手段は、係数に対応する特徴情報を前記映像データより抽出し、上記判別関数計算手段は、判別関数生成手段が生成した判別関数を用いて計算するので、種々のカット部分が既知の映像データを基に生成したカット検出の為の判別関数を用いて、カット部分が未知の映像データのカット検出ができる。
【図面の簡単な説明】
【図１】  本発明の一実施形態によるカット検出装置１０の全体構成を示すブロック図である。
【図２】  本発明の一実施形態におけるカット検出装置１０の学習動作を示すフロー図である。
【図３】  本発明の一実施形態におけるカット検出装置１０のカット検出動作を示すフロー図である。
【図４】  本発明の一実施形態によるカット検出装置１０の学習情報データベース１２ｂの構成を示す図である。
【図５】  本発明の一実施形態によるカット検出装置１０が映像データより抽出する特徴量を示す図である。
【符号の説明】
１０    カット検出装置
１１    制御部
１２    データベース
１２ａ  映像データベース
１２ｂ  学習情報データベース
１３    処理プログラム部
１４    学習処理部
１５    検出処理部
１６    特徴情報抽出処理部
１７    判別関数生成処理部
１８    係数検定処理部
１９    情報抽出処理部
２０    判別関数計算処理部
２１    カット部分識別処理部
【図１】
0003732742.tif 000002
【図２】
0003732742.tif 000003
【図３】
0003732742.tif 000004
【図４】
0003732742.tif 000005
【図５】
0003732742.tif 000006