(57)【要約】【課題】ビデオクリップのショットチェンジ検出方法を提供する。【解決手段】本方法は、二つのPフレーム（或いは、IフレームとPフレーム）とBフレームを受信し、マクロブロックを逆量子化して、マクロブロックの前向き参照及び後向き参照に対応するエネルギー値を得て、スレショルドより小さい前向き参照及び後向き参照に対応するエネルギー値を有する第一マクロブロックの数及び第二マクロブロックの数と、マクロブロックの総数に対する第一マクロブロックの数及び第二マクロブロックの数の前向き参照比及び後向き参照比を計算し、その比率により、フレーム間にショットチェンジを配置する。【選択図】図２
2004180299.tif 000002
【特許請求の範囲】
【請求項１】
マクロブロックに分割された、前記ビデオクリップの第一フレームと、マクロブロックに分割され、かつ前記第一フレームに対する前向き参照を有するマクロブロックを有する第三フレームと、マクロブロックに分割され、かつ前記第一フレーム及び第三フレームに対する前向き参照及び後向き参照を有するマクロブロックを有する第二フレームとを受信する工程と、
前記マクロブロックを逆量子化して、前記マクロブロックの前向き参照及び後向き参照に対応するエネルギー値を得る工程と、
前記各フレームに対し、第一スレショルドより小さい前記前向き参照及び後向き参照に対応する前記エネルギー値を有する前記第一マクロブロックの数及び第二マクロブロックの数と、前記マクロブロックの総数に対する前記第一マクロブロックの数及び第二マクロブロックの数の前向き参照比及び後向き参照比とを計算する工程と、
前記フレーム間にショットチェンジを配置する工程と、からなり、
前記第三フレームの前記前向き参照比は、第二スレショルド以下で、前記ショットチェンジは前記第一フレームに近接し、前記後向き参照比は、前記ショットチェンジに続く前記第二フレームの前記前向き参照比より大きいことを特徴とするビデオクリップのショットチェンジ検出方法。
【請求項２】
前記第一フレーム、第二フレーム及び第三フレームは、Iフレーム、Bフレーム及びPフレームであることを特徴とする請求項１に記載のビデオクリップのショットチェンジ検出方法。
【請求項３】
前記第一フレーム、第二フレーム及び第三フレームは、Pフレーム、Bフレーム及び他のPフレームであることを特徴とする請求項１に記載のビデオクリップのショットチェンジ検出方法。
【請求項４】
前記ビデオクリップは、MPEG符号化ビデオクリップであることを特徴とする請求項１に記載のビデオクリップのショットチェンジ検出方法。
【請求項５】
前記Iフレーム、Pフレーム及びBフレームの数量比は、１：２：６であることを特徴とする請求項４に記載のビデオクリップのショットチェンジ検出方法。
【請求項６】
マクロブロックに分割された、前記ビデオクリップの第一フレームと、マクロブロックに分割され、かつ前記第一フレームに対する前向き参照を有するマクロブロックを有する第三フレームと、マクロブロックに分割され、かつ前記第一フレーム及び第三フレームに対する前向き参照及び後向き参照を有するマクロブロックを有する第二フレームとを受信する工程と、
前記マクロブロックを逆量子化して、前記マクロブロックの前向き参照及び後向き参照に対応するエネルギー値を得る工程と、
前記各フレームに対し、第一スレショルドより小さい前記前向き参照及び後向き参照に対応する前記エネルギー値を有する前記第一マクロブロックの数及び第二マクロブロックの数と、前記マクロブロックの総数に対する前記第一マクロブロックの数及び第二マクロブロックの数の前向き参照比及び後向き参照比とを計算する工程と、
前記フレーム間にショットチェンジを配置する工程と、からなり、
前記第三フレームの前記前向き参照比は、第二スレショルド以下で、前記ショットチェンジは二つの前記第二フレーム間に位置し、前記前向き参照比は、前記ショットチェンジに先行する前記第二フレームの前記後向き参照比より大きく、前記後向き参照比は、前記ショットチェンジに続く前記第二フレームの前記前向き参照比より大きいことを特徴とするビデオクリップのショットチェンジ検出方法。
【請求項７】
前記第一フレーム、第二フレーム及び第三フレームは、Iフレーム、Bフレーム及びPフレームであるであることを特徴とする請求項６に記載のビデオクリップのショットチェンジ検出方法。
【請求項８】
前記第一フレーム、第二フレーム及び第三フレームは、Pフレーム、Bフレーム及び他のPフレームであるであることを特徴とする請求項６に記載のビデオクリップのショットチェンジ検出方法。
【請求項９】
前記ビデオクリップは、MPEG符号化ビデオクリップであることを特徴とする請求項６に記載のビデオクリップのショットチェンジ検出方法。
【請求項１０】
前記Iフレーム、Pフレーム及びBフレームの数量比は、１：２：６であることを特徴とする請求項９に記載のビデオクリップのショットチェンジ検出方法。
【請求項１１】
マクロブロックに分割された、前記ビデオクリップの第一フレームと、マクロブロックに分割され、かつ前記第一フレームに対する前向き参照を有するマクロブロックを有する第三フレームと、マクロブロックに分割され、かつ前記第一フレーム及び第三フレームに対する前向き参照及び後向き参照を有するマクロブロックを有する第二フレームとを受信する工程と、
前記マクロブロックを逆量子化して、前記マクロブロックの前向き参照及び後向き参照に対応するエネルギー値を得る工程と、
前記各フレームに対し、第一スレショルドより小さい前記前向き参照及び後向き参照に対応する前記エネルギー値を有する前記第一マクロブロックの数及び第二マクロブロックの数と、前記マクロブロックの総数に対する前記第一マクロブロックの数及び第二マクロブロックの数の前向き参照比及び後向き参照比とを計算する工程と、
前記フレーム間にショットチェンジを配置する工程と、からなり、
前記第三フレームの前記前向き参照比は、第二スレショルド以下で、前記ショットチェンジは前記第三フレームに近接し、前記前向き参照比は、前記ショットチェンジに先行する前記第二フレームの前記後向き参照比より大きいことを特徴とするビデオクリップのショットチェンジ検出方法。
【請求項１２】
前記第一フレーム、第二フレーム及び第三フレームは、Iフレーム、Bフレーム及びPフレームであることを特徴とする請求項１１に記載のビデオクリップのショットチェンジ検出方法。
【請求項１３】
前記第一フレーム、第二フレーム及び第三フレームは、Pフレーム、Bフレーム及び他のPフレームであることを特徴とする請求項１１に記載のビデオクリップのショットチェンジ検出方法。
【請求項１４】
前記ビデオクリップは、MPEG符号化ビデオクリップであることを特徴とする請求項１１に記載のビデオクリップのショットチェンジ検出方法。
【請求項１５】
前記Iフレーム、Pフレーム及びBフレームの数量比は、１：２：６であることを特徴とする請求項１４に記載のビデオクリップのショットチェンジ検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ショットチェンジ検出方法に関するものであって、特に、圧縮されたビデオクリップのショットチェンジ検出に関するものである。
【背景技術】
【０００２】
デジタルビデオコミュニケーションの媒体は、多くのアプリケーションに幅広く用いられている。ビデオデータの情報内容は豊富なため、クエリー（queries）はビデオタイトル、ビデオの種類、及びビデオデータのアルファベットや数字の属性だけでなく、ビデオ内容により特定される。従って、強力なクエリー能力をサポートするビデオインデックス構成は、ビデオデータベースシステムにとって、重要な研究課題である。
【０００３】
ビデオショットセグメンテーションは、ビデオインデックス構成を得るための基本工程である。ビデオ順序は、ビデオブラウジングに用いられる、“ショットチェンジ”に従って分割される。“ショット”は、時間と空間で、連続動作を表示するビデオフレームの順序を編成する。これにより、同一のショットに属するフレームの内容は同様である。ショットチェンジは、二つのショット間が不連続であると定義する。よって、連続フレームの類似性（或いは、非類似性）測定は、ショットチェンジ検出に用いられる。
【特許文献１】米国特許第５９００９１９号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ショットチェンジ検出にとって、二つの主要なカテゴリがあり、一つは、解凍ドメイン検出、もう一つは圧縮ドメイン検出である。画素相違、統計相違、端面相違、ヒストグラム対照は、解凍ドメインにアプローチする。画素相違アプローチは、ノイズ、オブジェクト、或いは、カメラ動作に対し敏感である。統計アプローチは緩慢で、幾多のエラーを生じる。端面相違アプローチも、ノイズと動作に対し敏感で、それらは、画素統計アプローチよりも、更に、非能率である。ヒストグラム相違アプローチは、ノイズや動作の多いビデオで効果的に作用するが、機能は非能率的なままである。DCイメージ相違、動きベクトル、及び時間参照分析は、圧縮ドメインにアプローチする。DCイメージは、オリジナルフレームのサブサンプルのようなもので、統計アプローチのような働きをするが、圧縮時にエラーが生じる。圧縮エラーは、一般に、検出エラーを生じる。動きベクトル分析アプローチも、圧縮に依存しすぎている。エンコーダーは、現在のブロックと参考ブロック間の最小エラーに基づいて、動きベクトルと決定し、時に、人間の知覚から完全にかけ離れている。これは、コーデックに用いられる動き測定の高速アルゴリズム（fast  algorithm）が、全探索アルゴリズム（full  search  algorithm）よりもエンコード時間を保有するためである。動き測定の高速アルゴリズムは、極小値（local minimum）を有する動きベクトルが、マクロブロック（macroblock、MB）調和時に得られ、動きベクトルの正確さに影響する。ショットチェンジを検出する時、MB型（イントラ、前向き、後向き、双方向）を用いた時間参照アプローチは、ビデオコーデックにより生成されるMB型において不確実であるため、不適切である。
【０００５】
今日、ビデオの成長量は、MPEG−１、MPEG−２等の圧縮ドメインに記憶される。解凍ドメインアルゴリズムは非能率的であるのと、ノイズや動作に対し敏感であるため、圧縮ドメインにおいて、ショットチェンジを検出する適切なアルゴリズムが必要とされる。公知のアルゴリズムは、ビデオエンコーダの動き測定に依存しすぎている。
【０００６】
本発明は、圧縮ビデオクリップのショットチェンジ検出方法を提供することを目的とし、逆量子化（inverse  quantization）情報のエネルギーを用いて、まず、MB型をフィルターし、フレームで時間参照を分析し、ショットチェンジを、より正確に、かつ効果的に検出することにある。
【課題を解決するための手段】
【０００７】
上述の目的を達成するため、本発明は、ビデオクリップのショットチェンジ検出方法を提供し、本方法は、マクロブロックに分割された、前記ビデオクリップの第一フレームと、マクロブロックに分割され、かつ前記第一フレームに対する前向き参照を有するマクロブロックを有する第三フレームと、マクロブロックに分割され、かつ前記第一フレーム及び第三フレームに対する前向き参照及び後向き参照を有するマクロブロックを有する第二フレームとを受信する工程と、前記マクロブロックを逆量子化して、前記マクロブロックの前向き参照及び後向き参照に対応するエネルギー値を得る工程と、前記各フレームに対し、第一スレショルドより小さい前記前向き参照及び後向き参照に対応する前記エネルギー値を有する前記第一マクロブロックの数及び第二マクロブロックの数と、前記マクロブロックの総数に対する前記第一マクロブロックの数及び第二マクロブロックの数の前向き参照比及び後向き参照比とを計算する工程と、前記フレーム間にショットチェンジを配置する工程と、からなり、前記第三フレームの前記前向き参照比は第二スレショルド以下であり、
（ａ）前記ショットチェンジは前記第一フレームに近接し、前記後向き参照比は、前記ショットチェンジに続く前記第二フレームのそれぞれの前記前向き参照比より大きいか、
（ｂ）前記ショットチェンジは二つの前記第二フレーム間に配置され、前記前向き参照比は、前記ショットチェンジに先行する前記第二フレームのそれぞれの前記後向き参照比より大きく、前記後向き参照比は、前記ショットチェンジに続く前記第二フレームのそれぞれの前記前向き参照比よりも大きいか、或いは、
（ｃ）前記ショットチェンジは前記第三フレームに近接し、前記前向き参照比は、前記ショットチェンジに先行する前記第二フレームのそれぞれの前記後向き参照比よりも大きい。
【発明の効果】
【０００８】
上記検出方法によると、逆量子化情報のエネルギーを用いて、MBタイプをまずフィルターし、フレームで、時間参照を分析して、より正確に、かつ効果的にショットチェンジを検出することができる。
【発明を実施するための最良の形態】
【０００９】
MPEGコード化構造において、フレームはマクロブロックに分割される。各マクロブロックは、基本コード化ユニットの形式の１６×１６イメージである。マクロブロックはイントラ符号化（intra  coded）できるか、或いは、近接するフレームの同様のイメージパターンに符合する時、その近接するフレームを参照するインター符号化（inter  coded）できる。参照なしに符号化されたマクロブロックは、イントラ符号化マクロブロックと称される。同様のイメージパターンを参照するマクロブロックは、前向き予測符号化、後ろ向き予測符号化、或いは、双方向予測符号化と称され、先行フレーム、後続フレーム、或いは、先行フレームと後続フレームの両方のイメージパターンをそれぞれ参照する。先行フレームの参照は、前向き参照、後続フレームは後向き参照と呼ばれる。
【００１０】
マクロブロックのMPEG参照パターンに関して、三種のフレームがあり、Iフレーム、Pフレーム、Bフレームである。Iフレームの全マクロブロックはイントラ符号化される。つまり、Iフレームは単独で符号化され、他のフレームを参照しないで、解凍される。Pフレームのマクロブロックは、先行Iフレーム或いはPフレームの前向き参照を有する。つまり、同様のイメージパターンが先行Iフレーム或いはPフレームで見つかった時、Pマクロブロックは前向き先行符号化マクロブロックである。一方、同様のイメージパターンが先行Iフレーム或いはPフレームで見つからない時、それはイントラ符号化である。Bフレームは近接するIフレーム或いはPフレームの参照を有する。Bフレームのマクロブロックは、双方向予測符号化、前向き予測符号化、後向き予測符号化、或いは、イントラ符号化マクロブロックである。
【００１１】
MPEG符号化ビデオにおいて、Iフレーム、Pフレーム、Bフレームの数量と順序は、予め決まっている。一般に、複数のPフレームとBフレームは、二つのIフレーム間に配置され、複数のBフレームは二つのPフレーム間に配置されるか、或いは、IフレームとPフレーム間に配置される。図１は、MPEG符号化フレームの一般的な構造を示す図である。図１において、Iフレーム、Pフレーム、Bフレームの数量比（IPB比）は、１：２：６である。つまり、Iフレームの後に、図示の順序で、一つのPフレームと四つのBフレームが続く。
【００１２】
PフレームとBフレームにとって、マクロブロックは、近接するフレームを参照する。各タイプを参照するマクロブロックの数量は参照比として算出され、近接するフレーム間の類似点を判定する。二つのタイプの参照比は、以下のように定義される。
【００１３】
前向き参照比ＦR＝Ｎf／Ｎ…（１）
Ｎfはフレーム中の前向き予測符号化マクロブロックの数量で、Nはフレーム中のマクロブロックの総数である。
【００１４】
後向き参照比ＢR＝Ｎb／Ｎ…（２）
Ｎbはフレーム中の後向き予測符号化マクロブロックの数量で、Nはフレーム中のマクロブロックの総数である。
【００１５】
ＦRとＢRにより、近接するフレーム間の類似性が査定されて、圧縮ビデオ領域において、ショットチェンジ検出を実行する。
【００１６】
しかし、MPEGエンコーダの動作推定の間、不適切なスレショルド設定、或いは高速アルゴリズムのために、前向き予想符号化マクロブロックＮfの数および／または、後向き予測符号化マクロブロックＮbの数は、誤って表示される恐れがある。よって、潜在的な検出エラーを更に減少させる方法を提供することが必要とされる。
【００１７】
本発明によると、各フレームにおける全マクロブロックは逆量子化されて、対応するマクロブロック差のDCT等の、対応するマクロブロック差に対するエネルギー情報を得る。各マクロブロックに対するエネルギー情報は、与えられたエネルギースレショルドと比較されて、参照マクロブロックとの類似性が確認される。与えられたエネルギースレショルドより高いエネルギー情報を有するマクロブロックは、潜在的失敗と判断され、前向き予想符号化マクロブロックＮfの数、或いは、後向き予測符号化マクロブロックＮbの数から排除される。これにより、前向き予想符号化マクロブロックＮf′の修正数と後向き予測符号化マクロブロックＮb′の修正数は、更に正確になる。次に、たとえ、スレショルド設定が早期動作推測で既定されていても、ショットチェンジ検出は、ＮfとＮbの消去時に潜在的な誤算がある状態のまま、修正されたＮfとＮbにより実行される。
【００１８】
図２は、本発明の一具体例によるMPEG符号化ビデオクリップのショットチェンジ検出方法を示すフローチャートである。
【００１９】
ステップ２１において、ビデオクリップ間の、Iフレーム、或いはPフレーム、他のPフレーム及びBフレームが受信される。
【００２０】
ステップ２２において、受信されたフレーム中のマクロブロックが逆量子化されて、マクロブロックの前向き参照、或いは、後向き参照に対応するエネルギー値を得る。
【００２１】
ステップ２３において、受信された各フレームに対し、スレショルド以下である前向き参照、或いは、後向き参照に対応するエネルギー値を有するマクロブロックの数Ｎf′，Ｎb′と、マクロブロックの総数に対する数Ｎf′，Ｎb′の前向き参照比ＦR及び後向き参照比ＢRとを計算する。
【００２２】
ステップ２４において、ショットチェンジはフレーム間に位置し、最後のPフレームの前向き参照比ＦR′はスレショルド以下で、
（ａ）ショットチェンジはIフレーム、或いはPフレームに近接し、後向き参照比ＢR′は、ショットチェンジに続くBフレームのそれぞれの前向き参照比ＦR′より大きい（図３で示されるように、直線はその方向の大きい参照比を意味し、点線はその方向の小さい参照比を意味する）か、
（ｂ）ショットチェンジは二つのBフレーム間に配置され、前向き参照比ＦR′は、ショットチェンジに先行するBフレームのそれぞれの後向き参照比ＢR′より大きく、後向き参照比ＢR′は、ショットチェンジに続くBフレームのそれぞれの前向き参照比ＦR′よりも大きい（図４で示される）か、或いは、
（ｃ）ショットチェンジはPフレームに近接し、前向き参照比ＦR′は、ショットチェンジに先行するBフレームのそれぞれの前記後向き参照比ＢR′よりも大きい（図５で示される）。
【００２３】
よって、公知のショットチェンジ検出の正確さは、効果的に改善される。
【００２４】
結論として、本発明の方法は、MPEG-１、２、４、H２６３、及びH２６３＋ビデオ等の圧縮ドメイン中で、ビデオクリップのショットチェンジを検出するのに用いられる。この検出方法では、分析、ビデオ分類、或いは、コマーシャルの除去を進めるために、ショットカットを分離することができる。本方法は、逆量子化情報のエネルギーを用いて、MBタイプをまずフィルターし、フレームで、時間参照を分析して、より正確に、かつ効果的にショットチェンジを検出することができる。
【００２５】
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。
【図面の簡単な説明】
【００２６】
【図１】MPEGコード化されたフレームの一般的な構造を示した説明図である。
【図２】本発明の一具体例によるMPEGコード化ビデオクリップのショットチェンジ検出方法を示したフローチャートである。
【図３】本発明の一具体例による方法により検出されたショットチェンジを示す図である。
【図４】本発明の一具体例による方法により検出されたショットチェンジを示す図である。
【図５】本発明の一具体例による方法により検出されたショットチェンジを示す図である。
【符号の説明】
【００２７】
２１…ビデオクリップを入力するステップ
２２…逆量子化するステップ
２３…修正参照比を計算するステップ
２４…ショットチェンジを配置するステップ
【図１】
2004180299.tif 000003
【図２】
2004180299.tif 000004
【図３】
2004180299.tif 000005
【図４】
2004180299.tif 000006
【図５】
2004180299.tif 000007