(57)【要約】本発明は、ビデオにおけるシーン変化を検出する方法に関する。この方法では、複数の差分値を生成するようビデオの連続フレーム間の差分が計算される。その差分値のヒストグラムが取られる。シーン変化は、ヒストグラムにおける差分値の大部分が所定値を超える場合に検出される。
2005522109.tif 000002
【特許請求の範囲】
【請求項１】
ビデオにおけるシーン変化を検出する方法であって、
複数の差分値を生成するよう前記ビデオの連続フレーム間の差分を計算する段階と、
前記差分値のヒストグラムを取る段階と、
前記ヒストグラムにおける前記差分値の大部分が所定値を超える場合に、シーン変化を検出する段階と、
を有する方法。
【請求項２】
前記差分値は、前記連続フレームにおける対応する画素値間の差分の大きさである請求項１記載の方法。
【請求項３】
前記連続フレーム間の差分は、前記連続フレームの選択された部分に対して計算される請求項１記載の方法。
【請求項４】
前記シーン変化を検出する段階は、
前記差分値の所定の範囲を画成する固有値を見つける段階と、
前記固有値が前記所定値を超える場合に、シーン変化を検出する段階と、
を有する請求項１記載の方法。
【請求項５】
前記固有値は、以下の式
【数１】
2005522109.tif 000012
を満足し、ただし、Ｈｉｓ（ｉ）は、ｉにおける前記ヒストグラムの値であり、ｎは、前記ビデオの各フレームにより用いられるビット精度であり、Ｔ１は、前記所定値である、請求項４記載の方法。
【請求項６】
ビデオにおけるシーン変化を検出するためのコードを有するメモリ媒体であって、
前記コードは、
複数の差分値を生成するよう前記ビデオの連続フレーム間の差分を計算するためのコードと、
前記差分値のヒストグラムを取るためのコードと、
前記ヒストグラムにおける前記差分値の大部分が所定値を超える場合に、シーン変化を検出するためのコードと、
を有するメモリ媒体。
【請求項７】
ビデオのフレームを生成するよう入来ビットストリームを復号化するデコーダと、
複数の差分値を生成するよう前記ビデオの連続フレーム間の差分を計算し、前記差分値の大部分が所定値を超える場合に、シーン変化を検出するシーン変化検出ユニットと、
を有するビデオ装置。
【請求項８】
前記シーン変化検出ユニットは更に、前記差分値のヒストグラムを取ることを行う請求項７記載の装置。
【請求項９】
ビデオにおけるシーン変化を検出する方法であって、
ビデオのフレームが、Ｉフレームであるか否かを判断する段階と、
前記フレームがＩフレームである場合は、フレーム差分のヒストグラムに基づいてシーン変化を検出する段階と、
前記フレームがＩフレームでない場合は、コーディング情報に基づいてシーン変化を検出する段階と、
を有する方法。
【請求項１０】
前記フレーム差分のヒストグラムに基づいてシーン変化を検出する段階は、
複数の差分値を生成するよう前記ビデオの連続フレーム間の差分を計算する段階と、
前記差分値のヒストグラムを取る段階と、
前記ヒストグラムにおける前記差分値の大部分が所定値を超える場合に、シーン変化を検出する段階と、
を有する請求項９記載の方法。
【請求項１１】
前記コーディング情報に基づいてシーン変化を検出する段階は、
Ｐフレームにおけるフレーム内符号化されたブロックの数を決定する段階と、
前記フレーム内符号化されたブロックの数が所定の数を超えると、シーン変化を検出する段階と、
を有する請求項９記載の方法。
【請求項１２】
前記コーディング情報に基づいてシーン変化を検出する段階は、
Ｂフレームにおける逆方向予測されたブロックの数を決定する段階と、
前記逆方向予測されたブロックの数が所定の数を超えると、シーン変化を検出する段階と、
を有する請求項９記載の方法。
【請求項１３】
ビデオにおけるシーン変化を検出するためのコードを有するメモリ媒体であって、
前記コードは、
ビデオのフレームが、Ｉフレームであるか否かを判断するためのコードと、
前記フレームがＩフレームである場合は、フレーム差分のヒストグラムに基づいてシーン変化を検出するためのコードと、
前記フレームがＩフレームでない場合は、コーディング情報に基づいてシーン変化を検出するためのコードと、
を有するメモリ媒体。
【請求項１４】
ビデオのフレームを生成するよう入来ビットストリームを復号化するデコーダと、
ビデオのフレームが、Ｉフレームであるか否かを判断し、前記フレームがＩフレームである場合は、フレーム差分のヒストグラムに基づいてシーン変化を検出し、前記フレームがＩフレームでない場合は、コーディング情報に基づいてシーン変化を検出するシーン変化検出ユニットと、
を有するビデオ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、ビデオ処理に関わり、より具体的には、フレーム差分のヒストグラムを用いたビデオにおけるシーン変化の検出に係る。
【背景技術】
【０００２】
シーン変化検出は、ビデオシーケンス内の連続フレーム間のコンテンツにおけるかなりの変化を検出するために用いられる。例えば、コンテンツにおけるかなりの変化は、１つの番組がコマーシャル又は別の番組に切り替わる、又は、同一の番組の中で異なるシーンに切り替わるときに発生する。
【０００３】
正確なシーン変化検出は、様々なビデオ処理アルゴリズムのパフォーマンスを向上するよう用いられる。例えば、正確なシーン変化検出は、ビデオエンハンスメントアルゴリズムに用いられて、様々なシーンコンテンツに対する特定のパラメータを調整し得る。このようなシーン変化検出は更に、ビデオ圧縮アルゴリズムにも用いられ得る。例えば、シーン変化検出は、新しいピクチャグループが開始されなければならないときを決定するために又はビットレート変化を予測するために用いられ得る。
【０００４】
多数のシーン変化検出技術が既に存在している。１つの技術は、個々のフレームのヒストグラムを取り、連続フレームのヒストグラム間の比較を行い、そして、シーン変化を検出する。この技術は、一部の状況において良好に作用する。しかし、連続フレームが、様々な位置において似た画素値を有する場合に問題が発生する。この状況では、これらの２つのフレームのヒストグラムは、かなり似ており、従って、シーン変化を検出することができない。
【０００５】
別の技術は、コーディング情報を用いて、シーン変化を検出する。例えば、この技術は、Ｂフレーム及びＰフレームにおける特定のタイプのブロックの増加を探してシーン変化を検出する。この技術は、Ｂフレーム及びＰフレームには良好に作用するが、Ｉフレームに対しては用いることができない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、ビデオにおけるシーン変化を検出する方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
１つの例において、この方法では、複数の差分値を生成するようビデオの連続フレーム間の差分が計算される。その差分値のヒストグラムが取られる。シーン変化は、ヒストグラムにおける差分値の大部分が所定値を超える場合に検出される。
【０００８】
もう１つの例において、この方法では、ビデオのフレームがＩフレームであるか否かが判断される。シーン変化は、そのフレームがＩフレームである場合は、フレーム差分のヒストグラムに基づいて検出され、そのフレームがＩフレームでない場合は、コーディング情報に基づいて検出される。
【発明を実施するための最良の形態】
【０００９】
同様の参照番号は対応する部分を示す図面を参照する。
【００１０】
本発明は、如何なる状況においても用い得るシーン検出技術に関する。本発明では、この技術は、２つのフレーム間の差分のヒストグラムを用いて、シーン変化を検出する。さらに、圧縮されたビットストリームからのコーディング情報を利用することによって、ＭＰＥＧ符号化されたビデオについてのシーン変化検出の計算上の複雑さを低減する方法も提案する。
【００１１】
本発明によるビデオにおけるシーン変化を検出する方法の一例を、図１に示す。議論目的のために、図１の方法によって処理されるビデオのフレームは既に復号化されているものとみなす。段階２において、ビデオの連続フレーム間の差分が計算される。これは、各フレームの対応する画素値間の差分を計算することによって達成される。これは、以下のように定義される。
【００１２】
【数２】
2005522109.tif 000003
ただし、
【００１３】
【数３】
2005522109.tif 000004
であり、
【００１４】
【数４】
2005522109.tif 000005
は、場所
【００１５】
【数５】
2005522109.tif 000006
におけるフレームｎの画素値であり、
【００１６】
【数６】
2005522109.tif 000007
は、同じ場所における前のフレームｎ−１の画素値である。段階２の結果、フレームにおける対応する画素値間の差分の大きさである複数の差分値が生成される。
【００１７】
本発明では、段階２において計算される差分は、各フレームの全ての画素値に対してであり得る。或いは、必要な計算数を減少するために、差分は、フレームの選択部分に対して計算され得る。例えば、差分は、フレームの中心にある画素値のみに対して計算され得る。
【００１８】
段階４において、差分値のヒストグラムが取られる。ヒストグラムは、特定の変数の分布をプロットするための周知の関数である。この場合、分布は、Ｈｉｓ（ｉ）として定義付けられる。これは、特定の値ｉに等しい差分値の数である。上述したように、差分値は、フレームにおける対応する画素値間の差分の大きさを表す。
【００１９】
段階６において、ヒストグラムにおける差分値の大部分が、所定値を超える場合にシーン変化が検出される。議論のために、大部分とは、５０％以上の任意の数として定義付ける。しかし、選択された所定値に依存して、シーン変化を検出するために必要とされる差分値の大部分は、５０％より大きいことが好適であり得る。例えば、１０の値については、ヒストグラムにおける差分値の６３％がこの値を超えることが好適である。
【００２０】
段階６を行うために、以下の条件を満足する固有値Ｑを見つけることが好適である。
【００２１】
【数７】
2005522109.tif 000008
ただし、Ｈｉｓ（ｉ）は、ｉにおけるヒストグラム値であり、ｎは、ビデオの各フレームによって用いられるビット精度である。Ｔ１は、閾値であり、１つの例では、０．３６８の値である。この例では、固有値Ｑは、ヒストグラムにおける特定の差分値を表し、３６．８パーセントの差分値が小さい値を有する。従って、固有値Ｑは、ヒストグラムにおける差分値の所定の範囲を画成する。
【００２２】
固有値Ｑの例を、図２に示す。図から分かるように、固有値Ｑは、所定の範囲を画成する特定の差分値に対応する。図２では、確率は以下のように定義付けられる。
【００２３】
【数８】
2005522109.tif 000009
例えば、図２では、prob(M)=1及びP=prob(Q)>0.386である。
【００２４】
固有値Ｑを見つけた後、シーン変化は、以下の条件が満たされると検出される。即ち、Ｑ＞Ｔ２。ただし、Ｔ２は、閾値である。１つの例では、閾値Ｔ２は、１０の値を有し得る。
【００２５】
本発明のビデオ装置の一例を図３に示す。例示的に、装置は、テレビジョン、セットトップボックス、デスクトップ、ラップトップ、又はパームトップコンピュータ、携帯情報端末（ＰＤＡ）、デジタルビデオディスク（ＤＶＤ）プレーヤ、デジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置等といったビデオ／画像記憶装置、並びにこれらの及び他の装置の一部又は組合せを表し得る。
【００２６】
図から分かるように、装置は、デコーダ８とシーン変化検出ユニット１０を有する。１つの実施例では、図３の装置は、ＣＤ−ＲＯＭ又はフロッピー（登録商標）ディスクといったメモリ媒体上に格納されプロセッサによって実行可能なコンピュータ可読コードによって実施され得る。他の実施例では、ハードウェア回路を、ソフトウェア命令の代わりに、又はソフトウェア命令と組合わせて用いて、図３の装置を実施し得る。
【００２７】
動作時に、デコーダは、入来ビットストリームを復号化して、復号化されたビデオフレームを生成する。本発明では、デコーダは、ＭＰＥＧ−１デコーダ、ＭＰＥＧ−２デコーダ、ＭＰＥＧ−４デコーダ、Ｈ．２６ｘデコーダ、又は別の類似のタイプのデコーダであり得る。
【００２８】
シーン変化検出ユニット１０は、次に、復号化されたビデオを見て、シーン変化が発生したかどうかを判断する。シーン変化がビデオフレームのうちの１つにおいて検出されると、シーン検出ユニット１０は、どのフレームがシーン変化を有するか識別するフラグを生成する。
【００２９】
本発明では、シーン変化検出ユニット１０は、図１の方法を実施して、シーン変化を検出し得る。従って、シーン変化検出ユニット１０は、全ての復号化ビデオフレームに対して図１の方法段階を行う。しかし、全てのフレームに対して図１の方法を使用することは、差分を計算するために前のフレームを格納することを常に必要とするので、能率的ではない場合がある。
【００３０】
上述のことを鑑みて、一部の状況においては、シーン変化検出ユニット１０の計算上の複雑さとメモリ要件を減少するための方法が実施されることが好適であり得る。ＭＰＥＧビットストリームでは、フレーム内符号化（Ｉ）フレーム、順方向予測符号化（Ｐ）フレーム、及び双方向予測符号化（Ｂ）フレームといった様々なタイプのフレームがある。フレームタイプに依存して、シーン変化を検出するために異なる技術を用いることが好適である。例えば、Ｐ及びＢフレームには、コーディング情報が用いられ得、一方、Ｉフレームには、図１の方法を用い得る。従って、この組合わされた方法を用いることによって、計算上の複雑さ並びにメモリ要件は、かなり減少される。何故なら、Ｉフレームの頻度は、一般的なＭＰＥＧビットストリームにおいてＰ及びＢフレームよりもかなり低いからである。
【００３１】
上述の方法を実施するシーン変化検出方法を図４に示す。段階１２において、復号化されたビデオのフレームが、Ｉフレームであるか否かが判断される。これは、図３におけるデコーダ８により与えられるコーディング情報によって達成される。ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、及びＨ．２６ｘといった規格は全て適合ビットストリームが、含まれるフレームタイプを識別するヘッダフィールドを含むことを必要とする。従って、動作時に、デコーダ８が、入来ビットストリームを復号化すると、デコーダ８は、ヘッダフィールドも見て、復号化されたビデオにおけるフレームのタイプも判断する。この情報は、動作時にシーン変化検出ユニット１０に送られるコーディング情報内に含まれる。
【００３２】
段階１２において、フレームがＩフレームであると判断されると、段階１４において、シーン変化は、フレーム差分のヒストグラムに基づいてその特定のフレームに対して検出される。従って、シーン変化検出ユニット１０は、その特定のフレームに対して、図１の方法を行う。
【００３３】
段階１２において、フレームがＩフレームでないと判断されると、段階１６において、シーン変化は、復号化情報に基づいてその特定のフレームに対して検出される。動作時に、デコーダ８が、コーディング情報を、シーン検出ユニット１０に供給する。上述したように、コーディング情報には、復号化されたビデオにおけるフレームのタイプに関する情報が含まれる。コーディング情報は更に、特定のビデオフレームを構成するマクロブロックのタイプについての情報も含む。
【００３４】
例えば、シーン変化がＰフレームにおいて発生すると、フレーム内符号化されるマクロブロックが増加する。従って、シーン変化は、以下の基準に基づいて検出される。
【００３５】
【数９】
2005522109.tif 000010
ただし、Num_Intraは、フレーム内符号化されたマイクロブロックの数であり、Num_MBは、マイクロブロックの総数であり、T3は、閾値である。この基準によって、シーン変化検出ユニット１０は、Ｐフレームに含まれるフレーム内符号化されたマクロブロックの数を決定する。シーン変化検出ユニット１０は、次に、フレーム内符号化されたマクロブロックの数が、所定の閾値より大きいとシーン変化を検出する。この閾値は、２０％以上であり得る。
【００３６】
例えば、Ｂフレームにおいてシーン変化が発生する場合、逆方向予測されたマクロブロックの数が増加する。従って、シーン変化は、以下の基準に基づいて検出される。
【００３７】
【数１０】
2005522109.tif 000011
ただし、Num_Backは、逆方向予測されたマイクロブロックの数であり、Num_MBは、マイクロブロックの総数であり、T4は、閾値である。この基準によって、シーン変化検出ユニット１０は、Ｂフレームに含まれる逆方向予測されたマイクロブロックの数を決定する。シーン変化検出ユニット１０は、次に、逆方向予測されたマクロブロックの数が、所定の閾値より大きいとシーン変化を検出する。この閾値は、７０％以上であり得る。
【００３８】
ビデオ装置は、デコーダ８及びシーン変化検出ユニット１０の出力に結合される他のユニット（図示せず）を有する。これらの他のユニットは、シーン変化検出ユニット１０によって生成されたフラグを利用して、デコーダ８からのビデオフレームを更に処理する。例えば、動き補償されたフィルタを用いるビデオ処理アルゴリズムは、シーン変化検出によって益を得る場合がある。動作時に、動き補償されたフィルタリングは、シーン変化が発生するときにはオフにされなければならない。オフにされなければ、誤った結果がもたらされ得る。ビデオ処理アルゴリズムは、シーン変化検出ユニット１０によって生成されたシーン変化フラグを用いて、動き補償されたフィルタリング動作をリセットする。
【００３９】
本発明は、特定の例に関連して上述したが、本発明は、本願に開示した例に制限されるものではないことを理解するものとする。従って、本発明は、特許請求の範囲及び精神に含まれる本発明の様々な構造及び変形を含むものとする。
【図面の簡単な説明】
【００４０】
【図１】本発明によるシーン変化を検出する１つの例を示すフローチャートである。
【図２】固有値Ｑの１つの例を示すグラフである。
【図３】本発明のビデオ装置の１つの例を示すブロック図である。
【図４】本発明によるシーン変化を検出するもう１つの例を示すフローチャートである。
【図１】
2005522109.tif 000013
【図２】
2005522109.tif 000014
【図３】
2005522109.tif 000015
【図４】
2005522109.tif 000016
【国際調査報告】
2005522109.tif 000017
2005522109.tif 000018
2005522109.tif 000019