(57)【特許請求の範囲】
【請求項１】
一連のビデオ画像中のショット変化を検出する方法であって、
輝度値の出現を上記輝度値の関数として表わす画像のヒストグラムを作成する段階と、
１つの画像Ｔ（ｔ）のヒストグラムを先行画像Ｔ（ｔ−１）のヒストグラムと比較する段階と、
を含み、
上記比較段階は、
ｋは−Ｋから＋Ｋまで変化し、Ｋは自然数であるとすると、上記画像Ｔ（ｔ）中の輝度値に対応する出現ｈｉｓｔｏ＿ｌｕｍ（ｎ，ｔ）についてこの出現と上記先行画像の出現ｈｉｓｔｏ＿ｌｕｍ（ｎ＋ｋ，ｔ−１）との絶対差を計算する段階と、
これらの差の中から最小値Ｍｉｎ＿Ｄｉｆｆ（ｎ，ｔ）を選択する段階と、
上記ヒストグラムの輝度値の組についての最小値を加算する段階と、
得られた和と閾値とを比較する段階と、
を含む、
ことを特徴とする方法。
【請求項２】
上記比較段階の前に、
近傍の輝度値の発生に基づいて所与の輝度値ｎに関連する発生の平均化を行なってヒストグラムをフィルタリングする段階を行ない、
上記比較段階は上記フィルタリングされたヒストグラムに対して行なわれる、
ことを特徴とする請求項１記載の方法。
【請求項３】
上記近傍の輝度値は、輝度値ｎの下２つの値及び上２つの値である、
ことを特徴とする請求項２記載の方法。
【請求項４】
極値の輝度値に対応する出現は平均化されない、
ことを特徴とする請求項２記載の方法。
【請求項５】
上記ヒストグラムの計算の前に輝度値の切り捨てを行なう、
ことを特徴とする請求項１記載の方法。
【請求項６】
上記Ｋの値は１である、
ことを特徴とする請求項１記載の方法。
【請求項７】
請求項１記載の方法を実施するショット変化検出のための回路を含む、
ことを特徴とするビデオ符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般的には「カット」と称される一連のビデオ画像中のショットの変化を検出する方法及び装置に関連する。
【０００２】
【従来の技術】
オーディオ・ビジュアルシーケンス中でかかるショットの変化にタグを付す必要性は、一般的に時間的フィルタリングが使用されるフレーム・テンポ変換適用において生ずる。２つの連続するフレームがもはや相関されていないとき、このフィルタリングは必要ではなくなる。このショットの変化を予め検出することにより、例えばフレーム反復といった他の種類の補間が可能となり、整合性のない混合が防止される。
【０００３】
本発明は、ビデオ内容についてのインデックス付けパラメータを抽出することや、予め検出された遷移を用いたビデオショットによるセグメント化にも適用される。
【０００４】
ビデオシーケンス中でショット変化を検出する公知の方法は、一般的に２つの連続するフレーム間の輝度のヒストグラムの差に依存する。従って、原理は１つのショットから次のショットへの輝度の変化に基づく。
【０００５】
【発明が解決しようとする課題】
上述の種類の検出器は、シーンの変化と独立に生じうる輝度の変化に対して非常に敏感であり、従ってあまり信頼性が高くない。本発明はかかる検出器の欠点を軽減することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的は、輝度値の出現を上記輝度値の関数として表わす画像のヒストグラムを作成する段階と、１つの画像Ｔ（ｔ）のヒストグラムを先行画像Ｔ（ｔ−１）のヒストグラムと比較する段階とを含む、一連のビデオ画像中のショット変化を検出する方法であって、
比較段階は、
ｋは−Ｋから＋Ｋまで変化し、Ｋは自然数であるとすると、画像Ｔ（ｔ）中の輝度値に対応する出現ｈｉｓｔｏ＿ｌｕｍ（ｎ，ｔ）についてこの出現と先行画像の出現ｈｉｓｔｏ＿ｌｕｍ（ｎ＋ｋ，ｔ−１）との絶対差を計算する段階と、
これらの差の中から最小値Ｍｉｎ＿Ｄｉｆｆ（ｎ，ｔ）を選択する段階と、
ヒストグラムの輝度値の組についての最小値を加算する段階と、
得られた和と閾値とを比較する段階とを含むことを特徴とする方法によって達成される。
【０００７】
特定の実施例によれば、方法は、比較段階の前に、近傍の輝度値の発生に基づいて所与の輝度値ｎに関連する発生の平均化を行なうヒストグラムをフィルタリングする段階を行ない、比較段階はフィルタリングされたヒストグラムに対して行なわれる。
【０００８】
１つの適用は、シーケンスにインデックス付けするためのパラメータの抽出のためのオーディオ・ビジュアルインデックス付け方法に関連し、このインデックス付け方法は、本発明の方法によるショット変化検出段階を含むことを特徴とする。
【０００９】
提案される方法は、ヒストグラムの差に依存するが、誤った検出を生じさせうる輝度のばらつきを吸収することを可能とする。これらのばらつきの源は、一般的には、ズーム、例えばより影の濃い場所に入ったときの追跡、わずかなカメラの動き等から生じうる。
【００１０】
提案される方法は、より信頼性が高く、より効果的に、また、より簡単に実施されうる。この方法に対応する装置は、非常に安価であり、大衆市場用の機器に容易に挿入されうる。これは実際に、構造の複雑さと有効性との間の非常に良い折衷である。
【００１１】
この方法は、基本アルゴリズムブロックを構成しうる洗練されたオーディオ・ビジュアルインデックス付けシステムの一部でありうる。検出をより頑強なものとすることを可能とする他の解析層が補われうる。
【００１２】
【発明の実施の形態】
本発明の特徴及び利点は、例としての図面を参照して以下の説明によってより明らかとなろう。図１は、本発明の様々な方法を示す図である。
【００１３】
第１の段階１において、時点ｔにおけるフレームに関するビデオ情報Ｔ（ｔ）を処理する。フレームの各画素の輝度値は、最下位ビット及び２番目に低いビットを単純に切り捨てることにより６ビットの精度とされる。
【００１４】
第２の段階２において、時点ｔにおけるこれらのフレームの輝度値についての輝度ヒストグラムＨＩＳＴＯ＿ＬＵＭ［０．．．６３，ｔ］が作成される。このヒストグラムは、０乃至６３の範囲の６４の異なる値を含む。
【００１５】
次の段階３において、輝度ヒストグラムのフィルタリングが行なわれる。ヒストグラムの要素に対して１次元フィルタが適用される。このフィルタは、輝度のスプリアスなばらつきを生じさせる寄生効果を補償するのに使用される。
【００１６】
ＨＩＳＴＯ＿ＬＵＭ［ｎ，ｔ］を、フレームＴ（ｔ）についてのヒストグラム中の輝度値ｎの出現数、即ち、フレームＴ（ｔ）中の値ｎを有する画素の数であるとする。
【００１７】
ヒストグラムのフィルタリング又は平滑化は、例えば輝度値ｎについての出現を２Ｎ＋１の値に亘って平均化することによって行なわれる。これらの値は、考慮される出現と、近傍の輝度値の出現、即ちｎの前後Ｎ個の値を足し合わせたものである。極値０及び６３からＮだけ少ない距離に配置される輝度値については、フィルタリングされた値は元の値でありうる。
【００１８】
例えば５つの値（Ｎ＝２）に亘る平均を考えると、輝度値ｎについての出現の平滑化された値、即ちｈｉｓｔｏ＿ｌｕｍ（ｎ，ｔ）は、
【００１９】
【数１】
0004764561.tif 000002
となる。
【００２０】
フィルタが少なくとも３つの要素に関係する場合、フィルタの幅を決める値Ｎは１以上である。これは必要とされるフィルタリングが大きいほど、大きくなる。
【００２１】
輝度ヒストグラムは、各新しいフレームについて計算される。第４の段階において、現在のフレームのフィルタリングされたヒストグラムｈｉｓｔｏ＿ｌｕｍ［０．．．６３，（ｔ）］が記憶される。
【００２２】
先行するフレームＴ（ｔ―１）を処理するときに第４の段階において記憶された以前のフレームのフィルタリングされたヒストグラムｈｉｓｔｏ＿ｌｕｍ［０．．．６３，（ｔ−１）］は第５の段階へ送られ、第５の段階はまた第３の段階から直接得られる現在のフレームＴ（ｔ）のフィルタリングされたヒストグラムを受け取る。
【００２３】
第５の段階では次に、ヒストグラムの各要素のｎについての最小の差を得るために、本発明の方法により２つのヒストグラム間の比較が行なわれる。
【００２４】
現在のフレーム中のヒストグラムの各要素（又はサンプル）ｈｉｓｔｏ＿ｌｕｍ（ｎ，ｔ）は、差を得るために、対応するｈｉｓｔｏ＿ｌｕｍ（ｎ，ｔ−１）と比較され、また先行するフレーム中の対応する要素の近傍の要素ｈｉｓｔｏ（ｎ＋ｋ，ｔ−１）と比較され、最小の差Ｍｉｎ＿Ｄｉｆ（ｎ，ｔ）が選択される。
【００２５】
従って、２つのヒストグラムの差を得るために、
０＋Ｋ≦ｎ≦６３−Ｋ          のとき、
【００２６】
【数２】
0004764561.tif 000003
であり、
ｎ＜０＋Ｋ  又は  ６３−Ｋ＜ｎ    のとき、
【００２７】
【数３】
0004764561.tif 000004
となり、但し、Ｋは自然数であり、ａｂｓは絶対値に対応する。
【００２８】
特に示さない限り、極値０及び６３からＫよりも少ない値にある輝度値について、計算された値Ｍｉｎ＿Ｄｉｆ（ｎ．ｔ）はフィルタリングされた値の差の絶対値である。
【００２９】
第６の段階では、現在のフレームのヒストグラムの要素の組に亘って最小の差Ｍｉｎ＿Ｄｉｆ（ｎ，ｔ）の加算、即ち、
【００３０】
【数４】
0004764561.tif 000005
が行なわれる。
【００３１】
第７の段階は、フレームＴ（ｔ）の和Ｓｕｍ（ｔ）と所定の閾値Ｔｈｒ＿ｃｕｔとの間の比較を行なう。
【００３２】
Ｓｕｍ（ｔ）  ≧  Ｔｈｒ＿ｃｕｔであれば、フレームＴ（ｔ）は、シーケンスカットに対応する、即ち、
Ｃｕｔ（ｔ）＝１
であり、
Ｓｕｍ（ｔ）  ＜  Ｔｈｒ＿ｃｕｔであれば、カットはない、即ち、
Ｃｕｔ（ｔ）＝０
であると考えられる。検出閾値Ｔｈｒ＿ｃｕｔの値は、経験的にフレームに含まれる点の約１／５に固定される。例えば、例えば、７２０×２８８の有用な画素からなるＳＤＴＶフレームでは、閾値Ｔｈｒ＿ｃｕｔの値は４００００とされる。
【００３３】
このように、計算される和が所定の閾値よりも大きければ、第７の段階において試験が行なわれ、２つのフレーム間でのショットの変化について宣言され、第１の出力（Ｙ）が活性化される。逆の場合は、第２の活性化された出力（Ｎ）によりショットの変化がないことが示される。
【００３４】
値Ｍｉｎ＿Ｄｉｆの計算は、所定の値Ｋに連結される。Ｋについて選択された値が大きいほど、システムはより大きい輝度変化を吸収することが可能となるが、これは真のショット変化について検出器の感度を犠牲にして達成され、従って検出の失敗を導く可能性がある。
【００３５】
Ｋ＝１を選択することにより、システムが有効に動作することが経験的に分かっている。すると、ショット変化の９５％を検出し、約１０％の誤った検出を生じさせる。これらの見かけ上は多数である誤った検出は、自動検出システムによってショットの変化であると見なされるシーンの曖昧な状況を含む。これらの状況は、一般的にカタログに載せられ、結果をきれいにするために、これらを排除する補足的な解析システムによって容易に識別されうる。典型的な状況、即ち公知の状況の検出に関連するこれらの補助的なツールは、本発明の方法のパフォーマンスを改善させることを可能とする。
【００３６】
検出されないショット変化は、Ｋの値を変更することによって減少されうるが、より多くなる誤った検出が犠牲となる。意図される用途によれば、また、この検出器に関連付けられるツールによれば、検出率又は誤った検出についての利点が与えられる。
【００３７】
例えば、フレーム・テンポ変換の場合、誤った検出は特定の補間を生じさせ、これは可視のジャークを生じさせることがあるため、誤った検出を制限することが望ましい。
【００３８】
ビデオシーケンスをショットへ分割する適用では、検出器の後に補足的な解析が続き過剰な検出を排除することを可能とするため、過剰な検出があることは重大なことではない。
【００３９】
２Ｎ＋１のサンプルに対する差を取る前に実行されるフィルタリングは、１つの画像から他の画像へ近傍のサンプルに向かって伝搬するにつれ大きくなりうる輝度の小さい変化を吸収することを可能とする。従って、シーケンスカットによって生じ、画像中で完全にランダムであり、シーン中の動きによって生ずる輝度のばらつきについて、より良く区別することを可能とする。これらのばらつきは、一般的に、当該の領域の面積の展開、領域の出現又は消滅、輝度変化の関数として、隣接する値に向かって伝搬されるにつれて一貫して大きくなり、これらの展開及びばらつきは一般的にプログレッシブに生ずる。他と比較されるためには、実際に考慮に入れられねばならないのは、ヒストグラムの特定の値ではなく、ヒストグラムの形状、従ってフィルタリングされたヒストグラムである。実際、これらが画像間で僅かに変化するものであったとしてもこれらの値はばらつきの大きな和を与えることがあり、これらの値はカットの誤った検出を生じさせうる。
【００４０】
幾つかの差が計算され、１つは先行する画像の輝度と同じ値に基づくものであり、他のものは近傍の値に基づくものであり、考慮されるうちの最小の値である。サンプルの近傍で最小値を選択することにより、誤った検出を回避することが可能である。実際に、シーケンスのカット中、ヒストグラムのピークは位置を完全に変化させ、一方、他の場合はこれらのヒストグラムは１つの輝度値から他の輝度値へのゆっくりとした展開である。照明、追跡中等のゆっくりとした変化中は、輝度値がヒストグラムの近傍のサンプルに向かって移動する。近傍のサンプルを考慮に入れることにより、或る程度は近傍のサンプルの数に依存してこの移動を回避することが可能である。
【００４１】
例えばフェーディング又は露出過多の場合に、１つの画像から他の画像へ画像の輝度の勾配の優勢な変動は、多数の輝度サンプルに亘って、従って差に対して行なわれる加算に亘って累積される。最小値を選択することは、画像中の輝度の全体の変化に対してあまり感度を高く無くすることを可能とする。
【００４２】
本発明による方法の適用は、画像符号化及び圧縮装置に関連し、またビデオショットの分割、シーケンスのインデックス付けのためのパラメータの抽出に関連する。方法は、例えばフィルム又は一連のフィルムにおいて様々なシーケンスを検出することを可能とし、それによりその夫々に対して、また、公知の方法によって、１つ以上の認識パラメータ又は識別パラメータを抽出することを可能とする。例えば、オーディオ・ビジュアルインデックス付け方法は、本発明の方法によるシーケンス検出段階を含みうる。
【００４３】
明らかに、上述の計算は一連の画像又はフレームに関連するものであっても良く、また任意の種類の標準又は符号化に関連するものであってもよい。
【００４４】
上述の方法を実施する回路を含む符号化又はビデオデータ圧縮装置もまた本発明の分野の一部をなすものである。
【図面の簡単な説明】
【図１】本発明の方法の様々な段階を示す図である。
【符号の説明】
１    ビデオ情報処理段階
２    輝度ヒストグラム作成段階
３    輝度ヒストグラムフィルタリング段階
４    先行フレームのヒストグラム格納
５    ヒストグラム比較段階
６    最小の差の加算段階
７    フレームの和と所定の閾値との比較段階
【図１】
0004764561.tif 000006