(57)【要約】本発明は、連続するフレームからなる入力画像系列を符号化するために提供されるビデオ符号化方法の実現への適用に関し、符号化方法は、それぞれの連続するフレームについて、ａ）それぞれのフレームについて、いわゆるコンテンツ変化強度（ＣＣＳ）を計算する第一のサブステップ、連続するフレーム及びＣＣＳから、処理されるべき連続するフレームの構造を定義する第二のサブステップにより、それぞれ連続する現在のフレームを前処理するステップ、ｂ）前処理されたフレームを処理するステップを含む。フレームは、おそらく又は好ましくは、何れかの種類の形状のブロック、セグメント又はオブジェクトのような小構造に小分割される。この方法は、たとえばビデオコンテンツ分析システムでビデオ符号化方法の実現に適用される場合がある。
2007531445.tif 000002
【特許請求の範囲】
【請求項１】
連続するフレームからなる入力画像系列を処理するために提供されるビデオ処理方法であって、それぞれ連続するフレームについて、
それぞれのフレームについてコンテンツ変化強度（ＣＣＳ）を計算するサブステップ、連続するフレーム及び計算されたコンテンツ変化強度から、処理されるべき連続するフレームの構造を定義するサブステップにより、それぞれの連続する現在のフレームを前処理するステップと、
前処理されたフレームを処理するステップとを含み、
前記ＣＣＳの指示は、コンテンツの特徴の検出のために更なる入力を提供するビデオコンテンツ分析ステップで再び使用される、
ことを特徴とするビデオ処理方法。
【請求項２】
それぞれのフレームは、小構造にそれ自身が小分割される、
請求項１記載の方法。
【請求項３】
前記小構造はブロックである、
請求項２記載の方法。
【請求項４】
前記小構造は何れかの形状の種類からなるオブジェクトである、
請求項２記載の方法。
【請求項５】
前記小構造はセグメントである、
請求項２記載の方法。
【請求項６】
連続するフレームからなる入力画像系列を符号化するために提供されるビデオ符号化方法の実現への請求項１の方法の適用であって、
前記符号化方法は、それぞれ連続するフレームについて、
ａ）それぞれのフレームについてコンテンツ変化強度（ＣＣＳ）を計算するサブステップ、連続するフレーム及び計算されたコンテンツ変化強度から、符号化されるべき連続するフレームの構造を定義するサブステップ、及び、オリジナルのフレーム系列の順序に関して変更された順序で符号化されるべきフレームを記憶するサブステップにより、それぞれ連続する現在のフレームを前処理するステップと、
ｂ）再び順序付けされたフレームを符号化するステップとを含み、
前記ＣＣＳの指示は、コンテンツの特徴の検出のために更なる入力を提供するビデオコンテンツ分析ステップで再び使用される、
ことを特徴とする適用。
【請求項７】
それぞれのフレームは、小構造にそれ自身が小分割される、
請求項６記載の方法。
【請求項８】
前記小構造はブロックである、
請求項７記載の方法。
【請求項９】
前記小構造は何れかの形状の種類からなるオブジェクトである、
請求項７記載の方法。
【請求項１０】
前記小構造はセグメントである、
請求項７記載の方法。
【請求項１１】
それぞれのフレームがブロックにそれ自身小分割される連続するフレームのグループからなる入力画像系列を符号化するために提供されるビデオ符号化装置であって、
当該ビデオ符号化装置は、それぞれの連続するフレームに適用される、
それぞれ連続する現在のフレームに適用される前処理手段と、
それぞれのブロックの動きベクトルを予測するために提供される予測手段と、
現在のフレームのブロックにそれぞれ関連される前記動きベクトルに基づいて予測されたフレームを生成するために提供される生成手段と、
複数の係数を生成する変換、続いて前記係数の量子化を、前記現在のフレームと前記最後に予測されたフレームとの間の差の信号に適用するために提供される変換及び量子化手段と、
前記量子化された係数を符号化するために提供される符号化手段とを有し、
前記前処理手段は、
それぞれのフレームについてコンテンツ変化強度（ＣＣＳ）を計算するために提供される計算手段、連続するフレーム及び計算されたコンテンツ変化強度から、符号化されるべき連続するフレームのグループの構造を定義するために提供される定義手段、及び、オリジナルのフレーム系列の順序に関して変更された順序で符号化されるべきフレームを記憶するために提供される記憶手段を有し、
前記ＣＣＳの指示は、コンテンツの特徴の検出について更なる入力を提供するビデオコンテンツ分析ステップで再び使用される、
ことを特徴とするビデオ符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続するフレームからなる入力画像系列を処理するために提供されるビデオ処理方法に関し、当該処理方法は、それぞれ連続するフレームについて、ａ）それぞれのフレームについて、いわゆるコンテンツ変化強度（ＣＣＳ：  Ｃｏｎｔｅｎｔｓ−Ｃｈａｎｇｅ  Ｓｔｒｅｎｇｔｈ）を計算するサブステップ、連続するフレーム及び計算されたコンテンツ変化強度から、処理されるべき連続するフレームの強度を定義するサブステップにより、それぞれ連続する現在のフレームを前処理するステップ、ｂ）前処理されたフレームを処理するステップを含んでいる。
【０００２】
かかる方法は、たとえば、コンピュータビジョン及びビデオコンテンツ分析システムで使用される場合がある。これらの応用では、かかる処理方法を実現するときにかかるシステムにより生成される情報は、たとえばＭＰＥＧ規格の使用を含む用途で記憶されるか、又は、たとえば環境の照明制御、スケーラブルシステムにおける処理リソース割り当て、セキュリティシステムにおけるウェイクアップトリガ等で直接的に使用される場合がある。
【背景技術】
【０００３】
ビデオ圧縮において、符号化ビデオ系列の送信のための低ビットレートは、（とりわけ）連続するピクチャ間の時間的な冗長度の低減により得られる場合がある。かかる低減は、動き予測（ＭＥ）及び動き補償（ＭＣ）技術に基づいている。ビデオ系列の現在のフレームについてＭＥ及びＭＣを実行することは、（いわゆるアンカーフレーム）基準フレームを必要とする。ＭＰＥＧ−２を例として採用すると、異なるフレームタイプ、すなわちＩ，Ｐ及びＢフレームが定義され、かかるＭＥ及びＭＣ技術は異なって実行され、Ｉフレーム（又はイントラフレーム）は、過去又は将来のフレームを参照することなしに（実際にはそのケースではＭＥ及びＭＣが実行される）、それ自身により独立して符号化され、Ｐフレーム（又は前方向の予測ピクチャ）は、比較的過去のフレームに対してそれぞれ１つ符号化され（すなわち前の基準フレームからの動き補償による）、Ｂフレーム（又は双方向の予測フレーム）は、２つの基準フレーム（過去のフレーム及び未来のフレーム）に対して符号化される。Ｉフレーム及びＰフレームの両者は、基準フレームとして使用される。
【０００４】
良好なフレーム予測を得るため、これら参照フレームは、高い品質からなる必要があり、すなわち多くのビットがそれらを符号化するために費やされる必要があり、基準フレームではないフレームは、低い品質からなる必要がある（この理由のため、ＭＰＥＧ−２のケースにおける多くの数の非基準フレーム、Ｂフレームは、より低いビットレートを使用することが可能である）。どの入力フレームがＩフレーム、Ｐフレーム又はＢフレームとして処理されるかを示すため、グループオブピクチャ（ＧＯＰ）に基づいた構造は、ＭＰＥＧ−２で定義される。より詳細には、ＧＯＰは２つのパラメータＮ及びＭを使用し、Ｎは２つのＩフレーム間の時間的な距離であり、Ｍは、基準フレーム（Ｉ及びＰフレーム）間の時間的な距離である。たとえば、Ｎ＝１２及びＭ＝４の（Ｎ，Ｍ）−ＧＯＰが使用され、“ＩＢＢＢＰＢＢＢＰＢＢＢ”構造を定義し、次いで繰り返される。
【０００５】
連続するフレームは、一般に、それらフレーム間の長い時間的な距離を有するフレームよりも高い時間的な相関を有する。したがって、一方で、基準フレームと現在予測されたフレームとの間の短い時間的な距離は、高い予測品質につながるが、他方で、基準フレームではないフレームを使用することができないことを意味する。高い予測品質及び多くの非基準フレームの両者により、一般に低いビットレートとなるが、フレーム予測品質は短い時間的な距離のみから生じるので互いに機能する。
【０００６】
しかし、かかる品質は、リファレンスとして実際に役割を果たす基準フレームの有効性にも依存する。たとえば、シーン変化のちょうど前に位置される基準フレームにより、１つのみのフレーム距離を有するが、シーン変化のちょうど後に位置されるフレームの予測は、かかる基準フレームに関して可能ではないことは明らかである。他方で、（ビデオ会議又はニュースのような）安定又は準安定なコンテンツによるシーンにおいて、１００を超えるフレーム距離でさえ、高い品質予測となる。
【０００７】
先に記載された例から、一般に使用される（１２，４）−ＧＯＰのような固定されたＧＯＰ構造は、ビデオ系列を符号化するために非効率的であるように見える。これは、安定なコンテンツのケースにおいて、基準フレームが余りに頻繁に導入されるか、シーン変化のちょうど前に位置される場合に不適切な位置にあるためである。シーン変化の検出は、（Ｉフレームがこの場所に位置されない場合）フレームの良好な予測がシーン変化のために可能ではない位置でＩフレームを導入するために利用することができる公知の技術である。しかし、（たとえば、テニス選手がシングルのシーンで連続的に従うシーケンスにおいて）全くシーン変化なしで、フレームコンテンツが高い動きを有する幾つかのフレームの後にほぼ完全に異なる場合に、系列はかかる技術から利益を受けない。
【０００８】
２００３年１０月１４日に本出願人により既に提出された前の欧州特許出願（出願番号０３３００１５５．３（ＰＨＦＲ０３０１２４））は、良好な基準フレームを発見するための方法を記載している。前記前のソリューションの原理は、以下に列挙され、図１に例示されるような幾つかのシンプルなルールに基づいたコンテンツ変化の強度（又はレベル）を測定することである（水平方向の軸は関連するフレームの数に対応し、垂直方向の軸はコンテンツ変化の強度のレベルに対応する）。コンテンツ変化の測定された強度は、複数のレベルに量子化され（一般に、レベル数は制限とならないが、たとえば５といった少数のレベルで十分である）、Ｉフレームは、レベル０のコンテンツ変化の強度（ＣＣＳ）を有するフレーム系列の開始で挿入され、Ｐフレームは、ＣＣＳのレベルの増加が生じる前、又はＣＣＤのレベルの減少が生じた後に挿入される。たとえば、測定値は、水平方向及び垂直方向のエッジを検出するシンプルなブロック分類、又はルミナンス、動きベクトル等に基づいた他のタイプの測定である場合がある。
【０００９】
ＭＰＥＧ符号化のケースにおけるこの前の方法の実現の例は、図２に示される。例示されるエンコーダは、符号化ブランチ１０１及び予測ブランチ１０２を有する。ブランチ１０１により受信される符号化されるべき信号は、ＤＣＴ及び量子化モジュール１１において係数に変換され、次いで、量子化された係数は、動きベクトルＭＶと共に符号化モジュール１３で符号化される。予測ブランチ１０２は、ＤＣＴ及び量子化モジュール１１の出力で利用可能な信号を入力信号として受け、逆量子化及び逆ＤＣＴモジュール２１、加算器２３、フレームメモリ２４、動き補償（ＭＣ）回路２５及び減算器２６を直列に含む。また、ＭＣ回路２５は、（以下に説明されるように定義される）入力の記録されたフレーム及びフレームメモリ２４の出力から動き予測（ＭＥ）回路２７（多くのタイプの動き予測器が使用される場合がある）により生成される動きベクトルを受け、これら動きベクトルＭＶは、符号化モジュール１３の方向に送出され、その出力（“ＭＰＥＧ出力”）は、多重化されたビットストリームの形式で記憶又は送信される。
【００１０】
エンコーダのビデオ入力（連続するフレームＸｎ）は、前処理ブランチ１０３で前処理される。はじめに、ＧＯＰ構造定義回路３１は、ＧＯＰの構造を連続するフレームから定義するために提供される。フレームメモリ３２ａ，３２ｂ，．．．は、回路３１の出力で利用可能なＩ，Ｐ，Ｂフレームの系列を再び順序付けするために提供される（基準フレームは、該基準フレームに依存する非基準フレームの前に符号化及び送信される必要がある）。これら再び順序付けされたフレームは、減算器２６の正の入力に送出される（先に記載されたように、その負の入力はＭＣ回路２５の出力で利用可能な出力が予測されたフレームを受け、これら出力が予測されたフレームは加算器２３の第二の入力にも送出される）。減算器２６の出力は、符号化ブランチ１０１により処理された符号化されるべき信号であるフレームの差を伝達する。ＧＯＰ構造の定義について、ＣＣＳ計算回路３３は、その出力が回路３１の方向に送出され、最後に供給される。ＣＣＳの測定値は、先に示されたように得られる。
【発明の開示】
【課題を解決するための手段】
【００１１】
本発明の目的は、かかるＣＣＳ指示に基づいた、異なる用途のために新たな構造につながる処理方法を提案することにある。  
上記目的を達成するため、本発明は、本発明の導入節で記載された方法に関し、前記ＣＣＳの指示は、前記コンテンツのいずれかの特徴の検出のために更なる入力を提供するビデオコンテンツ分析ステップで再使用されることを更に特徴とする。
【００１２】
前記方法が実行されたとき、それぞれのフレームは、ブロック、セグメント、又は何れかの種類の形状からなるオブジェクトのような小構造にそれ自身が小分割される場合がある。
【００１３】
本発明の別の目的は、本発明の原理に基づいたコンテンツ分析ステップを含むビデオ符号化方法の実現への前記処理方法の適用を提案することにある。
【００１４】
このため、本発明は、請求項１記載の方法の連続するフレームからなる入力画像系列を符号化するために提供されるビデオ符号化方法の実現への適用に関し、前記符号化方法は、それぞれの連続するフレームについて、ａ）それぞれの現在のフレームについて、いわゆるコンテンツ変化強度（ＣＣＳ）を計算するサブステップ、連続するフレーム及び計算されたコンテンツ変化強度から、符号化されるべき連続するフレームの構造を定義するサブステップ、及び、オリジナルのフレーム系列の順序に関して変更された順序で符号化されるべきフレームを記憶するサブステップにより、それぞれ連続する現在のフレームを前処理するステップと、ｂ）再び順序付けされたフレームを符号化するステップを含み、前記ＣＣＳの指示は、コンテンツの特徴の検出のために更なる入力を提供するビデオコンテンツ分析ステップで再び使用される。  
また、本発明は、かかるビデオ符号化方法を実現するための装置に関する。
【発明を実施するための最良の形態】
【００１５】
本発明は、添付図面を参照して、例示を通して記載される。  
本発明の実施の形態は、たとえば以下の１つである場合がある。過去１０年は、（テキスト、画像、音声等のような幾つかのメディアのタイプから構成される）大型の情報のデータベースの発展を見てきており、かかる情報は、特徴付け、表現、索引付け、記憶、送信及び検索される必要があることが知られている。適切な例は、たとえばＭＰＥＧ−７規格、すなわち“Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｔｅｎｔ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ”に関連して与えられ、コンテンツベースの検索問題に焦点を当てている場合がある。この規格は、かかるメディアコンテンツを記載するための一般的なやり方を提案しており、様々なタイプのマルチメディア情報を記述するために使用することができる標準的な記述子のセットを規定するものであって、また、テキスト、カラー、テクスチャ、モーション、セマンティックコンテンツ等のような様々な特徴のタイプに基づいた高速かつ効果的な検索を可能にするため、これら記述子の関係を定義するためのやり方（記述子スキーム）を提案している。
【００１６】
マルチメディアコンテンツを処理するために提供される可能性のあるＭＰＥＧ−７処理チェインの概念的なブロック図は、図３に示されている。この処理チェインは、符号化サイドで、前記マルチメディアコンテンツで動作する特徴抽出サブアセンブリ３０１、ＭＰＥＧ−７規格が適用され、このエンドに、ＭＰＥＧ−７定義言語を得るためのモジュール３２１、及びＭＰＥＧ−７記述子及び記述スキームを定義するモジュール３２２を含む規範的なサブアセンブリ３０２、標準的な記述サブアセンブリ３０３、及び符号化サブアセンブリ３０４を含んでいる（図３は、また、符号化データの送信動作、これら記憶された符号化データの読取り動作の直後にあるデコーディングサブアセンブリ３０６、ユーザにより制御されるアクションに応答して機能するサーチエンジン３０７を含めて、デコードサイドで概念的な例示を与えている）。
【００１７】
サブアセンブリ３０３及び３０４を含む装置の更に詳細な概念は、図４に示されており、ここで幾つかの参照符号は、図４が類似の回路に対応するとき、図２に示された番号と類似の番号である。符号化サブアセンブリ３０４は、符号化ブランチを有し、ここでは、かかるブランチにより受信される符号化されるべき信号がＤＣＴモジュール４１１で係数に変換され、量子化モジュール４１２で量子化され、量子化された係数は、符号化モジュール４１３により受信された動きベクトルＭＶと共に、符号化モジュール４１３で符号化される。符号化サブアセンブリ３０４は、量子化モジュール４１２の出力で利用可能な信号を入力信号として受信する予測ブランチを含み、この予測ブランチは、逆量子化モジュール４２１、逆ＤＣＴモジュール４２２、加算器４２３、フレームメモリ４２４、ＭＣ回路４２５及び減算器４２６を直列に含む。また、ＭＣ回路４２５は、（以下に説明されるように定義される）入力の記録されたフレーム及びフレームメモリ４２４の出力からＭＥ回路４２７により生成された動きベクトルを受け、これら動きベクトルは、前記先のように、符号化モジュール４１３に向けて送出され、符号化モジュールの出力（“ビデオストリーム出力”）は、多重化されたビットストリームの形式で記憶又は送信される。
【００１８】
ここで提案される方法によれば、エンコーダのビデオ入力（連続するフレームＸｎ）は、前処理ブランチで前処理され、ＧＯＰ構造定義回路５３１は、ＧＯＰの構造を連続するフレームから定義し、フレームメモリ５３２ａ，５３２ｂ，．．．は、回路５３１の出力で利用可能なＩ，Ｐ，Ｂフレームの系列を再び順序付けするために提供される（基準フレームは、符号化され、基準フレームに依存する非基準フレームの前に送信される必要がある）。これら再び順序付けされたフレームは、減算器４２６の正の入力に送出され、減算器４２６の負の入力は、先に記載されたように、ＭＣ回路４２５の出力で利用可能な出力予測フレームを受け（これら予測されたフレームは加算器４２３の第二の入力に送出され）、減算器４２６の出力は、符号化ブランチにより処理される信号であるフレーム差を伝達する。ＧＯＰ構造の定義について、ＣＣＳ計算回路５３３は、その出力が回路５３１に送出され、最終的に提供され、先に示されたように得られたＣＣＳの測定値は、コンテンツ分析回路５４０に送出され、このコンテンツ分析回路は、実際に、サブアセンブリ３０３のメイン回路である。サブアセンブリ３０３は、このように分析されたコンテンツを記述する標準的なエレメントを定義するため、標準的なサブアセンブリ３０２に接続される。
【００１９】
回路５４０は、たとえば、オリジナルビデオのジャンル及びムードを検出するといった、検出の種類について、又は、たとえば、シーンにおけるフレームの類似性のため、変化しないコンテンツが更に処理されることを示すシーンの１つのフレームといった、ビデオ要約の観点で前記ビデオをプリフィルタリングするといった他のタイプの処理について更なる入力を提供することができる。
【００２０】
本発明は、上述された実施の形態に限定されるものではなく、変形及び変更が特許請求の範囲で定義されるように本発明の精神及び範囲から逸脱することなしに提案される場合があることを理解されたい。この点で、以下に結びの説明がなされる。
【００２１】
ハードウェア又はソフトウェア、若しくはその両者のアイテムにより、本発明に係る方法の機能を実現する様々な方法が存在する。図面は、非常に概略的であり、本発明の可能性のある１実施の形態のみを表す。図面が異なるブロックとして異なる機能を示す場合、ソフトウェアのハードウェアの１つのアイテムが幾つかの機能を実行することを排除せず、ハードウェアのアイテムのアセンブリがソフトウェアであるか、１つの機能を共に実行することを排除しない。かかるハードウェア又はソフトウェアアイテムは、配線された電子回路によるか、適切なやり方で適切にプログラムされた集積回路によるような、幾つかのやり方で実現することができる。
【００２２】
以下の請求項における参照符号は、それらを制限するとして解釈されるべきではない。動詞「有する“ｔｏ  ｃｏｍｐｒｉｓｅ”」及びその派生語の使用は、請求項で定義されたステップ又はエレメント以外のステップ又はエレメントの存在を排除するものではない。エレメント又はステップに先行する冠詞“ａ”又は“ａｎ”は、複数の係るエレメント又はステップの存在を排除するものではない。
【図面の簡単な説明】
【００２３】
【図１】符号化されるべきビデオ系列の基準フレームの位置を定義するため、先に引用された欧州特許出願で使用されるルールを示す図である。
【図２】かかる欧州特許出願で記載される方法をＭＰＥＧ符号化のケースで実行するのを可能にするエンコーダを例示する図である。
【図３】ＭＰＥＧ−７処理チェインを概念的に示すブロック図である。
【図４】本発明に係る方法を実行するエンコーダを示す図である。
【図１】
2007531445.tif 000003
【図２】
2007531445.tif 000004
【図３】
2007531445.tif 000005
【図４】
2007531445.tif 000006
【国際調査報告】
2007531445.tif 000007
2007531445.tif 000008
2007531445.tif 000009