(57)【要約】本発明は、スライスに分割される連続するフレームから構成されるビデオストリームの形式で利用可能なデジタル符号化ビデオデータを処理する方法に関する。フレームは、少なくとも、他のフレームを参照することなしに符号化されるＩフレーム、Ｉフレーム間で一時的に配置され、少なくとも前のＩフレーム又はＰフレームから予測されるＰフレーム、ＩフレームとＰフレームとの間に配置されるか、２つのＰフレーム間で配置されるか、それらが配置される少なくともこれら２つのフレームから双方向に予測されるＢフレームを含む。処理方法は、現在のフレームのそれぞれのスライスについて、関連するスライス符号化パラメータと、それぞれのスライスで符号化される領域間の空間の関係に関連するパラメータとを判定するステップ、現在のフレームの全ての連続するスライスのための前記パラメータを収集し、前記パラメータに関連する統計量を伝達するステップ、前記フレームにおける関心のある領域（ＲＯＩ）を判定するために前記統計量を分析するステップ、判定された前記関心のある領域を目標とする、符号化されたデータの選択的な使用を可能にするステップを含む。
2008521265.tif 000002
【特許請求の範囲】
【請求項１】
スライスに分割される連続するフレームから構成されるビデオストリームの形式で利用可能なデジタル符号化ビデオデータを処理する方法であって、
前記フレームは、他のフレームを参照することなしに符号化されるＩフレーム、Ｉフレーム間で時間的に配置され、少なくとも前のＩフレーム又はＰフレームから予測されるＰフレーム、及び、ＩフレームとＰフレームとの間に時間的に配置されるか、２つのＰフレームの間に時間的に配置され、それらが配置される少なくとも２つのフレームから双方向に予測されるＢフレームを含んでおり、
当該処理方法は、
現在のフレームのそれぞれのスライスについて、関連するスライス符号化パラメータと、それぞれのスライスで符号化される領域間の空間の関係に関連するパラメータとを判定するステップと、
前記パラメータに関連する統計量を伝達するため、現在のフレームの全ての連続するスライスについて前記パラメータを収集するステップと、
前記現在のフレームにおける関心のある領域（ＲＯＩ）を判定するために前記統計量を分析するステップと、
判定された前記関心のある領域を目標とする、符号化されたデータの選択的な使用を可能にするステップと、
を含む方法。
【請求項２】
前記処理されたビデオストリームのシンタックス及びセマンティクスは、Ｈ．２６４／ＡＶＣ規格のシンタックス及びセマンティクスである、
請求項１記載の処理方法。
【請求項３】
スライスに分割される連続するフレームから構成されるビデオストリームの形式で利用可能なデジタル符号化ビデオデータを処理する装置であって、
前記フレームは、他のフレームを参照することなしに符号化されるＩフレーム、Ｉフレーム間で時間的に配置され、少なくとも前のＩフレーム又はＰフレームから予測されるＰフレーム、及び、ＩフレームとＰフレームとの間に時間的に配置されるか、２つのＰフレームの間に時間的に配置され、それらが配置される少なくとも２つのフレームから双方向に予測されるＢフレームを含んでおり、
当該処理装置は、
現在のフレームのそれぞれのスライスについて、関連するスライス符号化パラメータと、それぞれのスライスで符号化される領域間の空間の関係に関連するパラメータとを判定する手段と、
前記パラメータに関連する統計量を伝達するため、現在のフレームの全ての連続するスライスについて前記パラメータを収集するために設けられる手段と、
前記現在のフレームにおける関心のある領域（ＲＯＩ）を判定するために前記統計量を分析するために設けられる分析手段と、
判定された前記関心のある領域を目標とする、符号化されたデータの選択的な使用を可能にするために設けられるアクチベート手段と、
を有する装置。
【請求項４】
スライスに分割される連続するフレームから構成されるビデオストリームの形式で利用可能なデジタル符号化ビデオデータを処理するために構成されるビデオ処理装置のコンピュータプログラムであって、
前記フレームは、他のフレームを参照することなしに符号化されるＩフレーム、Ｉフレーム間で時間的に配置され、少なくとも前のＩフレーム又はＰフレームから予測されるＰフレーム、及び、ＩフレームとＰフレームとの間に時間的に配置されるか、２つのＰフレームの間に時間的に配置され、それらが配置される少なくとも２つのフレームから双方向に予測されるＢフレームを含んでおり、
当該コンピュータプログラムは、コンピュータにより実行可能な命令のセットを含み、ビデオ処理装置にロードされたとき、前記ビデオ処理装置に、
現在のフレームのそれぞれのスライスについて、関連するスライス符号化パラメータと、それぞれのスライスで符号化される領域間の空間の関係に関連するパラメータとを判定するステップと、
前記パラメータに関連する統計量を伝達するため、現在のフレームの全ての連続するスライスについて前記パラメータを収集するステップと、
前記現在のフレームにおける関心のある領域（ＲＯＩ）を判定するために前記統計量を分析するステップと、
判定された前記関心のある領域を目標とする、符号化されたデータの選択的な使用を可能にするステップと、
を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スライスに分割される連続するフレームから構成されるビデオストリームの形式で利用可能なデジタル符号化ビデオデータを処理する方法に関するものであり、かかるフレームは、少なくとも、他のフレームを参照することなしに符号化されるＩフレーム、Ｉフレームの間に時間的に配置され、少なくとも前のＩ又はＰフレームから予測されるＰフレーム、及び、ＩフレームとＰフレームとの間に時間的に配置されるか、２つのＰフレームの間に配置され、それらが配置される少なくともこれら２つのフレームから双方向に予測されるＢフレームを含んでいる。
【背景技術】
【０００２】
コンテンツ分析技術は、ビデオマテリアルの注釈を自動的に形成することを狙いとする、マルチメディア処理、パターン認識及び人工知能のようなアルゴリズムに基づいている。これらの注釈は、色及びテクスチャのようなロウレベル信号に関連した特性から、顔の存在及び位置のようなハイレベル情報に変化する。このように実行されるコンテンツ分析の結果は、コマーシャル検出、シーンベースのチャプタリング、ビデオビュー及びビデオサマリのような多くのコンテンツに基づいたアプリケーションのために使用される。
【０００３】
確立された規格（たとえばＭＰＥＧ−２，Ｈ．２６３）及び登場している規格（たとえばＨ．２６４／ＡＶＣ，たとえば“Ｅｍｅｒｇｉｎｇ  Ｈ．２６４  ｓｔａｎｄａｒｄ：  Ｏｖｅｒｖｉｅｗ”及びＴＭＳ３２０Ｃ６４ｘＤｉｇｉｔａｌ  Ｍｅｄｉａ  Ｐｌａｔｆｏｒｍ  Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ−ｗｈｉｔｅ  ｐａｐｅｒ，  ｈｔｔｐ：／／ｗｗｗ．ｕｂｖｉｄｅｏ．ｃｏｍ／ｐｕｂｌｉｃに簡単に記載される）の両者は、ブロックベースの動き補償符号化の概念を使用している。したがって、原画像の近似を最終的に構成するビルディング２Ｄデータブロックについて、画像の属性（たとえばサイズ及びレート）及び空間−時間の相互関係及びデコード手順を記述するシンタックスエレメントとしてビデオが表現される。かかる表現を取得することにおける第一のステップは、ピクチャのＲＧＢデータマトリクスをＹＵＶマトリクスに変換することであり（ＲＧＢ色空間の表現は、画像の取得及びレンダリングのために使用される）、ルミナンス（Ｙ）及び２つのクロミナンス成分（Ｕ，Ｖ）が個別に符号化される。通常は、Ｕ及びＶフレームは、水平及び垂直方向にファクタ２ではじめにダウンサンプルされ、いわゆる４：２：０フォーマットが取得され、これによりデータ量の半分が符号化される（これは、ルミナンスにおける変化に比較して色の変化に対して、比較的低い人間の目の感度により判断される）。それぞれのフレームは、ルミナンス用の１６×１６画素、ダウンサイズされたクロミナンス用の８×８画素をサイジングして、複数のオーバラップしないブロックに更に分割される。１６×１６ルミナンスブロックと２つの対応する８×８クロミナンスブロックの組み合わせは、マクロブロック（又はＭＢ）、基本となる符号化ユニットとして示される。これらの変化は、全ての規格にとって一般的であり、様々な符号化規格（ＭＰＥＧ−２，Ｈ．２６３及びＨ．２６４／ＡＶＣ）間の違いは、ＭＢを小さなブロックに区分し、サブブロックを符号化し、ビットストリームを編成するためのオプション、技術及び手順に主に関する。
【０００４】
全ての符号化技術の詳細に進むことなしに、全ての規格が、イントラ及びインター（動き補償）といった２つの基本的な符号化タイプを使用していることが指摘される。イントラモードでは、イメージブロックの画素は、他の画素を参照することなしに、又は同じピクチャにおいて前に符号化及び再構成された画素からの予測に基づいて（Ｈ．２６４）、それ自身で符号化される。インターモードは、時間予測を使用し、所定のピクチャにおけるイメージブロックは、前に符号化及び再構成された基準ピクチャで「ベストマッチ」により予測される。実際のブロックとその予測との間の画素毎の差（又は予測誤差）、現実のブロックの座標に関する予測の相対的な変位（又は動きベクトル）は、個別に符号化される。
【０００５】
符号化タイプに依存して、３つの基本的なタイプのピクチャ（又はフレーム）が定義され、Ｉピクチャはイントラコーディングのみが可能であり、Ｐピクチャは前方予測に基づいてインターコーディングが可能であり、Ｂピクチャは、後方又は双方向の予測に基づいてインターコーディングを更に可能にする。図１は、たとえば、２つの基準ピクチャＰｉ＋１及びＰｉ＋３から、ＢピクチャＢｉ＋２の双方向予測を示しており、動きベクトルは、曲線の矢印により示され、Ｉｉ，ＩｊはこれらＰピクチャとＢピクチャが配置される２つの連続するＩピクチャを示している。Ｂピクチャのそれぞれのブロックは、過去のＰピクチャからのブロックにより予測されるか、将来のＰピクチャからのブロックにより予測されるか、それぞれが異なるＰピクチャからである２つのブロックの平均により予測される。高速のサーチ、編集、エラーの弾性等のサポートを提供するため、符号化ビデオピクチャの系列は、一連のグループオブピクチャ、又はＧＯＰに通常は分割される（図１は関連されるビデオ系列のｉ番目のＧＯＰを示す）。それぞれのＧＯＰは、Ｉピクチャで始まり、Ｐピクチャ、及び任意にＢピクチャの配列が後続する。図１では、Ｉｉは例示されたｉ番目のＧＯＰの開始ピクチャであり、Ｉｊは図示されない後続のＧＯＰの開始ピクチャである。さらに、それぞれのピクチャは、連続するＭＢのオーバラップしないストリング、すなわちスライスに分割され、同じピクチャの異なるスライスが互いに独立に符号化される（あるスライスは全体のピクチャを含む）。ＭＰＥＧ−２では、ピクチャの左エッジは、新たなスライスを常に開始し、スライスはピクチャにわたり左から右に常にランする。他の規格では、より柔軟なスライスの構成も可能であり、Ｈ．２６４について、このことが更に詳細に以下に説明される。
【０００６】
したがって、符号化されたビデオ系列は、シーケンスレイヤ、ＧＯＰレイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤを含む、レイヤの階層で定義され、それぞれのレイヤは、記述のヘッダデータを含んでいる（図２は、Ｈ．２６３ビットストリームのシンタックスのケースでこれを示している）。たとえば、ピクチャレイヤＰＬは、ピクチャの開始を識別する２２ビットピクチャスタートコード（ＰＳＣ）、デコードされたピクチャをそれらのオリジナルの順序に揃える８ビットテンポラルリファレンス（ＴＲ）（Ｂピクチャを使用するとき、符号化順序は表示順序と同じではない）を含んでいる。スライスレイヤ、又はこのケースではグループオブブロックレイヤ又はＧＯＢＬ（ＧＯＢはピクチャのｋ×１６ラインを含む）は、ＧＯＢの開始（ＧＢＳＣ）、ピクチャにおけるＧＯＢの数（ＧＮ）、ＧＯＢのピクチャアイデンティフィケーション（ＧＦＩＤ）等を示すコードワードを含む。最後に、マクロブロックレイヤ（ＭＢＬ）及びブロックレイヤ（ＢＬ）は、マクロブロックレベル、変換係数（ＴＣＣＯＥＦ）、ブロックレイヤレベルで、動きベクトルデータ（ＭＶＤ）のような、符号化タイプ情報と現実のビデオデータを含む。
【０００７】
Ｈ．２６４／ＡＶＣは、ＩＴＵ−Ｔ及びＩＳＯ／ＩＥＣ  ＭＰＥＧの最新のジョイントビデオコーディング規格であり、ＩＴＵ−Ｔ勧告Ｈ．２６４／ＡＶＣ及びＩＳＯ／ＩＥＣ国際標準１４４９６−１０（ＭＰＥＧ−４  Ｐａｒｔ１０）Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）として最近に承認されている。Ｈ．２６４／ＡＶＣ規格の主な目標は、（所与のビデオの忠実度を達成するために必要とされるビット数を半分にすることで）圧縮効率及びネットワーク適合を著しく改善することである。現在、Ｈ．２６４／ＡＶＣは、これらの目標を達成するために広く認識され、幾つかのアプリケーションドメイン（次世代ワイヤレスコミュニケーション、ビデオフォン、ＨＤＴＶストレージ及びブロードキャスト、ＶＯＤ等）における適合のため、ＤＶＢ，ＤＶＤ  Ｆｏｒｕｍ、３ＧＰＰのようなフォーラムにより現在検討されている。インターネットでは、Ｈ．２６４／ＡＶＣに関する情報を提供する益々多くのサイトがあり、このうち、ＩＴＵ−Ｔ／ＭＰＥＧ  ＪＶＴ［Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ］のオフィシャルデータベース（ｆｔｐ．ｉｍｔｃ−ｆｉｌｅｓ．ｏｒｇ／ｊｖｔ−ｅｘｐｅｒｔｓにあるＪＶＴのオフィシャルＨ．２６４ドキュメント及びソフトウェア）は、ドラフトアップデートを含めて、Ｈ．２６４／ＡＶＣの展開及びステータスを反映するドキュメントへの自由なアクセスを提供する。
【０００８】
多様なネットワークに適応して、データエラー／損失に対するロバスト性を提供するための、上述されたＨ．２６４のフレキシビリティは、幾つかの設計の態様によりイネーブルにされ、そのうち、以下の態様は、後の幾つかのパラグラフで記載される本発明に最も関連している。
【０００９】
（ａ）ＮＡＬユニット（ＮＡＬ＝Ｎｅｔｗｏｒｄ  Ａｂｓｔｒｕｃｔｉｏｎ  Ｌａｙｅｒ）：ＮＡＬユニット（ＮＡＬＵ）は、ビデオ及びノンビデオデータを含む整数のバイト数から効率的に構成される、Ｈ．２６４／ＡＶＣにおける基本の論理データユニットである。それぞれのＮＡＬユニットの第一のバイトは、ＮＡＬユニットにおけるデータのタイプを示すヘッダバイトであり、残りのバイトは、ヘッダにより示されるタイプのペイロードデータを含む。ＮＡＬユニットの構造の定義は、パケット指向（たとえばＲＴＰ）及びビットストリーム指向（たとえばＨ．３２０及びＭＰＥＧ−２｜Ｈ．２２２）にトランスポートシステムの両者で使用するための一般的なフォーマットを規定し、エンコーダにより生成される一連のＮＡＬＵは、ＮＡＬＵストリームと呼ばれる。
【００１０】
（ｂ）パラメータセット：パラメータセットは、めったに変化しないことが期待される情報を含み、多数のＮＡＬユニットに適用される。したがって、パラメータセットは、更にフレキシブル及びロバストな扱いのため、他のデータから分離される（前の規格では、ヘッダ情報は、ストリームで頻繁に繰り返され、かかる情報のキービットの損失は、デコーディングプロセスに深刻なネガチブのインパクトを有する）。２つのタイプのパラメータセットが存在し、シーケンスと呼ばれる連続的な符号化されたピクチャの系列に適用されるシーケンスパラメータセット、及び系列での１以上のピクチャのデコーディングに適用されるピクチャパラメータセットがある。
【００１１】
（ｃ）フレキシブルマクロブロックオーダリング（ＦＭＯ）：ＦＭＯは、スライスグループと呼ばれる領域にピクチャを区分する新たな機能を示し、それぞれのスライスは、スライスグループの独立にデコード可能なサブセットとなる。それぞれのスライスグループは、グループマップにスライスするためにマクロブロックにより定義されるマクロブロックのセットであり、このグループマップは、ピクチャパラメータセットのコンテンツ（先を参照）及びスライスヘッダからの幾つかの情報により規定される。ＦＭＯを使用して、ピクチャは、たとえば（ＦＭＯを使用したときにスライスへのピクチャの小分割の例を与える）図３に示されるように、多数のマクロブロックのスキャニングパターンに分割することができ、これは、それぞれのスライスで符号化される領域間の空間的な関係を管理する能力を著しくエンハンスすることができる。
【００１２】
コンピューティング、コミュニケーション及びデジタルデータストレージにおける最近の発展は、プロフェッショナル及びコンシューマ環境の両者における大規模なデジタルアーカイブの著しい成長につながっている。これらアーカイブは、顕実に増加するキャパシティ及びコンテンツの多様さにより特徴づけされるため、関心のある記憶されている情報を迅速に検索する効率的な方法を発見することが重要である。テラバイト規模の編成されていない記憶されたデータを通して手動でサーチすることは、面倒で時間のかかるものであり、結果的に、情報サーチ及び検索タスクを自動化されたシステムに移行する必要が増加している。
【００１３】
構造化されていないビデオコンテンツの大規模のアーカイブにおけるサーチ及び検索は、先に示されたようなアルゴリズムに基づいて、コンテンツ分析技術を使用してコンテンツが索引付けされた後に通常実行される。特定のオブジェクトの存在及びロケーション（たとえば顔、重ね合わせされたテキスト）を検出し、ビデオフレームのうちからトラッキングすることは、コンテンツの自動的な注釈及び索引付けのための重要なタスクである。可能性のあるオブジェクトのロケーションの先験的な知識なしに、オブジェクト検出アルゴリズムは、フレーム全体をスキャンする必要があり、計算リソースのかなりの消費につながる。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明の目的は、ストリームのシンタックスを見ることで、Ｈ．２６４／ＡＶＣビデオにおける関心のある領域（ＲＯＩ：ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）の符号化の使用を良好な計算効率で検出するのを可能にする方法を提案することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明は、本明細書の開始節で定義されるような処理方法に関するものであり、当該方法は、現在のフレームのそれぞれのスライスについて、関連するスライス符号化パラメータと、それぞれのスライスに符号化される領域間の空間的な関係に関連するパラメータとを決定するステップと、前記パラメータに関連される統計量を伝達するため、現在のフレームの全ての連続するスライスについて前記パラメータを収集するステップと、前記現在のフレームにおける関心のある領域（ＲＯＩ）を決定するために前記統計量を分析するステップと、このように決定された関心のある領域をターゲットにされる、符号化されたデータの選択的な使用をイネーブルにするステップとを含む。
【００１６】
この技術的ソリューションを含むコンテンツ分析アルゴリズム（たとえば顔検出、オブジェクト検出等）は、全体のピクチャを手探りにスキャンするよりはむしろ、関心のある領域に焦点を当てる。代替的に、コンテンツ分析アルゴリズムは、パラレルに異なる領域で適用され、計算上の効率が増加する。
【発明を実施するための最良の形態】
【００１７】
本発明は、添付図面を参照して、例示を通して記載される。  
ピクチャをフレキシブルにスライスするＦＭＯの記載される機能を考慮して、ＦＭＯはＲＯＩタイプの符号化について大きく利用されることが期待される。このタイプの符号化は、（たとえば、ビデオ会議の用途では、話者の顔を捕捉するピクチャ領域は背景に比較して良好な品質で符号化される）コンテンツに依存して、ビデオ又はピクチャセグメントの不均等な符号化を示す。ＦＭＯはここで適用され、それぞれのピクチャにおける個別のスライスが顔を包含している領域に割り当てられるようなやり方で、小さな量子化ステップがかかるスライスで選択され、画質を向上させる。
【００１８】
この考慮に基づいて、ストリームの所定部分にＲＯＩ符号化が適用されていることを示すための手段として、ストリームにおけるＦＭＯの使用を分析することが提案される。ＲＯＩの示唆をエンハンスするため、ＲＯＩの境界の検出を最終的に可能にするため、ＦＭＯ情報は、スライスヘッダから抽出される情報、及びスライスを特徴づけするストリームにおける他のデータと結合される。この更なる情報は、ピクチャにおけるサイズ及び相対的な位置のようなスライスの物理的な属性、又はスライスに含まれるマクロブロックのデフォルトの量子化スケール（たとえば図２における“ＧＱＵＡＮＴ”）のような符号化判定に関連する。中心となる考えは、一連の連続するピクチャを通して、ＦＭＯに関連するシンタックスエレメントの統計量及びスライスレイヤ情報を分析することである。これらの統計量における所定の一貫性又はパターンがひとたび観察されると、コンテンツのその部分におけるＲＯＩ符号化の良好な示唆となる。たとえば、ビデオ会議におけるＦＭＯの上述された示唆は、かかるアプローチにより容易に検出することができる。
【００１９】
提案されるＲＯＩ符号化の検出からの大きな利益を得る用途は、コンテンツ分析である。たとえば、多くの用途におけるコンテンツ分析の典型的な目標は、顔認識であり、個別に実行される顔検出により通常は先行される。ここで記載される方法は、顔認識アルゴリズムが、ピクチャ全体にわたり手探りに適用されるよりはむしろ最も重要なスライスをターゲットとするようなやり方で、後者で特に利用される。代替的に、アルゴリズムは、パラレルに異なるスライスで適用され、計算上の効率を増加させるものである。ＲＯＩ符号化は、ビデオ会議以外の用途で使用される。たとえば、映画のシーンでは、コンテンツの部分は、フォーカスされており、他の部分はフォーカス外であり、これはシーンにおけるフォアグランドとバックグランドの分離に対応する。したがって、これらの部分は、オーサリングプロセスの間に分離され、不均一に符号化されることが考えられる。本方法によるかかるＲＯＩ符号化の検出は、コンテンツ分析アルゴリズムの更に選択的な使用をイネーブルにするのに役立つ。
【００２０】
図４には、本発明に係る方法の実現のための処理装置が示されており、この図は、たとえばＨ．２６４／ＡＶＣビットストリームのケースにおいて、先に説明されたコンセプトを説明している（前記例は本発明の範囲の限定ではない）。例示される装置では、デマルチプレクサ４１は、トランスポートストリームＴＳを受け、分離された（ｄｅｍｕｌｔｉｐｌｅｘｅｄ）オーディオ及びビデオストリームＡＳ及びＶＳを生成する。オーディオストリームＡＳは、オーディオデコーダ５２に送出され、（回路４４及び４５において）説明で後に記載されるように処理されるデコードされたオーディオストリームＤＡＳを生成する。ビデオストリームＶＳは、回路４４により受信されたデコードされたビデオストリームＤＶＳを伝達するため、Ｈ．２６４／ＡＶＣデコーダ４２により受信される。このデコーダ４２は、エントロピー復号化回路４２１、逆量子化回路４２２、逆変換回路４２３（逆ＤＣＴ回路）及び動き補償回路４２４を主に有している。デコーダ４２では、ビデオストリームＶＳは、ＦＭＯに関連される受信された符号化パラメータを収集するために提供される、いわゆるＮＡＬＵ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ  Ｕｎｉｔ）４２５により受信される。
【００２１】
前記ユニット４２５の出力信号は、ＦＭＯに関連する統計的な情報である。前記情報は、ＲＯＩ検出及び識別回路４３により受信され、この回路は、このＦＭＯ情報と、エントロピー復号化回路４２１から抽出された情報であって、（ピクチャにおけるサイズ及び相対的な位置、所定のスライス内のマクロブロックのデフォルトの量子化スケール、ＦＭＯを特徴づけするグループマップをスライスするマクロブロック等のような）ピクチャのスライスの幾つかの構造的な属性に関連する情報とを結合する（前記属性はスライス符号化パラメータと呼ばれる）。ＦＭＯ情報は、パラメータセットにより伝達され、このパラメータセットは、アプリケーション及びトランスポートプロトコルに依存して、Ｈ．２６４／ＡＶＣストリームで多重化されるか、又は図４に破線で例示されるような、信頼できるチャネルＲＣＨを通して個別にトランスポートされる。
【００２２】
上述のように、本発明の原理は、ＦＭＯに関連されるシンタックスエレメントの統計量、及びスライスレイヤ情報（並びにスライスを特徴付けるストリームにおける他のデータ）を、一連の連続するピクチャを通して分析することであり、前記分析は、たとえば、予め決定された閾値との比較に基づいている。たとえば、ＦＭＯの存在が観察され、スライスの数、相対的な位置及びサイズが多数の連続するピクチャに沿って変化する量が分析され、符号化ストリームにおけるＲＯＩの使用の検出及び識別の観点での前記分析は、ＲＯＩ検出及び識別回路４３で行われる。Ｈ．２６４規格のケースでは、本発明の中心となる考えは、一連の連続的なＨ．２６４符号化ピクチャに沿ってＦＭＯの使用を検出することで潜在的なＲＯＩを検出し、かかるフレキシブルスライスの数、相対的位置及びサイズがピクチャからピクチャに変化する量の統計的な分析を利用することである。全ての関連する情報は、Ｈ．２６４ビットストリームからの関連するシンタックスエレメントを分析することで抽出することができる。例は、図５〜図７に以下に例示される。
【００２３】
図５は、ＲＯＩ符号化が便利であるビデオ系列からの抜粋を示している（説明される例では、抜粋は系列のフレーム番号１，１０，５０及び１００を含む）。ＲＯＩは、このケースの顔であり、たとえば（ａ）及び（ｂ）に示されるように、ＦＭＯスライシングを使用してバックグランドから分離され、オプション（ａ）は、顔のそれぞれについて、コーディングデシジョン、すなわち画質を変えるために更なるオプションを明らかに提供する。ＦＭＯスライス構造へのＲＯＩの幾つかのマッピングが可能である。このケースでは顔であるＲＯＩ、及びそれぞれのピクチャにおける空間的な位置は、多数のピクチャにわたりむしろ固定されている。したがって、ＦＭＯスライス構造は、「スライスグループ」のそれぞれの相対的なサイズ及び位置であり、ピクチャからピクチャへの多く変化しないことが期待される。
【００２４】
図６及び図７は、提案されたように、ＲＯＩ符号化の検出を可能にする処理ステップを大まかに説明する。基本的に、Ｈ．２６４ビデオにおける潜在的なＲＯＩをローカライズする（及び、特にビデオ会議及びビデオフォンアプリケーションにおいて顔のトラッキングを行う）ための可能なストラテジを説明しており、図４のＲＯＩ検出及び識別回路４３の更に詳細な概観を与え、そこから表記の幾つかを再使用する。このケースでは、「ＦＭＯ及びスライス情報」は、到来するＨ．２６４ビットストリームを分析することで抽出されるものであり、主に以下を示す。
【００２５】
ストリームにおける任意のピクチャのサイズ、又は（ピクチャパラメータセットを介して個別に伝達される）多数の連続するピクチャのサイズ及びレート；  
（マクロブロック割り当てマップ、すなわちＭＢＡマップに含まれる）スライスグループへのピクチャにおけるそれぞれのマクロブロックの割り当てに関する情報；  
たとえばマクロブロックの量子化スケールに関する符号化判定といった、ピクチャにおけるそれぞれのマクロブロックに符号化品質に関する情報。
【００２６】
全てのこの情報と、マクロブロックのサイズが固定され、１６×１６画素であると知られている事実を使用して、以下のような関連する情報を導出することができる。  
それぞれのピクチャにおけるスライス数；
たとえば「チェックボード“ｃｈｅｃｋ−ｂｏａｄ”」対「矩形及びフィル“ｒｅｃｔａｎｇｕｌａｒ  ａｎｄ  ｆｉｌｌｅｄ”」といった、スライスのそれぞれにおけるマクロブロックスキャニング（図３参照）；
ピクチャにおけるそれぞれの「矩形及びフィル」スライスのサイズ及び相対的な位置（すなわちピクチャの境界からの距離）；
シングルスライス内でのマクロブロックレベルの符号化判定の統計量（たとえばマクロブロックの量子化パラメータ）；
スライスレベルの符号化判定における類似性／相違（たとえばスライスにおける全てのマクロブロックの平均量子化パラメータ）。  
この上記列挙された情報は、図５に係る顔のＲＯＩ符号化を検出するために明らかに十分である。
【００２７】
関連する情報が最終判定に到達するためにどのように評価されるべきかに関する更なる詳細を知られるため、異なるストラテジが可能である。回路４３の例を示す図６では、１以上のアナライザ６１（１），．．．，６１（ｉ），．．．，６１（Ｎ）間で切り替えるオプションとして説明されている（実際には、特にソフトウェアで同じ装置で異なるアナライザを実現することが確かに可能である）。アナライザの選択を支配する外部情報は、たとえばアプリケーションの表記又は知識である。したがって、本システムは、到来するＨ．２６４ビットストリームがビデオ会議の記録又はＤＶＤ映画シーンからのダイアログに対応するかを前もって知る場合があることが考えられる（先に説明されたように、かかる手掛りは「外部」コンテンツ分析を適用することで得られ、Ｈ．２６４ビデオを伴うオーディオデータをも含む）。
【００２８】
ここで、例となる可能な実施の形態の専用のＲＯＩアナライザが記載される。図７は、ビデオ会議／ビデオフォンの例を取り上げた、例示される実施の形態に関する簡略化された概念を与える（この例は、本発明の範囲の限定ではなく、他の例も正確なアプリケーションに依存して考案される）。判定ロジックの例は簡単であり、これらのアプリケーションにおいて、所定の時間でピクチャにおいて唯一の話者であり、ピクチャはカメラの僅かな動きで捕捉されることが考慮される。ＲＯＩ符号化は、典型的に、バックグランドから話者を分離するために利用され、ピクチャスライス構造は、時間につれて次第に変化することが期待される。「チェックボード」マクロブロックのオーダリングの重要な点は、２つのスライスグループのうちの１つを失うときでさえ（図３におけるスライスグループ＃０又はスライスグループ＃１）、それぞれ失われた（内側の）ＭＢは、失われた情報を隠すために使用される４つの隣接するＭＢを有することで説明される。したがって、この構成は、エラーを受けやすい環境におけるＲＯＩ符号化にとって非常に魅力的にみえる。明らかに、異なるストラテジは、（たとえば、音声検出／話者トラッキング／認証により前もって予測される）期待される話者数に依存して、映画のダイアログにおける顔検出のために利用される。また、同じ時間で多くの基準及び判定を結合して、より複雑な判定ロジックが実現される。
【００２９】
図６のアナライザ６１（１）〜６１（Ｎ）の何れか１つにおける判定ロジックは、たとえば、図７に示されるステップのセットにより例示される。かかる図７では、ＱＵＡＮＴは、量子化パラメータの表記であり、その選択は、符号化プロセスの品質、すなわち画質を直接に反映している（一般に、量子化ステップが低くなると、品質が良好になる）。したがって、所与のスライスにおける全てのブロックの平均量子化がピクチャの他の場所での平均量子化に一貫して、かつ実質的に低い場合、このスライスが良好な品質で慎重に符号化されており、したがってＲＯＩを含むことを意味する（図５では、平均ＱＵＡＮＴは、たとえばＳｌｉｃｅＧｒｏｕｐ＃０について２４．４３であり、ＳｌｉｃｅＧｒｏｕｐ＃１について１６．２であり、たとえば閾値は１．５に設定され、２４．４３／１６．２＝１．５であるので条件が一致し、ＱＵＡＮＴを検査する他の構成も可能である）。ＱＵＡＮＴの選択は、画質を直接に反映する可能性のある符号化判定のうちの１つである。別の選択は、たとえば、マクロブロック又はそのサブブロックのイントラ／インターデシジョンであり、多数のマクロブロックが反復的にイントラ符号化される場合、すなわちインターＢピクチャ又はＰピクチャでさえ、同じスライスにおいて、隣接するピクチャへの一時的な参照がない場合、これは、動き予測誤差の累積を回避するためにスライスが更に頻繁にリフレッシュされることを示す。他の符号化判定は、符号化品質を反映するためにＨ．２６４で選択される。
【００３０】
図７を参照して説明される例では、アナライザ６１（１）〜６１（Ｎ）の何れかにおける判定ロジックは、たとえば以下のステップを有する。
【００３１】
入力  ：系列Ｐ＝｛Ｐｉ−ｎ，．．．，Ｐｉ−２，Ｐｉ−１，Ｐｉ｝；
７０１：前記系列では、同じ数のスライスを有する連続するピクチャの数が、所与の閾値Ｔよりも大きいか？；
Ｎｏである場合、エグジットするか、又は新たな入力系列を受ける（＝ステップ７１０）；
Ｙｅｓである場合、ステップ７０２（すなわち、サブ系列Ｑ＝｛Ｐｊ，．．．，Ｐｋ｝を考える）、ステップ７０３が続く；
７０３：Ｑのピクチャにおけるスライス数が２に等しいか？
Ｎｏである場合、ステップ７１０に進む；
Ｙｅｓである場合、ステップ７０４（すなわち、ＱにおけるピクチャＰｋからのスライスＳｊを考える）に進み、ステップ７０５が続く。
【００３２】
７０５：Ｑの全てのピクチャに沿って測定されたＳｊのサイズ及び相対的な位置の分散が値Ｙよりも小さいか？
Ｎｏである場合、ステップ７０６に進む（又はステップ７０７）；
Ｙｅｓである場合、ステップ７０８に進む；
７０６：スライスＳｊはチェックボードのＭＢロケーションを有するか？
Ｎｏである場合、ステップ７０７に進む；
Ｙｅｓである場合、ステップ７０８に進む；
７０７：あるファクタだけ比較的高いＳｊにおけるＱＵＡＮＴの値が閾値Ｒよりも大きいか？
Ｙｅｓである場合、ステップ７０８に進む。
【００３３】
７０８：（ステップ７０５，７０６，７０７の出力からの）３つの“Ｙｅｓ”のうちの少なくとも２つが受信されたか？
Ｎｏである場合、ステップ７１０に進む。
【００３４】
Ｙｅｓである場合、ステップ７０９に進み、すなわち“サブ系列ＱにおけるスライスＳｊが潜在的なＲＯＩを囲む”ことが検出される。
【００３５】
しかし、この例は、本発明の範囲の限定ではなく、（たとえばファジーロジックのような）より洗練された判定ロジックが実現されることを理解されたい。
【００３６】
統計量の一貫性がひとたび確立されると、これは、コンテンツのその部分におけるＲＯＩ符号化の良好な示唆であり、スライスはＲＯＩに一致し、この情報はコンテンツ分析回路４４で実行されるコンテンツ分析をエンハンスするために通過される。したがって、回路４４は回路４３の出力を受け（コネクション（１）により送出された制御信号）、デコーダ４２の動き補償回路４２４により伝達されるデコードされたビデオストリームＤＶＳ、オーディオデコーダ５２により伝達されたデコードされたオーディオストリームＤＡＳは、前記情報に基づいて、（ニュース、音楽クリップ、スポーツ等のような）所定のコンテンツのジャンルを識別する。コンテンツ分析回路４４の出力は、メタデータから構成され、すなわち、一般に使用されたＣＰＩ（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ  Ｐｏｉｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）テーブルの形式で、デコードされたストリームに含まれる異なるレベルの情報の記述データから構成される。これらのメタデータは、ビデオサマライズ及びオートマチックチャプタリングのようなアプリケーションにとって利用可能である（本発明は、しかし、顔に対応するピクチャ領域が、バックグランドに対応する領域に比較して良好な品質で、又はよりロバストに符号化されるように、話者の顔を検出及び追跡するための一般的なアプローチビデオ会議のケースで特に有効であることが思い出される）。
【００３７】
改善された実施の形態では、コンテンツ分析回路４４の出力は、（コネクション（２）により）ＲＯＩ検出及び識別回路４３に送信され、この回路は、たとえば、そのコンテンツにおけるＲＯＩ符号化の可能性に関する更なる手掛かりを提供することができる。
【図面の簡単な説明】
【００３８】
【図１】ビデオ系列のＧＯＰの例を示し、ＧＯＰのＢピクチャの双方向予測を例示する図である。
【図２】ある系列におけるレイヤの階層、及びＨ．２６３ビットストリームシンタックスのケースでこれらのレイヤで使用されるコードワードを示す図である。
【図３】フレキシブルマクロブロックオーダリングを使用したとき、スライスにピクチャを小分割する例を与える図である。
【図４】本発明に係る処理方法の実現のための装置の例に関するブロック図である。
【図５】ＦＭＯを使用したＲＯＩ符号化が便利なビデオ系列の抜粋を示す図である。
【図６】Ｈ．２６４における関心のある領域をローカライズするストラテジの例を示す図である。
【図７】関心のある領域の検出をイネーブルにする処理ステップを示す図である。
【図１】
2008521265.tif 000003
【図２】
2008521265.tif 000004
【図３】
2008521265.tif 000005
【図４】
2008521265.tif 000006
【図５】
2008521265.tif 000007
【図６】
2008521265.tif 000008
【図７】
2008521265.tif 000009
【国際調査報告】
2008521265.tif 000010
2008521265.tif 000011