(57)【要約】  改良された符号化効率のために、内容適応動画像フレーム・スライシング及び非一様アクセス・ユニット符号化を行うための技術が提供される。単一ＶＡＵ内のカメラ・パン又はカメラ・スクロールから成る全体的な動き検出に応答し、種々異なるスライス符号化型式に関連して、フレキシブル・マクロブロック・オーダリング（ＦＭＯ）を使用する単一非一様動画像アクセス・ユニット（ＶＡＵ）を処理する（符号化または復号する）ための、符号器と復号器が開示される。
2010515302.tif 000002
【特許請求の範囲】
【請求項１】
スライス・グループ及びスライスへの内容適応フレーム分割を実行するために、及び、非一様動画像アクセス・ユニット（ＶＡＵ）符号化を、単一ＶＡＵにおいて、１又は複数のスライス符号化型式を使用して実行するために、機能するプロセッサ、及び
該プロセッサに結合されるメモリ
を具備する装置。
【請求項２】
該プロセッサは、内容適応フレーム分割を実行する場合に、１又は複数のフレームの１又は複数のショット境界を検出するために、該１又は複数のフレームの動き場を計算するために、該１又は複数のフレームをセグメントに分割するために、及び、該１又は複数のフレームに対する該スライス・グループ、該スライス又は該スライスの型を決定するために、機能する、請求項１に従う装置。
【請求項３】
該プロセッサは、該非一様ＶＡＵ符号化を実行する場合に、該決定されたスライス・グループ、該スライス又は該スライスの型に少なくとも部分的に基づいて、該１又は複数のフレームを符号化する、請求項２に従う装置。
【請求項４】
該プロセッサは、該非一様ＶＡＵ符号化を実行する場合に、Ｐ又はＢ型スライス・グループ及び単一のＩ型スライス・グループから成る該決定されたスライス・グループに少なくとも部分的に基づいて、それぞれ１つのフレームを符号化する、請求項３に従う装置。
【請求項５】
該プロセッサは、該非一様ＶＡＵ符号化を実行する場合に、それぞれ１つのフレームを、単一スライスを有する第１グループと複数の平行で水平に拡がるスライスを有する第２グループに、符号化する、請求項４に従う装置。
【請求項６】
第１スライス・グループは、該それぞれ１つのフレームの３つの境界辺または境界部分と一致する３辺を有する単一のスライスに編成される、フレーム内符号化される複数のマクロブロックから成る単一細帯を具備する、及び、第２スライス・グループは、それぞれフレーム間符号化される複数のマクロブロックを持つ複数の平行で水平に拡がるスライスを具備する、請求項３に従う装置。
【請求項７】
該プロセッサは、該内容適応フレーム分割を実行する場合に、全体的な動きを含む動き場の検出と、該全体的な動きと関連付けられるマクロブロックをフレーム内符号化されるマクロブロックとして指定すること、を含む、請求項６に従う装置。
【請求項８】
該全体的な動きは、左方へのカメラ・パン、右方へのカメラ・パン、上方へのカメラ・スクロール、或いは、下方へのカメラ・スクロールを具備する、請求項７に従う装置。
【請求項９】
該プロセッサは、分割する場合、フレキシブル・マクロブロック・オーダリング（ＦＭＯ）を利用するために機能し、符号化する場合、コンポジット・シーンにおける１又は複数の変化、該１又は複数の変化は該ＶＡＵの１又は複数の部分に影響するが該ＶＡＵの全部分には影響しない、に応答して該単一ＶＡＵ内で種々異なるスライス符号化型式を使用するために機能する、請求項１に従う装置。
【請求項１０】
フレームをスライス・グループとスライスに分割するために機能する内容適応フレーム分割ユニット、及び
該フレームの第１部分をフレーム内符号化される複数のマクロブロックから成る単一細帯に符号化し、該フレームの第２部分を複数の平行で水平に拡がるフレーム間符号化されるスライスに符号化する、非一様動画像アクセスユニット（ＶＡＵ）符号化ユニット
を具備するマルチメディア・システム。
【請求項１１】
内容適応フレーム分割ユニットは、
１又は複数のフレームの１又は複数のショット境界を検出するための検出器、
該１又は複数のフレームの動き場を計算するための計算機、
該１又は複数のフレームをセグメントに分割するためのセグメンタ、及び
該１又は複数のフレームに対してスライス・グループとスライス又はスライスの型を決定するための決定器
を具備する、請求項１０に従うシステム。
【請求項１２】
非一様ＶＡＵ符号化ユニットは、該決定されたスライス・グループ、スライス又はスライスの型に少なくとも部分的に基づいて、該１又は複数のフレームを符号化するために機能する符号器を具備する、請求項１１に従うシステム。
【請求項１３】
該符号器は、Ｐ型スライス・グループ及び単一のＩ型スライス・グループから成る該決定されたスライス・グループに少なくとも部分的に基づいて、それぞれ１つのフレームを符号化するために機能する、請求項１２に従うシステム。
【請求項１４】
該符号器は、それぞれ１つのフレームを、単一細帯を有する第１スライス・グループと複数の平行で水平に拡がるフレーム間符号化されるスライスを有する第２グループに、符号化するために機能する、請求項１３に従うシステム。
【請求項１５】
第１スライス・グループは、該それぞれ１つのフレームの３つの境界辺または境界部分と一致する３辺を有する単一細帯に編成される、複数のフレーム内符号化されるマクロブロックを具備する、及び、第２スライス・グループは、複数の平行で水平に拡がるフレーム間符号化されるスライスを具備する、請求項１４に従うシステム。
【請求項１６】
該計算機は、該全体的な動きと関連付けられるマクロブロックをフレーム内符号化されるマクロブロックとして指定するために、全体的な動きを含む動き場を検出する、請求項１５に従うシステム。
【請求項１７】
該全体的な動きは、左方へのカメラ・パン、右方へのカメラ・パン、上方へのカメラ・スクロール、或いは、下方へのカメラ・スクロールを具備する、請求項１５に従うシステム。
【請求項１８】
マルチメディア・データを処理するための方法であって、
フレームをスライス・グループとスライスに内容適応フレーム分割すること、及び
該フレームの第１部分をフレーム内符号化される複数のマクロブロックから成る単一細帯に、及び、該フレームの第２部分を複数の平行で水平に拡がるフレーム間符号化されるスライスに、非一様動画像アクセスユニット（ＶＡＵ）符号化すること
を具備する方法。
【請求項１９】
全体的な動き検出を行うことを更に具備する、請求項１８に従う方法。
【請求項２０】
該内容適応フレーム分割することは、１又は複数のフレームの１又は複数のショット境界を検出すること、該１又は複数のフレームの動き場を計算すること、該１又は複数のフレームをセグメントに分割すること、及び該１又は複数のフレームに対してスライス・グループ、スライス又はスライスの型を決定することを含む、請求項１８に従う方法。
【請求項２１】
該非一様ＶＡＵ符号化することは、該決定されたスライス・グループ、スライス又はスライスの型に少なくとも部分的に基づいて、該１又は複数のフレームを符号化することを含む、請求項１８に従う方法。
【請求項２２】
該非一様ＶＡＵ符号化することは、Ｐ型スライス・グループ及び単一のＩ型スライス・グループから成る該決定されたスライス・グループに少なくとも部分的に基づいて、それぞれ１つのフレームを符号化することを含む、請求項２１に従う方法。
【請求項２３】
該非一様ＶＡＵ符号化することは、それぞれ１つのフレームを、該それぞれ１つのフレームの３つの境界辺または境界部分と一致する３辺を有する単一細帯を有する第１スライス・グループに符号化すること、及び、複数の平行で水平に拡がるフレーム間符号化されるスライスを有する、第２グループを符号化することを具備する、請求項２２に従う方法。
【請求項２４】
該第１スライス・グループの符号化は、該それぞれ１つのフレームの水平境界辺または垂直境界辺を、フレーム内符号化される複数のマクロブロックから成る単一細帯に関連付けること、及び、複数の平行で水平に拡がるフレーム間符号化されるスライスを具備する第２スライス・グループを符号化することを具備する、請求項２３に従う方法。
【請求項２５】
該内容適応フレーム分割することは、該全体的な動きと関連付けられるマクロブロックをフレーム内符号化されるマクロブロックとして指定するために、全体的な動きを含む動き場を検出することを含む、請求項２４に従う方法。
【請求項２６】
該全体的な動きの検出は、左方へのカメラ・パン、右方へのカメラ・パン、上方へのカメラ・スクロール、或いは、下方へのカメラ・スクロールの内の１つを検出することを具備する、請求項２５に従う方法。
【請求項２７】
カメラ・パン又はカメラ・スクロールから成る全体的な動き検出に応答し、単一動画像アクセス・ユニット（ＶＡＵ）内の種々異なるスライス符号化型式に関連して、フレキシブル・マクロブロック・オーダリング（ＦＭＯ）を利用するために機能する、符号化エンジンを具備する符号化装置。
【請求項２８】
請求項２７に従う符号化装置であって、
１又は複数のフレームの１又は複数のショット境界を検出するための手段、
該全体的な動きを含む該１又は複数のフレームの動き場を計算するための手段、
該１又は複数のフレームをセグメントに分割するための手段、及び
該１又は複数のフレームに対してスライス・グループとスライス又はスライスの型を決定するための手段
を更に具備する符号化装置。
【請求項２９】
該決定されたスライス・グループとスライス又はスライスの型に少なくとも部分的に基づいて該１又は複数のフレームを符号化するための手段を更に具備する、請求項２８の符号化装置。
【請求項３０】
マルチメディア・データを処理するための命令を具備するコンピュータ可読媒体を含むコンピュータ・プログラム製品であって、該命令は、
フレキシブル・マクロブロック・オーダリング（ＦＭＯ）を使用してフレームをスライス・グループとスライスに内容適応フレーム分割することを実行すること、
１又は複数のスライス符号化型式を使用して該分割されたフレーム上で非一様ＶＡＵ符号化を実行すること
をコンピュータに行わせる。
【請求項３１】
内容適応フレーム分割を実行するための命令は
１又は複数のフレームの１又は複数のショット境界を検出すること、
該１又は複数のフレームの動き場を計算すること、
該１又は複数のフレームをセグメントに分割すること、及び
該１又は複数のフレームに対して該スライス・グループと該スライス又は該スライスの型を決定すること
を該コンピュータに行わせるための命令を含む、請求項３０のコンピュータ・プログラム製品。
【請求項３２】
該非一様ＶＡＵ符号化を実行するための該命令は、
該決定されたスライス・グループとスライス又はスライスの型に少なくとも部分的に基づいて該１又は複数のフレームを符号化すること
をコンピュータに行わせるための命令を含む、請求項３１に従うコンピュータ・プログラム製品。
【請求項３３】
該動き場を計算するための命令は、該コンピュータに全体的な動き検出を行わせるための命令を含む、請求項３１に従うコンピュータ・プログラム製品。
【請求項３４】
該ＶＡＵは意味論的に異なるセグメントを持つ複数領域のシーンであり、そして、内容適応フレーム分割することを実行するための命令は、該コンピュータに該ＶＡＵを該意味論的に異なるセグメントに分割させるための命令を含む、請求項３０に従うコンピュータ・プログラム製品。
【請求項３５】
分割するための命令は、該コンピュータにカット・シーン変化、クロスフェード、フェードイン又はフェードアウト、ズームイン又はズームアウト、及び種々の全体的な動き、の内の任意の１つ又は複数を決定させるための命令を含む、請求項３４に従うコンピュータ・プログラム製品。
【請求項３６】
該非一様ＶＡＵ符号化を実行するための命令は、該コンピュータに、Ｐ型又はＢ型スライス・グループ及び単一のＩ型スライス・グループから成る該決定されたスライス・グループに少なくとも部分的に基づいて、それぞれ１つのフレームを符号化することを行わせるための命令を含む、請求項３１に従うコンピュータ・プログラム製品。
【請求項３７】
該非一様ＶＡＵ符号化を実行するための命令は、それぞれ１つのフレームを、該それぞれ１つのフレームの３つの境界辺または境界部分と一致する３辺を有するフレーム内符号化される複数のマクロブロックから成る単一細帯を有する第１グループに符号化すること、及び、複数の平行で水平に拡がるフレーム間符号化されるスライスを有する、第２グループを符号化すること、を該コンピュータに行わせるための命令を含む、請求項３６に従うコンピュータ・プログラム製品。
【請求項３８】
計算するための該命令は、該全体的な動きと関連付けられるマクロブロックをフレーム内符号化されるマクロブロックとして指定するために、全体的な動きを検出することを、該コンピュータに行わせるための命令を含む、請求項３１に従うコンピュータ・プログラム製品。
【請求項３９】
該全体的な動きを検出するための命令は、左方へのカメラ・パン、右方へのカメラ・パン、上方へのカメラ・スクロール、或いは、下方へのカメラ・スクロールの内の１つを、該コンピュータに検出させるための命令を含む、請求項３８に従うコンピュータ・プログラム製品。
【請求項４０】
マルチメディア・データを処理するための装置であって、
フレームをスライス・グループとスライスに内容適応フレーム分割することを実行するための手段、及び
１又は複数のスライス符号化型式を使用して該分割されたフレーム上で非一様動画アクセス・ユニット（ＶＡＵ）符号化を実行するための手段
を具備する装置。
【請求項４１】
内容適応フレーム分割を実行するための該手段は、１又は複数のフレームの１又は複数のショット境界を検出するための手段、該１又は複数のフレームの動き場を計算するための手段、該１又は複数のフレームをセグメントに分割するための手段、及び、該１又は複数のフレームに対して該スライス・グループ、該スライス又は該スライスの型を決定するための手段を含む、請求項４０に従う装置。
【請求項４２】
該非一様ＶＡＵ符号化を実行するための該手段は、該決定されたスライス・グループとスライス又はスライスの型に少なくとも部分的に基づいて該１又は複数のフレームを符号化することを含む、請求項４０に従う装置。
【請求項４３】
非一様ＶＡＵ符号化を実行するための該手段は、Ｐ型又はＢ型スライス・グループ及び単一のＩ型スライス・グループから成る該決定されたスライス・グループに少なくとも部分的に基づいて、それぞれ１つのフレームを符号化することを含む、請求項４０に従う装置。
【請求項４４】
非一様ＶＡＵ符号化を実行するための該手段は、それぞれ１つのフレームを、該それぞれ１つのフレームの３つの境界辺または境界部分と一致する３辺を有するフレーム内符号化される複数のマクロブロックから成る単一細帯を有する、第１グループに符号化すること、及び、複数の平行で水平に拡がるフレーム間符号化されるスライスを有する、第２グループに符号化することを含む、請求項４０に従う装置。
【請求項４５】
該ＶＡＵは意味論的に異なるセグメントを持つ複数領域のシーンであり、そして、該内容適応フレーム分割を実行するための該手段は該ＶＡＵを該意味論的に異なるセグメントに分割することを含む、請求項４０に従う装置。
【請求項４６】
単一ＶＡＵ内の種々異なるスライス符号化型式に関連して、フレキシブル・マクロブロック・オーダリング（ＦＭＯ）を利用した、単一の非一様符号化された動画像アクセス・ユニット（ＶＡＵ）を復号するために機能する、復号エンジンを具備する復号装置。
【請求項４７】
該復号エンジンは、該ＦＭＯによる画像パラメータのセットを受信し、そして、それぞれ異なる符号化型式の先頭マクロブロックの絶対番地を受信する、請求項４６に従う復号装置。
【請求項４８】
該復号エンジンは、該単一ＶＡＵの３つの境界辺または境界部分と一致する３辺を有するフレーム内符号化された複数のマクロブロックから成る単一細帯を有する第１スライス・グループを復号するための、及び、複数の平行で水平に拡がるフレーム間符号化されたスライスを有する第２スライス・グループを復号するための、選択復号器を含む、請求項４６に従う復号装置。
【請求項４９】
マルチメディア・データを処理するための命令を具備するコンピュータ可読媒体を含むコンピュータ・プログラム製品であって、該命令は、
単一ＶＡＵ内の種々異なるスライス符号化型式に関連して、フレキシブル・マクロブロック・オーダリング（ＦＭＯ）を使用した、単一の非一様符号化された動画像アクセス・ユニット（ＶＡＵ）を復号すること
をコンピュータに行わせる。
【請求項５０】
復号するための該命令は、該ＦＭＯによる画像パラメータのセットを受信すること、及び、それぞれ異なる符号化型式の先頭マクロブロックの絶対番地を受信すること、を該コンピュータに行わせるための命令を含む、請求項４９に従うコンピュータ・プログラム製品。
【請求項５１】
復号するための該命令は、該単一ＶＡＵの３つの境界辺または境界部分と一致する３辺を有するフレーム内符号化された複数のマクロブロックから成る単一細帯を有する第１グループを復号すること、及び、複数の平行で水平に拡がるフレーム間符号化されたスライスを有する第２グループを復号すること、を該コンピュータに行わせるための命令を含む、請求項４９に従うコンピュータ・プログラム製品。
【請求項５２】
コンポジット・シーンにおける１又は複数の変化、該１又は複数の変化はＶＡＵの１又は複数の部分に影響するがＶＡＵの全部分には影響しない、に応答し、単一動画像アクセス・ユニット（ＶＡＵ）内の種々異なるスライス符号化型式に関連して、フレキシブル・マクロブロック・オーダリング（ＦＭＯ）を使用するために機能する、符号化エンジンを具備する符号化装置。
【請求項５３】
該１又は複数の変化は、カット・シーン変化、クロスフェード、フェードイン又はフェードアウト、ズームイン又はズームアウト、及び種々の全体的な動き、の内の任意の１つ又は複数を含む、請求項５２の符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本特許出願は、２００６年１２月２２日に提出された米国特許仮出願番号第６０／８７６，９２０号に優先権を主張する。該仮出願の全内容は参照としてここに組み込まれている。
【０００２】
[１．分野]
本開示は一般に動画像(video)符号化に係わり、更に具体的には、改良された符号化効率のための内容適応動画像フレーム・スライシング（frame slicing）及び非一様なアクセス・ユニット（non-uniform access unit）符号化のための技術に関する。
【背景技術】
【０００３】
[２．背景]
現在の動画像圧縮標準の全てにおいて、動画像フレーム或いは所謂動画像アクセス・ユニット（video access unit）、ＶＡＵ、の符号化表示は符号化階層における隣接下位層として複数のスライス（slices）を含む。スライス層は動画像フレーム内の整数個のマクロブロック（macroblocks）の（データの）機能的なグループ化を可能にし、該フレームの符号化表示内部における再同期ユニットとして機能的に働く。適切な再同期点として働くために、（隣接ピクセルに基づく）フレーム内予測および動きベクトル予測のような全ての予測符号化方式／従属関係は、全てのスライス境界を越えて適用されることが出来ない。
【０００４】
Ｈ．２６４（及びオプションの‘アネックス（Annex）Ｋ：スライス構造モード’を除くＨ．２６３＋の矩形スライス・サブモード）までは、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２／Ｈ．２６２、Ｈ．２６３、及びＭＰＥＧ−４のような従来の動画像圧縮標準は、スライス寸法が制約される仕方に僅かな差異はあるものの、整数個の（ラスタ・スキャン（raster scan）順序での）連続したマクロブロックから本質的に構成されるスライス構造に対応した。
【０００５】
Ｈ．２６４標準は‘スライス・グループ（slice group）’の概念を導入した。該スライス・グループは１つのフレームに属する複数のマクロブロックを、全く任意の仕方で、従ってラスタ・スキャン順序において連続でなければならないということによって制約されずに、複数のスライス・グループにそしてスライス・グループ内の複数のスライスに分配することを可能にする。この任意の分解は該フレームの圧縮データに付随して復号器に転送される所謂‘スライス・グループ・マップ（map）’によって説明される。この規定はフレキシブル・マクロブロック・オーダリング（Flexible Macroblock Ordering）（ＦＭＯ）として公知である。
【０００６】
従って、改良された符号化効率のための内容適応動画像フレーム・スライシング及び非一様なアクセス・ユニット符号化のための技術に対する必要性がある。
【発明の概要】
【０００７】
［概要］
改良された符号化効率のための内容適応動画像フレーム・スライシング及び非一様なアクセス・ユニット符号化のための技術が提供される。１又は複数のスライス符号化型式を用いて、スライス・グループ及びスライスへの内容適応フレーム分割(content adaptive frame partitioning)と単一のＶＡＵにおける非一様な動画像アクセス・ユニット（ＶＡＵ）符号化、を実行するために機能するプロセッサ（processor）を含む装置が提供される。複数の実施形態では、メモリ（memory）が該プロセッサに結合される。
【０００８】
１つの態様では、カメラ・パン（camera pan）又はスクロール（scroll）の全体的な動き検出に応じて、単一の動画像アクセス・ユニット（ＶＡＵ）内における種々異なるスライス符号化型式に関連する、フレキシブル・マクロブロック・オーダリング（ＦＭＯ）を利用するために機能する、符号化エンジンを備える符号化装置が提供される。
【０００９】
別の態様では、符号化装置は、１又は複数の変化が動画像フレーム全体というよりもむしろ動画像フレームの１又は複数の部分に影響するコンポジット・シーン（composite scene）における１又は複数の変化に応じて、単一の動画像アクセス・ユニット（ＶＡＵ）内における種々異なるスライス符号化型式に関連する、フレキシブル・マクロブロック・オーダリング（ＦＭＯ）を利用するために機能する、符号化エンジンを備える。該１又は複数の変化は、カット・シーン変化（cut scene change）、クロスフェード（cross-fade）、フェードイン（fade-in）又はフェードアウト（fade-out）、ズームイン（zoom-in）又はズームアウト（zoom-out）、及びパン又はスクロールのような種々の全体的な動き、を含むことができる。
【００１０】
別の態様では、復号エンジンを備える復号装置が提供される。該復号エンジンは単一の動画像アクセス・ユニット（ＶＡＵ）内における種々異なるスライス符号化型式に関連するフレキシブル・マクロブロック・オーダリング（ＦＭＯ）を利用した、単一の非一様符号化された動画像アクセス・ユニット（ＶＡＵ）を復号するために機能する。
【００１１】
別の構成では、マルチメディア・データ（multimedia data）を処理するための命令を具備するコンピュータ可読媒体を含むコンピュータ・プログラム製品が提供される。該命令は、フレキシブル・マクロブロック・オーダリング（ＦＭＯ）を利用して、フレームのスライス・グループ及びスライスへの内容適応フレーム分割を、コンピュータに実行させる。該命令は又、１又は複数のスライス符号化型式を利用して、該分割されたフレーム上における非一様ＶＡＵを、該コンピュータに実行させる。
【００１２】
更に別の構成では、マルチメディア・データを処理するための命令を具備するコンピュータ可読媒体を含むコンピュータ・プログラム製品が提供される。該命令は、単一の動画像アクセス・ユニット（ＶＡＵ）内における種々異なるスライス符号化型式に関連するフレキシブル・マクロブロック・オーダリング（ＦＭＯ）を利用した、単一の非一様符号化された動画像アクセス・ユニット（ＶＡＵ）を、コンピュータに復号させる。
【００１３】
本明細書に記載される技術は、高度化された符号化技術のための複数のスライス型を利用する動画像アクセス・ユニット符号化への道筋を提供する。
【００１４】
更なる態様は詳細な説明から、特に付図と共に理解される場合、より容易に明らかになるであろう。
【００１５】
本開示の態様と構成は下記に記載される詳細な説明から、付図と共に理解される場合、更に明らかになるであろう。付図では同じ参照番号は全体に亘り同類の構成要素を特定する。
【図面の簡単な説明】
【００１６】
【図１】図１はある一定の構成に従う例示的なマルチメディア通信システムのブロック図を例示する。
【図２Ａ】図２Ａは図１のシステムで利用されることができる例示的な符号化装置のブロック図を例示する。
【図２Ｂ】図２Ｂは図１のシステムで利用されることができる例示的な復号装置のブロック図を例示する。
【図３Ａ】図３ＡはＭＰＥＧ−１標準に従ったスライス構造を使用する一定の構成に従うサンプル・スライス分割を有する第１例示フレームを例示する。
【図３Ｂ】図３ＢはＭＰＥＧ−２標準に従ったスライス構造を使用する一定の構成に従うサンプル・スライス分割を有する第２例示フレームを例示する。
【図４Ａ】図４Ａは、Ｈ．２６４／ＡＶＣ標準に従う、タイプ２フレキシブル・マクロブロック・オーダリング（ＦＭＯ）に基づく分割を用いたサンプル・フレームを例示する。
【図４Ｂ】図４ＢはＨ．２６４／ＡＶＣ標準に従う、タイプ１ＦＭＯに基づく分割を用いたサンプル・フレームを例示する。
【図５Ａ】図５ＡはＩ型符号化されるＶＡＵ（フレーム＃０）を例示する。
【図５Ｂ】図５ＢはＰ型符号化されるＶＡＵ（フレーム＃３）を例示し、フレーム＃０とフレーム＃３との間には複数のＢ型ＶＡＵがありその間カメラは左方にパニング（panning）している。
【図６Ａ】図６Ａは、フレーム内符号化される複数のマクロブロックから成る垂直細帯構造グループ、及び、複数の平行な水平に拡がるフレーム間符号化されるスライス、を有する単一フレームを例示し、この場合フレーム内符号化される複数のマクロブロックから成る垂直細帯は該フレームの左辺境界に始まる。
【図６Ｂ】図６Ｂは、フレーム内符号化される複数のマクロブロックから成る垂直細帯構造グループ、及び、複数の平行な水平に拡がるフレーム間符号化されるスライス、を有する単一フレームを例示し、この場合フレーム内符号化される複数のマクロブロックから成る該垂直細帯は該フレームの右辺境界に始まる。
【図６Ｃ】図６Ｃは、フレーム内符号化される複数のマクロブロックから成る単一水平細帯構造グループ、及び、複数の平行な水平に拡がるフレーム間符号化されるスライス、を有する単一フレームを例示し、この場合フレーム内符号化される複数のマクロブロックから成る該水平細帯構造グループは該フレームの底辺境界に始まる。
【図６Ｄ】図６Ｄは、フレーム内符号化される複数のマクロブロックから成る単一水平細帯構造グループ、及び、複数の平行な水平に拡がるフレーム間符号化されるスライス、を有する単一フレームを例示し、この場合フレーム内符号化される複数のマクロブロックから成る該水平細帯構造グループは該フレームの上辺境界に始まる。
【図７】図７は、（スライス・グループ及びスライスへの）内容適応フレーム分割および非一様ＶＡＵ符号化を実行するための符号化エンジンを例示する。
【図８】図８は、一定の構成に従う、内容依存フレーム分割および非一様動画像アクセス・ユニット符号化、を実行するための処理の流れ図を例示する。
【図９Ａ】図９Ａは、一定の構成に従う、内容適応動画像フレーム・スライシングから導かれる（スライス形状と符号化型式双方に関して）非一様なＶＡＵ、の例示的な場合を例示する。
【図９Ｂ】図９Ｂは、一定の構成に従う、内容適応動画像フレーム・スライシングから導かれる（スライス形状と符号化型式双方に関して）非一様なＶＡＵ、の例示的な場合を例示する。
【図９Ｃ】図９Ｃは、一定の構成に従う、内容適応動画像フレーム・スライシングから導かれる（スライス形状と符号化型式双方に関して）非一様なＶＡＵ、の例示的な場合を例示する。
【図９Ｄ】図９Ｄは、一定の構成に従う、内容適応動画像フレーム・スライシングから導かれる（スライス形状と符号化型式双方に関して）非一様なＶＡＵ、の例示的な場合を例示する。
【図１０】図１０は意味論的に異なるセグメントを持つ複数領域コンポジット・シーンＶＡＵを例示する。
【図１１】図１１は非一様ＶＡＵ復号のための処理の流れ図を例示する。
【発明を実施するための形態】
【００１７】
図面中の画像は説明目的のために簡略化されており精確な縮尺では描かれてない。理解を助けるため、複数の図面に共通する同類の構成要素を指定するために、可能な場合、同一の参照番号が使用される。例外として、そのような構成要素を区別するために、適切な場合、添字が付されることがあり得る。
【００１８】
［詳細な説明］
添付図面は本発明の例示的な構成を例示し、従って、等しく効果的な他の構成を可能にする本発明の範囲を限定すると考えられるべきではない。１つの構成の諸特徴と諸ステップ（steps）は、更なる言及がなくても、他の構成に有益に組み込まれることが出来ることが予想される。
【００１９】
用語“例示的な（exemplary）”は本明細書中では“例、事例、あるいは例証として使用する”ことを意味するために使われる。本明細書中で“例示的な”と記載される一切の構成または設計は、必ずしも他の構成または設計よりも好ましい或いは有利であると解釈される必要はない。そして、用語“コア（core）”、“エンジン”“器械”、“プロセッサ”及び“処理ユニット”は交換可能に使用される。
【００２０】
下記の詳細な説明はある一定のサンプル構成を対象とする。しかしながら、本開示は、特許請求の範囲によって定義されそしてカバーされる、多数の種々異なる方法で具体化されることが出来る。本明細書では、図面への参照が行われ、該図面では同じパーツ（parts）は全体を通して同じ番号で指定される。
【００２１】
動画像信号は画像、フレーム、及び／又は、フィールド（field）の順列によって特徴づけられることが出来て、該画像等の何れも１又は複数のスライスを更に含むことが出来る。本明細書中で使用されるように、用語“フレーム（frame）”は１又は複数のフレーム、フィールド、画像、及び／又は、スライスを包含することが出来る広い用語である。
【００２２】
構成（configuration）はマルチメディア伝送システムにおけるチャネル切替（channel switching）を容易にするシステムと方法を含む。マルチメディア・データは１又は複数の動画像、音声、静止画像、テキスト（text）或いはその他適当な型の音声−映像データを含むことが出来る。
【００２３】
動画像符号器のような、マルチメディア処理システムは、国際標準に基づいた符号化方法を使用してマルチメディア・データを符号化することが出来る。このような国際標準は例えば、動画専門委員会（Moving Picture Experts Group）（ＭＰＥＧ）−１、−２及び−４標準、国際電気通信連合（International Telecommunication Union）（ＩＴＵ）−Ｔ  Ｈ．２６３標準、及び、ＩＴＵ−Ｔ  Ｈ．２６４標準とその対応版、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４，  Ｐａｒｔ１０、 即ち、  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＡＶＣ）があり、それ等はそれぞれあらゆる目的のために参照として本明細書中に十分に組み込まれている。そのような符号化方法、およびその延長として、復号方法は、一般に、伝送及び／又は格納のためにマルチメディア・データを圧縮することを対象とする。圧縮はマルチメディア・データから冗長性を除去する処理として広く考えられることが出来る。
【００２４】
動画像信号は画像の順列によって記述され、該順列はフレーム（完全な画像）、又はフィールド（例えば、インターレース（interlace）された動画像の流れは画像の交代する奇数番線または偶数番線のフィールドを含む）を含む。その上、それぞれのフレーム又はフィールドは１又は複数のスライス、又は、該フレーム又はフィールドの副部分（sub-portion）を更に含むことが出来る。用語“フレーム（frame）”は、本明細書で使用されるように、単独で、或いは、他の文言と共に、画像、フレーム、フィールド、或いは、それ等のスライスを指すことが出来る。動画像符号化方法は、それぞれのフレームを圧縮するための可逆または非可逆圧縮アルゴリズム（algorithm）を使用することによって、動画像信号を圧縮する。フレーム内符号化（本明細書中ではイントラ符号化（intra-coding）とも呼ばれる）はあるフレームをそのフレームのみを使用して符号化することを指す。フレーム間符号化（本明細書中ではインター符号化（inter-coding）とも呼ばれる）はあるフレームを他の“参照（reference）”フレームに基づいて符号化することを指す。例えば、動画像信号はしばしば時間的冗長性を示し、その場合、フレームの時間的順列において互いに近接するフレームは、少なくとも、完全に一致する或いは互いに少なくとも部分的に一致する、部分を有する。
【００２５】
動画像符号器のような、マルチメディア・プロセッサは、フレームを画素の部分集合に分割することによって、フレームを符号化することが出来る。これ等の画素の部分集合はブロック又はマクロブロック（macroblock）（ＭＢ）と呼ばれることが出来て、例えば、１６×１６画素を含むことが出来る。該符号器はそれぞれの１６×１６マクロブロックを複数のサブブロック（subblock）に更に分割することが出来る。それぞれのサブブロックは更なるサブブロックを更に含むことが出来る。例えば、１６×１６マクロブロックのサブブロックは１６×８及び８×１６のサブブロックを含むことが出来る。それぞれの１６×８及び８×１６サブブロックは、例えば、８×８サブブロックを含むことが出来て、該サブブロックはそれ自身、例えば、４×４、４×８及び８×４サブブロック等々を含むことが出来る。本明細書で使用されるように、用語“ブロック（block）”はマクロブロック又は任意の大きさのサブブロックの何れかを指すことが出来る。
【００２６】
符号器は、フレーム間符号化動き補償に基づくアルゴリズムを使用して順次フレーム間の時間冗長性を利用する。動き補償アルゴリズムは、少なくともあるブロックと部分的に合致する１又は複数の参照フレームの部分を識別する。該ブロックは、該（複数の）参照フレームの合致部分に相対的に、該フレーム内で移動させることが出来る。この移動は１又は複数の動きベクトルによって特徴づけられる。該ブロックと該（複数の）参照フレームの部分的合致部分との間の任意の違いは、１又は複数の残差によって特徴づけられることが出来る。該符号器は、フレームを、該フレームのある特別な分割に対する１又は複数の動きベクトルと残差を含むデータとして、符号化することが出来る。フレームを符号化するためのブロックの特別な分割はコスト関数（cost function）を近似的に最小化することによって選択されることができる。該コスト関数は、例えば、符号化サイズを、符号化によりもたらされる該フレームの内容に対する、歪み又は感知される歪みと、天秤にかける。
【００２７】
フレーム間符号化はフレーム内符号化よりも高い圧縮効率を可能にする。しかしながら、フレーム間符号化は、参照データ（例えば、参照フレーム又は参照フィールド）がチャネル・エラーやそれに類するエラーにより失われる場合、問題を発生し得る。エラーによる参照データの損失に加えて、参照データは、フレーム間符号化されるフレームにおける動画像信号の初期捕捉または再捕捉のために利用不可になることもあり得る。これ等の場合、フレーム間符号化データの復号は可能でなくなるか、望まれないアーティファクト（artifact）や伝播する可能性のあるエラーをもたらすことが有り得る。これ等のシナリオは長時間にわたる不愉快な利用者経験をもたらし得る。
【００２８】
独立に復号可能なフレーム内符号化されるフレームは動画像信号の同期化／再同期化を可能にする最も一般的なフレーム型式である。ＭＰＥＧ−ｘ標準及びＨ．２６ｘ標準はＧＯＰ（group of pictures）として公知のものを使用する。ＧＯＰはフレーム内符号化されるフレーム（Ｉフレームとも呼ばれる）と時間的に予測されるＰフレーム又は双方向的に予測されるＢフレームを含む。このＢフレームはＧＯＰ内のＩフレーム及び／又は他のＰ及び／又はＢフレームを参照する。より長いＧＯＰは圧縮率を高めるためには好ましい。しかし、より短いＧＯＰは迅速な捕捉と同期／再同期を可能にする。Ｉフレームの個数を増やすことはより迅速な捕捉と同期／再同期をもたらすであろうが、圧縮率低下という犠牲を払う。
【００２９】
図１はある一定の構成に従う例示的なマルチメディア通信システム１００のブロック図を例示する。システム１００はネットワーク１４０を介して復号装置１５０と通信する符号化装置１１０を含む。１つの例では、符号化装置１１０は外部情報源１０２からマルチメディア信号を受信してネットワーク１４０上への伝送のために該信号を符号化する。
【００３０】
本例では、符号化装置１１０はメモリ１１４とトランシーバ（transceiver）１１６に接続されるプロセッサ１１２を備える。プロセッサ１１２はマルチメディア情報源からのデータを符号化して、それを、ネットワーク１４０を介して通信するために、トランシーバ１１６に供給する。本例では、復号装置１５０はメモリ１５４とトランシーバ１５６に接続されるプロセッサ１５２を備える。プロセッサ１５２は１又は複数の汎用プロセッサ及び／又はデジタル信号処理装置を含むことが出来る。メモリ１５４は１又は複数のソリッド・ステート（solid state）記憶装置またはディスクに基づく記憶装置を含むことが出来る。トランシーバ１５６は、ネットワーク１４０を介するマルチメディア・データを受信して、それを、復号のためにプロセッサ１５２に供給するように、構成される。１つの例では、トランシーバ１５６は無線トランシーバを含む。ネットワーク１４０は１又は複数の有線または無線通信システムを具備することが出来て、該システムは、１又は複数のイーサネット（登録商標）（Ethernet（登録商標））、電話（例えば、ＰＯＴＳ）線、電力線、及び光ファイバ・システム、及び／又は、無線システムを含むことが出来る。該無線システムは１又は複数の符号分割多元接続（code division multiple access）（ＣＤＭＡ又はＣＤＭＡ２０００）通信システム、周波数分割多元接続（frequency division multiple access）（ＦＤＭＡ）システム、直交周波数分割多元（orthogonal frequency division multiple）（ＯＦＤＭ）接続システム、ＧＳＭ／ＧＰＲＳ（汎用パケット無線サービス（General packet Radio Service））／ＥＤＧＥ（拡張データＧＳＭ環境（enhanced data GSM environment））のような時分割多元接続（time division multiple access）（ＴＤＭＡ）システム、ＴＥＴＲＡ（テトラ（Terrestrial Trunked Radio））移動電話システム、広帯域符号分割多元接続（ＷＣＤＭＡ）システム、高速データ通信（１ｘＥＶ−ＤＯ又は１ｘＥＶ−ＤＯゴールド・マルチキャスト（Gold Multicast））システム、ＩＥＥＥ８０２．１１システム、ＭｅｄｉａＦＬＯシステム、ＤＭＢシステム、ＤＶＢ−Ｈシステム、及びこれらに類似するシステムを含む。
【００３１】
図２Ａは、ある一定の構成に従う図１のシステム１００において利用されることができる、例示的な符号化装置１１０のブロック図を例示する。この構成では、符号器１１０はフレーム間符号化符号器エレメント（element）１１８、フレーム内符号化符号器エレメント１２０、参照データ生成エレメント１２２、及び、送信機エレメント１２４を備える。フレーム間符号化符号器１１８は、他の時間フレームに置かれた動画像データの他の部分を参照して、（例えば、動き補償予測を利用して）時間的に予測される動画像のフレーム間符号化部分を符号化する。フレーム内符号化符号器１２０は、時間的に別な所に位置する動画像データを参照せずに、独立に符号化されることが出来る、動画像のフレーム内符号化部分を符号化する。ある複数の構成では、フレーム内符号化符号器１２０は、同一時間フレームに置かれる他の動画像データ内の冗長性を利用する空間予測を使用することが出来る。
【００３２】
参照データ生成器１２２は、１つの態様では、符号器１２０と１１８によってそれぞれ生成されるフレーム内符号化データとフレーム間符号化動画像データが何処に位置するかを示すデータを生成する。例えば、参照データは、フレーム内の位置を確定するために復号器によって使用される、サブブロック及び／又はマクロブロックの識別子を含むことが出来る。参照データは、動画像フレーム順列内のあるフレームを位置決めするために使用されるフレーム順列番号を含むこともできる。
【００３３】
送信機１２４は、図１のネットワーク１４０のようなネットワークを介して、フレーム間符号化されたデータ、フレーム内符号化されたデータ、及びある構成では、参照データを送信する。該データは１又は複数の通信リンク（link）を介して送信されることが出来る。用語通信リンクは一般的な意味で使用され、そして、有線または無線ネットワーク、仮想回線、光学リンク、及びこれらに類似する回線を含むがこれらに限定されない、任意の通信チャネルを含むことが出来る。ある複数の構成では、フレーム内符号化されたデータは基本レイヤ（base layer）通信リンク上で送信され、フレーム間符号化されたデータは上位レイヤ（enhancement layer）通信リンクを介して送信される。ある複数の構成では、フレーム内符号化されたデータとフレーム間符号化されたデータは同じ通信リンクを介して送信される。ある複数の構成では、フレーム間符号化されたデータ、フレーム内符号化されたデータ及び参照データの内の１又は複数は、側波帯通信リンクを介して送信されることが出来る。例えば、Ｈ．２６４の補助強化情報（Supplemental Enhancement Information）（ＳＥＩ）メッセージ、又は、ＭＰＥＧ−２の利用者データ・メッセージのような、側波帯通信リンクが利用されることが出来る。ある複数の構成では、フレーム内符号化されたデータ、フレーム間符号化されたデータ及び参照データの内の１又は複数は、仮想チャネルを介して送信される。仮想チャネルはデータ・パケットが仮想チャネルに属すると識別する識別可能なパケット・ヘッダを含むデータ・パケットを含むことできる。仮想チャネルを識別する他の形式は周波数分割、時分割、符号拡散等々の技術で公知である。
【００３４】
図２Ｂは、ある一定の構成に従う図１のシステム１００において利用されることができる、例示的な復号装置１５０のブロック図を例示する。この構成では、復号器１５０は、受信機エレメント１５８、選択復号器エレメント１６０、参照データ決定器エレメント１６２、及び、チャネル切替検出器エレメント１６４と誤り検出器エレメント１６６のような１又は複数の参照データ利用可能性検出器、を備える。
【００３５】
受信機１５８は符号化された動画像データ（例えば、図１及び図２Ａの符号器１１０によって符号化されたデータ）を受信する。受信機１５８は、図１のネットワーク１４０のような有線または無線ネットワークを介して、該符号化されたデータを受信することが出来る。ある複数の構成では、フレーム内符号化されたデータは基本レイヤ通信リンク上で受信され、フレーム間符号化されたデータは上位レイヤ通信リンクを介して受信される。ある複数の構成では、フレーム内符号化されたデータとフレーム間符号化されたデータは同じ通信リンクを介して受信される。ある複数の構成では、フレーム間符号化されたデータ、フレーム内符号化されたデータ及び参照データの内の１又は複数は、側波帯通信リンクを介して受信されることが出来る。例えば、Ｈ．２６４の補助強化情報（ＳＥＩ）メッセージ、又は、ＭＰＥＧ−２の利用者データ・メッセージのような側波帯通信リンクが利用されることが出来る。ある複数の構成では、フレーム内符号化されたデータ、フレーム間符号化されたデータ及び参照データの内の１又は複数は、仮想チャネルを介して受信される。仮想チャネルはデータ・パケットが仮想チャネルに属すると識別する識別可能なパケット・ヘッダを含むデータ・パケットを含むことできる。仮想チャネルを識別する他の形式は当業界の技術で公知である。
【００３６】
選択復号器１６０は受信されたフレーム内符号化された動画像データ及びフレーム間符号化された動画像データを復号する。ある複数の構成では、受信されたデータは動画像データの一部分のフレーム間符号化されたバージョン（version）と動画像データの該一部分のフレーム内符号化されるバージョンを含む。フレーム間符号化されたデータは、該データが予測された際に依拠した参照データが復号された後に、復号されることが出来る。例えば、動き補償された予測を使用して符号化されたデータは、動きベクトルと参照データの所在位置を特定するフレーム識別子を具備する。もし、フレーム間符号化されたバージョンの動きベクトルとフレーム識別子によって識別されるフレームの部分が利用可能であるならば（例えば、既に復号されている）、その場合、選択復号器１６０は該フレーム間符号化されたバージョン復号することが出来る。しかしながら、もし該参照データが利用不可能であるならば、その場合、選択復号器１６０は該フレーム内符号化されたバージョン復号することが出来る。
【００３７】
参照データ決定器１６２は、１つの態様では、受信された符号化された動画像データ内のフレーム内符号化された動画像データ及びフレーム間符号化された動画像データが何処に位置するかを指示する受信された参照データを識別する。例えば、該参照データは、フレーム内の位置を指定するために選択復号器１６０によって使用される、サブブロック及び／又はマクロブロックの識別子を含むことが出来る。該参照データは動画像フレーム順列の内部におけるフレームの位置を決めるために使用されるフレーム順列番号を含むことも出来る。この受信された参照データを使用することは、復号器が、フレーム間符号化されたデータが依拠する参照データが利用可能であるかどうかを、判定することを可能にする。
【００３８】
参照データの利用可能性は利用者が複数チャネル通信システムのチャネルを切り替えることによって影響されることがあり得る。例えば、複数のビデオ放送が、１又は複数の通信リンクを使用して、受信機１５８に対して利用可能なことがある。もし利用者が受信機１５８に異なる放送チャネルへ切り替えることを命じるならば、その場合、新しいチャネル上のフレーム間符号化されたデータに対する参照データは直ちには利用可能であるとは言えない。チャネル切替検出器１６４はチャネル切替命令が発せられたことを検出し選択復号器１６０に信号を送る。その場合、選択復号器１６０は、参照データ決定器から得られた情報を利用して、フレーム間符号化されたバージョンの参照データが利用不可能であるかどうかを識別し、次いで、最も近くにあるフレーム内符号化されたバージョンの所在位置を特定し、そして、該特定されたフレーム内符号化されたバージョンを選択的に復号する。
【００３９】
参照データの利用可能性は受信された動画像データ中の誤りによっても影響され得る。誤り検出器１６６は誤り検出技術（例えば、順送り誤り訂正）を利用してビット・ストリーム（bit stream）中の修復不可能な誤りを識別することが出来る。もしフレー間符号化されたバージョンが依拠する参照データ中に修復不可能な誤りがあれば、その場合、誤り検出器１６６は、何れの動画像データが該誤りによって影響を被るかを特定して、選択復号器１６０に伝えることが出来る。この場合、選択復号器１６０は、フレーム間符号化されたバージョンを復号する（例えば、参照データが利用可能である場合）か、或いは、フレーム内符号化されたバージョンを復号する（例えば、参照データが利用可能ではない場合）かどうかを、判定することが出来る。
【００４０】
ある一定の構成では、図２Ａの符号器１１０の１又は複数のエレメントは再配列及び／又は結合されることが出来る。符号器１１０の諸エレメントは、ハードウェア（hardware）、ソフトウェア（software）、ファームウェア（firmware）、ミドルウェア（middleware）、マイクロコード（microcode）、又は、これ等の任意の組み合わせによって実装されることが出来る。ある一定の構成では、図２Ｂの復号器１５０の１又は複数のエレメントは再配列及び／又は結合されることが出来る。復号器１５０の諸エレメントは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、又は、これ等の任意の組み合わせによって実装されることが出来る。
【００４１】
本開示のある一定の構成は、例えば、フロー（ＦＬＯ）無線インターフェース仕様、２００６年８月技術標準ＴＩＡ−１０９９として刊行され、本明細書中であらゆる目的のために参照として十分に組み込まれている、“地上モバイル・マルチメディア・マルチキャスト（Terrestrial Mobile Multimedia Multicast）のための下り回線専用（Forward Link Only）（ＦＬＯ）無線インターフェース仕様”、を使用するＴＭ３システムにおける実時間ビデオ・サービスを配信するためのメディアフローＴＭ（MediaFLOTM）動画像符号化を使用して実装されることが出来る。
【００４２】
ラスター・スキャン・オーダー（raster scan ordering）はスライス分割に必然的に水平性を課す。２つのスライス分割サンプルが、ＭＰＥＧ−１とＭＰＥＧ−２に対してそれぞれ、図３Ａと図３Ｂで例示される。
【００４３】
図３Ａは、ＭＰＥＧ−１標準に従ったスライス構造を使用する一定の構成に従う、フレーム２００の第１例示サンプル・スライス分割を例示する。異なるスライス分割は異なるクロス・ハッチング（cross hatching）によって表示される。この例では、該スライスの幾つかのマクロブロックは隣接する２つの水平行を占める。このフレーム２００では、スライス構造は第１水平行上にマクロブロック２０２及び第２水平行上にマクロブロック２０４を含む。これ等の構造では、スライス・グループ中の全てのマクロブロックが必ずしも直接隣接する必要はない。
【００４４】
図３Ｂは、ＭＰＥＧ−２標準に従ったスライス構造を使用する一定の構成に従う、フレーム２１０の第２例示サンプル・スライス分割を例示する。図３Ｂでは、スライス構造は個々にＡ〜Ｑによって表示される。これ等のスライス構造は順序に従うのではなく行から行へと水平に配列される。例えば、スライス構造Ａは第１水平行Ｒ１全体に拡がる。同様に、スライス構造Ｂは第２水平行Ｒ２全体に拡がる。しかしながら、この例では、第３水平行Ｒ３において、行Ｒ３はスライス構造ＣとＤによって分けられる。水平行Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８、Ｒ９、Ｒ１０、Ｒ１１、及びＲ１２上のスライス構造の配列は例示的であることを意図されている。それにも拘らず、各スライスは高々１つの水平行のみを占めることが出来て、フレームの右側境界は常にスライスの終端を区分する。
【００４５】
図４Ａは、Ｈ．２６４／ＡＶＣ標準に従う、タイプ２フレキシブル・マクロブロック・オーダリング（ＦＭＯ）に基づく分割を用いたサンプル・フレーム２５０を例示する。図４Ａでは、フレーム２５０はスライス・グループ＃２によって表示される１つの背景２５４、及び、スライス・グループ＃０と＃１によってそれぞれ表示される注目領域（region of interest）（ＲＯＩ）符号化のための２つの（２）前景分割２５６と２５８、を含む。理解されるように、前景分割２５６は、複数行サブセットと複数列サブセットに対して隣接する複数のマクロブロックを含む箱型構造として、フレーム中にＲＯＩを有する。しかしながら、分割２５６中のマクロブロックは隣接している。このようにして、前景分割２５８も又複数のマクロブロックを含み、これ等は垂直方向にも水平方向にも隣接する複数のマクロブロックからなるサブセットを含むように配置される。分割２５６と分割２５８は該特定分割に対するＲＯＩを表す矩形領域として区分される。従って、これ等の矩形の左上座標と右下座標が必要であって、符号化装置１１０から復号装置１５０に伝達される。
【００４６】
図４ＢはＨ．２６４／ＡＶＣ標準に従う分割に基づくタイプ１ＦＭＯ用いたサンプル・フレーム３００を例示する。図４Ｂでは、フレーム３００は改良された誤り耐性と隠蔽のための格子縞模様を含む。例示目的のために、白で表わされるマクロブロックはスライス・グループ＃０に関連付けられる。黒で表わされるマクロブロックはスライス・グループ＃１に対するものである。従って、ＦＭＯの利用によって影響されることが出来る交互模様がある。ＦＭＯは最早隣接マクロブロックから構成されるスライスを必要としないが故に、これは許される。かくして、格子縞は本質的に分散したスライスを提供する。
【００４７】
Ｈ．２６４／ＡＶＣのＦＭＯは、タイプ０〜タイプ６とラベル付けされる、７つの異なる型を具備する。しかしながら、例示目的のために、ここではタイプ１とタイプ２のみが説明されてスライス構造の例を提供する。誤り耐性目的のためのＦＭＯは、マクロブロックが、何れのマクロブロックも同じスライス・グループからの他の任意のマクロブロックによって囲まれないという方式で、順序づけられることを可能にする。従って、誤りが発生する（例えば、あるスライスが伝送中に欠落する）場合、該欠落ブロックの再構成は利用可能な周辺のマクロブロックの情報に頼ることが出来る。タイプ６ＦＭＯは最も不規則な型である。タイプ６ＦＭＯは利用者に十分な融通性を許容する。タイプ０〜タイプ５のような他のＦＭＯ型式はある一定の型が守られねばならないということに於いて制限的である。
【００４８】
ＦＭＯ割当ては種々異なる利用に対応するけれども、これまでの所、誤り耐性の道具として第一義的に考えられそして推進されてきた。
【００４９】
Ｈ．２６４以前の動画像圧縮標準では、それぞれのＶＡＵの符号化型式は動画像フレームの内容全体に亘って一様でなければならなかった。これは、該フレームを構成するスライスが同一の符号化型式、Ｉ（フレーム内（intra））、Ｐ（予測（predicted））、Ｂ（双予測（bi-predicted）又は双方向予測（bi-directionally predicted））、を使用して符号化されなければならないことを必然的に伴った。この制約はＨ．２６４標準の導入と共に除去された。Ｈ．２６４標準は１つのＶＡＵ内で異なる符号化型式の使用を許容する。従って、１つのＶＡＵに属する複数のスライスは一般に種々異なる（符号化）型式を有することが出来て、非一様に符号化されるＶＡＵへと導く。更に、Ｈ．２６４は、動画像フレーム全体に対して一様な符号化型式を使用することによって、Ｉ型ＶＡＵ、Ｐ型ＶＡＵ、或いはＢ型ＶＡＵのようなＶＡＵが生成されることも可能にする。
【００５０】
本開示の構成は、１つのＶＡＵ内で異なるスライス（符号化）型式を利用する可能性に関するＨ．２６４のＦＭＯ規定を利用する、符号化エンジン５００（図７）を提供して、カメラ・パン又はスクロールの（普通でそれ故重要な）全体的運動の場合、並びに、シーンが意味論的に異なるセグメントから構成される事例において、改良された符号化効率を達成する。
【００５１】
図１０は、ビジネス・ニュースのような意味的に異なるセグメント９０２、９０４、９０６、９０８及び９１０を持つ、コンポジット（composite）、すなわち複数領域、シーンＶＡＵ９００を例示する。セグメント番号９０２で表わされるシーンの左上には、ライブ（live）動画像（ニュース又は広告クリップ）がある。右上には、大きなフォント・サイズ（font size）のテキストとグラフィクス（graphics）で表わされるセグメント番号９０４と９０６で示される財務指標がある。複数領域シーンＶＡＵ９００の底部には、右から左に流れる小さなフォント・サイズのテキストとグラフィクスで表示されるセグメント番号９０８によって示されるティッカー・シンボル（ticker symbol）と相場、並びに、セグメント番号９１０によって示されるテキストで表示されるニュース・フラッシュ（news flash）がある。このような複数領域シーン構成の内部では、意味論的内容的な相違による該シーンの異なるセグメントは、‘カット（cut）’シーン切換、クロスフェード、フェードインとフェードアウト、ズームインとズームアウトのような、非同期変化を受ける。例えば、もしセグメント９０２の内容が‘カット’シーン切換により突然変化するならば、その場合、セグメント９０２内部についてのみマクロブロックをフレーム内符号化されるマクロブロックとして符号化し、残りのマクロブロックをフレーム間符号化されるマクロブロックとして符号化する、することが最も効率的である。後者では、その内容がこの時点では変化しなかった、セグメント９０４、９０６、９０８及び９１０における連続する時間相関を利用する。従って、内容適応フレーム分割ユニット５１０は、カット・シーン切換、クロスフェード、フェードイン又はフェードアウト、ズームイン又はズームアウト、及び、種々の全体的な動き、の内の１又は複数を検出するために機能する。
【００５２】
図５ＡはＩ型符号化されるＶＡＵ（フレーム＃０）３５０を例示する。図５Ｂは、Ｉ型ＶＡＵとＰ型ＶＡＵとの間に２つのＢ型ＶＡＵ（フレーム＃１と＃２、図示されない）を持ち、フレーム＃０で開始する動画像信号を捕捉するに従いカメラが左方にパニングしている、Ｐ型符号化されるＶＡＵ（フレーム＃３）３７０を例示する。表示された動画像フレーム図５Ａと図５Ｂの内容は、図５Ｂでは、ＶＡＵ３７０の左方にある垂直破線によって示されるように、シーンが左方にパニングされている、ことを除いて本質的に同じである。該垂直破線はフレーム＃０では見えない新しいシーン細部とフレーム＃０で見える、従って予測のために利用可能な、古いシーン細部との間に境界を画する。このサンプル例示の目的のためには、ある重要な細部を持つ特別なシーンに向かって向けられるカメラは、左方へのほぼ純粋なパニングを受けていると見なされて良い。
【００５３】
再び図５Ａに戻ると、図５Ａは、本環境下で捕捉されるＩＢＢＰＢＢＰ・・・構造を持つＧＯＰからの、最初のＩフレームＶＡＵ３５０及び後続のＰフレームＶＡＵ３７０（図５Ｂ）、それぞれフレーム０とフレーム３、を例示する。Ｐフレームでは、フレーム間符号化される、即ち時間的に予測された、複数のマクロブロック３７２（識別境界３７４を持つ正方形）とそれ等の対応する動きベクトル（該識別された正方形領域中にある小矢印３７７）が示される。マクロブロック３７６はマクロブロック３７２に直接隣接する水平面内のマクロブロックを表す。水平に隣接する隣接するマクロブロック３７２と３７６との間の境界は境界３７４で印を付されている。Ｐフレームの残りのマクロブロック（その境界は識別されてない、そして）、該マクロブロックの大部分は該フレームの左境界に沿っており該境界では動きの性質によって新しい細部がシーンに入って来る、はフレーム内符号化される。このマクロブロックの型の分布と動きベクトル場の構造は（左方への）カメラ・パンの場合に対して極めて典型的である。カメラ・パンの速度、及び、Ｐ型ＶＡＵ３７０とその参照フレームとの間の時間的距離、に従って、フレーム内符号化される複数のマクロブロックからなる垂直細帯(vertical strip)は、大部分該フレームの左境界に沿って存在し、１又は複数のマクロブロック列に及ぶことが出来る。例示目的のために、箱またはブロックのない左境界に沿う領域は、図５Ｂにおいてフレーム内符号化されるマクロブロックを表す。
【００５４】
上記の観察は、カメラ・パンとスクロールの他の場合、或いは、１つのシーン内のもっと複雑な全体的な並進運動の場合に、直線的方法で一般化されることが出来る。
【表１】
2010515302.tif 000003
【００５５】
全ての動画像圧縮標準では、各ＭＢ（飛び越されるＭＢを除く）の符号化の型（モード（mode））はビット・ストリームの前列でシグナリングされ、従って、復号器の構文解析及びエントロピー復号処理は各ＭＢデータに対する正しいシンタックス（syntax）を期待することが出来てビット・ストリームを正確に解釈する。Ｐ型で符号化されるスライス／ＶＡＵでは、フレーム間符号化される、即ち、時間的に予測される、ＭＢは好ましい圧縮モードを規定し、そして、Ｐ型ＭＢの発生頻度は、Ｐ型で符号化されるスライス／ＶＡＵでは、フレーム内符号化されるＭＢの発生頻度よりも遥かに大きい。このことは下記の観察へ導く。Ｈ．２６４のコンテキスト適応型可変長符号化方式（Context Adaptive Variable Length Coding）（ＣＡＶＬＣ）モードが該ＭＢ型のシンタックス・エレメント‘ｍｂ＿ｔｙｐｅ’を表示するために使用されると仮定すると、種々異なるスライス型においてフレーム内４×４符号化されるＭＢの型の２進表示は表１のようにまとめられることが出来る。
【００５６】
理解されるように、Ｐ及びＢスライスにおいて期待されないフレーム内４×４符号化されるＭＢの使用とシグナリング（signaling）は、それぞれ４ビット及び８ビットの追加のオーバーヘッド（overhead）を招く。該状況は、関連する詳細は本明細書では提供されないけれども、フレーム内１６×１６符号化される種々のＭＢに対する場合と類似する。従って、他のことが同じであれば、Ｉスライスでフレーム内ＭＢをインスタンス化することが最も効率的である。
【００５７】
時間的に予測されるフレーム、即ち、Ｐ型で符号化されるＶＡＵ及びＢ型で符号化されるＶＡＵの双方は、符号化効率に最も重要な寄与を与えるように働き、そして、該フレームのサイズは望ましくは小であるべきである。フレーム内符号化は３者の中で最も非効率的であるので、Ｐ又はＢ型ＶＡＵ中における増大した数のフレーム内符号化ＭＢの存在は望ましくない事態である。それにも拘らず、例えば、Ｐ又はＢ型ＶＡＵ中における複雑な動き−変形のダイナミクス（dynamics）のために、又は新しい対象がＰ型ＶＡＵのシーンに侵入するために、これが実際に生じる場合、符号器のタスク（task）はこれ等のフレーム内ＭＢの符号化を可能な限り効率的な方法で実行することである。
【００５８】
図６Ａは、フレーム内符号化される複数のマクロブロック４１０からなる単一の垂直細帯構造グループ、及び、複数の平行な水平に拡がるフレーム間符号化されるスライス４１５を有する単一フレーム４００、を例示し、この場合フレーム内符号化されるマクロブロックの該垂直細帯はフレーム４００の左辺境界に始まる。この例では、スライス１〜５は平行で、それぞれ同じ数の行を占める。フレーム間符号化されるスライス１〜５に部分的に重なり従ってスライス１〜５内に存在する、フレーム内符号化されるマクロブロック４１０の該垂直細帯構造配列は、マクロブロック４１０の変更ハッチングによって表わされる単一ＶＡＵ内部に限定され、そして、フレーム４００の上辺境界から底辺境界までいっぱいに拡がる。
【００５９】
図６Ｂは、フレーム内符号化される複数のマクロブロック４２５からなる単一の垂直細帯構造グループを有する単一フレーム４２０を例示する。該フレーム４２０は複数の平行な水平に拡がるフレーム間符号化されるスライス４３０を更に具備し、この場合フレーム内符号化されるマクロブロック４２５の該垂直細帯はフレーム４２０の右辺境界に始まる。フレーム内符号化されるマクロブロック４２５の該垂直細帯は、マクロブロック４２５の変更ハッチングによって表わされるように、フレーム間符号化されるスライス１〜５に部分的に重なり従ってスライス１〜５内に存在する。
【００６０】
図６Ｃは、フレーム内符号化される複数のマクロブロック４６０からなる単一の水平細帯構造グループ(single horizontal strip structured group)を有する単一フレーム４５０を例示する。該フレーム４５０は、複数の平行な水平に拡がるフレーム間符号化されるスライス４５５を更に具備し、この場合フレーム内符号化される複数のマクロブロック４６０からなる該単一の水平細帯構造グループはフレーム４５０の底辺境界に始まり、そして、フレーム４５０の左から右までいっぱいに拡がる。
【００６１】
図６Ｄは、フレーム内符号化される複数のマクロブロック４７５からなる単一の水平細帯構造グループ、及び、複数の平行な水平に拡がるフレーム間符号化されるスライス４８０、を有する単一フレーム４７０を例示し、この場合フレーム内符号化される複数のマクロブロックからなる該単一の水平細帯構造グループの垂直細帯はフレーム４７０の上辺境界に始まり、そして、フレーム４７０の左から右までいっぱいに拡がる。フレームの相当大きな部分でフレーム内符号化を行う必要があって、且つ、スライス構造がこの領域の形状に関して注意深く調整されてない場合、フレーム内符号化されるべき領域内のスライス境界はフレーム内符号化効率を減ずる。これは、本質的には、スライス境界がなければフレーム内予測のために使用されることが出来るはずの隣接画素をスライス境界を越えて利用することが出来ないということ、及び、隣接画素利用不可によるあるフレーム内予測モードの結果的な利用不可、によるものである。図６Ａ〜図６Ｄは、通常のスライス構造がフレーム内符号化されるべき領域を更に分割すると、ある構成に従うフレーム内符号化効率と衝突する、場合を例示する。
【００６２】
図７は、（スライス・グループ及びスライスへの）内容適応フレーム分割および非一様ＶＡＵ符号化を実行するための符号化エンジン５００を例示する。符号化エンジン５００は内容適応フレーム分割ユニット５１０及び非一様動画像アクセス・ユニット（ＶＡＵ）符号化ユニット５２０を含む。内容適応フレーム分割ユニット５１０はショット（shot）境界検出器５１２、動き場計算機５１４、及び、フレーム・セグメンタ（segmentor）５１６を備える。内容適応フレーム分割ユニット５１０はスライス・グループ決定および割当てモジュール（module）５１８を更に含む。
【００６３】
ショット境界検出器５１２は１又は複数のフレームの１又は複数のショット境界を検出する。１つの態様では、ショット境界を検出することはシーン変化を検出することを含む。シーン変化とショット境界の検出は、これ等の発生が動き場(motion field)の連続性の断絶とシーン構成の変化を意味するが故に、重要である。動き場計算機５１４は、Ｉフレーム、Ｐフレーム、Ｂフレーム等々のような、１又は複数のフレームの動き場を計算する。１つの態様では、検出された全体的な動き動作は、カメラ・パン又はスクロール、Ｐ及びＢ型に対するズームイン又はズームアウトのような、動作を含み、そして、Ｂ及びＰ型における複雑な動き−変形の事例は、他の場合には時間的に予測されるアクセス・ユニットにおいて、フレーム内符号化の使用を余儀なくさせる。動き場が決定されると、ＶＡＵがそれに応じて非一様に符号化されることが出来るように、カメラ・パン又はスクロール、ズームイン又はズームアウトが決定されることが出来る。１つの実施形態では、フレーム内の明確に異なる動き場のセグメント（例えばそれ等のセグメントが含む動きベクトルの方向と強さが異なる）についての情報が、セグメントへの分割タスクを容易にする手引きとして、フレーム・セグメンタ・ユニットに提供されることが出来る。
【００６４】
フレーム・セグメンタ５１６は１又は複数のフレームをセグメントに分割するためのものである。フレーム・セグメンタ５１６は、該フレームを、図９Ａ〜図９Ｄの何れでも示される、スライス・グループ＃０構造及びスライス・グループ＃１構造に関連付けられるマクロブロックの集合のような、複数のマクロブロックからなる１又は複数のグループにセグメント化または分割する。
【００６５】
スライス・グループ決定および割当てモジュール５１８は、特定された１又は複数のマクロブロック・グループを１又は複数のスライス・グループに、そして、それぞれの前記スライス・グループ内の１又は複数のスライスに関連付ける目的で、フレーム・セグメンタ・ユニットの出力を解析する。スライス・グループ決定および割当てモジュール５１８は、該特定された１又は複数のマクロブロック・グループの大きさと形状、及び、フレーム間予測可能またはフレーム内予測可能のような該グループの予測能力の属性を解析し、該１又は複数のマクロブロック・グループを１又は複数のスライス・グループに割り当て、そして、前記１又は複数のスライス・グループ内の１又は複数のスライスの大きさ（例えば、任意のスライス・グループの任意のスライスに対する行数）を決定する。スライス・グループ決定および割当てモジュール５１８は１又は複数のフレームに対してスライス・グループ、スライス、及び／又はスライスの型を決定する。非一様動画像アクセス・ユニット（ＶＡＵ）符号化ユニット５２０は該決定された型に関連付けられるマクロブロック上で非一様符号化を実行する。
【００６６】
図２Ａを再び参照すると、スライス・グループ及び／又はスライス型に基づいて、該スライスは、それぞれ、フレーム間符号化方式又はフレーム内符号化方式を利用し、フレー間符号化符号器１１８又はフレーム内符号化符号器１２０によって、符号化される。従って、符号化装置１００は、該決定されたスライス・グループ及び／又はスライス及び／又はスライス型に少なくとも部分的に基づき、フレーム間符号化技術又はフレーム内符号化技術に従って、該スライスを符号化する。
【００６７】
（スライス・グループ及びスライスへの）内容適応フレーム分割および非一様ＶＡＵ符号化は上記の機構によって生じる低下した符号化効率を取り扱う。従って、カメラ・パン又はスクロール、Ｐ及びＢ型符号化されるＶＡＵにおけるズームイン又はズームアウト、そして、（回転運動を受ける物体のような）剛体並進運動モデルには合わないＢ及びＰ型符号化されるＶＡＵにおける複雑な動き−変形事例、のような全体的な動き動作は、他の場合には時間的に予測されるアクセス・ユニットにおいて、フレーム内符号化の使用を余儀なくさせる。非一様なＶＡＵ符号化は、時間的に予測されるアクセス・ユニットにおけるフレーム内符号化を、高められた効率で利用する。
【００６８】
この要請を最も効率的な方法で満たすために、符号器は図８に例示される処理流れに類似する処理流れを採用する。この進歩した処理の結果、図６Ａ〜図６Ｄに例示されるサンプル事例に対するスライス分割構造は図９Ａ〜図９Ｄに例示される構造に変更されねばならない。図６Ａ〜図６Ｄと図９Ａ〜図９Ｄにおけるサンプル事例は説明目的のみのために提供されているということ、そして、予測可能性の属性に基づく、領域（マクロブロック・グループ）、スライス・グループ、及びスライスへのフレームのセグメント化／分割は、ＦＭＯの規定に基づいて、完全に柔軟な方法で行われるということ、が理解されるべきである。
【００６９】
下記の種々の構成において、流れ図の諸ブロックは表示された順序で実行される、或いは、これ等のブロックまたはそれらの諸部分は同時に、並列に、若しくは別の順序で実行されることが出来る。
【００７０】
図８は、一定の構成に従って、内容依存フレーム分割および非一様動画像アクセス・ユニット符号化を達成するための処理６００の流れ図を例示する。処理６００はブロック６０２におけるショット境界／シーン変化の検出と共に開始する。一貫性を加えた空間的−時間的類似性の基本ユニットが、空間的−時間的類似性を断絶し、そして、該基本ユニットの境界を区分する、シーン変化の検出によって動画像順列において特定される。ブロック６０２はブロック６０４に引き継がれ、６０４は動き場が計算される。一つの態様では、双方向計算と単方向計算が利用されて、フレーム間予測可能または不可能、カメラ・パン又はスクロール、ズームイン又はズームアウトのような全体的な動き動作のような、フレーム或いはフレーム内の１又は複数の領域の予測可能性の属性を識別し、並びに、静的（変化しない）領域、一様な動きの領域、非一様な動きの領域のような明確に異なる動き特性を持つフレーム内の領域（マクロブロック・グループ）を識別する。
【００７１】
ショット・セグメントでは、該動画像セグメントの先頭フレームを除いて、全フレームに対して動き場が計算されることは注目されるべきである。一般的には、動画像の順列は複数のショット・セグメント、即ち、シーン変化によって分離される連続した動画像フレームの意味論的に一貫した集合、を含む。ＩＢＰ・・・配列は更に正確には‘ＧＯＰ構造’呼ばれる。シーン変化に合わせてＩフレームを配列することが望ましいけれども、必ずしもそうする必要はなく、シーン変化と合わせられる必要のない一様な間隔でＩフレームを挿入する他の理由がある（例えば、上限を区切られた遅延特性を持つランダム・アクセスを可能にする）。例えば、図５Ａのフレーム３５０はＩフレームであって、動き場計算には当てられない。しかしながら、Ｐ型フレームである、図５Ｂのフレーム３７０に対しては、動き場計算が実行される。先頭フレーム又はＩフレームは全体としてフレーム内符号化される。
【００７２】
ブロック６０４はブロック６０６によって引き継がれ、６０６ではフレームがセグメント分割される。フレームのセグメント分割は時間的予測可能性と動き場の属性に本質的に基づいている。ブロック６０６は、スライス・グループの決定と割当てが行われる、ブロック６０８によって引き継がれる。各ブロック上でスライス・グループ、スライス及びスライス（符号化）型式割当てが決定される。ブロック６０８では、各スライスにおける先頭のマクロブロック（ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅ）の絶対アドレス（address）及び／又は各スライス内の逆スキャン・マクロブロック情報が特定されることが出来る。図９Ａに具体的に関連して、フレーム７００が示される。ここでは、スライス６はＩ型符号化を有すると識別される。スライス境界、例えばスライス６に含まれるべき垂直マクロブロック列の数、が決定される。１つの態様では、スライス６は複数のマクロブロックからなる垂直細帯に関連付けられ、そして、左方へのカメラ・パンによりフレーム内符号化される必要がある。更に、スライス１、２、３、４及び５がここで決定される。この特別なフレームでは、スライス１〜５はＰ型スライスである。従って、一般的には、スライス６はＩ型であり、他方、残りのスライスは全てＰ型であるか全てＢ型であるかの何れかである。
【００７３】
ブロック６０８では、符号化エンジンは、誤り耐性のような、付加的制約を組み込むこともできる。ブロック６０８はブロック６１０によって引き継がれ、ブロック６１０では特定されたスライス符号化型式に基づく符号化、例えば、スライスのフレーム内符号化またはフレーム間符号化、が行われる。ブロック６１０は処理６００を終了する。処理６００の出力はメモリ１１４中のファイルに送られる、及び／又は、ネットワーク１４０を介する復号装置１５０への配信のために、ブロック６１２において、トランシーバ１１６へのビットストリーム中に送られることが出来る。
【００７４】
使用される、特定の標準動画像圧縮アルゴリズムまたは他の非標準動画像圧縮アルゴリズム、に依拠する処理６００の出力は、マクロブロックのスライス・グループ及びスライスとの関連性に関する情報も又含む。
【００７５】
図１１は、フレキシブル・マクロブロック・オーダリング（ＦＭＯ）の利用がある場合における、非一様ＶＡＵ復号のための処理１０００の流れ図を例示する。Ｈ．２６４標準におけるＦＭＯ規定は、（ラスタースキャン順序を意味する時間連続性によって制約されない）完全にフレキシブルな分割、及び、動画像フレームのマクロブロックの集合の１又は複数のスライス・グループへの、そして、各スライス・グループ内の１又は複数のスライスへのグループ化、を可能にする。マクロブロックの集合の１又は複数のスライス・グループへの、そして、各スライス・グループ内の１又は複数のスライスへの分割は、符号器によって決定され、そして、マクロブロックとスライス・グループとスライスとの間の結果として生じる関連性は復号器に提供されるべきである。例えば、Ｈ．２６４標準では、この関連性はスライス・グループ・マップ（ＳＧＭ）を介してピクチャ・パラメータ・セット（Picture Parameter Sets）（ＰＰＳ）でシグナリングされる。復号動作はスライス・グループ・マップ（ＳＧＭ）によって提供される情報を利用し、そして、スライス中の先頭マクロブロック‘ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅ’の絶対アドレスをシグナリングする各スライスのヘッダ（header）におけるシンタックス・エレメント（syntax element）も又利用して、各スライス内部のマクロブロック情報をラスター・スキャン順序外位置から正しい空間位置まで逆スキャンする。その結果、復号と画素再構成処理は、再びスライス・ヘッダでシグナリングされるスライス符号化型式に従って行われる。復号装置１５０は、ＦＭＯ規定が利用される場合に符号器によってビット・ストリーム中に生成されて書き込まれる、ＳＧＭを利用して非一様ＶＡＵ復号を実行する。
【００７６】
下記の種々の構成において、流れ図の諸ブロックは表示された順序で実行される、或いは、これ等のブロックまたはそれらの諸部分は同時に、並列に、若しくは別の順序で実行されることが出来る。
【００７７】
処理１０００はブロック１００２で始まり、１００２では復号装置１５０はＰＰＳを受信し、そして、符号化装置１１０によって生成されたＳＧＭを決定する。復号装置１５０は、ブロック１００４によれば、非一様符号化されたＶＡＵにおけるそれぞれシグナリングされたスライスのスライス・ヘッダ中のシンタックス・エレメントも又受信する。ブロック１００４はブロック１００６に引き継がれ、１００６では各スライスにおける先頭マクロブロック（ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅ）の絶対アドレスが決定される。ブロック１００６はブロック１００８に引き継がれ、１００８ではラスター・スキャン順序外位置から正しい空間位置に及ぶ各スライス内部におけるマクロブロックの位置情報の逆スキャン動作が行われる。ブロック１００８はブロック１０１０に引き継がれ、１０１０では非一様符号化されたＶＡＵが復号され、そして、スライス・ヘッダでシグナリングされたスライスの符号化型式に従って、画素が再構築される。
【００７８】
図９Ａ〜図９Ｄは、一定の構成に従って、内容適応動画像フレーム・スライシングから導かれた（スライス形状と符号化型式双方に関して）非一様符号化されるＶＡＵの例示的な場合を例示する。図９Ａでは、非一様符号化されるＶＡＵ７００は、該ＶＡＵの左方にある複数のマクロブロックからなる垂直細帯７１５のような垂直スライス＃６を含み、フレーム内符号化されるべきＩ型と指定される。垂直細帯７１５はＶＡＵ７００の左辺または左境界に始まって、そこから１又は複数のマクロブロック列拡がり該スライスの右辺または右境界を定める。垂直細帯７１５は該動画像フレームの上辺から底辺まで拡がる。７１０で指定される残りのスライス１〜５はＰ型スライスとしてフレーム間符号化される。スライス１〜５は平行且つ水平に配列され、そして、スライス・グループ＃０にグループ化される。スライス・グループ＃０に対する左境界はスライス＃６の最右辺または最右境界で始まり、非一様符号化されるＶＡＵ７００の右境界まで拡がる。従って、スライス１〜５のそれぞれにおける先頭マクロブロックの絶対アドレスはそれに応じて設定される。
【００７９】
図９Ｂでは、非一様符号化されるＶＡＵ７３０は、該ＶＡＵの右方にある複数のマクロブロックからなる垂直細帯７４０のような垂直スライス＃６を含み、フレーム内符号化されるべきＩ型と指定される。垂直細帯７４０はＶＡＵ７３０の右辺または右境界から１又は複数のマクロブロック列離れた位置から拡がり、ＶＡＵ７３０の右端または右境界まで１又は複数のマクロブロック列拡がる。垂直細帯７４０は又ＶＡＵ７３０の上辺から底辺まで拡がる。７３５で指定される残りのスライス１〜５はＰ型スライスとしてフレーム間符号化される。スライス１〜５は平行且つ水平に配列され、そして、スライス・グループ＃０にグループ化される。この場合、スライス・グループ＃０に対する左境界はＶＡＵ７３０の左辺または左境界で始まり、垂直細帯７４０の左境界まで拡がる。従って、スライス１〜６のそれぞれにおける先頭マクロブロックの絶対アドレスはそれに応じて設定される。
【００８０】
図９Ｃでは、ＶＡＵ７５０は、ＶＡＵ７５０の上方にある水平細帯７５５のような単一の水平スライス＃１を含み、フレーム内符号化されるべきＩ型と指定される。７６０で指定される残りのスライス２〜７はＰ型スライスとしてフレーム間符号化される。この場合、水平細帯７５５の右境界と左境界はＶＡＵ７５０の右境界と左境界または右辺と左辺に一致する。水平細帯７５５の上辺はＶＡＵ７５０の上辺と一致する。しかしながら、水平細帯７５５の底辺はＶＡＵの上辺から１又は複数行下方に拡がる。スライス２〜７は、スライス・グループ＃１内で、平行且つ水平に配列される。この場合、スライス・グループ＃１における各スライスの右境界と左境界も又ＶＡＵ７５０の右境界と左境界または右辺と左辺に一致する。この配列では、スライス１〜７の行数とそれ等の大きさは等しくなくても良い。スライス・グループ＃１の最後のスライス、この場合スライス＃７、はＶＡＵ７５０の底境界と一致する底境界を有する。
【００８１】
図９Ｄでは、ＶＡＵ８００は、ＶＡＵ８００の底部にある水平細帯８０４のような単一の水平スライス＃８を含み、フレーム内符号化されるべきＩ型と指定される。水平細帯８０４の底辺はＶＡＵ８００の底辺と一致する。水平細帯８０４はＶＡＵ８００の底辺から１又は複数行上方に拡がる。８０２で指定される残りのスライス１〜７は例えばＰ型スライスとしてフレーム間符号化される。スライス１〜７は、スライス・グループ＃０中に、平行且つ水平に配列される。この配列では、スライス１〜８の行数とそれ等の大きさは等しくなくても良い。スライス・グループ＃０の先頭のスライス、この場合スライス＃１、はＶＡＵ７５０の上境界と一致する上境界有する。全てのスライスの右境界と左境界はＶＡＵ７５０の右境界と左境界と一致する。
【００８２】
当業者等は、情報及び信号は任意の多様な異なる基礎および応用技術を使用して表わされることが出来ることを理解する。例えば、上記の説明全体に亘って参照されることが出来る、データ、指示、命令、情報、信号、ビット、シンボル、及び、チップは、電圧、電流、電磁波、磁場又は磁性粒子、光学的場又は光学粒子，或はこれ等の任意の組合せ、により表わされることが出来る。
【００８３】
当業者等は更に、本明細書中で開示された諸実施例と関連して説明された種々の例示的な論理ブロック、モジュール、及び、アルゴリズム・ステップは、エレクトロニック・ハードウェア（electronic hardware）、ファームウェア（firmware）、コンピュータ・ソフトウェア（software）、ミドルウェア（middleware）、マイクロコード（microcode）、或いは、これ等の任意の組み合わせとして実装されることが可能であること、を認識する。ハードウェアとソフトウェアのこの交換可能性を明確に説明するために、種々の例示的な構成要素、ブロック、モジュール、回路、及びステップは、上記において、一般にそれ等の機能性を表す言葉で説明された。このような機能性がハードウェアとして実装されるか或はソフトウェアとして実装されるかは、システム全体に課される特別な応用上及び設計上の制約に依存する。当業者等は説明された機能性を各特別な応用に対して種々の方法で実装することが出来る、しかし、そのような実装的な解決は本開示された方法の範囲からの逸脱をもたらすので、説明されるべきではない。
【００８４】
本明細書中で開示された諸実施例と関連して説明された種々の例示的な論理ブロック、コンポーネント、モジュール、及び回路は、汎用プロセッサ、デジタル信号処理装置（digital signal processor）（ＤＳＰ）、特定用途向け集積回路（application specific integrated circuit）（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（field programmable gate array）（ＦＰＧＡ）又は他のプログラム可能な論理デバイス、デスクリート・ゲート（discrete gate）又はトランジスタ・ロジック（transistor logic）、デスクリート・ハードウェア・コンポーネント（discrete hardware components）、或は本明細書に記載された諸機能を実行するために設計されたそれ等の任意の組合せ、を用いて実装または実行されることが出来る。汎用プロセッサはマイクロプロセッサ（microprocessor）であって良い、しかし、その代わりに、該プロセッサは任意の通常のプロセッサ、制御器、マイクロ制御器、或はステート・マシン（state machine）であって良い。プロセッサは、計算装置の組合せ、例えば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと結合された１又は複数のマイクロプロセッサ、或は任意の他のこのような構成、として実装されることも可能である。
【００８５】
本明細書中で開示された諸実施例に関連して説明された方法またはアルゴリズムの諸ステップは、直接ハードウェアにおいて、１又は複数の処理エレメントにより遂行される１又は複数のソフトウェア・モジュールにおいて、或は両者の組合せにおいて、具体化されることが可能である。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ（flash）メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ（registers）、ハード・ディスク、リムーバブル（removable）ディスク、ＣＤ−ＲＯＭ、或は他の任意の公知の記憶媒体形式またはその組み合わせ、中に常駐することが出来る。実施例の記憶媒体はプロセッサに接続され、従って、該プロセッサは該記憶媒体から情報を読み、該記憶媒体に情報を書くことが出来る。それに代わって、該記憶媒体はプロセッサと一体になることも出来る。プロセッサと記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）の中に常駐することが可能である。該ＡＳＩＣは無線モデム（modem）の中に常駐することが出来る。それに代わって、プロセッサと記憶媒体は無線モデム中で個別コンポーネントとして常駐することが可能である。
【００８６】
開示された諸実施例の前記説明は当業者の誰もが本開示された方法および装置を作る或は利用することを可能にするために提供されている。これ等の諸実施例への種々の変更は当業者等には容易に明白であり、そして、本明細書中で定義される諸原理は他の例に適用されることが出来、そして、追加のエレメントが付加されることが出来る。
【図１】
2010515302.tif 000004
【図２Ａ】
2010515302.tif 000005
【図２Ｂ】
2010515302.tif 000006
【図３Ａ】
2010515302.tif 000007
【図３Ｂ】
2010515302.tif 000008
【図４Ａ】
2010515302.tif 000009
【図４Ｂ】
2010515302.tif 000010
【図５Ａ】
2010515302.tif 000011
【図５Ｂ】
2010515302.tif 000012
【図６Ａ】
2010515302.tif 000013
【図６Ｂ】
2010515302.tif 000014
【図６Ｃ】
2010515302.tif 000015
【図６Ｄ】
2010515302.tif 000016
【図７】
2010515302.tif 000017
【図８】
2010515302.tif 000018
【図９Ａ】
2010515302.tif 000019
【図９Ｂ】
2010515302.tif 000020
【図９Ｃ】
2010515302.tif 000021
【図９Ｄ】
2010515302.tif 000022
【図１０】
2010515302.tif 000023
【図１１】
2010515302.tif 000024
【国際調査報告】
2010515302.tif 000025
2010515302.tif 000026