(57)【要約】  本発明の側面は、動画像の並列的な符号化及び復号のための方法と装置に関する。該側面は、エンコーダにおける動画像シーケンスの動画像フレームの符号化方法を含む。該符号化方法は、動画像シーケンスのフレームを少なくとも１つの再構成スライスに分割し、第１の再構成スライスを生成する工程と、該第１の再構成スライスを複数のエントロピースライスに分割する工程とを含み、該複数のエントロピースライスにおける各エントロピースライスに関連したビンの数は、ビンの所定の数以下であることを特徴とする。
2013509006.tif 000002
【特許請求の範囲】
【請求項１】
動画像シーケンスの動画像フレームの符号化方法であって、
ａ）エンコーダにて、動画像シーケンスのフレームを少なくとも１つの再構成スライスに分割し、第１の再構成スライスを生成する工程と、
ｂ）上記エンコーダにて、上記第１の再構成スライスを複数のエントロピースライスに分割する工程と、
を含んでおり、
上記複数のエントロピースライスにおける各エントロピースライスに関連したビンの数は、ビンの所定の数以下である、
ことを特徴とする符号化方法。
【請求項２】
上記第１の再構成スライスに関連したマクロブロックの数は、マクロブロックの所定の数以下である、
ことを特徴とする請求項１に記載の符号化方法。
【請求項３】
上記複数のエントロピースライスにおける各エントロピースライスに関連したマクロブロックの数は、マクロブロックの所定の数以下である、
ことを特徴とする請求項１に記載の符号化方法。
【請求項４】
上記複数のエントロピースライスにおける各エントロピースライスに関連したビットの数は、ビットの所定の数以下である、
ことを特徴とする請求項１に記載の符号化方法。
【請求項５】
上記複数のエントロピースライスにおける各エントロピースライスに関連したマクロブロックの数は、マクロブロックの所定の数以下である、
ことを特徴とする請求項４に記載の符号化方法。
【請求項６】
上記ビンの所定の数は、上記エンコーダにより生成された動画像ビットストリームに関連したレベルコンフォーマンスポイントに関連している、
ことを特徴とする請求項１に記載の符号化方法。
【請求項７】
上記ビンの所定の数は、ビットレート、画像サイズ、およびマクロブロックの数から成るグループから選択された少なくとも１つのパラメータに依存する、
ことを特徴とする請求項１に記載の符号化方法。
【請求項８】
エントロピースライスヘッダを上記複数のエントロピースライスにおける各エントロピースライスに関連付ける工程を更に含んでいる、
ことを特徴とする請求項１に記載の符号化方法。
【請求項９】
エントロピースライスフラグを上記複数のエントロピースライスを用いて生成されたビットストリームに関連付ける工程を更に含んでいる、
ことを特徴とする請求項１に記載の符号化方法。
【請求項１０】
動画像シーケンスの動画像フレームの符号化方法であって、
ａ）エンコーダにて、動画像シーケンスのフレームを少なくとも１つの再構成スライスに分割し、第１の再構成スライスを生成する工程と、
ｂ）上記エンコーダにて、上記第１の再構成スライスを複数のエントロピースライスに分割する工程と、
を含んでおり、
上記複数のエントロピースライスにおける各エントロピースライスのサイズは、所定のサイズ以下であり、
上記所定のサイズは、ビットの数、ビンの数、およびマクロブロックの数から成るグループから選択された少なくとも１つのサイズの尺度に関連している、
ことを特徴とする符号化方法。
【請求項１１】
上記第１の再構成スライスに関連したマクロブロックの数は、マクロブロックの所定の数以下である、
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１２】
上記所定のサイズは、上記エンコーダにより生成された動画像ビットストリームに関連したレベルコンフォーマンスポイントに関連している、
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１３】
上記所定のサイズは、ビットレート、画像サイズ、およびマクロブロックの総数から成るグループから選択された少なくとも１つのパラメータに依存する、
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１４】
エントロピースライスヘッダを上記複数のエントロピースライスにおける各エントロピースライスに関連付ける工程を更に含んでいる、
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１５】
エントロピースライスフラグを上記複数のエントロピースライスを用いて生成されたビットストリームに関連付ける工程を更に含んでいる、
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１６】
並列的な復号をするための動画像ビットストリームの生成方法であって、
ａ）デコーダにて、第１の動画像ビットストリームを受信する工程と、
ｂ）上記動画像ビットストリームにおける再構成スライスを識別する工程と、
ｃ）上記再構成スライスからの複数のシンボルをエントロピー復号し、上記再構成スライスに関連したエントロピー復号済みのデータを生成する工程と、
ｄ）上記再構成スライスに関連した上記エントロピー復号済みのデータを、上記再構成スライスに関連した複数のエントロピースライスに分割する工程と、
ｅ）上記複数のエントロピースライスの各エントロピースライスの上記エントロピー復号済みのデータを個別にエントロピー符号化し、複数のエントロピー符号化済みのエントロピースライスを生成する工程と、
ｆ）上記複数のエントロピー符号化済みのエントロピースライスを含む第２の動画像ビットストリームを生成する工程と、
を含んでおり、
上記複数のエントロピースライスにおける各エントロピースライスのサイズは、所定のサイズ以下であり、
上記所定のサイズは、ビットの数、ビンの数、およびマクロブロックの数から成るグループから選択された少なくとも１つのサイズの尺度に関連している、
ことを特徴とする生成方法。
【請求項１７】
動画像ビットストリームの復号方法であって、
再構成スライスに関連した複数のエントロピースライスを復号する工程を含んでおり、
上記複数のエントロピースイラスにおける各エントロピースライスのサイズは、所定のサイズ以下であり、
上記所定のサイズは、ビットの数、ビンの数、およびマクロブロックの数から成るグループから選択された少なくとも１つのサイズの尺度に関連している、
ことを特徴とする復号方法。
【請求項１８】
上記所定のサイズは、上記動画像ビットストリームに関連したレベルコンフォーマンスポイントに関連している、
ことを特徴とする請求項１７に記載の復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連文献の参照〕
本願は、２００８年３月２８日に出願された"Methods and Systems for Parallel Video Encoding and Decoding"という名称の米国特許出願公開第１２／０５８，３０１号明細書の一部継続出願である。上記米国特許出願公開第１２／０５８，３０１号明細書は、参照することにより、その全体が本明細書に組み込まれるものとする。
【０００２】
本発明の実施の形態は、一般に動画像符号化に関する。具体的には、動画像の並列的な符号化および復号のための方法に関する。
【背景技術】
【０００３】
Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４／ＡＶＣ）等の最新の動画像符号化方法および規格は、複雑度が増大することを代償として、旧来の方法および規格に比べて、より高い符号化効率を提供する。動画像符号化方法および規格において画質および解像度に関する要求が増していることも、複雑度を増大させる要因である。並列復号処理をサポートしているデコーダにおいては、復号速度が向上し、必要なメモリ量が削減される。加えて、マルチコアプロセッサの進歩は、並列復号処理をサポートしているエンコーダおよびデコーダを望ましいものにしている。
【０００４】
Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（非特許文献１）は、動画像のコーデック（コーダ／デコーダ）についての仕様書（当該仕様書の全体が、本明細書に組み込まれるものとする）であり、当該仕様書においては、効率的な圧縮を行うため、動画像シーケンスにおいて時間的および空間的な冗長性を削減するマクロブロック予測とそれに引き続く残差符号化が用いられている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】“H.264: Advanced video coding for generic audiovisual services,” Joint Video Team of ITU-T VCEG and ISO/IEC MPEG, ITU-T Rec. H.264 and ISO/IEC 14496-10 (MPEG4 - Part 10), November 2007
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、Ｈ．２６４／ＡＶＣのデコーダおいて、エントロピー復号は、デコーダにおける全ての処理に先立って行う必要がある。したがって、エントロピー復号は、復号処理において、潜在的なボトルネックとなっている。
【０００７】
本発明は上記の問題に鑑みてなされたものであり、その主たる目的は、上記問題を解決することにある。
【課題を解決するための手段】
【０００８】
本発明のいくつかの実施の形態には、データを、個別にエントロピー符号化および復号されるエントロピースライスに分割することに基づいて、動画像ビットストリームを並列的にエントロピー符号化および復号する方法が含まれる。
【０００９】
本発明のいくつかの実施の形態では、入力圧縮動画像のビットストリームの第１の部分および第２の部分が、個別にエントロピー復号される。入力圧縮動画像ビットストリームの第２の部分に関連した動画像フレームのサンプルのブロックが、第１の部分および第２の部分からの復号済みデータを用いて再構成される。このように、再構成における近傍の定義とエントロピー復号における近傍の定義とは同一のものではない。
【００１０】
本発明のいくつかの実施の形態では、エンコーダが、入力データをエントロピースライスに分割する。上記エンコーダは、上記エントロピースライスを個別にエントロピー符号化する。上記エンコーダは、各々が上記エントロピースライスに関連するデータのビットストリームにおける位置を示すエントロピースライスヘッダを形成する。本発明のいくつかの実施の形態では、デコーダが、エントロピースライスヘッダについての受信済みビットストリームを構文解析し、上記デコーダは、デコーダが規定した並列性のレベルに従って、複数のエントロピースライスをエントロピー復号する。
【００１１】
本発明のいくつかの実施の形態では、エントロピースライスを形成するために、データがピクチャレベルにて多重化される。いくつかの実施の形態では、１つ以上のエントロピースライスが予測データに対応し、１つ以上のエントロピースライスが残差データに対応する。本発明の他の実施の形態では、１つ以上のエントロピースライスが、複数の色平面の各々に対応する。
【００１２】
本発明のいくつかの実施の形態では、ビットストリームが、エントロピースライスを含むようにトランスコードされる。これらの実施の形態では、受信されたビットストリームがエントロピー復号され、複数のエントロピースライスが構築され、各エントロピースライスが個別にエントロピー符号化され、関連するエントロピースライスヘッダを伴ってトランスコードされたビッストリームに書き込まれる。
【００１３】
本発明のいくつかの実施の形態では、エンコーダが、再構成スライスを複数のエントロピースライスに分割する。ここで、上記複数のエントロピースライスにおける各エントロピースライスに関連したビンの数は、ビンの所定の数を超過しない。本発明の他の実施の形態では、エンコーダが、再構成スライスを複数のエントロピースライスに分割する。ここで、上記複数のエントロピースライスにおける各エントロピースライスに関連したマクロブロックの数は、マクロブロックの所定の数を超過しない。本発明の更に他の実施の形態では、エンコーダが、再構成スライスを複数のエントロピースライスに分割する。ここで、上記複数のエントロピースライスにおける各エントロピースライスに関連したビットの数は、ビットの所定の数を超過しない。
【００１４】
本発明についての、上述した若しくは他の目的、特性、および利点は、本発明についての以下の詳細な説明を、添付された図面と共に考慮することにより、より容易に理解されるであろう。
【発明の効果】
【００１５】
Ｈ．２６４／ＡＶＣにおいて、エントロピー復号は、復号処理における潜在的なボトルネックとなっている。本発明の一実施例における構成は、画像を再構成するために必要なエントロピー復号処理を並列に行うことを可能にしている。したがって、本発明に係る方法、装置、および、システムによれば、上記問題を解決することができる。
【図面の簡単な説明】
【００１６】
【図１】Ｈ．２６４／ＡＶＣ動画像エンコーダ（従来技術）を示す図である。
【図２】Ｈ．２６４／ＡＶＣ動画像デコーダ（従来技術）を示す図である。
【図３】例示的なスライスの構造（従来技術）を示す図である。
【図４】例示的なスライスグループの構造（従来技術）を示す図である。
【図５】本発明の実施の形態における例示的なスライス分割を示すものであって、１枚のピクチャが少なくとも１枚の再構成スライスに分割され、１枚の再構成スライスが１より多くのエントロピースライスに分割されていることを示す図である。
【図６】エントロピースライスを含む本発明の例示的な実施の形態を示すフローチャートである。
【図７】スライスの再構成に引き続いて行われる複数のエントロピースライスの並列的なエントロピー復号を含む本発明の例示的な実施の形態を示すフローチャートである。
【図８】エントロピースライスを構成するために行われるピクチャレベルでの予測データ／残差データの多重化を含む本発明の例示的な実施の形態を示すフローチャートである。
【図９】エントロピースライスを構成するために行われるピクチャレベルでの色平面の多重化を含む本発明の例示的な実施の形態を示すフローチャートである。
【図１０】エントロピー復号、エントロピースライスの形成、および、エントロピー符号化により行われるビットストリームのトランスコードを含む本発明の例示的な実施の形態を示すフローチャートである。
【図１１】再構成スライスの複数のエントロピースライスへの分割を含む本発明の例示的な実施の形態を示すフローチャートである。ここで、上記複数のエントロピースライスにおける各エントロピースライスに関連したビンの数は、ビンの所定の数を超過しない。
【図１２】再構成スライスの複数のエントロピースライスへの分割を含む本発明の例示的な実施の形態を示すフローチャートである。ここで、エントロピースライスにおけるビンの数が、ビンの所定の最大数に基づく閾値を超過するまで、ビンは上記エントロピースライスに関連付けられる。
【図１３】再構成スライスの複数のエントロピースライスへの分割を含む本発明の例示的な実施の形態を示すフローチャートである。ここで、上記複数のエントロピースライスにおける各エントロピースライスに関連したビンの数は、ビンの所定の数を超過せず、各再構成スライスは、所定の数以下のマクロブロックを含む。
【図１４】再構成スライスの複数のエントロピースライスへの分割を含む本発明の例示的な実施の形態を示すフローチャートである。ここで、エントロピースライスにおけるビンの数が、ビンの所定の最大数に基づく閾値を超過するまで、ビンは上記エントロピースライスに関連付けられ、各再構成スライスは、所定の数以下のマクロブロックを含む。
【図１５】再構成スライスの複数のエントロピースライスへの分割を含む本発明の例示的な実施の形態を示すフローチャートである。ここで、上記複数のエントロピースライスにおける各エントロピースライスに関連したビットの数は、ビットの所定の数を超過しない。
【図１６】再構成スライスの複数のエントロピースライスへの分割を含む本発明の例示的な実施の形態を示すフローチャートである。ここで、エントロピースライスにおけるビットの数が、ビットの所定の最大数に基づく閾値を超過するまで、ビットは上記エントロピースライスに関連付けられる。
【発明を実施するための形態】
【００１７】
本発明の実施の形態は、図面を参照することにより最もよく理解されるであろう。なお、図面においては、同様の部分には、同様の番号を付すことにする。また、上記の図面は、明示的に詳細な説明の一部に組み込まれる。
【００１８】
本明細書の図面において一般的に記述および説明がなされているように、本発明の各要素は、様々な構成においてアレンジおよび設計が可能であることが容易に理解されるであろう。従って、以下に述べる、本発明に係る方法の実施の形態についてのより詳細な記載は、本発明の範囲を限定するものではなく、単に、現段階における好ましい実施の形態を表現しているに過ぎない。
【００１９】
本発明の実施の形態における各要素は、ハードウエア、ファームウエア、および／または、ソフトウエアによって実現されてもよい。本明細書において例示的に開示される実施の形態は、これらの形態の一つを記述しているに過ぎず、当業者であれば、本発明の範囲内において、各要素を、これらの形態の何れにおいても実現することができることが理解されるものとする。
【００２０】
エントロピー符号化／復号を用いる任意のコーダ（coder）／デコーダ（decoder）（コーデック）は、本発明の実施の形態に含まれるが、本発明の例示的な実施の形態は、Ｈ．２６４／ＡＶＣのエンコーダ、および、Ｈ．２６４／ＡＶＣのデコーダとの関連において説明される。これは、本発明の説明のためであり、本発明を限定するものではない。
【００２１】
Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４／ＡＶＣ）等の最新の動画像符号化方法および規格は、複雑度が増大することを代償として、旧来の方法および規格に比べて、より高い符号化効率を提供する。動画像符号化方法および規格において画質および解像度に関する要求が増していることも、複雑度を増大させる要因である。並列復号処理をサポートしているデコーダにおいては、復号速度が向上し、必要なメモリ量が削減される。加えて、マルチコアプロセッサの進歩は、並列復号処理をサポートしているエンコーダおよびデコーダを望ましいものにしている。
【００２２】
Ｈ．２６４／ＡＶＣ、および、その他多くの動画像符号化規格および方法は、ブロックに基づくハイブリッド動画像符号化のアプローチに基づいている。それらにおいて、情報源符号化（source-coding）アルゴリズムは、（ａ）画像間（inter-picture、フレーム間（inter-frame）ともいう）予測、（ｂ）画像内（intra-picture、フレーム内（intra-frame）ともいう）予測、および、（ｃ）予測残差（prediction-residual）の変換符号化（transform coding）、のハイブリッドである。フレーム間予測は、時間方向の冗長性を利用するものであり、フレーム内および予測残差の変換符号化は、空間方向の冗長性を利用するものである。
【００２３】
図１は、例示的なＨ．２６４／ＡＶＣ動画像エンコーダ２のブロック図である。入力フレームと捉えることもできる入力画像（input picture、入力ピクチャ）４が、符号化の対象として存在している。予測信号（predicted signal）６、および、残差信号（residual signal）８が生成される。ここで、予測信号６は、フレーム間予測（inter-frame prediction）１０またはフレーム内予測（intra-frame prediction）１２の何れかに基づくものである。フレーム間予測１０は、（１）フレームメモリにおいて蓄積された参照画像１６（参照フレームともいう）、および、（２）入力フレーム（入力画像）４と参照フレーム（参照画像）１６との間の、動き検出処理を実行する動き検出１８の処理によって決定された動き情報１９、を用いる動き補償（部）１４によって決定される。フレーム内予測１２は、フレーム内予測（部）２０により復号信号２２を用いて決定される。残差信号８は、入力画像４から予測（予測画像）６を減算することによって決定される。残差信号８は、変換／スケール／量子化部２４により変換・スケール・量子化され、これにより、量子化された変換係数２６が生成される。復号信号２２は、量子化された変換係数２６の逆変換、スケーリング、および逆量子化を実行する逆（変換／スケール／量子化）部３０により生成される信号２８に、予測信号６を加算することによって生成される。動き情報１９、および、量子化された変換係数２６は、エントロピー符号化部３２によりエントロピー符号化され、圧縮された動画像ビットストリーム３４に書き込まれる。出力画像領域３８（例えば、参照フレームの一部）は、再構成されかつフィルタリングされるべき信号２２をフィルタリングするデブロッキングフィルタ部３６によりエンコーダ２にて生成される。
【００２４】
図２は、例示的なＨ．２６４／ＡＶＣ動画像デコーダ５０のブロック図である。ビットストリームと捉えることもできる入力信号５２が、復号の対象として存在している。受信されたシンボルは、エントロピー復号部５４によりエントロピー復号され、これにより、（１）動き情報５６、および、（２）量子化およびスケーリングされた変換係数５８が生成される。動き情報５６は、動き補償６０により、フレームメモリ６４内の参照フレーム８４の一部と結合され、フレーム間予測６８が生成される。量子化およびスケーリングされた変換係数５８は、逆（変換／スケール／量子化）部６２により逆量子化、逆スケーリング、および、逆変換され、これにより、復号された残差信号７０が生成される。残差信号７０は、予測信号７８に加算される。ここで、予測信号７８は、フレーム間予測信号６８、または、フレーム内予測信号７６の何れかである。フレーム内予測信号７６は、現フレームにおいて既に復号された情報７２からフレーム内予測７４により予測される。加算された信号７２は、デブロッキングフィルタ８０によってフィルタされ、フィルタ済みの信号８２は、フレームメモリ６４に書き込まれる。
【００２５】
Ｈ．２６４／ＡＶＣにおいては、入力ピクチャは、固定サイズのマクロブロックに分割され、各マクロブロックは、輝度成分について１６×１６サンプル、および、２つの色差成分の各々について８×８サンプルの矩形状の画像領域をカバーする。Ｈ．２６４／ＡＶＣ規格における復号処理は、マクロブロックを単位として処理を行う仕様である。エントロピーデコーダ５４は、圧縮された動画像ビットストリーム５２のシンタックス要素を構文解析し、それらを逆多重化する。Ｈ．２６４／ＡＶＣは、エントロピー復号として、異なる２つの方法を用いる仕様である。その１つは、ＣＡＶＬＣと呼ばれる、コンテキストを適応的に切り替える可変長符号のセットを利用することに基づく複雑性の低い技術であり、もう１つは、ＣＡＢＡＣと呼ばれる、コンテキストに基づく適応的なバイナリー算術符号化を行う、より多くの計算量を要するアルゴリズムである。双方のエントロピー復号方法において、現シンボルの復号処理は、前に正しく復号されたシンボル、および、適応的にアップデートされるコンテキストモデルに依存する。加えて、例えば、予測データ情報、残差データ情報、および、異なる色平面（color planes）等の異なるデータ情報が共に多重化される。逆多重化は、各要素がエントロピー復号されるまで終了しない。
【００２６】
エントロピー復号の後、マクロブロックは、（１）逆量子化および逆変換を経た残差信号、および、（２）フレーム内予測信号およびフレーム間予測信号の何れかである予測信号、を得ることにより再構成される。ブロック歪みは、復号された各マクロブロックに対してデブロッキングフィルタを作用させることにより低減される。入力信号がエントロピー復号されるまでは、如何なる処理も始まることはない。したがって、エントロピー復号は、復号処理において、潜在的なボトルネックとなっている。
【００２７】
同様に、例えば、Ｈ．２６４／ＡＶＣにおけるレイヤ間予測、および、その他のスケーラブルなコーデックにおけるレイヤ間予測のような互いに異なる予測のメカニズムが許されるコーデックにおいて、エントロピー復号は、デコーダにおける全ての処理に先立って行う必要がある。したがって、エントロピー復号は、復号処理において、潜在的なボトルネックとなっている。
【００２８】
Ｈ．２６４／ＡＶＣにおいて、複数のマクロブロックを含む入力ピクチャは、１または複数のスライスに分割される。エンコーダおよびデコーダにて用いられる参照画像が同一であるとすると、１枚のスライスが示す画像の領域におけるサンプルの値は、他のスライスのデータを用いることなく正しく復号される。したがって、１枚のスライスに対するエントロピー復号、および、マクロブロックの再構成は、他のスライスに依存しない。特に、各スライスの開始において、エントロピー符号化の状態はリセットされる。他のスライスのデータは、エントロピー復号および再構成の双方に対して近傍の利用可能性を定義するときに、利用不可能とマークされる。Ｈ．２６４／ＡＶＣにおいて、スライスは、並列的にエントロピー復号および再構成される。スライス境界を跨ぐイントラ（画面内）予測および動きベクトル予測は、禁止されている。デブロッキングフィルタは、スライス境界を跨いだ情報を用いることができる。
【００２９】
図３は、例示的なビデオ画像（ビデオピクチャ）９０を示している。ビデオ画像９０は、水平方向に１１個、垂直方向に９個のマクロブロックを含んでいる（９個の例示的なマクロブロックに９１〜９９の番号を付している）。図３には、３枚の例示的なスライス：“スライス＃０”１００と示されている第１のスライス、“スライス＃１”１０１と示されている第２のスライス、および、“スライス＃２”１０２と示されている第３のスライス、が示されている。Ｈ．２６４／ＡＶＣデコーダは、３枚のスライス１００、１０１、１０２を並列的に復号および再構成することができる。各スライスの復号／再構成の処理の最初に、コンテキストモデルが初期化若しくはリセットされ、他のスライス内のマクロブロックは、エントロピー復号およびマクロブロックの再構成の双方に対して、利用不可能とマークされる。したがって、“スライス＃１”内のマクロブロック、例えば、９３の番号が付されたマクロブロック、に対して、“スライス＃０”内のマクロブロック（例えば、９１および９２の番号が付されたマクロブロック）は、コンテキストモデルの選択、および、再構成に用いられない。一方で、“スライス＃１”内のマクロブロック、例えば、９５の番号が付されたマクロブロックに対して、“スライス＃１”内の他のマクロブロック（例えば、９３および９４の番号が付されたマクロブロック）は、コンテキストモデルの選択、および、再構成に用いられる。従って、エントロピー復号、および、マクロブロックの再構成は、スライス内で、逐次的（serially）に行われる必要がある。スライスがフレキシブルなマクロブロック順序付け（flexible macroblock ordering(FMO))を用いて定義されているものでない限り、スライス内のマクロブロックは、ラスタスキャン順に処理される。
【００３０】
フレキシブルなマクロブロック順序付けは、１枚のピクチャのスライスへの分割の態様を変更するスライスグループ（slice group）を定義する。スライスグループ内のマクロブロックは、マクロブロックからスライスグループへのマップ（macroblock-to-slice-group map）によって定義される。ここで、マクロブロックからスライスグループへのマップは、スライスヘッダにおけるピクチャパラメータセットおよび追加情報の内容によって示される。マクロブロックからスライスグループへのマップは、ピクチャ内の各マクロブロックについてのスライスグループ識別番号（slice-group identification number）により構成されている。スライスグループ識別番号は、各マクロブロックがどのスライスに属するものであるかを特定する。各スライスグループは、１または複数のスライスに分割が可能である。ここで、スライスは、あるスライスグループのマクロブロックのセットにおいてラスタスキャン順に処理される同じスライスグループ内の一連のマクロブロックよりなる。エントロピー復号、および、マクロブロックの再構成は、スライス内で、逐次的に行われる必要がある。
【００３１】
図４は、３つのスライスグループ：“スライスグループ＃０”１０３と示される第１のスライスグループ、“スライスグループ＃１”１０４と示される第２のスライスグループ、および、“スライスグループ＃２”１０５と示される第３のスライスグループ、への例示的なマクロブロックの配置を示している。これらのスライスグループ１０３、１０４、１０５は、それぞれ、ピクチャ９０における２つの前景領域（foreground regions）および、１つの背景領域（background region）に関連付けられている。
【００３２】
本発明のいくつかの実施の形態は、ピクチャを１または複数の再構成スライス（reconstruction slice）へ分割することを含んでいる。ここで、エンコーダおよびデコーダにて用いられる参照画像が同一であるとすると、再構成スライスは、該ピクチャ上の該再構成スライスによって表される領域におけるサンプルの値が他の再構成スライスからのデータを用いることなく正しく再構成されるという点で、自己完結的である。再構成スライスにおけるすべての再構成されたマクロブロックは、再構成のための近傍の定義付けにおいて、利用可能である。
【００３３】
本発明のいくつかの実施の形態は、再構成スライスを１より多くのエントロピースライス（entropy slice）に分割することを含んでいる。ここで、エントロピースライスは、該ピクチャ上の該エントロピースライスによって表される領域におけるシンボルの値が他のエントロピースライスからのデータを用いることなく正しくエントロピー復号されるという点で、自己完結的である。本発明のいくつかの実施の形態においては、各エントロピースライスの復号開始において、エントロピー符号化の状態はリセットされる。本発明のいくつかの実施の形態において、他のエントロピースライスのデータは、エントロピー復号のための近傍の利用可能性を定義するときに、利用不可能とマークされる。本発明のいくつかの実施の形態においては、他のエントロピースライスにおけるマクロブロックは、現ブロックのコンテキストモデルの選択において用いられることはない。本発明のいくつかの実施形態において、コンテキストモデルは、エントロピースライス内においてのみアップデートされる。本発明のこれらの実施の形態において、１枚のエントロピースライスに用いられる各エントロピーデコーダは、コンテキストモデルについての、自身のセットを保持する。ＩＴＵ電気通信標準化部門（ITU Telecommunication Standardization Sector）の研究班１６（Study Group 16）による、２００８年４月の「並列的なエントロピー復号のためのエントロピースライス（Entropy slices for parallel entropy decoding）」と題された寄書４０５は、参照することによりその全体が本明細書に組み込まれるものとする。
【００３４】
本発明のいくつかの実施の形態は、ＣＡＢＡＣ符号化／復号を含んでいる。ＣＡＢＡＣ符号化処理は、以下の４つの基本的なステップ、すなわち、バイナリゼーション、コンテキストモデル選択、２値算術符号化、および確率のアップデートを含んでいる。
【００３５】
・バイナリゼーション（binarization）：２進値でないシンボル（non-binary-valued symbol）（例えば、変換係数、動きベクトル、または、その他の符号化データ）は、ビンストリング（bin string）、または、２値化シンボルとも呼ばれる２進符号（binary code）に変換される。２進値のシンタックス要素が与えられるとき、最初のステップであるバイナリゼーションは省略されてもよい。２進値のシンタックス要素、または、２値化シンボルの要素が、ビンと見なされ得る。
【００３６】
各ビンに対して、以下のステップが実行される。
【００３７】
・コンテキストモデル選択：コンテキストモデルは、１またはそれ以上のビンに対しての確率モデルである。コンテキストモデルは、各ビンについて、該ビンが“１”および“０”の何れであるかの確率を含んでいる。モデルの選択は、直近に符号化されたデータシンボルの統計に依存して、通常、左隣および上隣のシンボルが利用可能であればそれらに基づいて、利用可能な複数のモデルの選択肢に対して行われる。
【００３８】
・２値算術符号化：算術コーダ（arithmetic coder）は、選択された確率モデルに従い、再帰的な区間の再分割に基づいて、各ビンを符号化する。
【００３９】
・確率のアップデート：選択されたコンテキストモデルは、実際の符号化された値に基づいてアップデートされる。
【００４０】
ＣＡＢＡＣ符号化／復号を含む本発明のいくつかの実施の形態においては、エントロピースライスの復号開始において、全てのコンテキストモデルは初期化されるか、または、所定のモデルにリセットされる。
【００４１】
本発明のいくつかの実施の形態は、図５との関係において理解される。図５は、例示的なビデオフレーム（video frame、動画像フレーム）１１０を示している。ビデオフレーム１１０は、水平方向に１１個、垂直方向に９個のマクロブロックを含んでいる（９個の例示的なマクロブロックに１１５〜１２３の番号を付している）。図５には、３枚の例示的な再構成スライス：“Ｒ＿スライス＃０”１１１と示されている第１の再構成スライス、“Ｒ＿スライス＃１”１１２と示されている第２の再構成スライス、および、“Ｒ＿スライス＃２”１１３と示されている第３の再構成スライス、が示されている。図５には、さらに、第２の再構成スライス“Ｒ＿スライス＃１”１１２の、３枚のエントロピースライス：クロスハッチで表されており“Ｅ＿スライス＃０”と示されている第１のエントロピースライス１１２−１、垂直ハッチで表されており“Ｅ＿スライス＃１”と示されている第２のエントロピースライス１１２−２、および、斜めハッチで表されており“Ｅ＿スライス＃２”と示されている第３のエントロピースライス１１２−３、への分割が示されている。各エントロピースライス１１２−１、１１２−２、１１２−３は、並列的にエントロピー復号される。ここで、“Ｅ＿スライス＃０”と示されている第１のエントロピースライス、および、“Ｅ＿スライス＃１”と示されている第２のエントロピースライスは、ビットストリームの第１の部分および第２の部分とも呼ばれる。
【００４２】
本発明のいくつかの実施の形態においては、エントロピースライス内のマクロブロックからのデータのみが、該エントロピースライスのエントロピー復号を行っている間のコンテキストモデルの選択に対して利用可能である。他の全てのマクロブロックは、利用不可能とマークされる。この例示的な分割においては、１１７および１１８の番号が付されたマクロブロックは、１１９の番号が付されたマクロブロックの領域に対応するシンボルを復号するときには、コンテキストモデルの選択に利用不可能である。これは、１１７および１１８の番号が付されたマクロブロックは、マクロブロック１１９を含む該エントロピースライスの外に位置しているからである。しかしながら、これらのマクロブロック１１７、１１８は、マクロブロック１１９が再構成されるときには利用可能である。
【００４３】
本発明のいくつかの実施の形態においては、エンコーダは、再構成スライスをエントロピースライスに分割するか否かを決定し、その決定をシグナルとしてビットストリーム中に含める。本発明のいくつかの実施の形態においては、そのシグナルは、エントロピースライスフラグ（entropy-slice frag）を含んでいる。本発明のいくつかの実施の形態においては、該エントロピースライスフラグは、“entropy_slice_frag”と表される。
【００４４】
本発明のいくつかのデコーダの実施の形態は、図６との関係において記述される。これらの実施の形態においては、エントロピースライスフラグが分析（examine）され（Ｓ１３０）、もし、該エントロピースライスフラグが、ピクチャまたは再構成スライスに関連付けられたエントロピースライスが存在しないことを示していれば（ステップＳ１３０でＮＯ）、ヘッダは、標準的スライスヘッダ（regular slice header）として構文解析（parse）される（Ｓ１３４）。エントロピーデコーダの状態はリセットされ（Ｓ１３６）、エントロピー復号および再構成のための近傍情報（neighbor information）が定義される（Ｓ１３８）。そして、スライスのデータがエントロピー復号され（Ｓ１４０）、スライスが再構成される（Ｓ１４２）。もし、該エントロピースライスフラグが、ピクチャに関連付けられたエントロピースライスが存在していることを示していれば（ステップＳ１３０でＹＥＳ）、ヘッダは、エントロピースライスヘッダ（entropy-slice header）として構文解析される（Ｓ１４８）。エントロピーデコーダの状態はリセットされ（Ｓ１５０）、エントロピー復号のための近傍情報が定義され（Ｓ１５２）、エントロピースライスのデータがエントロピー復号される（Ｓ１５４）。そして、再構成のための近傍情報が定義され（Ｓ１５６）、スライスが再構成される（Ｓ１４２）。ステップＳ１４２におけるスライスの再構成の後に、次のスライスまたはピクチャが分析される（ステップＳ１３０に戻る）。
【００４５】
本発明の他のいくつかのデコーダの実施の形態は、図７との関係において記述される。これらの実施の形態においては、デコーダは、並列的な復号を行うことが可能であり、自身の並列度（degree of parallelism）を定義する。例えば、並列的にＮ枚のエントロピースライスを復号することが可能なデコーダを考える。該デコーダは、Ｎ枚のエントロピースライスを識別する（Ｓ１７０）。本発明のいくつかの実施の形態においては、現ピクチャ若しくは再構成スライスにおいて、Ｎ枚よりも少ないエントロピースライスが利用可能なとき、該デコーダは、次のピクチャ若しくは再構成スライスが利用可能であれば、それらからのエントロピースライスを復号する。他の実施の形態においては、デコーダは、次のピクチャ若しくは再構成スライスの一部を復号する前に、現ピクチャ若しくは再構成スライスが完全に処理されるまで待機する。ステップＳ１７０において、Ｎ枚までのエントロピースライスを識別した後、識別されたエントロピースライスの各々は、独立にエントロピー復号される。第１のエントロピースライスが復号される（Ｓ１７２〜Ｓ１７６）。第１のエントロピースライスの復号は、該デコーダの状態をリセットすることを含んでいる（Ｓ１７２）。ＣＡＢＡＣエントロピー復号を含むいくつかの実施の形態においては、ＣＡＢＡＣの状態がリセットされる。第１のエントロピースライスのエントロピー復号のための近傍情報が定義され（Ｓ１７４）、第１のエントロピースライスのデータが復号される（Ｓ１７６）。Ｎ枚までのエントロピースライスの各々に対して、これらのステップが行われる（Ｎ番目のエントロピースライスに対してのＳ１７８〜Ｓ１８２）。本発明のいくつかの実施の形態において、デコーダは、すべてのエントロピースライスがエントロピー復号されたときに、該エントロピースライスを再構成する（Ｓ１８４）。本発明の他の実施の形態においては、デコーダは、１またはそれ以上のエントロピースライスが復号された後に、ステップＳ１８４の再構成を開始する。
【００４６】
本発明のいくつかの実施の形態においては、Ｎ枚より多くのエントロピースライスが存在するときには、復号スレッド（decode thread）は、エントロピースライスのエントロピー復号が終了次第、次のエントロピースライスのエントロピー復号を開始する。従って、スレッドが複雑性の低いエントロピースライスのエントロピー復号を完了したとき、該スレッドは、他のスレッドが復号を完了するのを待つことなく、さらなるエントロピースライスの復号を開始する。
【００４７】
既存の規格若しくは方法を含む本発明のいくつかの実施の形態において、エントロピースライスは、そのような規格もしくは方法に従った標準的スライス（regular slice）のスライス特性（slice attributes）の多くを共有している。したがって、エントロピースライスは、小さなヘッダを必要とする。本発明のいくつかの実施の形態においては、エントロピースライスヘッダは、デコーダがエントロピースライスの始まりを識別し、エントロピー復号を開始することを許可する。いくつかの実施の形態においては、ピクチャ若しくは再構成スライスの始まりにおいて、エントロピースライスヘッダは、標準的ヘッダ（regular header）若しくは再構成スライスヘッダ（reconstruction slice header）である。
【００４８】
Ｈ．２６４／ＡＶＣコーデックを含む本発明のいくつかの実施の形態において、エントロピースライスは、既存のスライスヘッダに新たなビット“entropy_slice_flag”を追加することによってシグナル化される。表１は、本発明の実施の形態に従ったエントロピースライスヘッダのシンタックスのリストを示している。表１においては、Ｃは、カテゴリ（Category）を示しており、記述子（Descriptor）ｕ（１）、ｕｅ（ｖ）は、固定長（fixed length）または可変長（variable length）の復号方法を示している。“entropy_slice_flag”を含む本発明の実施の形態により、改善された符号化効率が実現される。
【００４９】
“first_mb_in_slice”は、エントロピースライスヘッダに関連付けられたエントロピースライスにおける最初のマクロブロックのアドレスを特定する。いくつかの実施形態においては、エントロピースライスは、一連のマクロブロックを含んでいる。
【００５０】
“cabac_init_idc”は、コンテキストモードの初期化処理に用いられる初期化テーブル（initialization table）を決定するためのインデックスを特定する。
【００５１】
【表１】
2013509006.tif 000003
表１：エントロピースライスヘッダのシンタックステーブル
【００５２】
本発明のいくつかの実施の形態においては、エントロピースライスには、標準的スライスとは異なるネットワーク抽象レイヤ（NAL:network abstraction layer）ユニットタイプが割り当てられる。これらの実施の形態においては、デコーダは、標準的スライスと、エントロピースライスとを、ＮＡＬユニットタイプに基づいて識別することができる。これらの実施の形態においては、ビットフィールド（bit field）“entropy_slice_flag”は必要とされない。
【００５３】
本発明のいくつかの実施の形態においては、ビットフィールド“entropy_slice_flag”は全てのプロファイルにおいて送信されるわけではない。本発明のいくつかの実施の形態においては、ビットフィールド“entropy_slice_flag”は全てのベースラインプロファイルにおいて送信されるわけではないが、該ビットフィールド“entropy_slice_flag”は主要なプロファイル、拡張されたプロファイル、または専門的プロファイルのような高度なプロファイルにおいて送信される。本発明のいくつかの実施の形態においては、ビットフィールド“entropy_slice_flag”は、固定的な特性値よりも大きい特性に関連したビットストリームにおいて送信されるのみである。例示的な特性としては、空間解像度、フレームレート、ビット深度、ビットレート、および他のビットストリームの特性が挙げられる。本発明のいくつかの実施の形態においては、ビットフィールド“entropy_slice_flag”は、インタレース方式の１９２０×１０８０よりも大きい空間解像度に関連したビットストリームにおいて送信されるのみである。本発明のいくつかの実施の形態においては、ビットフィールド“entropy_slice_flag”は、プログレッシブ方式の１９２０×１０８０よりも大きい空間解像度に関連したビットストリームにおいて送信されるのみである。本発明のいくつかの実施の形態においては、ビットフィールド“entropy_slice_flag”が送信されない場合、デフォルト値が用いられる。
【００５４】
本発明のいくつかの実施の形態においては、エントロピースライスは、データ多重化を変更することによって構成される。本発明のいくつかの実施の形態においては、エントロピースライスに含まれる一群のシンボルはマクロブロックレベルで多重化される。本発明の別の実施の形態においては、エントロピースライスに含まれる一群のシンボルはピクチャレベルで多重化される。本発明の他の別の実施の形態においては、エントロピースライスに含まれる一群のシンボルはデータタイプにより多重化される。本発明の更なる別の実施の形態においては、エントロピースライスに含まれる一群のシンボルは上述したものの組み合わせによって多重化される。
【００５５】
ピクチャレベルでの多重化に基づきエントロピースライスを構成することを含む本発明のいくつかの実施の形態は、図８および図９との関係において理解される。図８に示されている本発明のいくつかの実施の形態においては、予測データ（prediction data）１９０、および、残差データ（residual data）１９２は、予測エンコーダ（prediction encoder）１９４、および、残差エンコーダ（residual encoder）１９６によって個別にエントロピー符号化され、ピクチャレベルマルチプレクサ（picture-level multiplexer）１９８によって、ピクチャレベルで多重化される。本発明のいくつかの実施の形態においては、ピクチャについての予測データ１９０は、第１のエントロピースライスに関連付けられており、ピクチャについての残差データ１９２は、第２のエントロピースライスに関連付けられている。符号化された予測データ、および、符号化されたエントロピーデータは、並列的に復号される。本発明のいくつかの実施の形態においては、予測データまたは残差データを含む各パーティションは、並列的に復号される複数のエントロピースライスに分割される。
【００５６】
図９に示されている本発明のいくつかの実施の形態においては、各色平面の残差、例えば、輝度（luma（Y））残差２００、および、２つの色差（chroma（UおよびV））残差２０２、２０４は、Ｙエンコーダ２０６、Ｕエンコーダ２０８、および、Ｖエンコーダ２１０によって個別にエントロピー符号化され、ピクチャレベルマルチプレクサ２１２によって、ピクチャレベルで多重化される。本発明のいくつかの実施の形態においては、ピクチャ２００についての輝度（Ｙ）残差は、第１のエントロピースライスに関連付けられており、ピクチャ２０２についての第１の色差（Ｕ）残差は、第２のエントロピースライスに関連付けられており、ピクチャ２０４についての第２の色差（Ｖ）残差は、第３のエントロピースライスに関連付けられている。３枚の色平面についての符号化された残差データは、並列的に復号される。本発明のいくつかの実施の形態においては、色平面残差データを含む各パーティションは、並列的に復号される複数のエントロピースライスに分割される。本発明のいくつかの実施の形態においては、輝度残差２００は、色差残差２０２、２０４に比べて、相対的に多くのエントロピースライスを有している。
【００５７】
本発明のいくつかの実施の形態においては、圧縮された動画像（compressed-video）のビットストリームは、エントロピースライスを含むようにトランスコード（tran-scode）され、それによって、上述した本発明の実施の形態に含まれる、並列的なエントロピー復号が行われる。本発明のいくつかの実施の形態は、図１０との関係において記述される。エントロピースライスを有しない入力ビットストリームは、図１０に従って、ピクチャ毎に処理される。本発明のこれらの実施の形態においては、該入力ビットストリームからのピクチャは、エントロピー復号される（Ｓ２２０）。符号化されたデータ、例えば、モードデータ、動き情報、残差情報、および、その他のデータが取得される。エントロピースライスが、該データから１枚ずつ構成される（Ｓ２２２）。エントロピースライスに対応するエントロピースライスヘッダが、新たなビットストリームに書き込まれる（Ｓ２２４）。エンコーダの状態がリセットされ、近傍情報が定義される（Ｓ２２６）。エントロピースライスがエントロピー符号化され（Ｓ２２８）、該新たなビットストリームに書き込まれる。構成されたエントロピースライスに取り込まれて（consumed）いないピクチャデータが存在する場合には（ステップＳ２３０でＮＯ）、他のエントロピースライスがステップＳ２２２にて構成され、構成されたエントロピースライスに全てのピクチャデータが取り込まれるまで、Ｓ２２４〜Ｓ２３０の処理が続けられ（ステップＳ２３０でＹＥＳ）、その後、次のピクチャが処理される。
【００５８】
上述のように、従来技術において、他のスライスにおけるマクロブロックは、エントロピー復号、および、マクロブロックの再構成の双方に対して利用不可能である。一方、本発明のいくつかの実施の形態は、以下の点において、これらの従来技術とは異なる。本発明のいくつかの実施の形態においては、エントロピースライス内のマクロブロックからのデータのみが、該エントロピースライスのエントロピー復号を行っている間のコンテキストモデルの選択に対して利用可能である。しかしながら、再構成スライス内のマクロブロックは、該再構成スライス内の他のマクロブロックを用いることにより再構成される。
【００５９】
この理由により、本出願の発明により、エントロピースライスは、並列的に（個別に）エントロピー符号化（復号）され、再構成スライスにおいて連続的な予測による再構成が実行可能であるように、バッチ処理により再構成される。本出願の発明を用いることにより、再構成の処理において、予測の処理は、エントロピースライスの境界にて妨害されることなく実行される（すなわち、該エントロピースライスにおいて、他のエントロピースライスの情報が利用可能である）。これにより、符号化効率の低下を抑制しつつ、並列的なエントロピー処理が可能となる。
【００６０】
本発明のいくつかの実施の形態においては、エンコーダが、図５に示されるものと同様の方法により再構成スライスを複数のエントロピースライスに分割する。各エントロピースライスのサイズは、ビンの固定的な数よりも小さいか、または、ビンの固定的な数を越えない。いくつかの実施の形態においては、エンコーダが各エントロピースライスのサイズを制限し、ビンの最大数がビットストリームにおいてシグナル化される。他の実施の形態においては、エンコーダが各エントロピースライスのサイズを制限し、ビンの最大数が該エンコーダのプロファイルおよびレベルコンフォーマンスポイントにより規定される。例えば、Ｈ．２６４／ＡＶＣ動画像符号化用仕様書の付録Ａは、エントロピースライスにおいて許されるビンの最大数の規定を有するように拡張される。
【００６１】
本発明のいつくかの実施の形態においては、例えば、表２に示されるような表により、エントロピースライスにおいて許されるビンの最大数がエンコーダの各レベルコンフォーマンスポイントに対して示される。Ｍm.nは、レベルｍ．ｎのコンフォーマンスポイントに対する、エントロピースライスにおいて許されるビンの最大数を示す。
【００６２】
【表２】
2013509006.tif 000004
表２：各レベルに対するエントロピースライス毎のビンの最大数
【００６３】
本発明のいくつかの実施の形態は、所定のサイズが、動画像ビットストリームに関連したレベルコンフォーマンスポイントに関連した方法を開示する。
【００６４】
エントロピースライスにおいて許されるビンの最大数の例としては、Ｍ1.1＝１，０００ビン、Ｍ1.2＝２，０００ビン、．．．、およびＭ5.1＝４０，０００ビンが挙げられる。エントロピースライスにおいて許されるビンの最大数の他の例としては、Ｍ1.1＝２，５００ビン、Ｍ1.2＝４，２００ビン、．．．、およびＭ5.1＝１５０，０００ビンが挙げられる。
【００６５】
いくつかの実施の形態においては、エントロピースライスにおいて許されるビンの最大数のセットが、ビットレート、画像サイズ、マクロブロックの数、および、他の符号化パラメータに基づいて、全てのレベルに対して規定される。本発明のいくつかの実施の形態において、エントロピースライスにおいて許されるビンの最大数は、全てのレベルに対して、同一の数に設定される。値の例としては、３８，０００ビンおよび１２０，０００ビンが挙げられる。
【００６６】
本発明のいくつかの実施の形態においては、エンコーダが、マクロブロックに関連したビンの最悪の場合の数を決定し、該エンコーダが、
【００６７】
【数１】
2013509006.tif 000005
【００６８】
で表されるマクロブロックに関連したビンを各エントロピースライスに書き込む。ここで、ESLICE_MaxNumberBinsは、エントロピースライスにおいて許されるビンの最大数を示し、BinsPerMBは、マクロブロックに関連したビンの最悪の場合の数を示す。いくつかの実施の形態においては、マクロブロックは、ラスタスキャン順に選択される。他の実施形態においては、マクロブロックは、所定の他の順に選択される。いくつかの実施の形態においては、マクロブロックに関連したビンの最悪の場合の数は、固定的な数である。他の実施形態においては、エンコーダは、予め処理されたマクロブロックのサイズの計測に基づいて、最悪の場合の数をアップデートする。
【００６９】
本発明のいくつかの実施の形態が、図１１に関連して記述される。これらの実施の形態においては、エンコーダが、再構成スライスに対して、該再構成スライスを複数のエントロピースライスに分割する。何れのエントロピースライスも、ビンの既定の（所定の）数よりも大きいサイズではない。該エンコーダは、現エントロピースライスにおけるビンの数に関連したカウンタを０に初期化する（Ｓ２４０）。カウンタ値は、図１１に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにＡと表記される。次のマクロブロックのシンタックス要素が得られる（Ｓ２４２）。次のマクロブロックは、所定のマクロブロックの処理順に従って決定される。いくつかの実施の形態においては、マクロブロックの処理順は、ラスタスキャン順に対応するものである。マクロブロックにおける２進値でないシンタックス要素は、ビンストリングに変換される（Ｓ２４４）。２進値のシンタックス要素は、変換を必要としない。マクロブロックに関連したビンの数が決定される（Ｓ２４６）。マクロブロックに関連したビンの数には、２進値のシンタックス要素のビンと、２進値でないシンタックス要素に関連したビンストリングにおけるビンとが含まれる。マクロブロックに関連したビンの数は、図１１に関連して記述される本発明の実施の形態に関する以下の記述において、説明のためにｎｕｍと示される。
【００７０】
エンコーダは、マクロブロックに関連したビンの数と、現エントロピースライスに関連した蓄積されたビンの数との合計が、エントロピースライスに対し許されるビンの最大数より大きいか否かを決定する（Ｓ２４８）。ステップＳ２４８において、マクロブロックに関連したビンの数が、エントロピースライスに対し許されるビンの最大数を超過することなく（ステップＳ２４８におけるＮＯ）、現エントロピースライスに関連した、蓄積されたビンの数に加算される場合、現エントロピースライスに関連した蓄積されたビンの数が、マクロブロックに関連するビンを含むようにアップデートされる（Ｓ２５０）。マクロブロックに関連したビンが、エントロピーエンコーダによりビットストリームに書き込まれ（Ｓ２５２）、現エントロピースライスに関連付けられる。次のマクロブロックのシンタックス要素が得られ（ステップＳ２４２に戻る）、分割処理が続行される。
【００７１】
ステップＳ２４８において、マクロブロックに関連したビンの数と現エントロピースライスに関連した蓄積されたビンの数との合計が、エントロピースライスに対して許されるビンの最大数を超過する場合（Ｓ２４８でＹＥＳ）、エンコーダは、現再構成スライスに関連した新エントロピースライスの処理を開始し（Ｓ２５４）、現エントロピースライスにおけるビンの数に関連したカウンタを０に初期化する（Ｓ２５６）。現エントロピースライスに関連した蓄積されたビンの数は、マクロブロックに関連したビンを含むようにアップデートされる（Ｓ２５０）。マクロブロックに関連したビンが、エントロピーエンコーダによりビットストリームに書き込まれ、現エントロピースライスに関連付けられる（Ｓ２５２）。次のマクロブロックのシンタックス要素が得られ（ステップＳ２４２に戻る）、分割処理が続行される。
【００７２】
上述のように、本発明のいくつかの実施の形態において、再構成スライスが、エントロピースライスに分割される。該エントロピースライスにおいて、エントロピー符号化（復号）処理がスライス毎に個別に実行され、再構成処理において、他のエントロピースライスの情報が使用可能である。更に、本発明は、（１）フレームがビンの数に基づいてスライスに分割され、（２）ビンの数がレベルに従って変更可能なように構成される技術を含んでいる。この結果、並列的なエントロピー処理を実現することにより生じる符号化効率の低下が、その最小限の程度にまで抑制される。
【００７３】
本発明のいくつかの実施の形態が、図１２に関連して記述される。これらの実施の形態においては、エンコーダが、再構成スライスに対し、該再構成スライスを複数のエントロピースライスに分割する。何れのエントロピースライスも、ビンの既定の最大の（所定の）数よりも大きいサイズではない。これらの実施の形態においては、エントロピースライスのサイズが、エントロピースライスにおいて許されるビンの既定の最大数に関連した閾値に到達するまで、エンコーダは、マクロブロックのシンタックス要素をエントロピースライスに関連付ける。いくつかの実施の形態においては、閾値は、エントロピースライスにおいて許されるビンの最大数（the maximum number of bins）の割合である。１つの例示的な実施の形態においては、マクロブロックにおいて予想されるビンの最多数（the greatest number of bins）が、エントロピースライスにおいて許されるビンの最大数の１０％未満であるとすると、閾値は、エントロピースライスにおいて許されるビンの最大数の９０％である。他の例示的な実施の形態においては、閾値は、エントロピースライスにおいて許されるビンの最大数の割合である。該割合は、マクロブロックにおいて予想されるビンの最多数に基づくものである。これらの実施の形態においては、エントロピースライスのサイズが閾値サイズを超過すると、他のエントロピースライスが生成される。閾値サイズは、エントロピースライスがエントロピースライスにおいて許されるビンの最大数を超過しないことを保証するように選択される。いくつかの実施の形態においては、閾値サイズは、エントロピースライスにおいて許されるビンの最大数、および、マクロブロックに対し予想されるビンの最大数の推測値の関数である。
【００７４】
エンコーダは、現エントロピースライスにおけるビンの数に関係したカウンタを０に初期化する（Ｓ２７０）。カウンタ値は、図１２に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにＡと表記される。次のマクロブロックのシンタックス要素が得られる（Ｓ２７２）。次のマクロブロックが、所定のマクロブロックの処理順に従って決定される。いくつかの実施の形態においては、マクロブロックの処理順は、ラスタスキャン順と対応するものである。マクロブロックにおける２進値でないシンタックス要素が、ビンストリングに変換される（Ｓ２７４）。２進値のシンタックス要素は、変換の必要がない。マクロブロックに関連したビンが、エントロピーエンコーダによりビットストリームに書き込まれ、現エントロピースライスに関連付けられる（Ｓ２７６）。マクロブロックに関連したビンの数が決定され（Ｓ２７８）、現エントロピースライスに関連した蓄積されたビンの数が、マクロブロックに関連したビンを含むようにアップデートされる（Ｓ２８０）。現エントロピースライスに関連した蓄積されたビンの数が、エントロピースライスにおいて許されるビンの最大数に基づいた、TH(MaxNumBins)と表記される閾値よりも大きい（Ｓ２８２）場合（ステップＳ２８２でＹＥＳ）、エンコーダは新規のエントロピースライスの処理を開始し（Ｓ２８６）、現エントロピースライスにおけるビンの数に関連したカウンタを０に初期化する（Ｓ２８８）。次のマクロブロックのシンタックス要素が得られ（ステップＳ２７２に戻る）、分割処理が続行される。現エントロピースライスに関連した蓄積されたビンの数が、エントロピースライスにおいて許されるビンの最大数に基づいた閾値以下である場合（ステップＳ２８２でＮＯ）、次のマクロブロックのシンタックス要素が得られ（ステップＳ２７２に戻る）、分割処理が続行される。
【００７５】
本発明のいくつかの実施の形態においては、既定の数のマクロブロックが現再構成スライスに割り当てられたとき、エンコーダが新規の再構成スライスの処理を開始する。
【００７６】
本発明のいくつかの実施の形態が、図１３に関連して記述される。これらの実施の形態においては、既定の数のマクロブロックが現再構成スライスに割り当てられたとき、エンコーダが新規の再構成スライスの処理を開始する。エンコーダは、現再構成スライスにおけるマクロブロックの数に関連したカウンタを０に初期化する（Ｓ３００）。カウンタ値は、図１３に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにＡＭＢと表記される。次のマクロブロックのシンタックス要素が得られる（Ｓ２７２）。エンコーダは、現エントロピースライスにおけるビンの数に関連したカウンタを０に初期化する（Ｓ３１０）。カウンタ値は、図１３に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにＡＢｉｎと表記される。現再構成スライスにおけるマクロブロックの数に関連したカウンタのカウンタ値が、再構成スライスにおいて許されるマクロブロックの既定の最大の（所定の）数以上である場合（ステップＳ３１２でＮＯ）、新規のエントロピースライスの処理が開始され（Ｓ３３２）、新規の再構成スライスの処理が開始される（Ｓ３３４）。再構成スライスにおいて許されるマクロブロックの最大数は、図１３に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにMaxMBperRSliceと表記される。
【００７７】
現再構成スライスにおけるマクロブロックの数に関連したカウンタのカウンタ値が、再構成スライスにおいて許されるマクロブロックの既定の最大数未満である場合（ステップＳ３１２でＹＥＳ）、次のマクロブロックのシンタックス要素が得られる（Ｓ３１４）。次のマクロブロックは、所定のマクロブロックの処理順に従って決定される。いくつかの実施の形態においては、マクロブロックの処理順は、ラスタスキャン順に対応するものである。マクロブロックにおける２進値でないシンタックス要素が、ビンストリングに変換される（Ｓ３１６）。２進値のシンタックス要素は、変換の必要がない。マクロブロックに関連したビンの数が決定される（Ｓ３１８）。マクロブロックに関連したビンの数には、２進値のシンタックス要素のビンと、２進値でないシンタックス要素に関連したビンストリングにおけるビンとが含まれる。マクロブロックに関連したビンの数は、図１３に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにｎｕｍと表記される。
【００７８】
エンコーダは、マクロブロックに関連したビンの数と、現エントロピースライスに関連した蓄積されたビンの数との合計が、エントロピースライスに対し許されるビンの最大数より大きいか否かを決定する（Ｓ３２０）。ステップＳ３２０において、マクロブロックに関連したビンの数が、エントロピースライスに対し許されるビンの最大数を超過することなく、現エントロピースライスに関連した蓄積されたビンの数に追加される場合（ステップＳ３２０でＮＯ）、現エントロピースライスに関連した蓄積されたビンの数が、マクロブロックに関連したビンを含むようにアップデートされる（Ｓ３２２）。マクロブロックに関連したビンが、エントロピーエンコーダによりビットストリームに書き込まれ、現エントロピースライスに関連付けられる（Ｓ３２４）。現再構成スライスに関連したマクロブロックの数が増加される（Ｓ３２６）。現再構成スライスに関連したマクロブロックの数が、再構成スライスにおいて許されるマクロブロックの既定の最大数と比較され（ステップＳ３１２に戻る）、分割処理が続行される。
【００７９】
ステップＳ３２０において、マクロブロックに関連したビンの数と、現エントロピースライスに関連した蓄積されたビンの数との合計が、エントロピースライスに対し許されるビンの最大数を超過する場合（ステップＳ３２０でＹＥＳ）、エンコーダが、現再構成スライスに関連した新規のエントロピースライスの処理を開始し（Ｓ３２８）、現エントロピースライスにおけるビンの数に関連したカウンタが０に初期化される（Ｓ３３０）。現エントロピースライスに関連した蓄積されたビンの数が、マクロブロックに関連したビンを含むようにアップデートされる（Ｓ３３２）。マクロブロックに関連したビンが、エントロピーエンコーダによりビットストリームに書き込まれ、現エントロピースライスに関連付けられる（Ｓ３２４）。現再構成スライスに関連したマクロブロックの数が増加される（Ｓ３２６）。現再構成スライスに関連したマクロブロックの数が、再構成スライスにおいて許されるマクロブロックの既定の最大数と比較され（ステップＳ３１２に戻る）、分割処理が続行される。
【００８０】
本発明のいくつかの実施の形態が、図１４に関連して記述される。これらの実施の形態においては、既定の数のマクロブロックが現再構成スライスに割り当てられたとき、エンコーダが新規の再構成スライスの処理を開始する。これらの実施の形態において、エントロピースライスのサイズが、エントロピースライスにおいて許されるビンの既定の最大数に関連した閾値に到達するまで、エンコーダは、マクロブロックのシンタックス要素をエントロピースライスに関連付ける。いくつかの実施の形態において、閾値は、エントロピースライスにおいて許されるビンの最大数の割合である。１つの例示的な実施の形態においては、マクロブロックにおいて予想されるビンの最多数が、エントロピースライスにおいて許されるビンの最大数の１０％未満であるとすると、閾値は、エントロピースライスにおいて許されるビンの最大数の９０％である。他の例示的な実施の形態においては、閾値は、エントロピースライスにおいて許されるビンの最大数の割合である。該割合は、マクロブロックにおいて予想されるビンの最多数に基づくものである。これらの実施の形態においては、エントロピースライスのサイズが閾値サイズを超過すると、他のエントロピースライスが生成される。閾値サイズは、エントロピースライスがエントロピースライスにおいて許されるビンの最大数を超過しないことを保証するように選択される。いくつかの実施の形態においては、閾値サイズは、エントロピースライスにおいて許されるビンの最大数、および、マクロブロックに対し予想されるビンの最大数の推測値の関数である。
【００８１】
エンコーダは、現再構成スライスにおけるマクロブロックの数に関連したカウンタを０に初期化する（Ｓ３５０）。カウンタ値は、図１４に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにＡＭＢと表記される。エンコーダは、現エントロピースライスにおけるビンの数に関連したカウンタを０に初期化する（Ｓ３５２）。カウンタ値は、図１４に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにＡＢｉｎと表記される。現再構成スライスにおけるマクロブロックの数に関連したカウンタのカウンタ値が、再構成スライスにおいて許されるマクロブロックの既定の最大数以上である場合（ステップＳ３５４でＮＯ）、新規のエントロピースライスの処理が開始され（Ｓ３７４）、新規の再構成スライスの処理が開始される（Ｓ３７６）。再構成スライスにおいて許されるマクロブロックの最大数は、図１４に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにMaxMBperRSliceと表記される。
【００８２】
現再構成スライスにおけるマクロブロックの数に関連したカウンタのカウンタ値が、再構成スライスにおいて許されるマクロブロックの既定の最大数未満である場合（ステップＳ３５４でＹＥＳ）、次のマクロブロックのシンタックス要素が得られる（Ｓ３５６）。次のマクロブロックは、マクロブロックの所定の処理順に従って決定される。いくつかの実施の形態においては、マクロブロックの処理順は、ラスタスキャン順に対応するものである。マクロブロックにおける２進値でないシンタックス要素が、ビンストリングに変換される（Ｓ３５８）。２進値のシンタックス要素は、変換の必要がない。マクロブロックに関連したビンが、エントロピーエンコーダによりビットストリームに書き込まれ、現エントロピースライスに関連付けられる（Ｓ３６０）。マクロブロックに関連したビンの数が決定される（Ｓ３６２）。現エントロピースライスに関連した蓄積されたビンの数が、マクロブロックに関連したビンを含むようにアップデートされる（Ｓ３６４）。現エントロピースライスに関連した蓄積されたビンの数が、エントロピースライスにおいて許されるビンの最大数に基づいた、TH(MaxNumBins)と表記される閾値よりも大きい（Ｓ３６６）場合（ステップＳ３６６でＹＥＳ）、エンコーダは新規のエントロピースライスの処理を開始し（Ｓ３７０）、現エントロピースライスにおけるビンの数に関連したカウンタを０に初期化する（Ｓ３７２）。現再構成スライスに関連したマクロブロックの数が増加される（Ｓ３６８）。現再構成スライスに関連したマクロブロックの数が、再構成スライスにおいて許されるマクロブロックの既定の最大数と比較され（ステップＳ３５４に戻る）、分割処理が続行される。現エントロピースライスに関連した蓄積されたビンの数が、エントロピースライスにおいて許されるビンの最大数に基づいた閾値以下である場合（ステップＳ３６６でＮＯ）、現再構成スライスに関連したマクロブロックの数が増加され（Ｓ３６８）、現再構成スライスに関連したマクロブロックの数が、再構成スライスにおいて許されるマクロブロックの既定の最大数と比較され（ステップＳ３５４に戻る）、分割処理が続行される。
【００８３】
本発明の他の実施の形態においては、エンコーダが再構成スライスを複数のエントロピースライスに分割する。各エントロピースライスは、所定の数以下のビットに関係付けられる。
【００８４】
本発明いくつかの実施の形態が、図１５に関連して記述される。これらの実施の形態においては、エンコーダが、再構成スライスに対し、該再構成スライスを複数のエントロピースライスに分割する。何れのエントロピースライスも、既定の（所定の）ビットの数よりも大きいサイズではない。エンコーダは、現エントロピースライスにおけるビットの数に関連したカウンタを０に初期化する（Ｓ４００）。カウンタ値は、図１５に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにＡと表記される。次のマクロブロックのシンタックス要素が得られる（Ｓ４０２）。次のマクロブロックは、マクロブロックの所定の処理順に従って決定される。いくつかの実施の形態においては、マクロブロックの処理順は、ラスタスキャン順に対応するものである。マクロブロックにおける２進値でないシンタックス要素が、ビンストリングに変換される（Ｓ４０４）。２進値のシンタックス要素は、変換の必要がない。変換された２進値でない要素および２進値の要素である、マクロブロックに関連したビンが、エントロピーエンコーダに提供され、ビンがエントロピー符号化される（Ｓ４０６）。マクロブロックに関連したビットの数が決定される（Ｓ４０８）。マクロブロックに関連したビットの数は、図１５に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにｎｕｍと表記される。
【００８５】
エンコーダは、マクロブロックに関連したビットの数と、現エントロピースライスに関連した蓄積されたビットの数との合計が、エントロピースライスに対し許される最大ビットの数より大きいか否かを決定する（Ｓ４１０）。ステップＳ４１０において、マクロブロックに関連したビットの数が、エントロピースライスに対し許されるビットの最大数(the maximum number of bits)を超過することなく、現エントロピースライスに関連した蓄積されたビットの数に追加される場合（ステップＳ４１０でＮＯ）、現エントロピースライスに関連した蓄積されたビットの数が、マクロブロックに関連したビットを含むようにアップデートされる（Ｓ４１２）。マクロブロックに関連したビットが、ビットストリームに書き込まれ、現エントロピースライスに関連付けられる（Ｓ４１４）。次のマクロブロックのシンタックス要素が得られ（ステップＳ４０２に戻る）、分割処理が続行される。
【００８６】
ステップＳ４１０において、マクロブロックに関連したビットの数と、現エントロピースライスに関連した蓄積されたビットの数との合計が、エントロピースライスに対し許されるビットの最大数を超過する場合（ステップＳ４１０でＹＥＳ）、エンコーダが、現再構成スライスに関連した新規のエントロピースライスの処理を開始し（Ｓ４１６）、現エントロピースライスにおけるビットの数に関連したカウンタが０に初期化される（Ｓ４１８）。現エントロピースライスに関連した蓄積されたビットの数が、マクロブロックに関連したビットを含むようにアップデートされる（Ｓ４１２）。マクロブロックに関連したビットが、ビットストリームに書き込まれ、現エントロピースライスに関連付けられる（Ｓ４１４）。次のマクロブロックのシンタックス要素が得られ（ステップＳ４０２に戻る）、分割処理が続行される。
【００８７】
本発明のいくつかの実施の形態が、図１６に関連して記述される。これらの実施の形態においては、エンコーダが、再構成スライスに対し、該再構成スライスを複数のエントロピースライスに分割する。何れのエントロピースライスも、ビットの既定の最大数よりも大きいサイズではない。これらの実施の形態においては、エントロピースライスのサイズが、エントロピースライスにおいて許されるビットの既定の最大数に関連した閾値に到達するまで、エンコーダは、マクロブロックのシンタックス要素をエントロピースライスに関連付ける。いくつかの実施の形態において、閾値は、エントロピースライスにおいて許されるビットの最大数の割合である。１つの例示的な実施の形態においては、マクロブロックにおいて予想されるビットの最多数(the greatest number of bits)が、エントロピースライスにおいて許されるビットの最大数の１０％未満であるとすると、閾値は、エントロピースライスにおいて許されるビットの最大数の９０％である。他の例示的な実施の形態においては、閾値は、エントロピースライスにおいて許されるビットの最大数の割合である。該割合は、マクロブロックにおいて予想されるビットの最多数に基づくものである。これらの実施の形態においては、エントロピースライスのサイズが閾値サイズを超過すると、他のエントロピースライスが生成される。閾値サイズは、エントロピースライスがエントロピースライスにおいて許されるビットの最大数を超過しないことを保証するように選択される。いくつかの実施の形態においては、閾値サイズは、エントロピースライスにおいて許されるビットの最大数、および、マクロブロックに対し予想されるビット最大数の推測値の関数である。
【００８８】
エンコーダは、現エントロピースライスにおけるビットの数に関連したカウンタを０に初期化する（Ｓ４４０）。カウンタ値は、図１６に関連して記述される本発明の実施の形態に係る以下の記述において、説明のためにＡと表記される。次のマクロブロックのシンタックス要素が得られる（Ｓ４４２）。次のマクロブロックは、マクロブロックの所定の処理順に従って決定される。いくつかの実施形態においては、マクロブロックの処理順は、ラスタスキャン順に対応するものである。マクロブロックにおける２進値でないシンタックス要素が、ビンストリングに変換される（Ｓ４４４）。２進値のシンタックス要素は、変換の必要がない。マクロブロックに関連したビンがエントロピー符号化され（Ｓ４４６）、マクロブロックに関連したビンの数が決定される（Ｓ４４８）。現エントロピースライスに関連した蓄積されたビットの数が、マクロブロックに関連したビンを含むようにアップデートされ（Ｓ４５０）、マクロブロックに関連したエントロピー符号化されたビンが、ビットストリームに書き込まれる（Ｓ４５２）。現エントロピースライスに関連した蓄積されたビットの数が、エントロピースライスにおいて許されるビットの最大数に基づいた閾値よりも大きい（Ｓ４５４）場合（ステップＳ４５４でＹＥＳ）、エンコーダが、新規のエントロピースライスの処理を開始し（Ｓ４５８）、現エントロピースライスにおけるビットの数に関連したカウンタを０に初期化する（Ｓ４６０）。次のマクロブロックのシンタックス要素が得られ（ステップＳ３５４に戻る）、分割処理が続行される。現エントロピースライスに関連した蓄積されたビットの数が、エントロピースライスにおいて許されるビットの最大数に基づいた閾値以下である（Ｓ４５４）場合（ステップＳ４５４でＮＯ）、次のマクロブロックのシンタックス要素が得られ（ステップＳ３５４に戻る）、分割処理が続行される。
【００８９】
本発明の他の実施の形態においては、エンコーダが再構成スライスを複数のエントロピースライスに分割する。各エントロピースライスは、所定の数以下のマクロブロックに関連付けられる。
【００９０】
本発明のいくつかの実施の形態においては、エントロピースライスのサイズの制限に加えて、再構成スライスにおけるマクロブロックの最大数の制限が課せられる。
【００９１】
本発明のいくつかの実施の形態においては、エンコーダが再構成スライスを複数のエントロピースライスに分割する。各エントロピースライスのサイズは、マクロブロックの所定の数未満およびビンの所定の数未満に制限される。
【００９２】
本発明のいくつかの実施の形態においては、エンコーダが再構成スライスを複数のエントロピースライスに分割する。各エントロピースライスのサイズは、マクロブロックの所定の数未満およびビットの所定の数未満に制限される。
【００９３】
本発明のいくつかの実施の形態においては、エンコーダが再構成スライスを複数のエントロピースライスに分割する。各エントロピースライスのサイズは、マクロブロックの所定の数未満、ビンの所定の数未満、およびビットの所定の数未満に制限される。
【００９４】
本発明のいくつかの実施の形態では、エントロピースライスのサイズが第１の所定のサイズ未満に制限される一方、エントロピースライスのサイズが第２の所定のサイズを超過しないように等価的に制限されることは理解されるであろう。本明細書に記述されている実施の形態は、本発明に係る例示的な実施の形態であり、当業者であれば、エントロピースライスのサイズを制限する、本発明に係る等価的な実施の形態が存在することは理解できるであろう。
【００９５】
表３は、全イントラ符号化に対するレート歪み性能の比較を示している。第３列の２つのサブ列に示した第１の比較は、スライスに対するエントロピー復号およびマクロブロックの再構成が他のスライスに依存しない複数のスライスを用いる符号化と、スライスを用いない符号化との比較である。この比較では、Ｈ．２６４／ＡＶＣジョイントモデル（ＪＭ）ソフトウエア・バージョン１３．０が用いられている。同一のビットレートに対しては、スライスを用いない符号化よりも複数のスライスを用いて符号化することにより、クオリティが平均的に−０．３３８０ｄＢ低下する。同一のクオリティレベルに対しては、スライスを用いない符号化よりも複数のスライスを用いて符号化することにより、ビットレートが平均的に７％増加する。
【００９６】
第４列の２つのサブ列に示した第２の比較は、本発明の実施の形態に係る、複数のエントロピースライス（エントロピースライス毎に２行のマクロブロック）に分割された１つの再構成スライスを用いる符号化と、スライスを伴わないＪＭ１３．０を用いる符号化との比較である。同一のビットレートに対しては、スライスを用いない符号化よりも複数のエントロピースライスを伴う１つの再構成スライスを用いて符号化することにより、クオリティが平均的に−０．０８６０ｄＢ低下する。同一のクオリティレベルに対しては、スライスを用いない符号化よりも複数のエントロピースライスを伴う１つの再構成スライスを用いて符号化することにより、ビットレートが平均的に１．８３％増加する。
【００９７】
【表３】
2013509006.tif 000006
表３：全イントラ符号化におけるレート歪み性能の比較
【００９８】
表４は、ＩＢＢＰ符号化に対するレート歪み性能の比較を示している。第３列の２つのサブ列に示した第１の比較は、スライスに対するエントロピー復号およびマクロブロックの再構成が他のスライスに依存しない複数のスライスを用いる符号化とスライスを用いない符号化との比較である。この比較では、Ｈ．２６４／ＡＶＣジョイントモデル（ＪＭ）ソフトウエア・バージョン１３．０が用いられている。同一のビットレートに対しては、複数のスライスを用いて符号化することにより、クオリティが平均的に−０．５４６０ｄＢ低下する。同一のクオリティレベルに対しては、スライスを用いない符号化よりも複数のスライスを用いて符号化することにより、ビットレートが平均的に２１．４１％増加する。
【００９９】
第４列の２つのサブ列に示した第２の比較は、本発明の実施の形態に係る、複数のエントロピースライス（エントロピースライス毎に２行のマクロブロック）に分割された１つの再構成スライスを用いる符号化と、スライスを伴わないＪＭ１３．０を用いる符号化との比較である。同一のビットレートに対しては、スライスを用いない符号化よりも複数のエントロピースライスを伴う１つの再構成スライスを用いて符号化することにより、クオリティが平均的に−０．３１ｄＢ低下する。同一のクオリティレベルに対しては、スライスを用いない符号化よりも複数のエントロピースライスを伴う１つの再構成スライスを用いて符号化することにより、ビットレートが平均的に１１．４５％増加する。
【０１００】
【表４】
2013509006.tif 000007
表４：ＩＢＢＰ符号化におけるレート歪み性能の比較
【０１０１】
結果を比較すると、１つの再構成スライスにおいて複数のエントロピースライスを用いる符号化は、全イントラ符号化およびＩＢＢＰ符号化の場合、それぞれ５．１７％および９．９６％のビットレートが低減される。これは、スライスに対するエントロピー復号および再構成が他のスライスに依存しないスライスを用いる符号化に対する比較である。但し、並列的な復号は、双方共に可能である。
【０１０２】
表５は、全イントラ符号化およびＩＢＢＰ符号化に対するレート歪み性能の比較を示している。本表における比較は、スライスを用いない符号化と、本発明に実施の形態に係る、エントロピースライス毎に２６ｋのビンである最大サイズのエントロピースライスに分割された１つの再構成スライスを用いる符号化との比較である。第２列の２つのサブ列に見られる第１の比較は、全イントラ符号化を用いた比較である。同一のビットレートに対しては、複数のエントロピースライスを伴う再構成スライスを用いて符号化することにより、クオリティが平均的に−０．０６２ｄＢ低下する。同一のクオリティレベルに対しては、複数のエントロピースライスを伴う再構成スライスを用いて符号化することにより、ビットレートが平均的に１．８６％増加する。このようにして、２行のマクロブロックである固定的なエントロピースライスサイズのエントロピースライスよりも、エントロピースライス毎に２６ｋのビンである最大サイズのエントロピースライスを用いる全イントラ符号化に対して、凡そ０．６４％である平均的なビットレートの省力が存在する。
【０１０３】
第３列の２つのサブ列に見られる第２の比較は、ＩＢＢＰ符号化を用いた比較である。同一のビットレートに対しては、スライスを用いない符号化よりも複数のエントロピースライスを伴う１つの再構成スライスを用いて符号化することにより、クオリティが平均的に−０．０２２ｄＢ低下する。同一のクオリティレベルに対しては、スライスを用いない符号化よりも複数のエントロピースライスを伴う１つの再構成スライスを用いて符号化することにより、ビットレートが平均的に０．７８７％増加する。このようにして、２行のマクロブロックである固定的なエントロピースライスサイズのエントロピースライスよりも、エントロピースライス毎に２６ｋのビンである最大サイズのエントロピースライスを用いるＩＢＢＰ符号化に対して、凡そ１０．６６％である平均的なビットレートの省力が存在する。
【０１０４】
【表５】
2013509006.tif 000008
表５：エントロピースライス毎に２６ｋのビン未満であるエントロピースライスを用いた全イントラ符号化およびＩＢＢＰ符号化におけるレート歪み性能の比較
【０１０５】
エントロピースライスを用いることにより、並列的な復号が可能になり、再構成スライスを、マクロブロックの固定的な数であるエントロピースライスよりも各エントロピースライスがビンの最大数未満であるエントロピースライスに分割する符号化により、著しいビットレートの省力を提供する。
【０１０６】
また、上記の方法は、動画像フレームを符号化するため、および、動画像ビットストリームを復号するための装置にも用いられ得る。
【０１０７】
本発明のいくつかの実施の形態においては、ビンの所定の数が、エンコーダにより生成された動画像ビットストリームに関連したプロファイルに関連付けられる方法を開示する。
【０１０８】
本発明のいくつかの実施の形態においては、所定のサイズが、エンコーダにより生成された動画像ビットストリームに関連したプロファイルに関連付けられる方法を開示する。
【０１０９】
本発明のいくつかの実施の形態においては、所定のサイズが、エンコーダにより生成された動画像ビットストリームに関連したレベルに関連付けられる方法を開示する。
【０１１０】
図面におけるフローチャートおよび図が特定の実行順を示しているが、該実行順が、図示されたものと異なってもよいことは理解されるであろう。１つの例としては、ブロックの実行順は、図示された順に関して変更されてもよい。また、他の例としては、図面において連続して図示された２つ以上のブロックは、同時に、または略同時に実行されてもよい。本明細書に記述の様々な論理的機能を実行するためのソフトウエア、ハードウエア、および／またはファームウエアは、先行技術の１つにより生成され得ることは、当業者であれば理解できるであろう。
【０１１１】
上記明細書において用いられた用語および表現は、あくまで説明のための用語として用いられているものであり、限定のためのものとして用いられているものではない。また、それらの用語および表現は、上述した特性若しくはその一部の等価性を排除するために用いられているものではない。本発明の範囲は、請求項によって定義され、また、請求項によってのみ限定されるものである。
【図１】
2013509006.tif 000009
【図２】
2013509006.tif 000010
【図３】
2013509006.tif 000011
【図４】
2013509006.tif 000012
【図５】
2013509006.tif 000013
【図６】
2013509006.tif 000014
【図７】
2013509006.tif 000015
【図８】
2013509006.tif 000016
【図９】
2013509006.tif 000017
【図１０】
2013509006.tif 000018
【図１１】
2013509006.tif 000019
【図１２】
2013509006.tif 000020
【図１３】
2013509006.tif 000021
【図１４】
2013509006.tif 000022
【図１５】
2013509006.tif 000023
【図１６】
2013509006.tif 000024
【手続補正書】
【提出日】平成23年8月15日(2011.8.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像シーケンスの動画像フレームの符号化方法であって、
ａ）エンコーダにて、動画像シーケンスのフレームを少なくとも１つの再構成スライスに分割し、第１の再構成スライスを生成する工程と、
ｂ）上記エンコーダにて、上記第１の再構成スライスを複数のエントロピースライスに分割する工程と、
を含んでおり、
上記複数のエントロピースライスにおける各エントロピースライスに関連したビンの数は、ビンの所定の数以下である、
ことを特徴とする符号化方法。
【請求項２】
上記第１の再構成スライスに関連したマクロブロックの数は、マクロブロックの所定の数以下である、
ことを特徴とする請求項１に記載の符号化方法。
【請求項３】
上記複数のエントロピースライスにおける各エントロピースライスに関連したマクロブロックの数は、マクロブロックの所定の数以下である、
ことを特徴とする請求項１に記載の符号化方法。
【請求項４】
上記複数のエントロピースライスにおける各エントロピースライスに関連したビットの数は、ビットの所定の数以下である、
ことを特徴とする請求項１に記載の符号化方法。
【請求項５】
上記複数のエントロピースライスにおける各エントロピースライスに関連したマクロブロックの数は、マクロブロックの所定の数以下である、
ことを特徴とする請求項４に記載の符号化方法。
【請求項６】
上記ビンの所定の数は、上記エンコーダにより生成された動画像ビットストリームに関連したレベルコンフォーマンスポイントに関連している、
ことを特徴とする請求項１に記載の符号化方法。
【請求項７】
上記ビンの所定の数は、ビットレート、画像サイズ、およびマクロブロックの総数から成るグループから選択された少なくとも１つのパラメータに依存する、
ことを特徴とする請求項１に記載の符号化方法。
【請求項８】
エントロピースライスヘッダを上記複数のエントロピースライスにおける各エントロピースライスに関連付ける工程を更に含んでいる、
ことを特徴とする請求項１に記載の符号化方法。
【請求項９】
エントロピースライスフラグを上記複数のエントロピースライスを用いて生成されたビットストリームに関連付ける工程を更に含んでいる、
ことを特徴とする請求項１に記載の符号化方法。
【請求項１０】
動画像シーケンスの動画像フレームの符号化方法であって、
ａ）エンコーダにて、動画像シーケンスのフレームを少なくとも１つの再構成スライスに分割し、第１の再構成スライスを生成する工程と、
ｂ）上記エンコーダにて、上記第１の再構成スライスを複数のエントロピースライスに分割する工程と、
を含んでおり、
上記複数のエントロピースライスにおける各エントロピースライスのサイズは、所定のサイズ以下であり、
上記所定のサイズは、ビットの数またはマクロブロックの数に関連している、
ことを特徴とする符号化方法。
【請求項１１】
上記第１の再構成スライスに関連したマクロブロックの数は、マクロブロックの所定の数以下である、
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１２】
上記所定のサイズは、上記エンコーダにより生成された動画像ビットストリームに関連したレベルコンフォーマンスポイントに関連している、
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１３】
上記所定のサイズは、ビットレート、画像サイズ、およびマクロブロックの総数から成るグループから選択された少なくとも１つのパラメータに依存する、
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１４】
エントロピースライスヘッダを上記複数のエントロピースライスにおける各エントロピースライスに関連付ける工程を更に含んでいる、
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１５】
エントロピースライスフラグを上記複数のエントロピースライスを用いて生成されたビットストリームに関連付ける工程を更に含んでいる、
ことを特徴とする請求項１０に記載の符号化方法。
【請求項１６】
並列的な復号をするための動画像ビットストリームの生成方法であって、
ａ）デコーダにて、第１の動画像ビットストリームを受信する工程と、
ｂ）上記動画像ビットストリームにおける再構成スライスを識別する工程と、
ｃ）上記再構成スライスからの複数のシンボルをエントロピー復号し、上記再構成スライスに関連したエントロピー復号済みのデータを生成する工程と、
ｄ）上記再構成スライスに関連した上記エントロピー復号済みのデータを、上記再構成スライスに関連した複数のエントロピースライスに分割する工程と、
ｅ）上記複数のエントロピースライスの各エントロピースライスのエントロピー復号済みのデータを個別にエントロピー符号化し、複数のエントロピー符号化済みのエントロピースライスを生成する工程と、
ｆ）上記複数のエントロピー符号化済みのエントロピースライスを含む第２の動画像ビットストリームを生成する工程と、
を含んでおり、
上記複数のエントロピースライスにおける各エントロピースライスに関連したビンの数は、ビンの所定の数以下である、
ことを特徴とする生成方法。
【請求項１７】
動画像ビットストリームの復号方法であって、
再構成スライスに関連した複数のエントロピースライスを復号する工程を含んでおり、
上記複数のエントロピースライスにおける各エントロピースライスに関連したビンの数は、ビンの所定の数以下である、
ことを特徴とする復号方法。
【請求項１８】
上記ビンの所定の数は、上記動画像ビットストリームに関連したレベルコンフォーマンスポイントに関連している、
ことを特徴とする請求項１７に記載の復号方法。
【請求項１９】
並列的な復号をするための動画像ビットストリームの生成方法であって、
ａ）デコーダにて、第１の動画像ビットストリームを受信する工程と、
ｂ）上記動画像ビットストリームにおける再構成スライスを識別する工程と、
ｃ）上記再構成スライスからの複数のシンボルをエントロピー復号し、上記再構成スライスに関連したエントロピー復号済みのデータを生成する工程と、
ｄ）上記再構成スライスに関連した上記エントロピー復号済みのデータを、上記再構成スライスに関連した複数のエントロピースライスに分割する工程と、
ｅ）上記複数のエントロピースライスの各エントロピースライスの上記エントロピー復号済みのデータを個別にエントロピー符号化し、複数のエントロピー符号化済みのエントロピースライスを生成するする工程と、
ｆ）上記複数のエントロピー符号化済みのエントロピースライスを含む第２の動画像ビットストリームを生成する工程と、
を含んでおり、
上記複数のエントロピースライスにおける各エントロピースライスのサイズは、所定のサイズ以下であり、
上記所定のサイズは、ビットの数またはマクロブロックの数に関連している、
ことを特徴とする生成方法。
【請求項２０】
動画像ビットストリームの復号方法であって、
再構成スライスに関連した複数のエントロピースライスを復号する工程を含んでおり、
上記複数のエントロピースライスにおける各エントロピースライスのサイズは、所定のサイズ以下であり、
上記所定のサイズは、ビットの数またはマクロブロックの数に関連している、
ことを特徴とする復号方法。
【請求項２１】
上記所定のサイズは、上記動画像ビットストリームに関連したレベルコンフォーマンスポイントに関連している、
ことを特徴とする請求項２０に記載の復号方法。
【請求項２２】
上記エンコーダの各レベルコンフォーマンスポイントに対する上記ビンの所定の数を、表に従って指定する工程を更に含んでいる、
ことを特徴とする請求項６に記載の符号化方法。
【請求項２３】
上記エンコーダの各レベルコンフォーマンスポイントに対する上記所定のサイズを、表に従って指定する工程を更に含んでいる、
ことを特徴とする請求項１２に記載の符号化方法。
【請求項２４】
上記第１の再構成スライスに関連したビンの数は、ビンの所定の数以下である、
ことを特徴とする請求項１に記載の符号化方法。
【請求項２５】
上記第１の再構成スライスに関連したビットの数は、ビットの所定の数以下である、
ことを特徴とする請求項１に記載の符号化方法。
【国際調査報告】
2013509006.tif 000025