【手続補正書】
【提出日】平成21年1月19日(2009.1.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンテキストを計算して動画像を符号化又は復号化する動画像処理方法において、
前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算処理のステップと、
前記コンテキスト計算処理のステップで求めた前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数の処理ステップとを有し、
前記確率状態変数の処理ステップは、
確率状態格納部に保持した前記確率状態変数を選択する確率状態変数の選択ステップを有し、
前記確率状態格納部には、第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、
前記確率状態変数の選択ステップは、
出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、
出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する
動画像処理方法。
【請求項２】
前記出現頻度の高い前記シンタックスエレメントが、前記動画像を形成する画像データを所定ブロック単位で直交変換処理した係数データである
請求項１に記載の動画像処理方法。
【請求項３】
前記第２のメモリがレジスタである
請求項１に記載の動画像処理方法。
【請求項４】
前記第１のメモリは、
全ての前記シンタックスエレメントの処理に必要な前記確率状態変数を保持し、
前記動画像処理方法は、
前記第１のメモリに保持された前記確率状態変数の一部を読み出して前記第２のメモリに格納する第２のメモリへの書き込みステップを有する
請求項１に記載の動画像処理方法。
【請求項５】
前記コンテキスト計算処理のステップは、
前記確率状態変数の処理ステップで前記確率状態変数を処理している期間の間、続くシンタックスエレメントのコンテキストを計算して、前記続くシンタックスエレメントの前記確率状態変数を検出し、
前記第２のメモリへの書き込みステップは、
前記確率状態変数の処理ステップで前記確率状態変数を処理している期間の間で、前記コンテキスト計算処理のステップで検出された前記続くシンタックスエレメントの前記確率状態変数を前記第２のメモリに格納する
請求項４に記載の動画像処理方法。
【請求項６】
前記出現頻度の高い前記シンタックスエレメントで検出される可能性のある前記確率状態変数のうちで、前記第２のメモリへの書き込みステップの処理では、前記確率状態変数の処理ステップで前記続くシンタックスエレメントの前記確率状態変数の処理開始に間に合わない前記確率状態変数を、事前に、前記第１のメモリから第２のメモリに格納する前処理のステップを有する
請求項５に記載の動画像処理方法。
【請求項７】
コンテキストを計算して動画像を符号化又は復号化する動画像処理方法のプログラムにおいて、
前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算処理のステップと、
前記コンテキスト計算処理のステップで求めた前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数の処理ステップとを有し、
前記確率状態変数の処理ステップは、
確率状態格納部に保持した前記確率状態変数を選択する確率状態変数の選択ステップを有し、
前記確率状態格納部には、第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、
前記確率状態変数の選択ステップは、
出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、
出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する
動画像処理方法のプログラム。
【請求項８】
コンテキストを計算して動画像を符号化又は復号化する動画像処理方法のプログラムを記録した記録媒体において、
前記動画像処理方法のプログラムは、
前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算処理のステップと、
前記コンテキスト計算処理のステップで求めた前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数の処理ステップとを有し、
前記確率状態変数の処理ステップは、
確率状態格納部に保持した前記確率状態変数を選択する確率状態変数の選択ステップを有し、
前記確率状態格納部には、第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、
前記確率状態変数の選択ステップは、
出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、
出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する
動画像処理方法のプログラムを記録した記録媒体。
【請求項９】
コンテキストを計算して動画像を符号化又は復号化する動画像処理装置において、
前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算部と、
第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、前記確率状態変数を前記第１及び第２のメモリに保持する確率状態格納部と、
前記コンテキスト計算部の検出結果に基づいて、前記確率状態格納部から前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数処理部とを有し、
前記確率状態変数処理部は、
出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、
出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する
動画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
続いてコンテキスト適応型２値算術符号化処理は、ステップＳＰ５の確率推定処理において、ステップＳＰ４で求めたコンテキスト番号(ctxIdx)に基づいて、処理対象の２値の値に対応するＭＰＳ（most probable symbol）とステート番号（stateIdx）を選択する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また続くステップＳＰ１３において、このステップＳＰ１２で取得した情報を用いてコンテキスト計算し、コンテキスト適応型２値算術符号化処理と同一に、対応するコンテキスト番号(ctxIdx)を求める。コンテキスト適応型２値算術復号化処理は、このコンテキスト番号(ctxIdx)を用いて、コンテキスト適応型２値算術符号化処理と同一に、順次、ＭＰＳとステート番号（stateIdx）とを求める。また求めたＭＰＳとステート番号（stateIdx）とを用いた算術符号化処理により、符号化時とは逆に元の２値を求め、ステップＳＰ１７において、この２値を多値化して元のシンタックスエレメント（syntax element）を復号する。またコンテキスト適応型２値算術符号化と同様に、処理結果に基づいて確率状態変数を更新し、同一のシンタックスエレメント（syntax element）を復号化処理する場合、この更新した確率状態変数を使用して復号化処理を実行する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
図１１は、この復号化装置１における連続するシンタックスエレメントの処理の説明に供するタイムチャートである。コンテキスト適応型２値算術復号化処理は、ＩＴＵ−Ｔ  Ｈ．２６４で定義されているスライスデータレイヤ以下の複数のシンタックスエレメントに適応される。そのため復号化装置１では、マクロブロック毎に、マクロブロックタイプ（mb type ）、トランスフォーム（transuform）、コードブロックパターン（cbp:code brock pattern）、サブマクロブロックタイプ（sub mb type ）等のシンタックスエレメントを順次処理した後、マクロブロック処理のresidualレイヤを処理する（図１１（Ａ）及び（Ｃ））。ここでresidualレイヤは、４×４画素のresidualブロックに分割され、各residualブロックに、画像データをディスクリートコサイン変換処理、量子化処理して得られる係数データ（coeff abs level minus1（図１１では、level で示す）がそれぞれ割り当てられる（図１１（Ｂ））。復号化装置１は、このresidualレイヤでは、順次連続するresidualブロックの係数データ（coeff abs level minus1 ）を符号化処理する（図１１（Ｃ））。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
確率状態格納部１１は、制御部１９の制御により選択部１４が動作を切り換え、適応算術符号復号部１６のアクセス対象を、これらメモリ１２とレジスタ１３とで切り換える。また制御部１９の制御により、復号結果に基づいてメモリ１２に記録された確率状態変数を更新する。またさらに制御部１９の制御により、メモリ１２に保持した確率状態変数をレジスタ１３にロードし、復号結果に基づいてメモリ１２に記録された確率状態変数を更新する場合には、このレジスタ１３に格納された対応する確率状態変数を、メモリ１２の記録に対応するように更新する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
コンテキスト計算部１８は、制御部１９の制御により処理対象のビットストリーム（bitstream）からコンテキスト番号(ctxIdx)を求める。コンテキスト計算部１８は、連続する係数データ（coeff abs level minus1(1-N)）の復号処理においては、続くシンタックスエレメントのコンテキスト計算を、直前のシンタックスエレメントで計算したコンテキスト番号の確率状態変数を処理している期間の間で実行する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
このコンテキスト計算部１８におけるコンテキストの計算に対応するように、適応算術符号復号部１６はビットストリーム（bitstream）を２値化して制御部１９に通知する。またコンテキスト計算部１８で求められたコンテキスト番号(ctxIdx)に基づいて、メモリ１２、レジスタ１３をアクセスし、ＭＰＳ（most probable symbol）とステート番号（stateIdx）とを順次選択して算術復号化処理を実行する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
制御部１９は、この復号化装置１０全体の動作を制御する制御部であり、係数データ（coeff abs level minus1）以外については、図１１について上述した復号化装置１の制御部３と同一に全体の動作を制御する。すなわちこの場合、制御部１９は、適応算術符号復号部１６で生成された２値化データのコンテキスト計算をコンテキスト計算部２に指示する。またコンテキスト計算部１８で求められたコンテキスト番号(ctxIdx)の処理を適応算術符号復号部１６、２値復号化部７に指示する。また適応算術符号復号部１６の処理結果に基づいて確率状態格納部１１に保持した確率状態変数を更新する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
これに対して係数データ（coeff abs level minus1）を復号化処理する場合、制御部１９は、メモリ１２に格納した確率状態変数をレジスタ１３にロードし、このレジスタ１３にロードした確率状態変数を用いてステート番号（stateIdx）及びＭＰＳの選択を実行するように各部の動作を制御する。また１つのシンタックスエレメントの確率状態変数を処理している期間の間で、続くシンタックスエレメントのコンテキストを計算して対応する確率状態変数をレジスタ１３に格納するように、コンテキスト計算部１８、適応算術符号復号部１６等の動作を制御する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
制御部１９は、係数データ（coeff abs level minus1(0)）の処理を開始すると、コンテキスト計算部１８、適応算術符号復号部１６の制御により、連続するサイクルで、順次、コンテキスト番号（ctxIdx0 ）、（ctxIdx1 ）を求める（図２（Ａ）及び（Ｂ））。また確率状態格納部１１を制御してコンテキスト計算部１８で求めたコンテキスト番号（ctxIdx0 ）、（ctxIdx1 ）に対応する確率状態変数を、続く２つのサイクルでそれぞれメモリ１２からレジスタ１３にロードする（図２（Ｃ））。制御部１９は、適応算術符号復号部１６を制御して、このレジスタ１３にロードした確率状態変数を用いてステート番号（stateIdx）及びＭＰＳを選択する確率状態選択処理、算術復号処理、バイナリ化処理を実行する（図２（Ｄ）〜（Ｆ））。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
制御部１９は、コンテキスト計算部１８を制御して、適応算術符号復号部１６でこれら確率状態選択処理、算術復号処理、バイナリ化処理を実行している期間の間で、続く係数データ（coeff abs level minus1(1)）のコンテキストを計算する。この実施例では、直前の係数データ（coeff abs level minus1(0)）のコンテキストの計算を完了した直後のサイクルから、この続く係数データ（coeff abs level minus1(1)）のコンテキスト計算処理が開始される。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
なお制御部１９は、この適応算術符号復号部１６に続く係数データ（coeff abs level minus1(1)）の処理開始を指示すると、同時に、コンテキスト計算部１８にさらに続く係数データ（coeff abs level minus1(2)）のコンテキスト計算を指示する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
またさらに事前のロードを完了すると、順次、各residualブロックの処理を開始し、コンテキスト計算で求まる確率状態変数を確率状態変数テンポラリレジスタ１３Ａに格納しながら、各シンタックスエレメントを復号する。なおこの場合に、既に、確率状態変数テンポラリレジスタ１３Ａに格納されているコンテキスト番号の確率状態変数については、確率状態変数テンポラリレジスタ１３Ａへのメモリ１２からの格納は省略するように、確率状態格納部１１の動作を制御する。なお既に、確率状態変数レジスタ１３Ｂに格納されているコンテキスト番号の確率状態変数の確率状態変数テンポラリレジスタ１３Ａへの格納については、これを省略するようにしてもよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
しかしながらこの場合、各residualブロックの処理を開始する際に、対応する全ての確率状態変数をメモリ１２からレジスタ１３にロードすることが必要になる。これに対して復号化装置１０では、シンタックスエレメントを処理しながら必要な確率状態変数をレジスタ１３にロードして、ロードの処理が間に合わない恐れのある確率状態変数だけ、事前に、レジスタ１３に格納すればよいことから、全体として見たときの処理時間を、この図５（Ｂ１）に示す例に比して格段的に短くすることができ、効率良く画像データを処理することができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
（２）実施例の動作
以上の構成において、順次入力されるビットストリーム（bitstream）は（図１及び図２）、適応算術符号復号部１６で、順次シンタックスエレメントの種別が検出される。またこの適応算術符号復号部１６の検出結果に基づいた制御部１９の制御により、コンテキスト計算部１８で順次各シンタックスエレメントのコンテキストが計算され、２値化されたシンタックスエレメントの各ビットが取り得るコンテキスト番号(ctxIdx)が求められる。ビットストリーム（bitstream）は、このコンテキスト番号(ctxIdx)の確率状態変数に基づいて、順次、適応算術符号復号部１６でステート番号（stateIdx）及びＭＰＳが選択され、この選択結果の処理により元のシンタックスエレメントが復号される。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
この復号化装置１０では、適応算術符号復号部１６で検出されるシンタックスエレメントの種別に応じて、出現頻度の低いシンタックスエレメントを復号する場合には、確率状態格納部１１に設けられたアクセスレイテンシの大きな第１のメモリであるメモリ１２を適応算術符号復号部１６がアクセスし、コンテキスト計算部１８で求められたコンテキスト番号（ctxIdx）の確率状態変数が検出される。またこの検出した確率状態変数を用いて元のシンタックスエレメントが復号処理される。この復号化装置１０は、このメモリ１２がＳＲＡＭで形成されていることにより、この出現頻度の低いシンタックスエレメントを復号する構成に関しては、全体形状を小型化することができる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
そこでこの復号化装置１０では、出現頻度の高いシンタックスエレメントを復号する場合には、コンテキスト計算部１８で求められたコンテキスト番号（ctxIdx）の確率状態変数が、第１のメモリに比してアクセスレイテンシの大きな第２のメモリであるレジスタ１３にメモリ１２からロードされて保持され、このレジスタ１３に格納された確率状態変数を用いてこの出現頻度の高いシンタックスエレメントを復号化処理する。従って出現頻度の高いシンタックスエレメントに関して、復号化装置１０は、形状が大型化するものの、処理を高速度に実行することができる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
またこの復号化装置１０では、単に出現頻度の高いシンタックスエレメントの確率状態変数をレジスタ１３に保持するだけでなく、コンテキスト計算部１８で求めたコンテキスト番号（ctxIdx）の確率状態変数を選択的にメモリ１２からレジスタ１３にロードし、このロードした確率状態変数を使用して復号化処理していることから、結局、係数データの処理に必要な全てのコンテキスト番号（ctxIdx）の確率状態変数のうちの、一部だけ格納可能にレジスタ１３を構成すれば良いことになる。具体的に、係数データの処理に必要な全ての確率状態変数の数は、５９種類である。従ってこの係数データの処理に必要な全てのコンテキスト番号（ctxIdx）の確率状態変数のうちの、一部だけ格納可能にレジスタ１３を構成すれば良いことによっても、全体構成の大型化を防止して、従来に比して処理速度を高速度化することができる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
すなわち２値化部３３は、図１について上述した２値復号化部７とは逆に、符号化処理対象のシンタックスエレメント（syntax）を順次２値化する。適応算術符号部３２は、図１について上述した適応算術符号復号部１６と同様に、確率状態格納部１１のレジスタ１３、メモリ１２に格納された確率状態変数を順次処理し、２値化部３３で生成された２値化データを順次符号化処理し、ビットストリーム（bitstream）を出力する。