(57)【要約】【課題】本発明は、動画像処理方法、動画像処理方法のプログラム、動画像処理方法のプログラムを記録した記録媒体及び動画像処理装置に関し、例えばＩＴＵ−Ｔ  Ｈ．２６４による動画像の符号化装置、復号化装置に適用して、全体構成の大型化を防止して、従来に比して処理速度を高速度化する。【解決手段】本発明は、アクセスレイテンシの小さな第２のメモリ１３に保持した確率状態変数を用いて出現頻度の高いシンタックスエレメントを処理し、アクセスレイテンシの大きな第１のメモリ１２に保持した確率状態変数を用いて他のシンタックスエレメントを処理する。【選択図】        図１
2007300517.tif 000002
【特許請求の範囲】
【請求項１】
コンテキストを計算して動画像を符号化又は復号化する動画像処理方法において、
前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算処理のステップと、
前記コンテキスト計算処理のステップで求めた前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数の処理ステップとを有し、
前記確率状態変数の処理ステップは、
確率状態格納部に保持した前記確率状態変数を選択する確率状態変数の選択ステップを有し、
前記確率状態格納部には、第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、
前記確率状態変数の選択ステップは、
出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、
出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する
ことを特徴とする動画像処理方法。
【請求項２】
前記出現頻度の高い前記シンタックスエレメントが、前記動画像を形成する画像データを所定ブロック単位で直交変換処理した係数データである
ことを特徴とする請求項１に記載の動画像処理方法。
【請求項３】
前記第２のメモリがレジスタである
ことを特徴とする請求項１に記載の動画像処理方法。
【請求項４】
前記第１のメモリは、
全ての前記シンタックスエレメントの処理に必要な前記確率状態変数を保持し、
前記動画像処理方法は、
前記第１のメモリに保持された前記確率状態変数の一部を読み出して前記第２のメモリに格納する第２のメモリへの書き込みステップを有する
ことを特徴とする請求項１に記載の動画像処理方法。
【請求項５】
前記コンテキスト計算処理のステップは、
前記確率状態変数の処理ステップで前記確率状態変数を処理している期間の間、続くシンタックスエレメントのコンテキストを計算して、前記続くシンタックスエレメントの前記確率状態変数を検出し、
前記第２のメモリへの書き込みのステップは、
前記確率状態変数の処理ステップで前記確率状態変数を処理している期間の間で、前記コンテキスト計算処理のステップで検出された前記続くシンタックスエレメントの前記確率状態変数を前記第２のメモリに格納する
ことを特徴とする請求項４に記載の動画像処理方法。
【請求項６】
前記出現頻度の高い前記シンタックスエレメントで検出される可能性のある前記確率状態変数のうちで、前記第２のメモリへの書き込みのステップの処理では、前記確率状態変数の処理ステップで前記続くシンタックスエレメントの前記確率状態変数の処理開始に間に合わない前記確率状態変数を、事前に、前記第１のメモリから第２のメモリに格納する前処理のステップを有する
ことを特徴とする請求項５に記載の動画像処理方法。
【請求項７】
コンテキストを計算して動画像を符号化又は復号化する動画像処理方法のプログラムにおいて、
前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算処理のステップと、
前記コンテキスト計算処理のステップで求めた前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数の処理ステップとを有し、
前記確率状態変数の処理ステップは、
確率状態格納部に保持した前記確率状態変数を選択する確率状態変数の選択ステップを有し、
前記確率状態格納部には、第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、
前記確率状態変数の選択ステップは、
出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、
出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する
ことを特徴とする動画像処理方法のプログラム。
【請求項８】
コンテキストを計算して動画像を符号化又は復号化する動画像処理方法のプログラムを記録した記録媒体において、
前記動画像処理方法のプログラムは、
前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算処理のステップと、
前記コンテキスト計算処理のステップで求めた前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数の処理ステップとを有し、
前記確率状態変数の処理ステップは、
確率状態格納部に保持した前記確率状態変数を選択する確率状態変数の選択ステップを有し、
前記確率状態格納部には、第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、
前記確率状態変数の選択ステップは、
出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、
出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する
ことを特徴とする動画像処理方法のプログラムを記録した記録媒体。
【請求項９】
コンテキストを計算して動画像を符号化又は復号化する動画像処理装置において、
前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算部と、
第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、前記確率状態変数を前記第１及び第２のメモリに保持する確率状態格納部と、
前記コンテキスト計算部の検出結果に基づいて、前記確率状態格納部から前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数処理部とを有し、
前記確率状態変数処理部は、
出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、
出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する
ことを特徴とする動画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理方法、動画像処理方法のプログラム、動画像処理方法のプログラムを記録した記録媒体及び動画像処理装置に関し、例えばＩＴＵ（International Telecommunication Union ）−Ｔ  Ｈ．２６４による動画像の符号化装置、復号化装置に適用することができる。本発明は、アクセスレイテンシの小さな第２のメモリに保持した確率状態変数を用いて出現頻度の高いシンタックスエレメントを処理し、アクセスレイテンシの大きな第１のメモリに保持した確率状態変数を用いて他のシンタックスエレメントを処理することにより、全体構成の大型化を防止して、従来に比して処理速度を高速度化する。
【背景技術】
【０００２】
従来、動画像の符号化処理では、エントロピー符号化処理の手法を適用して動画像を効率良くデータ圧縮している。またＭＰＥＧ（Moving Picture Experts Group）２、ＭＰＥＧ４等では、このエントロピー符号化処理に、可変長符号化処理が適用されている。またさらにＩＴＵ−Ｔ  Ｈ．２６４では、このエントロピー符号化処理に、コンテキスト適応型２値算術符号化処理（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）が適用されている。
【０００３】
ここでコンテキスト適応型２値算術符号化処理は、可変長符号化処理に比して効率良くデータ圧縮することができることから、一定のビットレートでデータ伝送する場合、ＭＰＥＧ２、ＭＰＥＧ４の符号化処理に比して、ＩＴＵ−Ｔ  Ｈ．２６４の符号化処理では画質を向上することができる。しかしながらコンテキスト適応型２値算術符号化処理は、可変長符号化処理に比して、処理が複雑であり、処理負荷が大きい欠点がある。
【０００４】
図８は、このコンテキスト適応型２値算術符号化処理の処理手順を示すフローチャートである。コンテキスト適応型２値算術符号化処理は、順次連続するシンタックスエレメント（syntax element）毎にこの処理を実行する。コンテキスト適応型２値算術符号化処理は、この図８の処理手順の実行により、連続するシンタックスエレメントをコンテキスト計算して各シンタックスエレメント（syntax element）が取り得る確率状態変数を順次検出する。また検出した確率状態変数を順次選択して処理し、シンタックスエレメント（syntax element）を符号化する。
【０００５】
すなわちコンテキスト適応型２値算術符号化処理は、この処理を開始すると、ステップＳＰ１からステップＳＰ２に移り、処理対象の多値のシンタックスエレメント（syntax element）を取得する。コンテキスト適応型２値算術符号化処理は、続くステップＳＰ３の２値化処理により、ステップＳＰ２で取得したシンタックスエレメントを各シンタックスエレメント（syntax element）の種類に応じた規則に従って２値化する。
【０００６】
続いてコンテキスト適応型２値算術符号化処理は、ステップＳＰ４のコンテキスト計算処理によりステップＳＰ３で変換した個々の２値の位置に対してコンテキスト番号(ctxIdx)を求める。ここでコンテキスト番号(ctxIdx)は、確率状態変数を特定する番号であり、確率状態変数は、２値における各値の出現確率を示す変数である。確率状態変数は、各２値の値に対応するＭＰＳ（most probable symbol）とステート番号（stateIdx）とで表される。ここでＭＰＳ（most probable symbol）は、発生確率が高いシンボルかどうかを示すフラグであり、ステート番号（stateIdx）は、ＭＰＳのシンボルの発生確率テーブルを示す番号である。従ってコンテキスト適応型２値算術符号化処理は、ステップＳＰ４のコンテキスト計算処理によって、処理対象のシンタックスエレメント（syntax element）の各２値が取り得る確率状態変数をそれぞれコンテキスト番号(ctxIdx)で求める。
【０００７】
続いてコンテキスト適応型２値算術符号化処理は、ステップＳＰ５の確率推定処理において、ステップＳＰ３で求めたコンテキスト番号(ctxIdx)に基づいて、処理対象の２値の値に対応するＭＰＳ（most probable symbol）とステート番号（stateIdx）を選択する。
【０００８】
コンテキスト適応型２値算術符号化処理は、続くステップＳＰ６の算術符号化処理において、ステップＳＰ５で選択したＭＰＳ（most probable symbol）とステート番号（stateIdx）とを用いて算術符号化処理を実行する。
【０００９】
コンテキスト適応型２値算術符号化処理は、符号化すべき全ての２値の処理を完了するまで、下位側の２値からステップＳＰ４−ＳＰ５−ＳＰ６−ＳＰ４の処理手順を繰り返して順次ビットストリーム（bitstream ）を生成する。また符号化すべき全ての２値の処理を完了すると、ステップＳＰ６からステップＳＰ７に移って生成したビットストリーム（bitstream ）を出力し、ステップＳＰ８に移ってこの処理手順を終了する。
【００１０】
またコンテキスト適応型２値算術符号化処理は、ステップＳＰ６からステップＳＰ４の矢印で示すように、１つのシンタックスエレメント（syntax element）を処理すると、その処理結果に基づいてメモリに保持した確率状態変数を更新し、同一のシンタックスエレメントを符号化処理する場合、この更新した確率状態変数を使用して符号化処理を実行する。
【００１１】
これに対して図９は、コンテキスト適応型２値算術復号化処理を示すフローチャートである。コンテキスト適応型２値算術復号化処理は、シンタックスエレメント（syntax element）毎にこの処理を実行し、コンテキスト適応型２値算術符号化処理と同様に、連続するシンタックスエレメント（syntax element）をコンテキスト計算して各シンタックスエレメント（syntax element）が取り得る確率状態変数を順次検出する。また検出した確率状態変数を順次選択して処理し、シンタックスエレメント（syntax element）を復号化する。
【００１２】
すなわちコンテキスト適応型２値算術復号化処理は、この処理手順を開始すると、ステップＳＰ１１からステップＳＰ１２に移る。ここでコンテキスト適応型２値算術復号化処理は、復号化処理するビットストリームからシンタックスエレメント（syntax element）の種別を特定するシンタックスモード（Syntaxモード）、処理対象のビット位置を特定する情報であるｂｉｎを検出する。
【００１３】
また続くステップＳＰ１３において、このステップＳＰ１２で取得した情報を用いてコンテキスト計算し、コンテキスト適応型２値算術符号化処理と同一に、対応するコンテキスト番号(ctxIdx)を求める。コンテキスト適応型２値算術復号化処理は、このコンテキストキスト番号(ctxIdx)を用いて、コンテキスト適応型２値算術符号化処理と同一に、順次、ＭＰＳとステート番号（stateIdx）とを求める。また求めたＭＰＳとステート番号（stateIdx）とを用いた算術符号化処理により、符号化時とは逆に元の２値を求め、ステップＳＰ１６において、この２値を多値化して元のシンタックスエレメント（syntax element）を復号する。またコンテキスト適応型２値算術符号化と同様に、処理結果に基づいて確率状態変数を更新し、同一のシンタックスエレメント（syntax element）を復号化処理する場合、この更新した確率状態変数を使用して復号化処理を実行する。
【００１４】
図１０は、コンテキスト適応型２値算術復号化処理を実行する復号化装置を示すブロック図である。
【００１５】
この復号化装置１において、コンテキスト計算部２は、制御部３の制御により処理対象のビットストリーム（bitstream） からコンテキスト番号(ctxIdx)を求める。確率状態格納部４は、このコンテキスト番号(ctxIdx)により特定される確率状態変数をメモリ５に格納して保持し、適応算術符号復号部６からのアクセスにより保持した確率状態変数を適応算術符号復号部６に通知する。なおメモリ５に格納される確率状態変数は、例えば係数データの処理では、７bit ×５９種類である。
【００１６】
適応算術符号復号部６は、処理対象のビットストリーム（bitstream） から２値化データを生成し、この２値化データを用いた確率推定により、ステート番号（stateIdx）及びＭＰＳを順次選択する。適応算術符号復号部６は、このステート番号（stateIdx）及びＭＰＳを処理してシンタックス情報を生成し、算術復号化処理を実行する。２値復号化部７は、適応算術符号復号部６の処理結果に基づいて、元のシンタックスエレメント（syntax element：syntax）を復号して出力する。
【００１７】
制御部３は、この復号化装置１全体の動作を制御する制御部であり、適応算術符号復号部６で生成された２値化データによるコンテキスト計算をコンテキスト計算部２に指示する。またコンテキスト計算部２で求められたコンテキスト番号(ctxIdx)を適応算術符号復号部６に通知し、また適応算術符号復号部６の処理結果の処理を２値復号化部７に指示する。
【００１８】
制御部３は、１ＮＡＬ（Network Abstraction Layer ）ユニットの処理開始前に、確率状態格納部４のメモリ５に保持した確率状態変数を初期化した後、適応算術符号復号部６の処理結果に応じてメモリ５に格納した確率状態変数を更新する。また係数データの処理では、１つの係数データを処理する際の適応算術符号復号部６における実行結果に基づいて、続く係数データで処理する２値の数を設定する。
【００１９】
図１１は、この復号化装置１における連続するシンタックスエレメントの処理の説明に供するタイムチャートである。適応型２値算術復号化処理は、ＩＴＵ−Ｔ  Ｈ．２６４で定義されているスライスデータレイヤ以下の複数のシンタックスエレメントに適応される。そのため復号化装置１では、マクロブロック毎に、マクロブロックタイプ（mb type ）、トランスフォーム（transuform）、コードブロックパターン（cbp:code brock pattern）、サブマクロブロックタイプ（sub mb type ）等のシンタックスエレメントを順次処理した後、マクロブロック処理のresidualレイヤを処理する（図１１（Ａ）及び（Ｃ））。ここでresidualレイヤは、４×４画素のresidualブロックに分割され、各residualブロックに、画像データをディスクリートコサイン変換処理、量子化処理して得られる係数データ（coeff abs level minus1（図１１では、level で示す）がそれぞれ割り当てられる（図１１（Ｂ））。復号化装置１は、このresidualレイヤでは、順次連続するresidualブロックの係数データ（coeff abs level minus1 ）を符号化処理する（図１１（Ｃ））。
【００２０】
なおマクロブロックタイプ（mb type ）、トランスフォーム（transform）、コードブロックパターン（cbp:code brock pattern）、サブマクロブロックタイプ（sub mb type
）等のシンタックスエレメントは、１つのマクロブロックに１つしか存在しないのに対し、residualブロックの係数データ（coeff abs level minus1）は、６４個存在することになる。従って例えばいわゆる４：２：０の画像データを処理する場合、輝度信号のマクロブロックが１６×１６画素で形成され、色差信号のマクロブロックが８×８画素で形成されていることから、この場合、１つのマクロブロックは、６×６４＝３８４個の係数データ（coeff abs level minus1 ）が存在することになる。
【００２１】
従って復号化装置１は、residualブロックの係数データ（coeff abs level minus1）を符号化処理する際に、初めにメモリ５に記録した確率状態変数を初期化した後、適応算術符号復号部６の処理結果に応じてこのメモリ５に格納した確率状態変数を順次更新する。なおこの初期化の処理は、１ＮＡＬ（Network Abstraction Layer ）ユニットの開始時、実行される。また１つの係数データ（coeff abs level minus1 ）を処理する際の適応算術符号復号部６における実行結果に基づいて、続く係数データ（coeff abs level minus1 ）で処理する２値の数を設定する。
【００２２】
図１２は、このresidualブロックの係数データ（coeff abs level minus1 ）の連続した処理の説明に供するタイムチャートである。なおこの図１２は、図１０のメモリ５をアクセスレイテンシが大きいＳＲＡＭで構成した場合である。また各処理の区切りは、処理単位の１サイクルである。復号化装置１は、初めにメモリ５の内容を初期化した後、先頭の係数データ（coeff abs level minus1（0））のコンテキストをコンテキスト計算部２で計算する（図１２（Ａ）及び（Ｂ））。なおこの図１２の例では、このコンテキストの計算により最下位の２値でコンテキスト番号(ctxIdxO) が求められ、続く第２〜第４の２値で連続して１つのコンテキスト番号(ctxIdx1) が求められた場合である。従ってこの２つのコンテキスト番号(ctxIdxO) 、(ctxIdx1) のうちの２番目のコンテキスト番号(ctxIdx1) は、第２〜第４の２値の処理に使用される。なお以下において、適宜、先頭からの順番を示す括弧書きの数字で各係数データを示す。
【００２３】
復号化装置１では、このコンテキスト番号(ctxIdxO) 、(ctxIdx1) のうちの、先頭のコンテキスト番号(ctxIdxO) に基づいて適応算術符号復号部６の確率計算（arith0）でメモリ５に記録のステート番号（stateIdx0 ）及びＭＰＳが選択され（図１２（Ｃ）及び（Ｄ））、また続く確率計算（arith1）でさらにコンテキスト番号(ctxIdx1) に基づいてメモリ５に記録のステート番号（stateIdx1 ）及びＭＰＳが選択される。復号化装置１は、処理すべき２値の数だけ、このステート番号（stateIdx）及びＭＰＳの選択を繰り返し、処理結果bin を２値復号化部７で処理してシンタックスエレメント（syntax0 ）を復号する（図１２（Ｅ）及び（Ｆ））。また矢印Ａで示すように、処理結果に基づいてメモリ５に記録された確率状態変数を更新した後、続く係数データ（coeff abs level minus1）を同様に処理する。
【００２４】
このようなコンテキスト適応型２値算術復号化装置に関して、特開２００５−１３００９９号公報、特開２００５−２１７８７１号公報等には、処理速度を高速度化する工夫が提案されている。
【００２５】
ところでこの種の符号化装置、復号化装置では、処理速度を高速度化することが望まれる。この高速度化の観点より図１２に示す復号化装置１の動作を検討したところ、連続するシンタックスエレメント（syntax element：syntax）の処理の間で空き時間が発生する問題が判った。
【００２６】
すなわち図１２に示すように、メモリ５をアクセスレイテンシが大きいＳＲＡＭで構成した場合、確率状態変数のステート番号（stateIdx）及びＭＰＳは、コンテキストを計算した後、２サイクル後に取得されることになる。この図１２の例では、このコンテキスト計算結果による確率状態変数の処理を続く４サイクルで実行し、シンタックスエレメント（syntax element：syntax）を復号することになる。なおここでこのコンテキスト計算結果による確率状態変数の処理は、確率状態変数の取得処理、算術復号化処理、２値化処理であり、この図１２の例ではこれらの処理をパイプライン方式により実行している。またシンタックスエレメント（syntax element：syntax）を復号した後、処理結果に基づいてメモリ５の記録を更新し、続く係数データ（coeff abs level minus1）の処理を開始することになる。従ってメモリ５をアクセスレイテンシが大きいＳＲＡＭで構成した場合、従来の復号化装置１では、１つのシンタックスエレメントで確率状態変数の処理を完了した後、続くシンタックスエレメントで確率状態変数の処理を開始するまでの間で、３サイクルの空き時間が発生する。
【００２７】
この３サイクルの空き時間は、全ての係数データの処理で発生し、１つのマクロブロックでは、連続した係数データの処理で発生することから、全体として見た場合には、極めて大きな空き時間となる。
【００２８】
この問題を解決する１つの方法として、メモリ５にアクセスレイテンシが０のレジスタを適用して確率状態変数を保持する方法も考えられる。しかしながらこの方法の場合、上述した３サイクルの空き時間を１サイクルに短縮できるものの、ＳＲＡＭに比してメモリ５の面積が大きくなり、全体構成が大型化する問題がある。
【特許文献１】特開２００５−１３００９９号公報
【特許文献２】特開２００５−２１７８７１号公報
【発明の開示】
【発明が解決しようとする課題】
【００２９】
本発明は以上の点を考慮してなされたもので、全体構成の大型化を防止して、従来に比して処理速度を高速度化することができる動画像処理方法、動画像処理方法のプログラム、動画像処理方法のプログラムを記録した記録媒体及び動画像処理装置を提案しようとするものである。
【課題を解決するための手段】
【００３０】
上記の課題を解決するため請求項１の発明は、コンテキストを計算して動画像を符号化又は復号化する動画像処理方法に適用して、前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算処理のステップと、前記コンテキスト計算処理のステップで求めた前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数の処理ステップとを有し、前記確率状態変数の処理ステップは、確率状態格納部に保持した前記確率状態変数を選択する確率状態変数の選択ステップを有し、前記確率状態格納部には、第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、前記確率状態変数の選択ステップは、出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する。
【００３１】
また請求項７の発明は、コンテキストを計算して動画像を符号化又は復号化する動画像処理方法のプログラムに適用して、前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算処理のステップと、前記コンテキスト計算処理のステップで求めた前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数の処理ステップとを有し、前記確率状態変数の処理ステップは、確率状態格納部に保持した前記確率状態変数を選択する確率状態変数の選択ステップを有し、前記確率状態格納部には、第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、前記確率状態変数の選択ステップは、出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する。
【００３２】
また請求項８の発明は、コンテキストを計算して動画像を符号化又は復号化する動画像処理方法のプログラムを記録した記録媒体に適用して、前記動画像処理方法のプログラムは、前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算処理のステップと、前記コンテキスト計算処理のステップで求めた前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数の処理ステップとを有し、前記確率状態変数の処理ステップは、確率状態格納部に保持した前記確率状態変数を選択する確率状態変数の選択ステップを有し、前記確率状態格納部には、第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、前記確率状態変数の選択ステップは、出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する。
【００３３】
また請求項９の発明は、コンテキストを計算して動画像を符号化又は復号化する動画像処理装置に適用して、前記動画像を構成するシンタックスエレメントのコンテキストを計算し、前記シンタックスエレメントが取り得る確率状態変数を順次検出するコンテキスト計算部と、第１のメモリと、前記第１のメモリに比してアクセスレイテンシの小さな第２のメモリとが設けられ、前記確率状態変数を前記第１及び第２のメモリに保持する確率状態格納部と、前記コンテキスト計算部の検出結果に基づいて、前記確率状態格納部から前記確率状態変数を順次選択して処理し、前記シンタックスエレメントを符号化又は復号化する確率状態変数処理部とを有し、前記確率状態変数処理部は、出現頻度の低い前記シンタックスエレメントを処理する場合には、前記第１のメモリから前記確率状態変数を順次選択し、出現頻度の高い前記シンタックスエレメントを処理する場合には、前記第２のメモリから前記確率状態変数を順次選択する。
【００３４】
請求項１の構成において、アクセスレイテンシの小さな第２のメモリを用いて確率状態変数を選択する構成は、全体形状が大きくなるものの、処理速度を高速度化することができる。これに対してアクセスレイテンシの大きな第１のメモリを用いて確率状態変数を選択する構成は、全体形状が小さくなるものの、処理速度を高速度化することが困難になる。従って請求項１の構成により、出現頻度の低いシンタックスエレメントを処理する場合には、第１のメモリから確率状態変数を順次選択し、出現頻度の高いシンタックスエレメントを処理する場合には、第２のメモリから確率状態変数を順次選択するように構成すれば、第１及び第２のメモリを使用する場合の両者の長所を生かして、全体構成の大型化を防止して、従来に比して処理速度を高速度化することができる。
【００３５】
また請求項７、請求項８又は請求項９の構成において、アクセスレイテンシの小さな第２のメモリを用いて確率状態変数を選択する構成は、全体形状が大きくなるものの、処理速度を高速度化することができる。これに対してアクセスレイテンシの大きな第１のメモリを用いて確率状態変数を選択する構成は、全体形状が小さくなるものの、処理速度を高速度化することが困難になる。従って請求項６、請求項７又は請求項８の構成により、出現頻度の低いシンタックスエレメントを処理する場合には、第１のメモリから確率状態変数を順次選択し、出現頻度の高いシンタックスエレメントを処理する場合には、第２のメモリから確率状態変数を順次選択するように構成すれば、第１及び第２のメモリを使用する場合の両者の長所を生かして、全体構成の大型化を防止して、従来に比して処理速度を高速度化することができる。
【発明の効果】
【００３６】
本発明によれば、全体構成の大型化を防止して、従来に比して処理速度を高速度化することができる。
【発明を実施するための最良の形態】
【００３７】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００３８】
図１は、図１０との対比により本発明の実施例１の復号化装置を示すブロック図である。この復号化装置１において、図１０について上述した復号化装置１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。この復号化装置１０は、ＩＴＵ−Ｔ  Ｈ．２６４の規定に従って、ビットストリーム（bitstream） からシンタックスエレメント（syntax）を順次復号し、このシンタックスエレメント（syntax）を逆量子化処理、逆直交変換処理して動画像の画像データを復号する。なおこの図１に示す各部は、ハードウエアで構成してもよく、演算処理手段の機能ブロックで構成してもよい。なお演算処理手段の機能ブロックで構成する場合に、この演算処理手段のプログラムは、事前のインストールにより提供するようにしてもよく、また光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【００３９】
この復号化装置１０において、確率状態格納部１１は、アクセスレイテンシが大きい第１のメモリと、この第１のメモリに比してアクセスレイテンシが小さい第２のメモリとが設けられる。ここで第１のメモリは、この実施例では、第２のメモリに比して消費電力が小さく形状が小型の例えばＳＲＡＭのメモリ１２により形成される。これに対して第２のメモリは、レジスタ１３により形成される。なおこのレジスタ１３は、例えばフリップフロップで構成される。
【００４０】
確率状態格納部１１は、全てのシンタックスエレメントの確率状態変数をメモリ１２に格納する。またこのメモリ１２に格納した確率状態変数のうち、対応するシンタックスエレメントの出現頻度が高く、使用頻度の高い確率状態変数を、レジスタ１３にロードして保持する。復号化装置１０は、出現頻度の高いシンタックスエレメントを復号する場合には、レジスタ１３に保持した確率状態変数を使用してこの出現頻度の高いシンタックスエレメントを処理する。これに対してこの出現頻度の高いシンタックスエレメント以外のシンタックスエレメントは、メモリ１２に記録されたデータを使用して処理する。具体的に、この実施例では、この使用頻度の高い確率状態変数に、係数データ（coeff abs level minus1）の確率状態変数が割り当てられる。
【００４１】
確率状態格納部１１は、制御部１９の制御により選択部１４が動作を切り換え、適応算術符号復号部６のアクセス対象を、これらメモリ１２とレジスタ１３とで切り換える。また制御部１９の制御により、復号結果に基づいてメモリ１２に記録された確率状態変数を更新する。またさらに制御部１９の制御により、メモリ１２に保持した確率状態変数をレジスタ１３にロードし、復号結果に基づいてメモリ１２に記録された確率状態変数を更新する場合には、このレジスタ１３に格納された対応する確率状態変数を、メモリ１２の記録に対応するように更新する。
【００４２】
コンテキスト計算部２は、制御部３の制御により処理対象のビットストリーム（bitstream）からコンテキスト番号(ctxIdx)を求める。コンテキスト計算部２は、連続する係数データ（coeff abs level minus1(1-N)）の復号処理においては、続くシンタックスエレメントのコンテキスト計算を、直前のシンタックスエレメントで計算したコンテキスト番号の確率状態変数を処理している期間の間で実行する。
【００４３】
このコンテキスト計算部２におけるコンテキストの計算に対応するように、適応算術符号復号部１６はビットストリーム（bitstream）を２値化して制御部１９に通知する。またコンテキスト計算部２で求められたコンテキスト番号(ctxIdx)に基づいて、メモリ１２、レジスタ１３をアクセスし、ＭＰＳ（most probable symbol）とステート番号（stateIdx）とを順次選択して算術復号化処理を実行する。
【００４４】
制御部１９は、この復号化装置１０全体の動作を制御する制御部であり、係数データ（coeff abs level minus1）以外については、図１１について上述した復号化装置１の制御部３と同一に全体の動作を制御する。すなわちこの場合、制御部１９は、適応算術符号復号部１６で生成された２値化データのコンテキスト計算をコンテキスト計算部２に指示する。またコンテキスト計算部２で求められたコンテキスト番号(ctxIdx)の処理を適応算術符号復号部１６、２値復号化部７に指示する。また適応算術符号復号部１６の処理結果に基づいて確率状態格納部１１に保持した確率状態変数を更新する。
【００４５】
これに対して係数データ（coeff abs level minus1）を復号化処理する場合、制御部１９は、メモリ１２に格納した確率状態変数をレジスタ１３にロードし、このレジスタ１３にロードした確率状態変数を用いてステート番号（stateIdx）及びＭＰＳの選択を実行するように各部の動作を制御する。また１つのシンタックスエレメントの確率状態変数を処理している期間の間で、続くシンタックスエレメントのコンテキストを計算して対応する確率状態変数をレジスタ１３に格納するように、コンテキスト計算部２、適応算術符号復号部１６等の動作を制御する。
【００４６】
図２は、図１２との対比により制御部１９の制御による係数データ（coeff abs level
Minus1 ）の処理を示すタイムチャートである。なおこの図２は、図１１の場合と同一に、先頭の係数データ（coeff abs level minus1(0）)の最下位の２値及び第２〜第４の２値でコンテキスト番号（ctxIdx0 ）及びコンテキスト番号（ctxIdx1 ）がそれぞれ求められ、続く係数データ（coeff abs level minus1(1)）の連続する２つの２値でそれぞれコンテキスト番号（ctxIdx2 ）、（ctxIdx3 ）が求められた場合である。
【００４７】
制御部１９は、係数データ（coeff abs level minus1(0)）の処理を開始すると、コンテキスト計算部２、適応算術符号復号部１６の制御により、連続するサイクルで、順次、コンテキスト番号（ctxIdx0 ）、（ctxIdx1 ）を求める（図２（Ａ）及び（Ｂ））。また確率状態格納部１１を制御してコンテキスト計算部２で求めたコンテキスト番号（ctxIdx0 ）、（ctxIdx1 ）に対応する確率状態変数を、続く２つのサイクルでそれぞれメモリ１２からレジスタ１３にロードする（図２（Ｃ））。制御部１９は、適応算術符号復号部１６を制御して、このレジスタ１３にロードした確率状態変数を用いてステート番号（stateIdx）及びＭＰＳを選択する確率状態選択処理、算術復号処理、バイナリ化処理を実行する（図２（Ｄ）〜（Ｆ））。
【００４８】
ここでレジスタ１３は、アクセスレイテンシが０であることから、これら確率状態選択処理、算術復号処理、バイナリ化処理は、処理に使用する確率状態変数をレジスタ１３に格納したサイクルで、先頭の２値の処理を開始する。
【００４９】
制御部１９は、コンテキスト計算部２を制御して、適応算術符号復号部１６でこれら確率状態選択処理、算術復号処理、バイナリ化処理を実行している期間の間で、続く係数データ（coeff abs level minus1(1)）のコンテキストを計算する。この実施例では、直前の係数データ（coeff abs level minus1(0)）のコンテキストの計算を完了した直後のサイクルから、この続く係数データ（coeff abs level minus1(1)）のコンテキスト計算処理が開始される。
【００５０】
また制御部１９は、この続く係数データ（coeff abs level minus1(1)）のコンテキスト計算を完了すると、続くサイクルで、このコンテキスト計算で求められたコンテキスト番号（ctxIdx2 ）、（ctxIdx3 ）の確率状態変数をメモリ１２からレジスタ１３にロードし、直前の係数データ（coeff abs level minus1(0)）の処理を完了する前に、事前に続く係数データ（coeff abs level minus1(1)）を処理可能にこれら確率状態変数をレジスタ１３に保持する。
【００５１】
制御部１９は、適応算術符号復号部１６の処理結果で、逐次、このレジスタ１３、メモリ１２に保持した確率状態変数を更新し、直前の係数データ（coeff abs level minus1(0)）の処理を完了すると、続く係数データ（coeff abs level minus1(1)）の処理を適応算術符号復号部１６に指示する。
【００５２】
ここでこの復号化装置１０では、続く係数データ（coeff abs level minus1(1)）の処理に必要なコンテキスト番号（ctxIdx2 ）、（ctxIdx3 ）の確率状態変数が事前にレジスタ１３に格納されていることから、適応算術符号復号部１６は、直前の係数データ（coeff abs level minus1(0)）の処理を完了すると、空き時間を発生させることなく、続くサイクルで続く係数データ（coeff abs level minus1(1)）の処理を開始することができる。従って復号化装置１０では、従来に比して高速度に画像データを復号することができる。
【００５３】
なお制御部１９は、この適応算術符号復号部１６に続く係数データ（coeff abs level
minus1(1)）の処理開始を指示すると、同時に、コンテキスト計算部２にさらに続く係数データ（coeff abs level minus1(2)）のコンテキスト計算を指示する。
【００５４】
ところでこのようにレジスタ１３に格納した確率状態変数を処理している期間を有効に利用して、事前に続く係数データ（coeff abs level minus1(N)）をコンテキスト計算して確率状態変数をレジスタ１３に保持する場合、続く係数データ（coeff abs level minus1(N)）の適応算術符号復号部１６の処理開始時点で、確率状態変数のレジスタ１３への格納が完了していない場合も発生する。すなわちレジスタ１３への確率状態変数の格納が、各シンタックスエレメントの復号化処理に間に合わなくなる場合が発生する。
【００５５】
具体的に、図３は、residualブロックに存在する係数データ（coeff level abs minus1）を順次処理していく場合に必要なコンテキスト番号と確率状態変数を推測するタイムチャートである。なおこの図３の例では、各係数データ（coeff level abs minus1）の各２値の値が０又は１であるものとする。
【００５６】
ここでresidualブロックの先頭の係数データ（coeff level abs minus1(0)）において、コンテキスト番号（ctxIdx）は、一意に決定され、ctxIdx=1である。復号化装置１０では、この係数データ（coeff level abs minus1(0)）の最下位の２値（level0 bin0 ）が値０の場合、続く係数データ（coeff level abs minus1(1)）の処理に移り、この続く係数データ（coeff level abs minus1(1)）の最下位の２値（level1 bin0 ）を処理することになる。またこれとは逆に係数データ（coeff level abs minus1(0)）の最下位の２値（level0 bin0 ）が値１の場合、続く上位の２値（level0 bin1 ）を処理することになる。ここでこの図３の例では、これらの２値（level1 bin0 ）、（level0 bin1 ）のコンテキスト番号（ctxIdx）がそれぞれctxIdx=2、ctxIdx=5であるとする。
【００５７】
またこの図３の例では、先頭係数データ（coeff level abs minus1(0)）に続く２値（level0 bin1 ）が選択された場合、続いて続く係数データ（coeff level abs minus1(1)）の最下位の２値（level1 bin0 ）を処理することになる。また係数データ（coeff level abs minus1(0)）の最下位の２値（level0 bin0 ）が値０であって、続く係数データ（coeff level abs minus1(1)）の最下位の２値（level1 bin0 ）が値０及び値１の場合、それぞれ続く係数データ（coeff level abs minus1(2)）の最下位の２値（level2 bin0 ）、同一係数データ（coeff level abs minus1(2)）の続く２値（level2 bin1 ）を処理することになる。なおこの図３の右端の表示は、この図３における最終的な遷移先において、各遷移先に至る各係数データを示すものである。また図４は、この図３に対応してはいないものの、連続した係数データにおいて、各２値が値１で所定個数だけ連続する場合の遷移を示す略線図である。
【００５８】
従ってこの図３の例を処理する場合、先頭係数データ（coeff level abs minus1(0)）のコンテキスト計算では、コンテキスト番号ctxIdx=1、ctxIdx=5を求め、また続く係数データ（coeff level abs minus1(1)）の事前のコンテキスト計算では、コンテキスト番号ctxIdx=0、ctxIdx=2、ctxIdx=5、ctxIdx=6を計算することが必要になる。
【００５９】
ここでこの図３の水平方向の各遷移は、図２の１サイクルに対応している。従って、図１の構成により、先行してコンテキスト計算してレジスタ１３に確率状態変数を格納する場合、先頭の係数データ（coeff level abs minus1(0)）については、コンテキスト番号ctxIdx=1、ctxIdx=5の確率状態変数をレジスタ１３に格納した後、処理を開始することから、この場合、何ら確率状態変数の処理開始に遅れることなくレジスタ１３に確率状態変数を格納しておくことができる。
【００６０】
また続く係数データ（coeff level abs minus1(1)）の処理では、コンテキスト番号ctxIdx=0、ctxIdx=2、ctxIdx=5、ctxIdx=6の確率状態変数が必要となる。ここで最下位の２値の処理から次の係数データに処理を切り換えるｂｉｎ＝０側のコンテキスト番号ctxIdx=2、ctxIdx=5を、最下位の２値の処理から続く上位側の２値に処理を切り換えるｂｉｎ＝１側のコンテキスト番号ctxIdx=0、ctxIdx=6に優先してレジスタ１３に格納するようにし、さらに下位側の２値に対応するコンテキスト番号から順に確率状態変数をレジスタ１３に格納すれば、先頭の係数データ（coeff level abs minus1(0)）の最下位の２値（level0 bin0 ）を完了した時点で、ｂｉｎ＝０の場合の続く係数データ（coeff level abs minus1(1)）の最下位の２値（level1 bin0 ）の処理に必要なコンテキスト番号ctxIdx=2の確率状態変数をレジスタ１３に保持しておくことができる。またこの最下位の２値（level1 bin0 ）の処理を完了した時点で、ｂｉｎ＝１の場合の続く最下位の２値（level1 bin1）の処理に必要なコンテキスト番号ctxIdx=5の確率状態変数をレジスタ１３に保持しておくこともできる。従ってこの場合も、何ら続く係数データ（coeff level abs minus1(1)）の処理に遅れることなく、レジスタ１３に確率状態変数を格納しておくことができる。
【００６１】
しかしながらこの場合、先頭係数データ（coeff level abs minus1(0)）の最下位の２値（level0 bin0 ）がｂｉｎ＝１の場合には、続く上位側の２値（level0 bin1 ）の処理が完了した時点で、続く係数データ（coeff level abs minus1(1)）の最下位の２値（level1 bin0 ）の処理に必要なコンテキスト番号ctxIdx=0の確率状態変数がレジスタ１３に用意されていないことになり、レジスタ１３への確率状態変数の格納が、シンタックスエレメントの復号化処理に間に合わなくなる。
【００６２】
このため図５（Ａ）に示すように、復号化装置１０において、レジスタ１３は、それぞれ所定個数の確率状態変数テンポラリレジスタ１３Ａと確率状態変数レジスタ１３Ｂとにより形成される。ここで確率状態変数テンポラリレジスタ１３Ａは、図２について上述したように、コンテキスト計算、算術復号化処理等と並行してメモリ１２から確率状態変数をロードして格納するレジスタである。確率状態変数レジスタ１３Ｂは、レジスタ１３への格納がシンタックスエレメントの復号化処理に間に合わなくなる確率状態変数を、residualレイヤの処理開始前に事前に格納するレジスタである。
【００６３】
ここで係数データのシンタックスエレメントに対するコンテキスト番号(ctxIdx)は、ＡＣ成分、ＤＣ成分、輝度信号（Ｙ）成分、色差信号（Ｃｒ、Ｃｂ）成分の種別により６つのカテゴリに分類される。各カテゴリにおいて、コンテキスト番号(ctxIdx)は、９〜１０種類である。また各residualブロックでは一意にカテゴリが選択されることから、結局、１つのカテゴリで使用されるコンテキスト番号(ctxIdx)は、９種類又は１０種類となる。従って確率状態変数テンポラリレジスタ１３Ａは、各カテゴリ毎に設けられ、各カテゴリでは、それぞれこの９種類又は１０種類のコンテキスト番号に対応する確率状態変数を保持可能に、最大で１０個設けられる。
【００６４】
但し、メモリ１２からレジスタ１３に転送するデータ転送能力に応じて、１つのサイクルでレジスタ１３に格納可能な確率状態変数の数が変化し、この数の変化により格納が間に合わなくなる確率状態変数の数が変化することになる。またフォーマットで決まる係数データにおけるコンテキスト番号(ctxIdx)の遷移によっても、格納が間に合わなくなる確率状態変数の数が変化することになる。従って確率状態変数テンポラリレジスタと確率状態変数レジスタの個数は、メモリ１２からレジスタ１３に転送するデータ転送能力に応じて、さらにはフォーマットで決まる係数データにおけるコンテキスト番号(ctxIdx)の遷移に応じて、種々に設定することができる。因みに、１つのシンタックスエレメントにおいて、コンテキスト計算で求められる最大のコンテキスト番号の数に対して、メモリ１２からレジスタ１３に転送するデータ転送能力を十分なものとして、より具体的には、例えばコンテキスト計算で求められる全てのコンテキスト番号の確率状態変数を１サイクルでレジスタ１３に転送可能として、確率状態変数レジスタ１３Ｂの構成を省略するようにしてもよい。
【００６５】
このレジスタ１３の構成に対応して、制御部１９は、図５（Ｂ２）に示すように、residualブロックの処理を開始する際の初期化処理において、レジスタ１３への格納が間に合わなくなる恐れのある確率状態変数を確率状態変数レジスタ１３Ｂに事前にロードする。なおこのレジスタ１３への格納が間に合わなくなる恐れのある確率状態変数は、係数データ（coeff level abs minus1）におけるコンテキスト番号の遷移の規則から求められる。
【００６６】
またさらに事前のロードを完了すると、順次、各residualブロックの処理を開始し、コンテキスト計算で求まる確率状態変数を確率状態変数テンポラリレジスタ１３Ａに格納しながら、各コンテキストエレメントを復号する。なおこの場合に、既に、確率状態変数テンポラリレジスタ１３Ａに格納されているコンテキスト番号の確率状態変数については、確率状態変数テンポラリレジスタ１３Ａへのメモリ１２からの格納は省略するように、確率状態格納部１１の動作を制御する。なお既に、確率状態変数レジスタ１３Ｂに格納されているコンテキスト番号の確率状態変数の確率状態変数テンポラリレジスタ１３Ａへの格納については、これを省略するようにしてもよい。
【００６７】
なお図５（Ｂ１）は、各residualブロックの処理を開始する際に、対応する全ての確率状態変数をメモリ１２からレジスタ１３にロードするとした場合を示すタイムチャートである。この図５（Ｂ１）に示すように、対応する全ての確率状態変数を事前に全てレジスタ１３にロードしても、確率状態変数のレジスタ１３へのロードが、各シンタックスエレメントの復号化処理に間に合わなくなる場合を防止することができる。
【００６８】
しかしながらのこの場合、各residualブロックの処理を開始する際に、対応する全ての確率状態変数をメモリ１２からレジスタ１３にロードすることが必要になる。これに対して復号化装置１０では、シンタックスエレメントを処理しながら必要な確率状態変数をレジスタ１３にロードして、ロードの処理が間に合わない恐れのある確率状態変数だけ、事前に、レジスタに格納すればよいことから、全体として見たときの処理時間を、この図５（Ｂ１）に示す例に比して格段的に短くすることができ、効率良く画像データを処理することができる。
【００６９】
（２）実施例の動作
以上の構成において、順次入力されるビットストリーム（bitstream）は（図１及び図２）、適応算術符号復号部１６で、順次シンタックスエレメントの種別が検出される。またこの適応算術符号復号部１６の検出結果に基づいた制御部１９の制御により、コンテキスト計算部２で順次各シンタックスエレメントのコンテキストが計算され、２値化されたシンタックスエレメントの各ビットが取り得るコンテキスト番号(ctxIdx)が求められる。ビットストリーム（bitstream）は、このコンテキスト番号(ctxIdx)の確率状態変数に基づいて、順次、適応算術符号復号部１６でステート番号（stateIdx）及びＭＰＳが選択され、この選択結果の処理により元のシンタックスエレメントが復号される。
【００７０】
この復号化装置１０では、適応算術符号復号部１６で検出されるシンタックスエレメントの種別に応じて、出現頻度の低いシンタックスエレメントを復号する場合には、確率状態格納部１１に設けられたアクセスレイテンシの大きな第１のメモリであるメモリ１２を適応算術符号復号部１６がアクセスし、コンテキスト計算部２で求められたコンテキスト番号（ctxIdx）の確率状態変数が検出される。またこの検出した確率状態変数を用いて元のシンタックスエレメントが復号処理される。この復号化装置１０は、このメモリ１２がＳＲＡＭで形成されていることにより、この出現頻度の低いシンタックスエレメントを復号する構成に関しては、全体形状を小型化することができる。
【００７１】
しかしながら全てのシンタックスエレメントの処理にＳＲＡＭのメモリ１２を使用すると、図１０の従来構成の復号化装置１について上述したように、高速度に復号化することが困難になる。
【００７２】
そこでこの復号化装置１０では、出現頻度の高いシンタックスエレメントを復号する場合には、コンテキスト計算部２で求められたコンテキスト番号（ctxIdx）の確率状態変数が、第１のメモリに比してアクセスレイテンシの大きな第２のメモリであるレジスタ１３にメモリ１２からロードされて保持され、このレジスタ１３に格納された確率状態変数を用いてこの出現頻度の高いシンタックスエレメントを復号化処理する。従って出現頻度の高いシンタックスエレメントに関して、復号化装置１０は、形状が大型化するものの、処理を高速度に実行することができる。
【００７３】
ここでこの種の復号化装置では、出現頻度の低いシンタックスエレメントとしてマクロブロックタイプ、サブマクロブロックタイプ等のシンタックスエレメントが存在し、これらのシンタックスエレメントは、１つのマクロブロックを処理する際に、それぞれ１回しか現れない。
【００７４】
これに対して出現頻度の高いシンタックスエレメントとしては、ＤＣ係数データ及びＡＣ係数データが存在し、このうちのＡＣ係数データは、４：２：０の画像データの場合、１つのマクロブロックを処理する際に、１５回連続して１５×４×６＝３６０回現れる。またＤＣ係数は、１つのマクロブロックを処理する際に、６回現れる。従ってこの復号化装置１０のように、出現頻度の高いシンタックスエレメントだけレジスタ１３を使用すれば、レジスタ１３及びメモリ１２を使用する場合の両者の長所を生かして、全体として見た場合に、構成をそれ程大型化することなく、従来に比して処理速度を格段的に高速度化することができる。
【００７５】
またこの復号化装置１０では、単に出現頻度の高いシンタックスエレメントの確率状態変数をレジスタ１３に保持するだけでなく、コンテキスト計算部２で求めたコンテキスト番号（ctxIdx）の確率状態変数を選択的にメモリ１２からレジスタ１３にロードし、このロードした確率状態変数を使用して復号化処理していることから、結局、係数データの処理に必要な全てのコンテキスト番号（ctxIdx）の確率状態変数のうちの、一部だけ格納可能にレジスタ１３を構成すれば良いことになる。具体的に、係数データの処理に必要な全ての確率状態変数の数は、５９種類である。従ってこの係数データの処理に必要な全てのコンテキスト番号（ctxIdx）の確率状態変数のうちの、一部だけ格納可能にレジスタ１３を構成すれば良いことによっても、全体構成の大型化を防止して、従来に比して処理速度を高速度化することができる。
【００７６】
また復号化装置１０では、確率状態変数を選択的にメモリ１２からレジスタ１３にロードして保持するようにして、レジスタ１３に保持された確率状態変数を処理している期間の間、より具体的には、適応算術符号復号部１６で１つの係数データ（coeff abs level
Minus1(0)）を確率状態選択処理、算術復号処理、バイナリ化処理している期間の間、続く係数データ（coeff abs level minus1(1)）がコンテキスト計算され、レジスタ１３に対応する確率状態変数が格納される。またこのレジスタ１３に格納された確率状態変数が復号化処理結果に応じて更新される。従って復号化装置１０では、続く係数データ（coeff abs level minus1(1-N)）の処理を開始する時点では、既に、レジスタ１３に確率状態変数を保持していることになり、続く係数データ（coeff abs level minus1(1-N)）については、直前の係数データの処理を完了して、即座に処理を開始することができ、これによっても一段と処理速度を高速度化することができる。特に高解像度の画像データを処理する場合には、従来に比して格段的に処理速度を高速度化することができる。
【００７７】
すなわち例えばＩＴＵ−Ｔ  Ｈ．２６４で規格化されているレベル４以上の高解像度（１９２０×１０８８）の場合、この実施例によれば、図１２について上述した従来構成に比して１つのマクロブロックで６９３サイクルの空き時間を低減することができ、実験した結果によれば、従来構成に比して動作速度を１７０〔ＭＨｚ〕程度低下させても、十分に復号化できることが判った。
【００７８】
しかしながらレジスタ１３に格納した確率状態変数を処理している期間を有効に利用して、事前に続く係数データ（coeff abs level minus1(N)）をコンテキスト計算して確率状態変数をレジスタ１３に保持する場合、係数データにおけるコンテキスト番号（ctxIdx）の遷移によっては、このようにレジスタ１３への確率状態変数の格納が、各シンタックスエレメントの復号化処理に間に合わなくなる場合が発生する（図３及び図４）。
【００７９】
そこでこの実施例では、確率状態変数テンポラリレジスタ１３Ａと確率状態変数レジスタ１３Ｂとによりレジスタ１３が形成され、レジスタ１３への格納が間に合わなくなる恐れのある確率状態変数については、residualブロックの処理を開始する際に、事前に、メモリ１２から確率状態変数レジスタ１３Ｂにロードされて保持される。またそれ以外の確率状態変数は、各シンタックスエレメントを処理している際に、適宜、メモリ１２からロードされて確率状態変数テンポラリレジスタ１３Ａに保持される。
【００８０】
その結果、この復号化装置１０では、レジスタ１３に格納した確率状態変数を処理している期間を有効に利用して、事前に続く係数データ（coeff abs level minus1(N)）の処理に必要な確率状態変数をレジスタ１３に保持するようにして処理を高速度化し、このレジスタ１３への確率状態変数の格納が間に合わなくなって、レジスタ１３への確率状態変数の格納完了を待機するような待ち時間の発生を有効に回避することができる。従ってこの待ち時間の発生を有効に回避したことによっても処理速度を高速度化することができる。
【００８１】
（３）実施例の効果
以上の構成によれば、アクセスレイテンシの小さな第２のメモリに保持した確率状態変数を用いて出現頻度の高いシンタックスエレメントを復号化処理し、アクセスレイテンシの大きな第１のメモリに保持した確率状態変数を用いて他のシンタックスエレメントを復号化することにより、全体構成の大型化を防止して、従来に比して処理速度を高速度化することができる。
【００８２】
またこの第２のメモリに保持した確率状態変数を使用する出現頻度の高いシンタックスエレメントに、係数データを適用することにより、より具体的に全体構成の大型化を防止して、従来に比して処理速度を高速度化することができる。
【００８３】
またこのアクセスレイテンシの小さな第２のメモリがレジスタであることにより、アクセスレイテンシが０で連続する処理を実行することができ、より具体的に処理速度を高速度化することができる。
【００８４】
またコンテキスト計算結果に応じて第１のメモリに保持した確率状態変数を選択的に第２のメモリにロードして使用することにより、第２のメモリの容量を必要最小限の大きさに止めることができ、全体形状の大型化を防止することができる。
【００８５】
またこの第２のメモリに保持された確率状態変数を処理している期間の間、続くシンタックスエレメントをコンテキスト計算して確率状態変数をレジスタ１３に格納しておくことにより、一段と処理速度を高速度化することができる。
【００８６】
またこの第２のメモリに保持された確率状態変数を処理している期間の間、続くシンタックスエレメントをコンテキスト計算して確率状態変数をレジスタ１３に格納して処理速度を高速度化するようにして、第２のメモリへの格納が間に合わなくなる恐れのある確率状態変数を、処理開始時、第２のメモリにロードして保持しておくことにより、レジスタ１３への確率状態変数の格納完了を待機するような待ち時間の発生を有効に回避して処理速度を高速度化することができる。
【実施例２】
【００８７】
図６は、図３との対比により、本発明の実施例２の復号化装置の説明に供するタイムチャートである。なおこの実施例では、この図６に示すタイムチャートに関する構成が異なる点を除いて実施例１と同一に構成される。従って以下の説明では、図１の構成を流用して説明する。この復号化装置２０は、各シンタックスエレメントの連続する２つの２値を同時並列的に処理する。
【００８８】
このためこの復号化装置２０において、確率状態格納部１１、コンテキスト計算部１８、適応算術符号復号部１６、２値化部７、制御部１９は、連続する２つの２値を同時並列的に処理可能に、図３について上述した連続する２つのサイクルの処理を１つのサイクルで実行する。従って確率状態格納部１１は、１サイクルで２つのコンテキスト番号の確率状態変数をレジスタ１３に格納する。
【００８９】
また適応算術符号復号部１６は、同時並列的に処理する２つの２値の処理結果に応じて、この図６における遷移先を切り換えてレジスタ１３のアクセス先を切り換える。またさらに下位側の２値を処理して、続く上位側の２値の処理が不必要となった場合、より具体的には、下位側の２値がｂｉｎ＝０の場合、続く上位側の２値の処理を中止する。従って図６の例において、先頭の２値level0 bin0 、続く２値level0 bin1 を同時並列的に処理して、先頭の２値level0 bin0 がｂｉｎ＝０の場合、続く２値level0 bin1 で選択した確率状態変数の処理を中止する。
【００９０】
また続く係数データの先頭の２値level1 bin0 、続く２値level1 bin1 を同時並列的に処理して、この場合も先頭の２値level1 bin0 がｂｉｎ＝０の場合、続く２値level1 bin1 で選択した確率状態変数の処理を中止する。
【００９１】
ここでこの図６の例により処理する場合において、２値level0 bin0 がｂｉｎ＝０の場合、２サイクル目の処理では、コンテキスト番号ctxIdx = 2、ctxIdx = 5の確率状態変数が適応算術符号復号部１６の処理に必要になる。また２値level0 bin0 、level0 bin1 がｂｉｎ＝１の場合、２サイクル目の処理では、コンテキスト番号ctxIdx = 0、 ctxIdx = 6 の確率状態変数が適応算術符号復号部１６の処理に必要になる。
【００９２】
従って２サイクル目の開始時点で、レジスタ１３には、コンテキスト番号ctxIdx = 0、ctxIdx = 2、ctxIdx = 5、 ctxIdx = 6 の確率状態変数を用意しておくことが必要になり、結局、図６において四角で囲って示すように、例えばコンテキスト番号 ctxIdx = 0 の確率状態変数のレジスタ１３への格納が処理に間に合わなくなる。
【００９３】
従ってこの図６の例でも、実施例１について上述したと同一に、レジスタ１３に確率状態変数テンポラリレジスタ１３Ａと確率状態変数レジスタ１３Ｂとを設け、この処理が間に合わなくなる恐れのある確率状態変数を事前に確率状態変数レジスタ１３Ｂに格納する。
【００９４】
この実施例によれば、各シンタックスエレメントの連続する２つの２値を同時並列的に処理する場合でも、実施例１と同一の効果を得ることができる。
【実施例３】
【００９５】
図７は、本発明の実施例３の符号化装置を示すブロック図である。この符号化装置３０は、ＩＴＵ−Ｔ  Ｈ．２６４のフォーマットに従って、動画像の画像データを順次直交変換処理、量子化処理等してシンタックスエレメントを生成し、このシンタックスエレメントを処理してビットストリーム（bitstream）を出力する。この符号化の処理において、符号化装置３０は、実施例１、２について上述した確率状態格納部１１、コンテキスト計算部１８を用いたコンテキスト適応型２値算術符号化処理により、順次シンタックスエレメント（syntax）を符号化処理してビットストリーム（bitstream）を出力する。
【００９６】
すなわち２値化部３３は、図１について上述した２値復号化部７とは逆に、符号化処理対象のシンタックスエレメント（syntax）を順次２値化する。適応算術符号部３２は、図１について上述した適応算術符号復号部１６と同様に、確率状態格納部１１のレジスタ１３、メモリ１２に格納された確率状態変数を順次処理し、２値化部３３で生成された２値化を順次符号化処理し、ビットストリーム（bitstream）を出力する。
【００９７】
この実施例のように符号化装置に適用しても、実施例１、２と同一の効果を得ることができる。
【実施例４】
【００９８】
なお上述の実施例においては、ＩＴＵ−Ｔ  Ｈ．２６４のフォーマットでコンテキスト適応型２値算術符号化、コンテキスト適応型２値算術復号化処理する場合について述べたが、本発明はこれに限らず、このフォーマット以外の種々のフォーマットでコンテキスト適応型２値算術符号化、コンテキスト適応型２値算術復号化処理する場合に広く適用することができる。
【産業上の利用可能性】
【００９９】
本発明は、動画像処理方法、動画像処理方法のプログラム、動画像処理方法のプログラムを記録した記録媒体及び動画像処理装置に関し、例えばＩＴＵ−Ｔ  Ｈ．２６４による動画像の符号化装置、復号化装置に適用することができる。
【図面の簡単な説明】
【０１００】
【図１】本発明の実施例１の復号化装置を示すブロック図である。
【図２】図１の復号化装置の動作の説明に供するタイムチャートである。
【図３】図１の復号化装置におけるコンテキスト番号の遷移を示す略線図である。
【図４】図３の遷移における１例を示す略線図である。
【図５】図１の復号化装置におけるレジスタの構成を示す略線図である。
【図６】本発明の実施例２の復号化装置の説明に供する略線図である。
【図７】本発明の実施例３の符号化装置の説明に供するブロック図である。
【図８】コンテキスト適応型２値算術符号化処理の処理手順を示すフローチャートである。
【図９】コンテキスト適応型２値算術復号化処理の処理手順を示すフローチャートである。
【図１０】従来のコンテキスト適応型２値算術処理による復号化装置を示すブロック図である。
【図１１】図１０の復号化装置における連続するシンタックスエレメントの処理の説明に供するタイムチャートである。
【図１２】図１０の復号化装置におけるresidualブロックの係数データの連続した処理の説明に供するタイムチャートである。
【符号の説明】
【０１０１】
１、１０、２０……復号化装置、２、１８……コンテキスト計算部、３、１９……制御部、４、１１……確率状態格納部、５、１２……メモリ、６、１６……適応算術符号復号部、７……２値復号化部、１３……レジスタ、１４……選択部、３０……符号化装置、３２……適応算術符号部、３３……２値化部
【図１】
2007300517.tif 000003
【図２】
2007300517.tif 000004
【図３】
2007300517.tif 000005
【図４】
2007300517.tif 000006
【図５】
2007300517.tif 000007
【図６】
2007300517.tif 000008
【図７】
2007300517.tif 000009
【図８】
2007300517.tif 000010
【図９】
2007300517.tif 000011
【図１０】
2007300517.tif 000012
【図１１】
2007300517.tif 000013
【図１２】
2007300517.tif 000014