(57)【要約】      （修正有）【課題】符号化効率を落とさずに、１フレームを並列処理することにより、高速演算処理装置を要さずとも高精細映像の符号化・復号処理を行う手段を提供する。【解決手段】画像符号化装置は、符号化対象信号格納部１１０１と、符号化対象信号を符号化単位ブロックに分割するブロック分割部１１０２と、符号化単位ブロックの信号を直交変換して量子化する直交変換・量子化部１１０３と、１つ以上の符号化単位ブロックの量子化直交変換係数を記憶する係数群記憶部１１０４と、記憶された１つ以上の符号化単位ブロックの量子化直交変換係数から、量子化直交変換係数を分割しエントロピー符号化するための分割位置を決定する分割位置決定部１１０５と、符号化単位ブロックの量子化直交変換係数を、分割位置で複数の領域に分割する係数分割部１１０６と、分割された複数の量子化直交変換係数を独立でエントロピー符号化する手段とを有する。【選択図】図１１
2011109390.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象信号を格納する手段と、
前記符号化対象信号を、符号化単位ブロックに分割する手段と、
前記符号化単位ブロックの信号を直交変換して量子化する手段と、
１つ以上の符号化単位ブロックの量子化直交変換係数を記憶する手段と、
記憶された前記１つ以上の符号化単位ブロックの量子化直交変換係数から、量子化直交変換係数を分割しエントロピー符号化するための分割位置を決定する手段と、
符号化単位ブロックの量子化直交変換係数を、分割位置で複数の領域に分割する手段と、
分割された複数の量子化直交変換係数を独立でエントロピー符号化する手段と
を備える画像符号化装置。
【請求項２】
前記分割位置を決定する手段は、
前記量子化直交変換係数を記憶する手段に記憶された全てのブロックの量子化直交変換係数に対し、
一符号化単位ブロックの全ての係数レベルの絶対値和と、エントロピー符号化順で一部分の係数レベルの絶対値和とを比較することにより、分割位置を決定する
請求項１に記載の画像符号化装置。
【請求項３】
前記分割位置を決定する手段は、
前記量子化直交変換係数を記憶する手段に記憶された全てのブロックの量子化直交変換係数に対し、
一符号化単位ブロックの全ての非零係数の数と、エントロピー符号化順で一部分の非零係数の数とを比較することにより、分割位置を決定する
請求項１に記載の画像符号化装置。
【請求項４】
前記分割された複数の量子化直交変換係数を独立でエントロピー符号化する手段のうち、エントロピー符号化順で先頭でない量子化直交変換係数をエントロピー符号化する手段は、対象部分の量子化直交変換係数が全て０であるかどうかを判定し、全て０である場合、全て０であることを示す情報を符号化し、量子化直交変換係数を符号化しない
請求項１から３のいずれかに記載の画像符号化装置。
【請求項５】
１ブロックの直交変換係数が複数に分割され多重化された復号対象ストリームを格納する手段と、
前記復号対象ストリームを、２つ以上から構成される直交変換係数ストリームと、分割位置ストリームに分離する多重化分離手段と、
前記分割位置ストリームを復号し、１ブロックの直交変換係数の分割位置を作成する分割位置復号部と、
前記２つ以上から構成される直交変換係数ストリームをそれぞれ独立に復号する量子化直交変換係数エントロピー復号手段と、
エントロピー復号された２つ以上の量子化直交変換係数を、前記分割位置をもとに統治し、１ブロックの量子化直交変換係数を作成する手段と、
統治された量子化直交変換係数を逆量子化して逆変換し復号信号を作成する逆量子化・逆変換部と
を備える画像復号装置。
【請求項６】
量子化直交変換係数エントロピー復号手段のうち、エントロピー復号順で先頭でない量子化直交変換係数をエントロピー復号する手段は、対象部分の量子化直交変換係数が全て０であるかどうかの部分非零係数存在情報を復号し、量子化直交変換係数が全て０である場合には、対象部分の量子化直交変換係数を全て０とし、そうでない場合にのみ、係数レベルをエントロピー復号する
請求項５に記載の画像復号装置。
【請求項７】
符号化対象信号を格納するステップと、
前記符号化対象信号を、符号化単位ブロックに分割するステップと、
前記符号化単位ブロックの信号を直交変換して量子化するステップと、
１つ以上の符号化単位ブロックの量子化直交変換係数を記憶するステップと、
記憶した前記１つ以上の符号化単位ブロックの量子化直交変換係数から、量子化直交変換係数を分割しエントロピー符号化するための分割位置を決定するステップと、
符号化単位ブロックの量子化直交変換係数を、分割位置で複数の領域に分割するステップと、
分割した複数の量子化直交変換係数を独立でエントロピー符号化するステップと
を含む画像符号化方法。
【請求項８】
１ブロックの直交変換係数が複数に分割され多重化された復号対象ストリームを格納するステップと、
前記復号対象ストリームを、２つ以上から構成される直交変換係数ストリームと、分割位置ストリームに分離する多重化分離ステップと、
前記分割位置ストリームを復号し、１ブロックの直交変換係数の分割位置を作成するステップと、
前記２つ以上から構成される直交変換係数ストリームをそれぞれ独立に復号する量子化直交変換係数エントロピー復号ステップと、
エントロピー復号した２つ以上の量子化直交変換係数を、前記分割位置をもとに統治し、１ブロックの量子化直交変換係数を作成するステップと、
統治した量子化直交変換係数を逆量子化して逆変換し復号信号を作成するステップと
を含む画像復号方法。
【請求項９】
符号化対象画像を符号化単位に分割するブロック分割手段と、
画面間予測をするための参照フレームバッファと、
画面内予測をするための画面内参照符号化情報を格納する手段と、
前記参照フレームバッファと前記画面内参照符号化情報により符号化対象ブロックを非可逆な予測符号化する手段と、
前記予測符号化する手段で作成した符号化情報を、構文要素ごとに分割する手段と、
前記構文要素ごとに分割手段によって分割された各構文要素それぞれを個別に可逆算術符号化する可逆符号化手段と、
前記可逆符号化手段によって可逆符号化された各構文要素の可逆符号化情報を多重化する多重化手段と
を備える画像符号化装置。
【請求項１０】
前記可逆符号化手段は、符号化対象ブロックの予測方法が画面内予測であるか画面間予測であるかを示すブロックタイプを可逆符号化するブロックタイプ可逆符号化手段を含む
請求項９に記載の画像符号化装置。
【請求項１１】
前記可逆符号化手段は、符号化対象ブロックの動きベクトル情報を可逆符号化する動きベクトル可逆符号化手段を含む
請求項９又は１０に記載の画像符号化装置。
【請求項１２】
前記可逆符号化手段は、符号化対象ブロックの量子化直交変換係数情報を可逆符号化する量子化直交変換係数可逆符号化手段を含む
請求項９から１１のいずれかに記載の画像符号化装置。
【請求項１３】
前記量子化直交変換係数可逆符号化手段は、複数の周波数成分可逆符号化手段を持つ
請求項１２に記載の画像符号化装置。
【請求項１４】
符号化対象画像を符号化単位に分割するブロック分割ステップと、
画面内予測をするための画面内参照符号化情報を格納するステップと、
画面間予測をするための参照フレームバッファと画面内参照符号化情報により符号化対象ブロックを非可逆な予測符号化するステップと、
前記予測符号化するステップで作成した符号化情報を、構文要素ごとに分割するステップと、
前記構文要素ごとに分割ステップにおいて分割された各構文要素それぞれを個別に可逆算術符号化する可逆符号化ステップと、
前記可逆符号化ステップで可逆符号化した各構文要素の可逆符号化情報を多重化する多重化ステップと
を含む画像符号化方法。
【請求項１５】
復号対象ストリームを構文要素に応じて分割する手段と、
前記構文要素におうじて分割する手段において分割された各構文要素の可逆符号化情報それぞれを個別に可逆算術復号する可逆復号手段と、
前記可逆復号手段で作成したブロック単位の可逆復号情報を格納する手段と、
画面間予測をするための参照フレームバッファと、
画面内予測をするための画面内参照復号情報を格納する手段と、
前記参照フレームバッファと、画面内参照復号情報より、復号対象ブロックを予測復号する手段と
を備える画像復号装置。
【請求項１６】
前記可逆復号手段は、復号対象ブロックの予測方法が画面内予測であるか画面間予測であるかを示すブロックタイプを可逆復号するブロックタイプ可逆復号手段を含む
請求項１５に記載の画像復号装置。
【請求項１７】
前記可逆復号手段は、復号対象ブロックの動きベクトル情報を可逆復号する動きベクトル可逆復号手段を含む
請求項１５又は１６に記載の画像復号装置。
【請求項１８】
前記可逆復号手段は、復号対象ブロックの量子化直交変換係数情報を可逆復号する量子化直交変換係数可逆復号手段を含む
請求項１５から１７のいずれかに記載の画像復号装置。
【請求項１９】
前記量子化直交変換係数可逆復号手段は、複数の周波数成分可逆復号手段を持つ
請求項１８に記載の画像復号装置。
【請求項２０】
復号対象ストリームを構文要素に応じて分割するステップと、
前記構文要素に応じて分割ステップにおいて分割した各構文要素の可逆符号化情報それぞれを個別に可逆算術復号する可逆復号ステップと、
前記可逆復号ステップにおいて作成したブロック単位の可逆復号情報を格納するステップと、
画面内予測をするための画面内参照復号情報を格納するステップと、
画面間予測をするための参照フレームバッファと、画面内参照復号情報より、復号対象ブロックを予測復号するステップと
を含む画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のエントロピー符号化、とくに算術符号化に関するものである。
【背景技術】
【０００２】
ＭＰＥＧ−４  ＡＶＣに代表される高効率動画像符号化の普及により、高精細なＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）映像コンテンツを楽しむことが容易になった。映像の高精細化はさらに進み、また、携帯端末のような小型装置でＨＤ映像を楽しむことも可能となる。しかしながら、高精細映像の符号化・復号には多大な演算量を要し、単一の演算処理装置により遅延なく再生を行うには、高速な演算処理装置による必要がある。高速な演算処理装置は高価であり、導入には障害がある。
【０００３】
それに対しては、比較的低速な複数の演算処理装置を並列に動作させることにより、高精細映像を処理するという策がある。ＭＰＥＧ−４  ＡＶＣでは、１枚のフレームを、複数のスライスと呼ばれる単位に分割する仕組みを備えている。各スライスは依存関係を持たず、スライス間参照をすることは出来ない。そのため、各スライスに対し並列な処理をすることが可能であり、低コストで高精細映像の処理装置を構築することが可能となる。
【０００４】
ＭＰＥＧ−４  ＡＶＣの多大な演算量のうち、ＣＡＢＡＣと呼ばれるコンテキスト適応型の算術符号化が占める割合は大きい。ＣＡＢＡＣは、各構文要素に対し、コンテキストと呼ばれる該構文要素の確率モデルを複数保持する。各構文要素は保持している複数コンテキストのうち、処理対象の周辺ブロックを参照し、その符号化状況に応じたコンテキストをひとつ決定する。決定したコンテキストから、対象構文要素が取り得る各値の生起確率を計算する。そして、今とった値を元に、参照したコンテキストの更新を行う。
【０００５】
コンテキストにおいても、スライス間参照は出来ず、各スライスの先頭で初期化を行う必要がある。コンテキストの初期化は、予め定められた３種類の初期モデルのうち一つを選択する。そのため、スライスの先頭付近では、符号化対象映像に対し最適な確率モデルとはならず、符号化を進めることにより、最適な確率モデルに推移していくことになる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１１２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、１枚のフレームを複数のスライスで構成する、マルチスライス構造においては、各スライスの依存関係がない。そのため、各スライスの独立処理が可能となる一方、スライス間の参照ができなくなるため、画面内予測効率が低下する。また、ＣＡＢＡＣにおいても１枚のフレームを複数スライスに分割することは、スライスの先頭のコンテキスト初期化の増加につながり、最適な確率モデルを利用できる状況が大幅に制限される。
【０００８】
スライス間参照は出来ず、スライス境界で初期化を行うために、スライスの先頭付近では、確率モデル構文要素の真の確率モデルを用いた処理をすることができない。
【０００９】
上記２点が原因となり、マルチスライス構造は１枚のフレームを単一スライスで表現するシングルスライス構造と比べ、符号化効率が大きく低下する。
【００１０】
特許文献１には、処理対象フレームの時間的に直前に位置するフレームを参照することにより、マルチスライス構造の効率低下を解決する技術が開示されている。特許文献１の技術によれば、
・スライス境界に位置するブロックに関しては、直前フレームの隣接ブロックを参照することにより予測効率を向上させる
・スライス先頭のコンテキストは、直前フレームの直前スライスの最終値を引き継ぐことにより、コンテキストの初期化を回避する
ことにより、マルチスライス構造をとった場合であっても、符号化効率の低下を回避することができる。
【００１１】
しかしながら特許文献１の技術では、
・映像は動きを伴うものであるため、直前フレームの隣接ブロックを参照しても、必ずしも処理対象ブロックの符号化に有益な情報を取得できるとは言えない
・フレーム内で処理を完結する必要のあるIフレームでは、直前フレームの情報を利用することが出来ない
・時間的に直前のフレームを参照することしか出来ず、離れた位置のフレームを参照できない
という課題があり、特許文献１で開示された構成のまま、符号化効率を落とさずに並列処理を行うことは困難である。
【００１２】
本発明は、上記課題に鑑みてなされたものであり、符号化効率を落とさずに、１フレームを並列処理することにより、高速演算処理装置を要さずとも高精細映像の符号化・復号処理を行う手段を提供するものである。
【課題を解決するための手段】
【００１３】
本発明の画像符号化装置は、符号化対象信号を格納する手段と、前記符号化対象信号を、符号化単位ブロックに分割する手段と、前記符号化単位ブロックの信号を直交変換して量子化する手段と、１つ以上の符号化単位ブロックの量子化直交変換係数を記憶する手段と、記憶された前記１つ以上の符号化単位ブロックの量子化直交変換係数から、量子化直交変換係数を分割しエントロピー符号化するための分割位置を決定する手段と、符号化単位ブロックの量子化直交変換係数を、分割位置で複数の領域に分割する手段と、分割された複数の量子化直交変換係数を独立でエントロピー符号化する手段とを有する。
【００１４】
また、本発明の画像復号装置は、１ブロックの直交変換係数が複数に分割され多重化された復号対象ストリームを格納する手段と、前記復号対象ストリームを、２つ以上から構成される直交変換係数ストリームと、分割位置ストリームに分離する多重化分離手段と、前記分割位置ストリームを復号し、１ブロックの直交変換係数の分割位置を作成する分割位置復号部と、前記２つ以上から構成される直交変換係数ストリームをそれぞれ独立に復号する量子化直交変換係数エントロピー復号手段と、エントロピー復号された２つ以上の量子化直交変換係数を、前記分割位置をもとに統治し、１ブロックの量子化直交変換係数を作成する手段と、統治された量子化直交変換係数を逆量子化して逆変換し復号信号を作成する逆量子化・逆変換部とを有する。
【００１５】
また、本発明の画像符号化方法は、符号化対象信号を格納するステップと、前記符号化対象信号を、符号化単位ブロックに分割するステップと、前記符号化単位ブロックの信号を直交変換して量子化するステップと、１つ以上の符号化単位ブロックの量子化直交変換係数を記憶するステップと、記憶した前記１つ以上の符号化単位ブロックの量子化直交変換係数から、量子化直交変換係数を分割しエントロピー符号化するための分割位置を決定するステップと、符号化単位ブロックの量子化直交変換係数を、分割位置で複数の領域に分割するステップと、分割した複数の量子化直交変換係数を独立でエントロピー符号化するステップとを含む。
【００１６】
また、本発明の画像復号方法は、１ブロックの直交変換係数が複数に分割され多重化された復号対象ストリームを格納するステップと、前記復号対象ストリームを、２つ以上から構成される直交変換係数ストリームと、分割位置ストリームに分離する多重化分離ステップと、前記分割位置ストリームを復号し、１ブロックの直交変換係数の分割位置を作成するステップと、前記２つ以上から構成される直交変換係数ストリームをそれぞれ独立に復号する量子化直交変換係数エントロピー復号ステップと、エントロピー復号した２つ以上の量子化直交変換係数を、前記分割位置をもとに統治し、１ブロックの量子化直交変換係数を作成するステップと、統治した量子化直交変換係数を逆量子化して逆変換し復号信号を作成するステップとを含む。
【００１７】
また、本発明の画像符号化装置は、符号化対象画像を符号化単位に分割するブロック分割手段と、画面間予測をするための参照フレームバッファと、画面内予測をするための画面内参照符号化情報を格納する手段と、前記参照フレームバッファと前記画面内参照符号化情報により符号化対象ブロックを非可逆な予測符号化する手段と、前記予測符号化する手段で作成した符号化情報を、構文要素ごとに分割する手段と、前記構文要素ごとに分割手段によって分割された各構文要素それぞれを個別に可逆算術符号化する可逆符号化手段と、前記可逆符号化手段によって可逆符号化された各構文要素の可逆符号化情報を多重化する多重化手段とを有する。
【００１８】
また、本発明の画像符号化方法は、符号化対象画像を符号化単位に分割するブロック分割ステップと、画面内予測をするための画面内参照符号化情報を格納するステップと、画面間予測をするための参照フレームバッファと画面内参照符号化情報により符号化対象ブロックを非可逆な予測符号化するステップと、前記予測符号化するステップで作成した符号化情報を、構文要素ごとに分割するステップと、前記構文要素ごとに分割ステップにおいて分割された各構文要素それぞれを個別に可逆算術符号化する可逆符号化ステップと、前記可逆符号化ステップで可逆符号化した各構文要素の可逆符号化情報を多重化する多重化ステップとを含む。
【００１９】
また、本発明の画像復号装置は、復号対象ストリームを構文要素に応じて分割する手段と、前記構文要素におうじて分割する手段において分割された各構文要素の可逆符号化情報それぞれを個別に可逆算術復号する可逆復号手段と、前記可逆復号手段で作成したブロック単位の可逆復号情報を格納する手段と、画面間予測をするための参照フレームバッファと、画面内予測をするための画面内参照復号情報を格納する手段と、前記参照フレームバッファと、画面内参照復号情報より、復号対象ブロックを予測復号する手段とを有する。
【００２０】
また、本発明の画像復号方法は、復号対象ストリームを構文要素に応じて分割するステップと、前記構文要素に応じて分割ステップにおいて分割した各構文要素の可逆符号化情報それぞれを個別に可逆算術復号する可逆復号ステップと、前記可逆復号ステップにおいて作成したブロック単位の可逆復号情報を格納するステップと、画面内予測をするための画面内参照復号情報を格納するステップと、画面間予測をするための参照フレームバッファと、画面内参照復号情報より、復号対象ブロックを予測復号するステップとを含む。
【発明の効果】
【００２１】
本発明によれば、１フレーム符号化・復号処理において、構文要素ごとに異なる算術符号化・復号装置を用いた符号化・復号処理を行うことが出来、特に処理演算量の大きい直交変換係数を独立処理への分割が可能となる。そのため、１フレームを複数のスライスに分割せずとも、ＣＡＢＡＣを構文要素単位で並列に処理することが可能となる。それにより、従来のマルチスライス構造の欠点である、参照候補減少による予測効率低下、ＣＡＢＡＣ初期化によるエントロピー符号化効率の低下を伴うことなく、１フレームを高速に符号化・復号することが可能となる。さらに本発明においては、直交変換係数を分割し、独立処理により、各エントロピー符号化・復号処理の演算量を均一化することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の最良の実施形態における符号化装置を示すブロック図である。
【図２】本発明の最良の実施形態における復号装置を示すブロック図である。
【図３】直交変換係数の分割の例を示す図である。
【図４】本発明の最良の実施形態における符号化装置（図１）の動作を説明するためのフローチャートである。
【図５】本発明の最良の実施形態における復号装置（図２）の動作を説明するためのフローチャートである。
【図６】本発明の符号化装置により作成されるストリーム構造の例を示す図である。
【図７】ブロック分割の一例を示す図である。
【図８】ブロック分割の別の一例を示す図である。
【図９】符号化対象信号を符号化する手順を説明するためのフローチャートである。
【図１０】復号信号を得る手順を説明するためのフローチャートである。
【図１１】本発明の符号化装置の一実施例の構成図である。
【図１２】本発明の復号装置の一実施例の構成図である。
【図１３】分割位置を決定する手順を説明するためのフローチャートである。
【図１４】分割手順の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００２３】
（エンコーダ）
図１１は、本発明の符号化装置の一実施例の構成図である。図１１は、符号化対象信号格納部１１０１と、ブロック分割部１１０２と、直交変換・量子化部１１０３と、係数群記憶部１１０４と、分割位置決定部１１０５と、係数分割部１１０６と、係数前半部エントロピー符号化部１１０７と、係数後半部エントロピー符号化部１１０８と、分割位置符号化部１１０９と、多重化部１１１０により構成される。
【００２４】
符号化対象信号格納部１１０１は、符号化の対象となる信号を格納する機能を有する。符号化対象信号は、画像原信号、または、画面内・画面間予測信号との差分信号である。
【００２５】
ブロック分割部１１０２は、符号化対象信号を所定の順序で、所定の大きさのブロックに分割し、符号化対象ブロックを作成する機能を有する。本構成では、ブロック分割の順序をラスタスキャン順とし、ブロックサイズを４×４とする。
【００２６】
直交変換・量子化部１１０３は、ブロック分割部１１０２で作成した符号化対象ブロックを直交変換・量子化し、量子化直交変換係数を作成する機能を有する。
【００２７】
係数群記憶部１１０４は、直交変換・量子化部１１０３で作成した量子化直交変換係数を順次記憶する機能を有する。本構成では、係数群記憶部１１０４は、符号化対象信号すべての領域に対する量子化直交変換係数を記憶する。ただし、例えば符号化対象信号の最初から１ブロックラインだけのように、符号化対象信号の一部領域に対する量子化直交変換係数を記憶する構成であってもよい。
【００２８】
分割位置決定部１１０５は、係数群記憶部１１０４に記憶されたすべてのブロックに対する量子化直交変換係数を参照し、量子化直交変換係数の分割位置を決定する機能を有する。
【００２９】
分割位置を決定する手順を図１３のフローチャートを用いて説明する。
【００３０】
処理前に分割位置候補配列ｄｉｖＰｏｓｉｔｉｏｎ［ｉ］（０＜＝ｉ＜１５）を０に初期化する。
【００３１】
（ステップＳ１３０１）係数群記憶部１１０４に記憶されたすべてのブロックの量子化直交変換係数に対し、ステップＳ１３０２以下の処理を行ったらＳ１３０５へ進む。そうでなければＳ１３０２へ進む。
【００３２】
（ステップＳ１３０２）分割位置決定部１１０５が、係数群記憶部１１０４から、ラスタスキャン順で処理が完了していない最初の一ブロックの量子化直交変換係数を取得する。取得ブロックの全要素の絶対値和ＡｂｓＳｕｍＢｌｏｃｋ（０，１５）を求め、ステップＳ１３０３へ進む。ここでＡｂｓＳｕｍＢｌｏｃｋ（ｉ，ｊ）は対象ブロックのｉ番目の要素からｊ番目の要素の絶対値和を表すものとする。
【００３３】
（ステップＳ１３０３）取得ブロックの先頭からの絶対値差分和ＡｂｓＳｕｍＢｌｏｃｋ（０，ｉ）がＡｂｓＳｕｍＢｌｏｃｋ（０，１５）／２を超える最初の位置ｉを求める。そして、ステップＳ１３０４へ進む。
【００３４】
（ステップＳ１３０４）ｄｉｖＰｏｓｉｔｉｏｎ［ｉ]の値を１増加させ、ステップＳ１３０１へ進む。
【００３５】
（ステップＳ１３０５）ｉ＝０から、ｉ＝１５のすべてのｉに対し、ｄｉｖＰｏｓｉｔｉｏｎ［ｉ］の中で最大のｉを分割位置とする。
【００３６】
本構成では、量子化直交変換係数の前半部と後半部を、絶対値差分和に対し均一化するため、係数値１ビットに対し定数時間を要するエントロピー符号化を行う際に、前半部・後半部の各エントロピー符号化の処理負荷を均一化することが出来る。
【００３７】
図７に本構成で分割した例を示す。
【００３８】
図７の７０１は量子化直交変換係数を分割せずにエントロピー符号化する際の処理順である。
【００３９】
図７の７０２は分割位置ｉ＝２である場合の分割である。前半部７０３は、７０１の処理順で前半３個の量子化直交変換係数、後半部７０４は、７０１の処理順で後半１３個の量子化直交変換係数である。各分割内では、７０１の処理順と同じ順序でエントロピー符号化を行う。
【００４０】
図７の７０５は分割位置ｉ＝６である場合の分割である。前半部７０６は、７０１の処理順で前半６個の量子化直交変換係数、後半部７０７は、７０１の処理順で後半１０個の量子化直交変換係数である。
【００４１】
図７の７０８は分割位置ｉ＝０である場合の分割である。前半部７０９は、７０１の処理順で前半１個の量子化直交変換係数、後半部７１０は、７０１の処理順で後半１５個の量子化直交変換係数である。
【００４２】
また、エントロピー符号化処理順が図７ではなく図８に示す順序である場合も同様である。８０２はｉ＝３のときの分割の様子であり、前半部８０３、後半部８０４のように分割する。８０５はｉ＝５のときの分割の様子であり、前半部８０６、後半部８０７のように分割する。８０８はｉ＝１のときの分割の様子であり、前半部８０９、後半部８１０のように分割する。
【００４３】
分割手順のもう一つの例を図１４のフローチャートを用いて説明する。
【００４４】
処理前に分割位置候補配列ｄｉｖＰｏｓｉｔｉｏｎ［ｉ］（０＜＝ｉ＜１５）を０に初期化する。
【００４５】
（ステップＳ１４０１）係数群記憶部１１０４に記憶されたすべてのブロックの量子化直交変換係数に対し、ステップＳ１４０２以下の処理を行ったらＳ１４０５へ進む。そうでなければＳ１４０２へ進む。
【００４６】
（ステップＳ１４０２）分割位置決定部１１０５が、係数群記憶部１１０４から、ラスタスキャン順で処理が完了していない最初の一ブロックの量子化直交変換係数を取得する。取得ブロックの全要素から非零となる係数の数ＮｏｎＺｅｒｏＣｏｕｎｔ（０，１５）を求め、ステップＳ１４０３へ進む。ここでＮｏｎＺｅｒｏＣｏｕｎｔ（ｉ，ｊ）は対象ブロックのｉ番目の要素からｊ番目の要素の非零係数の数を表すものとする。
【００４７】
（ステップＳ１４０３）取得ブロックの先頭からの非零となる係数の数ＮｏｎＺｅｒｏＣｏｕｎｔ（０，ｉ）がＮｏｎＺｅｒｏＣｏｕｎｔ（０，１５）／２を超える最初の位置ｉを求める。そして、ステップＳ１４０４へ進む。
【００４８】
（ステップＳ１４０４）ｄｉｖＰｏｓｉｔｉｏｎ［ｉ］の値を１増加させ、ステップＳ１４０１へ進む。
【００４９】
（ステップＳ１４０５）ｉ＝０から、ｉ＝１５のすべてのｉに対し、ｄｉｖＰｏｓｉｔｉｏｎ［ｉ］の中で最大のｉを分割位置とする。
【００５０】
本構成では、量子化直交変換係数の前半部と後半部を、絶対値差分和に対し均一化するため、非零係数の個数に対し定数時間を要するエントロピー符号化を行う際に、前半部・後半部の各エントロピー符号化の処理負荷を均一化することが出来る。
【００５１】
係数前半部エントロピー符号化部１１０７は、係数分割部１１０６において分割した量子化直交変換係数の前半部を、符号化対象ブロック順に取得し、エントロピー符号化を行い、係数前半部ストリームを作成する機能を有する。エントロピー符号化の基本構成は従来と同様である。
【００５２】
係数後半部エントロピー符号化部１１０８は、係数分割部１１０６において分割した量子化直交変換係数の後半部を、符号化対象ブロック順に取得し、エントロピー符号化を行い、係数後半部ストリームを作成する機能を有する。係数後半部エントロピー符号化部１１０８は、処理対象ブロックの係数後半部に属する係数がすべて０であるかどうかの判定を行う。すべて０であるときは、ＡＬＬ＿ＺＥＲＯ情報のみを符号化し、後半部の係数の符号化を行わない。そうでないときは、ＮＯＮ＿ＺＥＲＯ＿ＥＸＩＳＴ情報を送った後、後半部の符号化を行う。後半部のエントロピー符号化の基本構成は従来と同様である。
【００５３】
分割位置符号化部１１０９は、係数分割部１１０６で作成した係数分割位置をエントロピー符号化し、係数分割位置ストリームを作成する機能を有する。
【００５４】
多重化部１１１０は、係数前半部エントロピー符号化部１１０７で作成した係数前半部ストリームと、係数後半部エントロピー符号化部１１０８で作成した係数後半部ストリームと分割位置符号化部１１０９で作成した係数分割位置ストリームを取得し多重化する機能を有する。
【００５５】
本構成で符号化対象信号を符号化する手順を図９のフローチャートを用いて説明する。
【００５６】
（ステップ９０１）ブロック分割部１１０２が、符号化対象信号格納部１１０１から、ラスタスキャン順に、４ｘ４サイズの符号化対象ブロックを取得する。さらに、直交変換・量子化部１１０３が、ブロック分割部１１０２から符号化対象ブロックを取得し、直交変換・量子化し、量子化直交変換係数を作成する。作成した量子化直交変換係数を係数群記憶部１１０４が記憶する。以上の動作を符号化対象信号のすべてのブロックに対し繰り返す。すべてのブロックに対し以上の動作が終了後、ステップＳ９０２へ進む。
【００５７】
（ステップＳ９０２) 分割位置決定部１１０５が、係数群記憶部１１０４に格納された量子化直交変換係数を取得し、分割位置を決定する。分割位置決定手順は前記図１３または図１４の手順を用いる。分割位置決定部１１０５は、図７０１で示す順序で、先頭から分割位置までで示される量子化直交変換係数前半部を係数前半部エントロピー符号化部１１０７へ送り、分割位置の次の位置から最終位置までで示される量子化直交変換係数後半部を係数後半部エントロピー符号化部１１０８へ送る。ステップＳ９０３へ進む。
【００５８】
（ステップＳ９０３）分割位置符号化部１１０９で、決定した分割位置をエントロピー符号化する。ステップＳ９０４へ進む。
【００５９】
（ステップＳ９０４）全ての処理対象ブロックに対し符号化処理が完了していればステップＳ９０７へ進む。そうでなければステップＳ９０５へ進む。
【００６０】
（ステップＳ９０５）係数前半部エントロピー符号化部１１０７で、処理対象ブロックの量子化直交変換係数前半部をエントロピー符号化し、係数前半部ストリームを作成する。ステップＳ９０６へ進む。
【００６１】
（ステップＳ９０６）係数後半部エントロピー符号化部１１０８で、処理対象ブロックの量子化直交変換係数後半部をエントロピー符号化し、係数後半部ストリームを作成する。量子化直交変換係数後半部の値がすべて０であるときは、ＡＬＬ＿ＺＥＲＯ情報のみを符号化し、後半部の係数の符号化を行わない。そうでないときは、ＮＯＮ＿ＺＥＲＯ＿ＥＸＩＳＴ情報を送った後、量子化直交変換係数後半部の符号化を行う。このような構成をとることにより、特に量子化ステップを大きくし、後半部が０のみで構成されるようなときに、後半部の符号化効率低下を回避することが出来る。ステップＳ９０４へ進む。
【００６２】
（ステップＳ９０７）多重化部１１１０で、分割位置ストリーム、係数前半部ストリーム、係数後半部ストリームを多重化し外部へ伝送する。
【００６３】
本動作中、ステップＳ９０５とステップＳ９０６は処理の依存関係がなく、独立した処理が可能である。並列的に処理することにより、高速な復号処理が可能となる。
【００６４】
（デコーダ）
図１２は、本発明の復号装置の一実施例の構成図である。図１２は、ストリームバッファ１２０１と、多重化分離部１２０２と、直交係数前半部エントロピー復号部１２０３と、直交変換係数後半部エントロピー復号部１２０４と、直交変換係数統治部１２０５と、逆量子化・逆直交変換部１２０６と、復号信号バッファ１２０７と、分割位置復号部１２０８により構成される。
【００６５】
ストリームバッファ１２０１は、復号対象ストリームを格納する機能を有する。
【００６６】
多重化分離部１２０２は、ストリームバッファ１２０１に蓄えられた復号対象ストリームを、分割位置情報ストリームと、直交変換係数前半部ストリームと、直交変換係数後半部ストリームに分離する機能を有する。
【００６７】
直交係数前半部エントロピー復号部１２０３は、直交変換係数前半部ストリームをエントロピー復号し、直交変換係数前半部を作成する機能を有する。
【００６８】
直交変換係数後半部エントロピー復号部１２０４は、直交変換係数後半部ストリームをエントロピー復号し、直交変換係数後半部を作成する機能を有する。直交変換係数後半部エントロピー復号部１２０４は、ブロック後半非零係数存在情報を復号する。ブロック後半非零係数存在情報がＡＬＬ＿ＺＥＲＯ情報であったときは、対象ブロック後半部の係数を０と設定する。ブロック後半非零係数存在情報がＮＯＮ＿ＺＥＲＯ＿ＥＸＩＳＴ情報であった場合、量子化直交変換係数後半部のエントロピー復号を行う。
【００６９】
直交変換係数統治部１２０５は、直交変換係数前半部と、直交変換係数後半部を、分割位置復号部１２０８で作成した分割位置に従い統治し、処理対象ブロックの量子化直交変換係数を作成する機能を有する。図７の７０１で示す順序の先頭から分割位置までを直交変換係数前半部と対応付け、分割位置の次の位置から最終位置までを直交変換係数後半部と対応付ける。
【００７０】
逆量子化・逆直交変換部１２０６は、直交変換係数統治部１２０５で作成した量子化直交変換係数に対し、所定の逆量子化・逆変換処理を行い、復号信号を作成する。
【００７１】
復号信号バッファ１２０７は、逆量子化・逆直交変換部１２０６で作成したブロック単位の復号信号を一画面分格納する機能を有する。
【００７２】
分割位置復号部１２０８は、分割位置情報ストリームをエントロピー復号し、分割位置を作成する機能を有する。
【００７３】
本構成で復号対象ストリームを復号し、復号信号を得る手順を図１０のフローチャートを用いて説明する。
【００７４】
（ステップＳ１００１）多重化分離部１２０２で、復号対象ストリームを、分割位置情報ストリームと、直交変換係数前半部ストリームと、直交変換係数後半部ストリームに分離する。分割位置情報ストリームを分割位置復号部１２０８へ、直交変換係数前半部ストリームを直交係数前半部エントロピー復号部１２０３へ、直交変換係数後半部ストリームを直交変換係数後半部エントロピー復号部１２０４へ送る。ステップＳ１００２へ進む。
【００７５】
（ステップＳ１００２）分割位置復号部１２０８で、分割位置情報ストリームをエントロピー復号し、作成した分割位置を直交変換係数統治部１２０５へ送る。ステップＳ１００３へ進む。
【００７６】
（ステップＳ１００３）復号対象ストリームのすべてのブロックについてステップＳ１００４以下の処理が完了していればステップＳ１００８へ進む。そうでなければステップＳ１００４へ進む。
【００７７】
（ステップＳ１００４）直交係数前半部エントロピー復号部１２０３で、直交変換係数前半部ストリームをエントロピー復号し、処理対象ブロックの量子化直交変換係数の前半部を作成する。ステップＳ１００５へ進む。
【００７８】
（ステップＳ１００５）直交変換係数後半部エントロピー復号部１２０４で、直交変換係数後半部ストリームをエントロピー復号し、処理対象ブロックの量子化直交変換係数の後半部を作成する。直交変換係数後半部エントロピー復号部１２０４は、ブロック後半非零係数存在情報を復号する。ブロック後半非零係数存在情報がＡＬＬ＿ＺＥＲＯ情報であったときは、対象ブロック後半部の係数を０と設定する。ブロック後半非零係数存在情報がＮＯＮ＿ＺＥＲＯ＿ＥＸＩＳＴ情報であった場合、量子化直交変換係数後半部のエントロピー復号を行う。ステップＳ１００６へ進む。
【００７９】
（ステップＳ１００６）直交変換係数統治部１２０５で、処理対象ブロックの量子化直交変換係数の前半部と量子化直交変換係数の後半部を、分割位置に従い統治し、処理対象ブロックの量子化直交変換係数を作成する。図７の７０１で示す順序の先頭から分割位置までを直交変換係数前半部と対応付け、分割位置の次の位置から最終位置までを直交変換係数後半部と対応付ける。ステップＳ１００７へ進む。
【００８０】
（ステップＳ１００７）逆量子化・逆直交変換部１２０６で、処理対象ブロックの量子化直交変換係数を逆量子化・逆変換し、復号信号を作成する。作成した対象ブロックの復号信号を復号信号バッファに格納する。ステップＳ１００３へ進む。
【００８１】
（ステップＳ１００８）復号信号バッファ１２０７に格納された一画面分の復号信号を外部へ出力する。
【００８２】
本動作中、ステップＳ１００５とステップＳ１００６は処理の依存関係がなく、独立した処理が可能である。並列的に処理することにより、高速な復号処理が可能となる。
【実施例１】
【００８３】
（エンコーダ）
図１は、本発明の符号化装置の一実施例の構成図である。
【００８４】
図１は、ブロック分割部１０１と、予測符号化部１０２と、参照フレームバッファ１０３と、構文要素分割部１０４と、可逆符号化部１０５と、ストリーム多重化部１０６と、ストリームバッファ１０７と、参照情報格納部１０８により構成される。さらに、可逆符号化部１０５は、ブロックタイプ情報可逆符号化部１０９と、動きベクトル情報可逆符号化部１１０と、直流成分可逆符号化部１１１と、低域成分可逆符号化部１１２と、高域成分可逆符号化部１１３により構成される。また、参照情報格納部１０８は、ブロックタイプ情報格納部１１４と、動きベクトル情報格納部１１５と、直流成分情報格納部１１６と、低域成分情報格納部１１７と、高域成分情報格納部１１８と、局所復号フレームバッファ１１９により構成される。以下で各ブロックの動作の説明をする。
【００８５】
ブロック分割部１０１は、符号化対象フレームに対し、所定の分割を行い、符号化対象ブロックの画像を得る。そして、符号化対象ブロック画像を逐次予測符号化部１０２へ送る。
【００８６】
予測符号化部１０２は、ブロック分割部１０１より取得した符号化対象ブロック画像に対し、画面内予測または／および画面間予測、直交変換・量子化、逆量子化・逆直交変換といった一般的な画像符号化処理を行う。符号化に際しては、参照情報格納部１０８または／および参照フレームバッファ１０３から、既符号化情報を参照する。動作の詳細は一般的なものであるため説明を省略する。対象ブロックを符号化して生成した符号化情報を、参照情報格納部１０８と、構文要素分割部１０４へそれぞれ送る。
【００８７】
参照フレームバッファ１０３は、予測符号化部１０２において画面間予測を行うための参照フレームを格納する。
【００８８】
構文要素分割部１０４は、予測符号化部１０２で作成した符号化情報を分割し、可逆符号化部１０５に送る。本実施例においては、符号化情報を、ブロックタイプ情報、動きベクトル情報、直流成分情報、低域成分情報、高域成分情報に分割する。直流成分情報、低域成分情報、高域成分情報は、それぞれ、対象ブロックの予測残差に対し直交変換・量子化処理をした結果発生する量子化直交変換係数である。本構成における直交変換係数の分割手法を図３の３０４に示す。直交変換係数直交変換単位を４ｘ４ブロックとし、図３の３０１を直流成分情報、３０２を低域成分情報、３０３を高域成分情報とする。本実施例においては、直交変換係数を図３の３０４の分割に固定するが、例えば図３の３１０で示すように、さらに分割を再分化してもよいし、また直交変換係数を分割せずひとつの情報として扱ってもよい。図３の３１０は、直交変換係数を３０５，３０６，３０７，３０８，３０９の５つに分割した場合の例である。また、直交変換係数の分割を、例えば量子化パラメータにより、適応的に行うことも可能である。分割の際は、各成分情報の情報量が出来るだけ均等になるように分割するのが望ましい。
【００８９】
可逆符号化部１０５は、構文要素分割部１０４より各構文要素を取得し、また、参照情報格納部１０８から対象となる参照情報を取得し、それぞれＣＡＢＡＣによる可逆符号化を行う。可逆符号化部１０５内の各ブロックの処理はそれぞれ独立しており、並列的に符号化処理を行う。
【００９０】
ストリーム多重化部１０６は、可逆符号化部１０５から、各構文要素の可逆符号化情報を取得し、多重化を行い、ストリームバッファ１０７に送る。
【００９１】
ストリームバッファ１０７は、ストリーム多重化部１０６から取得した多重化情報を格納し、また外部へ出力する。
【００９２】
参照情報格納部１０８は、画面内の符号化情報を保持する。予測符号化部１０２の符号化処理に際し、対象ブロックの参照既符号化情報を予測符号化部１０２に送り、予測符号化部１０２で生成した対象ブロックの符号化情報を格納する。また、可逆符号化部１０５の符号化処理に際し、対象ブロックの参照既符号化情報を可逆符号化部１０５に送る。
【００９３】
ブロックタイプ情報可逆符号化部１０９は、対象ブロックの符号化情報のうち、符号化ブロックタイプ（例えば、画面内予測ｏｒ画面間予測、画面内予測であれば画面内予測モード）を可逆符号化する。符号化処理に際し、ブロックタイプ情報格納部１１４から、周辺参照領域のブロックタイプを取得し、コンテキストを決定し、符号化を行う。
【００９４】
動きベクトル情報可逆符号化部１１０は、対象ブロックが、画面間予測である場合にのみ動作し、対象ブロックの動きベクトル情報を可逆符号化する。符号化処理に際し、動きベクトル情報格納部１１５から、画面内周辺参照領域の動きベクトル情報を取得し、コンテキストを決定し、符号化を行う。
【００９５】
直流成分可逆符号化部１１１は、対象ブロックの残差成分の直流成分（３０１）を可逆符号化する。
【００９６】
低域成分可逆符号化部１１２は、対象ブロックの残差成分の低域成分（３０２）を可逆符号化する。
【００９７】
高域成分可逆符号化部１１３は、対象ブロックの残差成分の高域成分（３０２）を可逆符号化する。
【００９８】
ブロックタイプ情報格納部１１４は、符号化対象画面内のブロックタイプ情報を格納する。予測符号化部１０２の符号化処理において、対象ブロックの周辺参照領域のブロックタイプを、予測符号化部１０２に送り、予測符号化部１０２で生成した対象ブロックのブロックタイプ情報を格納する。また、ブロックタイプ情報可逆符号化部１０９の符号化処理に際し、対象ブロックの参照ブロックタイプ情報をブロックタイプ情報可逆符号化部１０９に送る。
【００９９】
動きベクトル情報格納部１１５は、符号化対象画面内の動きベクトル情報を格納する。予測符号化部１０２の符号化処理において、対象ブロックの周辺参照領域の動きベクトル情報を、予測符号化部１０２に送り、予測符号化部１０２で生成した対象ブロックの動きベクトル情報を格納する。また、動きベクトル情報可逆符号化部１１０の符号化処理に際し、対象ブロックの参照動きベクトル情報を動きベクトル情報可逆符号化部１１０に送る。
【０１００】
直流成分情報格納部１１６は、符号化対象画面内の残差成分の直流成分情報を格納する。予測符号化部１０２の符号化処理において、予測符号化部１０２で生成した対象ブロックの残差成分の直流成分情報を格納する。また、直流成分可逆符号化部１１１の符号化処理に際し、対象ブロックの参照直流成分情報を直流成分可逆符号化部１１１に送る。
【０１０１】
低域成分情報格納部１１７は、符号化対象画面内の残差成分の低域成分情報を格納する。予測符号化部１０２の符号化処理において、予測符号化部１０２で生成した対象ブロックの残差成分の低域成分情報を格納する。また、低域成分可逆符号化部１１２の符号化処理に際し、対象ブロックの参照低域成分情報を低域成分可逆符号化部１１２に送る。
【０１０２】
高域成分情報格納部１１８は、符号化対象画面内の残差成分の高域成分情報を格納する。予測符号化部１０２の符号化処理において、予測符号化部１０２で生成した対象ブロックの残差成分の高域成分情報を格納する。また、高域成分可逆符号化部１１３の符号化処理に際し、対象ブロックの参照高域成分情報を高域成分可逆符号化部１１３に送る。
【０１０３】
次に図４のフローチャートを用いて、本構成における１フレーム符号化手順を説明する。
【０１０４】
符号化対象フレームを符号化単位となるブロックに分割し、ブロックのラスタスキャン順に符号化処理を行う。すべてのブロックの処理が完了したら符号化処理を完了する。処理対象ブロックが残っていればステップＳ４０２へ進む（ステップＳ４０１）。
【０１０５】
符号化処理対象ブロックに対し、予測符号化処理を行う。予測符号化部１０２に、ブロック分割部１０１から符号化対象ブロック画像が供給され、参照フレームバッファ１０３から参照フレームが供給される。また、参照情報格納部１０８から、周辺参照領域の既符号化情報（ブロックタイプ情報、動きベクトル情報、直流・低域・高域成分情報）と、同一フレームの局所復号画像が供給される。予測符号化部１０２は、取得した情報を元に、画面内予測または／及び画面間予測と、直交変換・量子化処理を行い、符号化対象ブロックの符号化情報を生成する。さらに、生成した符号化情報を元に逆量子化・逆直交変換処理を行い符号化対象ブロックの局所復号画像を生成する。
【０１０６】
生成した符号化情報を構文要素分割部１０４と、参照情報格納部１０８へ送り、局所復号画像を参照情報格納部１０８へ送る。構文要素分割部１０４は、予測符号化部１０２から符号化対象ブロックの符号化情報を取得し、各符号化情報を可逆符号化部１０５内のブロックタイプ情報可逆符号化部１０９、動きベクトル情報可逆符号化部１１０、直流成分可逆符号化部１１１、低域成分可逆符号化部１１２、高域成分可逆符号化部１１３へそれぞれ送る（ステップＳ４０２）。
【０１０７】
ブロックタイプ情報可逆符号化部１０９は、構文要素分割部１０４から対象ブロックのブロックタイプを取得し、また、ブロックタイプ情報格納部１１４から、参照領域のブロックタイプ情報を取得する。取得情報を元にＣＡＢＡＣによる可逆符号化を行いブロックタイプのストリームを生成し、ストリーム多重化部１０６に送る（ステップＳ４０３）。
【０１０８】
動きベクトル情報可逆符号化部１１０は、構文要素分割部１０４から対象ブロックの動きベクトル情報を取得し、また、動きベクトル情報格納部１１５から、参照領域の動きベクトル情報を取得する。取得情報を元にＣＡＢＡＣによる可逆符号化を行い動きベクトル情報のストリームを生成し、ストリーム多重化部１０６に送る（ステップＳ４０４）。
【０１０９】
直流成分可逆符号化部１１１は、構文要素分割部１０４から対象ブロックの直流成分情報を取得し、また、直流成分情報格納部１１６から、参照領域の直流成分情報を取得する。取得情報を元にＣＡＢＡＣによる可逆符号化を行い直流成分のストリームを生成し、ストリーム多重化部１０６に送る（ステップＳ４０５）。
【０１１０】
低域成分可逆符号化部１１２は、構文要素分割部１０４から対象ブロックの低域成分情報を取得し、また、低域成分情報格納部１１７から、参照領域の低域成分情報を取得する。取得情報を元にＣＡＢＡＣによる可逆符号化を行い低域成分のストリームを生成し、ストリーム多重化部１０６に送る（ステップＳ４０６）。
【０１１１】
高域成分可逆符号化部１１３は、構文要素分割部１０４から対象ブロックの高域成分情報を取得し、また、高域成分情報格納部１１８から、参照領域の高域成分情報を取得する。取得情報を元にＣＡＢＡＣによる可逆符号化を行い高域成分のストリームを生成し、ストリーム多重化部１０６に送る（ステップＳ４０７）。
【０１１２】
ストリーム多重化部１０６は、可逆符号化部１０５の各可逆符号化部からストリームを取得し、多重化を行い、ストリームバッファ１０７に格納する。ストリームバッファ１０７は、所定のタイミングでストリームを外部へ出力する（ステップＳ４０８）。
【０１１３】
本動作手順のステップＳ４０３からステップＳ４０７の処理はそれぞれ独立である。各ステップの処理手順が前後しても構わないし、並列的に処理しても構わない。
【０１１４】
図６に本構成により生成されるストリームの例を示す。図６の６０１は、本構成のストリーム例であり、６０７は従来のストリーム例である。６０７は、スライス内のブロックタイプ、動きベクトル情報、直交変換係数が直列的に配置され、ＣＡＢＡＣによる算術符号化・復号処理においては、直前処理結果を参照する必要があるため、先頭から逐次的にすべての構文要素を処理しなければならず、スライスの途中からの処理は不可能である。それに対し、本構成による６０１の構造は、スライスヘッダ、ブロックタイプ情報ストリーム６０２、動きベクトル情報ストリーム６０３、直流成分情報ストリーム６０４、低域成分情報ストリーム６０５、高域成分情報ストリーム６０６を持ち、各ストリームは独立にＣＡＢＡＣ処理が可能である。各ストリームがＩＤ情報を保持することにより、対応するストリームを一意に特定することが出来る。本構成により、多大な演算量を要するＣＡＢＡＣ処理を並列的に処理でき、マルチスライス構造による予測効率低下、コンテキスト情報の初期化による可逆符号化効率低下を伴うことなく、高速な符号化・復号処理を行うことが可能となる。
【０１１５】
（デコーダ）
図２は、本発明の復号装置の一実施例の構成図である。図２は、ストリームバッファ２０１と、構文要素分割部２０２と、可逆復号部２０３と、可逆復号情報格納部２０４と、予測復号部２０５と、参照フレームバッファ２０６と、フレームバッファ２０７と、参照情報格納部２０８により構成される。また、可逆復号部２０３は、ブロックタイプ情報可逆復号部２０９と、動きベクトル情報可逆復号部２１０と、直流成分可逆復号部２１１と、低域成分可逆復号部２１２と、高域成分可逆復号部２１３により構成される。さらに参照情報格納部２０８は、ブロックタイプ情報格納部２１４と、動きベクトル情報格納部２１５と、直流成分情報格納部２１６と、低域成分情報格納部２１７と、高域成分情報格納部２１８により構成される。
【０１１６】
ストリームバッファ２０１は、復号対象ビットストリームを格納し、また構文要素分割部２０２に送る。
【０１１７】
構文要素分割部２０２は、ストリームバッファ２０１より取得した復号対象ビットストリームを多重化分離し、ブロックタイプ情報ストリームと、動きベクトル情報ストリームと、直流成分情報ストリームと、低域成分情報ストリームと、高域成分情報ストリームにそれぞれ分割し、分割したストリームを可逆復号部２０３へ送る。
【０１１８】
可逆復号部２０３は、構文要素分割部２０２より取得したストリームに対し、ＣＡＢＡＣによる可逆復号処理を行う。復号結果を可逆復号情報格納部２０４へ送る。
【０１１９】
可逆復号情報格納部２０４は、可逆復号部２０３で可逆復号した、復号対象ブロックの可逆復号情報を格納し、予測復号部２０５へ送る。
【０１２０】
予測復号部２０５は、可逆復号情報格納部２０４から復号対象ブロックの可逆復号情報を取得し、また、参照情報格納部２０８から、画面内の周辺参照領域の復号情報を、フレームバッファ２０７から周辺の復号画像を、参照フレームバッファ２０６から参照フレーム画像をそれぞれ取得する。取得した情報を元に、予測画像の作成とともに逆量子化・逆変換による残差情報を作成し、対象ブロックの復号画像を作成する。作成した復号画像をフレームバッファ２０７に送り、また、復号情報を参照情報格納部２０８へ送る。
【０１２１】
参照フレームバッファ２０６は、予測復号部２０５において画面間予測復号を行うための参照フレームを格納する。
【０１２２】
フレームバッファ２０７は、対象フレームの復号画像を格納する。
【０１２３】
参照情報格納部２０８は、画面内の復号情報を保持する。予測復号部２０５の復号処理に際し、対象ブロックの参照既符号化情報を予測復号部２０５に送り、予測復号部２０５で生成した対象ブロックの復号情報を格納する。また、可逆復号部２０３の復号処理に際し、対象ブロックの参照復号情報を可逆復号部２０３に送る。
【０１２４】
ブロックタイプ情報可逆復号部２０９は、対象ブロックの符号化情報のうち、符号化ブロックタイプ（例えば、画面内予測ｏｒ画面間予測、画面内予測であれば画面内予測モード）を可逆復号する。復号処理に際し、ブロックタイプ情報格納部２１４から、周辺参照領域のブロックタイプを取得し、コンテキストを決定し、復号を行う。
【０１２５】
動きベクトル情報可逆復号部２１０は、対象ブロックが、画面間予測である場合にのみ動作し、対象ブロックの動きベクトル情報を可逆復号する。復号処理に際し、動きベクトル情報格納部２１５から、画面内周辺参照領域の動きベクトル情報を取得し、コンテキストを決定し、復号を行う。
【０１２６】
直流成分可逆復号部２１１は、対象ブロックの残差成分の直流成分（３０１）を可逆復号する。
【０１２７】
低域成分可逆復号部２１２は、対象ブロックの残差成分の低域成分（３０２）を可逆復号する。
【０１２８】
高域成分可逆復号部２１３は、対象ブロックの残差成分の高域成分（３０２）を可逆復号する。
【０１２９】
ブロックタイプ情報格納部２１４は、復号対象画面内のブロックタイプ情報を格納する。予測復号部２０５の復号処理において、対象ブロックの周辺参照領域のブロックタイプを、予測復号部２０５に送り、予測復号部２０５で生成した対象ブロックのブロックタイプ情報を格納する。また、ブロックタイプ情報可逆復号部２０９の符号化処理に際し、対象ブロックの参照ブロックタイプ情報をブロックタイプ情報可逆復号部２０９に送る。
【０１３０】
動きベクトル情報格納部２１５は、復号対象画面内の動きベクトル情報を格納する。予測復号部２０５の復号処理において、対象ブロックの周辺参照領域の動きベクトル情報を、予測復号部２０５に送り、予測復号部２０５で生成した対象ブロックの動きベクトル情報を格納する。また、動きベクトル情報可逆復号部２１０の復号処理に際し、対象ブロックの参照動きベクトル情報を動きベクトル情報可逆復号部２１０に送る。
【０１３１】
直流成分情報格納部２１６は、復号対象画面内の残差成分の直流成分情報を格納する。予測復号部２０５の復号処理において、予測復号部２０５で生成した対象ブロックの残差成分の直流成分情報を格納する。また、直流成分可逆復号部２１１の復号処理に際し、対象ブロックの参照直流成分情報を直流成分可逆復号部２１１に送る。
【０１３２】
低域成分情報格納部２１７は、符号化対象画面内の残差成分の低域成分情報を格納する。予測復号部２０５の復号処理において、予測復号部２０５で生成した対象ブロックの残差成分の低域成分情報を格納する。また、低域成分可逆復号部２１２の復号処理に際し、対象ブロックの参照低域成分情報を低域成分可逆復号部２１２に送る。
【０１３３】
高域成分情報格納部２１８は、符号化対象画面内の残差成分の高域成分情報を格納する。予測復号部２０５の復号処理において、予測復号部２０５で生成した対象ブロックの残差成分の高域成分情報を格納する。また、高域成分可逆復号部２１３の復号処理に際し、対象ブロックの参照高域成分情報を高域成分可逆復号部２１３に送る。
【０１３４】
次に図５のフローチャートを用いて、本構成における１フレーム復号手順を説明する。
【０１３５】
復号対象フレームのすべてのブロックに対し復号処理が完了したらステップＳ５０９へ進む。そうでなければステップＳ５０２へ進む（ステップＳ５０１）。
【０１３６】
構文要素分割部２０２は、ストリームバッファ２０１から、ストリームを取得し、ブロックタイプ情報ストリームと、動きベクトル情報ストリームと、直流成分情報ストリームと、低域成分情報ストリームと、高域成分ストリームに分割する。各ストリームを可逆復号部２０３の、ブロックタイプ情報可逆復号部２０９、動きベクトル情報可逆復号部２１０、直流成分可逆復号部２１１、低域成分可逆復号部２１２、高域成分可逆復号部２１３へそれぞれ送る（ステップＳ５０２）。
【０１３７】
ブロックタイプ情報可逆復号部２０９は、構文要素分割部２０２から、ブロックタイプ情報ストリームを取得し、また、参照情報格納部２０８のブロックタイプ情報格納部２１４から周辺参照ブロックのブロックタイプ情報を取得する。そして取得した情報を元にＣＡＢＡＣによる算術復号処理を行い、対象ブロックのブロックタイプ情報を作成し、可逆復号情報格納部２０４へ送る（ステップＳ５０３）。
【０１３８】
動きベクトル情報可逆復号部２１０は、構文要素分割部２０２から、動きベクトル情報ストリームを取得し、また、参照情報格納部２０８の動きベクトル情報格納部２１５から周辺参照ブロックの動きベクトル情報を取得する。そして取得した情報を元にＣＡＢＡＣによる算術復号処理を行い、対象ブロックの動きベクトル情報を作成し、可逆復号情報格納部２０４へ送る（ステップＳ５０４）。
【０１３９】
直流成分可逆復号部２１１は、構文要素分割部２０２から、直流成分情報ストリームを取得し、また、参照情報格納部２０８の直流成分情報格納部２１６から周辺参照ブロックの直流成分情報を取得する。そして取得した情報を元にＣＡＢＡＣによる算術復号処理を行い、対象ブロックの直流成分情報を作成し、可逆復号情報格納部２０４へ送る（ステップＳ５０５）。
【０１４０】
低域成分可逆復号部２１２は、構文要素分割部２０２から、低域成分情報ストリームを取得し、また、参照情報格納部２０８の低域成分情報格納部２１７から周辺参照ブロックの低域成分情報を取得する。そして取得した情報を元にＣＡＢＡＣによる算術復号処理を行い、対象ブロックの低域成分情報を作成し、可逆復号情報格納部２０４へ送る（ステップＳ５０６）。
【０１４１】
高域成分可逆復号部２１３は、構文要素分割部２０２から、高域成分情報ストリームを取得し、また、参照情報格納部２０８の高域成分情報格納部２１８から周辺参照ブロックの高域成分情報を取得する。そして取得した情報を元にＣＡＢＡＣによる算術復号処理を行い、対象ブロックの高域成分情報を作成し、可逆復号情報格納部２０４へ送る（ステップＳ５０７）。
【０１４２】
予測復号部２０５は、可逆復号情報格納部２０４から、可逆復号済みのブロックタイプ、動きベクトル情報、直交変換情報を取得し、また、参照フレームバッファ２０６から、参照フレームを取得し、また、フレームバッファ２０７から符号化対象フレームの既復号画像を取得し、また参照情報格納部２０８から、周辺ブロックの各復号情報を取得する。取得した情報を元に、画面内予測または／および画面間予測、逆量子化・逆直交変換処理を行い対象ブロックの復号画像を得る。参照情報格納部２０８に、対象ブロックの各復号情報を送り、また、フレームバッファに復号画像を送る（ステップＳ５０８）。
【０１４３】
対象フレームすべてのブロックに対し復号処理が完了したら、フレームバッファ２０７に保持された復号画像を外部へ出力する。
【０１４４】
上述したように、本発明は、ストリームの構文要素を独立に符号化・復号、伝送することにより、ＣＡＢＡＣの並列処理を可能とするような符号化装置・復号装置・ストリーム構成を提供することができる。
【０１４５】
特に高精細・高品質画像では、ＣＡＢＡＣ処理に係る負担は大きい。本発明によれば、ＣＡＢＡＣ処理を並列的に処理することにより、不必要なスライス分割により発生する、
・参照候補の減少による予測効率の低下
・ＣＡＢＡＣ処理化の頻発によるエントロピー符号化効率の低下
を回避し、高符号化効率かつ要求時間内に処理可能な符号化装置・復号装置・ストリームを作成することが出来るようになる。
【符号の説明】
【０１４６】
１０１  ブロック分割部
１０２  予測符号化部
１０３  参照フレームバッファ
１０４  構文要素分割部
１０５  可逆符号化部
１０６  ストリーム多重化部
１０７  ストリームバッファ
１０８  参照情報格納部
１０９  ブロックタイプ情報可逆符号化部
１１０  動きベクトル情報可逆符号化部
１１１  直流成分可逆符号化部
１１２  低域成分可逆符号化部
１１３  高域成分可逆符号化部
１１４  ブロックタイプ情報格納部
１１５  動きベクトル情報格納部
１１６  直流成分情報格納部
１１７  低域成分情報格納部
１１８  高域成分情報格納部
１１９  局所復号フレームバッファ
２０１  ストリームバッファ
２０２  構文要素分割部
２０３  可逆復号部
２０４  可逆復号情報格納部
２０５  予測復号部
２０６  参照フレームバッファ
２０７  フレームバッファ
２０８  参照情報格納部
２０９  ブロックタイプ情報可逆復号部
２１０  動きベクトル情報可逆復号部
２１１  直流成分可逆復号部
２１２  低域成分可逆復号部
２１３  高域成分可逆復号部
２１４  ブロックタイプ情報格納部
２１５  動きベクトル情報格納部
２１６  直流成分情報格納部
２１７  低域成分情報格納部
２１８  高域成分情報格納部
３０１  直流成分
３０２  低域成分
３０３  高域成分
３０４  ブロック分割の例１
３０５  直流成分
３０６  交流成分１
３０７  交流成分２
３０８  交流成分３
３０９  交流成分４
３１０  ブロック分割の例２
６０１  本構成のストリーム構造の例
６０２  ブロックタイプ情報ストリーム
６０３  動きベクトル情報ストリーム
６０４  直流成分情報ストリーム
６０５  低域成分情報ストリーム
６０６  高域成分情報ストリーム
６０７  従来のストリーム構造の例
１１０１  符号化対象信号格納部
１１０２  ブロック分割部
１１０３  直交変換・量子化部
１１０４  係数群記憶部
１１０５  分割位置決定部
１１０６  係数分割部
１１０７  係数前半部エントロピー符号化部
１１０８  係数後半部エントロピー符号化部
１１０９  分割位置符号化部
１１１０  多重化部
１２０１  ストリームバッファ
１２０２  多重化分離部
１２０３  直交係数前半部エントロピー復号部
１２０４  直交変換係数後半部エントロピー復号部
１２０５  直交変換係数統治部
１２０６  逆量子化・逆直交変換部
１２０７  復号信号バッファ
１２０８  分割位置復号部
【図１】
2011109390.tif 000003
【図２】
2011109390.tif 000004
【図３】
2011109390.tif 000005
【図４】
2011109390.tif 000006
【図５】
2011109390.tif 000007
【図６】
2011109390.tif 000008
【図７】
2011109390.tif 000009
【図８】
2011109390.tif 000010
【図９】
2011109390.tif 000011
【図１０】
2011109390.tif 000012
【図１１】
2011109390.tif 000013
【図１２】
2011109390.tif 000014
【図１３】
2011109390.tif 000015
【図１４】
2011109390.tif 000016