(57)【要約】本発明による画像復号装置は、解析部と画像復号部とを具備する。解析部は、単位処理時間内における複数の画像復号化処理の各々に対する符号化画像データの処理量を、画像復号化処理に先立ち、符号化画像データのパラメータに基づいて決定する。画像復号部は、決定されたデータ処理量分の符号化画像データに対して複数の復号化処理の各々を実行し、前記符号化画像データから復号化画像データを生成する。
2007514330.tif 000002
【特許請求の範囲】
【請求項１】
単位処理時間内における複数の画像復号化処理の各々に対する符号化画像データの処理量を、前記画像復号化処理に先立ち、前記符号化画像データのパラメータに基づいて決定する解析部と、
前記決定されたデータ処理量分の前記符号化画像データに対して前記複数の復号化処理の各々を実行し、前記符号化画像データから復号化画像データを生成する画像復号部とを具備する
画像復号装置。
【請求項２】
請求項１に記載の画像復号装置において、
前記パラメータは、前記符号化画像データの内部パラメータである
画像復号装置。
【請求項３】
請求項１に記載の画像復号装置において、
前記パラメータは、前記符号化画像データの外部パラメータである
画像復号装置。
【請求項４】
請求項１に記載の画像復号装置において、
前記パラメータは前記符号化画像データの内部パラメータと外部パラメータを含む
画像復号装置。
【請求項５】
請求項１から４いずれか１項に記載の画像復号装置において、
前記符号化画像データは複数のコードブロックを含み、
前記解析部は、前記符号化画像データの単位処理時間に基づいて前記複数のコードブロックの各々に割り当てられるコードブロックデータ処理量を決定することにより前記データ処理量を決定する
画像復号装置。
【請求項６】
請求項１から５いずれか１項に記載の画像復号装置において、
前記符号化画像データは、符号化画像データストリームの一部であり、
前記符号化画像データストリームのストリーム処理時間は予め決まっており、
前記符号化画像データストリーム内の前記符号化画像データの数と前記ストリーム処理時間とに基づいて前記単位処理時間は決定される
画像復号装置。
【請求項７】
請求項６に記載の画像復号装置において、
前記複数の復号化処理は、算術復号化処理、ビットモデリング復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含み、
前記画像復号化部は、算術復号化処理とビットモデリング復号化処理の組と、逆量子化処理、逆ウェーブレット変換処理とをパイプライン的に実行する
画像復号装置。
【請求項８】
請求項７に記載の画像復号装置において、
前記画像復号化部は、
前記決定されたデータ処理量分、前記符号化画像データに算術復号化処理を行う算術復号化部と、
前記決定されたデータ処理量分、前記算術復号化部による処理結果を色コンポーネントごとにビットプレーンの形でビットモデリング復号化処理するビットプレーン復号部と、
前記決定されたデータ処理量分、前記ビットプレーン復号部による処理結果に逆量子化処理を行う逆量子化部と、
前記決定されたデータ処理量分、前記逆量子化部による処理結果に逆ウェーブレット変換処理を行う逆ウェーブレット変換部とを備える
画像復号装置。
【請求項９】
請求項１から４いずれか１項に記載の画像復号装置において、
前記符号化画像データは複数の階層に符号化されており、
前記解析部は、前記符号化画像データに対する前記逆量子化処理のデータ処理量と前記逆ウェーブレット変換処理のデータ処理量とに基づいて前記復号化処理されるべき階層数を決定し、
前記画像復号化部は、決定された階層数分、前記複数の復号化処理の各々を実行する
画像復号装置。
【請求項１０】
請求項９に記載の画像復号装置において、
前記解析部は、前記決定された階層数に対応する部分以外の前記符号化画像データの部分を破棄する
画像復号装置。
【請求項１１】
請求項９又は１０に記載の画像復号装置において、
前記複数の復号化処理は、算術復号化処理、ビットモデリング復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含み、
前記符号化画像データの前記複数の階層の各々は、複数のコードブロックを含み、
前記パラメータは、前記複数のコードブロックの各々に割り当てられた重み係数を含み、
前記解析部は、前記重み係数と前記単位処理時間から前記複数のコードブロックの各々に対する前記算術復号化処理と前記ビットモデリング復号化処理に対する符号化パス数を決定し、決定された符号化パスからビットプレーン数を決定し、
前記画像復号化部は、前記決定されたビットプレーン数分の前記符号化画像データに対し前記逆量子化処理及び前記逆ウェーブレット変換処理を実行する
画像復号装置。
【請求項１２】
複数の復号化処理により符号化画像データから復号化画像データを復号化する画像復号化方法において、
前記符号化画像データのパラメータに基づいて、単位処理時間内における前記複数の復号化処理の各々のデータ処理量を決定するステップと、
前記決定されたデータ処理量分の前記符号化画像データに対して前記複数の復号化処理を実行するステップとを具備する
画像復号化方法。
【請求項１３】
請求項１２に記載の画像復号化方法において、
前記パラメータは、前記符号化画像データの内部パラメータである
画像復号化方法。
【請求項１４】
請求項１２に記載の画像復号化方法において、
前記パラメータは、前記符号化画像データの外部パラメータである
画像復号化方法。
【請求項１５】
請求項１２に記載の画像復号装置において、
前記パラメータは前記符号化画像データの内部パラメータと外部パラメータを含む
画像復号化方法。
【請求項１６】
請求項１２から１５いずれか１項に記載の復号化方法において、
前記符号化画像データは複数のコードブロックを含み、
前記決定するステップは、前記符号化画像データの単位画像処理時間に基づいて前記複数のコードブロックの各々に割り当てられるコードブロックデータ処理量を決定することにより、データ処理量を決定するステップを具備する
画像復号化方法。
【請求項１７】
請求項１２から１６いずれか１項に記載の画像復号化方法において、
前記符号化画像データは、符号化画像データストリームの一部であり、
前記符号化画像データストリームのストリーム処理時間は予め決まっており、
前記符号化画像データストリーム内の前記符号化画像データの数と前記ストリーム処理時間とに基づいて前記単位処理時間を決定するステップを更に具備する
画像復号化方法。
【請求項１８】
請求項１７に記載の画像復号化方法において、
前記複数の復号化処理は、算術復号化処理、ビットモデリング復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含み、
前記複数の画像復号化処理を実行するステップは、算術復号化処理とビットモデリング復号化処理の組と、逆量子化処理、逆ウェーブレット変換処理とをパイプライン的に実行するステップを具備する
画像復号化方法。
【請求項１９】
請求項１２から１５いずれか１項に記載の画像復号化方法において、
前記複数の画像復号化処理を実行するステップは、
前記決定されたデータ処理量分の前記符号化画像データに算術復号化処理を行うステップと、
前記決定されたデータ処理量分、前記算術復号化処理の結果をビットモデリング復号化処理するステップと、
前記決定されたデータ処理量分、前記ビットモデリング復号化処理の結果に逆量子化処理を行うステップと、
前記決定されたデータ処理量分、前記逆量子化処理の結果に逆ウェーブレット変換処理を行うステップとを備える
画像復号化方法。
【請求項２０】
請求項１２から１５いずれか１項に記載の画像復号化方法において、
前記符号化画像データは、複数の階層に符号化されており、
前記決定ステップは、前記符号化画像データに対する前記逆量子化処理のデータ処理量と前記逆ウェーブレット変換処理のデータ処理量とに基づいて前記復号化処理されるべき階層数を決定するステップを具備し、
前記複数の画像復号化処理を実行するステップは、決定された階層数分前記複数の画像復号化処理の各々を実行するステップを備える
画像復号化方法。
【請求項２１】
請求項２０に記載の画像復号化方法において、
前記決定された階層数に対応する部分以外の前記符号化画像データの部分を破棄するステップを更に具備する
画像復号化方法。
【請求項２２】
請求項２０又は２１に記載の画像復号化方法において、
前記複数の復号化処理は、算術復号化処理、ビットモデリング復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含み、
前記符号化画像データの前記複数の階層の各々は、複数のコードブロックを含み、
前記パラメータは、前記複数のコードブロックの各々に割り当てられた重み係数を含み、
前記決定するステップは、前記重み係数と前記単位画像処理時間から前記複数のコードブロックの各々に対する前記算術復号化処理と前記ビットモデリング復号化処理に対する符号化パス数を決定するステップと、決定された符号化パスからビットプレーン数を決定するステップとを具備し、
前記複数の画像復号化処理を実行するステップは、前記符号化画像データのうちの前記決定されたビットプレーン数分の前記符号化画像データに対し前記逆量子化処理及び前記逆ウェーブレット変換処理を実行する
画像復号化方法。
【請求項２３】
請求項１２から２２のいずれか１項に記載の画像復号化方法を実現するためのソフトウエアが記録された、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置と画像復号化方法に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータを代表とする各種情報機器の普及、デジタルカメラやカラープリンタなどの大衆化、インターネット人口の爆発的な増加などにより、日常生活にデジタル画像の技術が広まってきた。静止画像、動画像については、それぞれＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）などの符号化圧縮技術が標準化されている。
【０００３】
一方、ＣＤ−ＲＯＭなどの記録媒体の再生技術が改善され、ネットワークまたは放送波などの伝送媒体を通じた画像の配信および再生の利便性が改善されてきた。ＪＰＥＧに関しては、その進化版ともいうべきＪＰＥＧ２０００が発表され、またＭＰＥＧについても中長期に及ぶ目標が策定されている。このように、今後も画像処理技術が機器の機能向上へ寄与すると考えられている。
【０００４】
上述のＪＰＥＧ２０００に対する従来の復号方法が、特開２００２−３２５２５７号公報に開示されている（特許文献１参照）。図１は、この従来例における画像復号装置１０の構成を示す。この従来の画像復号装置１０は、ハードウエア的には、ＣＰＵ、メモリ、その他のＬＳＩで実現できる。又、ソフトウエア的には画像復号機能を有するプログラムなどによって実現される。図１は、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【０００５】
上述の画像復号装置１０は、主に復号ユニット１２と簡略化ユニット３０からなる。復号ユニット１２は、ストリーム解析部１４と、算術復号部１６と、ビットプレーン復号部１８と、逆量子化部２０と、逆ウェーブレット変換部２４を含んでいる。
【０００６】
ストリーム解析部１４は、圧縮データ（符号化画像データ）ＣＩを受け取り、そのデータストリームを解析し、算術復号部１６は、解析の結果に基づいてデータ列に対して算術復号化を施す。ビットプレーン復号部１８は、算術復号化の結果得られたデータを色コンポーネント毎にビットプレーンの形で復号し、逆量子化部２０は、その結果を逆量子化する。逆ウェーブレット変換部２４は、逆量子化の結果得られた第ｎ階層の画像ＷＩｎに逆ウェーブレット変換を施す。逆ウェーブレット変換部２４は、フレームバッファ（図示せず）をワークエリアとして利用する。最終的に得られた復号画像ＤＩは、フレームバッファから出力される。
【０００７】
一方、簡略化ユニット３０は、強制変換部３２と、制限時間テーブル３４と、再生停止検出部３６とを含む。強制変換部３２は、逆ウェーブレット変換部２４による復号の進行状況を監視し、経過時間が所定の制限時間を超えたとき、復号化処理を簡略化処理へ強制的に切り替える。制限時間テーブル３４は、強制変換部３２が参照する制限時間を格納し、再生停止検出部３６は、ユーザが動画の再生中に停止を指示したとき、これを検出する。
【０００８】
動画が再生されている間にユーザが一時停止または再生終了を指示した場合、復号および再生されていたフレームは、事実上復号のための制限時間から解放される。したがって、再生停止検出部３６によって一時停止または再生終了が検出された場合、強制変換部３２によるそのフレームへの簡略化処理は回避され、通常どおり完全な復号および再生が行われる。ただし、すでに強制変換部３２による簡略化処理が始まっている場合もある。この場合、以降の復号化処理は、可能なかぎり通常通りの方法でおこなわれる。
【０００９】
強制変換部３２は、経過時間を計時するためにクロックＣＬＫを参照している。クロックＣＬＫは、強制変換部３２の内部で必要に応じて分周され、図示しないカウンタでカウントされ、所定の時間が計時される。また、強制変換部３２はクロックＣＬＫを利用する代わりに、ＰＩＴ（プログラマブル・インターラプト・タイマ）など、外部に設けられた計時部を参照してもよい。また、この例では、強制変換部３２は逆ウェーブレット変換部２４における処理の進行が監視されているが、必ずしもその必要はなく、ストリーム解析部１４から逆ウェーブレット変換部２４に至るいずれかの段階の処理の経過時間が監視されてもよい。
【００１０】
以上のように、このような画像復号方法および画像復号装置では、強制的に処理を打ち切る強制変換部３２を１つの変換部または複数の変換部の各々に設けることが必要である。このため、システム全体における処理時間の最適化制御は難しい。また、強制変換部３２による処理の打ち切りは、以降の処理を強制的にカットするため、制御が緻密にならなくなり、画質の劣化を抑えることが困難である。
【特許文献１】特開２００２−３２５２５７号公報
【発明の開示】
【００１１】
従って、本発明の目的は、システム全体の処理時間を最適に制御して画像品質の劣化を抑制することができる画像復号装置及び画像復号方法を提供することにある。
【００１２】
本発明の一の態様における画像復号装置は、解析部と画像復号部とを具備する。解析部は、単位処理時間内における複数の画像復号化処理の各々に対する符号化画像データの処理量を、画像復号化処理に先立ち、符号化画像データのパラメータに基づいて決定する。画像復号部は、決定されたデータ処理量分の符号化画像データに対して複数の復号化処理の各々を実行し、前記符号化画像データから復号化画像データを生成する。
【００１３】
ここで、パラメータは、符号化画像データの内部パラメータであっても、あるいは、符号化画像データの外部データであっても構わない。それに代えて、パラメータは、符号化画像データの内部パラメータと外部パラメータを含んでも良い。
【００１４】
又、符号化画像データが複数のコードブロックを含む場合、前記解析部は、データの単位処理時間に基づいて複数のコードブロックの各々に割り当てられるコードブロックデータ処理量を決定することによりデータ処理量を決定する。
【００１５】
又、符号化画像データが、符号化画像データストリームの一部である場合、符号化画像データストリームのストリーム処理時間は、予め決まっており、符号化画像データストリーム内の符号化画像データの数とストリーム処理時間とに基づいて単位処理時間は決定される。この場合、複数の復号化処理は、算術復号化処理、復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含む。画像復号化部は、算術復号化処理と復号化処理の組と、逆量子化処理、逆ウェーブレット変換処理とをパイプライン的に実行する。この場合、画像復号化部は、決定されたデータ処理量分の符号化画像データに算術復号化処理を行う算術復号化部と、決定されたデータ処理量分、算術復号化部による処理結果を色コンポーネントごとにビットプレーンの形でビットモデリング復号化処理するビットプレーン復号部と、決定されたデータ処理量分、ビットプレーン復号部による処理結果に逆量子化処理を行う逆量子化部と、決定されたデータ処理量分、逆量子化部による処理結果に逆ウェーブレット変換処理を行う逆ウェーブレット変換部とを備える。
【００１６】
又、符号化画像データが複数の階層に符号化される場合、解析部は、符号化画像データに対する逆量子化処理のデータ処理量と逆ウェーブレット変換処理のデータ処理量とに基づいて復号化処理されるべき階層数を決定することができる。画像復号化部は、決定された階層数分、複数の復号化処理の各々を実行する。この場合、解析部は、決定された階層数に対応する部分以外の符号化画像データの部分を破棄しても良い。この際、複数の復号化処理は、算術復号化処理、ビットモデリング復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含み、符号化画像データの複数の階層の各々は、複数のコードブロックを含む。パラメータは、複数のコードブロックの各々に割り当てられた重み係数を含む。解析部は、重み係数と単位処理時間から複数のコードブロックの各々に対する算術復号化処理と、ビットモデリング復号化処理に対する符号化パスを決定し、決定された符号化パスからビットプレーン数を決定しても良い。画像復号化部は、決定されたビットプレーン数分の符号化画像データに対し逆量子化処理及び逆ウェーブレット変換処理を実行しても良い。
【００１７】
本発明の他の態様における画像復号化方法では、符号化画像データのパラメータに基づいて、単位処理時間内における複数の復号化処理の各々のデータ処理量を決定し、決定されたデータ処理量分の符号化画像データに対して複数の復号化処理を実行することで符号化画像データから復号化画像データを復号化する。
【００１８】
ここで、パラメータは、符号化画像データの内部パラメータであっても、あるいは、符号化画像データの外部データであっても構わない。それに代えて、パラメータは、符号化画像データの内部パラメータと外部パラメータを含んでも良い。
【００１９】
又、符号化画像データは複数のコードブロックを含み、符号化画像データの単位画像処理時間に基づいて複数のコードブロックの各々に割り当てられるコードブロックデータ処理量を決定することにより、データ処理量を決定する。この場合、符号化画像データが、符号化画像データストリームの一部であるとき、符号化画像データストリームのストリーム処理時間は予め決まっており、符号化画像データストリーム内の符号化画像データの数とストリーム処理時間とに基づいて単位処理時間を決定する。又、前記複数の復号化処理は、算術復号化処理、ビットモデリング復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含む。この際、算術復号化処理とビットモデリング復号化処理の組と、逆量子化処理、逆ウェーブレット変換処理とをパイプライン的に実行することで、複数の画像復号化処理が達成される。この場合、複数の画像復号化処理を実行することは、決定されたデータ処理量分、符号化画像データに算術復号化処理を行うことと、決定されたデータ処理量分、算術復号化処理の結果をビットモデリング復号化処理することと、決定されたデータ処理量分、ビットモデリング復号化処理の結果に逆量子化処理を行うことと、決定されたデータ処理量分、逆量子化処理の結果に逆ウェーブレット変換処理を行うこととを備える。
【００２０】
又、符号化画像データは、複数の階層に符号化されている場合、符号化画像データに対する逆量子化処理のデータ処理量と逆ウェーブレット変換処理のデータ処理量とに基づいて復号化処理されるべき階層数を決定することで、処理量を決定する。又、決定された階層数分、複数の画像復号化処理の各々を実行することで複数の画像復号化処理を実行する。
【００２１】
画像復号化方法は、決定された階層数に対応する部分以外の符号化画像データの部分を破棄することを更に具備する。
【００２２】
又、複数の復号化処理は、算術復号化処理、ビットモデリング復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含んでも良い。符号化画像データの複数の階層の各々は、複数のコードブロックを含んでも良い。パラメータは、前記複数のコードブロックの各々に割り当てられた重み係数を含む。処理量を決定することは、重み係数と単位画像処理時間から複数のコードブロックの各々に対する算術復号化処理とビットモデリング復号化処理に対する符号化パス数を決定することと、決定された符号化パスからビットプレーン数を決定することとを具備する。符号化画像データのうち、決定されたビットプレーン数分の符号化画像データに対して逆量子化処理及び逆ウェーブレット変換処理を実行することで複数の画像復号化処理を達成する。
【００２３】
本発明による更に他の態様は、上述の画像復号化方法を実現するためのソフトウエアが記録された、コンピュータ読み取り可能な記録媒体である。
【発明を実施するための最良の形態】
【００２４】
以下に、本発明の画像復号装置を、添付図面を参照して詳細に説明する。
【００２５】
本発明の理解の容易のために、先ず、符号化の手順を示す。ＪＰＥＧ２０００で利用されるウェーブレット変換のフィルタは、Ｄａｕｂｅｃｈｉｅｓフィルタであり、その本質は、画像の横方向（ｘ）及び縦方向（ｙ）に対して、同時にハイパスフィルタおよびローパスフィルタを作用させる点にある。また、このフィルタは、ｘ、ｙの両方向について画素数を１／２に軽減する作用も併せもつ。従って、図１において復号化画像ＤＩが符号化における原画像である場合、この画像に対して１回ウェーブレット変換が施され、図３に示されるように、１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨのコードブロック（サブバンド）を有する第１階層の画像ＷＩ１が生成される。１ＬＬコードブロックは、画像の（ｘ，ｙ）の両方向の低周波成分を表わし、ＨＬコードブロックおよびＬＨコードブロックは、（ｘ，ｙ）の一方向の低周波成分と、他方向の高周波成分を表わす。ＨＨコードブロックは、（ｘ，ｙ）の両方向の高周波成分を表わす。このように、原画像における低周波成分が、階層化された画像内の左上側（１ＬＬ部分）に現れる。
【００２６】
２回目のウェーブレット変換がおこなわれると、第２階層の画像ＷＩ２が生成される。２回目のウェーブレット変換がおこなわれると、第２階層の画像ＷＩ２が生成される。したがって、第２階層の画像ＷＩ２において、第１階層の画像ＷＩ１の１ＬＬコードブロックが、４つのコードブロック２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨに分解される。３回目のウェーブレット変換がおこなわれると、第３階層の画像ＷＩ３が生成される。３回目のウェーブレット変換は、第２階層の画像のうち、２ＬＬコードブロックに対してのみ施される。したがって、第３階層の画像ＷＩ３において、第２階層の画像ＷＩ２の２ＬＬコードブロックが、４つのコードブロック３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨに分解される。３ＬＬコードブロックが、最も低い周波数成分を示す。逆にいえば、この３ＬＬコードブロックを得ることができれば、原画像のもっとも基本的な性質を再現することができる。すなわち、このブロックがもっとも重要なブロックと言える。符号化処理においては、このあと量子化、その他の処理を経て最終的に圧縮データＣＩが得られる。
【００２７】
次に、本発明の第１実施例による画像復号装置について説明する。図２は、本発明の第１実施例の画像復号装置の構成を示すブロック図である。図２を参照して、本発明の第１実施例の画像復号装置１００は、圧縮データ解析部１０２と、データ量を計算するデータ量判定部１０７と、画像復号部１１２とを備えている。圧縮データ解析部１０２は、圧縮データ（符号化画像データ）ＣＩを取得する符号バッファ１０３と、データ量判定部１０７と、データ量判定部１０７の出力１０５を取得するアドレス発生回路１０４とを有する。圧縮データ解析部１０２は、圧縮データ（符号化画像データ）ＣＩを取得し、格納する。この圧縮データは、圧縮データ（符号化画像データ）のコードストリームでも良い。格納されたデータ１０６は、アドレス発生回路１０４からのアドレスに基づいてデータ量判定部１０７に出力される。データ量判定部１０７は、様々な処理の各々におけるデータ量や処理時間等の処理量を計算する。
【００２８】
データ量判定部１０７は、制御パラメータ１０１として、１画像の単位処理時間Ｔｉ（＝ｔｔｏｔａｌ／総ｆｒａｍｅ数）、画像コードブロック数（ＳＢ）、コードブロックサイズ（ＣＢＳ）、ビットプレーン数ＢＰ（ＣＢＩ）（ＣＢＩはコードブロック番号（座標）を表す）、量子化ステップ数ｑｓ（ＳＢＩ）（ＳＢＩはサブバンド番号（座標）を表す）、ＣＢＩの重み付け量Ｗ（ＣＢＩ）が入力される。データ量判定部１０７は圧縮データＣＩを解析し、制御パラメータ１０１を用いてすべてのコードブロックの処理量１０５を決定し、アドレス発生回路１０４に出力する。アドレス発生回路１０４は、処理量１０５に基づいてアドレスを生成し、コードバッファ１０３に出力する。このように、符号化された画像の全て又は一部は、データ列１０８としてその処理量とともにコードバッファ１０３から画像復号部１１２に出力される。画像復号部１１２は、データ量判定部１０７において決定された処理量１０５に応じて圧縮データ解析部１０２から出力されるデータストリーム１０８を複合化し、画像ＤＩ（Ｄｅｃｏｄｅｄ  Ｉｍａｇｅ）を再生する。この際、処理量１０５は、アドレス発生回路１０４とともに画像復号部１１２に直接出力されても良い。この場合、処理量１０５は、画像復号部１１２に転送される必要はない。尚、制御パラメータは外部から供給され、データ量判定部１０７は、上述のように制御パラメータ１０１を用いてコードブロック毎に処理量１０５を決定する。しかし、制御パラメータ１０１の全ては、圧縮データ（符号化画像データ）ＣＩに含まれる。この場合、制御パラメータ１０１は、符号化画像データＣＩから読み出され、上述の処理が実行される。また、これに代えて、制御パラメータの一部が外部から供給され、その他の制御パラメータは符号化画像データＣＩに含まれていても構わない。
【００２９】
画像復号部１１２は、算術復号部１１６と、ビットプレーン復号部１１８と、逆量子化部１２０と、逆ウェーブレット変換部１２４とを備える。算術復号部１１６は、圧縮データ解析部１０２からのデータ列１０８に算術復号を施す。ビットプレーン復号部１１８は、ビットモデリング復号処理の処理量１０５に基づいた色コンポーネント毎のビットプレーンの形で、算術復号部１１６による復号化処理によって得られた復号データ（コンテクスト）に対するビットモデリング復号化処理を実行する。図１６に示されるように、ビットモデリング復号化処理では、コードブロック毎にビットプレーン分解され、係数ビットの文脈（コンテクスト）が判定される。このように、ビットプレーンの各々は３つの符号化パス（サブビットプレーン）に分解され、整列される。これを係数ビットモデリングと呼ぶ。符号化パスの各々は算術符号化される。逆量子化部１２０は、逆量子化処理に対する量子化処理に基づきビットプレーン復号部１１８の処理結果を逆量子化する。逆ウェーブレット変換部１２４は、逆ウェーブレット変換処理に対する量子化処理に基づき逆量子化の結果得られた第ｎ階層の画像ＷＩｎに逆ウェーブレット変換を施す。
【００３０】
本発明の画像復号装置は、ハードウエア的には、ＣＰＵ、メモリ、その他のＬＳＩで実現できる。同様に、ソフトウエア的には画像復号機能を有するプログラムなどによって実現される。図２は、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００３１】
次に、本発明による第１の実施の形態における画像復号装置１００のデータ量子化判定部１０７の動作を説明する。
【００３２】
図６に示されるように、先ず、符号化画像データＣＩが供給され、符号バッファ１０３に格納される。制御パラメータ１０１がデータ量判定部１０７に供給される（ステップＳ１０）。制御パラメータ１０１は、１画像の単位処理時間Ｔｉ（＝ｔｔｏｔａｌ／総ｆｒａｍｅ数）、画像コードブロック数（ＳＢ）、コードブロックサイズ（ＣＢＳ）、ビットプレーン数ＢＰ（ＣＢＩ）（ＣＢＩはコードブロック番号（座標）を表す）、量子化ステップ数ｑｓ（ＳＢＩ）（ＳＢＩはサブバンド番号（座標）を表す）、ＣＢＩの重み付け量Ｗ（ＣＢＩ）を含む。
【００３３】
続いて、データ量判定部１０７は、画像復号部１１２における復号化処理より前に、算術復号部１１６、ビットプレーン復号部１１８、逆量子化部１２０、及び逆ウェーブレット変換部１２４の処理量を決定する。例えば、データ量判定部１０７は、以下の処理時間を計算する。すなわち、算術符号化処理部１１６による算術符号化処理の処理時間、ビットプレーン復号部１１８が、算術復号化処理の結果から得られたデータを色コンポーネント毎のビットプレーンの形で量子化し、最終的に出力するまでの処理時間、逆量子化処理部１２０が、ビットプレーン復号部１１８における処理結果に対して逆量子化を施す処理時間、及び逆ウェーブレット変換部１２４が逆量子化処理の結果得られた第ｎ階層の画像ＷＩｎに対し逆ウェーブレット変換を施す処理時間が計算される。より具体的には、本発明の第１の実施の形態における画像復号装置１００に予め割り当てられた全体処理時間（ｔｔｏｔａｌ）と、１フレーム画像に対する単位処理時間Ｔｉが決定される。その後、画像１枚分の処理時間（Ｔｉ）内で、まず、逆量子化部１２０の処理可能なデータ量が決定され、次に、逆ウェーブレット変換部１２４の処理可能なデータ量が決定され、最後に、算術復号部１１６の処理可能なデータ量とビットプレーン復号部１０６の処理可能なデータ量が決定される。
【００３４】
すなわち、逆量子化処理解像度レベルＩＱ＿ｓｕｂｂａｎｄ＿ｌｅｖｅｌ（ＳＢ，ＢＰ（ＣＢＩ），ｑｓ（ＳＢＩ）が計算される（ステップＳ１１）。次に、逆ウェーブレット処理解像度レベルＩＷ＿ｓｕｂｂａｎｄ＿ｌｅｖｅｌ（ＳＢ）が計算される（ステップＳ１２）。その後、その後、逆量子化処理の解像度と逆ウェーブレット処理の解像度から単位処理時間内に処理可能な階層数が決定される。次に、決定された階層数に基づいて算術復号化とビットモデリング復号化処理のデータ量ＩＡＢ＿ｓｕｂｂａｎｄ＿ｐｒｏｃ（Ｍａｘ（Ｌｉｑ，Ｌｉｗ），ＣＢＳ，ＢＰ（ＣＢＩ），Ｗ（ＣＢＩ））が計算される（ステップＳ１３）。
【００３５】
このように、データ量のより少ない逆量子化部１２０の処理および逆ウェーブレット変換部１２４の処理が算術復号化とビットモデリング復号化処理より先に見積られる。その後、決定された階層に含まれる各コードブロックのデータが符号バッファ１０３から読み出されて画像復号部１１２に供給される。１つの画像のうち、他のコードブロックのデータは廃棄される。
【００３６】
計算されたデータ量の範囲内で、算術復号部１１６は算術復号化処理を実行し、ビットプレーン復号部１１８はビットモデリング復号化処理を実行する。この後、逆量子化部１２０は、計算されたデータ量の範囲内でビットモデリング復号化処理後のデータに対する逆量子化処理を実行する。この段階で、原画像に対してｎ回、逆ウェーブレット変換が施されたると、第ｎ階層の同じ画像ＷＩｎが得られる。つづいて、計算された処理時間内でこれらの画像に逆ウェーブレット変換部１２４でｎ−１回逆ウェーブレット変換が施され、第１階層の画像ＷＩ１が生成される。さらにこの画像に対してもう１度逆ウェーブレット変換が施され、復号画像ＤＩ（Ｄｅｃｏｄｅｄ  ｉｍａｇｅ）が得られる。以上のように、復号化画像を得ることができる。尚、上記の構成をバッファを含めて示すと図４に示される構成となる。
【００３７】
上記のように、符号化画像に対して算術復号化処理と、ビットモデリング復号化処理と、逆量子化処理と、逆ウェーブレット変換処理が行われる。しかし、単位フレーム画像に対する上記の処理のデータ量は異なる。従って、符号化画像ＣＩが第３階層の画像であるとして、３ＬＬのコードブロックＣＢから１ＬＬのコードブロックＣＢまでの全てが復号化したのでは、処理時間に偏りが生じ、効率的ではない。連続する複数の画像を符号化する場合には、パイプライン処理を行うことが効率的である。が、処理時間に偏りがあれば、パイプライン処理を行うことはできない。
【００３８】
このため、図１に示されるように、従来では、単位処理時間内に終了できない処理を無視して、単位画像に対するパイプライン処理が行われている。このため、画像によっては算術復号化処理から逆ウェーブレット変換処理まで完全に行われる場合もある。しかし、算術復号化処理から逆量子化処理までは完全に行われるが、時間切れのため逆ウェーブレット変換処理は途中で停止される場合もあった。このため、解凍された画像の品質にばらつきを生じていた。
【００３９】
本発明では、復号化の処理が３つの処理群、即ち、逆量子化処理群と、逆ウェーブレット変換処理群と、算術復号化処理及びビットモデリング復号化処理とを含む処理群とに分けられている。図５は、横軸を時間軸として各処理を示す概念図である。図５を参照して、設定時間が割り当てられている場合、単位フレーム画像に割り当て可能な単位処理時間（画像１枚処理時間）Ｔｉは、フレーム画像数と設定時間に基づき決定される。したがって、上述の３つの処理に割り当てられた処理時間が見積られて設定される。このため、図５に示されるように、事前に割り当てられた処理時間内にビットプレーン階層におけるＭＳＢ側からパイプライン的に各処理が実行され得る。このように、最初に、視覚に対し大きい影響を持つビットプレーンから各処理群を実行するため、得られた画像の品質は安定するようになる。
【００４０】
図７Ａに、ステップＳ１１及びＳ１２におけるビットプレーン層数の見積もりの手順が示される。ここで、圧縮データＣＩは３階層の画像データであるとする。図６のステップＳ１１では、符合化画像データＣＩに対する逆量子化処理の処理時間が見積られる。図７Ａに示されるように、３ＬＬから１ＨＨまでのコードブロックの逆量子化処理は、単位処理時間Ｔｉ内に完了している。次に、ステップＳ１２で符号化画像に対する逆ウェーブレット変換処理の時間が見積られる。図７Ａに示されるように、単位処理時間Ｔｉ内に逆ウェーブレット変換処理は３ＬＬから１ＬＨまでのコードブロックしか終了していない。ステップＳ１１及びＳ１２の低速な処理が全体の処理能力を決定するため、システム全体として２階層の復号化処理が可能であるかが見積られる。すなわち、３ＬＬから３ＨＨと、２ＬＬから２ＨＨまでのコードブロックの復号化が可能であるかが見積られる。
【００４１】
次に、逆量子化処理の解像度レベルＩＱ＿ｓｕｂｂａｎｄ＿ｌｅｖｅｌ（）を決定するための見積処理（ステップＳ１１）の詳細を図１０Ａと図１０Ｂを参照して説明する。まず、ステップＳ７１で３ＬＬのコードブロックＣＢに対する逆量子化部１２０による逆量子化処理の処理時間ｔＱ３ＬＬが積算時間ｔ（ｔ＝ｔＱ３ＬＬ（＝ｔ０））に設定される。又、階層数を示すレベルカウンタｌｅｖｅｌ＿ｃｏｕｎｔｅｒは０に設定される。処理時間ｔＱ３ＬＬは、アルゴリズムや画素数に相当するコードブロック３ＬＬのサイズに基づいて計算される。
【００４２】
ステップＳ７２では、積算時間ｔが単位処理時間Ｔｉ内であるか否かが判定される。このとき、積算時間ｔが単位処理時間Ｔｉ内であるので、次にステップＳ７３が実行される。ステップＳ７３において、レベルカウンタは０であるので、積算時間ｔは、ｔ＝ｔＱ３ＬＬ＋３＊４０＊ｔＱ３ＬＬとなる。この結果、積算時間ｔは４＊ｔＱ３ＬＬ（＝ｔ１）となる。すなわち、３ＬＬから３ＨＨまでの１つの階層の積算時間が計算されたことになる。次に、ステップＳ７４で、レベルカウンタの値が１だけインクリメントされる。これにより、次の階層の処理時間が計算されることになる。その後、フローはステップＳ７２に戻る。
【００４３】
ステップＳ７２は、前述と同様に実行され、ステップＳ７３が実行される。ステップＳ７３では、積算時間ｔは、ｔ１＋３＊４１＊ｔＱ３ＬＬとなる。すなわち、積算時間ｔ（＝ｔ２）＝４＊ｔＱ３ＬＬ＋３＊４１＊ｔＱ３ＬＬ＝１６＊ｔＱ３ＬＬとなる。この結果、２番目の階層までの積算時間ｔが求まる。
【００４４】
上記の処理が繰り返され、ステップＳ７２で積算計算時間ｔが単位処理時間Ｔｉを過ぎたとき、ステップＳ７５が実行され、逆量子化処理の解像度レベルＬｉｑが決定される。上記の処理における、累積計算時間ｔ、レベルカウンタの値、解像度レベルＬｉｑが図１０Ｂに示されている。
【００４５】
次に、逆ウェーブレット変換処理の解像度レベルＬｉｗ（＝ＩＱ＿ｓｕｂｂａｎｄ＿ｌｅｖｅｌ（））を決定するための見積処理（ステップＳ１２）の詳細を図１１Ａと図１１Ｂを参照して説明する。図１０Ａとの比較から明らかなように、図１１Ａに示されるフローは、逆量子化処理に代わって、逆ウェーブレット変換処理が採用されているだけで、全く同じである。
【００４６】
先ず、ステップＳ８１で３ＬＬのコードブロックＣＢに対する逆ウェーブレット変換部１２４による逆ウェーブレット変換処理の処理時間ｔＱ３ＬＬが積算時間ｔ（ｔ＝ｔＱ３ＬＬ（＝ｔ０）に設定される。又、階層数を示すレベルカウンタｌｅｖｅｌ＿ｃｏｕｎｔｅｒは０に設定される。処理時間ｔＱ３ＬＬは、逆量子化処理と同様に、アルゴリズムや画素数に相当するコードブロック３ＬＬのサイズに基づいて計算される。ステップＳ８２では、積算時間ｔが単位処理時間Ｔｉ内であるか否かが判定される。このときには、単位処理時間Ｔｉ内であるので、次にステップＳ８３が実行される。ステップＳ８３において、レベルカウンタは０であるので、積算時間ｔは、ｔ＝ｔＱ３ＬＬ＋３＊４０＊ｔＱ３ＬＬとなる。この結果、積算時間ｔは４＊ｔＱ３ＬＬ（＝ｔ１）となる。すなわち、３ＬＬから３ＨＨまでの１つの階層の積算時間ｔが評価されたことになる。次に、ステップＳ７４で、レベルカウンタの値が１だけインクリメントされる。これにより、次の階層の処理時間が計算されることになる。その後、フローはステップＳ８２に戻る。
【００４７】
ステップＳ８２は、前述と同様に実行され、ステップＳ８３が実行される。ステップＳ８３では、積算時間ｔは、ｔ１＋３＊４１＊ｔＱ３ＬＬとなる。すなわち、積算時間ｔ（＝ｔ２）＝４＊ｔＱ３ＬＬ＋３＊４１＊ｔＱ３ＬＬ＝１６＊ｔＱ３ＬＬとなる。この結果、２番目の階層までの積算計算時間が求まる。
【００４８】
上記の処理が繰り返され、ステップＳ８２で積算時間ｔが単位処理時間Ｔｉを過ぎたとき、ステップＳ８５が実行され、逆ウェーブレット変換処理の解像度レベルＬｉｗが決定される。上記の処理における、積算時間ｔ、レベルカウンタの値、解像度レベルＬｉｗが図１１Ｂに示されている。
【００４９】
次に、図８を参照して、ステップＳ１３における見積処理の詳細を説明する。算術復号化処理とビットモデリング復号化処理の処理時間の決定について詳細に説明する。図８は、処理時間を計算するためのに３ＬＬから１ＨＨのコードブロックＣＢに対し予め割り当てられた重み付け係数Ｗ（ＣＢＩ）を示している。最も大きい重み付け係数Ｗ（ＣＢＩ）＝８は、原画像の最も基本的な性質の再生に用いられる最も低い周波数成分のデータを有するコードブロック３ＬＬに設定される。次に、重み付け係数Ｗ（ＣＢＩ）＝４は、次に重要なコードブロック３ＨＬ及び３ＬＨに割り当てられる。又、重み付け係数Ｗ（ＣＢ）＝２は、更に次に重要な３ＨＨ、２ＨＬ、及び２ＨＨに割り当てられる。最後に、最低の重み付け係数Ｗ（ＣＢ）＝１は最も高い周波数成分を持つデータを有するコードブロック１ＬＬ、１ＨＬ、及び１ＬＨに設定される。
【００５０】
単位処理時間Ｔｉ内に３ＬＬから２ＨＨまでのコードブロックＣＢの算術復号化とビットモデリング復号化の処理が終了するように、各コードブロックの処理時間が決定され、リザーブされる。この結果が図７Ｂに示されている。言い換えると、図７Ｂは算術復号化及びビットモデリング復号処理（ビットプレーン処理）の処理時間を各ブロックに割り当てる方法を示す図である。上述のように、単位処理時間Ｔｉ内に３ＬＬから３ＨＨ及び２ＬＬから２ＨＨまでの２階層のコードブロックＣＢを復号化できることが既に決定されている。処理時間は、全体処理時間に対する各コードブロックの処理時間の割合が、３ＬＬから２ＨＨまでのコードブロックの重み付け係数の総量に対する各コードブロックの重み付け係数の割合と同じ割合になるのように、各コードブロックに設定される。３ＬＬから２ＨＨまでのコードブロックの重み付け係数の総量は２４であるため、３ＬＬコードブロックに割り当てられる処理時間ｔｃｂ（３ＬＬ）は、処理時間Ｔｉ＊（８／２４）となる。同様にして、２ＨＨコードブロックに割り当てられる処理時間ｔｃｂ（２ＨＨ）はＴｉ＊（２／２４）となる。
【００５１】
次に、図９及び図１２を参照して、算術復号化処理及びビットモデリング復号処理（ビットプレーン処理）における各ブロックに対する処理時間の割り当て動作を説明する。
【００５２】
図９は、図７Ｂに示されるように決定された各コードブロックに割り当てられる処理時間内に処理されるビットプレーンの状態を示す。図９に示されるように、３ＬＬコードブロックに割り当てられる処理時間は、他のコードブロックに割り当てられる処理時間より長い。しかし、すべてのビットプレーンが、割り当てられた処理時間内に復号化されない。このとき、ＬＳＢ側のビットプレーンは復号化されずに廃棄される。しかし、このような場合、ビットプレーンの形式では、ＭＳＢ側のビットプレーンは画像表示における画像の概略を示し、ＭＳＢ側のビットプレーンは画像の詳細を示す。このため、ＬＳＢ側のビットプレーンが復号化されずに破棄されたとしても、視覚に与える影響は小さい。又、同様にして、３ＬＬと３ＬＨのコードブロックに割り当てられた処理時間が短く、最後のビットプレーンまで復号化処理が実行されない場合がある。これとは逆に、３ＨＬコードブロックのように処理時間が余ってしまう場合がある。そのようなときには、この余った処理時間は、先ず３ＬＬコードブロックの復号化処理に当てられ、３ＬＬコードブロックにおけるＬＳＢ側の低レベルなビットプレーンが復号化処理される。これにより、画像をより良好に復号できる。すべてのビットプレーンを復号化処理しても、まだ処理時間が余る場合、余った処理時間は他のコードブロックに割り当てられる。
【００５３】
次に、算術復号化処理及びビットモデリング復号処理における処理時間の決定について詳細を説明する。図１２を参照して、ステップＳ９１で、処理可能と決定された２階層におけるコードブロックに割り当てられている重み係数の合計が計算される。ステップＳ９２で、各コードブロックＣＢに割り当てられる処理時間が計算される。ステップＳ９３で各コードブロックのデータが出力される。
【００５４】
次に、図１２に示される処理の詳細を説明する。
【００５５】
図１３を参照して、重み係数の合計が計算される処理を説明する。ステップＳ１０１では、変数ｉ及び合計重みＷｔｏｔａｌが０に設定される。ステップＳ１０２で、対象となるコードブロックが処理されるべき階層に属しているか否かが判定される。属している場合には、ステップＳ１０３が実行され、合計重みＷｔｏｔａｌにそのコードブロックに割り当てられている重み係数が加算される。続いてステップＳ１０４が実行され、変数ｉが１だけインクリメントされ、フローはステップＳ１０２に戻る。こうして、処理されるべき階層に属している全てのコードブロックに割り当てられている重み係数が加算される。
【００５６】
次に、処理時間の計算（ステップＳ９２）の詳細を図１４を参照して説明する。ステップＳ１１１で変数ｊは０に設定される。ステップＳ１１２で、対象となるコードブロックが処理されるべき階層に属しているか否かが判定される。属している場合には、ステップＳ１１３が実行される。ここで、（コードブロックの重み係数）／（合計重み）＊（単位処理時間）（＝Ｗ（ＣＢｊ）／Ｗｔｏｔａｌ＊Ｔｉ）により、コードブロックに割り当てられる積算時間ｔが計算される。また、その積算時間ｔを符合化パスの単位計算時間ｔｃｐで割り算することにより、そのコードブロックにおける処理可能な符号化パス数ＣＰ（ＣＢｊ）が計算される。その後、ステップＳ１１４で、計算されたコーディングパスＣＰ（ＣＢｊ）が、そのコードブロックに対し初期に割り当てられていたコーディングパス数ＣＰｉｎｉ（ＣＢｊ）より多いかが判定される。ここで、Ｙｅｓのとき（大きいとき）は、ステップＳ１１６が実行され、Ｎｏのとき（大きくないとき）はステップＳ１１７が実行される。コードブロックに対し初期に割り当てられたコーディングパス数ＣＰｉｎｉ（ＣＢｊ）が、計算されたコーディングパス数ＣＰ（ＣＢｊ）より大きい場合、その処理時間内に余裕処理時間は存在する。これとは逆に、コードブロックに対し初期に割り当てられたコーディングパス数ＣＰｉｎｉ（ＣＢｊ）が、計算されたコーディングパス数ＣＰ（ＣＢｊ）より大きくない場合、その処理時間内に余裕処理時間は存在しない。
【００５７】
ステップＳ１１６では、既に処理されたコードブロック内でコードブロック３ＬＬから順に、処理時間が足りないためにカットされてしまった符号化パスを探し、そのコードブロックに対して余裕処理時間に対する符号化パスの追加処理を行う。その後ステップＳ１１７が実行される。
【００５８】
ステップＳ１１７では、計算された処理可能なコーディングパスＣＰ（ＣＢｊ）あるいは追加処理されたコーディングパスＣＰ（ＣＢｊ）から１を減算して、ＲＧＢに対応する３で割り算することによりビットプレーン数が決定される。その後、ステップＳ１１８でｊが１だけインクリメントされ、次のコードブロックのためにステップＳ１１２が再び実行される。尚、上記の処理の様子は、処理可能なデータ量を処理可能なコーディングパス数と読み替えれば、図９に示されているとおりである。
【００５９】
次に、データの出力処理（ステップＳ９３）の詳細について図１５を参照して説明する。ステップＳ１２１では、変数ｋが０に設定される。ステップＳ１２２では、対象となるコードブロックが処理されるべき階層に属しているか否かが判定される。Ｙｅｓのとき（属している場合）には、ステップＳ１２３が実行される。ステップＳ１２３では、上記で決定されたビットプレーン数分のコードデータが出力される。その後、ステップＳ１２４で変数ｋが１だけインクリメントされ、次のコードブロックのためにステップＳ１２２が再び実行される。
【００６０】
このように、本発明では、各復号化処理の処理時間を予め計算し、各処理における処理対象の階層とコードブロックを揃えているので、復号化後の画像の品質が安定している。
【００６１】
上述の説明では、アドレス発生回路１０４は、データ量判定部１０７からの出力データに基づき、符号バッファ１０３から画像復号部１１２に転送されるコードデータのアドレスを指定する。しかし、データ量判定部１０７は、画像復号部１１２内の構成毎に処理時間やデータ量を出力し、構成毎に復号処理が実行されても構わない。
【００６２】
又、上記の説明では、重み付け係数はコードブロックに固定的に割り当てられ、データ量判定部１０７に格納されている。しかし、外部からデータ量判定部１０７に供給された重み付け係数は、フレーム画像毎に動的に変更されても構わない。上述の説明では、単位処理時間は予め設定されるが、全体処理量やフレーム画像数は、制御パラメータ１０１内に含まれて供給されても良い。この場合、全体処理時間とフレーム画像数によって単位処理時間が算出される。
【００６３】
以上、本発明をＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）を例にあげて説明したが、、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）などの符号化圧縮技術に利用可能である。
【図面の簡単な説明】
【００６４】
【図１】図１は、従来の画像復号装置の構成を示すブロック図である。
【図２】図２は、本発明の第１実施例による画像復号装置の構成を示すブロック図である。
【図３】図３は、ＪＰＥＧの符号化が適用される画像例を示す図である。
【図４】図４は、本発明の第１実施例による画像復号装置の変形例の構成を示すブロック図である。
【図５】図５は、本発明の第１実施の形態による画像復号装置のパイプライン処理を示す図である。
【図６】図６は、本発明の第１実施の形態による画像復号装置の動作を説明するフローチャートである。
【図７Ａ】図７Ａは、本発明の第１実施の形態による画像復号装置において、単位処理時間を割り当てる方法を示す図である。
【図７Ｂ】図７Ｂは、本発明の第１実施の形態による画像復号装置において、単位処理時間を割り当てる方法を示す図である。
【図８】図８は、符号化画像データの各コードブロックに割り当てられている重み係数を示す図である。
【図９】図９は、逆量子化処理と逆ウェーブレット変換処理において各コードブロックの本来のデータ処理量と割り当てられたデータ処理量を示す図である。
【図１０Ａ】図１０Ａは、処理可能な階層数を決定するための逆量子化処理のフローチャートである。
【図１０Ｂ】図１０Ｂは、処理可能な階層数を決定するための逆量子化処理の実行結果の例を示す図である。
【図１１Ａ】図１１Ａは、処理可能な階層数を決定するための逆ウェーブレット変換処理のフローチャートである。
【図１１Ｂ】図１１Ｂは、処理可能な階層数を決定するための逆ウェーブレット変換処理の実行結果の例を示す図である。
【図１２】図１２は、算術復号化処理とビットモデリング復号化処理を示すフローチャートである。
【図１３】図１３は、図１２に示される処理の詳細を示すフローチャートである。
【図１４】図１４は、図１２に示される処理の詳細を示すフローチャートである。
【図１５】図１５は、図１２に示される処理の詳細を示すフローチャートである。
【図１６】図１６は、各コードブロックから符号化パス（サブビットプレーン）への分解を示す図である。
【図１】
2007514330.tif 000003
【図２】
2007514330.tif 000004
【図３】
2007514330.tif 000005
【図４】
2007514330.tif 000006
【図５】
2007514330.tif 000007
【図６】
2007514330.tif 000008
【図７Ａ】
2007514330.tif 000009
【図７Ｂ】
2007514330.tif 000010
【図８】
2007514330.tif 000011
【図９】
2007514330.tif 000012
【図１０Ａ】
2007514330.tif 000013
【図１０Ｂ】
2007514330.tif 000014
【図１１Ａ】
2007514330.tif 000015
【図１１Ｂ】
2007514330.tif 000016
【図１２】
2007514330.tif 000017
【図１３】
2007514330.tif 000018
【図１４】
2007514330.tif 000019
【図１５】
2007514330.tif 000020
【図１６】
2007514330.tif 000021
【手続補正書】
【提出日】平成17年5月2日(2005.5.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化画像データのパラメータに基づいて決定される単位処理時間に対する複数の画像復号化処理の各々における符号化画像データの処理量を、前記画像復号化処理に先立って決定する解析部と、
前記決定されたデータ処理量分の前記符号化画像データに対して前記複数の復号化処理の各々を実行し、前記符号化画像データから復号化画像データを生成する画像復号部とを具備する
画像復号装置。
【請求項２】
請求項１に記載の画像復号装置において、
前記パラメータは、前記符号化画像データの内部パラメータである
画像復号装置。
【請求項３】
請求項１に記載の画像復号装置において、
前記パラメータは、前記符号化画像データの外部パラメータである
画像復号装置。
【請求項４】
請求項１に記載の画像復号装置において、
前記パラメータは前記符号化画像データの内部パラメータと外部パラメータを含む
画像復号装置。
【請求項５】
請求項１から４いずれか１項に記載の画像復号装置において、
前記符号化画像データは複数のコードブロックを含み、
前記解析部は、前記符号化画像データの単位処理時間に基づいて前記複数のコードブロックの各々に割り当てられるコードブロックデータ処理量を決定することにより前記データ処理量を決定する
画像復号装置。
【請求項６】
請求項１から５いずれか１項に記載の画像復号装置において、
前記符号化画像データは、符号化画像データストリームの一部であり、
前記符号化画像データストリームのストリーム処理時間は予め決まっており、
前記符号化画像データストリーム内の前記符号化画像データの数と前記ストリーム処理時間とに基づいて前記単位処理時間は決定される
画像復号装置。
【請求項７】
請求項６に記載の画像復号装置において、
前記複数の復号化処理は、算術復号化処理、ビットモデリング復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含み、
前記画像復号化部は、算術復号化処理とビットモデリング復号化処理の組と、逆量子化処理、逆ウェーブレット変換処理とをパイプライン的に実行する
画像復号装置。
【請求項８】
請求項７に記載の画像復号装置において、
前記画像復号化部は、
前記決定されたデータ処理量分、前記符号化画像データに算術復号化処理を行う算術復号化部と、
前記決定されたデータ処理量分、前記算術復号化部による処理結果を色コンポーネントごとにビットプレーンの形でビットモデリング復号化処理するビットプレーン復号部と、
前記決定されたデータ処理量分、前記ビットプレーン復号部による処理結果に逆量子化処理を行う逆量子化部と、
前記決定されたデータ処理量分、前記逆量子化部による処理結果に逆ウェーブレット変換処理を行う逆ウェーブレット変換部とを備える
画像復号装置。
【請求項９】
請求項１から４いずれか１項に記載の画像復号装置において、
前記符号化画像データは複数の階層に符号化されており、
前記解析部は、前記符号化画像データに対する前記逆量子化処理のデータ処理量と前記逆ウェーブレット変換処理のデータ処理量とに基づいて前記復号化処理されるべき階層数を決定し、
前記画像復号化部は、決定された階層数分、前記複数の復号化処理の各々を実行する
画像復号装置。
【請求項１０】
請求項９に記載の画像復号装置において、
前記解析部は、前記決定された階層数に対応する部分以外の前記符号化画像データの部分を破棄する
画像復号装置。
【請求項１１】
請求項９又は１０に記載の画像復号装置において、
前記複数の復号化処理は、算術復号化処理、ビットモデリング復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含み、
前記符号化画像データの前記複数の階層の各々は、複数のコードブロックを含み、
前記パラメータは、前記複数のコードブロックの各々に割り当てられた重み係数を含み、
前記解析部は、前記重み係数と前記単位処理時間から前記複数のコードブロックの各々に対する前記算術復号化処理と前記ビットモデリング復号化処理に対する符号化パス数を決定し、決定された符号化パスからビットプレーン数を決定し、
前記画像復号化部は、前記決定されたビットプレーン数分の前記符号化画像データに対し前記逆量子化処理及び前記逆ウェーブレット変換処理を実行する
画像復号装置。
【請求項１２】
複数の復号化処理により符号化画像データから復号化画像データを復号化する画像復号化方法において、
前記符号化画像データのパラメータに基づいて決定される単位処理時間に対する前記複数の画像復号化処理の各々における前記符号化画像データの処理量を決定するステップと、
前記決定されたデータ処理量分の前記符号化画像データに対して前記複数の復号化処理を実行するステップとを具備する
画像復号化方法。
【請求項１３】
請求項１２に記載の画像復号化方法において、
前記パラメータは、前記符号化画像データの内部パラメータである
画像復号化方法。
【請求項１４】
請求項１２に記載の画像復号化方法において、
前記パラメータは、前記符号化画像データの外部パラメータである
画像復号化方法。
【請求項１５】
請求項１２に記載の画像復号装置において、
前記パラメータは前記符号化画像データの内部パラメータと外部パラメータを含む
画像復号化方法。
【請求項１６】
請求項１２から１５いずれか１項に記載の復号化方法において、
前記符号化画像データは複数のコードブロックを含み、
前記決定するステップは、前記符号化画像データの単位画像処理時間に基づいて前記複数のコードブロックの各々に割り当てられるコードブロックデータ処理量を決定することにより、データ処理量を決定するステップを具備する
画像復号化方法。
【請求項１７】
請求項１２から１６いずれか１項に記載の画像復号化方法において、
前記符号化画像データは、符号化画像データストリームの一部であり、
前記符号化画像データストリームのストリーム処理時間は予め決まっており、
前記符号化画像データストリーム内の前記符号化画像データの数と前記ストリーム処理時間とに基づいて前記単位処理時間を決定するステップを更に具備する
画像復号化方法。
【請求項１８】
請求項１７に記載の画像復号化方法において、
前記複数の復号化処理は、算術復号化処理、ビットモデリング復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含み、
前記複数の画像復号化処理を実行するステップは、算術復号化処理とビットモデリング復号化処理の組と、逆量子化処理、逆ウェーブレット変換処理とをパイプライン的に実行するステップを具備する
画像復号化方法。
【請求項１９】
請求項１２から１５いずれか１項に記載の画像復号化方法において、
前記複数の画像復号化処理を実行するステップは、
前記決定されたデータ処理量分の前記符号化画像データに算術復号化処理を行うステップと、
前記決定されたデータ処理量分、前記算術復号化処理の結果をビットモデリング復号化処理するステップと、
前記決定されたデータ処理量分、前記ビットモデリング復号化処理の結果に逆量子化処理を行うステップと、
前記決定されたデータ処理量分、前記逆量子化処理の結果に逆ウェーブレット変換処理を行うステップとを備える
画像復号化方法。
【請求項２０】
請求項１２から１５いずれか１項に記載の画像復号化方法において、
前記符号化画像データは、複数の階層に符号化されており、
前記決定ステップは、前記符号化画像データに対する前記逆量子化処理のデータ処理量と前記逆ウェーブレット変換処理のデータ処理量とに基づいて前記復号化処理されるべき階層数を決定するステップを具備し、
前記複数の画像復号化処理を実行するステップは、決定された階層数分前記複数の画像復号化処理の各々を実行するステップを備える
画像復号化方法。
【請求項２１】
請求項２０に記載の画像復号化方法において、
前記決定された階層数に対応する部分以外の前記符号化画像データの部分を破棄するステップを更に具備する
画像復号化方法。
【請求項２２】
請求項２０又は２１に記載の画像復号化方法において、
前記複数の復号化処理は、算術復号化処理、ビットモデリング復号化処理、逆量子化処理及び逆ウェーブレット変換処理を含み、
前記符号化画像データの前記複数の階層の各々は、複数のコードブロックを含み、
前記パラメータは、前記複数のコードブロックの各々に割り当てられた重み係数を含み、
前記決定するステップは、前記重み係数と前記単位画像処理時間から前記複数のコードブロックの各々に対する前記算術復号化処理と前記ビットモデリング復号化処理に対する符号化パス数を決定するステップと、決定された符号化パスからビットプレーン数を決定するステップとを具備し、
前記複数の画像復号化処理を実行するステップは、前記符号化画像データのうちの前記決定されたビットプレーン数分の前記符号化画像データに対し前記逆量子化処理及び前記逆ウェーブレット変換処理を実行する
画像復号化方法。
【請求項２３】
請求項１２から２２のいずれか１項に記載の画像復号化方法を実現するためのソフトウエアが記録された、コンピュータ読み取り可能な記録媒体。
【国際調査報告】
2007514330.tif 000022
2007514330.tif 000023
2007514330.tif 000024