(57)【特許請求の範囲】
【請求項１】
画像信号係数をビットプレーン表現する手段と、
該ビットプレーン表現された各ビットを、上位ビットから順にスキャンして初めてシンボル“１”となるビットとこのビットより上位に属するビットとからなる有意ビット群と、該有意ビット群より下位に属するビットからなる既有意ビット群に分類する手段と、
前記有意ビット群を符号化する手段と、
前記既有意ビット群を符号化する手段とを具備し、
前記有意ビット群を符号化する手段は、初めに有意ビット群の符号化を優先して行い、
前記既有意ビット群を符号化する手段は、前記有意ビット群の符号化が全てのビットプレーンに対して終了してから既有意ビット群の符号化を開始し、既有意ビット群の符号化順序として、上位ビットから優先的に符号化していくことを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記有意ビット群を符号化する手段は、可変長符号化を適用することを特徴とする画像符号化装置。
【請求項３】
請求項１に記載の画像符号化装置において、
前記既有意ビット群を符号化する手段は、符号化対象となる画像信号が階層符号化の拡張階層で用いられる差分信号であった場合、既有意ビット群にエントロピー符号化を適用することを特徴とする画像符号化装置。
【請求項４】
基本階層と拡張階層を含む階層型動画像符号化装置の拡張階層に、前記請求項１ないし３のいずれかに記載の画像符号化装置を利用することを特徴とする動画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報量を削減する目的で行われる画像符号化装置に関し、特に順次画像品質を上げながら復号することのできる画像符号化装置およびこれを利用した動画像符号化装置に関する。
【０００２】
【従来の技術】
一般に、画像を符号化した場合の復号画像の品質は符号化時の符号化レートに依存するため、復号側で品質の操作をすることはできない。これは静止画像だけでなく、動画像に対しても同様のことがいえる。しかし、符号化の際に階層的な符号化を行えば、復号側で画像の品質を変えて復号できるようになる。ＭＰＥＧ−２のＳＮＲスケーラビリティ符号化技術に代表される従来の階層的符号化技術では、復号時に操作できる動画像の品質は二段階程度に変更できるに過ぎず、復号機器の性能や伝送路の帯域幅の細かな違いに対応して、最適な品質の復号動画像を提供するのは困難であった。すなわち、高品質な画像を再生するためには拡張階層の符号化データを全て復号できて初めて画質を向上させることができるのであって、拡張階層の途中まで復号できたとしても、途中段階までの復号結果は復号画像の品質になんら寄与することは無く、基本階層のみを復号した場合と同じ品質の画像しか得ることができない。
【０００３】
このような階層符号化の途中段階までの復号は意味をなさないという問題を解消し、途中段階まで復号した結果も全て画像の品質向上に反映させるための技術として、ビットプレーン符号化技術を挙げることができる。ビットプレーン符号化技術により、全ての符号化データを復号することができなかった場合でも、途中まで復号した情報の量に応じた品質の画像を得ることができる。具体的にビットプレーン符号化技術を利用した動画像の符号化方式であるＭＰＥＧ−４のＦＧＳ符号化技術では、基本階層はＭＰＥＧ−４の通常の符号化で作成し、拡張階層はビットプレーン符号化を利用して構成される。
【０００４】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧ−４のＦＧＳ符号化技術等に用いられているような、従来のビットプレーン符号化技術では１パス型の二値ゼロランレングス符号化方法が利用されており、上位プレーンに対しては“０”シンボルが連続で出現するため符号化効率が良い反面、下位プレーンに進むにつれて、シンボルの出現確率がランダムになり、符号化効率が極端に低下するという問題があった。また、符号化時に復号画質を向上させる順序を考慮した符号化がなされていないため、全部の符号化データではなく一部の符号化データを復号する場合の、つまり途中段階の復号画像品質の特性が良くないという問題もあった。
【０００５】
本発明は前記した従来技術の問題点を解決するためになされたものであり、その目的は、復号途中段階の復号画像品質特性を高めることのできる画像符号化装置を提供することにある。さらに他の目的は、該画像符号化装置を用いた動画像符号化装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、画像信号係数をビットプレーン表現する手段と、該ビットプレーン表現された各ビットを、上位ビットから順にスキャンして初めてシンボル“１”となるビットとこのビットより上位に属するビットとからなる有意ビット群と、該有意ビット群より下位に属するビットからなる既有意ビット群に分類する手段と、前記有意ビット群を符号化する手段と、前記既有意ビット群を符号化する手段とを具備し、前記有意ビット群を符号化する手段は、初めに有意ビット群の符号化を優先して行い、前記既有意ビット群を符号化する手段は、前記有意ビット群の符号化が全てのビットプレーンに対して終了してから既有意ビット群の符号化を開始し、既有意ビット群の符号化順序として、上位ビットから優先的に符号化していくようにした点に第１の特徴がある。
この特徴によれば、復号を行う際の途中段階での画像品質特性を良好にすることができる。また、有意ビット群の符号化効率を良好にすることができ、符号化情報量を削減することができる。
【０００９】
また、符号化対象となる画像信号が階層符号化の拡張階層で用いられる差分信号であった場合、既有意ビット群にハフマン符号化等のエントロピー符号化を行うようにした点に第２の特徴がある。この特徴によれば、既有意ビット群の符号化効率を良好にすることができ、発生する符号化情報量を削減することができる。
【００１０】
さらに、本発明の画像符号化装置を、静止画像だけでなく、階層的動画像符号化装置の拡張階層の符号化に適用するようにした点に第３の特徴がある。この特徴によれば、発生する動画像符号化データの符号化情報量を削減できると同時に、復号時に動画像の品質を変えて復号することができるようになる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の画像符号化装置の構成を示すブロック図である。入力された画像信号ａは、まず符号ビット分離部１で符号ビットｂが分離され、画像信号の絶対値ｃが出力される。分離された符号ビットｂは、符号ビット保持部５に保持される。絶対値ｃで表現された画像信号は、符号化前処理部２でビットプレーン表現され、入力された信号がＤＣＴであった場合はさらにジグザグスキャン等を行い、順序を並べ替えた二値ビット系列ｄが出力される。
【００１２】
二値ビット系列ｄは、有意・既有意ビット分離部３で有意ビット群ｅと既有意ビット群ｆの２種類のビット群に分類される。有意ビット群ｅは有意ビット符号化部４で符号化され、一方既有意ビット群ｆは既有意ビット並べ替え部６で図６を参照して後述するように並べ替えられた後、既有意ビット符号化部７で符号化される。ここで、有意ビットｅが符号化された時に、有意ビット符号化部４から出力要請信号ｇが出力され、前記符号ビット保持部５から符号ビットが符号化信号と同時に出力される。符号化された有意ビットｉと符号化された既有意ビットｊと符号ビットｈは、合成処理部８で合成されて、符号化データｋとして出力される。
【００１３】
以下で、前記した各処理について、詳細に説明する。説明の都合上、入力画像信号は直交変換が施されたＤＣＴ係数を入力画像信号とした場合について述べるが、本発明装置は変換の行われていない画像信号に対しても、種類を問わず適用可能である。
【００１４】
まず、図２に示すように、入力画像信号ａであるＤＣＴ係数（例えば、１１，−４，２３，−９，・・・）は正負の値を持っているから、符号ビット分離処理部１は、該ＤＣＴ係数から、正または負を表す符号ビット（Sign）ｂを分離する。符号ビットｂは、一例として、正は０，負は１で表され、符号ビット保持部５に記憶される。また、符号ビット分離部１は、このとき、ＤＣＴ係数の絶対値を取り、ＤＣＴ係数の大きさを表した信号（｜ＤＣＴ｜）ｃを出力する。
【００１５】
次に、符号化前処理部２において、ＤＣＴ係数の絶対値のビットプレーン表現を行う。ビットプレーン表現の際に、ビットプレーン数を決定する必要があるが、これは、ＤＣＴ係数の大きさが最大であるものを求め、その最大ＤＣＴ係数を表現するために必要なビット数に合わせる。図示の例では、最大のＤＣＴ係数は２３であるから、ビットプレーン数は５となる。ここに、ビットプレーンは、例えば図２の［０］〜［４］の各々に対応する０，１からなる横方向のビット列を意味する。
【００１６】
さらに、符号化前処理部２において、ジグザグスキャンによって系列を並べ替え、プレーン単位で二値ビット系列を順次出力する。プレーン単位で順次出力された二系列の符号化順序を図３に示す。以降の符号化は上位プレーンの先頭から順次行うものとする。
【００１７】
次に、有意・既有意ビット分離部３は、図４に示すように、二値ビット系列を有意係数の分布に基づいて、各ビットを有意ビット群と既有意ビット群の二種類のビット群に分類する。ここで有意ビットとは、ＤＣＴ係数をビット表現した時、上位ビットから順にスキャンして初めてシンボル“１”となるビットのことである。つまり、そのＤＣＴ係数の有意ビットより上位に属するビットは全て“０”シンボルとなる。有意ビットと有意ビットより上位に属するビットをまとめて有意ビット群と呼ぶことにする。これとは逆に、有意ビットより下位に属するビットをまとめて既有意ビット群と呼ぶことにする。
【００１８】
図４では、○印のビットが有意ビット、点線の枠で囲まれる範囲に属するビットが有意ビット群、それ以外の範囲に属するビットが既有意ビット群である。
【００１９】
次に、有意ビット符号化部４の符号化処理を図５に示す。有意ビット符号化部４は、有意ビット群に対して二値ゼロランレングス符号化を行う。有意ビットより上側に位置するビットは全て“０”シンボルであることから、“０”シンボルのランが長く続く。また、シンボルの出現確率がランダムである既有意ビットを除いた結果からも、“０”シンボルのランが長く続くことになる。この“０”シンボルのランが長く続くことは、図５の上欄に示されている。その結果、二値ゼロランレングスにより効率の良い符号化を行うことができる。
【００２０】
次に、二値ゼロランレングス符号化は、同図中欄に示されているように、まず(RUN、 EOP)シンボルを作成し、次いで作成された(RUN、 EOP)シンボルを可変長符号化する。この可変長符号化では、ＲＵＮは“０”シンボルの連続数を表し、ＥＯＰは１ならばプレーンの終了を表し、０ならばプレーンは終了していないことを示す。
【００２１】
この有意ビット群の(RUN、 EOP)シンボルは、同図下欄に示されているようになる。また、この可変長符号化では、有意ビット群の有意ビットを区切りとして(RUN、 EOP)シンボルを作成することになるため、１つの(RUN、 EOP)シンボルが作成されるのと同時に、符号ビットｈを出力する必要がある。
【００２２】
次に、残った既有意ビット群の並べ替えおよび符号化処理を行う既有意ビット並べ替え部６および既有意ビット符号化部７の動作を、図６を参照して説明する。図６は、既有意ビット群の符号化処理例を示す。既有意ビット群は図３のようなプレーン単位で行うこともできるが、ここでは画像特性を考慮し、図６の点線矢印で示すように、既に符号化されたビットの直下を符号化する順序に左方向に変更する。すなわち、図６に示されているように、［２］の０から出発して、０，０，０，１，０，０，０，０を一つのプレーンとする。次に、［３］の１から出発して、０，１，０，１，１，１を第２のプレーン、次いで［４］の１から出発して、１，１，０を第３のプレーン、さらに残余の１を第４のプレーンとする。この順序によって、復号時の画像品質に寄与する情報（すなわち、上位ビット）から優先して符号化が行われることとなり、復号途中段階での画像品質特性を良好にすることができる。既有意ビット群の並べ替えを行った結果を図７に示す。並べ替えが終了した既有意ビット群に対しては、ハフマン符号化等のエントロピー符号化を行う。
【００２３】
以上のような手順で符号化された有意ビット群と既有意ビット群は、前記合成処理部８で合成されて、図８のような構造の符号化データｋを作成する。つまり、前半部分が有意ビット群の符号化データから成り、後半部分に既有意ビット群の符号化データを配置する。ただし、有意ビット群の符号化データの適当な場所に、符号ビットの情報も配置する。
【００２４】
次に、本発明の他の実施形態を説明する。この実施形態は、本発明符号化装置を動画像符号化に適用したものであり、その装置構成を図９に示す。図９は、ＭＰＥＧ等の動き補償予測を行う階層型動画像符号化装置を示し、図の構成から明らかなように、該階層型動画像符号化装置は基本階層と拡張階層とからなる。基本階層は、階層化を行わない通常のＭＰＥＧと同様の符号化装置によって作成される。一方、拡張階層に本発明符号化装置１１を適用する。なお、ＭＰＥＧ階層型動画像符号化装置は既知であるので、詳細な動作説明を省略する。
【００２５】
拡張階層は、原画像と基本階層の復号画像の差分画像を符号化することによって構成される。拡張階層の符号化に本発明符号化装置を適用すると、復号時に可変ビットレートで復号が可能となる。また、拡張階層は差分データの符号化を行うことにより、ＤＣＴ係数はラプラス分布に従うようになり、既有意ビット群のシンボルの出現確率に偏りが生じるため、既有意ビット群にハフマン符号等のエントロピー符号化を用いることによる符号化効率の改善が得られるようになる。
【００２６】
以上の説明から明らかなように、請求項１の発明によれば、復号を行う際の途中段階での画像品質特性を良好にすることができる。
【００２８】
また、請求項２の発明によれば、有意ビット群の符号化効率を良好にすることができ、符号化情報量を削減することができる。また、請求項３の発明によれば、既有意ビット群の符号化効率を良好にすることができ、発生する符号化情報量を削減することができる。
【００２９】
また、請求項４の発明によれば、発生する動画像符号化データの符号化情報量を削減できると同時に、復号したデータ量に従った品質の動画像を提供することができる。
【図面の簡単な説明】
【図１】  本発明の一実施形態の構成を示すブロック図である。
【図２】  画像信号のビットプレーンの説明図である。
【図３】  符号化順序の説明図である。
【図４】  有意ビット群と既有意ビット群との分類を示す説明図である。
【図５】  二値ゼロランレングスによる有意ビット群の符号化の説明図である。
【図６】  既有意ビット群の符号化順序の説明図である。
【図７】  画像品質への寄与度を考慮した既有意ビット群の符号化順序の説明図である。
【図８】  合成された符号化データの構造の説明図である。
【図９】  本発明の第２実施形態の構成を示すブロック図である。
【符号の説明】
１・・・符号ビット分離部、２・・・符号化前処理部、３・・・有意・既有意ビット分離部、４・・・有意ビット符号化部、５・・・符号ビット保持部、６・・・既有意ビット並べ替え部、７・・・既有意ビット符号化部、８・・・合成処理部、１１・・・本発明符号化装置。
【図１】
0004039609.tif 000002
【図２】
0004039609.tif 000003
【図３】
0004039609.tif 000004
【図４】
0004039609.tif 000005
【図５】
0004039609.tif 000006
【図６】
0004039609.tif 000007
【図７】
0004039609.tif 000008
【図８】
0004039609.tif 000009
【図９】
0004039609.tif 000010