(57)【要約】  画像信号を所定サイズの２次元ブロックに分割し、分割したブロック毎に、当該ブロックが属する領域の種類を判定する前処理部１を設け、前処理部１により分割されたブロック毎に、前処理部１により判定された領域の種類に対応する符号化処理を実施して圧縮データを生成する。これにより、画面内の各領域に適する符号化処理を実施することができるようになり、その結果、符号化の効率を高めることができる画像符号化装置が得られる。
2010052833.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を所定サイズの２次元ブロックに分割するブロック分割手段と、上記ブロック分割手段により分割されたブロック毎に、当該ブロックが属する領域の種類を判定する領域種類判定手段と、上記ブロック分割手段により分割されたブロック毎に、上記領域種類判定手段により判定された領域の種類に対応する符号化処理を実施して圧縮データを生成する符号化手段とを備えた画像符号化装置。
【請求項２】
符号化手段は、符号化処理の一部を実施する処理部として、ブロック分割手段により分割されたブロックの信号である空間領域の信号を周波数領域の信号に変換して、その変換係数を出力する信号変換部を備え、上記信号変換部が上記ブロックのサイズを領域種類判定手段により判定された領域の種類に対応するサイズに変更し、サイズ変更後のブロックの信号を空間領域の信号から周波数領域の信号に変換することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
符号化手段は、符号化処理の一部を実施する処理部として、ブロック分割手段により分割されたブロックのうち、符号化対象のブロックの変換係数と上記ブロックに隣接しているブロックの変換係数との間で予測処理を実施して予測残差変換係数を生成する予測処理部を備え、上記予測処理部が領域種類判定手段により判定された領域の種類に対応する予測処理方式で予測処理を実施することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
符号化手段は、符号化処理の一部を実施する処理部として、ブロック分割手段により分割されたブロックの予測残差変換係数に対する量子化処理を実施して量子化係数を算出する量子化部を備え、上記量子化部が領域種類判定手段により判定された領域の種類に対応する量子化パラメータ及び量子化テーブルを用いて量子化処理を実施することを特徴とする請求項１記載の画像符号化装置。
【請求項５】
符号化手段は、符号化処理の一部を実施する処理部として、ブロック分割手段により分割されたブロックの量子化係数に対する可変長符号化処理を実施して圧縮データを生成する可変長符号化部を備え、上記可変長符号化部が領域種類判定手段により判定された領域の種類に対応する可変長符号語テーブルを用いて可変長符号化処理を実施することを特徴とする請求項１記載の画像符号化装置。
【請求項６】
符号化手段は、領域種類判定手段により判定された領域の種類を示す領域判定結果信号を符号化して、上記領域判定結果信号の符号化データを圧縮データに含めることを特徴とする請求項１記載の画像符号化装置。
【請求項７】
符号化手段は、符号化処理の一部を実施する処理部として、ブロック分割手段により分割されたブロックのうち、符号化対象のブロックの画像信号と上記ブロックに隣接しているブロックの画像信号との間で予測処理を実施して予測残差信号を生成する予測処理部を備え、上記予測処理部が領域種類判定手段により判定された領域の種類に対応する予測処理方式で予測処理を実施することを特徴とする請求項１記載の画像符号化装置。
【請求項８】
所定サイズに分割されている２次元ブロックの圧縮データから、当該ブロックが属する領域の種類を示す領域判定結果信号を取り出す領域判定結果信号取出手段と、上記領域判定結果信号取出手段により取り出された領域判定結果信号が示す領域の種類に対応する復号処理を実施して、上記２次元ブロックの圧縮データから画像信号を復号する復号手段とを備えた画像復号装置。
【請求項９】
復号手段は、復号処理の一部を実施する処理部として、２次元ブロックの圧縮データに対する可変長復号処理を実施して量子化係数を復号する可変長復号部を備え、上記可変長復号部が領域判定結果信号取出手段により取り出された領域判定結果信号が示す領域の種類に対応する可変長符号語テーブルを用いて可変長復号処理を実施することを特徴とする請求項８記載の画像復号装置。
【請求項１０】
復号手段は、復号処理の一部を実施する処理部として、２次元ブロックの量子化係数に対する逆量子化処理を実施して予測残差変換係数を復号する逆量子化部を備え、上記逆量子化部が領域判定結果信号取出手段により取り出された領域判定結果信号が示す領域の種類に対応する量子化パラメータ及び量子化テーブルを用いて逆量子化処理を実施することを特徴とする請求項８記載の画像復号装置。
【請求項１１】
復号手段は、復号処理の一部を実施する処理部として、所定サイズに分割されている２次元ブロックのうち、復号対象のブロックの予測残差変換係数と上記ブロックに隣接しているブロックの予測残差変換係数との間で予測処理を実施して予測残差信号を復号する予測処理部を備え、上記予測処理部が領域判定結果信号取出手段により取り出された領域判定結果信号が示す領域の種類に対応する予測処理方式で予測処理を実施することを特徴とする請求項８記載の画像復号装置。
【請求項１２】
復号手段は、復号処理の一部を実施する処理部として、２次元ブロックの予測残差信号である周波数領域の信号を空間領域の信号に変換する逆変換部を備え、上記逆変換部が上記２次元ブロックのサイズを領域判定結果信号取出手段により取り出された領域判定結果信号が示す領域の種類に対応するサイズに変更し、サイズ変更後の２次元ブロックの予測残差信号を周波数領域の信号から空間領域の信号に変換することを特徴とする請求項８記載の画像復号装置。
【請求項１３】
復号手段は、復号処理の一部を実施する処理部として、所定サイズに分割されている２次元ブロックのうち、復号対象のブロックの予測残差信号と上記ブロックに隣接しているブロックの予測残差信号との間で予測処理を実施して画像信号を復号する予測処理部を備え、上記予測処理部が領域判定結果信号取出手段により取り出された領域判定結果信号が示す領域の種類に対応する予測処理方式で予測処理を実施することを特徴とする請求項８記載の画像復号装置。
【請求項１４】
復号手段は、復号処理の一部を実施する処理部として、所定サイズに分割されている２次元ブロックのうち、復号対象のブロックの予測残差信号と上記ブロックに隣接しているブロックの予測残差信号との間で予測処理を実施して画像信号を復号する予測処理部を備え、上記予測処理部が画像符号化装置から送信された選択情報から予測処理方式を特定し、上記予測処理方式で予測処理を実施することを特徴とする請求項８記載の画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像信号を可変長符号化する画像符号化装置と、画像符号化装置により可変長符号化された画像信号を復号する画像復号装置とに関するものである。
【背景技術】
【０００２】
フレーム内符号化（イントラ符号化）を行う従来の画像符号化装置として、以下、国際標準方式を採用している画像符号化装置を説明する。
従来の画像符号化装置は、例えば、ＩＳＯ／ＩＥＣ１０９１８（通称ＪＰＥＧ：非特許文献１を参照）や、ＩＳＯ／ＩＥＣ１４４９６−２（通称ＭＰＥＧ−４ｖｉｓｕａｌ：非特許文献２を参照）のように、画面を８画素×８ラインのブロックに分割し、分割したブロック毎に、２次元の離散コサイン変換（ＤＣＴ）を用いて、空間領域から周波数領域に変換する。
そして、符号化対象のブロックの変換係数（空間領域から周波数領域への変換係数）と、そのブロックに隣接するブロックの変換係数との差分による予測処理を実施して予測残差変換係数を求める。
そして、その予測残差変換係数に対する所定の量子化処理を実施して量子化係数を求め、その量子化係数を可変長符号化（ハフマン符号化）する。【０００３】
ここで、図２は画面の一例を示す説明図である。
図２に示すように、画面内には一般的に様々な被写体が含まれている。
このため、画像信号がほとんど変化しない平坦な領域（例えば、背景の空の部分）や、一様な変化が連続している領域（例えば、前景の草原の部分）や、画像信号が激しく変化する複雑な領域（例えば、中央の木々の部分）などがある。
各領域の境界となるエッジなどにおいては、局所的な変化が非常に大きな画像信号となる。【０００４】
図３は図２の画面に類似する画面における２つの領域（空の領域、木々の領域）の画像信号の特性を示す説明図である。
８ビットの画像信号の場合、０〜２５５までの２５６階調を有するが、空の領域では、６０〜１１０辺りの非常に狭い範囲に画像信号が分布していることが分かる。一方、木々の領域では、０〜２５５までの全域に亘って、ほぼ均等に画像信号が分布していることが分かる。
２つの領域に対して、８×８サイズの２次元ＤＣＴを実施して、２次元ＤＣＴの変換係数の電力を測定すると、図４に示すように、空の領域では、ほとんどの成分が弱い電力しか有していないが、木々の領域では、多くのＡＣ（交流成分）係数に対して、かなり大きな電力を有していることが分かる。
特に木々の領域では、ＤＣ（直流）成分である（０，０）成分に近い（０，１）や（１，０）などの低周波数のＡＣ成分には大きな電力が現われていることが分かる（図４では、見易くするために、直流成分の電力値を０としている。図４では、正の値しかとらない電力を用いて表しているが、実際の変換係数は正・負の両方の値をとる）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ＩＳＯ／ＩＥＣ  １０９１８−１「Information technology --Digital compression and coding of continuous-tone still images -- Part 1: Requirements and guidelines」
【非特許文献２】ＩＳＯ／ＩＥＣ  １４４９６−２「Information technology -- Coding of audio-visual objects -- Part 2: Visual」
【発明の概要】
【０００６】
従来の画像符号化装置は以上のように構成されているので、通常画面内には画像信号が大きく変化する領域と、あまり変化しない領域とが存在するが、画面内の全ての画像信号に対して、同一の符号化処理を実施して、画像信号を符号化している。このため、その符号化処理が、画像信号があまり変化しない領域に適する処理であれば、画像信号が大きく変化する領域には適さず、逆に、画像信号が大きく変化する領域に適する処理であれば、画像信号があまり変化しない領域には適さなくなり、符号化の効率が劣化してしまうことがあるなどの課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、画面内の各領域に適する符号化処理を実施して、符号化の効率を高めることができる画像符号化装置を得ることを目的とする。
また、この発明は、上記の画像符号化装置により符号化された画像信号を復号することができる画像復号装置を得ることを目的とする。
【０００８】
この発明に係る画像符号化装置は、画像信号を所定サイズの２次元ブロックに分割するブロック分割手段と、ブロック分割手段により分割されたブロック毎に、当該ブロックが属する領域の種類を判定する領域種類判定手段とを設け、符号化手段がブロック分割手段により分割されたブロック毎に、領域種類判定手段により判定された領域の種類に対応する符号化処理を実施して圧縮データを生成するようにしたものである。
【０００９】
この発明によれば、画像信号を所定サイズの２次元ブロックに分割するブロック分割手段と、ブロック分割手段により分割されたブロック毎に、当該ブロックが属する領域の種類を判定する領域種類判定手段とを設け、符号化手段がブロック分割手段により分割されたブロック毎に、領域種類判定手段により判定された領域の種類に対応する符号化処理を実施して圧縮データを生成するように構成したので、画面内の各領域に適する符号化処理を実施することができるようになり、その結果、符号化の効率を高めることができる効果がある。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１による画像符号化装置を示す構成図である。
【図２】画面の一例を示す説明図である。
【図３】図２の画面に類似する画面における２つの領域（空の領域、木々の領域）の画像信号の特性を示す説明図である。
【図４】図２の画面に類似する画面における２つの領域（空の領域、木々の領域）における各ＡＣ係数の電力を示す説明図である。
【図５】量子化テーブルの一例を示す説明図である。
【図６】ハフマン符号語テーブルの一例を示す説明図である。
【図７】この発明の実施の形態３による画像符号化装置を示す構成図である。
【図８】この発明の実施の形態４による画像復号装置を示す構成図である。
【図９】この発明の実施の形態５による画像復号装置を示す構成図である。
【図１０】符号化対象ブロックの画素等を示す説明図である。
【図１１】符号化対象ブロックの画素等を示す説明図である。
【発明を実施するための形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、前処理部１は画像信号を入力すると、その画像信号を所定サイズの２次元ブロック（以下、このブロックをＭＰＥＧの規格に従って「マクロブロック」と称する）に分割して、各マクロブロックの画像信号（以下、「マクロブロック信号」と称する）を信号変換部２に出力する処理を実施する。
また、前処理部１は各マクロブロックが属する領域の種類（例えば、平坦領域、エッジ領域、複雑領域）を判定し、その領域の種類を示す領域判定結果信号を信号変換部２、変換係数予測処理部３、量子化部４及び可変長符号化部５に出力する処理を実施する。
なお、前処理部１はブロック分割手段及び領域種類判定手段を構成している。
【００１２】
信号変換部２、変換係数予測処理部３、量子化部４及び可変長符号化部５から、前処理部１により分割されたマクロブロック毎に、領域判定結果信号が示す領域の種類に対応する符号化処理を実施して、圧縮データを生成する符号化手段が構成されている。
信号変換部２は前処理部１から出力されたマクロブロック信号である空間領域の信号を所定サイズのブロックに分割してブロックごとに周波数領域の信号に変換し、その変換係数を出力する処理部（符号化処理の一部を実施する処理部）であり、信号変換部２は入力されたマクロブロック信号に対して、変換処理を施すブロックのサイズを前処理部１から出力された領域判定結果信号が示す領域の種類に対応するサイズで分割し、分割後の個々のブロック信号を空間領域の信号から周波数領域の信号に変換する。
【００１３】
変換係数予測処理部３は、符号化対象のブロックの変換係数と、符号化対象のブロックに隣接しているブロックの変換係数との間で予測処理を実施して、予測残差変換係数を生成する処理部（符号化処理の一部を実施する処理部）であり、変換係数予測処理部３は前処理部１から出力された領域判定結果信号が示す領域の種類に対応する予測処理方式で予測処理を実施する。
【００１４】
量子化部４は変換係数予測処理部３により生成された予測残差変換係数に対する量子化処理を実施して、量子化係数を算出する処理部（符号化処理の一部を実施する処理部）であり、量子化部４は前処理部１から出力された領域判定結果信号が示す領域の種類に対応する量子化パラメータ及び量子化テーブルを用いて量子化処理を実施する。
ここで、「量子化テーブル」は、周波数に対する重み付け値を格納しているテーブルであり、「量子化パラメータ」は、量子化テーブルに対する重み付け値である。
【００１５】
可変長符号化部５は量子化部４により算出された量子化係数に対する可変長符号化処理を実施して、圧縮データを生成する処理部（符号化処理の一部を実施する処理部）であり、可変長符号化部５は前処理部１から出力された領域判定結果信号が示す領域の種類に対応するハフマン符号語テーブル（可変長符号語テーブル）を用いて可変長符号化処理を実施する。
また、可変長符号化部５は前処理部１から出力された領域判定結果信号を符号化し、その領域判定結果信号の符号化データを圧縮データに含めて画像復号装置等に出力する。
【００１６】
次に動作について説明する。
前処理部１は、画像信号を入力すると、その画像信号を所定サイズの２次元ブロックであるマクロブロックに分割して、各マクロブロックの画像信号として、マクロブロック信号を信号変換部２に出力する。
また、前処理部１は、各マクロブロックが属する領域の種類を判定し、その領域の種類を示す領域判定結果信号を信号変換部２、変換係数予測処理部３、量子化部４及び可変長符号化部５に出力する。
この実施の形態１では、領域の種類として、画像信号の変化が乏しい「平坦領域」、領域の境界を含むために画像信号が急峻に変化する「エッジ領域」、画像信号の変化が激しい「複雑領域」の３種類を例として説明する。
【００１７】
以下、前処理部１における領域の種類の判定方法を具体的に説明する。
前処理部１は、例えば、図３に示すような画像信号の頻度分布をマクロブロック単位に測定する。
前処理部１は、画像信号の頻度分布をマクロブロック単位に測定すると、一つの狭い範囲を設定し、画像信号の頻度分布が一つの狭い範囲に集中する領域を「平坦領域」と判定する。
また、前処理部１は、画像信号の頻度分布が二つの狭い範囲に集中する領域を「エッジ領域」と判定する。
さらに、前処理部１は、画像信号の頻度分布が広い範囲に亘る領域を「複雑領域」と判定する。
【００１８】
その他の判定方法としては、次のようなものが考えられる。
例えば、図４のような結果が得られるように、画像信号をブロック単位に周波数領域の信号に変換し、その変換係数の直流成分（ＤＣ成分）を除いた総電力量の大きさを２つの閾値を用いて、３段階に分けることにより、３つの領域（平坦領域、エッジ領域、複雑領域）に分類する方法が挙げられる。
類似の手法として、例えば、図４に示される（水平、垂直）が（０，１）の成分の電力と、（１，０）の成分の電力とを測定し、２つの成分の電力の和や平均を２つの閾値を用いて３段階に分ける方法や、（０，１〜７）の成分の電力と（１〜７，０）の成分の電力の和及び比を測定して、その測定結果を２つの閾値を用いて３段階に分ける方法が考えられる。
画面の水平方向にエッジがある場合、水平方向の１〜７の成分には係数が発生せずに、垂直方向の１〜７の成分に大きな係数が発生することになるため、水平方向と垂直方向を分けて測定することにより、エッジの有無をより高精度に検出することができる。
【００１９】
信号変換部２は、前処理部１からマクロブロック信号と領域判定結果信号を受けると、前処理部１により分割されたマクロブロックに対して、領域判定結果信号が示す領域の種類に対応するサイズで分割し、分割後の個々のブロック信号を空間領域の信号から周波数領域の信号に変換する。
以下、領域の種類に対応するブロックのサイズについて説明する。
【００２０】
「平坦領域」では、マクロブロック内の信号の変化が小さく、図４（ａ）のように、変換係数のＡＣ成分のほとんどの値が小さいため、例えば、ブロックのサイズを“１６×１６”というように大きくしても、やはりブロック内の変換係数のＡＣ成分のほとんどの値は小さくなる。
そこで、「平坦領域」と判定された場合には、大きなブロックサイズを選択する。このようにすることによって、周波数領域に変換した際の変換効率が高められる。
逆に、「複雑領域」の場合、大きなブロックでは、複数のテクスチャが含まれており、周波数変換の効率が得られないため、例えば、ブロックのサイズを“４×４”というように小さくすることによって、周波数変換の効率を高める（ブロックのサイズが小さくなると、テクスチャが単一になるように処理されるため、周波数変換の効率が高まる）。
ただし、目標とするビットレートや符号化画質などに関する画像符号化の目的によっては、例えば平坦な領域の微妙な変化を画質として表現したいという目的がある場合には「平坦領域」を小さなブロックで、画質を犠牲にして非常に低いビットレートで圧縮する必要がある場合には「複雑領域」を大きなブロックで、それぞれ変換処理を実施した方が、符号化の効率を高められる場合もある。
【００２１】
ここでは、信号変換部２はブロックの分割サイズを変更するものについて示したが、領域判定結果信号が示す領域の種類に応じて、信号の変換方式を切り替えるようにしてもよい。
信号変換部２は、信号の変換方式として、一般的にはＤＣＴ（離散コサイン変換）を使用するが、例えば、ウェーブレット変換、ハール変換、アダマール変換、スラント変換などの変換方式を使用してもよい。
これらの変換方式は、それぞれ特長があり、例えば、ハール変換とアダマール変換は、“＋１”と“−１”の２つの変換係数のみで構成されているため、加算・減算処理だけで変換することが可能であり、少ない演算量で、かつ、浮動小数点演算のようにプロセッサによる演算誤差が発生しないという特長がある。
また、ウェーブレット変換は、符号化画像のブロック境界を発生することなく変換することができるという特長がある。
スラント変換は、Ｖ字型やＷ字型のように直線的な傾斜成分に変換するものであり、明るさや色あいが滑らかに変化する信号に対して、少ない係数で変換することができるという特長がある。
【００２２】
「平坦領域」では、ブロック境界が発生すると目立ち易いので、ブロック境界が発生しないウェーブレット変換を選択し、あるいは、演算誤差が発生すると目立ち易いので、演算誤差が発生しないハール変換もしくはアダマール変換を選択するなどが考えられる。
また、「平坦領域」では、前述のようにＡＣ成分があまり発生しないので、変換効率の差が得られ難い。そこで、ＤＣＴのように演算処理は多いが、変換効率の高いものを使用する代わりに、変換効率はＤＣＴよりも劣るが、演算処理量が少ないハール変換もしくはアダマール変換を選択するという手法が考えられる。あるいは、平坦ではあっても一様に緩やかに変化するグラデーションのかかった成分を含むような場合には、傾斜成分を利用できるスラント変換を選択するという手法が考えられる。
「複雑領域」では、ブロック境界が目立ち難いので、ＤＣＴを選択するなどが考えられる。あるいは、多くのＡＣ成分の変換係数が発生するので、より変換効率が高いＤＣＴを選択するなどが考えられる。
「エッジ領域」では、水平方向や垂直方向のエッジ成分の場合、急峻なエッジを表現可能なハール変換やアダマール変換を選択するという手法が考えられ、また、斜め方向のエッジ成分の場合、多くのＡＣ成分が必要となるため、変換効率の高いＤＣＴを選択するという手法が考えられる。
あるいは、大きなブロックサイズが選択されたときには、多くの信号を扱うために、演算に必要とするビット数が多くなるが、小さなブロックサイズが選択されたときには、少ない信号しか扱わないので、例えば演算に使用できるビット数が制限されているプロセッサを使用する場合には、大きなブロックサイズが選択されたときにはハール変換やアダマール変換のように少ない演算量で構成できるものを選択し、小さなブロックサイズが選択されたときにはＤＣＴやウェーブレット変換のように多くの演算量を必要とするものを選択する手法が考えられる。
【００２３】
このように、符号化の目的や用途に応じて、変換方式を切り替えるようにすればよい。
これにより、符号化の圧縮効率を高めたり、復号画像の主観的な画質を高めたりすることが可能となる。
なお、上記説明では、判定された領域に対して、特定の変換方式を１対１で割り当てるものを示したが、例えば「平坦領域」では、アダマール変換、ＤＣＴ、ウェーブレット変換、「複雑領域」では、ＤＣＴ、ウェーブレット変換、アダマール変換というように、領域毎に使用する変換方式の優先順位を設けておいて、どの変換方式を選択したかを示すデータを追加し、それぞれの領域毎、あるいは、ブロック毎に変換方式を選択できるようにしてもよい。
これにより、最も適した変換方式を使用して、符号化処理を行うことができるようになるため、高い符号化効率を得ることができる。
【００２４】
変換係数予測処理部３は、信号変換部２から符号化対象のマクロブロックの変換係数を受けると、符号化対象のブロックの変換係数と、符号化対象のブロックに隣接しているブロック（以下、「隣接ブロック」と称する）の変換係数との間で予測処理を実施して、予測残差変換係数を生成する。
ただし、変換係数予測処理部３は、予測処理を実施して、予測残差変換係数を生成する際、前処理部１から出力された領域判定結果信号が示す領域の種類に対応する予測処理方式で予測処理を実施する。
以下、領域の種類に対応する予測処理方式について説明する。
【００２５】
「平坦領域」では、図４（ａ）のように、変換係数の値が非常に小さいため、ＡＣ係数の予測処理の効果がほとんど得られない。
そこで、変換係数予測処理部３は、平坦領域と判定されたマクロブロックに対しては、ＡＣ係数の予測処理を一切行わないようにする。
ＭＰＥＧ−４の場合、マクロブロック毎に、ＡＣ係数の予測処理を行うか否かを示す“ａｃ＿ｐｒｅｄ＿ｆｌａｇ”という１ビットのフラグを圧縮データに必ず含める方式となっているが、平坦領域と判定された場合には、ＡＣ予測を行わないので、“ａｃ＿ｐｒｅｄ＿ｆｌａｇ”を含まないことにすることができる。
このようにすることによって、１つのマクロブロックで、１ビットのデータを削減することが可能となる。
【００２６】
「エッジ領域」の場合、例えば、水平方向のエッジを含むブロックでは、（水平、垂直）が（１〜７，０）の成分に大きな値の変換係数が発生し、垂直方向のエッジを含むブロックでは（０，１〜７）の成分に大きな値の変換係数が発生する。
このエッジ成分が複数のブロックを跨って連続している場合には、隣接ブロックと同じような変換係数が発生するため、変換係数の予測処理を行うことによって、予測残差変換係数の多くがゼロに近くなる。そのため、後段の量子化処理・可変長符号化処理によって、符号化効率を大いに高まることが期待される。
そこで、変換係数予測処理部３は、エッジ領域と判定されたマクロブロックに対しては必ずＡＣ係数の予測処理を行うようにする。
ＭＰＥＧ−４の場合、上記の平坦領域と同様に、“ａｃ＿ｐｒｅｄ＿ｆｌａｇ”の１ビットのデータを削減することが可能となる。
【００２７】
「複雑領域」では、図４（ｂ）のように、多くの変換係数が発生するとともに、その変換係数の値も大きなものとなる。
また、複雑な信号であるため、必ずしも隣接ブロックと同じような変換係数が発生するとは限らない。
そこで、ＡＣ係数の予測処理については、従来のＭＰＥＧ−４の“ａｃ＿ｐｒｅｄ＿ｆｌａｇ”と同様に、ＡＣ予測処理を行うか否かを示すデータを生成して、圧縮データに加えることにより、符号化効率が高められる処理を選択できるようにする。
【００２８】
ＡＣ係数の予測処理においては、後段のＡＣ係数の量子化処理と組み合わせる手法が考えられる。
量子化処理において、量子化パラメータが大きい場合には、多くのＡＣ係数がゼロに量子化されることになり、大きな量子化誤差が発生する。
一方、量子化パラメータが小さい場合には、多くのＡＣ係数が非ゼロに量子化されることになり、量子化誤差が小さく抑えられる。
そこで、量子化パラメータが大きい場合には、ＡＣ係数に対する予測効果がほとんど得られないので、常にＡＣ予測処理を行わないようにする。これにより、ＡＣ予測処理を行うか否かを示すデータを不要とすることができる。
一方、量子化パラメータが小さい場合には、ＡＣ係数に対する予測効果が、周辺の画像信号の状態に応じて得られる場合と得られない場合があるため、ＡＣ予測処理を行うか否かを示すデータを生成して、ＡＣ予測を行ったり行わなかったりする。これにより、ＡＣ予測処理によって符号化効率が高められる。
【００２９】
ＡＣ係数の予測処理としては、信号変換部２から出力された符号化対象のブロックの変換係数と、隣接ブロックの変換係数との７つのＡＣ係数に対して、単純に差分を求める従来のＭＰＥＧ−４の方式を使用するだけではなく、例えば、差分を求める際、隣接ブロックの変換係数を半分の値や２倍の値にする所定の重み付け処理を実施してから、上記の差分を求める方法を使用するようにしてもよい。
また、ＤＣ係数に近い３つのＡＣ係数だけを対象にして予測処理を実施したり、６３個のＡＣ係数の全てを対象にして予測処理を実施したりするなど、予測する対象のＡＣ係数の個数を切り替えることによって、符号可能効率を高める手法を使用してもよい。
このように、重み付け処理を実施する場合や、予測する変換係数の個数を切り替える場合には、重み付けの値や予測する対象のＡＣ係数の個数などを示すパラメータを、別途、後述する可変長符号化部５から出力される圧縮データに含めるようにする。
あるいは、「エッジ領域」では、前述のように水平方向または垂直方向の７個のＡＣ係数だけを対象とし、「複雑領域」では、６３個のＡＣ係数の全てを対象とするというように、領域に応じて予測するＡＣ係数の個数を切り替える手法も考えられる。これにより、領域の信号状態に適した予測処理が可能となる。
なお、重み付けの値は、一つのブロックに対して固定の値ではなく、６３個のＡＣ係数のそれぞれの成分毎に個別の値を使用することも可能である。この場合には、６３個の重み付けの値を圧縮データに含めることになる。
【００３０】
量子化部４は、変換係数予測処理部３から予測残差変換係数を受けると、前処理部１から出力された領域判定結果信号が示す領域の種類に対応する量子化パラメータ及び量子化テーブルを用いて、その予測残差変換係数に対する量子化処理を実施して、量子化係数を算出する。
通常、量子化部４に用いられる量子化パラメータと量子化テーブルは、画像符号化装置に与えられる目標符号量の大小や、それまでに発生している符号量の大小に応じて値が設定されるが、この実施の形態１では、前処理部１から出力される領域判定結果信号が示す領域の種類に応じて値が設定されるように構成されている。
以下、領域の種類に対応する量子化パラメータと量子化テーブルについて説明する。
【００３１】
「平坦領域」では、画像信号の変化が乏しく、図４（ａ）のように、ほとんどの変換係数は小さな値しかとらないため、予測残差変換係数も小さな値をとる。
逆に「複雑領域」では、画像信号の変化が大きく、図４（ｂ）のように、多くの変換係数が大きな値をとるため、予測残差変換係数も大きな値をとる傾向になる。
「エッジ領域」では、エッジの方向成分に合わせて、特定の変換係数が大きな値をとるため、ＡＣ予測がうまく効いたときには、予測誤差変換係数は小さな値となるが、ＡＣ予測がうまく効かなかったときには、予測誤差変換係数は大きな値をとる。
そこで、圧縮率の低い高画質な符号化処理を行う場合、「平坦領域」では、量子化パラメータを小さくすることにより、平坦ながらも微小に変化している画像を表現することができるようにする。
一方、高い圧縮率で画質の低い符号化処理を行う場合、「平坦領域」では、量子化パラメータを大きくすることにより、ほとんどの量子化係数をゼロにして、符号化効率を格段に高めることができるようにする。
「複雑領域」では、量子化パラメータを大きくすることにより、符号量の発生を抑制するようにする。
「エッジ領域」については、エッジ周辺に発生しやすい符号化雑音を抑制するために、小さめの量子化パラメータを使用する。
このように領域の種類に応じて量子化パラメータを設定することによって、符号化効率を高めることが可能となる。
【００３２】
量子化テーブルについても、値の大小を設定することで、量子化パラメータと同様の効果を得ることが可能となるが、量子化テーブルの場合には、予測残差変換係数の周波数領域毎に重みを付けて設定することができる。
例えば、ＪＰＥＧやＭＰＥＧでは、図４の（０，１）や（１，０）の成分には小さめの値、（７，７）成分には大きめの値を設定する推奨値や初期値が標準書に記されている。
【００３３】
従来の符号化方式では、画面内で全て同じ値の量子化テーブルを使用するようにしているが、この実施の形態１では、領域単位に異なる値の量子化テーブルを使用するようにしている。
図５は量子化テーブルの一例を示す説明図である。
「平坦領域」では、図５（ａ）に示すように、量子化テーブルの全ての値を小さくすることによって、微小に変化している画像を表現できるようにしている。
「複雑領域」では、図５（ｃ）に示すように、量子化テーブルの値を周波数が高い領域程、大きくすることによって、低周波成分については、少ない符号量であっても表現ができるようにしている。
「エッジ領域」でも、「複雑領域」と同様に、量子化テーブルの値を周波数が高い領域程、大きくしているが、図５（ｂ）に示すように、「複雑領域」における量子化テーブルの値より小さな値に設定している。
【００３４】
なお、量子化テーブルの値については、規格として値を定めて、画像符号化装置及び画像復号装置にそれぞれ同じ値を設定するようにしてもよいし、初期値のみを定めておいて、画像符号化装置が量子化テーブルの値を圧縮データに含めて画像復号装置に送信することで、量子化テーブルの値を随時更新するようにしてもよい。
あるいは、それぞれの領域毎に、複数の量子化テーブルを用意して、量子化テーブルを選択できるようにして、どの量子化テーブルを選択したかのデータを別途符号化してもよい。圧縮率が高いときには、大きな値の量子化テーブルを使用することにより、符号量を減らすことができる。圧縮率が低いときには、小さな値の量子化テーブルを使用することにより、画質を高めることができる。
【００３５】
可変長符号化部５は、量子化部４から量子化係数を受けると、前処理部１から出力された領域判定結果信号が示す領域の種類に対応するハフマン符号語テーブルを用いて、その量子化係数に対する可変長符号化処理を実施して、圧縮データを生成する。
従来の符号化方式では、予め定められているハフマン符号語テーブルや算術符号化方式を使用しており、画面内の全ての領域に対して同じ可変長符号化処理を行うようにしているが、この実施の形態１では、前処理部１から出力される領域判定結果信号が示す領域の種類に応じて、ハフマン符号語テーブルや算術符号化方式を切り替えることにより、より効率の高い可変長符号化処理を実施できるようにしている。
【００３６】
図６はハフマン符号語テーブルの一例を示す説明図である。
「平坦領域」では、図４（ａ）のように、変換係数の値が小さいため、多くの量子化係数が小さな値になる。
そこで、図６（ａ）に示すように、小さな値が多く発生する状態に最適化しているハフマン符号語テーブルを使用することによって、可変長符号化処理の効率を高めることができるようにしている。
「複雑領域」では、図４（ｂ）のように、変換係数の値が大きなものから小さなものまで色々と発生するため、図６（ｂ）に示すように、このような状態に最適化しているハフマン符号語テーブルを使用することによって、可変長符号化処理の効率を高めることができるようにしている。
【００３７】
ここでは、可変長符号化部５がハフマン符号語テーブルを切り替えるものについて示したが、ＪＰＥＧやＭＰＥＧで採用されている８×８の２次元のブロックデータを６４個の１次元データに並べ替えるジグザグスキャンと呼ばれる処理についても、領域の種類に応じて切り替えるようにしてもよい。
例えば、平坦領域や複雑領域では、図４に示すように、低周波領域から高周波領域に向かって変換係数が一様に小さくなっていくので、従来のジグザグスキャンを使用すればよいが、エッジ領域の場合、例えば、水平方向のエッジを含むマクロブロックでは、水平方向の高周波領域の係数は小さい電力しか持たないが、垂直方向の高周波領域の係数は大きな電力を持つため、垂直方向を優先的にスキャンし、逆に垂直方向のエッジを含むマクロブロックでは、水平方向を優先的にスキャンするように切り替える。
【００３８】
可変長符号化部５は、上記のようにして、圧縮データを生成すると、前処理部１から出力された領域判定結果信号を符号化し、その領域判定結果信号の符号化データを上記圧縮データに含めて画像復号装置に送信する。
【００３９】
以上で明らかなように、この実施の形態１によれば、画像信号を所定サイズの２次元ブロックに分割し、分割したブロック毎に、当該ブロックが属する領域の種類を判定する前処理部１を設け、前処理部１により分割されたブロック毎に、前処理部１により判定された領域の種類に対応する符号化処理を実施して圧縮データを生成するように構成したので、画面内の各領域に適する符号化処理を実施することができるようになり、その結果、符号化の効率を高めることができる効果を奏する。
なお、この実施の形態１では、前処理部１により判定された領域の種類に応じて信号変換部２、変換係数予測処理部３、量子化部４、可変長符号化部５の全てが内部の処理を切り替えるものとして説明したが、必ずしも全てが切り替える必要はなく、一部の処理だけが切り替えるものであっても、符号化の効率を高めることは可能である。
【００４０】
実施の形態２．
上記実施の形態１では、前処理部１が領域の種類を判定して、「平坦領域」と「エッジ領域」と「複雑領域」の３つに分類するものについて示したが、前処理部１が領域の種類を判定して、例えば、「高階調が必要な領域」と「高階調が不要な領域」の２つに分類するようにしてもよい。
以下、具体例を説明する。
【００４１】
ディジタルの画像信号は、各々の画素が持つビット数で階調が決められる。
例えば、８ビットの画素の場合、０〜２５５の２５６階調を表現することができ、１２ビットの画素の場合、０〜２０４７の２０４８階調を表現することができる。
階調数が大きい程、画像信号の表現力が豊かになり、高品質化が可能になるが、データ量が大きくなるため、取り扱いの不便さが発生する。
【００４２】
一般の画像信号の場合、画面の全体に対して、必ずしも高階調である必要はなく、大抵の場合、画面の一部分だけが高階調であれば十分である。
図２を例にとって説明すると、木々の領域は、画像信号の変化が激しいため、例え細かな信号表現が行えても人間の目には感知できない。また、符号化処理を実施すると、多くの符号化雑音が発生してしまうため、高階調の効果がほとんど得られない。
一方、空の領域は、微妙な陰影や地平に向かって、段々と青が薄くなるようなグラデーションが含まれる場合、画像信号の変化が小さいため、階調数が少ないと表現力がなくなる。そのため、微妙な変化が全てなくなって一色で表されたり、徐々に変化していくグラデーションが階段状に変化してしまって、自然な感じが失われてしまったりすることがある。
【００４３】
そこで、この実施の形態２では、前処理部１が領域の種類として、空の領域のような「高階調が必要な領域」と、木々の領域のような「高階調が不要な領域」とを判別するようにしている。
信号変換部２は、前処理部１から出力されたマクロブロック信号を空間領域の信号から周波数領域の信号に変換する際、「高階調が必要な領域」のマクロブロック信号の変換処理の実施については、例えば、処理するビット長を長くして変換処理の精度を高め、誤差の少ない処理を行うようにする。
一方、「高階調が不要な領域」のマクロブロック信号の変換処理の実施については、例えば、処理するビット長を短くして、変換処理の精度が低くなっても、処理負荷が軽くなるようにする。
【００４４】
変換係数予測処理部３は、予測処理を実施して、予測残差変換係数を生成する際、符号化対象のマクロブロックが「高階調が必要な領域」の場合、上記実施の形態１と同様に、隣接マクロブロックの変換係数を用いて、誤差が少ない予測処理を実施する。
一方、符号化対象のマクロブロックが「高階調が不要な領域」の場合、例えば、処理するビット長を短くし、予測処理の精度が低くなる代わりに処理負荷が軽くなるようにする。
【００４５】
量子化部４は、変換係数予測処理部３から出力された予測残差変換係数に対する量子化処理を実施する際、符号化対象のマクロブロックが「高階調が必要な領域」の場合、小さな値の量子化パラメータを使用して、量子化誤差が少ない量子化処理を実施するようにする。
あるいは、周波数領域上で重み付けがない量子化テーブルや、重み付けが小さい量子化テーブルを使用して、量子化誤差が少ない量子化処理を実施するようにする。
例えば、１２ビットの予測残差変換係数を量子化する場合、量子化パラメータとして、１〜４などの小さな値を使用すると、量子化部４から出力される量子化係数は１２〜１０ビットになるが、図４（ａ）のように、元々、変換係数の値として小さなものが多いため、出力される量子化係数も小さなものが多くなる。
【００４６】
一方、符号化対象のマクロブロックが「高階調が不要な領域」の場合、量子化誤差が大きくなっても構わないので、大きな値の量子化パラメータや、周波数領域上で重み付けが大きい量子化テーブルを使用して、量子化処理を実施する。
例えば、１２ビットの予測残差変換係数を量子化する場合、量子化パラメータとして、３２〜１２８などの大きな値を使用すると、量子化部４から出力される量子化係数は７〜５ビットとなり、同時に多くの量子化係数はゼロになる。
【００４７】
可変長符号化部５は、量子化部４から出力された量子化係数に対する可変長符号化処理を実施する際、符号化対象のマクロブロックが「高階調が必要な領域」の場合、値が小さな量子化係数が多いので、小さな値が多く発生する状態に最適化しているハフマン符号語テーブルを使用することによって（図６（ａ）を参照）、可変長符号化処理を実施する。
一方、符号化対象のマクロブロックが「高階調が不要な領域」の場合、値がゼロの量子化係数が多いので、ゼロの値が多く発生する状態に最適化しているハフマン符号語テーブルを使用することによって、可変長符号化処理を実施する。
【００４８】
以上で明らかなように、この実施の形態２によれば、「高階調が必要な領域」と「高階調が不要な領域」を判定し、その判定結果に対応する符号化処理を実施するように構成したので、上記実施の形態１と同様に、符号化の効率を高めることができる効果を奏する。
【００４９】
実施の形態３．
上記実施の形態１では、ＭＰＥＧ−２やＭＰＥＧ−４などの変換係数に対して予測処理を実施する符号化方式に適用するものについて示したが、例えば、ＩＳＯ／ＩＥＣ１４４９６−１０（通称ＡＶＣ（ＩＴＵ−Ｔ  Ｈ．２６４と同じ方式）：非特許文献３）で採用されている空間領域において、画像信号の予測処理を実施する符号化方式に適用するようにしてもよい。
［非特許文献３］
ＩＳＯ／ＩＥＣ  １４４９６−１０「Information technology -- Coding of audio-visual objects -- Part 10: Advanced video coding」
【００５０】
図７はこの発明の実施の形態３による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
画像信号予測処理部６は前処理部１により分割されたマクロブロックに対して所定のサイズのブロックに分割し、符号化対象のブロック信号と、隣接ブロック信号との間で予測処理を実施して、予測残差信号を生成する処理部（符号化処理の一部を実施する処理部）であり、画像信号予測処理部６は前処理部１から出力された領域判定結果信号が示す領域の種類に対応する予測処理方式で予測処理を実施する。
【００５１】
以下、画像信号予測処理部６の処理内容を具体的に説明する。
画像信号予測処理部６は、隣接ブロック信号を用いて予測信号を生成し、その予測信号と符号化対象のブロック信号との間で予測処理を実施して、予測残差信号を生成する。
このとき、隣接ブロック信号から生成する予測信号が、符号化対象のブロック信号と近い程、予測残差信号の値がゼロに近くなるため、後段の信号変換部２、量子化部４及び可変長符号化部５の処理によって、高い符号化効率を得ることができる。
【００５２】
予測信号の生成方法として、例えば、輝度信号に対して、４×４ブロック単位と８×８ブロック単位で予測を行う場合には、９つの予測方法が規格としてＡＶＣに定められている。
また、１６×１６ブロック単位で予測を行う場合には、４つの予測方法が規格としてＡＶＣに定められている。
【００５３】
例えば、画像信号が平坦領域の場合、どのような予測処理を実施しても、ほぼ同じ予測効率しか得られないため、予測モードを多く用意する意味がない。
そこで、領域判定結果信号が示す領域の種類が平坦領域である場合、予測モードとして、予め定めている１つ、もしくは、２〜４通りの予測方法のみの使用に制限する。
このような制限を行うことで、予測モードを特定する符号量を削減することが可能になる。
例えば、固定ビット長で予測モードを特定する場合で考えると、９通りの予測方法を使用する場合には、９通りの予測方法を区別するために４ビットの符号長が必要となるが、予測モードが１つだけであれば、予測モードを特定する符号が不要となり、４通りの予測方法のみの使用に制限すれば、４通りの予測方法を区別するための符号長が２ビットで足りるようになる。
【００５４】
また、平坦領域であれば、１６個の４×４ブロックのそれぞれに対して予測処理を実施しても、１個の１６×１６ブロックに対して予測処理を実施しても、ほぼ同じ予測効率しか得られない。
そこで、平坦領域の場合には、１６×１６ブロック単位の予測のみを行うことにして、どのブロックサイズを単位にして、予測処理を行ったかを示すモード情報を不要にする。
【００５５】
画像信号が複雑領域の場合にも、エッジのような強い特徴が画像信号になければ、どのような予測処理を行っても、あまり大差がでないが、８×８ブロックや１６×１６ブロックよりは、４×４ブロックの方が局所的な画像信号の変化に追従が可能となるため、符号化性能が一般には高められる。
そこで、複雑領域の場合には、４×４ブロック単位の予測のみを行うことにして、どのブロックサイズを単位にして予測処理を行ったかを示すモード情報を不要にする。
【００５６】
実施の形態４．
図８はこの発明の実施の形態４による画像復号装置を示す構成図である。
図８の画像復号装置は、図１の画像符号化装置に対応しており、ＭＰＥＧ−２やＭＰＥＧ−４などの変換係数に対して予測処理を行う復号方式を採用している。
図８において、可変長復号部１１は画像符号化装置から送信された圧縮データを受信すると、その圧縮データに対する可変長復号処理（例えば、ハフマン復号、算術復号）を実施して、その圧縮データに含まれている領域判定結果信号と量子化係数を復号する処理を実施する。
ただし、可変長復号部１１は量子化係数を復号する際、先に復号している領域判定結果信号が示す領域の種類に対応するハフマン符号語テーブル（可変長符号語テーブル）を用いて可変長復号処理を実施する。
なお、可変長復号部１１は領域判定結果信号取出手段を構成している。
【００５７】
可変長復号部１１、逆量子化部１２、変換係数予測処理部１３及び逆変換部１４から、上記の領域判定結果信号が示す領域の種類に対応する復号処理を実施して、所定サイズに分割されている２次元ブロックの圧縮データから画像信号を復号する復号手段が構成されている。
逆量子化部１２は可変長復号部１１により復号された量子化係数に対する逆量子化処理を実施して、予測残差変換係数を復号する処理部（復号処理の一部を実施する処理部）であり、逆量子化部１２は可変長復号部１１により復号された領域判定結果信号が示す領域の種類に対応する量子化パラメータ及び量子化テーブルを用いて、逆量子化処理を実施する。
【００５８】
変換係数予測処理部１３は隣接ブロックの復号変換係数を用いて予測変換係数を生成し、その予測変換係数と逆量子化部１２により復号されたブロックの予測残差変換係数との間で予測処理を実施して、予測残差信号を復号する処理部（復号処理の一部を実施する処理部）であり、変換係数予測処理部１３は可変長復号部１１により復号された領域判定結果信号が示す領域の種類に対応する予測処理方式で予測処理を実施する。
【００５９】
逆変換部１４は変換係数予測処理部１３により復号された予測残差信号である周波数領域の信号を空間領域の信号に変換する処理部（復号処理の一部を実施する処理部）であり、逆変換部１４はブロックのサイズを可変長復号部１１により復号された領域判定結果信号が示す領域の種類に対応するサイズを単位にして予測残差信号を周波数領域の信号から空間領域の信号に変換する。
【００６０】
次に動作について説明する。
可変長復号部１１は、画像符号化装置から送信された圧縮データを受信すると、例えば、ハフマン復号や算術復号などの可変長復号処理を実施して、その圧縮データに含まれている領域判定結果信号を復号し、その領域判定結果信号を逆量子化部１２、変換係数予測処理部１３及び逆変換部１４に出力する。
また、可変長復号部１１は、先に復号している領域判定結果信号が示す領域の種類に対応するハフマン符号語テーブルを用いて、その圧縮データに対する可変長復号処理を実施することで、その圧縮データに含まれている量子化係数（図１の量子化部４から出力される量子化係数に対応する係数）を復号する。
なお、領域の種類に対応するハフマン符号語テーブルについては、上記実施の形態１と同様であるため説明を省略する。
【００６１】
逆量子化部１２は、可変長復号部１１から量子化係数を受けると、可変長復号部１１から出力された領域判定結果信号が示す領域の種類に対応する量子化パラメータ及び量子化テーブルを用いて、その量子化係数に対する逆量子化処理を実施して、予測残差変換係数（図１の変換係数予測処理部３から出力される予測残差変換係数に対応する係数）を復号する。
なお、領域の種類に対応する量子化パラメータ及び量子化テーブルについては、上記実施の形態１と同様であるため説明を省略する。
【００６２】
変換係数予測処理部１３は、逆量子化部１２から予測残差変換係数を受けると、隣接ブロックの復号変換係数を用いて予測変換係数を生成する。予測変換係数を生成する方法としては、図１の変換係数予測処理部３が予測信号を生成する方法と同じ方法を用いる。
変換係数予測処理部１３は、予測信号を生成すると、その予測変換係数と逆量子化部１２により復号された予測残差変換係数との間で、可変長復号部１１から出力された領域判定結果信号が示す領域の種類に対応する予測処理方式で予測処理を実施して、予測残差信号（図１の信号変換部２により変換された周波数領域の信号に対応する信号）を復号する。
なお、領域の種類に対応する予測処理方式については、上記実施の形態１と同様であるため説明を省略する。
【００６３】
逆変換部１４は、変換係数予測処理部１３からブロックの予測残差信号を受けると、可変長復号部１１から出力された領域判定結果信号が示す領域の種類に対応するブロックサイズを単位にして予測残差信号を周波数領域の信号から空間領域の信号（画像信号）に変換する。
なお、領域の種類に対応するブロックのサイズについては、上記実施の形態１と同様であるため説明を省略する。
【００６４】
以上で明らかなように、この実施の形態４によれば、所定サイズに分割されている２次元のマクロブロックの圧縮データから、当該マクロブロックが属する領域の種類を示す領域判定結果信号を取り出し、その領域判定結果信号が示す領域の種類に対応する復号処理を実施して、２次元のマクロブロックの圧縮データから画像信号を復号するように構成したので、図１の画像符号化装置により符号化された画像信号を復号することができる効果を奏する。なお、本実施の形態４では、可変長復号部１１により復号された領域判定結果信号に応じて逆量子化部１２、変換係数予測処理部１３、逆変換部１４の全てが内部の処理を切り替えるものとして説明したが、必ずしも全てが切り替える必要はなく、画像符号化装置により一部の処理だけが切り替えられた圧縮データを入力する場合には、対応する一部の処理だけを切り替える構成とすればよい。
【００６５】
実施の形態５．
図９はこの発明の実施の形態５による画像復号装置を示す構成図であり、図において、図８と同一符号は同一又は相当部分を示すので説明を省略する。
図９の画像復号装置は、図７の画像符号化装置に対応しており、ＡＶＣなどの空間領域に対して予測処理を行う復号方式を採用している。
図９において、画像信号予測処理部１５は図７の画像信号予測処理部６に対応しており、復号対象のブロックの予測残差信号（逆変換部１４により逆変換された空間領域の信号）と、隣接ブロックの復号画像信号との間で予測処理を実施して、画像信号を復号する処理部（復号処理の一部を実施する処理部）であり、画像信号予測処理部１５は可変長復号部１１から出力された領域判定結果信号が示す領域の種類に対応する予測処理方式で予測処理を実施する。
【００６６】
次に動作について説明する。
画像信号予測処理部１５は、逆変換部１４から空間領域の信号である復号対象のブロックの予測残差信号を受けると、図７の画像信号予測処理部６と同様の方法で、隣接ブロックの復号画像信号から予測信号を生成する。
そして、画像信号予測処理部１５は、その予測信号と復号対象のブロックの予測残差信号との間で、可変長復号部１１から出力された領域判定結果信号が示す領域の種類に対応する予測処理方式で予測処理を実施して、画像信号を復号する。
この実施の形態５によれば、図７の画像符号化装置により符号化された画像信号を復号することができる。
なお、上記実施の形態４および実施の形態５では、領域結果判定信号の値に応じて、逆量子化部・係数変換予測処理部・逆変換部が動作を切り替えるものとして説明したが、上記実施の形態１で説明したように、ブロック毎に、どの変換方式を選択したかを示すデータを用いる場合には（段落［００２３］を参照）、そのデータに応じた変換方式を使用して、複合処理を行うようにする。複数の量子化テーブルを用意して、どの量子化テーブルを選択したかを示すデータを用いる場合には（段落［００３４］を参照）、そのデータに応じた量子化テーブルを使用して、復号処理を行うようにする。
【００６７】
実施の形態６．
この実施の形態６では、例えば、図７の画像信号予測処理部６が、前処理部１から出力されたマクロブロック信号（符号化対象のブロックの画像信号）と隣接マクロブロックのマクロブロック信号との間で予測処理を実施して予測残差信号を生成する際、前処理部１から出力された領域判定結果信号が示す領域の種類に対応する予測処理方式で予測処理を実施するものについて説明する。
【００６８】
上記実施の形態３では、ＡＶＣで用いられている画像信号の予測処理方式を用いてブロックサイズを切り替える手法について説明したが、前処理部１により判定された領域の種類に応じて、画像信号の予測処理方式を切り替えることも可能である。
以下、「平坦領域」に適する予測処理方式について説明する。
図１０は符号化対象ブロックの画素を示す説明図である。
四画の枠内が符号化対象ブロックの画素であり、図１０の例では、符号化対象ブロックが４×４サイズのブロックである。また、枠外は予測処理に用いる画素である。
数字は画素値を示しており、図１０の例では、「平坦領域」を想定している。
【００６９】
「平坦領域」に属する信号の場合、図１０（ａ）に示すように、ブロック内の信号はほぼ一様である。あるいは、図１０（ｂ）に示すように、ブロック内の信号が特定方向に緩やかに変化することが考えられる。
ＡＶＣの予測処理では、図１１に示すように、符号化対象ブロックの周囲に位置するＡ〜Ｉの画素を用いた外挿処理を行うため、図１０（ａ）のような信号に対しては高い予測効率が得られるが、図１０（ｂ）のような信号の場合には、画素ｈ，ｋ，ｎ，ｌ，ｏ，ｐのように、Ａ〜Ｉの画素から距離の遠い画素に対しては十分な予測効率が得られない。
【００７０】
そこで、図１１における画素ｐの値を符号化データに含め、画素ｐの値を用いた内挿処理を実施して、予測画像を生成することで予測の効果を高める。
画素ｐの値の符号化方法としては、画素ｐの値自体を符号化するようにすればよい（図１０（ｂ）の場合、“３８”の値を符号化する）。この場合、画素ｐの値を得るために余計な演算処理を行う必要がない。
また、画素ｐの値の符号化方法として、符号化対象ブロックの周囲に位置するＡ〜Ｉの画素の中で、画素ｐに最も近い２つの画素Ｅ及び画素Ｉの平均値を求め、その平均値と画素ｐの値との差分値を符号化するようにしてもよい（図１０（ｂ）の場合、平均値が“３４”になり、差分値が“＋４”になる）。この場合、平坦領域であれば、差分値はゼロに近い値になるので、画素ｐの値自体を符号化するよりも符号化の効率を高めることが可能となる。
また、画素ｐの値の符号化方法として、符号化対象ブロックの周囲に位置するＡ〜Ｉの全ての画素の平均値を求め、その平均値と画素ｐの値との差分値を符号化するようにしてもよい（図１０（ｂ）の場合、平均値が“３２．２２”になり、差分値が“＋５．７８”になる）。この場合、符号化対象ブロックの周囲の画素の中に雑音が含まれていても、多くの画素を用いて平均値を求めているので、雑音の影響を弱めることができる。
【００７１】
ここに挙げた３種類の符号化方式のいずれか一つを用いることにしてもよいし、符号化ブロックのサイズに応じて切り替えるようにしてもよい。
例えば、ブロックサイズが１６×１６サイズの場合には、ブロック内右下の画素である画素ｐと、周囲の画素との距離が遠いので、画素ｐの値自体を使用するようにする。一方、４×４サイズの場合には、画素ｐと周囲の画素との距離が近いので、画素Ｅと画素Ｉの平均値を求め、その平均値と画素ｐの値との差分値を使用するようにする手法などが考えられる。
【００７２】
このようにして得られた画素ｐと周囲の画素Ａ〜Ｉを用いた内挿処理によって予測画像を生成する。
内挿の計算方法としては、例えば、２つの画素を用いて、距離に応じて重みを付けるリニア補間（例えば、画素ｍの予測値を（３×Ｅ＋ｐ）／４で得る）や、４つの画素を用いて、距離に応じて重みを付けるバイリニア補間（例えば、画素ｋの予測値を（Ａ＋２×Ｅ＋２×Ｉ＋３×ｐ）／８で得る）などの従来から知られている補間処理を行う。
なお、画素ｐの値を表す符号化データ（画素ｐの値自体、あるいは、周辺画素の平均値からの差分値）は、値そのものを符号化してもよいが、例えば、値の上位６ビットだけを使用するというような量子化を実施してから符号化するようにしてもよい。量子化により値の範囲が狭められるため、符号化データの符号量を削減することができる。
【００７３】
この実施の形態６では、このような内挿予測手法を含めて、判定された領域の種類に応じて予測処理方式を切り替えるようにする。
これにより、ブロック内の信号がほぼ一様であり、「平坦領域」と判定される図１０（ａ）のような場合には、空間領域における外挿予測、ブロック内の信号が特定方向に緩やかに変化する図１０（ｂ）のような場合には、空間領域における内挿予測、「エッジ領域」については、変換係数に対するＤＣ・ＡＣ係数予測処理、「複雑領域」については、変換係数に対するＤＣ係数予測処理というように、様々な予測処理方式を切り替えながら符号化処理を行うことも可能である。
【００７４】
即ち、一様な「平坦領域」の場合には、あえて内挿予測を行っても、予測の効率は変わらないので、画素ｐを符号化する必要のない外挿予測を選択し、緩やかに変化する「平坦領域」の場合には、上述のように内挿予測によって高い予測効率を得るようにする。
「エッジ領域」のうち、特に水平エッジもしくは垂直エッジの場合には、ＡＣ係数の予測効率が高いので、変換係数に対するＤＣ係数とＡＣ係数に対する予測処理を行うことによって、空間領域での内挿・外挿処理を行うことなく、高い符号化効率を得るようにする。
「複雑領域」では、予測の効率があまり得られないので、ＤＣ係数の予測処理だけを行うことによって、無用な演算処理を削減するようにする。
【００７５】
上記の例では、判定された領域の種類に応じて、一意に予測処理方式が決定されるものであるため、予測処理方式に関する情報は不要であるが、各種の予測処理方式を実施して、最も高い予測効率が得られる予測処理方式を選択するようにしてもよい。
この場合、どの予測処理方式を選択したかを示す選択情報が必要となるが、選択された領域毎に、予測処理方式の優先度を付けておくことによって、予測処理方式の選択情報の符号量を削減することができる。
例えば、一様な「平坦領域」の場合には、内挿予測、外挿予測、ＤＣ予測、ＤＣ・ＡＣ係数予測の順番、緩やかに変化する「平坦領域」の場合には、外挿予測、内挿予測、ＤＣ予測、ＤＣ・ＡＣ係数予測の順番、「複雑領域」の場合には、予測なし、ＤＣ予測、内挿予測の順番というように、予測処理方式が選ばれやすい順番に合わせて、予め優先度を付けておくことによって、より多く選ばれる予測処理方式に対して、より少ない符号量で選択情報を符号化することができる。
【００７６】
次に、上記実施の形態で処理された符号化データを復号処理する画像復号装置の画像信号予測処理について説明する。
例えば、図９の画像信号予測処理部１５は、可変長復号部１１から出力された領域判定結果信号が示す領域の種類に対応する予測処理方式を用いて、画像信号予測処理を行う。
具体的には、判定された領域に応じて、予測処理方式が一意に決定される画像符号化装置に対応する画像復号装置であれば、画像信号予測処理部１５が、可変長復号部１１から出力された領域判定結果信号が示す領域の種類に対応する予測処理方式で予測処理を実施する。
即ち、画像信号予測処理部１５は、領域の種類が一様な「平坦領域」であれば、外挿予測によって画像信号を予測し、領域の種類が緩やかに変化する「平坦領域」であれば、内挿予測によって画像信号を予測し、領域の種類が「エッジ領域」であれば、ＤＣ・ＡＣ係数予測処理によって画像信号を予測する。また、領域の種類が「複雑領域」であれば、ＤＣ係数予測処理によって画像信号を予測する。
【００７７】
一方、予測処理方式の選択情報を符号化する画像符号化装置に対応する画像復号装置であれば、可変長復号部１１が符号化されている予測処理方式の選択情報を復号し、画像信号予測処理部１５が可変長復号部１１により復号された選択情報から予測処理方式を特定し、その予測処理方式によって画像信号の予測を行う。
【００７８】
上記実施の形態１〜６では、画像信号を可変長符号化するものについて示したが、画像信号がカラー画像信号の場合、赤・青・緑、もしくは、輝度信号と２つの色差信号といった形式で、３つの成分、もしくは、それ以上の成分で構成されている。
輝度信号や緑成分には、高周波数成分が多く含まれるが、２つの色差信号や赤・青成分には、高周波数成分が含まれ難いというような信号成分の違いが知られている。
このようなカラー画像信号を符号化する場合、同じ空間位置に属する複数の信号成分をまとめて一つのマクロブロックとして符号化する手法が、非特許文献１〜３に開示されており、あるマクロブロックに属する成分すべての信号を一つの領域に属するものとして符号化処理を行うことも可能であるが、それぞれの成分毎に、領域種類判定処理を実施することで、信号成分の数だけ領域判定結果信号を得て、それぞれの成分毎に、領域判定結果信号を用いて、信号変換・量子化・可変長符号化の処理を切り替えるという方法をとることも可能である。
この場合、それぞれの信号成分の違いを利用した符号化処理が可能となり、より高い符号化効率を得ることができる。
【産業上の利用可能性】
【００７９】
この発明は、画面内の各領域に適する符号化処理を実施して、符号化の効率を高める必要がある画像符号化装置に適している。
【図１】
2010052833.tif 000003
【図２】
2010052833.tif 000004
【図３】
2010052833.tif 000005
【図４】
2010052833.tif 000006
【図５】
2010052833.tif 000007
【図６】
2010052833.tif 000008
【図７】
2010052833.tif 000009
【図８】
2010052833.tif 000010
【図９】
2010052833.tif 000011
【図１０】
2010052833.tif 000012
【図１１】
2010052833.tif 000013
【国際調査報告】
2010052833.tif 000014
2010052833.tif 000015
2010052833.tif 000016
2010052833.tif 000017
2010052833.tif 000018
2010052833.tif 000019
2010052833.tif 000020