(57)【要約】【課題】色相関を削減して効率のよい符号化を実現すること。【解決手段】画像を直交変換してその変換係数の色成分間の相関を相関演算部８で検出し、相関が強い場合には相関度判定部９で他の色成分の変換係数から相似近似し、近似誤差を符号化する。また、復号化部１１で符号化データを復号化し、近似演算部１３で冗長度圧縮データを復元して各色成分の変換係数を生成し、逆直交変換部１５で冗長度圧縮データから逆量子化変換された変換係数を逆直交変換して、冗長度圧縮されている各色成分の画像データを復元する。【選択図】      図１
2004159006.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の色成分を異なる成分に変換する色空間変換手段と、変換後の色成分を直交変換して色成分毎の変換係数を生成する直交変換手段と、他の色成分との相関が閾値以上となる色成分の変換係数を他の色成分を参照して符号化する冗長度圧縮手段と、この冗長度圧縮手段の出力する符号化データを量子化する量子化手段と、を具備する画像符号化装置。
【請求項２】
前記冗長度圧縮手段は、各色成分の変換係数から他の色成分との相関を検出する検出手段と、この検出手段の検出結果に応じて変換係数を他の色成分を参照して符号化するのか又は変換係数のまま符号化するのかを選択する選択手段と、を備える請求項１に記載の画像符号化装置。
【請求項３】
前記冗長度圧縮手段は、色成分毎に変換された変換係数について色成分間の平均振幅比を求め、この平均振幅比で近似する個々の変換係数の近似値と真の値との差を符号化することを特徴とする請求項１又は請求項２記載の画像符号化装置。
【請求項４】
符号化データを復号化する復号化手段と、復号化された変換係数及び色成分間で冗長度圧縮されている冗長度圧縮データを逆量子化する逆量子化手段と、前記冗長度圧縮データを復元して各色成分の変換係数を生成する生成手段と、前記逆量子化手段で変換された変換係数と前記生成手段で生成された変換係数とを逆直交変換する逆直交変換手段と、を具備する画像復号化装置。
【請求項５】
前記生成手段は、逆量子化データが直交変換係数そのものであるのか又は冗長度圧縮データであるのかをヘッダ情報から解読し、冗長度圧縮データであれば各色成分の変換係数に復元することを特徴とする請求項４記載の画像復号化装置。
【請求項６】
前記生成手段は、ヘッダ情報に基づいて逆量子化データから、色成分間における変換係数の平均振幅比を示す近似係数と、冗長度圧縮時に平均振幅比で近似した個々の変換係数の近似値と真の値との差を示す近似誤差と、冗長度圧縮されていない色成分の変換係数と、を取得し、これらのデータから冗長度圧縮されている色成分の変換係数を近似算出することを特徴とする請求項４記載の画像復号化装置。
【請求項７】
入力画像の色成分を異なる成分に変換し、変換後の色成分を直交変換して色成分毎の変換係数を生成し、他の色成分との相関が閾値以上となる色成分の変換係数を他の色成分を参照して符号化し、この符号化データを量子化することを特徴とする画像符号化方法。
【請求項８】
符号化データを復号化し、復号化された変換係数及び色成分間で冗長度圧縮されている冗長度圧縮データを逆量子化し、前記冗長度圧縮データを復元して各色成分の変換係数を生成し、前記復号化された変換係数そのものと前記冗長度圧縮データから復元した変換係数とを逆直交変換することを特徴とする画像復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カラー画像データを符号化／復号化するための画像符号化装置及び画像復号化装置並びに画像符号化方法及び画像復号化方法に関する。
【０００２】
【従来の技術】
近年、画像入力装置の高解像度化に伴い、元来膨大な情報量をもつ画像データ量はさらに増加し、これらの蓄積に多くの記憶容量を必要とし、処理・伝送に多くの時間がかかるという問題が発生している。このため、効率的な伝送や記録を行うために圧縮率が高く、且つ画質劣化の少ない高能率符号化が行われている。
【０００３】
ところで、画像データには多くの冗長データが含まれている。カラー画像においては、近傍画素間の相関によるものと、色成分間の相関によるものとがある。静止画像符号化においては、色成分の冗長圧縮を色変換によって行い、その後、近傍画素間の相関除去を行うことが一般的である。
【０００４】
図８に、従来のカラー画像符号化装置のブロック図を示す。同図に示すカラー画像符号化装置は、符号化系が画像入力部２０、色空間変換部２１、直交変換部２２、量子化部２３、符号化部２４、符号出力部２５から構成され、復号化系が符号入力部２６、復号化部２７、逆量子化部２８、逆直交変換部２９、色空間逆変換部３０、画像出力部３１から構成されている。以下、同図を用いて従来方式によるカラー画像符号化／復号化方式について説明する。
【０００５】
まず、符号化対象となるＲＧＢ画像が色成分（Ｒ，Ｇ，Ｂ）順、ラスター順に画像入力部２０から入力される。色空間変換部２１は、これら画素毎に構成されるＲＧＢ色成分をＹ、Ｃｂ、Ｃｒの各色成分に変換する。直交変換部２２では、内部バッファに格納されるＹ、Ｃｂ、Ｃｒの各色成分のデータをそれぞれ８×８の矩形に切り出し、直交変換を行い変換係数を出力する。
【０００６】
量子化部２３は、各色成分または変換係数毎に予め定められたパラメータテーブルに従い、直交変換部２２から出力された変換係数を量子化する。符号化部２４は、量子化部２３で量子化された変換係数をハフマン符号化する。符号出力部２５は、復号時に必要となるヘッダ情報を、前記ハフマン符号化された変換係数と接続して外部に出力する。
【０００７】
復号側は、符号側と逆のプロセスを通る。すなわち、符号入力部２６から入力された符号データを復号化部２７で復号し、逆量子化部２８で直交変換係数を生成し、逆直交変換部２９で画像データに変換してＹ、Ｃｂ、Ｃｒの各成分の画像データを得る。得られたＹ、Ｃｂ、Ｃｒの各成分の画像データを色空間逆変換部３０でＲＧＢ成分に変換して、画像出力部３１から後段へと画像を出力する。
【０００８】
なお、画像の中には色変換を行わない方が冗長度が少ない場合があり、例えば白地にシアン色の文字のような画像を色変換すると、ＲＧＢ空間ではＲ成分でのみ画像のＡＣ成分が検出されるのに対し、ＹＣｂＣｒ空間ではＹ、Ｃｂ、Ｃｒ成分全てにＡＣ成分が現れ、冗長度が増すこととなる。このような問題に対して、複数の色空間を用意して色成分相互の相関を検出して、冗長度の少ない色空間に切替えることが提案されている（例えば、特許文献１参照）。
【０００９】
【特許文献１】
特開２００２−２４７３７５号
【００１０】
【発明が解決しようとする課題】
しかしながら、上記した従来方式による符号化方式では、カラー画像に対して一律に色変換を行うために、色変換後の色成分間の冗長度が必ずしも減少するとは限らない場合もあり、符号化効率にばらつきを生じる問題がある。
【００１１】
また、色成分相互の相関を検出して、冗長度の少ない色空間に切替える方式では、出力符号、または復元後の画像を一定の色空間で提供するようなシステムに対しては使用できないという問題があった。
【００１２】
本発明は以上のような実情に鑑みてなされたものであり、カラー画像において効率よく色成分間の相関を除去する画像符号化装置及び画像復号化装置並びに画像符号化方法及び画像復号化方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明の目的を達成するために、色成分間の相関を検出し、相関が閾値以上の場合は直交変換係数の色成分間の相関を圧縮し、直交変換後の色成分の相関の大小に応じて色成分間の圧縮の有無を選択するものとした。また、符号化データを復号化し、冗長度圧縮データを復元して各色成分の変換係数を生成し、冗長度圧縮データから逆量子化変換された変換係数を逆直交変換して復元する。
【００１４】
【発明の実施の形態】
本発明の第１の態様は、入力画像の色成分を異なる成分に変換する色空間変換手段と、変換後の色成分を直交変換して色成分毎の変換係数を生成する直交変換手段と、他の色成分との相関が閾値以上となる色成分の変換係数を他の色成分を参照して符号化する冗長度圧縮手段と、この冗長度圧縮手段の出力する符号化データを量子化する量子化手段とを備えた画像符号化装置である。
【００１５】
この構成によれば、色変換後に冗長性が残存している場合でも、冗長性を削減でき、符号化効率を向上することができる。
【００１６】
本発明の第２の態様は、第１の態様の画像符号化装置において、前記冗長度圧縮手段は、各色成分の変換係数から他の色成分との相関を検出する検出手段と、この検出手段の検出結果に応じて変換係数を他の色成分を参照して符号化するのか又は変換係数のまま符号化するのかを選択する選択手段と、を備えるものとした。
【００１７】
これにより、相関の大きい色成分データに対しては冗長度を圧縮することができ、相関の小さい色成分データについては相関圧縮を回避することにより、相関圧縮による冗長度が増加することを防止することができる。
【００１８】
本発明の第３の態様は、第１又は第２の態様の画像符号化装置において、前記冗長度圧縮手段は、色成分毎に変換された変換係数について色成分間の平均振幅比を求め、この平均振幅比で近似する個々の変換係数の近似値と真の値との差を符号化するものとした。
【００１９】
これにより、色成分間で相関がある場合には符号量の削減をはかることができる。
【００２０】
本発明の第４の態様は、符号化データを復号化する復号化手段と、復号化された変換係数及び色成分間で冗長度圧縮されている冗長度圧縮データを逆量子化する逆量子化手段と、前記冗長度圧縮データを復元して各色成分の変換係数を生成する生成手段と、前記逆量子化手段で変換された変換係数と前記生成手段で生成された変換係数とを逆直交変換する逆直交変換手段と、を具備する画像復号化装置である。
【００２１】
この構成によれば、色変換後に色成分間で冗長度圧縮したデータを復元することができる。
【００２２】
本発明の第５の態様は、第４の態様の画像復号化装置において、前記生成手段は、逆量子化データが直交変換係数そのものであるのか又は冗長度圧縮データであるのかをヘッダ情報から解読し、冗長度圧縮データであれば各色成分の変換係数に復元するものとした。
【００２３】
これにより、相関の大きい色成分データに対しては冗長度圧縮し、相関の小さい色成分データについては相関圧縮を回避している場合でも、それぞれのデータに応じて適切な復号化が可能になる。
【００２４】
本発明の第６の態様は、第４の態様の画像復号化装置において、前記生成手段は、ヘッダ情報に基づいて逆量子化データから、色成分間における変換係数の平均振幅比を示す近似係数と、冗長度圧縮時に平均振幅比で近似した個々の変換係数の近似値と真の値との差を示す近似誤差と、冗長度圧縮されていない色成分の変換係数と、を取得し、これらのデータから冗長度圧縮されている色成分の変換係数を近似算出するものとした。
【００２５】
これにより、色成分間の平均振幅比で近似した際の近似誤差を符号化している場合であっても、適切な復号化が可能になる。
【００２６】
本発明の第７の態様は、入力画像の色成分を異なる成分に変換し、変換後の色成分を直交変換して色成分毎の変換係数を生成し、他の色成分との相関が閾値以上となる色成分の変換係数を他の色成分を参照して符号化し、この符号化データを量子化することを特徴とする画像符号化方法である。
【００２７】
本発明の第８の態様は、符号化データを復号化し、復号化された変換係数及び色成分間で冗長度圧縮されている冗長度圧縮データを逆量子化し、前記冗長度圧縮データを復元して各色成分の変換係数を生成し、前記復号化された変換係数そのものと前記冗長度圧縮データから復元した変換係数とを逆直交変換することを特徴とする画像復号化方法である。
【００２８】
以下、本発明にかかる画像符号化／復号化装置の一実施の形態について図面を参照して具体的に説明する。
【００２９】
図１は、本実施の形態にかかる画像符号化／復号化装置のブロック図である。同図に示す画像符号化／復号化装置は、符号化処理部と復号化処理部とで構成される。符号化処理部は、画像入力部１、色空間変換部２、直交変換部３、相関選択部４、量子化部５、符号化部６、符号出力部７、相関演算部８、相関度判定部９を備えている。また、復号化処理部は、符号入力部１０、復号化部１１、逆量子化１２、近似演算部１３、近似選択部１４、逆直交変換部１５、色空間逆変換部１６、画像出力部１７を備えている。
【００３０】
以下、図２を参照して符号化動作を説明する。画像入力部１は、符号化対象となるデジタル画像をラスタスキャンによる８ビットのラインデータの形で入力し（ステップ０）、画像を８×８のブロックに分割する（ステップ１）。切り出されたブロックを順に読み出し（ステップ２）、色空間変換部２が、入力画像の色空間をＲＧＢ色空間からＹＣｂＣｒ色空間への変換を行う（ステップ３）。直交変換部３は、色空間変換後の色成分Ｙ、Ｃｂ、Ｃｒ毎に直交変換の一つであるアダマール変換を行って、８×８画素ブロック単位で画素値を変換係数へ変換する（ステップ４）。図３はアダマール変換に使用する８×８マトリクスの具体例を示す。
【００３１】
図４（Ａ）は８×８アダマール変換の各画素、同図（Ｂ）は変換係数の各基底、同図（Ｃ）は変換係数の１次元系列化した順位を示している。以下、変換係数は図４（Ｃ）の１次元系列で表現することとする。
【００３２】
直交変換係数は、色空間ＹＣｂＣｒの各成分毎に求め、それぞれ直交変換係数Ｈｙ［ｘ］、Ｈｃｂ［ｘ］、Ｈｃｒ［ｘ］とする。図６はある画像の１つのブロックについて、Ｈｙ［ｘ］、Ｈｃｂ［ｘ］、Ｈｃｒ［ｘ］をプロットしたものであり、図７は同じ系列順位どうしで比を取ったものである。
【００３３】
このように、色相関の高い色空間データに関しては、変換係数の振幅比は非ゼロの有意係数においてほぼ一定値を示している。具体的には、図７において直交変換後のＡＣ成分である係数系列２〜６４に着目すると、Ｙ成分の振幅比（Ｙ／（Ｙ＋Ｃｂ＋Ｃｒ））は、６５％程度の数値でほぼ一定している。同様に、Ｃｂ成分、Ｃｒ成分もほぼ一定値を示している。
【００３４】
相関演算部８は、直交変換係数Ｈｙ［ｘ］、Ｈｃｂ［ｘ］、Ｈｃｒ［ｘ］を、６３個のＡＣ係数において同じ基底［ｘ］に属するものどうしその振幅比を色プレーン間Ｙ−Ｃｂ、Ｙ−Ｃｒ間において求める（ステップ５）。
【００３５】
Ｒｙｃｂ［ｘ］＝Ｈｃｂ［ｘ］／Ｈｙ［ｘ］
Ｒｙｃｒ［ｘ］＝Ｈｃｒ［ｘ］／Ｈｙ［ｘ］
この振幅比をブロック単位で平均して、色プレーンＹ−Ｃｂ間、またはＹ−Ｃｒ間の近似係数Ｋｙｃｂ、Ｋｙｃｒとする（ステップ６）。
【００３６】
Ｋｙｃｂ［ｘ］＝ΣＲｙｃｂ［ｘ］／６３
Ｋｙｃｒ［ｘ］＝ΣＲｙｃｂ［ｘ］／６３
相関演算部８は、その平均値で近似する個々の変換係数の近似値と真の値との差を近似差として求める（ステップ７）。すなわち、近似係数Ｋｙｃｂ、Ｋｙｃｒを個々の変換係数に適応して相似近似した場合の近似誤差を演算し、近似差Ｄｙｃｂ［ｘ］、Ｄｙｃｒ［ｘ］を算出する。
【００３７】
Ｄｙｃｂ［ｘ］＝Ｄ［１，ｘ］＝Ｈｙ［ｘ］×Ｋｙｃｂ−Ｈｃｂ［ｘ］
Ｄｙｃｒ［ｘ］＝Ｄ［２，ｘ］＝Ｈｙ［ｘ］×Ｋｙｃｒ−Ｈｃｒ［ｘ］
この近似差は相関度判定部９に出力される。相関度判別部９は、近似差から相関度を表す定量値である相関値を算出する。この相関値の算出方法については、ブロック単位で差分の分散を求める方法がある。または、単純に最大値を求める方法でも可能である。
【００３８】
これらにより求めた相関値に対して、相関有無のしきい値が統計的に設定される。これは色成分の相関度を判断する基準として、後述する色成分間の冗長度の圧縮を実施することにより、変換係数の符号量が減少する場合を「相関あり」とし、逆に符号量が増加する場合を「相関なし」とする。すなわち、組み合わせる量子化部と符号化部の構成に依存した統計の結果求められるものとなる。この相関ありなしの境界にある相関値を閾値として設定する。
【００３９】
相関度判定部９は、近似差を相関値として集計し、相関度判断の閾値との比較において、相関値が低ければ色相関圧縮なしとし、相関値が高ければ色相関圧縮ありとする（ステップ８）。相関の有無の判定結果をブロック単位で相関選択部４に対し出力する（ステップ９、ステップ１０）。
【００４０】
相関選択部４は、判定結果で「相関なし」と判断された場合には（ステップ１１）、変換係数をそのまま量子化部５に渡す（ステップ１３）。逆に「相関あり」と判定された場合（ステップ１１）、さらに色差信号Ｃｂ、Ｃｒを処理しているタイミングには、相関演算部８から出力される近似誤差Ｄｙｃｂ［ｘ］、Ｄｙｃｒ［ｘ］と近似係数Ｋｙｃｂ、Ｋｙｃｒを選択し（ステップ１２）、量子化部５に出力する（ステップ１４）。色相関があると判定された場合でも、輝度信号Ｙを処理しているタイミングでは、相関選択部４は変換係数をそのまま量子化部５に引き渡す。
【００４１】
量子化部５では、相関選択部４から出力された変換係数または近似誤差を予約された量子化長、量子化ステップなどの量子化パラメータにより量子化し（ステップ１５）、符号化部６では、図５に示すように、量子化データをブロック、色成分、基底の各系列の順に符号化したデータを連結して、符号出力部６に出力する（ステップ１６）。
【００４２】
符号出力部６は、外部とのタイミングをとり符号データを出力する。これを全ての色、全てのブロックにおいて繰り返し処理を行う（ステップ１７、ステップ１８）。
【００４３】
一方、復号側では、符号入力部１０から入力された符号を復号化部１１で復号化して、符号化された係数が直交変換係数そのものかまたは相関近似した近似係数と近似誤差なのかをヘッダ情報から解読し、近似選択部１４に出力する。
【００４４】
逆量子化部１２では量子化条件に基づいて逆量子化される。これが直交変換係数そのものの場合には、近似選択部１４へ出力され、近似係数と近似誤差の場合には、近似演算部１３にて、直交変換係数を近似生成して出力される。
【００４５】
近似演算部１３では、逆量子化された近似係数Ｋｙｃｂ’、Ｋｙｃｒ’と近似誤差Ｄｙｃｂ’［ｘ］、Ｄｙｃｒ’［ｘ］、Ｙ成分直交変換係数Ｈｙ’［ｘ］から、Ｃｂ及びＣｒ変換係数Ｈｃｂ’［ｘ］、Ｈｃｒ’［ｘ］を近似算出する。
【００４６】
Ｈｃｂ’［ｘ］＝Ｈｙ’［ｘ］×Ｋｙｃｂ’−Ｄｙｃｂ’［ｘ］
Ｈｃｒ’［ｘ］＝Ｈｙ’［ｘ］×Ｋｙｃｒ’−Ｄｙｃｒ’［ｘ］
近似選択部１４へ入力された直交変換係数または近似された直交変換係数は復号化部１１の結果により、近似選択部１４から選択出力される。出力された直交変換係数は、逆直交変換部１５にてＹＣｂＣｒ色空間データに変換され、さらに色空間逆変換部１６にてＲＧＢ色空間データに変換され、画像出力部１７に出力される。
【００４７】
このように本実施の形態によれば、色変換後に冗長性が残存している場合でも、冗長性を削減でき、符号化効率を向上することができる。また、相関の大きい色成分データに対しては冗長度を圧縮することができ、相関の小さい色成分データについては相関圧縮を回避することにより、相関圧縮による冗長度が増加することを防止することができる。さらに、色成分間で相関がある場合には符号量の削減をはかることができる。
【００４８】
なお、以上の説明では一例としてＲＧＢ空間からＹＣｂＣｒ空間へ変換するケースを説明したが、本発明は上記ケースに限定されるものではなく、その他の色空間変換の場合にも同様に適用可能である。例えば、ＲＧＢ空間からＬ＊ａ＊ｂ＊空間等への変換などである。
【００４９】
また、上述した画像符号化／復号化装置は、図１に示す任意の機能ブロックをハードウエア回路で構築しても良いし、ＣＰＵがプログラムを実行する形式で同等の機能を実現するようにしてもよい。
【００５０】
さらに、図１に示す画像符号化／復号化装置の符号化側と復号化側を別々に分離した画像符号化装置及び画像復号化装置として構成することも可能である。
【００５１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、カラー画像の色成分の相関性に着目して圧縮する構成にしたので、色成分の組み合わせによらず常に色再現性のよい復元再生画像を得ることができる。
【００５２】
また、本発明によれば、同等の画質を得るのに必要な符号量を削減できるのでシステムのメモリを削減できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態にかかる画像符号化／復号化装置の構成を示すブロック図
【図２】上記実施の形態にかかる画像符号化／復号化装置における符号化プロセスの動作フロー図
【図３】上記実施の形態におけるアダマール変換の変換パターンを示す図
【図４】上記実施の形態におけるアダマール変換の変換係数を示す図
【図５】上記実施の形態における符号構成を示す図
【図６】上記実施の形態における変換係数のＹ、Ｃｂ、Ｃｒ平面での振幅分布を示す図
【図７】上記実施の形態における変換係数のＹ、Ｃｂ、Ｃｒ平面での振幅比を示す図
【図８】従来の画像符号化／復号化装置の構成を示すブロック図
【符号の説明】
１  画像入力部
２  色空間変換部
３  直交変換部
４  選択部
５  量子化部
６  符号化部
７  符号出力部
８  近似演算部
９  相関度判別部
１０  符号入力部
１１  復号化部
１２  逆量子化部
１３  近似演算部
１４  近似選択部
１５  逆直交変換部
１６  色空間逆変換部
１７  画像出力部
【図１】
2004159006.tif 000003
【図２】
2004159006.tif 000004
【図３】
2004159006.tif 000005
【図４】
2004159006.tif 000006
【図５】
2004159006.tif 000007
【図６】
2004159006.tif 000008
【図７】
2004159006.tif 000009
【図８】
2004159006.tif 000010