(57)【特許請求の範囲】
【請求項１】
周波数領域に変換された画像データの係数を符号化する画像符号化装置であって、
同一種類の係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類手段と、
前記画像データの係数を、前記係数分類手段で分類された係数グループの種類ごとに配列する係数配列手段と、
前記係数配列手段で配列された係数を符号化する係数符号化手段と、
前記係数符号化手段により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄手段と、を有し、
前記係数分類手段は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする画像符号化装置。
【請求項２】
周波数領域に変換された画像データの係数を符号化する画像符号化装置であって、
前記画像データの係数を量子化する係数量子化手段と、
前記係数量子化手段で量子化された係数である量子化係数に対し、同一種類の量子化係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類手段と、
前記量子化係数を、前記係数分類手段で分類された係数グループの種類ごとに配列する係数配列手段と、
前記係数配列手段で配列された量子化係数を符号化する係数符号化手段と、
前記係数符号化手段により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄手段と、を有し、
前記係数分類手段は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記量子化係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする画像符号化装置。
【請求項３】
前記係数分類手段は、少なくとも１つのサブバンドに対し、水平方向ごと，垂直方向ごと，市松模様のいずれか１のロケーションに基づいて分類することを特徴とする請求項１または２記載の画像符号化装置。
【請求項４】
前記係数分類手段は、係数グループに含まれる係数の個数の比率がサブバンドごとに異なるように係数を分類することを特徴とする請求項１から３の何れか１項に記載の画像符号化装置。
【請求項５】
周波数領域に変換された画像データの係数を符号化する画像符号化方法であって、
同一種類の係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類工程と、
前記画像データの係数を、前記係数分類工程で分類された係数グループの種類ごとに配列する係数配列工程と、
前記係数配列工程で配列された係数を符号化する係数符号化工程と、
前記係数符号化工程により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄工程と、を有し、
前記係数分類工程は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする画像符号化方法。
【請求項６】
周波数領域に変換された画像データの係数を符号化する画像符号化方法であって、
前記画像データの係数を量子化する係数量子化工程と、
前記係数量子化工程で量子化された係数である量子化係数に対し、同一種類の量子化係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類工程と、
前記量子化係数を、前記係数分類工程で分類された係数グループの種類ごとに配列する係数配列工程と、
前記係数配列工程で配列された量子化係数を符号化する係数符号化工程と、
前記係数符号化工程により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄工程と、を有し、
前記係数分類工程は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記量子化係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする画像符号化方法。
【請求項７】
請求項５または請求項６に記載された画像符号化方法をコンピュータに実行させるためのプログラム。
【請求項８】
請求項７記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置、画像符号化方法、プログラム、及び記録媒体に関し、より詳細には、アプリケーションプログラム，プリンタドライバ等のデバイスドライバ，その他画像を扱う機器に応用可能な、係数間引きによってレートコントロールをする画像符号化装置、画像符号化方法、プログラム、及び記録媒体に関する。
【０００２】
【従来の技術】
一般に画像の符号化は、色変換→周波数領域の係数への変換→係数の量子化→エントロピー符号化という手順をとる。しかし、種々の画像に対して同一の量子化を実行した場合、圧縮率が画像毎によって一定でなくなるという問題が生じる。そのため、デジタルカメラのメモリに対して枚数を保証したり、ＤＶＤなどの一定の記憶容量をもつ記憶媒体にある一定の動画を記憶させたりする際に、ある一定の圧縮率を保つ必要が生じる。一定の圧縮率を保つためには、符号化後の符号量を所定のサイズに調整する、所謂レートコントロールを行う必要がある。
【０００３】
従来、ＪＰＥＧ方式の量子化は量子化の分母を、符号量が所定のサイズになるまで何回も変化させ、レートコントロールを行う。その結果、レートコントロールを行う際、量子化と符号化を繰り返さなければならないという問題が生じる。
【０００４】
そこで例えば、係数を重要度順に分類し、その分類毎に符号化し、符号化後に重要でない係数を捨てることが考えられる。このような構成にすれば、量子化と符号化を繰り返すことなく、レートコントロールを簡易に行うことができる。
【０００５】
しかしながら、上述した分類は、画質への影響を考慮して行う必要がある。ウェーブレット符号化に代表されるサブバンド符号化は、画像を周波数毎のサブバンドに変換するが、周波数と画質とは密接な関係があるため、分類にあたってはサブバンドの利用等を考慮するのが１つの手法である。
【０００６】
図１７は、サブバンドを説明するための図で、図１７（Ａ）は３回のサブバンド分割により得られた係数を、図１７（Ｂ）はそのコードストリームを、それぞれ示す図である。サブバンドとは、例えば３回のサブバンド分割を行った場合、図１７に示されているような、それぞれの分割によって得られた３ＬＬ，３ＬＨ，３ＨＬ，３ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨのことである。３回のサブバンド分割を行った場合、３ＬＬ，３ＬＨ，３ＨＬ，３ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨを同一グループとし、図１７（Ｂ）のように、重要度順（３ＬＬ，３ＬＨ，３ＨＬ，３ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨ）に並べ、順に符号化していく。そして、レートコントロールを行う際には、重要度の低いサブバンドの係数から（列の最後）順にまるごと捨てていくといった方法も考えられる。
【０００７】
特開２０００−３２３９９２号公報には、画像データをウェーブレット変換により分割し、分割されたサブバンドを水平もしくは垂直方向に間引きする画像データ処理装置および画像データ処理方法が記載されている。しかしながら、この間引きは、より圧縮率を上げる、またはより画質を向上させる等、それぞれの場合に応じて対応できないという問題がある。
【０００８】
【発明が解決しようとする課題】
本発明は、上述のごとき実状に鑑みてなされたものであり、量子化と符号化を繰り返すことなく、また、画質への影響を最小限に抑えながらレートコントロールを簡易に行うことが可能な、画像符号化装置、画像符号化方法、プログラム、及び記録媒体を提供することをその目的とする。
【０００９】
かかる目的を達成するために、本発明は、以下の特徴を有する。
本発明にかかる画像符号化装置は、
周波数領域に変換された画像データの係数を符号化する画像符号化装置であって、
同一種類の係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類手段と、
前記画像データの係数を、前記係数分類手段で分類された係数グループの種類ごとに配列する係数配列手段と、
前記係数配列手段で配列された係数を符号化する係数符号化手段と、
前記係数符号化手段により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄手段と、を有し、
前記係数分類手段は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする。
【００１０】
本発明にかかる画像符号化装置は、
周波数領域に変換された画像データの係数を符号化する画像符号化装置であって、
前記画像データの係数を量子化する係数量子化手段と、
前記係数量子化手段で量子化された係数である量子化係数に対し、同一種類の量子化係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類手段と、
前記量子化係数を、前記係数分類手段で分類された係数グループの種類ごとに配列する係数配列手段と、
前記係数配列手段で配列された量子化係数を符号化する係数符号化手段と、
前記係数符号化手段により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄手段と、を有し、
前記係数分類手段は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記量子化係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする。
【００１１】
本発明にかかる画像符号化方法は、
周波数領域に変換された画像データの係数を符号化する画像符号化方法であって、
同一種類の係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類工程と、
前記画像データの係数を、前記係数分類工程で分類された係数グループの種類ごとに配列する係数配列工程と、
前記係数配列工程で配列された係数を符号化する係数符号化工程と、
前記係数符号化工程により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄工程と、を有し、
前記係数分類工程は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする。
【００１２】
本発明にかかる画像符号化方法は、
周波数領域に変換された画像データの係数を符号化する画像符号化方法であって、
前記画像データの係数を量子化する係数量子化工程と、
前記係数量子化工程で量子化された係数である量子化係数に対し、同一種類の量子化係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類工程と、
前記量子化係数を、前記係数分類工程で分類された係数グループの種類ごとに配列する係数配列工程と、
前記係数配列工程で配列された量子化係数を符号化する係数符号化工程と、
前記係数符号化工程により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄工程と、を有し、
前記係数分類工程は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記量子化係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする。
【００１３】
本発明にかかるプログラムは、
上記記載の画像符号化方法をコンピュータに実行させるためのプログラムであることを特徴とする。
【００１４】
本発明にかかる記録媒体は、
上記記載のプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００３９】
【発明の実施の形態】
本発明は、量子化と符号化を繰り返すことなく、レートコントロールを簡易に行うために、周波数領域に変換された画像データの係数を符号化する際、係数を重要度順に画質への影響を考慮しながら分類し、その分類毎に符号化し、符号化後に重要でない係数を捨てることが可能な構成としている。その概要としてウェーブレット符号化に代表されるサブバンド符号化を例に説明すると、重要度の低いサブバンドの係数からまるごと捨てていくのではなく、例えば、１ＨＬ，１ＬＨ，１ＨＨをそれぞれ奇数行と偶数行に分類し、並べ方を、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬの奇数行，１ＬＨの奇数行，１ＨＨの奇数行，１ＨＬの偶数行，１ＬＨの偶数行，１ＨＨの偶数行とし、レートコントロールを行うほうが、重要度の低いサブバンドから順にまるごと捨てていくよりも画質への影響が少ない。
【００４０】
図１は、本発明の一実施形態に係る画像符号化装置の構成を説明するための図である。
本実施形態の画像符号化装置１０は、周波数領域に変換された画像データの係数を符号化する画像符号化装置であり、係数分類手段１１，係数配列手段１２，係数符号化手段１３を備えるものとする。
【００４１】
係数分類手段１１では、同一種類の係数のうちの少なくとも１種類を２つ以上の係数グループに分類する。係数グループへの分類例は後述する。係数配列手段１２では、画像データの係数を、係数分類手段１１で分類された係数グループの種類（分類の種類）ごとに配列する。係数符号化手段１３では、係数配列手段１２で配列された係数を符号化する。重要度の低い係数を多く捨てるような係数グループに分類するようにすればよい。本実施形態によれば、係数をうまく並べることによって、レートコントロールを簡易にすることが可能となる。
【００４２】
本発明の他の実施形態として、上述の実施形態において係数量子化手段を備えてもよい。ただし、本実施形態における係数量子化手段は、図１の係数分類手段１１の前段に設けられるべき手段であり、周波数領域に変換された画像データの係数を量子化する。そして、係数分類手段１１により、係数量子化手段で量子化された係数である量子化係数に対し、同一種類の量子化係数のうちの少なくとも１種類を２つ以上の係数グループに分類する。係数配列手段１２において、量子化係数を、係数分類手段１１で分類された係数グループの種類ごとに配列し、係数符号化手段１３において、係数配列手段１２で配列された量子化係数を符号化する。本実施形態によれば、画像データを最初に一度適度に量子化しておくことで、トランケート時に大幅な画質劣化を抑えつつ、圧縮率を稼ぐことが可能となる。
【００４３】
図２は、本発明の他の実施形態に係る画像符号化装置の構成を説明するための図である。
本実施形態に係る画像符号化装置は、図１で説明した画像符号化装置１０において、さらに符号破棄手段１４を備えたものとする。符号破棄手段１４では、係数符号化手段１３により生成された符号から、その符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する。本実施形態によれば、係数をうまく並べ、分類グループ単位で破棄することによって、レートコントロールをより簡易にすることが可能となる。
【００４４】
本発明の他の実施形態として、画像符号化装置における変換はサブバンド分割による変換であるものとしてもよい。さらに、係数分類手段１１は、各サブバンドに対し、係数を該係数のロケーションに応じて係数グループに分類する。なお、本明細書中、ロケーションとは、実際の画像の空間位置に対応した係数の空間位置を指すものとする。本実施形態によれば、サブバンドごとに、かつロケーションごとの係数グループすることで、レートコントロールを簡易にすることが可能となる。
【００４５】
図３は、本発明の他の実施形態に係る画像符号化装置における処理を説明するための図で、図３（Ａ）はサブバンド分割後に分類した係数グループの一例を説明するための図、図３（Ｂ）はその係数グループに基づき係数を配列した様子を示す図である。図４は、図３の処理を説明するためのフロー図である。
本発明の他の実施形態として、係数分類手段１１は、すべてのサブバンドに対し、係数をロケーションが同じになるような係数グループに分類してもよく、すべてのサブバンドにおいて位置を同じにすることで、レートコントロールを簡易にすることが可能となる。図３及び図４はその例を示している。
【００４６】
この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ３０を作成する（ステップＳ１）。次に、最外周である１ＨＬ，１ＬＨ，１ＨＨをそれぞれ同じロケーションをもつ奇数列と偶数列の係数グループに分類する（ステップＳ２）。この分類の結果、１ＨＬ係数は奇数列３１及び偶数列３１′に、１ＬＨ係数は奇数列３２及び偶数列３２′に、１ＨＨ係数は奇数列３３及び偶数列３３′に、それぞれ分類されたこととなる。すなわち、分割データ３０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数列３１，１ＬＨ奇数列３２，１ＨＨ奇数列３３からなる係数グループと、その他の係数３１′，３２′，３３′からなる係数グループに分類されたともいえる。画像データの係数（図２の実施形態を適用する場合には量子化係数であるが、以下この説明は省略する）を、この分類された係数グループの種類ごとに配列する（ステップＳ３）ことにより、図３（Ｂ）の係数配列（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数列３１，１ＬＨ奇数列３２，１ＨＨ奇数列３３，１ＨＬ偶数列３１′，１ＬＨ偶数列３２′，１ＨＨ偶数列３３′の順）となる。これを全画像に対して行い（ステップＳ４）、処理を終了する。この画像データの係数を符号化して転送すればよい。重要度が最も低い最外周のサブバンド内を分類する際、それぞれのロケーションを列ごとまたは行ごとで同じに分類し、重要度順に並べることで、重要度の低いグループの係数から順に捨てることができるため、レートコントロールを簡易にすることができる。
【００４７】
図５は、本発明の他の実施形態に係る画像符号化装置における処理を説明するための図で、図５（Ａ）はサブバンド分割後に分類した係数グループの一例を説明するための図、図５（Ｂ）はその係数グループに基づき係数を配列した様子を示す図である。図６は、図５の処理を説明するためのフロー図である。
本発明の他の実施形態として、係数分類手段１１は、少なくとも１つのサブバンドに対し、係数を他のサブバントとロケーションが異なるような係数グループに分類するようにしてもよい。本実施形態によれば、すべてのサブバンドにおいて同じにするよりも、画質を保ち易くすることが可能となる。
【００４８】
この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ４０を作成する（ステップＳ１１）。次に、最外周である１ＨＬ，１ＨＨをそれぞれ奇数行と偶数行の係数グループに分類し、１ＬＨをロケーションの異なる奇数列と偶数列の係数グループに分類する（ステップＳ１２）。この分類の結果、１ＨＬ係数は奇数行４１及び偶数行４１′に、１ＬＨ係数は奇数列４２及び偶数列４２′に、１ＨＨ係数は奇数行４３及び偶数行４３′に、それぞれ分類されたこととなる。すなわち、分割データ４０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数行４１，１ＬＨ奇数列４２，１ＨＨ奇数行４３からなる係数グループと、その他の係数４１′，４２′，４３′からなる係数グループに分類されたともいえる。画像データの係数を、この分類された係数グループの種類ごとに配列する（ステップＳ１３）ことにより、図５（Ｂ）の係数配列（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数行４１，１ＬＨ奇数列４２，１ＨＨ奇数行４３，１ＨＬ偶数行４１′，１ＬＨ偶数列４２′，１ＨＨ偶数行４３′の順）となる。これを全画像に対して行い（ステップＳ１４）、処理を終了する。この画像データの係数を符号化して転送すればよい。
【００４９】
図７は、本発明の他の実施形態に係る画像符号化装置における処理を説明するための図で、図７（Ａ）はサブバンド分割後に分類した係数グループの一例を説明するための図、図７（Ｂ）はその係数グループに基づき係数を配列した様子を示す図である。図８は、図７の処理を説明するためのフロー図である。
本発明の他の実施形態として、係数分類手段１１は、水平方向ごと，垂直方向ごと，市松模様のいずれか１のロケーションに基づいて分類するようにしてもよい。図７及び図８では、水平・垂直方向ごとのロケーションは既に説明しており、市松模様のロケーションに基づいた分類を代表として説明する。本実施形態によれば、係数を簡易に並べつつ、画質を保ち易くすることが可能となる。なお、図５で説明したように全てのサブバンドで同じロケーションをとらないようにする場合には、いずれか１のサブバンドに対し、水平方向ごと，垂直方向ごと，市松模様のいずれか１のロケーションに基づいて分類するしてもよい。本実施形態によれば、すべてのサブバンドにおいて同じにするよりも、画質の良い時を多くすることが可能となる。
【００５０】
この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ５０を作成する（ステップＳ２１）。次に、最外周である１ＨＬ，１ＬＨ，１ＨＨをそれぞれ同じロケーションをもつ市松模様の黒部分と白部分に対応する係数グループに分類する（ステップＳ２２）。この分類の結果、１ＨＬ係数は白５１及び黒５１′に、１ＬＨ係数は白５２及び黒５２′に、１ＨＨ係数は白３及び黒３′に、それぞれ分類されたこととなる。すなわち、分割データ５０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬの白（図では１ＨＬａと表記）５１，１ＬＨの白（図では１ＬＨａと表記）５２，１ＨＨの白（図では１ＨＨａと表記）５３からなる係数グループと、その他の係数１ＨＬの黒（１ＨＬｂで表記）５１′，１ＨＬの黒（１ＬＨｂで表記）５２′，１ＨＨの黒（１ＨＨｂで表記）５３′からなる係数グループに分類されたともいえる。画像データの係数（図２の実施形態を適用する場合には量子化係数であるが、以下この説明は省略する）を、この分類された係数グループの種類ごとに配列する（ステップＳ２３）ことにより、図７（Ｂ）の係数配列（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬａ５１，１ＬＨａ５２，１ＨＨａ５３，１ＨＬｂ５１′，１ＨＬｂ５２′，１ＨＨｂ５３′の順）となる。これを全画像に対して行い（ステップＳ２４）、処理を終了する。この画像データの係数を符号化して転送すればよい。
【００５１】
図９は、本発明の他の実施形態に係る画像符号化装置における処理を説明するための図で、図９（Ａ）はサブバンド分割後に分類した係数グループの一例を説明するための図、図９（Ｂ）はその係数グループに基づき係数を配列した様子を示す図である。図１０は、図９の処理を説明するためのフロー図である。
本発明の他の実施形態として、変換がサブバンド分割による変換であり、前記係数分類手段１１が、係数グループに含まれる係数の個数の比率がサブバンドごとに異なるように係数を分類するようにしてもよい。本実施形態によれば、サブバンドごとに比率を異ならせることで、レートコントロールを簡易にしつつ、画質を保つことが可能となる。比率としては、ＨＨ係数に比べ、ＨＬ係数，ＬＨ係数の方が小さいようにすることで、レートコントロールを簡易にしつつ、または圧縮率を上げつつ、画質を保つことが可能となる。
【００５２】
この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ６０を作成する（ステップＳ３１）。次に、最外周である１ＨＬを奇数行と偶数行の係数グループに、同じく最外周である１ＬＨを奇数列と偶数列の係数グループに、それぞれ分類する（ステップＳ３２）。この分類の結果、１ＨＬ係数は奇数行６１及び偶数行６１′に、１ＬＨ係数は奇数列６２及び偶数列６２′に、それぞれ分類されたこととなる。すなわち、分割データ４０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数行６１，１ＬＨ奇数列６２からなる係数グループと、その他の係数６１′，６２′，６３′からなる係数グループに分類されたともいえる。なお、この例では比率を異ならせる係数を１ＨＨとしており、１ＨＨ６３′は結果的に破棄されるグループのみとなる。画像データの係数を、この分類された係数グループの種類ごとに配列する（ステップＳ３３）ことにより、図９（Ｂ）の係数配列（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数行６１，１ＬＨ奇数列６２，１ＨＬ偶数行６１′，１ＬＨ偶数列６２′，１ＨＨ６３′の順）となる。これを全画像に対して行い（ステップＳ３４）、処理を終了する。この画像データの係数を符号化して転送すればよい。一般にＬＨ，ＨＬよりもＨＨは画質に影響しにくいことが知られており、係数の分類を最外周のサブバンド間で異なる量とすることによって、よりレートコントロールを簡易にしつつ、画質を保つことができる。
【００５３】
図１１は、本発明の他の実施形態に係る画像符号化装置における処理を説明するための図で、図１１（Ａ）はサブバンド分割後に分類した係数グループの一例を説明するための図、図１１（Ｂ）はその係数グループに基づき係数を配列した様子を示す図である。図１２は、図１１の処理を説明するためのフロー図である。
本発明の他の実施形態として、変換がサブバンド分割による変換であり、係数分類手段１１が、係数を各レゾリューションレベルに対し、異なる該係数のロケーションに応じて係数グループに分類するようにしてもよい。ここで、レゾリューションレベルとは、サブバンド分割を行った場合の解像度レベルである。例えば３回のサブバンド分割を行った場合、レゾリューションレベル０は３ＬＬ、レゾリューションレベル１は３ＨＬ，３ＬＨ，３ＨＨ，レゾリューションレベル２は２ＨＬ，２ＬＨ，２ＨＨ，レゾリューションレベル３は１ＨＬ，１ＬＨ，１ＨＨと定義される。本実施形態によれば、レゾリューションごとに位置を異ならせることで、同じときよりも画質を良くすることが可能となる。これは、レゾリューションレベルによって解像度が変わってくるためである。
【００５４】
この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ７０を作成する（ステップＳ４１）。次に、最外周である１ＨＬ，１ＬＨ，１ＨＨを奇数列と偶数列の係数グループに、最外周に続く外周である２ＨＬ，２ＬＨ，２ＨＨを奇数行と偶数行の係数グループに、それぞれ分類する（ステップＳ４２）。この分類の結果、２ＨＬ係数は奇数行７１′及び偶数行７１に、２ＬＨ係数は奇数行７２′及び偶数行７２に、２ＨＨ係数は奇数行７３′及び偶数行７３に、１ＨＬ係数は奇数列７４′及び偶数列７４′に、１ＬＨ係数は奇数列７５′及び偶数列７５に、１ＨＨ係数は奇数列７６′及び偶数列７６に、それぞれ分類されたこととなる。すなわち、分割データ７０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ偶数行７１，２ＬＨ偶数行７２，２ＨＨ偶数行７３，１ＨＬ偶数列７４，１ＬＨ偶数列７５，１ＨＨ偶数列７６からなる係数グループと、その他の係数７１′，７２′，７３′，７４′，７５′，７６′からなる係数グループに分類されたともいえる。画像データの係数を、この分類された係数グループの種類ごとに配列する（ステップＳ４３）ことにより、図１１（Ｂ）の係数配列（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ偶数行７１，２ＬＨ偶数行７２，２ＨＨ偶数行７３，１ＨＬ偶数列７４，１ＬＨ偶数列７５，１ＨＨ偶数列７６，２ＨＬ奇数行７１′，２ＬＨ奇数行７２′，２ＨＨ奇数行７３′，１ＨＬ奇数列７４′，１ＬＨ奇数列７５′，１ＨＨ奇数列７６′の順）となる。これを全画像に対して行い（ステップＳ４４）、処理を終了する。この画像データの係数を符号化して転送すればよい。
【００５５】
本発明の他の実施形態として、変換がサブバンド分割による変換であり、係数分類手段１１が、係数グループに含まれる係数の個数の比率がレゾリューションごとに異なるように係数を分類するようにしてもよい。本実施形態によれば、レゾリューションごとに量を異ならせることで、レートコントロールを簡易にしつつ、画質を保つことが可能となる。比率としては、レゾリューションレベルが高くなる程、多くなるようにすることで、すなわち重要度の低い係数を多く捨てるような係数グループに分類することで、よりレートコントロールを簡易にしつつ、圧縮率を上げつつ、画質を保つことが可能となる。
【００５６】
本発明の他の実施形態として、係数分類手段１１が、係数を各コンポーネントに対し、異なる該係数のロケーションに応じて係数グループに分類するようにしてもよい。すなわち、コンポーネントごとにかつロケーションごとのグループに分類し、それらロケーションを異ならせる。本実施形態によれば、コンポーネントごとに位置を異ならせることで、同じときよりも画質を良くすることが可能となる。また、色差Ｃｂ成分と色差Ｃｒ成分との間で、後に破棄する係数のロケーションを異ならせるよう係数を分類してもよい。本実施形態によれば、位置が同じときよりも画質を良くすることが可能となる。
【００５７】
ここで、コンポーネントとは明度信号と色差信号のことであり、ＲＧＢデータからの変換方法には、例えば、ＪＰＥＧで広く使用されている以下の色変換が知られている。
輝度Ｙ成分  ＝  ０．２９Ｒ  ＋  ０．５８７Ｇ  ＋  ０．１１４Ｂ
色差Ｃｒ成分  ＝  −  ０．１６８７Ｒ  −  ０．３３１３Ｇ  ＋  ０．５Ｂ
色差Ｃｂ成分  ＝  ０．５Ｒ  −  ０．４１８７Ｇ  −  ０．０１８１３Ｂ
【００５８】
さらに、ＪＰＥＧ２０００の可逆モードで使用される以下の色変換も知られている。
輝度Ｙ成分  ＝  ０．２５Ｒ  ＋  ０．５Ｇ  ＋  ０．２５Ｂ
色差Ｕ成分  ＝  Ｒ  −  Ｇ
色差Ｖ成分  ＝  Ｂ  −  Ｇ
【００５９】
また、他の実施形態として、係数分類手段１１が、係数グループに含まれる係数の個数の比率がコンポーネントごとに異なるように係数を分類するようにしてもよい。本実施形態によれば、コンポーネントごとに量を異ならせることで、レートコントロールを簡易にしつつ、画質を保つことが可能となる。さらに、コンポーネントは、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分、又は、輝度Ｙ成分，色差Ｖ成分，色差Ｕ成分の組み合わせからなり、比率としては、輝度Ｙ成分に比べ、他の２成分の方が大きいようにしてもよい。本実施形態によれば、それぞれの成分特性に合わせて、量を異ならせることで、レートコントロールを簡易にしつつ、または圧縮率を上げつつ、画質を保つことが可能となる。これは、人間の目がＹＣｂＣｒ成分については輝度Ｙ成分のほうが色差Ｃｂ，Ｃｒ成分よりも敏感であり、また、ＹＵＶ成分については輝度Ｙ成分のほうが色差Ｖ成分，色差Ｕ成分より敏感である。
【００６０】
以上、本発明の実施形態として、係数配列手段をもち、係数を配列後、符号化し、その後で重要度の低い係数を多く捨てるような係数グループを破棄することが可能な画像符号化装置を中心に説明してきたが、本発明は、次に説明する間引き処理にも関わる。ここでは、画像を圧縮する際、簡易な方法として、周波数領域に変換された画像データの係数を間引く。
【００６１】
図１３は、本発明の他の実施形態に係る画像符号化装置の構成を説明するための図である。
本実施形態の画像符号化装置８０は、周波数領域に変換された画像データの係数を符号化する画像符号化装置であり、係数間引手段８１，係数符号化手段８２を備えるものとする。係数間引き手段８１では、周波数領域に変換された画像データの係数に対し、間引き処理を施す。係数符号化手段８２では、係数間引き手段８１で間引き処理を施された後の画像データの係数を符号化する。なお、係数間引き手段８１において、実際には上述した各実施形態における係数分類手段で係数グループに分類する処理に類似した抽出する処理が必要となる。間引きのロケーションや間引きの量（比率）をレゾリューション間やコンポーネント間で変化させることで、画質を保ちつつ、圧縮率を上げることが可能になる。
【００６２】
まず、取り扱う係数が、サブバンド分割により周波数領域に変換された画像データの係数である場合に関し、説明する。
図１４は、本発明の他の実施形態に係る画像符号化装置における間引き処理を説明するためのフロー図である。
係数間引き手段８１において、サブバンドごとに間引く係数の個数の比率が異なるよう係数を間引くようにしてもよい。本実施形態によれば、サブバンドごとに間引く量を異ならせることで、圧縮率を上げつつ画質を保つことをが可能となる。比率としては、ＨＨ係数に比べ、ＨＬ係数，ＬＨ係数の方が小さいようにすることにより、ＨＨを多くすることで、レートコントロールを簡易にしつつ、または圧縮率を上げつつ、画質を保つことが可能となる。
【００６３】
ここでは、３回のサブバンド分割を行い、レゾリューションレベル３のみを間引くとする。図９も併せて参照して説明すると、この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ６０を作成する（ステップＳ５１）。次に、最外周である１ＨＬの偶数行の係数グループ、同じく最外周である１ＬＨの偶数列の係数グループ、同じく最外周である１ＨＨの係数すべての部分、のそれぞれを間引く（ステップＳ５２）。この間引き処理の結果、分割データ６０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数行６１，１ＬＨ奇数列６２のみの配列となったことになる。図示しないが、図９（Ｂ）の配列において、後ろ３つの係数グループ６１′，６２′，６３′がない状態の配列となる。これを全画像に対して行い（ステップＳ５３）、処理を終了する。この画像データの係数を符号化して転送すればよい。一般にＬＨ，ＨＬよりもＨＨは画質に影響しにくいことが知られており、係数の分類を最外周のサブバンド間で異なる量とすることによって、よりレートコントロールを簡易にしつつ、画質を保つことができる。
【００６４】
図１５は、本発明の他の実施形態に係る画像符号化装置における間引き処理を説明するためのフロー図である。
本発明の他の実施形態では、係数間引き手段８１において、レゾリューションごとに間引く係数のロケーションが異なるよう係数を間引くようにしてもよい。本実施形態によれば、レゾリューションごとに間引く位置を異ならせることで、より画質を保つことが可能となる。また、係数間引き手段８１において、レゾリューションごとに間引く係数の個数の比率（ここでは個数でよい）が異なるよう係数を間引くようにしてもよい。本実施形態によれば、レゾリューションごとに間引く量を異ならせることで、圧縮率をあげつつ画質を保つことが可能となる。
比率としては、レゾリューションレベルが高くなる程、多くなるようにしてもよい。
【００６５】
ここでは、３回のサブバンド分割を行い、レゾリューションレベル１と２のものを間引くとする。図１１も併せて参照して説明すると、この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ７０を作成する（ステップＳ６１）。次に、最外周である１ＨＬ，１ＬＨ，１ＨＨのそれぞれの奇数列と、２ＨＬ，２ＬＨ，２ＨＨのそれぞれの奇数行とを間引く（ステップＳ６２）。この間引き処理の結果、分割データ７０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ偶数行７１，２ＬＨ偶数行７２，２ＨＨ偶数行７３，１ＨＬ偶数列７４，１ＬＨ偶数列７５，１ＨＨ偶数列７６のみの配列となったことになる。図示しないが、図１１（Ｂ）の配列において、後ろ３つの係数グループ７１′，７２′，７３′，７４′，７５′，７６′がない状態の配列となる。これを全画像に対して行い（ステップＳ６３）、処理を終了する。この画像データの係数を符号化して転送すればよい。
【００６６】
なお、図１３の画像符号化装置８０における間引き処理の例として図９，図１１を再度参照して説明したように、図３，図５，図７を再度参照することで同様の説明が可能となる。
【００６７】
本発明の他の実施形態として、係数間引手段８１において、コンポーネントごとに間引く係数のロケーションが異なるよう係数を間引くようにしてもよい。本実施形態によれば、コンポーネントごとに間引く位置を異ならせることで、同じときよりも画質を保つことが可能となる。また、係数間引手段８１において、コンポーネントごとに間引く係数の個数の比率が異なるよう係数を間引くようにしてもよく、圧縮率をあげつつ画質を保つことが可能となる。さらに、係数間引き手段８１において、色差Ｃｂ成分と色差Ｃｒ成分との間で、間引く係数のロケーションを異ならせるよう係数を間引くようにすることにより、位置が同じときよりも画質を良くすることが可能となる。
【００６８】
他の実施形態として、コンポーネントは、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分、又は、輝度Ｙ成分，色差Ｖ成分，色差Ｕ成分の組み合わせからなるものとし、比率としては、輝度Ｙ成分に比べ、他の２成分の方が大きいようにしてもよい。本実施形態によれば、それぞれの成分特性に合わせて、量を異ならせることで、レートコントロールを簡易にしつつ、または圧縮率を上げつつ、画質を保つことが可能となる。上述したように、人間の目がＹＣｂＣｒ成分，ＹＵＶ成分について輝度Ｙ成分の方が他の成分より敏感である。
【００６９】
以上、本発明に係る画像符号化装置に関し、説明してきたが、本発明は、上述した各実施形態に係る画像符号化装置によって符号化された符号を、復号化する手段を有する画像復号化装置としても形態も挙げられる。伸長する際に、例えば破棄或いは間引きされた部分に０を埋めて行えばよい。特に、図１で説明したような係数破棄手段がない画像符号化装置１０に対し、その画像符号化装置１０で符号化された符号から、その符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄手段２１を設け、破棄後の符号を符号復号化手段２２で復号するような画像復号化装置２０とすればよい。
【００７０】
ここで上述した各実施形態に適用可能な装置の構成を説明する。
図１６は、本発明に係る画像符号化・復号化装置の構成例を示す図である。
ここで説明する画像符号化・復号化装置は、データバス９３を介して、ＰＣ内のＲＡＭ９１，ＰＣ内のＣＰＵ９２，ＨＤＤ９４，プリンタ９５が接続された構成となっている。オリジナル画像のプリントアウトに際し、画像の圧縮がなされ、圧縮後のデータがプリンタ９５に送信される。プリンタ９５への送信データ量が低減されるため、送信時間が短縮され、圧縮・伸張に要する時間を加味しても、高速なプリントが可能になる。
【００７１】
ＨＤＤ９４上に記録されたオリジナル画像は、ＣＰＵ９２からの命令によってＲＡＭ９１上に読み込まれる（i）。次に、圧縮ステップとして、ＣＰＵ９２は、ＲＡＭ９１上の画像を読み込み圧縮を行う（ii）。ＣＰＵ９２は、圧縮後のデータをＲＡＭ９１上の別の領域に書き込む（iii）。ＣＰＵ９２からの命令によって、圧縮後のデータがプリンタ９５内のＲＡＭ９７上に記録される（iv）。伸張ステップとして、プリンタ９５内のＣＰＵ９６は、圧縮後のデータを読み込み、復号値を得て、画像の伸張を行う（v）。ＣＰＵ９６は、伸張後のデータをＲＡＭ９７上に書き込む（vi）。その後プリンタ９５は、伸張されたデータを所定の手順［変倍がかかる］でプリントアウトする。
【００７２】
以上、本発明の画像符号化装置及び画像復号化装置を中心に各実施形態を説明してきたが、本発明は、それら装置における処理の手順を実行する画像符号化方法や画像復号化方法としての形態も採りうる。その一例のみを説明するが上述した各実施形態の画像符号化（復号化）装置における処理を実行する方法のすべてが形態として採りうる。
【００７３】
ここで説明する画像符号化方法は、周波数領域に変換された画像データの係数を符号化する方法であって、同一種類の係数又は同一種類の量子化された係数のうちの少なくとも１種類を２つ以上の係数グループに分類し、画像データの係数を、分類された係数グループの種類ごとに配列し、配列された係数を符号化し、生成された符号から、その符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する。係数をうまく並べ、分類単位で破棄することによって、レートコントロールをより簡易にできる。
【００７４】
また、他の画像符号化方法として、サブバンド分割により周波数領域に変換された画像データの係数に対し、レゾリューションごとに間引く係数の個数の比率が異なるよう間引き処理を施し、間引き処理を施された後の画像データの係数を符号化するようにしてもよい。レゾリューションごとに間引く量を異ならせることで、圧縮率をあげつつ画質を保つことが可能となる。
【００７５】
さらに、他の画像符号化方法としては、周波数領域に変換された画像データの係数に対し、コンポーネントごとに間引く係数の個数の比率が異なるよう間引き処理を施し、間引き処理を施された後の画像データの係数を符号化するようにしてもよい。コンポーネントごとに間引く量を異ならせることで、圧縮率をあげつつ画質を保つことが可能となる。
また、これらの画像符号化方法で符号化され、生成された符号を復号化する画像復号化方法としての形態も採りうる。
【００７６】
以上、本発明の画像符号化装置及び画像復号化装置及びそれら方法を中心に各実施形態を説明してきたが、コンピュータをそれら装置として又はそれらの装置の各手段として機能させるための、或いはコンピュータにそれら方法を実行させるためのプログラム（それらの処理内容が実装されているコンピュータプログラム）としても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（それらの処理内容が記録されているコンピュータ読み取り可能な情報記録媒体）としての形態も可能である。このプログラムにより、上述の各実施形態に対応した処理によって、レートコントロールを簡易にする、または圧縮率を上げることが可能なシステムを提供することが可能となる。また、この記録媒体により、上述の各実施形態に対応した構成で、レートコントロールを簡易にする、または圧縮率を上げることが可能なシステムを提供することが可能となる。
【００７７】
本発明による画像符号化・復号化の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態に係る機能をコンピュータに実行させ、画像符号化・復号化の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる画像符号化・復号化の機能を実行することができる。
【００７８】
【発明の効果】
本発明によれば、量子化と符号化を繰り返すことなく、また、画質への影響を最小限に抑えながらレートコントロールを簡易に行うことが可能となる。
【図面の簡単な説明】
【図１】  本発明の一実施形態に係る画像符号化装置の構成を説明するための図である。
【図２】  本発明の他の実施形態に係る画像符号化装置の構成を説明するための図である。
【図３】  本発明の他の実施形態に係る画像符号化装置における処理を説明するための図である。
【図４】  図３の処理を説明するためのフロー図である。
【図５】  本発明の他の実施形態に係る画像符号化装置における処理を説明するための図である。
【図６】  図５の処理を説明するためのフロー図である。
【図７】  本発明の他の実施形態に係る画像符号化装置における処理を説明するための図である。
【図８】  図７の処理を説明するためのフロー図である。
【図９】  本発明の他の実施形態に係る画像符号化装置における処理を説明するための図である。
【図１０】  図９の処理を説明するためのフロー図である。
【図１１】  本発明の他の実施形態に係る画像符号化装置における処理を説明するための図である。
【図１２】  図１１の処理を説明するためのフロー図である。
【図１３】  本発明の他の実施形態に係る画像符号化装置の構成を説明するための図である。
【図１４】  本発明の他の実施形態に係る画像符号化装置における間引き処理を説明するためのフロー図である。
【図１５】  本発明の他の実施形態に係る画像符号化装置における間引き処理を説明するためのフロー図である。
【図１６】  本発明に係る画像符号化・復号化装置の構成例を示す図である。
【図１７】  サブバンドを説明するための図である。
【符号の説明】
１０，１０′，８０…画像符号化装置、１１…係数分類手段、１２…係数配列手段、１３，８２…係数符号化手段、１４，２１…符号破棄手段、２０…画像復号化装置、２２…符号復号化手段。
【図１】
0004669645.tif 000002
【図２】
0004669645.tif 000003
【図３】
0004669645.tif 000004
【図４】
0004669645.tif 000005
【図５】
0004669645.tif 000006
【図６】
0004669645.tif 000007
【図７】
0004669645.tif 000008
【図８】
0004669645.tif 000009
【図９】
0004669645.tif 000010
【図１０】
0004669645.tif 000011
【図１１】
0004669645.tif 000012
【図１２】
0004669645.tif 000013
【図１３】
0004669645.tif 000014
【図１４】
0004669645.tif 000015
【図１５】
0004669645.tif 000016
【図１６】
0004669645.tif 000017
【図１７】
0004669645.tif 000018