(57)【特許請求の範囲】
【請求項１】
画像の一部である画像領域毎に、画像領域の輝度に基づいて、量子化幅の補正に用いられる補正係数を決定する補正係数決定部と、
画像領域毎に離散コサイン変換を行うことによって、画像領域毎に離散コサイン変換係数を得る係数変換部と、
画像領域毎に画像領域の離散コサイン変換係数に含まれる直流成分を画像領域の輝度として用いて、画像領域毎の輝度を示す輝度分布情報を生成する輝度分布抽出部と、
前記輝度分布情報に対する量子化を行って量子化後の輝度分布情報に対する逆量子化を行うことによって、逆量子化後の輝度分布情報を得る模擬逆量子化部とを備え、
前記補正係数決定部は、逆量子化後の輝度分布情報を用いて、画像領域毎に補正係数を決定する画像符号化装置。
【請求項２】
画像の一部である画像領域毎に、画像領域の輝度に基づいて、画像領域の変換係数の補正に用いられる補正係数を決定する補正係数決定部と、
前記画像に対する離散ウェーブレット変換を行うことによって、前記画像の離散ウェーブレット変換係数を得る係数変換部と、
前記画像の離散ウェーブレット変換係数を画像領域毎の輝度として用いて、画像領域毎の輝度を示す輝度分布情報を生成する輝度分布抽出部と、
前記輝度分布情報に対する量子化を行って量子化後の輝度分布情報に対する逆量子化を行うことによって、逆量子化後の輝度分布情報を得る模擬量子化部とを備え、
前記補正係数決定部は、逆量子化後の輝度分布情報を用いて、画像領域毎に補正係数を決定する画像符号化装置。
【請求項３】
画像の一部である画像領域毎に、画像領域の輝度に基づいて、量子化幅の補正に用いられる補正係数を決定する補正係数決定部と、
画像領域毎に離散コサイン変換を行うことによって、画像領域毎に離散コサイン変換係数を得る係数変換部と、
画像領域毎に画像領域の離散コサイン変換係数に含まれる直流成分を画像領域の輝度として用いて、画像領域毎の輝度を示す輝度分布情報を生成する輝度分布抽出部と、
前記輝度分布情報に対する量子化を行って量子化後の輝度分布情報に対する逆量子化を行うことによって、逆量子化後の輝度分布情報を得る模擬逆量子化部としてコンピュータを機能させるための画像符号化プログラムであって、
前記補正係数決定部は、逆量子化後の輝度分布情報を用いて、画像領域毎に補正係数を決定する画像符号化プログラム。
【請求項４】
画像の一部である画像領域毎に、画像領域の輝度に基づいて、画像領域の変換係数の補正に用いられる補正係数を決定する補正係数決定部と、
前記画像に対する離散ウェーブレット変換を行うことによって、前記画像の離散ウェーブレット変換係数を得る係数変換部と、
前記画像の離散ウェーブレット変換係数を画像領域毎の輝度として用いて、画像領域毎の輝度を示す輝度分布情報を生成する輝度分布抽出部と、
前記輝度分布情報に対する量子化を行って量子化後の輝度分布情報に対する逆量子化を行うことによって、逆量子化後の輝度分布情報を得る模擬量子化部としてコンピュータを機能させるための画像符号化プログラムであって、
前記補正係数決定部は、逆量子化後の輝度分布情報を用いて、画像領域毎に補正係数を決定する画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の符号化および復号に関するものである。
【背景技術】
【０００２】
近年、画像の高解像化に伴って画像のデータ量は急激に増大しており、効率的に画像のデータ量を圧縮するための画像符号化方式および画像復号方式の重要性が増している。【０００３】
画像符号化方式としては、符号化および復号の前後にて画像の劣化が発生しない可逆圧縮符号化方式と、符号化で圧縮誤差が発生するため復号で元の画像が完全には復元されない非可逆圧縮符号化方式とがある。
これらの方式を比較すると、非可逆圧縮符号化方式の方が圧縮効率の観点でみると優れている。そのため、特殊な用途を除いて、一般的には非可逆圧縮方式が用いられている。【０００４】
画像の非可逆圧縮符号化方式には、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）またはＪＰＥＧ２０００が一般的に用いられている。
ＪＰＥＧの場合、係数変換および係数逆変換で２次元離散コサイン変換が用いられ、エントロピー符号化およびエントロピー復号でハフマン符号が用いられている。また、スカラー量子化が採用されている。スカラー量子化はエントロピー符号化前の量子化である。
ＪＰＥＧ２０００の場合、係数変換および係数逆変換で再帰的な２次元離散ウェーブレット変換を用いており、エントロピー符号化およびエントロピー復号で算術符号が用いられている。また、スカラー量子化またはポスト量子化が採用されている。ポスト量子化はエントロピー符号化後の量子化である。【０００５】
量子化は情報を削減するための処理である。量子化によって画像の情報の一部が捨てられると、伸張後の画像と元の画像との間で差異が発生する。この差異を圧縮誤差と呼ぶ。
ＪＰＥＧおよびＪＰＥＧ２０００では、周波数成分に応じて量子化幅が制御される。具体的には、高周波成分の量子化幅は大きく、低周波成分の量子化幅は小さい。高周波成分の量子化幅が大きいと高周波成分の情報の削減量が多いため、圧縮効率が確保される。低周波成分の量子化幅が小さいと低周波成分の情報の削減量が少ないため、画質が確保される。人の目はゆっくりとした変化の差異には鋭敏であるが早い変化の差異には鈍感であるため、高周波成分の情報の削減量が多くても、人の目から見ると画質の劣化が少ない。【０００６】
しかし、ＪＰＥＧおよびＪＰＥＧ２０００では、量子化幅が明るさに応じて制御されていない。そのため、量子化によって、画像内の明るい部分と画像内の暗い部分とで同程度の圧縮誤差が発生する。したがって、輝度値と圧縮誤差との比を表すＳＮ比（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  ｒａｔｉｏ）は、画像内の明るい部分に比べて画像内の暗い部分の方が悪い。その結果、イメージセンサにおけるＳＮ比の限界性能を利用して得られる高精度画像の画質が劣化する。具体的には、暗い部分の認識が困難となる。
例えば、医療現場で用いられる医療用画像および人工衛星によって得られるリモートセンシング画像等の高精度画像の画質が劣化する。また、逆光写真等の画像の暗い部分を階調補正した際に圧縮誤差に伴うノイズが強調されて画質が劣化する。【０００７】
非特許文献１はＪＰＥＧの技術内容を開示し、非特許文献２はＪＰＥＧ２０００の技術内容を開示している。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ＩＳＯ／ＩＥＣ  １０９１８−１：１９９４
【非特許文献２】ＩＳＯ／ＩＥＣ  １５４４４−１：２００４
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、画像の輝度を考慮して画像を符号化できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像符号化装置は、
画像の一部である画像領域毎に、画像領域の輝度に基づいて、量子化幅の補正に用いられる補正係数を決定する補正係数決定部を備える。
【発明の効果】
【００１１】
本発明によれば、画像領域毎に補正係数が決定されるため、画像領域毎に量子化幅を補正することが可能となる。したがって、画像の輝度を考慮して画像を符号化することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１における画像符号化装置１００の構成図。
【図２】実施の形態１における画像復号装置２００の構成図。
【図３】実施の形態１における画像符号化方法のフローチャート。
【図４】実施の形態１における画像復号方法のフローチャート。
【図５】実施の形態１における輝度とノイズとの関係図。
【図６】実施の形態１における画像符号化装置１００の他の構成図。
【図７】実施の形態１における画像復号装置２００の他の構成図。
【図８】実施の形態２における画像符号化装置１００の構成図。
【図９】実施の形態２における画像復号装置２００の構成図。
【図１０】実施の形態２における画像符号化方法のフローチャート。
【図１１】実施の形態２における元の画像と縮小画像との関係図。
【図１２】実施の形態２における画像復号方法のフローチャート。
【図１３】実施の形態２における画像符号化装置１００の他の構成図。
【図１４】実施の形態２における画像復号装置２００の他の構成図。
【図１５】実施の形態３における画像符号化装置３００の構成図。
【図１６】実施の形態３における画像復号装置４００の構成図。
【図１７】実施の形態３における画像符号化方法のフローチャート。
【図１８】実施の形態３における画像復号方法のフローチャート。
【図１９】実施の形態３における変換係数の関係図。
【図２０】実施の形態３における画像符号化装置３００の他の構成図。
【図２１】実施の形態３における画像復号装置４００の他の構成図。
【図２２】実施の形態４における画像符号化装置３００の構成図。
【図２３】実施の形態４における画像復号装置４００の構成図。
【図２４】実施の形態４における画像符号化方法のフローチャート。
【図２５】実施の形態４における元の画像と縮小画像との関係図。
【図２６】実施の形態４における画像復号方法のフローチャート。
【図２７】実施の形態４における画像符号化装置３００の他の構成図。
【図２８】実施の形態４における画像復号装置４００の他の構成図。
【図２９】実施の形態における画像符号化装置（１００、３００）のハードウェア構成図。
【図３０】実施の形態における画像復号装置（２００、４００）のハードウェア構成図。
【発明を実施するための形態】
【００１３】
実施の形態および図面において、同じ要素または互いに相当する要素には同じ符号を付している。同じ符号が付された要素の説明は適宜に省略または簡略する。図中の矢印はデータまたは処理の流れを主に示している。
【００１４】
実施の形態１．
画像符号化装置１００および画像復号装置２００について、図１から図５に基づいて説明する。
【００１５】
＊＊＊構成の説明＊＊＊
図１に基づいて、画像を符号化する画像符号化装置１００の構成を説明する。
画像符号化装置１００は、プロセッサ９１１とメモリ９１２と補助記憶装置９１３と通信装置９１４と入力装置９１５とディスプレイ９１６といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【００１６】
プロセッサ９１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）であり、他のハードウェアを制御する。具体的には、プロセッサ９１１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。ＣＰＵはＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称であり、ＤＳＰはＤｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒの略称であり、ＧＰＵはＧｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。
メモリ９１２は揮発性の記憶装置である。メモリ９１２は、主記憶装置またはメインメモリとも呼ばれる。具体的には、メモリ９１２はＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
補助記憶装置９１３は不揮発性の記憶装置である。具体的には、補助記憶装置９１３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。ＲＯＭはＲｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称であり、ＨＤＤはＨａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略称である。
【００１７】
通信装置９１４は、通信を行う装置であり、レシーバとトランスミッタとを備える。具体的には、通信装置９１４は通信チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）である。
入力装置９１５は、入力を受け付ける装置である。具体的には、入力装置９１５は、キーボード、マウス、テンキーまたはタッチパネルである。
ディスプレイ９１６は、画像等を表示する表示装置である。具体的には、ディスプレイ９１６は液晶ディスプレイである。ディスプレイ９１６はモニタともいう。
【００１８】
画像符号化装置１００は、係数変換部１１１とスカラー量子化部１１２とエントロピー符号化部１１３と輝度分布抽出部１２１と補正係数決定部１２２と量子化幅補正部１２３といった「部」を機能構成の要素として備える。図１の説明において「部」は画像符号化装置１００に備わる機能構成の要素を意味する。
「部」の機能はソフトウェアで実現される。「部」の機能については後述する。
【００１９】
補助記憶装置９１３には、「部」の機能を実現するプログラムが記憶されている。「部」の機能を実現するプログラムは、メモリ９１２にロードされて、プロセッサ９１１によって実行される。
さらに、補助記憶装置９１３にはＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）が記憶されている。ＯＳの少なくとも一部は、メモリ９０２にロードされて、プロセッサ９１１によって実行される。
つまり、プロセッサ９１１は、ＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。
「部」の機能を実現するプログラムを実行して得られるデータは、メモリ９１２、補助記憶装置９１３、プロセッサ９１１内のレジスタまたはプロセッサ９１１内のキャッシュメモリといった記憶装置に記憶される。
【００２０】
メモリ９１２は、画像符号化装置１００で使用、生成、入力、出力、送信または受信されるデータが記憶される記憶部１９１として機能する。但し、他の記憶装置が記憶部１９１として機能してもよい。
通信装置９１４はデータを通信する通信部として機能する。通信装置９１４において、レシーバはデータを受信する受信部として機能し、トランスミッタはデータを送信する送信部として機能する。
入力装置９１５は入力を受け付ける受付部として機能する。
ディスプレイ９１６は画像等を表示する表示部として機能する。
【００２１】
画像符号化装置１００は、プロセッサ９０１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、「部」の機能を実現するプログラムの実行を分担する。
「部」の機能を実現するプログラムは、磁気ディスク、光ディスクまたはフラッシュメモリ等の不揮発性の記憶媒体にコンピュータ読み取り可能に記憶することができる。不揮発性の記憶媒体は、一時的でない有形の媒体である。
「部」は「処理」または「工程」に読み替えてもよい。「部」の機能はファームウェアで実現してもよい。
【００２２】
図２に基づいて、画像を復号する画像復号装置２００の構成を説明する。
画像復号装置２００は、プロセッサ９２１とメモリ９２２と補助記憶装置９２３と通信装置９２４と入力装置９２５とディスプレイ９２６といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【００２３】
プロセッサ９２１、メモリ９２２、補助記憶装置９２３、通信装置９２４、入力装置９２５およびディスプレイ９２６は、画像符号化装置１００に備わるハードウェアと同様のハードウェアである。
【００２４】
画像復号装置２００は、係数逆変換部２１１とスカラー逆量子化部２１２とエントロピー復号部２１３と補正係数決定部２２１と量子化幅補正部２２２といった「部」を機能構成の要素として備える。図２の説明において「部」は画像復号装置２００に備わる機能構成の要素を意味する。
「部」の機能はソフトウェアで実現される。「部」の機能については後述する。
【００２５】
補助記憶装置９２３には、「部」の機能を実現するプログラムが記憶されている。「部」の機能を実現するプログラムは、メモリ９２２にロードされて、プロセッサ９２１によって実行される。
「部」の機能を実現するプログラムを実行して得られるデータは、メモリ９２２、補助記憶装置９２３、プロセッサ９２１内のレジスタまたはプロセッサ９２１内のキャッシュメモリといった記憶装置に記憶される。
【００２６】
メモリ９２２は、画像復号装置２００で使用されるデータが記憶される記憶部２９１として機能する。但し、他の記憶装置が記憶部２９１として機能してもよい。
通信装置９２４はデータを通信する通信部として機能する。通信装置９２４において、レシーバはデータを受信する受信部として機能し、トランスミッタはデータを送信する送信部として機能する。
入力装置９２５は入力を受け付ける受付部として機能する。
ディスプレイ９２６は画像等を表示する表示部として機能する。
【００２７】
画像復号装置２００は、プロセッサ９２１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、「部」の機能を実現するプログラムの実行を分担する。
「部」の機能を実現するプログラムは不揮発性の記憶媒体にコンピュータ読み取り可能に記憶することができる。不揮発性の記憶媒体は一時的でない有形の媒体である。
「部」は「処理」または「工程」に読み替えてもよい。「部」の機能はファームウェアで実現してもよい。
【００２８】
＊＊＊動作の説明＊＊＊
画像符号化装置１００の動作は画像符号化方法に相当する。また、画像符号化方法の手順は画像符号化プログラムの手順に相当する。
画像復号装置２００の動作は画像復号方法に相当する。また、画像復号方法の手順は画像復号プログラムの手順に相当する。
【００２９】
図３に基づいて、画像符号化方法を説明する。
画像を含んだ画像データが、記憶部１９１に記憶されているものとする。
【００３０】
ステップＳ１１１は係数変換処理である。
ステップＳ１１１において、係数変換部１１１は、画像データを用いて、画像領域毎に係数変換を行う。これにより、画像領域毎に変換係数が得られる。
画像領域は画像を分割して得られる部分である。つまり、画像領域は画像の一部である。例えば、画像領域は８×８画素の領域である。
変換係数は、係数変換を行うことによって得られる係数である。
【００３１】
具体的には、係数変換部１１１は、画像領域毎に２次元ＤＣＴを行う。これにより、画像領域毎にＤＣＴ係数が得られる。ＤＣＴは離散コサイン変換の略称である。ＤＣＴ係数は周波数成分毎の係数である。
【００３２】
ステップＳ１１２は輝度分布抽出処理である。
ステップＳ１１２において、輝度分布抽出部１２１は、画像データを用いて、輝度分布情報を生成する。
輝度分布情報は、画像領域毎の輝度を示す情報である。例えば、画像領域の輝度は、画像領域を構成する複数の画素が有する複数の輝度の平均である。
【００３３】
具体的には、輝度分布抽出部１２１は、輝度分布情報として縮小画像を生成する。縮小画像は、元の画像を縮小した画像であり、サムネイル画像ともいう。
縮小画像における画素は元の画像における画像領域に対応し、縮小画像における画素の輝度は元の画像における画像領域の輝度に相当する。
【００３４】
ステップＳ１１３は補正係数決定処理である。
ステップＳ１１３において、補正係数決定部１２２は、輝度分布情報を用いて、画像領域毎に補正係数を決定する。
つまり、補正係数決定部１２２は、画像領域毎に画像領域の輝度に基づいて補正係数を決定する。
補正係数は、量子化幅の補正に用いられる値である。
量子化幅は、周波数成分毎の値であり、ＪＰＥＧで用いられる量子化テーブルに含まれる要素に相当する。量子化幅は記憶部１９１に予め記憶されている。
【００３５】
各補正係数は、量子化幅に掛けられる値であり、当該画像領域が明るいほど大きく、当該画像領域が暗いほど小さい。つまり、各補正係数は、当該画像領域よりも暗い画像領域の補正係数よりも大きく、当該画像領域よりも明るい画像領域の補正係数よりも小さい。
【００３６】
さらに、各補正係数は、以下に示す（１）または（２）の特徴を有する。
（１）各補正係数は、当該画像領域の輝度に比例する。つまり、他の画像領域の補正係数に対する当該画像領域の補正係数の比は、他の画像領域の輝度に対する当該画像領域の輝度の比に相当する。
（２）各補正係数は、当該画像領域の輝度の１／２乗に比例する。１／２は２分の１を意味する。つまり、他の画像領域の補正係数に対する当該画像領域の補正係数の比は、他の画像領域の輝度の１／２乗に対する当該画像領域の輝度の１／２乗の比に相当する。
【００３７】
補正係数決定部１２２は、画像領域毎の補正係数をどのような手順で決定してもよい。
例えば、補正係数決定部１２２は、予め定義された式を計算することによって画像領域の輝度に対応する補正係数を算出してもよいし、予め定義されたテーブルから画像領域の輝度に対応する補正係数を取得してもよい。
【００３８】
ステップＳ１１４は量子化幅補正処理である。
ステップＳ１１４において、量子化幅補正部１２３は、画像領域毎に画像領域の補正係数を用いて量子化幅を補正する。これにより、画像領域毎に補正後の量子化幅が得られる。
補正後の量子化幅は、当該画像領域が明るいほど大きく当該画像領域が暗いほど小さい。
【００３９】
具体的には、量子化幅補正部１２３は、以下の式を計算することによって、補正後の量子化幅を算出する。
【００４０】
Δｑ＝Δｑｌｕｍ×Δｑｎｏｍ
【００４１】
Δｑは、補正後の量子化幅である。
Δｑｌｕｍは、補正係数である。
Δｑｎｏｍは、補正前の量子化幅である。
【００４２】
ステップＳ１１５はスカラー量子化処理である。
ステップＳ１１５において、スカラー量子化部１１２は、画像領域毎に補正後の量子化幅を用いて画像領域の変換係数を量子化する。これにより、画像領域毎に量子化後の変換係数が得られる。量子化の方法は従来と同じである。
【００４３】
ステップＳ１１６はエントロピー符号化処理である。
ステップＳ１１６において、エントロピー符号化部１１３は、画像領域毎に量子化後の変換係数に対するエントロピー符号化を行う。これにより、圧縮データが得られる。圧縮データは、画像領域毎に符号化後の変換係数を含んだデータである。エントロピー符号化の方法は従来と同じである。
【００４４】
図４に基づいて、画像復号方法を説明する。
画像符号化方法（図３）のステップＳ１１６で得られた圧縮データが、記憶部２９１に記憶されているものとする。
また、画像符号化方法（図３）のステップＳ１１２で得られた輝度分布情報が、記憶部２９１に記憶されているものとする。
【００４５】
ステップＳ１２１はエントロピー復号処理である。
ステップＳ１２１において、エントロピー復号部２１３は、圧縮データを用いて、画像領域毎に符号化後の変換係数に対するエントロピー復号を行う。これにより、画像領域毎に量子化後の変換係数が得られる。エントロピー復号の方法は従来と同じである。
【００４６】
ステップＳ１２２は補正係数決定処理である。
ステップＳ１２２において、補正係数決定部２２１は、輝度分布情報を用いて、画像領域毎に補正係数を決定する。
つまり、補正係数決定部２２１は、画像領域毎に画像領域の輝度に基づいて補正係数を決定する。
補正係数が有する特徴および補正係数を決定する方法は、画像符号化方法（図３）のステップＳ１１３と同じである。
【００４７】
ステップＳ１２３は量子化幅補正処理である。
ステップＳ１２３において、量子化幅補正部２２２は、画像領域毎に画像領域の補正係数を用いて量子化幅を補正する。これにより、画像領域毎に補正後の量子化幅が得られる。量子化幅を補正する方法は、画像符号化方法（図３）のステップＳ１１４と同じである。
【００４８】
ステップＳ１２４はスカラー逆量子化処理である。
ステップＳ１２４において、スカラー逆量子化部２１２は、画像領域毎に補正後の量子化幅を用いて量子化後の変換係数を逆量子化する。これにより、画像領域毎に画像領域の変換係数が得られる。逆量子化の方法は従来と同じである。
【００４９】
ステップＳ１２５は係数逆変換処理である。
ステップＳ１２５において、係数逆変換部２１１は、画像領域毎に画像領域の変換係数に対する係数逆変換を行う。具体的には、係数逆変換部２１１は、画像領域毎に２次元逆ＤＣＴを行う。これにより、復号された画像を含んだ画像データが得られる。
【００５０】
＊＊＊実施の形態１の効果＊＊＊
実施の形態１では、画像領域毎に画像領域の輝度に基づいて補正係数が決定される。そして、画像領域毎に補正係数を用いて量子化幅が補正される。言い換えると、画像領域毎に画像領域の明るさに応じて量子化幅が制御される。
明るい領域の補正係数は大きく、暗い領域の補正係数は小さいため、明るい領域の圧縮誤差が大きくなり、暗い領域の圧縮誤差が小さくなる。その結果、暗い部分の画質の劣化および階調補正による圧縮誤差の強調が抑制される。
つまり、暗い部分のＳＮ比の劣化を抑制するための画像符号化方法、画像符号化装置、画像復号方法および画像復号装置を提供することが可能となる。
【００５１】
次に、補正係数が輝度に比例する場合に奏する効果を説明する。
補正係数が輝度に比例することにより、圧縮誤差は輝度に比例して配分される。そのため、輝度に対する圧縮誤差の比、つまり、輝度に対する相対誤差が一定となる。その結果、輝度のダイナミックレンジが変更されても、特定の輝度を有する部分で圧縮誤差が目立つことを抑制することが可能となる。
【００５２】
次に、補正係数が輝度の１／２乗に比例する場合に奏する効果を説明する。
一般に、ＣＣＤセンサまたはＣＭＯＳセンサ等の光学センサにおいて、センサノイズまたはショットノイズと呼ばれる成分が発生する。ＣＣＤはＣｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅの略称であり、ＣＭＯＳはＣｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。
センサノイズは輝度値の１／２に比例するランダムノイズである。そのため、圧縮誤差がセンサノイズと比べて過度に小さくても、主観的な画質への影響は小さい。
このような特性をセンサのＳＮ特性を最大限利用するために考慮した場合、補正係数が輝度の１／２乗に比例することにより、圧縮誤差は輝度の１／２に比例して配分される。
【００５３】
図５において、（Ｎ）はセンサノイズを示すグラフであり、（０）は従来の圧縮誤差の配分を示すグラフである。また、（１）は補正係数が輝度に比例する場合の圧縮誤差の配分を示すグラフであり、（２）は補正係数が輝度の１／２乗に比例する場合の圧縮誤差の配分を示すグラフである。
図５の（０）に示すように、量子化幅が輝度に応じて補正されない場合、明るい部分ではセンサノイズ（Ｎ）と比較して圧縮誤差が過度に小さく、暗い部分ではセンサノイズ（Ｎ）と比較して圧縮誤差が大きい。
図５の（１）に示すように、補正係数が輝度に比例し、量子化幅が補正係数を用いて補正される場合、明るい部分ではセンサノイズ（Ｎ）と比較して圧縮誤差が大きくなる可能性がある。
図５の（２）に示すように、補正係数が輝度の１／２乗に比例し、量子化幅が補正係数を用いて補正される場合、センサノイズと同様に圧縮誤差が配分される。つまり、輝度に関わらず全ての部分において圧縮誤差が最適化される。したがって、センサのＳＮ特性を最大限に利用することが可能となる。
【００５４】
＊＊＊他の構成＊＊＊
実施の形態１は単色画像とカラー画像とのいずれに適用してもよい。
図１に示した画像符号化装置１００の構成および図２に示した画像復号装置２００の構成は、単色画像に適した構成である。
図６に基づいて、カラー画像に適した画像符号化装置１００の構成を説明する。
画像符号化装置１００は、図１に示した機能構成の要素に加えて、色変換部１０１と係数変換部１３１とスカラー量子化部１３２とエントロピー符号化部１３３とを備える。
色変換部１０１は、カラー画像の画像データを輝度の画像データと色差の画像データとに変換する。具体的には、ＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換する。Ｙ形式の画像データが輝度の画像データであり、ＵＶ形式の画像データが色差の画像データである。
係数変換部１１１、スカラー量子化部１１２およびエントロピー符号化部１１３は、輝度の画像データに対する処理を行う。
係数変換部１３１、スカラー量子化部１３２およびエントロピー符号化部１３３は、色差の画像データに対する処理を行う。
図７に基づいて、カラー画像に適した画像復号装置２００の構成を説明する。
画像復号装置２００は、図２に示した機能構成の要素に加えて、色変換部２０１と係数変換部２３１とスカラー逆量子化部２３２とエントロピー復号部２３３とを備える。
色変換部２０１は、輝度の画像データと色差の画像データとをカラー画像の画像データに変換する。具体的には、ＹＵＶ形式の画像データをＲＧＢ形式の画像データに変換する。
係数逆変換部２１１、スカラー逆量子化部２１２およびエントロピー復号部２１３は、輝度の画像データに対する処理を行う。
係数変換部２３１、スカラー逆量子化部２３２およびエントロピー復号部２３３は、色差の画像データに対する処理を行う。
【００５５】
画像復号装置２００は、画像符号化装置１００と同じく、輝度分布抽出部１２１を備えてもよい。
【００５６】
１つのコンピュータが画像符号化装置１００の機能構成と画像復号装置２００の機能構成とを備えてもよい。画像符号化装置１００の機能構成と画像復号装置２００の機能構成とを備えたコンピュータを画像処理装置という。画像処理装置は、画像符号化装置１００および画像復号装置２００と同じく、プロセッサとメモリと補助記憶装置と通信装置と入力装置とディスプレイといったハードウェアを備える。画像処理装置の動作は画像処理方法に相当し、画像処理方法の手順は画像処理プログラムの手順に相当する。
【００５７】
実施の形態２．
変換係数を用いて輝度分布情報を生成する形態について、主に実施の形態１と異なる点を、図８から図１２に基づいて説明する。
【００５８】
＊＊＊構成の説明＊＊＊
図８に基づいて、画像符号化装置１００の構成を説明する。
画像符号化装置１００は、実施の形態１において図１に示した機能構成の要素に加えて、模擬逆量子化部１２４を備える。模擬逆量子化部１２４の機能については後述する。
【００５９】
図９に基づいて、画像復号装置２００の構成を説明する。
画像復号装置２００は、実施の形態１において図２に示した機能構成の要素に加えて、輝度分布抽出部２２３と輝度逆量子化部２２４とを備える。輝度分布抽出部２２３と輝度逆量子化部２２４との機能については後述する。
【００６０】
＊＊＊動作の説明＊＊＊
図１０に基づいて、画像符号化方法を説明する。
画像を含んだ画像データが、記憶部１９１に記憶されているものとする。
【００６１】
ステップＳ２１１は係数変換処理である。
ステップＳ２１１において、係数変換部１１１は、画像データを用いて、画像領域毎に係数変換を行う。これにより、画像領域毎に変換係数が得られる。
具体的には、係数変換部１１１は、画像領域毎に２次元ＤＣＴを行う。これにより、画像領域毎にＤＣＴ係数が得られる。
【００６２】
ステップＳ２１２は輝度分布抽出処理である。
ステップＳ２１２において、輝度分布抽出部１２１は、画像領域毎に画像領域のＤＣＴ係数に含まれるＤＣ成分を画像領域の輝度として用いて、輝度分布情報を生成する。ＤＣは直流の略称である。
【００６３】
具体的には、輝度分布抽出部１２１は、輝度分布情報を以下のように生成する。
まず、輝度分布抽出部１２１は、ステップＳ２１１で得られた画像領域毎のＤＣＴ係数から、画像領域毎にＤＣ成分を抽出する。
そして、輝度分布抽出部１２１は、画像領域毎のＤＣ成分を画素毎の輝度として用いて、縮小画像を生成する。生成される縮小画像が輝度分布情報である。縮小画像の画素は元の画像の画像領域に対応する。
【００６４】
つまり、輝度分布抽出部１２１は、図１１に示すような縮小画像を輝度分布情報として生成する。
図１１において、元の画像に対して８×８画素の画像領域毎にＤＣＴが行われる。そして、画像領域毎のＤＣ成分が集められて、１／８の縮小画像が生成される。
【００６５】
ステップＳ２１３は模擬逆量子化処理である。
ステップＳ２１３において、模擬逆量子化部１２４は、画像復号装置２００の輝度逆量子化部２２４による輝度逆量子化処理を模擬する。
【００６６】
具体的には、模擬逆量子化部１２４は、輝度分布情報に対する量子化を行い、量子化後の輝度分布情報に対する逆量子化を行う。これにより、逆量子化後の輝度分布情報が得られる。
より具体的には、模擬逆量子化部１２４は、ＤＣ成分用の補正前の量子化幅を用いて、画像領域毎にＤＣ成分に対する量子化を行う。これにより、画像領域毎に量子化後のＤＣ成分が得られる。そして、模擬逆量子化部１２４は、ＤＣ成分用の補正前の量子化幅を用いて、画像領域毎に量子化後のＤＣ成分に対する逆量子化を行う。これにより、画像領域毎に逆量子化後のＤＣ成分が得られる。
量子化および逆量子化の方法は従来と同じである。
【００６７】
ステップＳ２１４は補正係数決定処理である。
ステップＳ２１４において、補正係数決定部１２２は、逆量子化後の輝度分布情報を用いて、画像領域毎に補正係数を決定する。
補正係数が有する特徴および補正係数を決定する方法は、実施の形態１における画像符号化方法（図３）のステップＳ１１３と同じである。
【００６８】
ステップＳ２１５は量子化幅補正処理である。
ステップＳ２１５において、量子化幅補正部１２３は、画像領域毎に画像領域の補正係数を用いて、ＡＣ成分の量子化幅を補正する。ＡＣ成分はＤＣ成分以外の周波数成分である。ＡＣは交流の略称である。
ＡＣ成分の量子化幅を補正する方法は、実施の形態１における画像符号化方法（図３）のステップＳ１１４と同じである。
【００６９】
また、量子化幅補正部１２３は、画像領域毎に画像領域の補正係数として１を用いて、ＤＣ成分の量子化幅を補正する。言い換えると、量子化幅補正部１２３は、ＤＣ成分の量子化幅を補正しない。
【００７０】
ステップＳ２１５により、画像領域毎に補正後の量子化幅が得られる。
【００７１】
ステップＳ２１６はスカラー量子化処理である。
ステップＳ２１６において、スカラー量子化部１１２は、画像領域毎に補正後の量子化幅を用いて画像領域の変換係数を量子化する。これにより、画像領域毎に量子化後の変換係数が得られる。量子化の方法は従来と同じである。
【００７２】
ステップＳ２１７はエントロピー符号化処理である。
ステップＳ２１７において、エントロピー符号化部１１３は、画像領域毎に量子化後の変換係数に対するエントロピー符号化を行う。これにより、圧縮データが得られる。エントロピー符号化の方法は従来と同じである。
【００７３】
図１２に基づいて、画像復号方法を説明する。
画像符号化方法（図１０）のステップＳ２１７で得られた圧縮データが、記憶部２９１に記憶されているものとする。
【００７４】
ステップＳ２２１はエントロピー復号処理である。
ステップＳ２２１において、エントロピー復号部２１３は、圧縮データを用いて、画像領域毎に符号化後の変換係数に対するエントロピー復号を行う。これにより、画像領域毎に量子化後の変換係数が得られる。具体的には、画像領域毎に量子化後のＤＣＴ係数が得られる。エントロピー復号の方法は従来と同じである。
【００７５】
ステップＳ２２２は輝度分布抽出処理である。
ステップＳ２２２において、輝度分布抽出部２２３は、画像領域毎に量子化後のＤＣＴ係数に含まれるＤＣ成分を画像領域の輝度として用いて、輝度分布情報を生成する。
輝度分布情報を生成する方法は、画像符号化方法（図１０）のステップＳ２１２と同じである。
【００７６】
ステップＳ２２３は輝度逆量子化処理である。
ステップＳ２２３において、輝度逆量子化部２２４は、輝度分布情報に対する逆量子化を行う。
具体的には、輝度逆量子化部２２４は、ＤＣ成分用の補正前の量子化幅を用いて、画像領域毎に量子化後のＤＣ成分に対する逆量子化を行う。これにより、画像領域毎に逆量子化後のＤＣ成分が得られる。逆量子化の方法は従来と同じである。
【００７７】
ステップＳ２２４は補正係数決定処理である。
ステップＳ２２４において、補正係数決定部２２１は、逆量子化後の輝度分布情報を用いて、画像領域毎に補正係数を決定する。
補正係数が有する特徴および補正係数を決定する方法は、実施の形態１における画像符号化方法（図３）のステップＳ１１３と同じである。
【００７８】
ステップＳ２２５は量子化幅補正処理である。
ステップＳ２２５において、量子化幅補正部２２２は、画像領域毎に画像領域の補正係数を用いて、ＡＣ成分の量子化幅を補正する。ＡＣ成分の量子化幅を補正する方法は、実施の形態１における画像符号化方法（図３）のステップＳ１１４と同じである。
【００７９】
また、量子化幅補正部１２３は、画像領域毎に画像領域の補正係数として１を用いて、ＤＣ成分の量子化幅を補正する。言い換えると、量子化幅補正部１２３は、ＤＣ成分の量子化幅を補正しない。
【００８０】
ステップＳ２２５により、画像領域毎に補正後の量子化幅が得られる。
【００８１】
ステップＳ２２６はスカラー逆量子化処理である。
ステップＳ２２６において、スカラー逆量子化部２１２は、画像領域毎に補正後の量子化幅を用いて量子化後の変換係数を逆量子化する。これにより、画像領域毎に画像領域の変換係数が得られる。逆量子化の方法は従来と同じである。
【００８２】
ステップＳ２２７は係数逆変換処理である。
ステップＳ２２７において、係数逆変換部２１１は、画像領域毎に画像領域の変換係数に対する係数逆変換を行う。具体的には、係数逆変換部２１１は、画像領域毎に２次元逆ＤＣＴを行う。これにより、復号された画像を含んだ画像データが得られる。
【００８３】
＊＊＊実施の形態２の効果＊＊＊
輝度分布情報の生成に用いられるＤＣ成分は、エントロピー符号化後に圧縮データとして伝送され、エントロピー復号によって復元される。そのため、エントロピー復号後のＤＣ成分を用いて輝度分布情報が生成されることによって、画像符号化装置１００から画像復号装置２００への輝度分布情報の伝送が不要となる。つまり、伝送が必要な情報が削減されるため、圧縮効率の向上と同様の効果を奏することが可能となる。
但し、ＤＣ成分もスカラー量子化により量子化される状況において、画像が正しく復号されるようにするには、画像符号化装置１００と画像復号装置２００とのそれぞれで同じ補正係数を生成する必要がある。
そのため、画像符号化装置１００は、ＤＣ成分に関しては補正係数を１にして量子化幅を変更せずに量子化を行う。これと同じく、画像復号装置２００は、ＤＣ成分に関しては補正係数を１にして量子化幅を変更せずに逆量子化を行う。
また、画像符号化装置１００は、輝度分布情報として抽出されたＤＣ成分に対して補正前の量子化幅を用いて量子化および逆量子化を行い、逆量子化後のＤＣ成分に基づいて補正係数を決定し、量子化幅を補正する。
一方、画像復号装置２００は、エントロピー復号によって量子化後のＤＣＴ係数を得て、量子化後のＤＣＴ係数からＤＣ成分を抽出する。これにより、画像符号化装置１００で得られる輝度分布情報と同じ情報が得られる。そして、画像復号装置２００は、抽出されたＤＣ成分に対して補正前の量子化幅を用いて逆量子化を行う。その結果、画像復号装置２００は、画像符号化装置１００で決定される補正係数と同じ補正係数を得ることが可能となる。
【００８４】
＊＊＊他の構成＊＊＊
画像符号化装置１００と画像復号装置２００とのそれぞれの量子化幅補正部（１２３、２２２）は、補正係数を１にせずに、ＤＣ成分の量子化幅を補正してもよい。つまり、量子化幅補正部（１２３、２２２）は、実施の形態１と同じく、ＤＣ成分の量子化幅を補正によって変更してもよい。
その場合、画像符号化装置１００は模擬逆量子化部１２４を備えなくてもよく、画像復号装置２００は輝度逆量子化部２２４を備えなくてもよい。
つまり、画像符号化装置１００は、画像符号化方法（図１０）のステップＳ２１３を実行しなくてもよい。その場合、ステップＳ２１４において、ステップＳ２１２で生成された輝度分布情報を用いて、画像領域毎に補正係数が決定される。
また、画像復号装置２００は、画像復号方法（図１２）のステップＳ２２３を実行しなくてもよい。その場合、ステップＳ２２４において、ステップＳ２２２で生成された輝度分布情報を用いて、画像領域毎に補正係数が決定される。
ＤＣ成分の誤差は人の目に認知されやすいので通常でも量子化幅が小さい、また、ＤＣ成分は縮小画像に相当するのでデータ量が小さいといった理由から、ＤＣ成分に対する量子化が実施されない場合の圧縮性能に対する影響は小さいといえる。模擬逆量子化部１２４および輝度逆量子化部２２４が不要になれば、圧縮性能が僅かに低下するが、演算量を大幅に削減することが可能となる。
【００８５】
実施の形態２は実施の形態１と同じく単色画像とカラー画像とのいずれに適用してもよい。
図８に示した画像符号化装置１００の構成および図９に示した画像復号装置２００の構成は、単色画像に適した構成である。
図１３に基づいて、カラー画像に適した画像符号化装置１００の構成を説明する。
画像符号化装置１００は、図８に示した機能構成の要素に加えて、色変換部１０１と係数変換部１３１とスカラー量子化部１３２とエントロピー符号化部１３３とを備える。
図１４に基づいて、カラー画像に適した画像復号装置２００の構成を説明する。
画像復号装置２００は、図９に示した機能構成の要素に加えて、色変換部２０１と係数変換部２３１とスカラー逆量子化部２３２とエントロピー復号部２３３とを備える。
【００８６】
実施の形態３．
スカラー量子化ではなくポスト量子化を行う形態について、主に実施の形態１と異なる点を、図１５から図１９に基づいて説明する。
【００８７】
＊＊＊構成の説明＊＊＊
図１５に基づいて、画像を符号化する画像符号化装置３００の構成を説明する。
画像符号化装置３００は、プロセッサ９３１とメモリ９３２と補助記憶装置９３３と通信装置９３４と入力装置９３５とディスプレイ９３６といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【００８８】
プロセッサ９３１、メモリ９３２、補助記憶装置９３３、通信装置９３４、入力装置９３５およびディスプレイ９３６は、実施の形態１における画像符号化装置１００に備わるハードウェアと同様のハードウェアである。
【００８９】
画像符号化装置３００は、係数変換部３１１とエントロピー符号化部３１２とポスト量子化部３１３と輝度分布抽出部３２１と補正係数決定部３２２と変換係数補正部３２３といった「部」を機能構成の要素として備える。図１５の説明において「部」は画像符号化装置３００に備わる機能構成の要素を意味する。
「部」の機能はソフトウェアで実現される。「部」の機能については後述する。
【００９０】
補助記憶装置９３３には、「部」の機能を実現するプログラムが記憶されている。「部」の機能を実現するプログラムは、メモリ９３２にロードされて、プロセッサ９３１によって実行される。
「部」の機能を実現するプログラムを実行して得られるデータは、メモリ９３２、補助記憶装置９３３、プロセッサ９３１内のレジスタまたはプロセッサ９３１内のキャッシュメモリといった記憶装置に記憶される。
【００９１】
メモリ９３２は、画像符号化装置３００で使用されるデータが記憶される記憶部３９１として機能する。但し、他の記憶装置が記憶部３９１として機能してもよい。
通信装置９３４はデータを通信する通信部として機能する。通信装置９３４において、レシーバはデータを受信する受信部として機能し、トランスミッタはデータを送信する送信部として機能する。
入力装置９３５は入力を受け付ける受付部として機能する。
ディスプレイ９３６は画像等を表示する表示部として機能する。
【００９２】
画像符号化装置３００は、プロセッサ９３１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、「部」の機能を実現するプログラムの実行を分担する。
「部」の機能を実現するプログラムは不揮発性の記憶媒体にコンピュータ読み取り可能に記憶することができる。不揮発性の記憶媒体は一時的でない有形の媒体である。
「部」は「処理」または「工程」に読み替えてもよい。「部」の機能はファームウェアで実現してもよい。
【００９３】
図１６に基づいて、画像を復号する画像復号装置４００の構成を説明する。
画像復号装置４００は、プロセッサ９４１とメモリ９４２と補助記憶装置９４３と通信装置９４４と入力装置９４５とディスプレイ９４６といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【００９４】
プロセッサ９４１、メモリ９４２、補助記憶装置９４３、通信装置９４４、入力装置９４５およびディスプレイ９４６は、実施の形態１における画像符号化装置１００に備わるハードウェアと同様のハードウェアである。
【００９５】
画像復号装置４００は、係数逆変換部４１１とエントロピー復号部４１２と補正係数決定部４２１と変換係数逆補正部４２２といった「部」を機能構成の要素として備える。図１６の説明において「部」は画像復号装置４００に備わる機能構成の要素を意味する。
「部」の機能はソフトウェアで実現される。「部」の機能については後述する。
【００９６】
補助記憶装置９４３には、「部」の機能を実現するプログラムが記憶されている。「部」の機能を実現するプログラムは、メモリ９４２にロードされて、プロセッサ９４１によって実行される。
「部」の機能を実現するプログラムを実行して得られるデータは、メモリ９４２、補助記憶装置９４３、プロセッサ９４１内のレジスタまたはプロセッサ９４１内のキャッシュメモリといった記憶装置に記憶される。
【００９７】
メモリ９４２は、画像復号装置４００で使用されるデータが記憶される記憶部４９１として機能する。但し、他の記憶装置が記憶部４９１として機能してもよい。
通信装置９４４はデータを通信する通信部として機能する。通信装置９４４において、レシーバはデータを受信する受信部として機能し、トランスミッタはデータを送信する送信部として機能する。
入力装置９４５は入力を受け付ける受付部として機能する。
ディスプレイ９４６は画像等を表示する表示部として機能する。
【００９８】
画像復号装置４００は、プロセッサ９４１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、「部」の機能を実現するプログラムの実行を分担する。
「部」の機能を実現するプログラムは不揮発性の記憶媒体にコンピュータ読み取り可能に記憶することができる。不揮発性の記憶媒体は一時的でない有形の媒体である。
「部」は「処理」または「工程」に読み替えてもよい。「部」の機能はファームウェアで実現してもよい。
【００９９】
＊＊＊動作の説明＊＊＊
画像符号化装置３００の動作は画像符号化方法に相当する。また、画像符号化方法の手順は画像符号化プログラムの手順に相当する。
画像復号装置４００の動作は画像復号方法に相当する。また、画像復号方法の手順は画像復号プログラムの手順に相当する。
【０１００】
図１７に基づいて、画像符号化方法を説明する。
画像を含んだ画像データが、記憶部１９１に記憶されているものとする。
【０１０１】
ステップＳ３１１は係数変換処理である。
ステップＳ３１１において、係数変換部３１１は、画像データを用いて、画像に対する係数変換を行う。これにより、画像の変換係数が得られる。
具体的には、係数変換部３１１は、画像に対して２次元ＤＷＴを行う。これにより、周波数成分毎にＤＷＴ係数が得られる。より具体的には、ＬＬ成分とＨＬ成分とＬＨ成分とＨＨ成分とのそれぞれのＤＷＴ係数が得られる。ＤＷＴは離散ウェーブレット変換の略称である。ＤＷＴ係数は画素毎の係数である。
【０１０２】
ステップＳ３１２は輝度分布抽出処理である。
ステップＳ３１２において、輝度分布抽出部３２１は、画像データを用いて、輝度分布情報を生成する。輝度分布情報は画像領域毎の輝度を示す。
【０１０３】
ステップＳ３１３は補正係数決定処理である。
ステップＳ３１３において、補正係数決定部３２２は、輝度分布情報を用いて、画像領域毎に補正係数を決定する。
つまり、補正係数決定部１２２は、画像領域毎に画像領域の輝度に基づいて補正係数を決定する。
補正係数は、当該画像領域の変換係数の補正に用いられる値である。
【０１０４】
各補正係数は、当該画像領域の変換係数を割る値であり、当該画像領域が明るいほど大きく、当該画像領域が暗いほど小さい。つまり、各補正係数は、当該画像領域よりも暗い画像領域の補正係数よりも大きく、当該画像領域よりも明るい画像領域の補正係数よりも小さい。
【０１０５】
さらに、各補正係数は、以下に示す（１）または（２）の特徴を有する。
（１）各補正係数は、当該画像領域の輝度に比例する。つまり、他の画像領域の補正係数に対する当該画像領域の補正係数の比は、他の画像領域の輝度に対する当該画像領域の輝度の比に相当する。
（２）各補正係数は、当該画像領域の輝度の１／２乗に比例する。１／２は２分の１を意味する。つまり、他の画像領域の補正係数に対する当該画像領域の補正係数の比は、他の画像領域の輝度の１／２乗に対する当該画像領域の輝度の１／２乗の比に相当する。
【０１０６】
補正係数決定部３２２は、画像領域毎の補正係数をどのような手順で決定してもよい。
例えば、補正係数決定部３２２は、予め定義された式を計算することによって画像領域の輝度に対応する補正係数を算出してもよいし、予め定義されたテーブルから画像領域の輝度に対応する補正係数を取得してもよい。
【０１０７】
ステップＳ３１４は変換係数補正処理である。
ステップＳ３１４において、変換係数補正部３２３は、画像領域毎に画像領域の補正係数を用いて画像領域の変換係数を補正する。これにより、画像領域毎に補正後の変換係数が得られる。
補正後の変換係数は、当該画像領域が明るいほど小さく当該画像領域が暗いほど大きい。
【０１０８】
具体的には、変換係数補正部３２３は、以下の式を計算することによって、補正後の量子化幅を算出する。
【０１０９】
Ｃｏｅｆｆｃｏｒｒｅｃｔ＝Ｃｏｅｆｆ×（Δｑｌｕｍ＿ｍａｘ／Δｑｌｕｍ）
【０１１０】
Ｃｏｅｆｆｃｏｒｒｅｃｔは、補正後の変換係数である。
Ｃｏｅｆｆは、補正前の変換係数である。
Δｑｌｕｍ＿ｍａｘは、最大輝度に対応する補正係数である。
Δｑｌｕｍは、補正係数である。
【０１１１】
なお、Δｑｌｕｍ≦Δｑｌｕｍ＿ｍａｘという関係が成り立つため、Ｃｏｅｆｆｃｏｒｒｅｃｔ≧Ｃｏｅｆｆという関係が成り立つ。
【０１１２】
ステップＳ３１５はエントロピー符号化処理である。
ステップＳ３１５において、エントロピー符号化部３１２は、画像の補正後の変換係数に対してエントロピー符号化を行う。これにより、画像の符号化後の変換係数が得られる。エントロピー符号化の方法は従来と同じである。
【０１１３】
ステップＳ３１６はポスト量子化処理である。
ステップＳ３１６において、ポスト量子化部３１３は、画像の符号化後の変換係数を量子化する。これにより、圧縮データが得られる。圧縮データは、画像の量子化後の変換係数を含んだデータである。量子化の方法は従来と同じである。
【０１１４】
図１８に基づいて、画像復号方法を説明する。
画像符号化方法（図１７）のステップＳ３１６で得られた圧縮データが、記憶部４９１に記憶されているものとする。
また、画像符号化方法（図１７）のステップＳ３１２で得られた輝度分布情報が、記憶部４９１に記憶されているものとする。
【０１１５】
ステップＳ３２１はエントロピー復号処理である。
ステップＳ３２１において、エントロピー復号部４１２は、圧縮データを用いて、画像の量子化後の変換係数に対してエントロピー復号を行う。これにより、画像の復号後の変換係数が得られる。具体的には、画像の復号後のＤＷＴ係数が得られる。エントロピー復号の方法は従来と同じである。
【０１１６】
ステップＳ３２２は補正係数決定処理である。
ステップＳ３２２において、補正係数決定部４２１は、輝度分布情報を用いて、画像領域毎に補正係数を決定する。
つまり、補正係数決定部２２１は、画像領域毎に画像領域の輝度に基づいて補正係数を決定する。
補正係数が有する特徴および補正係数を決定する方法は、画像符号化方法（図１７）のステップＳ３１３と同じである。
【０１１７】
ステップＳ３２３は変換係数逆補正処理である。
ステップＳ３２３において、変換係数逆補正部４２２は、画像領域毎に画像領域の補正係数を用いて復号後の変換係数を逆補正する。これにより、画像領域毎に画像領域の変換係数が得られる。
【０１１８】
具体的には、変換係数逆補正部４２２は、以下の式を計算することによって、画像領域の変換係数を算出する。
【０１１９】
Ｃｏｅｆｆｑｕａｎｔ＝Ｃｏｅｆｆｃｏｒｒｅｃｔ＿ｑｕａｎｔ×（Δｑｌｕｍ／Δｑｌｕｍ＿ｍａｘ）
【０１２０】
Ｃｏｅｆｆｑｕａｎｔは、逆補正後の変換係数である。
Ｃｏｅｆｆｃｏｒｒｅｃｔ＿ｑｕａｎｔは、逆補正前の変換係数、つまり、復号後の変換係数である。
【０１２１】
なお、Ｃｏｅｆｆｃｏｒｒｅｃｔ＿ｑｕａｎｔは、画像符号化方法（図１７）のステップＳ３１６で量子化された後のＣｏｅｆｆｃｏｒｒｅｃｔと同じである。
また、Δｑｌｕｍ≦Δｑｌｕｍ＿ｍａｘという関係が成り立つため、Ｃｏｅｆｆｑｕａｎｔ≦Ｃｏｅｆｆｃｏｒｒｅｃｔ＿ｑｕａｎｔという関係が成り立つ。
【０１２２】
ステップＳ３２４は係数逆変換処理である。
ステップＳ３２４において、係数逆変換部４１１は、画像の変換係数に対する係数逆変換を行う。具体的には、係数逆変換部４１１は、画像のＤＷＴ係数に対して２次元逆ＤＷＴを行う。これにより、復号された画像を含んだ画像データが得られる。
【０１２３】
＊＊＊実施の形態３の効果＊＊＊
図１９に示すように、変換係数は暗い部分ほど大きく補正される。そして、エントロピー符号化後の変換係数に対してポスト量子化が行われる。その後、エントロピー復号後の変換係数が逆補正される。これにより、実質的に、量子化幅は、暗い部分で小さく、明るい部分で大きくなるように制御されることとなる。したがって、実施の形態１と同じ効果を奏する。
【０１２４】
＊＊＊他の構成＊＊＊
実施の形態３は単色画像とカラー画像とのいずれに適用してもよい。
図１５に示した画像符号化装置３００の構成および図１６に示した画像復号装置４００の構成は、単色画像に適した構成である。
図２０に基づいて、カラー画像に適した画像符号化装置３００の構成を説明する。
画像符号化装置３００は、図１５に示した機能構成の要素に加えて、色変換部３０１と係数変換部３３１と変換係数補正部３３２とエントロピー符号化部３３３とポスト量子化部３３４とを備える。
色変換部３０１は、カラー画像の画像データを輝度の画像データと色差の画像データとに変換する。具体的には、ＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換する。Ｙ形式の画像データが輝度の画像データであり、ＵＶ形式の画像データが色差の画像データである。
係数変換部３１１、変換係数補正部３２３、エントロピー符号化部３１２およびポスト量子化部３１３は、輝度の画像データに対する処理を行う。
係数変換部３３１、変換係数補正部３３２、エントロピー符号化部３３３およびポスト量子化部３３４は、色差の画像データに対する処理を行う。
図２１に基づいて、カラー画像に適した画像復号装置４００の構成を説明する。
画像復号装置４００は、図１６に示した機能構成の要素に加えて、色変換部４０１とエントロピー復号部４３１と変換係数逆補正部４３２と係数逆変換部４３３とを備える。
色変換部４０１は、輝度の画像データと色差の画像データとをカラー画像の画像データに変換する。具体的には、ＹＵＶ形式の画像データをＲＧＢ形式の画像データに変換する。
エントロピー復号部４１２、変換係数逆補正部４２２および係数逆変換部４１１は、輝度の画像データに対する処理を行う。
エントロピー復号部４３１、変換係数逆補正部４３２および係数逆変換部４３３は、色差の画像データに対する処理を行う。
【０１２５】
画像復号装置４００は、画像符号化装置３００と同じく、輝度分布抽出部３２１を備えてもよい。
【０１２６】
１つのコンピュータが画像符号化装置３００の機能構成と画像復号装置４００の機能構成とを備えてもよい。画像符号化装置３００の機能構成と画像復号装置４００の機能構成とを備えたコンピュータを画像処理装置という。画像処理装置は、画像符号化装置３００および画像復号装置４００と同じく、プロセッサとメモリと補助記憶装置と通信装置と入力装置とディスプレイといったハードウェアを備える。画像処理装置の動作は画像処理方法に相当し、画像処理方法の手順は画像処理プログラムの手順に相当する。
【０１２７】
実施の形態４．
変換係数を用いて輝度分布情報を生成する形態について、主に実施の形態３と異なる点を、図２２から図２６に基づいて説明する。
【０１２８】
＊＊＊構成の説明＊＊＊
図２２に基づいて、画像符号化装置３００の構成を説明する。
画像符号化装置３００は、実施の形態３において図１５に示した機能構成の要素に加えて、模擬量子化部３２４を備える。模擬量子化部３２４の機能については後述する。
【０１２９】
図２３に基づいて、画像復号装置４００の構成を説明する。
画像復号装置４００は、実施の形態４において図１６に示した機能構成の要素に加えて、輝度分布抽出部４２３を備える。輝度分布抽出部４２３の機能については後述する。
【０１３０】
図２４に基づいて、画像符号化方法を説明する。
画像を含んだ画像データが、記憶部３９１に記憶されているものとする。
【０１３１】
ステップＳ４１１は係数変換処理である。
ステップＳ４１１において、係数変換部３１１は、画像データを用いて、画像に対する係数変換を行う。これにより、画像の変換係数が得られる。
具体的には、係数変換部３１１は、画像に対して２次元ＤＷＴを行う。これにより、周波数成分毎にＤＷＴ係数が得られる。
【０１３２】
ステップＳ４１２は輝度分布抽出処理である。
ステップＳ４１２において、輝度分布抽出部３２１は、ＤＷＴ係数を用いて輝度分布情報を生成する。
具体的には、輝度分布抽出部３２１は、最高次のＬＬ成分を縮小画像として含んだ輝度分布情報を生成する。縮小画像の画素は元の画像の画像領域に対応する。
２回のＤＷＴが行われる場合、輝度分布抽出部３２１は、２ＬＬ成分を縮小画像として含んだ輝度分布情報を生成する。
図２５に、元の画像と縮小画像に相当する２ＬＬ成分との関係を示す。
【０１３３】
ステップＳ４１３は模擬量子化処理である。
ステップＳ４１３において、模擬量子化部３２４は、ポスト量子化部３１３によるポスト量子化処理を模擬する。
【０１３４】
具体的には、模擬量子化部３２４は、輝度分布情報に対する量子化を行い、量子化後の輝度分布情報に対する逆量子化を行う。これにより、逆量子化後の輝度分布情報が得られる。
より具体的には、模擬量子化部３２４は、補正前の量子化幅を用いて、最高次のＬＬ成分に対する量子化を行う。これにより、量子化後のＬＬ成分が得られる。そして、模擬量子化部３２４は、補正前の量子化幅を用いて、量子化後のＬＬ成分に対する逆量子化を行う。これにより、逆量子化後のＬＬ成分が得られる。
量子化および逆量子化の方法は従来と同じである。
【０１３５】
ステップＳ４１４は補正係数決定処理である。
ステップＳ４１４において、補正係数決定部３２２は、逆量子化後の輝度分布情報を用いて、画像領域毎に補正係数を決定する。
補正係数が有する特徴および補正係数を決定する方法は、実施の形態３における画像符号化方法（図１７）のステップＳ３１３と同じである。
【０１３６】
ステップＳ４１５は変換係数補正処理である。
ステップＳ４１５において、変換係数補正部３２３は、画像領域毎に画像領域の補正係数を用いて、高周波数成分の変換係数を補正する。高周波数成分とは、最高次のＬＬ成分以外の周波数成分である。
高周波数成分の変換係数を補正する方法は、実施の形態３における画像符号化方法（図１７）のステップＳ３１４と同じである。
【０１３７】
また、変換係数補正部３２３は、画像領域毎に画像領域の補正係数として１を用いて、最高次のＬＬ成分の変換係数を補正する。言い換えると、変換係数補正部３２３は、最高次のＬＬ成分の変換係数を補正しない。
【０１３８】
ステップＳ４１５により、画像領域毎に補正後の変換係数が得られる。
【０１３９】
ステップＳ４１６はエントロピー符号化処理である。
ステップＳ４１６において、エントロピー符号化部３１２は、画像の補正後の変換係数に対してエントロピー符号化を行う。これにより、画像の符号化後の変換係数が得られる。エントロピー符号化の方法は従来と同じである。
【０１４０】
ステップＳ４１７はポスト量子化処理である。
ステップＳ４１７において、ポスト量子化部３１３は、画像の符号化後の変換係数を量子化する。これにより、圧縮データが得られる。圧縮データは、画像の量子化後の変換係数を含んだデータである。量子化の方法は従来と同じである。
【０１４１】
図２６に基づいて、画像復号方法を説明する。
画像符号化方法（図２４）のステップＳ４１７で得られた圧縮データが、記憶部４９１に記憶されているものとする。
【０１４２】
ステップＳ４２１はエントロピー復号処理である。
ステップＳ４２１において、エントロピー復号部４１２は、圧縮データを用いて、画像領の量子化後の変換係数に対してエントロピー復号を行う。これにより、画像の復号後の変換係数が得られる。具体的には、画像の復号後のＤＷＴ係数が得られる。エントロピー復号の方法は従来と同じである。
【０１４３】
ステップＳ４２２は輝度分布抽出処理である。
ステップＳ４２２において、輝度分布抽出部４２３は、画像の復号後のＤＷＴ係数を用いて輝度分布情報を生成する。
輝度分布情報を生成する方法は、画像符号化方法（図２４）のステップＳ４１２と同じである。
【０１４４】
ステップＳ４２３は補正係数決定処理である。
ステップＳ４２３において、補正係数決定部４２１は、輝度分布情報を用いて、画像領域毎に補正係数を決定する。
補正係数が有する特徴および補正係数を決定する方法は、実施の形態３における画像符号化方法（図１７）のステップＳ３１３と同じである。
【０１４５】
ステップＳ４２４は変換係数逆補正処理である。
ステップＳ４２４において、変換係数逆補正部４２２は、画像領域毎に画像領域の補正係数を用いて、高周波数成分の変換係数を逆補正する。高周波数成分の変換係数を逆補正する方法は、実施の形態３における画像復号方法（図１８）のステップＳ３２３と同じである。
【０１４６】
また、変換係数逆補正部４２２は、画像領域毎に画像領域の補正係数として１を用いて、最高次のＬＬ成分の変換係数を逆補正する。言い換えると、変換係数逆補正部４２２は、最高次のＬＬ成分の変換係数を逆補正しない。
【０１４７】
ステップＳ４２４により、画像領域毎に画像領域の変換係数が得られる。
【０１４８】
ステップＳ４２５は係数逆変換処理である。
ステップＳ４２５において、係数逆変換部４１１は、画像の変換係数に対する係数逆変換を行う。具体的には、係数逆変換部４１１は、画像のＤＷＴ係数に対する２次元逆ＤＷＴを行う。これにより、復号された画像を含んだ画像データが得られる。
【０１４９】
＊＊＊実施の形態４の効果＊＊＊
画像符号化装置３００から画像復号装置４００への輝度分布情報の伝送が不要となる。つまり、伝送が必要な情報が削減されるため、圧縮効率の向上と同様の効果を奏することが可能となる。
【０１５０】
＊＊＊他の構成＊＊＊
画像符号化装置３００と画像復号装置４００とのそれぞれの変換係数補正部（３２３、４２２）は、補正係数を１にせずに、最高次のＬＬ成分の変換係数を補正してもよい。つまり、変換係数補正部（３２３、４２２）は、実施の形態３と同じく、最高次のＬＬ成分の変換係数を補正によって変更してもよい。
その場合、画像符号化装置３００は模擬量子化部３２４を備えなくてもよい。
つまり、画像符号化装置３００は、画像符号化方法（図２４）のステップＳ４１３を実行しなくてもよい。その場合、ステップＳ４１４において、ステップＳ４１２で生成された輝度分布情報を用いて、画像領域毎に補正係数が決定される。
これにより、演算量を大幅に削減することが可能となる。
【０１５１】
実施の形態４は単色画像とカラー画像とのいずれに適用してもよい。
図２２に示した画像符号化装置３００の構成および図２３に示した画像復号装置４００の構成は、単色画像に適した構成である。
図２７に基づいて、カラー画像に適した画像符号化装置３００の構成を説明する。
画像符号化装置３００は、図２２に示した機能構成の要素に加えて、色変換部３０１と係数変換部３３１と変換係数補正部３３２とエントロピー符号化部３３３とポスト量子化部３３４とを備える。
図２８に基づいて、カラー画像に適した画像復号装置４００の構成を説明する。
画像復号装置４００は、図２３に示した機能構成の要素に加えて、色変換部４０１とエントロピー復号部４３１と変換係数逆補正部４３２と係数逆変換部４３３とを備える。
【０１５２】
＊＊＊実施の形態の補足＊＊＊
実施の形態において、画像符号化装置（１００、３００）の機能はハードウェアで実現してもよい。
図２９に、画像符号化装置（１００、３００）の機能がハードウェアで実現される場合の構成を示す。
画像符号化装置（１００、３００）は処理回路９９１を備える。処理回路９９１はプロセッシングサーキットリともいう。
画像符号化装置１００において、処理回路９９１は、係数変換部１１１とスカラー量子化部１１２とエントロピー符号化部１１３と輝度分布抽出部１２１と補正係数決定部１２２と量子化幅補正部１２３と模擬逆量子化部１２４と記憶部１９１といった「部」の機能を実現する専用の電子回路である。
画像符号化装置３００において、処理回路９９１は、係数変換部３１１とエントロピー符号化部３１２とポスト量子化部３１３と輝度分布抽出部３２１と補正係数決定部３２２と変換係数補正部３２３と模擬量子化部３２４と記憶部３９１といった「部」の機能を実現する専用の電子回路である。
具体的には、処理回路９９１は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。ＧＡはＧａｔｅ  Ａｒｒａｙの略称であり、ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略称であり、ＦＰＧＡはＦｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略称である。
【０１５３】
画像符号化装置（１００、３００）は、処理回路９９１を代替する複数の処理回路を備えてもよい。複数の処理回路は、「部」の機能を分担する。
【０１５４】
画像符号化装置（１００、３００）の機能は、ソフトウェアとハードウェアとの組み合わせで実現してもよい。つまり、「部」の機能の一部をソフトウェアで実現し、「部」の機能の残りをハードウェアで実現してもよい。
【０１５５】
実施の形態において、画像復号装置（２００、４００）の機能はハードウェアで実現してもよい。
図３０に、画像復号装置（２００、４００）の機能がハードウェアで実現される場合の構成を示す。
画像復号装置（２００、４００）は処理回路９９２を備える。処理回路９９２はプロセッシングサーキットリともいう。
画像復号装置２００において、処理回路９９２は、係数逆変換部２１１とスカラー逆量子化部２１２とエントロピー復号部２１３と補正係数決定部２２１と量子化幅補正部２２２と輝度分布抽出部２２３と輝度逆量子化部２２４と記憶部２９１といった「部」の機能を実現する専用の電子回路である。
画像復号装置４００において、処理回路９９２は、係数逆変換部４１１とエントロピー復号部４１２と補正係数決定部４２１と変換係数逆補正部４２２と輝度分布抽出部４２３と記憶部４９１といった「部」の機能を実現する専用の電子回路である。
具体的には、処理回路９９２は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
【０１５６】
画像復号装置（２００、４００）は、処理回路９９２を代替する複数の処理回路を備えてもよい。複数の処理回路は、「部」の機能を分担する。
【０１５７】
画像復号装置（２００、４００）の機能は、ソフトウェアとハードウェアとの組み合わせで実現してもよい。つまり、「部」の機能の一部をソフトウェアで実現し、「部」の機能の残りをハードウェアで実現してもよい。
【０１５８】
実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
【符号の説明】
【０１５９】
１００  画像符号化装置、１０１  色変換部、１１１  係数変換部、１１２  スカラー量子化部、１１３  エントロピー符号化部、１２１  輝度分布抽出部、１２２  補正係数決定部、１２３  量子化幅補正部、１２４  模擬逆量子化部、１３１  係数変換部、１３２  スカラー量子化部、１３３  エントロピー符号化部、１９１  記憶部、２００  画像復号装置、２０１  色変換部、２１１  係数逆変換部、２１２  スカラー逆量子化部、２１３  エントロピー復号部、２２１  補正係数決定部、２２２  量子化幅補正部、２２３  輝度分布抽出部、２２４  輝度逆量子化部、２３１  係数変換部、２３２  スカラー逆量子化部、２３３  エントロピー復号部、２９１  記憶部、３００  画像符号化装置、３０１  色変換部、３１１  係数変換部、３１２  エントロピー符号化部、３１３  ポスト量子化部、３２１  輝度分布抽出部、３２２  補正係数決定部、３２３  変換係数補正部、３２４  模擬量子化部、３３１  係数変換部、３３２  変換係数補正部、３３３  エントロピー符号化部、３３４  ポスト量子化部、３９１  記憶部、４００  画像復号装置、４０１  色変換部、４１１  係数逆変換部、４１２  エントロピー復号部、４２１  補正係数決定部、４２２  変換係数逆補正部、４２３  輝度分布抽出部、４３１  エントロピー復号部、４３２  変換係数逆補正部、４３３  係数逆変換部、４９１  記憶部、９１１，９２１，９３１，９４１  プロセッサ、９１２，９２２，９３２，９４２  メモリ、９１３，９２３，９３３，９４３  補助記憶装置、９１４，９２４，９３４，９４４  通信装置、９１５，９２５，９３５，９４５  入力装置、９１６，９２６，９３６，９４６  ディスプレイ、９９１，９９２  処理回路。
【図１】
0006732031.tif 000002
【図２】
0006732031.tif 000003
【図３】
0006732031.tif 000004
【図４】
0006732031.tif 000005
【図５】
0006732031.tif 000006
【図６】
0006732031.tif 000007
【図７】
0006732031.tif 000008
【図８】
0006732031.tif 000009
【図９】
0006732031.tif 000010
【図１０】
0006732031.tif 000011
【図１１】
0006732031.tif 000012
【図１２】
0006732031.tif 000013
【図１３】
0006732031.tif 000014
【図１４】
0006732031.tif 000015
【図１５】
0006732031.tif 000016
【図１６】
0006732031.tif 000017
【図１７】
0006732031.tif 000018
【図１８】
0006732031.tif 000019
【図１９】
0006732031.tif 000020
【図２０】
0006732031.tif 000021
【図２１】
0006732031.tif 000022
【図２２】
0006732031.tif 000023
【図２３】
0006732031.tif 000024
【図２４】
0006732031.tif 000025
【図２５】
0006732031.tif 000026
【図２６】
0006732031.tif 000027
【図２７】
0006732031.tif 000028
【図２８】
0006732031.tif 000029
【図２９】
0006732031.tif 000030
【図３０】
0006732031.tif 000031