(57)【要約】【課題】  ＲＡＷ画像を圧縮することにおいて、折り返しの影響を受けずに画像の特徴を取得して量子化に反映させることで、圧縮・伸長後の良好な画質を実現すること。【解決手段】  ベイヤー配列に従い赤成分、青成分、第１の緑成分、及び第２の緑成分の４つの色成分が配置されたＲＡＷ画像から、各色成分を分離し、赤成分、青成分、第１の緑成分、及び第２の緑成分のプレーン画像をそれぞれ生成するプレーン生成手段と、プレーン画像をそれぞれ量子化する量子化手段と、量子化手段によって量子化されたプレーン画像を符号化する符号化手段を備えた画像符号化装置であり、ＲＡＷ画像をデモザイクしたデモザイク画像を生成するデモザイク手段と、デモザイク画像から画像の特徴を解析する特徴抽出手段を備え、特徴抽出手段によって取得した画像の特徴に従い、前記量子化手段で用いる量子化ステップサイズを設定することを特徴とする。【選択図】  図２
2020123864.tif 000002
【特許請求の範囲】
【請求項１】
ベイヤー配列に従い赤成分、青成分、第１の緑成分、及び第２の緑成分の４つの色成分が配置されたＲＡＷ画像から、各色成分を分離し、赤成分、青成分、第１の緑成分、及び第２の緑成分のプレーン画像をそれぞれ生成するプレーン生成手段と、
前記プレーン画像をそれぞれ量子化する量子化手段と、
前記量子化手段によって量子化されたプレーン画像を符号化する符号化手段を備えた画像符号化装置において、
前記ＲＡＷ画像をデモザイクしたデモザイク画像を生成するデモザイク手段と、
前記デモザイク画像から画像の特徴を解析する特徴抽出手段を備え、
前記特徴抽出手段によって取得した画像の特徴に従い、前記量子化手段で用いる量子化ステップサイズを設定することを特徴とする画像符号化装置。
【請求項２】
前記特徴抽出手段は前記デモザイク画像を構成する画素毎にエッジの有無を示すエッジ情報を取得することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記量子化設定手段は前記デモザイク画像の画素毎に取得した前記エッジ情報を前記ＲＡＷ画像における同位置の画素の量子化ステップサイズの設定に適用することを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記量子化設定手段は前記エッジ情報に基づきエッジ有りと判定された画素に隣接する画素についてもエッジ有りとみなし、前記ＲＡＷ画像における同位置の画素の量子化ステップサイズの設定に適用することを特徴とする請求項２に記載の画像符号化装置。
【請求項５】
前記プレーン生成手段によって生成されたプレーン画像をそれぞれ離散ウェーブレット変換によって周波数分解して複数のサブバンド画像を生成する周波数分解手段を備え、
前記特徴抽出手段は前記デモザイク画像を構成する画素毎にエッジの有無を示すエッジ情報を取得し、
前記量子化設定手段は前記エッジ情報の取得位置を前記複数のサブバンド画像の変換係数毎の位置に変換した上で前記サブバンド画像の変換係数毎の量子化ステップサイズの設定に適用し、
前記量子化手段は前記量子化設定部によって設定された量子化ステップサイズに基づいて前記サブバンド画像を量子化することを特徴とする請求項１に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＲＡＷ画像を符号化する画像符号化装置に関する。
【背景技術】
【０００２】
デジタルカメラで撮影された静止画や、デジタルカムコーダーで撮影された動画は、ＪＰＥＧやＨ．２６４などで規格化された技術によって圧縮符号化され、記録されている。これらの圧縮技術は視覚的に影響が小さなデータを量子化によって削減することでデータサイズを小さくしている。例えば、ＪＰＥＧでは離散コサイン変換を用いて画像データを周波数成分に分解した上で、周波数成分毎に量子化ステップサイズを設定している。周波数成分毎の量子化ステップサイズの青空やグラデーションなどの変化が緩やかな箇所など、劣化が視認しやすい箇所に関わる低周波成分では量子化ステップサイズを小さくしている。逆に複雑な絵柄など、劣化が視認しにくい箇所に関わる高周波数成分に対して大きく量子化している。それに加えて更に、画像の中でも重要とされる、顔や文字、エッジの箇所などを検出し、量子化による劣化を抑制する技術が知られている。
【０００３】
エッジ検出の手段は、例えば、高域通過フィルタを用いて高周波成分を生成し、検出を行うＣａｎｎｙ法が挙げられる。特許文献１には、符号化単位となる所定サイズの画素ブロックでエッジの有無などの解析を行い、エッジが存在する場合は量子化ステップサイズを小さくするように、量子化ステップサイズを適応的に切り替える内容が記載されている。
【０００４】
一方で、昨今では画像センサーで取得した情報そのままを表すＲＡＷ画像を圧縮して記録する技術が公知となっている。特許文献２に記載の技術では、ＲＡＷ画像を圧縮する際に、図１に示すようにＲＡＷ画像から色成分毎にサブサンプリングしてプレーン画像を生成した後に各プレーンを圧縮して記録している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１９７５５７号公報
【特許文献２】特開２００３−１２５２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＲＡＷ画像の圧縮の際に適応量子化を行うことを考えた場合、プレーン画像に対して画像の特徴抽出を行うことが考えられる。
【０００７】
ここで、ＲＡＷ画像からプレーン画像を生成する際に生じる、サブサンプリングによる周波数成分の折り返りについて、図１５を参照しつつ説明する。
【０００８】
図１５は、ＲＡＷ画像からプレーン画像を生成する際の、サブサンプリング前後の空間周波数を図示化したもので有る。横軸は水平方向の空間周波数、縦軸は垂直方向の空間周波数を示す。図１５の左図はＲＡＷ画像からサブサンプリングする前の空間周波数を示したものであり、右図はＲＡＷ画像からサブサンプリングした後、つまりプレーン画像の空間周波数を示したものである。また、ｈｓは画像センサーにて画像を取得するときの水平方向の標本化周波数を示し、ｖｓは垂直方向の標本化周波数を示している。
【０００９】
図１５の左図で示すように、ＲＡＷ画像は水平方向でｈｓ／２、垂直方向でｖｓ／２までの空間周波数を有している。ｈｓ／２、ｖｓ／２は画像センサーからデジタル画像を取得する際のエイリアシング周波数である。
【００１０】
一方で、ＲＡＷ画像からサブサンプリングしたプレーン画像は、図１５の右図で示すように、空間周波数がｈｓ／４、ｖｓ／４までで制限されてしまう。ここで、ｈｓ／４、ｖｓ／４よりも大きい周波数成分は、ｈｓ／４、ｖｓ／４以下の空間周波数として折り返ってしまう。
【００１１】
以上より、ＲＡＷ画像からサブサンプリングによってプレーン画像を生成する際に、本来は高周波数成分であった情報が、プレーン画像においてはサブサンプリングによる周波数帯の折り返りで低周波数成分とみなされる。
【００１２】
更に、高周波数成分を解析する手法において、本来はｈｓ／２、ｖｓ／２付近の高域の周波数成分を解析するのに対し、サブサンプリング後のプレーン画像ではｈｓ／４、ｖｓ／４付近の中域の周波数成分を解析してしまう。そのため、例えばエッジ検出手段を用いてもエッジの検出を十分に行うことが出来なくなるなど、高周波数成分を解析して画像の特徴を取得する手段を活かせなくなる。
【００１３】
エッジ等の画像の特徴を表す高周波数成分が、プレーン画像では低周波数成分として扱われるため、高周波数成分を解析して画像の特徴を取得する手段を活かせなくなる。例えばエッジ検出手段を用いてもエッジの検出を十分に行うことが出来なくなる。
【００１４】
そのため、従来のＲＡＷ画像の圧縮技術、例えば特許文献２に記載の手法において、画像の特徴を抽出し、適応的に量子化を行う場合、量子化歪が視認しやすいエッジの箇所が検出できず、誤って量子化ステップサイズを大きく設定してしまい、画質を損なってしまう。また、量子化歪が視認しにくい、例えば草むらなどの複雑な箇所が検出できずに量子化ステップサイズを小さく設定してしまうことで、符号量が多くなってしまう等の問題が生じ得る。
【００１５】
以上を踏まえて、ＲＡＷ画像においても画像の特徴に従って適応的に量子化ステップサイズを設定するためには、周波数成分の折り返りを防ぐためにＲＡＷ画像をサブサンプリングせずに画像の特徴を取得することが必要となる。
【００１６】
本発明は、上記の問題点に鑑み、ＲＡＷ画像からサブサンプリングによって色成分毎のプレーンに分離してそれぞれを圧縮することにおいて、圧縮・伸長後の良好な画質が実現できる画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記の目的を達成するために、本発明に係る画像符号化装置は、
ベイヤー配列に従い赤成分、青成分、第１の緑成分、及び第２の緑成分の４つの色成分が配置されたＲＡＷ画像から、各色成分を分離し、赤成分、青成分、第１の緑成分、及び第２の緑成分のプレーン画像をそれぞれ生成するプレーン生成手段と、
前記プレーン画像をそれぞれ量子化する量子化手段と、
前記量子化手段によって量子化されたプレーン画像を符号化する符号化手段を備えた画像符号化装置において、
前記ＲＡＷ画像をデモザイクしたデモザイク画像を生成するデモザイク手段と、
前記デモザイク画像から画像の特徴を解析する特徴抽出手段を備え、
前記特徴抽出手段によって取得した画像の特徴に従い、前記量子化手段で用いる量子化ステップサイズを設定することを特徴とする。
【発明の効果】
【００１８】
本発明に係る画像符号化装置によれば、ＲＡＷ画像からサブサンプリングによって色成分毎のプレーンに分離してそれぞれを圧縮することにおいて、圧縮・伸長後の良好な画質が実現できる。
【図面の簡単な説明】
【００１９】
【図１】ＲＡＷ画像からプレーン画像に分離する例を示す図である。
【図２】本発明の第１の実施例に係る画像符号化装置の構成を示すブロック図である。
【図３】本発明に係るデモザイクの例を表す図である。
【図４】本発明に係る画像の平坦部／複雑部の判定の例を示す図である。
【図５】本発明の第１の実施例に係るエッジ情報の量子化への適用の例を示す図である。
【図６】本発明の第１の実施例に係る処理フローを示した図である。
【図７】本発明に係る量子化ステップサイズ設定の処理フローを示した図である。
【図８】本発明の第２の実施例に係る画像符号化装置の構成を示すブロック図である。
【図９】本発明の第２の実施例に係るエッジ情報の量子化への適用の例を示す図である。
【図１０】本発明の第２の実施例に係る処理フローを示した図である。
【図１１】本発明の第３の実施例に係る画像符号化装置の構成を示すブロック図である。
【図１２】本発明の第３の実施例に係るエッジ情報の量子化への適用の例を示す図である。
【図１３】本発明の第３の実施例に係る処理フローを示した図である。
【図１４】本発明の第２の実施例に係るエッジ情報をサブバンドに適用する際のプレーン画像における座標からサブバンドにおける座標に変換する例を示した図である。
【図１５】ＲＡＷ画像からプレーン画像に分離する際の周波数成分の折り返しについて示した図である。
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【実施例１】
【００２１】
本発明を適用した第１の実施形態である画像符号化装置の構成について、図２のブロック図を参照しながら説明する。
【００２２】
ここで、第１の実施例の画像符号化装置２００は、光学部２０１、撮像部２０２、色分離部２０３、量子化部２０４、エントロピー符号化部２０５、デモザイク部２０６、複雑度判定部２０７、エッジ検出部２０８、量子化ステップ設定部２０９、メモリＩ／Ｆ２１０、メモリ２１１、記録処理部２１２、記録媒体２１３、制御部２１４で構成されている。
【００２３】
制御部２１０は、撮像部２０２、記録処理部２１２を制御する。
【００２４】
光学部２０１は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系で構成されており、レンズ光学系を通して取得した光情報を、撮像部２０２に送る。
【００２５】
撮像部２０２は、光学部２０１から送られた光情報を電気信号に変換するＣＣＤイメージセンサー又は、ＣＭＯＳセンサーなどの撮像素子を含み、撮像素子により得られた電気信号をデジタル信号へ変換したＲＡＷ画像をメモリＩ／Ｆ２１０を介してメモリ２１１に記憶する。撮像部２０２は、制御部２１４から撮影命令を受けて、ＲＡＷ画像を取得する。
【００２６】
また、撮像部２０２は１枚のＲＡＷ画像をメモリ２１１に記憶させた後、色分離部２０３、デモザイク部２０６に読み出し許可信号を送る。色分離部２０３、デモザイク部２０６は撮像部２０２から受け取った読み出し許可信号を合図として動作を開始する。
【００２７】
尚、本実施例において、ＲＡＷ画像は図１の左の図で示すベイヤーＲＡＷで構成されているものとするが、本発明はそれを制限するものではない。
【００２８】
色分離部２０３は、撮像部２０２から読み出し許可信号を受けとった後、メモリ２１１から読み出したＲＡＷ画像から、図１の右図で示すような、Ｒプレーン、Ｂプレーン、Ｇ１プレーン、及びＧ２プレーンからなる４種類のプレーン画像を生成し、メモリ２１１に記憶する。
【００２９】
量子化部２０４は、量子化ステップ設定部２０９によって設定された量子化ステップサイズに基づいて、メモリ２１１から読み出したプレーン画像を量子化する。
【００３０】
エントロピー符号化部２０５は、量子化されたプレーン画像に対してハフマン符号や算術符号等を用いたエントロピー符号化を行って符号化ストリームを生成し、符号化ストリームをメモリＩ／Ｆ２１０を介してメモリ２１１に記憶する。また、エントロピー符号化部２０５は、プレーン画像の符号化を完了してメモリ２１１に符号化ストリームを書き込む。
【００３１】
デモザイク部２０６は、撮像部２０２から読み出し許可信号を受けとった後、メモリ２１１から読み出したＲＡＷ画像に対して、図３で示すようなデモザイク処理を施してデモザイク画像を取得し、メモリ２１１に記憶する。
【００３２】
図３のデモザイク処理の例は、輝度成分を多く含む緑（Ｇ）成分に対してのみデモザイク処理を行うものであるため、ＲＡＷ画像における赤（Ｒ）成分、及び青（Ｂ）成分の位置にのみ適用される。
【００３３】
図３にはデモザイク処理で用いられる計算式を３つ示しており、デモザイク部２０６は何れか１つの式を用いてデモザイク処理を行う。（式１）はＲ、Ｂの周囲４つのＧの平均を用いるものである。また、（式２）はＲ、Ｂに対して水平方向に隣接するＧの差分と垂直方向に隣接するＧの差分を比較して、差分が小さい方向についてのＧの平均を用いるものである。（式２）は水平、及び垂直の画素の相関を比べて相関性が高いものを使うため、（式１）と比べてエッジ部分の再現性が高まるなど、デモザイク画像の質が良くなる。（式３）は、（式２）と同じ様に水平、及び垂直の画素の相関を比べるものであるが、こちらはより遠くの画素を用いて相関を用いる計算式となっている。
【００３４】
複雑度判定部２０７は図４で示すように、メモリ２１１から読み出したデモザイク画像を所定サイズの領域に分割して、各領域で平坦部／複雑部の判定を行う。複雑度判定部２０７における判定に基づいて、後述するステップ設定部２０９による量子化ステップ設定で、領域毎の量子化ステップサイズが暫定的に設定される。
【００３５】
尚、図４の例において量子化ステップ設定部２０９は、２系統の量子化ステップサイズα、β（α＜β）を用いて、領域が平坦部と判定された場合はαを、複雑部と判定された場合はβを、領域毎の量子化ステップサイズ（Ｂｌｏｃｋ＿Ｑｓｔｅｐ）に設定する。Ｂｌｏｃｋ＿Ｑｓｔｅｐは、後述のエッジ情報に基づいた画素毎の量子化ステップサイズ（Ｑｓｔｅｐ）の導出に使用される。
【００３６】
図４の例は領域の中で異なる画素値が存在する場合を複雑部、それ以外を平坦部としているが、領域毎に分散を求めるなどして、平坦部／複雑部判定を行っても良い。
【００３７】
エッジ検出部２０８は、デモザイク画像を用いて、被写体のエッジ情報の抽出を行う。エッジ検出には公知の技術、例えばＣａｎｎｙ法などを用いることが出来る。抽出されたエッジ情報は、本実施例においては所定の閾値に基づいて二値化されて用いられる。
【００３８】
本実施例におけるエッジ情報の抽出、及びエッジ情報の量子化ステップサイズへの適用の例を図５に示す。図５は前述の複雑度判定部２０７で平坦部／複雑部判定に用いられる領域の１つを抜き出して、デモザイク画像に対するエッジ判定からエッジ情報マップを生成、エッジ情報マップをＲＡＷ画像から生成したプレーン画像の画素毎のＱｓｔｅｐ導出に適用する例を示したものである。
【００３９】
ＲＡＷ画像をデモザイク処理してデモザイク画像が生成された後、エッジ検出部２０８によってエッジ情報の抽出、更に２値化した上でエッジ情報マップが生成される。その後、ＲＡＷ画像からプレーン画像を生成する際のサブサンプリングの位置関係をそのまま用いて、エッジ情報マップを分割し、プレーン毎のエッジ情報マップを生成、各プレーン画像の画素毎のＱｓｔｅｐ導出に用いる。
【００４０】
プレーン画像の画素毎のＱｓｔｅｐ導出は、複雑度判定部２０７の判定により領域内で暫定的に設定されたＢｌｏｃｋ＿Ｑｓｔｅｐと、プレーン画像内の画素毎のエッジ情報に基づいて行われる。エッジに含まれない画素のＱｓｔｅｐについては、Ｂｌｏｃｋ＿Ｑｓｔｅｐの値がそのまま設定される。一方で、エッジに含まれる画素のＱｓｔｅｐについては、Ｂｌｏｃｋ＿Ｑｓｔｅｐの値から所定の数値γを差し引いた値が設定される。これは、エッジを含む箇所については、量子化による画質劣化が視認しやすいために、エッジ有りと判定された箇所については量子化を弱める必要があるためである。
【００４１】
量子化ステップ設定部２０９は、前述の複雑度判定部２０７による所定サイズの領域毎の平坦部／複雑部判定、及びエッジ検出部２０８によるエッジ情報マップを用いてプレーン画像内の画素毎に量子化ステップサイズを設定する。
【００４２】
本実施例における量子化ステップサイズの設定は、前述の通りではあるが、所定サイズの領域毎に求められた平坦部／複雑部判定に基づいて暫定的にＢｌｏｃｋ＿Ｑｓｔｅｐを設定し、エッジ情報マップに基づいてプレーン画像内の画素毎にＱｓｔｅｐを設定する。
【００４３】
メモリＩ／Ｆ２１０は、各処理部からのメモリ・アクセス要求を調停し、メモリ２１１に対する読み出し・書き込み制御を行う。
【００４４】
メモリ２１１は、撮像装置２００を構成する各処理部から出力される各種データを格納するための例えば揮発性メモリで構成される記憶領域である。
【００４５】
記録処理部２１２は、制御部２１４からの記録命令に従い、メモリ２１１へ格納された符号化ストリーム等の各種データを記録媒体２１３へ記録する。
【００４６】
記録媒体２１３は、例えば不揮発性メモリで構成される記録メディアである。
【００４７】
制御部２１４は、撮像部２０２、及び記録処理部２１２を制御する。
【００４８】
続いて、本発明の第１の実施例の画像符号化装置の動作の詳細を図６に示すフローチャートを基づき説明する。
【００４９】
まず始めに、制御部２１４から撮像部２０２に撮像命令を発行し、撮像部２０２がＲＡＷ画像を取得し、メモリ２１１に一時的に記憶する（Ｓ６０１）。
【００５０】
続いて、デモザイク部２０６によりＲＡＷ画像からデモザイク画像が生成される（Ｓ６０２）。
【００５１】
その後、デモザイク画像を用いて複雑度判定部２０７による平坦部／複雑部の判定、エッジ検出部２０８によるエッジ情報の抽出をそれぞれ行う（Ｓ６０３）。
【００５２】
続いて、平坦部／複雑部の判定とエッジ情報に基づいて、量子化ステップ設定部２０９によりプレーン画像の量子化ステップサイズを設定する（Ｓ６０４）。尚、量子化ステップサイズの設定フローについては後述する。
【００５３】
その後、色分離部２０３によりＲＡＷ画像から、Ｒプレーン、Ｂプレーン、Ｇ１プレーン、及びＧ２プレーンからなる４種類のプレーン画像を生成する（Ｓ６０５）。
【００５４】
続いて、量子化ステップ設定部２０９により設定された量子化ステップサイズを用いて、量子化部２０４により各プレーン画像を量子化する（Ｓ６０６）。
【００５５】
その後、エントロピー符号化部２０５により量子化後の各プレーン画像を圧縮して符号化ストリームを生成する（Ｓ６０７）。
【００５６】
最後に、記録媒体２１３に符号化ストリームを書き込む。
【００５７】
続いて、量子化ステップ設定部２０９による量子化ステップサイズの設定フローについて図７を用いて説明する。
【００５８】
まず始めに、複雑度判定部２０７で用いられる領域の内の１つを量子化ステップサイズ設定の対象ブロックとして設定する（Ｓ７０１）。
【００５９】
続いて、複雑度判定部２０７により平坦部であるか、複雑部であるかを判定する（Ｓ７０２）。
【００６０】
複雑部と判定された場合は、複雑部用の量子化ステップサイズβを対象ブロック内の量子化ステップサイズであるＢｌｏｃｋ＿Ｑｓｔｅｐとして設定する（Ｓ７０３）。
【００６１】
平坦部と判定された場合は、平坦部用の量子化ステップサイズαをＢｌｏｃｋ＿Ｑｓｔｅｐとして設定する（Ｓ７０４）。
【００６２】
その後、対象ブロックから更に１画素を選択する（Ｓ７０５）。
【００６３】
続いて、選択された１画素がエッジ部分に含まれるか否かを判定する（Ｓ７０６）。
【００６４】
エッジ部に含まれる場合は、Ｂｌｏｃｋ＿Ｑｓｔｅｐから所定の数値γを差し引き、選択された１画素に適用する量子化ステップサイズであるＱｓｔｅｐとして設定する（Ｓ７０７）。
【００６５】
エッジ部に含まれない場合は、Ｂｌｏｃｋ＿Ｑｓｔｅｐをそのまま、Ｑｓｔｅｐとして設定する（Ｓ７０８）。
【００６６】
その後、対象ブロック内の全ての画素に対してＱｓｔｅｐを設定したか否かを判定する（Ｓ７０９）。
【００６７】
対象ブロック内の全ての画素に対してＱｓｔｅｐを設定し終わっていない場合は、Ｓ７０５に戻る。
【００６８】
対象ブロック内の全ての画素に対してＱｓｔｅｐを設定し終わった場合は、画面内の全ての画素に対してＱｓｔｅｐを設定したか否かを判定する（Ｓ７１０）。
【００６９】
画面内の全ての画素に対してＱｓｔｅｐを設定し終わっていない場合は、Ｓ７０１に戻る。
【００７０】
画面内の全ての画素に対してＱｓｔｅｐを設定し終わった場合は、量子化ステップサイズ設定を終了する。
【００７１】
以上の様に本実施例の画像符号化装置は、撮像部２０２により取得したＲＡＷ画像を色分離して生成したプレーン画像を圧縮符号化する際に、ＲＡＷ画像からデモザイクして生成したデモザイク画像から取得した画像の特徴を量子化に反映させる。
【００７２】
デモザイク画像から画像の特徴を抽出してプレーン画像の量子化に反映させることで、周波数帯の折り返りの発生を防いで画像の特徴を正確に取得できるため、画像の特徴に応じた適応的な量子化ステップサイズの設定が可能となる。
【００７３】
そのため、画像の平坦部や複雑部、更にはエッジ部に応じて最適な量子化を行うことで、圧縮・伸長後の画像の画質を改善することが出来る。
【実施例２】
【００７４】
続いて、本発明を適用した第２の実施形態である画像符号化装置について、図８のブロック図を参照しながら説明する。
【００７５】
ここで、本発明の第２の実施例である画像符号化装置８００は、光学部２０１、撮像部２０２、色分離部２０３、デモザイク部２０６、複雑度判定部２０７、エッジ検出部２０８、メモリＩ／Ｆ２１０、メモリ２１１、記録処理部２１２、記録媒体２１３、制御部２１４、及び周波数変換部８０１、量子化ステップ設定部８０２、量子化部８０３、エントロピー符号化部８０４で構成されている。
【００７６】
尚、本発明の第２の実施例である画像符号化装置の説明において、周波数変換部８０１、量子化ステップ設定部８０２、量子化部８０３、エントロピー符号化部８０４のみを説明する。その他の構成、及び処理については、前述の第１の実施例の画像符号化装置と同様であるため、ここでの説明は省略する。
【００７７】
周波数変換部８０１は、色分離部２０３によって生成されたプレーン画像を周波数分解する。尚、本実施例では離散ウェーブレット変換（Discrete Wavelet Transformaion：ＤＷＴ）を用いることでプレーン画像からサブバンドを生成する。
【００７８】
量子化ステップ設定部８０２は、前述の複雑度判定部２０７による所定サイズの領域毎の平坦部／複雑部判定、及びエッジ検出部２０８によるエッジ情報マップを用いて、サブバンド内の係数毎に量子化ステップサイズを設定する。
【００７９】
本実施例における量子化ステップサイズの設定について図９を用いて説明する。図９は複雑度判定部２０７で平坦部／複雑部判定に用いられる領域の１つを抜き出して、デモザイク画像に対するエッジ判定からエッジ情報マップを生成、エッジ情報マップをサブバンドの係数毎のＱｓｔｅｐ導出に適用する例を示したものである。
【００８０】
尚、複雑度判定部２０７で取得した平坦部／複雑部判定によるＢｌｏｃｋ＿Ｑｓｔｅｐの設定について図９の例においては、判定した領域に関わるサブバンド、言い換えるならば複雑度判定に用いた領域をＤＷＴして生成したサブバンド、に対して一律で同じ値を設定するものとしている。ただし、サブバンドの特性に従ってＢｌｏｃｋ＿Ｑｓｔｅｐをサブバンド毎に調整して設定しても良い。例えば、低周波成分を表す１ＬＬに対してＢｌｏｃｋ＿Ｑｓｔｅｐをそのまま設定し、水平、垂直のどちらか１方向の高周波成分を表す１ＨＬ、１ＬＨはＢｌｏｃｋ＿Ｑｓｔｅｐを２倍にして設定、水平、垂直の両方向の高周波成分を表す１ＨＨはＢｌｏｃｋ＿Ｑｓｔｅｐを４倍にして設定、などが考えられる。
【００８１】
ＲＡＷ画像をデモザイク処理してデモザイク画像が生成された後、エッジ検出部２０８によってエッジ情報の抽出、更に２値化した上でエッジ情報マップが生成される。その後、ＲＡＷ画像からプレーン画像を生成する際のサブサンプリングの位置関係をそのまま用いて、エッジ情報マップを分割し、プレーン毎のエッジ情報マップを生成する。その後、図１４に示すようにプレーン画像とサブバンド間でエッジ情報の座標を変換してサブバンド毎のエッジ情報マップを生成し、各サブバンドの画素毎のＱｓｔｅｐ導出に用いる。
【００８２】
図１４の例は、プレーン画像に対するエッジ情報マップからＤＷＴ１回によって生成されたサブバンドに対するエッジ情報マップを生成する例について示したものである。ここで、プレーン画像の水平、或いは垂直の画素数は、サブバンドの水平、或いは垂直の画素数と比べて２倍多い関係となっている。
【００８３】
エッジ情報はプレーン画像を用いて生成されるため、サブバンド画像の係数に対して４倍の数のエッジ情報を持つことになる。そのため、エッジ情報マップの内、２×２のエッジ情報から、サブバンド画像の１係数分のエッジ情報を求める。例えばサブバンドにおける座標（ａ、ｂ）の係数に対して、プレーン画像は（２＊ａ、２＊ｂ）、（２＊ａ＋１、２＊ｂ）、（２＊ａ、２＊ｂ＋１）、（２＊ａ＋１、２＊ｂ＋１）の４画素が対応するものと考える。プレーン画像における２×２画素分のエッジ情報を参照して、何れか１つでもエッジ有りを示していれば、サブバンド内の対応する１係数についてエッジ有りとする。
【００８４】
サブバンドの係数毎のＱｓｔｅｐ導出は、複雑度判定部２０７の判定により領域内で暫定的に設定されたＢｌｏｃｋ＿Ｑｓｔｅｐと、サブバンド内の係数毎のエッジ情報に基づいて行われる。エッジに含まれない係数のＱｓｔｅｐについては、Ｂｌｏｃｋ＿Ｑｓｔｅｐの値がそのまま設定される。一方で、エッジに含まれる係数のＱｓｔｅｐについては、Ｂｌｏｃｋ＿Ｑｓｔｅｐの値から所定の数値γを差し引いた値が設定される。これは、エッジを含む箇所については、量子化による画質劣化が視認しやすいために、エッジ有りと判定された箇所については量子化を弱める必要があるためである。
【００８５】
量子化部８０３は、量子化ステップ設定部８０２によって設定された量子化ステップサイズに基づいて、サブバンドを量子化する。
【００８６】
エントロピー符号化部８０４は、量子化されたサブバンドに対してハフマン符号や算術符号等を用いたエントロピー符号化を行って符号化ストリームを生成し、符号化ストリームをメモリＩ／Ｆ２１０を介してメモリ２１１に記憶する。また、エントロピー符号化部８０４は、サブバンドの符号化を完了してメモリ２１１に符号化ストリームを書き込んだ後、記録処理部２１２に記録処理許可信号を送る。
【００８７】
続いて、本発明の第２の実施例の画像符号化装置の動作の詳細を図１０に示すフローチャートを基づき説明する。
【００８８】
まず始めに、制御部２１４から撮像部２０２に撮像命令を発行し、撮像部２０２がＲＡＷ画像を取得し、メモリ２１１に一時的に記憶する（Ｓ６０１）。
【００８９】
続いて、デモザイク部２０６によりＲＡＷ画像からデモザイク画像が生成される（Ｓ６０２）。
【００９０】
その後、デモザイク画像を用いて複雑度判定部２０７による平坦部／複雑部の判定、エッジ検出部２０８によるエッジ情報の抽出をそれぞれ行う（Ｓ６０３）。
【００９１】
続いて、平坦部／複雑部の判定とエッジ情報に基づいて、量子化ステップ設定部８０２によりサブバンドの量子化ステップサイズを設定する（Ｓ１００１）。
【００９２】
その後、色分離部２０３によりＲＡＷ画像から、Ｒプレーン、Ｂプレーン、Ｇ１プレーン、及びＧ２プレーンからなる４種類のプレーン画像を生成する（Ｓ６０５）。
【００９３】
続いて、周波数変換部８０１により、プレーン画像を周波数変換してサブバンドを生成する（Ｓ１００２）。
【００９４】
その後、量子化ステップ設定部８０２により設定された量子化ステップサイズを用いて、量子化部８０３により各サブバンドを量子化する（Ｓ１００３）。
【００９５】
続いて、エントロピー符号化部８０４により量子化後の各サブバンドを圧縮して符号化ストリームを生成する（Ｓ１００４）。
【００９６】
最後に、記録媒体２１３に符号化ストリームを書き込む。
【００９７】
以上の様に、実施例２の画像符号化装置は、画像の特徴情報をサブバンドに対応させることで、周波数変換後のプレーン画像に対しても適応的に量子化ステップサイズを設定することが出来、圧縮・伸長後の画質改善が可能となる。
【実施例３】
【００９８】
続いて、本発明を適用した第２の実施形態である画像符号化装置について、図１１のブロック図を参照しながら説明する。
【００９９】
ここで、本発明の第３の実施例である画像符号化装置１１００は、光学部２０１、撮像部２０２、色分離部２０３、量子化部２０４、エントロピー符号化部２０５、デモザイク部２０６、複雑度判定部２０７、エッジ検出部２０８、メモリＩ／Ｆ２１０、メモリ２１１、記録処理部２１２、記録媒体２１３、制御部２１４、及び量子化ステップ設定部１１０１で構成されている。
【０１００】
尚、本発明の第３の実施例である画像符号化装置の説明において、量子化ステップ設定部１１０１のみを説明する。その他の構成、及び処理については、前述の第１の実施例の画像符号化装置と同様であるため、ここでの説明は省略する。
【０１０１】
量子化ステップ設定部１１０１は、前述の複雑度判定部２０７による所定サイズの領域毎の平坦部／複雑部判定、及びエッジ検出部２０８によるエッジ情報マップを用いて、プレーン画像内の画素毎に量子化ステップサイズを設定する。
【０１０２】
本実施例におけるエッジ情報の抽出、及びエッジ情報の量子化ステップサイズへの適用の例を図１２に示す。図１２は前述の複雑度判定部２０７で平坦部／複雑部判定に用いられる領域の１つを抜き出して、デモザイク画像に対するエッジ判定からエッジ情報マップを生成、エッジ情報マップをＲＡＷ画像から生成したプレーン画像の画素毎のＱｓｔｅｐ導出に適用する例を示したものである。
【０１０３】
ＲＡＷ画像をデモザイク処理してデモザイク画像が生成された後、エッジ検出部２０８によってエッジ情報の抽出、更に２値化した上でエッジ情報マップが生成される。その後、エッジ有りとされた画素の周辺の画素についてエッジ有りとして書き換えて修正エッジ情報マップを生成する。続いて、ＲＡＷ画像からプレーン画像を生成する際のサブサンプリングの位置関係をそのまま用いて、修正エッジ情報マップを分割し、プレーン毎のエッジ情報マップを生成、各プレーン画像の画素毎のＱｓｔｅｐ導出に用いる。
【０１０４】
実施例１のエッジ情報による量子化ステップサイズの補正では、エッジ箇所のみ量子化を弱めてしまい、エッジに隣接する画素との間に量子化劣化の差が生じてしまう。画素間の量子化劣化の差は、ＲＡＷ画像においてはＲ、Ｇ、Ｂ間の劣化の差に相当するため、ＲＡＷ画像を視聴するために現像処理を行うと劣化の差により色のバランスが崩れて、正しい色が表現できなくなる。一方で、実施例３ではエッジ部分のみでなく、そこに隣接する画素も同じ様に量子化ステップサイズを補正するため、Ｒ、Ｇ、Ｂ間で劣化の差が生じ難くなり、現像によって正確に色を表現することが可能となる。
【０１０５】
続いて、本発明の第３の実施例の画像符号化装置の動作の詳細を図１３に示すフローチャートを基づき説明する。
【０１０６】
まず始めに、制御部２１４から撮像部２０２に撮像命令を発行し、撮像部２０２がＲＡＷ画像を取得し、メモリ２１１に一時的に記憶する（Ｓ６０１）。
【０１０７】
続いて、デモザイク部２０６によりＲＡＷ画像からデモザイク画像が生成される（Ｓ６０２）。
【０１０８】
その後、デモザイク画像を用いて複雑度判定部２０７による平坦部／複雑部の判定、エッジ検出部２０８によるエッジ情報の抽出をそれぞれ行う（Ｓ６０３）。
【０１０９】
続いて、エッジ情報に基づいてプレーン画像のエッジ情報マップを生成する（Ｓ１３０１）。
【０１１０】
その後、平坦部／複雑部の判定とエッジ情報マップに基づいて、量子化ステップ設定部２０９によりプレーン画像の量子化ステップサイズを設定する（Ｓ１３０２）。
【０１１１】
続いて、色分離部２０３によりＲＡＷ画像から、Ｒプレーン、Ｂプレーン、Ｇ１プレーン、及びＧ２プレーンからなる４種類のプレーン画像を生成する（Ｓ６０５）。
【０１１２】
その後、量子化ステップ設定部２０９により設定された量子化ステップサイズを用いて、量子化部２０４により各プレーン画像を量子化する（Ｓ６０６）。
【０１１３】
続いて、エントロピー符号化部２０５により量子化後の各プレーン画像を圧縮して符号化ストリームを生成する（Ｓ６０７）。
【０１１４】
最後に、記録媒体２１３に符号化ストリームを書き込む。
【０１１５】
以上の様に、実施例３の画像符号化装置は、エッジ箇所に加えてその近辺に対しても量子化ステップサイズを補正することで、圧縮・伸長、現像後のエッジ近傍の色が誤り難くなり、画質改善が可能となる。
【符号の説明】
【０１１６】
２００  画像符号化装置、２０１  光学部、２０２  撮像部、
２０３  色分離部、２０４  量子化部、２０５  エントロピー符号化部、
２０６  デモザイク部、２０７  複雑度判定部、２０８  エッジ検出部、
２０９  量子化ステップ設定部、２１０  メモリＩ／Ｆ、２１１  メモリ、
２１２  記録処理部、２１３  記録媒体、２１４  制御部
【図１】
2020123864.tif 000003
【図２】
2020123864.tif 000004
【図３】
2020123864.tif 000005
【図４】
2020123864.tif 000006
【図５】
2020123864.tif 000007
【図６】
2020123864.tif 000008
【図７】
2020123864.tif 000009
【図８】
2020123864.tif 000010
【図９】
2020123864.tif 000011
【図１０】
2020123864.tif 000012
【図１１】
2020123864.tif 000013
【図１２】
2020123864.tif 000014
【図１３】
2020123864.tif 000015
【図１４】
2020123864.tif 000016
【図１５】
2020123864.tif 000017