(57)【要約】【課題】符号化後の画像データに含まれる特定の画素へのアクセス性を向上させることができ、かつ、画質劣化の少ない画像処理装置を提供する。【解決手段】画像処理装置１００は、画像切り出し部１０１で切り出された画像ブロックに対してウェーブレット変換を行うウェーブレット変換部１０２と、ウェーブレット変換後の高域係数を符号化する第１のエントロピー符号化部１０３と、ウェーブレット変換後の低域係数を符号化する第２のエントロピー符号化部１０５と、エントロピー符号データの発生符号量を判定する符号量判定部１０６と、画像ブロックに対して量子化及び符号化処理を行う量子化処理部１０７と、符号データを出力する符号出力部１０８とを備える。符号出力部１０８は、発生符号量が目標符号量に収まっているか否かに応じて、エントロピー符号データ又は量子化データのいずれかを選択し、画像ブロックに対して目標符号量の符号データを出力する。【選択図】図１
2009060320.tif 000002
【特許請求の範囲】
【請求項１】
画像データの圧縮を行う画像処理装置であって、
圧縮対象となる画像データから予め定められたサイズの画像ブロックを切り出す画像切り出し手段と、該切り出された画像ブロックに対してウェーブレット変換処理を行うウェーブレット変換処理手段と、該ウェーブレット変換処理手段から出力された高域係数をエントロピー符号化する第１の符号化手段と、前記ウェーブレット変換処理手段から出力された低域係数を差分符号化する差分符号化手段と、該差分符号化手段の出力をエントロピー符号化する第２の符号化手段と、前記第１の符号化手段及び前記第２の符号化手段の出力より発生符号量を判定する符号量判定手段と、前記画像切り出し手段により切り出された画像ブロックに対して量子化及び符号化処理を行う量子化手段と、前記符号量判定手段による判定結果に基づいて符号データを出力する出力手段とを備え、
前記出力手段は、前記符号量判定手段による判定の結果、前記発生符号量が所定の目標符号量に収まっているか否かに応じて、エントロピー符号データまたは量子化データのいずれかの符号データを選択し、前記画像ブロックに対して前記目標符号量の符号データを出力することを特徴とする画像処理装置。
【請求項２】
前記量子化手段は、各画像ブロックに対する符号量が前記目標符号量と一致するように量子化及び符号化を行うとともに、前記出力手段は、エントロピー符号データを出力する場合に前記目標符号量と一致する出力を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像切り出し手段により切り出される画像ブロックは、水平に連続した一定数Ｎ画素のデータで構成されていることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１の符号化手段及び／又は前記第２の符号化手段は、ハフマン符号化処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記第１の符号化手段及び／又は前記第２の符号化手段は、算術符号化処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】
前記出力手段は、前記発生符号量が所定の目標符号量以内の場合、エントロピー符号データを選択し、前記発生符号量が所定の目標符号量を超える場合、量子化データを選択することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
画像データの圧縮を行う画像処理装置による画像処理方法であって、
圧縮対象となる画像データから予め定められたサイズの画像ブロックを切り出す画像切り出しステップと、該切り出された画像ブロックに対してウェーブレット変換処理を行うウェーブレット変換処理ステップと、該ウェーブレット変換処理ステップにて出力された高域係数をエントロピー符号化する第１の符号化ステップと、前記ウェーブレット変換処理ステップにて出力された低域係数を差分符号化する差分符号化ステップと、該差分符号化ステップにおける出力をエントロピー符号化する第２の符号化ステップと、前記第１の符号化ステップ及び前記第２の符号化ステップにおける出力より発生符号量を判定する符号量判定ステップと、前記画像切り出しステップにて切り出された画像ブロックに対して量子化及び符号化処理を行う量子化ステップと、前記符号量判定ステップにおける判定結果に基づいて符号データを出力する出力ステップとを備え、
前記出力ステップは、前記符号量判定ステップにおける判定の結果、前記発生符号量が所定の目標符号量に収まっているか否かに応じて、エントロピー符号データまたは量子化データのいずれかの符号データを選択し、前記画像ブロックに対して前記目標符号量の符号データを出力することを特徴とする画像処理方法。
【請求項８】
前記量子化ステップは、各画像ブロックに対する符号量が前記目標符号量と一致するように量子化及び符号化を行うとともに、前記出力ステップは、エントロピー符号データを出力する場合に前記目標符号量と一致する出力を行うことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記画像切り出しステップにて切り出される画像ブロックは、水平に連続した一定数Ｎ画素のデータで構成されていることを特徴とする請求項７又は８に記載の画像処理方法。
【請求項１０】
前記第１の符号化ステップ及び／又は前記第２の符号化ステップは、ハフマン符号化処理を行うことを特徴とする請求項７又は８に記載の画像処理方法。
【請求項１１】
前記第１の符号化ステップ及び／又は前記第２の符号化ステップは、算術符号化処理を行うことを特徴とする請求項７又は８に記載の画像処理方法。
【請求項１２】
前記出力ステップは、前記発生符号量が所定の目標符号量以内の場合、前記エントロピー符号データを選択し、前記発生符号量が所定の目標符号量を超える場合、前記量子化データを選択することを特徴とする請求項７乃至１１のいずれか１項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、より詳細には、画像データの圧縮を行う画像処理装置及び該装置による画像処理方法に関する。
【背景技術】
【０００２】
従来、画像データの圧縮（符号化）にはさまざまな方式が使用されている。代表的なものとしては、国際標準となっているＭＰＥＧ、ＪＰＥＧ、ＪＰＥＧ２０００などが挙げられる。ＭＰＥＧやＪＰＥＧでは画像データの圧縮処理を行う際に、画像データを一定の大きさのブロックに分割して処理を行う。このブロックは１６×１６画素や８×８画素といったサイズが一般的である。このようなブロック単位での処理を行った場合に圧縮ひずみの影響でブロックノイズが発生することが知られている。これに対して、ＪＰＥＧ２０００ではブロックノイズの発生を防止するために、画像全体を１つのブロックとして処理することも可能な方式をとっている。
【０００３】
これらの画像圧縮を行うことにより、元の画像データに比べてデータサイズを数分の１から数十分の１といった小さなサイズにすることが可能となる。しかしながら、このような圧縮処理や、逆に圧縮データから画像データに戻すための伸張処理を行うためには、画像データを保持するためのメモリや、処理途中のデータを保持するためのバッファメモリが多く必要になる傾向にある。このような処理途中のバッファメモリを削減する方法として、例えば、特許文献１のような方式が提案されている。
【０００４】
この特許文献１には、特にＪＰＥＧ２０００での処理において、画像をタイルと呼ぶブロックに分割して（分割しない場合も含む）処理を行う場合に、処理工程に必要なメモリを管理することでメモリの利用効率を向上させるための技術が記載されている。
【特許文献１】特開２００６−２８７４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述の方式により圧縮された画像データの場合、例えばＩＰ変換、画質補正などの画像処理に伴い、この画像データに含まれる特定の画素に対してアクセスする際に、少なくともその画素を含むブロックの符号化データを伸張する必要がある。ＪＰＥＧ２０００のように画像全体を一つのブロックとして符号化されている場合には画像全体を伸張する必要がある。
【０００６】
また、ＭＰＥＧ／ＪＰＥＧ／ＪＰＥＧ２０００等の圧縮処理ではエントロピー符号化を用いており、各ブロックに対応した符号化データの符号量は一定でない場合がほとんどである。このため、画像データ内のある画素を取り出したい場合にその画素を含むブロックを伸張しなければならないが、圧縮された画像データの中から、その画素を含むブロックの圧縮データを取り出すためには、圧縮データの先頭から順次ヘッダ情報などを読み取りながら目的とするブロックの圧縮データをサーチするなどの処理が必要となり、アクセス性が悪いという問題があった。
【０００７】
本発明は、上述のごとき実情に鑑みてなされたものであり、符号化後の画像データに含まれる特定の画素へのアクセス性を向上させることができ、かつ、画質劣化の少ない画像処理装置及び該装置による画像処理方法を提供すること、を目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の技術手段は、画像データの圧縮を行う画像処理装置であって、圧縮対象となる画像データから予め定められたサイズの画像ブロックを切り出す画像切り出し手段と、該切り出された画像ブロックに対してウェーブレット変換処理を行うウェーブレット変換処理手段と、該ウェーブレット変換処理手段から出力された高域係数をエントロピー符号化する第１の符号化手段と、前記ウェーブレット変換処理手段から出力された低域係数を差分符号化する差分符号化手段と、該差分符号化手段の出力をエントロピー符号化する第２の符号化手段と、前記第１の符号化手段及び前記第２の符号化手段の出力より発生符号量を判定する符号量判定手段と、前記画像切り出し手段により切り出された画像ブロックに対して量子化及び符号化処理を行う量子化手段と、前記符号量判定手段による判定結果に基づいて符号データを出力する出力手段とを備え、前記出力手段は、前記符号量判定手段による判定の結果、前記発生符号量が所定の目標符号量に収まっているか否かに応じて、エントロピー符号データまたは量子化データのいずれかの符号データを選択し、前記画像ブロックに対して前記目標符号量の符号データを出力することを特徴としたものである。
【０００９】
第２の技術手段は、第１の技術手段において、前記量子化手段は、各画像ブロックに対する符号量が前記目標符号量と一致するように量子化及び符号化を行うとともに、前記出力手段は、エントロピー符号データを出力する場合に前記目標符号量と一致する出力を行うことを特徴としたものである。
【００１０】
第３の技術手段は、第１又は第２の技術手段において、前記画像切り出し手段により切り出される画像ブロックは、水平に連続した一定数Ｎ画素のデータで構成されていることを特徴としたものである。
【００１１】
第４の技術手段は、第１又は第２の技術手段において、前記第１の符号化手段及び／又は前記第２の符号化手段は、ハフマン符号化処理を行うことを特徴としたものである。
【００１２】
第５の技術手段は、第１又は第２の技術手段において、前記第１の符号化手段及び／又は前記第２の符号化手段は、算術符号化処理を行うことを特徴としたものである。
【００１３】
第６の技術手段は、第１乃至第５のいずれか１の技術手段において、前記出力手段は、前記発生符号量が所定の目標符号量以内の場合、前記エントロピー符号データを選択し、前記発生符号量が所定の目標符号量を超える場合、前記量子化データを選択することを特徴としたものである。
【００１４】
第７の技術手段は、画像データの圧縮を行う画像処理装置による画像処理方法であって、圧縮対象となる画像データから予め定められたサイズの画像ブロックを切り出す画像切り出しステップと、該切り出された画像ブロックに対してウェーブレット変換処理を行うウェーブレット変換処理ステップと、該ウェーブレット変換処理ステップにて出力された高域係数をエントロピー符号化する第１の符号化ステップと、前記ウェーブレット変換処理ステップにて出力された低域係数を差分符号化する差分符号化ステップと、該差分符号化ステップにおける出力をエントロピー符号化する第２の符号化ステップと、前記第１の符号化ステップ及び前記第２の符号化ステップにおける出力より発生符号量を判定する符号量判定ステップと、前記画像切り出しステップにて切り出された画像ブロックに対して量子化及び符号化処理を行う量子化ステップと、前記符号量判定ステップにおける判定結果に基づいて符号データを出力する出力ステップとを備え、前記出力ステップは、前記符号量判定ステップにおける判定の結果、前記発生符号量が所定の目標符号量に収まっているか否かに応じて、エントロピー符号データまたは量子化データのいずれかの符号データを選択し、前記画像ブロックに対して前記目標符号量の符号データを出力することを特徴としたものである。
【００１５】
第８の技術手段は、第７の技術手段において、前記量子化ステップは、各画像ブロックに対する符号量が前記目標符号量と一致するように量子化及び符号化を行うとともに、前記出力ステップは、エントロピー符号データを出力する場合に前記目標符号量と一致する出力を行うことを特徴としたものである。
【００１６】
第９の技術手段は、第７又は第８の技術手段において、前記画像切り出しステップにて切り出される画像ブロックは、水平に連続した一定数Ｎ画素のデータで構成されていることを特徴としたものである。
【００１７】
第１０の技術手段は、第７又は第８の技術手段において、前記第１の符号化ステップ及び／又は前記第２の符号化ステップは、ハフマン符号化処理を行うことを特徴としたものである。
【００１８】
第１１の技術手段は、第７又は第８の技術手段において、前記第１の符号化ステップ及び／又は前記第２の符号化ステップは、算術符号化処理を行うことを特徴としたものである。
【００１９】
第１２の技術手段は、第７乃至第１１のいずれか１の技術手段において、前記出力ステップは、前記発生符号量が所定の目標符号量以内の場合、前記エントロピー符号データを選択し、前記発生符号量が所定の目標符号量を超える場合、前記量子化データを選択することを特徴としたものである。
【発明の効果】
【００２０】
本発明によれば、画像ブロック毎に一定量の符号データが出力されるため、画像データ内の特定位置の画素にアクセスしたい場合に、その画素を含む符号データの位置が容易に特定できるようになり、画質劣化を抑えながら、当該画素に対して高速なアクセスが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、添付図面を参照しながら、本発明の画像処理装置及び該装置による画像処理方法の好適な実施の形態について説明する。
【００２２】
図１は、本発明の一実施形態に係る画像処理装置の構成例を示すブロック図で、図中、１００は画像処理装置を示す。画像処理装置１００は、圧縮対象となる画像データから予め定められたサイズの画像ブロックを切り出す画像切り出し手段に相当する画像切り出し部１０１と、画像切り出し部１０１により切り出された画像ブロックに対してウェーブレット変換を行うウェーブレット変換処理手段に相当するウェーブレット変換部１０２とを備える。
【００２３】
さらに、画像処理装置１００は、ウェーブレット変換後の高域係数に対してエントロピー符号化を行う第１の符号化手段に相当する第１のエントロピー符号化部１０３と、ウェーブレット変換後の低域係数に対して差分符号化を行う差分符号化手段に相当する前処理部１０４と、差分符号化処理が施された符号データに対してエントロピー符号化を行う第２の符号化手段に相当する第２のエントロピー符号化部１０５と、第１のエントロピー符号化部１０３及び第２のエントロピー符号化部１０５から出力された符号データの発生符号量を判定する符号量判定手段に相当する符号量判定部１０６と、画像ブロックに対して量子化及び符号化処理を行う量子化手段に相当する量子化処理部１０７と、符号量判定部１０６の判定結果に基づいて符号データを出力する出力手段に相当する符号出力部１０８とを備える。
【００２４】
本発明の主たる特徴部分は、符号出力部１０８が、符号量判定部１０６による判定の結果、第１のエントロピー符号化部１０３及び第２のエントロピー符号化部１０５から出力された符号データの発生符号量が所定の目標符号量に収まっているか否かに応じて、エントロピー符号データまたは量子化データのいずれかの符号データを選択し、画像ブロックに対して目標符号量の符号データを出力することにある。
【００２５】
このような構成にすることで、圧縮する画像データを予め定められた小さな画像ブロック単位に切り出して符号化を行い、かつ符号化による符号量を予め与えられた一定の値に制御することにより、符号化後のデータも画素ブロック毎に一定の量が出力される。このため、例えば、ＩＰ変換や画質補正などの画像処理を行う必要から、画像データ内の特定位置の画素にアクセスしたい場合に、各画素ブロックのデータ量が一定であるため、当該画素を含む圧縮データの位置が容易に特定できることになるので、高速なアクセスが可能となる。
【００２６】
また、エントロピー符号化処理で目標符号量を達成できる場合は可逆圧縮となるが、可逆圧縮のみにすると、目標符号量を超えてしまう場合がある。他方、量子化データの場合、非可逆圧縮であるため、符号量を削減できるが、画質劣化を伴うため、可能な限り可逆圧縮であるエントロピー符号データを用いるほうが望ましい。このためエントロピー符号データの符号量が目標符号量を超えない限り、可逆圧縮のエントロピー符号データを出力し、符号量が目標符号量を超えた場合のみ、非可逆圧縮の量子化データを出力するようにしている。このことにより、符号量を抑えながら画質劣化を防止することを可能としている。
【００２７】
図２は、画像切り出し部１０１により切り出される画像ブロックの一例を説明するための図で、図中、２０１は圧縮処理する画像全体、２０２は切り出す画像ブロックの一例を示す。このように、圧縮対象の画像データ２０１は画像切り出し部１０１で画像ブロック２０２に切り出される。本例では水平に連続したＮ画素（一定数）のデータを１ブロックとして切り出している。このＮとしては、例えば３２，６４，８０，１００，１２８など、元の画像データのサイズや、圧縮後のデータに対するアクセス性などを考慮して適切な値を選択することができる。なお、次のウェーブレット変換処理を考えるとＮは偶数であることが望ましい。
【００２８】
次に、画像切り出し部１０１で切り出された画像ブロックはウェーブレット変換部１０２においてウェーブレット変換を行う。これにより画像データを高域係数と低域係数に分ける処理を行う。
図３は、ウェーブレット変換部１０２により画像ブロックを高域係数と低域係数に分けた状態を模式的に示した図で、図中、３０１は画素（画像）ブロック、３０２は低域係数、３０３は高域係数を示す。このように、画素ブロック３０１を、ウェーブレット変換により低域係数３０２と高域係数３０３に分離する。
【００２９】
次に、高域係数３０３は第１のエントロピー符号化部１０３で符号化される。符号化方式としては、例えば、ハフマン符号、算術符号などを使用することができる。第１のエントロピー符号化部１０３は、ここでの符号化結果を符号出力部１０８へ送るとともに、発生符号量を符号量判定部１０６へ通知する。
【００３０】
また、低域係数３０２は前処理部１０４で前処理が施される。ここでは差分符号化（ＤＰＣＭ：Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）を行う。この差分符号化を行うことにより、隣接画素の類似性からデータ値が０近傍に偏在することが期待されるので、次のエントロピー符号化での効率向上が期待できることになる。この前処理部１０４の出力（符号データ）は第２のエントロピー符号化部１０５で符号化される。ここでも符号化方式としては、例えば、ハフマン符号、算術符号などを使用することができる。第２のエントロピー符号化部１０５は、ここでの符号化結果を上記同様に符号出力部１０８へ送るとともに、発生符号量を符号量判定部１０６へ通知する。
【００３１】
量子化処理部１０７には、予め目標符号量が与えられる。この量子化処理部１０７は、上記したウェーブレット変換〜エントロピー符号化の処理と並行して、画像切り出し部１０１で切り出された画像ブロックに対して目標符号量になるように量子化及び符号化処理を行う。量子化処理としては、例えば、目標符号量になるように画素データの下位ビットを切り捨てる処理を行い、符号化処理としては、下位ビットの何ビットを切り捨てたか示す情報を付加する。
【００３２】
また、符号量判定部１０６にも、量子化処理部１０７と同じく目標符号量が予め与えられる。この符号量判定部１０６は、第１のエントロピー符号化部１０３及び第２のエントロピー符号化部１０５から出力された発生符号量の合計が目標符号量内に収まっている場合にはそのエントロピー符号データを出力するよう符号出力部１０８に指示を行う。なお、発生符号量が目標符号量に達しない分については、例えば０データなどを目標符号量に達するまで出力するよう符号出力部１０８に指示し、出力されるエントロピー符号データが目標符号量になるよう調整する。これにより、エントロピー符号データを目標符号量分だけ出力することができる。
一方、発生符号量の合計が目標符号量を超える場合には量子化処理部１０７で処理した結果の符号データを出力するよう符号出力部１０８に指示を行う。量子化処理部１０７では出力される量子化データが目標符号量になるように調整されているため、量子化データを目標符号量分だけ出力することができる。
【００３３】
以上のような処理により、エントロピー符号データあるいは量子化データのいずれが選択されたとしても、符号出力部１０８からは、各画像ブロックに対して、必ず予め与えられた目標符号量の符号データが出力されることになる。
【００３４】
図４は、図１に示した画像処理装置１００による画像処理方法の一例を説明するためのフロー図である。まず、画像処理装置１００は、圧縮対象とする画像データから予め定められたサイズの画像ブロックを切り出し（ステップＳ１）、切り出した画像ブロックに対してウェーブレット変換処理を行う（ステップＳ２）。
そして、画像処理装置１００は、ウェーブレット変換後の高域係数をエントロピー符号化する第１のエントロピー符号化処理を行い（ステップＳ３）、ウェーブレット変換後の低域係数を前処理として差分符号化し（ステップＳ４）、さらに差分符号化データに対してエントロピー符号化する第２のエントロピー符号化処理を行う（ステップＳ５）。
【００３５】
次に、画像処理装置１００は、符号量判定部１０６により、第１のエントロピー符号化部１０３及び第２のエントロピー符号化部１０５の出力（符号データ）から発生符号量を判定する（ステップＳ６）。符号量判定部１０６は、発生符号量が目標符号量以内に収まっている場合（ＹＥＳの場合）、第１のエントロピー符号化部１０３及び第２のエントロピー符号化部１０５からの符号データを出力するよう符号出力部１０８に指示する（ステップＳ８）。一方、ステップＳ６において、発生符号量が目標符号量を超える場合（ＮＯの場合）、量子化処理部１０７で量子化された符号データを出力するよう符号出力部１０８に指示する（ステップＳ７，８）。なお、エントロピー符号データあるいは量子化データのいずれが選択されたとしても、符号出力部１０８からは、必ず予め与えられた目標符号量の分だけの符号データが出力される。
【００３６】
以上説明したように、本発明によれば、圧縮する画像データを予め定められた小さな画像ブロック単位に切り出して符号化を行い、かつ符号化による符号量を予め与えられた一定の値に制御することにより、符号化後のデータも画素ブロック毎に一定の量が出力される。このため、画像データ内の特定位置の画素にアクセスしたい場合に、その画素を含む圧縮データの位置が容易に特定できることになるので、高速なアクセスが可能となる。
また、エントロピー符号化による発生符号量が目標符号量を超えない限り、可逆圧縮であるエントロピー符号データが出力されるため、画質劣化を抑えながら、画像データ内の特定位置の画素に対して高速アクセスが可能となる。
また、圧縮画像データに対して小さな画像ブロック単位で伸張処理を行えばよいので、必要とする画素を得るための処理量も少なくて済む。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】画像切り出し部により切り出される画像ブロックの一例を説明するための図である。
【図３】ウェーブレット変換部により画像ブロックを高域係数と低域係数に分けた状態を模式的に示した図である。
【図４】図１に示した画像処理装置による画像処理方法の一例を説明するためのフロー図である。
【符号の説明】
【００３８】
１００…画像処理装置、１０１…画像切り出し部、１０２…ウェーブレット変換部、１０３…第１のエントロピー符号化部、１０４…前処理（ＤＰＣＭ）部、１０５…第２のエントロピー符号化部、１０６…符号量判定部、１０７…量子化処理部、１０８…符号出力部、２０１…画像データ、２０２…画像ブロック、３０１…画素ブロック、３０２…低域係数、３０３…高域係数。
【図１】
2009060320.tif 000003
【図２】
2009060320.tif 000004
【図３】
2009060320.tif 000005
【図４】
2009060320.tif 000006