(57)【要約】【課題】ハフマン符号化後の符号量が小さくなるように、量子化の際の切り上げ処理又は切り捨て処理を選択することにより、画質を落とすことなく、符号化効率を向上させる。【解決手段】画像処理装置１００は、画像切り出し部１０１により切り出された画像ブロックに対して量子化する複数の量子化部１０２と、ＤＰＣＭ部１０３で処理された画像ブロック又は量子化データのエントロピー符号化後の符号量を算出する複数の符号量算出部１０４と、符号量判定部１０５による判定結果に基づき複数のＤＰＣＭ部１０３の出力から一つを選択してエントロピー符号化するエントロピー符号化部１０６と、符号量判定部１０５による判定結果に基づきエントロピー符号化データ又は量子化データを選択して出力する符号出力部１０８とを備える。量子化部１０２は、エントロピー符号化後の符号量を切り上げと切り捨ての両方について求め、符号量が小さくなる方の処理を選択する。【選択図】図１
2009231925.tif 000002
【特許請求の範囲】
【請求項１】
画像データの圧縮を行う画像処理装置であって、
該画像処理装置は、圧縮対象となる画像データから予め定められたサイズの画像ブロック毎に分けて切り出す画像切り出し手段と、該切り出された画像ブロックに対して量子化処理を行う複数の量子化手段と、前記画像切り出し手段により切り出された画像ブロック又は前記量子化手段により量子化された量子化データにＤＰＣＭ処理を行う複数のＤＰＣＭ処理手段と、該ＤＰＣＭ処理された画像ブロック又は量子化データのエントロピー符号化後の符号量を算出する複数の符号量算出手段と、該複数の符号量算出手段の結果を判定する符号量判定手段と、該符号量判定手段による判定結果に基づいて前記複数のＤＰＣＭ処理手段の出力から一つを選択してエントロピー符号化するエントロピー符号化手段と、前記画像切り出し手段により切り出された画像ブロックに対して量子化及び符号化を行う量子化・符号化手段と、前記符号量判定手段による判定結果に基づき符号量が所定の目標符号量に収まっているか否かに応じてエントロピー符号化データ又は量子化データのいずれかの符号データを選択して出力する符号データ出力手段とを備え、
前記量子化手段は、量子化の際に、前記エントロピー符号化後の符号量を切り上げ処理と切り捨て処理の両方について求め、該符号量が小さくなる方の処理を選択することを特徴とする画像処理装置。
【請求項２】
前記画像切り出し手段により切り出された画像ブロックは、水平に連続した一定数N画素のデータで構成されていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記エントロピー符号化手段は、ハフマン符号化処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記量子化・符号化手段は、前記画像切り出し手段により切り出された画像ブロックに対する符号量が前記目標符号量と一致するように量子化及び符号化を行い、
前記符号データ出力手段は、エントロピー符号化データを出力する場合に前記目標符号量と一致する出力を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
画像データの圧縮を行う画像処理装置による画像処理方法であって、
該画像処理装置が、圧縮対象となる画像データから予め定められたサイズの画像ブロック毎に分けて切り出す画像切り出しステップと、該切り出された画像ブロックに対して量子化処理を行う量子化ステップと、前記画像切り出しステップで切り出された画像ブロック又は前記量子化ステップで量子化された量子化データにＤＰＣＭ処理を行うＤＰＣＭ処理ステップと、該ＤＰＣＭ処理された画像ブロック又は量子化データのエントロピー符号化後の符号量を算出する符号量算出ステップと、該符号量算出ステップの結果を判定する符号量判定ステップと、該符号量判定ステップでの判定結果に基づいて前記ＤＰＣＭ処理ステップでの複数の出力から一つを選択してエントロピー符号化するエントロピー符号化ステップと、前記画像切り出しステップで切り出された画像ブロックに対して量子化及び符号化を行う量子化・符号化ステップと、前記符号量判定ステップでの判定結果に基づき符号量が所定の目標符号量に収まっているか否かに応じてエントロピー符号化データ又は量子化データのいずれかの符号データを選択して出力する符号データ出力ステップとを備え、
前記量子化ステップは、量子化の際に、前記エントロピー符号化後の符号量を切り上げ処理と切り捨て処理の両方について求め、該符号量が小さくなる方の処理を選択することを特徴とする画像処理方法。
【請求項６】
前記画像切り出しステップで切り出された画像ブロックは、水平に連続した一定数N画素のデータで構成されていることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記エントロピー符号化ステップは、ハフマン符号化処理を行うことを特徴とする請求項５に記載の画像処理方法。
【請求項８】
前記量子化・符号化ステップは、前記画像切り出しステップで切り出された画像ブロックに対する符号量が前記目標符号量と一致するように量子化及び符号化を行い、
前記符号データ出力ステップは、エントロピー符号化データを出力する場合に前記目標符号量と一致する出力を行うことを特徴とする請求項５乃至７のいずれか１項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、より詳細には、画像データの圧縮を行う画像処理装置及び該装置による画像処理方法に関する。
【背景技術】
【０００２】
従来、画像データの圧縮（符号化）にはさまざまな方式が使用されている。代表的なものとしては、国際標準となっているＭＰＥＧ、ＪＰＥＧ、ＪＰＥＧ２０００などが挙げられる。ＭＰＥＧやＪＰＥＧでは圧縮処理を行う際に、画像データを一定の大きさのブロックに分割して処理を行う。このブロックは１６×１６画素や８×８画素といったサイズが一般的である。このようなブロック単位での処理を行った場合に圧縮ひずみの影響でブロックノイズが発生することが知られている。これに対して、ＪＰＥＧ２０００ではブロックノイズの発生を防止するために、画像全体を１つのブロックとして処理することも可能な方式をとっている。
【０００３】
これらの画像圧縮を行うことにより、元の画像データに比べてデータサイズを数分の１から数十分の１といった小さなサイズにすることが可能である。このような圧縮における画質向上の手段として、例えば、特許文献１では、量子化処理を行う際に処理ブロック内を領域に分けて演算の丸めの方法を領域により変えることで高画質な画像圧縮を可能とするとともに、量子化誤差の最大値が大きくならないようにしている。
【特許文献１】特開平１０−３０４３６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の発明では、直交変換後のブロック内を周波数領域で分割して、領域によって四捨五入、切り捨てなどを決めているが、必ずしもハフマン符号化後の符号量が小さくなるようになっておらず、高画質化と高効率化を両立させるようなものではないという問題があった。
【０００５】
本発明は、上述のごとき実情に鑑みてなされたものであり、ハフマン符号化後の符号量が小さくなるように、量子化の際の切り上げ処理又は切り捨て処理を選択することにより、画質を落とすことなく、符号化効率を向上させること、を目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の第１の技術手段は、画像データの圧縮を行う画像処理装置であって、該画像処理装置は、圧縮対象となる画像データから予め定められたサイズの画像ブロック毎に分けて切り出す画像切り出し手段と、該切り出された画像ブロックに対して量子化処理を行う複数の量子化手段と、前記画像切り出し手段により切り出された画像ブロック又は前記量子化手段により量子化された量子化データにＤＰＣＭ処理を行う複数のＤＰＣＭ処理手段と、該ＤＰＣＭ処理された画像ブロック又は量子化データのエントロピー符号化後の符号量を算出する複数の符号量算出手段と、該複数の符号量算出手段の結果を判定する符号量判定手段と、該符号量判定手段による判定結果に基づいて前記複数のＤＰＣＭ処理手段の出力から一つを選択してエントロピー符号化するエントロピー符号化手段と、前記画像切り出し手段により切り出された画像ブロックに対して量子化及び符号化を行う量子化・符号化手段と、前記符号量判定手段による判定結果に基づき符号量が所定の目標符号量に収まっているか否かに応じてエントロピー符号化データ又は量子化データのいずれかの符号データを選択して出力する符号データ出力手段とを備え、前記量子化手段は、量子化の際に、前記エントロピー符号化後の符号量を切り上げ処理と切り捨て処理の両方について求め、該符号量が小さくなる方の処理を選択することを特徴としたものである。
【０００７】
第２の技術手段は、第１の技術手段において、前記画像切り出し手段により切り出された画像ブロックは、水平に連続した一定数N画素のデータで構成されていることを特徴としたものである。
【０００８】
第３の技術手段は、第１の技術手段において、前記エントロピー符号化手段は、ハフマン符号化処理を行うことを特徴としたものである。
【０００９】
第４の技術手段は、第１乃至第３のいずれか１の技術手段において、前記量子化・符号化手段は、前記画像切り出し手段により切り出された画像ブロックに対する符号量が前記目標符号量と一致するように量子化及び符号化を行い、前記符号データ出力手段は、エントロピー符号化データを出力する場合に前記目標符号量と一致する出力を行うことを特徴としたものである。
【００１０】
第５の技術手段は、画像データの圧縮を行う画像処理装置による画像処理方法であって、該画像処理装置が、圧縮対象となる画像データから予め定められたサイズの画像ブロック毎に分けて切り出す画像切り出しステップと、該切り出された画像ブロックに対して量子化処理を行う量子化ステップと、前記画像切り出しステップで切り出された画像ブロック又は前記量子化ステップで量子化された量子化データにＤＰＣＭ処理を行うＤＰＣＭ処理ステップと、該ＤＰＣＭ処理された画像ブロック又は量子化データのエントロピー符号化後の符号量を算出する符号量算出ステップと、該符号量算出ステップの結果を判定する符号量判定ステップと、該符号量判定ステップでの判定結果に基づいて前記ＤＰＣＭ処理ステップでの複数の出力から一つを選択してエントロピー符号化するエントロピー符号化ステップと、前記画像切り出しステップで切り出された画像ブロックに対して量子化及び符号化を行う量子化・符号化ステップと、前記符号量判定ステップでの判定結果に基づき符号量が所定の目標符号量に収まっているか否かに応じてエントロピー符号化データ又は量子化データのいずれかの符号データを選択して出力する符号データ出力ステップとを備え、前記量子化ステップは、量子化の際に、前記エントロピー符号化後の符号量を切り上げ処理と切り捨て処理の両方について求め、該符号量が小さくなる方の処理を選択することを特徴としたものである。
【００１１】
第６の技術手段は、第５の技術手段において、前記画像切り出しステップで切り出された画像ブロックは、水平に連続した一定数N画素のデータで構成されていることを特徴としたものである。
【００１２】
第７の技術手段は、第５の技術手段において、前記エントロピー符号化ステップは、ハフマン符号化処理を行うことを特徴としたものである。
【００１３】
第８の技術手段は、第５乃至第７のいずれか１の技術手段において、前記量子化・符号化ステップは、前記画像切り出しステップで切り出された画像ブロックに対する符号量が前記目標符号量と一致するように量子化及び符号化を行い、前記符号データ出力ステップは、エントロピー符号化データを出力する場合に前記目標符号量と一致する出力を行うことを特徴としたものである。
【発明の効果】
【００１４】
本発明によれば、量子化を行う際に切り上げ・切り捨てがＳＮＲに対して影響が変わらない画素値について、その後のＤＰＣＭ・ハフマン符号化を行った後の符号量が小さくなるように、量子化の際の切り上げ処理又は切り捨て処理を選択することにより、画質を落とすことなく、符号化効率の向上を図ることができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照しながら、本発明の画像処理装置及び該装置による画像処理方法の好適な実施の形態について説明する。
【００１６】
図１は、本発明の一実施形態に係る画像処理装置の構成例を示すブロック図で、図中、１００は画像処理装置を示す。画像処理装置１００は、圧縮対象となる画像データから予め定められたサイズの画像ブロック毎に分けて切り出す画像切り出し部１０１と、切り出された画像ブロックに対して量子化処理を行う複数の量子化部（第１の量子化部１０２１〜第ｎ−１の量子化部１０２ｎ−１）と、画像切り出し部１０１により切り出された画像ブロックに対して差分符号化（ＤＰＣＭ：Differential Pulse Code Modulation）処理を行う第１のＤＰＣＭ部１０３１と、第１の量子化部１０２１〜第ｎ−１の量子化部１０２ｎ−１により量子化された量子化データに対してＤＰＣＭ処理を行う第２のＤＰＣＭ部１０３２〜第ｎのＤＰＣＭ部１０３ｎとを備える。
【００１７】
さらに、画像処理装置１００は、ＤＰＣＭ処理された画像ブロック又は量子化データのエントロピー符号化後の符号量を算出する複数の符号量算出部（第１の符号量算出部１０４１〜第ｎの符号量算出部１０４ｎ）と、第１の符号量算出部１０４１〜第ｎの符号量算出部１０４ｎの結果を判定する符号量判定部１０５と、符号量判定部１０５による判定結果に基づいて第１のＤＰＣＭ部１０３１〜第ｎのＤＰＣＭ部１０３ｎの出力から一つを選択してエントロピー符号化するエントロピー符号化部１０６と、画像切り出し部１０１により切り出された画像ブロックに対して量子化及び符号化を行う第ｎの量子化部に相当する量子化・符号化部１０７と、符号量判定部１０５による判定結果に基づき符号量が所定の目標符号量に収まっているか否かに応じてエントロピー符号化データ又は量子化データのいずれかの符号データを選択して出力する符号出力部１０８とを備える。
【００１８】
本実施形態に係る第１の量子化部１０２１〜第ｎ−１の量子化部１０２ｎ−１は、量子化の際に、エントロピー符号化後の符号量を切り上げ処理と切り捨て処理の両方について求め、符号量が小さくなる方の処理を選択する。この量子化処理については後述の図３で詳細に説明する。
【００１９】
ここで、エントロピー符号化処理で目標符号量を達成できる場合には可逆圧縮となるが、可逆圧縮のみにすると、目標符号量を超えてしまう場合がある。他方、量子化データの場合、非可逆圧縮であるため、符号量を削減できるが、画質劣化を伴うため、可能な限り可逆圧縮であるエントロピー符号化データを用いるほうが望ましい。このためエントロピー符号化データの符号量が目標符号量を超えない限り、符号出力部１０８は、エントロピー符号化部１０６からの可逆圧縮のエントロピー符号化データを出力し、符号量が目標符号量を超えた場合のみ、量子化・符号化部１０７からの非可逆圧縮の量子化データを出力するようにしている。このことにより、符号量を抑えながら画質劣化を防止することを可能としている。
【００２０】
図２は、画像切り出し部１０１により切り出される画像ブロックの一例を説明するための図で、図中、２０１は圧縮処理する画像全体、２０２は切り出す画像ブロックを示す。このように、圧縮処理対象の画像データ２０１は画像切り出し部１０１で画像ブロック２０２に切り出される。本例では水平に連続したＮ画素（一定数）のデータを１ブロックとして切り出している。このＮとしては、例えば３２，６４，８０，１００，１２８など、元の画像データのサイズや、圧縮後のデータに対するアクセス性などを考慮して適切な値を選択することができる。
【００２１】
画像切り出し部１０１で切り出された画像ブロックは量子化部１０２１〜１０２ｎ−１及び量子化・符号化部１０７で量子化処理される。同時に、画像ブロックは第１のＤＰＣＭ部１０３１でＤＰＣＭ処理される。第１の量子化部１０２１〜第ｎ−１の量子化部１０２ｎ−１及び量子化・符号化部１０７は、１〜ｎビットの量子化に対応する。すなわち、ｎビットであれば、２のｎ乗で除算する。さらに、第１の量子化部１０２１〜第ｎ−１の量子化部１０２ｎ−１で量子化処理を行った量子化データに対し、第２のＤＰＣＭ部１０３２〜第ｎのＤＰＣＭ部１０３ｎでＤＰＣＭ処理を行う。ＤＰＣＭ処理を行うことで、隣接画素の類似性からデータ値が０近傍に偏在することが期待されるので、次のエントロピー符号化での効率向上が期待できることになる。
【００２２】
次にＤＰＣＭ部１０３１〜１０３ｎからの出力を符号量算出部１０４１〜１０４ｎにて処理し、エントロピー符号化後の符号量を算出し、それらの結果を符号量判定部１０５に渡す。
【００２３】
符号量判定部１０５では、符号量算出部１０４１〜１０４ｎからの符号量データを、所定の目標符号量と比較する。第１の符号量算出部１０４１の符号量データから順に目標符号量と比較し、最初に目標符号量以下になるＤＰＣＭ部の番号をエントロピー符号化部１０６に通知するとともに、符号出力部１０８にエントロピー符号化データを出力するように通知する。一方、符号量算出部１０４１〜１０４ｎの符号量データがどれも目標符号量以下にならなかった場合は、量子化・符号化部１０７の量子化データを出力するよう符号出力部１０８に通知する。
【００２４】
エントロピー符号化部１０６は、上記符号量判定部１０５の結果で示された番号のＤＰＣＭ部の出力データをエントロピー符号化する。本例ではエントロピー符号化としてはハフマン符号化を行う。
【００２５】
量子化・符号化部１０７には、予め目標符号量が与えられる。この量子化・符号化部１０７ではエントロピー符号化処理と並行して、画像切り出し部１０１で切り出された画像ブロックに対して目標符号量になるように量子化及び符号化処理を行う。量子化処理としては、例えば、目標符号量になるように画素データの下位ビットを切り捨てる処理を行い、符号化処理としては、下位ビットの何ビットを切り捨てたか示す情報を付加する。
【００２６】
符号出力部１０８では、上記符号量判定部１０５の判定結果に基づいて、エントロピー符号化データまたは量子化データを出力する。すなわち、符号量算出部１０４１〜１０４ｎで算出された符号量データが目標符号量内に収まっている場合にはエントロピー符号化部１０６で符号化されたエントロピー符号化データを出力する。なお、エントロピー符号化部１０６から出力された符号量の合計が目標符号量に達しない分については、例えば０データなどを目標符号量に達するまで出力し、出力されるエントロピー符号化データが目標符号量になるように調整する。これにより、エントロピー符号化データを目標符号量分だけ出力することができる。
【００２７】
一方、エントロピー符号化部１０６から出力された符号量の合計が目標符号量を超える場合には量子化・符号化部１０７で処理した結果の量子化データを符号データとして出力する。量子化・符号化部１０７では出力される量子化データが目標符号量になるように調整されているため、量子化データを目標符号量分だけ出力されることになる。
【００２８】
以上のような処理により、エントロピー符号化データあるいは量子化データのいずれが選択されたとしても、符号出力部１０８からは、必ず予め与えられた目標符号量の分だけの符号データが出力されることになる。
【００２９】
図３は、量子化部１０２により２ｂｉｔ量子化処理する場合の一例を示した図である。図中、縦軸に画素値を並べており、３０１は原画像の画素値、３０２，３０３は量子化したものを復号した復号後の画素値を示している。図３に示すように、画素値の下位２ｂｉｔに着目すると、値としては０，１，２，３のいずれかの値を取る。２ｂｉｔの量子化を行って符号化し、復号した画素値の下位２ｂｉｔは必ず０となる。下位２ｂｉｔが０の場合には、量子化したデータを復号すると元の画素値になる。下位２ｂｉｔが１，２，３の場合には、量子化処理で切り上げを行った場合は復号後の画素値３０２に示す値になる。また、切り捨てを行った場合は復号後の画素値３０３に示す値となる。また、四捨五入を行った場合は下位２ｂｉｔが１の画素値は画素値３０３に、下位２ｂｉｔが３の画素値は画素値３０２に復号されることになる。
【００３０】
原画像との比較において画質を評価する指標としてＳＮＲ(Signal Noise Ratio)が用いられる。この値を計算する際には、原画像と復号画像の対応する画素値の差分の２乗和を計算する。そのため、原画像と復号画像の画素値の差分の絶対値が少ない方がＳＮＲ値としては良い結果になる。
【００３１】
上記ＳＮＲ値を考慮した場合、下位２ｂｉｔの値が１の場合は切り捨て処理、下位２ｂｉｔが３の場合は切り上げ処理を行うのがよいことになる。どちらの場合も原画像の画素値と復号後の画素値の差分の絶対値が１になるからである。これは四捨五入処理を行うことにより実現できる。これに対して、下位２ｂｉｔの値が２の場合については、切り上げ・切り捨てのどちらを行った場合でも、原画像と復号画像の画素値の差分の絶対値は２であることが図３からわかる。したがって、この画素値だけに注目すると、量子化処理として切り上げ・切り捨てのどちらを行ってもＳＮＲ値に対して与える影響は変わらないことになる。そこで、下位２ｂｉｔの画素値が２の場合には、この後のＤＰＣＭ処理を行ってハフマン符号化した後の符号量を切り上げ・切り捨ての場合の両方について求め、符号量が小さくなる方の処理を選択する。
【００３２】
このように、量子化を行う際に切り上げ・切り捨てがＳＮＲに対して影響が変わらない画素値について、その後のＤＰＣＭ・ハフマン符号化を行った後の符号量が小さくなるように、量子化の際の切り上げ処理又は切り捨て処理を選択することにより、画質を落とすことなく、符号化効率の向上を図ることができる。
【００３３】
図４は、図１に示した画像処理装置１００による画像処理方法の一例を説明するためのフロー図である。まず、画像処理装置１００は、圧縮対象となる画像データから予め定められたサイズの画像ブロック毎に分けて切り出し（ステップＳ１）、切り出された画像ブロックに対して量子化処理を行う（ステップＳ２）。ここで、このステップＳ２の量子化ステップにおいて、量子化の際に、エントロピー符号化後の符号量を切り上げ処理と切り捨て処理の両方について求め、符号量が小さくなる方の処理を選択する。また、量子化・符号化部１０７が、ステップＳ１の画像切り出しステップで切り出された画像ブロックに対する符号量が目標符号量と一致するように量子化及び符号化行う。
【００３４】
次に、画像処理装置１００は、ステップＳ１で切り出された画像ブロック又はステップＳ２で量子化部１０２で量子化された量子化データにＤＰＣＭ処理を行い（ステップＳ３）、ＤＰＣＭ処理された画像ブロック又は量子化データのエントロピー符号化後の符号量を算出する（ステップＳ４）。
【００３５】
次に、画像処理装置１００は、ステップＳ４における符号量の算出結果が目標符号量内に収まっているか否かを判定し（ステップＳ５）、符号量が目標符号量内に収まっていると判定した場合（ＹＥＳの場合）、エントロピー符号化部１０６で符号化されたエントロピー符号化データを選択し（ステップＳ６）、これを符号出力する（ステップＳ８）。また、ステップＳ５において、符号量が目標符号量内に収まっていないと判定した場合（ＮＯの場合）、量子化・符号化部１０７で符号化された量子化データを選択し（ステップＳ７）、ステップＳ８に移行してこれを符号出力する。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】画像切り出し部により切り出される画像ブロックの一例を説明するための図である。
【図３】量子化部により２ｂｉｔ量子化処理する場合の一例を示した図である。
【図４】図１に示した画像処理装置による画像処理方法の一例を説明するためのフロー図である。
【符号の説明】
【００３７】
１００…画像処理装置、１０１…画像切り出し部、１０２１〜１０２ｎ−１…量子化部、１０３１〜１０３ｎ…ＤＰＣＭ部、１０４１〜１０４ｎ…符号量算出部、１０５…符号量判定部、１０６…エントロピー符号化部、１０７…量子化・符号化部、１０８…符号出力部、２０１…画像データ、２０２…画像ブロック。
【図１】
2009231925.tif 000003
【図２】
2009231925.tif 000004
【図３】
2009231925.tif 000005
【図４】
2009231925.tif 000006