(57)【要約】【課題】単一の量子化テーブルを用いた汎用フォーマットを用いつつ、領域毎に画質の異なる画像を圧縮・伸張する。【解決手段】入力部１０５により画像を複数の領域に分割し、画像を構成する複数の領域の少なくとも１つを、その領域に要求される画質に応じてダウンサンプリング部１２０によりダウンサンプリングし、前記領域の少なくとも一部に前記領域のダウンサンプリングした画像（以下、代表値）を、前記領域のその他の部分にフィルビットを挿入する。ダウンサンプリングした画像を、前記複数の領域に対して共通の量子化テーブルにより量子化し、符号化する。符号化された画像を復号化し、前記量子化テーブルにより逆量子化する。逆量子化された画像を構成する複数の領域のうちダウンサンプリングされている領域の画素を補間し、前記複数の領域毎に要求される画質で前記画像を出力する画像圧縮・伸張方法を提供する。【選択図】      図１
2004222218.tif 000002
【特許請求の範囲】
【請求項１】
画像を複数の領域に分割する分割ステップと、
画像を構成する複数の領域の少なくとも１つを、その領域に要求される画質に応じてダウンサンプリングし、前記領域の少なくとも一部に前記領域のダウンサンプリングした画像（以下、代表値）を、前記領域のその他の部分にフィルビットを挿入するダウンサンプリングステップと、
前記分割ステップと前記ダウンサンプリングステップを経た前記画像を、前記複数の領域に対して共通の量子化テーブルにより量子化する量子化ステップと、前記量子化ステップにおいて量子化された画像を符号化する符号化ステップと、
前記符号化ステップにおいて符号化された画像を復号化する復号化ステップと、
前記復号化ステップにおいて復号化された画像を前記量子化テーブルにより逆量子化する逆量子化ステップと、
前記逆量子化ステップにおいて逆量子化された画像を構成する複数の領域のうちダウンサンプリングされている領域の画素を補間する補間ステップと、
前記複数の領域毎に要求される画質で前記画像を出力する画像出力ステップと、
を含む画像圧縮・伸張方法。
【請求項２】
画像を複数の領域に分割する分割ステップと、
画像を構成する複数の領域の少なくとも１つを、その領域に要求される画質に応じてダウンサンプリングし、前記領域の少なくとも一部に前記領域のダウンサンプリングした画像（以下、代表値）を、前記領域のその他の部分にフィルビットを挿入するダウンサンプリングステップと、
前記分割ステップと前記ダウンサンプリングステップを経た前記画像を、前記複数の領域に対して共通の量子化テーブルにより量子化する量子化ステップと、
前記量子化ステップにおいて量子化された画像を符号化する符号化ステップと、
を含む画像圧縮方法。
【請求項３】
前記量子化ステップ及び前記符号化ステップは、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）により行われている、請求項２に記載の画像圧縮方法。
【請求項４】
前記分割ステップは、
前記画像を、前記複数の領域に分割する指示を受け付ける分割指示ステップと、
前記複数の領域のうち少なくとも一つに要求される画質の設定を受け付ける画質受付ステップと、
を含む請求項２に記載の画像圧縮方法。
【請求項５】
前記分割ステップは、
前記画像を所定数の画素からなる前記複数の領域に分割する画像分割ステップと、
前記複数の領域毎の高周波成分を示す信号量の大小により各領域に要求される画質を決定する画質決定ステップと、
を含む請求項２に記載の画像圧縮方法。
【請求項６】
画像を複数の領域に分割する分割手段と、
画像を構成する複数の領域の少なくとも１つを、その領域に要求される画質に応じてダウンサンプリングし、前記領域の少なくとも一部に前記領域のダウンサンプリングした画像（以下、代表値）を、前記領域のその他の部分にフィルビットを挿入するダウンサンプリング手段と、
前記分割手段と前記ダウンサンプリング手段を経た前記画像を、前記複数の領域に対して共通の量子化テーブルにより量子化する量子化器と、
前記量子化器において量子化された画像を符号化する符号化器と、
を含む画像圧縮装置。
【請求項７】
画像を複数の領域に分割する分割手段、
画像を構成する複数の領域の少なくとも１つを、その領域に要求される画質に応じてダウンサンプリングし、前記領域の少なくとも一部に前記領域のダウンサンプリングした画像（以下、代表値）を、前記領域のその他の部分にフィルビットを挿入するダウンサンプリング手段、
前記分割手段と前記ダウンサンプリング手段を経た前記画像を、前記複数の領域に対して共通の量子化テーブルにより量子化する量子化手段及び、
前記量子化手段において量子化された画像を符号化する符号化手段、
としてコンピュータを機能させるための画像圧縮プログラム。
【請求項８】
複数の領域に分割され、前記複数の領域の少なくとも一つがダウンサンプリングされた後に、前記複数の領域に対して共通の量子化テーブルにより量子化され、符号化された画像を復号化する復号化ステップと、
前記復号化ステップにおいて復号化された画像を前記量子化テーブルにより逆量子化する逆量子化ステップと、
前記逆量子化ステップにおいて逆量子化された画像を構成する複数の領域のうちダウンサンプリングされている領域の画素を補間する補間ステップと、
前記複数の領域毎に要求される画質で前記画像を出力する画像出力ステップと、
を含む画像伸張方法。
【請求項９】
前記復号化ステップ及び前記逆量子化ステップは、ＪＰＥＧにより行われている、請求項８に記載の画像伸張方法。
【請求項１０】
前記補間ステップは、所定のフィルビットが挿入されているか否かに基づいて、ダウンサンプリングされている領域を特定するステップをさらに含む、請求項８に記載の画像伸張方法。
【請求項１１】
複数の領域に分割され、前記複数の領域の少なくとも一つがダウンサンプリングされた後に、前記複数の領域に対して共通の量子化テーブルにより量子化され、符号化された画像を復号化する復号化器と、
前記復号化器において復号化された画像を前記量子化テーブルにより逆量子化する逆量子化器と、
前記逆量子化器において逆量子化された画像を構成する複数の領域のうちダウンサンプリングされている領域の画素を補間する補間手段と、
前記複数の領域毎に要求される画質で前記画像を出力する画像出力手段と、
を含む画像伸張装置。
【請求項１２】
複数の領域に分割され、前記複数の領域の少なくとも一つがダウンサンプリングされた後に、前記複数の領域に対して共通の量子化テーブルにより量子化され、符号化された画像を復号化する復号化手段、
前記復号化手段において復号化された画像を前記量子化テーブルにより逆量子化する逆量子化手段、
前記逆量子化手段において逆量子化された画像を構成する複数の領域のうちダウンサンプリングされている領域の画素を補間する補間手段及び、
前記複数の領域毎に要求される画質で前記画像を出力する画像出力手段としてコンピュータを機能させるための画像伸張プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、領域毎に画質の異なる画像の圧縮・伸張方法及びその装置に関するものである。
【０００２】
【従来の技術】
画像圧縮・伸張方法として、例えば、ＣＣＩＴＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｇｒａｐｈ  ａｎｄ  Ｔｅｌｅｐｈｏｎｅ  Ｃｏｎｓｕｌｔａｔｉｖｅ  Ｃｏｍｍｉｔｔｅｅ）とＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄｓ  Ｏｒｇａｎａｉｚａｔｉｏｎ）により標準化されたＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）規格がある。このＪＰＥＧ規格の画像圧縮・伸張では、８×８画素を１ブロック（１単位）として一画面分の画像を複数ブロックに分割してＪＰＥＧ符号化器により圧縮し、ＪＰＥＧ復号化器により伸張している。その色の表現方法は、輝度（Ｙ）・色差（ＵＶ）を用いたＹＵＶフォーマットにより行われており、ＹＵＶそれぞれについて、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、量子化、符号化等が行われている。
【０００３】
【発明が解決しようとする課題】
図１２はＪＰＥＧによる圧縮・伸張システムの一例である。図１２の圧縮・伸張システムは、入力部１０から入力される画像データを圧縮する圧縮器１と、圧縮された画像を伸張して復元画像を出力部８０に出力する伸張器２とから構成されている。圧縮器１は、ＤＣＴ変換器２０、量子化器３０及び符号化器４０を有しており、伸張器２は、復号化器５０、逆量子化器６０及び逆ＤＣＴ変換器７０を有している。上記構成の圧縮・伸張システムは、次のように画像の圧縮・伸張を行う。
【０００４】
画像圧縮ではまず、入力画像を８×８画素の複数ブロックに分割し、ブロックごとにＤＣＴ変換器２０により８×８個のＤＣＴ係数に変換する。次に８×８個のＤＣＴ係数を量子化器３０の量子化テーブル３５に基づいて量子化する。量子化テーブル３５は、例えば図１３に示す輝度（Ｙ）・色差（ＵＶ）ごとの８×８個で表された係数である。さらに、この量子化されたＤＣＴ係数を、符号化器４０により例えばハフマン符号化等を利用したエントロピー符号化することにより画像圧縮する。
【０００５】
一方、画像伸張ではまず、圧縮された画像を復号化器５０により復号化し、次に逆量子化器６０の量子化テーブル６５に基づいて逆量子化する。最後に、逆ＤＣＴ変換器７０により画像を復元し、復元画像を出力する。
この圧縮・伸張の際に用いられる量子化テーブル３５，６５は、画像を構成する全てのブロック（８×８画素）に対して共通に用いられている。つまり、ＪＰＥＧはブロック毎に異なる量子化テーブル３５，６５を有しているのではなく、全ブロック共通の量子化テーブル３５，６５を有している。そのため、特定領域の画質とその他の領域の画質とを変えて画像を圧縮・伸張することができない。
【０００６】
そこで、領域毎に画質の異なる圧縮・伸張する方法として、領域毎に異なる量子化テーブルを有する方法が用いられている。図１４は領域毎に異なる量子化テーブルにより領域毎に画質を変更する場合の圧縮・伸張システムの一例である。図１４の圧縮・伸張システムは、図１２に示す圧縮・伸張システムと基本的に同じ構成である。図１２に示す圧縮・伸張システムと異なる点は、入力画像が複数の領域ａ１，ａ２，ａ３…から構成されており、量子化器３０及び逆量子化器６０が領域ａ１，ａ２，ａ３…毎に量子化テーブルａ１，ａ２，ａ３…を有している点である。また、画像圧縮・伸張方法については、入力画像の領域毎に異なる量子化テーブルを用いて量子化を行い、領域毎に異なる量子化テーブルを用いて逆量子化を行う点が異なる。よって、領域ａ１，ａ２，ａ３…は、領域毎に異なる量子化テーブルａ１，ａ２，ａ３…に応じて量子化・逆量子化されるので、領域毎に画質を変えることができる。
【０００７】
しかし、上記のように領域毎に異なる量子化テーブルを用いた圧縮・伸張方法は、独自フォーマットの圧縮・伸張方法であり、全領域共通の単一の量子化テーブルを用いた規格による圧縮・伸張方法ではない。そのため、単一の量子化テーブルを用いた汎用フォーマットを用いることができないか、あるいは領域毎に異なる量子化テーブルを用いた圧縮方法により圧縮された画像を単一の量子化テーブルを用いた汎用フォーマットにより伸張しても、量子化に適用される量子化テーブルが異なるため画像を復元することができない等の問題が発生する。
【０００８】
そこで、本発明は、単一の量子化テーブルを用いた汎用フォーマットを用いつつ、領域毎の画質を変えることができる圧縮・伸張方法及びその装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本願第１発明は、
・画像を複数の領域に分割する分割ステップと、
・画像を構成する複数の領域の少なくとも１つを、その領域に要求される画質に応じてダウンサンプリングし、前記領域の少なくとも一部に前記領域のダウンサンプリングした画像（以下、代表値）を、前記領域のその他の部分にフィルビットを挿入するダウンサンプリングステップと、
・前記分割ステップと前記ダウンサンプリングステップを経た前記画像を、前記複数の領域に対して共通の量子化テーブルにより量子化する量子化ステップと、
・前記量子化ステップにおいて量子化された画像を符号化する符号化ステップと、
・前記符号化ステップにおいて符号化された画像を復号化する復号化ステップと、
・前記復号化ステップにおいて復号化された画像を前記量子化テーブルにより逆量子化する逆量子化ステップと、
・前記逆量子化ステップにおいて逆量子化された画像を構成する複数の領域のうちダウンサンプリングされている領域の画素を補間する補間ステップと、
・前記複数の領域毎に要求される画質で前記画像を出力する画像出力ステップと、
を含む画像圧縮・伸張方法を提供する。
【００１０】
画像の少なくとも１つの領域を、その領域に要求される画質に応じてダウンサンプリングし、その領域を代表値とフィルビットで埋め、画像全体を符号化・復号化する。よって、単一の量子化テーブルにより画像圧縮・伸張をしても領域毎に画質を変えることができるので、単一の量子化テーブルを用いた汎用フォーマットの画像圧縮・伸張により領域毎に画質を変えることができる。また、領域毎の画質に応じて少なくとも一つの領域のダウンサンプリングを行い、フィルビットを挿入することにより、単に圧縮する場合に比べて画像全体の圧縮効率を高めることができ、しかも品質の良い画質が必要な領域を高画質で出力することができる。
【００１１】
フィルビットを使用することによりダウンサンプリングされている領域を復号化側に示すフラグ等が不要で、冗長なデータを付加する必要もない。また、例えばフィルビットとして“０”が使用されていると、エントロピー符号化により効率的にフィルビットを挿入した部分が圧縮できるため、画像全体の圧縮率を高めることができる。フィルビットとしては、“０”でなくても良く、その他の数値であっても良い。
本願第２発明は、
・画像を複数の領域に分割する分割ステップと、
・画像を構成する複数の領域の少なくとも１つを、その領域に要求される画質に応じてダウンサンプリングし、前記領域の少なくとも一部に前記領域のダウンサンプリングした画像（以下、代表値）を、前記領域のその他の部分にフィルビットを挿入するダウンサンプリングステップと、
・前記分割ステップと前記ダウンサンプリングステップを経た前記画像を、前記複数の領域に対して共通の量子化テーブルにより量子化する量子化ステップと、
・前記量子化ステップにおいて量子化された画像を符号化する符号化ステップと、
を含む画像圧縮方法を提供する。
【００１２】
領域毎のダウンサンプリングにより、単に圧縮する場合に比べて画像全体の圧縮効率を高めることができる。
本願第３発明は、本願第２発明において、前記量子化ステップ及び前記符号化ステップは、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  ＥｘｐｅｒｔＧｒｏｕｐ）により行われている画像圧縮方法を提供する。
ＪＰＥＧを使用して符号化することで、画像圧縮において一般に使用されている単一の量子化テーブルを用いた汎用フォーマットを適用することができる。
【００１３】
本願第４発明は、本願第２発明において、前記分割ステップは、前記画像を、前記複数の領域に分割する指示を受け付ける分割指示ステップと、前記複数の領域のうち少なくとも一つに要求される画質の設定を受け付ける画質受付ステップとを含む画像圧縮方法を提供する。
画像の画質を変える領域の指定及び画質の設定を手動で設定することができるので、画質変更の自由度を高めることができる。
本願第５発明は、本願第２発明において、前記分割ステップは、前記画像を所定数の画素からなる前記複数の領域に分割する画像分割ステップと、前記複数の領域毎の高周波成分を示す信号量の大小により各領域に要求される画質を決定する画質決定ステップとを含む画像圧縮方法を提供する。
【００１４】
よって、所定数の画素からなる領域に画像を機械的に分割し、その領域毎の信号量を計算し画質を決定するので、自動的に画質の設定をすることができる。また、人手やコストを削減することができる。
本願第６発明は、画像を複数の領域に分割する分割手段と、画像を構成する複数の領域の少なくとも１つを、その領域に要求される画質に応じてダウンサンプリングし、前記領域の少なくとも一部に前記領域のダウンサンプリングした画像（以下、代表値）を、前記領域のその他の部分にフィルビットを挿入するダウンサンプリング手段と、前記分割手段と前記ダウンサンプリング手段を経た前記画像を、前記複数の領域に対して共通の量子化テーブルにより量子化する量子化器と、前記量子化器において量子化された画像を符号化する符号化器とを含む画像圧縮装置を提供する。
この装置は、前記第２発明と同様の作用効果を奏する。
【００１５】
本願第７発明は、
・画像を複数の領域に分割する分割手段、
・画像を構成する複数の領域の少なくとも１つを、その領域に要求される画質に応じてダウンサンプリングし、前記領域の少なくとも一部に前記領域のダウンサンプリングした画像（以下、代表値）を、前記領域のその他の部分にフィルビットを挿入するダウンサンプリング手段、
・前記分割手段と前記ダウンサンプリング手段を経た前記画像を、前記複数の領域に対して共通の量子化テーブルにより量子化する量子化手段及び、
・前記量子化手段において量子化された画像を符号化する符号化手段、
としてコンピュータを機能させるための画像圧縮プログラムを提供する。このプログラムは、前記第２発明と同様の作用効果を奏する。
【００１６】
本願第８発明は、
・複数の領域に分割され、前記複数の領域の少なくとも一つがダウンサンプリングされた後に、前記複数の領域に対して共通の量子化テーブルにより量子化され、符号化された画像を復号化する復号化ステップと、
・前記復号化ステップにおいて復号化された画像を前記量子化テーブルにより逆量子化する逆量子化ステップと、
・前記逆量子化ステップにおいて逆量子化された画像を構成する複数の領域のうちダウンサンプリングされている領域の画素を補間する補間ステップと、
・前記複数の領域毎に要求される画質で前記画像を出力する画像出力ステップと、
を含む画像伸張方法を提供する。
【００１７】
複数の領域に分割され、符号化された画像を復号化し、その画像の一部の領域がダウンサンプリングされている場合、その領域の画素を補間し、領域毎に要求される画質で画像を出力する。よって、単一の量子化テーブルにより画像伸張をして領域毎に画質を変えることができるので、単一の量子化テーブルを用いた汎用フォーマットの画像伸張により領域毎に画質を変えることができる。そのため品質の良い画質が必要な領域を高画質で出力することができる。
本願第９発明は、本願第８発明において、前記復号化ステップ及び前記逆量子化ステップは、ＪＰＥＧにより行われている画像伸張方法を提供する。
【００１８】
復号化及び逆量子化を、ＪＰＥＧを使用して行うことで、画像伸張において一般に使用されている単一の量子化テーブルを用いた汎用フォーマットを適用することができ、かつ領域毎に出力画質を変えることできる。
本願第１０発明は、本願第８発明において、前記補間ステップは、所定のフィルビットが挿入されているか否かに基づいで、ダウンサンプリングされている領域を特定するステップをさらに含む画像伸張方法を提供する。
よって、ダウンサンプリングされている領域をフラグ等を付加せずに特定できる。
【００１９】
本願第１１発明は、
・複数の領域に分割され、前記複数の領域の少なくとも一つがダウンサンプリングされた後に、前記複数の領域に対して共通の量子化テーブルにより量子化され、符号化された画像を復号化する復号化器と、
・前記復号化器において復号化された画像を前記量子化テーブルにより逆量子化する逆量子化器と、
・前記逆量子化器において逆量子化された画像を構成する複数の領域のうちダウンサンプリングされている領域の画素を補間する補間手段と、
・前記複数の領域毎に要求される画質で前記画像を出力する画像出力手段と、
を含む画像伸張装置を提供する。この装置は、前記第８発明と同様の作用効果を奏する。
【００２０】
本願第１２発明は、
・複数の領域に分割され、前記複数の領域の少なくとも一つがダウンサンプリングされた後に、前記複数の領域に対して共通の量子化テーブルにより量子化され、符号化された画像を復号化する復号化手段、
・前記復号化手段において復号化された画像を前記量子化テーブルにより逆量子化する逆量子化手段、
・前記逆量子化手段において逆量子化された画像を構成する複数の領域のうちダウンサンプリングされている領域の画素を補間する補間手段及び、
・前記複数の領域毎に要求される画質で前記画像を出力する画像出力手段、
としてコンピュータを機能させるための画像伸張プログラムを提供する。このプログラムは、前記第８発明と同様の作用効果を奏する。
【００２１】
【発明の実施の形態】
以下に、本発明の画像圧縮・伸張システムについて、実施形態例を挙げて詳細に説明する。図１は、本発明の実施形態例に係る画像圧縮・伸張システムの一例を示している。
［全体構成］
圧縮・伸張システムは、ネットワーク３００で接続されたコンピュータ１００とコンピュータ２００とを含む。コンピュータ１００は、入力部１０５、圧縮器１及びインターフェイス（以下、Ｉ／Ｆ）１４０を有する。一方、コンピュータ２００は、Ｉ／Ｆ１５０、伸張器２及び出力部１９０を有する。ネットワーク３００は、Ｅｔｈｅｒｎｅｔ（登録商標）、インターネット、ＡＴＭ（Ａｓｙｎｃｒｏｎｕｓ  Ｔｒａｎｓｆｅｒ  Ｍｏｄｅ）等のパケット通信網やその他のデジタルネットワークにより構築される。圧縮器１は、分割部１１０、ダウンサンプリング部１２０及び符号化器１３０を有している。伸張器２は、復号化器１６０、判定部１７０及び補間部１８０を有している。上記構成の圧縮・伸張システムの各部では、次のように画像の圧縮・伸張が行われる。
【００２２】
まず、圧縮側のコンピュータ１００の機能構成から説明を行う。
［入力部］
入力部１０５は、圧縮器１に対応した画像データを圧縮器１に提供する。また、入力部１０５はカメラやスキャナ等の画像取込部分、画像を保存するＨＤＤ等の記憶部分、画像データを圧縮器１に対応した画像データに変換する変換部分などを含むものである。
［分割部］
分割部１１０は、入力部１０５から取り込んだ画像データを複数の領域ａ１，ａ２，ａ３…に分割し、分割された領域毎に、要求される画質を決定する。
【００２３】
ここで、要求される画質とは、ある領域は画質を低下させても問題ない、別のある領域は画質を低下させないようにという要求に応じた画質のことである。
分割する領域のサイズは、任意の画素数で良い。圧縮・伸張方法としてＪＰＥＧを使用する場合には、８×８画素、１６×１６画素のように８×８画素の整数倍に分割すると、ＪＰＥＧの圧縮・伸張処理の単位である８×８画素の倍数となり処理が容易となる。
入力画像の複数の領域への分割方法及び領域毎の画質を決定する方法は種々考えられるが、１つの方法として、画質の低下を防ぎたい部分と画質を低下させても良い部分とを人間の目で判断して決定して領域分割する方法がある。例えば、画質の低下を防ぎたい着目部分の領域と着目部分以外の画質を低下させても良い背景部分の領域とに分ける。手動で画像を分割する場合には、分割した画像の領域指定、及びその領域に要求される画質の設定を受け付ける。このように領域の分割及び画質の設定を手動ですることができるので、着目部分と背景部分とを確実に分割でき、画質変更の自由度を高めることができる。
【００２４】
また、入力画像の複数の領域への分割方法及び領域毎の画質を決定する方法の別の方法として、所定数の画素からなる複数の領域に機械的に画像を分割し、分割された領域毎に機械的に画質を決定する方法がある。領域毎に機械的に画質を決定する方法としては、各領域が有する高周波成分を示す信号量の大小、例えば分散値Ｖｍｎの大小を用いる方法により決定する方法がある。このように画像の分割、及び画質の決定を機械的に行うことで、自動的に画像圧縮処理を行うことができる。また、人手やコストを削減することができる。
【００２５】
以下に、例えば１６×１６画素に分割された領域毎の分散値Ｖｍｎにより領域毎に要求される画質を機械的に決定する方法を説明する。１６×１６画素に分割された領域の画像信号が高周波成分を持つか否かを判断する分散値Ｖｍｎは、下記式（１）により表される。
【００２６】
【数１】
2004222218.tif 000003
分散値Ｖｍｎは、画像信号のもつ高周波成分の量に応じて大きくなる。この分散値Ｖｍｎが閾値Ｔｈよりも小さい場合は低画質で良い領域、閾値Ｔｈよりも大きい場合は高画質が要求される領域と判断される。なお、閾値Ｔｈは、所望の圧縮率、量子化テーブルの値等との関係から決定する。また、閾値Ｔｈを複数設定して、閾値Ｔｈ毎に画質を決定すると、復元された画像の画質を領域毎にきめ細やかに変えることができる。
【００２７】
ここで、分割する領域の画素の所定数は画像全体において一定であっても良いし、ある領域は３２×３２画素に、別の領域は１６×１６画素に分割する等にして分割する画素数を領域毎に変えても良い。また、後述のダウンサンプリングにおいても、任意の画素数でダウンサンプリングして良い。また、領域を分割する場合と同様に、圧縮・伸張方法としてＪＰＥＧを使用する場合には、８×８画素、１６×１６画素のように８×８画素の整数倍でダウンサンプリングすると、ＪＰＥＧの圧縮・伸張処理の単位である８×８画素の倍数となり処理が容易となる。
［ダウンサンプリング部］
例えば、画像を所定数の画素＝１６×１６画素に分割し、低画質で良い領域のダウンサンプリングに８×８画素を適用した場合、
分割部１１０で１６×１６画素の領域に分割され、ダウンサンプリング部１２０により低画質で良い領域は、１６×１６画素から８×８画素にダウンサンプリングされる。一方、高画質が要求される領域は、１６×１６画素のままでダウンサンプリングされない。また、ダウンサンプリング部１２０は、ダウンサンプリングされている領域とダウンサンプリングされない領域とを合算して符号化器１３０に出力する。
【００２８】
ダウンサンプリングは、領域内の画素を抜き出す間引き処理やフィルタ処理により行われている。フィルタ処理としては、ローパスフィルタ処理やガウシアンフィルタ処理等がある。間引き処理のみでダウンサンプリングを行っても良い。また、フィルタ処理と間引き処理とを併用してダウンサンプリングを行うと歪みの少ない精度の良いダウンサンプリングが可能である。
例えば、ガウシアンフィルタ処理と間引き処理とによってダウンサンプリングが行われる場合には、次のように処理が行われる。ガウシアンフィルタ処理は、一次元ガウシアンフィルタを画像信号の水平方向に適用し、その結果得られる信号に対して垂直方向に同じフィルタを適用して行われる。また、ガウシアンフィルタ処理の後に画素の間引きを行うことによって所望のサイズにダウンサンプリングされた画像が得られる。
【００２９】
以下に、１／２のダウンサンプリングの一例を図２（ａ）を参照して説明する。図２（ａ）は、１６×１６画素の１領域を示している。ダウンサンプリングの方法としては、１６×１６画素のデータのダウンサンプリングした画像（以下、代表値という）を８×８画素のδｓ部分（Ｘ＝０〜７、Ｙ＝０〜７）に格納し、その他のαｓ（Ｘ＝８〜１５、Ｙ＝０〜７）、βｓ（Ｘ＝０〜７、Ｙ＝８〜１５）、γｓ（Ｘ＝８〜１５、Ｙ＝８〜１５）領域にフィルビットとして“０”を格納する方法がある。フィルビットとしては、特に“０”を使用する必要はなく、別の同じ数値を用いることもできる。例えば、１６×１６画素のデータの代表値を８×８画素のδｓ部分（Ｘ＝０〜７、Ｙ＝０〜７）に格納し、その他のαｓ（Ｘ＝８〜１５、Ｙ＝０〜７）、βｓ（Ｘ＝０〜７、Ｙ＝８〜１５）、γｓ（Ｘ＝８〜１５、Ｙ＝８〜１５）領域にフィルビットとして１６×１６画素の平均値、最大値、最小値などの同一の数値を挿入して行う。
【００３０】
このように、ダウンサンプリングして残りの画素に“０”または同じ数値を挿入することで、符号化の際のエントロピー符号化により効率的に画像を圧縮することができ、圧縮率を高めることができる。また、フィルビットを使用することによりダウンサンプリングされたことを示すフラグ等は不要で、圧縮率を低下させることもない。
閾値Ｔｈ毎にダウンサンプリングする画素数を決定すると、復元された画像の画質を領域毎にきめ細やかに変えることができる。例えば、ある領域は３２×３２画素から１６×１６画素の１／２に、別の領域は３２×３２画素から８×８画素に１／４のダウンサンプリングする等してダウンサンプリングする画素数を変えても良い。また、ある領域は３２×３２画素から８×８画素の１／４に、別の領域は１６×１６画素から８×８画素の１／２のダウンサンプリングする等、分割する画素数を変えてダウンサンプリングを行っても良い。このように分割する画素数とダウンサンプリングする画素数とをそれぞれ変えたり、あるいは組み合わせて変えることで、１／２，１／４，１／３，２／３等様々なダウンサンプリングを適用することで復元された画像の画質を領域毎にきめ細やかに変えることができる。
［符号化器、Ｉ／Ｆ］
符号化器１３０は、単一の量子化テーブルを用いる汎用の圧縮方法で圧縮を行い、Ｉ／Ｆ１４０を経由して伸張側に圧縮データが伝送される。単一の量子化テーブルを用いる汎用の圧縮方法は、例えばＪＰＥＧが挙げられる。
【００３１】
次に、伸張側のコンピュータ２００の機能構成の説明を行う。
［復号化器、Ｉ／Ｆ］
圧縮データは、Ｉ／Ｆ１５０を経由して復号化器１６０に入力され、単一の量子化テーブルを用いる汎用の伸張方法で伸張される。伸張は、圧縮方法と対応した方法により行われ、例えば、圧縮がＪＰＥＧにより行われている場合には、ＪＰＥＧにより伸張が行われる。
［判定部］
判定部１７０は、ダウンサンプリングされている領域を判定する。ダウンサンプリングされている領域を判定する方法としては、フィルビットを検出する方法がある。
【００３２】
例えば、分割には１６×１６画素を、ダウンサンプリングには８×８画素を、フィルビットには“０”を適用し、前記図２（ａ）においてダウンサンプリングされた場合、αｓ、βｓ、γｓ領域にはフィルビットとして全て“０”が格納される。よって、αｓ、βｓ、γｓ領域全てに“０”が格納されている場合にはダウンサンプリングがされていることを、全てが“０”ではない場合はダウンサンプリングされていないことを判定することができる。αｓ、βｓ、γｓ領域全てに“０”が格納されているかどうかは、図２（ａ）に基づいた下記式（２）により表される。
【００３３】
【数２】
2004222218.tif 000004
ここで、αｓ、βｓ、γｓ領域に全て“０”が格納されている場合には、Ｄｍｎは“０”となりダウンサンプリングされたことを検出することができる。
また、分割には３２×３２画素を、ダウンサンプリングには領域毎の画質に対応して１６×１６画素または８×８画素を、フィルビットには“０”を適用してダウンサンプリングする画素数を変えた場合のダウンサンプリングの判定方法を、図２（ａ）及び図２（ｂ）を参照して説明する。図２（ｂ）は、３２×３２画素の１領域を示している。まず、図２（ｂ）のように３２×３２画素の領域を４分割し、αＬ（Ｘ＝１６〜３１、Ｙ＝０〜１５）、βＬ（Ｘ＝０〜１５、Ｙ＝１６〜３１）、γＬ（Ｘ＝１６〜３１、Ｙ＝１６〜３１）の全てに“０”が格納されているかどうかを前記式（２）により判定する。次に、αＬ、βＬ、γＬが全て“０”である場合は、図２（ａ）において、αｓ（Ｘ＝８〜１５、Ｙ＝０〜７）、βｓ（Ｘ＝０〜７、Ｙ＝８〜１５）、γｓ（Ｘ＝８〜１５、Ｙ＝８〜１５）の全てに“０”が格納されているかどうかを、同様に判定する。このような判定により、（１）αＬ、βＬ、γＬに“０”が格納されていない場合は、ダウンサンプリングされていない。（２）αＬ、βＬ、γＬに“０”が格納され、かつαｓ、βｓ、γｓに“０”が格納されていない場合は、３２×３２画素から１６×１６画素にダウンサンプリングされている。（３）αＬ、βＬ、γＬに“０”が格納され、かつαｓ、βｓ、γｓに“０”が格納されている場合は、３２×３２画素から８×８画素にダウンサンプリングされていると判定することができる。
【００３４】
さらに、分割には領域毎の画質に対応して３２×３２画素または１６×１６画素を、ダウンサンプリングには８×８画素を、フィルビットには“０”を適用した場合のダウンサンプリングの判定方法を、図２（ａ）、（ｂ）を参照して説明する。まず、図２（ａ）において、１６×１６画素のうちαｓ、βｓ、γｓの全てに“０”が格納されているかどうかを、前記式（２）により判定する。次に、αｓ、βｓ、γｓが全て“０”である場合は、このαｓ、βｓ、γｓを含む１６×１６画素を、図２（ｂ）のδＬとして、αＬ、βＬ、γＬの全てに“０”が格納されているかどうかを同様に判定する。このような判定により、（１）αｓ、βｓ、γｓに“０”が格納されていない場合は、ダウンサンプリングされていない。（２）αｓ、βｓ、γｓに“０”が格納され、かつαＬ、βＬ、γＬに“０”が格納されていない場合は、１６×１６画素から８×８画素にダウンサンプリングされている。（３）αｓ、βｓ、γｓに“０”が格納され、かつαＬ、βＬ、γＬに“０”が格納されている場合は、３２×３２画素から８×８画素にダウンサンプリングされていると判定することができる。
【００３５】
この他、ダウンサンプリングを判定する方法は種々考えられる。また、αｓ、βｓ、γｓ領域に全て“０”が格納されていることを検出するのではなく、別の同じ数値で全て満たされていることを検出することによりサンプリング方法を検出してもよい。
このように、αｓ、βｓ、γｓ領域全てに“０”あるいはその他の同じ数値が格納されていることを検出することで、ダウンサンプリングされている領域を判定することができる。
［補間部、出力部］
判定部１７０の判定結果により、補間部１８０は、ダウンサンプリングされている領域を８×８画素から１６×１６画素等、元の画素数に補間する。一方、ダウンサンプリングされていない領域は補間を必要としない。また、補間部１８０は、ダウンサンプリング後補間された領域とダウンサンプリングされず補間されていない領域とを合算して出力部１９０に出力する。出力部１９０は、例えばＬＣＤ（図示しない）の表示画素数にあわせて表示できるように、画像データを変換する。よって、ダウンサンプリングされている領域の画素をダウンサンプリング後のデータに基づいて補間して当該領域の画像を出力することができる。また、ダウンサンプリングされていない領域の画像は補間の必要が無いので、ダウンサンプリングされている領域の画像よりも高画質の画像で出力することができる。
【００３６】
補間する方法としては、例えば失われた画像の高周波成分の推定が可能なＬＰ拡大法、線形補間、２次補間、３次補間等を使用することができる。ＬＰ拡大法とは、ダウンサンプリング部１２０によるダウンサンプリングの際に失われた高周波成分を推定して画像の復元を行う方法である。
本発明による圧縮・伸張システムは、複数の領域からなる画像を符号化する前に領域毎に要求される画質に応じてダウンサンプリングを行うので、単一の量子化テーブルにより画像圧縮・伸張をして領域毎に画質を変えることができる。よって、単一の量子化テーブルを用いた汎用フォーマットを用いて、領域毎に画質を変えて画像圧縮・伸張をすることができる。また、領域毎の画質に応じて少なくとも一つの領域のダウンサンプリングを行うことにより、単に圧縮する場合に比べて画像全体の圧縮効率を高めることができ、しかも高画質が必要な領域を高画質で出力することができる。ダウンサンプリングする画素数を領域毎に変えると、画質の変化の自由度を高めることができる。圧縮効率を高めることで、ネットワーク３００による伝送効率を高めることができる。
【００３７】
また、分割部１１０とダウンサンプリング部１２０とを符号化器１３０内に取り込むことができる。同様に、判定部１７０と補間部１８０とを復号化器１６０内に取り込むことができる。このように符号化器１３０、復号化器１６０内に様々な処理を取り込むことで構成が簡単になり、処理速度向上、機器の小型化、低コスト化などを図ることができる。
さらに、図１に示す圧縮・伸張システムは、圧縮側のコンピュータ１００と伸張側のコンピュータ２００とがネットワーク３００で接続されているが、圧縮・伸張を同一のコンピュータによって行い、ネットワーク３００を介さない圧縮・伸張システムであっても良い。このように、ネットワークを介さない場合であっても、画像を保存する際の容量を削減したり、画像の保存枚数を増やすことができる。
＜性能評価＞
次に、実施形態例に係る画像圧縮・伸張システムにより圧縮・伸張した画像の評価を行ったので、その評価について説明する。評価においては、圧縮・伸張方法としてＪＰＥＧを用いている。
【００３８】
画像圧縮・伸張による画像の品質の良否を判断する方法としては例えば以下の方法が挙げられる。その一つは、横軸にファイルサイズ（圧縮率）、縦軸にＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）をとったグラフにより数値評価する方法である。これによって、同じファイルサイズでの画像の品質を評価したり、逆に同じ画像品質でのファイルサイズを数値により評価することができる。ここで、ＰＳＮＲとは符号化による画像の劣化の尺度を表す。つまり、圧縮前の画像と圧縮・伸張後の復元画像との差異を評価する尺度であり、ＰＳＮＲが小さくなるほど画像が劣化する。もう一つの方法は、数値評価により画像の品質を評価するのではなく、主観により評価する方法である。
【００３９】
以下に、ＰＳＮＲを用いた評価方法により画像品質の評価を行った結果と主観により評価を行った結果とを説明する。なお、使用した圧縮・伸張前の原画像は、８ｂｉｔグレースケールでサイズが２５６×２５６の画像である（図６の原画像参照）。
まず、ＰＳＮＲを用いた評価方法による結果を説明する。表１に評価した３種類の実験の内容を示し、以下に表１の３種類の実験の具体的内容を示す。
【００４０】
【表１】
2004222218.tif 000005
（１）ダウンサンプリング１＋ＪＰＥＧ：原画像を１６×１６画素の領域に分割し、領域の分散値Ｖｍｎが閾値Ｔｈより小さい場合（Ｖｍｎ＜Ｔｈ）は、８×８画素にダウンサンプリングし、分散値Ｖｍｎが閾値Ｔｈより大きい場合（Ｖｍｎ＞Ｔｈ）はダウンサンプリングを行わない。そのダウンサンプリング後の画像データをＪＰＥＧ符号化する。なお、図３は、画像が１６×１６画素に分割され、分割された領域のうち８×８画素にダウンサンプリングされている領域には、フィルビットが挿入されている様子を示している（領域Ａ参照）。また、ダウンサンプリングされていない領域にはフィルビットは挿入されていない（領域Ｂ参照）。
（２）ダウンサンプリング２＋ＪＰＥＧ：原画像を３２×３２画素の領域に分割し、領域の分散値Ｖｍｎが閾値Ｔｈ２より小さい場合（Ｖｍｎ＜Ｔｈ２）は、８×８画素にダウンサンプリングし、分散値Ｖｍｎが閾値Ｔｈ２より大きく、かつ閾値Ｔｈ１より小さい場合（Ｔｈ２＜Ｖｍｎ＜Ｔｈ１）は、１６×１６画素にダウンサンプリングし、分散値Ｖｍｎが閾値Ｔｈ１より大きい場合（Ｖｍｎ＞Ｔｈ１）はダウンサンプリングを行わない。そのダウンサンプリング後の画像データをＪＰＥＧ符号化する。なお、図４は、画像が３２×３２画素に分割され、分割された領域のうち８×８画素または１６×１６画素にダウンサンプリングされている領域には、フィルビットが挿入されている様子を示している（領域ＣまたはＤ参照）。また、ダウンサンプリングされていない領域にはフィルビットは挿入されていない（領域Ｅ参照）。
（３）ＪＰＥＧ：原画像をダウンサンプリングすることなくＪＰＥＧ符号化する。
【００４１】
なお、（３）の実験は、本発明を適用した（１）、（２）の実験と比較するための実験である。
図５は、表１の実験結果をビットレート（圧縮率）に対するＰＳＮＲにより評価をした結果を示す。図５より、ビットレートが０．２〜０．５（ｂｉｔ／ｐｉｘｅｌ）の全ての場合において、本発明を適用した（１）、（２）のＰＳＮＲが、本発明を適用していない（３）のＰＳＮＲよりも大きい。よって、ＰＳＮＲによる画像品質の評価においては、本発明を適用した場合の画像圧縮・伸張は優れていると評価できる。特に、閾値毎にダウンサンプリングの画素数を変えた方法（（２）ダウンサンプリング２＋ＪＰＥＧ）は、ＰＳＮＲが大きく、つまり圧縮前の画像と圧縮・伸張後の復元画像との差異が少ないため優れた画像品質を有していると評価できる。
【００４２】
次に、主観により評価を行うために、図６〜図９に上記の実験による画像圧縮・伸張後の画像を示す。図６〜図９は、それぞれ順に０．５，０．４，０．３，０．２（ｂｉｔ／ｐｉｘｅｌ）の圧縮率が適用された場合の復元画像である。
図６〜図９の全てにおいて、ＪＰＥＧ符号化のみを適用した（３）より本発明の領域毎のダウンサンプリングを適用した（１）、（２）の方がダウンサンプリングされていない領域（図３、図４において領域Ｂまたは領域Ｅ）の画像が鮮明であることが分かる。また、閾値毎にダウンサンプリングの画素数を変えた場合（２）の方が、一定の画素数でダウンサンプリングした場合（１）よりもダウンサンプリングされていない領域の画質が良い。また、画像の圧縮率が上昇するほど、（３）＜（１）＜（２）の順で高画質が要求される領域（領域Ｂまたは領域Ｅ）の画質が良くなることが分かる。
【００４３】
次に、図１０、図１１にダウンサンプリングする領域としない領域とを手動で分割し、ダウンサンプリングの画素数を決定した場合の実験結果を示す。図１０は、人物の部分と背景部分とを手動で分割した後、背景部分をそれぞれ１６×１６画素から８×８画素へダウンサンプリングして圧縮率を０．４（ｂｉｔ／ｐｉｘｅｌ）にした場合の画像とＪＰＥＧ符号化のみにより圧縮率を０．４（ｂｉｔ／ｐｉｘｅｌ）にした場合の画像とを示す。一方、図１１は、背景部分をそれぞれ３２×３２画素から８×８画素へダウンサンプリングして圧縮率を０．３（ｂｉｔ／ｐｉｘｅｌ）にした場合の画像とＪＰＥＧ符号化のみにより圧縮率を０．３（ｂｉｔ／ｐｉｘｅｌ）にした場合の画像とを示す。図１０、図１１の両方において、ＪＰＥＧのみの符号化よりも本発明によるダウンサンプリングを適用して符号化した方が、ダウンサンプリングされていない人物の部分の画像が鮮明であることが分かる。
【００４４】
上記の結果より、機械的、あるいは手動によって本発明の領域毎のダウンサンプリングを行えば、同じ圧縮率であっても必要とする領域の画質をその他の領域の画質より高めることができる。つまり、同じ画質であれば高い圧縮率が得られる。
［本発明のその他への適用］
本発明は、動きの変化のある領域についての画質を変更するのに使用することもできる。例えば、動きの変化のある領域のみ画質をあげてその他の領域の画質を下げることで、動きの変化のある領域の画質を低下させることなく全体として圧縮率を高めることができる。
【００４５】
さらに、本発明では、複数の画像を合わせて一画面に並べて表示するようにした画像に対して、個別の画像領域毎に画質を変更するようにしても良い。例えば、複数の監視カメラにより複数地点の画像を取得し、カメラ毎の画像を前述のように複数並べて一画像とし、監視用モニタに表示する。この画像を圧縮する際、カメラ毎の画像領域に対して画質設定を受け付けることで、カメラ毎の画像の画質を変更することができる。このとき、カメラ近傍のセンサにより、動きの変化のあったカメラの画像の画質を上げ、その他の画像の画質を自動的に下げるようにしても良い。
【００４６】
【発明の効果】
本発明を用いれば、単一の量子化テーブルを用いた汎用フォーマットを用いつつ領域毎の画質を変えることができる。
【図面の簡単な説明】
【図１】本発明の実施形態例に係る画像圧縮・伸張システムの一例。
【図２】（ａ）１６×１６画素の１領域。
（ｂ）３２×３２画素の１領域。
【図３】画像が１６×１６画素に分割され、フィルビットが挿入されている様子。
【図４】画像が３２×３２画素に分割され、フィルビットが挿入されている様子。
【図５】表１の実験結果をビットレートに対するＰＳＮＲにより評価をした結果。
【図６】０．５（ｂｉｔ／ｐｉｘｅｌ）の圧縮率が適用された場合の復元画像。
【図７】０．４（ｂｉｔ／ｐｉｘｅｌ）の圧縮率が適用された場合の復元画像。
【図８】０．３（ｂｉｔ／ｐｉｘｅｌ）の圧縮率が適用された場合の復元画像。
【図９】０．２（ｂｉｔ／ｐｉｘｅｌ）の圧縮率が適用された場合の復元画像。
【図１０】人物の部分と背景部分の内、背景部分をダウンサンプリングして圧縮率を０．４（ｂｉｔ／ｐｉｘｅｌ）にした場合の画像。
【図１１】人物の部分と背景部分の内、背景部分をダウンサンプリングして圧縮率を０．３（ｂｉｔ／ｐｉｘｅｌ）にした場合の画像。
【図１２】圧縮・伸張システムの一例。
【図１３】輝度（Ｙ）・色差（ＵＶ）ごとの量子化テーブル。
【図１４】領域毎に異なる量子化テーブルにより領域毎に画質を変更する場合の圧縮・伸張システムの一例。
【符号の説明】
１：圧縮器
２：伸張器
１０、１０５：入力部
２０：ＤＣＴ変換器
３０：量子化器
３５、６５：量子化テーブル
４０：符号化器
５０：復号化器
６０：逆量子化器
７０：逆ＤＣＴ変換器
８０、１９０：出力部
１００、２００：コンピュータ
１１０：分割部
１２０：ダウンサンプリング部
１３０：符号化器
１４０、１５０：Ｉ／Ｆ
１６０：復号化器
１７０：判定部
１８０：補間部
３００：ネットワーク
【図１】
2004222218.tif 000006
【図２】
2004222218.tif 000007
【図３】
2004222218.tif 000008
【図４】
2004222218.tif 000009
【図５】
2004222218.tif 000010
【図６】
2004222218.tif 000011
【図７】
2004222218.tif 000012
【図８】
2004222218.tif 000013
【図９】
2004222218.tif 000014
【図１０】
2004222218.tif 000015
【図１１】
2004222218.tif 000016
【図１２】
2004222218.tif 000017
【図１３】
2004222218.tif 000018
【図１４】
2004222218.tif 000019