(57)【要約】【課題】画像の解像度変換や圧縮を繰り返し行なっても劣化のない、画像の解像度変換及び／又は圧縮に適した画像フォーマットへの処理が可能な画像処理装置及び画像処理方法を提供する。【解決手段】各ピクセルに色情報等のピクセル値を有する画像を、関数表現された画像へフォーマット変換処理を行なう。関数表現部１１は、画像の各ピクセル値を基に、画像を関数表現に変換する。符号化部１２は、関数表現部により変換された関数表現に基づく係数列に対して、エントロピー符号化を行なう。関数表現部は、シフト線形補間法を用いれば良い。【選択図】図１
2006345026.tif 000002
【特許請求の範囲】
【請求項１】
各ピクセルに色情報等のピクセル値を有する画像を、関数表現された画像へフォーマット変換処理を行なう画像処理装置であって、該装置は、
画像の各ピクセル値を基に、画像を関数表現に変換する関数表現部と、
前記関数表現部により変換された関数表現に基づく係数列に対して、エントロピー符号化を行なう符号化部と、
を具備することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記関数表現部は、シフト線形補間法を用いることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、前記符号化部は、さらに、前記関数表現部により変換された関数表現を、符号化に適した係数列に変換する最適化変換部を有し、該最適化変換部により変換された係数列に対して、エントロピー符号化を行なうことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、前記最適化変換部は、以下の処理により符号化に適した係数列に変換する、すなわち、
シフト線形補間法によりシフトされる実数頂点列ｓ［ｎ］（但し、ｎは自然数）を算出し、
前記実数頂点列ｓ［ｎ］を四捨五入して整数頂点列ｄ［ｎ］に変換し、
前記整数頂点列ｄ［ｎ］の前頂点との差分値であるＦＩＣ係数列Ｄ［ｎ］を算出し、
以下の条件でｍバイト係数リスト（但し、ｍは自然数）及び／又はｍ＋１バイト係数リストに所定の値を書き込む、すなわち、
（１）｜Ｄ［ｎ］｜がピクセル値の最大値よりも大きい場合又はｄ［ｎ］＜０又はｄ［ｎ］がピクセル値の最大値よりも大きいとき、Ｄ［ｎ］の値をｍ＋１バイト係数リストに書き込み、ｍバイト係数リストに所定のフラグ値を書き込む
（２）Ｄ［ｎ］が前記フラグ値と等しいとき、ｍ＋１バイト係数リストに０を書き込み、ｍバイト係数リストにフラグ値を書き込む
（３）Ｄ［ｎ］がフラグ値からピクセル値の最大個数を減算した値と等しいとき、ｍ＋１バイト係数リストに０を書き込み、ｍバイト係数リストにフラグ値を書き込む
（４）上記（１）〜（３）の条件以外でＤ［ｎ］＜０のとき、Ｄ［ｎ］にピクセル値の最大個数を加算した値をｍバイト係数リストに書き込む
（５）上記（１）〜（４）の条件以外のとき、Ｄ［ｎ］の値をｍバイト係数リストに書き込む
ことを特徴とする画像処理装置。
【請求項５】
請求項１乃至請求項４の何れかに記載の画像処理装置において、前記符号化部は、ＰＰＭ符号化法、ハフマン符号化法、算術符号化法、ＲａｎｇｅＣｏｄｅｒ符号化法の何れかを用いてエントロピー符号化を行なうことを特徴とする画像処理装置。
【請求項６】
各ピクセルに色情報等のピクセル値を有する画像を関数表現された画像へフォーマット変換された画像を、各ピクセルに色情報等のピクセル値を有する画像へフォーマット変換処理を行なう画像処理装置であって、該装置は、
エントロピー符号化された係数列に対して、エントロピー復号化を行なう復号化部と、
前記エントロピー復号化部により復号化された係数列を基に、関数表現に還元する関数表現還元部と、
を具備することを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、前記関数表現還元部は、シフト線形補間法による関数表現に還元することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、前記復号化部は、エントロピー復号化を行ない、さらに、符号化前の係数列に基づく関数表現に変換する関数表現係数列変換部を有することを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、前記関数表現係数列変換部は、以下の条件で関数表現に変換する、すなわち、
（１）ｍバイト係数リスト（但し、ｍは自然数）の値が所定のフラグ値のとき且つｍ＋１バイト係数リストの値が０以外のとき、ｍ＋１バイト係数リストの値をＤ［ｎ］とする
（２）ｍバイト係数リストの値がフラグ値のとき且つｍ＋１バイト係数リストが０のとき、ｄ［ｎ］がピクセル値の最大値よりも大きければフラグ値からピクセル値の最大個数を減算した値をＤ［ｎ］とし、ｄ［ｎ］がピクセル値の最大値以下であればフラグ値をＤ［ｎ］とする
（３）上記（１）〜（２）の条件以外のとき、ｄ［ｎ］がピクセル値の最大値よりも大きければｍバイト係数リストからピクセル値の最大個数を減算した値をＤ［ｎ］とし、ｄ［ｎ］がピクセル値の最大値以下であればｍバイト係数リストの値をＤ［ｎ］とする
但し、ｄ［ｎ］（但し、ｎは自然数）はシフト線形補間法によりシフトされる実数頂点列ｓ［ｎ］の整数頂点列、Ｄ［ｎ］は前記整数頂点列ｄ［ｎ］の差分値であるＦＩＣ係数列である、
ことを特徴とする画像処理装置。
【請求項１０】
請求項６乃至請求項９の何れかに記載の画像処理装置において、前記復号化部は、ＰＰＭ復号化法、ハフマン復号化法、算術復号化法、ＲａｎｇｅＣｏｄｅｒ復号化法の何れかを用いてエントロピー復号化を行なうことを特徴とする画像処理装置。
【請求項１１】
請求項４又は請求項９に記載の画像処理装置において、８ｂｉｔの画像データの場合には、前記ピクセル値の範囲は０〜２５５でｍ＝１であり、１６ｂｉｔの画像データの場合には、ピクセル値の範囲は０〜６５５３５でｍ＝２であることを特徴とする画像処理装置。
【請求項１２】
請求項４又は請求項９に記載の画像処理装置において、前記フラグ値はピクセル値の最大個数の１／２であることを特徴とする画像処理装置。
【請求項１３】
各ピクセルに色情報等のピクセル値を有する画像を、関数表現された画像へフォーマット変換処理を行なう画像処理方法であって、該方法は、
画像の各ピクセル値を基に、画像を関数表現に変換する過程と、
前記関数表現に変換する過程により変換された関数表現に基づく係数列に対して、符号化を行なう過程と、
を具備することを特徴とする画像処理方法。
【請求項１４】
請求項１３に記載の画像処理方法において、前記関数表現に変換する過程は、シフト線形補間法を用いることを特徴とする画像処理方法。
【請求項１５】
請求項１４に記載の画像処理方法において、前記符号化を行なう過程は、さらに、前記関数表現に変換する過程により変換された関数表現を、符号化に適した係数列に変換する過程を有し、該過程により変換された係数列に対して、エントロピー符号化を行なうことを特徴とする画像処理方法。
【請求項１６】
請求項１５に記載の画像処理方法において、前記符号化に適した係数列に変換する過程は、以下の処理により符号化に適した係数列に変換する、すなわち、
シフト線形補間法によりシフトされる実数頂点列ｓ［ｎ］（但し、ｎは自然数）を算出し、
前記実数頂点列ｓ［ｎ］を四捨五入して整数頂点列ｄ［ｎ］に変換し、
前記整数頂点列ｄ［ｎ］の前頂点との差分値であるＦＩＣ係数列Ｄ［ｎ］を算出し、
以下の条件でｍバイト係数リスト（但し、ｍは自然数）及び／又はｍ＋１バイト係数リストに所定の値を書き込む、すなわち、
（１）｜Ｄ［ｎ］｜がピクセル値の最大値よりも大きい場合又はｄ［ｎ］＜０又はｄ［ｎ］がピクセル値の最大値よりも大きいとき、Ｄ［ｎ］の値をｍ＋１バイト係数リストに書き込み、ｍバイト係数リストに所定のフラグ値を書き込む
（２）Ｄ［ｎ］が前記フラグ値と等しいとき、ｍ＋１バイト係数リストに０を書き込み、ｍバイト係数リストにフラグ値を書き込む
（３）Ｄ［ｎ］がフラグ値からピクセル値の最大個数を減算した値と等しいとき、ｍ＋１バイト係数リストに０を書き込み、ｍバイト係数リストにフラグ値を書き込む
（４）上記（１）〜（３）の条件以外でＤ［ｎ］＜０のとき、Ｄ［ｎ］にピクセル値の最大個数を加算した値をｍバイト係数リストに書き込む
（５）上記（１）〜（４）の条件以外のとき、Ｄ［ｎ］の値をｍバイト係数リストに書き込む
ことを特徴とする画像処理方法。
【請求項１７】
請求項１３乃至請求項１６の何れかに記載の画像処理方法において、前記エントロピー符号化を行なう過程は、ＰＰＭ符号化法、ハフマン符号化法、算術符号化法、ＲａｎｇｅＣｏｄｅｒ符号化法の何れかを用いることを特徴とする画像処理方法。
【請求項１８】
各ピクセルに色情報等のピクセル値を有する画像を関数表現された画像へフォーマット変換された画像を、各ピクセルに色情報等のピクセル値を有する画像へフォーマット変換処理を行なう画像処理方法であって、該方法は、
エントロピー符号化された係数列に対して、エントロピー復号化を行なう過程と、
前記エントロピー復号化を行なう過程により復号化された係数列を基に、関数表現に還元する過程と、
を具備することを特徴とする画像処理方法。
【請求項１９】
請求項１８に記載の画像処理方法において、前記関数表現に還元する過程は、シフト線形補間法による関数表現に還元することを特徴とする画像処理方法。
【請求項２０】
請求項１９に記載の画像処理方法において、前記エントロピー復号化を行なう過程は、エントロピー復号化を行ない、さらに、符号化前の係数列に基づく関数表現に変換する過程を有することを特徴とする画像処理方法。
【請求項２１】
請求項２０に記載の画像処理方法において、前記関数表現に変換する過程は、以下の条件で変換する、すなわち、
（１）ｍバイト係数リスト（但し、ｍは自然数）の値が所定のフラグ値のとき且つｍ＋１バイト係数リストの値が０以外のとき、ｍ＋１バイト係数リストの値をＤ［ｎ］とする
（２）ｍバイト係数リストの値がフラグ値のとき且つｍ＋１バイト係数リストが０のとき、ｄ［ｎ］がピクセル値の最大値よりも大きければフラグ値からピクセル値の最大個数を減算した値をＤ［ｎ］とし、ｄ［ｎ］がピクセル値の最大値以下であればフラグ値をＤ［ｎ］とする
（３）上記（１）〜（２）の条件以外のとき、ｄ［ｎ］がピクセル値の最大値よりも大きければｍバイト係数リストからピクセル値の最大個数を減算した値をＤ［ｎ］とし、ｄ［ｎ］がピクセル値の最大値以下であればｍバイト係数リストの値をＤ［ｎ］とする
但し、ｄ［ｎ］（但し、ｎは自然数）はシフト線形補間法によりシフトされる実数頂点列ｓ［ｎ］の整数頂点列、Ｄ［ｎ］は前記整数頂点列ｄ［ｎ］の差分値であるＦＩＣ係数列である、
ことを特徴とする画像処理方法。
【請求項２２】
請求項１８乃至請求項２１の何れかに記載の画像処理方法において、前記エントロピー復号化を行なう過程は、ＰＰＭ復号化法、ハフマン復号化法、算術復号化法、ＲａｎｇｅＣｏｄｅｒ復号化法の何れかを用いることを特徴とする画像処理方法。
【請求項２３】
請求項１３又は請求項１８に記載の画像処理方法において、８ｂｉｔの画像データの場合には、前記ピクセル値の範囲は０〜２５５でｍ＝１であり、１６ｂｉｔの画像データの場合には、ピクセル値の範囲は０〜６５５３５でｍ＝２であることを特徴とする画像処理方法。
【請求項２４】
請求項１３又は請求項１８に記載の画像処理方法において、前記フラグ値はピクセル値の最大個数の１／２であることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特に、入力された画像の解像度変換と画像圧縮を同時に行なうのに適した画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
情報のデジタル化、ネットワーク化が進み、デジタルデータとしての画像情報は広く普及している。デジタル画像における入出力デバイスの解像度は多岐にわたっており、それぞれのデバイスに適した解像度は異なるため、各入出力デバイスの性能を活かすには画像の解像度変換が必要となる。ここで、解像度変換とは、デジタル画像の単位量当たりの画素数であるＤＰＩ（Ｄｏｔ  Ｐｅｒ  Ｉｎｃｈ）を多くしたり少なくしたりすることで、画像の拡大・縮小（画像の高密度化・低密度化）を行なうことである。
【０００３】
一般的な画像補間法には、ニアレストネイバ法、バイリニア法、バイキュービック法等がある（非特許文献１）。また、より高次の多項式やＢ−Ｓｐｌｉｎｅ関数を用いた手法も提案されている（非特許文献２）が、高い拡大精度が期待される半面、計算量の増大やオーバーフィッティングにより不自然な結果を示す等の問題点もある。
【０００４】
解像度変換に関しては、上記のもの以外にも数多くの手法が提案されてきた。例えば、エッジ情報を考慮して拡大精度を高める手法、レベルセット法を用いて反復的に等輝度線を再構成する手法、三角形メッシュを再構成してエッジに適合する手法、超解像手法としてベイズ推定を用いた手法等が挙げられる。
【０００５】
また、有限である記憶装置の容量を効率よく利用するため、あるいはネットワーク上での送受信時のトラフィックを減少させるため等に、画像データの圧縮も一般的に行なわれている。データの圧縮とは、一定の手順にしたがってデータの意味を保ったまま、容量を削減することである。これには可逆圧縮方式と非可逆圧縮方式とがある。非可逆圧縮方式の代表的なものは、ＪＰＥＧ形式である。ＪＰＥＧ形式は非可逆圧縮方式のため、データを保存するたびに画像が劣化する。ＪＰＥＧ形式の画像の劣化は、ブロックノイズやモスキートノイズとして画像に現れる。
【０００６】
また、圧縮されたデータを圧縮前のデータに完全に復元できる可逆圧縮方式のものとしては、ＬＺ法の一種であるＬＺＷ法やＬＺ法とハフマン法を組み合わせたＬＨＡやＺＩＰが一般的に普及している（非特許文献３）。
【０００７】
近年では、算術圧縮法と同等な圧縮率をより高速に実現するためのＲａｎｇｅＣｏｄｅｒ法や、データを圧縮に効率の良い配列に変換するＢｌｏｃｋ−Ｓｏｒｔｉｎｇ法、データを確率構造として捉えることで圧縮するＰｒｅｄｉｃｔｉｏｎ  ｂｙ  Ｐａｒｔｉａｌ  Ｍａｔｃｈｉｎｇ（ＰＰＭ）法等、より効率的な圧縮法に注目が集まっている。
【０００８】
解像度変換を目的とした画像圧縮形式では、ウェーブレット変換の多重解像度解析を用いて画像を圧縮するＪＰＥＧ２０００が代表的である（非特許文献４）。また、株式会社セラーテムテクノロジーによる、画像の輝度変化ベクトルを圧縮する画像の拡大処理に適した画像圧縮形式であるＰｉｘｅｌＬｉｖｅがある。
【０００９】
【非特許文献１】Ｐ．Ｔｈｅｖｅｎａｚ，Ｔ．Ｂｌｕ  ａｎｄ  Ｍ．Ｕｎｓｅｒ，  “Ｉｍａｇｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ  ａｎｄ  Ｒｅｓａｍｐｌｉｎｇ”，  Ｈａｎｄｂｏｏｋ  ｏｆ  Ｍｅｄｉｃａｌ  Ｉｍａｇｉｎｇ，  Ｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  Ａｎａｌｙｓｉｓ，  Ｉ．Ｎ．Ｂａｎｋｍａｎ，Ｅｄ．，  Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ，  Ｓａｎ  Ｄｉｅｇｏ，  ＣＡ，  ＵＳＡ，  ｐｐ．３９３−４２０，  ２０００
【非特許文献２】Ｍ．Ｕｎｓｅｒ，“Ｓｐｌｉｎｅｓ：  Ａ  Ｐｅｒｆｅｃｔ  Ｆｉｔ  ｆｏｒ  Ｓｉｇｎａｌ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ”，  ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ，  ｖｏｌ．１６，  ｎｏ．６，  ｐｐ．２２−３８，  Ｎｏｖ．  １９９９
【非特許文献３】奥村晴彦、山崎敏著「ＬＨＡとＺＩＰ」株式会社ソフトバンクパブリッシング、２００３年
【非特許文献４】Ｍ．Ｗ．  Ｍａｒｃｅｌｌｉｎ，  Ｍ．Ｊ．  Ｇｏｒｍｉｓｈ，  Ａ．  Ｂｉｌｇｉｎ，  Ｍ．Ｐ．  Ｂｏｌｉｅｋ，“Ａｎ  Ｏｖｅｒｖｉｅｗ  ｏｆ  ＪＰＥＧ−２０００”，  Ｄａｔａ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ  ２０００，  ｐｐ．５２３−５４４，  ２０００
【発明の開示】
【発明が解決しようとする課題】
【００１０】
解像度変換に関し、ニアレストネイバ法やバイリニア法では、処理速度が速く容易に利用可能であるが，反面、精度が低いため実用的ではない。また、ニアレストネイバ法は原画像のコントラストは保たれるがジャギーが目立つという問題があり、バイリニア法は平滑化の効果が得られジャギーは発生しないが画像がボケてしまうという問題がある。さらに、バイキュービック法は、精度は良いが処理速度が遅いという問題がある。
【００１１】
また、ＪＰＥＧ２０００については、ウェーブレット変換の多重解像度解析を用いているため、画像のサムネイル等の縮小処理には有利であるが、高倍率の拡大への対応が困難である。さらに、ＰｉｘｅｌＬｉｖｅ形式では、１２００％という高倍率な拡大も可能であるが、圧縮率があまり高くないため、圧縮面で問題が残る。
【００１２】
本発明は、斯かる実情に鑑み、画像の解像度変換や圧縮を繰り返し行なっても劣化のない、画像の解像度変換及び／又は圧縮に適した画像フォーマットへの処理が可能な画像処理装置及び画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【００１３】
上述した本発明の目的を達成するために、本発明による画像処理装置の符号化側は、画像の各ピクセル値を基に、画像を関数表現に変換する関数表現部と、関数表現部により変換された関数表現に基づく係数列に対して、エントロピー符号化を行なう符号化部と、を具備するものである。
【００１４】
ここで、関数表現部は、シフト線形補間法を用いれば良い。この場合、符号化部は、さらに、関数表現部により変換された関数表現を、符号化に適した係数列に変換する最適化変換部を有し、該最適化変換部により変換された係数列に対して、エントロピー符号化を行なう。
【００１５】
このとき、最適化変換部は、以下の処理により符号化に適した係数列に変換する、すなわち、
シフト線形補間法によりシフトされる実数頂点列ｓ［ｎ］（但し、ｎは自然数）を算出し、
実数頂点列ｓ［ｎ］を四捨五入して整数頂点列ｄ［ｎ］に変換し、
整数頂点列ｄ［ｎ］の前頂点との差分値であるＦＩＣ係数列Ｄ［ｎ］を算出し、
以下の条件でｍバイト係数リスト（但し、ｍは自然数）及び／又はｍ＋１バイト係数リストに所定の値を書き込む、すなわち、
（１）｜Ｄ［ｎ］｜がピクセル値の最大値よりも大きい場合又はｄ［ｎ］＜０又はｄ［ｎ］がピクセル値の最大値よりも大きいとき、Ｄ［ｎ］の値をｍ＋１バイト係数リストに書き込み、ｍバイト係数リストに所定のフラグ値を書き込む
（２）Ｄ［ｎ］がフラグ値と等しいとき、ｍ＋１バイト係数リストに０を書き込み、ｍバイト係数リストにフラグ値を書き込む
（３）Ｄ［ｎ］がフラグ値からピクセル値の最大個数を減算した値と等しいとき、ｍ＋１バイト係数リストに０を書き込み、ｍバイト係数リストにフラグ値を書き込む
（４）上記（１）〜（３）の条件以外でＤ［ｎ］＜０のとき、Ｄ［ｎ］にピクセル値の最大個数を加算した値をｍバイト係数リストに書き込む
（５）上記（１）〜（４）の条件以外のとき、Ｄ［ｎ］の値をｍバイト係数リストに書き込む。
【００１６】
また、符号化部は、ＰＰＭ符号化法、ハフマン符号化法、算術符号化法、ＲａｎｇｅＣｏｄｅｒ符号化法の何れかを用いれば良い。
【００１７】
一方、本発明の画像処理装置の復号化側は、エントロピー符号化された係数列に対して、エントロピー復号化を行なう復号化部と、エントロピー復号化部により復号化された係数列を基に、関数表現に還元する関数表現還元部と、を具備するものである。
【００１８】
ここで、関数表現還元部は、シフト線形補間法による関数表現に還元すれば良い。この場合、復号化部は、エントロピー復号化を行ない、さらに、符号化前の係数列に基づく関数表現に変換する関数表現係数列変換部を有すれば良い。
【００１９】
このとき、関数表現係数列変換部は、以下の条件で関数表現に変換する、すなわち、
（１）ｍバイト係数リスト（但し、ｍは自然数）の値が所定のフラグ値のとき且つｍ＋１バイト係数リストの値が０以外のとき、ｍ＋１バイト係数リストの値をＤ［ｎ］とする
（２）ｍバイト係数リストの値がフラグ値のとき且つｍ＋１バイト係数リストが０のとき、ｄ［ｎ］がピクセル値の最大値よりも大きければフラグ値からピクセル値の最大個数を減算した値をＤ［ｎ］とし、ｄ［ｎ］がピクセル値の最大値以下であればフラグ値をＤ［ｎ］とする
（３）上記（１）〜（２）の条件以外のとき、ｄ［ｎ］がピクセル値の最大値よりも大きければｍバイト係数リストからピクセル値の最大個数を減算した値をＤ［ｎ］とし、ｄ［ｎ］がピクセル値の最大値以下であればｍバイト係数リストの値をＤ［ｎ］とする
但し、ｄ［ｎ］（但し、ｎは自然数）はシフト線形補間法によりシフトされる実数頂点列ｓ［ｎ］の整数頂点列、Ｄ［ｎ］は整数頂点列ｄ［ｎ］の差分値であるＦＩＣ係数列である。
【００２０】
また、復号化部は、ＰＰＭ復号化法、ハフマン復号化法、算術復号化法、ＲａｎｇｅＣｏｄｅｒ復号化法の何れかを用いれば良い。
【発明の効果】
【００２１】
本発明の画像処理装置及び画像処理方法には、高倍率の解像度変換により高詳細な拡大画像を生成可能であり、且つ、高圧縮が可能なフォーマットであるため、画像データの容量を削減して送信し、受信側で任意の解像度で出力することも可能であり、さらにこれらを繰り返し行なっても画像の劣化がない、可逆圧縮・可逆解像度変換が可能であるという利点がある。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を実施するための最良の形態を図示例と共に説明する。図１は、本発明の画像処理装置を説明するためのブロック図であり、図１（ａ）が入力された画像の符号化を行なう符号化側のブロック図、図１（ｂ）が入力された画像の復号化を行なう復号化側のブロック図である。本発明の画像処理装置の符号化側は、入力画像部１０と、関数表現部１１と、符号化部１２とから主になる。入力画像部１０に入力される画像データは、ピクセル毎にＲＧＢ等の色情報や輝度情報等のピクセル値を有する画像である。これは一般的なＪＰＥＧ画像等であれば良い。なお、ピクセル値は上記のものに限らず、ＣＭＹＫ，ＸＹＺ，ＨＳＶ，ＬＡＢ，ＹＩＱ，ＹＵＶ等、色空間等に応じて種々のピクセルの値を用いることが可能である。
【００２３】
そして、関数表現部１１は、入力画像部１０からの入力画像を関数表現化された画像に変換するものである。これは、入力された画像のピクセル値を基に、ＲＧＢ各色に分け、それぞれピクセル毎のピクセル値（０〜２５５）をピクセル座標上で、ある関数で表現するものである。各ピクセルにおける点を通る関数を表すのには、例えばＣＳＲＢＦ法や線形補間法、シフト線形補間法等が利用可能である。一旦関数表現化が行なわれれば、この関数表現を用いて、出力画像に必要な画素数等に応じて所定のサンプリング間隔（標本化間隔）を設定することで、任意の解像度に変換が可能となる。なお、本発明では、画像を関数表現化することにより解像度変換が常に行なわれるような形となるが、サンプリング間隔によっては変換前後でＤＰＩが変わらない場合もある。本明細書中では、これを含めて「解像度変換」と表現している。
【００２４】
そして、本発明の画像処理装置では、このようにして関数表現化された画像データを、符号化部１２で符号化する。これは、関数表現法により得られる関数において、導出される係数列を用いてこれをエントロピー符号化するものである。なお、本発明では可逆圧縮に主眼を置いているため、ここでの符号化では可逆符号化を用いるが、本発明はこれに限定されず、非可逆符号化を用いたものであっても勿論構わない。この符号化部１２により、関数表現に変換された画像データを圧縮することが可能となる。
【００２５】
なお、符号化としては、ＰＰＭ符号化法やハフマン符号化法、算術符号化法、ＲａｎｇｅＣｏｄｅｒ符号化法等、種々の符号化法が適用可能であり、圧縮能力や処理速度を考慮してこれらの方法から適宜選択して用いれば良い。
【００２６】
このように、本発明の画像処理装置では、画像の解像度変換を行ないつつ、圧縮することも可能なフォーマットの画像を生成可能である。これらは解像度変換や圧縮を繰り返し行なっても劣化がなく、１つの画像データを用意するだけで各種のデバイスに適した解像度に変換した画像を生成可能であり、さらに、高圧縮化が図れるためネットワーク上に配信するのにも都合が良いものである。また、セキュア性を強化するため、必要により暗号化処理等を行なっても良い。
【００２７】
次に、上記のように生成されたフォーマットの画像データを復号化する復号化側の説明をする。図１（ｂ）に示すように、本発明の画像処理装置の復号化側は、復号化部２０と、関数表現還元部２１と、出力画像部２２とから主になる。本発明による画像処理装置の符号化側で符号化されたデータを復号化部２０で受ける。復号化部２０では、符号化で用いられた符号化方法に基づきエントロピー復号化を行なう。そして、関数表現還元部２１では、復号化された係数列から、元の関数表現に還元する処理を行なう。その後、出力画像部２２では、この関数表現を用いて、ターゲットとなるデバイスに適した所定の解像度となるように所定のサンプリング間隔でサンプリングを行ない、ＲＧＢ画像等を用いた一般的なＪＰＥＧ等の画像を生成する。このとき、ＪＰＥＧ以外の種々のフォーマットや色空間の変換等を行なっても勿論構わない。
【００２８】
このようにして、関数表現化されさらに符号化された画像情報を、復号化しさらに関数表現に還元することで、画像データの可逆変換が可能となる。本発明の画像処理装置によれば、任意の解像度が得られるため、解像度変換にも適し、さらに符号化によって圧縮にも適した画像フォーマットが実現可能である。
【００２９】
なお、復号化としては、符号化で用いられた方法に応じて、ＰＰＭ復号化法やハフマン復号化法、算術復号化法、ＲａｎｇｅＣｏｄｅｒ復号化法等、種々の復号化法が適用可能であり、これらは圧縮能力や処理速度を考慮して適宜選択して用いれば良い。また、符号化側で暗号化等がされていれば、それに応じた処理を行なえば良い。
【００３０】
以下、本発明の画像処理装置において、関数表現部１１における関数表現化の手法として、シフト線形補間法を用いた実施例をより詳細に説明する。ここで、シフト線形補間法とは、線形補間法の基底関数をある一定量シフトさせることにより、３次関数補間と同等の精度を線形補間と同等の計算量で実現するものである。図２は、本発明の画像処理装置の関数表現部や関数表現還元部として、シフト線形補間法を用いた場合の、符号化部や復号化部の詳細を説明するためのブロック図である。図２（ａ）が符号化部のブロック図であり、図２（ｂ）が復号化部のブロック図である。なお、各処理はパーソナルコンピュータ等で実現可能である。
【００３１】
シフト線形補間法を用いる場合、図２（ａ）に示すように、符号化部１２は、最適化変換部１２０とエントロピー符号化部１２１とからなる。最適化変換部１２０は、関数表現部１１においてシフト線形補間法を用いて変換された関数表現を、符号化に適した係数列に変換するものである。そして、これにより変換された係数列に対して、エントロピー符号化部１２１でエントロピー符号化を行なう。
【００３２】
以下に、シフト線形補間法による関数表現化とその関数表現に基づく係数列を最適化変換部により最適化する手順を具体的に説明する。入力画像のピクセル値に基づくある関数ｆ（ｘ）を、標本化間隔Ｔで離散化して得られるサンプル値列をｆ［ｎ］＝ｆ（ｎＴ）とする。このとき、線形補間法で得られる連続関数ｆＬ（ｘ）は、以下の式で表される。
【数１】
2006345026.tif 000003
但しｎは自然数である。
【００３３】
図３は、サンプル値に対する線形補間法及びシフト線形補間法による関数を説明するための図であり、式１は図３の破線で示されるように、単純にサンプル値列を直線で結んで
2006345026.tif 000004
ように表される。
【数２】
2006345026.tif 000005
【００３４】
次に、線形補間法で得られる式１から、シフト線形補間法で得られる関数ｆＳ（ｘ）は以下の式で表される。
【数３】
2006345026.tif 000006
2006345026.tif 000007
導出される。
【数４】
2006345026.tif 000008
これは、図３の実線で示される。なお、図３では、シフトパラメータτ＝０．４を用いたものを示しているが、τの値としては一般的には約０．２１が推奨されており、より具体的な実施例では、τ＝０．２１を用いた。このようにして、シフト線形補間法を用いてＲＧＢ画像等の画像データを関数表現に変換する。
【００３５】
上述のようにシフト線形補間法により関数表現化された係数列を、最適化変換部１２０において符号化に適した係数列に変換する手法を以下に詳細に説明する。まず、サンプル
2006345026.tif 000009
ｃ［ｎ］を用いて以下の式で算出される。
【数５】
2006345026.tif 000010
この係数列ｓ［ｎ］は、図３の×で示される点である。
【００３６】
2006345026.tif 000011
る。
【数６】
2006345026.tif 000012
2006345026.tif 000013
て、整数頂点列とするものである。なお、このときシフト線形関数は原画素を完全には通らなくなるが、後の関数再構成の過程で再び離散化処理を行なうことで、原画素を完全に復元できるため、この点に問題はない。
【００３７】
さらに、整数頂点列ｄ［ｎ］の前頂点との差分値を、ＦＩＣ係数列と定義すると、ＦＩ
2006345026.tif 000014
Ｉｍａｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎの略である。
【数７】
2006345026.tif 000015
【００３８】
さて、次に上記式７で導出されたＦＩＣ係数列Ｄ［ｎ］を次工程の圧縮に適した係数列に変換し、例えば符号化法としてＰＰＭ符号化法を用いた場合の手法を説明する。まず、ＦＩＣ係数列Ｄ［ｎ］について検討する。図４に、２５６ｐｉｘｅｌ×２５６ｐｉｘｅｌのある人物画の８ｂｉｔの画像データのＦＩＣ係数分布を示す。同図は、横軸がＦＩＣ係数の値であり、縦軸がＦＩＣ係数の数である。図４から、０に最大のピークがあり、また０付近に係数が集中していることが分かる。そして、係数の値は殆ど−１００から１００までに分布していることが分かる。また、整数頂点列ｄ［ｎ］は、通常殆ど０から２５５内に収まることが特徴として挙げられる。これらの各係数分布の特徴は、あらゆる画像データに対して一般的に成り立つ特徴である。これらの特徴から、以下の手法により最適化変換処理を行なう。
【００３９】
まず、１バイト係数リストと２バイト係数リストをそれぞれ用意する。そして、これらの各係数リストに、以下の条件で所定の値を書き込む。
（１）｜Ｄ［ｎ］｜＞２５５又はｄ［ｎ］＜０又はｄ［ｎ］＞２５５のとき、Ｄ［ｎ］の値を２バイト係数リストに書き込み、１バイト係数リストに１２８を書き込む
（２）Ｄ［ｎ］＝１２８のとき、２バイト係数リストに０を書き込み、１バイト係数リストに１２８を書き込む
（３）Ｄ［ｎ］＝−１２８のとき、２バイト係数リストに０を書き込み、１バイト係数リストに１２８を書き込む
（４）上記（１）〜（３）の条件以外でＤ［ｎ］＜０のとき、Ｄ［ｎ］に２５６を加算した値を１バイト係数リストに書き込む
（５）上記（１）〜（４）の条件以外のとき、Ｄ［ｎ］の値を１バイト係数リストに書き込む
【００４０】
ここで、８ｂｉｔの画像データの場合、ピクセル値の範囲は０〜２５５であり、上記（１）の２５５という値は、ピクセル値の最大値に対応し、（４）の２５６という値はピクセル値の最大個数に対応している。そして、（２）１２８という値は、２バイト係数リストに書き込んでいることを示すフラグの役割をするフラグ値であり、例えばピクセル値の最大個数の１／２としたものである。本願の具体的な実施例では最大個数の１／２である１２８としたが、本発明はこれに限定されず、処理後の係数で出現数が少ない値であればいかなる数値であっても良い。また、（３）の−１２８という値は、フラグ値からピクセル値の最大個数を減算した値に対応している。また、ここでは８ｂｉｔの画像データの場合を示したが、本願発明は１６ｂｉｔの画像データの場合でも勿論適用可能であり、この場合にはピクセル値の範囲は０〜６５５３５となる。この場合例えばフラグ値を３２７６８とすることが可能である。さらに、８ｂｉｔの画像データの場合には、シフトτにより１バイト以上の値が発生するため、すべてのＦＩＣ係数列を表現するのに２バイト必要となるが、これと同様に１６ｂｉｔの画像データの場合には、３バイト必要となる。
【００４１】
さて、このような条件で各係数リストに書き込むことにより、すべて２バイトで表現されていたＦＩＣ係数が、１バイト係数と少数の２バイト係数に変換された。２５６ｐｉｘｅｌ×２５６ｐｉｘｅｌのある人物画の画像データに対して上記の最適化変換処理を行なうと、処理前の２バイト係数は６５，７９２個だったのに対して、処理後は１バイト係数が６５，７９２個、２バイト係数が４０個であった。なお、このときの１バイト係数の分布を図５に示す。同図は、横軸がＦＩＣ係数の値であり、縦軸がＦＩＣ係数の数である。図５から、０と２５５にピークがあり、また０付近に係数が集中していることが分かる。また、２バイト係数リストの参照用のフラグ値として用いた１２８に低いピークが確認できる。
【００４２】
このように、本発明における最適化変換処理により、ＦＩＣ係数を１バイト係数リストと２バイト係数リストへ効率的に変換することができ、少ない情報量で画像を関数表現することが可能となった。本発明の符号化部では、この１バイト係数リストと２バイト係数リストを合わせてエントロピー符号化部で符号化する。１バイト係数リストは、係数情報に偏りがあるため、エントロピー符号化による圧縮効果も高いと考えられる。
【００４３】
次に、上記のようにシフト線形補間法を用いて関数表現され最適化変換処理を経て符号化された係数列を復号化する手法を説明する。シフト線形補間法を用いる場合、図２（ｂ）に示すように、復号化部２０は、エントロピー復号化部２００と関数表現係数列変換部２０１とからなる。エントロピー復号化部２００は、エントロピー符号化部１２１で符号化されたものを復号化するものである。そして、関数表現係数列変換部２０１において、復号化された係数列に対して符号化前の係数列に基づく関数表現に変換（還元）する。
【００４４】
より具体的には、以下の条件で関数表現に変換する。
（１）１バイト係数リストの値が１２８のとき且つ２バイト係数リストの値が０以外のとき、２バイト係数リストの値をＤ［ｎ］とする
（２）１バイト係数リストの値が１２８のとき且つ２バイト係数リストが０のとき、ｄ［ｎ］＞２５５であれば−１２８をＤ［ｎ］とし、ｄ［ｎ］≦２５５であれば１２８をＤ［ｎ］とする
（３）上記（１）〜（２）の条件以外のとき、ｄ［ｎ］＞２５５であれば１バイト係数リストから２５６を減算した値をＤ［ｎ］とし、ｄ［ｎ］≦２５５であれば１バイト係数リストの値をＤ［ｎ］とする
但し、ｄ［ｎ］（但し、ｎは自然数）はシフト線形補間法によりシフトされる実数頂点列ｓ［ｎ］の整数頂点列、Ｄ［ｎ］は整数頂点列ｄ［ｎ］の差分値であるＦＩＣ係数列である。
【００４５】
なお、ここでも、８ｂｉｔの画像データの場合について具体的な数値を挙げて説明したが、本発明はこれに限定されず、上述の通り１６ｂｉｔの画像データの場合等でも、最大ピクセル値等に応じて条件を変えることで適用可能である。
【００４６】
以上の処理により、符号化前の係数列が復元できるため、式１〜７を逆に用いることで符号化側で変換された関数表現に完全に還元することが可能となる。したがって、符号化側で圧縮を行ない容量を小さくした上でネットワーク等に送信し、受信側で復号化を行ない元の関数表現に還元した上で所定のサンプリング間隔を用いて出力解像度を決定して画像を出力することが可能となる。
【００４７】
ここで本発明の画像処理装置により解像度変換及び圧縮処理が行なわれて出力される画像について説明する。図６は、画像の圧縮・拡大による変化を見るための図（実際の画像データはカラー）であり、図６（ａ）がサンプル原画像、図６（ｂ）が本発明の画像処理装置を用いて圧縮・拡大した画像、図６（ｃ）は従来のＪＰＥＧ圧縮を行なった後にバイキュービック法により拡大した画像である。まず、１５０ｐｉｘｅｌ×１５０ｐｉｘｅｌの原画像を、本発明の画像処理装置を用いて圧縮及び画像補間を行ない、４５０ｐｉｘｅｌ×４５０ｐｉｘｅｌの画像を生成した（図６（ｂ））。同様に、同じ原画像をＪＰＥＧにより圧縮した後、バイキュービック法により画像補間を行ない４５０ｐｉｘｅｌ×４５０ｐｉｘｅｌの画像を生成した（図６（ｃ））。図から分かる通り、ＪＰＥＧにより圧縮した画像は、圧縮の際にブロックノイズが生じてしまい、さらにバイキュービック法による画像補間の際にこのブロックノイズが強調されるように顕著に現れてしまった。これに対して、本発明により圧縮・画像補間を行なった画像は、エッジ等の画像の特徴を良く捉え、精細部分の拡大も自然に行なえた。本発明による圧縮は可逆圧縮のため画像の劣化がなく、また、関数表現により解像度変換を行なっても画像劣化がないためである。
【００４８】
次に、画像の拡大精度、解像度変換に要する計算時間、画像圧縮率の３点の評価について、本発明と従来技術とを比較して説明する。なお、各種の評価を行なった環境は、Ｉｎｔｅｌ（登録商標）  Ｐｅｎｔｉｕｍ（登録商標）４  ３．２ＧＨｚ，２ＧＢ  ＲＡＭという構成のコンピュータに、ＯＳとしてＭｉｃｒｏｓｏｆｔ（登録商標）  Ｗｉｎｄｏｗｓ（登録商標）ＸＰを用いたものである。
【００４９】
まず、図７を参照して画像の拡大精度について見てみる。図７は、図７（ａ）の原画像の黒枠で示される部分（３２ｐｉｘｅｌ×３２ｐｉｘｅｌ）を８倍（２５６ｐｉｘｅｌ×２５６ｐｉｘｅｌ）に拡大した場合の各手法における結果（実際の画像データはカラー）であり、図７（ｂ）がニアレストネイバ法によるもの、図７（ｃ）がバイリニア法によるもの、図７（ｄ）がバイキュービック法によるもの、図７（ｅ）が本発明の画像処理装置によるものである。図７（ｂ）から分かる通り、ニアレストネイバ法はジャギーが目立ち、画像の滑らかさを欠いている。図７（ｃ）のバイリニア法では、ジャギーは発生していないが、画像が全体的にボケた状態になってしまっている。図７（ｄ）のバイキュービック法や図７（ｅ）の本願発明によるものでは、共に鮮明な拡大画像を生成している。画像のコントラストにおいては本願発明によるもののほうが若干優れている。このように、画像の拡大能力について、本発明の画像処理装置によれば、バイキュービック法と同等の拡大精度を持ち、コントラストについてはバイキュービック法よりも優れた特性を有することが分かる。
【００５０】
次に、２５６ｐｉｘｅｌ×２５６ｐｉｘｅｌと５１２ｐｉｘｅｌ×５１２ｐｉｘｅｌの２つの原画像を、各種の手法を用いて、それぞれ１０２４ｐｉｘｅｌ×１０２４ｐｉｘｅｌと２０４８ｐｉｘｅｌ×２０４８ｐｉｘｅｌの２種類に拡大した場合の解像度変換に要する計算時間を計測した結果を表１に示す。
【表１】
2006345026.tif 000016
表１から分かる通り、すべての結果に対して、ニアレストネイバ法、バイリニア法、本願手法、バイキュービック法の順に計算時間がかかっていることが分かる。上述の拡大精度の結果と合わせると、本願発明は、バイリニア法とバイキュービック法の中間程の計算速度で、バイキュービック法と同等の拡大精度を出せることが分かる。
【００５１】
さらに、圧縮率の評価を行なう。図８に、圧縮率の評価を行なうために用いた人物や風景等のサンプル画像（実際の画像データはカラー）を示す。これらのサンプル画像を、ＬＺＷ圧縮を用いたＴＩＦＦ、ＺＩＰ圧縮を用いたＴＩＦＦ、ＰＮＧ圧縮、ロスレスＪＰＥＧ、ロスレスＪＰＥＧ２０００、そして本願発明を用いて、それぞれ可逆圧縮した場合の圧縮率の結果を表２に示す。なお、圧縮率は、原画像のファイルサイズに対する圧縮された画像のファイルサイズ（百分率）である。
【表２】
2006345026.tif 000017
表２から、従来の圧縮手法では、圧縮に向いている画像と不向きな画像があることが分かる。ＴＩＦＦ（ＬＺＷ），ＴＩＦＦ（ＺＩＰ），ＰＮＧは、原画像（ｂ），原画像（ｄ），原画像（ｅ）のような、色数が少なく色の分布に規則性のある画像の圧縮に向いているが、原画像（ａ），原画像（ｃ）のような色数が多く分布に規則性のない画像の圧縮には向いていないことが分かる。ＪＰＥＧ−ＬＳ，ＪＰＥＧ２０００は、原画像（ａ），原画像（ｃ），原画像（ｄ），原画像（ｆ）のような色が滑らかに変化する画像の圧縮に向いており、原画像（ｅ）のような色の変化が大きい画像では圧縮率が下がっている。これに対して、本願発明では、あらゆる画像に対して向き不向きが少なく、常に安定した圧縮率を示している。さらに、原画像（ｂ）については従来の圧縮手法に比べても高い圧縮率を達成している。
【００５２】
以上の通り、本発明によれば、拡大精度も従来と遜色なく、解像度変換処理に要する時間も速く、さらに圧縮率も平均的に優れた画像フォーマットへの変換が可能である。
【００５３】
なお、本発明の画像処理装置及び画像処理方法は、上述の図示例や計算式等にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００５４】
【図１】図１は、本発明の画像処理装置を説明するためのブロック図であり、図１（ａ）が入力された画像の符号化を行なう符号化側のブロック図、図１（ｂ）が入力された画像の復号化を行なう復号化側のブロック図である。
【図２】図２は、本発明の画像処理装置の関数表現部や関数表現還元部として、シフト線形補間法を用いた場合の、符号化部や復号化部の詳細を説明するためのブロック図である。
【図３】図３は、サンプル値に対する線形補間法及びシフト線形補間法による関数を説明するための図である。
【図４】図４は、ある人物画の画像データのＦＩＣ係数分布グラフである。
【図５】図５は、本発明の画像処理装置により処理されたデータの１バイト係数の分布グラフである。
【図６】図６は、画像の圧縮・拡大による変化を見るための比較図である。
【図７】図７は、画像の拡大精度を見るための比較図である。
【図８】図８は、画像の圧縮率の評価を行なうためのサンプル画像を示す図である。
【符号の説明】
【００５５】
１０    入力画像部
１１    関数表現部
１２    符号化部
２０    復号化部
２１    関数表現還元部
２２    出力画像部
１２０    最適化変換部
１２１    エントロピー符号化部
２００    エントロピー復号化部
２０１    関数表現係数列変換部
【図１】
2006345026.tif 000018
【図２】
2006345026.tif 000019
【図３】
2006345026.tif 000020
【図４】
2006345026.tif 000021
【図５】
2006345026.tif 000022
【図６】
2006345026.tif 000023
【図７】
2006345026.tif 000024
【図８】
2006345026.tif 000025