(57)【特許請求の範囲】
【請求項１】
ＬＬ、ＬＨ、ＨＬ、及びＨＨでなるＳ変換係数を量子化した量子化係数に対して逆Ｓ変換を行い、逆Ｓ変換後の画像データの成分値を処理する画像データ処理装置であって、前記成分値のうちレンジオーバとなる成分値を有する画素を探すレンジオーバ画素チェック手段と、該レンジオーバ画素チェック手段によって探した画素の成分値をレンジ内に入るように修正する修正手段と、前記修正手段で修正した修正量を、該修正対象となった画素と同じＳ変換単位に含まれる画素の成分値に配分する配分手段とを有し、前記修正対象の画素と前記配分手段での配分先の画素との位置関係は、前記ＬＨの量子化誤差、ＨＬの量子化誤差、及びＨＨの１／２の量子化誤差の大小関係に基づいて、予め決定されていることを特徴とする画像データ処理装置。
【請求項２】
前記大小関係は、量子化対象の画像データの種類及び／又は前記Ｓ変換係数それぞれの量子化率の差によって、予め決定されている関係であることを特徴とする請求項１記載の画像データ処理装置。
【請求項３】
前記位置関係は、前記大小関係に基づき、どの量子化誤差が最小又は最大となるかによって、予め決定されていることを特徴とする請求項１又は２記載の画像データ処理装置。
【請求項４】
前記大小関係が、ＬＨの量子化誤差又はＨＬの量子化誤差が最大であることを示す場合、前記修正対象の画素と前記配分先の画素との前記位置関係は、対角位置に予め決定されていることを特徴とする請求項１又は２記載の画像データ処理装置。
【請求項５】
前記配分手段によって画素の成分値を配分した結果、さらに該成分値がレンジオーバとなる場合に、該成分値をレンジの限界値とする丸め修正手段を有することを特徴とする請求項１乃至４のいずれか１記載の画像データ処理装置。
【請求項６】
前記配分手段によって画素の成分値を配分した結果、さらに配分先の画素の成分値がレンジオーバとなった場合に、該成分値をレンジ内に入るように修正する第２修正手段を備え、前記配分手段は、前記第２修正手段で修正した修正量を、該修正対象となった画素と同じＳ変換単位に含まれる画素の成分値に配分する処理も実行することを特徴とする請求項１乃至３のいずれか１記載の画像データ処理装置。
【請求項７】
前記配分手段によって前記第２修正手段で修正した修正量を画素の成分値に配分した結果、さらに配分先の画素の成分値がレンジオーバとなる場合に、該成分値をレンジの限界値とする丸め修正手段を有することを特徴とする請求項６記載の画像データ処理装置。
【請求項８】
前記大小関係が、ＬＨの量子化誤差又はＨＬの量子化誤差が最大であることを示す場合、前記修正対象の画素と前記配分先の画素との前記位置関係は、対角位置に予め決定されており、当該画像データ処理装置は、前記配分手段によって画素の成分値を配分した結果、さらに配分先である対角画素の成分値がレンジオーバとなった場合に、該成分値をレンジ内に入るように修正する第２修正手段を備え、前記配分手段は、前記第２修正手段で修正した修正量を、該修正対象となった対角画素と同じＳ変換単位に含まれる画素の成分値に配分する処理も実行し、前記修正対象の対角画素と該対角画素に対する配分先の画素との前記位置関係は、水平位置又は垂直位置に予め決定されていることを特徴とする請求項１又は２記載の画像データ処理装置。
【請求項９】
前記配分手段によって前記第２修正手段で修正した修正量を画素の成分値に配分した結果、さらに配分先の画素の成分値がレンジオーバとなる場合に、該成分値をレンジの限界値とする丸め修正手段を有することを特徴とする請求項８記載の画像データ処理装置。
【請求項１０】
前記逆Ｓ変換が画像データの色差成分に対してなされ、前記成分値がＲ値又はＧ値又はＢ値であることを特徴とする請求項１乃至９のいずれか１記載の画像データ処理装置。
【請求項１１】
前記逆Ｓ変換が画像データの輝度成分に対してなされ、前記成分値がＧ値であることを特徴とする請求項１乃至９のいずれか１記載の画像データ処理装置。
【請求項１２】
前記レンジオーバとなる成分値がＧ値である場合に、前記配分手段による配分を実行せずに、前記修正手段でＧの値を丸め処理のみ行うことを特徴とする請求項１乃至９のいずれか１記載の画像データ処理装置。
【請求項１３】
前記Ｓ変換係数の量子化率によって、前記配分手段による配分を実行するか、或いは前記配分手段による配分を実行せずに前記修正手段で丸め処理のみ行うかを切り替える手段を有することを特徴とする請求項１乃至１１のいずれか１記載の画像データ処理装置。
【請求項１４】
前記レンジオーバとなる成分値がＧ値である場合に、前記Ｓ変換係数の量子化率によって、前記配分手段による配分を実行するか、或いは前記配分手段による配分を実行せずに前記修正手段で丸め処理のみ行うかを切り替える手段を有することを特徴とする請求項１乃至１１のいずれか１記載の画像データ処理装置。
【請求項１５】
ＬＬ、ＬＨ、ＨＬ、及びＨＨでなるＳ変換係数を量子化した量子化係数に対して逆Ｓ変換を行い、逆Ｓ変換後の画像データの成分値を処理する画像データ処理方法であって、前記成分値のうちレンジオーバとなる成分値を有する画素を探すレンジオーバ画素チェックステップと、該レンジオーバ画素チェックステップによって探した画素の成分値をレンジ内に入るように修正する修正ステップと、前記修正ステップで修正した修正量を、該修正対象となった画素と同じＳ変換単位に含まれる画素の成分値に配分する配分ステップとを含んでなり、前記修正対象の画素と前記配分ステップでの配分先の画素との位置関係は、前記ＬＨの量子化誤差、ＨＬの量子化誤差、及びＨＨの１／２の量子化誤差の大小関係に基づいて、予め決定されていることを特徴とする画像データ処理方法。
【請求項１６】
前記大小関係は、量子化対象の画像データの種類及び／又は前記Ｓ変換係数それぞれの量子化率の差によって、予め決定されている関係であることを特徴とする請求項１５記載の画像データ処理方法。
【請求項１７】
前記位置関係は、前記大小関係に基づき、どの量子化誤差が最小又は最大となるかによって、予め決定されていることを特徴とする請求項１５又は１６記載の画像データ処理方法。
【請求項１８】
前記大小関係が、ＬＨの量子化誤差又はＨＬの量子化誤差が最大であることを示す場合、前記修正対象の画素と前記配分先の画素との前記位置関係は、対角位置に予め決定されていることを特徴とする請求項１５又は１６記載の画像データ処理装置。
【請求項１９】
請求項１乃至１４のいずれか１記載の画像データ処理装置の機能を実現させるための、又は、請求項１５乃至１８のいずれか１記載の画像データ処理方法を実行させるためのプログラム。
【請求項２０】
請求項１９記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データ処理装置、画像データ処理方法、プログラム、及び記録媒体に関し、より詳細には、アプリケーションプログラム，プリンタドライバ等のデバイスドライバ，その他画像を扱う機器に応用可能な、カラー画像情報を復号化するための画像データ処理装置、画像データ処理方法、それらのプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
カラー画像の伝送・蓄積の際には、データ量を削減するため、原画像の圧縮を行うのが一般的である。かかる圧縮を行う際には、画像を構成する成分に対し直交変換を施して情報量を偏らせ、変換後の成分に対して量子化を行い、情報量を削減するのが代表的な手法である。また、量子化を極端に行う場合には、画像を構成する特定成分を、全て破棄してしまう（０として扱う）といったことがよく行われる。
【０００３】
特公平７−６３１７７号公報に記載の技術は上記の代表例であり、カラー画像データをブロック単位毎に輝度（明度）信号と色差信号に変換し、さらに明度信号を直交変換して低周波直流成分を表す係数及び高周波交流成分を表す係数を得、その後、低周波の係数，高周波成分の係数に量子化を施している。他方、色差信号は、直交変換はされずに、ブロック内の代表色のみが量子化・符号化される。
【０００４】
さて、上記のような量子化によって圧縮された画像が伸張される場合には、逆量子化が施され、原画像と伸張後の画像との間には量子化誤差が生じる。かかる量子化誤差が大きい場合には、伸張後の画素の値が、本来の所定範囲を越えることがある。
【０００５】
例えば、一般的なフルカラー画像は、ＲＧＢが各８ｂｉｔ、すなわち０〜２５５の値をとる。しかし量子化誤差により、伸張後のＲＧＢの値が負になったり、２５５を越えたりするのである（以下、本出願明細書中ではこの現象をレンジオーバと呼ぶ）。
【０００６】
かかるレンジオーバが生じた場合は、負の値を０に置換し、２５５を越えた値を２５５に置換するという、いわゆる丸め処理（クリッピング処理）が従来から行われている。しかし、量子化が極端な場合等は、レンジオーバ分の値（所定範囲を逸脱した分の値）が大きくなり、単純な丸め処理では局所的に色味が変わってしまい、画質劣化を生じることがある。
【０００７】
以上の現象は、米国特許第５,７５７,９７５号明細書「Artifact reduction for large dynamic range input data in JPEG compression」にも記載のあるところであり、かかる問題に対し上記明細書では、「レンジオーバした画素の近隣（例えば３×３画素の範囲）において、その値が所定範囲内である近隣画素を探し、レンジオーバ値を該近隣画素に再配分する」ことによって局所的な平均値を保存し、色味の変化を抑えることを提案している。
【０００８】
【発明が解決しようとする課題】
上記「局所的な平均値を保存」する処理は、画質劣化を抑える上で非常に有効であるが、「周囲３×３画素の範囲において、レンジオーバしておらず、かつその値が所定範囲内である近隣画素を探す」という処理は、オーバした１画素のために多くの（例えば周囲の８画素の）画素値を調べなければならず、計算量が多く煩雑である。
【０００９】
本発明は、上述のごとき実情に鑑みてなされたものであり、圧縮に使用する直交変換をＳ変換に限定し、Ｓ変換係数毎の量子化率や圧縮の主たる対象（例えば自然画像）を考慮することで、上記「周囲３×３画素の範囲において、近隣画素を探す」処理のような煩雑な処理を行わずに画像データ成分の量子化誤差を修正し、逆Ｓ変換後の色味の変化を抑えて高画質な処理を行うことが可能な画像データ処理装置、画像データ処理方法、プログラム、及び記録媒体を提供することをその目的とする。
【００１０】
【課題を解決するための手段】
請求項１の発明は、ＬＬ、ＬＨ、ＨＬ、及びＨＨでなるＳ変換係数を量子化した量子化係数に対して逆Ｓ変換を行い、逆Ｓ変換後の画像データの成分値を処理する画像データ処理装置であって、前記成分値のうちレンジオーバとなる成分値を有する画素を探すレンジオーバ画素チェック手段と、該レンジオーバ画素チェック手段によって探した画素の成分値をレンジ内に入るように修正する修正手段と、前記修正手段で修正した修正量を、該修正対象となった画素と同じＳ変換単位に含まれる画素の成分値に配分する配分手段とを有し、前記修正対象の画素と前記配分手段での配分先の画素との位置関係は、前記ＬＨの量子化誤差、ＨＬの量子化誤差、及びＨＨの１／２の量子化誤差の大小関係に基づいて、予め決定されていることを特徴としたものである。
【００１１】
請求項２の発明は、請求項１の発明において、前記大小関係は、量子化対象の画像データの種類及び／又は前記Ｓ変換係数それぞれの量子化率の差によって、予め決定されている関係であることを特徴としたものである。
【００１２】
請求項３の発明は、請求項１又は２の発明において、前記位置関係は、前記大小関係に基づき、どの量子化誤差が最小又は最大となるかによって、予め決定されていることを特徴としたものである。
【００１３】
請求項４の発明は、請求項１又は２の発明において、前記大小関係が、ＬＨの量子化誤差又はＨＬの量子化誤差が最大であることを示す場合、前記修正対象の画素と前記配分先の画素との前記位置関係は、対角位置に予め決定されていることを特徴としたものである。
【００１４】
請求項５の発明は、請求項１乃至４のいずれか１の発明において、前記配分手段によって画素の成分値を配分した結果、さらに該成分値がレンジオーバとなる場合に、該成分値をレンジの限界値とする丸め修正手段を有することを特徴としたものである。
【００１５】
請求項６の発明は、請求項１乃至３のいずれか１の発明において、前記配分手段によって画素の成分値を配分した結果、さらに配分先の画素の成分値がレンジオーバとなった場合に、該成分値をレンジ内に入るように修正する第２修正手段を備え、前記配分手段は、前記第２修正手段で修正した修正量を、該修正対象となった画素と同じＳ変換単位に含まれる画素の成分値に配分する処理も実行することを特徴としたものである。
【００１６】
請求項７の発明は、請求項６の発明において、前記配分手段によって前記第２修正手段で修正した修正量を画素の成分値に配分した結果、さらに配分先の画素の成分値がレンジオーバとなる場合に、該成分値をレンジの限界値とする丸め修正手段を有することを特徴としたものである。
【００１７】
請求項８の発明は、請求項１又は２の発明において、前記大小関係が、ＬＨの量子化誤差又はＨＬの量子化誤差が最大であることを示す場合、前記修正対象の画素と前記配分先の画素との前記位置関係は、対角位置に予め決定されており、当該画像データ処理装置は、前記配分手段によって画素の成分値を配分した結果、さらに配分先である対角画素の成分値がレンジオーバとなった場合に、該成分値をレンジ内に入るように修正する第２修正手段を備え、前記配分手段は、前記第２修正手段で修正した修正量を、該修正対象となった対角画素と同じＳ変換単位に含まれる画素の成分値に配分する処理も実行し、前記修正対象の対角画素と該対角画素に対する配分先の画素との前記位置関係は、水平位置又は垂直位置に予め決定されていることを特徴としたものである。
【００１８】
請求項９の発明は、請求項８の発明において、前記配分手段によって前記第２修正手段で修正した修正量を画素の成分値に配分した結果、さらに配分先の画素の成分値がレンジオーバとなる場合に、該成分値をレンジの限界値とする丸め修正手段を有することを特徴としたものである。
【００２５】
請求項１０の発明は、請求項１乃至９のいずれか１の発明において、前記逆Ｓ変換が画像データの色差成分に対してなされ、前記成分値がＲ値又はＧ値又はＢ値であることを特徴としたものである。
【００２６】
請求項１１の発明は、請求項１乃至９のいずれか１の発明において、前記逆Ｓ変換が画像データの輝度成分に対してなされ、前記成分値がＧ値であることを特徴としたものである。
【００２７】
請求項１２の発明は、請求項１乃至９のいずれか１の発明において、前記レンジオーバとなる成分値がＧ値である場合に、前記配分手段による配分を実行せずに、前記修正手段でＧの値を丸め処理のみ行うことを特徴としたものである。
【００２８】
請求項１３の発明は、請求項１乃至１１のいずれか１の発明において、前記Ｓ変換係数の量子化率によって、前記配分手段による配分を実行するか、或いは前記配分手段による配分を実行せずに前記修正手段で丸め処理のみ行うかを切り替える手段を有することを特徴としたものである。
【００２９】
請求項１４の発明は、請求項１乃至１１のいずれか１の発明において、前記レンジオーバとなる成分値がＧ値である場合に、前記Ｓ変換係数の量子化率によって、前記配分手段による配分を実行するか、或いは前記配分手段による配分を実行せずに前記修正手段で丸め処理のみ行うかを切り替える手段を有することを特徴としたものである。
【００３０】
請求項１５の発明は、ＬＬ、ＬＨ、ＨＬ、及びＨＨでなるＳ変換係数を量子化した量子化係数に対して逆Ｓ変換を行い、逆Ｓ変換後の画像データの成分値を処理する画像データ処理方法であって、前記成分値のうちレンジオーバとなる成分値を有する画素を探すレンジオーバ画素チェックステップと、該レンジオーバ画素チェックステップによって探した画素の成分値をレンジ内に入るように修正する修正ステップと、前記修正ステップで修正した修正量を、該修正対象となった画素と同じＳ変換単位に含まれる画素の成分値に配分する配分ステップとを含んでなり、前記修正対象の画素と前記配分ステップでの配分先の画素との位置関係は、前記ＬＨの量子化誤差、ＨＬの量子化誤差、及びＨＨの１／２の量子化誤差の大小関係に基づいて、予め決定されていることを特徴としたものである。
【００３１】
請求項１６の発明は、請求項１５の発明において、前記大小関係は、量子化対象の画像データの種類及び／又は前記Ｓ変換係数それぞれの量子化率の差によって、予め決定されている関係であることを特徴としたものである。
【００３２】
請求項１７の発明は、請求項１５又は１６の発明において、前記位置関係は、前記大小関係に基づき、どの量子化誤差が最小又は最大となるかによって、予め決定されていることを特徴としたものである。
【００３３】
請求項１８の発明は、請求項１５又は１６の発明において、前記大小関係が、ＬＨの量子化誤差又はＨＬの量子化誤差が最大であることを示す場合、前記修正対象の画素と前記配分先の画素との前記位置関係は、対角位置に予め決定されていることを特徴としたものである。
【００３４】
請求項１９の発明は、請求項１乃至１４のいずれか１記載の画像データ処理装置の機能を実現させるための、又は、請求項１５乃至１８のいずれか１記載の画像データ処理方法を実行させるためのプログラムである。
【００３５】
請求項２０の発明は、請求項１９記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３６】
【発明の実施の形態】
米国特許第５,７５７,９７５号明細書には、レンジオーバした画素の近隣（例えば３×３画素の範囲）において、その値が所定範囲内である近隣画素を探し、レンジオーバ値を該近隣画素に再配分することによって局所的な平均値を保存し、色味の変化を抑えることが可能な擬似信号削減方法が記載されている。ここでの「局所的な平均値を保存」する処理は、画質劣化を抑える上で非常に有効であるが、「周囲３×３画素の範囲において、レンジオーバしておらず、かつその値が所定範囲内である近隣画素を探す」という処理は、オーバした１画素のために多くの（例えば周囲の８画素の）画素値を調べなければならず、計算量が多く煩雑である。
【００３７】
しかしながら、圧縮に使用する直交変換をＳ変換に限定し、Ｓ変換係数毎の量子化率や圧縮の主たる対象（例えば、主に自然画像）を考慮することで、上記「周囲３×３画素の範囲において、近隣画素を探す」ような煩雑な処理を省略することが可能である。
以下、この省略が可能な理由について説明する。
【００３８】
図１は、Ｓ変換を説明するための図で、図１（Ａ）はＳ変換を行う画素を示す図、図１（Ｂ）は図１（Ａ）の画素値をＳ変換するためのＳ変換式及びＳ変換式が示す各方向のエッジを示す図、図１（Ｃ）は図１（Ｂ）でＳ変換された各成分を逆Ｓ変換するための逆Ｓ変換式を示す図である。
まず、Ｓ変換とは、例えば図１に示すような２×２画素単位で、画素の値ａ，ｂ，ｃ，ｄを４つの係数ＬＬ，ＨＬ，ＨＬ，ＨＨに変換する処理である。ＬＬが低周波成分であり、その他が高周波成分であるが、図１（Ａ），（Ｂ）から明らかなように、ＨＬ，ＬＨ，ＨＨは順に縦方向，横方向，斜め方向のエッジに対して大きな値を示するものである。なお、ａ，ｂ，ｃ，ｄは、例えばＲＧＢのＲの値であったり、Ｇの値であったり、輝度の値や色差の値であったりする。
【００３９】
そして、４つの係数から、もとのａ〜ｄの値を求める逆Ｓ変換は以下の通りである（図１（Ｃ）参照）。
ａ＝ＬＬ＋（ＨＬ＋ＬＨ）／２＋ＨＨ／４  …  （１）
ｂ＝ＬＬ−（ＨＬ−ＬＨ）／２−ＨＨ／４  …  （２）
ｃ＝ＬＬ＋（ＨＬ−ＬＨ）／２−ＨＨ／４  …  （３）
ｄ＝ＬＬ−（ＨＬ＋ＬＨ）／２＋ＨＨ／４  …  （４）
【００４０】
通常、量子化を行う際には、画質への影響が大きい低周波成分、すなわちＬＬ成分の量子化率を最小にし、画質への影響が小さい高周波成分、すなわちＬＨ，ＨＬ，ＨＨ成分の量子化率を最大にする。なお、本出願明細書でいう量子化率とは、「原データに対する量子化後のデータの、情報量の削減の度合い」を意味し、８ｂｉｔのデータを１ｂｉｔ削減して７ｂｉｔにする場合には、量子化率は２であり、８ｂｉｔのデータを３ｂｉｔ削減して５ｂｉｔにする場合には、量子化率は２3＝８である。
【００４１】
その結果、量子化誤差も、ＬＬ成分について最小になり、ＬＨ，ＨＬ，ＨＨ成分については大きくなる。すなわち、通常の圧縮方式においては、圧縮・伸張の過程で式（１）〜（４）の右辺に生じる誤差は、ＬＨ，ＨＬ，ＨＨ成分の量子化誤差とみなすことができる。
【００４２】
今、ＨＬの量子化誤差がΔＥであるとする。式（１）〜（４）から明らかなように、ΔＥによって生じる誤差の極性（正負）は、「ａ，ｃには同一方向で、ｂ，ｄではａ，ｃとは反対方向」である。すなわち、量子化誤差でａ，ｃの値がΔＥ／２増えれば、ｂ，ｄの値はΔＥ／２減るのである。そしてａ，ｂ，ｃ，ｄの圧縮前の（オリジナルの）値のうち、レンジの上限・下限に近いものがあった場合、ΔＥ／２の値が十分大きい場合には、レンジオーバが生じるというわけである。
【００４３】
ここで、前述の「局所的な処理平均値を保存する処理」、例えば、ａ，ｂ，ｃ，ｄの総和を保存するような処理を行うことを考える。
例えば、ａがレンジ上限である２５５を越えて２６０として復号（伸張）されたとし、ａの値をレンジ上限の２５５に修正することを考える。この場合、修正の前後でａ，ｂ，ｃ，ｄの総和を保存するためには、２６０から減じたオーバ分の値５を、いずれかの画素、或いはいずれかの複数の画素に加える必要がある（以下、この処理をレンジオーバ補正とよぶ）。
【００４４】
前述の誤差の方向から明らかなように、オーバ分をｃに加えたのではｃの誤差がさらに増加してしまう。よってａのオーバ分は、「ｂ又はｄ（又はその両方）」に加えるべきである。つまり、オーバ分を吸収すべき画素を予め決めておくことができるのである。また、ａがレンジ下限を下回った場合にも、また、量子化誤差がＬＨ，ＨＨに生じた場合に関しても同様な議論が成立する。
【００４５】
図２は、Ｓ変換を行う画素間の方向の凡例を示す図である。図２のように、ａから見たｂ，ｃ，ｄを順に水平方向，垂直方向，対角方向とよぶ場合、上述の議論によって、量子化誤差が生じる係数と、オーバ分を配分すべき画素の位置の関係は以下の表１のようになる。
【００４６】
【表１】
0003865595.tif 000002
【００４７】
しかし、実際の個々の場面においては、どの係数の量子化誤差によってレンジオーバが生じているかを判断することはできない。通常、どの係数に量子化誤差が生じているかさえ判断できない。このため、どの係数に起因してもいいように対処するか、どの係数の量子化誤差に起因するレンジオーバなのかを確率的に考えて対処する必要がある。これが本発明の基本をなす考え方である。
【００４８】
例えば、レンジオーバ分を１画素で吸収しようとする場合、表１から明らかなように、ＨＬ，ＬＨいずれかの量子化誤差に起因する場合には、両者で共通な（＝どちらに起因してもよい）「対角画素」を選択すればよいことがわかる。
【００４９】
また表１は、ＨＨに起因するレンジオーバの場合には、対角画素への配分は得策ではないことを示している。しかし、ＨＨ起因のレンジオーバが、ＨＬ，ＬＨ起因のレンジオーバよりも確率的に起こりにくいのであれば、ＨＬ，ＬＨへの対処を優先して、例えば対角画素を選択するのが簡易かつ有効なのである。
【００５０】
ここで一般的な圧縮方式では、ＨＨ起因のレンジオーバが、ＨＬ，ＬＨ起因のレンジオーバよりも確率的に起こりにくい場合が多い。具体的には以下のような場合である。
【００５１】
（ケース１）
ＨＬ，ＬＨ，ＨＨを同じ量子化ステップ数で線形に量子化する場合：
量子化ステップ数が等しい場合、ＨＬ，ＬＨ，ＨＨに生じる量子化誤差は確率的には等しくできるが、式（１）〜（４）より明らかなように、レンジオーバの原因となる誤差は「ＨＬ，ＬＨの量子化誤差の１／２、ＨＨの量子化誤差の１／４」である。よって、ＨＨ起因のレンジオーバは、ＨＬ，ＬＨ起因のものよりも単純に少なくなる。
【００５２】
（ケース２）
圧縮対象が自然画像で、ＨＬ，ＬＨ，ＨＨを非線形に量子化する場合：
自然画像においては、縦横のエッジに比べ、斜めのエッジが弱いことがよく知られており（重力の影響であろうと言われている）、これはＨＬ，ＬＨの値に比べＨＨの値が小さいことが多いことを意味している（図１の式のように、ＨＨはＨＬ，ＬＨと違い２で除算されないが、それでも小さいのである）。
【００５３】
図３は、自然画像におけるＨＬ，ＬＨ，ＨＨの値のヒストグラムを示す図である。ＨＬ，ＬＨの値に比べＨＨの値が小さいことが多いので、自然画像におけるＨＬ，ＬＨ，ＨＨの値のヒストグラムは図３のようになり、ＨＨはより小さい値が頻出する形状をとる。こうしたヒストグラムの係数を非線形に量子化する場合には、出現頻度を考慮して、値が小さい範囲を密に（＝量子化区間を小さく）、大きい範囲を粗に（＝量子化区間を大きく）量子化するのが通常である。量子化区間が大きいほど、量子化誤差は大きくなるため、非線形な量子化の結果、ＨＨよりも大きな値をとるＬＨ，ＨＬの量子化誤差の方が大きくなるのである。よって、ＨＨ起因のレンジオーバは、ＨＬ，ＬＨ起因のものよりも遙かに少なくなる。
【００５４】
以上のように、レンジオーバ分をどの位置に配分すべきかは、「ＬＨ，ＨＬ，ＨＨ／２の量子化誤差の確率的な大小関係」でまず決定され、さらに「どの（いずれの）係数に起因してもいいように対処するか」否かで決定される。ここで「ＨＨ／２の量子化誤差」とは「ＨＨの量子化誤差の１／２」の意である。量子化ステップ数や量子化区間が、量子化器の設計時点で予め決定されることを考えれば、「ＨＬ，ＬＨ，ＨＨ／２の量子化誤差の確率的な大小関係」は設計時点で決定され、オーバ分の配分先も、設計時点で決定可能なのである。確率的な処理（ほとんどの場合に有効に働く処理）でかまわないのであれば、配分先を探す必要はないのである。
よって、この「確率的な大小関係」、特に量子化誤差が確率的に最大となる係数を主体に考慮した場合、予め決定される配分位置の例は、以下の表２のようになる。なお、「配分」の意味は後述する。
【００５５】
【表２】
0003865595.tif 000003
【００５６】
また、この「確率的な大小関係（量子化誤差が確率的に最小となる係数以外の２つの係数）」と「いずれの係数に起因してもいいように」の両方を考慮した場合、予め決定される配分位置の例は、以下の表３のようになる。
【００５７】
【表３】
0003865595.tif 000004
【００５８】
また以上の例は、逆Ｓ変換される量（例えばＲの値）とレンジオーバ補正される量が同じ場合（例えば、Ｓ変換だけで、輝度・色差への色変換をしない場合）で説明したが、逆Ｓ変換される量が輝度や色差で、レンジオーバ補正される量がＲＧＢ値であるような場合でも適用が可能である。
【００５９】
例えば、特公平７−６３１７７号公報に記載の技術の場合、ＲＧＢから成るカラー画像データをブロック単位毎に輝度信号と色差信号に変換し、さらに明度信号を直交変換して係数を得、その後、該係数に量子化を施している。他方、色差信号は、直交変換はされずに、ブロック内の代表値のみが量子化・符号化（圧縮）される。一方、伸張時には、逆直交変換の後、逆色変換が施され、ＲＧＢの値が復号される。
【００６０】
今、この直交変換がＳ変換であり、代表値として色差の平均値を用いる場合を考える。平均値とは、Ｓ変換で言うＬＬ成分に相当するため、実はこれは、輝度・色差の全てをＳ変換し、色差に関しては、ＨＬ，ＬＨ，ＨＨ成分を全て破棄する（＝無限大の量子化ステップ数で量子化する）ことに他ならない。そして圧縮の主たる対象が自然画像である場合には、輝度，色差ともＨＨ成分が最小である。
【００６１】
色差に生じた量子化誤差は、逆色変換の際に結局ＲＧＢの誤差へと伝搬されるため、色差成分のＳ変換係数の、確率的な量子化誤差の大小関係に基づいて、Ｒ値やＢ値に生じたレンジオーバ分の配分先を決定しておくことが可能である。
【００６２】
例えば、色変換がＲＣＴと呼ばれる下式で表される場合、
輝度Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／４
色差Ｕ＝Ｒ−Ｇ
色差Ｖ＝Ｂ−Ｇ
その逆変換は、下式（５）〜（７）になる。
Ｒ＝Ｇ＋Ｕ              …  （５）
Ｇ＝Ｙ−（Ｕ＋Ｖ）／４  …  （６）
Ｂ＝Ｖ＋Ｇ              …  （７）
【００６３】
上述の色変換は、４での除算部をフロア関数を使って切り捨てた場合、或いはシーリング関数を使用して切り上げた場合には可逆な変換となるため、該２つの場合にＲＣＴ（Reversible Component Transform）と呼ばれている。本出願明細書においては簡単のため、可逆か否かに関わらずＲＣＴと略称することにする。
【００６４】
伸張時においては、輝度，色差のいずれについても逆Ｓ変換がなされるため、Ｕ成分を例にとった場合、図１でａと表記した画素位置のＵをＵａ、Ｕ成分をＳ変換したときの係数をＵＬＬ，ＵＨＬ等と表記すれば、
Ｕａ＝ＵＬＬ＋（ＵＨＬ＋ＵＬＨ）／２＋ＵＨＨ／４
Ｕｂ＝ＵＬＬ−（ＵＨＬ−ＵＬＨ）／２−ＵＨＨ／４
Ｕｃ＝ＵＬＬ＋（ＵＨＬ−ＵＬＨ）／２−ＵＨＨ／４
Ｕｄ＝ＵＬＬ−（ＵＨＬ＋ＵＬＨ）／２＋ＵＨＨ／４
となる。今、Ｕの高周波は一律に破棄するため、これまでの議論同様、Ｕａ〜Ｕｄのいずれにおいても、ＨＨ成分の量子化誤差が最小になる。
【００６５】
そして各Ｕａ〜Ｕｄは、式（５）によってＲａ〜Ｒｄへと逆ＲＣＴされ、
0003865595.tif 000005
なる計算がなされるが、通常の圧縮方式では、Ｙａに生じている誤差は、ＵａやＶａに生じている誤差に比べて小さい。伸張後の画質を上げるためには、輝度の量子化率を低くし、色差の量子化率を上げるのが常套手段であるからである。
【００６６】
その結果、式（８）を通じてＲａに生じる誤差は、Ｕａ，Ｖａの量子化誤差が支配的となる。Ｕａ，Ｖａの確率的な量子化誤差が等しく設計されているならば、係数３／４が掛かったＵａに起因する誤差が最大となることになるが、係数毎に見れば、やはりＵＨＨ起因の量子化誤差が最小となるのである。以上の議論はＶ成分とＢ値の関係にも当てはまる。
したがって、色差成分のＳ変換係数の、確率的な量子化誤差の大小関係に基づいて、Ｒ値やＢ値に生じたレンジオーバ分の配分先を決定しておくことが可能なのである。
【００６７】
またＧ成分への支配的な寄与は、輝度Ｙと色差Ｕ，Ｖの量子化率の違い（＝設計方針）によっていずれの場合もありえる。輝度のＨＨ成分又は色差のＨＨ成分からの量子化誤差が最小となるのは同様である。よって、輝度成分又は色差成分のＳ変換係数の確率的な量子化誤差の大小関係に基づいて、Ｇ値に生じたレンジオーバ分の配分先を決定しておくことが可能なのである。
【００６８】
また、以上ではＲＣＴを例にとったが、ＪＰＥＧ等で使用される公知のＹＣｂＣｒ変換等でも同様な議論が成立するのは明らかである。また、圧縮後の伸張時を例にとって説明したが、Ｓ変換係数の量子化後に、逆Ｓ変換がなされる処理であれば、伸張・復号に関わらず適用可能なことも明らかである。
【００６９】
以上をもとに、本発明の実施形態を説明する。
図４は、本発明に係る画像データ処理装置を説明するためのブロック図である。
本発明の一実施形態に係る画像データ処理装置は、逆Ｓ変換後の画像データ成分（例えば前述のＲ値やＢ値、後述するが輝度や色差でもよい）を処理する装置であって、レンジの上限を越える成分値を有する画素を探すレンジオーバ画素チェック手段１と、その画素の成分値をレンジ内に入るように減らす成分値修正手段２と、Ｓ変換係数ＬＨ，ＨＬ，ＨＨ／２の量子化誤差の確率的な大小関係に基づいて予め決定された画素の、その成分値を増やす成分値配分手段３とを有するものとする。本実施形態によれば、レンジ上限オーバ時に、簡易な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
なお、後述する各実施形態においては図１を参照して各手段を、本実施形態での各手段と同じものとして説明してあるが、当然同一手段である必要はなく、さらに、各手段が各実施形態での機能のみを備えていても、他の実施形態での機能を兼ね備えていてもよい。
【００７０】
また、本発明の他の実施形態に係る画像データ処理装置は、逆Ｓ変換後の画像データ成分を処理する装置であって、レンジの下限を下回る成分値を有する画素を探すレンジオーバ画素チェック手段１と、その画素の成分値をレンジ内に入るように増やす成分値修正手段２と、Ｓ変換係数ＬＨ，ＨＬ，ＨＨ／２の量子化誤差の確率的な大小関係に基づいて予め決定された画素の、その成分値を減らす成分値配分手段３を有するものとする。本実施形態によれば、レンジ下限を下回ったときに、簡易な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００７１】
また、本発明の他の実施形態に係る画像データ処理装置は、逆Ｓ変換後の画像データ成分を処理する装置であって、レンジの上限を越える成分値を有する画素を探すレンジオーバ画素チェック手段１と、その画素の成分値をレンジ内に入るように減らす成分値修正手段２と、Ｓ変換係数ＬＨ，ＨＬ，ＨＨ／２のどの量子化誤差が確率的に最小となるかに基づいて予め決定された画素の、その成分値を増やす成分値配分手段３を有するものとする。本実施形態によれば、レンジ上限オーバ時に、簡易かつ柔軟な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００７２】
また、本発明の他の実施形態に係る画像データ処理装置は、逆Ｓ変換後の画像データを処理する装置であって、レンジの下限を下回る成分値を有する画素を探すレンジオーバ画素チェック手段１と、その画素の成分値をレンジ内に入るように増やす成分値修正手段２と、Ｓ変換係数ＬＨ，ＨＬ，ＨＨ／２のどの量子化誤差が確率的に最小となるかに基づいて予め決定された画素の、その成分値を減らす成分値配分手段３を有するものとする。本実施形態によれば、レンジ下限を下回ったときに、簡易なかつ柔軟な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００７３】
以上のように、レンジオーバ分を予め規定した所定の画素に配分する場合、配分後の所定画素の値もレンジ内に収まるのが通常である。しかし、係数間の誤差の累積等により、配分後の所定画素の値が、レンジを越えたり、下回ったりすることがある。かかる場合には、再配分か、丸め処理が必要である。表２，表３のところで述べた「次に配分」とは、この再配分のことである。
【００７４】
そこで、本発明の他の実施形態に係る画像データ処理装置においては、成分値修正手段２により、値を増やした画素の成分値がさらにレンジの上限を越えた場合に該画素の成分値をレンジ内に入るように減らし、成分値配分手段３により、Ｓ変換係数ＬＨ，ＨＬ，ＨＨ／２のうち、どの量子化誤差が確率的に最大となるかに基づいて予め決定された第２の画素の、その成分値を増やす。本実施形態によれば、上限オーバが繰り返されたときに、簡易な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００７５】
また、本発明の他の実施形態に係る画像データ処理装置においては、成分値修正手段２により、値を減らした画素の成分値がさらにレンジの下限を下回った場合に該画素の成分値をレンジ内に入るように増やし、成分値配分手段３により、Ｓ変換係数ＬＨ，ＨＬ，ＨＨ／２のうち、どの量子化誤差が確率的に最大となるかに基づいて予め決定された第２の画素の、その成分値を減らす。本実施形態によれば、レンジ下限アンダーが繰り返されたときに、簡易な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００７６】
また、本発明の他の実施形態に係る画像データ処理装置は、値を増やした画素又は第２の画素の成分値がさらにレンジの上限を越えた場合に該画素の成分値をレンジ上限の値とする（以下これを「丸め処理」という）。また、値を減らした画素又は第２の画素の成分値がさらにレンジの下限を下回った場合に該画素の成分値をレンジ下限の値とする（以下これも「丸め処理」という）。本実施形態によれば、レンジオーバが繰り返されたときの対処を、簡易に行うことが可能となる。
【００７７】
また、本発明の他の実施形態に係る画像データ処理装置は、ＨＨ／２の量子化誤差が確率的に最小である場合に、レンジの上限を越える成分値を有する画素を探し、その画素の成分値をレンジ内に入るように減らす成分値修正手段２と、その画素の対角画素の値を増やす成分値配分手段３を有するものとする。本実施形態によれば、ＨＨ／２の量子化誤差が最小という典型的な場合において、レンジ上限オーバ時に、簡易かつ柔軟な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００７８】
また、本発明の他の実施形態に係る画像データ処理装置は、ＨＨ／２の量子化誤差が確率的に最小である場合に、レンジの下限を下回る成分値を有する画素を探し、その画素の成分値をレンジ内に入るように増やす成分値修正手段２と、その画素の対角画素の値を減らす成分値配分手段３を有するものとする。本実施形態によれば、ＨＨ／２の量子化誤差が最小という典型的な場合において、レンジ下限アンダー時に、簡易かつ柔軟な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００７９】
また、本発明の他の実施形態に係る画像データ処理装置においては、成分値修正手段２により、増やした画素の成分値がさらにレンジの上限を越えた場合にその画素の成分値をレンジ内に入るように減らし、成分値配分手段３により、その画素の水平又は垂直画素の成分値を増やす。本実施形態によれば、ＨＨ／２の量子化誤差が最小という典型的な場合において、レンジ上限オーバが繰り返されたときに、簡易な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００８０】
また、本発明の他の実施形態に係る画像データ処理装置においては、成分値修正手段２により、減らした画素の成分値がさらにレンジの下限を下回った場合にその画素の成分値をレンジ内に入るように増やし、成分値配分手段３により、その画素の水平又は垂直画素の成分値を減らす。本実施形態によれば、ＨＨ／２の量子化誤差が最小という典型的な場合において、レンジ下限アンダーが繰り返されたときに、簡易な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００８１】
また、本発明の他の実施形態に係る画像データ処理装置は、減らす値の大きさと増やす値の大きさを一致させるようにしたものである。本実施形態によれば、ＨＨ／２の量子化誤差が最小という典型的な場合も含め、成分値の総和（平均値）を保持することで、色味の変化を精密に抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００８２】
また、本発明の他の実施形態に係る画像データ処理装置においては、値を増やした画素の成分値がさらにレンジの上限を越えた場合にその画素の成分値をレンジ上限の値とする。また、値を減らした画素の成分値がさらにレンジの下限を下回った場合にその画素の成分値をレンジ下限の値とする。本実施形態によれば、ＨＨ／２の量子化誤差が最小という典型的な場合において、レンジオーバが繰り返されたときの対処を、簡易に行うことが可能となる。
【００８３】
また、本発明の他の実施形態に係る画像データ処理装置は、前述の逆Ｓ変換が画像データの色差成分に対してなされ、前述の成分値がＲ値又はＧ値又はＢ値であるようにしたものである。本実施形態によれば、逆Ｓ変換後に逆色変換がなされる典型的な復号化経路において、ＲＧＢ値のレンジオーバへの対処を、色差成分のＳ変換係数の誤差に基づいて簡易に行うことが可能となる。
【００８４】
また、本発明の他の実施形態に係る画像データ処理装置は、前述の逆Ｓ変換が画像データの輝度成分に対してなされ、前述の成分値がＧ値であるようにしたものである。本実施形態によれば、逆Ｓ変換後に逆色変換がなされる典型的な復号化経路において、Ｇの値のレンジオーバへの対処を、輝度成分のＳ変換係数の誤差に基づいて簡易に行うことが可能となる。
【００８５】
また、復号後（伸張後）の画質を維持するためには、輝度の量子化率を色差の量子化率よりも低くするのが通常であるが、かかる場合は、前述のＲＣＴの式（５）〜（７）の例からも明らかなように、Ｇに生じる誤差は、Ｒ，Ｂに生じる誤差よりも小さくなる。その結果Ｇの場合、レンジオーバが生じたとしても、オーバ分の値は小さい。
よって、本発明の他の実施形態に係る画像データ処理装置は、前述のレンジ上限を越える成分値又はレンジ下限を下回る成分値がＧである場合に、Ｇの値を丸め処理する手段を有するものとする。本実施形態によれば、オーバ分の値が小さいと想定される成分値の場合には丸め処理にすることにより、レンジオーバへの対処を簡易化することが可能となる。
【００８６】
また、画像データの圧縮率を可変にするために符号化時の量子化率が可変であるのも一般的だが、量子化率が低い場合には、レンジオーバ自体も少なくなり、オーバ分の値も小さくなる。
よって、本発明の他の実施形態に係る画像データ処理装置は、Ｓ変換係数の量子化率によって、前述の予め決定された画素の成分値を増減するか、丸め処理とするかを切り替える手段を有するものとする。本実施形態によれば、オーバ分の値が小さいと想定される場合には丸め処理にすることにより、レンジオーバへの対処を簡易化することが可能となる。
【００８７】
また、本発明の他の実施形態に係る画像データ処理装置は、前述のレンジ上限を越える成分値又はレンジ加減を下回る成分値がＧである場合に、Ｓ変換係数の量子化率によって、前述の予め決定された画素のＧ値を増減するか、丸め処理とするかを切り替える手段を有するものとする。本実施形態によれば、オーバ分の値が小さいと想定される場合及び成分値の場合に丸め処理にすることにより、レンジオーバへの対処を簡易化することが可能となる。
【００８８】
本発明の一実施形態に係る画像データ処理方法は、逆Ｓ変換後の画像データ成分を処理する方法であって、レンジの上限を越える成分値を有する画素を探すステップと、その画素の成分値をレンジ内に入るように減らすステップと、Ｓ変換係数ＬＨ，ＨＬ，ＨＨ／２の量子化誤差の確率的な大小関係に基づいて予め決定された画素の、その成分値を増やすステップを有するものとする。本実施形態によれば、レンジ上限オーバ時に、簡易な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００８９】
また、本発明の他の実施形態に係る画像データ処理方法は、逆Ｓ変換後の画像データ成分を処理する方法であって、レンジの下限を下回る成分値を有する画素を探すステップと、その画素の成分値をレンジ内に入るように増やすステップと、Ｓ変換係数ＬＨ，ＨＬ，ＨＨ／２の量子化誤差の確率的な大小関係に基づいて予め決定された画素の、その成分値を減らすステップを有するものとする。本実施形態によれば、レンジ下限を下回ったときに、簡易な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００９０】
また、本発明の他の実施形態に係る画像データ処理方法は、逆Ｓ変換後の画像データ成分を処理する方法であって、レンジの上限を越える成分値を有する画素を探すステップと、その画素の成分値をレンジ内に入るように減らすステップと、Ｓ変換係数ＬＨ，ＨＬ，ＨＨ／２のどの量子化誤差が確率的に最小となるかに基づいて予め決定された画素の、その成分値を増やすステップを有するものとする。本実施形態によれば、レンジ上限オーバ時に、簡易かつ柔軟な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００９１】
また、本発明の他の実施形態に係る画像データ処理方法は、逆Ｓ変換後の画像データを処理する方法であって、レンジの下限を下回る成分値を有する画素を探すステップと、その画素の成分値をレンジ内に入るように増やすステップと、Ｓ変換係数ＬＨ，ＨＬ，ＨＨ／２のどの量子化誤差が確率的に最小となるかに基づいて予め決定された画素の、その成分値を減らすステップを有するものとする。本実施形態によれば、レンジ下限を下回ったときに、簡易なかつ柔軟な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことが可能となる。
【００９２】
本発明は、上述の各実施形態の画像データ処理装置の機能を実現するための、又は、上述の各実施形態の画像データ処理方法を実行させるためのプログラム、及びそのプログラムを記録したコンピュータが読み取り可能な情報記録媒体としての形態がとり得、これにより、上述の各実施形態に対応した処理によって、速度と画質のバランスをとることが可能なシステムを提供することが可能となる。
【００９３】
以下、本発明の実施形態をより具体的に説明する。
図５は、本発明の一実施形態に係る画像データ処理装置の構成例を示す図である。
ここで説明する画像データ処理装置は、データバス１３を介して、ＲＡＭ１１，ＣＰＵ１２，ＨＤＤ１４が接続された構成となっており、以下の流れで、オリジナル画像（原画像）の圧縮処理（符号化処理）を行う。
【００９４】
ＨＤＤ１４上に記録されたオリジナル画像は、ＣＰＵ１２からの命令によってＲＡＭ１１上に読み込まれる（i）。次に、圧縮ステップとして、ＣＰＵ１２はＲＡＭ１１上の画像を部分的に読み込み（ii）、後述する一般的な符号化方法を適用して圧縮を行う。ＣＰＵ１２は、圧縮後のデータをＲＡＭ１１上の別の領域に書き込む（iii）。全てのオリジナル画像が圧縮されると、ＣＰＵ１２からの命令によって、圧縮後のデータがＨＤＤ１４上に記録される（iv）。
【００９５】
また、同一の装置構成において、以下の流れで、圧縮された画像の伸張処理（復号化処理）がなされる。ＨＤＤ１４上に記録された圧縮された画像は、ＣＰＵ１２からの命令によってＲＡＭ１１上に読み込まれる（ivの逆）。次に、伸張ステップとして、ＣＰＵ１２はＲＡＭ１１上の圧縮された画像を部分的に読み込み（iiiの逆）、本発明に係る復号（伸張）処理を適用して伸張を行う。ＣＰＵ１２は、伸張後のデータをＲＡＭ１１上の別の領域に書き込む（iiの逆）。全ての圧縮された画像が伸張されると、ＣＰＵ１２からの命令によって、伸張後のデータがＨＤＤ１４上に記録される（iの逆）。
【００９６】
図６は、本発明の一実施形態に係る画像データ処理装置の他の構成例を示す図である。
ここで説明する画像データ処理装置は、データバス２３を介して、ＰＣ内のＲＡＭ２１，ＰＣ内のＣＰＵ２２，ＨＤＤ２４，プリンタ２５が接続された構成となっている。オリジナル画像のプリントアウトに際し、画像の圧縮がなされ、圧縮後のデータがプリンタ２５に送信される。プリンタ２５への送信データ量が低減されるため、送信時間が短縮され、圧縮・伸張に要する時間を加味しても、高速なプリントが可能になる。
【００９７】
ＨＤＤ２４上に記録されたオリジナル画像は、ＣＰＵ２２からの命令によってＲＡＭ２１上に読み込まれる（i）。次に、圧縮ステップとして、ＣＰＵ２２は、ＲＡＭ２１上の画像を部分的に読み込み（ii）、後述する一般的な符号化方法を適用して圧縮を行う。ＣＰＵ２２は、圧縮後のデータをＲＡＭ２１上の別の領域に書き込む（iii）。ＣＰＵ２２からの命令によって、圧縮後のデータがプリンタ２５内のＲＡＭ２７上に記録される（iv）。伸張ステップとして、プリンタ２５内のＣＰＵ２６は、圧縮後のデータを読み込み（v）、本発明に係る伸張（復号）処理を適用して画像の伸張を行う。ＣＰＵ２６は、伸張後のデータをＲＡＭ２７上に書き込む（vi）。プリンタ２５は、全てのデータが伸張された後、その伸張後のデータを所定の手順でプリントアウトする。
【００９８】
図７は、本発明の一実施例の画像データ処理装置における符号化部（圧縮部）を示すブロック図、図８は、図７の符号化部で生成される固定長の符号の構成例を示す図、なお、図９は、図７の符号化部での処理の流れを説明するためのフロー図である。図５或いは図６で例示したような装置構成のもと、図７乃至図９に基づいて本実施例が想定する符号化部（圧縮部）の処理の流れを説明する。
【００９９】
本実施例における符号化処理は、画像データを低周波成分と高周波成分とに分離する手段として、Ｓ変換（Ｈａｒｒ  Ｗａｖｅｌｅｔ変換）を前提とする。Ｓ変換では、図１のように２×２画素単位での変換が行われ、４画素の有する値を図１のようにａ，ｂ，ｃ，ｄとした場合、２×２画素ブロックの画像情報はＬＬ，ＨＬ，ＬＨ，ＨＨの４係数に変換される。このうちＬＬ係数は低周波成分であり、ＨＬ，ＬＨ，ＨＨ係数は高周波成分である。ここでａ〜ｄが、各画素の有するＲの値である場合は、Ｒｌｌ，Ｒｈｌ，Ｒｈｈ，Ｒｈｈが得られ、同様に各画素の有するＧの値である場合は、Ｇｌｌ〜Ｇｈｈが得られ、Ｂについても同様である。
【０１００】
０〜２５５（８ｂｉｔ）の値をとるＲＧＢデータとして与えられた画像データは、２×２画素切り出し部３１によって、４画素単位でＳ変換部３２に入力される（ステップＳ１）。Ｓ変換部３２では、図１に示した式による変換が行われ、Ｒｌｌ，Ｒｈｌ，Ｒｌｈ，Ｒｈｈ，Ｇｌｌ，Ｇｈｌ，Ｇｌｈ，Ｇｈｈ，Ｂｌｌ，Ｂｈｌ，Ｂｌｈ，Ｂｈｈの１２個の係数が計算され、保持される（ステップＳ２）。ここでＲｌｌ，Ｇｌｌ，Ｂｌｌの３つの直流成分は、量子化されることなくＲＣＴ（Reversible Component変換）部３４に入力され、その他の交流成分は量子化部３３を経た後、ＲＣＴ部３４に入力される。
【０１０１】
そして本実施例においては、量子化部３３において、Ｒｈｌ，Ｒｌｈ，Ｒｈｈ，Ｂｈｌ，Ｂｌｈ，Ｂｈｈ，Ｇｈｌ，Ｇｌｈ，Ｇｈｈは全て２ｂｉｔ分の線形量子化がなされ、Ｒｈｌ′，Ｒｌｈ′，Ｒｈｈ′，Ｂｈｌ′，Ｂｌｈ′，Ｂｈｈ′，Ｇｈｌ′，Ｇｌｈ′，Ｇｈｈ′となり、保持される（ステップＳ３）。これは、ＲＧＢのＳ変換係数における量子化誤差の大小関係としては、ちょうど前述のケース１に相当する。
【０１０２】
本実施例のＲＣＴ部３４では、Ｒｌｌ，Ｇｌｌ，ＢｌｌにＲＣＴを適用してＹｌｌ，Ｕｌｌ，Ｖｌｌが計算され保持される（ステップＳ４）。さらに、ステップＳ３の量子化により生成されたＲｈｌ′，Ｒｌｈ′，Ｒｈｈ′，Ｂｈｌ′，Ｂｌｈ′，Ｂｈｈ′，Ｇｈｌ′，Ｇｌｈ′，Ｇｈｈ′から、Ｙｈｌ，Ｙｌｈ，Ｙｈｈが計算され保持される（ステップＳ５）。ここでは、輝度Ｙに関してはＬＬ〜ＨＨまでを生成するが、圧縮率を上げるため、色差Ｕ，Ｖに関してはＬＬのみしか生成しない。これは、色差のＳ変換係数における量子化誤差の大小関係としても、ちょうど前述のケース１に相当する（前述の特公平７−６３１７７号公報と同様）。また、輝度のＳ変換係数における量子化誤差の大小関係としても、ちょうど前述のケース１に相当する。
【０１０３】
そしてＹＵＶ各々の係数は、符号生成部３５へ入力され、連結されて４画素分の符号である図８に示す固定長の符号４０が生成される（ステップＳ６）。この固定長符号４０は、Ｙｌｌ，Ｙｈｌ，Ｙｌｈ，Ｙｈｈ，Ｕｌｌ，Ｖｌｌがそれぞれ８，７，７，８，９，９ｂｉｔの固定長をもつ構成となっている。全画素について符号の生成がなされるまで処理は続行される（ステップＳ７）。
なお、以上の例では、前述の特公平７−６３１７７号公報の発明に対し、Ｓ変換と色変換（ＲＣＴ）の順番が逆であり、量子化部の位置も異なるが、本発明の適用上はいずれの順番・位置でもよいことは明らかである。
【０１０４】
図１０は、本発明の一実施例の画像データ処理装置における復号化部（伸張部）を示すブロック、図１１は、図１０の復号化部での処理の流れを説明するためのフロー図である。図７乃至図９で説明した符号化のもと、図１０及び図１１に基づいて本実施例の復号化部（伸張部）の処理の流れを説明する。
【０１０５】
前述の符号化がなされた画像データは、符号分割部４１において、図８の固定長符号４０から、４画素分のＹｌｌ，Ｙｈｌ，Ｙｌｈ，Ｙｈｈ，Ｕｌｌ，Ｖｌｌが切り出され（ステップＳ１１）、逆ＲＣＴ部４２によって、Ｒｌｌ，Ｕｌｌ，Ｖｌｌ，Ｒｈｌ′，Ｒｌｈ′，Ｒｈｈ′，Ｂｈｌ′，Ｂｌｈ′，Ｂｈｈ′，Ｇｈｌ′，Ｇｌｈ′，Ｇｈｈ′が生成され保持される（ステップＳ１２）。そしてＬＬ以外の係数は、それぞれの逆量子化部４３において２ｂｉｔ逆量子化されてＲｈｌ，Ｒｌｈ，Ｒｈｈ，Ｇｈｌ，Ｇｌｈ，Ｇｈｈ，Ｂｈｌ，Ｂｌｈ，Ｂｈｈとなる（ステップＳ１３）。その後、各係数は逆Ｓ変換部４４において逆Ｓ変換がなされ、４画素分のＲ，Ｇ，Ｂ、すなわちＲａ，Ｒｂ，Ｒｃ，Ｒｄ，Ｇａ，Ｇｂ，Ｇｃ，Ｇｄ，Ｂａ，Ｂｂ，Ｂｃ，Ｂｄが計算され（ステップＳ１４）、レンジオーバ補正部４５に入力され、レンジオーバ補正処理が行われる（ステップＳ１５）。この処理を前画素の復号が終了するまで続行する。レンジオーバ補正部４５は、本発明の中心をなすものであり、図４で説明したレンジオーバ画素チェック手段１、成分値修正手段２、成分値配分手段３等を含むものとする。
【０１０６】
図１２は、本発明の一実施例の画像データ処理装置におけるレンジオーバ補正処理の流れを説明するためのフロー図であり、図１３乃至図１６は、図１２の処理を詳細に説明するためのフロー図である。
本実施例においては、ステップＳ２１において、ＲＧＢ全てについて、図１３に記載した各画素の補正量を計算、保持する。ここで図１３のように、補正量＝レンジオーバ分の値としている。そして前述のように、量子化誤差に関しケース１を想定しており、ＨＨの誤差が最小と考え、かつＬＨ，ＨＬ両方の誤差への対応を考慮して、レンジオーバ分の値（図１３でいう補正量）を、対角位置の画素へ加算する（ステップＳ２２）。これはちょうど、表３の中央の列で規定した位置を予め決めておいたことになる。
【０１０７】
そして今度は、Ｇのみを丸め処理とするため、ステップＳ２３でＲ，Ｂについてのみ補正量を求め、ステップＳ２４で前記補正量を水平位置画素に加算する。これは、表３の中央の列の規定に加え、「再配分は（ＨＬの量子化誤差を優先して）水平方向」と規定したことになる。そして最後に、ステップＳ２５で丸め処理を行う。
【０１０８】
図１３を参照して丸め・補正量保持処理の流れを説明する。
まず、全ての位置ａ，ｂ，ｃ，ｄの補正量を０にセットする（ステップＳ３１）。ステップＳ３２にて成分値ｘが０未満であればｘ＝０とし、位置ａ〜ｄと補正量ｘ−０を保持し（ステップＳ３３）、ステップＳ３４にて成分値ｘが２５５を越えていればｘ＝２５５とし、位置ａ〜ｄと補正量ｘ−２５５を保持する（ステップＳ３５）。この処理を４画素分のｘについて繰り返す（ステップＳ３６）。
【０１０９】
図１４を参照して対角位置補正処理の流れを説明する。
まず、ステップＳ４１にて補正量が０であるか否かを判定する。補正量が０でなければステップＳ４２へ進み、対角位置画素の成分値に補正量を加算する。この処理を４画素分の補正量について繰り返す（ステップＳ４３）。
【０１１０】
図１５を参照して水平位置補正処理の流れを説明する。
まず、ステップＳ５１にて補正量が０であるか否かを判定する。補正量が０でなければステップＳ５２へ進み、水平位置画素の成分値に補正量を加算する。この処理を４画素分の補正量について繰り返す（ステップＳ５３）。
【０１１１】
図１６を参照して丸め処理の流れを説明する。
まず、ステップＳ６１にて成分値ｘが０未満であればｘ＝０とし（ステップＳ６２）、ステップＳ６３にて成分値ｘが２５５を越えていればｘ＝２５５とする（ステップＳ６４）。この処理を４画素分のｘについて繰り返す（ステップＳ６５）。
【０１１２】
図１７は、本発明の他の実施例の画像データ処理装置におけるレンジオーバ補正処理の流れを説明するためのフロー図、図１８は、図１７の処理で生成される固定長の符号の構成例を示す図である。
本実施例においては、ステップＳ７１において、係数全体の量子化率が閾値Ｔｈ１より大きい場合には、ＲＧＢ全てについて図１３に記載した各画素の補正量を計算、保持し（ステップＳ７２）、さらにＲＧＢ全てについてレンジオーバ分の値（図１３でいう補正量）を対角位置の画素へ加算し（ステップＳ７３）、ＲＧＢ全てについて丸め処理を行う（ステップＳ７７）。また、ステップＳ７１において係数全体の量子化率が閾値Ｔｈ１以下の場合にはステップＳ７４へ進む。ステップＳ７４では、係数全体の量子化率が閾値Ｔｈ２（Ｔｈ１＞Ｔｈ２）より大きい場合には、ＲＢ全てについて図１３に記載した各画素の補正量を計算、保持し（ステップＳ７５）、さらにＲＢ全てについてレンジオーバ分の値（図１３でいう補正量）を対角位置の画素へ加算し（ステップＳ７６）、ＲＧＢ全てについて丸め処理を行う（ステップＳ７７）。そして係数全体の量子化率が閾値Ｔｈ２以下の場合には、ステップＳ７５，Ｓ７６を飛ばし、ステップＳ７７へ進む。なお、ここでの処理の詳細は図１３乃至図１６を参照して説明済みであり、省略する。
【０１１３】
なお、本実施例においては、図１８中の固定長符号５０のように各符号のヘッダに、閾値Ｔｈ１，Ｔｈ２との大小関係を示す２ｂｉｔの固定長の値（“１１”なら量子化率＞Ｔｈ１、“１０”ならＴｈ１≧量子化率＞Ｔｈ２、“０１”なら量子化率＜Ｔｈ２）が入力されており、これにより閾値との大小関係を判断することができる。
【０１１４】
【発明の効果】
請求項１，２，１５，１６の発明によれば、レンジ上限オーバ時に、又はレンジ下限を下回ったときに、簡易な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことができる。
【０１１５】
また、成分値の総和（平均値）を保持することで、色味の変化を精密に抑え、高画質な処理（伸張・復号処理）を行うことができる。
【０１１６】
請求項３，１７の発明によれば、レンジ上限オーバ時に、又はレンジ下限を下回ったときに、簡易かつ柔軟な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことができる。
【０１１７】
請求項４，１８の発明によれば、ＨＨ／２の量子化誤差が最小という典型的な場合において、レンジ上限オーバ時に、又はレンジ下限アンダ時に、簡易かつ柔軟な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことができる。
【０１１８】
請求項６の発明によれば、レンジ上限オーバ又はレンジ下限アンダが繰り返されたときに、簡易な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことができる。
【０１２０】
請求項５，７の発明によれば、レンジオーバが繰り返されたときの対処を、簡易に行うことができる。
【０１２３】
請求項８，９の発明によれば、ＨＨ／２の量子化誤差が最小という典型的な場合において、レンジ上限オーバ又はレンジ下限アンダが繰り返されたときに、簡易な手法で逆Ｓ変換後（伸張・復号時）の色味の変化を抑え、高画質な処理（伸張・復号処理）を行うことができる。
【０１２７】
請求項１０の発明によれば、逆Ｓ変換後に逆色変換がなされる典型的な復号化経路において、ＲＧＢ値のレンジオーバへの対処を、色差成分のＳ変換係数の誤差に基づいて簡易に行うができる。
【０１２８】
請求項１１の発明によれば、Ｇの値のレンジオーバへの対処を、輝度成分のＳ変換係数の誤差に基づいて簡易に行うことができる。
【０１２９】
請求項１２の発明によれば、オーバ分の値が小さいと想定される成分値の場合には丸め処理にすることにより、レンジオーバへの対処を簡易化することができる。
【０１３０】
請求項１３の発明によれば、オーバ分の値が小さいと想定される場合には丸め処理にすることにより、レンジオーバへの対処を簡易化することができる。
【０１３１】
請求項１４の発明によれば、オーバ分の値が小さいと想定される場合及び成分値の場合に丸め処理にすることにより、レンジオーバへの対処を簡易化することができる。
【０１３２】
請求項１９，２０の発明によれば、画像データ処理方法が記録されているので、各請求項に対応した処理によって速度と画質のバランスのとれたシステムを提供することができる。
【図面の簡単な説明】
【図１】  Ｓ変換を説明するための図である。
【図２】  Ｓ変換を行う画素間の方向の凡例を示す図である。
【図３】  自然画像におけるＨＬ，ＬＨ，ＨＨの値のヒストグラムを示す図である。
【図４】  本発明に係る画像データ処理装置を説明するためのブロック図である。
【図５】  本発明の一実施形態に係る画像データ処理装置の構成例を示す図である。
【図６】  本発明の一実施形態に係る画像データ処理装置の他の構成例を示す図である。
【図７】  本発明の一実施例の画像データ処理装置における符号化部（圧縮部）を示すブロック図である。
【図８】  図７の符号化部で生成される固定長の符号の構成例を示す図である。
【図９】  図７の符号化部での処理の流れを説明するためのフロー図である。
【図１０】  本発明の一実施例の画像データ処理装置における復号化部（伸張部）を示すブロック図である。
【図１１】  図１０の復号化部での処理の流れを説明するためのフロー図である。
【図１２】  本発明の一実施例の画像データ処理装置におけるレンジオーバ補正処理の流れを説明するためのフロー図である。
【図１３】  図１２の処理を詳細に説明するためのフロー図である。
【図１４】  図１２の処理を詳細に説明するためのフロー図である。
【図１５】  図１２の処理を詳細に説明するためのフロー図である。
【図１６】  図１２の処理を詳細に説明するためのフロー図である。
【図１７】  本発明の他の実施例の画像データ処理装置におけるレンジオーバ補正処理の流れを説明するためのフロー図である。
【図１８】  図１７の処理で生成される固定長の符号の構成例を示す図である。
【符号の説明】
１…レンジオーバ画素チェック手段、２…成分値修正手段、３…成分値配分手段、１１，２１，２７…ＲＡＭ、１２，２２，２６…ＣＰＵ、１３，２３…データバス、１４，２４…ＨＤＤ、２５…プリンタ、３１…２×２画素切り出し部、３２…Ｓ変換部、３３…量子化部、３４…ＲＣＴ部、３５…符号生成部、４１…符号分割部、４２…逆ＲＣＴ部、４３…逆量子化部、４４…逆Ｓ変換部、４５…レンジオーバ補正処理部。
【図１】
0003865595.tif 000006
【図２】
0003865595.tif 000007
【図３】
0003865595.tif 000008
【図４】
0003865595.tif 000009
【図５】
0003865595.tif 000010
【図６】
0003865595.tif 000011
【図７】
0003865595.tif 000012
【図８】
0003865595.tif 000013
【図９】
0003865595.tif 000014
【図１０】
0003865595.tif 000015
【図１１】
0003865595.tif 000016
【図１２】
0003865595.tif 000017
【図１３】
0003865595.tif 000018
【図１４】
0003865595.tif 000019
【図１５】
0003865595.tif 000020
【図１６】
0003865595.tif 000021
【図１７】
0003865595.tif 000022
【図１８】
0003865595.tif 000023