(57)【特許請求の範囲】
【請求項１】
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理手段と、
前記画像符号化処理手段により作成された符号化データを復号化処理する画像復号化処理手段と、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理手段と、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理手段と、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理手段と、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理手段と、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化手段と、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化手段と、を有することを特徴とし、
前記特徴歪み演算処理手段は、前記入力画像と前記復号画像との各画素値の差の分散に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理する
ことを特徴とする画像符号化装置。
【請求項２】
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理手段と、
前記画像符号化処理手段により作成された符号化データを復号化処理する画像復号化処理手段と、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理手段と、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理手段と、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理手段と、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理手段と、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化手段と、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化手段と、を有することを特徴とし、
前記特徴歪み演算処理手段は、前記入力画像と前記復号画像との各画素値の差と、前記各画素値の差の前記小領域内での平均値を求め、前記各画素値の差と前記平均値との差の絶対値の和に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理する
ことを特徴とする画像符号化装置。
【請求項３】
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理手段と、
前記画像符号化処理手段により作成された符号化データを復号化処理する画像復号化処理手段と、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理手段と、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理手段と、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理手段と、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理手段と、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化手段と、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化手段と、を有することを特徴とし、
前記領域分割処理手段は、前記小領域の画素値に関する性質をブロックのアクティビティまたは分散を基に平坦ブロックか否かに分類する手段を有し、前記小領域の特徴的な歪みを当該分類に応じて設定されている特徴歪みの閾値との比較に基づいて領域分割処理する
ことを特徴とする画像符号化装置。
【請求項４】
前記小領域がブロック単位であり、前記分類する手段は、平坦ブロックを、全ての画像が一致している完全平坦ブロックと、完全平坦ブロック以外で全ての列内または全ての行内で画素値が一致しているブロックとに、さらに分類する
ことを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
前記領域分割画像符号化データと前記第１領域画像符号化データと前記第２領域画像符号化データとを一つの符号化データにまとめる符号化データ接合処理手段と、をさらに有することを特徴とする請求項１〜４いずれかに記載の画像符号化装置。
【請求項６】
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップと、
前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップと、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップと、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップと、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップと、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップと、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップと、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップと、を有し、
前記特徴歪み演算処理ステップは、前記入力画像と前記復号画像との各画素値の差の分散に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理する
ことを特徴とする画像符号化方法。
【請求項７】
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップと、
前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップと、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップと、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップと、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップと、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップと、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップと、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップと、を有し、
前記特徴歪み演算処理ステップは、前記入力画像と前記復号画像との各画素値の差と、前記各画素値の差の前記小領域内での平均値を求め、前記各画素値の差と前記平均値との差の絶対値の和に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理する
ことを特徴とする画像符号化方法。
【請求項８】
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップと、
前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップと、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップと、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップと、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップと、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップと、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップと、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップと、を有し、
前記領域分割処理ステップは、前記小領域の画素値に関する性質をブロックのアクティビティまたは分散を基に平坦ブロックか否かに分類し、前記小領域の特徴的な歪みを当該分類に応じて設定されている特徴歪みの閾値との比較に基づいて領域分割処理する
ことを特徴とする画像符号化方法。
【請求項９】
コンピュータに、
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップ、
前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップ、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップ、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップ、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップ、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップ、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップ、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップ、
を実行させ、
前記特徴歪み演算処理ステップでは、前記入力画像と前記復号画像との各画素値の差の分散に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理すること
を実行させるためのプログラム。
【請求項１０】
コンピュータに、
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップ、
前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップ、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップ、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップ、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップ、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップ、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップ、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップ、
を実行させ、
前記特徴歪み演算処理ステップでは、前記入力画像と前記復号画像との各画素値の差と、前記各画素値の差の前記小領域内での平均値を求め、前記各画素値の差と前記平均値との差の絶対値の和に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理すること
を実行させるためのプログラム。
【請求項１１】
コンピュータに、
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップ、
前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップ、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップ、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップ、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップ、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップ、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップ、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップ、
を実行させ、
前記領域分割処理ステップでは、前記小領域の画素値に関する性質をブロックのアクティビティまたは分散を基に平坦ブロックか否かに分類し、前記小領域の特徴的な歪みを当該分類に応じて設定されている特徴歪みの閾値との比較に基づいて領域分割処理することを実行させるためのプログラム。
【請求項１２】
コンピュータに、
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップ、
前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップ、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップ、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップ、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップ、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップ、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップ、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップ、
を実行させ、
前記特徴歪み演算処理ステップでは、前記入力画像と前記復号画像との各画素値の差の分散に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理すること
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１３】
コンピュータに、
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップ、
前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップ、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップ、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップ、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップ、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップ、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップ、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップ、
を実行させ、
前記特徴歪み演算処理ステップでは、前記入力画像と前記復号画像との各画素値の差と、前記各画素値の差の前記小領域内での平均値を求め、前記各画素値の差と前記平均値との差の絶対値の和に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理すること
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
コンピュータに、
入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップ、
前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップ、
復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップ、
前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップ、
前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップ、
領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップ、
前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップ、
前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップ、
を実行させ、
前記領域分割処理ステップでは、前記小領域の画素値に関する性質をブロックのアクティビティまたは分散を基に平坦ブロックか否かに分類し、前記小領域の特徴的な歪みを当該分類に応じて設定されている特徴歪みの閾値との比較に基づいて領域分割処理することを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画質劣化を抑えつつ、容量を削減することができる画像符号化装置及びその画像符号化方法に関するものである。
【０００２】
【従来の技術】
インターネットやデジタルカメラ等で、広く用いられている画質圧縮方式のほとんどが、画像のデータ容量を効率的に削減する不可逆圧縮方式である。不可逆圧縮方式により、ネットワークを介した画像データのやり取りや、画像データの蓄積等が容易になった。また、前記の不可逆画像圧縮方式には、たとえばＪＰＥＧ圧縮方式のように圧縮率を圧縮パラメータ設定によって、柔軟に調節することが可能な方式があり、画質を劣化させることによって圧縮率を高めたり、逆に圧縮率を下げることによって画質の劣化を抑えることが可能であるものがある。
【０００３】
また、圧縮パラメータを最適値に自動設定する画像圧縮装置として、たとえば特許第２８０７２２２号公報で開示されているものが挙げられる。ここで開示されている画像圧縮装置は入力画像である原画像と復元画像との間で減算して残差画像を作成し、この残差画像のデータより平均２乗誤差を計算し、これを画質評価値として圧縮パラメータを最適化するものであった。また、従来、表示端末等の特性を考慮せずに全画素領域を同じように圧縮するか、特開平８−２４２３７６号公報で開示されている画像処理装置のように表示端末等の特性を考慮に入れガンマ曲線を用いて表示端末等で詳細のわかりにくい画素領域のダイナミックレンジを拡大する補正をし、復号後の画質を向上させる技術があった。
【０００４】
また、画像を領域別に異なった画像圧縮方式を用いて符号化する画像符号化装置の例として、特開平６−２２５１６０号公報で開示されている画像データ圧縮装置が挙げられる。ここで開示されている画像データ圧縮装置は、入力画像データの所定領域内に含まれる色数の多さにより、画像圧縮方式を変えるものであり、所定領域内の色数が多ければその領域を可逆圧縮方式で圧縮すると圧縮データ容量が大きくなるため、その領域は、不可逆圧縮方式で圧縮し、逆に色数が少なければ可逆圧縮方式で圧縮するという技術を有していた。
【０００５】
【発明が解決しようとする課題】
しかしながら、前記不可逆画像圧縮方式は、画質と圧縮率を圧縮パラメータにより非常に柔軟に調節可能であるが、前記圧縮方式性能を十分活用しきれていなかった。その主な原因に圧縮パラメータが同じ値であっても、原画像によって圧縮後の画質、圧縮率が大きく異なるため、圧縮パラメータから圧縮後の画質を推測することが困難であったことが挙げられる。また、従来、圧縮パラメータを自動設定する装置もあったが、平均２乗誤差や、ＳＮ比を評価値として用いているので、人間の視覚特性を十分考慮したものではなかった。したがって、ユーザが許容しうる画質の範囲内で最高の圧縮率を必要とする場合は圧縮パラメータは手動で設定しなければならず、また圧縮後の画質を肉眼で確認しながら圧縮パラメータを調節しなければならなかった。
【０００６】
本発明は、視覚上劣化していると感じる画素領域を抽出して、その歪みの度合いのみを画質評価に用いるか又は、ブロックを性質により分類しそれぞれ別の評価基準を置くことで、人間の視覚特性を反映した圧縮パラメータの自動設定を可能とすることを目的とする。特にブロック単位で画像圧縮を行うＪＰＥＧ圧縮方式等のＤＣＴ変換技術を用いた画像圧縮方式では、基本的にはブロック毎に独立して圧縮が行われており、ブロック間で圧縮後の画質に影響があることがない。
【０００７】
そこで、本発明では、圧縮時に用いられるブロック単位で歪みを計算することにより、ブロック単位で画質の優劣を判定する評価法を示しており、局所的な画質劣化を的確に検出する。また、ＤＣＴ変換技術を用いた画像圧縮方式で圧縮した画質を、従来用いられていた平均２乗誤差やＳＮ比を用いると、画素値のアクティビティが小さい画像に対して評価値が小さく、アクティビティが大きい画像に対しては、評価値が大きくなる傾向があった。
【０００８】
ＤＣＴ変換を用いた画像圧縮特有の歪みとして、ブロックノイズ（ブロックの周辺が不連続になるノイズ）とモスキートノイズ（急峻なエッジ部周辺に発生するノイズ）がよく知られているが、ブロックノイズは、画素値のアクティビティが小さい画像に生じるが、前述のとおり、平均２乗誤差やＳＮ比では評価値が小さくなり、ブロックノイズを正確に検出することが難しい。また、ブロックノイズは、平坦化された（ＡＣ成分が０になっている）時に視覚的に目立つ傾向がある。
【０００９】
Ｘ方向Ｙ方向のＡＣ成分が全て０になっているブロックは、ブロック内の全画素値が一致する。また、Ｘ方向の全てのＡＣ成分が０になっているブロックは、ブロック内の全ての行内で画素値が一致し、Ｙ方向の全てのＡＣ成分が０になっているブロックは、ブロック内の全ての列内で画素値が一致する。そこで、本発明の画像符号化装置では、圧縮後の画像のブロックのブロック内の画素値の性質によりブロックを分類し、分類したブロック毎のブロックノイズの生じ易さを考慮にいれて評価基準をそれぞれ設定することでブロックノイズが生じるブロックを検出することが出来る。
【００１０】
また、モスキートノイズが発生するブロックは、従来の最小２乗誤差やＳＮ比の評価値も大きくなるが、アクティビティが大きいブロックは、モスキートノイズが発生しなくてもこれらの評価値は大きくなる場合があり、正しくモスキートノイズを検出することが出来ない。モスキートノイズは、ブロック内の一部の急峻なエッジの影響が、周辺に現れる現象であり、モスキートノイズが発生したブロックは、ブロック内の各画素の歪みにバラツキが大きくなる。
【００１１】
本発明は、原画と圧縮画像との画素値の差のバラツキを計算することにより、モスキートノイズを正しく検出することを可能にしている。また、従来、特開平８−２４２３７６号公報で開示されている画像処理装置のように表示端末等の特性を考慮に入れガンマ曲線を用いて表示端末等で詳細のわかりにくい画素領域のダイナミックレンジを拡大する補正をし、復号後の画質を向上させる技術はあったが、表示端末等の特性により劣化が目立ちにくい低画素領域のダイナミックレンジを削減することにより画素値全域のダイナミックレンジを削減した後、符号化処理をし、画像復号化装置で、復号画素値全域のダイナミックレンジを戻す画像符号化装置および画像復号化装置はなかった。
【００１２】
本発明の画像符号化装置は、たとえば。図８（ａ）のように、画素値が低い領域のダイナミックレンジを削減することにより、画素値全域のダイナミックレンジを削減する変換をした後、符号化処理を施すことにより、圧縮率を大幅にあげることを目的とする。また、本発明の画像符号化装置に対応する画像復号化装置は、復号化処理後、復号画像の画素値全域のダイナミックレンジを符号化前の画像の画素値全域のダイナミックレンジと等しくなるようにダイナミックレンジを拡大するものであり、この画像復号化装置と組み合わせて使うことにより、視覚上の画質を落とさずに圧縮率を大幅に高めることを目的とする。
【００１３】
本発明の画像符号化装置は、複数の画像圧縮方式を組み合わせる方式であり、圧縮性能が高い画像圧縮方式に重点を置き、前述の視覚的に劣化が目立つモスキートノイズ、ブロックノイズを正確に検出できる評価手法を用いて、圧縮性能の高い画像圧縮方式で視覚的に設定した一定以上の画質が確保できる領域は、全て圧縮性能の高い画像圧縮方式で圧縮し、他の領域中で次に圧縮性能の高い画像圧縮方式で同様に画質が保つことの出来る領域を検出し、その画像圧縮方式で圧縮すると圧縮効率の高い方式から順に圧縮する領域を決定していき、視覚的に一定以上の画質を保ち、最高の圧縮率を得ることを目的とする。
【００１４】
【課題を解決するための手段】
本発明は、入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理手段と、前記画像符号化処理手段により作成された符号化データを復号化処理する画像復号化処理手段と、復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理手段と、前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理手段と、前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理手段と、領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理手段と、前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化手段と、前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化手段と、を有し、以下の特徴を備えた画像符号化装置を提供する。
【００１５】
本発明では、前記特徴歪み演算処理手段は、前記入力画像と前記復号画像との各画素値の差の分散に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理することを特徴とする画像符号化装置を提供する。
【００１６】
また、本発明では、前記特徴歪み演算処理手段は、前記入力画像と前記復号画像との各画素値の差と、前記各画素値の差の前記小領域内での平均値を求め、前記各画素値の差と前記平均値との差の絶対値の和に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理することを特徴とする画像符号化装置を提供する。
【００１７】
また、本発明では、前記領域分割処理手段は、前記小領域の画素値に関する性質をブロックのアクティビティまたは分散を基に平坦ブロックか否かに分類する手段を有し、前記小領域の特徴的な歪みを当該分類に応じて設定されている特徴歪みの閾値との比較に基づいて領域分割処理することを特徴とする画像符号化装置を提供する。
【００１８】
また、本発明では、前記小領域がブロック単位であり、前記分類する手段は、平坦ブロックを、全ての画像が一致している完全平坦ブロックと、完全平坦ブロック以外で全ての列内または全ての行内で画素値が一致しているブロックとに、さらに分類し、前記小領域を、全ての画像が一致している完全平坦ブロックと、完全平坦ブロック以外で全ての列内または全ての行内で画素値が一致しているブロックと、それら以外のブロックとに分類することを特徴とする画像符号化装置を提供する。
【００１９】
また、本発明は、入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップと、前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップと、復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップと、前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップと、前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップと、領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップと、前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップと、前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップと、を有し、前記特徴歪み演算処理ステップは、前記入力画像と前記復号画像との各画素値の差の分散に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理することを特徴とする画像符号化方法を提供する。
【００２０】
また、本発明は、入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップと、前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップと、復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップと、前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップと、前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップと、領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップと、前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップと、前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップと、を有し、前記特徴歪み演算処理ステップは、前記入力画像と前記復号画像との各画素値の差と、前記各画素値の差の前記小領域内での平均値を求め、前記各画素値の差と前記平均値との差の絶対値の和に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理することを特徴とする画像符号化方法を提供する。
【００２１】
また、本発明は、入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップと、前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップと、復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップと、前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップと、前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップと、領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップと、前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップと、前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップと、を有し、前記領域分割処理ステップは、前記小領域の画素値に関する性質をブロックのアクティビティまたは分散を基に平坦ブロックか否かに分類し、前記小領域の特徴的な歪みを当該分類に応じて設定されている特徴歪みの閾値との比較に基づいて領域分割処理することを特徴とする画像符号化方法を提供する。
さらに、本発明は、コンピュータにこれら画像符号化方法をそれぞれ実行させるためのプログラム、およびこれら画像符号化方法をそれぞれ実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を図１を用いて、以下で用いる画像のブロックと画素の表記法について説明する。画像０１０１はブロックに分割され、ブロックには左上から右下にかけて番号が付けられている。各ブロックは、ｍ画素×ｎ画素（ｍ，ｎは任意の自然数）であり、ブロック内の画素はブロック０１０２のように座標で表される。
【００２３】
また、図２を用いて、以下で用いる平坦ブロックを定義する。平坦ブロックとは、ブロック内で画素値の変化が小さく高周波成分が所定の閾値よりも少ないブロックのことであるとする。平坦ブロックは、ブロック内のたとえば画素値のアクティビティの大きさや、分散の大きさ等を用いて決定することができる。具体的には、数式１に示すようなブロック内の画素値のアクティビティａや、ブロック内の画素値の分散σ等を計算し、その値の大きさにより平坦ブロックかどうかを判定することができる。
【００２４】
【数１】
0003717858.tif 000002
【００２５】
図２（ａ），（ｂ），（ｃ）はそれぞれブロックを表している。ブロックの小さな区切りは画素を表している。したがってブロックは８画素×８画素のブロックであることになるが、ｎ画素×ｍ画素のブロックであれば良い。（ｎ，ｍは自然数）また、ブロック内の各画素に付けられた模様は画素値を表している。
【００２６】
ブロック（ａ）は、横方向に隣り合う全ての画素値が一致している。ブロック（ｂ）は、縦方向に隣り合う全ての画素値が一致している。このように、縦方向、横方向の少なくとも一方向の隣り合う画素値が一致しているブロックを以下の説明で言う平坦ブロックの定義とする。また、平坦ブロックの中でもブロック（ｃ）のように、ブロック内の全画素値が一致しているブロックを特に完全平坦ブロックと呼ぶことにする。また、平坦ブロック、完全平坦ブロック以外のブロックを一般ブロックと呼ぶことにする。
【００２７】
（第一の実施の形態）図３は、本発明の第一の実施の形態の画像符号化装置の構成を示す図である。画像符号化装置０３０２は、入力画像バッファ０３０４、画像符号化処理部０３０５、符号化データバッファ０３０６、画像復号化処理部０３０７、復号画像バッファ０３０８、特徴画素抽出処理部０３０９、特徴画素データバッファ０３１０、特徴歪み演算処理部０３１１、符号化パラメータ制御部０３１２から構成されている。また、画像符号化装置０３０２は画像入力装置０３０１から画像データを受け取り、データ出力装置０３０３に符号化データを出力する。
【００２８】
入力画像バッファ０３０４は、画像入力装置０３０１から入力された入力画像データを格納する。画像符号化処理部０３０５は、入力画像バッファ０３０４から入力画像データを読み込み符号化データを出力する。符号化データバッファ０３０６は、画像符号化処理部０３０５から出力された符号化データを格納する。画像復号化処理部０３０７は、符号化データバッファ０３０６から符号化データを読み込み復号画像データを出力する。復号画像バッファ０３０８は、画像復号化処理部０３０７から出力された復号画像データを格納する。
【００２９】
特徴画素抽出処理部０３０９は、入力画像バッファ０３０４と復号画像バッファ０３０８からそれぞれ入力画像データと復号画像データを読み込み、特徴画素を抽出し、抽出した特徴画素データを出力する。特徴画素とは、歪みの計算に用いる画素のことである。特徴ブロックは、ブロック内の全画素が特徴画素であるブロックのことをいう。特徴画素データバッファ０３１０は、特徴画素抽出処理部０３０９から出力された特徴画素データを格納する。特徴歪み演算処理部０３１１は、特徴画素データバッファ０３１０から、特徴画素データを読み込み、特徴歪み演算を行い、特徴歪みデータを出力する
【００３０】
符号化パラメータ制御部０３１２は、特徴歪み演算処理部０３１１から出力された特徴歪みデータを受け取り、データ圧縮の度合いを決定するパラメータ値を決定する。入力画像バッファ０３０４、符号化データバッファ０３０６、復号画像バッファ０３０８、特徴画素データバッファ０３１０は、フラッシュメモリ、ハードディスク等のＲＡＭ（ランダムアクセスメモリ）によって、画像符号化処理部０３０５、画像復号化処理部０３０７、特徴画素抽出処理部０３０９、特徴歪み演算処理部０３１１および符号化パラメータ制御部０３１２は、たとえばそれぞれ独立した回路によって実現される。また、たとえばコンピュータ等の演算処理回路によって実現される仮想回路とされてもよい。画像符号化処理部０３０５と画像復号化処理部０３０７は、任意の小領域単位で処理を行い、かつデータ圧縮の度合いをパラメータで調節できる不可逆圧縮方式であればどのようなものでも良い。
【００３１】
以下、前記不可逆圧縮方式の一例であるＪＰＥＧ圧縮方式を用いて説明を行う。画像符号化装置０３０２の処理の流れを図４に示した。ＪＰＥＧ圧縮方式の量子化パラメータＱとその最大値Ｑmaxと最小値Ｑminの初期値と特徴歪みの度合いＳＮの閾値ＳＮthをステップＳ０４０２で設定する。ステップＳ０４０３で入力画像データをメモリに格納し、必要に応じて参照できるようにする。画像符号化処理部０３０５において、ステップＳ０４０４で、量子化パラメータＱを用いて入力画像データのＪＰＥＧ符号化を行い、ステップＳ０４０５で符号化データを復号化して得られる復号画像をステップＳ０４０６でメモリに格納し、必要に応じて参照できるようにする。
【００３２】
特徴画素抽出処理部０３０９において、ステップＳ０４０７で、入力画像で平坦ブロックになっていない一般ブロックを検索し、対応する復号画像が平坦ブロックになっていれば、そのブロック内の入力画像と復号画像の画素を特徴画素として抽出する。すなわち、圧縮により、一般ブロックから平坦ブロックに変化したブロックの画素を特徴画素として抽出している。特徴歪み演算処理部０３１１において、ステップＳ０４０８で、数式２で示すように抽出された特徴画素に対して、入力画像と復号画像との画素値の差の分散をブロック単位でそれぞれ計算しその最大値をそのブロックの特徴歪みの度合いＳＮとする。なお、数式２のＳＮiの代わりに数式３のＳＮiを用いても良い。
【００３３】
【数２】
0003717858.tif 000003
【００３４】
【数３】
0003717858.tif 000004
【００３５】
符号化パラメータ制御部０３１２において、ステップＳ０４０９でＳＮが設定した閾値ＳＮthより大きいかどうかを判定し、大きければステップＳ０４１０でＱmaxに量子化パラメータＱの値を、それ以外の場合はステップＳ０４１１でＱminにＱの値を代入し、Ｑの範囲を絞っていく。ステップＳ０４１２では、量子化パラメータＱの範囲が絞られたことによって収束したかどうか判定する。ＱmaxとＱminの差が２より小さいかどうかを判定し、小さくなければ収束していないとみなされステップＳ０４１３で量子化パラメータＱがＱminとＱmaxとの平均値に設定されステップＳ０４０４からステップＳ０４１２までの処理が再び行われ、小さければ量子化パラメータＱが収束したとみなされステップＳ０４１４でＱに最適値としてＱminが代入されステップＳ０４１５でＪＰＥＧ符号化が行われ出力符号化データがデータ出力装置０３０３に出力される。なお、量子化パラメータＱの最適値をサーチするのに、ステップＳ０４１２、ステップＳ０４１３、ステップＳ０４１４で、バイナリサーチを構成しているが、これは他のどのようなサーチ手法と置き換えても良い。
【００３６】
（第二の実施の形態）第二の実施の形態の画像符号化装置の構成は、第一の実施の形態の画像符号化装置と同様に図３で表されるため、構成図の説明は省略する。画像符号化装置０３０２の処理の流れを図５に示した。ＪＰＥＧ圧縮方式の量子化パラメータＱとその最大値Ｑmaxと最小値Ｑminの初期値と完全平坦ブロック、完全平坦ブロック以外の平坦ブロック、一般ブロックの特徴歪みの度合いをそれぞれＳＮ１、ＳＮ２、ＳＮ３とし、それぞれの閾値をＳＮ１th、ＳＮ２th、ＳＮ３thとして、ステップＳ０５０２で設定する。
【００３７】
ステップＳ０５０３で入力画像データをメモリに格納し、必要に応じて参照できるようにする。画像符号化処理部０３０５において、入力画像データをステップＳ０５０４で量子化パラメータＱを用いてＪＰＥＧ符号化を行い符号化データをステップＳ０５０５で復号化して得られる復号化画像をステップＳ０５０６でメモリに格納し、必要に応じて参照できるようにする。特徴画素抽出処理部０３０９において、ステップＳ０５０７で、復号画像の各ブロックを完全平坦ブロック、完全平坦ブロック以外の平坦ブロック、一般ブロックに分類し、ブロック内の入力画像と復号画像の画素を特徴画素として分類して抽出する。
【００３８】
特徴歪み演算処理部０３１１において、ステップＳ０５０８で、数式４で示すように完全平坦ブロックに分類されて抽出された特徴画素に対して、入力画像と復号画像との画素値の差の分散をブロック単位でそれぞれ計算しその最大値を完全平坦ブロックの特徴歪みの度合いＳＮ１とする。同様にして、完全平坦ブロック以外の平坦ブロックの特徴歪みの度合いＳＮ２と一般ブロックの特徴歪みの度合いＳＮ３を計算する。なお、数式４のＳＮ１iの代わりに数式５のＳＮ１iを用いても良い。
【００３９】
【数４】
0003717858.tif 000005
【００４０】
【数５】
0003717858.tif 000006
【００４１】
符号化パラメータ制御部０３１２において、ステップＳ０５０９、ステップＳ０５１０、ステップＳ０５１１で、それぞれＳＮ１、ＳＮ２、ＳＮ３が設定した閾値ＳＮ１th、ＳＮ２th、ＳＮ３thより大きいか判定し、すべて小さければ、ステップＳ０５１２でＱminにＱの値を、それ以外の場合はステップＳ０５１３でＱmaxにＱの値を代入し、Ｑの範囲をしぼっていく。ステップＳ０５１４では、量子化パラメータＱの範囲が絞られたことによって収束したかどうか判定をおこなっており、ＱmaxとＱminの差が２より小さいかどうかを判定し、小さくなければ収束していないとみなされ、ステップＳ０５１５で量子化パラメータＱがＱminとＱmaxとの平均値に設定されてステップＳ０５０４からステップＳ０５１４までの処理が再び行われ、小さければ量子化パラメータＱが収束したとみなされステップＳ０５１６でＱに最適値としてＱminが代入されステップＳ０５１７でＪＰＥＧ符号化が行われ出力符号化データがデータ出力装置０３０３に出力される。なお、量子化パラメータＱの最適値をサーチするのに、ステップＳ０５１４、ステップＳ０５１５、ステップＳ０５１６で、バイナリサーチを構成しているが、これは他のどのようなサーチ手法と置き換えても良い。
【００４２】
（第三の実施の形態）図６、図７はそれぞれ本発明による画像符号化装置と画像復号化装置の構成を示す図である。画像符号化装置０６０２は、入力画像バッファ０６０４、画素値変換テーブル作成部０６０５、画素値変換テーブルバッファ０６０６、画素値変換処理部０６０７、画素値変換画像バッファ０６０８、画像符号化処理部０６０９、符号化データバッファ０６１０から構成されており、画像入力装置０６０１から画像データを受け取り、データ出力装置０６０３に符号化データを出力する。また、画像復号化装置０７０２は入力データバッファ０７０４、画像復号化処理部０７０５、復号画像バッファ０７０６、画素値逆変換テーブル作成部０７０７、画素値逆変換テーブルバッファ０７０８、画素値逆変換処理部０７０９、画素値逆変換画像バッファ０７１０から構成されており、データ入力装置０７０１から符号化データを受け取り、画像出力装置０７０３に復元画像を出力する。
【００４３】
ここで、画像符号化装置０６０２内の各部の説明を行う。入力画像バッファ０６０４は、画像入力装置０６０１から入力された入力画像データを格納する。画素値変換テーブル作成部０６０５は、画素値変換テーブルデータ（図８及び図９で後述する）を作成し出力する。画素値変換テーブルバッファ０６０６は、画素値変換テーブル作成部０６０５から出力された画素値変換テーブルデータを格納する。
【００４４】
画素値変換処理部０６０７は、入力画像バッファ０６０４と画素値変換テーブルバッファ０６０６からそれぞれ入力画像データと画素値変換テーブルデータを読み込み入力画像の画素値変換を行い画素値変換画像データを出力する。画素値変換画像バッファ０６０８は、画素値変換処理部０６０７から出力された画素値変換画像データを格納する。画像符号化処理部０６０９は、画素値変換画像バッファ０６０８から画素値変換画像データを読み込み、符号化を行い符号化データを出力する。符号化データバッファ０６１０は画像符号化処理部０６０９から出力された符号化データを格納する。
【００４５】
ここで、画像復号化装置０７０２の各部について説明する。入力データバッファ０７０４は、データ入力装置０７０１から入力された入力符号化データを格納する。画像復号化処理部０７０５は、入力データバッファ０７０４から入力符号化データを読み込み復号し復号画像データを出力する。復号画像バッファ０７０６は、画像復号化処理部０７０５から出力された復号画像データを格納する。
【００４６】
画素値逆変換テーブル作成部０７０７は、画素値逆変換テーブルデータを作成し出力する。画素値逆変換テーブルバッファ０７０８は、画素値逆変換テーブル作成部０７０７から出力された画素値逆変換テーブルデータを格納する。画素値逆変換処理部０７０９は、復号画像バッファ０７０６と画素値逆変換テーブルバッファ０７０８からそれぞれ復号画像データと画素値逆変換テーブルデータを入力し画素値逆変換を行い画素値逆変換画像を出力する。画素値逆変換画像バッファ０７１０は、画素値逆変換処理部０７０９から出力された画素値逆変換画像データを格納する。
【００４７】
入力画像バッファ０６０４、画素値変換テーブルバッファ０６０６、画素値変換画像バッファ０６０８、符号化データバッファ０６１０、入力データバッファ０７０４、復号画像バッファ０７０６、画素値逆変換テーブルバッファ０７０８、画素値逆変換画像バッファ０７１０は、フラッシュメモリ、ハードディスク等のＲＡＭ（ランダムアクセスメモリ）によって、画素値変換テーブル作成部０６０５、画素値変換処理部０６０７、画像符号化処理部０６０９、画像復号化処理部０７０５、画素値逆変換テーブル作成部０７０７、画素値逆変換処理部０７０９は、たとえばそれぞれ独立した回路によって実現される。また、たとえばコンピュータ等の演算処理回路によって実現される仮想回路とされてもよい。
【００４８】
以下で用いられる画素値変換テーブルと画素値逆変換テーブルは、それぞれ画素値変換関数と画素値逆変換関数から作成される。画素値変換関数は、線形または非線形な関数であり、画素値逆変換関数は、基本的には画素値変換関数の逆関数（ｙ＝ｘに対して対象）である。画素値変換関数と画素値逆変換関数の組み合わせの一例を図８に示す。（ａ）は画素値変換関数、（ｂ）は画素値逆変換関数である。画素値変換関数（ａ）は、ガンマ曲線の傾きが１以下の領域（γ＜１）と傾き１の直線を組み合わせもので、表示端末等の特性を利用し低画素域のダイナミックレンジを効率的に減少させている。画素値逆変換関数（ｂ）は、画素値変換関数（ａ）の逆関数である。画素値変換関数（ａ）から図９の画素値変換テーブルが得られる。
【００４９】
画素値変換テーブルより全体の画素値域が０〜２５５から０〜１９１に削減されたのがわかる。画素値逆関数テーブルは、画素値変換テーブルの入力と出力を入れ替えたものになる。なお、画素値変換関数は任意の関数であり、対応する画素値逆変換関数は画素値変換関数の基本的には逆関数であるが、明るさ改善、ノイズ除去等の目的により逆関数にしなくても良い。画像符号化装置０６０２、画像復号化装置０７０２の処理の流れを図１０に示した。
【００５０】
まず、画像符号化装置０６０２の処理の流れを説明する。ステップＳ１００２で入力画像データをメモリに格納し、必要に応じて参照できるようにする。画素値変換テーブル作成部０６０５において、ステップＳ１００３で画素値変換テーブルを画素値変換関数から作成し、ステップＳ１００４で画素値変換テーブルデータをメモリに格納し、必要に応じて参照できるようにする。
【００５１】
次に画素値変換処理部０６０７において、入力画像データの画素を画素値変換テーブルデータによりステップＳ１００５で画素値変換を行い、画素値変換後の画素値変換画像をステップＳ１００６でメモリに格納する。画像符号化処理部０６０９において、ステップＳ１００７でメモリ内の画素値変換画像を読み込み、ＪＰＥＧ符号化し出力符号化データをデータ出力装置０６０３に出力する。
【００５２】
次に、画像復号化装置０７０２の処理の流れを説明する。データ入力装置０７０１からステップＳ１０１０で入力符号化データをメモリに格納する。画素値逆変換テーブル作成部０７０７において、ステップＳ１０１１で、画素値逆変換テーブルを作成し、ステップＳ１０１２で画素値逆変換テーブルメモリに格納する。画像復号化処理部０７０５においてステップＳ１０１３でＪＰＥＧ復号化を行い、ステップＳ１０１４で復号画像をメモリに格納する。次に、画素値逆変換処理部０７０９においてステップＳ１０１５で、メモリ内から復号画像と画素値逆変換テーブルを読み込み、画素値逆変換画像を復元画像として画像出力装置０７０３に出力する。
【００５３】
（第四の実施の形態）図１１、図１２は、本発明による画像符号化装置の構成を示す図である。入力画像バッファ１１０４は、入力画像バッファ１２０１と、領域分割画像符号化装置１１０６は、領域分割画像符号化装置１２０５と、領域１画像符号化装置１１０８は、領域１画像符号化装置１２０３と、領域２画像符号化装置１１１０は、領域２画像符号化装置１２０４と、それぞれ同一のバッファまたは装置を表している。
【００５４】
画像符号化装置１１０２は、画像入力装置１１０１から入力画像を受け取り、データ出力装置１１０３に接合符号化データを出力する。画像符号化装置１１０２は、入力画像バッファ１１０４（１２０１）、領域分割部１１０５、領域分割画像符号化装置１１０６（１２０５）、領域分割符号化データバッファ１１０７、領域１画像符号化装置１１０８（１２０３）、領域１符号化データバッファ１１０９、領域２画像符号化装置１１１０（１２０４）、領域２符号化データバッファ１１１１、符号化データ接合処理部１１１２、接合符号化データバッファ１１１３、から構成されている。
【００５５】
図１２は、領域分割部１１０５の構成を示している。図１１の領域分割部１１０５は、図１２では、領域分割部１２０２に相当する。領域分割部１１０５（１２０２）は、画像符号化処理部１２０６、符号化データバッファ１２０７、画像復号化処理部１２０８、復号画像バッファ１２０９、ブロック抽出処理部１２１０、抽出ブロックデータバッファ１２１１、特徴歪み演算処理部１２１２、領域分割処理部１２１３、領域分割画像バッファ１２１４、領域画像作成処理部１２１５、領域１画像バッファ１２１６、領域２画像バッファ１２１７から構成されている。
【００５６】
入力画像バッファ１１０４は、画像入力装置１１０１から入力された入力画像データを格納する。画像符号化処理部１２０６は、入力画像バッファ１１０４（１２０１）から入力画像データを受け取り、画像符号化を行い、符号化データを符号化データバッファ１２０７に書き込む。画像復号化処理部１２０８は、符号化データバッファ１２０７から符号化データを読み込み、復号を行い復号化画像を復号画像バッファ１２０９に書き込む。
【００５７】
ブロック抽出処理部１２１０は、入力画像バッファ１１０４（１２０１）から、入力画像データを復号画像バッファから復号画像データを読み込み、ブロック内画素を抽出し、抽出画素を抽出ブロックデータバッファ１２１１に書き込む。特徴歪み演算処理部１２１２は、抽出ブロックデータバッファ１２１１から抽出ブロックデータを読み込み、特徴歪み演算を行い、特徴歪みデータを出力する。領域分割処理部１２１３は、特徴歪みデータの大きさにより、領域分割を行い、領域分割画像データを領域分割画像バッファ１２１４に書き込む。領域画像作成処理部１２１５は、領域分割画像バッファ１２１４、入力画像バッファ１２０１からそれぞれ領域分割画像データと入力画像データを読み込み領域分割画像データにしたがって、領域１画像データ、領域２画像データを作成し、それぞれ領域１画像バッファ１２１６、領域２画像バッファ１２１７に書き込む。
【００５８】
領域分割画像符号化装置１１０６（１２０５）は、領域分割画像データを領域分割画像バッファ１２１４から読み込み符号化を行い、符号化データを領域分割画像符号化データとして領域分割符号化データバッファ１１０７に書き込む。領域１画像符号化装置１１０８（１２０３）は、領域１画像データを領域１画像バッファ１２１６から読み込み、符号化を行い、符号化データを領域１符号化データとして、領域１符号化データバッファ１１０９に書き込む。領域２画像符号化装置１１１０（１２０４）は、領域２画像データを領域２画像バッファ１２１７から読み込み、符号化を行い、符号化データを領域２符号化データとして、領域２符号化データバッファ１１１１に書き込む。
【００５９】
符号化データ接合処理部１１１２は、領域分割画像符号化データ、領域１符号化データ、領域２符号化データをそれぞれ、領域分割符号化データバッファ１１０７、領域１符号化データバッファ１１０９、領域２符号化データバッファ１１１１から読み込み、これら３つの符号化データを１つに接合し、接合符号化データを作り、接合符号化データバッファ１１１３に書き込み、データ出力装置１１０３に出力する。
【００６０】
図１３は、本発明による画像復号化装置の構成を示す図である。画像復号化装置１３０２は、入力データバッファ１３０４、符号化データ分離処理部１３０５、領域分割画像復号化装置１３０６、領域１画像復号化装置１３０８、領域２画像復号化装置１３１０、領域分割復号画像バッファ１３０７、領域１復号画像バッファ１３０９、領域２復号画像バッファ１３１１、復号画像データ接合処理部１３１２、接合復号画像バッファ１３１３から構成されており、データ入力装置１３０１から、符号化データを受け取り接合復号画像データを画像出力装置１３０３に出力する。
【００６１】
入力データバッファ１３０４は、データ入力装置１３０１から入力された入力データを格納する。符号化データ分離処理部１３０５は、入力データバッファ１３０４から、入力データを読み込み、入力データを、領域分割画像符号化データ、領域１画像符号化データ、領域２画像符号化データに分離し、それぞれ領域分割画像復号化装置１３０６、領域１画像復号化装置１３０８、領域２画像復号化装置１３１０に出力する。
【００６２】
領域分割画像復号化装置１３０６は、符号化データ分離処理部１３０５から、領域分割画像符号化データを受け取り、復号して得られた復号画像を領域分割復号画像として、領域分割復号画像バッファ１３０７に書き込む。領域１画像復号化装置１３０８は、符号化データ分離処理部１３０５から、領域１画像符号化データを受け取り、復号して得られた復号画像を領域１復号画像として、領域１復号画像バッファ１３０９に書き込む。領域２画像復号化装置１３１０は、符号化データ分離処理部１３０５から、領域２画像符号化データを受け取り、復号して得られた復号画像を領域２復号画像として、領域２復号画像バッファ１３１１に書き込む。
【００６３】
復号画像データ接合処理部１３１２は、領域分割復号画像バッファ１３０７、領域１復号画像バッファ１３０９、領域２復号画像バッファ１３１１から、それぞれ領域分割復号画像データ、領域１復号画像データ、領域２復号画像データを読み込み、それらを接合して接合復号画像データとして、接合復号画像バッファ１３１３に書き込み、画像出力装置１３０３に出力する。
【００６４】
入力画像バッファ１１０４（１２０１）、領域分割符号化データバッファ１１０７、領域１符号化データバッファ１１０９、領域２符号化データバッファ１１１１、接合符号化データバッファ１１１３、符号化データバッファ１２０７、復号画像バッファ１２０９、抽出ブロックデータバッファ１２１１、領域分割画像バッファ１２１４、領域１画像バッファ１２１６、領域２画像バッファ１２１７、入力データバッファ１３０４、領域分割復号画像バッファ１３０７、領域１復号画像バッファ１３０９、領域２復号画像バッファ１３１１、接合復号画像バッファ１３１３は、フラッシュメモリ、ハードディスク等のＲＡＭ（ランダムアクセスメモリ）によって、領域分割画像符号化装置１１０６（１２０５）、領域１画像符号化装置１１０８（１２０３）、領域２画像符号化装置１１１０（１２０４）、符号化データ接合処理部１１１２、画像符号化処理部１２０６、画像復号化処理部１２０８、ブロック抽出処理部１２１０、特徴歪み演算処理部１２１２、領域分割処理部１２１３、領域画像作成処理部１２１５、符号化データ分離処理部１３０５、領域分割画像復号化装置１３０６、領域１画像復号化装置１３０８、領域２画像復号化装置１３１０、復号画像データ接合処理部１３１２は、たとえばそれぞれ独立した回路によって実現される。また、たとえばコンピュータ等の演算処理回路によって実現される仮想回路とされてもよい。
【００６５】
領域画像作成処理部１２１５で行われる処理は、たとえば図１８に示すように入力画像１８０２の各ブロックを領域分割画像によりどの領域になるのか判断し、ブロックの番号順にブロックをコピーし領域１画像１８０１、領域２画像１８０３を作成する。復号画像データ接合処理部１３１２では、領域分割復号画像にしたがって、逆の作業を行えば良い。このように、領域分割画像は各領域画像の各ブロックが、入力画像のどのブロックに対応するのかわかる形式であれば画像以外も含めてどのようなものでもよい。
【００６６】
領域の分割数は、２となっているが制限はない。領域分割画像復号化装置１３０６、領域１画像復号化装置１３０８、領域２画像復号化装置１３１０は、それぞれ領域分割画像符号化データ、領域１符号化データ、領域２符号化データを復号できなければならない。領域１画像符号化装置１１０８と、画像符号化処理部１２０６の同一の画像符号化方式でなければならず、その画像符号化方式は、たとえば、ＪＰＥＧ圧縮方式のように小領域単位で処理を行うことが可能な不可逆圧縮方式であればどのようなものでも良い。
【００６７】
また、領域分割画像符号化装置１１０６は、可逆符号化方式であれば何を用いても良い。領域１以外の領域の画像符号化は、目的に合った画質を確保できるどのような符号化方式を用いても良い。符号化データ接合処理部１１１２で作成される接合符号化データは、分割符号化データ、各領域符号化データを１つにまとめたもので、接合符号化データは、元の分割符号化データ、各領域符号化データに分離できるだけの情報を含んでいればどのような形式でもよい、たとえば、図１７に示すように、ヘッダ部に元の各符号化データの容量、入力画像の縦横サイズの情報を持たせ、本体部は元の各符号化データを並べたもので良い。
【００６８】
領域１画像符号化装置１１０８、領域２画像符号化装置１１１０は、単に符号化に必要なパラメータをある値にして符号化を行うものでも良い。また、第一の実施の形態、第二の実施の形態で説明した画像符号化装置のように符号化に必要なパラメータを最適化して符号化を行うもの、第三の実施の形態で説明した画像符号化装置のように符号化前に画像処理を施すものなど、符号化以外にどのような特徴を持ったものでもよい。
【００６９】
以下、領域分割画像符号化装置１１０６、領域２画像符号化装置１１１０、領域分割画像復号化装置１３０６、領域２画像復号化装置１３１０は、ハフマン符号化方式を用い、領域１画像符号化装置１１０８は、第二の実施の形態で挙げたＪＰＥＧ圧縮方式を用いた画像符号化装置０３０２を用い、領域１画像復号化処理装置１３０８は、ＪＰＥＧ圧縮方式を用いた例で説明する。
【００７０】
画像符号化装置１１０２の処理の流れを図１４に示した。ＪＰＥＧ圧縮方式の量子化パラメータＱと完全平坦ブロック、平坦ブロック、一般ブロックの特徴歪みＳＮの閾値ＳＮ１th、ＳＮ２th、ＳＮ３thをステップＳ１４０２で設定する。画像入力装置１１０１から入力された画像をステップＳ１４０３で入力画像バッファ１１０４（１２０１）に格納する。
【００７１】
画像符号化処理部１２０６において、ステップＳ１４０４で量子化パラメータＱでＪＰＥＧを行い、画像復号化処理部１２０８において、ステップＳ１４０５でステップＳ１４０４で符号化したデータを復号化する。復号化された復号画像データは、ステップＳ１４０６で復号画像バッファ１２０９に格納される。ステップＳ１４０７で入力画像をブロック（８×８画素）に分けたときの縦横のブロック数すべてに対応する縦横の画素数のための領域分割画像用のメモリ領域を確保する。
【００７２】
ステップＳ１４０８の領域分割を行うが、その詳細な処理の流れを図１５に示した。ステップＳ１５０２で、ブロックの番号を示すｎに０を代入する。ブロック抽出処理部１２１０で、ステップＳ１５０３を行い、入力画像データと復号画像データのｎ番目のブロックを抽出して、抽出ブロックデータバッファ１２１１にブロックの画素値を格納する。特徴歪み演算処理部１２１２で、ステップＳ１５０４を行い、ｎ番目のブロックの数式６で表される特徴歪みＳＮを計算する。
【００７３】
【数６】
0003717858.tif 000007
【００７４】
領域分割処理部１２１３では、まずステップＳ１５０５、Ｓ１５０７により、復号画像のｎ番目のブロックが完全平坦ブロック、完全平坦ブロック以外の平坦ブロック、一般ブロックにより分岐させ、Ｓ１５０６、Ｓ１５０８、Ｓ１５０９のいずれかで、ブロックの種類に応じた特徴歪みの閾値により評価され、閾値より小さければ、ＪＰＥＧ方式で符号化する領域１となり、ステップＳ１５１０により領域分割画像のｎ番目の画素値を０にする。閾値以上であれば、ハフマン符号化方式で符号化する領域２となり、ステップＳ１５１１により領域分割画像のｎ番目の画素値を１にして領域分割画像バッファ１２１４に書き込む。
【００７５】
ステップＳ１５１２は、ｎをインクリメントし次のブロックの番号に更新している。ステップＳ１５１３は、ブロックの番号ｎが全ブロック数Ｎとの大小を比較し、全てのブロックの評価が終わったかどうか判定している。ステップＳ１５０３からステップＳ１５１３までを繰り返し、全ブロックに対して領域分割が終了すると、領域画像作成処理部１２１５で、ステップＳ１４０９を行い、領域分割画像を用いて、図１８に示すように、領域１の入力画像のブロックを横一列に並べた領域１画像データと、領域２の入力画像のブロックを横一列に並べた領域２画像データを作成する。
【００７６】
領域１画像符号化装置１１０８において、ステップＳ１４１０で領域１画像データをＪＰＥＧ量子化パラメータを最適化して符号化し、符号化データを領域１符号化データとして、Ｓ１４１１で領域１符号化データバッファ１１０９に格納する。なお、領域１画像符号化装置１１０８は、第二の実施の形態で挙げた画像符号化装置０３０２なので、その処理であるステップＳ１４１０の細かい処理の流れは省略した。
【００７７】
次に、領域分割画像符号化装置１１０６と領域２画像符号化装置１１１０において、ステップＳ１４１２で、領域分割画像データおよび領域２画像データをハフマン符号化し、Ｓ１４１３で領域分割画像符号化データを領域分割符号化データバッファ１１０７に、領域２符号化データを領域２符号化データバッファ１１１１に格納する。符号化データ接合処理部１１１２において、ステップＳ１４１４で領域分割画像符号化データ、領域１符号化データ、領域２符号化データを図１７に示すような１つの接合符号化データに接合し、接合符号化データをデータ出力装置１１０３に出力する。
【００７８】
次に、画像復号化装置１３０２の処理の流れを図１６に示した。データ入力装置１３０１から入力された入力データをステップＳ１６０２で入力データバッファ１３０４に格納する。符号化データ分離処理部１３０５において、ステップＳ１６０３により、領域分割画像符号化データ、領域１画像符号化データ、領域２画像符号化データに分離する。領域分割画像復号化装置１３０６と領域２画像復号化装置１３１０において、ステップＳ１６０４のハフマン復号化を行いステップＳ１６０５で領域分割復号画像データを領域分割復号画像バッファ１３０７に、領域２復号画像データを領域２復号画像バッファ１３１１に格納する。
【００７９】
領域１画像復号化装置１３０８において、ステップＳ１６０６で領域１符号化データを復号し、復号された領域２復号画像をステップＳ１６０７で領域２復号画像データバッファに格納する。復号画像データ接合処理部１３１２において、ステップＳ１６０８で領域分割復号画像の画素値により、対応するブロックに領域１復号画像のブロックと領域２復号画像のブロックをコピーしていき、復号画像である接合復号画像データが作成し、画像出力装置１３０３に出力する。ステップＳ１６０９で終了する。なお、本発明は上記実施の形態に限定されるものではない。第三の実施の形態は他の実施の形態と組合せてもよい。
【００８０】
【発明の効果】
本発明の画像符号化装置は、不可逆画像圧縮方式の復号画像の画質評価指標として、復号画像で人間が劣化を感じやすい部分を抽出し解析することにより、復号画像の画質を的確に評価でき、視覚的に一定以上の画質で最高の圧縮率を得ることができる。さらに、ユーザは求める復号画像の画質の度合いを設定すれば、符号化パラメータを最適値に自動設定して求める画質内で最適な圧縮率を得ることができる。また、本発明の画像符号化装置に対応する画像復号化装置は、前記画像符号化装置と組み合わせて使うことにより、視覚上の画質を落とさずに圧縮率を大幅に高めることができる。
【図面の簡単な説明】
【図１】画像のブロックと画素の表記法を説明する図である。
【図２】平坦ブロックを説明する図である。
【図３】本発明の第一の実施の形態の画像符号化装置の構成を示す図である。
【図４】第一の実施の形態の画像符号化装置の処理の流れを示すフロー図である。
【図５】第二の実施の形態の画像符号化装置の処理の流れを示すフロー図である。
【図６】第三の実施の形態の画像符号化装置の構成を示す図である。
【図７】第三の実施の形態の画像復号化装置の構成を示す図である。
【図８】第三の実施の形態の画素値変換関数及び画素値逆変換関数を示す図である。
【図９】第三の実施の形態の画素値変換テーブルを示す図である。
【図１０】（ａ）は第三の実施の形態の画像符号化装置の処理の流れを示すフロー図である。（ｂ）は第三の実施の形態の画像復号化装置の処理の流れを示すフロー図である。
【図１１】第四の実施の形態の画像符号化装置の構成を示す図である。
【図１２】第四の実施の形態の領域分割部の詳細な構成を示す図である。
【図１３】第四の実施の形態の画像復号化装置の構成を示す図である。
【図１４】第四の実施の形態の画像符号化装置の処理の流れを示すフロー図である。
【図１５】第四の実施の形態の領域分割の詳細な処理の流れを示すフロー図である。
【図１６】第四の実施の形態の画像復号化装置の処理の流れを示すフロー図である。
【図１７】第四の実施の形態の接合符号化データの構成を示す図である。
【図１８】第四の実施の形態の領域画像作成処理部で行われる処理を説明する図である。
【符号の説明】
０３０２  画像符号化装置
０３０４  入力画像バッファ
０３０５  画像符号化処理部
０３０６  符号化データバッファ
０３０７  画像復号化処理部
０３０８  復号画像バッファ
０３０９  特徴画素抽出処理部
０３１０  特徴画素データバッファ
０３１１  特徴歪み演算処理部
０３１２  符号化パラメータ制御部
０６０２  画像符号化装置
０６０４  入力画像バッファ
０６０７  画素値変換処理部
０６０８  画素値変換画像バッファ
０６０９  画像符号化処理部
０６１０  符号化データバッファ
０７０４  入力データバッファ
０７０５  画像復号化処理部
【図１】
0003717858.tif 000008
【図２】
0003717858.tif 000009
【図３】
0003717858.tif 000010
【図４】
0003717858.tif 000011
【図５】
0003717858.tif 000012
【図６】
0003717858.tif 000013
【図７】
0003717858.tif 000014
【図８】
0003717858.tif 000015
【図９】
0003717858.tif 000016
【図１０】
0003717858.tif 000017
【図１１】
0003717858.tif 000018
【図１２】
0003717858.tif 000019
【図１３】
0003717858.tif 000020
【図１４】
0003717858.tif 000021
【図１５】
0003717858.tif 000022
【図１６】
0003717858.tif 000023
【図１７】
0003717858.tif 000024
【図１８】
0003717858.tif 000025