(57)【要約】      （修正有）【課題】ディテールの失われにくい画像符号化装置及び画像復号化装置を提供する。【解決手段】画像符号化装置１００は、画像の部分毎に平坦性に関する値を算出する算出部と、算出部が算出した平坦性に関する値に基づいて、部分毎に画素間の輝度差を大きくする補正部と、輝度差を大きくした画像を符号化する符号化部と、を備える。画像復号化装置は、圧縮符号化された画像の符号列を復号し復号画像を生成する復号部と、平坦性に関する値を復号画像の部分毎に算出する算出部と、算出部が算出した平坦性に関する値に基づいて、復号画像の部分毎に画素間の輝度差を小さくするよう補正する補正部と、を備える。【選択図】図１
2016165087.tif 000002
【特許請求の範囲】
【請求項１】
画像の部分毎に平坦性に関する値を算出する算出部と、
前記算出部が算出した平坦性に関する値に基づいて、前記部分毎に画素間の輝度差を大きくする補正部と、
前記輝度差を大きくした画像を符号化する符号化部と、
を備える画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記算出部は、前記平坦性に関する値として、前記画像の部分毎の第１の非平坦度を算出し、
前記補正部は、前記算出部が算出した前記第１の非平坦度に基づいて、前記部分毎に画素間の輝度差を大きくする画像符号化装置。
【請求項３】
請求項２に記載の画像符号化装置において、
前記補正部は、前記算出部が算出した前記第１の非平坦度の部分に、前記第１の非平坦度よりも大きい第２の非平坦度の部分よりも、画素間の輝度差を大きくする補正を行う画像符号化装置。
【請求項４】
請求項２または３に記載の画像符号化装置において、
前記補正部は、前記算出部が算出した前記第１の非平坦度と、前記符号化部が出力した量子化の粗さとの少なくとも一方に基づき、前記部分を補正する画像符号化装置。
【請求項５】
請求項２〜４のいずれか一項に記載の画像符号化装置において、
前記補正部は、前記算出部が算出した前記第１の非平坦度と、前記符号化部が出力した量子化の粗さとに基づき、前記部分を補正する画像符号化装置。
【請求項６】
請求項２〜５のいずれか一項に記載の画像符号化装置において、
前記画像よりも解像度の小さい縮小画像を生成する画像生成部と、
前記縮小画像の画素毎の第３の非平坦度を算出する第２の算出部とを更に備え、
前記算出部は、前記第３の非平坦度に基づき、補間処理により、前記画像の画素毎の前記第１の非平坦度を算出する画像符号化装置。
【請求項７】
請求項１に記載の画像符号化装置において、
前記算出部は、前記平坦性に関する値として、前記画像の部分毎の第１の平坦度を算出し、
前記補正部は、前記算出部が算出した前記第１の平坦度に基づいて、前記部分毎に画素間の輝度差を大きくする画像符号化装置。
【請求項８】
請求項７に記載の画像符号化装置において、
前記補正部は、前記算出部が算出した前記第１の平坦度の部分に、前記第１の平坦度よりも大きい第２の平坦度の部分よりも、画素間の輝度差を大きくする補正を行う画像符号化装置。
【請求項９】
請求項７または８に記載の画像符号化装置において、
前記補正部は、前記算出部が算出した前記第１の平坦度と、前記符号化部が出力した量子化の粗さとの少なくとも一方に基づき、前記部分を補正する画像符号化装置。
【請求項１０】
請求項７〜９のいずれか一項に記載の画像符号化装置において、
前記補正部は、前記算出部が算出した前記第１の平坦度と、前記符号化部が出力した量子化の粗さとに基づき、前記部分を補正する画像符号化装置。
【請求項１１】
請求項７〜１０のいずれか一項に記載の画像符号化装置において、
前記画像よりも解像度の小さい縮小画像を生成する画像生成部と、
前記縮小画像の画素毎の第３の平坦度を算出する第２の算出部とを更に備え、
前記算出部は、前記第３の平坦度に基づき、補間処理により、前記画像の画素毎の前記第１の非平坦度を算出する画像符号化装置。
【請求項１２】
請求項１に記載の画像符号化装置において、
前記算出部は、前記画像の部分毎の輝度成分の分散値に基づいて、前記平坦性に関する値を算出する画像符号化装置。
【請求項１３】
請求項１に記載の画像符号化装置において、
前記算出部は、前記画像の隣接画素間の差分絶対値の総和値に基づいて、前記平坦性に関する値を算出する画像符号化装置。
【請求項１４】
請求項１に記載の画像符号化装置において、
前記算出部は、前記画像の部分毎の周波数成分に基づいて、前記平坦性に関する値を算出する画像符号化装置。
【請求項１５】
請求項１〜１４のいずれか一項に記載の画像符号化装置において、
前記算出部は、静止画像または動画像のフレームの部分毎に平坦性に関する値を算出する画像符号化装置。
【請求項１６】
画像の部分毎に平坦性に関する値を算出する算出ステップと、
前記算出部が算出した平坦性に関する値に基づいて、前記画像の部分毎に画素間の輝度差を大きくする補正ステップと、
前記補正した画像を符号化する符号化ステップと、
を備える画像符号化方法。
【請求項１７】
圧縮符号化された画像の符号列を復号し復号画像を生成する復号部と、
平坦性に関する値を前記復号画像の部分毎に算出する算出部と、
前記算出部が算出した平坦性に関する値に基づいて、前記復号画像の部分毎に画素間の輝度差を小さくするよう補正する補正部と、
を備える画像復号装置。
【請求項１８】
請求項１７に記載の画像復号装置において、
前記算出部は、前記平坦性に関する値として、前記復号画像の部分毎の第１の非平坦度を算出し、
前記補正部は、前記算出部が算出した前記第１の非平坦度に基づいて、前記部分毎に画素間の輝度差を小さくする画像復号装置。
【請求項１９】
請求項１７に記載の画像復号装置において、
前記算出部は、前記平坦性に関する値として、前記復号画像の部分毎の第１の平坦度を算出し、
前記補正部は、前記算出部が算出した前記第１の平坦度に基づいて、前記部分毎に画素間の輝度差を小さくする画像復号装置。
【請求項２０】
画像の符号列を復号し復号画像を生成する復号ステップと、
平坦性に関する値を前記復号画像の部分毎に算出する算出ステップと、
前記算出部が算出した平坦性に関する値に基づいて、前記復号画像の部分毎に画素間の輝度差を小さくするよう補正する補正ステップと、
を備える画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像符号化方法、画像復号装置および画像復号方法に関する。
【背景技術】
【０００２】
画像の圧縮符号化方式として、Ｈ．２６２／ＭＰＥＧ−２ビデオやＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（Advanced Video Coding：以下ＡＶＣ）が知られている。
【０００３】
例えば、特許文献１には、複数画面、画面内、ブロック内等で求めた分散値等により該当単位全体のエンファシス強調を制御する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０７−１６２８６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術では、画面内やブロック内に比較的平坦部と非平坦部が混在する場合、ディテール消失してしまうという 問題があった。
【課題を解決するための手段】
【０００６】
請求項１に記載の画像符号化装置は、画像の部分毎に平坦性に関する値を算出する算出部と、前記算出部が算出した平坦性に関する値に基づいて、前記部分毎に画素間の輝度差を大きくする補正部と、前記輝度差を大きくした画像を符号化する符号化部と、を備える。
請求項１６に記載の画像符号化方法は、画像の部分毎に平坦性に関する値を算出する算出ステップと、前記算出部が算出した平坦性に関する値に基づいて、前記画像の部分毎に画素間の輝度差を大きくする補正ステップと、前記補正した画像を符号化する符号化ステップと、を備える。
請求項１７に記載の画像復号装置は、圧縮符号化された画像の符号列を復号し復号画像を生成する復号部と、平坦性に関する値を前記復号画像の部分毎に算出する算出部と、前記算出部が算出した平坦性に関する値に基づいて、前記画像の部分毎に画素間の輝度差を小さくするよう補正する補正部と、を備える。
請求項２０に記載の画像復号方法は、画像の符号列を復号し復号画像を生成する復号ステップと、平坦性に関する値を前記復号画像の部分毎に算出する算出ステップと、前記算出部が算出した平坦性に関する値に基づいて、前記画像の部分毎に画素間の輝度差を小さくするよう補正する補正ステップと、を備える。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１の実施の形態に係る画像符号化装置のブロック図である。
【図２】非平坦度の算出方法を説明するための図である。
【図３】ディテールゲインと非平坦度との関係の設定例を示す図である。
【図４】ディテールゲインと量子化の粗さとの関係の設定例を示す図である。
【図５】本発明の第１の実施の形態に係るディテール増強部のブロック図である。
【図６】本発明の第１の実施の形態に係るフィルタ処理を説明するための図である。
【図７】レベル制限部の特性の設定例を示す図である。
【図８】本発明の第１の実施の形態に係る符号化のフローチャートである。
【図９】本発明の第２の実施の形態に係る画像復号装置のブロック図である。
【図１０】本発明の第２の実施の形態に係るディテール補正部のブロック図である。
【図１１】本発明の第２の実施の形態に係る復号のフローチャートである。
【図１２】本発明の変形例に係る非平坦度検出のブロック図である。
【図１３】本発明の変形例に係るダウンサンプルを説明するための図である。
【発明を実施するための形態】
【０００８】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像符号化装置１００の構成を模式的に示すブロック図である。画像符号化装置１００は、複数のフレームからなる入力された動画像を所定の符号化方式（例えばＡＶＣ規格等）に則り符号化する装置である。
【０００９】
画像符号化装置１００は、非平坦度検出部１０１と、ディテール増強制御部１０２と、ディテール増強部１０３と、符号化部１０４とを備える。非平坦度検出部１０１は、入力された動画像の各フレームについて、平坦性に関する値を算出する。たとえば、非平坦度検出部１０１は、画素毎に非平坦度（後述）を検出して、平坦性に関する値として非平坦度を出力する。なお、非平坦度の代わりに平坦度を算出し、平坦性に関する値として扱ってもよい。以下では、非平坦度を算出するものとして説明する。ディテール増強制御部１０２は、平坦性に関する値に基づいて、部分ごとに画素間の輝度差を大きくする補正を行う。部分ごととは、例えば画素ごとであってもよく、複数の画素（画素ブロック）ごとであってもよい。ディテール増強制御部１０２は、非平坦度検出部１０１からの非平坦度と、符号化部１０４からの量子化パラメータに基づき、入力画像の画素毎にディテール増強ゲインＣｅ（後述）を算出して出力する。ディテール増強部１０３は、ディテール増強制御部１０２からのディテール増強ゲインＣｅに基づき、入力画像の画素毎にディテール増強処理（後述）を施したディテール増強画像を出力する。ここで、ディテールの増強とは、ディテールを補正する処理であり、ディテールに相当する画素の画素間の輝度差を大きくする処理である。また、例えば、特定の周波数成分（高周波成分）を強調するような補正でもよい。符号化部１０４は、ディテール増強部１０３からのディテール増強画像を、ＡＶＣ規格等の符号化方式に基づき圧縮符号化し、符号化列を出力する。
【００１０】
図２は、非平坦度検出部１０１による非平坦度の検出方法の説明図である。ここで、非平坦度とは、フレーム内での画像信号の変化の程度を示す値である。画像信号の変化が大きいほど、すなわち平坦でないほど、非平坦度は大きくなる。本実施形態では、i行j列にある画素Ｐij２０１の非平坦度として、画素Ｐij２０１を中心とした５×５の画素の範囲（図２の破線２０２で囲まれた部分）についての輝度成分の分散値を算出する。分散値の算出においては、計算量を考慮し、画素Ｐij２０１について計算する画素の範囲を３×３や７×７など適宜増減することができる。また、画素Ｐij２０１を中心とした５×５の画素の範囲から１画素飛ばしで間引きした３×３の９点をとって分散値を算出することで、計算量を減らしてもよい。
【００１１】
本実施形態においてディテールとは、画像の細部である。例えば、手の皺等、比較的平坦だが細かな絵柄のある画像の詳細部分である。例えば弱いエッジを多く含む手の皴等の画像は、非平坦度は小さいがディテールに富むと言える。ディテールは、非平坦度の小さい領域ほど、粗い量子化が行われると失われやすい。つまり、非平坦度は、符号化に伴うディテールの失われやすさを表す指標である。非平坦度が小さい部分は、粗い量子化によりディテールが失われるおそれが、他の非平坦度が大きい部分よりも高い。具体的には、非平坦度がＡの第1部分と、非平坦度がＡよりも小さいＢの第２部分とでは、第２部分の方が粗い量子化によりディテールが失われるおそれが高い。ディテール増強ゲインＣｅは、ディテールが符号化により失われないよう、事前に近傍の画素間の輝度差を強調しておくための指標である。ディテール増強制御部１０２は、ディテール増強ゲインＣｅの値を、非平坦度に基づくディテールゲインＣ１と、量子化パラメータの値に基づくディテールゲインＣ２の積として設定する。すなわち、Ｃｅ＝Ｃ１×Ｃ２である。なお、ディテール増強ゲインＣｅを、Ｃ１×Ｃ２以外の値としてもよい。例えば、Ｃ１とＣ２の値の組み合わせに応じたＣｅの値を予め所定のテーブルに格納しておき、このテーブルを参照することでディテール増強ゲインＣｅの値を決定してもよい。さらに、ディテール増強ゲインＣｅの値は、ディテールゲインＣ１と、ディテールゲインＣ２とのいずれか一方の値としてもよく、いずれか一方の値から、所定のテーブルに格納された値を特定して決定することとしてもよい。
【００１２】
図３は、非平坦度とディテールゲインＣ１の関係の一例を示す説明図である。図３の例では、非平坦度が大きくなるにつれてディテールゲインＣ１も小さくなる。非平坦度がゼロである場合、ディテールゲインＣ１は所定値α１の値になる。非平坦度が所定値β以上である場合、ディテールゲインＣ１はゼロとなる。
【００１３】
本実施形態では、量子化粗さの指標として量子化パラメータ（ＱＰ）を用いる。ＱＰはフレーム毎またはフレーム内の処理単位であるマクロブロック毎のいずれかの粒度で規定される。従って、ディテールゲインＣ２もフレーム毎またはマクロブロック毎に決定される。符号化部１０４は、一旦ディテール増強がなされていない入力フレームを受け取り、周知の方法によりＱＰ（仮のＱＰ）を決定する。ディテール増強制御部１０２は、符号化部１０４から、この仮のＱＰを取得して、ディテールゲインＣ２の決定に用いる。
【００１４】
図４は、量子化粗さとディテールゲインＣ２の関係の一例を示す説明図である。図４の例では、量子化が粗くなると（すなわちＱＰが大きくなると）ディテールゲインＣ２も大きくなる。ＱＰが０から所定値ＱＰ１までの範囲にある場合、ディテールゲインＣ２はゼロである。ＱＰが所定値ＱＰ２以上の値である場合、ディテールゲインＣ２は所定値α２になる。
【００１５】
図５は、ディテール増強部１０３の構成例を模式的に示すブロック図である。ディテール増強部１０３は、ディテールフィルタ部５０１と、乗算部５０２と、レベル制限部５０３と、加算部５０４とを備える。ディテール増強部１０３に入力された画像フレームは、加算部５０４で元データとして用いられる。この画像フレームは、ディテールフィルタ部５０１において、フィルタ処理によりディテールの増強分の値の算出を行うためにも用いられる。
【００１６】
図６は、ディテールフィルタ部５０１が用いるフィルタ係数の例を示す図である。ディテールフィルタ部５０１は、入力フレームの画素毎に、例えば図６のような３×３フィルタでフィルタ処理する。図６の例は、いわゆる鮮鋭化フィルタである。ディテールフィルタ部５０１は、画像フレームのぼやけた輪郭を強調し、シャープネスを向上させる。
【００１７】
乗算部５０２は、入力フレームの画素毎に、ディテールフィルタ部５０１からのフィルタ処理値に、ディテール増強ゲインＣｅを乗じてディテール増強値を出力する。
【００１８】
図７は、レベル制限部５０３への入力値とレベル制限部５０３からの出力値との関係を示す図である。図７の例では、レベル制限部５０３は、乗算部５０２からのディテール増強値が−ｅから＋ｅの範囲では、入力された値をそのまま出力する。一方、ディテール増強値が−ｅより小さい値または＋ｅより大きい値である場合には、出力値の絶対値を減少させる特性でレベル制限を行う。ここでｅは所定の値である。
【００１９】
例えば、画像内の比較的平坦な部分に鮮明な一筋の線があるような絵柄を考える。上記のような絵柄では、４×４の離散コサイン変換（ＤＣＴ）で算出される係数値が大きく、粗い量子化でもディテールが消失しにくい。一方で、非平坦度は比較的小さくなるため、そのままディテール増強ゲインＣｅをかけると符号量が増加してしまう。そこで、本実施形態のレベル制限部５０３は、ディテール増強値が−ｅより小さい値または＋ｅより大きい値である場合には、出力値の絶対値を減少させる特性でレベル制限を行う。これにより、過度のディテール増強による符号量の過度な増加が抑制される。
【００２０】
加算部５０４は、入力された画像フレームの元データの画素毎に、レベル制限部５０３から入力されたディテール増強値を加算する。加算部５０４は、結果として得た画像データを符号化部１０４に出力する。
【００２１】
符号化部１０４は、ディテール増強部１０３によりディテール増強がなされた入力画像フレームについて、周知の方法により最終的なＱＰを決定する。符号化部１０４は、ここで決定したＱＰの値に基づき、入力された動画像を符号化する。なお、ディテール増強制御部１０２がディテールゲインＣ２を算出する際に用いた仮のＱＰを最終的なＱＰとしてそのまま利用してもよい。また、ここで決定したＱＰを仮のＱＰとして、更に上述した手順を繰り返し実行してもよい。
【００２２】
符号化部１０４は、符号化列にディテール増強処理をしたことを示す符号を加えることができる。例えば、ＡＶＣ規定に基づき圧縮符号化した場合、ＰＰＳ（picture parameter set）の後に、user data unregistered SEI messageを用いてディテール増強処理の有無についての情報を追加することができる。これにより、符号化された画像を復号する復号装置は、画像の符号化時にディテール増強されたかどうかについての情報を得ることができる。
【００２３】
図８は、画像符号化装置１００による画像符号化処理のフローチャートである。ステップＳ８０１において、非平坦度検出部１０１は、入力された動画像の各フレームについて、画素毎に非平坦度を検出する。非平坦度検出部１０１は、検出した非平坦度の値をディテール増強制御部１０２に出力する。
【００２４】
ステップＳ８０２において、ディテール増強制御部１０２は、入力フレームの画素毎に、非平坦度と量子化の粗さの値を基に、ディテール増強ゲインＣｅを算出する。ディテール増強制御部１０２は、算出したディテール増強ゲインＣｅをディテール増強部に出力する。
【００２５】
ステップＳ８０３において、ディテール増強部１０３は、入力フレームの画素毎に、ディテール増強ゲインＣｅに基づき、ディテール増強する。ディテール増強部１０３は、ディテール増強した画像を符号化部１０４に出力する。
【００２６】
ステップＳ８０４において、符号化部１０４は、ディテール増強された画像を符号化する。また、符号化部１０４は、符号化列にディテール増強処理したことを示す符号を追加する。
【００２７】
ステップＳ８０５において、画像符号化装置は、次に処理すべきフレームがあるかを判定する。次に処理すべきフレームがあれば、ステップＳ８０５を肯定判定してステップＳ８０１に戻る。次に処理すべきフレームが無い場合には、ステップＳ８０５を否定判定して処理を終了する。
【００２８】
上述の第１の実施の形態では、非平坦度を用いて説明をしたが、非平坦度の代わりに平坦度を用いてもよい。この場合、平坦度とディテールゲインＣ１の関係を予め記憶しておき、検出した平坦度からディテールゲインＣ１を算出することとしてもよい。ディテールゲインＣ２に関しては、非平坦度の場合と同様にしてもよい。
【００２９】
上述した第１の実施の形態による画像符号化装置１００によれば、次の作用効果が得られる。
【００３０】
（１）画像符号化装置１００は、画像を符号化する際のディテールの失われやすさの指標となる非平坦度（の低さ）や量子化粗さを基に符号化の前処理を行う。ディテールの失われやすさが高い場合には強く増強し、低い場合には弱く、または増強しないことで、符号化の際の粗い量子化による比較的平坦な部分のディテールの減弱を抑制する。それとともに、非平坦部の過度なディテール増強に伴う発生符号量増加を抑えることができる。
【００３１】
（２）画像符号化装置１００は、ＡＶＣ等の既に運用されている符号化方式に手を加えない。つまり、画像符号化装置１００による前処理は、既存の符号化方式と組み合わせて効果を挙げることができ、相互運用性が高い。
【００３２】
（３）画像符号化装置１００は、ディテール増強ゲインＣｅを、Ｃ１とＣ２の積とする。これにより、非平坦度が小さい程ディテールの増強がされるとともに、非平坦度がβ１を超える場合には、ＱＰの値に関わらずディテールの増強を行わない設定を実現できる。また、ＱＰの値が大きい程ディテールの増強がされるとともに、ＱＰが所定値ＱＰ１より小さいときには非平坦度の値に関わらずディテールの増強を行わない設定を実現できる。
対象画素が比較的平坦な部分にあり、かつ量子化が粗い場合は、そのまま符号化するとディテールが消失しやすい。このとき、ディテール増強ゲインＣｅが大きい値に設定され、前処理でディテール消失を抑制できる。
【００３３】
対象画素が比較的平坦でない部分にあったり、または細かい量子化が行われる場合は、そのまま符号化してもディテールが消失しにくい。このとき、ディテール増強ゲインＣｅは小さい値に設定される。特に対象画素が比較的平坦でない部分にある場合は、ディテール増強による符号量の増加を防ぐことができる。また、比較的平坦でない部分での符号量の増加を抑制するため粗い量子化が行われた場合には、比較的平坦な部分でのディテール消失を抑制できる。
【００３４】
（第２の実施の形態）
図９は、本発明の第２の実施の形態に係る画像復号装置２００の構成を模式的に示すブロック図である。画像復号装置２００は、第１の実施の形態に係る画像符号化装置１００で符号化された入力符号列を復号した後、ディテール増強分を補正して出力する装置である。
【００３５】
画像復号装置２００は、復号部９０１と、非平坦度検出部９０２と、ディテール補正制御部９０３と、ディテール補正部９０４とを備える。復号部９０１は、入力された符号列を、第１の実施形態の画像符号化装置１００の符号化部１０４で用いた符号化方式に基づいて、復号して復号画像を出力する。非平坦度検出部９０２は、該復号画像の各フレームについて、画素毎に非平坦度を検出して非平坦度を出力する。なお、第１の実施の形態と同様に、画素毎に平坦度を検出することとしてもよい。以下では、非平坦度を用いて説明する。非平坦度の検出については、第１実施の形態と同様の手法を用いればよい。ディテール補正制御部９０３は、非平坦度検出部９０２からの非平坦度と、復号部９０１からの量子化パラメータに基づき、復号画像の画素毎にディテール補正ゲインＣｄ（後述）を算出して出力する。ディテール補正部９０４は、ディテール補正制御部９０３からのディテール補正ゲインＣｄに基づき、復号画像の画素毎にディテール補正処理（後述）を施したディテール補正画像を出力する。スイッチ９０５は、入力された符号列に含まれる、ディテール増強処理がされたかどうかを示す情報（以下、ＯＮ／ＯＦＦ制御情報）を基に、入力符号列と補正後の符号列のどちらを出力するかを切り替える。
【００３６】
復号部９０１は、入力された符号列を、その符号列が符号化された画像符号化装置１００の符号化部１０４に対応する方式（例えば、ＡＶＣ規格）に基づき、圧縮復号して復号画像を出力する。復号部９０１は、復号の際に用いた量子化パラメータＱＰをディテール補正制御部９０３に出力する。また、復号部９０１は、入力された符号列に含まれる、ＯＮ／ＯＦＦ制御情報を、スイッチ９０５に出力する。なお、入力符号列にＯＮ／ＯＦＦ制御情報が無いときは、スイッチ９０５にＯＦＦ制御情報を出力する。
【００３７】
非平坦度検出部９０２には、復号部９０１により出力された復号画像が入力される。非平坦度検出部９０２は、第１の実施形態の非平坦度検出部１０１と同様に、復号画像の画素毎に非平坦度を算出する。非平坦度検出部９０２は、算出した非平坦度をディテール補正制御部９０３に出力する。
【００３８】
ディテール補正制御部９０３は、第１の実施形態のディテール増強制御部１０２と同様に、ディテール補正ゲインＣｄを算出する。ディテール補正制御部９０３は、非平坦度検出部９０２から出力された非平坦度と、復号部９０１から出力された量子化パラメータに基づき、復号画像の画素毎にディテール補正ゲインＣｄを算出する。
【００３９】
ディテール補正ゲインＣｄは、符号化の際に比較的平坦な部分の情報が消失しないよう強調されたディテールを、復号後に補正するための指標である。ディテール補正制御部９０３は、ディテール補正ゲインＣｄの値を、非平坦度に基づくディテールゲインＣ１と、量子化パラメータの値に基づくディテールゲインＣ２の積として設定する。すなわち、Ｃｄ＝Ｃ１×Ｃ２である。これにより、非平坦度が低く、量子化の粗さが高い部分、すなわちディテールの失われやすさが高い部分を、他の部分よりもディテール減弱することができる。
【００４０】
なお、ディテール補正ゲインＣｄを、Ｃ１×Ｃ２以外の値としてもよい。例えば、Ｃ１とＣ２の値の組み合わせに応じたＣｄの値を予め所定のテーブルに格納しておき、このテーブルを参照することでディテール補正ゲインＣｄの値を決定してもよい。ディテール補正ゲインＣｄは、Ｃ１とＣ２の積にさらに１未満の係数であるｋをかけた値として定義してもよい。すなわち、Ｃｄ＝ｋ×Ｃ１×Ｃ２である。これにより、復号化の際の過補正を抑制することができる。さらに、ディテール補正ゲインＣｄの値は、ディテールゲインＣ１と、ディテールゲインＣ２とのいずれか一方の値としてもよく、いずれか一方の値から、所定のテーブルに格納された値を特定して決定することとしてもよい。
【００４１】
図１０は、ディテール補正部９０４の構成例を模式的に示すブロック図である。ディテール補正部９０４は、ディテールフィルタ部１００１と、乗算部１００２と、レベル制限部１００３と、減算部１００４とを備える。ディテール補正部９０４に入力された復号画像は、減算部１００４で元データとして用いられる。この画像フレームは、ディテールフィルタ部１００１において、フィルタ処理によりディテールの補正分の値の算出を行うためにも用いられる。
【００４２】
ディテールフィルタ部１００１は、第１の実施形態のディテールフィルタ部５０１と同様、復号画像の画素毎に、図６の例のフィルタを用いてフィルタ処理をする。ここで、復号の際に用いるフィルタは、符号化の際に用いるフィルタと異なるものであってもよい。ディテールフィルタ部１００１は、フィルタ処理後の処理値を乗算部１００２に出力する。
【００４３】
乗算部１００２は、復号画像の画素毎に、ディテールフィルタ部１００１からのフィルタ処理値に、ディテール補正ゲインＣｄを乗じてディテール補正値をレベル制限部１００３に出力する。
【００４４】
レベル制限部１００３は、第１の実施形態のレベル制限部５０３と同様、復号画像の画素毎に、図７で示した入力−出力特性でレベル制限を行う。レベル制限部１００３は、得られた結果の値を減算部１００４に出力する。
【００４５】
減算部１００４は、復号画像の画素毎に、レベル制限部１００３から入力されたディテール補正値を減算する。減算部１００４は、結果として得た画像データをスイッチ９０５に出力する。
【００４６】
スイッチ９０５は、復号部９０１から出力された、ディテール増強処理がされたかどうかを示すＯＮ／ＯＦＦ制御情報に基づいて出力データを切り替える。スイッチ９０５は、ＯＮ／ＯＦＦ制御情報がＯＮの場合は、ディテール補正部９０４からのディテール補正画像を、ＯＦＦの場合は復号部９０１からの復号画像を出力する。
【００４７】
図１１は、画像復号装置２００による画像復号処理のフローチャートである。なお、本フローチャートにおいては、入力符号列が符号化の際ディテール増強されていなかった場合、ディテール補正処理は行わない構成とした。
【００４８】
ステップＳ１１０１において、復号部９０１は、入力された符号列を、符号化方式に対応する復号方式により、圧縮復号する。また、復号部９０１は、復号画像について量子化の粗さを表す量子化パラメータを抽出し、ディテール補正制御部９０３に出力する。
【００４９】
ステップＳ１１０２において、復号部９０１は、ディテール補正を行うか否かを判断する。復号部９０１は、入力符号列が符号化の際にディテール増強が行われていたことを示すＯＮ制御情報を含む場合、ＯＮ制御情報をスイッチ９０５に出力する。また、復号画像を非平坦度検出部９０２およびディテール補正部９０４に出力し、ステップＳ１１０３に進む。入力符号列がＯＦＦ制御情報を含むか、ＯＮ／ＯＦＦ制御情報自体を含まない場合、復号画像とＯＦＦ制御情報をスイッチ９０５に出力する。そして、スイッチ９０５はそのまま復号画像を出力し、ステップＳ１１０６に進む。このとき、非平坦度検出部９０２、ディテール補正制御部９０３およびディテール補正部９０４は、ステップＳ１１０３〜Ｓ１１０５のディテール補正処理を行わない。
【００５０】
ステップＳ１１０３において、非平坦度検出部９０２は、復号画像の画素毎に、非平坦度を検出し、ディテール補正制御部に出力する。
【００５１】
ステップＳ１１０４において、ディテール補正制御部９０３は、復号画像の画素毎に、非平坦度検出部９０２から出力された非平坦度と、復号部９０１から出力された量子化の粗さからディテール補正ゲインＣｄを算出する。
【００５２】
ステップＳ１１０５において、ディテール補正部９０４は、復号画像の画素毎に、ディテール補正制御部９０３から出力されたディテール補正ゲインＣｄに基づきディテール補正する。得られた画像データをスイッチ９０５に出力する。スイッチ９０５は、復号部９０１からのＯＮ制御情報を確認し、受け取った画像データを出力する。
【００５３】
ステップＳ１１０６において、画像復号装置は、次に処理すべきフレームがあるかを判定する。次に処理すべきフレームがあれば、ステップＳ１１０５を肯定判定してステップＳ１１０１０１に戻る。次に処理すべきフレームが無い場合には、ステップＳ１１０６を否定判定して処理を終了する。
【００５４】
以上、第１の実施の形態に係る画像符号化装置１００に対応する、第２の実施の形態に係る画像復号装置２００について説明した。画像復号装置２００によれば、画像符号化装置１００により符号化された画像を好適に再生することができる。なお、画像符号化装置１００による符号化列は、画像復号装置２００ではなく、通常の（例えば、ＡＶＣ規格に則った）復号装置で復号して画像を鑑賞することもできる。これは、画像符号化装置１００が、ＡＶＣ等の既に運用されている符号化方式に手を加えずに、それらの符号化方式に則った符号化列を出力するためである。
【００５５】
上述の第２の実施の形態では、非平坦度を用いて説明をしたが、非平坦度の代わりに平坦度を用いてもよい。この場合、平坦度とディテールゲインＣ１の関係を予め記憶しておき、検出した平坦度からディテールゲインＣ１を算出することとしてもよい。ディテールゲインＣ２に関しては、第１実施の形態と同様にしてもよい。
【００５６】
上述した第２の実施の形態による画像復号装置２００によれば、次の作用効果が得られる。
【００５７】
（１）画像復号装置２００は、第１の実施形態での画像符号化装置１００によりディテール増強された符号化列を復号したあと、ディテール増強分の全部または一部を補正する。このようにしたので、より符号化前の元データに近い画像を得ることができる。つまり、第１の実施形態と組み合わせて用いることで、動画像のディテールをあまり変化させることなく、例えば、圧縮率を高めてより低い転送レートの通信回線で画像を遠隔に転送することができる。
【００５８】
（２）画像復号装置２００は、ＡＶＣ等の既に運用されている復号方式に手を加えない。つまり、画像復号装置２００による処理は、既存の符号化方式と組み合わせて効果を挙げることができるため、相互運用性が高い。
【００５９】
（３）画像復号装置２００は、入力符号列にＯＮ／ＯＦＦ制御情報が無いときは、スイッチ９０５にＯＦＦ制御情報を出力する。このようにしたので、第１の実施形態に係る画像符号化装置１００以外の装置により符号化された符号化列を復号することができ、相互運用性が高い。
【００６０】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【００６１】
（変形例１）
非平坦度として、分散値以外の値を採用してもよい。例えば、隣接画素間の差分絶対値の総和値を非平坦度として扱ってもよい。この場合、横方向に関する差分絶対値の総和値と、縦方向に関する差分絶対値の総和値と、の総和値を算出することが望ましい。横方向に関する差分絶対値とは、横方向に隣接する画素間で算出された差分絶対値である。同様に、縦方向に関する差分絶対値とは、縦方向に隣接する画素間で算出された差分絶対値である。また、例えば、周波数成分の量から非平坦度を算出することとしてもよい。なお、第１の実施の形態、第２の実施の形態および本変形例で説明した手法で非平坦度の代わりに平坦度を検出することとしてもよい。
【００６２】
非平坦度として、アダマール変換等で２次元直交変換した際の交流成分の絶対値の総和値を用いることもできる。アダマール変換等の偶数行×偶数列のブロックを用いる変換では、画素Ｐij２０１をほぼ中心とする偶数行×偶数列のブロックについての輝度成分の値を基に算出すればよい。
【００６３】
以上のように、各変換等の特性を利用した非平坦度の定義を用いることで、動画像の特徴に合わせた符号化または復号を実現できる。
【００６４】
（変形例２）
上述の実施形態では、入力フレームの画素毎に、該画素を中心とした５×５等の範囲の画素についての分散値を算出したが、これとは異なる構成を採ることもできる。
【００６５】
図１２は、ダウンサンプル画像を用いて非平坦度を検出する際の、非平坦度検出部１０１および９０２の構成を示すブロック図である。本変形例では、入力フレームをダウンサンプルしたダウンサンプル画像について画素毎に分散値を算出する。そして、ダウンサンプル画像で得た分散値を基に、入力フレームの各画素の値を補間することにより算出する。本変形例の非平坦度検出部は、ダウンサンプル部１２０１、分散値算出部１２０２および補間分散値算出部１２０３を備える。ダウンサンプル部１２０１は、入力フレームの画像サイズを縮小したダウンサンプル画像を生成する。
【００６６】
図１３（ａ）は、ダウンサンプルの例を示す図である。ダウンサンプル部は、例えば図１３（ａ）のように、画像サイズＷ×Ｈの入力フレーム３０を縦横半分にして画像サイズ（Ｗ／２）×（Ｈ／２）のダウンサンプル画像３１を分散値算出部１２０２に出力する。さらに、ダウンサンプル部１２０１は、ダウンサンプルの倍率等のパラメータを補間分散値算出部１２０３に出力する。
【００６７】
図１３（ｂ）は、ダウンサンプル部１２０１が行うダウンサンプル処理の一例を説明する図である。ダウンサンプル部１２０１は、画像サイズの縦横を半分にするに際し、入力フレームのＰ１〜Ｐ４に対応するダウンサンプル画像３１の対応画素Ｄｘの輝度値をＰ１〜Ｐ４の平均値として設定する。
【００６８】
分散値算出部１２０２は、ダウンサンプル画像の画素毎に、上述の実施形態の非平坦度の算出方法と同様に、分散値を算出する。分散値算出部１２０２は、ダウンサンプル画像３１と算出した分散値を補間分散値算出部１２０３に出力する。
【００６９】
補間分散値算出部１２０３は、分散値算出部１２０２で算出された画素毎の分散値と、ダウンサンプル部１２０１から出力されたダウンサンプルのパラメータに基づき、補間処理により元の画像サイズの画素毎に分散値を設定する。例えば、図１３（ｂ）では、分散値算出部１２０２で求められたダウンサンプル画像３１の画素Ｄｘについて、対応する２×２の画素Ｐ１〜Ｐ４の分散値としてＤｘの分散値を設定する。あるいは、ダウンサンプル画像３１での隣り合う画素間の値を用いて線形処理により補間してもよい。補間分散値算出部１２０３は、得られた分散値の値を非平坦度として出力する。
【００７０】
上記のダウンサンプル画像３１を用いた非平坦度の算出により、非平坦度を算出する際の演算量を減らすことができる。
【００７１】
（変形例３）
第１の実施形態における符号化前の前処理や、第２の実施形態における復号化時のディテール復元処理を、フレーム毎に切り替えてもよい。つまり、あるフレームについてはこれらの処理を実行し、他のフレームについてはこれらの処理を実行しない、という制御を行ってもよい。
【００７２】
例えば、ＡＶＣ規格等では、フレーム間予測や動き補償等の技術を用いて、符号化の効率を高めている。このような符号化方式においては、他のフレームの予測のために参照される参照フレームの方が、非参照フレームよりディテールを保護する必要が高いといえます。従って、非参照フレームについてはディテール増強処理や補正処理をしないようにしてもよい。  
【００７３】
このようにすることで、演算量を削減することができる。更に、不必要なディテールの強調処理を行わないことから、符号量も削減される。
【００７４】
（変形例４）
上述した各実施形態では、複数のフレームからなる動画像を入力画像とした場合について説明したが、入力画像は静止画像であってもよい。例えばＪＰＥＧ等の周知の符号化方式で静止画像を符号化する画像符号化装置を構成することも可能である。
【００７５】
（変形例５）
上述した各実施形態においては、非平坦度及びディテールの失われやすさは、画像の画素毎に算出されるものとしているが、画素毎よりももっと大きい単位で算出し利用してもよい。例えば、非平坦度を２×２のブロック毎に算出してもよい。この場合、例えば、２ｘ２ブロックを中心に１０ｘ１０画素の範囲で非平坦度を求め、２ｘ２ブロックの各画素は同じ非平坦度に基づきディテール増強処理や補正処理する。
【００７６】
上述の第２の実施の形態では、非平坦度を用いて説明をしたが、非平坦度の代わりに平坦度を用いてもよい。この場合、平坦度とディテールゲインＣ１の関係を予め記憶しておき、検出した平坦度からディテールゲインＣ１を算出することとしてもよい。ディテールゲインＣ２に関しては、第１実施の形態と同様にしてもよい。
【００７７】
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【符号の説明】
【００７８】
３０…入力フレーム、３１…ダウンサンプル画像、１０１…非平坦度検出部、１０２…ディテール増強制御部、１０３…ディテール増強部、１０４…符号化部、５０１…ディテールフィルタ部、５０２…乗算部、５０３…レベル制限部、５０４…加算部、９０１…復号部、９０２…非平坦度検出部、９０３…ディテール補正制御部、９０４…ディテール補正部、９０５…スイッチ、１２０１…ダウンサンプル部、１２０２…分散値算出部、１２０３…補間分散値算出部
【図１】
2016165087.tif 000003
【図２】
2016165087.tif 000004
【図３】
2016165087.tif 000005
【図４】
2016165087.tif 000006
【図５】
2016165087.tif 000007
【図６】
2016165087.tif 000008
【図７】
2016165087.tif 000009
【図８】
2016165087.tif 000010
【図９】
2016165087.tif 000011
【図１０】
2016165087.tif 000012
【図１１】
2016165087.tif 000013
【図１２】
2016165087.tif 000014
【図１３】
2016165087.tif 000015