(57)【要約】      （修正有）【課題】同じサンプル比の色成分で構成される入力画像を色成分ごとに予測符号化する場合の、絵柄による画質劣化を目立たなくする。【解決手段】フレームメモリ１０３に色成分毎の画像が格納され、符号化器１０９〜１１１が色成分毎に予測符号化する。量子化値取得部１０４は各符号化器１０９〜１１１から量子化値を取得し劣化度推定部１０７に供給する。予測誤差取得部１０５は各符号化器から予測誤差を取得し劣化度推定部１０７に供給する。画像特徴量取得部は各符号化器から画像特徴量を取得し劣化度推定部１０７に供給する。劣化度推定部１０７は、画像特徴量、量子化値及び予測誤差に従い符号化による劣化度を推定し、画質劣化が目立ちやすいと判断された特定の色成分を量子化補正部１０８に通知する。量子化補正部１０８は、劣化度推定部１０７から通知された特定の色成分に対して符号化器１０９〜１１１での量子化値を補正する。【選択図】図１
2014150302.tif 000002
【特許請求の範囲】
【請求項１】
同じサンプル比の色成分で構成される入力画像を前記色成分ごとに予測符号化する符号化手段と、
前記予測符号化の符号化対象ブロックの画像特徴量を色成分ごとに取得する画像特徴量取得手段と、
前記色成分ごとの、前記入力画像と予測画像との予測誤差を取得する予測誤差取得手段と、
前記色成分ごとに設定される前記符号化対象ブロックに対する量子化値を取得する量子化値取得手段と、
前記色成分ごとの前記画像特徴量、前記量子化値及び前記予測誤差に従い、前記符号化対象ブロックの符号化による劣化度を推定する劣化度推定手段と、
前記劣化度推定手段の劣化度推定結果に基づき特定の色成分に係る前記符号化対象ブロックに対する前記量子化値を補正する量子化値補正手段
とを有することを特徴とする動画像符号化装置。
【請求項２】
前記劣化度推定手段は、他の色成分に比べて前記予測誤差の差が最大となる色成分を、前記特定の色成分として前記量子化値の補正の対象とすることを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記劣化度推定手段は、前記画像特徴量及び前記量子化値の、前記色成分間の差が所定値以内であり、前記予測誤差の、前記色成分間の差が所定値以上の場合に、前記量子化値補正手段に前記特定の色成分に係る前記符号化対象ブロックに対する前記量子化値の補正を指示することを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記画像特徴量取得手段は、前記符号化対象ブロックの画素値から計算した分散値を前記画像特徴量として用いることを特徴とする請求項１乃至３のいずれか１項に記載の動画像符号化装置。
【請求項５】
前記量子化値補正手段は、前記予測誤差が最大となる色成分の符号化対象ブロックの量子化値を元の量子化値よりも小さな値に設定することで、前記量子化値を補正することを特徴とする請求項１乃至４のいずれか１項に記載の動画像符号化装置。
【請求項６】
前記量子化値補正手段は、前記予測誤差が最大となる色成分でない色成分の符号化対象ブロックの量子化値を元の量子化値よりも大きな値に設定することで、前記量子化値を補正することを特徴とする請求項１乃至４のいずれか１項に記載の動画像符号化装置。
【請求項７】
同じサンプル比の色成分で構成される入力画像を前記色成分ごとに予測符号化する符号化手段と、
前記入力画像から顔画像を検出し、前記顔画像の有無と前記顔画像の領域を示す顔領域情報とを含む顔情報を出力する顔画像検出手段と、
前記色成分ごとの、前記入力画像と予測画像との予測誤差を取得する予測誤差取得手段と、
前記色成分ごとに設定される符号化対象ブロックに対する量子化値を取得する量子化値取得手段と、
前記顔情報並びに前記色成分ごとの前記量子化値及び前記予測誤差に従い、前記符号化対象ブロックの符号化による劣化度を推定する劣化度推定手段と、
前記劣化度推定手段の劣化度推定結果に基づき特定の色成分に係る前記符号化対象ブロックに対する前記量子化値を補正する量子化値補正手段
とを有することを特徴とする動画像符号化装置。
【請求項８】
前記劣化度推定手段は、他の色成分に比べて前記予測誤差の差が最大となる色成分を、前記特定の色成分として前記量子化値の補正の対象とすることを特徴とする請求項７に記載の動画像符号化装置。
【請求項９】
前記劣化度推定手段は、前記符号化対象ブロックが前記顔領域に含まれ、前記量子化値の、前記色成分間の差が所定値以内であり、前記予測誤差の、前記色成分間の差が所定値以上の場合に、前記量子化値補正手段に前記特定の色成分に係る前記符号化対象ブロックに対する前記量子化値の補正を指示することを特徴とする請求項７又は８に記載の動画像符号化装置。
【請求項１０】
前記量子化値補正手段は、前記予測誤差が最大となる色成分の符号化対象ブロックの量子化値を元の量子化値よりも小さな値に設定することで、前記量子化値を補正することを特徴とする請求項７乃至９のいずれか１項に記載の動画像符号化装置。
【請求項１１】
前記量子化値補正手段は、前記予測誤差が最大となる色成分でない色成分の符号化対象ブロックの量子化値を元の量子化値よりも大きな値に設定することで、前記量子化値を補正することを特徴とする請求項７乃至９のいずれか１項に記載の動画像符号化装置。
【請求項１２】
同じサンプル比の色成分で構成される入力画像を前記色成分ごとに予測符号化する方法であって、
前記予測符号化の符号化対象ブロックの画像特徴量を色成分ごとに取得する画像特徴量取得ステップと、
前記色成分ごとの、前記入力画像と予測画像との予測誤差を取得する予測誤差取得ステップと、
前記色成分ごとに設定される前記符号化対象ブロックに対する量子化値を取得する量子化値取得ステップと、
前記色成分ごとの前記画像特徴量、前記量子化値及び前記予測誤差に従い、前記符号化対象ブロックの符号化による劣化度を推定する劣化度推定ステップと、
前記劣化度推定ステップの劣化度推定結果に基づき特定の色成分に係る前記符号化対象ブロックに対する前記量子化値を補正する量子化値補正ステップ
とを有することを特徴とする動画像符号化方法。
【請求項１３】
同じサンプル比の色成分で構成される入力画像を前記色成分ごとに予測符号化する方法であって、
前記入力画像から顔画像を検出し、前記顔画像の有無と前記顔画像の領域を示す顔領域情報とを含む顔情報を出力する顔画像検出ステップと、
前記色成分ごとの、前記入力画像と予測画像との予測誤差を取得する予測誤差取得ステップと、
前記色成分ごとに設定される符号化対象ブロックに対する量子化値を取得する量子化値取得ステップと、
前記顔情報並びに前記色成分ごとの前記量子化値及び前記予測誤差に従い、前記符号化対象ブロックの符号化による劣化度を推定する劣化度推定ステップと、
前記劣化度推定ステップの劣化度推定結果に基づき特定の色成分に係る前記符号化対象ブロックに対する前記量子化値を補正する量子化値補正ステップ
とを有することを特徴とする動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号を符号化する動画像符号化装置及び方法に関し、特に、同じサンプル比の複数の色成分から構成される動画像信号を色成分ごとに独立して符号化する動画像符号化装置及び方法に関する。
【背景技術】
【０００２】
従来、被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。
【０００３】
圧縮方式としては、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なＭＰＥＧ２方式が一般的に用いられている。また、近年では、画面内の空間的な冗長性を利用した画面内予測等のより複雑な予測方式を用いることで、更に高い圧縮率を達成できるＨ．２６４方式なども用いられるようになっている。
【０００４】
カラー画像の色空間、特に放送用には、ＲＧＢの他に、ＹＩＱ、ＹＣｂＣｒ及びＹＰｂＰｒなどがある。また、伝送すべき色成分の割合として、４：２：０、４：２：２、及び４：４：４等がある。
【０００５】
４：２：０フォーマットは、カラー動画像信号を輝度成分（Ｙ）と２つの色差成分（Ｃｂ、Ｃｒ）で表現し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。このフォーマットでは、色差成分は輝度成分に比べて視認性が落ちることから、符号化を行う前に色差成分のダウンサンプリングを行うことで、符号化対象源の情報量を削減している。このフォーマットは、ＭＰＥＧ２及びＨ．２６４方式で採用されている。
【０００６】
４：２：２フォーマットは、色差成分を水平方向にのみ半分にダウンサンプリングしたフォーマットであり、放送素材映像などの業務向けに採用されている。
【０００７】
４：４：４フォーマットは、色差成分のサンプル数が輝度成分と同じフォーマットである。ディスプレイの高解像度化や高階調化に伴い、色差成分をダウンサンプリングすることなく、輝度成分と同じサンプル数のまま符号化する符号化方式の開発も進んでおり、このような符号化方式で採用されている。
【０００８】
４：２：０フォーマットの符号化では、輝度成分に対してのみ動き補償予測のための情報が多重化され、色差成分については、輝度成分の情報を用いて動き補償を行うことになっている。これは、画像情報のほとんどが輝度成分に集約されていることと、輝度信号に比べて色差成分の方が歪みの視認性が低く、映像再現性に関する寄与が小さいという特徴のもとに成り立つものである。
【０００９】
色成分同士の相関を考慮した符号化方法として、特許文献１，２に記載される方法が知られている。
【００１０】
特許文献１には、入力ＲＧＢ画像をＹＵＶ画像に色空間変換し、Ｕ成分およびＶ成分の量子化値をＹ成分のデータに合わせて調整することが記載されている。例えば、Ｙ成分データの黒色が強い、すなわち明度が低いときには、Ｕ成分及びＶ成分の量子化値を大きくする。
【００１１】
特許文献２には、入力ＲＧＢ画像をＹＵＶ画像に色空間変換した後、Ｙ成分データについてエッジ検出を行い、エッジ有無の結果に応じてＵ成分及びＶ成分の量子化値を変更することが記載されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平１１−１６４１５２号公報
【特許文献２】特開２００１−５４１３７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
４：４：４フォーマットは３つの成分が同程度に画像情報を持つので、４：２：０フォーマットのように画像情報が１成分に大きく依存していることを前提とした従来の符号化方式とは異なる符号化方式が望ましい。
【００１４】
しかし、４：４：４フォーマットの動画像信号を色成分毎に独立して符号化し、量子化制御する場合、入力画像の絵柄によっては特定の色成分だけ符号化劣化の度合いが異なるケースが発生しやすくなる。特定の色成分の劣化度合いが大きいと、画質劣化が目立ちやすくなってしまう。特許文献１，２に記載の技術は、このようなケースを解決できない。
【００１５】
本発明は、複数の色成分を同じサンプル比で伝送する場合に、特定の色成分の符号化劣化を軽減する動画像符号化装置及び方法を提示することを目的とする。
【課題を解決するための手段】
【００１６】
上述の課題を解決するために、本発明に係る動画像符号化装置は、同じサンプル比の色成分で構成される入力画像を前記色成分ごとに予測符号化する符号化手段と、前記予測符号化の符号化対象ブロックの画像特徴量を色成分ごとに取得する画像特徴量取得手段と、前記色成分ごとの、前記入力画像と予測画像との予測誤差を取得する予測誤差取得手段と、前記色成分ごとに設定される前記符号化対象ブロックに対する量子化値を取得する量子化値取得手段と、前記色成分ごとの前記画像特徴量、前記量子化値及び前記予測誤差に従い、前記符号化対象ブロックの符号化による劣化度を推定する劣化度推定手段と、前記劣化度推定手段の劣化度推定結果に基づき特定の色成分に係る前記符号化対象ブロックに対する前記量子化値を補正する量子化値補正手段とを有することを特徴とする。
【００１７】
また、本発明に係る動画像符号化装置は、同じサンプル比の色成分で構成される入力画像を前記色成分ごとに予測符号化する符号化手段と、前記入力画像から顔画像を検出し、前記顔画像の有無と前記顔画像の領域を示す顔領域情報とを含む顔情報を出力する顔画像検出手段と、前記色成分ごとの、前記入力画像と予測画像との予測誤差を取得する予測誤差取得手段と、前記色成分ごとに設定される符号化対象ブロックに対する量子化値を取得する量子化値取得手段と、前記顔情報並びに前記色成分ごとの前記量子化値及び前記予測誤差に従い、前記符号化対象ブロックの符号化による劣化度を推定する劣化度推定手段と、前記劣化度推定手段の劣化度推定結果に基づき特定の色成分に係る前記符号化対象ブロックに対する前記量子化値を補正する量子化値補正手段とを有することを特徴とする。
【００１８】
また、本発明に係る動画像符号化方法は、同じサンプル比の色成分で構成される入力画像を前記色成分ごとに予測符号化する方法であって、前記予測符号化の符号化対象ブロックの画像特徴量を色成分ごとに取得する画像特徴量取得ステップと、前記色成分ごとの、前記入力画像と予測画像との予測誤差を取得する予測誤差取得ステップと、前記色成分ごとに設定される前記符号化対象ブロックに対する量子化値を取得する量子化値取得ステップと、前記色成分ごとの前記画像特徴量、前記量子化値及び前記予測誤差に従い、前記符号化対象ブロックの符号化による劣化度を推定する劣化度推定ステップと、前記劣化度推定ステップの劣化度推定結果に基づき特定の色成分に係る前記符号化対象ブロックに対する前記量子化値を補正する量子化値補正ステップとを有することを特徴とする。
【００１９】
また、本発明に係る動画像符号化方法は、同じサンプル比の色成分で構成される入力画像を前記色成分ごとに予測符号化する方法であって、前記入力画像から顔画像を検出し、前記顔画像の有無と前記顔画像の領域を示す顔領域情報とを含む顔情報を出力する顔画像検出ステップと、前記色成分ごとの、前記入力画像と予測画像との予測誤差を取得する予測誤差取得ステップと、前記色成分ごとに設定される符号化対象ブロックに対する量子化値を取得する量子化値取得ステップと、前記顔情報並びに前記色成分ごとの前記量子化値及び前記予測誤差に従い、前記符号化対象ブロックの符号化による劣化度を推定する劣化度推定ステップと、前記劣化度推定ステップの劣化度推定結果に基づき特定の色成分に係る前記符号化対象ブロックに対する前記量子化値を補正する量子化値補正ステップとを有することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、同じサンプル比で複数の色成分から構成される画像信号を、色成分毎に予測符号化するときに、特定の色成分の符号化劣化を軽減できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施例の概略構成ブロック図である。
【図２】本実施例の符号化器の概略構成ブロック図である。
【図３】フレームメモリのデータ配置図である。
【図４】第１実施例の動作フローチャートである。
【図５】第１実施例の適用例の説明図である。
【図６】本発明の第２実施例の概略構成ブロック図である。
【図７】第２実施例の動作フローチャートである。
【図８】第２実施例の適用例の説明図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００２３】
図１は、撮像装置に適用された本発明に係る動画像符号化装置の第１実施例の概略構成ブロック図を示す。なお、実施例では、特に説明しない限り、１６行１６列の画素データの集まりを符号化対象ブロックとし、このブロック単位で動き予測等の符号化処理を行う。
【００２４】
図１に示す撮像装置の撮像部１０１は、ＣＣＤ／ＣＭＯＳ等の撮像素子、当該撮像素子に光学像を入射する撮影レンズ等の光学系、及び撮像素子から出力される画像信号を所定フォーマットの画像データに変換するカメラ信号処理回路等からなる。撮像部１０１は、被写体光学像に対応するカラー画像データを所定周期で色分離部１０２に出力する。
【００２５】
色分離部１０２は、撮像部１０１から出力されるカラー画像データを、ＲＧＢ三原色のそれぞれの色成分毎、即ちＲ画像データ、Ｇ画像データ及びＢ画像データに分離し、フレームメモリ１０３に格納する。符号化器１０９，１１０，１１１は、対応する色成分の画像データを同じサンプル比で互いに独立に予測符号化する。すなわち、符号化器１０９はＲ画像データを予測符号化し、符号化器１１０はＧ画像データを予測符号化し、符号化器１１１はＢ画像データを予測符号化する。ただし、各符号化器１０９，１１０，１１１で、符号化対象ブロックは同一画面上の同じ位置・サイズで設定される。符号化器１０９，１１０，１１１は同じ構成からなり、図２は、符号化器１０９，１１０，１１１の概略構成ブロック図を示す。符号化器１０９，１１０，１１１の機能の詳細は，図２を参照して後述する。
【００２６】
フレームメモリ１０３は、複数枚の画像データを蓄積可能な大容量メモリからなり、色分離部１０２からの各色成分画像データ以外にも、後述する動き予測処理で用いる参照用画像データ（参照画像）を格納する。図３は、フレームメモリ１０３の領域分割例を示す。フレームメモリ１０３上、色分離部１０２からの画像データ（入力画像）の記憶領域と参照画像の記憶領域は、色成分毎に複数フレーム分格納できるように分割され配置されている。
【００２７】
量子化値取得部１０４は、符号化器１０９，１１０，１１１から同じ画面位置に対応する符号化ブロックの量子化値を取得する。予測誤差取得部１０５は、符号化器１０９，１１０，１１１から入力画像と予測画像との予測誤差を取得する。予測誤差として、イントラ予測またはインター予測を行った時の、符号化対象ブロックでの原画像と予測画像との画素値差分値の差分絶対値和ＳＡＤ（Sum of Absolute Difference）を用いる。
【００２８】
画像特徴量取得部１０６は、符号化器１０９，１１０，１１１から、入力画像から計算した画像特徴量を取得する。画像特徴量として、本実施例では、入力原画像の符号化対象ブロックにおける画素値の散らばり具合を示す指標、即ち分散値を用いる。分散値は、当該画像ブロック内の全画素について、各画素値を二乗した和の平均値から全画素の平均値を二乗した値を減じた値として導出される。分散値が大きい場合、画素のバラツキが大きく複雑な絵柄であると判断でき、逆に小さい場合、平坦な絵柄であると判断できる。
【００２９】
劣化度推定部１０７は、量子化値取得部１０４、予測誤差取得部１０５及び画像特徴量取得部１０６からそれぞれ全色成分の量子化値、予測誤差及び画像特徴量を取得し、各色成分の符号化劣化度を推定する。劣化度推定部１０７は、他の色成分に比べて画質劣化が目立ちやすいと判断された色成分を量子化補正部１０８に通知する。量子化補正部１０８は、劣化度推定部１０７の劣化度推定結果に従い、劣化度推定部１０７から通知された、画質劣化が目立ちやすいと判断された色成分に対して符号化対象ブロックの量子化値を補正する。このとき、特定の色成分の量子化値をより小さく、又は、より大きくして、結果として色成分毎の符号化劣化度合い（画質の差）が同程度に揃うように量子化値を補正することによって調整される。
【００３０】
ストリーム多重化部１１２は、符号化器１０９，１１０，１１から出力される符号化ピクチャデータを一つのビットストリームデータに多重化する。
【００３１】
図２を参照して、符号化器１０９，１１０，１１１の内部動作を詳細に説明する。符号化器１０９，１１０，１１１は、符号化対象の色成分が異なるのみで、その構成は同じである。
【００３２】
特徴抽出部２０１は、メモリ１０３に格納された入力画像データ（の対応する色成分）を読み込み、当該入力画像データの特徴量を取得する。特徴抽出部２０１は、取得した特徴量を画像特徴量取得部１０６に供給し、入力画像データを減算器２０２に供給する。減算器２０２は、特徴抽出部２０１からの入力画像データから後述する予測画像データを減算して差分画像データを算出し、整数変換部２０３に供給する。
【００３３】
整数変換部２０３は、減算器２０２からの差分画像データを、符号化ブロック単位で空間周波数領域に直交変換する。この直交変換により、空間的に隣接する画素は互いに類似性が高いという空間的相関を利用して、画像情報の冗長度を削減できる。整数変換部２０３は整数変換で得られる係数データを量子化部２０４に供給する。
【００３４】
量子化部２０４は、符号量制御部２０６より設定された目標符号量に基づいて量子化係数を算出し、整数変換部２０３からの係数データを量子化する。量子化部２０４は、量子化した係数データをエントロピー符号化部２０５に供給し、局所復号化のために逆量子化部２１１に供給する。量子化部２０４はまた、当該符号化対象ブロックの量子化値を量子化値取得部１０４に供給する。量子化補正部１０８からの補正した量子化値設定が有効になっている場合、量子化部２０４は、符号量制御部２０６からの量子化値よりも量子化補正部１０８からの補正した量子化値設定を優先して、量子化を実行する。
【００３５】
エントロピー符号化部２０５は、量子化部２０４から出力される量子化された係数データに、ＣＡＢＡＣ（コンテキスト適応算術符号化）方式等のビットデータの出現確率の偏りを利用したエントロピー符号化を行う。エントロピー符号化部２０５は、インター予測の場合には、動き予測で用いたベクトル値をエントロピー符号化で得られる符号データに多重する。エントロピー符号化部２０５は、発生符号量を示す情報を符号量制御部２０６に供給する。
【００３６】
符号量制御部２０６は、エントロピー符号化部２０５からの発生符号量情報に従い、ビットレート及びＶＢＶ等のバッファモデルに基づいて１フレーム当たりの目標符号量を算出し、量子化部２０４に設定すべき量子化値を決定する。
【００３７】
局所復号化のために、逆量子化部２１１は、量子化部２０４の出力を逆量子化する。逆整数変換部２１２は、逆量子化部２１１の出力を逆整数変換する。逆整数変換部２１２の出力データは、減算器２０２の出力する差分画像データに対応する。加算器２１３は、逆整数変換部２１２の出力データに後述する予測画像を加算する。加算器２１３の出力データは、局所復号化された画像データになる。
【００３８】
イントラ予測部２０７は、フレームメモリ１０３の入力画像データのうちの符号化対象ブロックの画像データを読み出し、符号化対象ブロック周辺の画素データから生成される複数のイントラ予測画像との相関を計算する。イントラ予測部２０７は、複数のイントラ予測方式の候補から最も相関の高いイントラ予測方式を選択してイントラ・インター判定部２０９に通知する。
【００３９】
他方、インター予測部２０８は、フレームメモリ１０３の符号化対象となる原画像データと、符号化済みの画像データとの間で、画素データ同士のパターンマッチングをブロック単位で行って動きベクトルを算出する。インター予測部２０８は、算出した動きベクトルをイントラ・インター判定部２０９に通知する。
【００４０】
イントラ・インター判定部２０９は、イントラ予測部２０７からのイントラ予測方式と、インター予測部２０８からの動きベクトルとに基づき、適用すべき予測方式又は予測モードを選択及び決定する。具体的には、符号化対象ブロックについてイントラ予測部２０７で計算した予測画像と符号化対象画像との予想誤差と、インター予測部２０８で求めた動きベクトルを用いて参照画像から予測画像と符号化対象画像との予測誤差を比較する。そして、予測誤差の小さい方を、適用すべき予測方式として決定する。もちろん、イントラ予測部２０７とインター予測部２０８で上記の予測誤差を求めておき、イントラ・インター判定部２０９は、それらの予測誤差を比較するようにしてもよい。
【００４１】
イントラ・インター判定部２０９は、選択した予測方式を予測画像生成部２１０に通知し、決定した予測方式における予測誤差を予測誤差取得部１０５に通知する。
【００４２】
予測画像生成部２１０は、イントラ・インター判定部２０９で選択された予測方式に対応する予測画像を生成し、減算器２０２及び加算器２１３に供給する。
【００４３】
ループ内フィルタ２１４は、加算器２１３の出力画像データに対して、符号化歪みを軽減するフィルタ処理を施す。
【００４４】
図４に示すフローチャートを参照して、本実施例の特徴的な動作を説明する。ステップＳ４０１で、量子化値取得部１０４は、符号化器１０９，１１０，１１１から符号化対象ブロックに適用される予定の量子化値ＱＲ，ＱＧ，ＱＢをそれぞれ取得する。ステップＳ４０２で、予測誤差取得部１０５が、符号化器１０９，１１０，１１１から符号化対象ブロックの予測誤差ＳＡＤＲ，ＳＡＤＧ，ＳＡＤＢをそれぞれ取得する。ステップＳ４０３で、画像特徴量取得部１０６が、符号化器１０９，１１０，１１１から符号化対象ブロックの画像特徴量（本実施例では分散値）ＶＡＲＲ，ＶＡＲＧ，ＶＡＲＢをそれぞれ取得する。
【００４５】
各符号化器１０９，１１０，１１１の特徴抽出部２０１は、符号化対象となる画像ブロックについて、下記式（１）に基づいて、画像特徴量ＶＡＲとなる分散値を算出する。すなわち、
【数１】
2014150302.tif 000003
【００４６】
ステップＳ４０４で、劣化度推定部１０７は、ステップＳ４０３で取得した画像特徴量から各色成分同士の差分を計算し、各差分が所定値以内であるか否かを判断する。ここでの判断によって、特定の色成分においてだけ、他の色成分と比べて画素値の散らばりや画像の複雑さが異なっているか否かを推定する。
【００４７】
各色成分の画像特徴量が有意に異なる場合（ステップＳ４０４でＦＡＬＳＥ）、全色成分を合成して再生画像を形成した時において、符号化劣化度合いが成分間で異なっても劣化は目立ちにくい。そこで、この場合には量子化値を補正する必要がないので、図４に示すフローを終了する。
【００４８】
一方、各色成分の画像特徴量が類似している場合（ステップＳ４０４でＴＲＵＥ）、イントラ予測又はインター予測による予測の当たり具合又は量子化値のバラつきによって、符号化劣化が目立ちやすくなる可能性がある。そこで、この場合、劣化度推定部１０７は、さらにその他のパラメタを用いた判断処理（Ｓ４０５以降）を実行する。
【００４９】
ステップＳ４０５で、劣化度推定部１０７は、ステップＳ４０１で取得した量子化値に基づいて各色成分の量子化値間の差を比較し、量子化値のバラツキが大きいか否かを判断する。本実施例では、量子化値は、Ｈ．２６４規格で定義される量子化パラメタＱｐを示すものとし、定義値として０から５１までの値を取るものとする。また、本実施例では、ステップＳ４０５での判断閾値としては、量子化ステップ差が６以内に収まる場合は、バラツキが少ないものと判断する。
【００５０】
量子化値のバラツキが大きい場合（ステップＳ４０５のＦＡＬＳＥ）、劣化度推定部１０７は、量子化値補正を不要と判断し、図４に示すフローを終了する。各色成分の量子化値のバラツキが少ない場合（ステップＳ４０５のＴＲＵＥ）、ステップＳ４０６で、劣化度推定部１０７は、ステップＳ４０２で取得した予測誤差ＳＡＤが色成分間でバラつくか否かを判断する。予測誤差ＳＡＤは、
【数２】
2014150302.tif 000004
で計算される。ＰＩＸｒｅｆ（ｘ，ｙ）は予測画像ブロックの画素値を示す。ＰＩＸｃｕｒ（ｘ，ｙ）は符号化対象ブロックの画素値に相当する。式（２）に示すように、符号化対象ブロックについて、原画像と予測画像との全画素値の差分絶対値を積算した評価値であり、符号化劣化の度合いを示す指標となる。すなわち、ＳＡＤ値が大きいほど実際の原画像からの誤差が大きくなり、符号化に伴う画質劣化が発生しやすくなる。
【００５１】
予測誤差値の色成分間の差が所定値以下である場合、色成分間での符号化劣化はほぼ同程度であると判断できる。この場合、劣化度推定部１０７は、量子化補正部１０８に量子化値の補正を実行させずに、本フローを終了する（ステップＳ４０６のＴＲＵＥ）。一方、色成分間で画像特徴量と量子化値が同程度であるにも関わらず、予測誤差が所定値以上となる場合（ステップＳ４０６のＦＡＬＳＥ）、何れかの色成分のイントラ・インター予測処理が実際の画像とは乖離している可能性が高い。この場合、再生画像の画質劣化が目立ちやすい。そこで、量子化補正部１０８は、色成分毎の符号化劣化度合いが同程度に揃うように量子化値を補正する。
【００５２】
ステップＳ４０７，Ｓ４０８で、劣化度推定部１０７は、量子化値を補正する対象の特定の色成分を決定するために、予測誤差ＳＡＤＲ，ＳＡＤＧ，ＳＡＤＢの間の差のうちで最大になるものを検出する。そして、ＳＡＤＲが最大となった場合（ステップＳ４０７のＴＲＵＥ）、劣化度推定部１０７は、量子化補正部１０８にＲ成分の量子化値を補正するように指示する（ステップＳ４１０）。ＳＡＤＧが最大となった場合（ステップＳ４０８のＴＲＵＥ）、劣化度推定部１０７は、量子化補正部１０８にＧ成分の量子化値を補正するように指示する（ステップＳ４１１）。何れでもない場合、すなわちＳＡＤＢが最大となった場合（ステップＳ４０８のＦＡＬＳＥ）、劣化度推定部１０７は、量子化補正部１０８にＢ成分の量子化値を補正するように指示する（ステップＳ４０９）。
【００５３】
ステップＳ４０９，Ｓ４１０，Ｓ４１１で、量子化補正部１０８は、劣化度推定部１０７から指示された色成分について、ステップＳ４０１で取得した量子化値を基準に、他の色成分との予測誤差の差に比例して量子化値を減少させる。このような処理により、他の色成分との間で予測誤差の差が大きい程、元々の量子化値が小さくなる。他の方法として、量子化値を小さく設定することと発生符号量とのトレードオフを考慮し、該当する色成分の量子化値を変更せずに、その他二つの色成分の量子化値を大きく設定するようにしてもよい。
【００５４】
図５は、本実施例による量子化値の変化例を示す。図５（ａ）は本実施例において量子化値補正を行わない場合を示し、図５（ｂ）は本実施例において量子化値を補正する場合を示す。
【００５５】
図５（ａ）は、入力画像として樹木に囲まれた家屋の風景画像を想定しており、黒枠で示した樹木の一部を符号化対象ブロックとして処理するケースを示す。この符号化対象ブロックについて、各色成分の画像特徴量、量子化値及び予測残差の数値を図示してある。
【００５６】
一般に樹木のような絵柄は、Ｇ成分が支配的でありＢ成分やＲ成分を多く含まない。細かな葉が茂っていることから、Ｇ成分の画像特徴量が他の色成分に比して大きな値を持つ傾向がある。
【００５７】
このような画像特性から、画像特徴量が色成分同士でバラつくような場合、Ｇ成分以外のＲ成分またはＢ成分の符号化劣化が大きくなっても、元々のＧ成分の絵柄が複雑なので、再生画像としての画質劣化は目立ちにくい。
【００５８】
このようなケースでは、量子化値の補正が実行されずに、入力画像はそのまま符号化される。
【００５９】
図５（ｂ）は、入力画像として幼児を中心とした人物画像を想定しており、黒枠で示した顔の一部を符号化対象ブロックとして処理するケースを示す。この符号化対象ブロックについて、各色成分の画像特徴量、量子化値及び予測誤差の数値を図示してある。
【００６０】
人物の顔や肌等の絵柄は、画像データとしては平坦で、いずれかの色成分だけが突出した複雑な画素パターンを持つことはなく、符号化処理の観点からは冗長性が高く情報圧縮しやすい。
【００６１】
しかし、人間の視覚特性上、平坦な箇所は複雑な箇所に比べて劣化が目立ちやすい。特に、色成分毎に独立して符号化したときに量子化値又はイントラ・インター予測の予測結果にバラツキがあると、その傾向が顕著になる。
【００６２】
このような画像特性から、画像特徴量及び量子化値が色成分同士で類似する場合で、予測誤差に大きな差があったときには、最も予測誤差が大きかった色成分の量子化値を、その他の色成分の予測誤差との差に基づいて、元の値（初期値）よりも小さな値へ補正する。
【００６３】
図５（ｂ）に示す例では、全色成分の画像特徴量と量子化値が同一値になるにも関わらず、Ｇ成分の予測誤差値が３００であり、その他の色成分の予測誤差値１００に比して乖離している。このまま初期値の量子化値で符号化すると、Ｇ成分の符号化劣化だけが大きくなってしまう。
【００６４】
本実施例では、図４に示すフローに基づいてＧ成分に対する量子化値を２０から例えば１８に減少させる。これにより、符号量の割り当てが増加し、結果としてＧ成分の予測誤差が他の色成分の予測誤差と同じ範囲に収束する。
【００６５】
上述したように、本実施例では、特定の色成分の劣化度合いだけが大きくなることを推定し、この推定結果に基づく補正量子化値を適用するので、特定の色成分の画質劣化を軽減できる。
【実施例２】
【００６６】
本発明の第２実施例を説明する。第２実施例では入力画像中の顔領域を用いて画質劣化度を推定する。これにより、被写体としてユーザが再生時に最も注目する顔画像部分に対して最適な量子化制御を行うことで、目立つ部分の画質劣化を効果的に抑制できる。
【００６７】
図６は、第２実施例の概略構成ブロック図を示す。図１に示す実施例と同じ構成要素には同じ符号を付してあり、詳細な説明は省略する。
【００６８】
顔画像検出部６０１は、撮像部１０１の出力画像中から顔画像を検出し、顔画像の有無と、顔画像が入力画像に存在する場合に、その顔画像の領域を示す顔領域情報を劣化度推定部６０２に通知する。
【００６９】
劣化度推定部６０２は、全色成分について符号化対象ブロックの量子化値と予測誤差及び顔画像検出部６０１からの顔情報から、当該符号化対象ブロックの劣化度を推定する。
【００７０】
図７は、本実施例による量子化値補正処理のフローチャートを示す。図４に示すフロート同じ処理には同じ符号を付してある。図４に示すフローのステップＳ４０３，Ｓ４０３が、ステップＳ７０１，Ｓ７０２で代替されている。
【００７１】
図７では、ステップＳ４０２に続くステップＳ７０１で、劣化度推定部６０２が、顔画像検出部６０１の出力する顔情報を取り込む。顔情報は、入力画像中の顔画像の有無と、顔画像がある場合の顔画像の領域を示す情報からなる。なお、予測符号化方式を採用する場合、時間軸方向の入力画像（撮像部１０１の出力画像）の順番と符号化器１０９〜１１１での符号化順とが異なる。この場合、劣化度推定部６０２は、顔画像検出部６０１からの顔情報を内蔵メモリに一時記憶し、符号化順に読み出して、劣化度推定に利用すればよい。劣化度推定部６０２の内蔵メモリの代わりに、メモリ１０３を利用しても良いことは明らかである。
【００７２】
ステップＳ７０２で、劣化度推定部６０２は、当該符号化対象ブロックの位置が顔領域内にあるか否かを判断する。顔画像が存在しないか、顔領域内に符号化対象ブロックが含まれない場合（ステップＳ７０２のＦＡＬＳＥ）、劣化度推定部６０２は、本フローを終了する。
【００７３】
当該符号化ブロックが顔領域に含まれる場合（ステップＳ７０２のＴＲＵＥ）、劣化度推定部６０２は、ステップＳ４０５に進む。ステップＳ４０５で、劣化度推定部６０２は、ステップＳ４０１で取得した量子化値に基づき各色成分間の量子化値の差を比較し、量子化値のバラツキが大きいか否かを判断する。
【００７４】
以降、ステップＳ４０５からステップＳ４１１までは、劣化度推定部６０２は、実施例１の図４のフローと同一の処理を実行する。
【００７５】
図８は、図７に示す処理の適用例を示す。図８（ａ）は量子化値補正を行わないケースを示し、図８（ｂ）は、同じ入力画像に対して量子化値を補正するケースを示す。
【００７６】
図８（ａ）に示す例では、破線で囲まれた顔画像検出領域と、実線で囲まれた符号化対象ブロックの位置は重ならない。このとき、符号化対象ブロックに対して顔情報が存在せず、各色成分の量子化値と予測画素が図示した値になっている。この例では、符号化対象ブロックに重要な注目領域である顔画像が含まれないので、画質劣化があっても目立ちにくい。この符号化対象ブロックに対しては、元々の量子化値及び予測誤差のバラつきによらず、量子化値の補正は行われない。
【００７７】
一方、図８（ｂ）に示す例では、顔画像領域内に符号化対象ブロックが位置しているので、重要な注目領域に対する符号化劣化の推定に基づく量子化値補正が必要となる。図８（ｂ）に示す例では、各色成分の量子化値が２０と同じであるが、予測誤差がＧ成分だけ３００と他の色成分の予測誤差に比べて大きく乖離しており、Ｇ成分の符号化劣化が多くなると予測される。図７に示す処理に基づき、特定の色成分としてＧ成分の量子化値を２０から１８へと減少させる。この量子化値の減少により、符号量の割り当てを増加させ、結果として当該色成分の予測誤差を他の色成分の予測誤差と同じ範囲に収束させることができる。
【００７８】
上述したように、顔画像のようにユーザにとって重要な注目画像領域に対して優先的に色成分毎の劣化度を推定して量子化値補正をすることで、目立ちやすい画質劣化を軽減することができる。
【図１】
2014150302.tif 000005
【図２】
2014150302.tif 000006
【図３】
2014150302.tif 000007
【図４】
2014150302.tif 000008
【図５】
2014150302.tif 000009
【図６】
2014150302.tif 000010
【図７】
2014150302.tif 000011
【図８】
2014150302.tif 000012