(57)【要約】【課題】  明るさに対する人間の視覚特性によって目立ちやすい暗部の歪みを抑制し、表示装置の非線形特性に適した画質の符号化画像を得る。【解決手段】  任意の符号化単位毎に量子化オフセット係数を含む量子化パラメータを制御し画像の符号化を行う画像符号化手段と、前記符号化単位毎に基準となる初期量子化オフセット係数を含む初期量子化パラメータを設定する手段と、前記符号化単位の輝度情報が閾値以下となった場合は、前記初期量子化オフセット係数をより大きな量子化オフセット係数に設定する設定手段とを具備する画像符号化装置を提供する。【選択図】  図１
2007081474.tif 000002
【特許請求の範囲】
【請求項１】
任意の符号化単位毎に量子化オフセット係数を含む量子化パラメータを制御し画像の符号化を行う画像符号化手段と、
前記符号化単位毎に基準となる初期量子化オフセット係数を含む初期量子化パラメータを設定する手段と、
前記符号化単位の輝度情報が閾値以下となった場合は、前記初期量子化オフセット係数をより大きな量子化オフセット係数に設定する設定手段とを具備することを特徴とする画像符号化装置。
【請求項２】
前記閾値は予め設定された値であることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記量子化パラメータは量子化幅を含み、前記符号化単位の輝度情報と表示装置の表示特性を示す少なくとも１つ以上の値に基づいて、符号化単位に対して表示装置上で知覚される単位符号化歪みの大きさが画面内で一定となるように量子化幅を修正する修正手段をさらに具備し、
前記符号化単位の前記量子化幅の修正値が初期量子化幅以下の値となった場合は、前記初期量子化オフセット係数をより大きな量子化オフセット係数に設定することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記符号化単位の前記量子化幅の修正値が初期量子化幅以下の値となり、かつ修正前の量子化パラメータで前記符号化単位内の係数を量子化した際に、０でない値となる係数の数が閾値以上であった場合、前記量子化パラメータを修正しないことを特徴とする請求項３記載の画像符号化装置。
【請求項５】
前記符号化単位の最高輝度値が表示装置が出力する最低の明るさに対する入力輝度値より小さい場合に、前記量子化幅の修正幅を０以上に修正し、前記量子化オフセット係数の値を修正前の値以下に修正することを特徴とする請求項１記載の符号化方法。
【請求項６】
任意の符号化単位毎に量子化オフセット係数を含む量子化パラメータを制御し画像の符号化を行い、前記符号化単位毎に基準となる初期量子化オフセット係数を含む初期量子化パラメータを設定し、前記符号化単位の輝度情報が閾値以下となった場合は、前記初期量子化オフセット係数をより大きな量子化オフセット係数に設定することを特徴とする画像符号化方法。
【請求項７】
前記閾値は予め設定された値であることを特徴とする請求項４記載の画像符号化方法。
【請求項８】
前記量子化パラメータは量子化幅を含み、前記符号化単位の輝度情報と表示装置の表示特性を示す少なくとも１つ以上の値に基づいて、符号化単位に対して表示装置上で知覚される単位符号化歪みの大きさが画面内で一定となるように量子化幅を修正し、
前記符号化単位の前記量子化幅の修正値が初期量子化幅以下の値となった場合は、前記初期量子化オフセット係数をより大きな量子化オフセット係数に設定することを特徴とする請求項５記載の画像符号化方法。
【請求項９】
前記量子化パラメータは、前記符号化単位の前記量子化幅の修正値が初期量子化幅以下の値となり、かつ修正前の量子化パラメータで前記符号化単位内の係数を量子化した際に、０でない値となる係数の数が閾値以上であった場合、前記量子化パラメータを修正しないことを特徴とする請求項８記載の画像符号化方法。
【請求項１０】
前記符号化単位の最高輝度値が表示装置が出力する最低の明るさに対する入力輝度値より小さい場合に、前記量子化幅の修正幅を０以上に修正し、前記量子化オフセット係数の値を修正前の値以下に修正することを特徴とする請求項５記載の画像符号化方法。
【請求項１１】
任意の符号化単位毎に複数の予測モードから選択される一つの予測モードを用いて符号化を行う画像符号化方法において、
前記符号化単位毎に前記予測モードに対応する符号量を得るステップと、
前記符号化単位の入力画像と予測モードに対応する予測画像の輝度情報をそれぞれ光量に対する人間の知覚特性を示す第1の値と、前記表示装置の表示特性を示す少なくとも１つ以上の値を用いて変換し、前記変換された輝度情報を用いて符号化歪を得るステップと、
前記符号量−符号化歪対集合の中から、ある未定乗数を用いてコストを計算し、コスト最小の符号量と符号化歪との対を選択するステップと、
前記最適な符号量と符号化歪との対から前記符号化に用いる予測モードを決定するステップからなることを特徴とする画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像または静止画像のための画像符号化装置及び方法に関する。
【背景技術】
【０００２】
ITU-T H.264, ISO/IEC MPEG-2などの動画像符号化標準方式は、入力画像信号に対し、離散コサイン変換（ＤＣＴ）等の直交変換を行って周波軸上への変換を行った後、量子化及び符号化による圧縮処理を行って符号化画像を得るという不可逆圧縮方式である。従って、符号化画像には量子化によって歪みが生じ、画質劣化が発生する。特に、表示装置の表示特性や、暗いところほど明るさの差に敏感である人間の視覚特性によって、画面内の輝度の小さい部分の劣化が目立つことが問題となっている。
【０００３】
そこで、特許文献１には、入力画像の輝度信号に対し、ガンマ特性を除去した後に、視覚特性を用いてさらに補正を行ったときの出力信号から量子化幅を制御する方法が記載されている。この方法により、画質劣化が目立たないきわめて低輝度或いは高輝度な領域の符号量を削減し、中期度領域の画質を改善している。
【特許文献１】特許第３６１４８８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の手法では、暗部の劣化をある程度抑えることは可能であるが、十分ではなく、特に暗部において人間の目にその歪が際立ってしまう。
【０００５】
本発明は、上記問題に鑑みてなされたもので、明るさに対する人間の視覚特性によって目立ちやすい暗部の歪みを抑制し、人間の視覚の非線形特性に適した画質の符号化画像を得ることができる画像符号化装置及び画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、任意の符号化単位毎に量子化オフセット係数を含む量子化パラメータを制御し画像の符号化を行う画像符号化手段と、
前記符号化単位毎に基準となる初期量子化オフセット係数を含む初期量子化パラメータを設定する手段と、
前記符号化単位の輝度情報が閾値以下となった場合は、前記初期量子化オフセット係数をより大きな量子化オフセット係数に設定する設定手段とを具備することを特徴とする画像符号化装置を提供する。
【０００７】
また、本発明は、任意の符号化単位毎に量子化オフセット係数を含む量子化パラメータを制御し画像の符号化を行い、前記符号化単位毎に基準となる初期量子化オフセット係数を含む初期量子化パラメータを設定し、前記符号化単位の輝度情報が閾値以下となった場合は、前記初期量子化オフセット係数をより大きな量子化オフセット係数に設定することを特徴とする画像符号化方法を提供する。
【発明の効果】
【０００８】
本発明では、視覚特性によって増幅されて知覚される暗部の量子化歪みを軽減することができ、主観画質が向上する。
【発明を実施するための最良の形態】
【０００９】
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。なお、本発明は以下に説明する各実施の形態に限定されるものではなく、種々組み合わせて利用することができる。
【００１０】
図１は、本発明の一実施形態に係る動画像符号化のための画像符号化装置のブロック図である。
【００１１】
図１に示すように、この画像符号化装置は、減算器１０１、直行変換器１０４、量子化器１０６、エントロピー符号化器１０８、逆量子化器１０９、逆直行変換器１１０、加算器１１１、フレームメモリ／予測画像作成器１１３、量子化制御器１１６、視覚特性／表示特性情報格納部１２３を有している。
【００１２】
まず、この画像符号化装置の入力画像信号１００として例えばフレーム単位で動画像信号が入力される。減算器１０１により入力画像信号１００と予測画像信号１０２との差分がとられ、予測誤差信号１０３が生成される。生成された予測誤差信号１０３に対して、直交変換器１０４により直交変換、例えば離散コサイン変換（ＤＣＴ）が施される。直交変換器１０４では直交変換係数情報１０５、例えばＤＣＴ係数情報が得られる。直交変換係数情報１０５は量子化器１０６により量子化された後、二分岐される。二分岐された量子化直交変換係数情報１０７の一方は、エントロピー符号化器１０８に導かれる。
【００１３】
次に、二分岐された量子化直交変換係数情報１０７の他方は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて予測誤差信号と同様の信号とされる。そしてこの予測誤差信号は、加算器１１１で予測画像信号１０２と加算されることにより、局部復号画像信号１１２が生成される。局部復号画像信号１１２は、フレームメモリ／予測画像生成器１１３に入力される。
【００１４】
次に、フレームメモリ／予測画像生成器１１３は、入力画像信号１００及び局部復号画像信号１１２からある予測モード情報に基づく予測画像信号を生成する。この際、加算器１１１からの局部復号画像信号１１２はフレームメモリ／予測画像生成器１１３に一旦蓄えられ、フレーム内のブロック毎に入力画像信号１００とフレームメモリ／予測画像生成器１１３に蓄えられた局部復号画像信号１１２との間のマッチング（例えば、ブロックマッチング）をとり、動きベクトルを検出する。そして、この動きベクトルで補償された局部画像信号を用いて予測画像信号１０２を作成する。ここで生成された予測画像信号１０２は、選択された予測画像信号１０２の動きベクトル情報／予測モード情報１１４とともにフレームメモリ／予測画像生成器１１３より出力される。
【００１５】
次に、エントロピー符号化器１０８では、量子化直交変換係数情報１０７及び動きベクトル情報／予測モード情報１１４がエントロピー符号化される。そして、これによって生成された符号化データ１１８は、図示しない伝送系または蓄積系へ送出される。
【００１６】
次に、視覚特性／表示装置特性情報格納部１２３には、明るさに対する人間の視覚特性を示すパラメータ及び表示装置の特性を示すパラメータ等の視覚特性／表示装置特性情報１２４が格納されており、量子化制御器１１６に入力される。
【００１７】
量子化制御器１１６は量子化器１０６から基準となる量子化ステップ情報１１５及び視覚特性／表示装置特性情報１２４の入力を受け、入力画像信号１００を解析し、表示装置上での符号化歪みの大きさが画面内で一定となるように量子化ステップ１１５を修正し、量子化器１０６に入力する。
【００１８】
図２に、量子化制御器１１６の具体例を示す。この量子化制御器１１６は、輝度平均算出器１２１及び量子化幅／量子化オフセット算出器１２２を有している。
【００１９】
輝度平均計算器１２１は、例えば1フレーム単位の入力画像信号１００を例えばマクロブロック単位に分割し、各マクロブロックの輝度特徴値１２０を計算して量子化幅／量子化オフセット算出器１２２に入力する。また、視覚特性／表示装置特性情報１２４は量子化幅／量子化オフセット算出器１２２に入力される。
【００２０】
次に、視覚特性／表示装置特性情報１２４の例を以下に示す。
【表１】
2007081474.tif 000003
【００２１】
視覚特性パラメータαは、表示装置の光量をLとし、人間が知覚する明るさの感覚量をEとすると、E=kL1/αの関係があり、指数部の分母であるαを視覚特性パラメータとしている。
【００２２】
表示装置のガンマ値γは、入力電圧Iに対し出力される光量Lについて、L=Iγの関係があることから、この指数部分γを表示装置の特性を示す値としている。
【００２３】
表示装置の入力信号の最低レベルに対応する入力輝度レベルYminは、入力輝度レベルを入力電圧信号に変換する際の基準となる最低輝度レベルである。
【００２４】
表示装置の入力信号の最高レベルに対応する入力輝度レベルYmaxは、入力輝度レベルを入力電圧信号に変換する際の基準となる最高輝度レベルである。
【００２５】
従って、ある輝度レベルYにおける表示装置の入力電圧Iは、Ymax, Yminを用いて以下のように計算される。
【数１】
2007081474.tif 000004
【００２６】
Ymax, Yminは例えばＮＴＳＣの規格で定められているYmin=16, Ymax=235を用いる。しかし、本発明においては、この値に限らず、あらかじめ設定された固定の値を用いてもよいし、入力輝度信号のダイナミックレンジに応じて、処理中のフレーム内の画素の最低輝度値や最大輝度値を例えばYmin、Ymaxとして格納してもよいし、入力画像ストリーム全体の最低輝度値，最大輝度値を格納してもよい。また入力画像の輝度ヒストグラムを計算し、例えば全体の画素数のうち、Ｓ％の画素が出現する最小の画素数が含まれる最低輝度値などを格納しても良い。さらにここで挙げた値以外の値を格納してもよい。
【００２７】
表示装置の再現可能な最低入力輝度レベルYjndは、表示装置上に表示した際にそれ以上明るさが小さくならない最低の輝度値である。一般的に表示装置のブライトネスあるいは黒レベルの設定に密接に関係する値である。
【００２８】
また、ここで挙げた例のように、表示装置の特性を計算するためのパラメータを格納するのではなく、例えば入力階調それぞれにおける表示装置の出力輝度をテーブルとして格納してもよい。
【００２９】
図３に、以上で述べた視覚特性および表示装置特性の例を示す。
【００３０】
図３の上に示すグラフは表示装置の入力画像信号の輝度レベルＹと、表示装置で出力される明るさＬの一般的な関係を示した図であり、Ｌ＝Ｙγという非線形特性を示す。通常の規格ではγ＝２．２とされている。従って、入力画像信号で一番小さい輝度レベルを入力した際に、表示装置で表現される明るさが限りなく０に近い場合は、グラフ上の破線に対応した特性が得られる。しかし、実際の表示装置では、表示装置の特性によって最も暗い部分の明るさがある値以上の大きさでしか表現できなかった。また、黒レベル（ブライトネス／明るさ）の設定によって最も暗い部分の明るさがある値に制限されていることがあり、グラフの実線のような特性になる。一方、図３の下のグラフは人間の視覚特性を示しており、表示装置の明るさＬに対して知覚する明るさをＥとすると、Ｅ＝ｋＬ1/α（ｋは定数）の関係があり、表示装置の逆の特性となっている。
【００３１】
量子化幅／量子化オフセット算出器は、図１の量子化器１０６から入力される量子化ステップ情報１１５と、輝度特徴値１２０および視覚特性／表示装置特性情報１２４から、表示装置上での符号化歪みの大きさが画面内で一定となるよう量子化ステップ情報１１５を修正し、修正した量子化ステップ情報１１５を量子化器１０６へ出力する。算出方法については後述する。
【００３２】
符号化単位は、本実施形態では例えばマクロブロック単位とするが、これに限られるものではない。
【００３３】
図４は、量子化制御器１１６の動作の流れを示すフローチャートである。各ステップＳ３０１〜Ｓ３０６の処理の具体例を示す。
【００３４】
先ず、ステップＳ３０１では、入力画像信号１００から、マクロブロックの輝度特徴値を計算する。量子化幅の修正幅の算出に用いる輝度特徴値として、本実施の形態ではマクロブロック内の各画素の輝度の平均値Y_mbおよび最大値Y_mb_maxを用いるが、平均値や最大値に限るものではなく、例えばマクロブロック内の輝度の最小値、メジアン値などを用いてもよい。さらに、これらの値の計算の際、マクロブロック内の画素をサンプリングした後に、少ない画素数で計算してもよい。
【００３５】
次に、ステップＳ３０２では、マクロブロックの輝度特徴値である輝度最大値Y_mb_maxが表示装置の再現可能最小輝度値Ｙjndより大きいかどうかを判定する。再現可能最小輝度値Ｙ_jndは視覚特性／表示装置特性情報格納部１２３にあらかじめ格納されている。
【００３６】
次にステップＳ３０３では、表示装置の視覚特性／表示装置特性情報１２４を参照し、輝度平均値Ｙ_mbに対して発生する量子化歪みの表示装置上で知覚される大きさが画面内で一様になるように量子化幅の変動値を計算する。すなわち、数２に示すように、ある基準輝度Ｙ_baseにおいて、量子化器１０６から入力される量子化幅で符号化したときの基準歪みをＤ_base、処理中のマクロブロックの輝度Ｙ_mbに対する歪みの大きさがＤ_mbであるとすると、歪みＤ_base, D_mbが生じる前後の表示装置上で知覚される明るさの差が一定であればよい。
【数２】
2007081474.tif 000005
【００３７】
この式をＤ_mbについて解くと、
【数３】
2007081474.tif 000006
【００３８】
となる。
【００３９】
一方、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣを本発明を適用する符号化方式とすると、量子化幅ＱＰで符号化したときの歪み値Ｄには、数４のような関係がある。
【数４】
2007081474.tif 000007
【００４０】
ここで、量子化器１０６から入力される量子化幅をＱＰbaseとし、算出する量子化幅の修正幅をΔＱＰとすると、それぞれ発生するＤ_base，Ｄ_mbを用いて数５となる。
【数５】
2007081474.tif 000008
【００４１】
すなわち、修正幅ΔＱＰは、数６のようになる。
【数６】
2007081474.tif 000009
【００４２】
以上から、数６に数３を代入すると輝度平均値Ｙbaseに対して発生する量子化歪みの表示装置上で知覚される大きさが画面内で一様になるように量子化幅の変動値ΔＱＰは、処理マクロブロックの輝度と, ある基準輝度Ｙ_base, 基準歪みＤ_baseおよび視覚特性／表示特性情報１２４を参照し、数７のように算出することができる。
【数７】
2007081474.tif 000010
【００４３】
Ｙ_baseは基準輝度、Ｙ_mbはマクロブロックの平均輝度値、Ｄ_baseは基準歪値である。またＹ_minは表示装置の入力信号の最低レベルに対応する入力輝度レベル、γは表示装置のガンマ値、αは前述の明るさに対する視覚特性を示すパラメータであり、視覚特性／表示装置特性情報格納部１２３にあらかじめ格納されている。
【００４４】
なお、マクロブロックの平均輝度値Ｙ_mbがＹ_min以下の場合には、ΔＱＰは式の特性上、正しく算出されない。このような場合には、例えばＹ_mb＝Ｙ_min＋１としてΔＱＰを算出する。
【００４５】
ここで、変動幅の算出に用いた基準輝度Ｙ_baseは、例えば、あらかじめ設定された固定の値を用いてもよいし、処理中のフレーム内の画素の輝度の平均値を用いてもよく、さらにここで挙げた値以外の値を用いてもよい。また、修正幅の算出は、上記の式に限るものではなく、表示装置上で知覚される大きさが画面内で一様になるように量子化幅の変動値を計算する式であれば、他の式を用いてもかまわない。例えば、本方式を適用する符号化方式の特徴を考慮して様々な式を用いることが可能である。
【００４６】
次にステップ３０４では、ステップ３０３において計算された量子化幅の変動値が負の値であった場合に量子化オフセットの修正値を算出する。例えば、あらかじめ設定されている量子化オフセットをｋ（１＜ｋ）倍にする。例えば、設定されている量子化オフセットが1／4であった場合には、ｋ／4に修正される。ここではｋ倍という乗算による修正を行ったが、これに限るものではなく、例えば加算による修正を行うなど、もとのオフセットよりも大きくなるような修正方法であれば他の方法でもかまわない。ただし、修正後のオフセットは1よりも小さくなるように修正されるのが望ましい。
【００４７】
一方、ステップ３０２でマクロブロックの輝度最大値Y_mb_maxが再現可能最小輝度値Ｙjndより小さかった場合には、ステップＳ３０５にて量子化幅の修正幅を０以上の値Q0に設定する。再現可能最小輝度値Yjndはあらかじめ視覚特性／表示特性パラメータ格納部１２３に格納されている値を用いる。
【００４８】
最後にステップＳ３０６で計算された量子化幅および量子化オフセットの修正値を出力する。
【００４９】
以上の量子化幅修正方法においては、各修正値を各マクロブロックに対し逐次計算しているが、視覚特性／表示装置特性情報１２４が一連の符号化において変化しない情報であれば、あらかじめ、輝度特徴値に対する量子化幅の修正幅（ΔＱＰ）や量子化オフセットの修正の有無等を計算してメモリ内に格納しておき、輝度特徴値からテーブル参照することでこれらの修正値を求めることも可能である。
【００５０】
本実施の形態によれば、明るさに対する視覚特性と表示装置の特性を考慮し、表示装置上で知覚される符号化誤差が画面内で一定となるように量子化幅を修正するため、目立ちやすい暗部の歪みを抑えることができ、主観画質が向上する。さらに、暗部の量子化オフセットも大きく修正することにより、入力画像中の微小な暗部ノイズが量子化によって切り捨てられ、ブロック上の劣化が生じることを防ぎ、より良好な主観画質を得ることが可能である。さらに、表示装置上で再現できないぐらい小さい輝度値をもつマクロブロックに対しては、量子化幅を修正しない、あるいは大きく修正することにより符号量を削減し、相対的に再現可能な輝度範囲のマクロブロックの符号量を多くすることができるので、より良好な主観画質を得ることが可能である。
【００５１】
（実施の形態２）
図５に本実施の形態における全体の構成図を示す。本実施の形態では、ほぼ実施の形態１と同様であるが、視覚特性／表示特性情報格納部１２３に対し、外部から視覚特性パラメータと表示特性パラメータを入力可能にしたところが実施の形態１と異なる。量子化制御器１１６の動作は、実施の形態１の量子化制御器１１６の動作とほぼ同様であるが、量子化幅の修正幅の計算式、数７において使用されている視覚特性／表示特性情報１２４（α，γ，Yjnd, Ymin, Ymax）を、外部から入力され視覚特性／表示特性情報格納部１２３に格納された値を用いるところが異なる。
【００５２】
これらのパラメータの入力は、例えば、インターネットに接続されたサーバから所定の情報を取得して入力してもよいし、ユーザの指定あるいは、接続された表示装置から所定の情報を取得するなどして入力してもよく、またここに挙げた入力方法に限るものではない。以下には量子化制御器１１６によって計算される量子化幅の変動値の例を、接続された表示装置が例えばＬＣＤであった場合とＣＲＴであった場合について示す。
【００５３】
図６（ａ）は、接続された表示装置がＬＣＤ（液晶ディスプレイ）であった場合の入力画像の輝度レベルと、ＬＣＤ上で知覚される明るさとの関係を示した図である。
【００５４】
ＬＣＤは、その特性上、黒レベルに対応する明るさが比較的明るいため、図６（ａ）の例のように例えば入力画像の輝度レベルが３０以下はＬＣＤ上では同じ明るさ（＝黒レベル）として表示される。したがって、この例で視覚特性／表示特性情報格納部１２３に入力される明るさに対する視覚特性および表示特性を示す視覚特性／表示特性情報１２４（α，γ，Yjnd, Ymin, Ymax）は、例えば（3.0, 2.2, 30, 16, 235）となる。
【００５５】
これらのパラメータから、実施の形態１と同様に量子化幅の修正幅を算出すると、図６（ｂ）のような修正幅が算出される。横軸がマクロブロックの平均輝度、縦軸が量子化幅の修正幅であり、量子化幅の修正幅が小さくなるほど画質は改善する。しかしながら符号量も相対的に増加する。この例におけるLCDでは、入力画像の輝度レベルが30以下である場合、ＬＣＤ上ではすべて同じ明るさとして知覚される。このため符号化による画質劣化が生じても知覚できない。
【００５６】
したがって、図６（ｂ）の例では、３０以下の階調をもつマクロブロックに対しては、量子化幅を修正幅を０とし、量子化幅を小さくすることによる符号量の増加を抑制している。一方、入力画像の輝度レベルが30以上の場合は、表示装置上での明るさの差が知覚でき、かつ、明るさに対する視覚特性から、暗いところほど劣化を知覚しやすい。このため、入力画像の輝度が小さいところほど量子化幅が小さくなるように修正幅が算出される。これにより、ＬＣＤでは表現できない入力輝度レベルが非常に小さい部分での符号量を削減しつつ、暗部の劣化を抑制することが可能である。
【００５７】
一方、図６（ｃ）は接続された表示装置がＣＲＴであった場合の入力画像の輝度レベルと、ＣＲＴ上で知覚される明るさとの関係を示した図である。ＣＲＴは、図６（ｃ）に示すように、ＬＣＤとは異なり、黒レベルに対応する明るさは非常に小さく、例えばＮＴＳＣの規格で示される入力画像の輝度レベル（１６〜２３５）がしっかりと明るさの差をもって表示される。したがって、この例で視覚特性／表示特性情報格納部１２３に入力される明るさに対する視覚特性および表示特性を示す視覚特性／表示特性情報１２４（α，γ，Yjnd, Ymin, Ymax）は、例えば（3.0, 2.2, 16, 16, 235）となる。
【００５８】
これらのパラメータから、実施の形態１と同様に量子化幅の修正幅を算出すると、図６（ｄ）のような修正幅が算出される。この例におけるＣＲＴでは、入力画像の輝度レベルに対して全ての階調を異なる明るさとして表現でき、かつ暗いところほど劣化を知覚しやすいという視覚特性を考慮して、輝度が小さいところほど量子化幅が小さくなるように修正幅が算出されており、暗部の劣化を抑制することが可能である。
【００５９】
本実施の形態では、特に表示装置の再現可能な最低入力輝度レベルYjndが、表示装置によって異なることを利用して表示装置に適した制御を行うことが可能であることを示したが、同じ表示装置であっても、例えば黒レベル（ブライトネス／明るさ）、白レベル（コントラスト）の設定や、黒伸張処理の有無、あるいは、映画向けに暗い階調をより伸張したガンマ特性や、あざやかな映像向けに中間階調を伸張したガンマ特性を視覚特性／表示特性情報１２４として入力することにより、表示装置の設定に適した主観画質の符号化画像を得ることも可能である。
【００６０】
なお、視覚特性／表示特性情報１２４として入力するパラメータはここであげたものに限るものではなく、視覚特性や表示装置の特性に関するパラメータであり、表示装置上で知覚される差がシミュレートできるものであれば、何でもかまわない。
【００６１】
本実施の形態によると、暗部の目立ちやすい歪みを抑え、主観画質を向上させるだけではなく、復号画像を表示する表示装置の特性や黒レベルの設定値等のパラメータを入力することにより、表示装置ごとにそれぞれ最適な主観画質を得ることが可能である。
【００６２】
（実施の形態３）
本実施の形態では、全体の構成図は実施の形態１および実施の形態２と同様であるが、量子化制御器１１６で量子化幅の修正を行うマクロブロックを量子化した際のＤＣＴ係数の数に応じて選択するところが実施の形態１および実施の形態２と異なる。
【００６３】
図７は、本実施の形態における量子化制御器１１６の動作例を示すフローチャートである。
【００６４】
先ず、Ｓ３０１からＳ３０３，Ｓ３０５は実施の形態１と同様の動作であり、量子化幅の修正幅の修正値を求める。
【００６５】
次に、ステップＳ３０７において、量子化幅の修正幅が負の値であるかどうかを判定する。負の値であった場合には、ステップＳ３０８に進み、入力された修正前の量子化情報１１５に基づいて量子化を行い、量子化後のＤＣＴ係数のうち０でない値をもつＤＣＴ係数の数Ｃをカウントする。
【００６６】
次に、ステップＳ３０９において、カウントされたＤＣＴ係数の数ＣがＣth個未満であるかどうか判定する。ここでＫ個以上であると判定された場合には、処理を終了し、量子化幅の修正は行わない。一方。ステップＳ３０７で量子化幅の修正幅が負でないと判定された場合および、ステップＳ３０９においてカウントされたＤＣＴ係数の数CがCth個未満であると判定された場合には、ステップＳ３０４に進み量子化幅および量子化オフセットの修正値を実施の形態１と同様に算出する。最後にステップＳ３０６で計算された量子化幅および量子化オフセットの修正値を出力する。
【００６７】
本実施の形態によれば、暗部においても、非ゼロＤＣＴ係数の数が多いマクロブロックでは、符号化歪みによる劣化が目立たないという特性を利用し、非ゼロＤＣＴ係数の数が多い暗部に対しては量子化幅の修正を行わないことで符号量を削減することが可能である。従って、劣化の目立ちやすい暗部の画質を改善しつつ、明るい部分に対しても符号量を割り当てることができ、より主観画質を向上させることが可能である。
【００６８】
（実施の形態４）
実施の形態４の全体構成は実施の形態１〜３とほぼ同様である。フレームメモリ／予測画像生成器１１３における予測モードの選択についても、明るさに対する視覚特性と表示装置の特性を考慮して行うところが実施の形態１〜３と異なる。
【００６９】
図８は本実施の形態におけるフレームメモリ／予測画像生成器１１３の構成図である。
【００７０】
図１中の加算器１１１からの局部復号画像信号１１２は、図８に示すフレームメモリ２００に一旦蓄えられる。動きベクトル検出器２０１は、フレーム内のブロック毎に入力画像信号１００とフレームメモリ２００に蓄えられた局部復号画像信号との間のマッチング（ブロックマッチング）をとり、動きベクトルを検出する。
【００７１】
次に、フレーム間予測器２０２は、動きベクトル検出器２０１で検出された動きベクトルに基づいてフレームメモリ２００内の局部復号画像信号に対して動き補償を施し、フレーム間予測に基づく予測画像信号を作成する。一方、フレーム内予測器２０３は、入力画像信号１００とフレームメモリ２００内のフレーム内で既に符号化された領域の局部復号画像信号からフレーム内予測に基づく予測画像信号を作成する。
【００７２】
フレーム間予測器２０２はＫ個（Ｋは複数）のフレーム間予測モードを有し、フレーム内予測器２０３はＬ個（Ｌは複数）のフレーム内予測モードを有する。フレーム間予測器２０２及びフレーム内予測器２０３の出力に、モード切替器２０４が接続される。モード切替器２０４はＫ個のフレーム間予測モードから選択された一つの予測モードに基づく予測画像信号、あるいはＬ個のフレーム内予測モードから選択された一つの予測モードに基づく予測画像信号を出力する。
【００７３】
動きベクトル情報／予測モード１１４、すなわち動きベクトル検出器２０１から出力される動きベクトル情報とモード選択器１２１によって切替器２０４で選択された予測モードを示す予測モード情報は、エントロピー符号化器１０８に送られる。動きベクトル情報は、フレーム間予測モードが選択された場合にのみ動きベクトル検出器２０１から出力される。
【００７４】
図９はモード切替器２０４の動作を示すフローチャートである。
【００７５】
先ず、ステップＳ４０１において、処理中のマクロブロックの入力画像信号の各画素の輝度を視覚特性／表示特性情報１２４を用いて変換する。この変換は例えば数８を用いて行う。
【数８】
2007081474.tif 000011
【００７６】
ここで、Ｙは変換前の画素の輝度値、Ｙ‘は変換後の画素の輝度値、Ｙｍｉｎ，Ｙｍａｘはそれぞれ表示装置の最低輝度レベル、最高輝度レベル、Ｙｊｎｄは再現可能最低輝度である。γは表示装置のガンマ値、αは明るさに対する人間の視覚特性を示すパラメータである。
【００７７】
次に、ステップ４０２において、対象マクロブロックの各候補モードの予測画像信号の各画素の輝度を表示装置の特性を示すパラメータおよび明るさに対する視覚特性を示すパラメータを用いて例えば数２を用いて変換する。
【００７８】
次に、ステップ４０３において、各候補モードについて、変換した入力画像信号と各候補モードの予測画像信号の誤差の2乗和Ｄを計算する。
【００７９】
次に、ステップ４０４において、全ての候補モードのうち、例えば数９で示されるコストＪが最小となる候補モードの予測モード情報および予測画像信号を出力し、ここで出力される予測モード情報および変換前の予測画像信号を用いて符号化が行われる。
【数９】
2007081474.tif 000012
【００８０】
ここで、λは未定乗数であり、例えば処理中のマクロブロックの量子化幅ＱＰを用いてλ＝0.85×２(QP-12)/3などで計算される。またＲは候補モードの符号量である。
【００８１】
本実施の形態では、入力画像との符号化誤差を、実際に表示装置に表示されたときの各画素の知覚される明るさから計算し、その値がある符号量のもとで最小となるように符号化モードを選ぶことが可能であり、表示装置上で主観的に知覚される画像として、最適な符号化画像を得ることが可能である。
【００８２】
以上で説明した本実施の形態１〜４においては符号化単位をマクロブロックとし、マクロブロック毎に予測モード及び量子化パラメータの対を決定する例について記述したが、符号化単位は複数のマクロブロック単位や、スライス、フィールド、フレーム、ピクチャ、あるいはＧＯＰなど他の単位でも構わない。
【００８３】
さらに、本実施形態においては動画像符号化を例にとり説明したが、静止画像符号化や、多視点画像の符号化にも本発明を適用することができる。
【００８４】
図１０及び図１１を用いて、本発明の画像符号化装置と従来のものを比較した例を示す。
【００８５】
一般に、輝度レベルがわずかに変化するような平坦な暗部領域には、微小な高周波成分がある。この構成分によって輝度レベルの差が段階上に変化せず、なめらかに階調変化しているように見える。
【００８６】
しかし、量子化を行うことで、これらの高域成分が削減されて、隣り合うブロック間の輝度の変化が階段状になり、この輝度差が表示デバイスの特性と視覚特性によって、中から高輝度領域の差と比較して大きく見える。このため暗部の画質劣化が目立つ。
【００８７】
上述した特許文献１に記載された方法では、カラー画像信号からモニタのガンマ特性を除去した信号に輝度信号の視覚特性を補正した出力信号を用いて量子化幅を決定している。こうして視覚劣化感度が低い輝度が極端に高い或いは低いブロックの量子化幅を小さくすることで相対的にそれ以外の輝度範囲の量子化幅を小さくしている。こうして画面全体の画質を向上させている。
【００８８】
しかしながら、このような量子化幅の制御だけでは、暗部の画質は改善しない。
【００８９】
図１１（ａ）は量子化幅と量子化オフセットの関係を示した図である。△は量子化幅、二重丸◎は、各レベルの量子化代表点である。二重丸◎をはさむ２つの棒線の間の値が二重丸◎に量子化される。ｆは量子化の際の丸め位置を制御するための量子化オフセットである。例えば、△（１−ｆ）から２△（１−ｆ）の値は量子化代表点△に量子化される。
【００９０】
図１１（ｂ）に示すように特許文献１に記載された方法では、量子化レベルを制御することによって△を小さくすると、量子化前の値と量子化代表点との誤差は小さくなるが、黒丸●で示されるような微小な高周波成分は０に量子化されることによりカットされる。  こうして図１０（ｂ）に示したように階段状の輝度変化が残り、画質劣化は改善しない。図１０（ａ）は、制御前の量子化を示している。
【００９１】
一方、本発明では、暗部の量子化幅を制御するだけでなく、図１１（ｃ）に示すように、暗部の量子化オフセットを修正前と比較して大きな値にすることで、微小な高成分がカットされることを防いでいる。こうすることで図１０（ｃ）に示すような符号化画像を得ることができ、表示デバイスによっては顕著に発生する符号化画像の低輝度領域（暗部）の画質劣化を改善することができる。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施形態に従う画像符号化装置の構成を示すブロック図
【図２】本発明の一実施形態２に従う図１中の量子化制御器の構成を示すブロック図
【図３】表示装置の明るさ、知覚特性を示す図
【図４】量子化制御器の処理手順を示す流れ図
【図５】本発明の一実施形態２に従う量子化制御器の構成を示すブロック図
【図６】量子化幅算出器で算出される量子化変動幅の例
【図７】本発明の一実施形態３に従う量子化制御器の処理手順を示す流れ図
【図８】本発明の一実施形態４に従うフレームメモリ／予測画像生成器の構成を示すブロック図
【図９】本発明の一実施形態４に従うフレームメモリ／予測画像生成器の処理手順を示す流れ図
【図１０】従来と本発明の符号前と符号後の様子を比較した図
【図１１】従来と本発明の量子化幅と量子化オフセットを比較した図
【符号の説明】
【００９３】
１００…入力動画像信号
１０１…減算器
１０２…予測画像信号
１０３…予測残差信号
１０４…直交変換器
１０５…直交変換係数情報
１０６…量子化器
１０７…量子化直交変換係数情報
１０８…エントロピー符号化器
１０９…逆量子化器
１１０…逆直交変換器
１１１…加算器
１１２…局部復号画像信号
１１３…フレームメモリ／予測画像作成器
１１４…動きベクトル情報、予測モード情報
１１５…量子化ステップ情報
１１６…量子化制御器
１１８…符号化データ
１２１…輝度特徴算出器
１２２…量子化幅／量子化オフセット算出器
１２３…視覚特性／表示装置特性情報格納部
１２４…視覚特性／表示装置特性情報
２００…フレームメモリ
２０１…動きベクトル検出器
２０２…フレーム間予測器
２０３…フレーム内予測器
２０４…モード切替器
１…可変長符号化回路
２…ブロッキングシャフリング回路
１１…非線形変換器
１２…ＤＣＴ回路
４…符号量制御回路
５…量子化回路
６…可変長符号化回路
７…バッファメモリ
８…非線形変換器
【図１】
2007081474.tif 000013
【図２】
2007081474.tif 000014
【図３】
2007081474.tif 000015
【図４】
2007081474.tif 000016
【図５】
2007081474.tif 000017
【図６】
2007081474.tif 000018
【図７】
2007081474.tif 000019
【図８】
2007081474.tif 000020
【図９】
2007081474.tif 000021
【図１０】
2007081474.tif 000022
【図１１】
2007081474.tif 000023