(57)【特許請求の範囲】
【請求項１】
入来画像符号列を復号化してディエンファシス処理を行いディエンファシス処理済み再生画像を出力する画像ディエンファシス復号化装置であって、
ディエンファシス処理済み再生画像の表示手段が行うエンハンス処理の程度を示す情報を得る手段と、
前記エンハンス処理の程度を示す情報から得られるエンハンス処理の程度が低いほど、ディエンファシス処理の程度を下げるようにディエンファシスレベルを設定する設定手段と、
入来画像符号列を復号化し、再生画像を得る画像復号化手段と、
前記画像復号化手段から供給される前記再生画像に前記ディエンファシスレベルに応じたディエンファシス処理を行い、前記ディエンファシス処理済み再生画像を出力するディエンファシス手段と、
を備えたことを特徴とする画像ディエンファシス復号化装置。
【請求項２】
請求項１記載の画像ディエンファシス復号化装置において、
前記設定手段は、前記入来画像符号列に多重化されている前記入来画像符号列の符号化時の画像に対するエンファシスレベルに関する情報を得て、そのエンファシスレベルに関する情報から得られるエンファシスレベルと、前記表示手段が行う前記エンハンス処理の程度を示す情報から得られるエンハンス処理の程度とを加算した値が低いほど、ディエンファシス処理の程度を下げるようにディエンファシスレベルを設定する手段である、
ことを特徴とする画像ディエンファシス復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、エンファシス処理された画像を符号化して得られた画像符号列を復号化する画像ディエンファシス復号化装置に関する。そして、この発明は特に、独自のディエンファシス処理により再生画像の画質を改善できる画像ディエンファシス復号化装置を提供することを目的としている。
【０００２】
【従来の技術】
＜エンファシスと符号化＞
エンファシスは、画像や音声信号の記録伝送において広く用いられてきた技術である。記録伝送路の前で、高い周波数成分をエンファシス回路で強調しておき、記録伝送後にディエンファシス回路で強調分を落とすことにより、伝送されるべき信号の周波数特性を元通りに保つ。記録伝送路で生じるノイズや歪成分にはディエンファシスのみが作用して減衰する。結果的に記録伝送路で生じるノイズや歪成分が軽減される。記録伝送路の前で信号成分が強調されるので、記録伝送路には、オーバーレンジ等に対する注意が必要である。
【０００３】
このエンファシス処理はＤＣＴ(Discrete Cosine Transform：離散コサイン変換)などの高能率符号化処理に対しても有効である。符号化及び復号化で生じるブロック歪やモスキートノイズが軽減される。但し、高い周波数成分が強調されると、発生する情報量が多くなり、発生符号量を一定とすると量子化誤差が増大することになる。従って、必ずしも符号化効率を改善するものではないが、ＤＣＴによる符号化・復号化処理と異なりブロックに跨った処理となるので、ブロック歪などに対しては明らかに有効である。
【０００４】
一方、復号画像のポスト処理によりノイズや歪を軽減する適応フィルタもあるが、ノイズや歪の軽減と引き換えに信号成分もフィルタリングされやすく、必ずしも有効でない。
【０００５】
音声符号化であるＭＰＥＧ−Ａｕｄｉｏ規格では、被符号化信号がエンファシスされているものかどうかのフラグがビットストリームに多重化される。従って、エンファシスの有無のフラグにより、エンファシスありの場合は、デコーダで復号化された信号に対してディエンファシスを行う。
＜エンハンス＞
一方、エンハンスはエンファシスと類似した処理であるが、目的がまったく異なり、通常画像にのみ行われる。再生画像を画面からある程度離れて見た場合、細かい部分は見え難くなる。これは視覚の空間周波数特性によるものである。エンハンスはこれを補うもので、処理的には高い周波数成分を上げるのでエンファシスと似たものになる。ハンハンス処理はカメラとテレビ受像器内で行われるのが一般的である。エンハンスの場合、逆補正することはなく、ディエンハンスというものはない。
＜従来例画像エンファシス符号化装置＞
図５は画像エンファシス符号化装置の従来例の構成を示したものである。画像入力端子１より入来する画像信号は、加算器２と空間ＨＰＦ（高域通過フィルタ）６に与えられる。空間ＨＰＦ６は、画像信号の高い周波数成分のみを抽出し、スイッチ５２を介して加算器２に与える。加算器２は入来画像信号と高い周波数成分の信号を加算し、高い周波数成分が強調された信号を得て、ＤＣＴ（離散コサイン変換器）３に与える。これ以降は通常の符号化となる。（このエンファシス処理については、例えば特開平７−１６２８６２号公報に示されている。）
ＤＣＴ３はエンファシス済み画像信号に対して８×８ＤＣＴの変換処理を行い、得られた係数を量子化器４に与える。量子化器４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器５に与える。可変長符号化器５は、固定長の予測残差を可変長符号で圧縮し、得られた可変長符号列は多重化器５１に与えられる。多重化器５１はエンファシス有無情報を主たる符号列に多重化し、最終的な符号列は出力端子９を介して出力される。
【０００６】
スイッチ５２は制御情報入力端子５３から与えられるエンファシス有無情報で制御され、エンファシス有りの場合に空間ＨＰＦ６の出力を加算器２に与える。このエンファシス有無情報は、多重化器５１にも与えられる。
＜従来例画像ディエンファシス復号化装置＞
図６は、図５の従来例画像エンファシス符号化装置に対応する画像ディエンファシス復号化装置の従来例構成を示したものである。
【０００７】
符号入力端子２８より入来する符号列は、多重化分離器６１でエンファシス有無情報が分離され、主たる符号列は可変長復号化器２１に与えられる。可変長復号化器２１では可変長符号が固定長の符号に戻され、逆量子化器２２に与えられる。
【０００８】
固定長符号は逆量子化器２２で予測残差の再生ＤＣＴ係数値となり、逆ＤＣＴ２３に与えられる。逆ＤＣＴ２３は８×８個の係数を再生予測残差信号に変換し、減算器２４と共に空間ＨＰＦ２６に与えられる。空間ＨＰＦ２６は、画像信号の高い周波数成分のみを抽出し、スイッチ６２を介して減算器２４に与える。減算器２３は復号画像信号から高い周波数成分を減算し、エンファシスが行われる前の周波数特性の画像信号を得る。得られた再生画像信号は画像出力端子２５から出力される。
【０００９】
スイッチ６２はエンファシス有無情報で制御され、エンファシス有りの場合に空間ＨＰＦ２６の出力を減算器２４に与える。
【００１０】
【発明が解決しようとする課題】
従来の画像エンファシス符号化装置は、エンファシスのレベルは制御されず、また、エンファシスの有無のみが復号化側に伝送されていた。よって、入来画像が既にエンハンスされている場合、オーバーレンジを起こしやすく、また、入来画像符号化時の量子化が細かい場合はノイズ軽減効果に対し発生符号量の増加を招きやすかった。さらには、画像ディエンファシス復号化装置で復号された再生画像が、それを表示する表示装置でのエンハンスと必ずしも整合性が取れていなかった。
【００１１】
本発明は以上の点に着目してなされたもので、エンファシス処理された画像を符号化して得られた画像符号列を復号化する際に、独自のディエンファシス処理を行うことにより再生画像の画質を改善できる、また、表示装置でのエンハンスと整合性が取れた再生画像が得られる画像ディエンファシス復号化装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、以下の装置を提供するものである。
（１）入来画像符号列を復号化してディエンファシス処理を行いディエンファシス処理済み再生画像を出力する画像ディエンファシス復号化装置であって、
ディエンファシス処理済み再生画像の表示手段が行うエンハンス処理の程度を示す情報を得る手段と、
前記エンハンス処理の程度を示す情報から得られるエンハンス処理の程度が低いほど、ディエンファシス処理の程度を下げるようにディエンファシスレベルを設定する設定手段と、
入来画像符号列を復号化し、再生画像を得る画像復号化手段と、
前記画像復号化手段から供給される前記再生画像に前記ディエンファシスレベルに応じたディエンファシス処理を行い、前記ディエンファシス処理済み再生画像を出力するディエンファシス手段と、
を備えたことを特徴とする画像ディエンファシス復号化装置。
（２）上記（１）記載の画像ディエンファシス復号化装置において、
前記設定手段は、前記入来画像符号列に多重化されている前記入来画像符号列の符号化時の画像に対するエンファシスレベルに関する情報を得て、そのエンファシスレベルに関する情報から得られるエンファシスレベルと、前記表示手段が行う前記エンハンス処理の程度を示す情報から得られるエンハンス処理の程度とを加算した値が低いほど、ディエンファシス処理の程度を下げるようにディエンファシスレベルを設定する手段である、
ことを特徴とする画像ディエンファシス復号化装置。
【００１３】
【発明の実施の形態】
画像エンファシス符号化装置の第１実施例では、入来画像の符号化における量子化パラメータによりエンファシスレベルを設定する。量子化が粗い場合は、エンファシスを強くすることで、ブロック歪やモスキートノイズの発生を抑える。量子化が細かい場合は、エンファシスの程度を弱くすることで、発生符号量の増加を抑えエンファシスによる副作用の発生を少なくする。
【００１４】
画像エンファシス符号化装置の第２実施例では、入来画像のエンハンス量を検出して、その程度によりエンファシスレベルを設定し、エンハンス量が大きい場合は、エンファシスを弱くすることで、オーバーレンジなどエンファシスによる副作用の発生を少なくする。もちろん、エンファシス処理を行っているのでブロック歪やモスキートノイズの発生を抑えることができる。
【００１５】
画像ディエンファシス復号化装置の第１実施例では、入来画像符号列に多重化されている量子化情報を含むエンファシスレベル情報から最終的なディエンファシスの程度を設定し、正しい周波数特性の再生画像を得ることができる。
【００１６】
画像ディエンファシス復号化装置の第２実施例では、再生画像を表示する表示装置のエンハンスの程度から、復号した再生画像に対するディエンファシス量を調整するので、エンハンスの少ない表示装置に表示させる場合にはディエンファシス量を減らして、適正なエンハンス量の再生画像とすることができる。
＜第１実施例画像エンファシス符号化装置＞
まず、画像エンファシス符号化装置の第１実施例について説明する。図１は、その構成を示したものであり、図５の従来例と同一構成要素には同一符号を付してある。図１には、図５と比較してスイッチ５２の代わりに乗算器７があり、アクティビティ検出器１０、エンファシス制御器１１、量子化制御器１２が追加されている。また、多重化器８の動作が図５に示す多重化器５１と異なる。
【００１７】
実施例において、従来例と異なるのはエンファシス処理とそのエンファシスレベル情報の多重化であり、符号化系の処理であるＤＣＴ系の処理は基本的に同じである。
【００１８】
画像入力端子１より入来する画像信号は、加算器２と空間ＨＰＦ６に与えられる。空間ＨＰＦ６は、画像信号の高い周波数成分のみを抽出し、抽出した高い周波数成分を乗算器７に与える。空間ＨＰＦ６の２次元フィルタ係数の例を図７に示す。その垂直または水平の１次元周波数特性を図８(ａ)に示す。周波数特性は、ＤＣ成分はゲインが０で、周波数が高くなるの従ってゲインが上がり、最も高い周波数で０.５となる。
【００１９】
乗算器７はエンファシス値Ｅｅ(０〜１.０)を画像信号の高い周波数成分に乗じて加算器２に与える。加算器２は入来画像信号と高い周波数成分の信号を加算し、高い周波数成分が強調された信号（エンファシス済み入来画像信号）を得て、その信号をＤＣＴ３に与える。加算器２では加算に際して空間ＨＰＦ６の遅延補償が入来信号に施される。加算後の周波数特性は、図８(ｂ)のようになり、エンファシス値が０の場合は平坦であり、１.０の場合は最も高い周波数が１.５倍される。なお、これ以降は通常の符号化となる。
【００２０】
ＤＣＴ３はエンファシス済み入来画像信号に対して８×８ＤＣＴの変換処理を行い、得られた係数を量子化器４に与える。量子化器４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器５に与える。可変長符号化器５は、固定長の予測残差を可変長符号で圧縮し、得られた符号は多重化器８に与えられる。
【００２１】
多重化器８は後述する量子化ステップ情報と所定エンファシスレベルＥｐの情報（ここでは、この２つの情報がエンファシスレベルに関する情報となる）とを主画像符号列に多重化し、画像符号列は符号出力端子９から出力される。そして多重化器８は発生符号量情報を量子化制御器１２に与える。
【００２２】
量子化制御器１２は、発生符号量情報とアクティビティ検出器１０から与えられるブロックアクティビティとから量子化ステップを設定し、設定した量子化ステップを量子化器４、多重化器８、及びエンファシス制御器１１に与える。量子化制御器１２は、発生符号量が多い場合に量子化ステップを大きくして、量子化が粗くなるようにする。逆に、発生符号量が少ない場合には量子化ステップを小さくして、量子化が細かくなるようにする。また、アクティビティが高いブロックで量子化ステップを大きくして、量子化が粗くなるようにし、アクティビティが低いブロックで量子化ステップを小さくして、量子化が細かくなるようにする。
【００２３】
アクティビティ検出器１０は、量子化ステップが設定される単位である１６×１６画素ブロックを４分割してサブブロックを求め、それぞれのサブブロックで画素値の分散を求め、４個の分散値で最小の分散値をそのブロックのアクティビティとして出力する。
【００２４】
エンファシス制御器１１は、あらかじめ設定されている所定エンファシスレベルＥｐ(０〜１)と量子化ステップとによりエンファシスレベルを設定し、乗算器７に与える。ここで量子化ステップは、最大量子化ステップの半分の量子化ステップで正規化(除算)され、そして、１以上は１で制限されてＱＳ(０〜１)とする。エンファシスレベルＥｅはこのＱＳより、Ｅｅ＝Ｅｐ×ＱＳで求められる。これにより量子化が最大量子化ステップの半分より小さな場合、量子化ステップが小さくなるに従って、エンファシス量も少なくなる。所定エンファシスレベルＥｐ(０〜１)の情報がエンファシスレベルに関する情報の一部として多重化器８に与えられる。
＜第１実施例画像ディエンファシス復号化装置＞
次に、画像エンファシス符号化装置の第１実施例に対応する画像ディエンファシス復号化装置の第１実施例について説明する。図２は、画像ディエンファシス復号化装置の第１実施例の構成を示すものである。図６の従来例と同一構成要素には同一符号を付してある。図２には、図６と比較して、スイッチ６２がなく、乗算器２７、エンファシス制御器３０が追加されている。また多重化分離器２９の動作が図６に示す多重化分離器６１の動作と異なる。実施例において、従来例と異なるのはディエンファシス処理であり、ＤＣＴ系の復号化処理は基本的に同じである。
【００２５】
符号入力端子２８より入来する画像符号列は、多重化分離器２９で所定エンファシスレベルＥｐの情報と量子化ステップ情報とが分離され（ここでは、この２つの情報がエンファシスレベルに関する情報である）、主たる画像符号列は可変長復号化器２１に与えられる。所定エンファシスレベルＥｐ情報はエンファシス制御器３０に、量子化ステップ情報はエンファシス制御器３０と逆量子化器２２とに与えられる。
【００２６】
可変長復号化器２１では可変長符号が固定長の符号に戻され、逆量子化器２２に与えられる。固定長符号は逆量子化器２２で予測残差の再生ＤＣＴ係数値となり、逆ＤＣＴ２３に与えられる。逆ＤＣＴ２３は８×８個の係数を再生予測残差信号に変換し、減算器２４と空間ＨＰＦ２６とに与える。空間ＨＰＦ２６は、画像信号の高い周波数成分のみを抽出し、乗算器２７に与える。乗算器２７は、エンファシス制御器３０から与えられるディエンファシス値Ｅｄ(０〜１)を高い周波数成分に乗じて減算器２４に与える。減算器２４は復号画像信号から高い周波数成分を減算し、エンファシスが行われる前の周波数特性の画像信号（ディエンファシス済み再生画像信号）を得る。得られた再生画像信号は画像出力端子２５から出力される。
【００２７】
エンファシス制御器３０は、多重化分離器３０から与えられる所定エンファシスレベルＥｐ(０〜１)と正規化された量子化ステップとよりディエンファシス値Ｅｄを設定し、乗算器２７に与える。量子化ステップは最大量子化ステップの半分の量子化ステップで正規化され、１以上は１で制限された値ＱＳとなる。ディエンファシス値ＥｄはこのＱＳよりＥｄ＝Ｅｐ×ＱＳで与えられる。
＜第２実施例画像エンファシス符号化装置＞
次に、画像エンファシス符号化装置の第２実施例について説明する。図３は、その第２実施例の構成を示したものであり、図１に示す第１実施例と同一構成要素には同一符号を付してある。図３には、図１と比較して、アクティビティ検出器１０と量子化制御器１２がなく、エンハンス検出器３１が追加されている。またエンファシス制御器３２の動作が異なる。
【００２８】
画像エンファシス符号化装置の第２実施例において、第１実施例と異なるのはエンファシスレベルの制御であり、ＤＣＴ系の処理とエンファシスレベルに関する情報の多重化は基本的に同じである。従って、画像入力端子１、加算器２、空間ＨＰＦ６、乗算器７、ＤＣＴ３、量子化器４、可変長符号化器５、多重化器８、符号列出力端子１２の動作は第１実施例と同じである。
【００２９】
エンハンス検出器３１は、入来画像に施されているエンハンス量を検出する。具体的には入来画像信号から0.125fs〜0.25fsの成分を中域、0.25fs〜0.5fsの成分を高域として検出し、１フレームの平均値をそれぞれＳｍとＳｈとして得る。中域に対する高域の比率ＳｒをＳｒ＝Ｓｈ／Ｓｍで求め、あらかじめ設定されているエンハンスを行わない場合の平均値Ｓｓと比較する。平均値に対する比をＳｅ＝Ｓｒ／Ｓｓで求め、推定エンハンス量ＥｉはＥｉ＝２(Ｓｅ−１)とする。但しＥｉが０以下の場合は０、１以上の場合は１とする。このエンハンス量はあくまで推定量である。この値はフレーム毎に独立に求めるが、そのまま出力せず、Ｅｉ(ｎ)＝０.１Ｅｉ(ｎ)＋０.９Ｅｉ(ｎ−１)  ［ここでｎはフレーム番号］として、前の値と平均値を取ることでより安定なものになる。
【００３０】
エンファシス制御器３２は、あらかじめ設定されている所定エンファシスレベルＥｐ(０〜１)、推定エンハンス量Ｅｉ(０〜１)によりエンファシスレベルを設定する。エンファシスレベルＥｅは、Ｅｅ＝Ｅｐ−Ｅｉで求められる。但しＥｅが０以下となる場合はＥｅを０とする。
【００３１】
第１の実施例と組み合わせる場合には、エンファシスレベルＥｅはＥｅ＝(Ｅｐ−Ｅｉ)×ＱＳで求められる。ＱＳは最小量子化ステップで０、最大量子化ステップの半分の量子化ステップ以上で１となるように線形変換された量子化値である。
【００３２】
多重化器８で多重化されるエンファシスレベルに関する情報を所定エンファシスレベルＥｐとすると、入来画像に元もと施されていたエンハンスが復号化側においてキャンセルされることになる。一方、多重化されるエンファシスレベルに関する情報を所定エンファシスレベルＥｐに代えてエンファシスレベルＥｅとすると、入来画像に元もと施されていたエンハンスが復号化側の再生画像に残ることになる。
＜第２実施例画像ディエンファシス復号化装置＞
次に、画像ディエンファシス符号化装置の第２実施例に対応する画像ディエンファシス復号化装置の第２実施例について説明する。図４は、画像ディエンファシス復号化装置の第２実施例の構成を示したものであり、図２に示す第１実施例と同一構成要素には同一符号を付してある。図４には、図２と比較して表示エンハンス量情報入力端子４２が追加されており、エンファシス制御器４１の動作が異なる。
【００３３】
第２実施例では、復号化された画像が表示されるモニターのエンハンスが不十分な場合に、復号時のディエンファシスの量を下げて、結果的に高い周波数成分が強調されたままの画像を出力するものである。
【００３４】
本実施例において、第１実施例と異なるのはディエンファシスレベル設定であり、符号入力端子２８、多重化分離器２９、可変長復号化器２１、逆量子化器２２、逆ＤＣＴ２３、空間ＨＰＦ２６、乗算器２７、減算器２４、画像出力端子２５の動作は第１実施例と同じである。
【００３５】
エンファシス制御器４１は、多重化分離器２９から与えられる所定エンファシスレベルＥｐ(０〜１)、表示エンハンス量情報入力端子４２から与えられる表示エンハンス量Ｅｏ(０〜１)によりディエンファシスレベルを設定する。ディエンファシスレベルＥｄはＥｄ＝Ｅｐ＋Ｅｏ−１で求められる。但しＥｄが０以下となる場合はＥｄを０とする。
【００３６】
表示エンハンス量Ｅｏはエンハンスがまったく行われていない場合に０、最大限のエンハンスが行われている場合に１とする。表示エンハンス量Ｅｏは、復号化装置がモニターと一体化されている場合には、モニターの調整設定より得る。そうでない場合は、接続するモニターのタイプにより決める。ＰＣモニターではエンハンスは行われないで０、画質調整機能のないテレビ受像機はエンハンスが不十分なので０.５、画質調整機能のあるものは十分なエンハンスが行われているとみなし１とする。
【００３７】
なお、画像エンファシス符号化装置におけるエンファシス制御器でのエンファシスレベルの設定は、入来制御情報（上記実施例では示していないが例えば入来画像と共に外部から供給されるエンファシスレベルを指定する情報）、入来画像から得られる情報（例えば入来画像のエンハンスの程度）、及び入来画像の画像符号化状況（例えば入来画像の符号化における量子化の程度）の内の少なくとも一つに応じて行えばよい。
【００３８】
【発明の効果】
以上の通り、本発明の画像ディエンファシス復号化装置は下記の効果を有する。
（イ）再生画像の表示手段におけるエンハンスの程度に応じてディエンファシスレベルを設定するようにしたので、表示手段でのエンハンスと整合性が取れた再生画像が得られ、視覚的に適正なエンハンス量の再生画像とすることができる。
（ロ）エンファシス処理された画像を符号化して得られた画像符号列を復号化する際に、そのエンファシスレベルに関する情報に応じてディエンファシスレベルを設定するようにした場合には、より再生画像の画質を改善できる。
【図面の簡単な説明】
【図１】画像エンファシス符号化装置の第１実施例の構成例を示す図である。
【図２】画像ディエンファシス復号化装置の第１実施例の構成例を示す図である。
【図３】画像エンファシス符号化装置の第２実施例の構成例を示す図である。
【図４】画像ディエンファシス復号化装置の第２実施例の構成例を示す図である。
【図５】従来の画像エンファシス符号化装置の構成例を示す図である。
【図６】従来の画像ディエンファシス復号化装置の構成例を示す図である。
【図７】空間ＨＰＦ（高域通過フィルタ）のタップ係数例を示す図である。
【図８】信号周波数特性の様子を示す図である。
【符号の説明】
１  画像入力端子
２  加算器
３  ＤＣＴ
４  量子化器
５  可変長符号化器
６，２６  空間ＨＰＦ
７，２７  乗算器
８，５１  多重化器
９  符号列出力端子
１０  アクティビティ検出器
１１，３０，３２，４１  エンファシス制御器
１２  量子化制御器
２１  可変長復号化器
２２  逆量子化器
２３  逆ＤＣＴ
２４  減算器
２５  画像出力端子
２８  符号列入力端子
２９，６１  多重化分離器
３１  エンハンス検出器
４２  表示エンハンス量情報入力端子
５２，６２  スイッチ
【図１】
0003991596.tif 000002
【図２】
0003991596.tif 000003
【図３】
0003991596.tif 000004
【図４】
0003991596.tif 000005
【図５】
0003991596.tif 000006
【図６】
0003991596.tif 000007
【図７】
0003991596.tif 000008
【図８】
0003991596.tif 000009