(57)【特許請求の範囲】
【請求項１】
カラー画像信号に対して符号化を行う符号化手段と、
上記カラー画像信号から、モニタに対応したガンマ特性を除去するガンマ処理手段と、
上記ガンマ処理手段でガンマ特性の除去されたカラー画像信号に基づいて、上記カラー画像信号に対応する輝度信号の視覚特性を補正する補正手段と、
上記補正手段の出力信号に基づいて量子化レベルを決定する量子化レベル決定手段と、
上記符号化手段の出力に対して、上記量子化レベル決定手段で決定された量子化レベルで量子化を行う量子化手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
カラー画像信号に対して符号化し、
上記カラー画像信号から、モニタに対応したガンマ特性を除去するガンマ処理を行い、
上記ガンマ処理でガンマ特性の除去されたカラー画像信号に基づいて、上記カラー画像信号に対応する輝度信号の視覚特性を補正し、
上記補正された出力信号に基づいて量子化レベルを決定し、
上記符号化された出力に対して、上記量子化レベル決定手段で決定された量子化レベルで量子化を行う
ことを特徴とする画像符号化方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、デジタル輝度信号に対する高能率符号化器を用いた画像符号化装置及び画像符号化方法に関する。
【０００２】
【従来の技術】
以下に、図５を参照して、従来の画像圧縮符号化装置を説明する。入力端子１からアナログ輝度信号をＡ／Ｄ変換器２に供給してＡ／Ｄ変換（量子化）して、時間軸上に順次配された複数の離散的画素データからなるデジタル輝度信号を得る。
【０００３】
Ａ／Ｄ変換器１からのデジタル輝度信号を時系列変換器３に供給して、画面毎に、画面の水平方向及び垂直方向に所定個数、例えば、８×８個ずつマトリクス状に配された画素データからなる複数のブロック信号に細分化する如く時系列変換して、ブロック化デジタル輝度信号を得る。
【０００４】
時系列変換器３よりのブロック化デジタル輝度信号を、２次元離散コサイン変換器（２次元ＤＣＴ回路）４に供給して、８×８個の画素データ（画素値▲１▼）からなるブロック信号毎に変換符号化されて、変換係数データ（変換係数▲２▼）が出力される。
【０００５】
２次元ＤＣＴ回路４よりの変換係数データは、量子化器（再量子化器）５に供給されて、量子化（再量子化）された後、その量子化された変換係数データは可変長符号化器（ＶＬＣ符号化回路）５に供給されて可変長符号化される。量子化器５における各変換係数▲２▼は量子化レベル決定回路６によって決定された量子化レベルによって割り算される。この量子化レベル決定回路６では、例えば、デジタル輝度信号のフレーム単位で均一の量子化レベルを決定する。
【０００６】
量子化器５よりの量子化された変換係数データは、可変長符号化器５に供給されて可変長符号化される。可変長符号化器７よりの可変長符号化された変換係数データはパッキング回路（バッファリング回路）８に供給されて、例えば、１０ＤＣＴブロック（８×８個の画素データに対する変換係数データを１ＤＣＴブロックと称する）で係数のデータ量が一定になるようにデータ量の調整が行われると共に、量子化レベル決定回路６よりのその１０ＤＣＴブロック毎の量子化レベルのテーブルの選択情報データ等が付加された後、送信部９に供給される。
【０００７】
送信部９はエラー訂正符号化回路、変調回路等を備え、パッキング回路８から出力された可変長符号化された変換係数データがエラー訂正符号化回路によってエラー訂正符号化されると共に、そのエラー訂正符号化・ＶＬＣ符号化変換係数データは、１０ＤＣＴブロック毎の量子化レベルのテーブルの選択情報データ等と共に、伝送路（磁気ヘッド−磁気テープ系−磁気ヘッド）に適した変調方式によって変調されると共に、伝送路に適した伝送レートを以て伝送路に出力される。
【０００８】
【発明が解決しようとする課題】
ところで、一般に、ブロック化デジタル輝度信号を構成するブロック信号のうち、輝度レベルが極端に低いブロック信号及び極端に高いブロック信号を量子化すると、量子化による歪みが見え難い。従って、ブロック化デジタル輝度信号を、フレーム単位で均一に量子化すると、視覚劣化感度が高いブロック信号に対してより保護することになり、無駄が生じる。このため、本来保護しなければならないブロック信号を保護していないことになる。
【０００９】
かかる点に鑑み、本発明は、デジタル輝度信号に対する画像圧縮符号化装置において、局所的な量子化の無駄を省き、画像全体の画質の向上を図ることのできる画像圧縮符号化装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】
第１の本発明は、カラー画像信号に対して符号化を行う符号化手段と、カラー画像信号から、モニタに対応したガンマ特性を除去するガンマ処理手段と、ガンマ処理手段でガンマ特性の除去されたカラー画像信号に基づいて、カラー画像信号に対応する輝度信号の視覚特性を補正する補正手段と、補正手段の出力信号に基づいて量子化レベルを決定する量子化レベル決定手段と、符号化手段の出力に対して、量子化レベル決定手段で決定された量子化レベルで量子化を行う量子化手段とを備えることを特徴とする画像符号化装置である。
【００１１】
第２の本発明は、カラー画像信号に対して符号化し、カラー画像信号から、モニタに対応したガンマ特性を除去するガンマ処理を行い、ガンマ処理でガンマ特性の除去されたカラー画像信号に基づいて、カラー画像信号に対応する輝度信号の視覚特性を補正し、補正された出力信号に基づいて量子化レベルを決定し、符号化された出力に対して、量子化レベル決定手段で決定された量子化レベルで量子化を行うことを特徴とする画像符号化方法である。
【００１５】
【作用】
上述せる第１の本発明によれば、量子化レベル決定回路６によって決定する量子化レベルを、基準量子化レベルを、輝度信号のレベル値に対する視覚特性値に応じて補正し、その補正された量子化レベルを量子器５に供給して、高能率符号化器４よりの符号化係数を、その量子化レベルで割り算する。
【００１６】
【実施例】
以下に、図１を参照して、本発明をカメラ一体型のデジタルＶＴＲに適用した実施例の画像圧縮符号化装置（デジタルＶＴＲの記録系に設けられる）を説明する。入力端子１からアナログコンポーネントカラー画像信号をＡ／Ｄ変換器２に供給してＡ／Ｄ変換（量子化）して、時間軸上に順次配された複数の離散的コンポーネントカラー画素データからなるデジタルコンポーネントカラー画像信号を得る。
【００１７】
Ａ／Ｄ変換器１からのデジタルコンポーネントカラー画像信号、即ちデジタル輝度信号並びにデジタル赤色差及び青色差信号を時系列変換器３に供給して、それぞれ画面毎に、画面の水平方向及び垂直方向に所定個数、例えば、８×８個ずつマトリクス状に配された画素データからなる複数のブロック信号に細分化する如く時系列変換して、ブロック化デジタル輝度信号並びにブロック化デジタル赤色差及び青色差信号を得る。
【００１８】
時系列変換器３よりのブロック化デジタル輝度信号を、２次元離散コサイン変換器（２次元ＤＣＴ回路）４に供給して、８×８個の画素データ（画素値▲１▼）からなるブロック信号毎に変換符号化されて、変換係数データ（変換係数▲２▼）が出力される。
【００１９】
２次元ＤＣＴ回路４よりの変換係数データは、量子化器（再量子化器）５に供給されて、量子化レベル決定回路６よりの量子化レベルによって割り算されることによって、量子化（再量子化）された後、その量子化された変換係数データは可変長符号化器（ＶＬＣ符号化回路）５に供給されて可変長符号化される。
【００２０】
時系列変換器３よりのブロック化デジタル輝度信号、ブロック化デジタル赤色差信号及びブロック化デジタル青色差信号が、ブロック（ブロック信号）毎の画素データ値の平均算出回路１１に供給されて、各ブロック信号における輝度画素データの平均値データＹ、赤色差画素データの平均値データＣｒ及び青色差画素データの平均値データＣｂ▲４▼がそれぞれ算出される。この平均値データＹ、Ｃｒ、Ｃｂ▲４▼は、ガンマ特性回路１２に供給されて、その内部に設けられたマトリクス回路によって逆マトリクス変換されて、赤画素データ、緑画素データ及び青画素データの各色信号の平均値データＲ、Ｇ、Ｂが算出され、更に、これらの平均値が、モニタ（ＣＲＴ）のガンマ値γに応じて１／γ乗されると共に、その各色信号の平均値データに、ＮＴＳＣ方式に応じた係数が掛けられて、その１次結合からなる修正輝度信号Ｙ▲５▼が、次式の如く得られる。
【００２１】
【数１】
0003614884.tif 000002
【００２２】
次に、図２を参照して、モニタのガンマ特性による修正輝度信号について説明する。先ず、図２（Ａ）を参照して、カメラから赤、緑及び青信号が得られる場合の通常のガンマ特性の流れについて説明する。（１）  に示すカメラからの赤、緑及び青信号Ｒ、Ｇ、Ｂをガンマ補正して、（２）  のガンマ補正された赤、緑及び青信号Ｒ、Ｇ、Ｂを得、これらガンマ補正された赤、緑及び青信号Ｒ、Ｇ、Ｂを符号化（マトリクス変換）して、（３）  の輝度、赤色差及び青色差信号Ｙ、Ｃｒ  、Ｃｂ  を得る。そして、この輝度、赤色差及び青色差信号Ｙ、Ｃｒ  、Ｃｂ  を復号化（逆マトリクス変換）して、（４）  の赤、緑及び青信号Ｒ、Ｇ、Ｂを得、これをモニタ（ＣＲＴ）に供給し、これにより人間の目にはモニタ（ＣＲＴ）のガンマ特性を受けて（５）  の形となり、（６）  の輝度信号として感じられる。
【００２３】
次に、図２（Ｂ）を参照して、カメラからモノクローム信号が得られる場合の通常のガンマ特性の流れについて説明する。この場合は、赤、緑及び青信号Ｒ、Ｇ、Ｂは、Ｒ＝Ｇ＝Ｂ＝ａとなる。（７）  に示すカメラからの赤、緑及び青信号ａ、ａ、ａをガンマ補正して、（８）  のガンマ補正された赤、緑及び青信号ａ、ａ、ａを得、これらガンマ補正された赤、緑及び青信号ａ、ａ、ａを符号化（マトリクス変換）して、（９）  の輝度、赤色差及び青色差信号ａ、０、０を得る。そして、この輝度、赤色差及び青色差信号ａ、０、０を復号化（逆マトリクス変換）して、（１０）の赤、緑及び青信号ａ、ａ、ａを得、これをモニタ（ＣＲＴ）に供給し、これにより人間の目にはモニタ（ＣＲＴ）のガンマ特性を受けて（５）  の形となり、（６）  の輝度信号として感じられる。この場合は、カメラの撮像光の値がそのまま輝度値として目に感じられる。
【００２４】
ところで、図２（Ａ）の（３）  に対応する図２（Ｂ）の（９）  では、Ｃｒ  ＝Ｃｂ  ＝０となるが、カメラからの信号がモノクロームでない場合は、図２（Ａ）の（３）  及び図２（Ｂ）の（９）  対応する図２（Ｃ）の（１３）では、輝度信号Ｙがａの１／γ乗で、赤及び青色差信号Ｃｒ  、Ｃｂ  が共にＣｒ  ≠０、Ｃｂ  ≠０となるため、図２（Ａ）の（６）  及び図２（Ｂ）の（１２）に対応する（１４）では、目に感じる輝度信号Ｙは、赤及び青色差信号Ｃｒ  、Ｃｂ  の影響を受け、Ｙ＝ｂ（≠ａ）となり、これが上述の修正輝度信号となる。ここで、ａはモニタのガンマ特性を考慮しない輝度信号であり、ｂはモニタのガンマ特性を考慮した輝度信号である。
【００２５】
このガンマ特性回路１２よりの修正輝度信号▲５▼を、輝度信号の視覚特性回路１３に供給して、図３に示される輝度信号の視覚特性曲線に従った視覚特性値（相対量子化レベル）▲６▼を得る。図３において、横軸は修正輝度信号の輝度値（輝度レベル）（８ビットの場合は、０、１〜２５５の値をとる）、縦軸は視覚感度（相対値）（値が大きくなる程歪みが見え難く、値が小さくなる程歪みが見易くなる）を示す。視覚感度は、輝度値が８０．００で最低となり、輝度値が８０．００より大きくなるにつれて略直線的に大きくなると共に、輝度値８０．００より小さくなるにつれて急激に大きくなる特性を呈している。
【００２６】
因みに、視覚特性値αは、補正関数をＷＡ  （Ｙ）とするとき、次式のように表され、又、その補正関数ＷＡ  （Ｙ）は更に次の式のように表わされる。
【００２７】
【数２】
α＝１／｛ｄＷＡ  （Ｙ）／ｄＹ｝
【００２８】
【数３】
0003614884.tif 000003
【００２９】
但し、
Ｙ：輝度値
０≦Ｙ≦１かつ０≦ＷＡ  （Ｙ）≦１
ＣＲ：輝度コントラスト比（Ｂｍａｘ  ／Ｂ０  ）
（Ｂｍａｘ  ：輝度値Ｙを１としたときに得られる最大輝度、
Ｂ０  ：室内光や、フレヤ等による最低輝度）
【００３０】
次に、数３がどのようにして得られたかを説明する。ランダム雑音や正弦波に対する視感度は、近似的にウエーバ（Ｗｅｂｅｒ）の法則に従うことが知られている。従って、次式が成り立つ。
【００３１】
【数４】
ｌｏｇＢ＝ｋ１・ＷＡ  （Ｙ）＋ｋ２
【００３２】
但し、
Ｂ：輝度
ｋ１、ｋ２  ：  定数
ＷＡ  （Ｙ）：輝度補正関数
また、陰極線管（ＣＲＴ）にテレビ信号をＹを加えた際に得られる管面輝度Ｂは一般に次式のように表される。
【００３３】
【数５】
0003614884.tif 000004
【００３４】
但し、
ｋ３：比例定数
γ：ＣＲＴのガンマ値
Ｂ０  ：室内光やフレヤ等による最低輝度で与えられる。
そして、０≦Ｙ≦１、０≦ＷＡ  （Ｙ）≦１としたとき、上述の数４及び数５の式から、上述の数３の補正関数の式が得られる。
【００３５】
以上は、電子情報通信学会論文誌‘８７／１１  Ｖｏｌ．Ｊ７０−Ａ  Ｎｏ．１１の論文である「輝度・空間周波数視覚特性を考慮した画質評価法」の１６６１頁による。
【００３６】
そして、この輝度の視覚特性回路１３よりの視覚特性値▲６▼（＝α）を、量子化レベル決定回路６に供給する。この量子化レベル決定回路６では、基準量子化レベルであるフレーム単位の均一量子化レベル（これをｑとする）にブロック信号毎の視覚特性値（これをαとする）を掛けたものαｑを新たな量子化レベルＱとして量子化器５に供給して、２次離散コサイン変換器４よりの各変換係数を、Ｑ（＝αｑ）で割り算するようにする。
【００３７】
基準量子化レベルは、１又は画面上で隣接する複数のブロック信号毎の均一なレベルでも良く、又、ブロック信号に対応する変換係数毎のレベルでも良い。
【００３８】
量子化器５よりの量子化された変換係数データは、可変長符号化器５に供給されて可変長符号化される。可変長符号化器７よりの可変長符号化された変換係数データはパッキング回路（バッファリング回路）８に供給されて、例えば、１０ＤＣＴブロック（８×８個の画素データに対する変換係数データを１ＤＣＴブロックと称する）で係数のデータ量が一定になるようにデータ量の調整が行われると共に、量子化レベル決定回路６よりのその１０ＤＣＴブロック毎の量子化レベルＱ（＝αｑ）のテーブルの選択情報データ等が付加された後、送信部９に供給される。
【００３９】
送信部９はエラー訂正符号化回路、変調回路等を備え、パッキング回路８から出力された可変長符号化された変換係数データが、エラー訂正符号化回路によってエラー訂正符号化されると共に、そのエラー訂正符号化・ＶＬＣ符号化変換係数データは、１０ＤＣＴブロック毎の量子化レベルのテーブルの選択情報データ等と共に、伝送路（磁気ヘッド−磁気テープ系−磁気ヘッド）に適した変調方式によって変調されると共に、伝送路に適した伝送レートを以て伝送路に出力される。
【００４０】
次に、図４を参照して、実施例の画像圧縮符号化装置に対応する画像圧縮復号化装置（デジタルＶＴＲの再生系に設けられる）を説明する。図１の画像圧縮符号化装置の送信部９によって伝送路（磁気ヘッド−磁気テープ系−磁気ヘッド）に伝送された被変調エラー訂正符号化・可変長符号化変換係数データ及び１０ＤＣＴブロック毎の量子化レベルＱ（＝αｑ）のテーブルの選択情報データの被変調信号等が、その伝送路から受信部１７に供給されて、それぞれ復調されると共に、その復調されて得られたがエラー訂正符号化・可変長符号化変換係数データがエラー訂正され、そのエラー訂正された可変長符号化変換係数データ、エラー訂正し得なかった可変長符号化変換係数エラーデータ及びこれに付されたエラーフラグ並びに１０ＤＣＴブロック毎の量子化テーブルの選択情報データ（量子化レベル▲３▼）がデパッキング回路１８に供給される。
【００４１】
デパッキング回路１８では、受信部１７よりの出力データから、エラー訂正された可変長符号化変換係数データ、可変長符号化変換係数エラーデータ、エラーフラグ、１０ＤＣＴブロック毎の量子化テーブルの選択情報データ等が分離される。その内、エラー訂正された可変長符号化変換係数データ及び可変長符号化変換係数エラーデータは可変長復号化器１９に供給され、エラーフラグはエラー修整回路２２に供給され、量子化テーブルの選択情報データは後述する逆量子化器２０に供給される。
【００４２】
可変長復号化器１９よりのエラー訂正された変換係数データ及び変換係数エラーデータは、逆量子化器２０に供給されて、量子化テーブルの選択情報データに基づいて逆量子化された後、２次元離散コサイン逆変換器（２次元ＩＤＣＴ回路）２１に供給される。
【００４３】
２次元ＩＤＣＴ回路２１では、変換係数データが逆変換されてブロック化デジタル輝度信号が得られ、これがエラー修整回路２２に供給されて、エラー修整される。
【００４４】
エラー修整回路２２よりのエラー修整されたブロック化デジタル輝度信号は、時系列逆変換器２３に供給されて、時間軸上に順次配された複数の画素データからなるデジタル輝度信号に逆変換され、このデジタル輝度信号がＤ／Ａ変換器２９に供給されてアナログ信号に変換されて、出力端子２５にそのアナログ輝度信号が出力される。
【００４５】
上述の実施例の画像圧縮符号化装置の回路４は離散コサイン変換回路に限られるものではなく、直交変換回路等の変換符号化回路、予測符号化回路、ベクトル量子化回路、エントロピー符号化回路等の高能率符号化回路であれば良く、それに応じて画像圧縮復号化装置の回路２１は、直交逆変換回路等の変換復号化回路、予測復号化回路、ベクトル逆量子化回路、エントロピー復号化回路等の高能率復号化回路を用いることになる。
【００４６】
実施例の画像符号化装置によれば、カラー画像信号に対して符号化を行う符号化手段と、カラー画像信号から、モニタに対応したガンマ特性を除去するガンマ処理手段と、ガンマ処理手段でガンマ特性の除去されたカラー画像信号に基づいて、カラー画像信号に対応する輝度信号の視覚特性を補正する補正手段と、補正手段の出力信号に基づいて量子化レベルを決定する量子化レベル決定手段と、符号化手段の出力に対して、量子化レベル決定手段で決定された量子化レベルで量子化を行う量子化手段とを備えたものであるので、局所的な量子化の無駄を省き、画像全体の画質の向上を図ることができる。
【００４７】
実施例の画像符号化方法によれば、カラー画像信号に対して符号化し、カラー画像信号から、モニタに対応したガンマ特性を除去するガンマ処理を行い、ガンマ処理でガンマ特性の除去されたカラー画像信号に基づいて、カラー画像信号に対応する輝度信号の視覚特性を補正し、補正された出力信号に基づいて量子化レベルを決定し、符号化された出力に対して、量子化レベル決定手段で決定された量子化レベルで量子化を行うことにより、局所的な量子化の無駄を省き、画像全体の画質の向上を図ることができる。
【００５２】
【発明の効果】
第１の本発明によれば、カラー画像信号に対して符号化を行う符号化手段と、カラー画像信号から、モニタに対応したガンマ特性を除去するガンマ処理手段と、ガンマ処理手段でガンマ特性の除去されたカラー画像信号に基づいて、カラー画像信号に対応する輝度信号の視覚特性を補正する補正手段と、補正手段の出力信号に基づいて量子化レベルを決定する量子化レベル決定手段と、符号化手段の出力に対して、量子化レベル決定手段で決定された量子化レベルで量子化を行う量子化手段とを備えたものであるので、局所的な量子化の無駄を省き、画像全体の画質の向上を図ることのできる画像符号化装置を得ることができる。
【００５３】
第２の本発明によれば、カラー画像信号に対して符号化し、カラー画像信号から、モニタに対応したガンマ特性を除去するガンマ処理を行い、ガンマ処理でガンマ特性の除去されたカラー画像信号に基づいて、カラー画像信号に対応する輝度信号の視覚特性を補正し、補正された出力信号に基づいて量子化レベルを決定し、符号化された出力に対して、量子化レベル決定手段で決定された量子化レベルで量子化を行うことにより、局所的な量子化の無駄を省き、画像全体の画質の向上を図ることのできる画像符号化方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施例の画像圧縮符号化装置を示すブロック線図
【図２】モニタのガンマ特性による修正輝度信号の説明図
【図３】輝度信号の視覚特性を示す特性曲線図
【図４】実施例の画像圧縮符号化装置に対応する画像圧縮復号化装置を示すブロック線図
【図５】従来例の画像圧縮符号化装置を示すブロック線図
【符号の説明】
２  Ａ／Ｄ変換器
３  時系列変換器
４  ２次元離散コサイン変換器（高能率符号化器）
５  量子化器
６  量子化レベル決定回路
７  可変長符号化器
８  パッキング回路
９  送信器
１１  ブロック毎の画素データ
１２  ガンマ特性回路
１３  輝度信号の視覚特性回路
【図１】
0003614884.tif 000005
【図２】
0003614884.tif 000006
【図３】
0003614884.tif 000007
【図４】
0003614884.tif 000008
【図５】
0003614884.tif 000009