(57)【特許請求の範囲】
【請求項１】
動画像信号に対する前処理結果として入力されるブロック単位の信号を高周波成分及び低周波成分に分割する第１のステップと、
上記高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形量子化特性を決定する第２のステップと、
決定された非線形量子化特性に従って上記高周波成分を量子化する第３のステップと、
量子化された高周波成分と、上記低周波成分とを合成する第４のステップと、
上記合成の結果に対して直交変換処理を施す第５のステップと
を具えることを特徴とする動画像符号化方法。
【請求項２】
動画像符号化信号に対するブロック単位での復元処理結果として得られたブロック単位の信号を高周波成分及び低周波成分に分割する第１のステップと、
上記高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形逆量子化特性を決定する第２のステップと、
決定された非線形逆量子化特性に従って上記高周波成分を逆量子化する第３のステップと、
逆量子化された高周波成分と、上記低周波成分とを合成する第４のステップと
を具えることを特徴とする動画像復号化方法。
【請求項３】
動画像信号に対する前処理結果として入力されるブロック単位の信号を高周波成分及び低周波成分に分割する分割手段と、
上記分割手段により分割された高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形量子化特性を決定する特性決定手段と、
上記特性決定手段により決定された非線形量子化特性に従って上記高周波成分を量子化する高周波成分量子化手段と、
上記高周波成分量子化手段により量子化された高周波成分と、上記低周波成分とを合成する合成手段と、
上記合成手段により合成された結果に対して直交変換処理を施す直交変換手段と
を具えることを特徴とする動画像符号化装置。
【請求項４】
動画像符号化信号に対するブロック単位での復元処理結果として得られたブロック単位の信号を高周波成分及び低周波成分に分割する分割手段と、
上記分割手段により分割された高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形逆量子化特性を決定する特性決定手段と、
上記特性決定手段により決定された非線形逆量子化特性に従って上記高周波成分を逆量子化する高周波成分逆量子化手段と、
上記高周波成分逆量子化手段により逆量子化された高周波成分と、上記低周波成分とを合成する合成手段と
を具えることを特徴とする動画像復号化装置。
【発明の詳細な説明】
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１７〜図２５）
発明が解決しようとする課題
課題を解決するための手段（図１〜図１６）
作用（図１〜図１６）
実施例
（１）第１の実施例（図１〜図１０）
（２）第２の実施例（図１１〜図１４）
（３）第３の実施例（図１、図２、図４、図１０、図１３及び図１４）
（４）第４の実施例（図２、図４、図１５及び図１６）
（５）第５の実施例（図１１、図１２、図１５及び図１６）
（６）第６の実施例（図２、図１５及び図１６）
発明の効果
【０００２】
【産業上の利用分野】
本発明は、動画像符号化方法、動画像復号化方法及び動画像符号化装置に関し、例えば動画像信号を光デイスクや磁気テープなどの記録媒体に記録し、これを再生してデイスプレイなどに表示したり、テレビ会議システム、テレビ電話システム、放送用機器等動画像信号を伝送路を介して送信側から受信側に伝送し、受信側においてこれを受信して表示する場合に適用して好適なものである。
【０００３】
【従来の技術】
例えば、テレビ会議システムやテレビ電話システム等のように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、動画像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。実際上ライン相関を利用すると、画像信号を離散コサイン変換（ＤＣＴ（discreat cosine transform)）等の直交変換により処理する等により情報量を圧縮することができる。またフレーム間相関を利用すると、動画像信号をさらに圧縮して符号化することが可能となる。
【０００４】
図１７は、フレーム間相関を利用した場合の動画像信号の圧縮符号化の例を示す。図において、Ａ列に示す３枚の画像は、時刻ｔ１、ｔ２、ｔ３におけるフレーム画像ＰＣ１、ＰＣ２、ＰＣ３をそれぞれ示す。フレーム画像ＰＣ１とＰＣ２の画像信号の差を演算してＰＣ１２を生成し、またフレーム画像ＰＣ２とＰＣ３の差を演算してＰＣ２３を生成する。Ｂ列は差分画像を示し、便宜上差を黒く示している。
【０００５】
一般に、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。例えばこの図では、Ｂ列の黒く示した部分のみの符号化で良いことになる。しかしながら、差分信号のみを伝送したのでは、シーンチエンジのようにフレーム間に相関が無い場合には、元の画像を復元することができない。
【０００６】
そこで各フレームの画像をＩ（フレーム内符号）ピクチヤ、Ｐ（前方向予測）ピクチヤ又はＢ（両方向予測）ピクチヤの３種類のピクチヤのいずれかのピクチヤとし、画像信号を圧縮符号化するようにしている。すなわち図１８に示すように、フレームＦ１〜Ｆ１７までの１７フレームの画像信号をグループオブピクチヤとして、処理の１単位とする。そしてその先頭のフレームＦ１（黒く示すフレーム）の画像信号はＩピクチヤとして符号化し、第２番目のフレームＦ２（白く示すフレーム）はＢピクチヤとして、また第３番目のフレームＦ３（斜線で示すフレーム）はＰピクチヤとして、それぞれ処理する。以下第４番目以降のフレームＦ４〜Ｆ１７は、Ｂピクチヤ又はＰピクチヤとして交互に処理する。
【０００７】
Ｉピクチヤの画像信号としては、その１フレーム分の画像信号をそのまま伝送する。これに対してＰピクチヤの画像信号としては、基本的には図１８のＡに示すように、それより時間的に先行するＩピクチヤ又はＰピクチヤの画像信号からの差分を伝送する。さらにＢピクチヤの画像信号としては、基本的には図１８のＢに示すように、時間的に先行するフレーム又は後行するフレームの両方の平均値からの差分を求め、その差分を符号化する。
【０００８】
図１９は、このようにして動画像信号を符号化する方法の原理を示している。この図において、Ａ列は原画像を示し、Ｂ列は符号化された画像を示す。図のように、最初のフレームＦ１はＩピクチヤとして処理されるため、そのまま伝送データＦ１Ｘとして伝送路に伝送される（画像内符号化）。これに対して、第２のフレームＦ２はＢピクチヤとして処理されるため、時間的に先行するフレームＦ１と、時間的に後行するフレームＦ３の平均値との差分が演算され、その差分が伝送データＦ２Ｘとして伝送される。ただしこのＢピクチヤとしての処理は、さらに細かく説明すると、４種類の処理が存在する。
【０００９】
その第１の処理は、元のフレームＦ２のデータをそのまま伝送データＦ２Ｘとして伝送するものであり（ＳＰ１（イントラ符号化））、Ｉピクチヤにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、その差分を伝送するものである（ＳＰ２（後方予測符号化））。第３の処理は、時間的に先行するフレームＦ１との差分を伝送するものである（ＳＰ３（前方予測符号化））。さらに第４の処理は、時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分を生成し、これを伝送データＦ２Ｘとして伝送するものである（ＳＰ４（両方向予測符号化））。
【００１０】
これらの４つの方法を各々処理した後、伝送データが最も少なくなつた処理方法による画像が伝送データとされる。なお差分データを伝送するとき、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（フレームＦ１とＦ２の間の動きベクトル（前方予測の場合））、もしくはｘ２（フレームＦ３とＦ２の間の動きベクトル（後方予測の場合））、またはｘ１とｘ２の両方（両方向予測の場合）が、差分データと共に伝送される。
【００１１】
またＰピクチヤのフレームＦ３は、時間的に先行するフレームＦ１を予測画像として、このフレームとの差分信号と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（ＳＰ３（前方予測符号化））。あるいはまた、元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送される（ＳＰ１（イントラ符号化））。いずれの方法により伝送されるかは、Ｂピクチヤにおける場合と同様に、伝送データがより少なくなる方が選択される。
【００１２】
図２０は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号化する装置の具体構成例を示している。１は全体として符号化装置の構成を示し、入力された動画像信号ＶＤを符号化し、伝送路としての記録媒体３に伝送するようになされている。そして２は全体として復号化装置の構成を示し、記録媒体３に記録された信号を再生し、これを復号して映像信号を出力するようになされている。
【００１３】
符号化装置１においては、入力された映像信号ＶＤが前処理回路１１に入力され、そこで輝度信号と色信号（この例の場合、色差信号）に分離され、それぞれＡ／Ｄ変換器１２、１３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２、１３によりＡ／Ｄ変換されてデジタル信号となつた映像信号は、フレームメモリ１４に供給され書き込まれる。輝度信号は輝度信号フレームメモリ１５に、また色差信号は色差信号フレームメモリ１６にそれぞれ書き込まれる。
【００１４】
フオーマツト変換回路１７は、フレームメモリ１４に書き込まれたフレームフオーマツトの信号を、ブロツクフオーマツトの信号に変換する。すなわち、図２１に示すように、フレームメモリ１４に書き込まれた画像信号は、１ライン当りＨドツトの画素よりなるラインがＶライン集められたフレームフオーマツトのデータとされている。フオーマツト変換回路１７は、この１フレームの信号を、16ラインを単位としてＭ個のスライスに区分する。
【００１５】
そして各スライスは、Ｍ個のマクロブロツクに分割される。各マクロブロツクは、16×16個の画素（ドツト）に対応する輝度信号により構成され、この輝度信号はさらに８×８ドツトを単位とするブロツクＹ［１］〜Ｙ［４］に区分される。そしてこの16×16ドツトの輝度信号には、８×８ドツトのＣｂ信号と、８×８ドツトのＣｒ信号の２ブロツクの色差信号が対応する。
【００１６】
このように、ブロツクフオーマツトに変換されたデータＢＤは、フオーマツト変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）される。その詳細については、図２２を参照して後述する。エンコーダ１８によりエンコードされた信号は、ビツトストリームとして記録媒体３に記録され、または伝送路に出力される。
【００１７】
記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給されてデコード（復号化）される。デコーダ３１の詳細については、図２５を参照して後述する。デコーダ３１によりデコードされたデータは、フオーマツト変換回路３２に入力され、ブロツクフオーマツトからフレームフオーマツトに変換される。そして、フレームフオーマツトの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給されて書き込まれ、色差信号は色差信号フレームメモリ３５に供給されて書き込まれる。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／Ａ変換され、後処理回路３８に供給されて合成される。そして例えばＣＲＴ等のデイスプレイ（図示せず）に出力され表示される。
【００１８】
次に図２２を参照して、エンコーダ１８の構成例について説明する。符号化されるべき画像データＢＤは、マクロブロツク単位で動きベクトル検出回路（ＭＶ−Ｄｅｔ）５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従つて、各フレームの画像データを、Ｉピクチヤ、Ｐピクチヤ又はＢピクチヤとして処理する。シーケンシヤルに入力される各フレームの画像を、Ｉ、Ｐ、Ｂのいずれのピクチヤとして処理するかは予め定められている。例えば、図１８に示したように、フレームＦ１〜Ｆ１７により構成されるグループオブピクチヤが、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、……Ｂ、Ｐとして処理される。
【００１９】
Ｉピクチヤとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送されて記憶され、Ｂピクチヤとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部５１ｂに転送されて記憶され、Ｐピクチヤとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送されて記憶される。
【００２０】
また次のタイミングにおいて、さらにＢピクチヤ（フレームＦ４）又はＰピクチヤ（フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチヤ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチヤ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチヤ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。
【００２１】
フレームメモリ５１に記憶された各ピクチヤの信号は、そこから読み出され、予測モード切り替え回路（Ｍｏｄｅ−ＳＷ）５２において、フレーム予測モード処理、又はフイールド予測モード処理が行われる。さらにまた予測判定回路５４の制御の下に、演算部５３において、画像内予測、前方予測、後方予測又は両方向予測の演算が行われる。これらの処理のうちいずれの処理を行うかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため、動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でもよい）を生成する。
【００２２】
ここで、予測モード切り替え回路５２におけるフレーム予測モードとフイールド予測モードについて説明する。フレーム予測モードが設定された場合において予測モード切り替え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロツクＹ［１］〜Ｙ［４］を、そのまま後段の演算部５３に出力する。すなわちこの場合においては、図２３（Ａ）に示すように、各輝度ブロツクに奇数フイールドのラインのデータと、偶数フイールドのラインのデータとが混在した状態となつている。このフレーム予測モードにおいては、４個の輝度ブロツク（マクロブロツク）を単位として予測が行われ、４個の輝度ブロツクに対して１個の動きベクトルが対応される。
【００２３】
これに対して、予測モード切り替え回路５２は、フイールド予測モードにおいては、図２３（Ａ）に示す構成で動きベクトル検出回路５０より入力される信号を、図２３（Ｂ）に示すように、４個の輝度ブロツクのうち、輝度ブロツクＹ［１］とＹ［２］を、例えば奇数フイールドのラインのドツトによりのみ構成させ、他の２個の輝度ブロツクＹ［３］とＹ［４］を、偶数フイールドのラインのデータにより構成させて、演算部５３に出力する。この場合においては、２個の輝度ブロツクＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロツクＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。
【００２４】
動きベクトル検出回路５０は、フレーム予測モードにおける予測誤差の絶対値和と、フイールド予測モードにおける予測誤差の絶対値和を、予測モード切り替え回路５２に出力する。予測モード切り替え回路５２は、フレーム予測モードとフイールド予測モードにおける予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部５３に出力する。一般には、動画像の動きが速い場合にはフイールド予測モードが選択され、動きの遅い場合にはフレーム予測モードが選択される。
【００２５】
ただしこのような処理は、実際には動きベクトル検出回路５０で行われる。すなわち動きベクトル検出回路５０は、決定されたモードに対応する構成の信号を予測モード切り替え回路５２に出力し、予測モード切り替え回路５２は、その信号を、そのまま後段の演算部５３に出力する。なお色差信号は、フレーム予測モードの場合、図２３（Ａ）に示すように、奇数フイールドのラインのデータと偶数フイールドのラインのデータとが混在する状態で、演算部５３に供給される。またフイールド予測モードの場合、図２３（Ｂ）に示すように、各色差ブロツクＣｂ、Ｃｒの上半分（４ライン）が、輝度ブロツクＹ［１］、Ｙ［２］に対応する奇数フイールドの色差信号とされ、下半分（４ライン）が、輝度ブロツクＹ［３］、Ｙ［４］に対応する偶数フイールドの色差信号とされる。
【００２６】
また動きベクトル検出回路５０は、次のようにして予測判定回路５４において、画像内予測、前方予測、後方予測又は両方向予測のいずれの予測を行うかを決定するための予測誤差の絶対値和を生成する。すなわち、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロツクの信号Ａijの和ΣＡijの絶対値｜ΣＡij｜と、マクロブロツクの信号Ａijの絶対値｜Ａij｜の和Σ｜Ａij｜の差を求める。また前方予測の予測誤差の絶対値和として、参照画像のマクロブロツクの信号Ａijと、予測画像のマクロブロツクの信号Ｂijの差Ａij−Ｂijの絶対値｜Ａij−Ｂij｜の和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。
【００２７】
これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、前方予測、後方予測及び両方向予測の予測誤差の絶対値和のうち、最も小さいものをインター予測の予測誤差の絶対値和として選択する。さらにこのインター予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モード（P-mode）として選択する。すなわち画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測又は両方向予測モードのうち、対応する絶対値和が最も小さかつたモードが設定される。
【００２８】
このように動きベクトル検出回路５０は、参照画像のマクロブロツクの信号を、フレーム又はフイールド予測モードのうち、予測モード切り替え回路５２により選択されたモードに対応する構成で、予測モード切り替え回路５２を介して演算部５３に供給すると共に、４つの予測モードのうち、予測判定回路５４により選択された予測モード（P-mode）に対応する予測画像と参照画像の間の動きベクトルMVを検出し、可変長符号化回路（ＶＬＣ）５８と動き補償回路（Ｍ−ｃｏｍｐ）６４に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【００２９】
予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチヤの画像データを読み出しているとき、予測モードとしてフレーム（画像）内予測モード（動き補償を行わないモード）を設定し、演算部５３のスイツチを接点ａ側に切り替える。これによりＩピクチヤの画像データがＤＣＴモード切り替え回路（ＤＣＴ  ＣＴＬ）５５に入力される。
【００３０】
このＤＣＴモード切り替え回路５５は、図２４（Ａ）又は（Ｂ）に示すように、４個の輝度ブロツクのデータを、奇数フイールドのラインと偶数フイールドのラインが混在する状態（フレームＤＣＴモード）、または分離された状態（フイールドＤＣＴモード）のいずれかの状態にして、ＤＣＴ回路５６に出力する。すなわちＤＣＴモード切り替え回路５５は、奇数フイールドと偶数フイールドのデータを混在してＤＣＴ処理した場合における符号化効率と、分離した状態においてＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。
【００３１】
例えば入力された信号を、図２４（Ａ）に示すように、奇数フイールドと偶数フイールドのラインが混在する構成とし、上下に隣接する奇数フイールドのラインの信号と偶数フイールドのラインの信号の差を演算し、さらにその絶対値の和（または自乗和）を求める。また入力された信号を、図２４（Ｂ）に示すように、奇数フイールドと偶数フイールドのラインが分離した構成とし、上下に隣接する奇数フイールドのライン同士の信号の差と、偶数フイールドのライン同士の信号の差を演算し、それぞれの絶対値の和（または自乗和）を求める。
【００３２】
さらに両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。すなわち前者の方が小さければ、フレームＤＣＴモードを設定し、後者の方が小さければ、フイールドＤＣＴモードを設定する。そして選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグ(DCT-FLG）を、可変長符号化回路５８と動き補償回路６４に出力する。
【００３３】
予測モード切り替え回路５２における予測モード（図２３）と、このＤＣＴモード切り替え回路５５におけるＤＣＴモード（図２４）を比較して明らかなように、輝度ブロツクに関しては両者の各モードにおけるデータ構造は実質的に同一である。一般には予測モード切り替え回路５２において、フレーム予測モードが選択された場合、ＤＣＴモード切り替え回路５５においても、フレームＤＣＴモードが選択される可能性が高い。
【００３４】
また予測モード切り替え回路５２において、フイールド予測モードが選択された場合、ＤＣＴモード切り替え回路５５においても、フイールドＤＣＴモードが選択される可能性が高い。しかしながら必ずしも常にそのようになされるわけではなく、予測モード切り替え回路５２においては、予測誤差の絶対値和が小さくなるようにモードが決定される。またＤＣＴモード切り替え回路５５においては、符号化効率が良好となるようにモードが決定される。
【００３５】
ＤＣＴモード切り替え回路５５より出力されたＩピクチヤの画像データは、ＤＣＴ回路５６に入力され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路（Ｑ）５７に入力され、送信バツフア（Ｂｕｆｆｅｒ）５９のデータ蓄積量（バツフア蓄積量（B-full））に対応した量子化ステツプで量子化された後、可変長符号化回路５８に入力される。可変長符号化回路５８は、量子化回路５７より供給される量子化ステツプ（スケール（QS））に対応して、量子化回路５７より供給される画像データ（この場合、Ｉピクチヤのデータ）を、例えばハフマン符号などの可変長符号に変換して、送信バツフア５９に出力する。
【００３６】
可変長符号化回路５８にはまた、量子化回路５７より量子化ステツプ（スケール（QS））、予測判定回路５４より予測モード（画像内予測、前方予測、後方予測又は両方向予測のいずれが設定されたかを示すモード（P-mode））、動きベクトル検出回路５０より動きベクトル（MV）、予測モード切り替え回路５２より予測フラグ（フレーム予測モード又はフイールド予測モードのいずれが設定されたかを示すフラグ（P-FLG)）、およびＤＣＴモード切り替え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモード又はフイールドＤＣＴモードのいずれが設定されたかを示すフラグ（DCT-FLG)）が入力されており、これらも可変長符号化される。
【００３７】
送信バツフア５９は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。送信バツフア５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号（B-full）によつて量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。またこれとは逆に、データ残量が許容下限値まで減少すると、送信バツフア５９は、量子化制御信号（B-full）によつて量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バツフア５９のオーバフロー又はアンダフローが防止される。そして送信バツフア５９に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力され又は記録媒体３に記録される。
【００３８】
一方量子化回路５７より出力されたＩピクチヤのデータは、逆量子化回路（ＩＱ）６０に入力され、量子化回路（QS）５７より供給される量子化ステツプに対応して逆量子化される。逆量子化回路６０の出力は、逆ＤＣＴ（ＩＤＣＴ）回路６１に入力されて逆ＤＣＴ処理された後、ブロツク並び換え回路（Ｂｌｏｃｋ
Ｃｈａｎｇｅ）６５により、各ＤＣＴモード（フレーム／フイールド）に対応してブロツクの並び換えが行われる。ブロツク並び換え回路６５の出力信号は、演算器６２を介してフレームメモリ６３の前方予測画像部（Ｆ−Ｐ）６３ａに供給されて記憶される。
【００３９】
動きベクトル検出回路５０は、シーケンシヤルに入力される各フレームの画像データを、例えばＩ、Ｂ、Ｐ、Ｂ、Ｐ、Ｂ……のピクチヤとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチヤとして処理した後、次に入力されたフレームの画像をＢピクチヤとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチヤとして処理する。Ｂピクチヤは、後方予測を伴うため、後方予測画像としてのＰピクチヤが先に用意されていないと、復号することができないからである。
【００４０】
そこで動きベクトル検出回路５０は、Ｉピクチヤの処理の次に、後方原画像部５１ｃに記憶されているＰピクチヤの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロツク単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測モード切り替え回路５２と予測判定回路５４に供給される。予測モード切り替え回路５２と予測判定回路５４は、このＰピクチヤのマクロブロツクの予測誤差の絶対値和に対応して、フレーム／フイールド予測モード、または画像内予測、前方予測、後方予測もしくは両方向予測の予測モードを設定する。
【００４１】
演算部５３はフレーム内予測モードが設定されたとき、スイツチを上述したように接点ａ側に切り替える。従つてこのデータは、Ｉピクチヤのデータと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。また、このデータは、逆量子化回路６０、逆ＤＣＴ回路６１、ブロツク並び換え回路６５、演算器６２を介してフレームメモリ６３の後方予測画像部（Ｂ−Ｐ）６３ｂに供給されて記憶される。
【００４２】
前方予測モードの時、スイツチが接点ｂに切り替えられると共に、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（この場合Ｉピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４３】
動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り替え回路５２より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給されたこのマクロブロツクに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。また、この差分データは、逆量子化回路６０、逆ＤＣＴ回路６１により局所的に復号され、ブロツク並び換え回路６５を介して演算器６２に入力される。
【００４４】
この演算器６２にはまた演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、逆ＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより元の（復号した）Ｐピクチヤの画像データが得られる。このＰピクチヤの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。
【００４５】
動きベクトル検出回路５０は、このようにＩピクチヤとＰピクチヤのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチヤの処理を実行する。予測モード切り替え回路５２と予測判定回路５４は、マクロブロツク単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フイールドモードを設定し、また予測モードをフレーム内予測モード、前方予測モード、後方予測モード又は両方向予測モードのいずれかに設定する。上述したように、フレーム内予測モード又は前方予測モードの時、スイツチは接点ａ又はｂに切り替えられる。このときＰピクチヤにおける場合と同様の処理が行われデータが伝送される。
【００４６】
これに対して、後方予測モード又は両方向予測モードが設定された時、スイツチは、接点ｃ又はｄにそれぞれ切り替えられる。スイツチが接点ｃに切り替えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（この場合、Ｐピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００４７】
動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは、予測モード切り替え回路５２より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給された予測画像データを減算しその差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。
【００４８】
スイツチが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（この場合、Ｉピクチヤの画像）データと、後方予測画像部６３ｂに記憶されている画像（この場合、Ｐピクチヤの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。
【００４９】
すなわち、動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロツクの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００５０】
動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは、動きベクトル検出回路５０より供給された参照画像のマクロブロツクのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バツフア５９を介して伝送路に伝送される。
【００５１】
Ｂピクチヤの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。なおフレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方又は他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。
【００５２】
上述の処理においては、輝度ブロツクを中心として説明したが、色差ブロツクについても同様に、図２３及び図２４に示すマクロブロツクを単位として処理される。なお色差ブロツクを処理する場合の動きベクトルは、対応する輝度ブロツクの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【００５３】
次に図２５は、図２０のデコーダ３１の一例の構成を示すブロツク図である。伝送路又は記録媒体を介して供給される画像データは、図示せぬ受信回路で受信され又は再生装置で再生され、受信バツフア（Ｂｕｆｆｅｒ）８１に一時記憶される。その後、復号回路９０の可変長復号化回路（ＩＶＬＣ）８２に供給される。
【００５４】
可変長復号化回路（ＩＶＬＣ）８２は、受信バツフア８１より供給されたデータを可変長復号化し、動きベクトル（MV）、予測モード（P-mode）及び予測フラグ（P-FLG)を動き補償回路（Ｍ−ｃｏｍｐ）８７に供給する。またＤＣＴフラグ（DCT-FLG)は逆ブロツク並び換え回路（Ｂｌｏｃｋ  Ｃｈａｎｇｅ）８８に、量子化ステツプ（QS）を逆量子化回路（ＩＱ）８３に、それぞれ出力するとともに、復号された画像データを逆量子化回路８３に出力する。
【００５５】
逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化ステツプに従つて逆量子化し、逆ＤＣＴ回路８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、逆ＤＣＴ回路８４で逆ＤＣＴ処理されて演算器８５に供給される。
【００５６】
逆ＤＣＴ回路８４より供給された画像データが、Ｉピクチヤのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（ＰまたはＢピクチヤのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部（Ｆ−Ｐ）８６ａに供給されて記憶される。またこのデータはフオーマツト変換回路３２（図２０）に出力される。
【００５７】
逆ＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチヤのデータであつて、前方予測モードのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている１フレーム前の画像データ（Ｉピクチヤのデータ）が読み出され、動き補償回路８７で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。
【００５８】
そして演算器８５において、逆ＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され出力される。この加算されたデータ、すなわち復号されたＰピクチヤのデータは、演算器８５に後に入力される画像データ（Ｂピクチヤ又はＰピクチヤのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部（Ｂ−Ｐ）８６ｂに供給されて記憶される。
【００５９】
Ｐピクチヤのデータであつても画像内予測モードのデータは、Ｉピクチヤのデータと同様に演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。このＰピクチヤは次のＢピクチヤの次に表示されるべき画像であるため、この時点ではまだフオーマツト変換回路３２へ出力されない。すなわち上述したようにＢピクチヤの後に入力されたＰピクチヤが、Ｂピクチヤより先に処理され、伝送されている。
【００６０】
逆ＤＣＴ回路８４より供給された画像データが、Ｂピクチヤのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチヤの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチヤの画像データ（後方予測モードの場合）、またはその両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において、可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。ただし動き補償を必要としない場合すなわち画像内予測モードの場合、予測画像は生成されない。
【００６１】
このようにして動き補償回路８７で動き補償が施されたデータは、演算器８５において、逆ＤＣＴ回路８４の出力と加算される。この加算出力はフオーマツト変換回路３２に出力される。ただしこの加算出力はＢピクチヤのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。Ｂピクチヤの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチヤの画像データが読み出され、動き補償回路８７を介して演算器８５に供給される。ただしこのとき動き補償は行われない。
【００６２】
なおこのデコーダ３１には図２２のエンコーダ１８における予測モード切り替え回路５２とＤＣＴモード切り替え回路５５に対応する回路を図示していない。これらの回路に対応する処理、すなわち奇数フイールドと偶数フイールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路８７が実行するためである。また上述の処理においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。ただし、この場合動きベクトルは、輝度信号用のものを垂直方向及び水平方向に１／２にしたものが用いられる。
【００６３】
【発明が解決しようとする課題】
ところで上述の画像符号化における変換符号化は、入力信号の相関を利用し、ある特定の座標軸に信号電力を集中させることにより情報量の圧縮を可能とする。ＤＣＴはこうした変換符号化に用いられる変換方式、特に直交変換の１例である。ＤＣＴは画像信号の持つ２次元相関性を利用して、ある特定の周波数成分に信号電力を集中させ、この集中分布した係数のみを符号化することで情報量の圧縮を可能とする。例えば、絵柄が平坦で画像信号の自己相関性が高い部分では、ＤＣＴ係数は低周波数成分へ集中分布し、他の成分は小さな値となる。従つてこの場合は低域へ集中分布した係数のみを符号化することで、情報量の圧縮が可能となる。
【００６４】
ところが画像のエツジ等のように輪郭を含む画像信号では、ＤＣＴ係数は低周波から高周波数成分まで広く分散して発生する。すると輪郭のような信号の不連続点をＤＣＴ係数で精度良く表すためには、非常に多くの係数を必要とし、符号化効率が落ちることになる。このとき従来のように画像の高圧縮符号化のために係数の量子化特性を粗くしたり、高周波数成分の係数を打ち切つたりすると、画像信号の劣化が目立ち、例えば輪郭のまわりに揺らぎのような歪み（コロナイフエクト又はモスキートノイズ等、以下簡単にノイズという）が発生する。
【００６５】
また画像符号化においては動き補償予測を用いているために、上述したようなノイズは次々と予測フレームに伝播し、時間方向へ伝播されていく。その結果再生画像では、ノイズが不規則に揺らいでいるように見え、視覚上非常に不快に感じられるようになる。この問題を解決するために、前置フイルタ及び後置フイルタが用いられる。前置フイルタとして例えば、ローパスフイルタを用い、符号化効率を向上させることで、ノイズの発生を抑制することができる。また後置フイルタとしても、ローパスフイルタを用い発生したノイズを目立たないように除去するために用いられる。こうした後置フイルタとしては例えばεフイルタやメデイアンフイルタがある。
【００６６】
ところがこのように、モスキートノイズを低減するために前置フイルタや後置フイルタを用いると、モスキートノイズを低減するだけでなく画像信号がもつ視覚的重要な情報をも損失させてしまう。すなわちＳＮ比が悪い信号帯域では、画像の歪みと画像の細かい模様の区別が難しく、ローパスフイルタにより、画像の平坦部にある模様をも失われぼやけた画像になつてしまう問題がある。
【００６７】
本発明は以上の点を考慮してなされたもので、ＳＮ比が悪い信号帯域でもノイズを低減させながら画像の細かい模様の情報の低減を最小限に押え得る動画像符号化方法、動画像復号化方法及び動画像符号化装置を提案しようとするものである。
【００６８】
【課題を解決するための手段】
かかる課題を解決するため本発明は、動画像符号化方法であって、動画像信号に対する前処理結果として入力されるブロック単位の信号を高周波成分及び低周波成分に分割し、当該高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、その調べた結果に応じて使用する非線形量子化特性を決定し、決定された非線形量子化特性に従って高周波成分を量子化し、量子化された高周波成分と、低周波成分とを合成し、当該合成結果に対して直交変換処理を施すようにした。
【００７０】
また本発明は、動画像復号化方法であって、動画像符号化信号に対するブロック単位での復元処理結果として得られたブロック単位の信号を高周波成分及び低周波成分に分割し、当該高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、その調べた結果に応じて使用する非線形逆量子化特性を決定し、決定された非線形逆量子化特性に従って高周波成分を逆量子化し、逆量子化された高周波成分と、低周波成分とを合成するようにした。
【００７１】
さらに本発明は、動画像符号化装置であって、動画像信号に対する前処理結果として入力されるブロック単位の信号を高周波成分及び低周波成分に分割する分割手段と、分割手段により分割された高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形量子化特性を決定する特性決定手段と、特性決定手段により決定された非線形量子化特性に従って高周波成分を量子化する高周波成分量子化手段と、高周波成分量子化手段により量子化された高周波成分と、低周波成分とを合成する合成手段と、合成手段により合成された結果に対して直交変換処理を施す直交変換手段とを設けるようにした。
【００７２】
さらに本発明は、動画像復号化方法であって、動画像符号化信号に対するブロック単位での復元処理結果として得られたブロック単位の信号を高周波成分及び低周波成分に分割する分割手段と、分割手段により分割された高周波成分におけるエッジ情報、振幅情報及び輝度信号と色差信号との相関を調べ、当該調べた結果に応じて使用する非線形逆量子化特性を決定する特性決定手段と、特性決定手段により決定された非線形逆量子化特性に従って高周波成分を逆量子化する高周波成分逆量子化手段と、高周波成分逆量子化手段により逆量子化された高周波成分と、低周波成分とを合成する合成手段とを設けるようにした。
【００７３】
【作用】
動画像信号を所定の予測画像信号を用いてモードの切り替えを行い、当該モードの切り替えられた信号を直交変換し、当該直交変換した信号を量子化し、量子化した信号を可変長符号化して符号化処理する際に、動画像信号のＳＮ比が低下する信号の帯域を、非線形特性に基づいて量子化して強調させる。そして復号側においては、符号側と逆の特性をもつ非線形特性に基づいて動画像符号化信号を逆量子化し復調する。これにより、画像の歪みと画像の細かい模様の区別がし難かつた場合でも、画像信号の平坦部にある模様の低減を押えることができるので、ノイズを低減させながら画像の細かい模様情報の低減は押え、ＳＮ比の改善と視覚的印象を改善し得る。
【００７４】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００７５】
（１）第１の実施例
図１においては全体として本発明の第１の実施例を示し、この実施例では非線形量子化回路（ＮＬＱ）７０及び非線形逆量子化回路（ＮＬＩＱ）７１を除き、上述した図２２に示す従来の動画像符号化装置と同様の構成である。非線形量子化回路７０を図２を用いて説明する。すなわち、非線形量子化回路７０には、フレーム内符号化マクロブロツクの場合にはブロツクの画素値が、またフレーム間符号化マクロブロツクの場合には動き補償を行つた後のフレーム間差分値が、それぞれ入力端子２００に供給される。入力端子２００に供給された画像信号Ｓ２０１は、ローパスフイルタ（ＬＰＦ）２０１及び加算器２０２に入力される。ローパスフイルタ２０１では入力画像信号Ｓ２０１の低周波成分が取り出される。ローパスフイルタ２０１の出力は加算器２０２及び２０４に出力される。
【００７６】
加算器２０２では入力画像信号Ｓ２０１とローパスフイルタ２０１の出力値Ｓ２０２の差分が計算され出力される（Ｓ２０３）。ローパスフイルタ２０１の出力値Ｓ２０２は画像信号の低周波成分であるから、加算器２０２の出力Ｓ２０３は画像の高周波成分の振幅を示す信号である。信号Ｓ２０３は高周波信号の非線形量子化回路２０３及び量子化回路の制御器２０６に入力される。
【００７７】
高周波信号の非線形量子化回路２０３は図３に示す非線形特性を用い、非線形量子化を行う。図中の横軸は入力画像信号Ｓ２０３の値（振幅値）であり、縦軸は出力信号Ｓ２０４の値（振幅値）である。なおここでは、正側特性のみを示す。負側は、原点対象である。ｙ＝ｘが示す点線が、通常の線形量子化特性を表す。線形量子化特性を用いる場合、高周波信号の非線形量子化回路２０３の入力信号Ｓ２０３と出力信号Ｓ２０４は同一の信号となり、従つて非線形量子化回路７０の入力信号と出力信号は同一の信号となる。図３では非線形特性をＮＣとして一例を示すが、非線形量子化特性はいくつか考えられる。従つて図３の特性の場合、入力信号Ｓ２０３よりも大きな値がＳ２０４として出力される。
【００７８】
高周波信号の非線形量子化回路２０３の非線形量子化特性は適応的に切替えることも可能である。量子化回路の制御器２０６は高周波信号の非線形量子化回路２０３の高周波信号Ｓ２０３の性質を検査し、その性質に応じて非線形量子化特性を決定し、量子化特性を示す信号ＱＬを高周波信号の非線形量子化回路２０３に出力する。この実施例においては量子化回路の制御器は使用せず、常に同一の量子化特性を用いる。高周波信号の非線形量子化回路２０３の出力信号Ｓ２０４は加算器２０４に入力される。加算器２０４では信号Ｓ２０４及びローパスフイルタ２０１の出力信号Ｓ２０２を加算しその和を出力する（Ｓ２０５）。
【００７９】
Ｓ２０２は非線形量子化回路７０に入力された画像信号Ｓ２０１の低周波成分であり、Ｓ２０４はＳ２０１の非線形量子化後の高周波成分である。従つて非線形量子化回路７０の出力Ｓ２０５は入力信号Ｓ２０１の高周波成分を強調した信号となる。非線形量子化回路７０によつて高域が強調された画像信号は、ＤＣＴ回路５６に入力される。
【００８０】
従来と同様にＤＣＴ回路５６はＤＣＴ変換を行い、量子化回路５７に変換後の値を入力し、量子化後の値は可変長符号化回路５８に入力される。また量子化回路５７の出力は、逆量子化回路６０にも入力される。逆量子化回路６０では量子化回路５７の逆の操作を行う。逆ＤＣＴ回路６１は逆量子化回路６０の出力値を逆ＤＣＴ変換した後、復元された信号を非線形逆量子化回路７１に入力する。
【００８１】
非線形逆量子化回路７１は図４に示すように構成され、非線形量子化回路７０の逆の操作を行う。非線形逆量子化回路７１の入力端４００より入力された信号Ｓ４０１はローパスフイルタ４０１及び加算器４０２に入力される。ローパスフイルタ４０１では信号Ｓ４０１の低周波成分が抽出される。ローパスフイルタ４０１の出力信号Ｓ４０２は加算器４０２及び４０４に入力される。加算器４０２では信号Ｓ４０１及びＳ４０２の差分が求められ出力される（Ｓ４０３）。これにより信号Ｓ４０２は信号Ｓ４０１の低周波成分、信号Ｓ４０３は信号Ｓ４０１の高周波成分を表す。信号Ｓ４０３は高周波信号の非線形逆量子化回路４０３に入力される。
【００８２】
高周波信号の非線形逆量子化回路４０３は図５に示す非線形特性ＩＮＣを用い、非線形量子化を行う。図５に示す非線形特性ＩＮＣは、図３に示した非線形特性ＮＣと対称な特性を有する。すなわち、図３及び図５における各特性は、直線ｙ＝ｘに対して対称となつている。なおここでも、正側特性のみを示す。負側は、原点対象である。
【００８３】
図５の横軸は入力画像信号Ｓ４０３の値（振幅値）であり、縦軸は出力信号Ｓ４０４の値（振幅値）である。ｙ＝ｘが示す点線が線形逆量子化特性を表す。線形量子化特性を用いる場合、高周波信号の非線形逆量子化回路４０３の入力信号Ｓ４０３と出力信号Ｓ４０４は同一の信号となり、従つて非線形逆量子化回路７１の入力信号と出力信号は同一の信号となる。
【００８４】
逆量子化回路の制御器４０６は、高周波信号の非線形逆量子化回路４０３で使用する逆量子化特性を決定し、使用する逆量子化特性を示す信号ＱＬを高周波信号の非線形逆量子化回路４０３に出力する。逆量子化回路の制御器４０６は高周波信号Ｓ４０３の性質を検査し、その性質に従つて使用する逆量子化特性を決定するか、または外部から入力される逆量子化特性を指示する信号（ＱＬ）に従つて使用する逆量子化特性を決定する。
【００８５】
この実施例においては、常に同一の逆量子化特性を用いるため、逆量子化回路の制御器４０６は使用しない。また高周波信号の非線形逆量子化回路４０３で使用する逆量子化特性は、高周波信号の非線形量子化回路２０３で使用した量子化特性の逆の操作を行う逆量子化特性でなければならない。高周波信号の非線形逆量子化回路４０３の出力は、加算器４０４に入力される。加算器４０４は信号Ｓ４０４及び信号Ｓ４０２を加算し出力する（Ｓ４０５）。以上のように非線形逆量子化回路７１は非線形量子化回路７０により強調された高周波成分をもとに戻す操作を行う。
【００８６】
このような非線形量子化操作が、変換符号化によつて生じたモスキートノイズ等のノイズを低減する原理を説明する。図６は図２の非線形量子化回路７０での信号の変化の様子を示す。（ａ）は信号Ｓ２０１の１例である。（ａ）の信号はローパスフイルタ２０１により（ｂ）のような低周波成分が抽出される。これが信号Ｓ２０２である。
【００８７】
一方加算器２０２によりＳ２０１とＳ２０２の差分がとられ、高周波成分として信号Ｓ２０３が（ｄ）のように出力される。このときの信号の最大値と平坦部の差をＡ1 とする。このとき高周波成分を非線形量子化することにより強調する。高周波信号の非線形量子化回路２０３の出力Ｓ２０４を（ｅ）に示す。このとき信号の最大値と平坦部の差はＡ2 となる（Ａ2 ＞Ａ1 ）。加算器２０４は信号Ｓ２０２と信号Ｓ２０４を加算し、出力信号Ｓ２０５を生成する（ｆ）。
【００８８】
図７に非線形量子化特性を示す。横軸は入力信号の値、縦軸は出力信号の値である。なおここでは、正側特性のみを示す。負側は、原点対象である。ここで、変換符号化の際に生じる歪み、ノイズ成分の最大値は変換回路（この実施例の場合ＤＣＴ回路）に入力する信号の最大値の50％の値を持つと仮定する。すなわち、変換回路への入力の最大値と線形の関係にある。入力信号の最大値がＡ1 である場合を考える。非線形量子化を行わない場合、変換符号化によつて生じる歪みの最大値はＮ1 であるとする（図７）。非線形量子化を行つた場合、Ａ1 はＡ2 ＝ａ×Ａ1 となる。このとき、歪みの最大値はＤＣＴに入力する信号の50％であることから、非線形量子化後の値をＤＣＴ変換することによつて生じる歪みの最大値は、Ｎ2 ＝ａ×Ｎ1 となると考えられる。
【００８９】
図８は、図４の非線形逆量子化回路７１での信号の変化の様子を示す。（ａ）は図６の（ｆ）の信号をＤＣＴ変換回路５６、量子化回路５７、逆量子化回路６０、逆ＤＣＴ回路６１によつて処理を行つた後、非線形逆量子化回路７１に入力された信号Ｓ４０１を示す。信号Ｓ４０１からローパスフイルタ４０１により低周波成分Ｓ４０２が抽出される。信号Ｓ４０２を（ｂ）に示す。
【００９０】
加算器４０２は信号Ｓ４０１と信号Ｓ４０２の差分をとることにより、高周波成分Ｓ４０３を抽出する。Ｓ４０３を（ｄ）に示す。この（ｄ）に示される信号には、変換符号化によつて生じた歪みが付加されている。このとき信号の最大値はＡ2 ′、歪みの最大値はＮ2 ′であるとする。
【００９１】
高周波信号の非線形逆量子化回路４０３の出力Ｓ４０３を（ｅ）に示す。また逆量子化特性を図９に示す。非線形逆量子化により、信号の最大値はＡ3 ＝Ａ2 ′／ａとなる。またこのとき歪みの最大値はＮ3 となる。非線形逆量子化を行わない場合の歪みの最大値は、Ｎ2 ′／ａとなる。非線形量子化を行わない場合と比較すると、Ｎ1 −Ｎ3 だけ歪みの最大値が減少したことがわかる。
【００９２】
以上のような方法により、高周波成分を強調して符号化することにより、歪みを減少させることが可能となる。この非線形量子化操作は、変換回路（この実施例の場合ＤＣＴ変換回路）に入力するブロツク単位で行う。これは変換符号化によつて生じる劣化は、ブロツク内で閉じているためである。このことにより、ブロツクを越えて必要以上に情報を失うことを防ぐことができる。
【００９３】
図１０に第１の実施例における動画像復号化装置を示す。非線形逆量子化回路（ＮＬＩＱ）９１を除き、従来と同様であるので、既に従来例にて説明してある部分については、説明を省略する。この非線形逆量子化回路９１について説明すると、非線形逆量子化回路９１は、図１及び図４に上述した非線形逆量子化回路７１と同様の回路であり、非線形量子化回路７０と逆の操作を行うためのものである。またこのとき、非線形量子化回路７０の持つ非線形量子化特性及び非線形逆量子化回路９１の持つ非線形逆量子化特性は、互いに逆の特性を持つ。
【００９４】
この実施例においては非線形量子化回路をＤＣＴ回路の直前に、また非線形逆量子化回路を逆ＤＣＴ回路の直後に設けることにより、画像信号符号化装置及び画像信号復号装置の間で整合性を保つことが出来る。またこの実施例における方法では、画像信号復号装置が非線形逆量子化回路を持たない場合においても最低限の画像を再生することが可能である。画像信号復号装置が非線形逆量子化回路を持たない場合、高周波成分が強調されたままの信号が復号され表示される。この場合の画像信号復号装置は従来例と同様である。
【００９５】
また非線形逆量子化器７１（または９１）の逆量子化特性と非線形量子化器７０の量子化特性は、互いに正反対の特性である必要は必ずしもない。量子化特性の強調度よりも逆量子化特性の復調度が大きい場合は、復号画像にローパスフィルタをかけた効果が得られ、それと逆の場合には、復号画像に輪郭強調をかけた効果が得られる。
【００９６】
以上の構成によれば、符号化によりＳＮ比が悪くなりがちな信号帯域に、非線形特性をもつ前処理及び後処理を連携して施すことにより、ＳＮ比を効果的に改善できる。すなわちＳＮ比が悪い信号帯域において、モスキートノイズは低減させながらも、画像の細かい模様情報の低減は押えることができ、これにより、従来画像の歪みと画像の細かい模様の区別が難しかつた場合でも、画像信号の平坦部にある模様の低減を押えることができるので、ＳＮ比の改善と視覚的印象の改善を図ることができる。
【００９７】
さらに変換符号化における歪みは変換に用いるブロツク内で閉じて発生するので、上述の前処理及び後処理の操作を変換符号化を行うブロツク単位で閉じて行うことにより、モスキートノイズの時間方向への伝搬を小さくすることが可能となる。これにより従来動き補償予測を用いているために、時間方向へ歪みノイズが伝搬することにより見られたノイスの揺らぎが軽減され、視覚的印象の改善を図ることができる。
【００９８】
（２）第２の実施例
第２の実施例は第１の実施例の変形であり、非線形量子化回路（ＮＬＱ）７０及び非線形逆量子化回路（ＮＬＩＱ）７１、９１を除き上述した第１の実施例と同一構成である。すなわち、第２の実施例における非線形量子化回路７０の内部構成を図１１に示す。非線形量子化回路７０に入力される画像信号Ｓ１１００は、バンドパスフイルタ１（１１０１）〜バンドパスフイルタｎ（１１０ｎ）に入力される。
【００９９】
バンドパスフイルタ１（１１０１）〜バンドパスフイルタｎ（１１０ｎ）はそれぞれ異なる通過周波数帯域を持つフイルタである。バンドパスフイルタ１（１１０１）が最も通過周波数帯域の低いフイルタ（ローパスフイルタ）であり、バンドパスフイルタｎ（１１０ｎ）が最も通過周波数帯域が高いフイルタ（ハイパスフイルタ）である。
【０１００】
バンドパスフイルタの出力信号Ｓ１１０１〜Ｓ１１０ｎは第１の非線形量子化回路（１１２１）〜第ｎの非線形量子化回路（１１２ｎ）にそれぞれ入力される。入力信号Ｓ１１００の各周波数成分に対し、周波数に応じて異なる量子化特性の非線形量子化を行う。
【０１０１】
図１１に示す各非線形量子化回路の量子化特性の例を図１３に示す。第１の非線形量子化回路（１１２１）の周波数特性は図１３における特性１であり、また第ｎの非線形量子化回路（１１２ｎ）の量子化特性は特性ｎである。周波数成分が低くなるにつれ、線形量子化特性（ｙ＝ｘ）に近くなるような量子化特性を用いる。従つて高周波成分ほど強調されることになる。非線形量子化回路からの出力信号Ｓ１１２１〜Ｓ１１２ｎは加算器１１３０に入力される。加算器１１３０では非線形量子化後の各周波数成分を加算し出力する（Ｓ１１３０）。
【０１０２】
次にこの実施例における非線形逆量子化回路７１及び９１を図１２を用いて説明する。図１２は非線形逆量子化回路７１及び９１の構成図である。すなわち逆ＤＣＴ回路からの出力信号Ｓ１２００は第１のバンドパスフイルタ（１２０１）〜第ｎのバンドパスフイルタ（１２０ｎ）に入力される。第１のバンドパスフイルタ（１２０１）から第ｎのバンドパスフイルタｎ（１２０ｎ）は、それぞれ異なる通過帯域を持つたフイルタである。第１のバンドパスフイルタ（１２０１）が最も低い通過帯域をもつフイルタ（ローパスフイルタ）であり、第ｎのバンドパスフイルタ（１２０ｎ）が最も高い通過帯域を持つフイルタ（ハイパスフイルタ）である。
【０１０３】
バンドパスフイルタ（１２０１〜１２０ｎ）からの出力信号Ｓ１２０１〜Ｓ１２０ｎは、第１の非線形逆量子化回路（１２２１）〜第ｎの非線形逆量子化回路（１２２ｎ）にそれぞれ入力される。逆ＤＣＴ回路からの信号Ｓ１２００の各周波数成分に対し、周波数に応じて異なる逆量子化特性の非線形逆量子化を行う。
【０１０４】
図１２に示す各非線形逆量子化回路の逆量子化特性の例を図１４に示す。第１の非線形逆量子化回路（１２２１）の周波数特性は、図１４における特性１であり、また第ｎの非線形逆量子化回路（１２２ｎ）の量子化特性は特性ｎである。周波数成分が低くなるにつれ、線形量子化特性（ｙ＝ｘ）に近くなるような逆量子化特性を用いる。この時、各逆量子化特性は量子化特性の逆の操作を行う特性でなければならない。例えば逆量子化特性１は量子化特性１の逆の操作を行う特性でなければならない。これはすなわち、量子化特性１と逆量子化特性１はｙ＝ｘについて対称の関係になければならない。
【０１０５】
非線形逆量子化回路からの出力信号Ｓ１２２１からＳ１２２ｎは加算器１２３０に入力される。加算器１２３０では非線形量子化後の各周波数成分を加算し、出力する（Ｓ１２３１）。この非線形逆量子化回路７１、９１により強調された高周波成分が元のレベルに戻される。第２の実施例では、以上のように入力画像信号の周波数成分によつて非線形量子化特性が適応的に切替えられることが特徴である。このように第２の実施例の場合には、入力信号の周波数成分に応じて量子化特性を適応的に切替えることにより、さらにＳＮ比を向上させることができ、また画像の視覚的印象も向上させることができる。
【０１０６】
（３）第３の実施例
第３の実施例も第１の実施例の変形であり、非線形量子化回路７０及び非線形逆量子化回路７１を除き第１の実施例と同一である。第３の実施例における画像符号化装置の全体構成は、第１の実施例と同様で図１に示される構成を持つ。また非線形量子化回路７０の構成は、第１の実施例と同様に図２に与えられる。第３の実施例では量子化回路の制御器２０６が高周波信号の非線形量子化回路２０３で使用される量子化特性を適応的に切替える。
【０１０７】
量子化回路の制御器２０６は入力画像信号Ｓ２０１の特性を調べ、その特性に応じて使用する量子化特性を決定する。この場合、使用する量子化特性を示す信号ＱＬを高周波信号の非線形量子化回路２０３に出力する。量子化特性群は例えば、図１３で与えられる。入力画像信号の特性とは、例えばエツジ情報であり、また例えば入力信号の振幅情報であり、また例えば輝度と色差信号の相関である。量子化特性を示す信号ＱＬはまた、可変長符号化回路５８に出力される。可変長符号化回路５８では、量子化特性を示す信号ＱＬを可変長符号化し伝送する。
【０１０８】
この実施例における画像復号化装置の構成は、第１の実施例と同様で、図１０で与えられる。また非線形逆量子化回路７１及び９１の構成は、第１の実施例と同様に図４で与えられる。第３の実施例では、逆量子化回路の制御器４０６が高周波信号の非線形逆量子化回路４０３で使用される逆量子化特性を適応的に切替える。画像信号符号化装置から伝送された量子化特性を示す信号ＱＬは、可変長復号回路８２で復号され、非線形逆量子化回路９１に逆量子化特性を示す信号ＱＬ′として出力される。
【０１０９】
逆量子化回路の制御器４０６は逆量子化特性を示す信号ＱＬ′に従つて、逆量子化特性を決定し、高周波信号の非線形逆量子化回路４０３に出力する。高周波信号の非線形逆量子化回路４０３は、逆量子化特性を示す信号ＱＬ′に従つて、逆量子化特性を切替える。逆量子化特性は例えば図１４で与えられる。このように第３の実施例の場合には、入力画像信号の性質に応じて、量子化特性を適応的に切替えることにより、さらにＳＮ比及び視覚的印象を向上することができる。
【０１１０】
（４）第４の実施例
この第４の実施例は非線形量子化回路及び非線形逆量子化回路を、変換回路（この実施例の場合ＤＣＴ、ＩＤＣＴ回路）の前後に設置することが出来ない場合に有効な実施例である。第４の実施例における画像信号符号化装置の構成図を図１５に示す。第１の実施例との相違点は非線形量子化回路７０が符号化装置の先頭におかれている事である。図１５では非線形量子化回路７０は動きベクトル検出回路５０の前に置かれているが、動きベクトル検出回路５０の後、すなわち、動きベクトル検出回路５０及び予測モード切替え回路５２の間にあつても良い。
【０１１１】
非線形量子化回路７０の構成は、第１の実施例と同様で図２に示される。第４の実施例においては、動き補償の前に非線形量子化を行うため、ＤＣＴ回路に入力される信号そのものを処理することができない。非線形量子化は第１の実施例と同様に変換回路（ＤＣＴ回路）に入力するブロツク単位で行われる。この場合、フレーム間符号化を行わない場合、すなわちフレーム内符号化マクロブロツクの場合、第１の実施例と同一の結果を得ることが出来る。
【０１１２】
第４の実施例における画像信号復号装置を図１６に示す。第１の実施例との相違点は非線形逆量子化回路９１が復号回路の最後に置かれていることである。画像信号は復号回路９０で復号された後、非線形逆量子化回路９１にて非線形逆量子化される。非線形逆量子化回路９１の構成は第１の実施例と同様で、図４で与えられる。非線形逆量子化回路９１の動作は第１の実施例と同様である。
【０１１３】
第４の実施例では非線形量子化回路が動き補償回路の前段にあるため、符号化装置及び復号化装置の間の非線形量子化及び非線形逆量子化の間で必ずしも整合性はとれないが、第１の実施例に示した原理と同様の原理により変換符号化により生じた歪みを除去することができる。このように第４の実施例の場合には、変換回路の直前、直後に非線形量子化回路、非線形逆量子化回路を設けることができない場合においても、符号化装置の最前部及び復号装置の最後部に非線形量子化及び非線形逆量子化回路を設けることにより、ＳＮ比が悪い信号帯域において、モスキートノイズを低減しながらも、画像の細かい情報の損失を防ぐことができる。
【０１１４】
（５）第５の実施例
第５の実施例は第４の実施例及び第２の実施例の変形である。非線形量子化回路及び非線形逆量子化回路を除き第４の実施例と同一である。第５の実施例における画像信号符号化回路及び画像信号復号装置の構成は第４の実施例と同様で図１５及び図１６に示される構成を持つ。第５の実施例における非線形量子化回路７０の構成は第２の実施例と同様で図１１で与えられる。また第５の実施例における非線形逆量子化回路７１の構成は第２の実施例と同様で図１２で与えられる。第５の実施例は、第４の実施例を変形し、第２の実施例と同様に入力画像信号の周波数成分によつて非線形量子化特性が適応的に切替えられるようにした実施例である。
【０１１５】
（６）第６の実施例
第６の実施例は第４の実施例及び第３の実施例の変形である。非線形量子化回路及び非線形逆量子化回路を除き第４の実施例と同一である。第６の実施例における画像信号符号化回路及び画像信号復号装置の構成は第４の実施例と同様で図１５及び図１６に示される構成を持つ。第６の実施例における非線形量子化回路７０の構成は第３の実施例と同様で図２で与えられる。
【０１１６】
また第６の実施例における非線形逆量子化回路７１の構成は第３の実施例と同様で図４で与えられる。第６の実施例は、第４の実施例を変形し、第３の実施例と同様に入力画像信号の周波数成分によつて非線形量子化特性が適応的に切替えられるようにした実施例である。使用した非線形量子化特性を可変長符号化し、画像信号復号装置に伝送する。画像信号復号装置では、伝送された非線形量子化特性から非線形逆量子化特性を決定する。
【０１１７】
【発明の効果】
上述のように本発明によれば、符号化処理によりＳＮ比が悪くなりがちな信号帯域に、非線形特性をもつ処理を連携して施すことにより、ＳＮ比を効果的に改善できる。すなわちＳＮ比が悪い信号帯域において、モスキートノイズは低減させながらも、画像の細かい模様情報の低減は押えることができ、これにより、従来画像の歪みと画像の細かい模様の区別が難しかつた場合でも、画像信号の平坦部にある模様の低減を押えることができるので、ＳＮ比の改善と視覚的印象を改善し得る動画像符号化方法、動画像復号化方法及び動画像符号化装置を実現できる。
【０１１８】
さらに変換符号化における歪みは変換に用いるブロツク内で閉じて発生するので、上述の処理の操作を変換符号化を行うブロツク単位で閉じて行うことにより、モスキートノイズの時間方向への伝搬を小さくすることが可能となる。これにより従来動き補償予測を用いているために、時間方向へ歪みノイズが伝搬することにより見られたノイズの揺らぎが軽減され、視覚的印象を改善し得る動画像符号化方法、動画像復号化方法及び動画像符号化装置を実現できる。
【図面の簡単な説明】
【図１】本発明による画像信号符号化装置の一実施例の構成を示すブロツク図である。
【図２】非線形量子化回路の構成を示すブロツク図である。
【図３】非線形量子化特性の説明に供する特性曲線図である。
【図４】非線形逆量子化回路の構成を示すブロツク図である。
【図５】非線形量子化特性の説明に供する特性曲線図である。
【図６】非線形量子化回路での信号の変化の説明に供する信号波形図である。
【図７】非線形量子化特性の説明に供する特性曲線図である。
【図８】非線形逆量子化回路での信号の変化の説明に供する信号波形図である。
【図９】非線形逆量子化特性の説明に供する特性曲線図である。
【図１０】本発明による動画像復号化装置の一実施例の構成を示すブロツク図である。
【図１１】第２の実施例における非線形量子化回路の構成を示すブロツク図である。
【図１２】第２の実施例における非線形逆量子化回路の構成を示すブロツク図である。
【図１３】非線形量子化回路の量子化特性の説明に供する特性曲線図である。
【図１４】非線形逆量子化回路の逆量子化特性の説明に供する特性曲線図である。
【図１５】第４の実施例における動画像符号化装置の構成を示すブロツク図である。
【図１６】第４の実施例における動画像復号化装置の構成を示すブロツク図である。
【図１７】フレーム間相関を利用した場合の動画像信号の圧縮符号化の原理の説明に供する略線図である。
【図１８】画像データを圧縮する場合におけるピクチヤのタイプの説明に供する略線図である。
【図１９】動画像信号を符号化する原理の説明に供する略線図である。
【図２０】画像信号の符号化装置と復号化装置の構成を示すブロツク図である。
【図２１】図２０におけるフオーマツト変換回路のフオーマツト変換の動作の説明に供する略線図である。
【図２２】図２０におけるエンコーダの構成を示すブロツク図である。
【図２３】図２２における予測モード切り替え回路の動作の説明に供する略線図である。
【図２４】図２２におけるＤＣＴモード切り替え回路の動作の説明に供する略線図である。
【図２５】図２０のデコーダの構成例を示すブロツク図である。
【符号の説明】
１……符号化装置、２……復号化装置、３……記録媒体、１２、１３……Ａ／Ｄ変換器、１４……フレームメモリ、１５……輝度信号フレームメモリ、１６……色差信号フレームメモリ、１７……フオーマツト変換回路、１８……エンコーダ、３１……デコーダ、３２……フオーマツト変換回路、３３……フレームメモリ、３４……輝度信号フレームメモリ、３５……色差信号フレームメモリ、３６、３７……Ｄ／Ａ変換器、５０……動きベクトル検出回路、５１……フレームメモリ、５２……予測モード切り替え回路、５３……演算部、５４……予測判定回路、５５……ＤＣＴモード切り替え回路、５６……ＤＣＴ回路、５７……量子化回路、５８……可変長符号化回路、５９……送信バツフア、６０……逆量子化回路、６１……逆ＤＣＴ回路、６２……演算器、６３……フレームメモリ、６４……動き補償回路、８１……受信バツフア、８２……可変長復号化回路、８３……逆量子化回路、８４……逆ＤＣＴ回路、８５……演算器、８６……フレームメモリ、８７……動き補償回路。
【図１】
0004121567.tif 000002
【図２】
0004121567.tif 000003
【図３】
0004121567.tif 000004
【図５】
0004121567.tif 000005
【図４】
0004121567.tif 000006
【図６】
0004121567.tif 000007
【図７】
0004121567.tif 000008
【図９】
0004121567.tif 000009
【図８】
0004121567.tif 000010
【図１０】
0004121567.tif 000011
【図１１】
0004121567.tif 000012
【図１２】
0004121567.tif 000013
【図１３】
0004121567.tif 000014
【図１４】
0004121567.tif 000015
【図１５】
0004121567.tif 000016
【図１６】
0004121567.tif 000017
【図１７】
0004121567.tif 000018
【図１８】
0004121567.tif 000019
【図１９】
0004121567.tif 000020
【図２０】
0004121567.tif 000021
【図２１】
0004121567.tif 000022
【図２２】
0004121567.tif 000023
【図２３】
0004121567.tif 000024
【図２４】
0004121567.tif 000025
【図２５】
0004121567.tif 000026