(57)【特許請求の範囲】
【請求項１】
少なくても輝度信号と色差信号から成る映像信号を複数階層に分けて符号化する階層符号化方法において、  低位階層における前記色差信号の符号化の品質が、設定値を越えた場合に、上位階層での色差信号の符号化を行わない階層符号化方法。
【請求項２】
前記映像信号は、動画像信号であることを特徴とする請求項１の階層符号化方法。
【請求項３】
前記設定値は、任意に設定されることを特徴とする請求項１又は請求項２の階層符号化方法。
【請求項４】
前記設定値は、前記動画像信号の動きに応じて変更されることを特徴とする請求項２の階層符号化方法。
【請求項５】
前記設定値は、前記階層符号化された映像信号の発生符号量に応じて変更されることを特徴とする請求項２の階層符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の階層符号化に関する。
【０００２】
【従来の技術】
画像の階層符号化は、復号器側の要求に応じて異なる解像度や画質の画像を得る場合や、グレースフル・デグラデーション(graceful degradation:伝送時に妨害があっても画質の劣化が段階的になるようにする手法)を実現する場合に有効 であり、放送・通信分野では重要な符号化方法である。
【０００３】
周知の如く、動画像圧縮の国際的規格MPEG2においても、階層符号化が盛り込 まれている。
画質の階層符号化には、SNRスケーラビリティ採用されている。又、解像度の 階層符号化には、空間スケーラビリティが、採用されている(監修：藤原洋、株 式会社アスキ−1994年8月1日発行の「最新MPEG教科書」の148〜151頁参照)。
【０００４】
このSNRスケーラビリティとは、同じ画像の画質を段階的に変える手法で下位 階層では低画質が得られ、上位階層では高画質が得られる。この上位階層の符号化時には、下位階層の画像を上位階層の予測画像として用い、上位階層と下位階層との誤差を符号化する。
又、空間スケーラビリティとは、階層により扱う画像サイズが違う。この上位階層では、低位階層のアップサンプリングした画像を上位階層の予測画像として用いるものであり、上位階層では予測画像との誤差を符号化する。
【０００５】
図１を参照しつつ、従来の一例の概略を説明する。
この従来例は、空間スケーラビリティに適応した階層符号化である。ここでの、階層は下位階層・上位階層の2階層とし、下位階層は上位階層の1/4の画像サイズとする。
図１において、(10)は、下位階層画像の入力端子である。
【０００６】
(12)は、上位階層画像の入力端子である。
(14)は、下位階層画像の符号化回路である。この符号化回路(14)は、下位階層の画像をブロックに分割し、DCT回路(16)でDCT処理を行い、量子化回路(18)で量子化し、VLC回路(20)で可変長符号化する。符号化回路(14)は、下位階層の画像 信号を符号化されたビットストリ−ムとして出力する。
【０００７】
(22)は、下位階層画像の復号化回路である。この復号化回路(22)は、符号化された下位階層の画像を復号する。VLD回路(24)で可変長復号し、逆量子化回路(26)で逆量子化し、IDCT回路(28)で逆DCT処理を行い元の下位階層画像に復号する。
(30)は、アップサンプリング回路である。このアップサンプリング回路(30)は、下位階層の画像サイズを、上位階層の画像サイズに変換する。このアップサンプリング回路(30)の出力画像は、予測画像として用いられる。
【０００８】
(32)は、減算回路である。この減算回路(32)は、上位階層画像から予測画像を減算して、誤差画像を出力する。
(34)は、この誤差画像用の符号化回路である。この符号化回路(34)は、誤差画像をブロックに分割し、DCT回路(36)でDCT処理を行い、量子化回路(38)で量子化し、VLC回路(40)で可変長符号化する。符号化回路(34)は、誤差画像を符号化し たビットストリ−ムを出力する。
【０００９】
尚、この回路図は、概略のみを示している。例えば、実際のMPEG２の空間スケーラビリティであれば、入力画像は動画像である。また、ビットレートを一定に保つために、発生符号量に応じて、量子化回路(18)(38)の量子化ステップ幅を変更する符号量制御も行われる。更に、動き補償予測フレーム間圧縮も行われる。ところで、この階層符号化された符号データには、階層符号化独自の付加情報が必要となる。このために発生ビットの冗長度が増すことになる。このため、画質の劣化が発生するという問題がある。
【００１０】
この画質の劣化は、１画面あたりの割り当て符号量が、少ないほど明らかになる傾向がある。
例えば、MPEG2の空間スケーラビリティの4Mbpsのビットレートで符号化の場合復号画像は、MPEG2のメインプロファイルの4Mbpsのビットレートで符号化の場合復号画像に比べて、非常に見にくいものになっている。
【００１１】
【発明が解決しようとする課題】
この低ビットレートで階層符号化する場合、SNR(SNR:Signal to Noise Ration)は、色差信号より輝度信号で悪くなる傾向がある。
輝度信号の品質が悪いとモスキートノイズが目だったり、あるいはブロック歪みが現れるという問題が発生する。
【００１２】
本発明は、階層符号化において、画質を向上させることを目的とする。
つまり、同じ符号量又はビットレートで、より自然に見える画像を提供すること目的とする。
【００１３】
【課題を解決するための手段】
ところで、人間の視覚特生として「輝度信号には敏感であるが、色信号には鈍感である」という特性があり、この特性を利用して、色差信号のみを間引いたりしている。例えば、MPEG2では、色差信号のみを1/4に間引いた4:2:0フォーマッ トと呼ばれる画像を符号化・復号化処理に用いる方法が広く用いられている。
【００１４】
そこで、本願では、低位階層の色差信号が必要な品質を得ている場合、上位階層では色差信号の符号化を打ち切る。つまり、色差信号のデータを破棄し、色差信号の符号化を禁止する。これにより、色差信号を符号化した場合に発生する符号量を、輝度信号に振り分けることが可能となり、画質が向上する。
尚、輝度信号も同様に処理しても良い。つまり、下位階層の輝度信号が必要な画質を得ている場合、上位階層では輝度信号の符号化を打ち切るようにしてもよい。
【００１５】
また、この色差信号の符号化を行うか？打ち切りか？の判定として、低位階層の色差信号の品質を求め、この品質が予め設定しているレベルより高い値であれば上位階層では色差信号の符号化を行わない。つまり、本願では、上位階層で色差信号の符号化を行うか否かを、低位階層の色差信号の品質が、設定レベルを既に満足するものであるかどうかにより判定している。
【００１６】
また、この判定基準となるレベルは、任意に設定変更してもよい。
また、この判定のタイミングは画面毎、複数の画面に一度、あるいは画面内の一定領域毎に行うなどでもよい。
【００１７】
【発明の実施の形態】
図２、図３を参照しつつ、本発明の第１実施例を説明する。
この第１実施例は、従来例と同様に、空間スケーラビリティに適応した階層符号化である。また、階層は下位階層・上位階層の2階層とし、下位階層は上位階 層の1/4の画像サイズとする。
【００１８】
なお、第１実施例において、従来例と同一部分には同一符号を付した。
図２は、第１実施例の概略を示す構成図である。
(42)は、色差SNR検出回路である。
(44)は、基準SNR設定回路である。
(46)は、色差信号符号化判定回路である。色差信号を符号化するか否かを判定する。
【００１９】
(48)は、色差信号符号化制御回路である。この色差信号符号化制御回路(48)は、色差信号符号化判定回路(46)が色差信号を符号化しないと判定すると色差信号を破棄する。
この第１実施例では、輝度信号については、従来と同様に処理される。
この第１実施例の特徴は、画面毎に色差信号符号化判定を行い、色差信号を符号化するか否かを制御することである。
【００２０】
この第１実施例では、下位階層画像の輝度信号及び色差信号は、従来と同様に符号化処理を行い、ビットストリームを作成する。
上位階層画像の処理においては、下位階層の符号化された色差信号を基に色差信号符号化判定を行い、上位階層で色差信号を符号化するかを判定する。この実施例では、符号化された色差信号の品質を求めるために、一旦、符号化された画像を再度復号して、品質を求めている。
【００２１】
本実施例では、画面毎に色差信号符号化判定を行い、色差信号を符号化するか否かを制御する。
色差SNR検出回路(42)は、下位階層をアップサンプリングした画像の色差信号 と、上位階層の画像の色差信号とを比較して、全画面の色差信号のSNRを求める 。
【００２２】
また、基準SNR設定回路(44)において、使用者により基準SNRのレベルが設定される。
色差信号符号化判定回路(46)では、色差SNR検出回路(42)からの検出したSNR( 以下、色差SNR)と、基準SNR設定回路(44)からのSNR(以下、基準SNR)を比較する 。
【００２３】
これにより、色差SNRが基準SNRより大きければ、下位階層の色差信号だけで、上位階層の求める色の品質を満足すると判定する。そして、上位階層の色差信号の符号化を行わない。
逆に、色差SNRが基準SNRより小さければ、下位階層の色差信号だけでは満足する品質が得られていないと判定して上位階層で色差信号の符号化を行う。
【００２４】
図３を参照しつつ、このSNRの比較を説明する。
ここでは、使用者により、基準SNR設定回路(44)において設定された基準SNRの値を30dBとする。
そして、色差SNR検出回路(42)により、下位階層の画面n〜画面n+5から検出し た色差信号のSNRが、図３の検出SNR値に示す値であるとする。
【００２５】
色差信号符号化判定回路(46)は、検出SNR(色差SNR)と基準SNRとを比較する。 そして、色差SNRの値が30dBより小さい画面n、画面n+1、画面n+4については、下位階層の色差信号が満足いく品質ではないと判定して、上位階層処理において従来通り色差信号の符号化を行う。
また、色差SNRの値が30dBより大きい画面n+2、画面n+3、画面n+5については、上位階層処理において、色差信号の符号化を行わない。
【００２６】
この第１実施例では、色差信号符号化判定回路(46)における判定は、画面毎に行っている。
しかし、本願は、これに限定されるものではなく、画面内の一定領域毎に行ってもよい。尚、この場合は、当然、色差SNRもこの一定領域毎に検出する。
又、動画像の場合は、例えば、以下のように設定しても良い。
【００２７】
(a1).シーンチェンジを検出し、このシーンチェンジ時に行う。
(a2).一定の画面毎に行う
(a3).最初の一画面について行う
また、この第１実施例では、色差SNRは、画面の色差信号の全画面のSNRから求めている。
【００２８】
しかし、本願は、これに限定されるものではなく、以下のようにしてもよい。
(b1).色差信号の全画面のSNR(第１実施例で適用)。
(b2).幾つかのサンプルブロックのSNRの平均値。
(b3).幾つかのサンプルブロックのSNRの最大値、或は最小値、或は中間値。
(b4).画面内の所定領域毎のSNR。
【００２９】
また、この第１実施例では、色差SNRは、符号・復号・アップサンプリング処 理された画像と、上位階層画像とを、比較して求めている。
しかし、本願は、これに限定されるものではなく、色差SNRを、符号・復号処 理された画像と、下位階層画像とを、比較して求めても良い。
また、基準SNRの設定方法も、この第１実施例に限定されるものではなく、以 下のようにしてもよい。
【００３０】
(c1).人間の視覚に自然に感じられるように、人が調整した値(本実施例で適用)。
(c2).事前に処理した複数画面の色差信号のSNRを参考にした値。
(c3).輝度信号が得ている品質(SNR)を基準にした値。
また、基準SNRの値も固定値である必要はなく、適応的に値を可変することも 可能である。
【００３１】
(d1).つまり、色差信号が重要な画面又は画面部分においては、基準SNRを大きくする。
(d2).また、色差信号が重要でない画面又は画面部分においては、基準SNRを小さくする。
このように、本実施例によれば、既に一定以上の品質が得られている色差信号については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減量だけ、輝度信号の符号量を増加出来、画質の向上が図れる。
【００３２】
又、色差信号符号化判定のための基準SNRは、任意に設定可能であるから、人 間に不自然な印象を与えない範囲で色差信号の符号化を打ち切るように制御が可能である。
また、基準SNRに非常に大きな値を設定すれば、必ず色差信号を符号化すれこ ととなり、従来と同様の階層符号化データを得ることもできる。
【００３３】
図４を参照しつつ、本発明の第２実施例を説明する。
この第２実施例は、色差信号が輝度信号よりも良い品質が得られている場合は、色差信号の符号化を打ち切るものである。
(42)は、色差SNR検出回路である。この色差SNR検出回路(42) は、色差SNRを、復号化回路(22)からの画像(色差信号成分)と下位階層画像(色差信号成分)とを、比較して求めている。
【００３４】
(50)は、輝度信号のSNRを求める基準SNR設定回路である。この基準SNR設定回 路(50)は、基準SNRを、復号化回路(22)からの画像(輝度信号成分)と上位階層画 像(輝度信号成分)とを、比較して求めている。
この第２実施例では、色差SNR検出回路(42)が、下位階層のアップサンプリン グ後の画像の色差信号により、全画面のSNRの平均値を検出する。
【００３５】
そして、基準SNR設定回路(50)は、輝度信号の全画面のSNR平均値を検出し、このSNR値から基準SNRを設定している。
尚、この第２実施例では、色差SNR及び基準SNRは、画面毎に検出したが、これに限定されるものでは無く、画面内の所定領域毎に設定してもよい。
図５を参照しつつ、本発明の第３実施例を説明する。
【００３６】
この第３実施例では、動画像が入力される。
そして、第３実施例は、この動画像の種類により、基準SNRを変更するもので ある。
(54)は、画像種別判定回路である。この画像種別判定回路(54)は、動きを検出して、動きの激しい動画像か？静止している動画像か？、及び、周波数成分は高いか否か？等を判定する。
【００３７】
(52)は、基準SNR設定回路である。この基準SNR設定回路(52)は、画像種別判定回路(54)により、基準SNRを変更する。
この第３実施例では、画像の種類により基準SNRを変化させるものである。
例えば、画像種別判定回路(54)により、画像の動きがかなり少なく平坦であれば、基準SNR設定回路(52)は基準SNRを大きくして、色差信号を符号化する。また、動きがかなり早い場合や高周波成分の多い場合は、基準SNR設定回路(52)は基 準SNRを小さくして色差信号を符号化しない。
【００３８】
図６を参照しつつ、本発明の第４実施例を説明する。
この第４実施例は、上位階層の色差信号の符号化時の品質を、下位階層の色差信号の符号化時の品質(色差SNR)にある程度追随させるものである。
(56)は、色差SNR平均回路である。この色差SNR平均回路(56)は、色差SNRを平 均化する。
【００３９】
(58)は、基準SNR設定回路である。この基準SNR設定回路(58)は、色差SNR平均 回路(56)の出力に+3dBした値を基準SNRとして、出力する。
尚、この基準SNR設定回路(58)は、この+3dBした値が、予かじめ設定された下 限値より小さい場合は、この下限値を換わって出力する。同様に、この+3dBした値が、予かじめ設定された上限値より大きな場合は、この上限値を換わって出力する。尚、このような置換出力は、ほとんど発生しないと考えられるが、一応設けた。
【００４０】
尚、上記実施例では、記述しなかったが、当然、色差信号を伝送する場合と、伝送しない場合を、復号側で容易に判断できるように、モード識別コードを挿入するようにしてもよい。
又、本願の実施例では、空間的な階層符号化である空間スケーラビリティについて説明したが、本願は、当然、画質の階層符号化を実現するSNRスケーラビリ ティやその他の階層符号化にも適応できる。
【００４１】
また、本実施例では、回路ブロック図により説明したが、近年のマイクロコンピュ−タの高速化高機能化により、このような、符号化処理をソフトウエアで行うことも可能である。
また、本実施例では、階層符号化として、２階層のものを説明したぐ、本願はこれに限定されるものではない。
【００４２】
また、本願の基準SNRを求める時、この階層符号化がMPEG２等の符号量制御を 行う動画像の階層符号化であれば、出力ビットレートに応じて、基準SNRを変更 する様にしてもよい。
【００４３】
【発明の効果】
このように、本願によれば、低位階層で既に一定以上の品質が得られている画像については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減分だけ、他の部分に振り分けることができるため、品質を上げることができる。
【００４４】
また、本願によれば、低位階層で既に一定以上の品質が得られている色差信号については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減量だけ、輝度信号の符号量を増加出来、画質の向上が図れる。
【図面の簡単な説明】
【図１】従来の空間スケーラビリティの階層符号化の概略を示す図である。
【図２】本発明の第１実施例の概略を示す図である。
【図３】本発明の色差信号符号化判定を説明するための図である。
【図４】本発明の第２実施例の概略を示す図である。
【図５】本発明の第３実施例の概略を示す図である。
【図６】本発明の第４実施例の概略を示す図である。
【符号の説明】
(14)・・・・・・・・・符号化回路(第１の符号化回路)、
(22)・・・・・・・・・復号化回路、
(32)・・・・・・・・・減算回路、
(34)・・・・・・・・・符号化回路(第２の符号化回路)、
(40)・・・・・・・・・VLC回路(可変長符号化回路)、
(42)・・・・・・・・・色差SNR検出回路、
(46)・・・・・・・・・色差信号符号化判定回路、
(48)・・・・・・・・・色差信号符号化制御回路。
【図１】
0003717573.tif 000002
【図２】
0003717573.tif 000003
【図３】
0003717573.tif 000004
【図４】
0003717573.tif 000005
【図５】
0003717573.tif 000006
【図６】
0003717573.tif 000007