(57)【要約】【課題】MPEG方式のような、映像信号を時間軸方向の相関を利用した動き補償と、直交変換を使用して高能率で符号化する符号化方法において、色エッジなどの周りに大きな色歪が発生し易いという課題を解決し、輝度信号が同じで色信号が異なるような画像に対しても、大きな色歪を発生させることの無い映像信号符号化方法を提案することを目的とする。【解決手段】輝度信号に対しては動き補償手段１０１により動きベクトルを用いた動き補償を実施し、色差信号に対しては動き補償を行わず、レベル計算手段１０８によって計算されたDCレベル情報を使用して、レベル補正手段１０９により色差信号のDCレベルが０となるような信号レベル補正を実施した後、直交変換符号化するように構成することで、輝度信号が同じで色信号が異なるような画像に対しても、大きな色歪を発生させることの無い映像信号符号化方法が得られる。【選択図】図１
2005175885.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を時間軸方向の相関を利用した動き補償と、直交変換を使用して高能率で符号化する符号化方法であって、
輝度信号に対しては動きベクトルを用いた動き補償を実施し、色差信号に対しては動き補償を行わず、色差信号のDCレベルが０となるような信号レベル補正を実施した後、直交変換符号化することを特徴とする映像信号符号化方法。
【請求項２】
請求項１記載の映像信号符号化方法で符号化された映像信号を記録することを特徴とする映像信号記録媒体。
【請求項３】
入力輝度信号に対して動き補償処理を行う動き補償手段と、
入力色差信号のDCレベルを計算するレベル計算手段と、
前記レベル計算手段の結果を使用して入力色差信号のDCレベルが０となるように入力色差信号のレベルをシフトさせるレベル補正手段と、
前記動き補償手段によって動き補償処理された輝度信号と前記レベル補正手段によってレベルシフト処理された色差信号を直交変換する直交変換手段と、
前記直交変換手段によって直交変換処理された直交変換係数を量子化する量子化手段と、前記量子化手段によって量子化された輝度信号成分の直交変換係数のみを逆量子化する逆量子化手段と、
前記逆量子化手段によって逆量子化された輝度信号成分の直交変換係数を逆直交変換する逆直交変換手段と、
前記逆直交変換手段によって逆直交変換された輝度信号に動き補償処理に使用した参照画像を加算して入力輝度信号を復元する加算手段と、
前記加算手段によって復元された輝度信号を次回の動き補償処理用の参照画像として一時的に記憶しておくフレームメモリ手段と、
前記動き補償手段によって輝度信号の動き補償処理に使用された動きベクトルと前記レベル補正手段によって色差信号のレベルシフト処理に使用されたレベル補正情報と前記量子化手段によって量子化された直交変換係数を可変長符号化する可変長符号化手段と、
前記可変長符号化手段によって可変長符号化された符号化データを一定レートで出力するバッファ手段と、
前記バッファ手段の占有状態に応じて前記量子化手段の動作を制御する符号化制御手段と、
を具備することを特徴とする映像信号符号化装置。
【請求項４】
請求項３記載の映像信号符号化装置で符号化された映像信号を記録することを特徴とする映像信号記録媒体。
【請求項５】
入力符号化データを符号化単位毎に出力するバッファ手段と、
前記バッファ手段から出力される符号化データを可変長復号する可変長復号手段と、
前記可変長復号手段によって復号された直交変換係数を逆量子化する逆量子化手段と、前記逆量子化手段によって逆量子化された直交変換係数を逆直交変換する逆直交変換手段と、
前記逆直交変換手段によって逆直交変換された色差信号を前記可変長復号手段によって復号されたレベル補正情報を用いてレベルシフト処理するレベル補正手段と、
前記逆直交変換手段によって逆直交変換された輝度信号を前記可変長復号手段によって復号された動きベクトル情報を用いて動き補償処理する動き補償手段と、
前記動き補償手段によって動き補償処理され復元された輝度信号を次回の動き補償処理用の参照画像として一時的に記憶しておくフレームメモリ手段と、
を具備することを特徴とする映像信号復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、DVD（Digital Versatile Disc）やディジタル放送等の分野で使用されている映像信号を高能率で符号化するための符号化方法に関するものである。
【背景技術】
【０００２】
従来、DVDやディジタル放送の分野では、映像信号の標準符号化方式としてMPEG（Moving Picture Experts Group）方式が採用されている。MPEG方式による映像信号の符号化／復号に関して、以下に図面を用いて簡単に説明する。
【０００３】
図２は、従来のMPEG方式を用いた映像信号符号化装置の模式図である。図２において、２０１は入力映像信号を動き補償処理する動き補償手段、２０２は動き補償処理された映像信号をDCT（Discrete Cosine Transform）方式で直交変換するDCT手段、２０３は直交変換されたDCT係数を量子化する量子化手段、２０４は量子化されたDCT係数を逆量子化する逆量子化手段、２０５は逆量子化されたDCT係数を逆直交変換する逆DCT手段、２０６は逆直交変換して復元された映像信号に動き補償で使用された参照画像を加算する加算手段、２０７は復元された映像信号を次回の動き補償処理の為の参照画像として一時的に記憶しておくフレームメモリ手段、２０８は量子化されたDCT係数と量子化に使用した量子化ステップと動き補償で使用された動きベクトルを可変長符号化するVLC手段、２０９は可変長符号化された符号化データを一定レートで出力する為のバッファ手段、２１０は前記バッファ手段の占有状態に応じて前記量子化手段２０３の動作を制御し符号化レートを調節する符号化制御手段である。以上のように構成された映像信号符号化装置に関して、以下その動作を説明する。
【０００４】
MPEG方式による符号化では、符号化対象となるピクチャ内に含まれる情報のみを使用して符号化を実施するフレーム内符号化（Iピクチャ）と、過去のピクチャから符号化対象となるピクチャを予測して予測誤差のみを符号化する前方予測符号化（Pピクチャ）と、過去と未来のピクチャから符号化対象となるピクチャを予測して予測誤差のみを符号化する両方向予測符号化（Bピクチャ）を組み合わせて符号化を実施する。入力映像信号をIピクチャとして符号化する場合は、前記動き補償手段２０１は、入力映像信号を無処理で通過させ、入力映像信号をPピクチャもしくはBピクチャとして符号化する場合は、前記動き補償手段２０１は、前記フレームメモリ手段２０７に格納されている参照画像を使用して、符号化対象となるピクチャと参照画像との間の動きベクトルを計算し、動き補償処理を行って、参照画像と符号化対象となるピクチャとの差分画像データを出力する。前記DCT手段２０２は、前記動き補償手段２０１によって動き補償処理された入力映像信号を周波数成分に直交変換し、直交変換係数を出力する。前記量子化手段２０３は、前記DCT手段２０２によって直交変換された直交変換係数を量子化する。符号化対象となるピクチャが以後の処理で参照画像として使用されるIピクチャもしくはPピクチャである場合には、前記逆量子化手段２０４は、前記量子化手段２０３によって量子化された直交変換係数を逆量子化し直交変換係数を復元する。前記逆DCT手段２０５は、前記逆量子化手段２０４によって逆量子化された直交変換係数を逆直交変換し画像データを復元する。前記加算手段２０６は、前記逆DCT手段２０５によって逆直交変換された画像データがIピクチャの画像データである場合には無処理で通過させ、Pピクチャの画像データである場合には前記フレームメモリ手段２０７に格納されている参照画像を動き補償処理した後に加算処理して入力映像信号を復元する。前記フレームメモリ手段２０７は、前記加算手段２０６によって復元された入力映像信号を、以後の動き補償処理に使用するための参照画像として一時的に記憶する。一般的にMPEG方式では、動き補償に使用する参照画像は最大で両方向予測を行う場合の２枚であるので、前記フレームメモリ手段２０７は、２枚分のフレームメモリで構成され、参照画像として使用されることの無くなった画像データが次の参照画像となる新しい画像データに上書きされていくリングバッファの構造をとることが一般的である。前記VLC手段２０８は、前記動き補償手段２０１によって動き補償処理に使用された動きベクトルと、前記量子化手段２０３によって量子化された直交変換係数と、量子化に使用された量子化ステップとを可変長符号化し符号化データを生成する。前記VLC手段２０８によって符号化されたデータは可変長符号化されているのでピクチャあたりの符号量が一定になっていない。前記バッファ手段２０９は、前記VLC手段２０８によって生成された符号化データをバッファリングしながら出力することで一定レートのストリームデータとして出力する。前記符号化制御手段２１０は、前記バッファ手段２０９の占有状態に応じて前記量子化手段２０３で使用する量子化ステップの大きさを制御することで符号化レートを制御するように構成されている。
【０００５】
次に、従来のMPEG方式による映像信号の復号に関して図面を参照しながら説明する。
【０００６】
図４は、従来のMPEG方式を用いた映像信号復号装置の模式図である。図４において、４０１は一定レートで入力される符号化データをピクチャ単位で出力するバッファ手段、４０２は符号化データを可変長復号するVLD手段、４０３は可変長復号された直交変換係数を逆量子化する逆量子化手段、４０４は逆量子化された直交変換係数をDCT方式で逆直交変換する逆DCT手段、４０５は逆直交変換された画像データを動き補償処理する動き補償手段、４０６は復元された映像信号を次回の動き補償処理の為の参照画像として一時的に記憶しておくフレームメモリ手段である。以上のように構成された映像信号復号装置に関して、以下その動作を説明する。
【０００７】
前記バッファ手段４０１は、入力された符号化データをバッファリングしておき、１ピクチャ分のデータがたまったところでまとめて出力する。前記VLD手段４０２は、前記バッファ手段４０１から出力された符号化データを可変長復号し直交変換係数や動きベクトルや量子化ステップの情報を復元する。前記逆量子化手段４０３は、前記VLD手段４０２によって復元された直交変換係数を同様に復元された量子化ステップで逆量子化し直交変換係数を復元する。前記逆DCT手段４０４は、前記逆量子化手段４０３によって逆量子化された直交変換係数を逆直交変換し画像データを復元する。前記動き補償手段４０５は、前記逆DCT手段４０４によって逆直交変換された画像データがIピクチャの画像データである場合には無処理で通過させ、PピクチャもしくはBピクチャの画像データである場合には前記フレームメモリ手段４０６に格納されている参照画像を用いて動き補償処理して映像信号を復元し出力する。前記フレームメモリ手段４０６は、前記動き補償手段４０５によって復元された映像信号がIピクチャもしくはPピクチャの映像信号であった場合、この映像信号を以後の動き補償処理に使用するための参照画像として一時的に記憶するよう構成されている。
【特許文献１】特開平１１−２４３５５１号公報
【非特許文献１】藤原  洋  監修  「最新MPEG教科書」  アスキー出版局  １９９４年
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このMPEG方式による映像信号符号化においては、例えばMPEG2方式の場合では１６×１６画素の大きさのマクロブロックが符号化の基準単位となっており、動き補償を行う場合にはマクロブロックで１つの動きベクトルが使用されることになっている。MPEG４方式の場合では８×８画素の大きさのブロック毎に動きベクトルを使用して動き補償を行うことも可能ではあるが、いずれの場合も輝度信号成分と色差信号成分で同じ動きベクトルを使用することになっている。一般的に、輝度信号成分は色差信号成分と比較して信号帯域が広いため、輝度信号成分の符号化難易度は色差信号成分よりも高い。このため、一般的に動き補償予測では輝度情報のみを使用して動きベクトルを求めているが、輝度信号が同じで色差信号が異なる画像では誤った動きベクトルを抽出してしまう。このことが色エッジなどの周りに大きな色歪を発生させる原因となっている。
【０００９】
本発明は、輝度信号が同じで色信号が異なるような画像に対しても、大きな色歪を発生させることの無い映像信号符号化方法を提案することを目的とする。
【課題を解決するための手段】
【００１０】
この課題を解決するために本発明は、輝度信号に対しては動きベクトルを用いた動き補償を実施し、色差信号に対しては動き補償を行わず、色差信号のDCレベルが０となるような信号レベル補正を実施した後、直交変換符号化するように構成したものである。
【００１１】
一般に輝度信号と比較して色差信号は帯域が狭く、輝度信号を動き補償処理した後の差分信号程度の信号帯域しか持っていない。しかし、差分信号と比較した場合は、大きなDC成分を持っているために符号化効率と言う点では差分信号よりは悪くなる。そこで、色差信号のDCレベルをあらかじめ計算し、DCレベルが０になるように色差信号をレベルシフトすることで差分信号と同程度の符号化効率を得ることが可能となる。レベルシフトを行っても動き補償処理ほどの処理量は必要としないので、この方法では処理速度も向上する。
【００１２】
これにより、輝度信号が同じで色信号が異なるような画像に対しても、大きな色歪を発生させることの無い映像信号符号化方法が実現出来る。
【発明の効果】
【００１３】
以上のように本発明によれば、輝度信号が同じで色信号が異なるような画像に対しても、大きな色歪を発生させること無く高能率で映像信号を符号化することが可能となるという効果が得られる。
【発明を実施するための最良の形態】
【００１４】
本発明の請求項３記載の発明は、入力輝度信号に対して動き補償処理を行う動き補償手段と、入力色差信号のDCレベルを計算するレベル計算手段と、前記レベル計算手段の結果を使用して入力色差信号のDCレベルが０となるように入力色差信号のレベルをシフトさせるレベル補正手段と、前記動き補償手段によって動き補償処理された輝度信号と前記レベル補正手段によってレベルシフト処理された色差信号を直交変換する直交変換手段と、前記直交変換手段によって直交変換処理された直交変換係数を量子化する量子化手段と、前記量子化手段によって量子化された輝度信号成分の直交変換係数のみを逆量子化する逆量子化手段と、前記逆量子化手段によって逆量子化された輝度信号成分の直交変換係数を逆直交変換する逆直交変換手段と、前記逆直交変換手段によって逆直交変換された輝度信号に動き補償処理に使用した参照画像を加算して入力輝度信号を復元する加算手段と、前記加算手段によって復元された輝度信号を次回の動き補償処理用の参照画像として一時的に記憶しておくフレームメモリ手段と、前記動き補償手段によって輝度信号の動き補償処理に使用された動きベクトルと前記レベル補正手段によって色差信号のレベルシフト処理に使用されたレベル補正情報と前記量子化手段によって量子化された直交変換係数を可変長符号化する可変長符号化手段と、前記可変長符号化手段によって可変長符号化された符号化データを一定レートで出力するバッファ手段と、前記バッファ手段の占有状態に応じて前記量子化手段の動作を制御する符号化制御手段を具備することを特徴とする映像信号符号化装置としたものであり、輝度信号に対しては動きベクトルを用いた動き補償を実施し、色差信号に対しては動き補償を行わず、色差信号のDCレベルが０となるような信号レベル補正を実施した後、直交変換符号化するように構成することで、輝度信号が同じで色信号が異なるような画像に対しても、大きな色歪を発生させること無く高能率で映像信号を符号化することが可能となるという作用を有する。
【００１５】
請求項５記載の発明は、入力符号化データを符号化単位毎に出力するバッファ手段と、前記バッファ手段から出力される符号化データを可変長復号する可変長復号手段と、前記可変長復号手段によって復号された直交変換係数を逆量子化する逆量子化手段と、前記逆量子化手段によって逆量子化された直交変換係数を逆直交変換する逆直交変換手段と、前記逆直交変換手段によって逆直交変換された色差信号を前記可変長復号手段によって復号されたレベル補正情報を用いてレベルシフト処理するレベル補正手段と、前記逆直交変換手段によって逆直交変換された輝度信号を前記可変長復号手段によって復号された動きベクトル情報を用いて動き補償処理する動き補償手段と、前記動き補償手段によって動き補償処理され復元された輝度信号を次回の動き補償処理用の参照画像として一時的に記憶しておくフレームメモリ手段を具備することを特徴とする映像信号復号装置としたものであり、請求項３記載の映像信号符号化装置によって作成された符号化データを復号することが可能となるという作用を有する。
【００１６】
以下、本発明の実施形態について、図面を用いて説明する。
【実施例１】
【００１７】
図１は本発明の第１の実施例における映像信号符号化装置の模式図である。本実施例においては、直交変方式としてMPEG方式同様にDCT（離散コサイン変換）方式を使用した場合を例としている。図１において、１０１は入力輝度信号を動き補償処理する動き補償手段、１０２は動き補償処理された輝度信号を直交変換するDCT手段、１０３は直交変換されたDCT係数を量子化する量子化手段、１０４は量子化されたDCT係数を逆量子化する逆量子化手段、１０５は逆量子化されたDCT係数を逆直交変換する逆DCT手段、１０６は逆直交変換して復元された輝度信号に動き補償で使用された参照画像を加算する加算手段、１０７は復元された輝度信号を次回の動き補償処理の為の参照画像として一時的に記憶しておくフレームメモリ手段、１０８は入力色差信号のDCレベルを計算するレベル計算手段、１０９は計算されたDCレベルを使用してDCレベルが０になるように入力色差信号の信号レベルをシフトさせるレベル補正手段、１１０は量子化されたDCT係数と量子化に使用した量子化ステップと動き補償で使用された動きベクトルとレベルシフトに使用したレベル補正情報を可変長符号化するVLC手段、１１１は可変長符号化された符号化データを一定レートで出力する為のバッファ手段、１１２は前記バッファ手段の占有状態に応じて前記量子化手段１０３の動作を制御し符号化レートを調節する符号化制御手段である。以上のように構成された映像信号符号化装置に関して、以下その動作を説明する。
【００１８】
入力輝度信号をIピクチャとして符号化する場合は、前記動き補償手段１０１は、入力輝度信号を無処理で通過させ、入力輝度信号をPピクチャもしくはBピクチャとして符号化する場合は、前記動き補償手段１０１は、前記フレームメモリ手段１０７に格納されている参照画像を使用して、符号化対象となるピクチャと参照画像との間の動きベクトルを計算し、動き補償処理を行って、参照画像と符号化対象となるピクチャとの差分画像データを出力する。前記レベル計算手段１０８は、入力色差信号のDCレベルを計算する。前記レベル補正手段１０９は、前記レベル計算手段１０８によって求められた入力色差信号のDCレベルを使用して、入力色差信号のDCレベルが０になるように信号レベルをシフトさせる。前記DCT手段１０２は、前記動き補償手段１０１によって動き補償処理された入力輝度信号と前記レベル補正手段１０９によってレベルシフトされた入力色差信号を周波数成分に直交変換し、直交変換係数を出力する。前記量子化手段１０３は、前記DCT手段１０２によって直交変換された直交変換係数を量子化する。符号化対象となるピクチャが以後の処理で参照画像として使用されるIピクチャもしくはPピクチャである場合には、前記逆量子化手段１０４は、前記量子化手段１０３によって量子化された輝度信号の直交変換係数を逆量子化し輝度信号のみの直交変換係数を復元する。前記逆DCT手段１０５は、前記逆量子化手段１０４によって逆量子化された輝度信号の直交変換係数を逆直交変換し輝度信号の画像データを復元する。前記加算手段１０６は、前記逆DCT手段１０５によって逆直交変換された輝度信号の画像データがIピクチャの画像データである場合には無処理で通過させ、Pピクチャの画像データである場合には前記フレームメモリ手段１０７に格納されている参照画像を動き補償処理した後に加算処理して入力輝度信号を復元する。前記フレームメモリ手段１０７は、前記加算手段１０６によって復元された入力輝度信号を、以後の動き補償処理に使用するための参照画像として一時的に記憶する。前記VLC手段１１０は、前記動き補償手段１０１によって輝度信号の動き補償処理に使用された動きベクトルと、前記レベル補正手段１０９によって色差信号のレベルシフトに使用されたレベル補正情報と、前記量子化手段１０３によって量子化された直交変換係数と、量子化に使用された量子化ステップとを可変長符号化し符号化データを生成する。前記バッファ手段１１１は、前記VLC手段１１０によって可変長符号化された符号化データをバッファリングしながら出力することで一定レートのストリームデータとして出力する。前記符号化制御手段１１２は、前記バッファ手段１１１の占有状態に応じて前記量子化手段１０３で使用する量子化ステップの大きさを制御することで符号化レートを制御するように構成されている。
【００１９】
本実施例においては、直交変換方式としてDCT方式を使用した場合を例にしているが、直交変換方式をDCT方式に限定したものではなく、他の直交変換方式（例えばウェーブレット変換方式やフーリエ変換方式等）を使用した場合においても同様に実施可能である。
【実施例２】
【００２０】
図３は本発明の第２の実施例における映像信号復号装置の模式図である。本実施例においては、直交変方式として第１の実施例同様にDCT方式を使用した場合を例としている。図３において、３０１は一定レートで入力される符号化データをピクチャ単位で出力するバッファ手段、３０２は符号化データを可変長復号するVLD手段、３０３は可変長復号された直交変換係数を逆量子化する逆量子化手段、３０４は逆量子化された直交変換係数をDCT方式で逆直交変換する逆DCT手段、３０５は逆直交変換された輝度信号の画像データを動き補償処理する動き補償手段、３０６は復元された輝度信号を次回の動き補償処理の為の参照画像として一時的に記憶しておくフレームメモリ手段、３０７は逆直交変換された色差信号をレベルシフトするレベル補正手段である。以上のように構成された映像信号復号装置に関して、以下その動作を説明する。
【００２１】
前記バッファ手段３０１は、入力された符号化データをバッファリングしておき、１ピクチャ分のデータがたまったところでまとめて出力する。前記VLD手段３０２は、前記バッファ手段３０１から出力された符号化データを可変長復号し直交変換係数や輝度信号の動きベクトルや量子化ステップや色差信号のレベル補正情報を復元する。前記逆量子化手段３０３は、前記VLD手段３０２によって復元された直交変換係数を同様に復元された量子化ステップで逆量子化し直交変換係数を復元する。前記逆DCT手段３０４は、前記逆量子化手段３０３によって逆量子化された直交変換係数を逆直交変換し画像データを復元する。前記動き補償手段３０５は、前記逆DCT手段３０４によって逆直交変換された輝度信号の画像データがIピクチャの画像データである場合には無処理で通過させ、PピクチャもしくはBピクチャの画像データである場合には前記フレームメモリ手段３０６に格納されている参照画像を用いて動き補償処理して輝度信号を復元し出力する。前記フレームメモリ手段３０６は、前記動き補償手段３０５によって復元された輝度信号がIピクチャもしくはPピクチャの輝度信号であった場合、この輝度信号を以後の動き補償処理に使用するための参照画像として一時的に記憶する。前記レベル補正手段３０７は、前記VLD手段３０２によって復元されたレベル補正情報を使用して、前記逆DCT手段３０４によって逆直交変換された色差信号をレベルシフトして出力するよう構成されている。
【００２２】
本実施例においては、直交変換方式としてDCT方式を使用した場合を例にしているが、直交変換方式をDCT方式に限定したものではなく、他の直交変換方式（例えばウェーブレット変換方式やフーリエ変換方式等）を使用した場合においても同様に実施可能である。
【産業上の利用可能性】
【００２３】
本発明にかかる映像信号符号化方法は、輝度信号が同じで色信号が異なるような画像に対しても、大きな色歪を発生させること無く高能率で映像信号を符号化することが可能となるという効果を有し、DVDやディジタル放送等の分野で使用される映像信号を高能率で符号化するための符号化方法として有用である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施例１による映像信号符号化装置を示すブロック図
【図２】従来例の映像信号符号化装置を示すブロック図
【図３】本発明の実施例２による映像信号復号装置を示すブロック図
【図４】従来例の映像信号復号装置を示すブロック図
【符号の説明】
【００２５】
１０１、２０１、３０５、４０５    動き補償手段
１０２、２０２    DCT手段
１０３、２０３    量子化手段
１０４、２０４、３０３、４０３    逆量子化手段
１０５、２０５、３０４、４０４    逆DCT手段
１０６、２０６    加算手段
１０７、２０７、３０６、４０６    フレームメモリ手段
１０８    レベル計算手段
１０９、３０７    レベル補正手段
１１０、２０８    VLC手段
１１１、２０９、３０１、４０１    バッファ手段
１１２、２１０    符号化制御手段
３０２、４０２    VLD手段
【図１】
2005175885.tif 000003
【図２】
2005175885.tif 000004
【図３】
2005175885.tif 000005
【図４】
2005175885.tif 000006