(57)【特許請求の範囲】
【請求項１】
画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を得るカラー動画像符号化装置において、
前記参照画像となるピクチャで、輝度信号は順次走査画像として符号化し、色差信号は前記順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第１の符号化手段と、
前記参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第２の符号化手段と
を有することを特徴とするカラー動画像符号化装置。
【請求項２】
順次走査の輝度信号と、順次走査に対して走査線が半分に間引かれた色差信号を得て、前記第１及び第２の符号化手段に被符号化画像信号として供給する画像フォーマット変更手段を有し、前記第２の符号化手段は、前記輝度信号についても順次走査に対して走査線が半分に間引かれた動画像信号として符号化することを特徴とする請求項１記載のカラー動画像符号化装置。
【請求項３】
前記順次走査画像に対して走査線が半分に間引かれた動画像信号は、飛越し走査の走査線構造の動画像信号であることを特徴とする請求項１記載のカラー動画像符号化装置。
【請求項４】
画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を復号化するカラー動画像復号化装置において、
前記参照画像となるピクチャで、輝度信号は順次走査画像として復号化し、色差信号は前記順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第１の復号化手段と、
前記参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ前記順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第２の復号化手段と
を有することを特徴とするカラー動画像復号化装置。
【請求項５】
画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を得るカラー動画像符号化方法において、
前記参照画像となるピクチャで、輝度信号は順次走査画像として符号化し、色差信号は前記順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第１のステップと、
前記参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第２のステップと
を含むことを特徴とするカラー動画像符号化方法。
【請求項６】
画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を復号化するカラー動画像復号化方法において、
前記参照画像となるピクチャで、輝度信号は順次走査画像として復号化し、色差信号は前記順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第１のステップと、
前記参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ前記順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第２のステップと
を含むことを特徴とするカラー動画像復号化方法。
【請求項７】
ピクチャ間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列の伝送方法において、
前記参照画像となるピクチャでは、輝度信号は順次走査画像として符号化し、色差信号は前記順次走査画像に対して垂直方向に半分に間引かれた走査線数の動画像符号列であり、前記参照画像にならないピクチャでは、輝度信号及び色差信号はそれぞれ前記順次走査画像に対して垂直方向に半分に間引かれた走査線数の動画像符号列である符号列を伝送することを特徴とするカラー動画像符号列伝送方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はカラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法に係り、特にピクチャ内独立、片方向予測及び双方向予測の３種類の符号化手法を用いる動画像符号化において、色差信号については垂直方向の画素数（走査線数）を削減した画像フォーマットでの符号化あるいは復号化を行うカラー動画像符号化装置、符号化方法、復号化装置、復号化方法及びカラー動画像符号列伝送方法に関する。
【０００２】
【従来の技術】
カラー動画像の符号化では、被符号化画像フォーマットとして輝度信号と色差信号を別信号とするコンポーネント信号を用いるのが一般的である。その画像フォーマットは、輝度信号と色差信号のサンプル状態から４：２：２と呼ばれる色差信号のサンプル数を輝度信号のそれに比し水平方向に半分にしたものと、４：１：１と呼ばれる色差信号のサンプル数を輝度信号のそれに比し水平方向に１／４にしたもの、４：２：０と呼ばれる色差信号のサンプル数を輝度信号のそれに比し水平方向及び垂直方向共に半分にしたものがある。
【０００３】
ＭＰＥＧ−２（Moving Picture Experts Group 2）規格では４：２：２プロファイルと呼ばれる放送機器用の方式では、４：２：２のフォーマットが、メインプロファイルと呼ばれるディジタル放送や民生機器用の方式では４：２：０フォーマットが使われる。
【０００４】
各呼称における数字は、１３.５ＭＨｚサンプルを４として、コンポーネント信号のそれぞれの信号に対するサンプリング周波数を相対的に示すもので、輝度４に対して二つの色差は２ないし１の比率である。４：２：０は、国際電気通信連合（ＩＴＵ）での正式呼称ではないが、色差信号のサンプルが垂直方向に半分になっているものの通称で、水平方向のサンプルは４：２：２と同様である。
【０００５】
動画像信号が順次（プログレッシブ）走査の場合、４：２：２に対し４：２：０ではフレーム単位で色差信号の走査線（垂直画素数）を半分にする。従って、色差信号の解像度は輝度信号に対して垂直方向及び水平方向共に１／２となる。このような信号の解像度特性は人の視覚特性から見て適正と言える。また、処理量も軽減されるので、順次走査画像の高能率符号化では４：２：０が最も適切なフォーマットと言える。色差信号のサンプル点は２種類があり、ＳＭＰＴＥ２９４Ｍ規格では輝度信号のサンプル点と同位置の飛越し走査（インターレース）で、ＭＰＥＧ−２規格では輝度信号のサンプル点の中間位置の順次走査である。
【０００６】
一方、動画像信号が飛越し走査の場合、４：２：０ではフィールド単位で色差信号の走査線（垂直画素数）を半分にせざるを得ない。従って、色差信号の垂直方向の解像度は１／４になってしまう。ＩＴＵで定められている４：２：２フォーマットの垂直時間軸でのサンプル点を図６（ａ）に、及びＭＰＥＧで定められている４：２：０フォーマットのサンプル点を図６（ｂ）に示す。図で○が輝度信号サンプル点であり、×が色差信号サンプル点である。
【０００７】
飛越し（インターレース）走査の場合、解像度的には４：２：２が望ましいが、処理量は４：２：０の方が少ない。情報量は４：２：０の方が４：２：２よりも少ないが、解像度低下とのバランスで考慮すると必ずしも良好といえない。
【０００８】
高能率符号化では動き補償及び直交変換の処理単位が方形ブロックであるので、輝度信号及び色差信号の各サンプルをブロック化する。動き補償及び適応モードの切り替え処理単位（マクロブロック）である輝度信号１６×１６画素において、直交変換の処理単位である８×８画素をブロックとするのが一般的である。この場合、４：２：２ではマクロブロック中に輝度４ブロックに対して色差２ブロックずつが組みとなる。４：２：０では、輝度４ブロックに色差１ブロックずつが組みとなる。
【０００９】
また、ＭＰＥＧ方式などの動画像符号化では、画像間予測の方法により３種類の画像タイプを持つ。Ｉピクチャと呼ばれるピクチャ内独立符号化ピクチャと、Ｐピクチャと呼ばれる片側方向予測ピクチャと、Ｂピクチャと呼ばれる双方向予測ピクチャである。このような動画像符号化において、本発明者が先に特開平１１−２７５５９１号公報及び特開平１１−４６３６５号公報にて開示した、画像間予測の参照画像となるＰ（Ｉ）ピクチャのみ順次走査とし、参照画像とならないＢピクチャは飛越し走査とすることで、飛越し走査での再生を前提とした場合に、画像間予測効率は高く、冗長となる走査線の符号化は行わない動画像符号化装置が知られている。
【００１０】
図７は上記のＰ（Ｉ）ピクチャのみ順次走査としてＢピクチャは飛越し走査とする従来の動画像符号化装置の一例のブロック図を示す。順次走査画像入力端子１より入来する動画像信号は、スイッチ３によりＰ（Ｉ）ピクチャとして符号化するものが減算器４に、Ｂピクチャとして符号化するものがフレーム遅延器１３に供給される。
【００１１】
Ｐ（Ｉ）ピクチャの画像信号は、減算器４において画像間予測器９から与えられる予測信号と減算され、予測残差となって８×８ＤＣＴ５に与えられる。８×８ＤＣＴ５は、予測残差に対してＤＣＴ（Discrete Cosine Transform）の変換処理を行い、得られた係数を量子化器６に供給する。量子化器６は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器７と逆量子化器１０に供給する。可変長符号化器７は、固定長の予測残差を可変長符号で圧縮し、できた符号を符号出力端子８より出力する。
【００１２】
一方、逆量子化器１０及び８×８ＩＤＣＴ１１では、量子化器６及び８×８ＤＣＴ５の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１２で予測信号が加算され再生画像となり、画像間予測器９に供給される。画像間予測器９はこの再生画像を参照画像として用いて画像間予測信号を形成し、減算器４と加算器１２に与える。
【００１３】
Ｂピクチャの入来動画像信号は、Ｐ（Ｉ）ピクチャが先行して符号化される間フレーム遅延器１３で遅延させられ、減算器１４に入力される。減算器１４ではフレーム遅延器１３で遅延されたＢピクチャの動画像信号と画像間予測器９から供給される予測信号との減算を行い、得られた予測残差を走査線間引き器１５に供給する。
【００１４】
走査線間引き器１５は、順次走査状態の予測残差を、飛越し走査の状態に走査線を間引き８×４ＤＣＴ１６に供給する。８×４ＤＣＴ１６は、飛越し走査の状態の予測残差に対して垂直方向に４本単位でＤＣＴを行い、得られた係数を量子化器１７に供給する。量子化器１７は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器７に供給する。
【００１５】
上記符号化における４：２：２フォーマットの垂直時間軸での輝度信号及び色差信号のサンプル点を図６（ｃ）に示す。
【００１６】
次に、図７に示した従来の動画像符号化装置に対応する従来の動画像復号化装置について説明する。図８はこの従来の動画像符号化装置の一例のブロック図を示す。同図において、符号入力端子２１より入来する符号列は、可変長復号化器２２で可変長符号が固定長の符号に戻され、Ｐ（Ｉ）ピクチャの符号は逆量子化器２３に、Ｂピクチャの符号は逆量子化器２４に供給される。逆量子化器２３は、入力されたＰ（Ｉ）ピクチャの固定長符号に対して、量子化パラメータに従って逆量子化を行い、得られた予測残差の再生ＤＣＴ係数値を８×８ＩＤＣＴ２５に供給する。
【００１７】
８×８ＩＤＣＴ２５は、予測残差の再生ＤＣＴ係数値を再生予測残差信号に変換し、加算器２６に供給する。加算器２６ではこの再生予測残差信号に、画像間予測器２７から与えられる予測信号を加算して復号画像を得る。この様にして得られたＰ（Ｉ）ピクチャの再生画像信号は、画像間予測器２７に供給される。画像間予測器２７は予測信号を形成し、加算器２６に供給する。Ｐ（Ｉ）ピクチャは順次走査画像であり、処理もすべて順次走査状態で行われ、再生画像も順次走査である。
【００１８】
一方、Ｂピクチャの符号は、逆量子化器２４、８×４ＩＤＣＴ２８で復号化されて再生予測残差信号とされて走査線補間器２９に供給される。逆量子化器２４及び８×４ＩＤＣＴ２８の動作は、逆量子化器２３及び逆ＤＣＴ２５の動作と同様であるが、ブロック内の係数は８×４個であり、パラメータ等が異なる。
【００１９】
走査線補間器２９は、飛越し走査の各フィールド単位に垂直方向に走査線の補間処理を行い、順次走査となった予測残差を加算器３０に供給する。加算器３０はこの予測残差に画像間予測器２７から入力される予測画像を加算してＢピクチャの再生画像を得る。
【００２０】
加算器３０の出力であるＢピクチャの再生画像は、スイッチ３１を介して順次走査画像出力端子３２より出力される。一方、Ｐ（Ｉ）ピクチャの再生画像は、画像間予測器２７内の画像メモリで、後から復号されたＢピクチャが出力されるまで遅延させられた後、スイッチ３１を介して順次走査画像出力端子３２より出力される。
【００２１】
【発明が解決しようとする課題】
Ｐ（Ｉ）ピクチャを順次走査で、Ｂピクチャを飛越し走査で符号化する上記の従来の動画像符号化装置では、４：２：０フォーマットのカラー動画像を符号化する場合、ＭＰＥＧ−２規格で行われているように色差信号を輝度信号と同様に扱うとＩ及びＰピクチャは順次走査なので適正な解像度となるが、Ｂピクチャにおいてはフィールド単位で間引かれるので色差信号の垂直解像度が不十分となる。
【００２２】
一方、４：２：２フォーマットのカラー動画像を符号化すると、Ｐ（Ｉ）ピクチャは４：２：０の場合より処理量が多く、順次走査なので色差信号の解像度は、輝度信号とのバランス上過剰であり、主観画質に対して必要情報量が多くなる。
【００２３】
本発明は以上の点に鑑みなされたもので、Ｐ（Ｉ）ピクチャでは輝度信号を順次走査や、色差信号を垂直方向に半分に間引かれた４：２：０フォーマットで符号化し、Ｂピクチャでは輝度信号と色差信号の両方を垂直方向に半分に間引かれた同一走査線数の画像として符号化することで、色差信号の解像度を改善し得るカラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法を提供することを目的とする。
【００２４】
【課題を解決するための手段】
上記の目的を達成するため、本発明のカラー動画像符号化装置は、画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を得るカラー動画像符号化装置において、参照画像となるピクチャで、輝度信号は順次走査画像として符号化し、色差信号は順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第１の符号化手段と、参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第２の符号化手段とを有する構成としたものである。
【００２５】
また、上記の目的を達成するため、本発明のカラー動画像復号化装置は、画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を復号化するカラー動画像復号化装置において、参照画像となるピクチャで、輝度信号は順次走査画像として復号化し、色差信号は順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第１の復号化手段と、参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第２の復号化手段とを有する構成としたものである。
【００２６】
また、上記の目的を達成するため、本発明のカラー動画像符号化方法は、参照画像となるピクチャで、輝度信号は順次走査画像として符号化し、色差信号は順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第１のステップと、参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第２のステップとを含むことを特徴とする。
【００２７】
また、上記の目的を達成するため、本発明のカラー動画像復号化方法は、参照画像となるピクチャで、輝度信号は順次走査画像として復号化し、色差信号は順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第１のステップと、参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第２のステップとを含むことを特徴とする。
【００２８】
更に、上記の目的を達成するため、本発明のカラー動画像符号列の伝送方法は、参照画像となるピクチャでは、輝度信号は順次走査画像として符号化し、色差信号は順次走査画像に対して垂直方向に半分に間引かれた走査線数の動画像符号列であり、参照画像にならないピクチャでは、輝度信号及び色差信号はそれぞれ順次走査画像に対して垂直方向に半分に間引かれた走査線数の動画像符号列である符号列を伝送することを特徴とする。
【００２９】
本発明では、画像間予測符号化処理の参照画像となるピクチャでは輝度信号を順次走査画像として符号化し、色差信号は順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化し、参照画像とならないピクチャでは輝度信号と色差信号の両方を垂直方向に半分に間引かれた同一走査線数の動画像信号として符号化するものである。これにより、参照画像となるピクチャは、順次走査で符号化され、参照画像とならないピクチャでは色差信号と輝度信号は共に半分の走査線で符号化されるが、これは飛越し走査と同様の走査線数になる。
【００３０】
具体的処理はその形態及び色差信号のサンプル点の違いから、次の２種類がある。基本を順次走査とした場合、まず順次走査画像を得て、その画像に対して４：２：０のフォーマット形成を行い、参照画像とならないピクチャであるＢピクチャでは輝度信号は飛越し走査形態での走査線間引きを行い、色差信号は順次走査のまま符号化する。これにより、参照画像となるピクチャであるＰ（Ｉ）ピクチャは４：２：０の順次走査で符号化され、Ｂピクチャでは輝度信号は飛越し走査で符号化され、色差信号は半分の走査線数の順次走査で符号化されることになる。
【００３１】
次に基本を飛越し走査とした場合、４：２：２の飛越し走査画像で、Ｐ（Ｉ）ピクチャの輝度信号のみ順次走査に変換し、他は飛越し走査画像のまま符号化する。これにより、Ｐ（Ｉ）ピクチャは４：２：０の順次走査で符号化され、Ｂピクチャでは４：２：２の飛越し走査で符号化されることになる。
【００３２】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になるカラー動画像符号化装置の第１の実施の形態のブロック図を示す。同図中、図７と同一構成部分には同一符号を付してある。また、本明細書中、「ピクチャ」とは、一つのフレームないしフィールドを指すものとする。
【００３３】
図１において、順次走査画像入力端子１より入来する４：２：２フォーマットで順次走査の動画像信号は、４：２：０変換器ですべてのピクチャの色差信号に対して垂直方向のサブサンプルが行われ、４：２：０のカラー動画像フォーマットに変換された後、スイッチ３に与えられる。ここで、４：２：０の色差信号のサンプル点は、ＭＰＥＧ−２規格の形態とする。標準方式の画素（走査線）数は、４：２：２では、輝度信号が７２０画素４８０ライン、色差信号は３６０画素４８０ラインである。４：２：０では、輝度信号が７２０画素４８０ライン、色差信号は３６０画素２４０ラインである。
【００３４】
スイッチ３は、４：２：０のカラー動画像フォーマットの画像信号のうちＰ（Ｉ）ピクチャとして符号化されるものを減算器４に、Ｂピクチャとして符号化されるものをフレーム遅延器１３に供給する。Ｐ（Ｉ）ピクチャの画像信号は、減算器４において画像間予測器９から与えられる予測信号と減算され、予測残差となって８×８ＤＣＴ５に与えられる。８×８ＤＣＴ５は、予測残差に対してＤＣＴ（Discrete Cosine Transform）の変換処理を行い、得られた係数を量子化器６に供給する。量子化器６は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器７と逆量子化器１０に供給する。可変長符号化器７は、固定長の予測残差を可変長符号で圧縮し、できた符号を符号出力端子８より出力する。
【００３５】
一方、逆量子化器１０及び８×８ＩＤＣＴ１１では、量子化器６及び８×８ＤＣＴ５の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１２で予測信号が加算され再生画像となり、画像間予測器９に供給される。画像間予測器９はこの再生画像を参照画像として用いて画像間予測信号を形成し、減算器４と加算器１２と減算器１４に供給する。Ｐ（Ｉ）ピクチャの画像信号は順次走査の４：２：０フォーマットであり、これに対する局部再生画像や画像間予測信号も同様の画像である。
【００３６】
Ｂピクチャの画像信号は、Ｐ（Ｉ）ピクチャを先行して符号化する間フレーム遅延器１３で遅延させられてから減算器１４に供給され、ここで画像間予測器９から供給される予測信号と減算されて予測残差とされた後、走査線間引き器１５と８×８ＤＣＴ１８にそれぞれ供給される。
【００３７】
８×８ＤＣＴ１８は、８×８ＤＣＴ５と同様に予測残差に対して８×８ＤＣＴの変換処理を行い、得られた係数をスイッチ１９に与える。一方、走査線間引き器１５は、順次走査状態の予測残差を、飛越し走査の状態に走査線を間引き、８×４ＤＣＴ１６に供給する。８×４ＤＣＴ１６は、飛越し走査の状態の予測残差に対して垂直方向に４本単位でＤＣＴを行い、得られた係数をスイッチ１９に与える。
【００３８】
スイッチ１９は輝度信号では間引きが行われた８×４ＤＣＴ１６の出力を、色差信号では８×８ＤＣＴ１８の出力を選択する。スイッチ１９により選択された係数は量子化器１７に供給され、ここで所定のステップ幅で量子化されることで固定長の符号とされて可変長符号化器７に供給される。
【００３９】
このような符号化を行う、本実施の形態の輝度信号及び色差信号の時間垂直方向でのサンプル点を図５（ａ）に示す。同図（ａ）中、○が輝度信号サンプル点であり、×が色差信号サンプル点である。順次走査で４：２：０信号が形成され、Ｂピクチャでは輝度信号のみが飛越し走査に間引かれる。Ｂピクチャでは輝度信号と色差信号は走査線数が同一であるが、サンプル点の位置は異なる。
【００４０】
このように、本実施の形態では、参照画像となるＰ（Ｉ）ピクチャは、順次走査の４：２：０として符号化されるので、色差が垂直水平に半分であり、視覚特性、処理量、情報量の面で最も効率的となる。一方、Ｂピクチャでは色差信号と輝度信号は共に半分の走査線であり、飛越し走査画像再生を行う上で色差信号の解像度低下が無く、視覚特性、処理量、情報量の面で最も合理的である。その結果、解像度及び量子化歪の両方の点で再生画質が良好になる。
【００４１】
次に、第１の実施の形態のカラー動画像符号化装置で符号化して得られる符号列について説明する。この符号列においては、ＩピクチャやＰピクチャなど参照画像となるピクチャは、輝度信号を順次走査画像として符号化し、色差信号を順次走査画像に対して垂直方向に半分に間引かれた走査線数の動画像として符号化した符号列であり、Ｂピクチャなど参照画像にならないピクチャは、輝度信号及び色差信号がそれぞれ順次走査に対して垂直方向に半分に間引かれた走査線数の動画像として符号化した符号列である。各ピクチャの符号列はヘッダを含めて多重化される。
【００４２】
次に、図１に示した第１の実施の形態のカラー動画像符号化装置に対応する第１の実施の形態のカラー動画像復号化装置について説明する。図２は本発明になるカラー動画像復号化装置の第１の実施の形態のブロック図を示す。同図中、図８と同一構成部分には同一符号を付してある。図２において、符号入力端子２１より入来する符号列は、可変長復号化器２２で可変長符号が固定長の符号に戻され、Ｐ（Ｉ）ピクチャの符号は逆量子化器２３に、Ｂピクチャの符号は逆量子化器２４に供給される。逆量子化器２３は、入力されたＰ（Ｉ）ピクチャの固定長符号に対して、量子化パラメータに従って逆量子化を行い、得られた予測残差の再生ＤＣＴ係数値を８×８ＩＤＣＴ２５に供給する。
【００４３】
８×８ＩＤＣＴ２５は、予測残差の再生ＤＣＴ係数値を再生予測残差信号に変換し、加算器２６に供給する。加算器２６ではこの再生予測残差信号に、画像間予測器２７から与えられる予測信号を加算して復号画像を得る。この様にして得られたＰ（Ｉ）ピクチャの再生画像信号は、画像間予測器２７に供給される。画像間予測器２７は予測信号を形成し、加算器２６に供給する。Ｐ（Ｉ）ピクチャは順次走査画像であり、処理もすべて順次走査状態で行われ、再生画像も順次走査である。
【００４４】
一方、Ｂピクチャの符号は、逆量子化器２４で逆量子化されて再生係数となり、８×４ＩＤＣＴ２８及び８×８ＩＤＣＴ３４にそれぞれ供給される。８×４ＩＤＣＴ２８は、８×４個の再生係数を変換して再生予測残差信号として走査線補間器２９に供給する。走査線補間器２９は、飛越し走査の各フィールド単位に垂直方向に走査線の補間処理を行い、順次走査となった予測残差信号をスイッチ３５に供給する。また、８×８ＩＤＣＴ３４は、８×８ＩＤＣＴ２５と同様な処理を行い、得られた再生予測残差信号をスイッチ３５に供給する。
【００４５】
スイッチ３５は、輝度信号では走査線補間器２９の出力を、色差信号では８×８ＩＤＣＴ３４の出力を選択して加算器３６に与える。加算器３６はスイッチ３５により選択された予測残差信号に、画像間予測器２７から供給される予測画像を加算して再生画像を得る。
【００４６】
加算器３６の出力であるＢピクチャの再生画像はスイッチ３１を介して４：２：２変換器３７に供給される。Ｐ（Ｉ）ピクチャの再生画像は、画像間予測器２７内の画像メモリで、後から復号されたＢピクチャが出力されるまで遅延させられ、スイッチ３１を介して４：２：２変換器３７に供給される。４：２：２変換器３７は４：２：０信号の色差信号を垂直方向に走査線補間し、４：２：２のフォーマットに戻して、得られた４：２：２画像を順次走査画像出力端子３８より出力する。
【００４７】
次に、本発明のカラー動画像符号化装置の第２の実施の形態について説明する。図３は本発明になるカラー動画像符号化装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。本実施の形態が図１の第１の実施の形態と異なるのは、被符号化信号の形成方法で、色差信号のサンプル位置が異なる。
【００４８】
図３において、飛越し走査画像入力端子４１より入来する４：２：２フォーマットで飛越し走査の動画像信号は、フレームスイッチ４２により、Ｐ（Ｉ）ピクチャとして符号化するものが順次走査変換器４３とＹ／Ｃスイッチ４４に供給され、Ｂピクチャとして符号化するものがフレーム遅延器１３に供給される。順次走査変換器４３は、周辺画素から飛越し走査で欠落していた走査線を補間し、順次走査の動画像を形成する。Ｙ／Ｃスイッチ４４は、輝度信号は順次走査構造となった順次走査変換器４３の出力を選択し、色差信号ではフレームスイッチ４２の画像信号を選択し、減算器４に供給する。従って、Ｙ／Ｃスイッチ４４の出力動画像信号は、輝度信号が順次走査で色差信号が飛越し走査となっており、４：２：０タイプのカラー動画像フォーマットとなっている。
【００４９】
Ｙ／Ｃスイッチ４４から取り出された、４：２：０タイプのカラー動画像フォーマットでＰ（Ｉ）ピクチャの画像信号は、減算器４、８×８ＤＣＴ５及び量子化器６よりなる回路部で固定長の符号とされた後、可変長符号化器７と逆量子化器１０に供給される。これらの処理は図１の第１の実施の形態と同じである。可変長符号化器７は、固定長の予測残差を可変長符号で圧縮し、できた符号は符号出力端子８より出力される。
【００５０】
一方、量子化器６の出力信号は、逆量子化器１０、８×８ＩＤＣＴ１１及び加算器１２よりなる回路部で局部再生画像とされた後、画像間予測器４５に供給される。画像間予測器４５はこの再生画像を参照画像として用いて画像間予測信号を形成し、減算器４と加算器１２に供給する。画像間予測器４５は第１の実施の形態の画像間予測器９と類似するが、色差信号は飛越し走査なので、色差信号の予測信号形成方法が異なる。
【００５１】
Ｂピクチャでは入来動画像信号は、輝度信号も色信号も飛越し走査のまま符号化されるべく、まず、Ｐ（Ｉ）ピクチャを先行して符号化する間フレーム遅延器１３で遅延させられてから減算器１４に供給される。減算器１４は、画像間予測器４５からの順次走査の予測信号に対して走査線間引き器１８で走査線を間引いて得られた飛越し走査の予測信号と、フレーム遅延器１３からの動画像信号との減算を行い、予測残差信号を得る。この予測残差信号は、８×８ＤＣＴ１８及び量子化器１７により固定長の符号とされて可変長符号化器７に供給される。
【００５２】
このような符号化を行う、本実施の形態の輝度信号及び色差信号の時間垂直方向でのサンプル点を図５（ｂ）に示す。飛越し走査の４：２：２信号が、Ｐ（Ｉ）ピクチャで輝度信号のみ順次走査となる。図５（ｂ）に示すように、同図（ａ）に示す第１の実施の形態とは走査線数が同一であるが、色差信号のサンプル点の位置が異なる。色差信号は飛越し走査の輝度信号ないし、ＳＭＰＴＥ２９４Ｍ規格の４：２：０順次走査信号における色差信号と同様な位置となる。
【００５３】
本実施の形態も第１の実施の形態と同様に、参照画像となるＰ（Ｉ）ピクチャは、順次走査の４：２：０として符号化されるので、色差が垂直水平に半分であり、視覚特性、処理量、情報量の面で最も効率的となる。一方、Ｂピクチャでは色差信号と輝度信号は共に半分の走査線であり、飛越し走査画像再生を行う上で色差信号の解像度低下が無く、視覚特性、処理量、情報量の面で最も合理的である。その結果、解像度及び量子化歪の両方の点で再生画質が良好になる。
【００５４】
次に、本発明のカラー動画像符号化装置の第２の実施の形態に対応する本発明のカラー動画像復号化装置の第２の実施の形態について説明する。図４は本発明になるカラー動画像復号化装置の第２の実施の形態のブロック図を示す。同図中、図２と同一構成部分には同一符号を付してある。
【００５５】
図４において、符号入力端子２１より入来する符号列は、可変長復号化器２２で可変長符号が固定長の符号に戻され、Ｐ（Ｉ）ピクチャの符号は、逆量子化器２３、８×８ＩＤＣＴ２５及び加算器２６よりなる回路部で再生画像信号とされて画像間予測器２７に供給される。画像間予測器２７は予測信号を形成し、加算器２６に供給する。Ｐ（Ｉ）ピクチャは輝度信号が順次走査画像で、色差信号は飛越し走査画像である。
【００５６】
Ｐ（Ｉ）ピクチャの再生画像は、画像間予測器２７内の画像メモリで、後から復号されたＢピクチャが出力されるまで遅延させられた後、走査線間引き器５２に供給され、ここで走査線が間引かれ飛越し走査画像とされる。Ｙ／Ｃスイッチ５３は、輝度信号では走査線間引き器５２から取り出されるＰ（Ｉ）ピクチャの再生画像を選択し、色差信号では画像間予測器２７から取り出されるＰ（Ｉ）ピクチャの再生画像を選択する。従って、Ｙ／Ｃスイッチ５３からは、輝度信号及び色差信号共に飛越し走査画像であるＰ（Ｉ）ピクチャの再生画像が取り出される。
【００５７】
一方、可変長復号化器２２から取り出されたＢピクチャの符号は、逆量子化器２４及び８×８ＩＤＣＴ３４からなる回路部で再生予測残差信号とされた後、加算器３６に供給される。加算器３６は画像間予測器２７からの予測信号が加算されるが、輝度信号では予測信号は順次走査なので、走査線間引き器５１で飛越し走査にされた予測信号を、８×８ＩＤＣＴ３４からの再生予測残差信号と加算する。これにより、加算器３６からＢピクチャの再生画像が出力されてフレームスイッチ５４に供給される。フレームスイッチ５４は、Ｙ／Ｃスイッチ５３からのＰ（Ｉ）ピクチャの再生画像と、加算器３６からのＢピクチャの再生画像を選択し、４：２：２フォーマットの再生動画像として飛越し走査画像出力端子５５より出力する。
【００５８】
【発明の効果】
以上説明したように、本発明によれば、画像間予測符号化処理の参照画像となるピクチャでは輝度信号を順次走査で、色差信号を垂直方向に半分に間引かれたフォーマットで符号化し、参照画像とならないピクチャでは輝度信号と色差信号の両方を垂直方向に半分に間引かれた同一走査線数の画像として符号化することにより、参照画像となるピクチャでは、色差信号のサンプル点が輝度信号のサンプル点に比し垂直方向及び水平方向共に半分であり、色差が輝度に比べて過剰にならず、視覚特性、処理量、情報量の面で最も効率的となる。この画像を参照画像として画像間予測を行うことができる。
【００５９】
一方、本発明では、画像間予測符号化処理の参照画像とならないピクチャでは、輝度信号も色差信号と共に半分の走査線としているため、飛越し走査画像再生を行う上で色差信号の解像度低下が無く、視覚特性、処理量、情報量の面で最も合理的である。その結果、解像度及び量子化歪の両方の点で再生画質が良好になる。以上により、本発明によれば、同一主観画質で符号化ビットレートをより低減することが可能になる。
【図面の簡単な説明】
【図１】  本発明のカラー動画像符号化装置の第１の実施の形態のブロック図である。
【図２】  本発明のカラー動画像復号化装置の第１の実施の形態のブロック図である。
【図３】  本発明のカラー動画像符号化装置の第２の実施の形態のブロック図である。
【図４】  本発明のカラー動画像復号化装置の第２の実施の形態のブロック図である。
【図５】  本発明の各実施の形態の走査線構成を示す図である。
【図６】  従来例の走査線構成を示す図である。
【図７】  従来の動画像符号化装置の一例のブロック図である。
【図８】  従来の動画像復号化装置の一例のブロック図である。
【符号の説明】
１  順次走査画像入力端子
２  ４：２：０変換器
３、３１、４２、５４  フレームスイッチ
４、１４  減算器
５、１８  ８×８ＤＣＴ
６、１７  量子化器
７  可変長符号化器
８  符号列出力端子
９、２７、４５  画像間予測器
１０、２３、２４  逆量子化器
１１、２５、３４  ８×８ＩＤＣＴ
１２、２６、３６  加算器
１３  フレーム遅延器
１５、４６、５１、５２  走査線間引き器
１６  ８×４ＤＣＴ
１９、３５、４４、５３  Ｙ／Ｃスイッチ
２１  符号列入力端子
２２  可変長復号化器
２８  ８×４ＩＤＣＴ
２９  走査線補間器
３７  ４：２：２変換器
３８  順次走査画像出力端子
４１  飛越し走査画像入力端子
４３  順次走査変換器
５５  飛越し走査画像出力端子
【図１】
0003797208.tif 000002
【図２】
0003797208.tif 000003
【図３】
0003797208.tif 000004
【図４】
0003797208.tif 000005
【図５】
0003797208.tif 000006
【図６】
0003797208.tif 000007
【図７】
0003797208.tif 000008
【図８】
0003797208.tif 000009