(57)【要約】【課題】所定の色空間における複数のコンポーネント信号を圧縮する符号化装置及び復号装置を提供する。【解決手段】本発明の符号化装置（１０）は、所定の色空間における複数のコンポーネント信号のうちの第１のコンポーネント信号に対して符号化処理を施して該コンポーネント信号の符号化信号を生成する符号化手段（１０１）と、前期符号化信号を復号して得られる当該コンポーネント信号から前記複数のコンポーネント信号のうちの第２のコンポーネント信号を推定する推定パラメータを、予め定めた推定モデルに従って生成するコンポーネント信号推定手段（１０２）とを備え、前記符号化信号及び前記推定パラメータによって前記所定の色空間における複数のコンポーネント信号を圧縮する。【選択図】図２
2011193363.tif 000002
【特許請求の範囲】
【請求項１】
所定の色空間における複数のコンポーネント信号を圧縮する符号化装置であって、
前記所定の色空間における複数のコンポーネント信号のうちの第１のコンポーネント信号に対して符号化処理を施して該コンポーネント信号の符号化信号を生成する符号化手段と、
前記符号化信号を復号して得られる当該コンポーネント信号から前記複数のコンポーネント信号のうちの第２のコンポーネント信号を推定する推定パラメータを、予め定めた推定モデルに従って生成するコンポーネント信号推定手段とを備え、
前記符号化信号及び前記推定パラメータによって前記所定の色空間における複数のコンポーネント信号を圧縮することを特徴とする、符号化装置。
【請求項２】
前記コンポーネント信号推定手段は、
前記推定パラメータによる推定値が前記第２のコンポーネント信号に対して誤差を有する場合、前記誤差の量を推定誤差情報として生成する手段を有し、
前記符号化信号、前記推定パラメータ及び前記推定誤差情報によって前記所定の色空間における複数のコンポーネント信号を圧縮することを特徴とする、請求項１に記載の符号化装置。
【請求項３】
前記コンポーネント信号推定手段は、
前記符号化信号を復号して得られる当該コンポーネント信号の残差信号から前記複数のコンポーネント信号のうちの第２のコンポーネント信号の残差信号を推定する推定パラメータを、予め定めた推定モデルに従って生成することを特徴とする、請求項１又は２に記載の符号化装置。
【請求項４】
前記複数のコンポーネント信号のうちの第２のコンポーネント信号に対して符号化処理を施して該第２のコンポーネント信号の符号化信号を生成する第２符号化手段と、
前記コンポーネント信号推定手段によって生成された推定パラメータを含む推定情報と、前記第２のコンポーネント信号の符号化信号のうちのいずれか一方を選択して、前記第２のコンポーネント信号を圧縮する信号選択手段と、
を更に備えることを特徴とする、請求項１〜３のいずれか一項に記載の符号化装置。
【請求項５】
前記複数のコンポーネント信号のうちの第２のコンポーネント信号に対して符号化処理を施して該第２のコンポーネント信号の符号化信号を生成する第２符号化手段を備え、
前記第２符号化手段は、
前記第２のコンポーネント信号に対して時間又は空間方向の第１予測信号を生成し、該第１予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化する手段と、
前記コンポーネント信号推定手段によって生成された色信号間相関に基づく推定パラメータによって推定される第２予測信号を生成し、該第２予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化する手段とを有し、
当該第２のコンポーネント信号の予測信号として前記第１予測信号と前記第２予測信号のいずれか一方を選択する手段と、
を備えることを特徴とする、請求項１〜３のいずれか一項に記載の符号化装置。
【請求項６】
所定の色空間における複数のコンポーネント信号について圧縮した信号を復号する復号装置であって、
前記所定の色空間における複数のコンポーネント信号のうちの第１のコンポーネント信号の符号化信号に対して復号処理を施して該コンポーネント信号の復号信号を生成する復号手段と、
予め定めた推定モデルに従って生成された推定パラメータを用いて、前記復号手段を経て得られる当該コンポーネント信号から前記複数のコンポーネント信号のうちの第２のコンポーネント信号を推定するコンポーネント信号推定手段とを備え、
前記復号信号及び前記推定パラメータによって前記所定の色空間における複数のコンポーネント信号を復元することを特徴とする、復号装置。
【請求項７】
前記コンポーネント信号推定手段は、
前記第２のコンポーネント信号の残差信号を推定することを特徴とする、請求項６に記載の復号装置。
【請求項８】
前記コンポーネント信号推定手段は、
前記推定パラメータによる推定値が前記第２のコンポーネント信号に対して誤差を有する場合に生成された前記誤差の量を表す推定誤差情報、前記復号信号、及び前記推定パラメータによって前記所定の色空間における複数のコンポーネント信号を復元することを特徴とする、請求項６又は７に記載の復号装置。
【請求項９】
前記複数のコンポーネント信号のうちの第２のコンポーネント信号の符号化信号を復号するにあたり、前記推定パラメータを含む推定情報と、前記第２のコンポーネント信号の符号化信号のうちのいずれか一方を選択する信号選択手段と、
前記信号選択手段によって推定パラメータを含む推定情報が選択された場合には、該推定情報を用いて、前記復号手段を経て得られる当該コンポーネント信号から前記複数のコンポーネント信号のうちの第２のコンポーネント信号を推定して復元し、
前記信号選択手段によって前記第２のコンポーネント信号の符号化信号が選択された場合には、該符号化信号に対して復号処理を施して前記第２のコンポーネント信号の復号信号を生成する復号手段と、
を更に備えることを特徴とする、請求項６〜８のいずれか一項に記載の復号装置。
【請求項１０】
前記複数のコンポーネント信号のうちの第２のコンポーネント信号の符号化信号に対して復号処理を施して該第２のコンポーネント信号の復号信号を生成する第２復号手段を備え、
前記第２復号手段は、
前記第２のコンポーネント信号に対して時間又は空間方向の第１予測信号と前記第２のコンポーネント信号との差分を表す残差信号を復号する手段と、
前記推定パラメータを用いて推定される第２予測信号と前記第２のコンポーネント信号との差分を表す残差信号を復号する手段と、
前記第１予測信号と前記第２予測信号のいずれか一方を選択して得られる前記第２のコンポーネント信号の予測信号と、対応する前記残差信号とを加算し、当該第２のコンポーネント信号の復元する手段と、
を備えることを特徴とする、請求項６〜９のいずれか一項に記載の復号装置。
【請求項１１】
所定の色空間における複数のコンポーネント信号を圧縮する符号化装置として構成するコンピュータに、
前記所定の色空間における複数のコンポーネント信号のうちの第１のコンポーネント信号に対して符号化処理を施して該コンポーネント信号の符号化信号を生成するステップと、
前記符号化信号を復号して得られる当該コンポーネント信号から前記複数のコンポーネント信号のうちの第２のコンポーネント信号を推定する推定パラメータを、予め定めた推定モデルに従って生成するステップと、
を実行して、前記符号化信号及び前記推定パラメータによって前記所定の色空間における複数のコンポーネント信号を圧縮するためのプログラム。
【請求項１２】
所定の色空間における複数のコンポーネント信号について圧縮した信号を復号する復号装置として構成するコンピュータに、
前記所定の色空間における複数のコンポーネント信号のうちの第１のコンポーネント信号の符号化信号に対して復号処理を施して該コンポーネント信号の復号信号を生成するステップと、
予め定めた推定モデルに従って生成された推定パラメータを用いて、前記復号手段を経て得られる当該コンポーネント信号から前記複数のコンポーネント信号のうちの第２のコンポーネント信号を推定するステップと、
を実行して、前記復号信号及び前記推定パラメータによって前記所定の色空間における複数のコンポーネント信号を復元するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の圧縮符号化に関し、特に、複数のコンポーネント信号からなる色信号間の相関を利用し、圧縮する符号化装置、及びその復号装置、並びにこれらのプログラムに関する。
【背景技術】
【０００２】
現在用いられている画像の圧縮符号化方式（ＭＰＥＧ−２，ＡＶＣ／Ｈ．２６４，ＪＰＥＧ等）では、画像が有する時間或いは空間方向の相関性を利用し、これを除去することで全体の情報量を削減する方式となっている。
【０００３】
例えば、図１６に示すように、従来からの符号化装置１０００は、ＭＰＥＧ等で代表されるＹ信号用及びＣ信号用にそれぞれ符号化を行う圧縮符号化部１０１０−１，１０１０−２を備える。また、圧縮符号化部１０１０−１，１０１０−２は、それぞれ同様に構成される。
【０００４】
圧縮符号化部１０１０−１は、減算部１０２０と、符号化部１０２１と、局部復号部１０２２と、加算部１０２３と、画像メモリ１０２４と、画面内予測／画面間予測部１０２５とを備える。
【０００５】
減算部１０２０は、入力される第１コンポーネント信号（例えば、Ｙ信号）と、画面内予測／画面間予測部１０２５から得られる第１コンポーネント信号（例えば、Ｙ信号）の予測信号とを差分した残差信号（Ｙ予測残差信号）を生成し、符号化部１０２１に送出する。
【０００６】
符号化部１０２１は、減算部１０２０から得られる残差信号（Ｙ予測残差信号）を所定の符号化手順に従って符号化し、符号化信号（Ｙ予測残差信号のビットストリーム）を生成して局部復号部１０２２及び外部に送出する。符号化部１０２１は、例えば、ＭＰＥＧ等と同様に、直交変換処理及び量子化処理として構成することができ、更に可変長符号化を施すように構成することができる。
【０００７】
局部復号部１０２２は、符号化部１０２１から得られる符号化信号を復号してＹ予測残差信号の復号信号を生成して加算部１０２３に送出する。符号化部１０２１が、ＭＰＥＧ等と同様に直交変換処理及び量子化処理として構成される場合、局部復号部１０２２は、その逆変換（逆直交変換処理及び逆量子化処理）を施す。
【０００８】
加算部１０２３は、画面内予測／画面間予測部１０２５から得られる第１コンポーネント信号（例えば、Ｙ信号）の予測信号と、局部復号部１０２２から得られる復号信号とを加算して第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を生成し、画像メモリ１０２４に格納する。
【０００９】
画面内予測／画面間予測部１０２５は、従来のＭＰＥＧ等と同様に、画像メモリ１０２４から参照信号を読み出して画面内予測又は画面間予測処理を施し、今回符号化する際の第１コンポーネント信号（例えば、Ｙ信号）の予測信号を生成し、減算部１０２０に送出するとともに、画面内予測又は画面間予測処理に用いた各パラメータ（画面内予測パラメータ又は動きベクトル）を外部に送出する。
【００１０】
このように、カラー画像においては、複数（通常３色）のコンポーネント信号間に相関を有するため、ＭＰＥＧ等では、カメラで撮像されたＲＧＢからＹＣｂＣｒのような輝度信号（例えば、Ｙ信号）及び色差信号（例えば、Ｃ信号）に変換した上で符号化することで、コンポーネント信号間の相関をある程度除去して符号化を行っている。
【００１１】
また、画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている（例えば、非特許文献１参照）。このようなイメージセンサにおける画像信号の補間技術は、ＲＧＢ色空間におけるＲＧＢ信号（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号）の補間を目的としているため、符号化による信号劣化について想定されていない。
【００１２】
また、ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術として、フォーマットカラー画像の色差成分補間技術が報告されている（例えば、非特許文献２参照）。この技術では、輝度（Ｙ）信号のサンプリング周波数の高さを利用して色差信号（Ｕ信号＝Ｂ−Ｙ，Ｖ信号＝Ｒ−Ｙ）の補間信号を生成することによって高精度な補間を行う。このようなＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術も、ＹＵＶ信号の補間を目的としているため、符号化による信号劣化について想定されていない。
【００１３】
これらの信号補間技術は、非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適しているが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処理によってＹＵＶ信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない。
【００１４】
また、符号化の劣化を低減するために、さまざまなポストフィルタ（例えば、Ｈ．２６４等におけるデブロッキングフィルタ）があるが、これらのポストフィルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するものであり、元の画像信号に対する符号化後の劣化を低減させることはできない。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】久野、杉浦、「単板原色イメージセンサにおける画素補間方式の高精度化」、映像情報メディア学会誌、Ｖｏｌ．６１、Ｎｏ．７、２００７年７月１日、ｐｐ．１００６〜１０１６
【非特許文献２】杉田、田口、「ＹＵＶ４：２：０フォーマットカラー画像の色差成分補間法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８８−Ａ、Ｎｏ．６、２００５年６月１日、ｐｐ．７５１〜７６０
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、カメラで撮像されたＲＧＢからＹＣｂＣｒのような輝度信号及び色差信号に変換した信号でも局所的には相関が残っており、更なる圧縮が可能である。
【００１７】
また、量子化による直交変換係数の劣化は、逆量子化及び逆直交変換により画素の劣化としてブロック歪やモスキートノイズなどの劣化となって知覚される。特に、画素ブロックごとの劣化の程度が異なるため、隣接する符号化ブロックの境界において、その差が顕著な妨害となってブロック歪が検知されることがある。このような場合に、動画像のコンポーネント信号間の相関を利用することで更にブロック歪みを改善する余地がある。
【００１８】
本発明の目的は、上述の問題を鑑みて為されたものであり、ブロック歪みを改善しつつ更に圧縮する符号化装置、及びその復号装置、並びにこれらのプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
そこで、発明者らは、コンポーネント信号間の相関を利用して互いに補間又は修正するのではなく、第１のコンポーネント信号で第２のコンポーネント信号を表現する推定パラメータを生成し、当該第１のコンポーネント信号と、この推定パラメータとを用いて画像を圧縮することに着目した。
【００２０】
上記課題を解決するために、本発明の符号化装置は、所定の色空間における複数のコンポーネント信号を圧縮する符号化装置であって、前記所定の色空間における複数のコンポーネント信号のうちの第１のコンポーネント信号に対して符号化処理を施して該コンポーネント信号の符号化信号を生成する符号化手段と、前記符号化信号を復号して得られる当該コンポーネント信号から前記複数のコンポーネント信号のうちの第２のコンポーネント信号を推定する推定パラメータを、予め定めた推定モデルに従って生成するコンポーネント信号推定手段とを備え、前記符号化信号及び前記推定パラメータによって前記所定の色空間における複数のコンポーネント信号を圧縮することを特徴とする。
【００２１】
本発明の符号化装置において、前記コンポーネント信号推定手段は、前記推定パラメータによる推定値が前記第２のコンポーネント信号に対して誤差を有する場合、前記誤差の量を推定誤差情報として生成する手段を有し、前記符号化信号、前記推定パラメータ及び前記推定誤差情報によって前記所定の色空間における複数のコンポーネント信号を圧縮することを特徴とする。
【００２２】
本発明の符号化装置において、前記コンポーネント信号推定手段は、前記符号化信号を復号して得られる当該コンポーネント信号の残差信号から前記複数のコンポーネント信号のうちの第２のコンポーネント信号の残差信号を推定する推定パラメータを、予め定めた推定モデルに従って生成することを特徴とする。
【００２３】
本発明の符号化装置において、前記複数のコンポーネント信号のうちの第２のコンポーネント信号に対して符号化処理を施して該第２のコンポーネント信号の符号化信号を生成する第２符号化手段と、前記コンポーネント信号推定手段によって生成された推定パラメータを含む推定情報と、前記第２のコンポーネント信号の符号化信号のうちのいずれか一方を選択して、前記第２のコンポーネント信号を圧縮する信号選択手段と、を更に備えることを特徴とする。
【００２４】
本発明の符号化装置において、前記複数のコンポーネント信号のうちの第２のコンポーネント信号に対して符号化処理を施して該第２のコンポーネント信号の符号化信号を生成する第２符号化手段を備え、前記第２符号化手段は、前記第２のコンポーネント信号に対して時間又は空間方向の第１予測信号を生成し、該第１予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化する手段と、前記コンポーネント信号推定手段によって生成された色信号間相関に基づく推定パラメータによって推定される第２予測信号を生成し、該第２予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化する手段とを有し、当該第２のコンポーネント信号の予測信号として前記第１予測信号と前記第２予測信号のいずれか一方を選択する手段と、を備えることを特徴とする。
【００２５】
本発明の復号装置は、所定の色空間における複数のコンポーネント信号について圧縮した信号を復号する復号装置であって、前記所定の色空間における複数のコンポーネント信号のうちの第１のコンポーネント信号の符号化信号に対して復号処理を施して該コンポーネント信号の復号信号を生成する復号手段と、予め定めた推定モデルに従って生成された推定パラメータを用いて、前記復号手段を経て得られる当該コンポーネント信号から前記複数のコンポーネント信号のうちの第２のコンポーネント信号を推定するコンポーネント信号推定手段とを備え、前記復号信号及び前記推定パラメータによって前記所定の色空間における複数のコンポーネント信号を復元することを特徴とする。
【００２６】
本発明の復号装置において、前記コンポーネント信号推定手段は、前記第２のコンポーネント信号の残差信号を推定することを特徴とする。
【００２７】
本発明の復号装置において、前記コンポーネント信号推定手段は、前記推定パラメータによる推定値が前記第２のコンポーネント信号に対して誤差を有する場合に生成された前記誤差の量を表す推定誤差情報、前記復号信号、及び前記推定パラメータによって前記所定の色空間における複数のコンポーネント信号を復元することを特徴とする。
【００２８】
本発明の復号装置において、前記複数のコンポーネント信号のうちの第２のコンポーネント信号の符号化信号を復号するにあたり、前記推定パラメータを含む推定情報と、前記第２のコンポーネント信号の符号化信号のうちのいずれか一方を選択する信号選択手段と、前記信号選択手段によって推定パラメータを含む推定情報が選択された場合には、該推定情報を用いて、前記復号手段を経て得られる当該コンポーネント信号から前記複数のコンポーネント信号のうちの第２のコンポーネント信号を推定して復元し、前記信号選択手段によって前記第２のコンポーネント信号の符号化信号が選択された場合には、該符号化信号に対して復号処理を施して前記第２のコンポーネント信号の復号信号を生成する復号手段と、を更に備えることを特徴とする。
【００２９】
本発明の復号装置において、前記複数のコンポーネント信号のうちの第２のコンポーネント信号の符号化信号に対して復号処理を施して該第２のコンポーネント信号の復号信号を生成する第２復号手段を備え、前記第２復号手段は、前記第２のコンポーネント信号に対して時間又は空間方向の第１予測信号と前記第２のコンポーネント信号との差分を表す残差信号を復号する手段と、前記推定パラメータを用いて推定される第２予測信号と前記第２のコンポーネント信号との差分を表す残差信号を復号する手段と、前記第１予測信号と前記第２予測信号のいずれか一方を選択して得られる前記第２のコンポーネント信号の予測信号と、対応する前記残差信号とを加算し、当該第２のコンポーネント信号の復元する手段と、を備えることを特徴とする。
【００３０】
また、本発明は、符号化装置及び復号装置の各々をコンピュータとして構成することができ、プログラムを実行することで、符号化装置及び復号装置の各構成要素を実現することができる。
【発明の効果】
【００３１】
本発明によれば、従来の画像符号化では十分に利用されていなかったコンポーネント信号間の相関を活用し、第１のコンポーネント信号で第２のコンポーネント信号を表現して符号化するため、更なる画像圧縮を図ることができる。
【図面の簡単な説明】
【００３２】
【図１】本発明に係る符号化装置におけるコンポーネント信号推定処理装置のブロック図を示す図である。
【図２】本発明による実施例１の符号化装置を示すブロック図である。
【図３】本発明による実施例１の復号装置のブロック図である。
【図４】本発明による実施例２の符号化装置を示すブロック図である。
【図５】本発明による実施例２の復号装置のブロック図である。
【図６】本発明による実施例３の符号化装置を示すブロック図である。
【図７】本発明による実施例３の復号装置のブロック図である。
【図８】本発明による実施例４の符号化装置を示すブロック図である。
【図９】本発明による実施例４の復号装置のブロック図である。
【図１０】本発明による実施例５の符号化装置を示すブロック図である。
【図１１】本発明による実施例５の符号化装置における画面内予測／画面間予測／色信号間予測部の一例を示す図である。
【図１２】本発明による実施例５の復号装置のブロック図である。
【図１３】本発明による実施例６の符号化装置を示すブロック図である。
【図１４】本発明による実施例６の符号化装置における画面内予測／画面間予測／色信号間予測部の一例を示す図である。
【図１５】本発明による実施例６の復号装置のブロック図である。
【図１６】従来からの符号化装置のブロック図である。
【発明を実施するための形態】
【００３３】
本発明による符号化装置及び復号装置では、コンポーネント信号間の相関を活用し、第１のコンポーネント信号で第２のコンポーネント信号を表現して符号化することにより、更なる画像圧縮を図る。入力する元の色空間は、カメラ出力などのＲＧＢや、伝送や表示等に利用するＹＣａＣｂ，ＹＵＶ, Ｌｕｖ，Ｌａｂ，ＸＹＺなどで表現された信号など、いずれの色空間のものでもよい。尚、ＹＣａＣｂ，ＹＵＶ，Ｌｕｖなどでは、コンポーネント信号間のサンプル数が多いＹ又はＬのコンポーネント信号（輝度信号）を基準にして第２のコンポーネント信号を推定パラメータで表現するのが好適である。また、元の色空間は、３種類のコンポーネント信号で構成されるもの以外に、４種類以上のコンポーネント信号（例えば、ＲＧＢＹＭＣ等）を扱うマルチスペクトルの色空間の場合にも同様に適用することができる。従って、例えば４種類のコンポーネント信号に対して、第１のコンポーネント信号で第２のコンポーネント信号を表現することは、第１のコンポーネント信号で、第２のコンポーネント信号以外の、第３及び第４のコンポーネント信号に対して処理を行うことも包含するものとする。
【００３４】
例えば、Ｙ又はＬのコンポーネント信号（輝度信号）を基準にして第２のコンポーネント信号を推定パラメータで表現するにあたり、元のコンポーネント信号が４：２：２や４：２：０のフォーマット形式の場合、１フレームあたりのコンポーネント信号間のサンプル数が異なるため、推定パラメータを生成する際には、予めサンプル数を揃えておくようにする。サンプル数の変換は、サンプル数の多い方のコンポーネント信号の信号要素を平均処理して、サンプル数の少ない方のコンポーネント信号の信号要素と同数にすることができるが、この場合、元の信号の解像度を再現できなくなるため、サンプル数の少ない方のコンポーネント信号の信号要素を補間して、サンプル数の多い方のコンポーネント信号と同数にするのが好適である。
【００３５】
より具体的には、本発明による符号化装置は、複数の色信号のうち、例えばＹＣｂＣｒの色空間の場合には、輝度信号（Ｙ信号）をＭＰＥＧ等の通常の符号化を行う。一方で、色差信号（Ｃｂ信号及びＣｒ信号を、総括して、「Ｃ信号」と称する）については、輝度信号（Ｙ信号）の局部復号（ローカルデコード）信号又は残差信号を基にした所定の推定モデルに従う推定パラメータを決定して色差信号を推定する。例えば、所定の推定モデルが一次関数とする場合、Ｃｂ＝ａ＊Ｙ＋ｂ又はＣｒ＝ａ＊Ｙ＋ｂに従う推定パラメータａ，ｂを決定して、輝度信号（Ｙ信号）の局部復号信号の信号要素から推定パラメータａ，ｂによって色差信号の信号要素（ブロック内の画素値）を推定する。尚、この推定モデルは、一次関数に限ったものではない。
【００３６】
尚、第１のコンポーネント信号（例えば、Ｙ信号）から第２のコンポーネント信号（例えば、Ｃ信号）を推定する際に、所定の推定モデルに従う推定パラメータによって推定したコンポーネント信号の信号要素と、推定対象のコンポーネント信号の信号要素との間で推定誤差が生じる場合に、この誤差も推定誤差情報として符号化するのが好適である。これにより、単にＣ信号を符号化するよりも、推定パラメータａ，ｂ及び推定誤差情報として符号化することで更なる圧縮を行うことができる。
【００３７】
図１に本発明に係る符号化装置におけるコンポーネント信号推定処理装置のブロック図を示す。コンポーネント信号推定処理装置１は、第１コンポーネント信号（例えば、Ｙ信号）を入力して、第２のコンポーネント信号（例えば、Ｃ信号）である第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）を推定するにあたり、タイミング調整を図るためのコンポーネント信号格納部１１と、コンポーネント信号格納部１１から読み出される第１コンポーネント信号（例えば、Ｙ信号）の信号要素と、別途入力される第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）の信号要素（対応画素位置の信号要素）とを比較して、上記所定の推定モデル（例えば、一次関数）に基づいて第１コンポーネント信号（例えば、Ｙ信号）から第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）を推定し、この推定モデルに基づく推定パラメータを生成するとともに、好適には推定パラメータによる推定値が第１コンポーネント信号（例えば、Ｙ信号）に対して誤差を有する場合には、その誤差量を推定誤差情報として外部に送出する推定処理部１２とを備える。
【００３８】
尚、推定処理部１２は、４：２：２や４：２：０のフォーマット形式のコンポーネント信号を比較して推定パラメータを生成する場合のために、コンポーネント信号格納部１１から読み出される第１コンポーネント信号（例えば、Ｙ信号）のサンプリングレートを第２コンポーネント信号のサンプリングレートに変換してサンプル数を揃えるサンプリングレート変換部１３と、サンプリングレート変換部１３から供給される同一サンプル数の第１コンポーネント信号（例えば、Ｙ信号）の信号要素と、別途入力される第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）の信号要素（対応画素位置の信号要素）とを比較して、上記所定の推定モデル（例えば、一次関数）に基づいて第１コンポーネント信号（例えば、Ｙ信号）から第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）を推定し、この推定モデルに基づく推定パラメータを生成するとともに、好適には推定パラメータによる推定値が第２コンポーネント信号（例えば、Ｃ信号）に対して誤差を有する場合には、その誤差量を推定誤差情報として外部に送出する比較部１４とを有するように構成することができる。
【００３９】
以下、このコンポーネント信号推定処理装置１を符号化装置及び復号装置に適用した実施例について説明する。代表的に、Ｙ信号からＣ信号の推定パラメータを生成する例について説明するが、本発明はこれに限定するものではない。
【実施例１】
【００４０】
図２は、本発明による実施例１の符号化装置を示すブロック図である。本実施例の符号化装置１０は、従来からのＭＰＥＧ等と同様にコンポーネント信号ごとに符号化を行う圧縮符号化部１０１と、図１に示すコンポーネント信号推定処理装置１と同様に動作するＣ信号推定部１０２とを備える。
【００４１】
圧縮符号化部１０１は、第１コンポーネント信号（例えば、Ｙ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部１０１は、減算部１１１と、符号化部１１２と、局部復号部１１３と、加算部１１４と、画像メモリ１１５と、画面内予測／画面間予測部１１６とを備える。
【００４２】
減算部１１１は、入力される第１コンポーネント信号（例えば、Ｙ信号）と、画面内予測／画面間予測部１１６から得られる第１コンポーネント信号（例えば、Ｙ信号）の予測信号とを差分した残差信号（Ｙ予測残差信号）を生成し、符号化部１１２に送出する。
【００４３】
符号化部１１２は、減算部１１１から得られる残差信号（Ｙ予測残差信号）を所定の符号化手順に従って符号化し、符号化信号（Ｙ予測残差信号のビットストリーム）を生成して局部復号部１１３及び外部に送出する。符号化部１１２は、例えば、ＭＰＥＧ等と同様に、直交変換処理及び量子化処理として構成することができ、更に可変長符号化を施すように構成することができる。
【００４４】
局部復号部１１３は、符号化部１１２から得られる符号化信号を復号してＹ予測残差信号の復号信号を生成して加算部１１４に送出する。符号化部１１２が、ＭＰＥＧ等と同様に直交変換処理及び量子化処理として構成される場合、局部復号部１１３は、その逆変換（逆直交変換処理及び逆量子化処理）を施す。
【００４５】
加算部１１４は、画面内予測／画面間予測部１１６から得られる第１コンポーネント信号（例えば、Ｙ信号）の予測信号と、局部復号部１１３から得られる復号信号とを加算して第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を生成し、画像メモリ１１５に格納する。
【００４６】
画面内予測／画面間予測部１１６は、従来のＭＰＥＧ等と同様に、画像メモリ１１５から参照信号を読み出して画面内予測又は画面間予測処理を施し、今回符号化する際の第１コンポーネント信号（例えば、Ｙ信号）の予測信号を生成し、減算部１１１に送出するとともに、画面内予測又は画面間予測処理に用いた各パラメータ（画面内予測パラメータ又は動きベクトル）を外部に送出する。
【００４７】
Ｃ信号推定部１０２は、図１に示すコンポーネント信号推定処理装置１と同様の機能を有し、画面内予測／画面間予測部１１６で読み出された第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を入力するとともに、第２のコンポーネント信号（例えば、Ｃ信号）である第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）を入力し、この色差信号については、第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を基にした所定の推定モデルに従う推定パラメータを決定して色差信号を推定する。例えば、所定の推定モデルが一次関数とする場合、各Ｃ信号、即ちＣｂ＝ａ＊Ｙ’＋ｂ又はＣｒ＝ａ＊Ｙ’＋ｂに従う推定パラメータａ，ｂを決定して第１コンポーネント信号（例えば、Ｙ信号）の局部復号信号の信号要素から推定パラメータａ，ｂによって第２のコンポーネント信号（例えば、Ｃ信号）の信号要素（ブロック内の画素値）を推定し、この推定パラメータａ，ｂを外部に送出する。推定パラメータによる推定値が第２コンポーネント信号（例えば、Ｃ信号）に対して誤差を有する場合には、その誤差量を推定誤差情報として外部に送出するように構成することができる。
【００４８】
即ち、本実施例の符号化装置１０は、第１コンポーネント信号（例えば、Ｙ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施すことなく、第１コンポーネント信号（例えば、Ｙ信号）の復号信号を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。
【００４９】
次に、実施例１の符号化装置１０によって符号化したビットストリームを受信して復号する復号装置２０を説明する。
【００５０】
図３は、本発明による実施例１の復号装置のブロック図である。本実施例の復号装置２０は、復号部２０１と、復号変換部２０２と、Ｃ信号推定部２０３とを備える。
【００５１】
復号部２０１は、符号化部１１２（図２）によって符号化された残差信号（Ｙ予測残差信号）を復号して、復号変換部２０２に送出する。
【００５２】
復号変換部２０２は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部２１１、画像メモリ２１２及び画面内予測／画面間予測部２１３を備える。
【００５３】
即ち、加算部２１１は、画面内予測／画面間予測部２１３から得られる予測信号と、復号部２０１から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｙ信号）を復元する。
【００５４】
尚、画面内予測／画面間予測部２１３は、復元した元のコンポーネント信号（Ｙ信号）を格納する画像メモリ２１２から参照信号を読み出し、符号化装置１０から得られるＹ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部２１１に送出する。
【００５５】
また、Ｃ信号推定部２０３は、符号化装置１０から得られるＣ信号の推定に用いた推定パラメータ（及び推定誤差情報）と、画面内予測／画面間予測部２１３で画像メモリ２１２から読み出された第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）とを入力して、符号化装置１０と同じ推定モデル（例えば、一次関数）を用いて、Ｃ信号を推定して復元する。例えば、Ｃ信号推定部２０３は、Ｃｂ＝ａ＊Ｙ’＋ｂ又はＣｒ＝ａ＊Ｙ’＋ｂに従う推定値を演算するために、入力された推定パラメータａ，ｂを用いて第１コンポーネント信号（例えば、Ｙ信号）の局部復号信号の信号要素から第２のコンポーネント信号（例えば、Ｃ信号）の信号要素（ブロック内の画素値）を推定し、Ｃ信号を復元する。
【００５６】
このようにして、復号装置２０は、第１コンポーネント信号（例えば、Ｙ信号）に対しては、従来のＭＰＥＧ等と同様の復号処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の復号処理を施すことなく、第１コンポーネント信号（例えば、Ｙ信号）の復号信号を基に生成した推定パラメータ（及び推定誤差情報）を用いて復元する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図った信号を復元することができる。
【００５７】
次に、このコンポーネント信号推定処理装置１を符号化装置及び復号装置に適用した別の実施例について説明する。
【実施例２】
【００５８】
図４は、本発明による実施例２の符号化装置を示すブロック図である。本実施例の符号化装置３０は、従来からのＭＰＥＧ等と同様にコンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部３０１及びＣ信号用の圧縮符号化部３０２と、圧縮符号化部３０１,３０２の各々から得られるＹ信号及びＣ信号の各残差信号を入力として図１に示すコンポーネント信号推定処理装置１と同様に動作するＣ残差信号推定部３０３とを備える。
【００５９】
圧縮符号化部３０１は、第１コンポーネント信号（例えば、Ｙ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部３０１は、減算部３１１と、符号化部３１２と、局部復号部３１３と、加算部３１４と、画像メモリ３１５と、画面内予測／画面間予測部３１６とを備える。圧縮符号化部３０１における加算部３１１、符号化部３１２、局部復号部３１３、加算部３１４、画像メモリ３１５、及び画面内予測／画面間予測部３１６の動作は、実施例１の圧縮符号化部１０１における加算部１１１、符号化部１１２、局部復号部１１３、加算部１１４、画像メモリ１１５、及び画面内予測／画面間予測部１１６の動作と同様であり、更なる詳細な説明は省略する。
【００６０】
また、圧縮符号化部３０２は、第２のコンポーネント信号（例えば、Ｃ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部３０２は、減算部３１７と、符号化部３１８と、局部復号部３１９と、加算部３２０と、画像メモリ３２１と、画面内予測／画面間予測部３２２とを備える。圧縮符号化部３０２における減算部３１７、符号化部３１８、局部復号部３１９、加算部３２０、画像メモリ３２１、画面内予測／画面間予測部３２２の動作は、実施例１の圧縮符号化部１０１における加算部１１１、符号化部１１２、局部復号部１１３、加算部１１４、画像メモリ１１５、及び画面内予測／画面間予測部１１６の動作と同様であり、更なる詳細な説明は省略する。
【００６１】
即ち、本実施例の符号化装置３０は、従来からのＭＰＥＧ等と同様に、コンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部３０１及びＣ信号用の圧縮符号化部３０２を備えるが、従来からのＭＰＥＧ等とはＣ残差信号推定部３０３を更に備える点で相違しており、且つ第１コンポーネント信号（例えば、Ｙ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施して外部に伝送可能にするが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては圧縮符号化部３０１,３０２から得られる予測残差信号から生成した推定パラメータ（及び推定誤差情報）と、圧縮符号化部３０１,３０２の各々で用いた画面内予測パラメータ又は動きベクトルも外部に送出するように構成される。
【００６２】
Ｃ残差信号推定部３０３は、図１に示すコンポーネント信号推定処理装置１と同様の機能を有し、画面内予測／画面間予測部３１６の参照信号に用いられる第１コンポーネント信号（例えば、Ｙ信号）の残差信号（ΔＹ’信号）を入力するとともに、画面内予測／画面間予測部３２２の参照信号に用いられる第２のコンポーネント信号（色差信号）の残差信号（例えば、ΔＣ’信号）、即ち第２コンポーネント信号の残差信号（ΔＣｂ’信号又はΔＣｒ’信号）を入力し、第２のコンポーネント信号（Ｃ信号）の残差信号（例えば、ΔＣ’信号）については、第１コンポーネント信号の残差信号（ΔＹ’信号）を基にした所定の推定モデルに従う推定パラメータを決定して第２のコンポーネント信号（ΔＣ’信号）の残差信号を推定する。例えば、所定の推定モデルが一次関数とする場合、ΔＣｂ’＝ａ＊ΔＹ’＋ｂ又はΔＣｒ’＝ａ＊ΔＹ’＋ｂに従う推定パラメータａ，ｂを決定して第１コンポーネント信号の残差信号（ΔＹ’信号）の信号要素から推定パラメータａ，ｂによって第２のコンポーネント信号（色差信号）の残差信号（例えば、ΔＣ’信号）の信号要素（ブロック内の画素値）を推定し、この推定パラメータａ，ｂを外部に送出する。推定パラメータによる推定値が第２コンポーネント信号の残差信号（ΔＣ’信号）に対して誤差を有する場合には、その誤差量を推定誤差情報として外部に送出するように構成することができる。
【００６３】
即ち、本実施例の符号化装置３０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の符号化処理を施すが、従来のＭＰＥＧ等とは相違して、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施した信号を外部に送出することなく、第１コンポーネント信号（例えば、Ｙ信号）の残差信号を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。
【００６４】
次に、実施例２の符号化装置３０によって符号化したビットストリームを受信して復号する復号装置４０を説明する。
【００６５】
図５は、本発明による実施例２の復号装置のブロック図である。本実施例の復号装置４０は、復号部４０１と、復号変換部４０２，４０４と、Ｃ残差信号推定部４０３とを備える。
【００６６】
復号部４０１は、符号化部３１２（図４）によって符号化された残差信号（Ｙ予測残差信号）を復号して、復号変換部４０２に送出する。
【００６７】
また、Ｃ残差信号推定部４０３は、符号化装置３０から得られる第２コンポーネント信号（例えば、Ｃ信号）の残差信号の推定に用いた推定パラメータ（及び推定誤差情報）と、復号部４０１から得られる第１コンポーネント信号（例えば、Ｙ信号）の残差信号とを入力して、符号化装置３０と同じ推定モデル（例えば、一次関数）を用いて、第２コンポーネント信号（例えば、Ｃ信号）の残差信号を推定して復元し、加算部４１４に送出する。例えば、Ｃ残差信号推定部４０３は、ΔＣｂ’＝ａ＊ΔＹ’＋ｂ又はΔＣｒ’＝ａ＊ΔＹ’＋ｂに従う推定値を演算するために、入力された推定パラメータａ，ｂを用いて、第１コンポーネント信号（例えば、Ｙ信号）の残差信号の信号要素から第２のコンポーネント信号（例えば、Ｃ信号）の残差信号の信号要素（ブロック内の画素値）を推定し、第２コンポーネント信号の残差信号（ΔＣ’信号）を復元し、加算部４１４に送出する。
【００６８】
復号変換部４０２，４０４は、それぞれＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、それぞれ加算部４１１，４１４、画像メモリ４１２，４１５及び画面内予測／画面間予測部４１３，４１６を備える。
【００６９】
例えば、加算部４１１（４１４）は、画面内予測／画面間予測部４１３（４１６）から得られる予測信号と、復号部４０１（Ｃ残差信号推定部４０３）から得られる復号した残差信号とを加算して元のコンポーネント信号を復元し、画像メモリ４１２（４１５）に格納する。
【００７０】
尚、画面内予測／画面間予測部４１３（４１６）は、復元した元のコンポーネント信号を格納する画像メモリ４１２（４１５）から参照信号を読み出し、符号化装置３０から得られる画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部４１１（４１４）に送出する。
【００７１】
このようにして、復号装置４０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の復号処理を施すが、従来のＭＰＥＧ等とは相違して、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の復号処理を施すことなく、第１コンポーネント信号（例えば、Ｙ信号）の残差信号を基に生成した推定パラメータ（及び推定誤差情報）を用いて復元する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図った信号を復元することができる。
【００７２】
次に、このコンポーネント信号推定処理装置１を符号化装置及び復号装置に適用した別の実施例について説明する。
【実施例３】
【００７３】
図６は、本発明による実施例３の符号化装置を示すブロック図である。本実施例の符号化装置５０は、従来からのＭＰＥＧ等と同様にコンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部５０１及びＣ信号用の圧縮符号化部５０２と、圧縮符号化部５０１,５０２の各々から得られるＹ信号の局部復号信号及びＣ信号を入力として図１に示すコンポーネント信号推定処理装置１と同様に動作するＣ信号推定部５０３と、Ｃ信号選択部５０４とを備える。
【００７４】
圧縮符号化部５０１は、第１コンポーネント信号（例えば、Ｙ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部５０１は、減算部５１１と、符号化部５１２と、局部復号部５１３と、加算部５１４と、画像メモリ５１５と、画面内予測／画面間予測部５１６とを備える。圧縮符号化部５０１における加算部５１１、符号化部５１２、局部復号部５１３、加算部５１４、画像メモリ５１５、及び画面内予測／画面間予測部５１６の動作は、それぞれ実施例２の圧縮符号化部３０１（図４）における加算部３１１、符号化部３１２、局部復号部３１３、加算部３１４、画像メモリ３１５、及び画面内予測／画面間予測部３１６の動作と同様であり、更なる詳細な説明は省略する。
【００７５】
また、圧縮符号化部５０２は、第２のコンポーネント信号（例えば、Ｃ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部５０２は、減算部５１７と、符号化部５１８と、局部復号部５１９と、加算部５２０と、画像メモリ５２１と、画面内予測／画面間予測部５２２とを備える。圧縮符号化部５０２における減算部５１７、符号化部５１８、局部復号部５１９、加算部５２０、画像メモリ５２１、画面内予測／画面間予測部５２２の動作は、それぞれ実施例２の圧縮符号化部３０２（図４）における加算部３１７、符号化部３１８、局部復号部３１９、加算部３２０、画像メモリ３２１、及び画面内予測／画面間予測部３２２の動作と同様であり、更なる詳細な説明は省略する。ただし、圧縮符号化部５０２は、符号化部５１８からＣ信号の予測残差信号（Ｃ予測残差信号）をＣ信号選択部５０４に送出するとともに、画面内予測／画面間予測部５２２から予測に用いたＣ信号用の画面内予測パラメータ又は動きベクトルをＣ信号選択部５０４に送出するように構成される。
【００７６】
また、本実施例のＣ信号推定部５０３は、実施例１におけるＣ信号推定部１０２（図２）と同様である。
【００７７】
即ち、本実施例の符号化装置５０は、従来からのＭＰＥＧ等と同様に、コンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部５０１及びＣ信号用の圧縮符号化部５０２を備えるが、実施例２とは、残差信号を推定するＣ残差信号推定部３０３の代わりに第２のコンポーネント信号を推定するＣ信号推定部５０３を備え、更に、Ｃ信号選択部５０４を備える点で相違している。
【００７８】
また、Ｃ信号推定部５０３は、図１に示すコンポーネント信号推定処理装置１と同様の機能を有し、画面内予測／画面間予測部５１６で読み出された第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を入力するとともに、第２のコンポーネント信号（例えば、Ｃ信号）である第２コンポーネント信号（Ｃｂ信号又はＣｒ信号）を入力し、色差信号（Ｃ信号）については、第１コンポーネント信号（例えば、Ｙ信号）の復元信号（Ｙ’信号）を基にした所定の推定モデルに従う推定パラメータを決定して色差信号を推定する。例えば、所定の推定モデルが一次関数とする場合、各Ｃ信号、即ちＣｂ＝ａ＊Ｙ’＋ｂ又はＣｒ＝ａ＊Ｙ’＋ｂに従う推定パラメータａ，ｂを決定して第１コンポーネント信号（例えば、Ｙ信号）の局部復号信号の信号要素から推定パラメータａ，ｂによって第２のコンポーネント信号（例えば、Ｃ信号）の信号要素（ブロック内の画素値）を推定し、この推定パラメータａ，ｂをＣ信号選択部５０４に送出する。推定パラメータによる推定値が第２コンポーネント信号（例えば、Ｃ信号）に対して誤差を有する場合には、その誤差量を推定誤差情報としてＣ信号選択部５０４に送出するように構成することができる。
【００７９】
Ｃ信号選択部５０４は、Ｃ信号推定部５０３から送出されるＣ信号用の推定パラメータ（及び推定誤差情報）を外部に送出するか、又は従来からのＭＰＥＧ等と同様のＣ信号用の予測残差信号及び画面内予測パラメータ（又は動きベクトル）を外部に送出するかを選択可能に構成される。この選択は、フレームごと、符号化ブロックごとなど予め定めておくことができ、いずれを選択したかを示す情報は、予め定めた規則に従って、符号化装置及び復号装置の双方で予め定めておくようにするか、又は符号化装置はいずれを選択したかを示す選択フラグ情報を外部に送出するように構成することができる。この予め定めた規則として、Ｃ信号推定部５０３による推定の際に、比較するコンポーネント信号間の直流成分を除く振幅の差が所定の閾値未満である場合に、推定パラメータの符号化を行うとする規則を設定することもできる。尚、以下の説明では選択フラグ情報を外部に送出する場合について説明する。
【００８０】
このように、本実施例の符号化装置５０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の符号化処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施した信号を外部に送出するか、又は、第１コンポーネント信号（例えば、Ｙ信号）の局部復号信号を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出するかを予め定めた規則に従って選択して送出する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、画質劣化を防止しつつ更なる画像圧縮を図ることができる。
【００８１】
次に、実施例３の符号化装置５０によって符号化したビットストリームを受信して復号する復号装置６０を説明する。
【００８２】
図７は、本発明による実施例３の復号装置のブロック図である。本実施例の復号装置６０は、復号部６０１，６０６と、復号変換部６０２，６０３と、Ｃ信号推定部６０４と、Ｃ信号選択部６０５とを備える。
【００８３】
本実施例の復号部６０１及び復号変換部６０２の動作は、実施例２における復号部４０１及び復号変換部４０２と同様である。
【００８４】
即ち、復号部６０１は、符号化部５１２（図６）によって符号化された残差信号（Ｙ予測残差信号）を復号して、復号変換部６０２に送出する。
【００８５】
復号変換部６０２は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部６１１、画像メモリ６１２及び画面内予測／画面間予測部６１３を備える。
【００８６】
例えば、加算部６１１は、画面内予測／画面間予測部６１３から得られる予測信号と、復号部６０１から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｙ信号）を復元し、画像メモリ６１２に格納する。画面内予測／画面間予測部６１３は、復元した元のコンポーネント信号を格納する画像メモリ６１２から参照信号を読み出し、符号化装置５０から得られるＹ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部６１１に送出する。
【００８７】
Ｃ信号選択部６０５は、符号化装置５０から得られるフラグ情報に従って、Ｃ信号用の推定パラメータ（及び推定誤差情報）を用いてＣ信号を復元するか、又は従来からのＭＰＥＧ等と同様のＣ信号用の予測残差信号及び画面内予測パラメータ（又は動きベクトル）を用いてＣ信号を復元するかを決定し、この決定した選択に従ってＣ信号選択部６０５の後段に設けられる処理段を機能させ、Ｃ信号を復元可能にする。
【００８８】
Ｃ信号用の推定パラメータ（及び推定誤差情報）を用いてＣ信号を復元する場合のために、本実施例の復号装置６０は、Ｃ信号推定部６０４を備える。Ｃ信号推定部６０４の動作は、実施例１におけるＣ信号推定部２０３（図３）と同様であり、その説明を省略する。
【００８９】
一方、従来からのＭＰＥＧ等と同様のＣ信号用の予測残差信号及び画面内予測パラメータ（又は動きベクトル）を用いてＣ信号を復元する場合のために、本実施例の復号装置６０は、復号部６０６及び復号変換部６０３を備える。
【００９０】
復号部６０６は、符号化部５１８（図６）によって符号化された残差信号（Ｃ予測残差信号）を復号して、復号変換部６０３に送出する。
【００９１】
復号変換部６０３は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部６１４、画像メモリ６１５及び画面内予測／画面間予測部６１６を備える。
【００９２】
例えば、加算部６１４は、画面内予測／画面間予測部６１６から得られる予測信号と、復号部６０６から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｙ信号）を復元する。画面内予測／画面間予測部６１６は、復元した元のコンポーネント信号を格納する画像メモリ６１５から参照信号を読み出し、符号化装置５０から得られるＣ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部６１４に送出する。
【００９３】
このようにして、復号装置６０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の復号処理を施すが、従来のＭＰＥＧ等とは相違して、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施した信号を外部に送出するか、又は、第１コンポーネント信号（例えば、Ｃ信号）の局部復号信号を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出するかを予め定めた規則に従って選択して復元する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図った信号を復元することができる。
【００９４】
従って、本実施例のように、上記推定の際に、比較するコンポーネント信号間の直流成分を除く振幅の差が所定の閾値未満である場合に推定パラメータの符号化を行い、所定の閾値以上である場合に色差信号（又はその予測誤差信号）の符号化を行うように選択する信号選択部（Ｃ信号選択部５０４，６０５）を設けるのが好適であり、この信号選択部（Ｃ信号選択部５０４，６０５）にていずれを選択したかを示す選択フラグ情報を補助情報として符号化するようにすることで、画質及び圧縮の双方のバランスを効果的に向上させることができるようになる。
【００９５】
次に、このコンポーネント信号推定処理装置１を符号化装置及び復号装置に適用した別の実施例について説明する。
【実施例４】
【００９６】
図８は、本発明による実施例４の符号化装置を示すブロック図である。本実施例の符号化装置７０は、従来からのＭＰＥＧ等と同様にコンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部７０１及びＣ信号用の圧縮符号化部７０２と、圧縮符号化部７０１,７０２の各々から得られる残差信号（ΔＹ’信号及びΔＣ’信号）を入力として図１に示すコンポーネント信号推定処理装置１と同様に動作する、実施例２のＣ残差信号推定部３０３に対応するＣ残差信号推定部７０３と、Ｃ残差信号選択部７０４とを備える。
【００９７】
圧縮符号化部７０１は、第１コンポーネント信号（例えば、Ｙ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部７０１は、減算部７１１と、符号化部７１２と、局部復号部７１３と、加算部７１４と、画像メモリ７１５と、画面内予測／画面間予測部７１６とを備える。圧縮符号化部７０１における加算部７１１、符号化部７１２、局部復号部７１３、加算部７１４、画像メモリ７１５、及び画面内予測／画面間予測部７１６の動作は、それぞれ実施例２の圧縮符号化部３０１（図４）における加算部３１１、符号化部３１２、局部復号部３１３、加算部３１４、画像メモリ３１５、及び画面内予測／画面間予測部３１６の動作と同様であり、更なる詳細な説明は省略する。
【００９８】
また、圧縮符号化部７０２は、第２のコンポーネント信号（例えば、Ｃ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部７０２は、減算部７１７と、符号化部７１８と、局部復号部７１９と、加算部７２０と、画像メモリ７２１と、画面内予測／画面間予測部７２２とを備える。圧縮符号化部７０２における減算部７１７、符号化部７１８、局部復号部７１９、加算部７２０、画像メモリ７２１、画面内予測／画面間予測部７２２の動作は、それぞれ実施例２の圧縮符号化部３０２（図４）における加算部３１７、符号化部３１８、局部復号部３１９、加算部３２０、画像メモリ３２１、及び画面内予測／画面間予測部３２２の動作と同様であり、更なる詳細な説明は省略する。圧縮符号化部７０２は、符号化部７１８からＣ信号の予測残差信号（Ｃ予測残差信号）をＣ信号選択部７０４に送出するとともに、画面内予測／画面間予測部７２２で用いられる残差信号（ΔＣ’信号）をＣ残差信号推定部７０３に送出し、更に、画面内予測／画面間予測部７２２から予測に用いたＣ信号用の画面内予測パラメータ又は動きベクトルを外部に送出するように構成される。
【００９９】
また、本実施例のＣ残差信号推定部７０３は、実施例２におけるＣ残差信号推定部３０３（図４）と同様であり、画面内予測／画面間予測部７１６の参照信号に用いられる第１コンポーネント信号（例えば、Ｙ信号）の残差信号（ΔＹ’信号）を入力するとともに、画面内予測／画面間予測部７２２の参照信号に用いられる第２のコンポーネント信号（色差信号）の残差信号（例えば、ΔＣ’信号）、即ち第２コンポーネント信号の残差信号（ΔＣｂ’信号又はΔＣｒ’信号）を入力し、第２のコンポーネント信号（Ｃ信号）の残差信号（例えば、ΔＣ’信号）については、第１コンポーネント信号の残差信号（ΔＹ’信号）を基にした所定の推定モデルに従う推定パラメータを決定して第２のコンポーネント信号（色差信号）の残差信号を推定する。例えば、所定の推定モデルが一次関数とする場合、ΔＣｂ’＝ａ＊ΔＹ’＋ｂ又はΔＣｒ’＝ａ＊ΔＹ’＋ｂに従う推定パラメータａ，ｂを決定して第１コンポーネント信号の残差信号（ΔＹ’信号）の信号要素から推定パラメータａ，ｂによって第２のコンポーネント信号（色差信号）の残差信号（例えば、ΔＣ’信号）の信号要素（ブロック内の画素値）を推定し、この推定パラメータａ，ｂをＣ残差信号選択部７０４に送出し、好適には、推定パラメータによる推定値が第２コンポーネント信号の残差信号（ΔＣ’信号）に対して誤差を有する場合に、その誤差量を推定誤差情報としてＣ残差信号選択部７０４に送出するように構成することができる。
【０１００】
即ち、本実施例の符号化装置７０は、従来からのＭＰＥＧ等と同様に、コンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部７０１及びＣ信号用の圧縮符号化部７０２を備えるが、実施例２とはＣ残差信号選択部７０４を備える点で相違している。
【０１０１】
即ち、Ｃ残差信号選択部７０４は、Ｃ残差信号推定部７０３から送出されるＣ信号の残差信号用の推定パラメータ（及び推定誤差情報）を外部に送出するか、又は従来からのＭＰＥＧ等と同様のＣ信号の予測残差信号を外部に送出するかを選択可能に構成される。この選択は、フレームごと、符号化ブロックごとなど予め定めておくことができ、いずれを選択したかを示す情報は、予め定めた規則に従って、符号化装置及び復号装置の双方で予め定めておくようにするか、又は符号化装置はいずれを選択したかを示す選択フラグ情報を外部に送出するように構成することができる。この予め定めた規則として、Ｃ残差信号推定部７０３による推定の際に、比較するコンポーネント信号の残差信号間の直流成分を除く振幅の差が所定の閾値未満である場合に、推定パラメータの符号化を行うとする規則を設定することもできる。尚、以下の説明では選択フラグ情報を外部に送出する場合について説明する。
【０１０２】
このように、本実施例の符号化装置７０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）の各残差信号に対して、従来のＭＰＥＧ等と同様の符号化処理を施すが、第２のコンポーネント信号の残差信号（例えば、ΔＣ’信号）に対しては、従来のＭＰＥＧ等と同様の符号化処理を施した信号を外部に送出するか、又は、第１コンポーネント信号の残差信号（例えば、ΔＹ’信号）を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出するかを、予め定めた規則に従って選択して送出する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、画質劣化を防止しつつ更なる画像圧縮を図ることができる。
【０１０３】
次に、実施例４の符号化装置７０によって符号化したビットストリームを受信して復号する復号装置８０を説明する。
【０１０４】
図９は、本発明による実施例４の復号装置のブロック図である。本実施例の復号装置８０は、復号部８０１，８０７と、復号変換部８０２，８０３，８０４と、Ｃ残差信号推定部８０５と、Ｃ残差信号選択部８０６とを備える。
【０１０５】
本実施例の復号部８０１及び復号変換部８０２の動作は、実施例２における復号部４０１及び復号変換部４０２（図５）と同様である。
【０１０６】
即ち、復号部８０１は、符号化部７１２（図８）によって符号化された残差信号（Ｙ予測残差信号）を復号して、復号変換部８０２に送出する。
【０１０７】
復号変換部８０２は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部８１１、画像メモリ８１２及び画面内予測／画面間予測部８１３を備える。
【０１０８】
例えば、加算部８１１は、画面内予測／画面間予測部８１３から得られる予測信号と、復号部８０１から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｙ信号）を復元し、画像メモリ８１２に格納する。画面内予測／画面間予測部８１３は、復元した元のコンポーネント信号を格納する画像メモリ８１２から参照信号を読み出し、符号化装置７０から得られるＹ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部８１１に送出する。
【０１０９】
Ｃ残差信号選択部８０６は、符号化装置７０から得られるフラグ情報に従って、Ｃ信号の残差信号用の推定パラメータ（及び推定誤差情報）を用いてＣ信号を復元するか、又は従来からのＭＰＥＧ等と同様のＣ信号用の予測残差信号及び画面内予測パラメータ（又は動きベクトル）を用いてＣ信号を復元するかを決定し、この決定した選択に従ってＣ残差信号選択部８０６の後段に設けられる処理段を機能させ、Ｃ信号を復元可能にする。
【０１１０】
Ｃ信号の残差信号用の推定パラメータ（及び推定誤差情報）を用いてＣ信号を復元する場合のために、本実施例の復号装置８０は、Ｃ残差信号推定部８０５及び復号変換部８０３を備える。Ｃ残差信号推定部８０５の動作は、実施例２におけるＣ残差信号推定部４０３（図５）と同様であり、その説明を省略する。復号変換部８０３は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部８１４、画像メモリ８１５及び画面内予測／画面間予測部８１６を備え、加算部８１４は、Ｃ残差信号推定部８０５からＣ信号の残差信号を入力して画面内予測／画面間予測部８１６の予測信号と加算してＣ信号を復元するとともに、画像メモリ８１５に格納する。画面内予測／画面間予測部８１６は、画像メモリ８１５から読み出される参照信号と、符号化装置７０から得られるＣ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部８１４に送出する。
【０１１１】
一方、従来からのＭＰＥＧ等と同様のＣ信号用の予測残差信号及び画面内予測パラメータ（又は動きベクトル）を用いてＣ信号を復元する場合のために、本実施例の復号装置８０は、復号部８０７及び復号変換部８０４を備える。
【０１１２】
復号部８０７は、符号化部７１８（図８）によって符号化された残差信号（Ｃ予測残差信号）を復号して、復号変換部８０４に送出する。
【０１１３】
復号変換部８０４は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部８１７、画像メモリ８１８及び画面内予測／画面間予測部８１９を備える。
【０１１４】
例えば、加算部８１７は、画面内予測／画面間予測部８１９から得られる予測信号と、復号部８０７から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｃ信号）を復元し、画像メモリ８１８に格納する。画面内予測／画面間予測部８１９は、復元した元のコンポーネント信号を格納する画像メモリ８１８から参照信号を読み出し、符号化装置７０から得られるＣ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部８１７に送出する。
【０１１５】
このようにして、復号装置８０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の復号処理を施すが、従来のＭＰＥＧ等とは相違して、第２のコンポーネント信号（例えば、Ｃ信号）の残差信号に対しては、従来のＭＰＥＧ等と同様の符号化処理を施した信号を外部に送出するか、又は、第１コンポーネント信号（例えば、Ｙ信号）の残差信号を基に生成した推定パラメータ（及び推定誤差情報）を生成して外部に送出するかを、予め定めた規則に従って選択して復元する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、画質劣化を防止しつつ更なる画像圧縮を図った信号を復元することができる。
【０１１６】
次に、このコンポーネント信号推定処理装置１を符号化装置及び復号装置に適用した別の実施例について説明する。
【実施例５】
【０１１７】
図１０は、本発明による実施例５の符号化装置を示すブロック図である。本実施例の符号化装置９０は、従来からのＭＰＥＧ等と同様にコンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部９０１及びＣ信号用の圧縮符号化部９０２からなるが、Ｃ信号用の圧縮符号化部９０２が、画面内予測又は画面間予測の時空間の信号予測と、コンポーネント信号間（色信号間）の相関を利用した信号予測（図１のコンポーネント信号推定処理装置１における推定と同様）とを切替可能に構成された画面内予測／画面間予測／色信号間予測部９２２を備える点で上述の各実施例とは異なる。即ち、圧縮符号化部９０１が第１コンポーネント信号を符号化する一方で、圧縮符号化部９０２が第２のコンポーネント信号に対して時間又は空間方向の第１予測信号を生成し、該第１予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化するか、又は色信号間相関に基づく推定パラメータによって推定される第２予測信号を生成し、該第２予測信号と前記第２のコンポーネント信号との差分を表す残差信号を符号化するように構成され、当該第２のコンポーネント信号の予測信号として第１予測信号と第２予測信号のいずれか一方を選択可能に構成される。
【０１１８】
圧縮符号化部９０１は、第１コンポーネント信号（例えば、Ｙ信号）を従来からのＭＰＥＧ等と同様に符号化する。より具体的には、圧縮符号化部９０１は、減算部９１１と、符号化部９１２と、局部復号部９１３と、加算部９１４と、画像メモリ９１５と、画面内予測／画面間予測部９１６とを備える。圧縮符号化部９０１における加算部９１１、符号化部９１２、局部復号部９１３、加算部９１４、画像メモリ９１５、及び画面内予測／画面間予測部９１６の動作は、実施例２の圧縮符号化部３０１（図４）における加算部３１１、符号化部３１２、局部復号部３１３、加算部３１４、画像メモリ３１５、及び画面内予測／画面間予測部３１６の動作と同様であり、更なる詳細な説明は省略する。
【０１１９】
また、圧縮符号化部９０２は、第２のコンポーネント信号（例えば、Ｃ信号）を従来からのＭＰＥＧ等と同様に符号化する機能と、コンポーネント信号間（色信号間）の相関を利用した信号予測を行う機能とを切替可能に構成される。従来からのＭＰＥＧ等と同様に符号化する場合には、圧縮符号化部９０２は、減算部９１７と、符号化部９１８と、局部復号部９１９と、加算部９２０と、画像メモリ９２１と、画面内予測／画面間予測として機能を有する画面内予測／画面間予測／色信号間予測部９２２とを備える。この場合の圧縮符号化部９０２における各動作は、実施例２の圧縮符号化部３０２（図４）における加算部３１７、符号化部３１８、局部復号部３１９、加算部３２０、画像メモリ３２１、及び画面内予測／画面間予測部３２２の動作と同様であり、更なる詳細な説明は省略する。
【０１２０】
一方、圧縮符号化部９０２における画面内予測／画面間予測／色信号間予測部９２２は、コンポーネント信号間（色信号間）の相関を利用した信号予測を行う機能を有する。具体的には、図１１に示すように、画面内予測／画面間予測／色信号間予測部９２２は、局部復号されたＣ信号を入力して、時空間の予測（画面内予測／画面間予測）を行うか、又はコンポーネント信号間（色信号間）の相関を利用した信号予測を行うかを外部設定により選択可能にする選択スイッチ９２２１と、従来からのＭＰＥＧ等と同様に局部復号されたＣ’信号に対して時空間の予測（画面内予測／画面間予測）を行って予測信号を生成する画面内予測／画面間予測部９２２２と、コンポーネント信号間（色信号間）の相関を利用した信号予測を行うために、第１コンポーネント信号の復号信号（例えば、Ｙ’信号）を入力して、第２のコンポーネント信号（例えば、Ｃ信号）である第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）を推定するにあたり、タイミング調整を図るためのコンポーネント信号格納部９２２４と、コンポーネント信号格納部９２２４から読み出される第１コンポーネント信号の復号信号（例えば、Ｙ’信号）の信号要素と、別途入力される第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）の信号要素（対応画素位置の信号要素）とを比較して、上記所定の推定モデル（例えば、一次関数）に基づいて第１コンポーネント信号の復号信号（例えば、Ｙ’信号）から第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）を推定し、この推定モデルに基づく推定パラメータを「色間相関パラメータ」として生成する推定処理部９２２５と、この色間相関パラメータによって、コンポーネント信号格納部９２２４から読み出される第１コンポーネント信号の復号信号（例えば、Ｙ’信号）の信号要素を上記所定の推定モデル（例えば、一次関数）に基づいて再生した予測信号（色信号間予測信号）を生成する色信号間予測信号生成部９２２３とを備える。
【０１２１】
また、推定処理部９２２５は、４：２：２や４：２：０のフォーマット形式のコンポーネント信号を比較して推定パラメータを生成する場合のために、コンポーネント信号格納部９２２４から読み出される第１コンポーネント信号の復号信号（例えば、Ｙ’信号）のサンプリングレートを第２コンポーネント信号の復号信号（Ｃ’信号）のサンプリングレートに変換してサンプル数を揃えるサンプリングレート変換部９２２６と、サンプリングレート変換部９２２６から供給される同一サンプル数の第１コンポーネント信号の復号信号（例えば、Ｙ’信号）の信号要素と、別途入力される第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）の信号要素（対応画素位置の信号要素）を比較して、上記所定の推定モデル（例えば、一次関数）に基づいて第１コンポーネント信号の復号信号（例えば、Ｙ’信号）から第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）を推定し、この推定モデルに基づく推定パラメータを「色間相関パラメータ」として生成する比較部９２２７とを有するように構成することができる。
【０１２２】
即ち、画面内予測／画面間予測／色信号間予測部９２２は、外部設定に基づいて、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを選択して減算部９１７に送出する。
【０１２３】
ここで、図１１に示す例では、「外部設定」によって切替を行う例を説明したが、例えば、比較するコンポーネント信号間の直流成分を除く振幅の差が所定の閾値未満である場合に色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組を選択し、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組を選択するように構成することができ、この選択も符号化装置及び復号装置間で予め定めておくこともできる。
【０１２４】
即ち、本実施例の符号化装置９０は、従来からのＭＰＥＧ等と同様に、コンポーネント信号ごとに符号化を行うＹ信号用の圧縮符号化部９０１及びＣ信号用の圧縮符号化部９０２を備えるが、実施例２とは、予測信号を生成する際の選択肢として色信号間の相関に基づく予測を追加したものとなっている。
【０１２５】
このように、本実施例の符号化装置９０は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して、従来のＭＰＥＧ等と同様の符号化処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを選択して予測信号を生成する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。
【０１２６】
次に、実施例５の符号化装置９０によって符号化したビットストリームを受信して復号する復号装置１００を説明する。
【０１２７】
図１２は、本発明による実施例５の復号装置のブロック図である。本実施例の復号装置１００は、復号部１１５１，１１５６と、復号変換部１１５２，１１５３とを備える。
【０１２８】
本実施例の復号部１１５１及び復号変換部１１５２の動作は、実施例２における復号部４０１及び復号変換部４０２と同様である。
【０１２９】
即ち、復号部１１５１は、符号化部９１２（図１０）によって符号化された残差信号（Ｙ予測残差信号）を復号して、復号変換部１１５２に送出する。
【０１３０】
復号変換部１１５２は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部１２１１、画像メモリ１２１２及び画面内予測／画面間予測部１２１３を備える。
【０１３１】
例えば、加算部１２１１は、画面内予測／画面間予測部１２１３から得られる予測信号と、復号部１１５１から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｙ信号）を復元し、画像メモリ１２１２に格納する。画面内予測／画面間予測部１２１３は、復元した元のコンポーネント信号を格納する画像メモリ１２１２から参照信号を読み出し、符号化装置９０から得られるＹ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部１２１１に送出する。
【０１３２】
一方、本実施例の復号部１１５６は、符号化部９１８（図１０）によって符号化された残差信号（Ｃ予測残差信号）を復号して、復号変換部１１５３に送出する。
【０１３３】
復号変換部１１５３は、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部１２１４、画像メモリ１２１５及び画面内予測／画面間予測／色信号間予測部１２１６を備える。
【０１３４】
例えば、加算部１２１４は、画面内予測／画面間予測／色信号間予測部１２１６から得られる予測信号と、復号部１１５６から得られる復号した残差信号とを加算して元のコンポーネント信号（Ｃ信号）を復元する。画面内予測／画面間予測／色信号間予測部１２１６は、復元した元のコンポーネント信号を格納する画像メモリ１２１５から参照信号を読み出し、符号化装置９０から得られるＹ信号用画面内予測パラメータ／動きベクトルを用いて予測信号を生成するか、又は色間相関パラメータ（図１に示す推定パラメータに対応する）から予測信号を再生して加算部１２１４に送出する。
【０１３５】
画面内予測／画面間予測／色信号間予測部１２１６は、符号化装置９０から得られるＣ信号用画面内予測パラメータ／動きベクトルか、又は色間相関パラメータを受信して、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを、符号化側の選択と対応するように選択して予測信号を生成し、加算部１２１４に送出する。符号化側の選択と対応させるべく、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組の選択について符号化装置及び復号装置間で予め定めておくことで実現することができる。
【０１３６】
このようにして、復号装置１００は、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して従来のＭＰＥＧ等と同様の復号処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを選択して予測信号を生成する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。
【０１３７】
例えば、ＭＰＥＧ等の画面内予測又は画面間予測とは別に、色信号間相関予測を適用するにあたり、画面内予測と色信号間相関予測のうち圧縮率が高いほうを選定したり、画面間予測と色信号間相関予測のうち圧縮率が高いほうを選定したりするように構成することができ、更なる画像圧縮を図ることができる。
【０１３８】
次に、このコンポーネント信号推定処理装置１を符号化装置及び復号装置に適用した更に別の実施例について説明する。
【実施例６】
【０１３９】
図１３は、本発明による実施例６の符号化装置を示すブロック図である。前述の実施例５では、「外部スイッチ」によって動作する画面内予測／画面間予測／色信号間予測部９２２の例を説明したが、本実施例の符号化装置９０ｂでは、Ｃ信号用の圧縮符号化部９０２が、画面内予測又は画面間予測の時空間の信号予測と、コンポーネント信号間（色信号間）の相関を利用した信号予測（図１のコンポーネント信号推定処理装置１における推定と同様）とを切替可能に構成され、且つこの選択に係る切り替えの情報（選択フラグ情報）を補助情報として伝送する画面内予測／画面間予測／色信号間予測部９２２ｂを備える点で実施例５とは異なる。
【０１４０】
圧縮符号化部９０１は、実施例５の動作と同様であり、更なる詳細な説明は省略する。
【０１４１】
また、圧縮符号化部９０２においても、画面内予測／画面間予測／色信号間予測部９２２ｂ以外の動作は、実施例５の動作と同様であり、更なる詳細な説明は省略する。
【０１４２】
圧縮符号化部９０２における画面内予測／画面間予測／色信号間予測部９２２ｂは、図１４に示すように、従来からのＭＰＥＧ等と同様に局部復号されたＣ’信号に対して時空間の予測（画面内予測／画面間予測）を行って予測信号を生成する画面内予測／画面間予測部９２２２と、コンポーネント信号間（色信号間）の相関を利用した信号予測を行うために、第１コンポーネント信号の復号信号（例えば、Ｙ’信号）を入力して、第２のコンポーネント信号（例えば、Ｃ信号）である第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）を推定するにあたり、タイミング調整を図るためのコンポーネント信号格納部９２２４と、コンポーネント信号格納部９２２４から読み出される第１コンポーネント信号の復号信号（例えば、Ｙ’信号）の信号要素と、別途入力される第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）の信号要素（対応画素位置の信号要素）とを比較して、上記所定の推定モデル（例えば、一次関数）に基づいて第１コンポーネント信号の復号信号（例えば、Ｙ’信号）から第２コンポーネント信号の復号信号（Ｃｂ’信号又はＣｒ’信号）を推定し、この推定モデルに基づく推定パラメータを「色間相関パラメータ」として生成する推定処理部９２２５と、この色間相関パラメータによって、コンポーネント信号格納部９２２４から読み出される第１コンポーネント信号の復号信号（例えば、Ｙ’信号）の信号要素を上記所定の推定モデル（例えば、一次関数）に基づいて再生した予測信号（色信号間予測信号）を生成する色信号間予測信号生成部９２２３とを備える点で、実施例５と同様である。
【０１４３】
ただし、本実施例の画面内予測／画面間予測／色信号間予測部９２２ｂは、符号化対象のＣ信号に対して、時空間の予測（画面内予測／画面間予測）で算出した予測信号、及び、コンポーネント信号間（色信号間）の相関を利用した信号予測に基づく予測信号に対して、それぞれ予測誤差を算出する予測誤差算出部９２２１ａ，９２２１ｂと、各予測誤差算出部９２２１ａ，９２２１ｂから得られる予測誤差を比較し、誤差の小さいほうを選択するよう比較するとともに、選択した予測モードを識別する選択フラグ情報を補助情報として伝送する比較部９２２１ｃとを備える。尚、選択スイッチ９２２１ｄは、比較部９２２１ｃによって切り替えが制御される。
【０１４４】
即ち、画面内予測／画面間予測／色信号間予測部９２２ｂは、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを適応的に選択して減算部９１７に送出する。
【０１４５】
この選択に係る情報（選択フラグ情報）は、補助情報として符号化装置から復号装置へと伝送するように構成される。
【０１４６】
このように、本実施例の符号化装置９０ｂは、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して従来のＭＰＥＧ等と同様の復号処理を施すが、従来のＭＰＥＧ等と同様の符号化処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを適応的に選択して予測信号を生成する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。
【０１４７】
次に、実施例６の符号化装置９０によって符号化したビットストリームを受信して復号する復号装置１００ｂを説明する。
【０１４８】
図１５は、本発明による実施例６の復号装置のブロック図である。本実施例の復号装置１００ｂは、復号部１１５１，１１５６と、復号変換部１１５２，１１５３とを備える点で、実施例５と同様であるが、復号変換部１１５３が、選択フラグ情報を受信して予測モードの切り替えを行う画面内予測／画面間予測／色信号間予測部１２１６ｂを備える点で相違する。
【０１４９】
画面内予測／画面間予測／色信号間予測部１２１６ｂは、符号化装置９０ｂから得られる選択フラグ情報に基づいて、Ｃ信号用画面内予測パラメータ／動きベクトルか、又は色間相関パラメータを選択して、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを、符号化側の選択と対応するように選択して予測信号を生成し、加算部１２１４に送出する。この選択フラグ情報は、補助情報として符号化装置から復号装置へと伝送することで実現することができる。
【０１５０】
このようにして、復号装置１００ｂは、第１コンポーネント信号（例えば、Ｙ信号）及び第２のコンポーネント信号（Ｃ信号）に対して従来のＭＰＥＧ等と同様の復号処理を施すが、第２のコンポーネント信号（例えば、Ｃ信号）に対しては、時空間の予測信号（画面内予測／画面間予測の予測信号）及びその予測パラメータ（画面内予測パラメータ又は動きベクトル）の組か、又は色信号間の相関に基づく予測信号（コンポーネント信号間の相関に基づく予測信号）及び色間相関パラメータの組のいずれかを適応的に選択して予測信号を生成する。これにより、従来の画像符号化よりもコンポーネント信号間の相関をより活用することができ、更なる画像圧縮を図ることができる。
【０１５１】
例えば、ＭＰＥＧ等の画面内予測又は画面間予測とは別に、色信号間相関予測を適用するにあたり、上記のごとく符号化対象信号に対する予測誤差に基づいて選択することで、画面内予測と色信号間相関予測のうち圧縮率が高いほうを選定したり、画面間予測と色信号間相関予測のうち圧縮率が高いほうを選定したりするように構成することができ、更なる画像圧縮を図ることができる。
【０１５２】
更に、本発明の一態様として、各実施例の符号化装置及び復号装置の各々をコンピュータとして構成させることができる。コンピュータに、前述した各実施例の符号化装置及び復号装置の各々における各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
【０１５３】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【０１５４】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【０１５５】
以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。例えば、実施例１〜５を組み合わせて別の実施例を構成することができる。
【産業上の利用可能性】
【０１５６】
本発明によれば、従来の画像符号化方式と比較して更なる圧縮が可能となるから、色空間のコンポーネント信号を符号化する符号化技術の用途に有用である。
【符号の説明】
【０１５７】
１  コンポーネント信号推定処理装置
１０  符号化装置
１１  コンポーネント信号格納部
１２  推定処理部
１３  サンプリングレート変換部
１４  比較部
２０  復号装置
３０  符号化装置
４０  復号装置
５０  符号化装置
６０  復号装置
７０  符号化装置
８０  復号装置
９０  符号化装置
９０ｂ  符号化装置
１００  復号装置
１００ｂ  復号装置
１０１  圧縮符号化部
１０２  Ｃ信号推定部
１１１  減算部
１１２  符号化部
１１３  局部復号部
１１４  加算部
１１５  画像メモリ
１１６  画面内予測／画面間予測部
２０１  復号部
２０２  復号変換部
２０３  Ｃ信号推定部
２１１  加算部
２１２  画像メモリ
２１３  画面内予測／画面間予測部
３０１  圧縮符号化部
３０２  圧縮符号化部
３０３  Ｃ残差信号推定部
３１１  減算部
３１２  符号化部
３１３  局部復号部
３１４  加算部
３１５  画像メモリ
３１６  画面内予測／画面間予測部
３１７  減算部
３１８  符号化部
３１９  局部復号部
３２０  加算部
３２１  画像メモリ
３２２  画面内予測／画面間予測部
４０１  復号部
４０２  復号変換部
４０３  Ｃ残差信号推定部
４０４  復号変換部
４１１  加算部
４１２  画像メモリ
４１３  画面内予測／画面間予測部
４１４  加算部
４１５  画像メモリ
４１６  画面内予測／画面間予測部
５０１  圧縮符号化部
５０２  圧縮符号化部
５０３  Ｃ信号推定部
５０４  Ｃ信号選択部
５１１  減算部
５１２  符号化部
５１３  局部復号部
５１４  加算部
５１５  画像メモリ
５１６  画面内予測／画面間予測部
５１７  減算部
５１８  符号化部
５１９  局部復号部
５２０  加算部
５２１  画像メモリ
５２２  画面内予測／画面間予測部
６０１  復号部
６０２  復号部
６０３  復号変換部
６０４  Ｃ信号推定部
６０５  Ｃ信号選択部
６０６  復号部
６１１  加算部
６１２  画像メモリ
６１３  画面内予測／画面間予測部
６１４  加算部
６１５  画像メモリ
６１６  画面内予測／画面間予測部
７０１  圧縮符号化部
７０２  圧縮符号化部
７０３  Ｃ残差信号推定部
７０４  Ｃ残差信号選択部
７１１  減算部
７１２  符号化部
７１３  局部復号部
７１４  加算部
７１５  画像メモリ
７１６  画面内予測／画面間予測部
７１７  減算部
７１８  符号化部
７１９  局部復号部
７２０  加算部
７２１  画像メモリ
７２２  画面内予測／画面間予測部
８０１  復号部
８０２  復号変換部
８０３  復号変換部
８０４  復号変換部
８０５  Ｃ残差信号推定部
８０６  Ｃ残差信号選択部
８０７  復号部
８１１  加算部
８１２  画像メモリ
８１３  画面内予測／画面間予測部
８１４  加算部
８１５  画像メモリ
８１６  画面内予測／画面間予測部
９０１  圧縮符号化部
９０２  圧縮符号化部
９１１  減算部
９１２  符号化部
９１３  局部復号部
９１４  加算部
９１５  画像メモリ
９１６  画面内予測／画面間予測部
９１７  減算部
９１８  符号化部
９１９  局部復号部
９２０  加算部
９２１  画像メモリ
９２２  画面内予測／画面間予測／色信号間予測部
９２２ｂ  画面内予測／画面間予測／色信号間予測部
１１５１  復号部
１１５２  復号変換部
１１５３  復号変換部
１１５６  復号部
１２１１  加算部
１２１２  画像メモリ
１２１３  画面内予測／画面間予測部
１２１４  加算部
１２１５  画像メモリ
１２１６  画面内予測／画面間予測／色信号間予測部
１２１６ｂ  画面内予測／画面間予測／色信号間予測部
９２２１  選択スイッチ
９２２１ａ，９２２１ｂ  予測誤差算出部
９２２１ｃ  比較部
９２２１ｄ  選択スイッチ
９２２２  画面内予測／画面間予測部
９２２３  色信号間予測信号生成部
９２２４  コンポーネント信号格納部
９２２５  推定処理部
【図１】
2011193363.tif 000003
【図２】
2011193363.tif 000004
【図３】
2011193363.tif 000005
【図４】
2011193363.tif 000006
【図５】
2011193363.tif 000007
【図６】
2011193363.tif 000008
【図７】
2011193363.tif 000009
【図８】
2011193363.tif 000010
【図９】
2011193363.tif 000011
【図１０】
2011193363.tif 000012
【図１１】
2011193363.tif 000013
【図１２】
2011193363.tif 000014
【図１３】
2011193363.tif 000015
【図１４】
2011193363.tif 000016
【図１５】
2011193363.tif 000017
【図１６】
2011193363.tif 000018