(57)【要約】【課題】動画像のコンポーネント信号を修正する信号修正装置、符号化装置、及び復号装置を提供する。【解決手段】本発明の第１態様の信号修正装置１０は、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成する教師信号生成部１１と、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成する修正判断部１２と、前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理部１３と、を備える。【選択図】図１
2011166623.tif 000002
【特許請求の範囲】
【請求項１】
画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成する教師信号生成手段と、
前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成する修正判断手段と、
前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理手段と、
を備えることを特徴とする信号修正装置。
【請求項２】
前記教師信号生成手段は、前記第１のコンポーネント信号に対して前記第２のコンポーネント信号の交流エネルギーを基に正規化を施して、前記第２のコンポーネント信号の教師信号を生成することを特徴とする、請求項１に記載の信号修正装置。
【請求項３】
前記教師信号生成手段は、
非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号として入力する手段と、
前記復号信号のうちの第１のコンポーネント信号に対して前記基準信号における第２のコンポーネント信号の交流エネルギーを基に正規化を施して、前記復号信号のうちの第２のコンポーネント信号の教師信号を生成することを特徴とする、請求項１に記載の信号修正装置。
【請求項４】
前記フラグ情報は、各コンポーネント信号の信号要素について、信号要素単位か、又は分割したブロック単位の修正箇所を表すことを特徴とする、請求項１〜３のいずれか一項に記載の信号修正装置。
【請求項５】
前記教師信号生成手段は、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正量を表す正規化パラメータを生成する手段を有することを特徴とする、請求項１〜４のいずれか一項に記載の信号修正装置。
【請求項６】
請求項１〜５のいずれか一項に記載の信号修正装置を備える符号化装置。
【請求項７】
画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成する教師信号生成手段と、
修正すべき信号要素の修正箇所を表すフラグ情報を入力して、前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理手段と、
を備えることを特徴とする信号修正装置。
【請求項８】
前記教師信号生成手段は、前記第１のコンポーネント信号に対して前記第２のコンポーネント信号の交流エネルギーを基に正規化を施して、前記第２のコンポーネント信号の教師信号を生成することを特徴とする、請求項７に記載の信号修正装置。
【請求項９】
前記教師信号生成手段は、
修正すべき信号要素の修正量を表す正規化パラメータを入力する手段と、
前記復号信号のうちの第１のコンポーネント信号に対して前記正規化パラメータを基に、前記復号信号のうちの第２のコンポーネント信号の教師信号を生成することを特徴とする、請求項７に記載の信号修正装置。
【請求項１０】
請求項７〜９のいずれか一項に記載の信号修正装置を備える復号装置。
【請求項１１】
画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置として構成するコンピュータに、
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成するステップと、
前記復号信号のうちの前記第２のコンポーネント信号と、該教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成するステップと、
前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成するステップと、
を実行させるためのプログラム。
【請求項１２】
画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置として構成するコンピュータに、
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成するステップと、
前記復号信号のうちの前記第２のコンポーネント信号と、該教師信号との間で信号要素の比較を行って生成された、修正すべき信号要素の修正箇所を表すフラグ情報を入力して、前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、非可逆な符号化方式によって符号化され、符号化劣化を生じた画像信号を修正する信号修正装置、符号化装置、復号装置及びプログラムに関する。
【背景技術】
【０００２】
画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている（例えば、非特許文献１参照）。このようなイメージセンサにおける画像信号の補間技術は、ＲＧＢ色空間におけるＲＧＢ信号（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号）の補間を目的としているため、符号化による信号劣化について想定されていない。
【０００３】
また、ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術として、フォーマットカラー画像の色差成分補間技術が報告されている（例えば、非特許文献２参照）。この技術では、輝度（Ｙ）信号のサンプリング周波数の高さを利用して色差信号（Ｕ信号＝Ｂ−Ｙ，Ｖ信号＝Ｒ−Ｙ）の補間信号を生成することによって高精度な補間を行う。このようなＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術も、ＹＵＶ信号の補間を目的としているため、符号化による信号劣化について想定されていない。
【０００４】
これらの信号補間技術は、非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適しているが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処理によってＹＵＶ信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない。
【０００５】
また、符号化の劣化を低減するために、さまざまなデブロッキングフィルタ（例えば、Ｈ．２６４等におけるデブロッキングフィルタ）があるが、これらのデブロッキングフィルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するものであり、元の画像信号に対する符号化後の劣化を低減させることはできない。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】久野、杉浦、「単板原色イメージセンサにおける画素補間方式の高精度化」、映像情報メディア学会誌、Ｖｏｌ．６１、Ｎｏ．７、２００７年７月１日、ｐｐ．１００６〜１０１６
【非特許文献２】杉田、田口、「ＹＵＶ４：２：０フォーマットカラー画像の色差成分補間法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８８−Ａ、Ｎｏ．６、２００５年６月１日、ｐｐ．７５１〜７６０
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した従来からの信号補間技術では、符号化時に生じた信号劣化に基づいて信号補間を行うため、符号化前のＹＵＶ信号に対する劣化を低減させる効果を奏するものではない。
【０００８】
また、復号された画像の同一領域を表現するコンポーネント信号間を比較して修正するとしても、符号化前のＹＵＶ信号に対して必ずしも正しい修正となるとは限らない。
【０００９】
本発明の目的は、上述のような問題に鑑みて、符号化前のＹＵＶ信号に対して正しい修正を可能とする信号修正装置、符号化装置、復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の信号修正装置は、符号化時に生じた信号劣化を、復号された画像の同一領域を表現するコンポーネント信号（以下、代表的に、ＹＵＶ信号について説明する）間を比較するとともに、符号化前のＹＵＶ信号（以下、「基準ＹＵＶ信号」と称する）に基づいて修正すべきコンポーネント信号の信号要素（例えば、ブロックの画素値又は直交変換係数）を判別して、コンポーネント信号の信号要素の修正箇所を表すフラグ情報及び／又はコンポーネント信号の信号要素の修正量を表す正規化パラメータを生成し、修正したＹＵＶ信号とは別に、これらのフラグ情報及び／又は正規化パラメータを伝送するように構成される。尚、コンポーネント信号は、ＲＧＢ，ＹＣｒＣｂ，ＬＵＶ，Ｌａｂ，ＸＹＺなどの如何なる色空間のものでもよい。
【００１１】
即ち、本発明の第１態様の信号修正装置は、画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号（後述する被修正ＹＵＶ信号）のうちの第１のコンポーネント信号（例えば、輝度信号）を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号（例えば、色差信号）の教師信号として生成する教師信号生成手段と、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成する修正判断手段と、前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理手段と、を備えることを特徴とする。
【００１２】
また、本発明の第１態様の信号修正装置において、前記教師信号生成手段は、前記第１のコンポーネント信号（例えば、輝度信号）に対して前記第２のコンポーネント信号の交流エネルギーを基に正規化を施して、前記第２のコンポーネント信号の教師信号を生成することを特徴とする。
【００１３】
また、本発明の第１態様の信号修正装置において、前記教師信号生成手段は、非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号（後述する基準ＹＵＶ信号）として入力する手段と、前記復号信号のうちの第１のコンポーネント信号（例えば、輝度信号）に対して前記基準信号における第２のコンポーネント信号（例えば、色差信号）の交流エネルギーを基に正規化を施して、前記復号信号のうちの第２のコンポーネント信号の教師信号を生成することを特徴とする。
【００１４】
また、本発明の第１態様の信号修正装置において、前記フラグ情報は、各コンポーネント信号の信号要素について、信号要素単位か、又は分割したブロック単位の修正箇所を表すことを特徴とする。
【００１５】
また、本発明の第１態様の信号修正装置において、前記教師信号生成手段は、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正量を表す正規化パラメータを生成する手段を有することを特徴とする。
【００１６】
更に、第１態様の信号修正装置は、コンピュータで構成することができる。
【００１７】
更に、本発明の第２態様の信号修正装置は、画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号（後述する被修正ＹＵＶ信号）のうちの第１のコンポーネント信号（例えば、輝度信号）を入力して正規化し、正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号（例えば、色差信号）の教師信号として生成する教師信号生成手段と、前記復号信号のうちの前記第２のコンポーネント信号と、（前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行って生成された）修正すべき信号要素の修正箇所を表すフラグ情報を入力して、前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理手段と、を備えることを特徴とする。
【００１８】
また、本発明の第２態様の信号修正装置において、前記教師信号生成手段は、前記第１のコンポーネント信号（例えば、輝度信号）に対して前記第２のコンポーネント信号の交流エネルギーを基に正規化を施して、前記第２のコンポーネント信号の教師信号を生成することを特徴とする。
【００１９】
また、本発明の第２態様の信号修正装置において、前記教師信号生成手段は、（前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行って生成された）修正すべき信号要素の修正量を表す正規化パラメータを入力する手段と、前記復号信号のうちの第１のコンポーネント信号（例えば、輝度信号）に対して前記正規化パラメータを基に、前記復号信号のうちの第２のコンポーネント信号の教師信号を生成することを特徴とする。
【００２０】
更に、第２態様の信号修正装置は、コンピュータで構成することができる。
【発明の効果】
【００２１】
本発明によれば、符号化前のＹＵＶ信号を基準にしてＹＵＶ信号を修正するため、本発明を適用しない場合と比較して画像劣化をより低減させることができるようになる。
【図面の簡単な説明】
【００２２】
【図１】本発明による一実施例の符号化側信号修正装置のブロック図である。
【図２】本発明による一実施例の符号化側信号修正装置のブロック図である。
【図３】本発明による一実施例の符号化側信号修正装置における、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する構成例を示す図である。
【図４】（ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示し、（ｂ）は、４：２：０フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示す図である。
【図５】（ａ）は、４：２：２フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示し、（ｂ）は、４：２：２フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示す図である。
【図６】本発明による一実施例の符号化側信号修正装置を適用した符号化装置の概略図である。
【図７】本発明による一実施例の復号側信号修正装置のブロック図である。
【図８】本発明による一実施例の復号側信号修正装置のブロック図である。
【図９】本発明による一実施例の復号側信号修正装置における、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する構成例を示す図である。
【図１０】本発明による一実施例の復号側信号修正装置を適用した復号装置の概略図である。
【図１１】本発明による一実施例の符号化側信号修正装置の動作フローである。
【図１２】本発明による一実施例の復号側信号修正装置の動作フローである。
【図１３】（ａ）は、コンポーネント信号の信号要素について信号要素単位で修正する例を示す図であり、（ｂ）は、コンポーネント信号の信号要素について分割したブロック単位で修正する例を示す図である。
【図１４】被修正ＹＵＶ信号における輝度信号及び色差信号と、修正後のＹＵＶ信号の関係を例示する図である。
【図１５】本発明による変形例の符号化側信号修正装置のブロック図である。
【図１６】（ａ）は、フレーム画像における４：２：２フォーマットの信号例を示す図であり、（ｂ）は、フレーム画像における４：２：０フォーマットの信号例を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明による一実施例の信号修正装置について説明する。
【００２４】
まず、本発明の理解のために、画像符号化で用いられる一般的な画像フォーマットについて説明する。一般に、画像符号化では、人間の知覚における輝度及び色差に対する感度の違いから、異なる画素サイズの信号の組み合わせで１フレームの画像フレームを構成する。このような画像フォーマットとして、図１６（ａ）に示すように、フレーム画像Ｆにおける画素Ｓ１について、４：２：２フォーマット（水平方向にて、輝度信号（Ｙ）の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）や、図１６（ｂ）に示すように、フレーム画像Ｆにおける画素Ｓ２について、４：２：０フォーマット（水平及び垂直方向にて、輝度信号の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）などがある。
【００２５】
このような画像信号を、ＭＰＥＧなどの代表的なブロック符号化では、輝度信号と色差信号の区別なく一定の画素数ごとに符号化を行う。このため、輝度信号及び色差信号の符号化ブロックの占める画像範囲は異なることになり、符号化劣化の生じる範囲も異なることになる。
【００２６】
輝度信号及び色差信号が表現する各サンプリング数の違いは、輝度信号と色差信号のサンプリング周波数が異なることを意味する。例えば、４：２：２フォーマットの場合、１６×１６画素の輝度信号で構成される画像範囲に対応する２つの色差信号（Ｕ信号及びＶ信号）は、それぞれ８×１６画素で構成される。従って、４：２：２フォーマットの場合、水平方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。同様に、４：２：０フォーマットの場合、水平及び垂直方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。
【００２７】
以下の説明では、代表的に、基準ＹＵＶ信号（基準となる色差信号）に基づいて、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）の信号要素を、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）から生成した教師信号の信号要素で修正することにより、修正後のＹＵＶ信号（修正された色差信号）を得る例について説明する。
【００２８】
尚、図１６で示す各コンポーネント信号間の関係から、基準ＹＵＶ信号（基準となる輝度信号）に基づいて、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）と、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）とを比較して、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）の信号要素を被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）の信号要素で修正することにより、修正後のＹＵＶ信号（修正された輝度信号）を得ることもできる。従って、輝度信号及び色差信号の双方を、輝度信号及び色差信号間の相関から互いに修正することができる。
【００２９】
また、以下の説明では、ＹＵＶ信号は、図１６に示すような、サンプリング周波数が異なる輝度信号及び色差信号からなる例を説明する。尚、基準ＹＵＶ信号は、符号化前のＹＵＶ信号と考えてよく、被修正ＹＵＶ信号は、符号化されたＹＵＶ信号の復号信号と考えてよい。
【００３０】
図１に、本発明による一実施例の符号化側信号修正装置１０のブロック図を示す。符号化側信号修正装置１０は、教師信号生成部１１と、修正判断部１２と、修正処理部１３とを備える。
【００３１】
符号化側信号修正装置１０は、例えば非可逆な符号化方式で符号化された画像信号を復号するデコーダ（図示せず）から出力される所定の画像フォーマットの被修正ＹＵＶ信号を入力し、基準ＹＵＶ信号を利用して、輝度信号及び色差信号の符号化劣化を抑制しつつ、当該所定の画像フォーマットに従う新たなＹＵＶ信号（修正された輝度信号及び色差信号）を生成する。
【００３２】
即ち、教師信号生成部１１は、被修正ＹＵＶ信号のうちの輝度信号を入力して正規化し、正規化した輝度信号を色差信号の教師信号として生成し、修正判断部１２及び修正処理部１３に送出する。ここでの被修正ＹＵＶ信号のうちの輝度信号の正規化処理は、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号及び／又はＶ信号）に対して、交流エネルギーを合わせるように例えば線形変換することで生成する。
【００３３】
修正判断部１２は、被修正ＹＵＶ信号のうちの色差信号を入力して、教師信号生成部１１から入力される教師信号との間で、信号要素（例えば、ブロック内の画素値又は直交変換係数）の比較を行い、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を表すフラグ情報を生成して符号化側信号修正装置１０の外部に送出するとともに、修正処理部１３に送出する。この比較処理にあたって、基準ＹＵＶ信号の信号要素が本来の正しい信号であるために、この場合、基準ＹＵＶ信号のうちの色差信号の信号要素に基づいて、被修正ＹＵＶ信号のうちの色差信号について教師信号の信号要素で修正して（例えば、置き換えて）修正すべき信号要素の修正箇所（座標）を特定する。
【００３４】
修正処理部１３は、被修正ＹＵＶ信号のうちの色差信号を入力して、修正判断部１２から入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を教師信号の信号要素で修正して（例えば、置き換えて）、修正後の色差信号を含むＹＵＶ信号を外部に送出する。
【００３５】
これにより、符号化側信号修正装置１０からの信号を受信する受信側では、修正後の色差信号を含むＹＵＶ信号を受信した際に、基準ＹＵＶ信号の信号要素に対して、どの信号のどの信号要素が修正されたかをフラグ情報で知ることができる。
【００３６】
図２に、本発明による一実施例の符号化側信号修正装置２０のブロック図を示す。図１と同様な構成要素には同一の参照番号を付して説明する。符号化側信号修正装置２０は、教師信号生成部１１と、修正判断部１２と、修正処理部１３とを備える点で図１のものと同様であるが、符号化側信号修正装置２０における教師信号生成部１１は、被修正ＹＵＶ信号のうちの輝度信号を入力して正規化し、正規化した輝度信号を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する基準ＹＵＶ信号における色差信号の信号要素との間の違いによって生じる修正量を表す正規化パラメータを生成し、符号化側信号修正装置１０の外部に送出する点で相違する。また、図２に示す符号化側信号修正装置２０の教師信号は、図１に示す符号化側信号修正装置１０の教師信号のように、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号及び／又はＶ信号）に対して交流エネルギーを合わせるように例えば線形変換することで生成されるものとは相違して、基準ＹＵＶ信号のうちの色差信号（Ｕ信号及び／又はＶ信号）に対して交流エネルギーを合わせるように例えば線形変換することで生成される。尚、この双方の信号要素間の違いによって生じる修正量とは、最も簡単な例として、線形変換のパラメータとすることができる。
【００３７】
例えば、色差信号の教師信号の信号要素（Ｙ）を、対応する基準ＹＵＶ信号における色差信号の信号要素（Ｘ）で近似するにあたって、Ｙ＝ａＸ＋ｂの近似関数を用いる場合、正規化パラメータａ，ｂを得ることができる。
【００３８】
従って、符号化側信号修正装置２０は、修正処理部１３によって、被修正ＹＵＶ信号のうちの色差信号を入力して、修正判断部１２から入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を教師信号の信号要素で修正して（例えば、置き換えて）、修正後の色差信号を含むＹＵＶ信号を外部に送出する際に、修正判断部１２及び教師信号生成部１１から、それぞれ基準ＹＵＶ信号に基づいて生成されたコンポーネント信号の信号要素の修正箇所を表すフラグ情報及びコンポーネント信号の信号要素の修正量を表す正規化パラメータを送出する。
【００３９】
これにより、符号化側信号修正装置２０からの信号を受信する受信側では、修正後の色差信号を含むＹＵＶ信号を受信した際に、どの信号のどの信号要素が修正されたかをフラグ情報で知ることができ、且つ修正された信号要素に対してどれだけの修正量を加えれば基準ＹＵＶ信号の信号要素に近づくものとなるかを正規化パラメータで知ることができる。
【００４０】
従って、以下、最も好適な符号化側信号修正装置２０の構成を基に、より詳細な具体例を説明する。
【００４１】
図３は、符号化側信号修正装置２０について、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する例である。図２と対比して説明するに、教師信号生成部１１は、サンプリングレート変換部１１ａと、第３直交変換部１１ｂと、正規化処理部１１ｃからなる。修正判断部１２は、第２直交変換部１２ａと、比較部１２ｂからなる。修正処理部１３は、第１直交変換部１３ａと、直交変換係数置換部１３ｂと、逆直交変換部１３ｃからなる。
【００４２】
サンプリングレート変換部１１ａは、本例の場合、被修正ＹＵＶ信号のうちの輝度信号を対応する色差信号のサンプリングレートまでダウンコンバートして第３直交変換部１１ｂに送出する。尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合には、サンプリングレート変換部１１ａは、被修正ＹＵＶ信号のうちの色差信号を対応する輝度信号のサンプリングレートまでアップコンバートして第３直交変換部１１ｂに送出する。
【００４３】
前述したように、符号化処理の最小単位となる１つの輝度信号の画素ブロック（８×８画素）と１つの色差信号の画素ブロック（８×８画素）は、輝度信号と色差信号のサンプリング数の違いから表現される画像範囲は異なる。量子化による劣化は、８×８画素の画素ブロックごとに異なり、それぞれのブロックの劣化の傾向は無相関であるから、特に画素ブロックの境界において視覚的に顕著な劣化が生じうる。
【００４４】
しかしながら、符号化後の色差信号の面積が、符号化後の輝度信号の面積に比べ水平（又は水平及び垂直）に２倍の面積であることを考慮すれば、この色差信号から、対応する輝度信号の隣接画素ブロック間の信号の相関を知ることができる。また、輝度信号のサンプリング数は色差信号に比べて多く、高解像度であるため、符号化劣化を含む輝度信号を色差信号のサンプリングレートまでダウンコンバートして劣化を低減させ、この劣化低減させた輝度信号を色差信号の教師信号とすることによって色差信号の復元を行うことができる。従って、輝度信号及び色差信号の相互の相関比較のためには、輝度信号及び色差信号のサンプリングレートを同一にするのが好適である。
【００４５】
尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合に、サンプリングレート変換部１１ａは、被修正ＹＵＶ信号における２つの色差信号のうちのいずれか一方、又は双方の色差信号を変換するように予め規定される。
【００４６】
第３直交変換部１１ｂは、本例の場合、サンプリングレート変換部１１ａから入力されるダウンコンバートした輝度信号に対して、第１直交変換部１３ａで用いる直交変換処理と同様の直交変換を施し、得られたダウンコンバート後の輝度信号の直交変換係数を正規化処理部１１ｃに送出する。
【００４７】
第２直交変換部１２ａは、入力される基準ＹＵＶ信号のうちの色差信号に対して、第１直交変換部１３ａで用いる直交変換処理と同様の直交変換を施し、得られた色差信号の直交変換係数を正規化処理部１１ｃ及び比較部１２ｂに送出する。
【００４８】
正規化処理部１１ｃは、第３直交変換部１１ｂからダウンコンバート後の輝度信号の直交変換係数を入力し、これとは別に入力される基準ＹＵＶ信号の色差信号の直交変換係数の各値に交流エネルギーを合わせるように調整（例えば線形変換）することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成し、比較部１２ｂ及び直交変換係数置換部１３ｂに送出する。また、正規化処理部１１ｃは、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する基準ＹＵＶ信号における色差信号の信号要素との間の違いによって生じる修正量を表す正規化パラメータを生成し、符号化側信号修正装置２０の外部に送出する。
【００４９】
第１直交変換部１３ａは、本例の場合、入力される被修正ＹＵＶ信号のうちの色差信号に対して、所定の直交変換処理（例えば、ＤＣＴ）を施し、得られた色差信号の直交変換係数を直交変換係数置換部１３ｂ及び比較部１２ｂに送出する。
【００５０】
比較部１２ｂは、第１直交変換部１３ａから被修正ＹＵＶ信号のうちの色差信号の直交変換係数を入力して、正規化処理部１１ｃから入力される教師信号の直交変換係数との間で、信号要素（本例では、直交変換係数）の比較を行い、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を表すフラグ情報を生成して符号化側信号修正装置２０の外部に送出するとともに、直交変換係数置換部１３ｂに送出する。この比較処理にあたって、比較部１２ｂに入力される基準ＹＵＶ信号の信号要素が本来の正しい信号であるために、この場合、基準ＹＵＶ信号のうちの色差信号の信号要素に基づいて、被修正ＹＵＶ信号のうちの色差信号について教師信号の信号要素で修正すべき信号要素の修正箇所（座標）を特定する。
【００５１】
直交変換係数置換部１３ｂは、第１直交変換部１３ａから被修正ＹＵＶ信号のうちの色差信号の直交変換係数を入力して、比較部１２ｂから入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき直交変換係数の修正箇所（座標）を教師信号の直交変換係数で修正して（例えば、置き換えて）、修正後の色差信号の直交変換係数を逆直交変換部１３ｃに送出する。
【００５２】
逆直交変換部１３ｃは、直交変換係数置換部１３ｂから入力される修正後の色差信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、外部に送出する。上記は、輝度信号から色差信号を修正する場合について説明したが、輝度信号から色差信号を修正する場合も同様である。
【００５３】
図４及び図５は、この符号化側信号修正装置２０における一連の処理動作を模式的に示した図である。図４（ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示しており、図４（ｂ）は、４：２：０フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示している。図５（ａ）は、４：２：２フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示しており、図５（ｂ）は、４：２：２フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示している。
【００５４】
これにより、本実施例の符号化側信号修正装置２０によれば、非可逆な符号化方式で符号化を経て復号された画像信号（被修正ＹＵＶ信号）であっても、基準ＹＵＶ信号に基づいて画像劣化の少ない画像信号（修正後のＹＵＶ信号）として修正することができ、符号化に起因して生じていた画像劣化をより低減させることができるようになる。
【００５５】
尚、ＭＰＥＧ−２やＭＰＥＧ−４ＡＶＣ／Ｈ．２６４など多くの符号化方式における直交変換としてＤＣＴが用いられているが、本実施例の信号修正装置によれば、一般的に用いられている画像信号の輝度信号と色差信号のサンプリング周波数の違いを利用するものであるから、任意の符号化方式に適用することができる。特に、非可逆な符号化方式によって劣化した画像を入力して、その符号化方式による劣化を回復させることを目的とする場合には、入力に用いた符号化方式と同じ直交変換を用いることによって、より劣化低減の効果を発揮することになる。
【００５６】
以下、本実施例の符号化側信号修正装置２０を、動画像用の符号化装置に適用した場合について説明する。
【００５７】
［符号化装置］
一般的に動画像の符号化では動き補償予測、直交変換、量子化、可変長符号化によって画像を符号化する。動き補償予測を用いる符号化方式の場合、復号された画像を予測に用いるため符号化装置内に復号装置を内包しており、この復号装置の出力に対して本実施例の信号修正装置を適用することができる。
【００５８】
本実施例の符号化側信号修正装置２０を、動画像用の符号化装置６０に適用した場合における例を図６に示す。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明する。
【００５９】
符号化装置６０は、本実施例の符号化側信号修正装置２０と、並べ替え部１１２と、減算部１１３と、直交変換部１１４と、量子化部１１５と、可変長符号化部１１６と、逆量子化部１１７と、逆直交変換部１１８と、フレームメモリ１２１と、動き補償予測部１２２と、加算部１２３とを備える。尚、本実施例に係る符号化装置６０は、既知の符号化装置（例えば、ＭＰＥＧ−２，Ｈ．２６４用の符号化装置）に対して、本実施例の符号化側信号修正装置２０が追加されたものである。尚、本実施例の符号化側信号修正装置２０は、いわゆるイントラ予測及び動き補償予測に提供できるが、代表的に、動き補償予測を行う例について説明する。
【００６０】
並べ替え部１１２は、画素ごとの画素値の並びとして構成される画像信号（例えばイメージセンサ出力）についてフレーム画像として並べ替えを行って、フレーム画像を構成する入力画像信号を減算部１１３及び動き補償予測部１２２に送出する。
【００６１】
動き補償予測部１２２は、並べ替え部１１２から供給される入力画像信号に対して、フレームメモリ１２１から符号化側信号修正装置２０を経て取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を減算部１１３及び加算部１２３に出力する。動きベクトルの情報は、可変長符号化部１６に送出される。
【００６２】
減算部１１３は、並べ替え部１１２からの入力画像信号と、動き補償予測部１２２からの予測画像との差分信号を生成して直交変換部１１４に送出する。
【００６３】
直交変換部１１４は、減算部１１３から供給される差分信号に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ）を施し、量子化部１１５に送出する。
【００６４】
量子化部１１５は、直交変換部１１４から供給される小領域の画素ブロックに対応する量子化テーブルを選択して量子化処理を行い、可変長符号化部１１６及び逆量子化部１１７に送出する。
【００６５】
可変長符号化部１１６は、量子化部１１５から供給される量子化信号について可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部１２２から供給される動きベクトルの情報も可変長符号化を施して出力する。
【００６６】
逆量子化部１１７は、量子化部１１５から供給される量子化信号について逆量子化処理を行って逆直交変換部１１８に出力する。
【００６７】
逆直交変換部１１８は、逆量子化部１１７から供給される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ）を施し、加算部１２３に出力する。
【００６８】
加算部１２３では、逆直交変換部１１８から得られる逆直交変換した信号と、動き補償予測部１２２から得られる予測画像とを加算処理して復号画像を生成し、フレームメモリ１２１に格納する。
【００６９】
ここで、図６における符号化側信号修正装置２０は、被修正ＹＵＶ信号をフレームメモリ１２１から取得でき、基準ＹＵＶ信号を並び替え部１１２から取得することができる。図６における符号化側信号修正装置２０は、基準ＹＵＶ信号に基づいて被修正ＹＵＶ信号に対して前述した修正処理を施し、フラグ情報（及び正規化パラメータ）を可変長符号化部１１６に送出する。可変長符号化部１１６は、フラグ情報及び正規化パラメータに対して符号化を施してもよいし、符号化を施さずに伝送することもできる。
【００７０】
このように、符号化装置６０で符号化側信号修正装置１０，２０を適用することで、基準ＹＵＶ信号に基づいて、被修正ＹＵＶ信号と教師信号を比較して、被修正ＹＵＶ信号のうちのコンポーネント信号の信号要素を該コンポーネント信号とは別のコンポーネント信号から生成した教師信号の信号要素で修正することにより、元信号に対して、より近似した正しい修正後のＹＵＶ信号を得ることもできる。
【００７１】
次に、フラグ情報（及び正規化パラメータ）を用いて被修正ＹＵＶ信号を修正する復号側信号修正装置７０，８０を順に説明する。
【００７２】
以下の説明では、フラグ情報（及び正規化パラメータ）に基づいて、代表的に、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）の信号要素を、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）から生成した教師信号の信号要素で修正することにより、修正後のＹＵＶ信号（修正された色差信号）を得る例について説明する。また、ＹＵＶ信号は、図１６に示すような、サンプリング周波数が異なる輝度信号及び色差信号からなる例を説明する。
【００７３】
尚、図１６で示す各コンポーネント信号間の関係から、入力されるフラグ情報（及び正規化パラメータ）に基づいて、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）を被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）で修正することにより、修正後のＹＵＶ信号（修正された輝度信号）を得ることもできる。従って、輝度信号及び色差信号の双方を、輝度信号及び色差信号間の相関から互いに修正することができる。
【００７４】
まず、図７に示す復号側信号修正装置７０は、図１に示す復号側信号修正装置１０に対応する装置であり、教師信号生成部７１と修正処理部７２とを備える。修正処理部７２は、符号化側の修正処理部１３と同様の動作であり、被修正ＹＵＶ信号を入力し、入力されるフラグ情報に基づいて、被修正ＹＵＶ信号の或るコンポーネント信号の信号要素を教師信号生成部７１から得られる教師信号の信号要素に修正して（例えば、置き換えて）、修正後のＹＵＶ信号を生成する。教師信号生成部７１は、被修正ＹＵＶ信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を正規化し、教師信号として修正処理部７２に送出する。図７に示す復号側信号修正装置７０は、基準ＹＵＶ信号のコンポーネント信号に対して修正すべき信号要素の座標情報としてフラグ情報を用いて修正するものであるから、信号要素の修正箇所に対しては正確性を維持する。しかしながら、図７に示す教師信号生成部７１が生成する教師信号は、図１と同様に、被修正ＹＵＶ信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を、被修正ＹＵＶ信号の該コンポーネント信号を用いて正規化（例えば、交流エネルギーを合わせるように線形変換）することで生成するため、修正箇所は正確であっても修正量の観点からは、基準ＹＵＶ信号のコンポーネント信号に対して誤差を生じうる。
【００７５】
そこで、図８に示す復号側信号修正装置８０は、図２に示す符号化側信号修正装置２０に対応する装置であり、正規化パラメータを入力して教師信号を生成する教師信号生成部７１として構成される。
【００７６】
すなわち、図８に示す復号側信号修正装置８０の修正処理部７２は、図７に示す修正処理部７２と同様の動作であり、被修正ＹＵＶ信号を入力し、入力されるフラグ情報に基づいて、被修正ＹＵＶ信号の或るコンポーネント信号の信号要素を教師信号生成部７１から得られる教師信号の信号要素に修正して（例えば、置き換えて）、修正後のＹＵＶ信号を生成する。一方で、図８に示す復号側信号修正装置８０の教師信号生成部７１は、被修正ＹＵＶ信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を、正規化パラメータを用いて正規化し、教師信号として修正処理部７２に送出する点で、図７に示すものとは相違する。即ち、図８に示す復号側信号修正装置８０の教師信号生成部７１は、図２と同様に、被修正ＹＵＶ信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を、基準ＹＵＶ信号に対応する修正が可能な正規化パラメータを用いて正規化（例えば、交流エネルギーを合わせるように線形変換）することで教師信号を生成する。これにより、図８に示す復号側信号修正装置８０は、信号要素の修正箇所および修正量に対して正確性を維持する。
【００７７】
従って、以下、最も好適な復号側信号修正装置８０の構成を基に、より詳細な具体例を説明する。
【００７８】
図９は、復号側信号修正装置８０について、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する例である。図８と対比して説明するに、教師信号生成部７１は、サンプリングレート変換部７１ａと、第２直交変換部７１ｂと、正規化処理部７１ｃからなる。修正処理部７２は、第１直交変換部７２ａと、直交変換係数置換部７２ｂと、逆直交変換部７２ｃからなる。
【００７９】
サンプリングレート変換部７１ａは、本例の場合、被修正ＹＵＶ信号のうちの輝度信号を対応する色差信号のサンプリングレートまでダウンコンバートして第２直交変換部７１ｂに送出する。尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合には、サンプリングレート変換部７１ａは、被修正ＹＵＶ信号のうちの色差信号を対応する輝度信号のサンプリングレートまでアップコンバートして第２直交変換部７１ｂに送出する。
【００８０】
尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合に、サンプリングレート変換部７１ａは、被修正ＹＵＶ信号における２つの色差信号のうちのいずれか一方、又は双方の色差信号を変換するように予め規定され、符号化側と復号側で同一になるように規定するのが好適である。
【００８１】
第２直交変換部７１ｂは、本例の場合、サンプリングレート変換部７１ａから入力されるダウンコンバートした輝度信号に対して、第１直交変換部７２ａで用いる直交変換処理と同様の直交変換を施し、得られたダウンコンバート後の輝度信号の直交変換係数を正規化処理部７１ｃに送出する。符号化側と復号側で同一の直交変換タイプになるように規定するのが好適である。
【００８２】
正規化処理部７１ｃは、第２直交変換部７１ｂからダウンコンバート後の輝度信号の直交変換係数を入力し、これとは別に入力される正規化パラメータによって、基準ＹＵＶ信号の色差信号の直交変換係数の各値に交流エネルギーを合わせるように調整（例えば線形変換）することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成し、直交変換係数置換部７２ｂに送出する。また、正規化パラメータは、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する基準ＹＵＶ信号における色差信号の信号要素との間の違いによって生じる修正量を表すものとして、図２に示す符号化側信号修正装置２０から得られる。
【００８３】
第１直交変換部７２ａは、本例の場合、入力される被修正ＹＵＶ信号のうちの色差信号に対して、所定の直交変換処理（例えば、ＤＣＴ）を施し、得られた色差信号の直交変換係数を直交変換係数置換部７２ｂに送出する。
【００８４】
直交変換係数置換部７２ｂは、第１直交変換部７２ａから被修正ＹＵＶ信号のうちの色差信号の直交変換係数を入力して、別途入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき直交変換係数の修正箇所（座標）を、正規化処理部７１ｃから得られる教師信号の直交変換係数で修正して（例えば、置き換えて）、修正後の色差信号の直交変換係数を逆直交変換部７２ｃに送出する。
【００８５】
逆直交変換部７２ｃは、直交変換係数置換部７２ｂから入力される修正後の色差信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、外部に送出する。上記は、輝度信号から色差信号を修正する場合について説明したが、輝度信号から色差信号を修正する場合も同様である。
【００８６】
以下、本実施例の復号側信号修正装置８０を、動画像用の復号装置に適用した場合について説明する。
【００８７】
［復号装置］
本実施例の復号側信号修正装置８０を、動画像用の復号装置９０に適用した場合における例を図１０に示す。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明する。
【００８８】
本実施例に係る復号装置９０は、可変長復号部１３２と、逆量子化部１３３と、逆直交変換部１３４と、加算部１３５と、復号側信号修正装置８０と、フレームメモリ１３６と、動き補償予測部１３７と、並べ替え部１３８とを備える。尚、本実施例に係る復号装置９０は、既知の復号装置（例えば、ＭＰＥＧ−２，Ｈ．２６４用の復号装置）に対して、本実施例の復号側信号修正装置８０が追加されたものである。
【００８９】
可変長復号部１３２は、符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部１３３に送出するとともに、動きベクトルの情報を復号して動き補償予測部１３７に送出する。また、可変長復号部１３２は、フラグ情報及び正規化パラメータを復号側信号修正装置８０に送出する。
【００９０】
逆量子化部１３３は、可変長復号部１３２から供給される量子化信号に対して逆量子化処理を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部１３４に送出する。
【００９１】
逆直交変換部１３４は、逆量子化部１３３から供給される差分信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分信号を加算部１３５に送出する。
【００９２】
動き補償予測部１３７は、フレームメモリ１３６から得られる参照画像と可変長復号部１３２から得られる動きベクトルとを用いて予測画像を生成し、加算部１３５に出力する。
【００９３】
加算部１３５は、逆直交変換部１３４から得られる当該差分信号と、動き補償予測部１３７から供給される予測画像とを加算して画像信号を復元し、復元した画像信号を本実施例に係る復号装置９０における復号側信号修正装置８０に送出する。
【００９４】
復号装置９０における復号側信号修正装置８０は、加算部１３５から得られる画像信号を上述したように符号化劣化を抑制した修正後の画像信号を生成し、フレームメモリ１３６に格納するとともに、並べ替え部１３８に送出する。
【００９５】
並べ替え部１３８は、復号側信号修正装置８０から得られる修正後の画像信号を表示信号として並べ替えを行う。
【００９６】
このように、復号装置９０に本実施例の復号側信号修正装置８０を適用することができる。
【００９７】
尚、符号化装置６０及び復号装置９０において、特定の配置位置に本発明の信号修正装置を組み入れて説明したが、フレームメモリの前段に配置することや、動き補償予測部の後段に配置することもできる。
【００９８】
以下、本実施例にかかる符号化装置６０及び復号装置９０において、符号化側信号修正装置２０と復号側信号修正装置８０の動作を、それぞれ図１１及び図１２を参照して説明する。
【００９９】
図１１を参照するに、符号化側信号修正装置２０は、基準ＹＵＶ信号と被修正ＹＵＶ信号を入力する（ステップＳ１）。
【０１００】
符号化側信号修正装置２０は、サンプリングレート変換部１１ａによって、被修正ＹＵＶ信号のうちの輝度信号のダウンコンバートを実行するとともに（ステップＳ２）、被修正ＹＵＶ信号のうちの色差信号のアップコンバートを実行する（ステップＳ３）。
【０１０１】
符号化側信号修正装置２０は、第２直交変換部１２ａによって、基準ＹＵＶ信号のうちの輝度信号及び色差信号の直交変換を施す（ステップＳ４）。
【０１０２】
符号化側信号修正装置２０は、第３直交変換部１１ｂによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各々に対して、直交変換を施し（ステップＳ５，Ｓ６）、正規化処理部１１ｃによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して、それぞれ基準ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数に基づいて正規化処理を施す（ステップＳ７，Ｓ８）。
【０１０３】
符号化側信号修正装置２０は、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して正規化処理を施すことで、それぞれ被修正ＹＵＶ信号のうちの色差信号及び輝度信号の教師信号を生成するとともに、各信号要素（直交変換係数）の修正量を表す正規化パラメータを生成する（ステップＳ９，Ｓ１０，Ｓ１１）。
【０１０４】
符号化側信号修正装置２０は、比較部１２ｂによって、基準ＹＵＶ信号を基に、被修正ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数と、対応する各教師信号の直交変換係数とを比較し、被修正ＹＵＶ信号の修正箇所を決定し（ステップＳ１２）、修正箇所の情報をフラグ情報として生成する（ステップＳ１３）。
【０１０５】
ここで、フラグ情報について具体例を説明する。図１３（ａ）は、コンポーネント信号の信号要素について信号要素単位で修正する例を示す図であり、図１３（ｂ）は、コンポーネント信号の信号要素について分割したブロック単位で修正する例を示す図である。例えば、図１３（ａ）に示すように、基準ＹＵＶ信号、被修正ＹＵＶ信号、及び教師信号の信号要素の各々が、８×８のブロック（例えば、画素値又は直交変換係数）で構成されているものとする。例えば、被修正ＹＵＶ信号の或る信号要素Ａ１は、教師信号の対応する座標位置の信号要素Ａ２によって修正すべきか否かを、基準ＹＵＶ信号の信号要素Ａ０を基にした差の大小比較によって判断することができる。例えば、（Ａ１−Ａ０）２＞（Ａ２−Ａ０）２の場合、被修正ＹＵＶ信号の或る信号要素Ａ１を教師信号の対応する座標位置の信号要素Ａ２によって修正すると判断する。他の信号要素についても同様に、（Ｂ１−Ｂ０）２＞（Ｂ２−Ｂ０）２の場合、被修正ＹＵＶ信号の或る信号要素Ｂ１を教師信号の対応する座標位置の信号要素Ｂ２によって修正すると判断する。
【０１０６】
一方、図１３（ｂ）に示すように、基準ＹＵＶ信号、被修正ＹＵＶ信号、及び教師信号の信号要素の各々が、８×８のブロック（例えば、画素値又は直交変換係数）で構成されている場合に、例えば４つのブロックに分割し、ブロック内の信号要素ごとの評価値の総和を表す値を比較及び置換え対象とすることができる。例えば、被修正ＹＵＶ信号の或る信号要素（ブロックＡ１）は、教師信号の対応する座標位置の信号要素（ブロックＡ２）によって修正すべきか否かを、基準ＹＵＶ信号の信号要素（ブロックＡ０）を基にした差の大小比較によって判断することができる。例えば、ブロックＡ０の信号要素とブロックＡ１の信号要素との差分の自乗和が、ブロックＡ０の信号要素とブロックＡ２の信号要素との差分の自乗和よりも大きい場合、被修正ＹＵＶ信号の或る信号要素（ブロックＡ１）を教師信号の対応する座標位置の信号要素（ブロックＡ２）によって修正すると判断する。他の信号要素のブロックについても同様に、ブロック単位で修正すると判断する。被修正ＹＵＶ信号の比較及び置換えを行う信号要素を、ブロック単位とすることにより、フラグ情報の信号量を低減させることができ、符号化装置に適用した場合に符号化率を改善することができる。分割のやり方は上述の例に限らず、個々の設計に応じて様々な態様に変形することができる。
【０１０７】
符号化側信号修正装置２０は、直交変換係数置換部１３ｂによって、各教師信号の直交変換係数の信号要素を用いて、被修正ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数に対してフラグ情報に対応する修正箇所の修正を適用し、逆直交変換部１３ｃによって、修正後のＹＵＶ信号の直交変換係数に対して逆直交変換を実行する（ステップＳ１４）。
【０１０８】
このように、符号化側信号修正装置２０によって、修正後のＹＵＶ信号と、フラグ情報と、正規化パラメータが生成される。これらの修正後のＹＵＶ信号と、フラグ情報と、正規化パラメータは、前述したように符号化装置内で符号化するのに用いることができる。
【０１０９】
図１２を参照するに、復号側信号修正装置８０は、フラグ情報及び正規化パラメータを入力するとともに（ステップＳ２１）、復号側被修正ＹＵＶ信号を入力する（ステップＳ２２）。
【０１１０】
復号側信号修正装置８０は、サンプリングレート変換部７１ａによって、被修正ＹＵＶ信号のうちの輝度信号のダウンコンバートを実行するとともに（ステップＳ２３）、被修正ＹＵＶ信号のうちの色差信号のアップコンバートを実行する（ステップＳ２４）。
【０１１１】
一方で、復号側信号修正装置８０は、第１直交変換部７２ａによって、被修正ＹＵＶ信号のうちの輝度信号及び色差信号の直交変換を施す（ステップＳ２５）。
【０１１２】
復号側信号修正装置８０は、第２直交変換部７１ｂによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各々に対して、直交変換を施し（ステップＳ２６，Ｓ２７）、正規化処理部７１ｃによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して、それぞれ正規化パラメータに基づいて正規化処理を施す（ステップＳ２８，Ｓ２９）。
【０１１３】
復号側信号修正装置８０は、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して正規化処理を施すことで、それぞれ被修正ＹＵＶ信号のうちの色差信号及び輝度信号の教師信号を生成する（ステップＳ３０）。
【０１１４】
復号側信号修正装置８０は、直交変換係数置換部７２ｂによって、各教師信号の直交変換係数の信号要素を用いて、被修正ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数に対してフラグ情報に対応する修正箇所の修正を適用し、逆直交変換部７２ｃによって、修正後のＹＵＶ信号の直交変換係数に対して逆直交変換を実行する（ステップＳ３１）。
【０１１５】
このように、復号側信号修正装置８０によって、フラグ情報と正規化パラメータを用いて、修正後のＹＵＶ信号を得ることができる。例えば、図１４に示すように、被修正ＹＵＶ信号における輝度信号及び色差信号は、相互の相関と基準信号に対する差異を考慮して各信号要素について修正され、修正後のＹＵＶ信号を得ることができる。この修正後のＹＵＶ信号は、単にコンポーネント信号間の相関に基づいて修正したものとは相違して、基準ＹＵＶ信号に基づいて修正したものであるため、劣化の少ない画像信号として復元されたものであることに留意する。
【０１１６】
更に、本発明の一態様として、各実施例の符号化側信号修正装置１０，２０又は復号側信号修正装置７０，８０をコンピュータとして構成させることができる。コンピュータに、前述した各信号修正装置の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備える制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
【０１１７】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【０１１８】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【０１１９】
以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。
【０１２０】
例えば、仮に信号修正装置に入力される信号のサンプリングレートが同一であれば、輝度信号ダウンコンバート部及び色差信号アップコンバート部をバイパスすることもできる。
【０１２１】
更に、信号修正装置にて、修正するコンポーネント信号は、それぞれＹＵＶ信号を入力するに限定するものではなく、例えば図１５に示す符号化側信号修正装置２０ｂのように、ＹＵＶ信号の直交変換係数を入力するものとして構成することもできる。この場合、前述した符号化側信号修正装置２０における第１〜第３直交変換部１３ａ，１２ａ，１１ｂが不要になり、サンプリングレート変換部１１ｄは直交変換係数を入力してサンプリングレート変換を実行することになる。尚、復号側信号修正装置についても同様の変形例を構成することができる。
【０１２２】
従って、画像信号における各コンポーネント信号、及び／又は、これらの直交変換係数の信号を比較するように構成するだけでなく、各コンポーネント信号が入力されてサンプリングレートを変換した信号について比較を行うことや、各コンポーネント信号が入力されてサンプリングレートを変換した信号の直交変換係数について比較を行うことや、各コンポーネント信号の直交変換係数の信号が入力されてサンプリングレートを変換した信号について量子化した後に比較を行うことや、これらの併用の構成とするなどの様々な変形例が可能である。
【産業上の利用可能性】
【０１２３】
本発明によれば、例えばサンプリング周波数の異なる色空間の信号成分からなる画像信号であっても画像信号の劣化が低減するように、該画像信号を修正することができるので、非可逆な符号化方式による符号化処理を扱う画像信号を利用する任意の用途に有用である。
【符号の説明】
【０１２４】
１０  符号化側信号修正装置
１１  教師信号生成部
１１ａ  サンプリングレート変換部
１１ｂ  第３直交変換部
１１ｃ  正規化処理部
１１ｄ  サンプリングレート変換部
１２  修正判断部
１２ａ  第２直交変換部
１２ｂ  比較部
１３  修正処理部
１３ａ  第１直交変換部
１３ｂ  直交変換係数置換部
１３ｃ  逆直交変換部
２０  符号化側信号修正装置
６０  符号化装置
７０  復号側信号修正装置
７１  教師信号生成部
７１ａ  サンプリングレート変換部
７１ｂ  第２直交変換部
７１ｃ  正規化処理部
７２  修正処理部
７２ａ  第１直交変換部
７２ｂ  直交変換係数置換部
７２ｃ  逆直交変換部
８０  復号側信号修正装置
９０  復号装置
１１２  並べ替え部
１１３  減算部
１１４  直交変換部
１１５  量子化部
１１６  可変長符号化部
１１７  逆量子化部
１１８  逆直交変換部
１２１  フレームメモリ
１２２  動き補償予測部
１２３  加算部
１３２  可変長復号部
１３３  逆量子化部
１３４  逆直交変換部
１３５  加算部
１３６  フレームメモリ
１３７  動き補償予測部
１３８  並べ替え部
【図１】
2011166623.tif 000003
【図２】
2011166623.tif 000004
【図３】
2011166623.tif 000005
【図４】
2011166623.tif 000006
【図５】
2011166623.tif 000007
【図６】
2011166623.tif 000008
【図７】
2011166623.tif 000009
【図８】
2011166623.tif 000010
【図９】
2011166623.tif 000011
【図１０】
2011166623.tif 000012
【図１１】
2011166623.tif 000013
【図１２】
2011166623.tif 000014
【図１３】
2011166623.tif 000015
【図１４】
2011166623.tif 000016
【図１５】
2011166623.tif 000017
【図１６】
2011166623.tif 000018