(57)【要約】【課題】動画像のコンポーネント信号を修正する信号修正装置、符号化装置、及び復号装置を提供する。【解決手段】本発明の第１態様の信号修正装置１０は、基準画像信号と、画像信号における復号信号のうちの第１のコンポーネント信号を入力し、基準画像信号を基に正規化した前記第１のコンポーネント信号を、第２のコンポーネント信号の教師信号として生成する教師信号生成部１１と、修正すべき信号要素の修正箇所を表すフラグ情報を生成する修正判断部１２と、第２のコンポーネント信号に対して、フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理部１３と、正規化した第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる推定フラグ情報を生成する修正推定部１４と、前記フラグ情報と前記推定フラグ情報を比較して、相違する信号要素の修正箇所を表すフラグ補正情報を生成するフラグ比較部１５と、を備える。【選択図】図１
2011229013.tif 000002
【特許請求の範囲】
【請求項１】
画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、
非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号として入力するとともに、該画像信号における復号信号のうちの第１のコンポーネント信号を入力し、前記基準画像信号を基に正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成する教師信号生成手段と、
前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成する修正判断手段と、
前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理手段と、
前記第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成する修正推定手段と、
前記フラグ情報と前記推定フラグ情報を比較して、相違する信号要素の修正箇所を表すフラグ補正情報を生成するフラグ比較手段と、
を備えることを特徴とする信号修正装置。
【請求項２】
前記教師信号生成手段及び修正推定手段は、対応する第１のコンポーネント信号に対して、対応する第２のコンポーネント信号を基に振幅調整して正規化を施すことを特徴とする、請求項１に記載の信号修正装置。
【請求項３】
前記フラグ情報は、各コンポーネント信号の信号要素について、信号要素単位か、又は分割したブロック単位の修正箇所を表すことを特徴とする、請求項１又は２に記載の信号修正装置。
【請求項４】
前記教師信号生成手段は、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正量を表す正規化パラメータを生成する手段を有し、
前記修正推定手段は、前記第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成する手段を有し、
前記正規化パラメータと前記推定修正パラメータを比較して相違する信号要素の修正量を表すパラメータ補正情報を生成するパラメータ比較手段を更に備えることを特徴とする、請求項１〜３のいずれか一項に記載の信号修正装置。
【請求項５】
請求項１〜４のいずれか一項に記載の信号修正装置を備える符号化装置。
【請求項６】
画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記正規化した前記第１のコンポーネント信号を該復号信号のうちの第２のコンポーネント信号の教師信号として生成する修正推定手段と、
修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するフラグ補正判断手段と、
前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理手段と、
を備えることを特徴とする信号修正装置。
【請求項７】
画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成する修正推定手段と、
修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するフラグ補正判断手段と、
修正すべき信号要素の修正量を表す正規化パラメータと前記推定修正パラメータを比較して得られる、相違する信号要素の修正量を表すパラメータ補正情報を入力して、該パラメータ補正情報に基づいて前記推定修正パラメータを補正して該正規化パラメータを再生するパラメータ補正判断手段と、
前記復号信号のうちの第２のコンポーネント信号の教師信号を生成する教師信号生成手段と、
前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理手段と、
を備えることを特徴とする信号修正装置。
【請求項８】
請求項６又は７に記載の信号修正装置を備える復号装置。
【請求項９】
画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置として構成するコンピュータに、
非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号として入力するとともに、該画像信号における復号信号のうちの第１のコンポーネント信号を入力し、前記基準画像信号を基に正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成するステップと、
前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成するステップと、
前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成するステップと、
前記第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するステップと、
前記フラグ情報と前記推定フラグ情報を比較して、相違する信号要素の修正箇所を表すフラグ補正情報を生成するステップと、
を実行させるためのプログラム。
【請求項１０】
画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置として構成するコンピュータに、
非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号として入力するとともに、該画像信号における復号信号のうちの第１のコンポーネント信号を入力し、前記基準画像信号を基に正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成するステップと、
前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成するステップと、
前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成するステップと、
前記第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するステップと、
前記フラグ情報と前記推定フラグ情報を比較して、相違する信号要素の修正箇所を表すフラグ補正情報を生成するステップと、
前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正量を表す正規化パラメータを生成するステップと、
前記第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成するステップと、
前記正規化パラメータと前記推定修正パラメータを比較して相違する信号要素の修正量を表すパラメータ補正情報を生成するステップと、
を実行させるためのプログラム。
【請求項１１】
画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置として構成するコンピュータに、
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記正規化した前記第１のコンポーネント信号を該復号信号のうちの第２のコンポーネント信号の教師信号として生成するステップと、
修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するステップと、
前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成するステップと、
を実行させるためのプログラム。
【請求項１２】
画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置として構成するコンピュータに、
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成するステップと、
修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するステップと、
修正すべき信号要素の修正量を表す正規化パラメータと前記推定修正パラメータを比較して得られる、相違する信号要素の修正量を表すパラメータ補正情報を入力して、該パラメータ補正情報に基づいて前記推定修正パラメータを補正して該正規化パラメータを再生するステップと、
前記復号信号のうちの第２のコンポーネント信号の教師信号を生成するステップと、
前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、非可逆な符号化方式によって符号化され、符号化劣化を生じた画像信号を修正する信号修正装置、符号化装置、復号装置及びプログラムに関する。
【背景技術】
【０００２】
画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている（例えば、非特許文献１参照）。このようなイメージセンサにおける画像信号の補間技術は、ＲＧＢ色空間におけるＲＧＢ信号（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号）の補間を目的としているため、符号化による信号劣化について想定されていない。
【０００３】
また、ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術として、フォーマットカラー画像の色差成分補間技術が報告されている（例えば、非特許文献２参照）。この技術では、輝度（Ｙ）信号のサンプリング周波数の高さを利用して色差信号（Ｕ信号＝Ｂ−Ｙ，Ｖ信号＝Ｒ−Ｙ）の補間信号を生成することによって高精度な補間を行う。このようなＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術も、ＹＵＶ信号の補間を目的としているため、符号化による信号劣化について想定されていない。
【０００４】
これらの信号補間技術は、非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適しているが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処理によってＹＵＶ信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない。
【０００５】
また、符号化の劣化を低減するために、さまざまなデブロッキングフィルタ（例えば、Ｈ．２６４等におけるデブロッキングフィルタ）があるが、これらのデブロッキングフィルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するものであり、元の画像信号に対する符号化後の劣化を低減させることはできない。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】久野、杉浦、「単板原色イメージセンサにおける画素補間方式の高精度化」、映像情報メディア学会誌、Ｖｏｌ．６１、Ｎｏ．７、２００７年７月１日、ｐｐ．１００６〜１０１６
【非特許文献２】杉田、田口、「ＹＵＶ４：２：０フォーマットカラー画像の色差成分補間法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８８−Ａ、Ｎｏ．６、２００５年６月１日、ｐｐ．７５１〜７６０
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した従来からの信号補間技術では、符号化時に生じた信号劣化に基づいて信号補間を行うため、符号化前のＹＵＶ信号に対する劣化を低減させる効果を奏するものではない。
【０００８】
また、復号された画像の同一領域を表現するコンポーネント信号間を比較して修正するとしても、符号化前のＹＵＶ信号に対して必ずしも正しい修正となるとは限らない。
【０００９】
本発明の目的は、上述のような問題に鑑みて、符号化前のＹＵＶ信号に対して正しい修正を可能とする信号修正装置、符号化装置、復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の信号修正装置は、符号化時に生じた信号劣化を、復号された画像の同一領域を表現するコンポーネント信号（以下、代表的に、ＹＵＶ信号について説明する）間を比較するとともに、符号化前のＹＵＶ信号（以下、「基準ＹＵＶ信号」と称する）に基づいて修正すべきコンポーネント信号の信号要素（例えば、ブロックの画素値又は直交変換係数）を判別して、コンポーネント信号の信号要素の修正箇所を表すフラグ情報及び／又はコンポーネント信号の信号要素の修正量を表す正規化パラメータを生成するとともに、復号された画像の同一領域を表現するコンポーネント信号間を比較して修正推定することによって推定フラグ情報及び推定修正パラメータを生成し、フラグ情報と推定フラグ情報とを比較して相違する場合にのみ、その相違量を表すフラグ補正情報を外部に送出し、正規化パラメータと推定修正パラメータとを比較して相違する場合にのみ、その相違量を表すパラメータ補正情報を外部に送出する。尚、コンポーネント信号は、ＲＧＢ，ＹＣｒＣｂ，ＬＵＶ，Ｌａｂ，ＸＹＺなどの如何なる色空間のものでもよい。
【００１１】
即ち、本発明の第１態様の信号修正装置は、画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号として入力するとともに、該画像信号における復号信号のうちの第１のコンポーネント信号を入力し、前記基準画像信号を基に正規化した前記第１のコンポーネント信号を、該復号信号のうちの第２のコンポーネント信号の教師信号として生成する教師信号生成手段と、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成する修正判断手段と、前記復号信号のうちの前記第２のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理手段と、前記第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成する修正推定手段と、前記フラグ情報と前記推定フラグ情報を比較して、相違する信号要素の修正箇所を表すフラグ補正情報を生成するフラグ比較手段と、を備えることを特徴とする。
【００１２】
また、本発明の第１態様の信号修正装置において、前記教師信号生成手段及び修正推定手段は、対応する第１のコンポーネント信号に対して、対応する第２のコンポーネント信号を基に振幅調整して正規化を施すことを特徴とする。
【００１３】
また、本発明の第１態様の信号修正装置において、前記フラグ情報は、各コンポーネント信号の信号要素について、信号要素単位か、又は分割したブロック単位の修正箇所を表すことを特徴とする。
【００１４】
また、本発明の第１態様の信号修正装置において、前記教師信号生成手段は、前記復号信号のうちの前記第２のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正量を表す正規化パラメータを生成する手段を有し、前記修正推定手段は、前記第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成する手段を有し、前記正規化パラメータと前記推定修正パラメータを比較して相違する信号要素の修正量を表すパラメータ補正情報を生成するパラメータ比較手段を更に備えることを特徴とする。
【００１５】
更に、本発明の第２態様の信号修正装置は、画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記正規化した前記第１のコンポーネント信号を該復号信号のうちの第２のコンポーネント信号の教師信号として生成する修正推定手段と、
修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するフラグ補正判断手段と、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理手段と、を備えることを特徴とする。
【００１６】
更に、本発明の第３態様の信号修正装置は、画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第１のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記第２のコンポーネント信号を基に正規化した前記第１のコンポーネント信号の信号要素を、該復号信号のうちの第２のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成する修正推定手段と、修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するフラグ補正判断手段と、修正すべき信号要素の修正量を表す正規化パラメータと前記推定修正パラメータを比較して得られる、相違する信号要素の修正量を表すパラメータ補正情報を入力して、該パラメータ補正情報に基づいて前記推定修正パラメータを補正して該正規化パラメータを再生するパラメータ補正判断手段と、前記復号信号のうちの第２のコンポーネント信号の教師信号を生成する教師信号生成手段と、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第２のコンポーネント信号を生成する修正処理手段と、を備えることを特徴とする。
【００１７】
更に、第１〜第３の態様の信号修正装置の各々は、コンピュータで構成することができる。
【発明の効果】
【００１８】
本発明によれば、符号化前のＹＵＶ信号を基準にしてＹＵＶ信号を修正するため、本発明を適用しない場合と比較して画像劣化をより低減させることができるようになる。
【図面の簡単な説明】
【００１９】
【図１】本発明による一実施例の符号化側信号修正装置のブロック図である。
【図２】本発明による一実施例の符号化側信号修正装置のブロック図である。
【図３】本発明による一実施例の符号化側信号修正装置における、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する構成例を示す図である。
【図４】本発明による一実施例の符号化側信号修正装置における、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する構成例を示す図である。
【図５】（ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示し、（ｂ）は、４：２：０フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示す図である。
【図６】（ａ）は、４：２：２フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示し、（ｂ）は、４：２：２フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示す図である。
【図７】本発明による一実施例の符号化側信号修正装置を適用した符号化装置の概略図である。
【図８】本発明による一実施例の復号側信号修正装置のブロック図である。
【図９】本発明による一実施例の復号側信号修正装置のブロック図である。
【図１０】本発明による一実施例の復号側信号修正装置における、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する構成例を示す図である。
【図１１】本発明による一実施例の復号側信号修正装置を適用した復号装置の概略図である。
【図１２】本発明による一実施例の符号化側信号修正装置の動作フローである。
【図１３】本発明による一実施例の復号側信号修正装置の動作フローである。
【図１４】（ａ）は、コンポーネント信号の信号要素について信号要素単位で修正する例を示す図であり、（ｂ）は、コンポーネント信号の信号要素について分割したブロック単位で修正する例を示す図である。
【図１５】被修正ＹＵＶ信号における輝度信号及び色差信号と、修正後のＹＵＶ信号の関係を例示する図である。
【図１６】本発明による変形例の符号化側信号修正装置のブロック図である。
【図１７】（ａ）は、フレーム画像における４：２：２フォーマットの信号例を示す図であり、（ｂ）は、フレーム画像における４：２：０フォーマットの信号例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明による一実施例の信号修正装置について説明する。
【００２１】
まず、本発明の理解のために、画像符号化で用いられる一般的な画像フォーマットについて説明する。一般に、画像符号化では、人間の知覚における輝度及び色差に対する感度の違いから、異なる画素サイズの信号の組み合わせで１フレームの画像フレームを構成する。このような画像フォーマットとして、図１７（ａ）に示すように、フレーム画像Ｆにおける画素Ｓ１について、４：２：２フォーマット（水平方向にて、輝度信号（Ｙ）の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）や、図１７（ｂ）に示すように、フレーム画像Ｆにおける画素Ｓ２について、４：２：０フォーマット（水平及び垂直方向にて、輝度信号の画素数１に対してＵ信号及びＶ信号のそれぞれの画素数が１／２）などがある。
【００２２】
このような画像信号を、ＭＰＥＧなどの代表的なブロック符号化では、輝度信号と色差信号の区別なく一定の画素数ごとに符号化を行う。このため、輝度信号及び色差信号の符号化ブロックの占める画像範囲は異なることになり、符号化劣化の生じる範囲も異なることになる。
【００２３】
輝度信号及び色差信号が表現する各サンプリング数の違いは、輝度信号と色差信号のサンプリング周波数が異なることを意味する。例えば、４：２：２フォーマットの場合、１６×１６画素の輝度信号で構成される画像範囲に対応する２つの色差信号（Ｕ信号及びＶ信号）は、それぞれ８×１６画素で構成される。従って、４：２：２フォーマットの場合、水平方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。同様に、４：２：０フォーマットの場合、水平及び垂直方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。
【００２４】
以下の説明では、代表的に、基準ＹＵＶ信号（基準となる色差信号）に基づいて、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）の信号要素を、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）から生成した教師信号の信号要素で修正することにより、修正後のＹＵＶ信号（修正された色差信号）を得る例について説明する。
【００２５】
尚、図１７で示す各コンポーネント信号間の関係から、基準ＹＵＶ信号（基準となる輝度信号）に基づいて、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）と、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）とを比較して、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）の信号要素を被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）の信号要素で修正することにより、修正後のＹＵＶ信号（修正された輝度信号）を得ることもできる。従って、輝度信号及び色差信号の双方を、輝度信号及び色差信号間の相関から互いに修正することができる。
【００２６】
また、以下の説明では、ＹＵＶ信号は、図１７に示すような、サンプリング周波数が異なる輝度信号及び色差信号からなる例を説明する。尚、基準ＹＵＶ信号は、符号化前のＹＵＶ信号と考えてよく、被修正ＹＵＶ信号は、符号化されたＹＵＶ信号の復号信号と考えてよい。
【００２７】
図１に、本発明による一実施例の符号化側信号修正装置１０のブロック図を示す。符号化側信号修正装置１０は、教師信号生成部１１と、修正判断部１２と、修正処理部１３と、修正推定部１４と、フラグ比較部１５とを備える。
【００２８】
符号化側信号修正装置１０は、例えば非可逆な符号化方式で符号化された画像信号を復号するデコーダ（図示せず）から出力される所定の画像フォーマットの被修正ＹＵＶ信号を入力し、各コンポーネント信号間のサンプリング周波数の違いを利用して、輝度信号及び色差信号の符号化劣化を抑制しつつ、当該所定の画像フォーマットに従う新たなＹＵＶ信号（修正された輝度信号及び色差信号）を生成する。
【００２９】
即ち、教師信号生成部１１は、被修正ＹＵＶ信号のうちの輝度信号と、基準ＹＵＶ信号のうちの色差信号を入力して、基準ＹＵＶ信号のうちの色差信号に基づいて被修正ＹＵＶ信号のうちの輝度信号を正規化し、正規化した輝度信号を色差信号の教師信号として生成し、修正判断部１２及び修正処理部１３に送出する。
【００３０】
ここで、例えば正規化した輝度信号を色差信号の教師信号として生成する例を説明する。
【００３１】
以下の式に示すとおり、各色差信号の直交変換係数の各成分座標（ｕ，ｖ）（ただし、直流成分である（０，０）成分を除く）における値のうち絶対値の最大値となる成分座標が（ａ，ｂ）で与えられる場合に、Ｕ信号に対する教師信号Ｔ＿Ｕ[ｖ][ｕ]，Ｖ信号に対する教師信号Ｔ＿Ｖ[ｖ][ｕ]は、各色差信号の直交変換係数Ｕ[ｂ][ａ]（又はＶ[ｂ][ａ]）に対応する成分座標の輝度信号の直交変換係数Ｙ[ｂ][ａ]を基準にした比によって、サンプリングレートを揃えた輝度信号の直交変換係数Ｙ[ｖ][ｕ]の各成分を正規化することにより得ることができる。
Ｔ＿Ｕ[ｖ][ｕ]＝Ｙ[ｖ][ｕ]＊Ｕ[ｂ][ａ]／Ｙ[ｂ][ａ]
Ｔ＿Ｖ[ｖ][ｕ]＝Ｙ[ｖ][ｕ]＊Ｖ[ｂ][ａ]／Ｙ[ｂ][ａ]
ここで、ｕ，ｖは、８×８画素ブロックであれば０〜７。ここでの正規化係数は、Ｕ[ｂ][ａ]／Ｙ[ｂ][ａ]又はＶ[ｂ][ａ]／Ｙ[ｂ][ａ]で与えられる。
【００３２】
輝度信号に対する教師信号Ｔ＿Ｙ[ｖ][ｕ]も同様のやり方で得ることができる。例えば、以下の式に示すとおり、輝度信号の直交変換係数の各成分座標（ｕ，ｖ）（ただし、直流成分である（０，０）成分を除く）における値のうち絶対値の最大値となる成分座標が（ａ，ｂ）で与えられる場合に、輝度信号用の教師信号Ｔ＿Ｙ[ｖ][ｕ]は、この輝度信号の直交変換係数Ｙ[ｂ][ａ]に対応する成分座標の色差信号の直交変換係数Ｕ[ｂ][ａ]（又はＶ[ｂ][ａ]）を基準にした比によって、サンプリングレートを揃えた色差信号の直交変換係数Ｕ[ｖ][ｕ]（又はＶ[ｖ][ｕ]）の各成分を正規化することにより得ることができる。
Ｔ＿Ｙ[ｖ][ｕ]＝Ｕ[ｖ][ｕ]＊Ｙ[ｂ][ａ]／Ｕ[ｂ][ａ]、又は
＝Ｖ[ｖ][ｕ]＊Ｙ[ｂ][ａ]／Ｖ[ｂ][ａ]
ここでの正規化係数は、Ｙ[ｂ][ａ]／Ｕ[ｂ][ａ]又はＹ[ｂ][ａ]／Ｖ[ｂ][ａ]で与えられる。
尚、輝度信号は、色差信号に対し複数の直交変換ブロックで構成されるので、例えば４：２：０フォーマットの場合、サンプリングレートを揃えるべくアップコンバートされた色差信号を４つに分割し、輝度信号の直交変換ブロックに対するブロックごとに正規化を行う。
【００３３】
尚、或る輝度信号に対する教師信号Ｔ＿Ｙ[ｖ][ｕ]としては２つ得られるため、これらの２つの教師信号のうちの絶対値の大きいほうを教師信号とするか、又は絶対値の平均値（又は二乗平均値）の大きいほうを教師信号とするか、又は２つの教師信号のうち相関の高いほうを教師信号とするか、又は事前に予め定められた選択基準で選択したものと教師信号とすることができるが、画像処理装置１の利用目的に応じて随意適したやり方で教師信号を算出することができる。
【００３４】
上記の例では、教師信号を生成するために、直交変換係数の絶対値の最大値を検出して正規化する例について説明したが、直交変換係数の絶対値の平均値（又は二乗平均値）に基づいて正規化することもできる。
【００３５】
修正判断部１２は、入力される基準ＹＵＶ信号のうちの色差信号に基づいて、被修正ＹＵＶ信号のうちの色差信号と、教師信号生成部１１から入力される教師信号との間で、信号要素（例えば、ブロック内の画素値又は直交変換係数）の比較を行い、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を表すフラグ情報を生成してフラグ比較部１５に送出するとともに、修正処理部１３に送出する。この比較処理にあたって、基準ＹＵＶ信号の信号要素が本来の正しい信号であるために、この場合、基準ＹＵＶ信号のうちの色差信号の信号要素に基づいて、被修正ＹＵＶ信号のうちの色差信号について教師信号の信号要素で修正すべき信号要素の修正箇所（座標）を特定する。
【００３６】
修正処理部１３は、被修正ＹＵＶ信号のうちの色差信号を入力して、修正判断部１２から入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を教師信号の信号要素で修正し（例えば、置き換え）、修正後の色差信号を含むＹＵＶ信号を外部に送出する。
【００３７】
修正推定部１４は、被修正ＹＵＶ信号のうちの輝度信号及び色差信号を入力して、被修正ＹＵＶ信号のうちの色差信号に基づいて被修正ＹＵＶ信号のうちの輝度信号を正規化し、被修正ＹＵＶ信号のうちの色差信号について修正推定される信号要素の修正箇所（座標）を表す推定フラグ情報を生成してフラグ比較部１５に送出する。この推定フラグ情報は、正規化した輝度信号を色差信号の修正推定信号としたきに生成されるものである。修正推定部１４における正規化処理と、教師信号生成部１１における正規化処理とは同一にする。
【００３８】
フラグ比較部１５は、修正判断部１２から入力されるフラグ情報と、修正推定部１４から入力される推定フラグ情報とを比較し、一致しない信号要素の修正箇所（座標）を表すフラグ補正情報を生成して外部に送出する。従って、フラグ情報と推定フラグ情報とが完全一致する場合にはフラグ補正情報は伝送されないか、又は完全一致する旨を表すパリティビットを設けて伝送する。
【００３９】
これにより、符号化側信号修正装置１０からの信号を受信する受信側では、修正後の色差信号を含むＹＵＶ信号を受信した際に、基準ＹＵＶ信号の信号要素に対して、どの信号のどの信号要素が修正されたかをフラグ補正情報で判別して知ることができる。
【００４０】
図２に、本発明による一実施例の符号化側信号修正装置２０のブロック図を示す。図１と同様な構成要素には同一の参照番号を付して説明する。符号化側信号修正装置２０は、教師信号生成部１１と、修正判断部１２と、修正処理部１３と、修正推定部１４と、フラグ比較部１５とを備える点で図１のものと同様であるが、更に、パラメータ比較部１６を備える点で相違する。
【００４１】
更に、符号化側信号修正装置２０における修正推定部１４は、被修正ＹＵＶ信号のうちの輝度信号及び色差信号を入力して、被修正ＹＵＶ信号のうちの色差信号に基づいて被修正ＹＵＶ信号のうちの輝度信号を正規化し、被修正ＹＵＶ信号のうちの色差信号について修正推定される信号要素の修正箇所（座標）を表す推定フラグ情報と、該修正推定される信号要素の修正量を表す推定修正パラメータを生成して、それぞれフラグ比較部１５及びパラメータ比較部１６に送出する。この推定修正パラメータは、正規化した輝度信号を色差信号の修正推定信号としたきに、この修正推定信号の生成における正規化処理のパラメータを表すものとして生成されるものである。
【００４２】
更に、符号化側信号修正装置２０における教師信号生成部１１は、被修正ＹＵＶ信号のうちの輝度信号を入力して正規化し、正規化した輝度信号を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する基準ＹＵＶ信号における色差信号の信号要素との間の違いによって生じる修正量を表す正規化パラメータを生成し、パラメータ比較部１６に送出する点で相違する。
【００４３】
フラグ比較部１５は、修正判断部１２から入力されるフラグ情報と、修正推定部１４から入力される推定フラグ情報とを比較し、相違する信号要素の修正箇所を表すフラグ補正情報（例えば、一致しない信号要素の修正箇所（座標）を表すフラグ補正情報）を生成して外部に送出する。従って、フラグ情報と推定フラグ情報とが完全一致する場合にはフラグ補正情報は伝送されないか、又は完全一致する旨を表すパリティビットを設けて伝送する。これにより、伝送する情報量を更に削減することができるようになる。
【００４４】
パラメータ比較部１６は、教師信号生成部１１から入力される正規化パラメータと、修正推定部１４から入力される推定修正パラメータとを比較し、相違する信号要素の修正箇所を表すフラグ補正情報（例えば、信号要素の修正箇所（座標）の一致しない修正量を表すパラメータ補正情報）を生成して外部に送出する。従って、正規化パラメータと推定修正パラメータとが完全一致する場合にはパラメータ補正情報は伝送されないか、又は完全一致する旨を表すパリティビットを設けて伝送する。
【００４５】
尚、フラグ比較部１５及びパラメータ比較部１６において、比較結果として一致する場合の受信側では、後述するように、フラグ情報とフラグ補正情報、及び推定修正パラメータと正規化パラメータを、同一として扱うことができるようになる。
【００４６】
また、正規化パラメータ及び推定修正パラメータにおける修正量とは、最も簡単な例として、線形変換のパラメータとすることができる。例えば、色差信号の教師信号の信号要素（Ｙ）を、対応する基準ＹＵＶ信号における色差信号の信号要素（Ｘ）で近似するにあたって、Ｙ＝ａＸ＋ｂの近似関数を用いる場合、正規化パラメータ（推定修正パラメータ）ａ，ｂを得ることができる。
【００４７】
従って、符号化側信号修正装置２０は、修正処理部１３によって、被修正ＹＵＶ信号のうちの色差信号を入力して、修正判断部１２から入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を教師信号の信号要素で修正し、修正後の色差信号を含むＹＵＶ信号を外部に送出する際に、基準ＹＵＶ信号に基づいて生成されたフラグ情報及び正規化パラメータと、被修正ＹＵＶ信号に基づいて修正推定された推定フラグ情報及び推定修正パラメータとをそれぞれ比較して、比較結果として一致しない場合に、フラグ補正情報及びパラメータ補正情報を外部に伝送する。
【００４８】
これにより、符号化側信号修正装置２０からの信号を受信する受信側では、修正後の色差信号を含むＹＵＶ信号を受信した際に、どの信号のどの信号要素が修正されたかをフラグ補正情報で知ることができ、且つ修正された信号要素に対してどれだけの修正量を加えれば基準ＹＵＶ信号の信号要素に近づくものとなるかをパラメータ補正情報で知ることができるとともに、フラグ補正情報及びパラメータ補正情報がないと判断される場合に、受信したコンポーネント信号のみで修正推定した結果が基準ＹＵＶ信号に極めて近似した信号として復号することができる。
【００４９】
従って、以下、最も好適な符号化側信号修正装置２０の構成を基に、より詳細な具体例を説明する。
【００５０】
図３及び図４は、符号化側信号修正装置２０について、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する構成例である。図２と対比して説明するに、図３に示すように、教師信号生成部１１は、サンプリングレート変換部１１ａと、第３直交変換部１１ｂと、正規化処理部１１ｃからなる。修正判断部１２は、第２直交変換部１２ａと、比較部１２ｂからなる。修正処理部１３は、第１直交変換部１３ａと、直交変換係数置換部１３ｂと、逆直交変換部１３ｃからなる。
【００５１】
サンプリングレート変換部１１ａは、本例の場合、被修正ＹＵＶ信号のうちの輝度信号を対応する色差信号のサンプリングレートまでダウンコンバートして第３直交変換部１１ｂに送出する。尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合には、サンプリングレート変換部１１ａは、被修正ＹＵＶ信号のうちの色差信号を対応する輝度信号のサンプリングレートまでアップコンバートして第３直交変換部１１ｂに送出する。
【００５２】
前述したように、符号化処理の最小単位となる１つの輝度信号の画素ブロック（１６×１６画素）と、それに対応する色差信号の画素ブロック（４：２：０フォーマットの場合は８×８画素）の画素数は異なる。量子化による劣化は、８×８画素の画素ブロックごとに異なり、それぞれのブロックの劣化の傾向は無相関であるから、特に画素ブロックの境界において視覚的に顕著な劣化が生じうる。
【００５３】
しかしながら、符号化後の色差信号の面積が、符号化後の輝度信号の面積に比べ水平（又は水平及び垂直）に２倍の面積であることを考慮すれば、この色差信号から、対応する輝度信号の隣接画素ブロック間の信号の相関を知ることができる。また、輝度信号のサンプリング数は色差信号に比べて多く、高解像度であるため、符号化劣化を含む輝度信号を色差信号のサンプリングレートまでダウンコンバートして劣化を低減させ、この劣化低減させた輝度信号を色差信号の教師信号とすることによって色差信号の復元を行うことができる。従って、輝度信号及び色差信号の相互の相関比較のためには、輝度信号及び色差信号のサンプリングレートを同一にするのが好適である。
【００５４】
尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合に、サンプリングレート変換部１１ａは、被修正ＹＵＶ信号における２つの色差信号のうちのいずれか一方、又は双方の色差信号を変換するように予め規定される。
【００５５】
第３直交変換部１１ｂは、本例の場合、サンプリングレート変換部１１ａから入力されるダウンコンバートした輝度信号に対して、第１直交変換部１３ａで用いる直交変換処理と同様の直交変換を施し、得られたダウンコンバート後の輝度信号の直交変換係数を正規化処理部１１ｃに送出する。
【００５６】
第２直交変換部１２ａは、入力される基準ＹＵＶ信号のうちの色差信号に対して、第１直交変換部１３ａで用いる直交変換処理と同様の直交変換を施し、得られた色差信号の直交変換係数を正規化処理部１１ｃ及び比較部１２ｂに送出する。
【００５７】
正規化処理部１１ｃは、第３直交変換部１１ｂからダウンコンバート後の輝度信号の直交変換係数を入力し、これとは別に入力される基準ＹＵＶ信号の色差信号の直交変換係数の各値を基に振幅調整（例えば線形変換）することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成し、比較部１２ｂ及び直交変換係数置換部１３ｂに送出する。また、正規化処理部１１ｃは、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する基準ＹＵＶ信号における色差信号の信号要素との間の違いによって生じる修正量を表す正規化パラメータを生成し、パラメータ比較部１６に送出する。
【００５８】
第１直交変換部１３ａは、本例の場合、入力される被修正ＹＵＶ信号のうちの色差信号に対して、所定の直交変換処理（例えば、ＤＣＴ）を施し、得られた色差信号の直交変換係数を直交変換係数置換部１３ｂ及び比較部１２ｂに送出する。
【００５９】
比較部１２ｂは、第１直交変換部１３ａから被修正ＹＵＶ信号のうちの色差信号の直交変換係数を入力して、正規化処理部１１ｃから入力される教師信号の直交変換係数との間で、信号要素（本例では、直交変換係数）の比較を行い、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を表すフラグ情報を生成してフラグ比較部１５に送出するとともに、直交変換係数置換部１３ｂに送出する。この比較処理にあたって、比較部１２ｂに入力される基準ＹＵＶ信号の信号要素が本来の正しい信号であるために、この場合、基準ＹＵＶ信号のうちの色差信号の信号要素に基づいて、被修正ＹＵＶ信号のうちの色差信号について教師信号の信号要素で修正すべき信号要素の修正箇所（座標）を特定する。
【００６０】
直交変換係数置換部１３ｂは、第１直交変換部１３ａから被修正ＹＵＶ信号のうちの色差信号の直交変換係数を入力して、比較部１２ｂから入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき直交変換係数の修正箇所（座標）を教師信号の直交変換係数で修正し（例えば、置き換え）、修正後の色差信号の直交変換係数を逆直交変換部１３ｃに送出する。
【００６１】
逆直交変換部１３ｃは、直交変換係数置換部１３ｂから入力される修正後の色差信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、外部に送出する。上記は、輝度信号から色差信号を修正する場合について説明したが、色差信号から輝度信号を修正する場合も同様である。
【００６２】
図４に示すように、修正推定部１４は、サンプリングレート変換部１１ａ−１と、第３直交変換部１１ｂ−１と、正規化処理部１１ｃ−１と、比較部１２ｂ−１と、第１直交変換部１３ａ−１からなる。サンプリングレート変換部１１ａ−１、第３直交変換部１１ｂ−１、正規化処理部１１ｃ−１、比較部１２ｂ−１、及び第１直交変換部１３ａ−１の処理動作は、それぞれ図３に示すサンプリングレート変換部１１ａ、第３直交変換部１１ｂ、正規化処理部１１ｃ、比較部１２ｂ、及び第１直交変換部１３ａと同一である。ただし、正規化処理部１１ｃ−１が、第３直交変換部１１ｂ−１から入力されるダウンコンバート後の輝度信号の直交変換係数を、これとは別に入力される被修正ＹＵＶ信号の色差信号の直交変換係数の各値を基に振幅調整（例えば線形変換）することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成し、比較部１２ｂ−１に送出するとともに、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する被修正ＹＵＶ信号における色差信号の信号要素との間の違いによって生じる修正量を表す推定修正パラメータを生成し、パラメータ比較部１６に送出する。
【００６３】
図５及び図６は、この符号化側信号修正装置２０における一連の処理動作を模式的に示した図である。図５（ａ）は、４：２：０フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示しており、図５（ｂ）は、４：２：０フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示している。図６（ａ）は、４：２：２フォーマットにおける色差信号のＵ信号及びＶ信号を、ダウンコンバートした輝度信号Ｙを用いて修正する様子を示しており、図６（ｂ）は、４：２：２フォーマットにおける輝度信号Ｙを、アップコンバートした色差信号のＵ信号又はＶ信号を用いて修正する様子を示している。
【００６４】
これにより、本実施例の符号化側信号修正装置２０によれば、非可逆な符号化方式で符号化を経て復号された画像信号（被修正ＹＵＶ信号）であっても、基準ＹＵＶ信号に基づいて画像劣化の少ない画像信号（修正後のＹＵＶ信号）として修正することができ、符号化に起因して生じていた画像劣化をより低減させることができるようになる。更に、本実施例の符号化側信号修正装置２０によれば、フラグ比較部１５及びパラメータ比較部１６において、比較結果として一致しない場合に、修正判断部１２によって生成したフラグ情報をフラグ補正情報として外部に伝送し、且つ教師信号生成部１１によって生成した正規化パラメータをパラメータ補正情報として外部に伝送することができるので、単にフラグ情報及び正規化パラメータを伝送する場合と比較して、伝送情報をより低減させることができる。
【００６５】
尚、ＭＰＥＧ−２やＭＰＥＧ−４ＡＶＣ／Ｈ．２６４など多くの符号化方式における直交変換としてＤＣＴが用いられているが、本実施例の信号修正装置によれば、一般的に用いられている画像信号の輝度信号と色差信号のサンプリング周波数の違いを利用するものであるから、任意の符号化方式に適用することができる。特に、非可逆な符号化方式によって劣化した画像を入力して、その符号化方式による劣化を回復させることを目的とする場合には、入力に用いた符号化方式と同じ直交変換を用いることによって、より劣化低減の効果を発揮することになる。
【００６６】
以下、本実施例の符号化側信号修正装置２０を、動画像用の符号化装置に適用した場合について説明する。
【００６７】
［符号化装置］
一般的に動画像の符号化では動き補償予測、直交変換、量子化、可変長符号化によって画像を符号化する。動き補償予測を用いる符号化方式の場合、復号された画像を予測に用いるため符号化装置内に復号装置を内包しており、この復号装置の出力に対して本実施例の信号修正装置を適用することができる。
【００６８】
本実施例の符号化側信号修正装置２０を、動画像用の符号化装置６０に適用した場合における例を図７に示す。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明する。
【００６９】
符号化装置６０は、本実施例の符号化側信号修正装置２０と、並べ替え部１２４と、減算部１１９と、直交変換部１１４と、量子化部１１５と、可変長符号化部１１６と、逆量子化部１１７と、逆直交変換部１１８と、フレームメモリ１２１と、動き補償予測部１２２と、加算部１２３とを備える。尚、本実施例に係る符号化装置６０は、既知の符号化装置（例えば、ＭＰＥＧ−２，Ｈ．２６４用の符号化装置）に対して、本実施例の符号化側信号修正装置２０が追加されたものである。尚、本実施例の符号化側信号修正装置２０は、いわゆるイントラ予測及び動き補償予測の符号化に適用できるが、代表的に、動き補償予測を行う例について説明する。
【００７０】
並べ替え部１２４は、入力された映像信号を一時的に蓄積し、フレーム画像の順番を並べ替え、符号化処理に必要なフレーム画像を減算部１１９及び動き補償予測部１２２に送出する。並べ替え部１２４は、本例では、入力画像信号を基準ＹＵＶ信号として符号化側信号修正装置２０に送出する。
【００７１】
動き補償予測部１２２は、並べ替え部１２４から供給される入力画像信号に対して、フレームメモリ１２１から符号化側信号修正装置２０を経て取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を減算部１１９及び加算部１２３に出力する。動きベクトルの情報は、可変長符号化部１１６に送出される。
【００７２】
減算部１１９は、並べ替え部１２４からの入力画像信号と、動き補償予測部１２２からの予測画像との差分信号を生成して直交変換部１１４に送出する。
【００７３】
直交変換部１１４は、減算部１１９から供給される差分信号に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ）を施し、量子化部１１５に送出する。
【００７４】
量子化部１１５は、直交変換部１１４から供給される小領域の画素ブロックに対応する量子化テーブルを選択して量子化処理を行い、可変長符号化部１１６及び逆量子化部１１７に送出する。
【００７５】
可変長符号化部１１６は、量子化部１１５から供給される量子化信号について可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部１２２から供給される動きベクトルの情報も可変長符号化を施して出力する。可変長符号化部１１６は、符号化側信号修正装置２０から得られるフラグ補正情報及びパラメータ補正情報に対して符号化を施して伝送することができる。
【００７６】
逆量子化部１１７は、量子化部１１５から供給される量子化信号について逆量子化処理を行って逆直交変換部１１８に出力する。
【００７７】
逆直交変換部１１８は、逆量子化部１１７から供給される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ）を施し、加算部１２３に出力する。
【００７８】
加算部１２３では、逆直交変換部１１８から得られる逆直交変換した信号と、動き補償予測部１２２から得られる予測画像とを加算処理して復号画像を生成し、フレームメモリ１２１に格納する。
【００７９】
ここで、図７における符号化側信号修正装置２０は、被修正ＹＵＶ信号をフレームメモリ１２１から取得でき、基準ＹＵＶ信号（入力画像信号に対応する）を並び替え部１２４から取得することができる。図７における符号化側信号修正装置２０は、基準ＹＵＶ信号に基づいて被修正ＹＵＶ信号に対して前述した修正処理を施し、フラグ補正情報（及びパラメータ補正情報）を可変長符号化部１１６に送出する。可変長符号化部１１６は、フラグ補正情報及びパラメータ補正情報に対して符号化を施してもよいし、符号化を施さずに伝送することもできる。
【００８０】
このように、符号化装置６０で符号化側信号修正装置１０，２０を適用することで、基準ＹＵＶ信号に基づいて、被修正ＹＵＶ信号と教師信号を比較して、被修正ＹＵＶ信号のうちのコンポーネント信号の信号要素を該コンポーネント信号とは別のコンポーネント信号から生成した教師信号の信号要素で修正することにより、元信号に対して、より近似した正しい修正後のＹＵＶ信号を得ることもできる。
【００８１】
次に、フラグ補正情報（及びパラメータ補正情報）を用いて被修正ＹＵＶ信号を修正する復号側信号修正装置７０，８０を順に説明する。
【００８２】
以下の説明では、フラグ補正情報（及びパラメータ補正情報）に基づいて、代表的に、被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）の信号要素を、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）から生成した教師信号の信号要素で修正することにより、修正後のＹＵＶ信号（修正された色差信号）を得る例について説明する。また、ＹＵＶ信号は、図１７に示すような、サンプリング周波数が異なる輝度信号及び色差信号からなる例を説明する。
【００８３】
尚、図１７で示す各コンポーネント信号間の関係から、入力されるフラグ補正情報（及びパラメータ補正情報）に基づいて、フラグ情報（及び正規化パラメータ）を生成し、被修正ＹＵＶ信号のうちの輝度信号（Ｙ信号）を被修正ＹＵＶ信号のうちの色差信号（Ｕ信号／Ｖ信号）で修正することにより、修正後のＹＵＶ信号（修正された輝度信号）を得ることもでき、フラグ補正情報（及びパラメータ補正情報）が入力されない場合には、輝度信号及び色差信号の双方を、輝度信号及び色差信号間の相関から互いに修正することができる。
【００８４】
まず、図８に示す復号側信号修正装置７０は、図１に示す復号側信号修正装置１０に対応する装置であり、修正処理部７２と、修正推定部７３と、フラグ補正判断部７４とを備える。
【００８５】
修正処理部７２は、符号化側の修正処理部１３と同様の動作であり、被修正ＹＵＶ信号を入力し、フラグ補正判断部７４から入力されるフラグ情報に基づいて、被修正ＹＵＶ信号の或るコンポーネント信号の信号要素を修正処理部７２から得られる（教師信号として機能する）修正推定信号の信号要素に修正し（例えば、置き換え）、修正後のＹＵＶ信号を生成する。
【００８６】
修正推定部７３は、符号化側の修正推定部１４と同様の動作であり、被修正ＹＵＶ信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を正規化した（教師信号として機能する）修正推定信号を、修正処理部７２に送出する。
【００８７】
フラグ補正判断部７４は、図１に示す符号化側信号修正装置１０からフラグ補正情報を入力し、フラグ補正情報に従って、修正処理部７２から得られる推定フラグ情報に示される修正箇所について補正し、フラグ情報を復元して修正処理部７２に送出する。
【００８８】
フラグ補正情報がない場合（修正箇所がない旨を示す場合）、フラグ補正判断部７４は、推定フラグ情報をフラグ情報として修正処理部７２に送出することになる。この場合、コンポーネント信号間で予測したものであるにも関わらず、図８に示す復号側信号修正装置７０は、基準ＹＵＶ信号のコンポーネント信号に対して修正すべき信号要素の座標情報としてフラグ情報を用いて修正するものであるから、信号要素の修正箇所に対しては正確性を維持する。
【００８９】
しかしながら、図８に示す修正推定部７３が生成する修正推定信号は、図１と同様に、被修正ＹＵＶ信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を、被修正ＹＵＶ信号の該コンポーネント信号を用いて正規化することで生成するため、修正箇所は正確であっても修正量の観点からは、基準ＹＵＶ信号のコンポーネント信号に対して誤差を生じうる。
【００９０】
そこで、図９に示す復号側信号修正装置８０は、図２に示す符号化側信号修正装置２０に対応する装置であり、入力される正規化パラメータに基づいて、被修正ＹＵＶ信号の輝度信号から教師信号を生成する教師信号生成部７１と、入力されるパラメータ補正情報に基づいて、修正推定部７３が生成する推定修正パラメータを補正して正規化パラメータを復元し、教師信号生成部７１に送出するパラメータ補正判断部７５とを更に備える。本例の修正推定部７３は、図８に示す例と同様に生成した修正推定信号に関して、この修正推定信号の生成における正規化処理のパラメータを表す推定修正パラメータをパラメータ補正判断部７５に送出する。パラメータ補正情報がない場合（修正する必要がない旨を示す場合）、パラメータ補正判断部７５は、修正推定信号に対応する推定修正パラメータを正規化パラメータとして教師信号生成部７１に送出する。
【００９１】
すなわち、図９に示す復号側信号修正装置８０の修正処理部７２は、図８に示す修正処理部７２と同様の動作であり、被修正ＹＵＶ信号を入力し、入力されるフラグ情報に基づいて、被修正ＹＵＶ信号の或るコンポーネント信号の信号要素を教師信号生成部７１から得られる教師信号の信号要素で修正し、修正後のＹＵＶ信号を生成する。一方で、図９に示す復号側信号修正装置８０の教師信号生成部７１は、被修正ＹＵＶ信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を、基準ＹＵＶ信号に基にした修正を可能とすべく、正規化パラメータを用いて正規化することで教師信号を生成する。これにより、図９に示す復号側信号修正装置８０は、信号要素の修正箇所および修正量に対して正確性を維持する。
【００９２】
従って、以下、最も好適な復号側信号修正装置８０の構成を基に、より詳細な具体例を説明する。
【００９３】
図１０は、復号側信号修正装置８０について、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正ＹＵＶ信号を修正する例である。図９と対比して説明するに、教師信号生成部７１は、サンプリングレート変換部７１ａと、第３直交変換部７１ｂと、正規化処理部７１ｃからなる。修正処理部７２は、第１直交変換部７２ａと、直交変換係数置換部７２ｂと、逆直交変換部７２ｃからなる。修正推定部７３は、サンプリングレート変換部７３ａと、第２直交変換部７３ｂと、正規化処理部７３ｃと、比較部７３ｄからなる。
【００９４】
サンプリングレート変換部７１ａは、本例の場合、被修正ＹＵＶ信号のうちの輝度信号を対応する色差信号のサンプリングレートまでダウンコンバートして第３直交変換部７１ｂに送出する。尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合には、サンプリングレート変換部７１ａは、被修正ＹＵＶ信号のうちの色差信号を対応する輝度信号のサンプリングレートまでアップコンバートして第３直交変換部７１ｂに送出する。
【００９５】
尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合に、サンプリングレート変換部７１ａは、被修正ＹＵＶ信号における２つの色差信号のうちのいずれか一方、又は双方の色差信号を変換するように予め規定され、符号化側と復号側で同一になるように規定するのが好適である。
【００９６】
第３直交変換部７１ｂは、本例の場合、サンプリングレート変換部７１ａから入力されるダウンコンバートした輝度信号に対して、第１直交変換部７２ａで用いる直交変換処理と同様の直交変換を施し、得られたダウンコンバート後の輝度信号の直交変換係数を正規化処理部７１ｃに送出する。符号化側と復号側で同一の直交変換タイプになるように規定するのが好適である。
【００９７】
正規化処理部７１ｃは、第３直交変換部７１ｂからダウンコンバート後の輝度信号の直交変換係数を入力し、パラメータ補正判定部７５から入力される正規化パラメータによって、基準ＹＵＶ信号の色差信号の直交変換係数の各値を基に振幅調整（例えば線形変換）することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成し、直交変換係数置換部７２ｂに送出する。
【００９８】
第１直交変換部７２ａは、本例の場合、入力される被修正ＹＵＶ信号のうちの色差信号に対して、所定の直交変換処理（例えば、ＤＣＴ）を施し、得られた色差信号の直交変換係数を直交変換係数置換部７２ｂ、正規化処理部７３ｃ及び比較部７３ｄに送出する。
【００９９】
サンプリングレート変換部７３ａは、本例の場合、被修正ＹＵＶ信号のうちの輝度信号を対応する色差信号のサンプリングレートまでダウンコンバートして第２直交変換部７３ｂに送出する。尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合には、サンプリングレート変換部７３ａは、被修正ＹＵＶ信号のうちの色差信号を対応する輝度信号のサンプリングレートまでアップコンバートして第２直交変換部７３ｂに送出する。
【０１００】
尚、被修正ＹＵＶ信号のうちの輝度信号を修正する場合に、サンプリングレート変換部７３ａは、被修正ＹＵＶ信号における２つの色差信号のうちのいずれか一方、又は双方の色差信号を変換するように予め規定され、符号化側と復号側で同一になるように規定するのが好適である。
【０１０１】
第２直交変換部７３ｂは、本例の場合、サンプリングレート変換部７３ａから入力されるダウンコンバートした輝度信号に対して、第１直交変換部７２ａで用いる直交変換処理と同様の直交変換を施し、得られたダウンコンバート後の輝度信号の直交変換係数を正規化処理部７３ｃに送出する。符号化側と復号側で同一の直交変換タイプになるように規定するのが好適である。
【０１０２】
正規化処理部７３ｃは、第２直交変換部７３ｂからダウンコンバート後の輝度信号の直交変換係数を入力し、第１直交変換部７２aからの被修正ＹＵＶ信号の色差信号の直交変換係数の各値を基に振幅調整（例えば線形変換）することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の推定修正信号の直交変換係数として生成し、比較部７３ｄに送出する。
【０１０３】
また、正規化処理部７３ｃは、推定修正信号に対応する推定修正パラメータをパラメータ補正判定部７５に送出する。
【０１０４】
比較部７３ｄは、第１直交変換部７２ａから被修正ＹＵＶ信号のうちの色差信号の直交変換係数を入力して、正規化処理部７３ｃから入力される推定修正信号の直交変換係数との間で、信号要素（本例では、直交変換係数）の比較を行い、被修正ＹＵＶ信号のうちの色差信号について修正すべき信号要素の修正箇所（座標）を表す推定フラグ情報を生成してフラグ補正判断部７４に送出する。
【０１０５】
直交変換係数置換部７２ｂは、第１直交変換部７２ａから被修正ＹＵＶ信号のうちの色差信号の直交変換係数を入力して、フラグ補正判定部７４から入力されるフラグ情報にしたがって、被修正ＹＵＶ信号のうちの色差信号について修正すべき直交変換係数の修正箇所（座標）を、正規化処理部７１ｃから得られる教師信号の直交変換係数で修正し（例えば、置き換え）、修正後の色差信号の直交変換係数を逆直交変換部７２ｃに送出する。
【０１０６】
逆直交変換部７２ｃは、直交変換係数置換部７２ｂから入力される修正後の色差信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、外部に送出する。上記は、輝度信号から色差信号を修正する場合について説明したが、色差信号から輝度信号を修正する場合も同様である。
【０１０７】
以下、本実施例の復号側信号修正装置８０を、動画像用の復号装置に適用した場合について説明する。
【０１０８】
［復号装置］
本実施例の復号側信号修正装置８０を、動画像用の復号装置９０に適用した場合における例を図１１に示す。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明する。
【０１０９】
本実施例に係る復号装置９０は、可変長復号部１３２と、逆量子化部１３３と、逆直交変換部１３４と、加算部１３５と、復号側信号修正装置８０と、フレームメモリ１３６と、動き補償予測部１３７と、並べ替え部１３８とを備える。尚、本実施例に係る復号装置９０は、既知の復号装置（例えば、ＭＰＥＧ−２，Ｈ．２６４用の復号装置）に対して、本実施例の復号側信号修正装置８０が追加されたものである。
【０１１０】
可変長復号部１３２は、符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部１３３に送出するとともに、動きベクトルの情報を復号して動き補償予測部１３７に送出する。また、可変長復号部１３２は、フラグ補正情報及びパラメータ補正情報を復号側信号修正装置８０に送出する。
【０１１１】
逆量子化部１３３は、可変長復号部１３２から供給される量子化信号に対して逆量子化処理を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部１３４に送出する。
【０１１２】
逆直交変換部１３４は、逆量子化部１３３から供給される差分信号の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分信号を加算部１３５に送出する。
【０１１３】
動き補償予測部１３７は、フレームメモリ１３６から得られる参照画像と可変長復号部１３２から得られる動きベクトルとを用いて予測画像を生成し、加算部１３５に出力する。
【０１１４】
加算部１３５は、逆直交変換部１３４から得られる当該差分信号と、動き補償予測部１３７から供給される予測画像とを加算して画像信号を復元し、復元した画像信号を本実施例に係る復号装置９０における復号側信号修正装置８０に送出する。
【０１１５】
復号装置９０における復号側信号修正装置８０は、フラグ補正情報及びパラメータ補正情報を用いて、加算部１３５から得られる画像信号を上述したように符号化劣化を抑制した修正後の画像信号を生成し、フレームメモリ１３６に格納するとともに、並べ替え部１３８に送出する。
【０１１６】
並べ替え部１３８は、復号側信号修正装置８０から得られる修正後の画像信号を表示フレーム順に並べ替て出力する。
【０１１７】
このように、復号装置９０に本実施例の復号側信号修正装置８０を適用することができる。
【０１１８】
尚、符号化装置６０及び復号装置９０において、特定の配置位置に本発明の信号修正装置を組み入れて説明したが、フレームメモリの前段に配置することや、動き補償予測部の後段に配置することもできる。
【０１１９】
以下、本実施例にかかる符号化装置６０及び復号装置９０において、符号化側信号修正装置２０と復号側信号修正装置８０の動作を、それぞれ図１２及び図１３を参照して説明する。
【０１２０】
図１２を参照するに、符号化側信号修正装置２０は、基準ＹＵＶ信号と被修正ＹＵＶ信号を入力する（ステップＳ１）。
【０１２１】
符号化側信号修正装置２０は、サンプリングレート変換部１１ａによって、被修正ＹＵＶ信号のうちの輝度信号のダウンコンバートを実行するとともに（ステップＳ２）、被修正ＹＵＶ信号のうちの色差信号のアップコンバートを実行する（ステップＳ３）。
【０１２２】
符号化側信号修正装置２０は、第２直交変換部１２ａによって、基準ＹＵＶ信号のうちの輝度信号及び色差信号の直交変換を施す（ステップＳ４）。
【０１２３】
符号化側信号修正装置２０は、第３直交変換部１１ｂによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各々に対して、直交変換を施し（ステップＳ５，Ｓ６）、正規化処理部１１ｃによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して、それぞれ基準ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数に基づいて正規化処理を施す（ステップＳ７，Ｓ８）。
【０１２４】
符号化側信号修正装置２０は、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して正規化処理を施すことで、それぞれ被修正ＹＵＶ信号のうちの色差信号及び輝度信号の教師信号を生成するとともに、各信号要素（直交変換係数）の修正量を表す正規化パラメータを生成する（ステップＳ９，Ｓ１０，Ｓ１１）。
【０１２５】
符号化側信号修正装置２０は、比較部１２ｂによって、基準ＹＵＶ信号を基に、被修正ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数と、対応する各教師信号の直交変換係数とを比較し、被修正ＹＵＶ信号の修正箇所を決定し（ステップＳ１２）、修正箇所の情報をフラグ情報として生成する（ステップＳ１３）。
【０１２６】
ここで、フラグ情報について具体例を説明する。図１４（ａ）は、コンポーネント信号の信号要素について信号要素単位で修正する例を示す図であり、図１４（ｂ）は、コンポーネント信号の信号要素について分割したブロック単位で修正する例を示す図である。例えば、図１４（ａ）に示すように、基準ＹＵＶ信号、被修正ＹＵＶ信号、及び教師信号の信号要素の各々が、８×８のブロック（例えば、画素値又は直交変換係数）で構成されているものとする。例えば、被修正ＹＵＶ信号の或る信号要素Ａ１は、教師信号の対応する座標位置の信号要素Ａ２によって修正するべきか否かを、基準ＹＵＶ信号の信号要素Ａ０を基にした差の大小比較によって判断することができる。例えば、（Ａ１−Ａ０）２＞（Ａ２−Ａ０）２の場合、被修正ＹＵＶ信号の或る信号要素Ａ１を教師信号の対応する座標位置の信号要素Ａ２によって修正すると判断する。他の信号要素についても同様に、（Ｂ１−Ｂ０）２＞（Ｂ２−Ｂ０）２の場合、被修正ＹＵＶ信号の或る信号要素Ｂ１を教師信号の対応する座標位置の信号要素Ｂ２によって修正すると判断する。
【０１２７】
一方、図１４（ｂ）に示すように、基準ＹＵＶ信号、被修正ＹＵＶ信号、及び教師信号の信号要素の各々が、８×８のブロック（例えば、画素値又は直交変換係数）で構成されている場合に、例えば４つのブロックに分割し、ブロック内の信号要素ごとの評価値の総和を表す値を比較及び置換え対象とすることができる。例えば、被修正ＹＵＶ信号の或る信号要素（ブロックＡ１）は、教師信号の対応する座標位置の信号要素（ブロックＡ２）によって修正するべきか否かを、基準ＹＵＶ信号の信号要素（ブロックＡ０）を基にした差の大小比較によって判断することができる。例えば、ブロックＡ０の信号要素とブロックＡ１の信号要素との差分の自乗和が、ブロックＡ０の信号要素とブロックＡ２の信号要素との差分の自乗和よりも大きい場合、被修正ＹＵＶ信号の或る信号要素（ブロックＡ１）を教師信号の対応する座標位置の信号要素（ブロックＡ２）によって修正すると判断する。他の信号要素のブロックについても同様に、ブロック単位で修正すると判断する。被修正ＹＵＶ信号の比較及び置換えを行う信号要素を、ブロック単位とすることにより、フラグ情報の信号量を低減させることができ、符号化装置に適用した場合に符号化率を改善することができる。分割のやり方は上述の例に限らず、個々の設計に応じて様々な態様に変形することができる。
【０１２８】
符号化側信号修正装置２０は、直交変換係数置換部１３ｂによって、各教師信号の直交変換係数の信号要素を用いて、被修正ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数に対してフラグ情報に対応する修正箇所の修正を適用し、逆直交変換部１３ｃによって、修正後のＹＵＶ信号の直交変換係数に対して逆直交変換を実行する（ステップＳ１４）。
【０１２９】
符号化側信号修正装置２０は、修正推定部１４によって、被修正ＹＵＶ信号における輝度信号及び色差信号の各直交変換係数間で正規化処理を実行し、推定フラグ情報及び推定修正パラメータを生成する（ステップＳ１５）。
【０１３０】
符号化側信号修正装置２０は、フラグ比較部１５及びパラメータ比較部１６の各々によって、それぞれフラグ情報と推定フラグ情報との間、正規化パラメータと推定修正パラメータとの間で相違がある場合に、これらの相違量（差分値）を表すフラグ補正情報及びパラメータ補正情報をそれぞれ外部に送出する(ステップＳ１６)。
【０１３１】
このように、符号化側信号修正装置２０によって、修正後のＹＵＶ信号と、フラグ情報と、正規化パラメータが生成される。
【０１３２】
図１３を参照するに、復号側信号修正装置８０は、被修正ＹＵＶ信号と、該被修正ＹＵＶ信号と関連付けられたフラグ補正情報及びパラメータ補正情報を入力する（ステップＳ２１）。
【０１３３】
復号側信号修正装置８０は、修正推定部７３によって、被修正ＹＵＶ信号における輝度信号及び色差信号の各直交変換係数間で正規化処理を実行し、推定フラグ情報及び推定修正パラメータを生成する（ステップＳ２２−１）。
【０１３４】
符号化側信号修正装置２０は、フラグ補正判断部７４及びパラメータ補正判断部７５によって、フラグ補正情報及びパラメータ補正情報から、それぞれフラグ情報と推定フラグ情報との間、正規化パラメータと推定修正パラメータとの間で相違があると判断する場合に、推定フラグ情報及び推定修正パラメータから、フラグ情報及び正規化パラメータを再生する(ステップＳ２２−２)。尚、相違がない場合に（フラグ補正情報及びパラメータ補正情報が伝送されていない場合）、フラグ情報と推定フラグ情報とは等しく、正規化パラメータと推定修正パラメータとは等しい。
【０１３５】
復号側信号修正装置８０は、サンプリングレート変換部７１ａによって、被修正ＹＵＶ信号のうちの輝度信号のダウンコンバートを実行するとともに（ステップＳ２３）、被修正ＹＵＶ信号のうちの色差信号のアップコンバートを実行する（ステップＳ２４）。
【０１３６】
一方で、復号側信号修正装置８０は、第１直交変換部７２ａによって、被修正ＹＵＶ信号のうちの輝度信号及び色差信号の直交変換を施す（ステップＳ２５）。
【０１３７】
復号側信号修正装置８０は、第３直交変換部７１ｂによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各々に対して、直交変換を施し（ステップＳ２６，Ｓ２７）、正規化処理部７１ｃによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して、それぞれ正規化パラメータに基づいて正規化処理を施す（ステップＳ２８，Ｓ２９）。
【０１３８】
復号側信号修正装置８０は、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して正規化処理を施すことで、それぞれ被修正ＹＵＶ信号のうちの色差信号及び輝度信号の教師信号を生成する（ステップＳ３０）。
【０１３９】
復号側信号修正装置８０は、直交変換係数置換部７２ｂによって、各教師信号の直交変換係数の信号要素を用いて、被修正ＹＵＶ信号のうちの色差信号及び輝度信号の直交変換係数に対してフラグ情報に対応する修正箇所の修正を適用し、逆直交変換部７２ｃによって、修正後のＹＵＶ信号の直交変換係数に対して逆直交変換を実行する（ステップＳ３１）。
【０１４０】
このように、復号側信号修正装置８０によって、フラグ情報と正規化パラメータを用いて、修正後のＹＵＶ信号を得ることができる。例えば、図１５に示すように、被修正ＹＵＶ信号における輝度信号及び色差信号は、相互の相関と基準信号に対する差異を考慮して各信号要素について修正され、修正ＹＵＶ信号を得ることができる。この修正後のＹＵＶ信号は、単にコンポーネント信号間の相関に基づいて修正したものとは相違して、基準ＹＵＶ信号に基づいて修正したものであるため、劣化の少ない画像信号として復元されたものであることに留意する。
【０１４１】
更に、本発明の一態様として、各実施例の符号化側信号修正装置１０，２０又は復号側信号修正装置７０，８０をコンピュータとして構成させることができる。コンピュータに、各信号修正装置における各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備える制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
【０１４２】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【０１４３】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【０１４４】
以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。
【０１４５】
例えば、仮に信号修正装置に入力される信号のサンプリングレートが同一であれば、輝度信号ダウンコンバート部及び色差信号アップコンバート部をバイパスすることもできる。
【０１４６】
更に、信号修正装置にて、修正するコンポーネント信号は、それぞれＹＵＶ信号を入力するに限定するものではなく、例えば図１６に示す符号化側信号修正装置２０ｂのように、ＹＵＶ信号の直交変換係数を入力するものとして構成することもできる。この場合、前述した符号化側信号修正装置２０における第１〜第３直交変換部１３ａ，１２ａ，１１ｂが不要になり、サンプリングレート変換部１１ｄは直交変換係数を入力してサンプリングレート変換を実行することになる。尚、復号側信号修正装置についても同様の変形例を構成することができる。
【０１４７】
従って、画像信号における各コンポーネント信号、及び／又は、これらの直交変換係数の信号を比較するように構成するだけでなく、各コンポーネント信号が入力されてサンプリングレートを変換した信号について比較を行うことや、各コンポーネント信号が入力されてサンプリングレートを変換した信号の直交変換係数について比較を行うことや、各コンポーネント信号の直交変換係数の信号が入力されてサンプリングレートを変換した信号について量子化した後に比較を行うことや、これらの併用の構成とするなどの様々な変形例が可能である。
【産業上の利用可能性】
【０１４８】
本発明によれば、例えばサンプリング周波数の異なる色空間の信号成分からなる画像信号であっても画像信号の劣化が低減するように、該画像信号を修正することができるので、非可逆な符号化方式による符号化処理を扱う画像信号を利用する任意の用途に有用である。
【符号の説明】
【０１４９】
１０  符号化側信号修正装置
１１  教師信号生成部
１１ａ  サンプリングレート変換部
１１ａ−１  サンプリングレート変換部
１１ｂ  第３直交変換部
１１ｂ−１  第３直交変換部
１１ｃ  正規化処理部
１１ｃ−１  正規化処理部
１１ｄ  サンプリングレート変換部
１２  修正判断部
１２ａ  第２直交変換部
１２ｂ  比較部
１２ｂ−１  比較部
１３  修正処理部
１３ａ  第１直交変換部
１３ａ−１  第１直交変換部
１３ｂ  直交変換係数置換部
１３ｃ  逆直交変換部
１４  修正推定部
１５  フラグ比較部
１６  パラメータ比較部
２０  符号化側信号修正装置
２０ａ  符号化側信号修正装置
６０  符号化装置
７０  復号側信号修正装置
７１  教師信号生成部
７１ａ  サンプリングレート変換部
７１ｂ  第３直交変換部
７１ｃ  正規化処理部
７２  修正処理部
７２ａ  第１直交変換部
７２ｂ  直交変換係数置換部
７２ｃ  逆直交変換部
７３  修正推定部
７３ａ  サンプリングレート変換部
７３ｂ  第２直交変換部
７３ｃ  正規化処理部
７３ｄ  比較部
７４  フラグ補正判断部
７５  パラメータ補正判断部
８０  復号側信号修正装置
９０  復号装置
１１４  直交変換部
１１５  量子化部
１１６  可変長符号化部
１１７  逆量子化部
１１８  逆直交変換部
１１９  減算部
１２１  フレームメモリ
１２２  動き補償予測部
１２３  加算部
１２４  並べ替え部
１３２  可変長復号部
１３３  逆量子化部
１３４  逆直交変換部
１３５  加算部
１３６  フレームメモリ
１３７  動き補償予測部
１３８  並べ替え部
【図１】
2011229013.tif 000003
【図２】
2011229013.tif 000004
【図３】
2011229013.tif 000005
【図４】
2011229013.tif 000006
【図５】
2011229013.tif 000007
【図６】
2011229013.tif 000008
【図７】
2011229013.tif 000009
【図８】
2011229013.tif 000010
【図９】
2011229013.tif 000011
【図１０】
2011229013.tif 000012
【図１１】
2011229013.tif 000013
【図１２】
2011229013.tif 000014
【図１３】
2011229013.tif 000015
【図１４】
2011229013.tif 000016
【図１５】
2011229013.tif 000017
【図１６】
2011229013.tif 000018
【図１７】
2011229013.tif 000019