(57)【特許請求の範囲】
【請求項１】
カラー画像を構成する各色成分を、符号化時の画質劣化が少なくなるような新たな色成分にそれぞれ変換する色変換装置であって、
前記色成分ごとの画像をそれぞれ入力し、この入力画像の符号化時に付加される符号化劣化成分を画素ごとにそれぞれ推定する劣化推定手段と、
前記劣化推定手段によって推定された前記符号化劣化成分を主成分分析する主成分分析手段と、
前記主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列を各前記入力画像に乗算して、前記各色成分を、当該各色成分の色空間とは異なる色空間の前記新たな色成分にそれぞれ変換し、新たな各色成分からなる画像をそれぞれ生成する色空間変換手段と、を備えることを特徴とする色変換装置。
【請求項２】
前記劣化推定手段が、
前記入力画像に対し周波数変換を行い複数の周波数係数からなる変換係数列を生成する変換手段と、
前記変換手段により求められた変換係数列の各周波数係数を量子化テーブルの量子化ステップで除算して量子化データを生成する量子化手段と、
前記量子化手段により生成された前記量子化データに対し、前記量子化ステップを乗算して逆量子化データを生成する逆量子化手段と、
前記逆量子化手段により生成された逆量子化データに対して、前記変換手段による周波数変換の逆変換を行い、劣化模擬画像を生成する逆変換手段と、
前記逆変換手段で生成された前記劣化模擬画像と前記入力画像との差分をとり、前記符号化劣化成分である差分画像を生成する減算手段と、を備えることを特徴とする請求項１に記載の色変換装置。
【請求項３】
前記劣化推定手段が、
前記入力画像に対し動き補償による予測残差を推定し、予測残差を示す残差画像を生成する予測残差推定手段と、
前記予測残差推定手段で生成された前記残差画像に対し周波数変換を行い複数の周波数係数からなる変換係数列を生成する変換手段と、
前記変換手段により求められた変換係数列の各周波数係数を量子化テーブルの量子化ステップで除算して情報量を削減する量子化手段と、
前記量子化手段により量子化された前記各周波数係数に対し、前記量子化ステップを乗算して逆量子化データを生成する逆量子化手段と、
前記逆量子化手段により生成された逆量子化データに対して、前記変換手段による周波数変換の逆変換を行い、劣化模擬画像を生成する逆変換手段と、
前記逆変換手段で生成された前記劣化模擬画像と前記残差画像との差分をとり、前記符号化劣化成分である差分画像を生成する減算手段と、を備えることを特徴とする請求項１に記載の色変換装置。
【請求項４】
カラー画像を符号化する符号化器であって、
請求項２に記載の色変換装置と、
前記色変換装置で生成された前記新たな各色成分でなる画像を入力し、前記新たな各色成分でなる画像に対し、前記色変換装置の変換手段と同じ変換を行って変換係数列を生成する第２変換手段と、
前記第２変換手段で生成された変換係数列に対し、前記色変換装置の量子化手段と同じ量子化を行って量子化データを生成する第２量子化手段と、
前記第２量子化手段で生成された量子化データおよび前記色変換行列のデータを符号化する符号化手段と、
を備えることを特徴とする符号化器。
【請求項５】
カラー画像を符号化する符号化器であって、
請求項３に記載の色変換装置と、
前記色変換装置で生成された前記新たな各色成分でなる画像を入力し、前記色変換装置の予測残差推定手段と同じ推定処理を行って、残差画像を生成する第２予測残差推定手段と、
前記第２予測残差推定手段で生成された残差画像に対し、前記色変換装置の変換手段と同じ変換を行って変換係数列を生成する第２変換手段と、
前記第２変換手段で生成された変換係数列に対し、前記色変換装置の量子化手段と同じ量子化を行って量子化データを生成する第２量子化手段と、
前記第２量子化手段で生成された量子化データおよび前記色変換行列のデータを符号化する符号化手段と、
を備えることを特徴とする符号化器。
【請求項６】
請求項４または請求項５に記載の符号化器で生成されたデータを復号する復号器であって、
前記符号化器からのデータを復号して量子化データおよび前記色変換行列のデータを生成する符号化データ復号手段と、
前記符号化データ復号手段で生成された量子化データに対し、前記符号化器における第２量子化手段とは逆の逆量子化を行って、複数の周波数係数からなる変換係数列を生成する第２逆量子化手段と、
前記第２逆量子化手段で生成された変換係数列に対し、前記符号化器における第２変換手段とは逆の逆変換を行って、前記新たな各色成分でなる画像を生成する第２逆変換手段と、を有する復号装置と、
前記復号装置で生成された前記新たな各色成分でなる画像を入力し、この新たな各色成分からなる画像に、前記色変換装置で生成された前記色変換行列の逆行列をそれぞれ乗算して、前記各色成分からなる画像を復元する色空間復元手段を備える色復元装置と、
を備えることを特徴とする復号器。
【請求項７】
カラー画像を構成する複数の色成分を、新たな色成分にそれぞれ変換するために、コンピュータを、
前記色成分ごとの画像をそれぞれ入力し、この入力画像の符号化時に付加される符号化劣化成分を画素ごとにそれぞれ推定する劣化推定手段、
前記劣化推定手段によって推定された前記符号化劣化成分を主成分分析する主成分分析手段、
前記主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列を各前記入力画像に乗算して、前記各色成分を、当該各色成分の色空間とは異なる色空間の前記新たな色成分にそれぞれ変換し、新たな各色成分からなる画像をそれぞれ生成する色空間変換手段、として機能させるための色変換プログラム。
【請求項８】
請求項４または請求項５に記載の符号化器として、コンピュータを機能させるための符号化プログラム。
【請求項９】
請求項６に記載の復号器として、コンピュータを機能させるための復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像を符号化する際の前処理に関し、とくにカラー画像の色成分を、異なる色空間の色成分に変換する技術に関する。
【背景技術】
【０００２】
画像符号化においては、カラー画像を扱う際に、輝度１成分と色差２成分とに変換することが行われている。例えば、赤、青および緑の３成分を、輝度１成分と色差２成分とに変換する際には、ＩＴＵ−Ｒ  ＢＴ．６０１規格に定める色変換行列や、ＩＴＵ−Ｒ  ＢＴ．７０９規格に定める色変換行列が用いられている。輝度の方が色差よりも視覚的に目立ちやすいため、前記したような色変換行列は、符号化による色差よりも輝度の画質劣化が少なくなるように設定されることが多い。例えば、輝度画像の画素数は変化させずに、色差画像のみについて画素数を１／２または１／４に間引くことがよく行われている。この間引き操作は、カラーサブサンプリングと呼ばれている。
【０００３】
カラーサブサンプリングの手法において、色差画像の画素数を水平方向のみに１／２に間引いた信号は４：２：２フォーマットと呼ばれており、色差画像の画素数を水平方向および垂直方向にそれぞれ１／２に間引いた信号は４：２：０フォーマットと呼ばれている。一方、輝度および色差がすべて同一の水平および垂直画素数からなる信号は４：４：４フォーマットと呼ばれている。
また、ディジタルカメラやビデオにおいては、色味が所望のものとなるようホワイトバランスの調整が行われている。従来、ホワイトバランスの調整を自動化する技術が種々提案されている（特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４７６４１６３号公報
【特許文献２】特許第４８１５２６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記した従来の規格では、入力画像によらず常に同じ色変換行列が用いられる。このため、例えば、色相の異なる色で構成された細かいテクスチャ（細かいストライプなど）は、色差画像上にも細かいテクスチャとして現れる。これをカラーサブサンプリングすると、このテクスチャがつぶれてしまったりモアレを生じてしまったりした結果、著しい画質劣化を招いてしまう。また、入力画像の色味が標準的な色味から偏っている場合（例えば、夕日の色味での撮影など色温度が符号化手法の想定と異なる場合や、色かぶりを生じている場合）にも、色差画像のパワーが想定以上に大きくなり、カラーサブサンプリングの悪影響が目立ちやすくなる。
【０００６】
また、特許文献１，２に示したようなホワイトバランスの調整を自動化する技術によれば、被写体の色味を所定の色味に補正できるため、特に色温度の差異や色かぶりの影響を除くことができるものの、被写体のテクスチャの細かさなどは考慮されないため、カラーサブサンプリング後の画質劣化を防止することはできない。また、演出上の意図によってカラーバランスを敢えて崩した場合には、色差成分が符号化装置の想定される値を逸してしまい、符号化効率の低下を招くことがある。
【０００７】
そこで、本発明は、カラー画像の色成分ごとの符号化劣化成分の発生の度合いを考慮して符号化劣化成分の発生を抑制するような色変換を行うことで、符号化時の画質劣化を抑制する技術を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の色変換装置は、カラー画像を構成する各色成分を、符号化時の画質劣化が少なくなるような新たな色成分にそれぞれ変換する色変換装置であって、劣化推定手段と、主成分分析手段と、色空間変換手段と、を備えることを特徴とする。
【０００９】
かかる構成によれば、色変換装置は、色成分ごとの画像をそれぞれ入力し、この入力画像の符号化時に付加される符号化劣化成分を画素ごとにそれぞれ推定することで、想定される画像符号化方式で用いられる符号化処理を模擬する処理を行い、カラー画像の符号化時に付加される符号化劣化成分を画素ごと色ごとに特定することができる。
【００１０】
また、色変換装置は、主成分分析手段によって、劣化推定手段によって推定された符号化劣化成分を主成分分析して、カラー画像の符号化時に劣化しやすい色成分を順位付けすることができる。
【００１１】
さらに、色変換装置は、色空間変換手段によって、主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列を各入力画像にそれぞれ乗算して、各色成分を、当該各色成分の色空間とは異なる色空間の新たな色成分にそれぞれ変換する。ここで、主成分分析手段による主成分分析によって得られた色変換行列は、固有値（各主成分の重み）に基づいて生成されるものであり、固有値が大きいほどその主成分が画質劣化成分に占める割合が多く、固有値が小さいほどその主成分がその主成分が画質劣化成分に占める割合が少ないことを示している。したがって、固有値が大きいほど、その色成分が劣化しやすく、固有値が小さいほどその色成分が劣化しにくいといえる。
【００１２】
このようなカラー画像の符号化時の各色成分の劣化しやすさを表す色変換行列を入力画像ごとに乗算することで、劣化しやすい色成分の色空間を劣化しにくい色空間の色成分へと変換することができる。この新たな色空間は、その各軸が画像を符号化したときに損失の最も大きくなる軸から順次直交基底を張るため、符号化劣化成分を受けやすい色成分から影響を受けにくい色成分へと順位付けのなされた色分解が可能となる。
【００１３】
また、請求項２に記載の色変換装置は、請求項１に記載の色変換装置において、劣化推定手段が、変換手段と、量子化手段と、逆変換手段と、減算手段と、を備えることとした。
【００１４】
かかる構成によれば、色変換装置は、変換手段によって、入力画像に対し周波数変換を行い、周波数係数からなる変換係数列を生成する。これによって、入力画像の信号が空間領域のデータから空間周波数領域の数値データへと変換される。例えば、色変換装置は、変換手段によって、入力画像を複数のブロックに分けてそれぞれのブロックに対し離散コサイン変換のような線形直交変換を行う。
【００１５】
また、色変換装置は、量子化手段によって、変換手段により求められた変換係数列の複数の周波数係数の中から高周波成分を所定量削減した量子化データを生成する。これによって、入力画像に対し、想定される画像符号化方式で量子化を行ったときの情報の損失を模擬することができる。
【００１６】
さらに、色変換装置は、逆変換手段によって、量子化手段によって生成された量子化データに対し、変換手段による周波数変換の逆変換を行う。例えば、変換手段によって、入力画像に対し離散コサイン変換を行った場合、逆変換手段によって、量子化データに対し逆離散コサイン変換を行って空間周波数領域の数値データから空間領域の画像データを再構築し、劣化模擬画像を生成する。この劣化模擬画像は、変換手段と量子化手段とを経ることによって、元の入力画像に対し高周波成分が削減されているので、元の入力画像よりも劣化した画像となる。
【００１７】
次に、色変換装置は、減算手段によって、入力画像と、逆変換手段によって生成された劣化模擬画像との差分をとり、符号化劣化成分として、入力画像と劣化模擬画像との差分画像を生成する。前記したように、これにより、想定される画像符号化方式による入力画像の符号化時に損失する情報を推定することができる。
【００１８】
請求項２に記載の色変換装置は、請求項１に記載の色変換装置において、劣化推定手段が、変換手段と、量子化手段と、逆量子化手段と、逆変換手段と、減算手段と、を備えることとした。
【００１９】
かかる構成によれば、色変換装置は、変換手段によって、入力画像に対し周波数変換を行い、周波数係数からなる変換係数列を生成する。これによって、入力画像の信号が空間領域のデータから空間周波数領域の数値データへと変換される。例えば、色変換装置は、変換手段によって、入力画像を複数のブロックに分けてそれぞれのブロックに対し離散コサイン変換のような線形直交変換を行う。
【００２０】
また、色変換装置は、量子化手段によって、各周波数係数を量子化テーブルの量子化ステップで除算して量子化データを生成する。これによって、入力画像に対し、想定される画像符号化方式で量子化を行ったときの情報の損失を模擬することができる。
さらに、色変換装置は、逆量子化手段によって、量子化手段により生成された量子化データに対し、前記量子化ステップを乗算して逆量子化データを生成する。これにより、空間周波数領域の数値データを再構築することができる。
【００２１】
続いて、色変換装置は、逆変換手段によって、逆量子化手段によって生成された逆量子化データに対し、変換手段による周波数変換の逆変換を行う。例えば、変換手段によって、入力画像に対し離散コサイン変換を行った場合、逆変換手段によって、逆量子化データに対し逆離散コサイン変換を行って空間周波数領域の数値データから空間領域の画像データを再構築し、劣化模擬画像を生成する。この劣化模擬画像は、変換手段と量子化手段とを経ることによって、元の入力画像に対し高周波成分が削減されているので、元の入力画像よりも劣化した画像となる。
【００２２】
そして、色変換装置は、減算手段によって、入力画像と、逆変換手段によって生成された劣化模擬画像との差分をとり、符号化劣化成分として、入力画像と劣化模擬画像との差分画像を生成する。前記したように、これにより、想定される画像符号化方式による入力画像の符号化時に損失する情報を推定することができる。
【００２３】
請求項３に記載の色変換装置は、請求項１に記載の色変換装置において、劣化推定手段が、予測残差推定手段と、変換手段と、量子化手段と、逆変換手段と、減算手段と、を備えることとした。
【００２４】
請求項３に記載の色変換装置は、請求項２に記載の色変換装置に対し、動画像の動き補償を模擬するための予測残差推定手段をさらに設けた点が相違する。
かかる構成によれば、色変換装置は、予測残差推定手段によって、入力画像に対し、想定される動画像の画像符号化方式で行われる動き補償と同等の処理を行う。これにより、想定される動画像の画像符号化方式で動き補償を行ったのと同等の結果が得られる。その他の構成については、前記した請求項２に記載の発明の説明のとおりであるので、ここでは説明を省略する。
【００２５】
請求項４に記載の符号化器は、カラー画像を符号化する符号化器であって、請求項２に記載の色変換装置と、符号化装置と、を備えることとした。
かかる構成によれば、色変換装置は、入力画像の各色成分を新たな色成分にそれぞれ変換し、新たな各色成分からなる画像を生成する。色変換装置の作用は、前記した通りであるので、ここでは詳細な説明は省略する。
符号化装置は、色変換装置で生成された新たな各色成分でなる画像に対し、色変換装置の変換手段と同じ変換を行うとともに、色変換装置の量子化手段と同じ量子化を行う。
このように、符号化器は、色変換装置が、符号化装置による変換、および、量子化と同じ処理を行う変換手段、および、量子化手段を備えるので、色変換装置によって、符号化時の劣化を正確に模擬することができる。
【００２６】
請求項５に記載の符号化器は、カラー画像を符号化する符号化器であって、請求項３に記載の色変換装置と、符号化装置と、を備えることとした。
かかる構成によれば、色変換装置は、入力画像の各色成分を新たな色成分にそれぞれ変換し、新たな各色成分からなる画像を生成する。色変換装置の作用は、前記した通りであるので、ここでは詳細な説明は省略する。
符号化装置は、色変換装置で生成された前記新たな各色成分でなる画像に対し、色変換装置の予測残差推定手段と同じ予測残差推定処理を行い、色変換装置の変換手段と同じ変換処理を行い、さらに、色変換装置の量子化手段と同じ量子化を行う。
このように、符号化器は、色変換装置が、符号化装置による予測残差推定処理、変換処理、および、量子化処理と同じ処理を行う予測残差推定手段、変換手段、および、量子化手段を備えるので、色変換装置によって、符号化時の劣化を正確に模擬することができる。
【００２７】
請求項６に記載の復号器は、請求項４または請求項５に記載の符号化器で生成されたデータを復号する復号器であって、符号化データ復号手段と第２逆量子化手段と第２逆変換手段と第２逆変換手段とを有する復号装置と、色空間復元手段を備える色復元装置と、を備えることとした。
【００２８】
かかる構成によれば、復号器は、復号装置の符号化データ復号手段によって、符号化器で生成された新たな各色成分でなる画像の符号化データを入力し、符号化データから量子化データを復号する。
また、復号器は、復号装置の第２逆量子化手段によって、符号化データ復号手段で復号された量子化データに対し、符号化器における第２量子化手段とは逆の逆量子化を行って、複数の周波数係数からなる変換係数列を生成する。
さらに、復号器は、復号装置の第２逆変換手段によって、第２逆量子化手段で生成された変換係数列に対し、符号化器における第２変換手段とは逆の逆変換を行って、新たな各色成分でなる画像を生成する。
【００２９】
そして、復号器は、色復元装置の色空間復元手段によって、復号装置で生成された新たな各色成分でなる画像を入力し、この新たな各色成分からなる画像に、色変換装置で生成された色変換行列の逆行列をそれぞれ乗算して、各色成分からなる画像を復元する。
このように、復号器は、色変換装置が、復号装置による逆変換、および、逆量子化と同じ処理を行う逆変換手段、および、逆量子化手段を備えるので、復号装置によって、色変換装置で生成された新たな各色成分からなる画像から、正確にカラー画像の各色成分からなる画像を復元できる。
【００３０】
請求項７に記載の色変換プログラムは、カラー画像を構成する複数の色成分を、新たな色成分にそれぞれ変換するために、コンピュータを、劣化推定手段、主成分分析手段、色空間変換手段、として機能させることとした。
【００３１】
かかる構成によれば、色変換プログラムは、劣化推定手段によって、色成分ごとの画像をそれぞれ入力し、この入力画像の符号化時に付加される符号化劣化成分画素ごとに推定する。次に、色変換プログラムは、主成分分析手段によって、劣化推定手段によって推定された符号化劣化成分を主成分分析する。そして、色変換プログラムは、色空間変換手段によって、主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列を各入力画像に乗算して、各色成分を、当該各色成分の色空間とは異なる色空間の新たな色成分にそれぞれ変換する。
【００３２】
請求項８に記載の符号化プログラムは、請求項４または請求項５に記載の符号化器として、コンピュータを機能させる。
【００３３】
請求項９に記載の復号プログラムは、請求項６に記載の復号器として、コンピュータを機能させる。
【発明の効果】
【００３４】
請求項１，７に記載の発明によれば、入力画像の各色成分を、符号化時の画質劣化が抑制されるような新たな色成分へとそれぞれ変換することができる。
【００３５】
請求項２に記載の発明によれば、入力画像に対して、想定される画像符号化方式を適用したときに生じる情報の損失を予め推定することができる。そして、この推定結果を利用することで、入力画像の各色成分を、符号化時の画質劣化が効果的に抑制されるような色成分へとそれぞれ変換することが可能となる。
【００３６】
請求項３に記載の発明によれば、入力画像に対して、動き補償を有する動画像符号化方式を適用したときに生じる情報の損失を予め推定することができる。そして、この推定結果を利用することで、入力画像の各色成分を、符号化時の画質劣化がより効果的に抑制されるような色成分へとそれぞれ変換することが可能となる。
【００３７】
請求項４，５および８に記載の発明によれば、符号化時の劣化を正確に模擬することができる。
【００３８】
請求項６および９に記載の発明によれば、劣化の少ない画質の良好なカラー画像を得ることができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の第一、第二実施形態に係る符号化器を含む画像処理システムの構成例を示すブロック図である。
【図２】本発明の第一実施形態に係る符号化器の色変換装置の構成例を示すブロック図である。
【図３】本発明の第一実施形態に係る符号化器の符号化装置の構成を示すブロック図である。
【図４】本発明の第一実施形態に係る符号化器の動作を示すフローチャートである。
【図５】本発明の第二実施形態に係る符号化器の色変換装置の構成例を示すブロック図である。
【図６】本発明の第二実施形態に係る符号化器の色変換装置において、予測残差推定手段の構成例を示すブロック図である。
【図７】本発明の第二実施形態に係る符号化器の符号化装置の構成を示すブロック図である。
【図８】本発明の第二実施形態に係る符号化器の動作を示すフローチャートである。
【図９】本発明の第二実施形態に係る符号化器の動作において、予測残差推定手段の動作を示すフローチャートである。
【図１０】本発明の第一または第二実施形態に係る符号化器で符号化された符号化データを復号する復号器の構成を示すブロック図である。
【図１１】図１０に示した復号器の動作を示すフローチャートである。
【発明を実施するための形態】
【００４０】
本発明の第一実施形態に係る色変換装置は、カラー画像の各色成分からなる画像に対し、符号化時の劣化を模擬し、模擬した結果から、カラー画像の各色成分を符号化時の劣化が少ない新たな色成分にそれぞれ変換し、新たな各色成分からなる画像を生成するものである。
【００４１】
［画像処理システムの概要］
ここで、本発明の第一実施形態に係る色変換装置の詳細な説明に先立ち、本発明の第一実施形態に係る色変換装置を含む画像処理システムの概要について説明する。
図１に示すように、画像処理システムＳｙは、カラー画像を処理するものであって、色変換装置１（１Ａ）と符号化装置４０（４０Ａ）とを備える符号化器Ｃｍ（Ｃｍ１）と、復号装置５０と色復元装置６０とを備える復号器Ｄと、を備えている。符号化器Ｃｍ（Ｃｍ１）の色変換装置１（１Ａ）の構成は後記する。
【００４２】
本発明の符号化器Ｃｍの符号化装置４０（４０Ａ）は、色変換装置１で生成された新たな各色成分からなる画像を符号化するものである。符号化装置４０（４０Ａ）は、後記する本発明の色変換装置１によって行われる、符号化時の画質の劣化を模擬する処理（符号化模擬処理）と同じ処理を行う手段を備える。詳しくは、後記する。つまり、色変換装置１（１Ａ）は、符号化装置４０（４０Ａ）の符号化処理の際の画質の劣化を模擬するものであるため、色変換装置１（１Ａ）の符号化模擬処理と、符号化装置４０（４０Ａ）による実際の符号化処理とが、同じである必要がある。符号化装置４０による画像符号化方式としては、例えば、静止画像の符号化方式であるＪＰＥＧなどが挙げられ、符号化装置４０Ａによる画像符号化方式としては、例えば、動画像の符号化方式であるＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４またはＡＶＣ．／Ｈ．２６４などが挙げられる。
【００４３】
本発明の復号器Ｄｍの復号装置５０は、符号化器Ｃｍの符号化装置４０（４０Ａ）で生成された符号化データを復号するものである。復号装置５０は、後記する色変換装置１（１Ａ）によって行われる、符号化模擬処理後のデータを画像形式のデータに復号する処理（復号処理）と同じ処理を行う手段を備える。詳しくは、後記する。
【００４４】
本発明の復号器Ｄｍの色復元装置６０は、復号装置５０で復号された画像形式のデータに対し、色変換装置１（１Ａ）による色変換の逆変換を行って、入力画像の各色成分からなる画像を復元するものであり、色空間復元手段６１を備えている。
以上が、画像処理システムＳｙの概要である。次に、図２を参照して、本発明の第一実施形態に係る符号化器Ｃｍの構成について、色変換装置の構成を主に説明する。
【００４５】
＜第一実施形態に係る符号化器＞
本発明の第一実施形態に係る符号化器Ｃｍは、色変換装置１と符号化装置４０（図１参照）とを備える。
［色変換装置の構成］
図２に示すように、色変換装置１は、劣化推定手段１０と、主成分分析手段２０と、色空間変換手段３０と、を備えている。なお、色変換装置１は、ここでは、図２に示すように、カラー画像（図示せず）を構成する３つの色成分Ａ，ＢおよびＣからなる画像Ａ，ＢおよびＣを入力し、この入力画像Ａ，ＢおよびＣの各画素の色を変換して３つの色成分Ｘ，ＹおよびＺからなる出力画像Ｘ，ＹおよびＺを出力するものである。
【００４６】
劣化推定手段１０は、入力画像に対し、符号化装置４０（図１参照）で用いられる符号化方式で符号化を行った場合に付加される符号化劣化成分を画素ごと色成分ごとに生成するものであって、変換手段１１と、量子化手段１２と、逆量子化手段１３と、逆変換手段１４と、減算手段１５とを色成分ごとに備える。以下では、色成分により変換手段１１と、量子化手段１２と、逆量子化手段１３と、逆変換手段１４と、減算手段１５とを区別する場合には、各手段に付される数字の後に、入力画像を表す記号（Ａ，ＢまたはＣ）を付して区別するものとする。また、以下では、入力画像Ａの処理を行う変換手段１１、量子化手段１２、逆量子化手段１３と、逆変換手段１４と、減算手段１５を例にとって説明する。なお、符号化装置４０（図１参照）における輝度と色差とでの変換方法の違いに呼応して、変換手段１１Ａと、変換手段１１Ｂや変換手段１１Ｃとで、変換ブロックサイズや変換基底を異ならせてもよい。
【００４７】
変換手段１１（１１Ａ）は、入力画像Ａを入力し、この入力画像Ａを周波数変換して、周波数係数からなる変換係数列を生成するものである。
具体的には、変換手段１１は、符号化装置４０（図１参照）による変換処理で用いられる変換方式、例えば、入力画像Ａを複数の所定の大きさのブロック（例えば、８×８ないし３２×３２のブロック）に分割し、このブロック単位で離散コサイン変換（ＤＣＴ；Discrete Cosine Transform）などの直交変換や、その整数近似（例えば、ＡＶＣ．／Ｈ．２６４符号化方式における整数変換）、または、ウェーブレット変換など、画像または動画像の符号化に用いられる変換またはその近似を行って、画素の数だけ周波数係数を生成する。この変換手段１１によって、空間領域の画像データが空間周波数領域の数値データに変換される。
【００４８】
なお、一般に、画像は、周波数成分の重み付けの総和で表現できることから、変換手段１１が、ＤＣＴ変換を行って、入力画像Ａを空間領域から空間周波数領域に変換することによって、複数の基本的な図柄（基底パターン）の成分の割合を重み付けしてその周波数係数を数値化した変換係数列を得ることができる。なお、入力画像ＡをＤＣＴ変換した場合、相関性が高い場合は、空間周波数で見たときに低周波領域に周波数係数が大きく偏り、一方、高周波領域では周波数係数がゼロに近い値となる。このようにして、変換手段１１により求められた変換係数列は、量子化手段１２に出力される。
【００４９】
量子化手段１２は、変換手段１１により求められた変換係数列の各周波数係数を量子化処理するものである。
量子化手段１２は、符号化装置４０（図１参照）による量子化処理で用いられる量子化テーブルを予め記憶しておき、この量子化テーブルで規定される量子化ステップで変換係数列の各周波数係数を除算して結果を整数に丸めた量子化データを生成する。これにより、情報量（ビット数）が削減される。このようにして生成された量子化データは、逆量子化手段１３に出力される。
【００５０】
なお、量子化手段１２による量子化において、変換係数列の各周波数係数の中から高周波成分が所定量削減される場合もある。
例えば、変換係数列の各周波数係数のうち、符号化装置４０（図１参照）による量子化処理で用いられる量子化テーブルにより量子化したと仮定した場合にゼロになってしまうような周波数係数をゼロに置換し、それ以外の周波数係数についてはそのまま何もしない場合や、また例えば、変換係数列の各周波数係数のうち、符号化装置４０（図１参照）による量子化処理で用いられる量子化テーブルの量子化ステップの幅が大きい（所定の値を超える）周波数係数をゼロに置換し、それ以外の周波数係数についてはそのまま何もしない場合が考えられる。
このようにして生成された量子化データは、逆量子化手段１３に出力される。
【００５１】
なお、色変換装置１の変換手段１１による変換処理および量子化手段１２による量子化処理は、前記した「符号化模擬処理」に相当する。つまり、図１で説明した符号化器Ｃｍの符号化装置４０は、変換手段１１と同じ変換処理を行い変換係数列を生成する手段（第２変換手段）と、量子化手段１２と同じ量子化処理を行い量子化データを生成する手段（第２量子化手段）とを少なくとも備える。
【００５２】
逆量子化手段１３は、量子化手段１２において、符号化装置４０（図１参照）による量子化処理で用いられる量子化テーブルで規定される量子化ステップで変換係数列の各周波数係数を量子化することで生成された量子化データを逆量子化して、逆量子化データを生成するものである。
具体的には、逆量子化手段１３は、量子化手段１２で変換係数列の各周波数係数を除算した量子化ステップを量子化データに乗算することで逆量子化して空間周波数領域のデータを再構築する。ここで、量子化手段１２において丸め処理を行っているので、逆量子化手段１３で逆量子化した後の各周波数係数の値と、量子化手段１２によって量子化される前の各周波数係数の値とは一致しない。
逆量子化手段１３で生成された逆量子化データは、逆変換手段１４に出力される。
【００５３】
逆変換手段１４は、量子化手段１２で生成された逆量子化手段１３で生成された逆量子化データに対し、変換手段１１で行った変換処理の逆変換処理を行うことで、逆量子化データから空間領域の画像データを再構築し、劣化模擬画像Ａ’を生成するものである。逆変換手段１４は、例えば、変換手段１１で入力画像Ａに対し離散コサイン変換を行った場合、この逆変換である逆離散コサイン変換（ＩＤＣＴ；Inverse Discrete Cosine Transform）を量子化データに対して行うことで、各周波数係数から空間領域の画像データを再構築する。このようにして復元された空間領域の画像データは、減算手段１５に出力される。この劣化模擬画像は、入力画像Ａに対し変換手段１１、量子化手段１２によって符号化時の情報損失を模擬した結果を画像データとして復元したものであるので、入力画像Ａよりも劣化した画像となる。
【００５４】
なお、色変換装置１の逆量子化手段１３による逆量子化処理および逆変換手段１４による逆変換処理が、前記した「復号処理」に相当する。
【００５５】
以上説明した、変換手段１１、量子化手段１２、逆量子化手段１３および逆変換手段１４による処理は、一般的な画像符号化方式でそれぞれ規定される処理をそのまま適用することができる。このようにして変換手段１１および量子化手段１２によって符号化模擬処理を行うことで、符号化器Ｃｍの符号化装置４０（図１参照）で行われる画像符号化方式における非可逆的な情報圧縮を模擬することができ、逆量子化手段１３および逆変換手段１４によって復号処理を行うことにより、復号器Ｄｍの復号装置５０（図１参照）で符号化模擬処理後のデータがどのように復元されるのかがわかる。そのため、一般的な画像符号化方式における符号化時に入力画像Ａの画質がどのように劣化し、どのような画像として復元されるのかを予め推定することができる。
【００５６】
ただし、変換手段１１、量子化手段１２による処理は、符号化器Ｃｍの符号化装置４０（図１参照）の処理と一致していれば、一般的な画像符号化方式でそれぞれ規定される処理と完全に一致している必要はなく、これと近似した処理としてもよい。また、逆量子化手段１３、逆変換手段１４による復号処理は、復号器Ｄｍの復号装置５０（図１参照）の処理と一致していれば、一般的な画像復号化方式でそれぞれ規定される処理と完全に一致している必要はなく、これと近似した処理としてもよい。
【００５７】
減算手段１５は、逆変換手段１４で求められた劣化模擬画像Ａ’と入力画像Ａとの差分をとることにより、一般的な画像符号化方式における入力画像Ａの符号化時に付加される符号化劣化成分を画像形式で検出するものである。
例えば、減算手段１５は、次の式（１）により、符号化劣化成分Ｄとして差分画像Ｄを生成する。
【００５８】
【数１】
0005909149.tif 000002
式（１）において、Ｄ（ｘ，ｙ）は、符号化劣化成分Ｄの画像座標（ｘ，ｙ）に関する劣化成分である。同様に、入力画像ＢまたはＣの符号化時に付加される符号化劣化成分を符号化劣化成分ＥまたはＦとし、符号化劣化成分ＥまたはＦの画像座標（ｘ，ｙ）に関する劣化成分をＥ（ｘ，ｙ）またはＦ（ｘ，ｙ）とおく。
減算手段１５（１５Ａ）によって検出された符号化劣化成分Ｄは、主成分分析手段２０に出力される。同様にして、減算手段１５Ｂ，１５Ｃによってそれぞれ検出された符号化劣化成分Ｅ，Ｆは、主成分分析手段２０にそれぞれ出力される。
【００５９】
主成分分析手段２０は、減算手段１５（１５Ａ，１５Ｂおよび１５Ｃ）でそれぞれ検出された符号化劣化成分Ｄ，ＥおよびＦを入力し、式（２）に示すような、符号化劣化成分Ｄ，ＥおよびＦの各画素位置におけるベクトルＧ（ｘ，ｙ）について画面内における主成分分析を行い、固有ベクトル（結合係数ベクトル）ｖkを生成するものである。
【００６０】
【数２】
0005909149.tif 000003
【００６１】
例えば、主成分分析手段２０は、まず次の式（３），（４）により、画面内における分散・共分散行列Ｓを生成する。
【００６２】
【数３】
0005909149.tif 000004
【００６３】
式（３）において、Ｔはベクトルまたは行列の転置を表す。
主成分分析手段２０は、続いて、分散・共分散行列Ｓで色成分の数だけ固有ベクトルｖkを生成する。この固有ベクトルｖkは、第ｋ主成分（ｋは自然数）に対する固有ベクトルである。そして、この固有ベクトルｖkを固有値（各色成分の重み）の大きい方から順に、固有ベクトルｖ1，ｖ2，ｖ3とおく。なお、この固有ベクトルｖ1，ｖ2，ｖ3は、それぞれ列ベクトルであるものとする。つまり、固有ベクトルｖ1は、最も固有値が大きい色成分、言い換えれば、最もその画素における寄与率が高く、符号化時に最も劣化しやすい色成分であり、ｖ2は、２番目に固有値が大きい色成分を表し、ｖ3は、最も固有値が小さい色成分、言い換えれば、最もその画素における寄与率が低く、符号化時に最も劣化しにくい色成分を表している。
【００６４】
なお、主成分分析手段２０による主成分分析は、１画像フレームを１単位として行ってもよいし、１画像フレームを区分した部分領域を１単位として行ってもよいし、複数画像フレームをまとめて１単位として行ってもよい。
【００６５】
主成分分析手段２０は、さらに、例えば、前記したいずれかの単位ごとに主成分分析を行うことによって得られた固有ベクトルｖ1，ｖ2，ｖ3に基づき、次の式（５）に示す色変換行列Ｍを生成する。
【００６６】
【数４】
0005909149.tif 000005
【００６７】
このようにして算出された色変換行列Ｍは、色空間変換手段３０および色変換装置１の外部に出力される。
【００６８】
色空間変換手段３０は、色成分Ａ，ＢおよびＣからなる入力画像Ａ，ＢおよびＣのそれぞれの画素ごとに色変換行列Ｍを乗算することで、新たな色成分Ｘ，ＹおよびＺに変換した出力画像Ｘ，ＹおよびＺを生成するものである。すなわち、色空間変換手段３０は、次の式（６）に示すような演算を実行し、入力画像Ａ，ＢおよびＣの色成分Ａ、ＢおよびＣを線形変換して色成分Ｘ，ＹおよびＺとする。なお、色空間変換手段３０は、入力画像Ａ，ＢおよびＣを所定のサイズのブロックに分割し、このブロックごとに前記した色変換処理を行う。ブロックサイズは、例えば、想定される画像符号化方式における代表的なブロックサイズと同等程度とすることができる。例えば、符号化装置４０において、８×８ないし３２×３２のブロックサイズ単位で符号化処理が行われる場合、色空間変換手段３０は、例えば１６×１６のブロックサイズで色変換処理を行うことができる。このようにすることで、符号化装置４０において、様々なブロックサイズで符号化処理を行う場合であってもこれに適応させることができる。
【００６９】
【数５】
0005909149.tif 000006
【００７０】
［符号化装置の構成］
次に、符号化装置４０の構成について図３を参照して説明する。
図３に示すように、符号化装置４０は、一般的な静止画用の符号化装置と同様に、変換手段４１（第２変換手段）と、量子化手段４２（第２量子化手段）と、符号化手段４３とを備える。
【００７１】
変換手段４１は、色変換装置１から出力された画像Ｘ，ＹおよびＺを周波数変換して、周波数係数からなる変換係数列を生成するものである。変換手段４１は、色変換装置１の変換手段１１と同じ手順を行うことで、変換係数列を生成する。変換手段４１は、例えば、画像Ｘ，ＹおよびＺを８×８ないし３２×３２のブロックに分割し、このブロック単位で周波数変換を行う。ここで生成された変換係数列は、量子化手段４２に出力される。
【００７２】
量子化手段４２は、変換手段１１により求められた変換係数列の各周波数係数を量子化処理し、量子化データを生成するものである。量子化手段４２は、色変換装置１の量子化手段１２と同一の量子化テーブルを保持し、同一の量子化テーブルにより変換係数列の各周波数係数を量子化して量子化データを生成する。ここで生成された量子化データは、符号化手段４３に出力される。
なお、符号化装置４０の変換手段４１による変換処理および量子化手段４２による量子化処理は、色変換装置１の変換手段４１による変換処理および量子化手段４２による量子化処理と同じである。そのため、符号化装置４０の変換手段４１による変換処理および量子化手段４２による量子化処理と逆の処理が、前記した「復号処理」に相当するといえる。つまり、図１で説明した復号器Ｄｍの復号装置５０は、符号化装置４０の量子化手段４２と逆の逆量子化処理を行う手段（第２逆量子化手段）と、符号化装置４０の変換手段４１と逆の逆変換処理を行う手段（第２逆変換手段）とを備える。
【００７３】
符号化手段４３は、量子化手段４２で生成された量子化データをエントロピ符号化し、色変換装置１で生成された色変換行列Ｍをヘッダ情報やサイド情報として付加してこれらを多重化することで符号化データを生成する。ここで生成された符号化データは、復号器Ｄｍの復号装置５０に通知される。
【００７４】
［符号化器の動作］
次に、本発明の第一実施形態に係る色変換装置１と符号化装置４０とを備える符号化器Ｃｍの動作について図４および適宜図１〜３を参照して説明する。
【００７５】
図４に示すように、符号化器Ｃｍは、色変換装置１の劣化推定手段１０の変換手段１１（１１Ａ，１１Ｂ，１１Ｃ）によって、外部から、色成分Ａで構成された入力画像Ａ、色成分Ｂで構成された入力画像Ｂ、または、色成分Ｃで構成された入力画像Ｃをそれぞれ入力する。符号化器Ｃｍは、色変換装置１の変換手段１１によって、入力画像Ａ，ＢまたはＣに対し、符号化装置４０（図１参照）による変換処理と同等の変換処理を行い、空間領域の画像データから空間周波数領域の数値データに変換して周波数係数からなる変換係数列を生成する（ステップＳ１０１）。符号化器Ｃｍは、色変換装置１の変換手段１１によって、入力画像Ａ，ＢまたはＣからそれぞれ生成した変換係数列を量子化手段１２（１２Ａ，１２Ｂ，１２Ｃ）に出力する。
【００７６】
続いて、符号化器Ｃｍは、色変換装置１の量子化手段１２（１２Ａ，１２Ｂ，１２Ｃ）によって、変換手段１１で生成された変換係数列を入力して、変換係数列の各周波数係数を、符号化装置４０による量子化処理で用いられる量子化テーブルで規定される量子化ステップにより量子化し、量子化データを生成する（ステップＳ１０２）。符号化器Ｃｍは、色変換装置１の量子化手段１２によって、生成した量子化データを逆量子化手段１３に出力する。そして、符号化器Ｃｍは、色変換装置１の逆量子化手段１３によって、量子化手段１２で生成した量子化データを逆量子化して空間周波数領域のデータ（逆量子化データ）を再構築する（ステップＳ１０３）。符号化器Ｃｍは、色変換装置１の逆量子化手段１３で生成した逆量子化データを逆変換手段１４に出力する。
【００７７】
次に、符号化器Ｃｍは、色変換装置１の逆変換手段１４（１４Ａ，１４Ｂ，１４Ｃ）によって、量子化手段１２で生成された量子化データまたは逆量子化手段１３で生成された逆量子化データを入力し、この量子化データまたは逆量子化データに対し、変換手段１１による変換処理の逆変換処理を行って、空間領域の画像データを再構築して劣化模擬画像Ａ’，Ｂ’およびＣ’を生成する（ステップＳ１０４）。符号化器Ｃｍは、色変換装置１の逆変換手段１４によって、生成した劣化模擬画像Ａ’，Ｂ’およびＣ’を減算手段１５（１５Ａ，１５Ｂ，１５Ｃ）に出力する。
【００７８】
続いて、符号化器Ｃｍは、色変換装置１の減算手段１５（１５Ａ，１５Ｂ，１５Ｃ）によって、逆変換手段１４で生成された劣化模擬画像Ａ’，Ｂ’およびＣ’を入力するとともに、外部から入力画像Ａ，ＢおよびＣを入力して、入力画像Ａ，ＢおよびＣと劣化模擬画像Ａ’，Ｂ’およびＣ’との間で差分をとり、符号化劣化成分Ｄ，ＥおよびＦを検出する（ステップＳ１０５）。符号化器Ｃｍは、色変換装置１の減算手段１５によって、検出した符号化劣化成分Ｄ，ＥおよびＦを主成分分析手段２０に出力する。
【００７９】
さらに、符号化器Ｃｍは、色変換装置１の主成分分析手段２０によって、減算手段１５によって検出された符号化劣化成分Ｄ，ＥおよびＦを入力し、画像座標（ｘ，ｙ）における色成分Ａ，ＢおよびＣの符号化劣化成分をまとめたベクトルＧ（ｘ，ｙ）について画面内における主成分分析を行い、固有ベクトルｖ1，ｖ2およびｖ3を生成する（ステップＳ１０６）。
【００８０】
そして、符号化器Ｃｍは、色変換装置１の主成分分析手段２０によって、固有ベクトルｖ1，ｖ2およびｖ3を用いて色変換行列Ｍを生成する（ステップＳ１０７）。符号化器Ｃｍは、色変換装置１の主成分分析手段２０によって、生成した色変換行列Ｍを色空間変換手段３０および色変換装置１の外部に出力する。
【００８１】
そして、符号化器Ｃｍは、色変換装置１の色空間変換手段３０によって、主成分分析手段２０から色変換行列Ｍを入力するとともに、外部から入力画像Ａ，ＢおよびＣを入力し、入力画像Ａ，ＢおよびＣに対し色変換行列Ｍをそれぞれ乗算して、新たな色成分Ｘ，ＹおよびＺからなる出力画像Ｘ，ＹおよびＺを生成する（ステップＳ１０８）。符号化器Ｃｍは、色変換装置１の色空間変換手段３０によって、生成した出力画像Ｘ，ＹおよびＺを符号化装置４０に出力する（ステップＳ１０９）。
【００８２】
続いて、符号化器Ｃｍは、符号化装置４０の変換手段４１によって、色変換装置１で生成された出力画像Ｘ，Ｙ，Ｚを入力する（ステップＳ１１０）。
続いて、符号化器Ｃｍは、符号化装置４０の変換手段４１によって、色変換装置１で生成された出力画像Ｘ，Ｙ，Ｚに対し、色変換装置１の変換手段１１と同じ変換処理を行い、変換係数列を生成する（ステップＳ１１１）。
さらに、符号化器Ｃｍは、符号化装置４０の量子化手段４２によって、変換係数列に対し、色変換装置１の量子化手段１２と同じ量子化処理を行い、量子化データを生成する（ステップＳ１１２）。
そして、符号化器Ｃｍは、符号化装置４０の符号化手段４３によって、量子化手段４２で生成された量子化データをエントロピ符号化し、さらに、色変換装置１の色空間変換手段３０で生成された色変換行列Ｍをヘッダ情報やサイド情報として付加し、これらを多重化して符号化データを生成する（ステップＳ１１３）。
【００８３】
以上説明した本発明の第一実施形態に係る符号化器Ｃｍによれば、次のような作用効果を奏する。
本発明の第一実施形態に係る符号化器Ｃｍによれば、色変換装置１が、入力画像の各色成分から直接、色変換行列を生成するのではなく、画像符号化方式による符号化の前に、入力画像の各色成分に対し符号化を模擬した処理を行うことで、符号化により損失される色成分を画素ごとに抽出し、この損失を考慮して、損失しにくい色成分となるような色変換行列を生成することができる。そして、この色変換行列を入力画像の色成分に乗算することで、符号化時に損失しにくい新たな色空間の色成分からなる画像を生成することが可能となる。
この新たな色空間は、その各軸が、カラー画像の符号化時において損失の最も大きくなる軸から順次直交基底を張るため、符号化劣化成分を受けやすい色成分から符号化劣化成分を受けにくい色成分へと順位付けのなされた色分解が可能となる。
【００８４】
また、符号化器Ｃｍによれば、色変換装置１が、入力画像Ａ，ＢおよびＣに対し符号化装置４０の符号化処理と同じ処理を行うことで、符号化時に付加される符号化劣化成分を予め推定することができる。また、符号化器Ｃｍによれば、色変換装置１が、復号器Ｄｍの復号装置５０（図１参照）の復号処理と同じ処理を行うことで、復号装置５０（図１参照）によってどのように画像が復号されるかがわかる。
そして、符号化器Ｃｍによれば、色変換装置１が、符号化劣化成分の推定結果を反映した色変換行列を生成して入力画像Ａ，ＢおよびＣに乗算することで、入力画像Ａ，ＢおよびＣの色成分を、符号化装置４０による実際の符号化時における画質劣化が最も少なくなるような新たな色空間の色成分に変換することができる。したがって、新たな色空間の色成分の出力画像Ｘ，ＹおよびＺに対する符号化装置４０による実際の符号化時における画質劣化を効果的に抑制することができる。
そのため、復号器Ｄｍ（図１参照）で復号されたカラー画像の画質が、入力画像Ａ，ＢおよびＣの元となるカラー画像の画質に対し劣化するのを効果的に抑制することができる。
【００８５】
＜第二実施形態に係る符号化器＞
図１に示すように、本発明の第二実施形態に係る符号化器Ｃｍ１は、色変換装置１Ａと符号化装置４０Ａ（図１，７参照）とを備える。以下、色変換装置１Ａの構成について、図５，６を参照して説明する。
【００８６】
［色変換装置の構成］
図５に示すように、色変換装置１Ａは、劣化推定手段１０Ａと、主成分分析手段２０と、色空間変換手段３０と、を備えている。
【００８７】
色変換装置１Ａは、色変換装置１に対し、劣化推定手段１０Ａの構成が異なる点で相違する。具体的には、色変換装置１Ａは、動き補償を有する動画像の画像符号化方式における動き補償を模擬することを可能とするために、劣化推定手段１０Ａが、色変換装置１の劣化推定手段１０の各構成要素に加えて、予測残差推定手段１６をさらに備える点で、色変換装置１と相違する。このため、その他の同一の構成要素については同一の符号を付し、重複する説明を省略する。なお、ここでは、３つの色成分Ａ，ＢおよびＣが色変換装置１Ａに入力されるものとする。また、色変換装置１Ａは、予測残差推定手段１６によって、符号化装置４０Ａの予測残差推定手段４４（第２予測残差推定手段）で行われるフレーム間予測、イントラ予測、あるいは、フレーム間予測＋イントラ予測を模擬することができるが、ここでは、予測残差推定手段１６によって、フレーム間予測を行う場合を例にとって説明する。
【００８８】
図５に示すように、劣化推定手段１０Ａは、入力画像に対し、符号化装置４０Ａ（図１，７参照）で符号化を行った場合に付加される符号化劣化成分を画素ごと色成分ごとに生成するものであって、変換手段１１と、量子化手段１２と、逆量子化手段１３と、逆変換手段１４と、減算手段１５と、予測残差推定手段１６とを色成分ごとに備える。以下では、色成分により変換手段１１と、量子化手段１２と、逆量子化手段１３と、逆変換手段１４と、減算手段１５と、予測残差推定手段１６とを区別する場合には、各手段に付される数字の後に、入力画像を表す記号（Ａ，ＢまたはＣ）を付して区別するものとする。また、以下では、入力画像Ａの処理を行う変換手段１１と、量子化手段１２と、逆量子化手段１３と、逆変換手段１４と、減算手段１５と、予測残差推定手段１６とを例にとって説明する。
【００８９】
図６に示すように、予測残差推定手段１６（１６Ａ）は、参照画像蓄積手段１６ａと、動き推定手段１６ｂと、動き補償手段１６ｃと、残差画像生成手段１６ｄと、を備える。
【００９０】
参照画像蓄積手段１６ａ（１６Ａａ）は、動き補償手段で動き補償を行う際に参照される画像を蓄積するものである。参照画像蓄積手段１６ａは、外部から色成分Ａでなる入力画像Ａを入力して一時的に記憶し、この入力画像Ａを例えば１フレーム分遅延して動き推定手段１６ｂおよび動き補償手段１６ｃに出力するものである。例えば、動画像の１フレーム目の色成分Ａの集合である入力画像を入力画像Ａ1とし、動画像の２フレーム目の色成分Ａの集合である入力画像を入力画像Ａ2とする。この場合、参照画像蓄積手段１６ａは、まず、入力画像Ａ1（Ａn-1）を入力して記憶する。そして、参照画像蓄積手段１６ａは、入力画像Ａ2（Ａn）が入力されると、すでに記憶した入力画像Ａ1を動き推定手段１６ｂおよび動き補償手段１６ｃに出力するとともに、入力画像Ａ1を入力画像Ａ2に書き換えて記憶する。この記憶手段は、例えば、ＲＡＭ（Random Access Memory）、ハードディスク等によって実現される。
【００９１】
動き推定手段１６ｂ（１６Ａｂ）は、時間的に１つ前のフレーム（前フレーム）の画像Ａn-1と現フレームの画像Ａnとを比較して画像動き（動きベクトルｔn）を生成するものである。
前記した例の場合、動き推定手段１６ｂは、外部から入力画像Ａ2を入力し、この入力画像Ａ2と、参照画像蓄積手段１６ａから遅延して出力された入力画像Ａ1とを比較して、画像動きを生成するものである。なお、参照画像蓄積手段１６ａと動き推定手段１６ｂには同じタイミングで入力画像Ａ2が入力される。また、動き推定手段１６ｂは、比較対象となるフレームが存在しない場合、つまり、参照画像蓄積手段１６ａからの出力がない場合、処理を行わない。
【００９２】
動き推定手段１６ｂは、例えば、入力画像Ａ2を複数のブロックに分割し、各ブロック内の画素値列と類似する領域を入力画像Ａ1内から探索する（ブロックマッチングする）ことによって、当該ブロックの場所における動きベクトルｔ2（入力画像Ａ1からみた入力画像Ａ2の動きの大きさと方向）を生成する。なお、類似性は、例えば、画素値列間の相互相関の最大化や、画素値列の誤差和（二乗誤差和や絶対値誤差和）の最小化によって評価することができる。また、各ブロックの大きさは、符号化装置４０Ａ（図１参照）で用いられる符号化方式に応じて適宜決定されるが、例えば、符号化装置４０Ａ（図１参照）で符号化方式としてＭＰＥＧ−２方式を想定する場合、１６×１６画素のマクロブロックに分割する。このようにして求められた動きベクトルｔ2は、動き補償手段１６ｃに出力される。
【００９３】
動き補償手段１６ｃ（１６Ａｃ）は、動き推定手段１６ｂから動きベクトルを入力するとともに、参照画像蓄積手段１６ａから遅延して出力された前フレームの画像Ａn-1を入力し、動きベクトルに基づいて前フレームの画像Ａn-1から現フレームの画像Ａnを予測した予測画像Ｌnを生成するものである。前記した例の場合、動き補償手段１６ｃは、参照画像蓄積手段１６ａから入力画像Ａ1を入力し、動き推定手段１６ｂから入力された動きベクトルｔ2に基づいて入力画像Ａ1をブロックごとに移動させて動き補償して、入力画像Ａ1が動きベクトル分動いた動き補償画像を、入力画像Ａ1から入力画像Ａ2を予測した予測画像Ｌ2として生成する。
【００９４】
残差画像生成手段１６ｄ（１６Ａｄ）は、動き補償手段１６ｃで生成された予測画像Ｌnと、外部から入力された現フレームの画像Ａnとの間で差分をとり、予測誤差を残差画像Ｐnとして生成するものである。前記した例の場合、残差画像生成手段１６ｄは、動き補償手段１６ｃで生成された予測画像Ｌ2を入力し、外部から入力された入力画像Ａ2との差分をとり、残差画像Ｐ2を生成する。このようにして生成された残差画像Ｐ2は、変換手段１１および減算手段１５に出力される。
【００９５】
これと同様にして、予測残差推定手段１６Ｂ，１６Ｃは、動き推定手段１６Ｂｂ，１６Ｃｂによって動きベクトルｔnを求め、動き補償手段１６Ｂｃ，１６Ｃｃによって予測画像Ｍn，Ｎnを生成し、残差画像生成手段１６Ｂｄ，１６Ｃｄによって残差画像Ｑn，Ｒnを生成する。
【００９６】
なお、色変換装置１Ａの予測残差推定手段１６による予測残差推定処理、変換手段１１Ａによる変換処理および量子化手段１２Ａによる量子化処理は、前記した「符号化模擬処理」に相当する。
【００９７】
次に、符号化装置４０Ａの構成について、図７を参照して説明する。
図７に示すように、符号化装置４０Ａは、一般的な動画像の符号化装置と同様に、変換手段４１と、量子化手段４２と、符号化手段４３と、予測残差推定手段４４（第２予測残差推定手段）と、逆量子化手段４５と、逆変換手段４６と、加算手段４７とを備えている。ここで、変換手段４１と、量子化手段４２と、符号化手段４３とは、前記した符号化装置４０において説明したのと同様であるので、ここでは詳細な説明を省略する。
【００９８】
予測残差推定手段４４（第２予測残差推定手段）は、参照画像蓄積手段４４ａと、動き推定手段４４ｂと、動き補償手段４４ｃと、残差画像生成手段４４ｄとを備えている。予測残差推定手段４４は、色変換装置１の予測残差推定手段１６と同様の手順で残差画像を生成するものである。すなわち、予測残差推定手段４４は、フレーム間予測、イントラ予測、あるいは、フレーム間予測＋イントラ予測のいずれを行うものとしてもよいが、ここでは、フレーム間予測を行うものとする。
【００９９】
参照画像蓄積手段４４ａは、予測残差推定手段１６の参照画像蓄積手段１６ａと同様の手順で、加算手段４７で生成された画像Ｘ，ＹおよびＺの時間的に１つ前のフレーム（前フレーム）の画像を、次に入力されるフレーム（現フレーム）の予測画像を生成する際の参照画像として蓄積しておくものである。ここでは、参照画像蓄積手段４４ａは、加算手段４７で劣化模擬画像と予測画像とを加算して生成された時間的に１つ前のフレームの画像を参照画像として蓄積する。
【０１００】
動き推定手段４４ｂは、予測残差推定手段１６の動き推定手段１６ｂと同様の手順で、参照画像蓄積手段４４ａに蓄積された前フレームの画像（参照画像）と現フレームの画像とを比較して画像動き（動きベクトル）を生成するものである。ここで生成された動きベクトルは、動き補償手段４４ｃおよび符号化手段４３に出力される。
【０１０１】
動き補償手段４４ｃは、予測残差推定手段１６の動き補償手段１６ｃと同様の手順で、動き推定手段４４ｂで生成された動きベクトルに基づいて、参照画像蓄積手段４４ａに蓄積された前フレームの画像（参照画像）から現フレームの画像を予測した予測画像を生成するものである。ここで生成された予測画像は、残差画像生成手段４４ｄに出力される。
【０１０２】
残差画像生成手段４４ｄは、予測残差推定手段１６の残差画像生成手段１６ｄと同様の手順で、色変換装置１Ａから出力された現フレームの画像と動き補償手段４４ｃで生成された予測画像との差分をとった残差画像をそれぞれ生成するものである。この残差画像は、符号化対象画像（現フレームの画像）と、その動きを予測した予測画像（動き補償画像）との予測誤差を示すものである。ここで生成された残差画像は、変換手段４１に出力される。
【０１０３】
逆量子化手段４５は、量子化手段４２で生成された量子化データに対して、逆量子化を行うことで、量子化データを逆量子化データに変換するものである。逆量子化手段４５は、色変換装置１Ａの逆量子化手段１３と同じ手順で逆量子化を行い、逆量子化データを生成する。ここで変換された逆量子化データは、逆変換手段４６に出力される。
【０１０４】
逆変換手段４６は、逆量子化手段４５で変換された逆量子化データに対して、変換手段４１で行った変換の逆変換を行うものである。逆変換手段４６は、色変換装置１Ａの逆変換手段１４と同じ手順で逆変換を行い、逆量子化データから空間領域の画像データを再構築し、残差復号画像（符号化劣化後の残差画像を復号した画像）を生成する。この逆変換手段４６で逆変換によって生成された残差復号画像は、加算手段４７に出力される。
【０１０５】
加算手段４７は、逆変換手段４６から出力される残差復号画像と、予測残差推定手段４４の動き補償手段４４ｃから出力される予測画像とを加算して、復号画像を生成するものである。ここで生成された復号画像は、次に入力されるフレームの予測画像を生成する際の参照画像の候補として予測残差推定手段４４の参照画像蓄積手段４４ａに蓄積される。
【０１０６】
符号化装置４０Ａにおいて、符号化手段４３は、量子化手段４２で生成された量子化データと、予測残差推定手段４４の動き推定手段４４ｂで生成された動きベクトルをエントロピ符号化し、色変換装置１Ａで生成された色変換行列Ｍをヘッダ情報やサイド情報として付加してこれらを多重化することで符号化データを生成する。
【０１０７】
＜符号化器Ｃｍ１の動作＞
次に、第二実施形態に係る符号化器Ｃｍ１の動作について、図８，９を参照して説明する。
図８に示すように、符号化器Ｃｍ１は、色変換装置１Ａの予測残差推定手段１６（１６Ａ，１６Ｂおよび１６Ｃ）によって、外部から入力画像Ａn，ＢnおよびＣnを入力しフレーム間残差予測推定処理を行う（ステップＳ１２１）。このステップＳ１２１は、図９に示すように、ステップＳ１４１〜ステップＳ１４６を含むものである。図９に示すように、符号化器Ｃｍ１は、色変換装置１ＡのステップＳ１２１において、予測残差推定手段１６の参照画像蓄積手段１６ａ（１６Ａａ，１６Ｂａおよび１６Ｃａ）によって、動画像の１フレーム目の色成分Ａ，ＢおよびＣの集合である入力画像Ａ1，Ｂ1およびＣ1（Ａn-1，Ｂn-1およびＣn-1）をそれぞれ入力し記憶する（ステップＳ１４１）。
【０１０８】
次に、符号化器Ｃｍ１は、色変換装置１ＡのステップＳ１２１において、予測残差推定手段１６の参照画像蓄積手段１６ａによって、動画像の２フレーム目の色成分Ａ，ＢおよびＣの集合である入力画像Ａ2，Ｂ2およびＣ2（Ａn，ＢnおよびＣn）を入力し、すでに記憶した入力画像Ａ1，Ｂ1およびＣ1を動き推定手段１６ｂ（１６Ａｂ，１６Ｂｂおよび１６Ｃｂ）および動き補償手段１６ｃ（１６Ａｃ，１６Ｂｃおよび１６Ｃｃ）に出力するとともに、入力画像Ａ1，Ｂ1およびＣ1を入力画像Ａ2，Ｂ2およびＣ2に書き換えて記憶する（ステップＳ１４２）。
【０１０９】
続いて、符号化器Ｃｍ１は、色変換装置１ＡのステップＳ１２１において、動き推定手段１６ｂによって、参照画像蓄積手段１６ａから入力画像Ａ1，Ｂ1およびＣ1をそれぞれ入力するとともに、外部から入力画像Ａ2，Ｂ2およびＣ2をそれぞれ入力し、入力画像Ａ1，Ｂ1およびＣ1と入力画像Ａ2，Ｂ2およびＣ2とをそれぞれ比較して、動きベクトルｔ2をそれぞれ検出する（ステップＳ１４３）。
【０１１０】
符号化器Ｃｍ１は、色変換装置１ＡのステップＳ１２１において、動き推定手段１６ｂによって、検出した動きベクトルｔ2を動き補償手段１６ｃに出力する。続いて、色変換装置１Ａは、動き補償手段１６ｃによって、動き推定手段１６ｂから動きベクトルｔ2を入力すると、この動きベクトルｔ2に基づき、外部から入力された入力画像Ａ2，Ｂ2およびＣ2を予め定めたブロックごとに移動させて動き補償し、入力画像Ａ1，Ｂ1およびＣ1から入力画像Ａ2，Ｂ2およびＣ2をそれぞれ予測した予測画像Ｌ2，Ｍ2，Ｎ2をそれぞれ生成する（ステップＳ１４４）。
【０１１１】
符号化器Ｃｍ１は、色変換装置１ＡのステップＳ１２１において、動き補償手段１６ｃによって、生成した予測画像Ｌ2，Ｍ2，Ｎ2を残差画像生成手段１６ｄ（１６Ａｄ，１６Ｂｄおよび１６Ｃｄ）に出力する。そして、色変換装置１Ａは、ステップＳ１２１において、残差画像生成手段１６ｄによって、動き補償手段１６ｃから予測画像Ｌ2，Ｍ2，Ｎ2を入力すると、この予測画像Ｌ2，Ｍ2，Ｎ2と、外部から入力された入力画像Ａ2，Ｂ2およびＣ2との間で差分をとり、残差画像Ｐ2，Ｑ2，Ｒ2を生成することによって、予測画像Ｌ2，Ｍ2，Ｎ2と入力画像Ａ2，Ｂ2，Ｃ2との間の画素値の差を画素位置ごとに生成する（ステップＳ１４５）。これによって、時間的に前のフレームである入力画像Ａ1，Ｂ1およびＣ1からの動きと方向を現フレームである入力画像Ａ2，Ｂ2およびＣ2から予測するとともに、予測結果と現フレームとの誤差を生成することができる。
【０１１２】
そして、色変換装置１Ａは、ステップＳ１２１において、残差画像生成手段１６ｄによって、生成した残差画像Ｐ2，Ｑ2，Ｒ2（Ｐ，Ｑ，Ｒ）を変換手段１１（１１Ａ，１１Ｂおよび１１Ｃ）、および、減算手段１５（１５Ａ，１５Ｂおよび１５Ｃ）にそれぞれ出力する（ステップＳ１４６）。予測残差推定手段１６は、動画像の各フレームが時系列に沿って順次入力される間、ステップＳ１４１〜Ｓ１４６を繰り返す。
【０１１３】
続いて、符号化器Ｃｍ１は色変換装置１Ａによって、図８に示す各Ｓ１２２〜Ｓ１２９のステップを実行する。
さらに続いて、符号化器Ｃｍ１は符号化装置４０Ａによって、図８に示す各Ｓ１３０〜Ｓ１３４のステップを実行する。
【０１１４】
なお、図８に示す符号化器Ｃｍ１のステップＳ１２２〜Ｓ１２９の動作と前記した第一実施形態に係る符号化器ＣｍのステップＳ１０２〜Ｓ１０９（図４参照）の動作は、前者の入力が残差画像Ｐ，ＱおよびＲであり、後者の入力が入力画像Ａ，ＢおよびＣである点では相違するが、実質的な動作の内容は同様であるので、前記した第一実施形態に係る符号化器ＣｍのステップＳ１０２〜Ｓ１０９（図４参照）の説明を参照することとし、ここでは詳細な説明を省略する。
【０１１５】
図８に示すように、符号化器Ｃｍ１は、符号化装置４０Ａの予測残差推定手段４４によって、色変換装置１Ａで生成された出力画像Ｘn，Ｙn，Ｚnを入力する（ステップＳ１３０）。
【０１１６】
続いて、符号化器Ｃｍ１は、符号化装置４０Ａの予測残差推定手段４４によって、色変換装置１Ａで生成された出力画像Ｘn，ＹnおよびＺnに対し、色変換装置１Ａの予測残差推定手段１６と同じ予測残差推定処理（ここでは、フレーム間予測残差推定処理）を行い、残差画像Ｐn，ＱnおよびＲnを生成する（ステップＳ１３１）。符号化器Ｃｍ１は、符号化装置４０Ａの予測残差推定手段４４によって、残差画像Ｐn，ＱnおよびＲnを変換手段４１に出力する。
【０１１７】
さらに、符号化器Ｃｍ１は、符号化装置４０Ａの変換手段４１によって、予測残差推定手段４４で生成された残差画像Ｐn，ＱnおよびＲnを入力し、この残差画像Ｐn，ＱnおよびＲnに対し、色変換装置１Ａの変換手段１１と同じ変換処理を行い、変換係数列を生成する（ステップＳ１３２）。符号化器Ｃｍ１は、符号化装置４０Ａの変換手段４１によって、生成した変換係数列を量子化手段４２に出力する。
【０１１８】
さらに、符号化器Ｃｍ１は、符号化装置４０Ａの量子化手段４２によって、変換手段４１で生成された変換係数列を入力し、変換係数列に対し、色変換装置１Ａの量子化手段１２と同じ量子化処理を行い、量子化データを生成する（ステップＳ１３３）。符号化器Ｃｍ１は、符号化装置４０Ａの量子化手段４２によって、生成した量子化データを符号化手段４３に出力する。
【０１１９】
そして、符号化器Ｃｍ１は、符号化装置４０Ａの符号化手段４３によって、量子化手段４２で生成された量子化データと予測残差推定手段４４の動き推定手段４４ｂで生成された動きベクトルとをエントロピ符号化し、さらに、色変換装置１Ａで生成された色変換行列Ｍをヘッダ情報やサイド情報として付加してこれらを多重化し、符号化データを生成する（ステップＳ１３４）。
符号化器Ｃｍ１は、以上のように動作する。
【０１２０】
第二実施形態に係る符号化器Ｃｍ１によれば、色変換装置１Ａの劣化推定手段１０Ａの予測残差推定手段１６によって、入力画像Ａ，ＢおよびＣに対して符号化装置４０Ａで行われる動画像符号化の動き補償を模擬することができるので、動き補償を有する動画像符号化方式における動画像の各フレームの画質劣化をより厳密に考慮することができ、これによって、動画像の色変換をより適切かつ効果的に行うことができる。
【０１２１】
［復号器］
以下、図１０および図１〜３，５〜７を適宜参照して、本発明の復号器Ｄｍについて簡単に説明する。復号器Ｄｍは、以上説明したような符号化器ＣｍまたはＣｍ１で生成されたデータを画像形式のデータに復号するものである。
【０１２２】
図１に示すように、復号器Ｄｍは、復号装置５０と、色復元装置６０とを備える。ここで、復号装置５０について、図１０を参照して説明する。
復号装置５０は、符号化器ＣｍまたはＣｍ１（図１参照）の色変換装置１または１Ａ（図２または図５参照）で新たな色空間に変換されたカラー画像Ｘ，ＹおよびＺを、符号化装置４０または４０Ａ（図３または図７参照）で符号化した符号化データからカラー画像Ｘ，ＹおよびＺを復号するものである。図１０に示すように、復号装置５０は、一般的な復号装置と同様に、符号化データ復号手段５１と、逆量子化手段５２（第２逆量子化手段）と、逆変換手段５３（第２逆変換手段）と、加算手段５４と、動き補償手段５５と、参照画像蓄積手段５６とを備えている。
【０１２３】
符号化データ復号手段５１は、符号化器ＣｍまたはＣｍ１（図１参照）で生成された符号化データを復号するものである。なお、この符号化データ復号手段５１は、符号化装置４０（４０Ａ）の符号化手段４３（４３Ａ）とは逆の手順を行うことで、符号化データから、量子化データと、動きベクトル（動き情報）とを復号する。また、符号化データ復号手段５１は、符号化データに多重化された色変換行列Ｍを分離する。ここで復号された量子化データは、逆量子化手段５２に出力される。また、動きベクトルは、動き補償手段５５に出力される。また、ここで分離された色変換行列Ｍは、色復元装置６０に出力される。
【０１２４】
逆量子化手段５２（第２逆量子化手段）は、符号化データ復号手段５１で復号された量子化データを逆量子化することで、変換係数列を生成するものである。なお、逆量子化手段５２は、色変換装置１（１Ａ）の逆量子化手段１３と同じ手順を行うことで、言い換えれば、符号化装置４０（４０Ａ）の量子化手段４２による量子化処理とは逆の逆量子化処理を行うことで、変換係数列を生成する。なお、この逆量子化手段５２には、色変換装置１（１Ａ）の逆量子化手段１３と同一の量子化テーブルを保持し、量子化時と同じ量子化テーブルが参照される。ここで生成された変換係数列は、逆変換手段５３に出力される。
【０１２５】
逆変換手段５３（第２逆変換手段）は、逆量子化手段５２で生成された変換係数列に対して、色変換装置１（１Ａ）の逆変換手段１４と同じ手順を行うことで、言い換えれば、符号化装置４０（４０Ａ）の変換手段４１による変換処理とは逆の逆変換化処理を行うことで、差分画像を再構築するものである。ここで生成された差分画像は、加算手段５４に出力される。
【０１２６】
加算手段５４は、逆変換手段５３で生成された差分画像と、後記する動き補償手段５５で生成された予測画像（動き補償画像）とを加算することで、復号データ（カラー画像Ｘ，ＹおよびＺ）を生成するものである。ここで生成された復号データ（カラー画像Ｘ，ＹおよびＺ）は、復号装置５０における復号結果として色復元装置６０に出力されるとともに、参照画像蓄積手段５６に蓄積される。
【０１２７】
動き補償手段５５は、符号化データ復号手段５１で復号された動きベクトルと、参照画像蓄積手段５６に蓄積された参照画像とに基づいて、参照画像が動きベクトル分動いた画像（動き補償画像）を予測画像として生成するものである。ここで生成された予測画像は、加算手段５４に出力される。
【０１２８】
参照画像蓄積手段５６は、加算手段５４で生成された復号データを参照画像（フレーム）として蓄積するものである。なお、動画像の１フレーム目は、動きベクトルが０なので、加算手段５４で生成された復号データは、逆変換手段５３で生成された空間領域の画像データと同じものとなる。
【０１２９】
なお、復号器Ｄｍは、符号化器Ｃｍ（図１参照）で符号化された符号化データを復号する場合、符号化データ復号手段５１と逆量子化手段５２と逆変換手段５３とを経て復号データを生成する。このようにして生成された復号データは、色復元装置６０に出力される。
【０１３０】
次に、色復元装置６０について、図１を参照して説明する。
色復元装置６０は、図１に示すように、復号装置５０で復号された復号データ（カラー画像Ｘ，ＹおよびＺ）の色成分Ｘ，ＹおよびＺを、元の色成分Ａ，ＢおよびＣに変換してカラー画像Ａ，ＢおよびＣを復元するための色空間復元手段６１を備える。
【０１３１】
色復元装置６０は、色空間復元手段６１によって、復号装置５０から色変換行列Ｍまたは色変換行列Ｍの逆行列Ｍ-1を入力する。色復元装置６０は、色空間復元手段６１によって、復号装置５０から色変換行列Ｍを入力した場合、この色変換行列Ｍから逆行列Ｍ-1を生成する。
色復元装置６０は、色空間復元手段６１によって、復号装置５０で復号された画像データＸ，ＹおよびＺのそれぞれの色成分からなる色ベクトル［Ｘ，Ｙ，Ｚ］に対して、左側から色変換行列Ｍの逆行列Ｍ-1を乗算する。これにより、色復元装置６０は、画像データＸ，ＹおよびＺを、符号化器ＣｍまたはＣｍ１の色変換装置１または１Ａによる処理前の元の色空間の色成分Ａ，ＢおよびＣからなる画像データＡ，ＢおよびＣに戻すことができる。
【０１３２】
＜復号器Ｄｍの動作＞
次に、復号器Ｄｍの動作について、図１１を参照して説明する。なお、ここでは、復号器Ｄｍが前記した符号化器Ｃｍ１（図１，３）で生成された符号化データを復号する場合について説明する。
【０１３３】
図１１に示すように、復号器Ｄｍは、復号装置５０の符号化データ復号手段５１によって、符号化器Ｃｍ１で生成された符号化データを入力して量子化データと、動きベクトル（動き情報）とを復号するとともに、符号化データに多重化された色変換行列Ｍを分離する。復号器Ｄｍは、復号装置５０の符号化データ復号手段５１によって、復号した量子化データを、逆量子化手段５２に出力し、動きベクトルを、動き補償手段５５に出力し、分離した色変換行列Ｍを、色復元装置６０に出力する（ステップＳ１５１）。
【０１３４】
次に、復号器Ｄｍは、復号装置５０の逆量子化手段５２によって、符号化データ復号手段５１で復号された量子化データを入力し、この量子化データに対し、色変換装置（１Ａ）の逆量子化手段１３と同じ手順を行うことで、変換係数列を生成する（ステップＳ１５２）。復号器Ｄｍは、復号装置５０の逆量子化手段５２によって、生成した変換係数列を逆変換手段５３に出力する。
【０１３５】
さらに、復号器Ｄｍは、復号装置５０の逆変換手段５３によって、逆量子化手段５２で生成された変換係数列を入力し、この変換係数列に対して、色変換装置１（１Ａ）の逆変換手段１４と同じ手順を行うことで、残差画像Ｐn，ＱnおよびＲnを再構築する（ステップＳ１５３）。復号器Ｄｍは、復号装置５０の逆変換手段５３によって、生成した残差画像Ｐn，ＱnおよびＲnを、加算手段５４に出力する。
【０１３６】
続いて、復号器Ｄｍは、復号装置５０の動き補償手段５５によって、符号化データ復号手段５１で復号された動きベクトルを入力し、この動きベクトルと、参照画像蓄積手段５６に蓄積された参照画像Ｘn-1，Ｙn-1およびＺn-1とに基づいて、参照画像Ｘn-1，Ｙn-1およびＺn-1が動きベクトル分動いた画像（動き補償画像）を予測画像Ｌn，ＭnおよびＮnとして生成する（ステップＳ１５４）。復号器Ｄｍは、復号装置５０の動き補償手段５５によって、生成した予測画像Ｌn，ＭnおよびＮnを加算手段５４に出力する。
【０１３７】
続いて、復号器Ｄｍは、復号装置５０の加算手段５４によって、逆変換手段５３で生成された残差画像Ｐn，ＱnおよびＲnを入力するとともに、動き補償手段５５で生成された予測画像Ｌn，ＭnおよびＮnを入力し、残差画像Ｐn，ＱnおよびＲnと予測画像Ｌn，ＭnおよびＮnとを加算することで、復号データＸn，ＹnおよびＺn（カラー画像Ｘ，ＹおよびＺ）を生成する（ステップＳ１５５）。復号器Ｄｍは、復号装置５０の加算手段５４によって、生成した復号データＸn，Ｙn，Ｚnを、色復元装置６０に出力するとともに、参照画像蓄積手段５６に蓄積する（ステップＳ１５６）。
【０１３８】
そして、復号器Ｄｍは、色復元装置６０の色空間復元手段６１によって、復号装置５０で生成された復号データＸn，ＹnおよびＺnを入力する（ステップＳ１５７）。そして、復号器Ｄｍは、色復元装置６０の色空間復元手段６１によって、復号データＸn，ＹnおよびＺnに、復号装置５０の符号化データ復号手段５１から予め入力された色変換行列Ｍの逆行列Ｍ-1を生成して復号データＸn，ＹnおよびＺnに乗算し、カラー画像Ａn，ＢnおよびＣnを復元する（ステップＳ１５８）。なお、復号器Ｄｍは、色復元装置６０の色空間復元手段６１によって、復号装置５０の符号化データ復号手段５１で復号された逆行列Ｍ-1を入力した場合、ステップＳ１５８において、逆行列Ｍ-1をそのまま復号データＸn，ＹnおよびＺnに乗算する。
復号器Ｄｍは、以上のように動作する。
【０１３９】
なお、復号器Ｄｍは、符号化器Ｃｍ（図１参照）で符号化された符号化データを復号する場合、復号装置５０によって、図１１に示すステップＳ１４１〜Ｓ１４３を実行して復号データＸ，ＹおよびＺを生成する。そして、復号器Ｄｍは、復号装置５０によって、ステップＳ１４７を実行し、色復元装置６０の色空間復元手段６１によって、図１１に示すステップＳ１４８を実行して復号データＸ，ＹおよびＺからカラー画像Ａ，ＢおよびＣを復元する。なお、この場合、符号化器Ｃｍ（図１参照）で符号化された符号化データに動きベクトルは含まれていない。
【０１４０】
以上説明した復号器Ｄｍは、復号装置５０によって、符号化器ＣｍまたはＣｍ１で生成された符号化データから新たな色空間の各色成分の画像データを復号し、色復元装置６０によって、例えば、色成分Ａ，ＢおよびＣ（例えば、Ｒ，ＧおよびＢ）からなる三原色に逆変換したり、表示デバイスの表色系に合致した色表現に変換したりすることが可能となる。
【０１４１】
以上、本発明の実施形態に係る符号化器Ｃｍ，Ｃｍ１および復号器Ｄｍについて説明したが、本発明は、前記した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
例えば、符号化器Ｃｍ，Ｃｍ１の色変換装置１，１Ａは、前記した実施形態では、色成分Ａ，ＢおよびＣでなる画像Ａ，ＢおよびＣの色変換を行うこととしているが、これに替えて、輝度成分Ｙと色差成分ＣB，ＣRからなる画像の輝度・色差成分の変換を行うこととしてもよい。
また例えば、前記した実施形態では、符号化器Ｃｍ，Ｃｍ１の色変換装置１，１Ａは、主成分分析手段２０によって、分散・共分散行列Ｓを生成することで主成分分析を行っているが、これに替えて、その他の一般的な主成分分析の手法を用いてもよいことはもちろんである。
【０１４２】
また、前記した実施形態では、符号化器Ｃｍ，Ｃｍ１の色変換装置１，１Ａは、色空間変換手段３０によって、色変換行列Ｍを符号化装置４０，４０Ａに出力していたが、色変換行列Ｍから逆行列Ｍ-1を生成し、この逆行列Ｍ-1を符号化装置４０，４０Ａに出力してもよい。
【０１４３】
なお、前記した符号化器Ｃｍ，Ｃｍ１、色変換装置１，１Ａまたは復号器Ｄｍは、それぞれ、コンピュータにおいて各手段における処理を実行可能に記述したプログラム（符号化プログラム、色変換プログラムまたは復号プログラム）とすることも可能である。この場合、各プログラムは、対応する装置と同様の効果を奏する。
【符号の説明】
【０１４４】
１，１Ａ      色変換装置
１０，１０Ａ      劣化推定手段
１１（１１Ａ，１１Ｂ，１１Ｃ）      変換手段
１２（１２Ａ，１２Ｂ，１２Ｃ）      量子化手段
１３（１３Ａ，１３Ｂ，１３Ｃ）      逆量子化手段
１４（１４Ａ，１４Ｂ，１４Ｃ）      逆変換手段
１５（１５Ａ，１５Ｂ，１５Ｃ）      減算手段
１６（１６Ａ，１６Ｂ，１６Ｃ）      予測残差推定手段
１６ａ（１６Ａａ，１６Ｂａ，１６Ｃａ）      参照画像蓄積手段
１６ｂ（１６Ａｂ，１６Ｂｂ，１６Ｃｂ）      動き推定手段
１６ｃ（１６Ａｃ，１６Ｂｃ，１６Ｃｃ）      動き補償手段
１６ｄ（１６Ａｄ，１６Ｂｄ，１６Ｃｄ）      残差画像生成手段
２０      主成分分析手段
３０      色空間変換手段
４０，４０Ａ      符号化装置
４１      変換手段（第２変換手段）
４２      量子化手段（第２量子化手段）
４３      符号化手段
４４      予測残差推定手段（第２予測残差推定手段）
４４ａ      参照画像蓄積手段
４４ｂ      動き推定手段
４４ｃ      動き補償手段
４４ｄ      残差画像生成手段
４５      逆量子化手段
４６      逆変換手段
４７      加算手段
５０      復号装置
５１      符号化データ復号手段
５２      逆量子化手段（第２逆量子化手段）
５３      逆変換手段（第２逆変換手段）
５４      加算手段
５５      動き補償手段
５６      参照画像蓄積手段
６０      色復元装置
Ｃｍ，Ｃｍ１      符号化器
Ｄｍ      復号器
Ｓ      画像処理システム
【図１】
0005909149.tif 000007
【図２】
0005909149.tif 000008
【図３】
0005909149.tif 000009
【図４】
0005909149.tif 000010
【図５】
0005909149.tif 000011
【図６】
0005909149.tif 000012
【図７】
0005909149.tif 000013
【図８】
0005909149.tif 000014
【図９】
0005909149.tif 000015
【図１０】
0005909149.tif 000016
【図１１】
0005909149.tif 000017