(57)【要約】【課題】カラー画像の時間方向の相関を考慮した色変換を行うことを可能とする。【解決手段】符号化装置１は、時間的に連続するフレームを複数合成し、合成フレームとして順次生成するフレーム合成手段１１ａと、合成フレームを構成する複数フレーム分の色成分信号について主成分分析し、その結果得られた結合係数から合成フレームの色変換行列を生成する色変換行列生成手段１１ｂと、合成フレームの色変換行列に基づいて、色変換行列に対応する合成フレームの色成分信号を新たな色成分信号にそれぞれ変換する色空間変換手段１１ｃと、を有する色変換手段１１と、色変換された合成フレームを順次符号化して、合成フレームの符号化データを順次生成する符号化データ生成手段１２と、合成フレームの符号化データと合成フレームに対応する色変換行列情報とを多重化し、多重化データを生成する多重化データ生成手段１３とを備える。【選択図】図１
2014053792.tif 000002
【特許請求の範囲】
【請求項１】
カラー画像のフレームを構成する複数の色成分信号を、当該色成分信号の色空間とは異なる色空間の新たな色成分信号にそれぞれ変換する色変換装置であって、
前記カラー画像の時間的に連続する前記フレームを複数切り出し、合成フレームするフレーム合成手段と、
前記フレーム合成手段で順次生成された前記合成フレームごとにその合成フレームを構成する複数フレーム分の前記色成分信号について主成分分析し、その結果得られた結合係数から前記合成フレームごとの色変換行列を生成する色変換行列生成手段と、
前記色変換行列生成手段で生成された前記合成フレームごとの前記色変換行列に基づいて、前記色変換行列に対応する前記合成フレームの色成分信号を前記新たな色成分信号にそれぞれ変換する色空間変換手段と、を備えることを特徴とする色変換装置。
【請求項２】
前記色空間変換手段による色変換後の前記合成フレームを、前記色変換後の合成フレームを構成する前記フレーム単位で分割するフレーム分割手段を備えることを特徴とする請求項１に記載の色変換装置。
【請求項３】
前記合成フレームの前記色成分信号を色変換するための色変換行列の候補を予め記憶する色変換行列記憶手段と、
前記色変換行列生成手段で生成された前記色変換行列と前記色変換行列記憶手段に記憶された前記色変換行列の候補とを比較し、前記生成された色変換行列に最も近似する前記色変換行列の候補を、前記合成フレームに対応する前記色変換行列として選択する色変換行列選択手段と、を備え、
前記色空間変換手段は、前記色変換行列選択手段によって選択された前記合成フレームに対応する前記色変換行列を、前記合成フレームの色成分信号にそれぞれ乗算して、当該色成分信号を前記新たな色成分信号にそれぞれ変換することを特徴とする請求項１または請求項２に記載の色変換装置。
【請求項４】
カラー画像のフレームを構成する複数の色成分信号を、当該色成分信号の色空間とは異なる色空間の新たな色成分信号にそれぞれ変換し、符号化する符号化装置であって、
前記カラー画像の時間的に連続する前記フレームを複数切り出し、合成フレームとするフレーム合成手段と、
前記フレーム合成手段で生成された前記合成フレームごとにその合成フレームを構成する複数フレーム分の前記色成分信号について主成分分析し、その結果得られた結合係数から前記合成フレームごとの色変換行列を生成する色変換行列生成手段と、
前記色変換行列生成手段で生成された前記合成フレームごとの前記色変換行列に基づいて、前記色変換行列に対応する前記合成フレームの色成分信号を前記新たな色成分信号にそれぞれ変換する色空間変換手段と、
前記色空間変換手段による色変換後の前記合成フレームを順次符号化して、符号化データを順次生成する符号化データ生成手段と、
前記符号化データ生成手段で生成された前記符号化データと、前記色変換行列生成手段で生成された、前記色変換後の合成フレームに対応する前記色変換行列情報とを多重化し、多重化データを生成する多重化データ生成手段と、を備えることを特徴とする符号化装置。
【請求項５】
前記色空間変換手段による前記色変換後の合成フレームを前記フレーム単位で分割して、前記複数のフレームを前記符号化手段に順次出力するフレーム分割手段を備え、
前記符号化手段は、前記合成フレームを前記フレーム単位で符号化することを特徴とする請求項４に記載の符号化装置。
【請求項６】
前記符号化手段を複数備え、
複数の前記符号化手段は、前記フレーム分割手段で分割された複数の前記フレームを並列して符号化して、前記フレームごとの前記符号化データをそれぞれ生成することを特徴とする請求項５に記載の符号化装置。
【請求項７】
前記合成フレームに含まれる前記複数フレーム分の前記色成分信号を異なる色空間の新たな色成分信号に変換するための色変換行列の候補と当該色変換行列の候補を特定する特定情報とを対応付けて予め記憶する色変換行列記憶手段と、
前記色変換行列生成手段で生成された前記色変換行列と前記色変換行列記憶手段に記憶された前記色変換行列の候補とを比較し、前記生成された色変換行列に最も近似する前記記憶された色変換行列の候補を、前記合成フレームに対応する前記色変換行列として選択する色変換行列選択手段と、を備え、
前記色空間変換手段は、前記色変換行列選択手段によって選択された前記合成フレームに対応する前記色変換行列を、前記合成フレームを構成する前記複数フレーム分の色成分信号にそれぞれ乗算して、当該色成分信号を前記新たな色成分信号にそれぞれ変換し、
前記多重化データ生成手段は、前記色変換行列選択手段によって選択された前記色変換行列または前記特定情報を、色変換後の前記合成フレームに対応する前記色変換行列情報として、前記符号化データと多重化し、多重化データを生成することを特徴とする請求項４から請求項６のいずれか一項に記載の符号化装置。
【請求項８】
符号化側で、カラー画像の時間的に連続するフレームを複数切り出してなる合成フレームの色成分信号を主成分分析し、得られた結合係数から生成した色変換行列に基づいて前記合成フレームの色成分信号を色変換した後に符号化して生成された符号化データを受信し復号する復号装置であって、
前記合成フレームの色成分信号の符号化データと、前記合成フレームの色成分信号を色変換した前記色変換行列を示す情報である色変換行列情報と、が多重化された多重化データを順次入力し、この多重化データに含まれる前記符号化データと、前記色変換行列情報とを分離する分離手段と、
前記符号化データを順次復号処理して、色変換後の前記合成フレームの色成分信号を復号する符号化データ復号手段と、
前記符号化データ復号手段で復号された、色変換後の前記合成フレームの色成分信号に対応する、前記分離手段で分離された前記色変換行列情報で示される前記色変換行列に基づいて、前記符号化装置による色変換の逆変換を行うことで、前記色変換後の前記合成フレームの色成分信号から元の色空間の前記合成フレームの色成分信号を復元する色空間復元手段と、
前記色空間復元手段で復元された前記元の色空間の合成フレームを前記フレームごとにそれぞれ分割するフレーム分割手段と、
前記フレーム分割手段で分割された複数の色復元後の前記フレームを、時系列に沿って順次出力する出力手段と、を備えることを特徴とする復号装置。
【請求項９】
前記符号化データを前記フレーム単位で分割する分割手段と、
前記複数の前記符号化データを並列して復号処理して、前記色変換後のフレームをそれぞれ復号する複数の前記符号化データ復号手段と、
前記複数の符号化データ復号手段でそれぞれ復号された複数の前記色変換後のフレームを再合成して、前記色変換後の合成フレームを生成し、前記色空間復元手段に出力するフレーム再合成手段と、を備えることを特徴とする請求項８に記載の復号装置。
【請求項１０】
前記符号化側で保持する、前記合成フレームの色成分信号の色空間を異なる色空間の新たな色成分信号に変換するための色変換行列の候補および前記色変換行列の候補を特定する特定情報に対して、同じ色変換行列の候補および同じ特定情報を対応付けて記憶する色変換行列記憶手段と、
前記分離手段で分離され、前記符号化データ復号手段で復号された前記色変換行列情報である前記特定情報に対応する前記色変換行列の候補を、元の色空間の前記色成分信号を復元するための色変換行列として選択する色変換行列選択手段と、を備え、
前記色空間復元手段は、前記色変換行列選択手段で選択された前記色変換行列の逆行列を前記色変換後の前記合成フレームの色成分信号に乗算して、元の色空間の前記合成フレームの色成分信号を復元することを特徴とする請求項８または請求項９に記載の復号装置。
【請求項１１】
カラー画像のフレームを構成する複数の色成分信号を、当該色成分信号の色空間とは異なる色空間の新たな色成分信号にそれぞれ変換するために、コンピュータを、
前記カラー画像の時間的に連続する前記フレームを複数切り出し、合成フレームとするフレーム合成手段、
前記フレーム合成手段で順次生成された前記合成フレームごとにその合成フレームを構成する複数フレーム分の前記色成分信号について主成分分析し、その結果得られた結合係数から前記合成フレームごとの色変換行列を生成する色変換行列生成手段、
前記色変換行列生成手段で生成された前記合成フレームごとの前記色変換行列に基づいて、前記色変換行列に対応する前記合成フレームの色成分信号を前記新たな色成分信号にそれぞれ変換する色空間変換手段、として機能させるための色変換プログラム。
【請求項１２】
カラー画像のフレームを構成する複数の色成分信号を、当該色成分信号の色空間とは異なる色空間の新たな色成分信号にそれぞれ変換し、符号化するために、コンピュータを、
前記カラー画像の時間的に連続する前記フレームを複数切り出し、合成フレームとするフレーム合成手段、
前記フレーム合成手段で生成された前記合成フレームごとにその合成フレームを構成する複数フレーム分の前記色成分信号について主成分分析し、その結果得られた結合係数から前記合成フレームごとの色変換行列を生成する色変換行列生成手段、
前記色変換行列生成手段で生成された前記合成フレームごとの前記色変換行列に基づいて、前記色変換行列に対応する前記合成フレームの色成分信号を前記新たな色成分信号にそれぞれ変換する色空間変換手段、
前記色空間変換手段による色変換後の前記合成フレームを順次符号化して、符号化データを順次生成する符号化データ生成手段、
前記符号化データ生成手段で生成された前記符号化データと、前記色変換行列生成手段で生成された、前記色変換後の合成フレームに対応する前記色変換行列情報とを多重化し、多重化データを生成する多重化データ生成手段、として機能させるための符号化プログラム。
【請求項１３】
符号化側で、カラー画像の時間的に連続するフレームを複数切り出してなる合成フレームの色成分信号を主成分分析し、得られた結合係数から生成した色変換行列に基づいて前記合成フレームの色成分信号を色変換した後に符号化して生成された符号化データを受信し復号するために、コンピュータを、
前記合成フレームの色成分信号の符号化データと、前記合成フレームの色成分信号を色変換した前記色変換行列を示す情報である色変換行列情報と、が多重化された多重化データを順次入力し、この多重化データに含まれる前記符号化データと、前記色変換行列情報とを分離する分離手段、
前記符号化データを順次復号処理して、色変換後の前記合成フレームの色成分信号を復号する符号化データ復号手段、
前記符号化データ復号手段で復号された、色変換後の前記合成フレームの色成分信号に対応する、前記分離手段で分離された前記色変換行列情報で示される前記色変換行列に基づいて、前記符号化装置による色変換の逆変換を行うことで、前記色変換後の前記合成フレームの色成分信号から元の色空間の前記合成フレームの色成分信号を復元する色空間復元手段、
前記色空間復元手段で復元された前記元の色空間の合成フレームを前記フレームごとにそれぞれ分割するフレーム分割手段、
前記フレーム分割手段で分割された複数の色復元後の前記フレームを、時系列に沿って順次出力する出力手段、として機能させるための復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像を符号化する際の前処理に関し、とくにカラー画像の色成分信号を、異なる色空間の色成分信号に変換する技術に関する。
【背景技術】
【０００２】
近年のデジタル放送やＩＰ（Internet Protocol）放送では、その莫大な情報量を圧縮するため画像符号化が必要不可欠である。例えば、従来の一般的な画像符号化方式として、ＭＰＥＧ２やＡＶＣ／Ｈ．２６４が知られている（例えば、ＭＰＥＧ２方式について、特許文献１参照）。カラー画像は、赤、緑、青（ＲＧＢ）の３つの色成分により構成されていることが知られているが、ＭＰＥＧ２やＡＶＣ／Ｈ．２６４などの画像符号化方式においては、カラー画像をＲＧＢ空間のまま扱うことは一般的ではない。
【０００３】
画像符号化においては、ＲＧＢの３つの色成分を、例えば輝度と色差とで色表現するＹＵＶ空間に変換することが行われている（特許文献２参照）。このとき、例えば、ＩＴＵ−Ｒ  ＢＴ．６０１規格に定める色変換行列や、ＩＴＵ−Ｒ  ＢＴ．７０９規格に定める色変換行列が用いられている。これらの色変換行列は、人間の視覚特性が輝度変化には敏感な一方、色の変化には鈍感であるという特徴を生かして、符号化時に色差よりも輝度の画質劣化が少なくなるように設定されることが多い。例えば、これらの色変換行列で変換された輝度画像と色差画像との符号化時において、輝度画像の画素数は変化させずに、色差画像のみについて画素数を１／２または１／４に間引くことがよく行われている。
【０００４】
しかしながら、特許文献２に記載の手法では、入力画像の特徴にかかわらず、予め定められた色変換行列が用いられるため、入力画像が、色変換行列で予め想定する標準的な色味から大きく外れるような映像や、彩度が高く色相が異なる細かなテクスチャがある映像である場合、符号化劣化が起きてしまうことがある。
また、標準的な色味の映像においても、従来のＹＵＶ空間への変換によると、輝度信号と色差信号とに高い相関をもつことが知られており、これは、輝度信号に信号の成分が集中しきっていないことを示している。入力映像に適応的に色変換を行うことで、信号の成分を輝度信号により集中させることができ、さらなる符号化性能改善の余地があるといえる。
この問題を解決するため、色変換行列を複数用意し、入力映像の特徴に対しフレームやブロックに適応的に色変換を行い、その空間で符号化を行う手法が提案されている（非特許文献１，２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−０８１７２７号公報（特に、図１７参照）
【特許文献２】特開２００６−２４３４１０号公報
【非特許文献】
【０００６】
【非特許文献１】D.Marpe,et al.“An adaptive color transform approach and its application in 4:4:4 video coding,”Proceeding of Europian Signal Processing Conference 2006.
【非特許文献２】S.K.Singh et al“Novel adaptive color space transform and application to image compression,”Signal Processing:Image Communication vol.26,issue 10,pp.662-672,Nov. 2011
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記したような複数の色変換行列を用いる手法では、入力映像の特徴に対しフレームやブロックごとに適用される色変換行列が変化するため、時間方向の相関性が著しく低下し、符号化効率が低下してしまうという問題がある。
【０００８】
そこで、本発明は、カラー画像の時間方向の相関性を低下させずに色変換を行うことを可能とし、もって、符号化効率の低下を抑制することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の色変換装置は、カラー画像のフレームを構成する複数の色成分信号を、当該色成分信号の色空間とは異なる色空間の新たな色成分信号にそれぞれ変換する色変換装置であって、フレーム合成手段と、主成分分析手段と、色変換行列生成手段と、色空間変換手段と、を備えることを特徴とする。
【００１０】
かかる構成によれば、色変換装置は、フレーム合成手段によって、カラー画像の時間的に連続するフレームを複数切り出して合成フレームとする。
また、色変換装置は、主成分分析手段によって、フレーム合成手段で順次生成された合成フレームごとにその合成フレームを構成する複数フレーム分の色成分信号について主成分分析する。これによって、合成フレーム単位でその合成フレームを構成する複数フレーム分の色成分信号の統計的な偏りを求めることができる。
さらに、色変換装置は、色変換行列生成手段によって、主成分分析手段による主成分分析によって得られた結合係数から合成フレームごとの色変換行列を生成する。これによって、合成フレームごとの色の統計的な偏りに適応した色変換行列を生成することができる。
【００１１】
そして、色変換装置は、色空間変換手段によって、色変換行列生成手段で生成された合成フレームごとの色変換行列に基づいて、色変換行列に対応する合成フレームの色成分信号を新たな色成分信号にそれぞれ変換する。なお、この新たな色空間は、その各軸が、カラー画像への寄与率が高い軸から順次直交基底を張るため、符号化時に間引き影響を受けやすい色成分から間引き影響を受けにくい色成分へと順位付けのなされた色分解が可能となる。このようにして、色変換装置は、カラー画像の時間的に連続するフレームを複数切り出した合成フレームごとに色変換行列を生成し、色変換を行うことによって、合成フレームを構成する複数フレーム間での時間方向の相関を考慮した色変換を行うことができる。そのため、例えば、照明の変化などで、カラー画像の連続する複数フレーム間で色味が激しく変化するような場合であっても、これに適した色変換を行うことができる。
【００１２】
また、請求項２に記載の色変換装置は、請求項１に記載の色変換装置において、前記色空間変換手段による色変換後の前記合成フレームを、前記色変換後の合成フレームを構成する前記フレーム単位で分割するフレーム分割手段を備えることとした。
これによって、色変換装置は、色変換後の合成フレームを、従来の一般的な符号化装置による符号化に適したデータ単位に分割することができる。
【００１３】
さらに、請求項３に記載の色変換装置は、請求項１または請求項２に記載の色変換装置において、色変換行列記憶手段と、色変換行列選択手段と、を備えることとした。
かかる構成によれば、色変換装置は、色変換行列記憶手段によって、合成フレームの色成分信号を色変換するための色変換行列の候補を予め記憶する。
また、色変換装置は、色変換行列選択手段によって、色変換行列生成手段で生成された色変換行列と色変換行列記憶手段に記憶された色変換行列の候補とを比較し、生成された色変換行列に最も近似する色変換行列の候補を、合成フレームに対応する色変換行列として選択する。これによって、色変換装置は、色変換行列生成手段で生成された色変換行列そのものではなく、予め記憶した色変換行列の候補の中から選択した、生成された色変換行列に最も近似する色変換行列によっても、合成フレームの色成分信号の色変換を行うことができる。
【００１４】
また、請求項４に記載の符号化装置は、カラー画像のフレームを構成する複数の色成分信号を、当該色成分信号の色空間とは異なる色空間の新たな色成分信号にそれぞれ変換し、符号化する符号化装置であって、フレーム合成手段と、主成分分析手段と、色変換行列生成手段と、色空間変換手段と、符号化データ生成手段と、多重化データ生成手段と、を備えることを特徴とする。
【００１５】
かかる構成によれば、符号化装置は、フレーム合成手段によって、カラー画像の時間的に連続するフレームを複数切り出して合成フレームとする。
また、符号化装置は、主成分分析手段によって、フレーム合成手段で生成された合成フレームごとにその合成フレームを構成する複数フレーム分の色成分信号について主成分分析する。これによって、合成フレーム単位でその合成フレームを構成する複数フレーム分の色成分信号の統計的な偏りを求めることができる。
さらに、符号化装置は、色変換行列生成手段によって、主成分分析手段による主成分分析によって得られた結合係数から合成フレームごとの色変換行列を生成する。これによって、合成フレームごとの色の統計的な偏りに適応した色変換行列を生成することができる。
【００１６】
またさらに、符号化装置は、色空間変換手段によって、色変換行列生成手段で生成された合成フレームごとの色変換行列に基づいて、色変換行列に対応する合成フレームの色成分信号を新たな色成分信号にそれぞれ変換する。これによって、符号化装置は、合成フレームごとに色変換行列を生成し、色変換を行うことによって、合成フレームを構成する複数フレーム間での時間方向の相関を考慮した色変換を行うことができる。
【００１７】
そして、符号化装置は、符号化データ生成手段によって、色空間変換手段による色変換後の合成フレームを順次符号化して、符号化データを順次生成する。
このとき、色変換された合成フレームは、合成フレームごとの色の統計的な偏りに適応した色変換行列によって合成フレームが色変換された結果であるので、この結果を符号化することで、視覚的な損失の少ない効率のよい符号化を行うことが可能となる。
そして、符号化装置は、多重化手段によって、符号化データ生成手段で生成された符号化データと、色変換行列生成手段で生成された色変換後の合成フレームに対応する色変換行列情報とを多重化し、多重化データを生成する。これによって、復号装置において、色変換行列情報に基づいて、色変換された合成フレーム単位で、この色変換された合成フレームに含まれる新たな色成分信号から、色変換前の元の色成分信号を復号することが可能となる。
【００１８】
続いて、請求項５に記載の符号化装置は、請求項４に記載の符号化装置において、前記色変換手段が、前記色空間変換手段による前記色変換後の合成フレームを前記フレーム単位で分割して、前記複数のフレームを前記符号化手段に順次出力するフレーム分割手段を備え、前記符号化手段は、前記合成フレームを前記フレーム単位で符号化することとした。これによって、色変換後の合成フレームを、従来の一般的な符号化装置による符号化に適したデータ単位に分割することができる。また、従来の一般的な復号装置による復号に適したデータ単位で符号化することができる。
【００１９】
さらに、請求項６に記載の符号化装置は、請求項４または請求項５に記載の符号化装置において、前記符号化手段を複数備え、複数の前記符号化手段は、前記合成フレームを前記フレーム単位で並列して符号化して、前記フレーム単位で前記符号化データをそれぞれ生成することとした。これによって、色変換後の合成フレームをフレーム単位で並列して符号化処理することができるので、符号化処理を高速化することができる。
【００２０】
またさらに、請求項７に記載の符号化装置は、前記色変換手段が、色変換行列記憶手段と、色変換行列選択手段と、を備えることとした。
【００２１】
かかる構成によれば、符号化装置は、色変換行列記憶手段によって、合成フレームの色成分信号を色変換する色変換行列の候補と当該色変換行列の候補を特定する特定情報とを対応付けて予め記憶する。
また、符号化装置は、色変換行列選択手段によって、色変換行列生成手段で生成された色変換行列と色変換行列記憶手段に記憶された色変換行列の候補とを比較し、色変換行列記憶手段に記憶された色変換行列の候補のうち、色変換行列生成手段で生成された色変換行列に最も近似する色変換行列の候補を、色変換後の合成フレームに対応する色変換行列として選択する。
これによって、符号化装置は、色変換行列生成手段で生成された色変換行列そのものではなく、予め記憶した色変換行列の候補の中から選択した色変換行列によっても合成フレームに含まれる複数フレーム分の色成分信号の色変換を行うことができる。また、特定情報により色変換行列の特定が可能となるので、特定情報を復号装置と共有できれば、色変換行列の各変換係数を符号化しなくてもよい。そのため、色変換行列情報符号化手段による符号化の負担が軽減される。
【００２２】
さらに、符号化装置は、色空間変換手段によって、色変換行列選択手段によって選択された合成フレームに対応する色変換行列を、合成フレームの色成分信号にそれぞれ乗算して、当該色成分信号を新たな色成分信号にそれぞれ変換する。
そして、符号化装置は、多重化データ生成手段によって、色変換行列選択手段によって選択された色変換行列または特定情報を、色変換後の合成フレームに対応する色変換行列情報として、符号化データと多重化し、多重化データを生成する。
これによって、復号装置において、色変換行列情報に基づいて、色変換後の合成フレーム単位で、この色変換された合成フレームに含まれる新たな色成分信号から、色変換前の元の色成分信号を復号することが可能となる。また、符号化装置は、多重化データ生成手段によって、特定情報を色変換行列情報として符号化データと多重化する場合、多重化データの情報量を低減することができる。
【００２３】
続いて、請求項８に記載の復号装置は、符号化側で、カラー画像の時間的に連続するフレームを複数切り出してなる合成フレームの色成分信号を主成分分析し、得られた結合係数から生成した色変換行列に基づいて前記合成フレームの色成分信号を色変換した後に符号化して生成された符号化データを受信し復号する復号装置であって、分離手段と、符号化データ復号手段と、色空間復元手段と、フレーム分割手段と、出力手段と、を備えることを特徴とする。
【００２４】
かかる構成によれば、復号装置は、分離手段によって、合成フレームの色成分信号の符号化データと、合成フレームの色成分信号を色変換した色変換行列を示す情報である色変換行列情報と、が多重化された多重化データを順次入力し、この多重化データに含まれる符号化データと、色変換行列情報とを分離する。
また、復号装置は、符号化データ復号手段によって、符号化データを順次復号処理して、色変換後の合成フレームの色成分信号を復号する。
【００２５】
さらに、復号装置は、色空間復元手段によって、符号化データ復号手段で復号された、色変換後の合成フレームの色成分信号に対応する、分離手段で分離された色変換行列情報で示される色変換行列に基づいて、符号化側の色変換の逆変換を行うことで、色変換後の合成フレームの色成分信号から色変換前の合成フレームの色成分信号を復元する。これによって、符号化側で異なる色空間に色変換された合成フレームの新たな色成分信号から、元の色空間の合成フレームの色成分信号を復元することができる。
【００２６】
またさらに、復号装置は、フレーム分割手段によって、色空間復元手段で復元された色変換前の合成フレームの色成分信号をフレームごとにそれぞれ分割する。これによって、色空間復元手段で復元された合成フレームの色成分信号を、符号化側に入力されたときと同じように、時間的に連続する別々のフレームの色成分信号とすることができる。
そして、復号装置は、出力手段によって、フレーム分割手段で分割された複数の色復元後のフレームを、時系列に沿って順次出力する。これによって、符号化側において、時間的な相関を考慮して色変換された、時間的に連続する複数のフレームの色成分信号から元の色成分信号を復元して、時系列に沿って出力することができる。
【００２７】
続いて、請求項９に記載の復号装置は、請求項８に記載の復号装置において、分割手段と、符号化データ復号手段と、フレーム再合成手段とを備えることとした。
【００２８】
かかる構成によれば、復号装置は、分割手段によって、分離手段で分離された符号化データをフレーム単位で分割する。
また、復号装置は、複数の符号化データ復号手段によって、当該複数のフレームの符号化データを並列して復号処理して、色変換後の複数のフレームの色成分信号を１フレーム単位でそれぞれ復号する。これによって、複数のフレームを並列して復号することができるので、復号処理を高速化することができる。
そして、復号装置は、フレーム再合成手段によって、複数の符号化データ復号手段でそれぞれ復号された、複数の色変換後のフレームの色成分信号を再合成して、色変換後の合成フレームを生成し、色空間復元手段に出力する。
【００２９】
これによって、復号装置は、色変換装置または符号化装置で色変換を行ったときと同じデータ単位（合成フレーム）とし、この合成フレームに色変換装置または符号化装置による色変換の逆変換を行うことで、元の色空間に属する複数フレーム分の色成分信号を復元することができる。
【００３０】
また、請求項１０に記載の復号装置は、請求項８または請求項９に記載の復号装置において、色変換行列記憶手段と、色変換行列選択手段と、を備えることとした。
かかる構成によれば、復号装置は、色変換行列記憶手段によって、符号化側で保持する、合成フレームの色成分信号を異なる色空間の新たな色成分信号に色変換するための色変換行列の候補および色変換行列の候補を特定する特定情報に対して、同じ色変換行列の候補および同じ特定情報を対応付けて記憶する。
【００３１】
また、復号装置は、色変換行列選択手段によって、分離手段で分離され、符号化データ復号手段で復号された色変換行列情報である特定情報に対応する色変換行列の候補を、元の色空間の色成分信号を復元するための色変換行列として選択する。
そして、復号装置は、色空間復元手段によって、色変換行列選択手段で選択された色変換行列の逆行列を色変換後の合成フレームの色成分信号に乗算して、元の色空間の合成フレームの色成分信号の色成分信号を復元する。
【００３２】
これによって、復号装置は、色変換行列情報記憶手段によって、符号化装置で保持する色変換行列および特定情報と同じ色変換行列および特定情報を保持するので、符号化装置から色変換行列情報として特定情報を取得した場合に、色変換行列情報記憶手段に、この特定情報と対応付けて記憶された色変換行列に基づいて、色変換後の合成フレームの色成分信号から元の色空間の複数フレーム分の色成分信号を正確に復元することができる。また、復号装置は、色変換装置または符号化装置から特定情報を取得することで、符号化装置で色変換に用いられた色変換行列を特定することが可能となる。
【００３３】
さらに、請求項１１に記載の色変換プログラムは、カラー画像のフレームを構成する複数の色成分信号を、当該色成分信号の色空間とは異なる色空間の新たな色成分信号にそれぞれ変換するために、コンピュータを、フレーム合成手段、主成分分析手段、色変換行列生成手段、色空間変換手段、として機能させることを特徴とする。
【００３４】
かかる構成によれば、色変換プログラムは、フレーム合成手段によって、カラー画像の時間的に連続するフレームを複数切り出して合成フレームとする。
また、色変換プログラムは、主成分分析手段によって、フレーム合成手段で順次生成された合成フレームごとにその合成フレームの色成分信号について主成分分析する。
さらに、色変換プログラムは、色変換行列生成手段によって、主成分分析手段による主成分分析によって得られた結合係数から合成フレームごとの色変換行列を生成する。
そして、色変換プログラムは、色空間変換手段によって、色変換行列生成手段で生成された合成フレームごとの色変換行列に基づいて、色変換行列に対応する合成フレームの色成分信号を異なる色空間の新たな色成分信号にそれぞれ変換する。
【００３５】
また、請求項１２に記載の符号化プログラムは、カラー画像のフレームを構成する複数の色成分信号を、当該色成分信号の色空間とは異なる色空間の新たな色成分信号にそれぞれ変換し、符号化するために、コンピュータを、フレーム合成手段、主成分分析手段、色変換行列生成手段、色空間変換手段、符号化データ生成手段、多重化データ生成手段、として機能させることを特徴とする。
【００３６】
かかる構成によれば、符号化プログラムは、フレーム合成手段によって、カラー画像の時間的に連続するフレームを複数切り出して合成フレームとする。
また、符号化プログラムは、主成分分析手段によって、フレーム合成手段で順次生成された合成フレームごとにその合成フレームを構成する複数フレーム分の色成分信号について主成分分析する。
さらに、符号化プログラムは、色変換行列生成手段によって、主成分分析手段による主成分分析によって得られた結合係数から合成フレームごとの色変換行列を生成する。
またさらに、符号化プログラムは、色空間変換手段によって、色変換行列生成手段で生成された合成フレームごとの色変換行列に基づいて、色変換行列に対応する合成フレームの色成分信号を異なる色空間の新たな色成分信号にそれぞれ変換する。
そして、符号化プログラムは、符号化データ生成手段によって、色変換後の合成フレームを順次符号化して、符号化データを順次生成する。
そして、符号化プログラムは、多重化データ生成手段によって、符号化データ生成手段で生成された符号化データと、色変換行列生成手段で生成された、色変換後の合成フレームに対応する色変換行列情報とを多重化し、多重化データを生成する。
【００３７】
そして、請求項１３に記載の復号プログラムは、符号化側で、カラー画像の時間的に連続するフレームを複数切り出してなる合成フレームの色成分信号を主成分分析し、得られた結合係数から生成した色変換行列に基づいて前記合成フレームの色成分信号を色変換した後に符号化して生成された符号化データを受信し復号するために、コンピュータを、分離手段、符号化データ復号手段、色空間復元手段、フレーム分割手段、出力手段、として機能させることを特徴とする。
【００３８】
かかる構成によれば、復号プログラムは、分離手段によって、合成フレームの色成分信号の符号化データと、複数フレーム分の色成分信号を色変換した色変換行列を示す情報である色変換行列情報と、が多重化された多重化データを順次入力し、この多重化データに含まれる符号化データと、色変換行列情報とを分離する。
また、復号プログラムは、符号化データ復号手段によって、符号化データを順次復号処理して、色変換後の複数フレーム分の色成分信号を復号する。
さらに、復号プログラムは、色空間復元手段によって、符号化データ復号手段で復号された、色変換後の複数フレーム分の色成分信号に対応する、分離手段で分離された色変換行列情報で示される色変換行列に基づいて、色変換後の合成フレームの色成分信号から元の色空間の合成フレームの色成分信号を復元する。
そして、復号プログラムは、フレーム分割手段によって、色空間復元手段で復元された元の色空間の合成フレームの色成分信号をフレームごとにそれぞれ分割する。
そして、復号プログラムは、出力手段によって、フレーム分割手段で分割された複数の色復元後の前記フレームを、時系列に沿って出力する。
【発明の効果】
【００３９】
請求項１，１１に記載の発明によれば、時間的に連続する複数のフレーム間の時間的な相関を考慮した色変換を行うことができるので、カラー画像の時間方向の相関性の低下を抑制することができる。これによって、色変換後の合成フレームの符号化時における符号化効率の低下を抑制することができる。
請求項２に記載の発明によれば、色変換後の複数のフレームを、既存の符号化装置によって符号化することが可能となるので、利便性を向上することができる。
請求項３，７に記載の発明によれば、合成フレームに適応する色変換行列の候補を予め備えておくことで、符号化処理の負担や通信コストを軽減することができる。
請求項４，１２に記載の発明によれば、視覚的に損失の少ない効率のよい符号化を行うことが可能となり、符号化性能を向上することができる。
請求項５に記載の発明によれば、符号化装置で生成した符号化データを、既存の復号装置によって復号することが可能となるので、利便性を向上することができる。
請求項６に記載の発明によれば、符号化処理の時間を短縮化することができる。
請求項８，１３に記載の発明によれば、視覚的に損失の少ないカラー画像を復元することができる。
請求項９に記載の発明によれば、復号処理の時間を短縮化することができる。
請求項１０に記載の発明によれば、符号化装置と復号装置との間の通信コストを削減することができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の第１実施形態に係る符号化装置の構成例を示すブロック図である。
【図２】本発明の第１実施形態に係る符号化装置の色変換手段による処理内容を表した概念図である。
【図３】本発明の第１実施形態に係る符号化装置の動作を示すフローチャートである。
【図４】本発明の変形例に係る符号化装置の構成例を示すブロック図である。
【図５】本発明の第１実施形態に係る復号装置の構成例を示すブロック図である。
【図６】本発明の第１実施形態に係る復号装置の色復元手段による処理内容の一部を表した概念図である。
【図７】本発明の第１実施形態に係る復号装置の動作を示すフローチャートである。
【図８】本発明の変形例に係る復号装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００４１】
［符号化装置の構成］
以下、図１，２を参照して、本発明の第１実施形態に係る符号化装置の構成について説明する。
図１に示すように、本発明の第１実施形態に係る符号化装置１は、カラー画像のフレームを構成する複数の色成分信号を、当該色成分信号の色空間とは異なる色空間の新たな色成分信号にそれぞれ変換して符号化するものであり、色変換手段（色変換装置）１１と、符号化データ生成手段１２と、多重化データ生成手段１３とを備えている。
色変換手段１１は、図２に示すように、フレーム合成手段１１ａと、色変換行列生成手段１１ｂと、色空間変換手段１１ｃと、フレーム分割手段１１ｄとを備えている。
【００４２】
フレーム合成手段１１ａは、カラー画像の時間的に連続するフレームを順次入力し、この時間的に連続するフレームを複数切り出して合成フレームとするものである。つまり、合成フレームは、時間的に連続する複数のフレームの色成分信号をまとめて多次元信号としたものである。
切り出すフレームの数は、２以上であれば特に限定されるものではない。また、切り出すフレームの数は、予め設定されていてもよいし、外部からの指示入力により、適宜変更されることとしてもよい。また、予め符号化装置１に入力されるカラー画像の動き量がわかっている場合、動き量に応じて合成数を設定してもよい。例えば、カラー画像において、動きの非常に小さいフレームが連続する箇所では、切り出すフレームの数を大きく設定することができる。一方、カラー画像において、動きの非常に大きいフレームが連続する箇所では、時間的な相関が適切に保たれるよう、切り出すフレームの数を小さく設定するとよい。
【００４３】
符号化装置１は、ここでは、図２に示すように、色変換手段１１のフレーム合成手段１１ａによって、例えば、時間的に連続する４つのフレームを入力し、この４つのフレームを２つずつ切り出して、２つの合成フレームとする様子を例にとって説明する。なお、図２において、フレームの後に付した数字は、フレームの時間方向における順番を示している。したがって、フレームの後に付した数字が小さいほど時間的に前のフレームであることを示す。
また、ここでは、４つのフレームは、それぞれＲ成分、Ｇ成分、Ｂ成分の３つの色成分信号で構成されたカラー画像であるものとする。
【００４４】
フレーム合成手段１１ａは、図２に示すように、フレーム１，２，３，４を入力すると、フレーム１，２を合成して合成フレームＣｆ１を生成し、フレーム３，４を合成して合成フレームＣｆ２を生成する。合成フレームＣｆ１は、フレーム１のＲＧＢの３つの色成分信号と、フレーム２のＲＧＢの３つの色成分信号で構成されるので、合成フレームＣｆ１の信号の次元は６次元となる。以下では、フレーム１の色成分信号をＲ１，Ｇ１，Ｂ１とし、フレーム２の色成分信号をＲ２，Ｇ２，Ｂ２とする。また、同様に、合成フレームＣｆ２は、フレーム３のＲＧＢの３つの色成分信号と、フレーム４のＲＧＢの３つの色成分信号で構成されるので、合成フレームＣｆ２の信号の次元は６次元となる。以下では、フレーム３の色成分信号をＲ３，Ｇ３，Ｂ３とし、フレーム４の色成分信号をＲ４，Ｇ４，Ｂ４とする。
このようにして生成された合成フレームＣｆ１，Ｃｆ２は、色変換行列生成手段１１ｂおよび色空間変換手段１１ｃに出力される。
【００４５】
色変換行列生成手段１１ｂは、フレーム合成手段１１ａで生成された合成フレームの色変換を行う色変換行列を生成するものである。
【００４６】
色変換行列生成手段１１ｂは、ここでは、式（１）に示すような、フレーム合成手段１１ａで生成された合成フレームＣｆ１またはＣｆ２を構成する６次元信号Ｒ１，Ｇ１，Ｂ１，Ｒ２，Ｇ２，Ｂ２（Ｒ３，Ｇ３，Ｂ３，Ｒ４，Ｇ４，Ｂ４）の各画素位置におけるベクトルＧ（ｘ，ｙ）について、画面内における主成分分析を行って第１〜第６主成分を求める。さらに、色変換行列生成手段１１ｂは、第１〜第６主成分に対応する固有ベクトル（結合係数ベクトル）ｖｋを生成し、この固有ベクトルｖｋに基づいて色変換行列を生成する。
【００４７】
【数１】
2014053792.tif 000003
【００４８】
式（１）において、Ｒ１（ｘ，ｙ）は、合成フレームＣｆ１に含まれるフレーム１の色成分信号Ｒ１の画像座標（ｘ，ｙ）である。同様に、Ｇ１（ｘ，ｙ）は、色成分信号Ｇ１の画像座標であり、Ｂ１（ｘ，ｙ）は、色成分信号Ｂ１の画像座標である。また、式（１）において、Ｒ２（ｘ，ｙ）は、合成フレームＣｆ１に含まれるフレーム２の色成分信号Ｒ２の画像座標（ｘ，ｙ）である。同様に、Ｇ２（ｘ，ｙ）は、色成分信号Ｇ２の画像座標であり、Ｂ２（ｘ，ｙ）は、色成分信号Ｂ２の画像座標である。
【００４９】
色変換行列生成手段１１ｂは、例えば、まず次の式（２），（３）により、画面内における分散・共分散行列Ｓを生成する。
【００５０】
【数２】
2014053792.tif 000004
【００５１】
式（２）において、Ｔはベクトルまたは行列の転置を表す。
色変換行列生成手段１１ｂは、続いて、分散・共分散行列Ｓを用いて色成分信号の数だけ固有ベクトルｖｋを生成する。この固有ベクトルｖｋは、第ｋ主成分（ｋは自然数）に対する固有ベクトルである。そして、この固有ベクトルｖｋを固有値（各色成分信号の重み）の大きい方から順に、固有ベクトルｖ１，ｖ２，ｖ３，ｖ４，ｖ５，ｖ６とおく。なお、この固有ベクトルｖ１，ｖ２，ｖ３，ｖ４，ｖ５，ｖ６は、それぞれ列ベクトルであるものとする。固有ベクトルｖ１，ｖ２，ｖ３，ｖ４，ｖ５，ｖ６は、対応する主成分のその画素値における割合（寄与度）を示すものである。なお、Ｖの後の数字は、固有値の大きさの順番を表している。つまり、固有ベクトルｖ１は、最も固有値が大きい色成分信号（第１主成分）のその画素における割合であり、固有ベクトルｖ６は、６番目に固有値が小さい色成分信号（第６主成分）のその画素における割合を表している。
【００５２】
このように複数の（ここでは、２つ）のフレームを合成した合成フレームについて主成分分析を行うことで、複数のフレーム間の時間的な相関を反映した主成分分析の結果を得ることができる。例えば、合成フレームＣｆ１に含まれるフレーム１の色成分信号であるＲ１，Ｇ１，Ｂ１とフレーム２の色成分信号であるＲ２，Ｇ２，Ｂ２とを合わせた６次元の信号について主成分分析を行う場合を想定する。
【００５３】
この場合において、フレーム１とフレーム２との間に強い時間的な相関があるとき、信号の成分は、第１主成分に極端に偏る。そのため、第１主成分に対する固有ベクトルが極端に大きくなり、第２主成分以降、特に、第６主成分に対する固有ベクトルが極端に小さくなる。このように、時間的に連続するフレームを複数切り出してなる合成フレームについて主成分分析を行うことで、複数のフレーム間の時間的な相関を反映した固有ベクトル（結合係数ベクトル）が得られる。なお、フレーム１とフレーム２との間に強い時間的な相関がある場合とは、例えば、フレーム１とフレーム２との間に動きがほとんどないような場合が想定される。
【００５４】
色変換行列生成手段１１ｂは、生成した固有ベクトルｖｋに基づき、合成フレームの色変換行列Ｖｎを生成する。色変換行列Ｖｎは、ｎ番目の合成フレームに対応する色変換行列であることを示す。
色変換行列生成手段１１ｂは、ここでは、生成した固有ベクトルｖ１，ｖ２，ｖ３，ｖ４，ｖ５，ｖ６（結合係数ベクトル）に基づき、次の式（４）に示すような、合成フレームＣｆ１の色変換行列Ｖ１を生成する。色変換行列生成手段１１ｂは、同様にして、合成フレームＣｆ２の色変換行列Ｖ２を生成する。
このようにして生成された色変換行列Ｖ１，Ｖ２は、色空間変換手段１１ｃおよび符号化データ生成手段１２に出力される。
【００５５】
【数３】
2014053792.tif 000005
【００５６】
色空間変換手段１１ｃは、色変換行列生成手段１１ｂで生成された合成フレームに対応する色変換行列に基づき、合成フレームに含まれる各色成分信号の色空間を、当該色空間と異なる色空間に変換し、新たな色成分信号とするものである。
色空間変換手段１１ｃは、図２に示すように、ここでは、次の式（５）のとおり、色変換行列生成手段１１ｂで生成された合成フレームＣｆ１の色変換行列Ｖ１を、合成フレームＣｆ１の色成分信号Ｒ１，Ｇ１，Ｂ１，Ｒ２，Ｇ２，Ｂ２に乗算して、異なる色空間の色成分信号Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６に線形変換する。つまり、ＲＧＢの色空間の色成分信号をＣの色空間の色成分信号に変換する。
【００５７】
【数４】
2014053792.tif 000006
【００５８】
また、同様にして、色空間変換手段１１ｃは、合成フレームＣｆ２の色変換行列Ｖ２を、合成フレームＣｆ２の色成分信号Ｒ３，Ｇ３，Ｂ３，Ｒ４，Ｇ４，Ｂ４に乗算して、異なる色空間の色成分信号Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６に線形変換する。ここで、Ｃの後の数字は、その色成分信号が何番目の主成分であるかを示すものである。つまり、色成分信号Ｃ１は、第１主成分の色成分信号であり、色成分信号Ｃ６は、第６主成分の色成分信号であることを示している。
【００５９】
なお、式（５）におけるＲ，Ｇ，Ｂの後の記号は、合成フレーム番号と、この合成フレーム番号に含まれるフレーム番号との組み合わせであり、例えば、「Ｒｃｆ１−１（ｘ，ｙ）」は、合成フレームＣｆ１に含まれる１つめのフレームのＲ（ｘ，ｙ）信号であることを示している。このようにして色変換された合成フレームＣｆ１，Ｃｆ２は、フレーム分割手段１１ｄに出力される。なお、以下では、色変換後の合成フレームＣｆ１またはＣｆ２を合成フレームＣｆ１´またはＣｆ２´と表記する。
【００６０】
フレーム分割手段１１ｄは、色空間変換手段１１ｃで色変換された合成フレームを入力し、この色変換後の合成フレームを予め定めた分割数（分割単位）で分割するものである。分割数は、例えば、フレーム合成手段１１ａによるフレームの合成数と同じとすることができる。また、予め符号化装置１に入力されるカラー画像の動き量がわかっている場合、動き量に応じて分割数を設定してもよい。
【００６１】
フレーム分割手段１１ｄは、図２に示すように、ここでは、色空間変換手段１１ｃによる色変換後の合成フレームＣｆ１´を、フレーム合成手段１１ａによるフレームの合成数と同じ数（ここでは２つ）だけ分割する。これにより、合成フレームＣｆ１´が、１フレーム単位に分割される。フレーム分割手段１１ｄは、ここでは、合成フレームＣｆ１´を、色成分信号Ｃ１，Ｃ２，Ｃ３と色成分信号Ｃ４，Ｃ５，Ｃ６とに分割している。同様に、フレーム分割手段１１ｄは、合成フレームＣｆ２´を、色成分信号Ｃ１，Ｃ２，Ｃ３と色成分信号Ｃ４，Ｃ５，Ｃ６とに分割する。このようにして、１フレーム単位に分割された色変換後の合成フレームの色成分信号は、符号化データ生成手段１２に出力される。
【００６２】
符号化データ生成手段１２は、フレーム符号化手段１２ａと、色変換行列情報符号化手段１２ｂとを備えている。
フレーム符号化手段１２ａは、フレーム分割手段１１ｄから、合成フレームの１フレーム分の色成分信号を入力し、これを符号化してフレーム符号化データを生成するものである。フレーム符号化手段１２ａは、ここでは２つ設けられており、この２つのフレーム符号化手段１２ａで並列して符号化処理を行う。なお、フレーム符号化手段１２ａの設置数は、適宜設定することができる。
【００６３】
ここでは、２つのフレーム符号化手段１２ａのうち、一方のフレーム符号化手段１２ａが、フレーム分割手段１１ｄで合成フレームＣｆ１´から分割された１フレーム分の色成分信号Ｃ１，Ｃ２，Ｃ３と合成フレームＣｆ２´から分割された１フレーム分の色成分信号Ｃ１，Ｃ２，Ｃ３とを入力してそれぞれ符号化する。フレーム符号化手段１２ａ、例えば、一般的な画像符号化方式に沿って、まず、合成フレームＣｆ１´の色成分信号Ｃ１，Ｃ２，Ｃ３の符号化データを生成する。次に、フレーム符号化手段１２ａは、合成フレームＣｆ１´の色成分信号Ｃ１，Ｃ２，Ｃ３の符号化データを復号し、合成フレームＣｆ２´の色成分信号Ｃ１，Ｃ２，Ｃ３との間で差分を取るなどして符号化し、合成フレームＣｆ２´の色成分信号Ｃ１，Ｃ２，Ｃ３の符号化データを生成する。
同様に、他方のフレーム符号化手段１２ａが、フレーム分割手段１１ｄで合成フレームＣｆ１´から分割された１フレーム分の色成分信号Ｃ４，Ｃ５，Ｃ６と合成フレームＣｆ２´から分割された１フレーム分の色成分信号Ｃ４，Ｃ５，Ｃ６とを入力してそれぞれ符号化する。このように信号の成分が近い色成分信号同士を同じフレーム符号化手段１２ａで符号化することで、符号化効率を向上させることができる。
【００６４】
また、例えば、前記した例のように、時間的に連続するフレーム間に時間的な相関があり、第１主成分に極端に信号成分が偏っている場合、フレーム符号化手段１２ａは、この信号成分の偏りに応じて各主成分に対する符号量の割り当てを変更することも可能である。例えば、フレーム符号化手段１２ａは、符号化時において、第６主成分の色成分信号Ｃ６に対する符号量の割り当てを小さくし、その分、第１〜第５主成分の色成分信号Ｃ１〜Ｃ５に対する符号量の割り当てを大きくしてもよい。また例えば、第６主成分の色成分信号Ｃ６を“０”とみなして、その他の第１〜第５主成分だけに符号量を割り当てて符号化することで、符号化効率を向上させることができる。また、これにより、符号化時において、画質に影響を与えるような信号成分の損失を抑制することができ、符号化性能を向上させることができる。さらに、例えば、第４〜第６主成分の色成分信号Ｃ４〜Ｃ６に対する符号量の割り当てを、第１〜第３主成分の色成分信号Ｃ１〜Ｃ３に対する符号量の割り当てよりも大幅に減らすなどしてもよい。つまり、フレーム符号化手段１２ａによる符号量の割り当ては、入力された画像の特徴に合わせて、適宜変更可能である。
【００６５】
なお、この場合、２つのフレーム符号化手段１２ａ間での符号量の割り当ての調整は、２つのフレーム符号化手段１２ａ間で直接行ってもよいし、図示しない制御手段を介して行ってもよい。このようにして符号量の割り当てが変更された場合、変更後の符号量の割り当て情報は、例えば、サイド情報として復号装置に通知してもよい。
【００６６】
また、ここでは、２つのフレーム符号化手段１２ａは、同じ合成フレームの色成分信号を並列して符号化する。つまり、一方のフレーム符号化手段１２ａは、合成フレームＣｆ１´から分割された色成分信号Ｃ１，Ｃ２，Ｃ３の符号化処理を、他方のフレーム符号化手段１２ａによる、合成フレームＣｆ１´から分割された色成分信号Ｃ４，Ｃ５，Ｃ６の符号化処理と並列して行う。合成フレームＣｆ２´についても同様に並列して符号化処理する。なお、２つのフレーム符号化手段１２ａは、図示しない制御手段からの制御信号等により同期制御される。
【００６７】
フレーム符号化手段１２ａは、例えば、特許文献１に示されるようなＭＰＥＧ２方式や、ＡＶＣ／Ｈ．２６４、および、ＨＥＶＣ（標準化作業中）などの一般的な動画像の符号化方式と同様の符号化方式によって、合成フレームの１フレーム分の色成分信号を符号化することができる。なお、以下では、合成フレームの１フレーム分の色成分信号の符号化データを「フレーム符号化データ」と呼称する場合もあるものとする。このようにして順次生成された複数のフレーム符号化データは、多重化データ生成手段１３に順次出力される。
【００６８】
色変換行列情報符号化手段１２ｂは、色変換手段１１の色変換行列生成手段１１ｂによって生成された色変換行列Ｖｎを示す色変換行列情報を符号化するものである。色変換行列情報符号化手段１２ｂは、ここでは、色変換手段１１の色変換行列生成手段１１ｂによって生成された色変換行列Ｖ１，Ｖ２の各変換係数を、例えば、特許文献１に示されるようなＭＰＥＧ２方式や、ＡＶＣ／Ｈ．２６４、および、ＨＥＶＣ（標準化作業中）などの一般的な動画像の符号化方式におけるサイド情報として符号化する。
なお、色変換行列情報符号化手段１２ｂは、図示しない制御手段からの制御信号等により、２つのフレーム符号化手段１２ａと同期制御される。このようにして生成された色変換行列情報の符号化データは、多重化データ生成手段１３に出力される。
【００６９】
なお、色変換行列情報符号化手段１２ｂは、色変換行列情報に限らず、その他の情報についても、サイド情報として符号化する機能を有していてもよい。例えば、フレーム符号化手段１２ａにおいて符号量の割り当てが変更された場合、変更後の情報を入力し、これらをサイド情報として符号化してもよい。ただし、このようなその他の情報を符号化する符号化手段を別途設けてもよいことはもちろんである。
【００７０】
多重化データ生成手段１３は、フレーム符号化手段１２ａから、フレーム符号化データを入力するとともに、色変換行列情報符号化手段１２ｂから、色変換行列情報の符号化データを入力し、これらを多重化して多重化データを生成するものである。
【００７１】
多重化データ生成手段１３は、ここでは、フレーム符号化手段１２ａから、フレーム符号化データとして、合成フレームＣｆ１´の色成分信号Ｃ１，Ｃ２，Ｃ３の符号化データと、色成分信号Ｃ４，Ｃ５，Ｃ６の符号化データとを入力し、色変換行列情報符号化手段１２ｂから、合成フレームＣｆ１´に対応する色変換行列情報の符号化データを入力する。多重化データ生成手段１３は、フレーム符号化データに色変換行列情報の符号化データをサイド情報として多重化して多重化データを生成する。多重化データ生成手段１３は、合成フレームＣｆ２´についても、同様にして、多重化データを生成する。
このようにして生成された合成フレームＣｆ１´，Ｃｆ２´についての多重化データは、符号化装置１の外部（ここでは、復号装置）に出力される。
【００７２】
［符号化装置の動作］
次に、図３および適宜図１，２を参照して、符号化装置１の動作について説明する。
図３に示すように、符号化装置１は、色変換手段１１のフレーム合成手段１１ａによって、カラー画像の時間的に連続するフレームを順次入力し、入力した時間的に連続するフレームを複数合成し、合成フレームを生成する（ステップＳ１０１）。
【００７３】
次に、符号化装置１は、色変換手段１１の色変換行列生成手段１１ｂによって、フレーム合成手段１１ａから合成フレームを入力し、この合成フレームを構成する複数のフレームの各画素位置におけるベクトルＧ（ｘ，ｙ）について、画面内における主成分分析を行って固有ベクトル（結合係数ベクトル）ｖｋを生成し、この固有ベクトルｖｋに基づいて色変換行列Ｖｎを生成する（ステップＳ１０２）。
【００７４】
次に、符号化装置１は、色変換手段１１の色空間変換手段１１ｃによって、フレーム合成手段１１ａから合成フレームを入力し、この合成フレームの各色成分信号に、色変換行列生成手段１１ｂで生成された、合成フレームに対応する色変換行列を乗算して、合成フレームの色成分信号の色空間を異なる色空間の新たな色成分信号に色変換する（ステップＳ１０３）。
【００７５】
続いて、符号化装置１は、色変換手段１１のフレーム分割手段１１ｄによって、色空間変換手段１１ｃから色変換後の合成フレームを入力し、この色変換後の合成フレームを予め定めた分割数（例えば、１フレーム単位）で分割する（ステップＳ１０４）。
【００７６】
続いて、符号化装置１は、符号化データ生成手段１２のフレーム符号化手段１２ａによって、色変換手段１１のフレーム分割手段１１ｄから、色変換後の合成フレームの１フレーム分の色成分信号を入力して順次符号化し、フレーム符号化データを順次生成する（ステップＳ１０５）。
【００７７】
さらに、符号化装置１は、符号化データ生成手段１２の色変換行列情報符号化手段１２ｂによって、色変換手段１１の色変換行列生成手段１１ｂから色変換行列情報を入力し、この色変換行列情報を符号化して色変換行列情報の符号化データを生成する（ステップＳ１０６）。
【００７８】
そして、符号化装置１は、多重化データ生成手段１３によって、フレーム符号化手段１２ａから、合成フレームのフレーム符号化データを入力し、色変換行列情報符号化手段１２ｂから、合成フレームに対応する色変換行列情報の符号化データを入力し、これらを多重化して合成フレームごとの多重化データを生成する（ステップＳ１０７）。符号化装置１は、多重化データ生成手段１３によって、生成した合成フレームごとの多重化データを符号化装置１の外部（ここでは、復号装置）に出力する。
【００７９】
符号化装置１は、以上のように動作する。
以上説明した、本発明の第１実施形態に係る符号化装置１によれば、次のような作用効果を奏する。
符号化装置１によれば、フレーム合成手段１１ａによって、時間的に連続するフレームを複数切り出して合成フレームとし、色変換行列生成手段１１ｂによって、この合成フレームごとに主成分分析を行って、複数のフレーム間の時間的な相関を考慮した色変換行列を生成し、色空間変換手段１１ｃによって、この色変換行列によって合成フレームに含まれる複数フレーム分の色成分信号の色変換を行うことで、カラー画像の時間方向の相関性を低下させることなく色変換を行うことができる。これによって、カラー画像の符号化効率の低下を抑制することができる。
【００８０】
また、符号化装置１によれば、色変換手段１１のフレーム分割手段１１ｄによって、合成フレームを１フレーム単位に分割することで、一般的な画像符号化装置における符号化に適したデータ単位とすることが可能となるので、利便性を向上することができる。
さらに、符号化装置１によれば、２つのフレーム符号化手段１２ａによって、並列して符号化処理を行うことができるので、符号化処理を高速化することができる。
【００８１】
以上、本発明の第１実施形態に係る符号化装置１について説明したが、本発明は、前記した第１実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の改変が可能である。以下、本発明の第１実施形態に係る符号化装置１の変形例に係る符号化装置１Ａについて図４を参照して説明する。
【００８２】
＜変形例＞
図４に示すように、符号化装置１Ａは、色変換手段１１Ａと、符号化データ生成手段１２と、多重化データ生成手段１３とを備えている。符号化装置１Ａの色変換手段１１Ａは、図４に示すように、色変換行列記憶手段１１ｅと、色変換行列選択手段１１ｆとを備える点で、図１に示した符号化装置１の色変換手段１１と相違する。
【００８３】
色変換行列記憶手段１１ｅは、フレーム合成手段１１ａで生成された合成フレームに含まれる複数フレーム分の色成分信号を色変換する色変換行列の候補と、この色変換行列の候補を特定する特定情報とを対応付けて予め記憶するものである。ここで、特定情報とは、例えば、色変換行列を識別する番号や記号などである。
【００８４】
ここで、色変換行列記憶手段１１ｅに記憶される色変換行列の候補は、例えば次のようなものとすることができる。例えば、符号化装置１Ａに入力されるカラー画像を想定した、モデルとしてのカラー画像を複数準備する。例えば、動きの大きいカラー画像に対応して、動きの大きいモデル画像を複数準備し、もしくは、動きの小さいカラー画像に対応して、動きの小さいモデル画像を複数準備する。そして、この複数のモデル画像の傾向を所定の学習装置により予め学習して得られた学習データ（１フレームまたは時間的に連続する複数フレームを合成した合成フレーム）を、色変換行列生成手段１１ｂと同様の一般的な色変換行列生成装置によって主成分分析する。その得られた結合係数に基づいて生成された色変換行列を、色変換行列の候補として色変換行列記憶手段１１ｅに記憶させることができる。
色変換行列記憶手段１１ｅに記憶された色変換行列の候補または特定情報は、色変換行列選択手段１１ｆによって適宜読み出される。
【００８５】
色変換行列選択手段１１ｆは、フレーム合成手段１１ａで生成された合成フレームに基づいて、色変換行列生成手段１１ｂで生成された色変換行列と、色変換行列記憶手段１１ｅに記憶された色変換行列の候補とを比較し、色変換行列記憶手段１１ｅに記憶された色変換行列の候補のうち、色変換行列生成手段１１ｂで生成された色変換行列に最も近似する色変換行列の候補を、フレーム合成手段１１ａで生成された合成フレームに対応する色変換行列として選択するものである。このようにして選択された色変換行列は、色空間変換手段１１ｃに出力され、フレーム合成手段１１ａで生成された合成フレームの色変換に用いられる。また、このようにして選択された色変換行列に対応付けられた特定情報は、色変換行列情報として、符号化データ生成手段１２の色変換行列情報符号化手段１２ｂに出力されて符号化される。
【００８６】
符号化装置１Ａの動作は、図３に示した符号化装置１の動作において、ステップＳ１０２とＳ１０３の間に、色変換手段１１Ａの色変換行列選択手段１１ｆにより色変換行列の選択処理を行う点以外は、図３に示した符号化装置１の動作と同様である。
【００８７】
このような符号化装置１Ａによれば、色変換行列記憶手段１１ｅに予め色変換行列の候補と特定情報とを対応付けて記憶し、この色変換行列の候補を合成フレームの色変換行列として用いることで、色変換行列を特定情報によって特定することが可能となる。この特定情報を復号装置と共有できれば、符号化装置１Ａは、符号化データ生成手段１２の色変換行列情報符号化手段１２ｂにおいて、色変換行列情報として特定情報を符号化すれば、色変換行列の各変換係数を符号化しなくても足りる。そのため、符号化装置１Ａは、色変換行列情報符号化手段１２ｂによる符号化処理の負担を軽減することができる。またこの場合、色変換行列の各変換係数を符号化した場合よりも符号化データのデータ量を少なくすることができるので、多重化手段データ生成手段１３で生成される多重化データのデータ量を少なくすることができる。これによって、符号化装置１Ａから復号装置への通信コストを削減することができる。
【００８８】
また、色変換行列記憶手段１１ｅに、色変換行列の候補と対応付けて特定情報を記憶することで、色変換行列選択手段１１ｆによって選択された色変換行列の各変換係数そのものではなく、色変換行列の特定情報により色変換行列の特定が可能となるので、特定情報を復号装置と共有できれば、符号化データ生成手段１２の色変換行列情報符号化手段１２ｂによって、色変換行列の各変換係数を符号化しなくてもよい。そのため、符号化処理の負荷を軽減することができ、符号化処理を高速化することができる。また、多重化データ生成手段１３で生成される多重化データのデータ量を削減することができるので、符号化装置と復号装置間の通信コストを削減することができる。
【００８９】
また、符号化装置１は、色空間変換手段１１ｃが、フレーム分割手段１１ｄで合成フレームから分割された１フレーム分の色成分信号を一時的に記憶するバッファを備えていてもよい。一時的に記憶された１フレーム分の色成分信号は、バッファに記憶された順にフレーム符号化手段１２ａに順次出力される。
この場合、符号化装置１は、符号化データ生成手段１２が、フレーム符号化手段１２ａを少なくとも１つ備えていればよい。
【００９０】
これによれば、フレーム符号化手段１２ａの設置数が、フレーム分割手段１１ｄによる合成フレームの分割数よりも少ない場合であっても、分割後の１フレーム分の色成分信号をバッファに一時的に記憶させることができるので、フレーム符号化手段１２ａによって、このバッファに記憶された１フレーム分の色成分信号を順次符号化することができる。これにより、符号化装置の構成を簡素化することができる。なお、符号化装置１は、色変換手段１１が、バッファに加えて、図４で説明した符号化装置１Ａと同様の色変換行列記憶手段１１ｅと色変換行列選択手段１１ｆとをさらに備えていてもよい。
【００９１】
また、符号化装置１は、符号化データ生成手段１２のフレーム符号化手段１２ａが、合成フレームの色成分信号をそのまま符号化することとしてもよい。その場合、符号化装置１において、色変換手段１１のフレーム分割手段１１ｄを省略することができる。なお、その場合、符号化装置１において、符号化データ生成手段１２は、フレーム符号化手段１２ａを少なくとも１つ備えていればよい。これによれば、符号化装置の構成を簡素化することができる。
【００９２】
また、前記した第１実施形態では、符号化装置１は、符号化データ生成手段１２が色変換行列情報を符号化する色変換行列情報符号化手段１２ｂを備えることしたが、これに限られず、色変換行列情報を符号化しない場合、色変換行列情報符号化手段１２ｂを省略してもよい。
【００９３】
［復号装置の構成］
次に、図５，６を参照して、本発明の第１実施形態に係る復号装置の構成について説明する。
図５に示すように、本発明の第１実施形態に係る復号装置５は、分離手段５１と、符号化データ復号手段５２と、色復元手段５３とを備えている。
【００９４】
分離手段５１は、符号化装置１の多重化データ生成手段１３（図１参照）で生成された多重化データを入力し、この多重化データから、色成分信号の符号化データと色変換行列情報の符号化データとを分離するものである。
ここでは、図５に示すように、復号装置５が、分離手段５１によって、符号化装置１の多重化データ生成手段１３（図１参照）で生成された合成フレームＣｆ１´，Ｃｆ２´（図２参照）についての多重化データをそれぞれ入力して復号する場合を例にとって説明する。
【００９５】
ここで、符号化装置１から入力された合成フレームＣｆ１´（図２参照）についての多重化データは、フレーム符号化データとして、合成フレームＣｆ１´の色成分信号Ｃ１，Ｃ２，Ｃ３の符号化データと、色成分信号Ｃ４，Ｃ５，Ｃ６の符号化データとを含み、サイド情報として、合成フレームＣｆ１´（図２参照）に対応する色変換行列情報の符号化データとを含む。合成フレームＣｆ２´（図２参照）についての多重化データも同様の構成である。
【００９６】
分離手段５１は、符号化装置１（図１参照）から合成フレームＣｆ１´（図２参照）についての多重化データを入力し、この多重化データから、合成フレームＣｆ１´の符号化データと、合成フレームＣｆ１´に対応する色変換行列Ｖ１（図２参照）の情報を示す色変換行列情報の符号化データとを分離する。なお、合成フレームＣｆ２´についても同様に分離される。このようにして分離された、２つの３次元信号の符号化データは、符号化データ復号手段５２のフレーム復号手段５２ａに出力され、色変換行列情報の符号化データは、符号化データ復号手段５２の色変換行列情報復号手段５２ｂに出力される。
【００９７】
なお、分離手段５１は、符号化装置１から入力された多重化データにその他の情報（例えば、分割数や符号量の割り当て情報等）が含まれている場合、これらを分離して、符号化データ復号手段５２の色変換行列情報復号手段５２ｂに出力する。
【００９８】
符号化データ復号手段５２は、図５に示すように、フレーム復号手段５２ａと、色変換行列情報復号手段５２ｂとを備える。
フレーム復号手段５２ａは、分離手段５１から、符号化装置１で生成されたフレーム符号化データを入力し、このフレーム符号化データを順次復号するものである。フレーム復号手段５２ａは、ここでは２つ設けられており、この２つのフレーム復号手段５２ａによって、並列して復号処理を行う。なお、フレーム復号手段５２ａの設置数は、適宜設定することができる。
【００９９】
ここでは、２つのフレーム復号手段５２ａのうち、一方のフレーム復号手段５２ａが、分離手段５１から、フレーム符号化データとして、合成フレームＣｆ１´の色成分信号Ｃ１，Ｃ２，Ｃ３の符号化データと、合成フレームＣｆ２´の色成分信号Ｃ１，Ｃ２，Ｃ３の符号化データとを入力して順次復号する。同様に、他方のフレーム復号手段５２ａが、分離手段５１から、フレーム符号化データとして、合成フレームＣｆ１´の色成分信号Ｃ４，Ｃ５，Ｃ６の符号化データと、合成フレームＣｆ２´の色成分信号Ｃ４，Ｃ５，Ｃ６の符号化データとを入力して順次復号する。
【０１００】
また、ここでは、一方のフレーム復号手段５２ａが、合成フレームＣｆ１´の色成分信号Ｃ１，Ｃ２，Ｃ３の符号化データの復号処理を、他方のフレーム復号手段５２ａによる、合成フレームＣｆ１´の色成分信号Ｃ４，Ｃ５，Ｃ６の符号化データの復号処理と並列して行う。合成フレームＣｆ２´の色成分信号も同様にして復号される。なお、２つのフレーム復号手段５２ａは、図示しない制御手段からの制御信号等により同期制御される。なお、フレーム復号手段５２ａは、後記する色変換行列情報復号手段５２ｂから、各色成分信号に対する符号量の割り当て情報を入力した場合、この割り当て情報にしたがって、合成フレームの符号化データを復号する。
【０１０１】
フレーム復号手段５２ａは、例えば、特許文献１に示されるようなＭＰＥＧ２方式や、ＡＶＣ／Ｈ．２６４、および、ＨＥＶＣ（標準化作業中）などの一般的な動画像の復号方式と同様の復号方式によって、フレーム符号化データから合成フレームの１フレーム単位の色成分信号を復号することができる。このようにして順次復号された、合成フレームの１フレーム分の色成分信号は、図６に示すように、色復元手段５３のフレーム再合成手段５３ａに順次出力される。
【０１０２】
色変換行列情報復号手段５２ｂは、分離手段５１から、多重化データに含まれるサイド情報（ここでは、符号化装置１で生成された合成フレームに対応する色変換行列の情報を示す色変換行列情報）の符号化データを入力し、この色変換行列情報の符号化データから、色変換行列情報を復号するものである。色変換行列情報復号手段５２ｂは、特許文献１に示されるようなＭＰＥＧ２方式や、ＡＶＣ／Ｈ．２６４、および、ＨＥＶＣ（標準化作業中）などの一般的な動画像の復号方式と同様の復号方式によって、色変換行列情報を復号する。
【０１０３】
なお、色変換行列情報復号手段５２ｂは、分離手段５１から、その他のサイド情報の符号化データとして、例えば、符号化データ生成手段１２のフレーム符号化手段１２ａにより決定された合成フレームの各色成分信号に対する符号量の割り当て情報の符号化データを入力した場合、これらも同様にして復号する。復号された符号量の割り当て情報は、フレーム復号手段５２ａに出力される。
【０１０４】
色変換行列情報復号手段５２ｂは、ここでは、合成フレームＣｆ１´に対応する色変換行列情報の符号化データから、合成フレームＣｆ１´に対応する色変換行列Ｖ１の各変換係数を色変換行列情報として復号する。合成フレームＣｆ２´に対応する色変換行列情報の符号化データも同様にして復号される。このようにして復号された色変換行列情報は、色復元手段５３の色空間復元手段５３ｂに出力される。
【０１０５】
色復元手段５３は、図５に示すように、ここでは、フレーム再合成手段５３ａと、色空間復元手段５３ｂと、フレーム分割手段５３ｃと、出力手段５３ｄとを備えている。
フレーム再合成手段５３ａは、符号化データ復号手段５２のフレーム復号手段５２ａで復号された、合成フレームの１フレーム分の色成分信号を予め定めた合成数にしたがって再合成し、合成フレームを生成するものである。フレーム再合成手段５３ａは、例えば、符号化装置１（１Ａ）の色変換手段１１のフレーム分割手段１１ｄによる合成フレームの分割数と同じ数だけ、１フレーム分の色成分信号を合成する。
【０１０６】
フレーム再合成手段５３ａは、ここでは、合成フレームの分割数にしたがって、２フレーム分の色成分信号を合成して合成フレームを再合成する。したがって、フレーム再合成手段５３ａは、図６に示すように、符号化データ復号手段５２の２つのフレーム復号手段５２ａから、合成フレームＣｆ１´の色成分信号Ｃ１，Ｃ２，Ｃ３と、色成分信号Ｃ４，Ｃ５，Ｃ６とを入力し、これらをまとめて合成フレームＣｆ１´とする。フレーム再合成手段５３ａは、同様にして、合成フレームＣｆ２´の色成分信号Ｃ１，Ｃ２，Ｃ３と、色成分信号Ｃ４，Ｃ５，Ｃ６とをまとめて合成フレームＣｆ２´とする。このような合成フレームＣｆ１´，Ｃｆ２´は、色空間復元手段５３ｂに出力される。
【０１０７】
色空間復元手段５３ｂは、色変換行列情報復号手段５２ｂによって復号された色変換行列情報に基づいて、フレーム再合成手段５３ａで再合成された色変換後の合成フレームの色成分信号を色変換して、元の色空間の色成分信号を復元するものである。
【０１０８】
色空間復元手段５３ｂは、ここでは、図６に示すように、色変換行列情報復号手段５２ｂから合成フレームＣｆ１´に対応する、言い換えれば、符号化装置１で合成フレームＣｆ１の色変換に用いられた、色変換行列Ｖ１（色変換行列情報）を入力する。色空間復元手段５３ｂは、この色変換行列Ｖ１の逆行列を、フレーム再合成手段５３ａから入力した合成フレームＣｆ１´の色成分信号Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６に乗算する。これにより、合成フレームＣｆ１´の色成分信号Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６から、符号化装置１による色変換前の色空間の色成分信号Ｒ１，Ｇ１，Ｂ１，Ｒ２，Ｇ２，Ｂ２を復元する。色空間復元手段５３ｂは、同様にして、合成フレームＣｆ２´の色成分信号Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６から、合成フレームＣｆ２の各色成分信号Ｒ３，Ｇ３，Ｂ３，Ｒ４，Ｇ４，Ｂ４を復元する。色復元後の合成フレームＣｆ１，Ｃｆ２は、フレーム分割手段５３ｃに出力される。
【０１０９】
フレーム分割手段５３ｃは、色空間復元手段５３ｂによって元の色空間に復元された合成フレームを、この合成フレームに含まれるフレームごとに分割するものである。
フレーム分割手段５３ｃは、ここでは、図６に示すように、色空間復元手段５３ｂから色復元後の合成フレームＣｆ１を入力し、合成フレームＣｆ１をフレーム１とフレーム２とに分割する。同様にして、色復元後の合成フレームＣｆ２がフレーム３とフレーム４とに分割される。分割された色復元後のフレーム１およびフレーム２、または、色復元後のフレーム３およびフレーム４は、出力手段５３ｄに出力される。
【０１１０】
出力手段５３ｄは、フレーム分割手段５３ｃで色復元後の合成フレームから分割された複数の色復元後のフレームを時系列に沿って出力画像として出力するものである。
出力手段５３ｄは、ここでは、図６に示すように、フレーム分割手段５３ｃから、色復元後のフレーム１，２，３，４を入力し、フレーム１，２，３，４の順で外部に出力する。なお、出力手段５３ｄは、図示しないバッファを備えており、フレーム分割手段５３ｃから順次入力した色復元後のフレームを一時的に記憶し、時系列に沿って出力画像として出力する。
【０１１１】
［復号装置の動作］
次に、図７および適宜図５，６を参照して、復号装置５の動作について説明する。
図７に示すように、復号装置５は、分離手段５１によって、符号化装置１から合成フレームごとの多重化データを入力し、この多重化データから、合成フレームの符号化データと、合成フレームに対応する色変換行列情報の符号化データとを分離する（ステップＳ１１１）。復号装置５は、分離手段５１によって、分離した合成フレームの符号化データを符号化データ復号手段５２のフレーム復号手段５２ａに出力し、色変換行列情報の符号化データを色変換行列情報復号手段５２ｂに出力する。
【０１１２】
次に、復号装置５は、符号化データ復号手段５２のフレーム復号手段５２ａによって、分離手段５１から、フレーム符号化データを入力し、このフレーム符号化データから、符号化装置１による色変換後の１フレーム分の色成分信号を順次復号する（ステップＳ１１２）。このとき、例えば、ＭＰＥＧ２やＡＶＣ／Ｈ．２６４、および、ＨＥＶＣ（標準化作業中）などの一般的な画像符号化方式によって符号化データを復号する。復号装置５は、符号化データ復号手段５２のフレーム復号手段５２ａによって、色変換後の１フレーム分の色成分信号を色復元手段５３のフレーム再合成手段５３ａに順次出力する。
【０１１３】
さらに、復号装置５は、符号化データ復号手段５２の色変換行列情報復号手段５２ｂによって、分離手段５１から色変換行列情報の符号化データを入力し、この符号化データから色変換行列情報を復号する（ステップＳ１１３）。復号装置５は、符号化データ復号手段５２の色変換行列情報復号手段５２ｂによって、復号した色変換行列情報を色復元手段５３の色空間復元手段５３ｂに出力する。
【０１１４】
続いて、復号装置５は、色復元手段５３のフレーム再合成手段５３ａによって、符号化データ復号手段５２のフレーム復号手段５２ａから、符号化装置１による色変換後の１フレーム分の色成分信号を順次入力し、これらを予め設定した合成数にしたがってまとめて、符号化装置１による色変換後の合成フレームとする（ステップＳ１１４）。復号装置５は、色復元手段５３のフレーム再合成手段５３ａによって、色変換後の合成フレームを、色復元手段５３の色空間復元手段５３ｂに出力する。
【０１１５】
続いて、復号装置５は、色復元手段５３の色空間復元手段５３ｂによって、色復元手段５３のフレーム再合成手段５３ａから色変換後の合成フレームを入力し、符号化データ復号手段５２の色変換行列情報復号手段５２ｂから色変換行列情報（復号された色変換行列）を入力する。これとともに、復号装置５は、色復元手段５３の色空間復元手段５３ｂによって、色変換後の合成フレームの色成分信号に色変換行列情報復号手段５２ｂで復元された、合成フレームに対応する色変換行列の逆行列を乗算して、元の色空間の各色成分信号を復元する（ステップＳ１１５）。復号装置５は、色復元手段５３の色空間復元手段５３ｂによって、色復元後の合成フレームをフレーム分割手段５３ｃに出力する。
【０１１６】
さらに続いて、復号装置５は、色復元手段５３のフレーム分割手段５３ｃによって、色復元後の合成フレームを、この合成フレームに含まれるフレームごとに分割する（ステップＳ１１６）。復号装置５は、色復元手段５３のフレーム分割手段５３ｃによって、複数の色復元後のフレームを出力手段５３ｄに出力する。
【０１１７】
そして、復号装置５は、色復元手段５３の出力手段５３ｄによって、色復元手段５３のフレーム分割手段５３ｃから複数の色復元後のフレームを入力し、これらを時系列に沿って出力画像として順次出力する（ステップＳ１１７）。
【０１１８】
復号装置５は、以上のように動作する。
以上説明した、本発明の第１実施形態に係る復号装置５によれば、次のような作用効果を奏する。
復号装置５によれば、符号化装置１において、時間的な相関を考慮して生成された色変換行列により色変換された合成フレームの色成分信号をフレーム復号手段５２ａによって復号する。また、復号装置５によれば、色空間復元手段５３ｂによって、符号化装置１による色変換後の合成フレームの色成分信号に、符号化装置１において合成フレームの色変換に用いられた色変換行列の逆行列を乗算することで、元の色空間の色成分信号を復元する。これにより、視覚的に損失の少ないカラー画像を復元することができる。また、復号装置５によれば、符号化データ復号手段５２の２つのフレーム復号手段５２ａにより、並列して復号処理を行うことができるので、復号処理を高速化することが可能となる。
【０１１９】
以上、本発明の第１実施形態に係る復号装置５について説明したが、本発明は、前記した第１実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の改変が可能である。以下、本発明の第１実施形態に係る復号装置の変形例に係る復号装置５Ａについて図８を参照して説明する。
【０１２０】
＜変形例＞
復号装置５Ａは、図８に示すように、分離手段５１と、符号化データ復号手段５２と、色復元手段５３Ａとを備えている。復号装置５Ａの色復元手段５３Ａは、色変換行列記憶手段５３ｅを備える点で、図５に示した復号装置５の色復元手段５３と相違する。この復号装置５Ａは、図４に示した符号化装置１Ａに対応している。
【０１２１】
色変換行列記憶手段５３ｅは、符号化装置１Ａの色変換行列記憶手段１１ｅに記憶された色変換行列の候補と、この色変換行列の候補を特定する特定情報との組み合わせと同じ色変換行列の候補と特定情報との組み合わせを記憶するものである。
【０１２２】
色変換行列記憶手段５３ｅに記憶される色変換行列の候補は、符号化装置１Ａの色変換行列記憶手段１１ｅに記憶される色変換行列の候補の更新にしたがって更新される。この場合、復号装置５Ａは、符号化装置１Ａから、サイド情報として、新しい色変換行列の候補と特定情報とを取得し、色変換行列記憶手段５３ｅの記憶内容を更新してもよい。
【０１２３】
また、符号化装置１Ａが、学習装置によりモデルを使った学習を行い、色変換行列記憶手段１１ｅに記憶される色変換行列の候補と特定情報とを新たに生成する場合、復号装置５Ａも、図示しない学習装置により、符号化装置１Ａと同様の学習を行って新たな色変換行列の候補と特定情報とを生成してもよいし、符号化装置１Ａからサイド情報として取得してもよい。
【０１２４】
復号装置５Ａは、分離手段５１によって、符号化装置１Ａから、色変換行列情報である色変換行列の特定情報の符号化データを含む多重化データを取得した場合、多重化データから色変換行列情報の符号化データを分離し、復号手段５２の色変換行列情報復号手段５２によって、この符号化データを復号して色変換行列の特定情報とする。そして、復号装置５Ａは、色復元手段５３Ａの色空間復元手段５３ｂによって、色変換行列記憶手段５３ｅ内を探索し、この色変換行列の特定情報と一致する特定情報と対応付けられた色変換行列を選択する。復号装置５Ａは、色復元手段５３Ａの色空間復元手段５３ｂによって、選択した色変換行列に基づいて、フレーム再合成手段５３ａで再合成された合成フレームの色空間を復元する。
【０１２５】
復号装置５Ａの動作は、図７に示した復号装置５の動作において、ステップＳ１１３とＳ１１４の間に、色復元手段５３Ａの色空間復元手段５３ｂによる探索および選択処理を行う点以外は、図７に示した復号装置５の動作と同様である。
【０１２６】
復号装置５Ａによれば、色変換行列情報復号手段５２ｂによって、色変換行列情報として、色変換行列の各変換係数そのものではなく特定情報を復号すればよいので、復号処理の負担が軽減される。
【０１２７】
また、図５に示した復号装置５は、分離手段５１で分離された１フレーム単位の符号化データを一時的に記憶するバッファを備えていてもよい。復号装置５は、バッファによって、分離手段５１で分離された１フレーム単位の符号化データを順次入力し一時的に記憶する。一時的に記憶された１フレーム単位の符号化データは、バッファに記憶された順に、フレーム復号手段５２ａに順次出力される。この場合、復号装置５は、符号化データ復号手段５２のフレーム復号手段５２ａを、少なくとも１つ備えていればよい。なお、復号装置５は、バッファに加えて、色変換行列記憶手段５３ｅをさらに備えていてもよい。
【０１２８】
また、復号装置５は、合成フレームごとに符号化データを生成する符号化装置に対応させて、合成フレームの符号化データを、１フレーム分の符号化データごとに分割する分割手段を備えていてもよい。この分割手段で分割された１フレーム分の符号化データは、符号化データ復号手段５２のフレーム復号手段５２ａにそれぞれ出力される。この場合、復号装置５は、符号化データ復号手段５２のフレーム復号手段５２ａを、少なくとも１つ備えていればよい。なお、復号装置５は、分割手段に加えて、図７で説明した復号装置５Ａと同様に色変換行列記憶手段５３ｅをさらに備えていてもよい。
【０１２９】
さらに、復号装置５は、符号化データ復号手段５２のフレーム復号手段５２ａが、符号化装置で生成された合成フレームの符号化データをそのまま復号することとしてもよい。その場合、復号装置５は、符号化データ復号手段５２のフレーム復号手段５２ａを、少なくとも１つ備えていればよい。これによれば、復号装置５の構成を簡素化することができる。
【０１３０】
なお、前記した第１実施形態では、符号化装置１は、色変換手段１１のフレーム合成手段１１ａで合成するフレーム数と同じ数のフレーム符号化手段１２ａを備えることとしたが、数を一致させなくてもよい。例えば、画像の動きが小さければ、フレーム合成手段１１ａで３つ以上のフレームが合成される場合もある。このとき、３つ以上のフレーム符号化手段１２ａを予め設けておいてもよいが、例えば、前記した第１実施形態のように、２つのフレーム符号化手段１２ａによっても対応可能な場合がある。例えば、フレーム合成手段１１ａによって３つのフレームが合成された場合、色空間変換手段１１ｃによって第１〜第９主成分の色成分信号Ｃ１〜Ｃ９が得られるが、画像の動きが小さいために、第１〜第９主成分のうち、第７〜第９主成分にはほとんど信号の成分が含まれない場合が多い。このような場合、フレーム符号化手段１２ａでの符号化時に第７〜第９主成分を“０”とみなして、第１〜第３主成分の色成分信号Ｃ１〜Ｃ３を一方のフレーム符号化手段１２ａに入力するとともに、第４〜第６主成分の色成分信号Ｃ４〜Ｃ６を他方のフレーム符号化手段１２ａに入力して、それぞれ符号化することができる。
この場合、復号装置５は、色復元手段５３のフレーム再合成手段５３ａによって、第１〜第６主成分の色成分信号Ｃ１〜Ｃ６に加え、符号化装置１で“０”とみなされた第７〜第９主成分の色成分信号Ｃ７〜Ｃ９も合わせて、３つのフレームの色成分信号Ｃ１〜Ｃ９を含む合成フレームを再合成し、色空間復元手段５３ｂによって、３つのフレームの色成分信号Ｒ１，Ｇ１，Ｂ１〜Ｒ３，Ｇ３，Ｂ３を復元することができる。
【０１３１】
なお、符号化装置１，１Ａ（図１，４参照）における色変換手段１１，１１Ａ（図１，４参照）は、独立した色変換装置として構成することも可能である。
また、前記した色変換手段（色変換装置）１１，１１Ａ、符号化装置１，１Ａ（図１，４参照）および復号装置５，５Ａ（図５，８参照）は、それぞれ、コンピュータにおいて各手段における処理を実行可能に記述したプログラム（色変換プログラム、符号化プログラム、または、復号プログラム）とすることも可能である。この場合、各プログラムは、対応する装置と同様の効果を奏する。
【符号の説明】
【０１３２】
１，１Ａ      符号化装置
１１      色変換手段
１１ａ      フレーム合成手段
１１ｂ      色変換行列生成手段
１１ｃ      色空間変換手段
１１ｄ      フレーム分割手段
１１ｅ      色変換行列記憶手段
１１ｆ      色変換行列選択手段
１２      符号化データ生成手段
１３      多重化データ生成手段
５，５Ａ      復号装置
５１      分離手段
５２      符号化データ復号手段
５２ａ      フレーム復号手段
５２ｂ      色変換行列情報復号手段
５３，５３Ａ      色復元手段
５３ａ      フレーム再合成手段
５３ｂ      色空間復元手段
５３ｃ      フレーム分割手段
５３ｄ      出力手段
５３ｅ      色変換行列記憶手段
【図１】
2014053792.tif 000007
【図２】
2014053792.tif 000008
【図３】
2014053792.tif 000009
【図４】
2014053792.tif 000010
【図５】
2014053792.tif 000011
【図６】
2014053792.tif 000012
【図７】
2014053792.tif 000013
【図８】
2014053792.tif 000014