(57)【要約】【課題】画質の低下を防ぎつつ、適切な色変換を行う。【解決手段】画像から複数の分析領域を取得する取得部と、各分析領域に含まれる代表点に対し、分析領域内の画素値に基づいて算出した固有ベクトルを有する色変換行列を変換して、回転パラメータを算出するパラメータ算出部と、固有ベクトルを補間して、代表点以外の点の色変換行列を算出する補間部と、パラメータ算出部により算出された色変換行例及び補間部により算出された色変換行列を用いて、画像の色変換を行う色変換部と、各代表点の回転パラメータを含む色変換情報を符号化する色変換情報符号化部と、を有する。【選択図】図１
2015095693.tif 000002
【特許請求の範囲】
【請求項１】
画像から複数の分析領域を取得する取得部と、
各分析領域に含まれる代表点に対し、前記分析領域内の画素値に基づいて算出した固有ベクトルを有する色変換行列を変換して、回転パラメータを算出するパラメータ算出部と、
前記固有ベクトルを補間して、前記代表点以外の点の色変換行列を算出する補間部と、
前記パラメータ算出部により算出された色変換行例及び前記補間部により算出された色変換行列を用いて、前記画像の色変換を行う色変換部と、
各代表点の回転パラメータを含む色変換情報を符号化する色変換情報符号化部と、
を有する画像処理装置。
【請求項２】
前記色変換後の３つの色成分のうちの２つの色成分のエネルギーを算出するエネルギー算出部と、
前記エネルギーを用いる所定条件が満たされるまで、前記分析領域のサイズを再設定する領域設定部と、をさらに有し、
前記パラメータ算出部は、
前記領域設定部により再設定された分析領域内の画素に基づいて、回転パラメータを算出する請求項１記載の画像処理装置。
【請求項３】
前記色変換後の画像に対して符号化処理を行う画像符号化部をさらに有する請求項１又は２記載の画像処理装置。
【請求項４】
符号化された画像を復号する画像復号部と、
前記符号化された画像の各代表点の回転パラメータであって、固有ベクトルを有する色変換行列が変換された回転パラメータを含む、符号化された色変換情報を復号する色変換情報復号部と、
前記各代表点に対し、復号された回転パラメータを用いて色変換行列を算出する算出部と、
前記算出部により算出された色変換行列の固有ベクトルを補間して、前記代表点以外の点の色変換行列を算出する補間部と、
前記算出部により算出された色変換行列及び前記補間部により算出された色変換行列を用いて、前記画像復号部により復号された画像の色逆変換を行う色逆変換部と、
を有する画像処理装置。
【請求項５】
コンピュータに、
画像から複数の分析領域を取得する取得ステップ、
各分析領域に含まれる代表点に対し、前記分析領域内の画素値に基づいて算出した固有ベクトルを有する色変換行列を変換して、回転パラメータを算出するパラメータ算出ステップ、
前記固有ベクトルを補間して、前記代表点以外の点の色変換行列を算出する補間ステップ、
前記パラメータ算出ステップにより算出された色変換行例及び前記補間ステップにより算出された色変換行列を用いて、前記画像の色変換を行う色変換ステップ、
各代表点の回転パラメータを含む色変換情報を符号化する色変換情報符号化ステップ、
を実行させるための画像処理プログラム。
【請求項６】
コンピュータに、
符号化された画像を復号する画像復号ステップと、
前記符号化された画像の各代表点の回転パラメータであって、固有ベクトルを有する色変換行列が変換された回転パラメータを含む、符号化された色変換情報を復号する色変換情報復号ステップ、
前記各代表点に対し、復号された回転パラメータを用いて色変換行列を算出する算出ステップ、
前記算出ステップにより算出された色変換行列の固有ベクトルを補間して、前記代表点以外の点の色変換行列を算出する補間ステップ、
前記算出ステップにより算出された色変換行列及び前記補間ステップにより算出された色変換行列を用いて、前記画像復号ステップにより復号された画像の色逆変換を行う色逆変換ステップ、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をブロック単位で処理する画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
カラー画像のＲ、Ｇ、Ｂの３成分には高い色相関がある。このため、画像符号化ではＹ、Ｃｂ、Ｃｒなどの輝度、色差信号に変換されるが、変換後も色相関が残っている。なお、画像は、動画像及び静止画像を含む。
【０００３】
そこで、入力画像の特徴に応じて、主成分分析（例えば非特許文献１参照）や複数の色変換の切り替え（例えば非特許文献２参照）を行って画像を色変換し、色変換後の画像を符号化する技術がある。利用した色変換情報は、符号化された復号側に送られる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】S.K.Singh, et al. "Novel adaptive color space transform and application to image compression," Signal Processing: Image Communication, vol.26, issue 10, pp.662-672.
【非特許文献２】D.Marpe, et al. "An adaptive color transform approach and its application in 4:4:4 video coding," Proceeding of Europian Signal Processing Conference 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、画像に対して最適な色変換が行われると、変換後の第１成分（以下、Ｃ１とも称す）にエネルギーが集中し、第２成分、第３成分（以下、それぞれＣ２、Ｃ３とも称す）のエネルギーが小さくなり、符号化効率が向上する。
【０００６】
しかしながら、色変換の切り替え単位は、ブロック単位が一般的である。なめらかに色が変化する画像に対し、ブロック単位で色変換が行われると、ブロック境界が現れてしまう。この画像をＭＰＥＧ２やＡＶＣ／Ｈ．２６４などの一般的な符号化方式によって圧縮すると、画像の連続性が損なわれたことにより符号化効率が低下してしまう。よって、一般的なブロック単位での適切な色変換を行おうとすると、画質が低下する可能性があるという問題がある。
【０００７】
そこで、本発明は、画質の低下を防ぎつつ、適切な色変換を行うことができる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様における画像処理装置は、画像から複数の分析領域を取得する取得部と、各分析領域に含まれる代表点に対し、前記分析領域内の画素値に基づいて算出した固有ベクトルを有する色変換行列を変換して、回転パラメータを算出するパラメータ算出部と、前記固有ベクトルを補間して、前記代表点以外の点の色変換行列を算出する補間部と、前記パラメータ算出部により算出された色変換行例及び前記補間部により算出された色変換行列を用いて、前記画像の色変換を行う色変換部と、各代表点の回転パラメータを含む色変換情報を符号化する色変換情報符号化部と、を有する。
【０００９】
また、上記画像処理装置は、前記色変換後の３つの色成分のうちの２つの色成分のエネルギーを算出するエネルギー算出部と、前記エネルギーを用いる所定条件が満たされるまで、前記分析領域のサイズを再設定する領域設定部と、をさらに有し、前記パラメータ算出部は、前記領域設定部により再設定された分析領域内の画素に基づいて、回転パラメータを算出してもよい。
【００１０】
また、上記画像処理装置は、前記色変換後の画像に対して符号化処理を行う画像符号化部をさらに有してもよい。
【００１１】
また、本発明の他の態様における画像処理装置は、符号化された画像を復号する画像復号部と、前記符号化された画像の各代表点の回転パラメータであって、固有ベクトルを有する色変換行列が変換された回転パラメータを含む、符号化された色変換情報を復号する色変換情報復号部と、前記各代表点に対し、復号された回転パラメータを用いて色変換行列を算出する算出部と、前記算出部により算出された色変換行列の固有ベクトルを補間して、前記代表点以外の点の色変換行列を算出する補間部と、前記算出部により算出された色変換行列及び前記補間部により算出された色変換行列を用いて、前記画像復号部により復号された画像の色逆変換を行う色逆変換部と、を有する。
【００１２】
また、本発明の他の態様における画像処理プログラムは、コンピュータに、画像から複数の分析領域を取得する取得ステップ、各分析領域に含まれる代表点に対し、前記分析領域内の画素値に基づいて算出した固有ベクトルを有する色変換行列を変換して、回転パラメータを算出するパラメータ算出ステップ、前記固有ベクトルを補間して、前記代表点以外の点の色変換行列を算出する補間ステップ、前記パラメータ算出ステップにより算出された色変換行例及び前記補間ステップにより算出された色変換行列を用いて、前記画像の色変換を行う色変換ステップ、各代表点の回転パラメータを含む色変換情報を符号化する色変換情報符号化ステップ、を実行させる。
【００１３】
また、本発明の他の態様における画像処理プログラムは、コンピュータに、符号化された画像を復号する画像復号ステップと、前記符号化された画像の各代表点の回転パラメータであって、固有ベクトルを有する色変換行列が変換された回転パラメータを含む、符号化された色変換情報を復号する色変換情報復号ステップ、前記各代表点に対し、復号された回転パラメータを用いて色変換行列を算出する算出ステップ、前記算出ステップにより算出された色変換行列の固有ベクトルを補間して、前記代表点以外の点の色変換行列を算出する補間ステップ、前記算出ステップにより算出された色変換行列及び前記補間ステップにより算出された色変換行列を用いて、前記画像復号ステップにより復号された画像の色逆変換を行う色逆変換ステップ、を実行させる。
【発明の効果】
【００１４】
本発明によれば、画質の低下を防ぎつつ、適切な色変換を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】実施例１における画像処理装置の構成の一例を示すブロック図。
【図２】代表点と分析領域との関係の一例を示す図。
【図３】色変換を回転行列の積で表す図。
【図４】回転行列を示す図。
【図５】極座標系へのパラメータ化の一例を示す図。
【図６】２つのベクトルが張る法線ベクトルの一例を示す図。
【図７】実施例１における画像処理の一例を示すフローチャート。
【図８】実施例２における画像処理装置の構成の一例を示すブロック図。
【図９】実施例２における画像処理の一例を示すフローチャート。
【図１０】実施例３における画像処理装置の構成の一例を示すブロック図。
【図１１】実施例３における画像処理の一例を示すフローチャート。
【図１２】実施例４における画像処理装置の構成の一例を示すブロック図。
【発明を実施するための形態】
【００１６】
以下、各実施例について、添付図面を参照しながら詳細に説明する。
【００１７】
［実施例１］
まず、実施例１における画像処理装置について説明する。実施例１における画像処理装置は、適切な色変換が行われた後に画像が符号化される装置である。
【００１８】
＜構成＞
図１は、実施例１における画像処理装置１０の構成の一例を示すブロック図である。図１に示す画像処理装置１０は、色変換を行う色変換装置１１と、色変換された画像を符号化する画像符号化部１２とを有する。なお、色変換装置１１だけで、画像処理装置と称してもよい。
【００１９】
色変換装置１１は、入力部１０１と、取得部１０２と、パラメータ算出部１０３と、補間部１０４と、生成部１０５と、色変換部１０６と、色変換情報符号化部１０７とを有する。
【００２０】
入力部１０１は、画像を入力する。入力部１０１は、入力した画像を取得部１０２と、色変換部１０６とに出力する。
【００２１】
取得部１０２は、入力部１０１から取得した画像から複数の代表点（画素）を抽出し、この代表点を含む分析領域を取得する。代表点は、予め設定されていてもよいし、特徴点抽出により抽出された点を代表点としてもよい。特徴点は、例えばエッジ抽出などにより求められる。
【００２２】
取得部１０２は、求められた特徴点を含む分析領域を取得する。分析領域は、例えば、代表点を中心に３２×３２の領域である。取得部１０２は、代表点の位置と、分析領域とをパラメータ算出部１０３に出力する。
【００２３】
また、取得部１０２は、グラデーション抽出、平坦部分の抽出などにより、画像を複数の分析領域に分割し、分析領域の任意の点（例えば中心点）を代表点として設定してもよい。
【００２４】
ここで、代表点と分析領域との関係について説明する。図２は、代表点と分析領域との関係の一例を示す図である。図２に示す例では、代表点は、画像に対し、格子状に設定されている。なお、代表点は、図２に示す例に限られず、特徴点抽出などにより、任意の点が設定されてもよい。
【００２５】
また、図２に示す例では、分析領域ａｒ１０１は、代表点を中心とする所定領域（例えば３２×３２）が設定されている。なお、分析領域は、図２に示す例に限らず、円形や矩形など形状を問わない。また、取得部１０２は、先に分析領域を求め、この分析領域の任意の点を代表点に設定してもよい。
【００２６】
図１に戻り、パラメータ算出部１０３は、取得した各分析領域に含まれる代表点に対し、この分析領域内の画素値に基づいて算出した固有ベクトルを有する色変換行列を変換して、回転パラメータを算出する。つまり、パラメータ算出部１０３は、各代表点のＲＧＢからＣ１〜Ｃ３を求めるための適切な回転パラメータθ１〜θ３を、分析領域を分析することで算出する。
【００２７】
図３は、色変換を回転行列の積で表す図である。色変換行列は、３×３の行列である。色変換行列は、直交したＲＧＢ軸の回転に対応する。よって、色変換行列は、図３に示すように、３つの回転行列の積とみなせる。
【００２８】
図４は、回転行列を示す図である。図４に示す回転行列は、次の式（１）で表すことができる。
【００２９】
【数１】
2015095693.tif 000003
よって、Ｒ、Ｇ、ＢからＣ１、Ｃ２、Ｃ３への色変換は、３つの回転パラメータθ１、θ２、θ３によって決定される。
【００３０】
例えば、パラメータ算出部１０３は、各分析領域内の画素値を用いて、色信号の相関が最も除去されるように主成分分析を行うことで固有ベクトルを算出する。また、パラメータ算出部１０３はＣ３のエネルギー又はＣ２とＣ３との線形結合のエネルギーが最も小さくなるように３つの固有ベクトルを算出してもよい。パラメータ算出部１０３は、上記のいずれかの方法により算出した３つの固有ベクトル（９個のパラメータ）を有する色変換行列を、３つの回転パラメータに変換して算出する。パラメータ算出部１０３は、算出した固有ベクトルを補間部１０４に出力する。
【００３１】
例えば、一番大きな固有値に対する第１固有ベクトルを（a1(1),a1(2),a1(3)）とし、入力値のＲ、Ｇ、Ｂ成分を（R,G,B）Tとすると、Ｃ１は、以下のように表せる。
【００３２】
【数２】
2015095693.tif 000004
更に、２番目に大きな固有値に対する固有ベクトルを（a2(2),a2(2),a2(3)）とし、３番目に大きな固有値に対する固有ベクトルを（a3(2),a3(2),a3(3)）とし、これらの固有ベクトルを大きい順番に上から順に並べ、これを色変換行列Ａとして表せば、以下の式（２）になる。
【００３３】
【数３】
2015095693.tif 000005
上記行列Ａは、3つの回転パラメータによって以下のようにも表せる。
【００３４】
【数４】
2015095693.tif 000006
ここでＳ1はSinθ1、Ｃ1はCosθ1を意味する。
【００３５】
式（２）と式（３）の行列Ａの左下成分同士の対応から、以下の式が導ける。
【００３６】
【数５】
2015095693.tif 000007
上記の式（４）によって、θ2が求まる。同様にして、式（３）及び式（４）からθ1及びθ3を求めることができる。なお、θ1、θ2及びθ3は、Sin-1などを用いて導出されるため、複数の候補が求まる場合があるが、式（３）及び式（４）を満たすものであれば、いずれのものであってもよい。また、固有ベクトルのパラメータのサイド情報圧縮効率の向上のために、複数の候補を求めた後に、周囲のすでにθ1〜θ3を算出し終わったブロックのθ1〜θ3との差分が最も小さくなるような候補を当該ブロックのθとして決定することもできる。
【００３７】
図１に戻り、補間部１０４は、パラメータ算出部１０３から取得した固有ベクトルを補間して、代表点以外の点（補間対象点）の色変換行列を算出する。すなわち、補間部１０４は、補間対象点に近い複数の代表点（例えば４つの代表点）の固有ベクトルの重み付き平均を求めることで、補間対象点の補間された固有ベクトルを算出することができる。
【００３８】
或いは、以下のようにして、取得した３つの固有ベクトルを、デカルト座標系から極座標系に変換してから、補間を実行することもできる。
【００３９】
図５は、極座標系へのパラメータ化の一例を示す図である。補間部１０４は、固有ベクトルを、図５に示すように極座標系に変換してパラメータ（γ、θ、φ）を求め、これらのパラメータを、各々重み付き平均を用いて補間することで、補間対象点の固有ベクトルを求める。
【００４０】
図５に示す例では、固有ベクトルの直交性は失われるが、３つの互いに直交するベクトルから別の３つの互いに直交するベクトルへの補間になり、非正則な変換行列は生成されないので、特に問題にはならない。
【００４１】
また、補間部１０４は、固有ベクトルの補間として、オイラーパラメータを用いて補間することで、固有ベクトルの補間を適切に行ってもよい。オイラーパラメータを用いると、四元数のパラメータで表現できるので、ある軸周りの回転を行うことができる。
【００４２】
例えば、補間部１０４は、２つの軸を補間する場合、つまり、ある代表点と隣り合う代表点の１つ目の固有ベクトル同士を用いて補間する場合、その２つの固有ベクトルv1及びv2が張る平面の法線ベクトルを外積により算出する。
【００４３】
図６は、２つのベクトルが張る法線ベクトルの一例を示す図である。図６に示すように、補間部１０４は、固有ベクトル１（v1）と固有ベクトル２（v2）との法線ベクトル（単位ベクトルｕ）を求める。補間部１０４は、求めた法線ベクトルの軸を中心として時計回り（又は半時計周り）の回転を四元数により算出する。これにより、補間部１０４は、補間対象点の固有ベクトルを、オイラーパラメータ上で重み付き平均を用いることで、四元数を用いて以下のように適切に補間することができる。
【００４４】
固有ベクトル１(v1)と固有ベクトル２(v2)との関係は、四元数qと両ベクトル間の角度をθ用いると、以下のように表せる。
【００４５】
【数６】
2015095693.tif 000008
ここで、i,j,kは、四元数に用いられる以下の規則を満たす数である。
【００４６】
【数７】
2015095693.tif 000009
そして、上記２つの隣り合う代表点の距離Lと、補間対象点から固有ベクトル１(v1)に対応する代表点までの距離L1との距離を用いて、四元数を以下のように按分することで、補間対象点の四元数ｑｘを以下のように求めることができる。
【００４７】
【数８】
2015095693.tif 000010
そして、補間対象点の固有ベクトルvxは、四元数ｑｘを用いて以下のように求めることができる。
【００４８】
【数９】
2015095693.tif 000011
以上のようにして、補間した固有ベクトルを求めることができる。
【００４９】
上述の方式は、四元数を直接補間した。この方式以外に、補間対象点に近い複数の代表点（例えば４つの代表点）の固有ベクトルの四元数の対数の重み付き平均を求め、求められた対数の四元数を実数に戻すことで、補間対象点の補間された固有ベクトルを算出することもできる。この場合には、４つの代表点の固有ベクトルの四元数の対数を算出してから補間することで、上述のように四元数を直接補間する方式よりも、計算量の削減が可能である。
【００５０】
具体的には、例えば以下のように計算できる。
【００５１】
まず、補間対象点に近い４つの代表点の固有ベクトルの四元数を同様に求め、それぞれｑ１、ｑ２、ｑ３、ｑ４とする。補間対象点の固有ベクトルVxは、４つの点から補間対象点へのバイリニア法による補間係数をα１、α２、α３、α４とすれば、以下の式で、補間対象点の固有ベクトルVxを求めることができる。
【００５２】
【数１０】
2015095693.tif 000012
【００５３】
補間部１０４は、各代表点の色変換行列と、各代表点以外の点で補間された色変換行列とを、生成部１０５に出力する。また、補間部１０４は、各代表点の位置情報と、各代表点の回転パラメータとを、色変換情報符号化部１０７に出力する。
【００５４】
図１に戻り、生成部１０５は、画面全体の各画素に対し、各画素位置に対応する色変換行列を関連付けた色変換のマップを生成する。色変換行列は、例えば３つの固有ベクトルで表される。生成部１０５は、生成したマップを色変換部１０６に出力する。
【００５５】
色変換部１０６は、生成部１０５から取得した色変換のマップを用いて、入力手段１０１から取得した画像を色変換する。色変換部１０６は、色相関ができるだけ除去された色変換後の各成分を画像符号化部１２に出力する。
【００５６】
色変換情報符号化部１０７は、各代表点の回転パラメータを含む色変換情報を符号化する。なお、色変換情報符号化部１０７は、代表点が任意に設定されていれば、各代表点の位置情報を色変換情報に含め、予め復号側と統一された代表点が用いられるのであれば、代表点の位置情報を色変換情報に含めなくてもよい。
【００５７】
色変換情報符号化部１０７は、符号化の方法について、可逆圧縮の方法であれば、いずれを用いてもよい。色変換行列は、３つの回転パラメータで表現して伝送されるので、９個のパラメータを有する３つの固有ベクトルで伝送されるよりも、伝送効率が良くなる。
【００５８】
画像符号化部１２は、色変換装置１１により色変換された各成分に対し、画像符号化処理を行う。画像符号化処理は、ＪＰＥＧ、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの公知の符号化技術を用いればよい。
【００５９】
画像符号化部１２により符号化された画像と、色変換情報符号化部１０７により符号化された色変換情報とは、記憶部に蓄積されたり、復号側に送信されたりする。
【００６０】
以上の構成を有することで、画質の低下を防ぎつつ、適切な色変換を行うことができる。
【００６１】
＜動作＞
次に、実施例１における画像処理装置１０の動作について説明する。図７は、実施例１における画像処理の一例を示すフローチャートである。図７に示すステップＳ１０１で、入力部１０１は、撮影された画像（静止画像又は動画像）を入力する。
【００６２】
ステップＳ１０２で、取得部１０２は、画像から複数の代表点を抽出し、この代表点を含む分析領域を取得する。なお、取得部１０２は、分析領域を求めてから代表点を決定するようにしてもよい。
【００６３】
ステップＳ１０３で、パラメータ算出部１０３は、取得された分析領域内の画素値を用いて固有ベクトルを算出するとともに、代表点に対応する、固有ベクトルを有する色変換行列が変換された回転パラメータを算出する。パラメータ算出部１０３は、各代表点を含む各分析領域内で回転パラメータを算出する。
【００６４】
ステップＳ１０４で、補間部１０４は、各代表点に対応する色変換行列の固有ベクトルを用いて、代表点以外の色変換行列を補間する。例えば、補間部１０４は、補間対象点に座標が近い４つの代表点の固有ベクトルを、４つの代表点からの距離に応じた重み付け平均を行うことで、固有ベクトルの補間処理を行う。
【００６５】
ステップＳ１０５で、生成部１０５は、画像内の各画素に、その画素位置に対応する色変換行列を関連付けて色変換のマップを生成する。色変換のマップとは、例えば各画素に色変換行列の固有ベクトルが対応付けられたものをいう。
【００６６】
ステップＳ１０６で、色変換部１０６は、画像内の各画素に対し、色変換のマップを用いて色変換を行う。例えば、色変換部１０６は、画像の各画素に対応する色変換行列をマップから特定し、特定した色変換行列を用いて各画素の画素値を色変換し、色成分を算出する。
【００６７】
ステップＳ１０７で、画像符号化部１２は、色変換された色成分を有する画像に対し、画像符号化処理を施す。また、色変換情報符号化部１０７は、各代表点の位置情報と、各代表点の回転パラメータとを含む色変換情報を符号化する。なお、符号側と復号側とで、代表点の位置を予め同じに設定しておけば、色変換情報に代表点の位置情報を含める必要はない。
【００６８】
以上、実施例１によれば、画像の代表点で適切な色変換の回転パラメータを決定し、代表点以外の点については補間によって求める。これにより、実施例１では、色変換のためのブロック分割を必要とせず、ブロック境界が現れない色変換を行うことができるので、画質の低下を防ぐことができる。
【００６９】
また、実施例１によれば、色変換行列を３つの回転パラメータで表し、この３つの回転パラメータを伝送するので、９（３×３）個のパラメータを有する固有ベクトルを伝送するよりも伝送効率が良くなる。
【００７０】
［実施例２］
次に、実施例２における画像処理装置について説明する。実施例２では、分析領域のサイズを適切にする処理を行う。
【００７１】
分析領域が小さく設定されるほど、分析領域内の信号の特徴が偏るため、色変換後の代表点におけるＣ２とＣ３とのエネルギーは小さくなる傾向にある。しかし、代表点以外の座標で補間された色変換行列が、本来その対象座標を代表点として色変換行列を最適化した場合の値から極端に遠ざかる可能性がある。
【００７２】
一方で、分析領域が大きく設定されるほど、分析領域内の信号の偏りが少なくなり、色変換後の代表点のＣ２とＣ３とのエネルギーが大きくなる傾向にある。しかし、代表点以外の座標で補間された色変換行列が、本来その対象画座標を代表点として色変換行列を最適化した場合の値から極端に遠ざかる可能性は低くなる。例えば、具体的な例としては、分析領域が周辺の代表点をも含む大きな領域である場合には、代表点以外の点において、補間による影響が小さくなる傾向にある。なお、分析領域が小さい場合は、その分析領域についての信号の特徴が偏り、しかも、その領域に特有の色変換行列が求まるため、色変換後の代表点におけるＣ２、Ｃ３のエネルギーは、小さくなる傾向にある。
【００７３】
よって、実施例２では、画像全体の色変換行列が求められた後、画像に色変換行列を適用して、画像全体のＣ２とＣ３とのエネルギー量を算出し、このエネルギー量ができるだけ小さくなるように、分析領域の大きさや代表点の位置を決定する。
【００７４】
＜構成＞
図８は、実施例２における画像処理装置２０の構成の一例を示すブロック図である。図８に示す画像処理装置２０は、色変換を行う色変換装置２１と、色変換後の画像を符号化する画像符号化部１２とを有する。色変換装置２１だけで、画像処理装置と称してもよい。なお、図８に示す構成において、図１に示す構成と同様のものは同じ符号を付し、その説明を省略する。
【００７５】
色変換装置２１は、入力部１０１と、取得部２０２と、パラメータ算出部２０３と、補間部２０４と、生成部２０５と、色変換部２０６と、色変換情報符号化部１０７と、エネルギー算出部２０７と、領域設定部２０８とを有する。
【００７６】
取得部２０２と、パラメータ算出部２０３と、補間部２０４と、生成部２０５と、色変換部２０６とは、繰り返し処理が行われるところが、実施例１と異なり、処理の内容自体は、実施例１と同様である。なお、この繰り返し処理においては、補間部２０４において、補間が行えるようにするため、以下の処理を予め行う。すなわち、領域設定部２０８は、例えば、画像全体に対して、暫定的に分析領域とその代表点を定めておく。そして、この暫定的な分析領域の各々に対してパラメータ算出部２０３がパラメータを算出しておくことにより、この繰り返し処理において、補間部２０４が補間を行えるようにしておくことが望ましい。繰り返し処理においては、パラメータが逐次修正されて行くと共に、分析領域のサイズが適切に変更されてゆく。
【００７７】
暫定的な分析領域の各々に対してパラメータ算出部２０３がパラメータを算出した後の具体な繰り返し処理は、以下の通りである。
【００７８】
エネルギー算出部２０７は、各分析領域での色成分Ｃ２と色成分Ｃ３とのエネルギーを重み付き加算し、画像全体での色成分Ｃ２と色成分Ｃ３とのエネルギーの総和を算出する。エネルギー算出部２０３は、算出されたエネルギーを領域設定部２０８に出力する。
【００７９】
領域設定部２０８は、取得したエネルギーが所定条件を満たすと判断すれば、その所定条件を満たす領域サイズを補間部２０４や色変換部２０６に出力する。所定条件は、例えば、エネルギーが最小又は極小となること、あるいはエネルギーが閾値以下となることなどである。
【００８０】
領域設定部２０８は、エネルギーを用いる所定条件に対して、取得したエネルギーが閾値以下であるかを判定してもよいし、分析領域の全サイズを処理し、最も小さいエネルギーとなるサイズを判定してもよい。
【００８１】
領域設定部２０８は、取得したエネルギーが所定条件を満たさなければ、現在の分析領域を分割したり、所定サイズだけ小さくしたりして、新たな分析領域を設定する。領域設定部２０８は、新たに設定した分析領域を取得部２０２に通知する。例えば、領域設定部２０８は、初期値の分析領域として例えば３２×３２に画像を分割し、次に、１６×１６、８×８と順に２で割って分析領域を小さくしてもよい。
【００８２】
取得部２０２は、新たな分析領域を領域設定部２０８から取得する。また、取得部２０２は、分析領域の中心位置を代表点にすればよい。パラメータ算出部２０３以降の処理については、新たな分析領域を用いて処理が行われる。
【００８３】
取得部２０２は、代表点が予め設定されている場合で、分析領域に複数の代表点が含まれる場合は、例えば分析領域の最も中心にある代表点を選択すればよい。
【００８４】
これにより、画像全体のＣ２とＣ３とのエネルギーが小さくなるときの領域を用いて算出された回転パラメータを求めることができる。
【００８５】
補間部２０４は、領域設定部２０８により通知された分析領域サイズの回転パラメータと、分析領域のサイズに関する情報（例えば分割回数）とを、色変換情報符号化部１０７に出力する。
【００８６】
色変換部２０６は、領域設定部２０８から通知された分析領域サイズに対応する色変換行列のマップを用いて、色変換処理を行う。
【００８７】
なお、領域設定部２０８は、分析領域毎にさらに分割するか否かを判定することもできる。この場合は、どの分析領域を何回分割したかの情報が色変換情報に含まれる。
【００８８】
＜動作＞
次に、実施例２における画像処理装置２０の動作について説明する。図９は、実施例２における画像処理の一例を示すフローチャートである。図９に示すステップＳ２０１〜Ｓ２０６の処理は、図７に示すステップＳ１０１〜Ｓ１０６の処理と同様である。
【００８９】
ステップＳ２０７で、エネルギー算出部２０７は、各分析領域での色成分Ｃ２と色成分Ｃ３とのエネルギーを加算し、画像全体での色成分Ｃ２と色成分Ｃ３とのエネルギーの総和を算出する。
【００９０】
ステップＳ２０８で、領域設定部２０８は、算出されたエネルギーが所定条件を満たすか否かを判定する。所定条件とは、例えば算出されたエネルギーが閾値以下となる等である。エネルギーが所定条件を満たせば（ステップＳ２０８−ＹＥＳ）ステップＳ２１０に進み、エネルギーが所定条件を満たさなければ（ステップＳ２０８−ＮＯ）ステップＳ２０９に進む。
【００９１】
ステップＳ２０９で、領域設定部２０８は、分析領域を新たに再設定する。領域設定部２０８は、例えば、現在の分析領域を分割することで、新たな分析領域を再設定する。ステップＳ２０９の後、ステップＳ２０２に戻り、新たな分析領域で処理が再度行われる。
【００９２】
ステップＳ２１０で、画像符号化部１２は、Ｃ２とＣ３とのエネルギーが小さくなるような分析領域に対し、分析して求められた固有ベクトルを有する色変換行列により色変換された色成分を有する画像に、画像符号化処理を施す。
【００９３】
また、色変換情報符号化部１０７は、Ｃ２とＣ３とのエネルギーが小さくなるような分析領域のサイズに関する情報と、各代表点の回転パラメータとを含む色変換情報を符号化する。分析領域のサイズに関する情報から、代表点の位置が求められる。例えば、何回分割されたかが分かれば分析領域のサイズが分かり、分析領域の中心点を代表点とすることで、代表点の位置が求められる。
【００９４】
なお、色変換情報符号化部１０７は、設定された各分析領域の代表点の位置情報を、実施例１同様にして符号化するようにしてもよい。
【００９５】
以上、実施例２によれば、実施例１の効果に加え、適切な分析領域により求められた適切な固有ベクトルを有する色変換行列を用いることができる。よって、画像符号化が行われる際に、符号化効率を向上させることができる。
【００９６】
また、実施例２によれば、分析領域の大きさや代表点の位置を、色変換部により生成された色成分のエネルギー量を用いて適切に設定することで、次のことが可能になる。実施例２によれば、なめらかに色が変わるような画像に対しては、代表点を粗く（間隔を広く）設定し、分析領域を大きく設定することができる。これにより、色変換情報を減らすことができ、符号化効率が向上する。
【００９７】
また、実施例２では、細かいテクスチャが多い画像に対しては、代表点を細かく（間隔を狭く）設定し、分析領域を小さく設定することができる。これにより、画質の劣化を防ぐことができる。
【００９８】
［実施例３］
次に、実施例３における画像処理装置について説明する。実施例３における画像処理装置は、実施例１や実施例２で色変換され、符号化された画像に対し、復号処理を行って色逆変換することで、出力画像を生成する。
【００９９】
＜構成＞
図１０は、実施例３における画像処理装置３０の構成の一例を示すブロック図である。図１０に示す画像処理装置３０は、符号化された画像を復号する画像復号部３１と、色逆変換を行う色逆変換装置３２とを有する。なお、色逆変換装置３２だけで、画像処理装置と称してもよい。
【０１００】
画像復号部３１は、画像符号化部１２の画像符号化処理に対応する画像復号処理を行って、符号化された画像を復号する。画像復号部３１は、復号した画像に対応する色変換情報と同期をとるための信号を色変換情報復号部３０１に出力してもよい。
【０１０１】
色逆変換装置３２は、色変換情報復号部３０１と、算出部３０２と、補間部３０３と、生成部３０４と、色逆変換部３０５とを有する。
【０１０２】
色変換情報復号部３０１は、例えば、符号化された画像の各代表点の回転パラメータであって、固有ベクトルを有する色変換行列が変換された回転パラメータを含む、符号化された色変換情報を復号する。色変換情報は、代表点の位置情報や分析領域のサイズに関する情報を含んでもよい。復号処理は、色変換情報符号化部１０７の符号化処理に対応する復号処理である。
【０１０３】
色変換情報復号部３０１は、復号した情報を算出部３０２に出力する。また、色変換情報復号部３０１は、画像復号部３１から取得した同期信号に同期して復号処理を行ってもよい。
【０１０４】
算出部３０２は、各代表点に対し、復号された回転パラメータを用いて色変換行列を算出する。また、算出部３０２は、代表点の位置情報や分析領域のサイズに関する情報を取得した場合は、この情報から代表点の位置を求める。
【０１０５】
例えば、算出部３０２は、何回分割されたかにより分析領域のサイズを特定し、このサイズの分析領域で画像を分割した場合に、この分析領域の中心点を代表点とすることで、代表点の位置を求めることができる。
【０１０６】
また、算出部３０２は、代表点の位置が予め決められている場合は、その位置を用いればよい。算出部３０２は、各代表点に対応する色変換行列を補間部３０３に出力する。このときの色変換行列は、３つの固有ベクトルを有する。
【０１０７】
補間部３０３は、算出部３０３により算出された色変換行列の固有ベクトルを補間して、代表点以外の点の色変換行列を算出する。補間部３０３は、実施例１や実施例２の補間処理と同じ補間処理を用いることで、固有ベクトルの補間処理（例えば重み付き平均）を行う。補間部３０３は、代表点の色変換行列と、代表点以外の点の補間された色変換行列とを生成部３０４に出力する。
【０１０８】
生成部３０４は、実施例１や実施例２と同様にして、画像の各画素に対して色変換行列を関連付けて、色変換のマップを生成する。生成部３０４は、生成したマップを色逆変換部３０５に出力する。
【０１０９】
色逆変換部３０５は、算出部３０２により算出された色変換行列及び補間部３０３により算出された色変換行列を用いて、画像復号部３１により復号された画像の色逆変換を行う。色逆変換部３０５は、色逆変換された画像を出力画像として、記憶装置又は表示装置に出力する。
【０１１０】
以上の構成を有することで、実施例１や実施例２の画像処理装置で符号化された画像を適切に復号することができる。
【０１１１】
＜動作＞
次に、実施例３における画像処理装置３０の動作について説明する。図１１は、実施例３における画像処理の一例を示すフローチャートである。図１１に示すステップＳ３０１で、画像復号部３１は、入力されたストリーム（符号化された画像のデータ）に対し、画像復号処理を行う。
【０１１２】
ステップＳ３０２で、色変換情報復号部３０１は、符号化された色変換情報を復号し、各代表点の位置情報、各代表点の回転パラメータを取得する。なお、ステップＳ３０１とステップＳ３０２とは、順不同である。
【０１１３】
ステップＳ３０３で、算出部３０２は、代表点毎に、この代表点の回転パラメータを変換することで固有ベクトルを有する色変換行列を算出する。
【０１１４】
ステップＳ３０４で、補間部３０３は、各代表点に対応する色変換行列の固有ベクトルを用いて、代表点以外の色変換行列を補間する。例えば、補間部３０３は、補間対象点に座標が近い４つの代表点の固有ベクトルを、４つの代表点からの距離に応じた重み付け平均を行うことで、固有ベクトルの補間処理を行う。
【０１１５】
ステップＳ３０５で、生成部３０４は、画像内の各画素に、その画素位置に対応する色変換行列を関連付けて色変換のマップを生成する。色変換のマップとは、例えば各画素に色変換行列の固有ベクトルが対応付けられたものをいう。
【０１１６】
ステップＳ３０６で、色逆変換部３０５は、画像復号部３１により復号された画像内の各画素に対し、色変換のマップを用いて色逆変換を行う。例えば、色逆変換部３０５は、画像の各画素に対応する色変換行列をマップから特定し、特定した色変換行列を用いて各画素の色成分を色逆変換し、画素値を生成する。色逆変換された画像は、出力画像として記憶装置や表示装置に出力される。
【０１１７】
以上、実施例３によれば、実施例１や実施例２の画像処理装置で符号化された画像を適切に復号することができる。
【０１１８】
［実施例４］
図１２は、実施例４における画像処理装置４０の構成の一例を示すブロック図である。図１２に示す画像処理装置４０は、上述した実施例１〜３で説明した画像処理をソフトウェアで実装した装置の一例である。
【０１１９】
図１２に示すように、画像処理装置４０は、制御部４０１、主記憶部４０２、補助記憶部４０３、ドライブ装置４０４、ネットワークＩ／Ｆ部４０６、入力部４０７、表示部４０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【０１２０】
制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部４０１は、主記憶部４０２又は補助記憶部４０３に記憶された画像処理のプログラムを実行する演算装置である。制御部４０１は、入力部４０７や記憶装置からデータを受け取り、演算、加工した上で、表示部４０８や記憶装置などに出力する。
【０１２１】
また、制御部４０１は、画像処理のプログラムを実行することで、実施例１〜３で説明した処理を実現することができる。
【０１２２】
主記憶部４０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部４０２は、制御部４０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０１２３】
補助記憶部４０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【０１２４】
ドライブ装置４０４は、記録媒体４０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。
【０１２５】
また、記録媒体４０５に、所定のプログラムを格納し、この記録媒体４０５に格納されたプログラムはドライブ装置４０４を介して画像処理装置４０にインストールされる。インストールされた所定のプログラムは、画像処理装置４０により実行可能となる。
【０１２６】
ネットワークＩ／Ｆ部４０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置４０とのインターフェースである。
【０１２７】
入力部４０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４０８の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。表示部４０８は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部４０１から入力される表示データに応じた表示が行われる。
【０１２８】
なお、図１に示す画像処理装置１０の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。また、図８に示す画像処理装置２０の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。また、図１０に示す画像処理装置３０の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。
【０１２９】
画像処理装置４０で実行されるプログラムは、実施例１〜３で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部４０１が補助記憶部４０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部４０２上にロードされ、１又は複数の各部が主記憶部４０２上に生成されるようになっている。
【０１３０】
このように、上述した実施例１〜３で説明した画像処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、実施例１〜３で説明した処理を実現することができる。
【０１３１】
また、このプログラムを記録媒体４０５に記録し、このプログラムが記録された記録媒体４０５をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。
【０１３２】
なお、記録媒体４０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【０１３３】
また、上述した各実施例で説明した画像処理の各部は、１つ又は複数の集積回路に実装してもよい。
【０１３４】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【符号の説明】
【０１３５】
１０、２０、３０、４０  画像処理装置
１１  ２１  色変換装置
１２  画像符号化部
３１  画像復号部
３２  色逆変換装置
１０１  入力部
１０２、２０２  取得部
１０３、２０３  パラメータ算出部
１０４、２０４  補間部
１０５、２０５  生成部
１０６、２０６  色変換部
２０７  エネルギー算出部
２０８  領域設定部
３０１  色変換情報復号部
３０２  算出部
３０３  補間部
３０４  生成部
３０５  色逆変換部
【図１】
2015095693.tif 000013
【図２】
2015095693.tif 000014
【図３】
2015095693.tif 000015
【図４】
2015095693.tif 000016
【図５】
2015095693.tif 000017
【図６】
2015095693.tif 000018
【図７】
2015095693.tif 000019
【図８】
2015095693.tif 000020
【図９】
2015095693.tif 000021
【図１０】
2015095693.tif 000022
【図１１】
2015095693.tif 000023
【図１２】
2015095693.tif 000024