(57)【要約】【課題】  従来と比べて画像の色を補正する補正領域を自由度高く設定することを目的とする。【解決手段】  色空間に設定される補正領域と補正領域に含まれる基準点の起点および終点とを示す情報を用い、基準点を基に補正領域を分割した複数の部分領域ごとに、基準点の起点から終点への変位による部分領域の変形に応じて、部分領域に含まれる画像の画素の色を補正する補正部と、を有する。【選択図】    図１
2015170963.tif 000002
【特許請求の範囲】
【請求項１】
色空間に設定される補正領域と前記補正領域に含まれる基準点の起点および終点とを示す情報を用い、前記基準点を基に前記補正領域を分割した複数の部分領域ごとに、前記基準点の起点から終点への変位による前記部分領域の変形に応じて、前記部分領域に含まれる画像の画素の色を補正する補正部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記補正領域と前記起点および前記終点とを示す情報を、間隔を置いて設定される複数の基準輝度の各々に対応して記憶する記憶部を備え、
前記補正部は、前記複数の基準輝度のうち前記画像の画素の輝度に近い一組の前記基準輝度それぞれに対応する前記補正領域と前記基準点の起点および終点を用いて前記画素の色を補正し、補正した前記画素の色を前記画素の輝度と前記一組の基準輝度のそれぞれとの差に応じて補正する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記補正領域と前記起点および前記終点とを示す情報を、間隔を置いて設定される複数の基準輝度の各々に対応して記憶する記憶部を備え、
前記補正部は、前記複数の基準輝度それぞれに対応する前記補正領域と前記基準点の起点および終点を用いて、前記画像の画素の輝度に対応する補正領域と基準点の起点および終点とを求め、求めた補正領域と基準点の起点および終点を用いて前記画素の色を補正する
ことを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
前記補正領域は、多角形で１つ以上の基準点を含み、
前記部分領域は、前記多角形の各頂点および前記基準点のうち、他の部分領域と重ならないように選択された少なくとも１つの基準点を含む隣接する３点を頂点とする三角形である
ことを特徴とする画像処理装置。
【請求項５】
色空間に設定される補正空間と前記補正空間に含まれる基準点の起点および終点とを示す情報を用い、前記基準点を基に前記補正空間を分割した複数の部分空間ごとに、前記基準点の起点から終点への変位による前記部分空間の変形に応じて、前記部分空間に含まれる画像の画素の色を補正する補正部と、
を備えることを特徴とする画像処理装置。
【請求項６】
請求項６に記載の画像処理装置において、
前記補正空間は、多面体で少なくとも１つの前記基準点を含み、
前記部分空間は、前記多面体の各頂点および前記基準点のうち、他の部分空間と重ならないように選択された少なくとも１つの基準点を含む隣接する４点を頂点とする三角錐である
ことを特徴とする画像処理装置。
【請求項７】
色空間に設定される補正領域と前記補正領域に含まれる基準点の起点および終点とを示す情報を用い、前記基準点を基に前記補正領域を分割した複数の部分領域ごとに、前記基準点の起点から終点への変位による前記部分領域の変形に応じて、前記部分領域に含まれる画像の画素の色を補正する
処理をコンピュータに実行させる画像処理プログラム。
【請求項８】
色空間に設定される補正空間と前記補正空間に含まれる基準点の起点および終点とを示す情報を用い、前記基準点を基に前記補正空間を分割した複数の部分空間ごとに、前記基準点の起点から終点への変位による前記部分空間の変形に応じて、前記部分空間に含まれる画像の画素の色を補正する
処理をコンピュータに実行させる画像処理プログラム。
【請求項９】
色空間に設定される補正領域と前記補正領域に含まれる基準点の起点および終点とを示す情報を用い、前記基準点を基に前記補正領域を分割した複数の部分領域ごとに、前記基準点の起点から終点への変位による前記部分領域の変形に応じて、前記部分領域に含まれる画像の画素の色を補正部により補正する
ことを特徴とする画像処理方法。
【請求項１０】
色空間に設定される補正空間と前記補正空間に含まれる基準点の起点および終点とを示す情報を用い、前記基準点を基に前記補正空間を分割した複数の部分空間ごとに、前記基準点の起点から終点への変位による前記部分空間の変形に応じて、前記部分空間に含まれる画像の画素の色を補正部により補正する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の色を補正する画像処理装置、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
例えば、撮像された画像あるいはディスプレイに表示される画像は、撮像に用いたカメラあるいは表示するディスプレイそれぞれの特性に応じて、実際の被写体が有する色分布とは異なる色分布を再現する場合がある。そこで、画像の色分布が実際の被写体の色分布に近くなるように、画像の色を補正することが求められている。また、例えば、青空をもう少し鮮やかな青色に、あるいは人物の顔色をもう少し明るくしたい等、人の好みに応じて画像の色を微妙に補正することが求められている。このような要求に対する画像の色を補正する技術が提案されている（特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１７６６５６号公報
【特許文献２】国際公開第２００５／１１２４２９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、画像の色を補正する色空間での領域が色空間の原点を含むように設定され、原点付近の彩度の小さい領域の色分布は、原点から離れた彩度の大きい領域の色分布と同様に補正される。その結果、画像の色の微妙な補正が困難となる。
【０００５】
一つの側面では、本発明は、従来と比べて画像の色を補正する補正領域を自由度高く設定することを目的とする。
【課題を解決するための手段】
【０００６】
一つの観点による画像処理装置は、色空間に設定される補正領域と補正領域に含まれる基準点の起点および終点とを示す情報を用い、基準点を基に補正領域を分割した複数の部分領域ごとに、基準点の起点から終点への変位による部分領域の変形に応じて、部分領域に含まれる画像の画素の色を補正する補正部と、を有する。
【０００７】
別の観点による画像処理装置は、色空間に設定される補正空間と補正空間に含まれる基準点の起点および終点とを示す情報を用い、基準点を基に補正空間を分割した複数の部分空間ごとに、基準点の起点から終点への変位による部分空間の変形に応じて、部分空間に含まれる画像の画素の色を補正する補正部と、を有する。
【０００８】
別の観点による画像処理プログラムは、色空間に設定される補正領域と補正領域に含まれる基準点の起点および終点とを示す情報を用い、基準点を基に補正領域を分割した複数の部分領域ごとに、基準点の起点から終点への変位による部分領域の変形に応じて、部分領域に含まれる画像の画素の色を補正する。
【０００９】
別の観点による画像処理プログラムは、色空間に設定される補正空間と補正空間に含まれる基準点の起点および終点とを示す情報を用い、基準点を基に補正空間を分割した複数の部分空間ごとに、基準点の起点から終点への変位による部分空間の変形に応じて、部分空間に含まれる画像の画素の色を補正する。
【００１０】
別の観点による画像処理方法は、色空間に設定される補正領域と補正領域に含まれる基準点の起点および終点とを示す情報を用い、基準点を基に補正領域を分割した複数の部分領域ごとに、基準点の起点から終点への変位による部分領域の変形に応じて、部分領域に含まれる画像の画素の色を補正部により補正する。
【００１１】
別の観点による画像処理方法は、色空間に設定される補正空間と補正空間に含まれる基準点の起点および終点とを示す情報を用い、基準点を基に補正空間を分割した複数の部分空間ごとに、基準点の起点から終点への変位による部分空間の変形に応じて、部分空間に含まれる画像の画素の色を補正部により補正する。
【発明の効果】
【００１２】
従来と比べて画像の色を補正する補正領域を自由度高く設定することができる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の一実施形態を示す図である。
【図２】図１に示した記憶部に格納される補正領域と基準点の起点および終点との情報の例を示す図である。
【図３】図１に示した画像処理装置により画像の色を補正する例を示す図である。
【図４】図１に示した画像処理装置における画像処理の例を示す図である。
【図５】画像処理装置の別実施形態を示す図である。
【図６】図５に示した補正テーブルの例を示す図である。
【図７】図５に示した画像処理装置により画像の色を補正する例を示す図である。
【図８】図５に示した画像処理装置により画像の色を補正する例の続きを示す図である。
【図９】図５に示したデジタルカメラに含まれる画像処理装置の画像処理の例を示す図である。
【図１０】図５に示したデジタルカメラに含まれる画像処理装置の画像処理の例の続きを示す図である。
【図１１】画像処理装置の別実施形態を示す図である。
【図１２】図１１に示した画像処理装置により画像の色を補正する例を示す図である。
【図１３】図１１に示したデジタルカメラに含まれる画像処理装置の画像処理の例を示す図である。
【図１４】図１１に示したデジタルカメラに含まれる画像処理装置の画像処理の例の続きを示す図である。
【図１５】画像処理装置の別実施形態を示す図である。
【図１６】図１５に示した補正テーブルの例を示す図である。
【図１７】図１５に示した画像処理装置により画像の色を補正する例を示す図である。
【図１８】図１５に示したデジタルカメラに含まれる画像処理装置の画像処理の例を示す図である。
【図１９】図１５に示したデジタルカメラに含まれる画像処理装置の画像処理の例の続きを示す図である。
【図２０】図１、図５、図１１および図１５に示した画像処理装置１００のハードウェア構成の例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を用いて実施形態を説明する。
【００１５】
図１は、画像処理装置の一実施形態を示す。
【００１６】
図１に示す画像処理装置１００は、補正部１１と、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の記憶部２０とを含む。また、画像処理装置１００は、有線または無線で撮像装置３０および出力装置４０のそれぞれに接続される。
【００１７】
例えば、撮像装置３０は、レンズと撮像素子とを含むデジタルカメラであり、人物あるいは風景等の被写体を撮影し画像を生成する。なお、撮像素子には、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等が用いられる。また、撮像装置３０が生成する画像は、例えば、静止画像または動画の各フレームであり、赤色（Ｒ：Red）、緑色（Ｇ：Green）および青色（Ｂ：Blue）成分を含む。撮像装置３０は、ＲＧＢの色成分の画像を、輝度（Ｙ）、Ｂ成分と輝度Ｙとの差分である色差ＣｂおよびＲ成分と輝度Ｙとの差分である色差Ｃｒの画像に変換して画像処理装置１００に出力する。
【００１８】
なお、撮像装置３０は、画像処理装置１００の外部に配置されたが、例えば、撮像装置３０は、画像処理装置１００の内部に配置されてもよい。また、撮像装置３０は、デジタルカメラとしたが、これに限定されず、コピー機あるいはスキャナ等の画像を生成する装置でもよい。また、撮像装置３０は、生成した画像のＲＧＢから、輝度Ｙと色差Ｃｂ、Ｃｒとの信号に変換するとしたが、輝度Ｙと色彩Ｕ，Ｖとの色空間ＹＵＶあるいは明るさＬと２つの補色ａ，ｂとの色空間Ｌ＊ａ＊ｂ＊等の信号に変換してもよい。
【００１９】
例えば、出力装置４０は、有機ＥＬ（Organic Electro-Luminescence）や液晶等のディスプレイである。出力装置４０は、画像処理装置１００により色が補正された画像を表示する。なお、出力装置４０は、画像処理装置１００の外部に配置されたが、画像処理装置１００の内部に配置されてもよい。また、出力装置４０は、ディスプレイとしたが、これに限定されず、テレビ、コピー機あるいはプリンタ等の画像を出力する装置でもよい。
【００２０】
例えば、記憶部２０は、画像処理装置１００に含まれるプロセッサ等の制御部が実行する画像処理プログラムを記憶する格納領域と、画像の色を補正するための補正領域および補正領域に含まれる基準点の起点および終点を示す情報を記憶する格納領域とを有する。記憶部２０には、補正領域として、例えば、補正の対象となる肌の色や青空の色の範囲のそれぞれを示す情報が予め格納されている。また、記憶部２０には、各補正領域内に設定される基準点の起点及び終点を示す色度座標が予め格納されている。補正領域と基準点の起点および終点とを示す情報については、図２および図３で説明する。なお、記憶部２０は、画像処理装置１００に含まれたが、画像処理装置１００の外部に配置され、画像処理装置１００に接続されてもよい。
【００２１】
例えば、補正部１１は、画像処理装置１００に含まれるプロセッサ等の制御部がプログラムを実行することで実現される。補正部１１は、撮像装置３０から画像を受け、受けた画像の色を補正して出力装置４０に出力する。補正部１１は、例えば、受けた画像に含まれる人物の肌の色や青空の色を補正するために、補正する対象の色に対応する補正領域と基準点の起点および終点とを示す情報を、記憶部２０から読み出す。
【００２２】
例えば、補正部１１は、読み出した補正領域と基準点の起点および終点との情報に基づいて、基準点を基に補正領域を分割した複数の部分領域ごとに、基準点の起点から終点への変位による部分領域の変形に応じて、部分空間に含まれる画像の画素の色を補正する。補正部１１の動作については、図２および図３で説明する。
【００２３】
図２は、図１に示した記憶部２０に格納される補正領域と基準点の起点および終点との情報の例を示す。図２では、補正領域と基準点の起点および終点とを情報の例として、補正テーブル５を示す。補正テーブル５は、補正する色、補正領域、基準点の起点、基準点の終点、部分領域および第１頂点の格納領域を有する。
【００２４】
補正する色の格納領域には、例えば、撮像装置３０から受けた画像において、人物の肌色、青空あるいは夕焼け等の補正する色の名称や補正する色を有する対象の名称が格納される。
【００２５】
補正領域の格納領域には、例えば、補正する色に対応して設定される色空間の領域を示す座標が格納される。例えば、補正する色が肌色の場合、補正領域の格納領域には、色空間の点Ａ１，Ｂ１，Ｃ１，Ｄ１の座標が格納され、補正部１１は、点Ａ１，Ｂ１，Ｃ１，Ｄ１を頂点とする四角形の領域を補正領域とする。また、補正する色が青空の場合、補正領域の格納領域には、色空間の点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２の座標が格納され、補正部１１は、点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２を頂点とする五角形の領域を補正領域とする。補正する色が夕焼けの場合、補正領域の格納領域には、色空間の点Ａ３，Ｂ３，Ｃ３，Ｄ３の座標が格納され、補正部１１は、点Ａ３，Ｂ３，Ｃ３，Ｄ３を頂点とする四角形の領域を補正領域とする。
【００２６】
基準点の起点の格納領域には、補正領域に含まれ補正処理の開始位置を示す基準点の起点の座標が格納される。基準点の起点は、例えば、補正領域の重心や補正領域を示す多角形の対角線の交点など補正領域の形状に基づいて決定される位置に設定されてもよいし、各補正領域で示される色の範囲を代表する色を示す位置に設定されてもよい。例えば、補正する色が肌色の場合、基準点の起点の格納領域には、四角形Ａ１Ｂ１Ｃ１Ｄ１の補正領域に含まれる起点Ｇ１の座標が格納される。また、補正する色が青空の場合、基準点の起点の格納領域には、五角形Ａ２Ｂ２Ｃ２Ｄ２Ｅ２の補正領域に含まれる起点Ｇ２の座標が格納される。補正する色が夕焼けの場合、基準点の起点の格納領域には、四角形Ａ３Ｂ３Ｃ３Ｄ３の補正領域に含まれる起点Ｇ３の座標が格納される。
【００２７】
基準点の終点の格納領域には、補正領域に含まれ補正処理の終了位置を示す終点の座標が格納される。基準点の終点は、例えば、基準点の起点で示される色の補正において、肌色、青空あるいは夕焼け等として好ましい目標となる色を示す色空間の位置に設定される。例えば、補正する色が肌色の場合、基準点の終点の格納領域には、四角形Ａ１Ｂ１Ｃ１Ｄ１の補正領域に含まれる終点Ｈ１の座標が格納される。また、補正する色が青空の場合、基準点の終点の格納領域には、五角形Ａ２Ｂ２Ｃ２Ｄ２Ｅ２の補正領域に含まれる終点Ｈ２の座標が格納される。補正する色が夕焼けの場合、基準点の終点の格納領域には、四角形Ａ３Ｂ３Ｃ３Ｄ３の補正領域に含まれる終点Ｈ３の座標が格納される。
【００２８】
部分領域の格納領域には、基準点を基に補正領域を分割した複数の部分領域である変形前の三角形の頂点の組合せが格納される。例えば、補正する色が肌色の場合、部分領域の格納領域には、三角形の頂点の組合せ（Ａ１，Ｂ１，Ｇ１）、（Ｂ１，Ｃ１，Ｇ１）、（Ｃ１，Ｄ１，Ｇ１）および（Ｄ１，Ａ１，Ｇ１）が格納される。また、補正する色が青空の場合、部分領域の格納領域には、三角形の頂点の組合せ（Ａ２，Ｂ２，Ｇ２）、（Ｂ２，Ｃ２，Ｇ２）、（Ｃ２，Ｄ２，Ｇ２）、（Ｄ２，Ｅ２，Ｇ２）、（Ｅ２，Ａ２，Ｇ２）が格納される。補正する色が夕焼けの場合、部分領域の格納領域には、三角形の頂点の組合せ（Ａ３，Ｂ３，Ｇ３）、（Ｂ３，Ｃ３，Ｇ３）、（Ｃ３，Ｄ３，Ｇ３）、（Ｄ３，Ａ３，Ｇ３）が格納される。
【００２９】
第１頂点の格納領域には、基準点の起点から終点の変位による部分領域の格納領域に格納される各三角形の変形に応じて、各三角形に含まれる画像の画素の色を補正するために、各三角形において変形の基準を示す１つの頂点を格納する。例えば、補正する色が肌色の場合、基準点の起点である点Ｇ１が、部分領域の格納領域に格納される各三角形における変形の基準として、第１頂点の格納領域に格納される。また、補正する色が青空の場合、基準点の起点である点Ｇ２が、部分領域の格納領域に格納される各三角形における変形の基準として、第１頂点の格納領域に格納される。補正する色が夕焼けの場合、基準点の起点である点Ｇ３が、部分領域の格納領域に格納される各三角形における変形の基準として、第１頂点の格納領域に格納される。なお、図２に示した補正テーブル５における第１頂点の格納領域には、各三角形において共通の頂点Ｇ１、Ｇ２またはＧ３が格納されたが、三角形ごとに異なる頂点が格納されてもよい。
【００３０】
なお、補正テーブル５は、１つの補正領域の格納領域を有したが、輝度に応じて補正領域の形状が異なってもよい。この場合、補正テーブル５は、輝度ごとの補正領域の形状を示す情報を格納する格納領域を有することが好ましい。輝度ごとに設定された補正領域を用いて色の補正を行う画像処理装置については、図５から図１４を用いて後述する。
【００３１】
例えば、補正部１１は、補正する色ごとに対応する補正領域、基準点の起点および終点、部分領域および第１頂点の情報を補正テーブル５から読み出す。なお、補正部１１は、画像処理装置１００に設けられるキーボードやタッチパネル等の入力装置を用いて、ユーザにより指定された補正領域、基準点の起点および終点、部分領域および第１頂点を示す情報を受けてもよい。
【００３２】
図３は、図１に示した画像処理装置１００により画像の色を補正する例を示す。図３は、色空間のうち所定の輝度における色差Ｃｂ（横軸ｘ）と色差Ｃｒ（縦軸ｙ）との平面を示す。図３（ａ）は、例えば、補正する色が肌色の場合の四角形Ａ１Ｂ１Ｃ１Ｄ１の補正領域ＣＡと、補正領域ＣＡに含まれる基準点の起点Ｇ１を示す。図３（ｂ）は、例えば、補正する色が肌色の場合の四角形Ａ１Ｂ１Ｃ１Ｄ１の補正領域ＣＡと、補正領域ＣＡに含まれる基準点の終点Ｈ１を示す。この例では、画像処理装置１００は、画像に含まれる画素のうち、肌色に対応する補正領域ＣＡ内の色を有する画素の色差Ｃｂ，Ｃｒを補正する。図３（ａ）において、補正領域ＣＡ内の点Ｗで色が示される画素は、画像処理装置１００によって色差Ｃｂ，Ｃｒが補正される画素の一例である。そして、色差Ｃｂ，Ｃｒの平面における基準点の起点Ｇ１から終点Ｈ１への変位の大きさは、補正部１１による画像に対する色の補正の度合いを示す。
【００３３】
例えば、補正部１１は、読み出した部分領域の格納領域に格納された４つの三角形Ａ１Ｂ１Ｇ１，Ｂ１Ｃ１Ｇ１，Ｃ１Ｄ１Ｇ１，Ｄ１Ａ１Ｇ１の部分領域のうち、画像に含まれる各画素の色が含まれる部分領域に応じて各画素の色を補正する。
【００３４】
ここで、図３（ａ）に示した三角形Ａ１Ｂ１Ｇ１，Ｂ１Ｃ１Ｇ１，Ｃ１Ｄ１Ｇ１，Ｄ１Ａ１Ｇ１は、基準点の起点Ｇ１から終点Ｈ１への変位により、図３（ｂ）に示すように、三角形Ａ１Ｂ１Ｈ１，Ｂ１Ｃ１Ｈ１，Ｃ１Ｄ１Ｈ１，Ｄ１Ａ１Ｈ１に変形される。このとき、例えば、図３（ａ）に示した三角形Ａ１Ｂ１Ｇ１に含まれる点Ｗは、三角形Ａ１Ｂ１Ｇ１から三角形Ａ１Ｂ１Ｈ１への変形に伴って、図３（ｂ）に示した点Ｔに変位する。つまり、図３（ｂ）に示した点Ｔは、補正領域ＣＡの基準点を基点Ｇ１から終点Ｈ１に変位させる色の補正を行う場合に、図３（ａ）において点Ｗで示した色を持つ画素についての補正後の色を示している。
【００３５】
補正部１１は、例えば、式（１）を用い、基準点の起点Ｇ１から終点Ｈ１の変位による図３（ａ）の三角形Ａ１Ｂ１Ｇ１から図３（ｂ）の三角形Ａ１Ｂ１Ｈ１の変形に応じて、点Ｗで示される色を有する画素の色差Ｃｂ，Ｃｒの値を補正する。
【００３６】
【数１】
2015170963.tif 000003
ここで、座標（Ｗｘ，Ｗｙ）は、図３（ａ）の座標軸ｘ，ｙによって示される色空間の平面において、補正前の画素の色を色差Ｃｂ，Ｃｒで示す点Ｗの座標である。座標（Ｔｘ，Ｔｙ）は、図３（ｂ）の座標軸ｘ，ｙによって示される色空間の平面において、補正後の画素の色を色差Ｃｂ，Ｃｒで示す点Ｔの座標である。座標（Ｇ１ｘ，Ｇ１ｙ）および（Ｈ１ｘ，Ｈ１ｙ）は、図３に示す色空間の平面における基準点の起点Ｇ１および終点Ｈ１の座標を示す。成分ｐ，ｑ，ｒ，ｓを含む２行２列の行列は、点Ｇ１を第１頂点とし、ベクトルＧ１Ａ１およびベクトルＧ１Ｂ１を、ベクトルＨ１Ａ１およびベクトルＨ１Ｂ１にそれぞれ写像する行列であり、式（２）のように表される。なお、以下の説明において、点Ｘから点Ｙへ向かうベクトルを“ベクトルＸＹ”と称する。すなわち、例えば、ベクトルＧ１Ａ１は、基準点の起点Ｇ１から頂点Ａ１へ向かうベクトルであり、ベクトルＧ１Ｂ１は、基準点の起点Ｇ１から頂点Ｂ１へ向かうベクトルである。また、ベクトルＨ１Ａ１は、基準点の終点Ｈ１から頂点Ａ１へ向かうベクトルであり、ベクトルＨ１Ｂ１は、基準点の終点Ｈ１から頂点Ｂ１へ向かうベクトルである。
【００３７】
【数２】
2015170963.tif 000004
ここで、（Ａ１ｘ，Ａ１ｙ）および（Ｂ１ｘ，Ｂ１ｙ）は、図３に示した色差Ｃｂ，Ｃｒ平面における頂点Ａ１および頂点Ｂ１の座標を示す。
【００３８】
一方、補正部１１は、画像の画素が有する色の点Ｗの位置が補正領域ＣＡの外側にある場合、点Ｗの色差Ｃｂ，Ｃｒを有する画素に対して色補正を行わず、撮像装置３０から受けた画像における色差Ｃｂ，Ｃｒを出力する。
【００３９】
なお、式（１）は、三角形Ａ１Ｂ１Ｇ１から三角形Ａ１Ｂ１Ｈ１に写像する行列として、点Ｇ１を第１頂点とする式（２）を用いたが、三角形Ａ１Ｂ１Ｇ１から三角形Ａ１Ｂ１Ｈ１に座標変換する行列であれば、点Ｇ１以外を第１頂点とする行列を用いてもよい。例えば、式（１）は、三角形Ａ１Ｂ１Ｇ１のベクトルＡ１Ｇ１およびベクトルＡ１Ｂ１を、三角形Ａ１Ｂ１Ｈ１のベクトルＡ１Ｈ１およびベクトルＡ１Ｂ１にそれぞれ写像する式（２）と同様に算出される、点Ａ１を第１頂点とした成分の行列を用いてもよい。この場合、式（１）の（Ｈ１ｘ，Ｈ１ｙ）の項は、（Ａ１ｘ，Ａ１ｙ）となる。あるいは、式（１）は、三角形Ａ１Ｂ１Ｇ１のベクトルＢ１Ａ１およびベクトルＢ１Ｇ１を、三角形Ａ１Ｂ１Ｈ１のベクトルＢ１Ａ１およびベクトルＢ１Ｈ１にそれぞれ写像する式（２）と同様に算出される点Ｂ１を第１頂点とした成分の行列を用いてもよい。この場合、式（１）の（Ｈ１ｘ，Ｈ１ｙ）の項は、（Ｂ１ｘ，Ｂ１ｙ）となる。
【００４０】
また、点Ｗが三角形Ｂ１Ｃ１Ｇ１内に含まれる場合には、三角形Ｂ１Ｃ１Ｇ１のベクトルＧ１Ｂ１およびベクトルＧ１Ｃ１を、三角形Ｂ１Ｃ１Ｈ１のベクトルＨ１Ｂ１およびベクトルＨ１Ｃ１に写像する、式（２）と同様の点Ｇ１を第１頂点とした行列を用いる。例えば、式（２）において、頂点Ａ１の座標（Ａ１ｘ，Ａ１ｙ）の代わりに点Ｂ１の座標（Ｂ１ｘ，Ｂ１ｙ）が使用され、頂点Ｂ１の座標（Ｂ１ｘ，Ｂ１ｙ）の代わりに点Ｃ１の座標（Ｃ１ｘ，Ｃ１ｙ）が使用された行列が用いられる。また、点Ｗが三角形Ｃ１Ｄ１Ｇ１内に含まれる場合には、三角形Ｃ１Ｄ１Ｇ１のベクトルＧ１Ｃ１およびベクトルＧ１Ｄ１を、三角形Ｃ１Ｄ１Ｈ１のベクトルＨ１Ｃ１およびベクトルＨ１Ｄ１に写像する、式（２）と同様の点Ｇ１を第１頂点とした行列を用いる。例えば、式（２）において、頂点Ａ１の座標（Ａ１ｘ，Ａ１ｙ）の代わりに頂点Ｃ１の座標（Ｃ１ｘ，Ｃ１ｙ）が使用され、頂点Ｂ１の座標（Ｂ１ｘ，Ｂ１ｙ）の代わりに頂点Ｄ１の座標（Ｄ１ｘ，Ｄ１ｙ）が使用される行列が用いられる。
【００４１】
さらに、点Ｗが三角形Ｄ１Ａ１Ｇ１内に含まれる場合には、三角形Ｄ１Ａ１Ｇ１のベクトルＧ１Ｄ１およびベクトルＧ１Ａ１を、三角形Ｄ１Ａ１Ｈ１のベクトルＨ１Ｄ１およびベクトルＨ１Ａ１に写像する、式（２）と同様の点Ｇ１を第１頂点とした行列を用いる。例えば、式（２）において、頂点Ａ１の座標（Ａ１ｘ，Ａ１ｙ）の代わりに頂点Ｄ１の座標（Ｄ１ｘ，Ｄ１ｙ）が使用され、頂点Ｂ１の座標（Ｂ１ｘ，Ｂ１ｙ）の代わりに頂点Ａ１の座標（Ａ１ｘ，Ａ１ｙ）が使用される行列が用いられる。
【００４２】
また、補正部１１は、三角形Ａ１Ｂ１Ｇ１から三角形Ａ１Ｂ１Ｈ１、三角形Ｂ１Ｃ１Ｇ１から三角形Ｂ１Ｃ１Ｈ１、三角形Ｃ１Ｄ１Ｇ１から三角形Ｃ１Ｄ１Ｈ１、三角形Ｄ１Ａ１Ｇ１から三角形Ｄ１Ａ１Ｈ１に写像する各行列の成分ｐ，ｑ，ｒ，ｓを予め算出する。補正部１１は、算出した各行列の成分ｐ，ｑ，ｒ，ｓの値を、補正テーブル５の格納領域に格納してもよい。
【００４３】
図４は、図１に示した画像処理装置１００における画像処理の例を示す。例えば、ステップＳ１０、ステップＳ１１、ステップＳ１２、ステップＳ１３、ステップＳ１４は、制御部１０がプログラムを実行することにより実現される。すなわち、図４は、画像処理プログラムおよび画像処理方法の一実施形態を示す。なお、図４に示す処理は、画像処理装置１００に搭載されるハードウェアにより実行されてもよい。この場合、図１に示した補正部１１は、装置内に配置される回路により実現される。
【００４４】
ステップＳ１０において、補正部１１は、図１で説明したように、撮像装置３０から受けた画像に対する色の補正に用いる補正領域ＣＡと基準点の起点および終点とを示す情報を記憶部２０から読み出す。例えば、補正部１１は、補正テーブル５から、補正する色のそれぞれに対応して設定された補正領域ＣＡ、基準点の起点および終点、部分領域および第１頂点を示す情報を読み出す。以下では、補正部１１が、補正テーブル５から、肌色の補正に用いる補正領域ＣＡを示す四角形Ａ１Ｂ１Ｃ１Ｄ１、基準点の起点Ｇ１および終点Ｈ１、部分領域および第１頂点を示す情報を読み出した場合について説明する。
【００４５】
ステップＳ１１において、補正部１１は、図２で説明したように、読み出した補正領域ＣＡと部分領域とを用いて、撮像装置３０から受けた画像から順次に選択した画素の色を示す点Ｗが補正領域ＣＡ内のいずれの部分領域に含まれるかを判定する。例えば、補正部１１は、図３（ａ）に示す肌色の補正領域ＣＡである四角形Ａ１Ｂ１Ｃ１Ｄ１の三角形Ａ１Ｂ１Ｇ１，Ｂ１Ｃ１Ｇ１，Ｃ１Ｄ１Ｇ１，Ｄ１Ａ１Ｇ１で示される部分領域のどれに画素の色を示す点Ｗが含まれるかを、条件１から条件４を用いて判定する。なお、条件１から条件４において、演算子“×”はベクトルの外積を示す。
（条件１）ベクトルＧ１Ａ１×ベクトルＧ１Ｗが０以上、
且つベクトルＡ１Ｂ１×ベクトルＡ１Ｗが０以上、
且つベクトルＢ１Ｇ１×ベクトルＢ１Ｗが０以上
（条件２）ベクトルＧ１Ｂ１×ベクトルＧ１Ｗが０以上、
且つベクトルＢ１Ｃ１×ベクトルＢ１Ｗが０以上、
且つベクトルＣ１Ｇ１×ベクトルＣ１Ｗが０以上
（条件３）ベクトルＧ１Ｃ１×ベクトルＧ１Ｗが０以上、
且つベクトルＣ１Ｄ１×ベクトルＣ１Ｗが０以上、
且つベクトルＤ１Ｇ１×ベクトルＤ１Ｗが０以上
（条件４）ベクトルＧ１Ｄ１×ベクトルＧ１Ｗが０以上、
且つベクトルＤ１Ａ１×ベクトルＤ１Ｗが０以上、
且つベクトルＡ１Ｇ１×ベクトルＡ１Ｗが０以上
例えば、補正部１１は、画素の色を示す点Ｗが条件１を満たす場合、選択した画素の色を示す点Ｗは三角形Ａ１Ｂ１Ｇ１に含まれると判定する。補正部１１は、点Ｗが条件２を満たす場合、選択した画素の色を示す点Ｗは三角形Ｂ１Ｃ１Ｇ１に含まれると判定する。補正部１１は、点Ｗが条件３を満たす場合、選択した画素の色を示す点Ｗは三角形Ｃ１Ｄ１Ｇ１に含まれると判定する。補正部１１は、点Ｗが条件４を満たす場合、選択した画素の色を示す点Ｗは三角形Ｄ１Ａ１Ｇ１に含まれると判定する。補正部１１は、点Ｗが条件１から条件４のいずれかを満たす場合（ＹＥＳ）、選択した画素の色を示す点Ｗが条件を満たした部分領域に含まれると判定し、処理をステップＳ１２に移行する。
【００４６】
一方、補正部１１は、点Ｗが条件１から条件４のいずれも満たさない場合（ＮＯ）、選択した画素の色を示す点Ｗが補正領域ＣＡの外側にあると判定し、処理をステップＳ１３に移行する。
【００４７】
ステップＳ１２において、補正部１１は、図３で説明したように、基準点の起点Ｇ１から終点Ｈ１への変位により点Ｗを含む三角形の部分領域の変形に応じて、点Ｗの色を補正する。例えば、補正部１１は、点Ｗを含む三角形に関する写像を示し、点Ｇ１を第１頂点する行列の成分ｐ，ｑ，ｒ，ｓを式（２）を用いて算出する。補正部１１は、算出した各成分ｐ，ｑ，ｒ，ｓを要素とする行列と式（１）とを用いて、点Ｗの補正後の点Ｔの座標（Ｔｚ，Ｔｙ）を求める。補正部１１は、求めた座標（Ｔｘ，Ｔｙ）で示される色差Ｃｂ，Ｃｒを、点Ｗの色に対応する画素における補正後の色を示す情報として出力する。補正部１１は、処理をステップＳ１４に移行する。
【００４８】
ステップＳ１３において、補正部１１は、選択した画素の色の補正を行わず、撮像装置３０から受けた画像における色差Ｃｂ，Ｃｒを出力する。
【００４９】
次に、ステップＳ１４において、補正部１１は、撮像装置３０から受けた画像の全ての画素について補正の処理を行ったか否かを判定する。補正部１１は、全ての画素について補正の処理を行った場合（ＹＥＳ）、画像処理を終了する。一方、補正部１１は、全ての画素について補正の処理を行っていない場合、処理をステップＳ１１に移行する。
【００５０】
そして、画像処理装置１００は、画像処理の終了後、色差Ｃｂ，Ｃｒが補正された画素を含む画像を出力装置４０に出力する。出力装置４０は、色差Ｃｂ，Ｃｒが補正された画素を含む画像を表示する。なお、図３に示した画像処理装置１００が実行する画像処理の動作フローは、撮像装置３０から画像を受ける度に実行される。
【００５１】
以上、この実施形態では、補正部１１は、記憶部２０に記憶された画像の色を補正する補正領域ＣＡと基準点の起点および終点とを示す情報を用い、基準点の起点から終点の変位による部分領域の変形に応じて画像に含まれる画素の色を補正する。補正部１１による部分領域内の色を有する画素についての補正量が、補正領域ＣＡの境界に近づくほど小さくなるため、補正領域の境界上において、画像の色差Ｃｂ，Ｃｒの連続性を保持することができる。隣接する２つの部分領域において、その境界上は同じベクトルで補正されるため、隣接する２つの部分領域の境界上において、画像の色差Ｃｂ，Ｃｒの連続性を保持することができる。これにより、画像処理装置１００は、従来と比べて画像の色を補正する補正領域を自由度高く設定することができる。
【００５２】
また、記憶部２０に記憶される補正領域ＣＡは、色空間の原点を含まない任意の形状を有するため、補正部１１は、所望の色を所望の度合いで補正できる。
【００５３】
また、記憶部２０に記憶される補正領域、基準点の起点および終点、部分領域および第１頂点を示す情報は、Ｃｂ，Ｃｒ平面の各座標に対して予め設定される補正値を格納したルックアップテーブル等と比べて少ない情報量である。このため、補正領域、基準点の起点および終点、部分領域および第１頂点を示す情報に基づく色補正を行う画像処理装置１００は、Ｃｂ，Ｃｒ平面の各座標に対応する補正値を格納したルックアップテーブル等を用いる従来技術に比べて、小規模の回路で実現できる。すなわち、補正領域、基準点の起点および終点、部分領域および第１頂点を示す情報に基づく色の補正を行う画像処理装置１００は、従来に比べてコストの削減を図ることができる。
【００５４】
なお、基準点の起点および終点は、例えば、起点Ｇ１と終点Ｈ１と１つずつを設定したが、２以上の基準点の起点および終点を設定してもよい。これにより、画像処理装置１００は、基準点の起点および終点が１つの場合と比べてよりきめ細かく画像の色を補正することができる。
【００５５】
また、座標軸ｘ，ｙで示される平面は、所定の輝度における色差Ｃｂ，Ｃｒを示す平面に限らず、色空間に設定される平面であればよい。例えば、座標軸ｘ，ｙで示される平面は、所定の明るさにおける２つの補色ａ，ｂを示す色空間Ｌ＊ａ＊ｂ＊内に設定された平面でもよい。
【００５６】
また、補正領域ＣＡは、３次元の空間であってもよい。この場合、補正部１１は、基準点を基に３次元の空間を分割した複数の部分空間ごとに、基準点の起点から終点への変位による部分空間の変形に応じて、部分空間に含まれる画像の画素の色を補正する。補正領域が３次元の空間である場合の画像処理装置１００の動作については、図１５から図１９で説明する。
【００５７】
図５は、画像処理装置の別実施形態を示す。図５に示す画像処理装置１００は、デジタルカメラ２００に配置される。また、デジタルカメラ２００は、画像処理装置１００とともに、レンズ３１、撮像素子３２、ＡＤ（Analog-to-Digital）変換部３３、出力装置４０を含む。なお、画像処理装置１００の各要素において、図１に示した画像処理装置１００の要素と同一または同様の機能を有するものについては、同一の符号を付し詳細な説明は省略する。
【００５８】
例えば、レンズ３１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群である。なお、図５では、レンズ３１は１枚のレンズとして示す。
【００５９】
例えば、撮像素子３２は、レンズ３１を透過した光束によって結像される被写体を撮像するＣＣＤまたはＣＭＯＳ等である。撮像素子３２の受光面には、複数のフォトダイオードがマトリックス状に配列されている。撮像素子３２の各フォトダイオードには、Ｒ、ＧあるいはＢ成分のカラーフィルタがベイヤ配列等に従って配置されている。その結果、撮像素子３２の各フォトダイオードは、カラーフィルタでの色分解によってそれぞれの色成分に対応するアナログ信号をＡＤ変換部３３に出力する。例えば、画像処理装置１００に含まれるプロセッサ等の制御部１０がデジタルカメラ２００に含まれるシャッタ釦等の操作部材から撮像指示の信号を受ける場合に、撮像素子３２は、被写体を撮像し画像を生成する。
【００６０】
例えば、ＡＤ変換部３３は、撮像素子３２から出力されたベイヤ配列のＲＧＢ成分のアナログ信号を、１２ビット等のデジタル信号に変換する。ＡＤ変換部３３は、変換によって得られたデジタル信号を画像処理装置１００に出力する。
【００６１】
図５に示す画像処理装置１００は、制御部１０および記憶部２０ａを含む。
【００６２】
例えば、記憶部２０ａは、制御部１０が実行する画像処理プログラムを記憶する格納領域を有する。また、記憶部２０ａは、撮像素子３２により撮像された画像の色を補正するための補正領域と補正領域内の基準点の起点および終点と示す情報をＮ個の輝度それぞれに対応して保持する補正テーブル５ａ（５ａ（１）−５ａ（Ｎ））を記憶する格納領域を有する。ここで、Ｎは正の整数である。補正テーブル５ａについては図６で説明する。
【００６３】
例えば、制御部１０は、プログラムを実行することで、補正部１１ａとともに、欠陥画素部１２、オフセット部１３、ＷＢ（White Balance）調整部１４、色補間部１５として動作する。さらに、制御部１０は、プログラムを実行することで、第１色補正部１６、第１色変換部１７、第２色変換部１８、ガンマ補正部１９およびＹＣ変換部２１として動作する。
【００６４】
例えば、補正部１１ａは、撮像素子３２より撮像された画像を受け、受けた画像の色を補正する。補正部１１ａは、受けた画像の色を補正するために、例えば、図６で後述する各補正テーブル５ａから補正の対象となる色をＮ個の輝度の各々に対応して補正領域、補正領域に含まれる基準点の起点および終点、部分領域および第１頂点を示す情報を読み出す。
【００６５】
例えば、補正部１１ａは、読み出したＮ個の輝度の各々に対応する補正領域、基準点の起点および終点、部分領域および第１頂点の情報に基づいて、複数の部分領域ごとに基準点の起点から終点の変位による部分領域の変形に応じ画像の画素の色を補正する。補正部１１ａの動作については、図６で説明する。
【００６６】
例えば、欠陥画素部１２は、欠陥画素に隣接する複数のフォトダイオードの画素値を用いて欠陥画素の位置での値を補間し、補間した値を欠陥画素の画素値とする。ここで、欠陥画素とは、例えば、撮像素子３２のフォトダイオードのうち、１２ビットのデジタル信号の値が常に“０”あるいは“２５５”の画素値を出力し正常に動作しないことが予め検出されたフォトダイオードのことである。
【００６７】
例えば、オフセット部１３は、画像の信号（画素値）におけるフォトダイオードが有する暗電流によるバイアスを補正する。
【００６８】
例えば、ＷＢ調整部１４は、画像に含まれる白色の領域における色温度を検出し、検出した色温度に基づいて画像のＲＧＢの各成分を補正する値を算出する。ＷＢ調整部１４は、算出した値を用い、白色の領域が被写体を照射する光による影響が除去された白色となるように画像のホワイトバランスを調整する。
【００６９】
例えば、色補間部１５は、画像の各画素がＲＧＢ全ての色成分の画素値を有するように、隣接する画素の画素値を用いて補間する。これは、撮像素子３２に配置されるカラーフィルタがベイヤ配列であるため、生成される画像の各画素は、ＲＧＢのいずれかの色成分の画像値を有する。例えば、色補間部１５は、画素の画素値がＧ成分である場合、隣接するＲ成分およびＢ成分の画素の画素値それぞれを用いてＧ成分の画素の位置でのＲ成分およびＢ成分の画素値それぞれを算出する。また、色補間部１５は、画素の画素値がＲ成分のである場合、隣接するＧ成分およびＢ成分の画素の画素値それぞれを用いてＲ成分の画素の位置でのＧ成分およびＢ成分の画素値それぞれを算出する。色補間部１５は、画素の画素値がＢ成分である場合、隣接するＲ成分およびＧ成分の画素の画素値それぞれを用いてＢ成分の画素の位置でのＲ成分およびＧ成分の画素値それぞれを算出する。
【００７０】
例えば、第１色補正部１６は、式（３）を用いて、１画素ごとに画像全体の色を補正する。
【００７１】
【数３】
2015170963.tif 000005
ここで、（Ｒ，Ｇ，Ｂ）は画像の画素における補正前の各色成分の画素値を示し、（Ｒ１，Ｇ１，Ｂ１）は補正後の各色成分の画素値を示す。
【００７２】
例えば、第１色変換部１７は、式（４）を用いて画像をＲＧＢの色成分から輝度Ｙおよび色差Ｃｂ，Ｃｒの色成分に変換する。
Ｙ＝０．３００Ｒ＋０．５９０Ｇ＋０．１１０Ｂ        …（４）
Ｃｂ＝−０．３００Ｒ−０．５９０Ｇ＋０．８９０Ｂ
Ｃｒ＝０．７００Ｒ−０．５９０Ｇ−０．１１０Ｂ
例えば、第２色変換部１８は、式（５）を用いて画像を輝度Ｙおよび色差Ｃｂ，Ｃｒの色成分からＲＧＢの色成分に変換する。
Ｒ＝１．０００Ｙ＋１．０００Ｃｒ                    …（５）
Ｇ＝１．０００Ｙ−０．５０８Ｃｒ−０．１８６Ｃｂ
Ｂ＝１．０００Ｙ＋１．０００Ｃｂ
例えば、ガンマ補正部１９は、画像のＲＧＢの各色成分の信号（画素値）の強度と、ディスプレイである出力装置４０の画面の明るさとが直線的な比例関係となるように、例えば、γが２．２等の補正値を用いて画像の各色成分の信号の強度を補正する。
【００７３】
例えば、ＹＣ変換部２１は、ディスプレイの出力装置４０に表示するために、画像のＲＧＢの色成分から輝度Ｙと色差Ｃｂ，Ｃｒとに変換する。ＹＣ変換部２１は、変換した輝度Ｙの信号と色差Ｃｂ，Ｃｒの信号とを分離して出力装置４０に出力する。
【００７４】
図６は、図５に示した補正テーブル５ａ（１）−５ａ（Ｎ）の例を示す。各補正テーブル５ａは、補正する色、補正領域、基準点の起点および終点、部分領域および第１頂点の格納領域を有する。なお、図６では、補正テーブル５ａ（１）に含まれる格納領域を示すが、補正テーブル５ａ（２）−５ａ（Ｎ）についても同様の格納領域を有する。
【００７５】
補正する色の格納領域には、例えば、画像において、人物の肌色、青空あるいは夕焼け等の補正する色の名称や補正する色を有する対象の名称が格納される。
【００７６】
補正領域の格納領域には、例えば、補正する色に対応して設定される色空間の領域を示す座標が格納される。例えば、補正テーブル５ａ（１）に含まれる補正領域の格納領域には、画像の輝度の範囲に含まれる輝度Ｙ１において、補正する色が肌色の場合の補正領域を定義する色空間の点Ａ１（Ｙ１），Ｂ１（Ｙ１），Ｃ１（Ｙ１），Ｄ１（Ｙ１）の座標が格納される。そして、補正部１１ａは、点Ａ１（Ｙ１），Ｂ１（Ｙ１），Ｃ１（Ｙ１），Ｄ１（Ｙ１）を頂点とする四角形の領域を補正領域とする。また、補正領域ＣＡの格納領域には、輝度Ｙ１において、補正する色が青空の場合の補正領域を定義する色空間の点Ａ２（Ｙ１），Ｂ２（Ｙ１），Ｃ２（Ｙ１），Ｄ２（Ｙ１），Ｅ２（Ｙ１）の座標が格納される。そして、補正部１１ａは、点Ａ２（Ｙ１），Ｂ２（Ｙ１），Ｃ２（Ｙ１），Ｄ２（Ｙ１），Ｅ２（Ｙ１）を頂点とする五角形の領域を補正領域とする。また、補正領域の格納領域には、輝度Ｙ１において、補正する色が夕焼けの場合の補正領域を定義する色空間の点Ａ３（Ｙ１），Ｂ３（Ｙ１），Ｃ３（Ｙ１），Ｄ３（Ｙ１）の座標が格納される。そして、補正部１１ａは、点Ａ３（Ｙ１），Ｂ３（Ｙ１），Ｃ３（Ｙ１），Ｄ３（Ｙ１）を頂点とする四角形の領域を補正領域とする。
【００７７】
基準点の起点の格納領域には、補正領域に含まれ補正処理の開始位置を示す基準点の起点の座標が格納される。基準点の起点は、例えば、補正領域の重心や補正領域を示す多角形の対角線の交点など補正領域の形状に基づいて決定される位置に設定されてもよいし、各補正領域で示される色の範囲を代表する色を示す位置に設定されてもよい。例えば、補正する色が肌色の場合、基準点の起点の格納領域には、四角形Ａ１（Ｙ１）Ｂ１（Ｙ１）Ｃ１（Ｙ１）Ｄ１（Ｙ１）の補正領域に含まれる起点Ｇ１（Ｙ１）の座標が格納される。また、補正する色が青空の場合、基準点の起点の格納領域には、五角形Ａ２（Ｙ１）Ｂ２（Ｙ１）Ｃ２（Ｙ１）Ｄ２（Ｙ１）Ｅ２（Ｙ１）の補正領域に含まれる起点Ｇ２（Ｙ１）の座標が格納される。補正する色が夕焼けの場合、基準点の起点の格納領域には、四角形Ａ３（Ｙ１）Ｂ３（Ｙ１）Ｃ３（Ｙ１）Ｄ３（Ｙ１）の補正領域に含まれる起点Ｇ３（Ｙ１）の座標が格納される。
【００７８】
基準点の終点の格納領域には、補正領域に含まれ補正処理の終了位置を示す終点の座標が格納される。基準点の終点は、例えば、基準点の起点で示される色の補正において、肌色、青空あるいは夕焼け等として好ましい目標となる色を示す色空間の位置に設定される。例えば、補正する色が肌色の場合、基準点の終点の格納領域には、四角形Ａ１（Ｙ１）Ｂ１（Ｙ１）Ｃ１（Ｙ１）Ｄ１（Ｙ１）の補正領域に含まれる終点Ｈ１（Ｙ１）の座標が格納される。また、補正する色が青空の場合、基準点の終点の格納領域には、五角形Ａ２（Ｙ１）Ｂ２（Ｙ１）Ｃ２（Ｙ１）Ｄ２（Ｙ１）Ｅ２（Ｙ１）の補正領域に含まれる終点Ｈ２（Ｙ１）の座標が格納される。補正する色が夕焼けの場合、基準点の終点の格納領域には、四角形Ａ３（Ｙ１）Ｂ３（Ｙ１）Ｃ３（Ｙ１）Ｄ３（Ｙ１）の補正領域に含まれる終点Ｈ３（Ｙ１）の座標が格納される。
【００７９】
部分領域の格納領域には、基準点を基に補正領域を分割した複数の部分領域である変形前の三角形の頂点の組合せが格納される。例えば、補正する色が肌色の場合、部分領域の格納領域には、三角形の頂点の組合せ（Ａ１（Ｙ１），Ｂ１（Ｙ１），Ｇ１（Ｙ１））、（Ｂ１（Ｙ１），Ｃ１（Ｙ１），Ｇ１（Ｙ１））が格納される。また、補正する色が肌色における部分領域の格納領域には、（Ｃ１（Ｙ１），Ｄ１（Ｙ１），Ｇ１（Ｙ１））および（Ｄ１（Ｙ１），Ａ１（Ｙ１），Ｇ１（Ｙ１））が格納される。補正する色が青空の場合、部分領域の格納領域には、三角形の頂点の組合せ（Ａ２（Ｙ１），Ｂ２（Ｙ１），Ｇ２（Ｙ１））、（Ｂ２（Ｙ１），Ｃ２（Ｙ１），Ｇ２（Ｙ１））および（Ｃ２（Ｙ１），Ｄ２（Ｙ１），Ｇ２（Ｙ１））が格納される。また、補正する色が青空における部分領域の格納領域には、（Ｄ２（Ｙ１），Ｅ２（Ｙ１），Ｇ２（Ｙ１））および（Ｅ２（Ｙ１），Ａ２（Ｙ１），Ｇ２（Ｙ１））が格納される。補正する色が夕焼けの場合、部分領域の格納領域には、三角形の頂点の組合せ（Ａ３（Ｙ１），Ｂ３（Ｙ１），Ｇ３（Ｙ１））および（Ｂ３（Ｙ１），Ｃ３（Ｙ１），Ｇ３（Ｙ１））が格納される。また、補正する色が夕焼けにおける部分領域の格納領域には、（Ｃ３（Ｙ１），Ｄ３（Ｙ１），Ｇ３（Ｙ１））および（Ｄ３（Ｙ１），Ａ３（Ｙ１），Ｇ３（Ｙ１））が格納される。
【００８０】
第１頂点の格納領域には、基準点の起点から終点の変位による部分領域の格納領域に格納される各三角形の変形に応じて、各三角形に含まれる画像の画素の色を補正するために、各三角形において変形の基準を示す１つの頂点を格納する。例えば、補正する色が肌色の場合、基準点の起点である点Ｇ１（Ｙ１）が、部分領域の格納領域に格納される各三角形における変形の基準として、第１頂点の格納領域に格納される。また、補正する色が青空の場合、基準点の起点である点Ｇ２（Ｙ１）が、部分領域の格納領域に格納される各三角形における変形の基準として、第１頂点の格納領域に格納される。補正する色が夕焼けの場合、基準点の起点である点Ｇ３（Ｙ１）が、部分領域の格納領域に格納される各三角形における変形の基準として、第１頂点の格納領域に格納される。なお、図６に示した補正テーブル５ａにおける第１頂点の格納領域には、各三角形において共通の頂点Ｇ１（Ｙ１）、Ｇ２（Ｙ１）またはＧ３（Ｙ１）が格納されたが、三角形ごとに異なる頂点が格納されてもよい。
【００８１】
なお、補正領域の形状は、輝度ごとに異なっていてもよい。
【００８２】
例えば、補正部１１ａは、補正する色ごとに対応する補正領域、基準点の起点および終点、部分領域および第１頂点の情報を、Ｎ個の輝度それぞれの補正テーブル５ａから読み出す。なお、補正部１１ａは、画像処理装置１００に設けられるキーボードやタッチパネル等の入力装置を用いて、ユーザにより指定された各輝度における補正領域、基準点の起点および終点、部分領域および第１頂点を示す情報を受けてもよい。
【００８３】
図７および図８は、図５に示した画像処理装置１００により画像の色を補正する例を示す。図７および図８は、Ｎが５の場合で、輝度Ｙ１，Ｙ２，Ｙ３，Ｙ４，Ｙ５における色差Ｃｂ（横軸ｘ）と色差Ｃｒ（縦軸ｙ）との平面を示す。例えば、輝度Ｙ１，Ｙ２，Ｙ３，Ｙ４，Ｙ５は、輝度“０”，“６４”，“１２８”，“１９２”および“２５５”に設定される。図７および図８は、例えば、補正する色が肌色の場合の補正領域ＣＡと、補正領域ＣＡに含まれる基準点の起点および終点とを示す。図７（ａ１）は、色空間において輝度０の平面における四角形Ａ１（０）Ｂ１（０）Ｃ１（０）Ｄ１（０）の補正領域ＣＡと、補正領域ＣＡに含まれる基準点の起点Ｇ１（０）とを示す。図７（ａ２）は、色空間において輝度６４の平面における四角形Ａ１（６４）Ｂ１（６４）Ｃ１（６４）Ｄ１（６４）の補正領域ＣＡと基準点の起点Ｇ１（６４）とを示す。図７（ａ３）は、色空間において輝度１２８の平面における四角形Ａ１（１２８）Ｂ１（１２８）Ｃ１（１２８）Ｄ１（１２８）の補正領域ＣＡと基準点の起点Ｇ１（１２８）とを示す。一方、図７（ｂ１）は、例えば、色空間において輝度０の平面における四角形Ａ１（０）Ｂ１（０）Ｃ１（０）Ｄ１（０）の補正領域ＣＡと基準点の終点Ｈ１（０）とを示す。図７（ｂ２）は、色空間において輝度６４の平面における四角形Ａ１（６４）Ｂ１（６４）Ｃ１（６４）Ｄ１（６４）の補正領域ＣＡと基準点の終点Ｈ１（６４）とを示す。図７（ｂ３）は、色空間において輝度１２８の平面における四角形Ａ１（１２８）Ｂ１（１２８）Ｃ１（１２８）Ｄ１（１２８）の補正領域ＣＡと基準点の終点Ｈ１（１２８）とを示す。
【００８４】
図８（ａ１）は、例えば、色空間において輝度１９２の平面における四角形Ａ１（１９２）Ｂ１（１９２）Ｃ１（１９２）Ｄ１（１９２）の補正領域ＣＡと基準点の起点Ｇ１（１９２）とを示す。図８（ａ２）は、色空間において輝度２５５の平面における四角形Ａ１（２５５）Ｂ１（２５５）Ｃ１（２５５）Ｄ１（２５５）の補正領域ＣＡと基準点の起点Ｇ１（２５５）とを示す。一方、図８（ｂ１）は、色空間において輝度１９２の平面における四角形Ａ１（１９２）Ｂ１（１９２）Ｃ１（１９２）Ｄ１（１９２）の補正領域ＣＡと基準点の終点Ｈ１（１９２）とを示す。図８（ｂ２）は、輝度２５５における四角形Ａ１（２５５）Ｂ１（２５５）Ｃ１（２５５）Ｄ１（２５５）の補正領域ＣＡと基準点の終点Ｈ１（２５５）とを示す。
【００８５】
なお、図７および図８に示すように、各輝度に対応する補正領域ＣＡの形状および基準点の起点と終点の位置は、輝度ごとに異なるように設定されたが、同じように設定されてもよい。また、各補正テーブル５ａに対応付けられる輝度Ｙ１−Ｙ５は、０，６４，１２８，１９２，２５５に限定されず、画像に含まれる各画素の輝度を示す輝度成分の値の範囲内に設定された５つの輝度であればよい。また、補正テーブル５ａの数Ｎは５に限定されず、例えば、２以上の整数であればよく、輝度の範囲内に設定されたＮ個の輝度それぞれに対応する補正テーブル５ａが記憶部２０ａに格納されてもよい。
【００８６】
例えば、補正部１１ａは、各補正テーブル５ａに対応付けられた輝度０，６４，１２８，１９２，２５５の輝度のうち、画像の画素が有する輝度Ｙに近い一組の輝度を決定する。例えば、輝度Ｙが０以上６４未満である場合、補正部１１ａは、一組の輝度を輝度０と輝度６４とに決定する。また、補正部１１ａは、輝度Ｙが６４以上１２８未満である場合、一組の輝度を輝度６４と輝度１２８とに決定する。補正部１１ａは、輝度Ｙが１２８以上１９２未満である場合、一組の輝度を輝度１２８と輝度１９２とに決定する。補正部１１ａは、輝度Ｙが１９２以上２５５以下である場合、一組の輝度を輝度１９２と輝度２５５とに決定する。
【００８７】
例えば、補正部１１ａは、決定した一組の輝度それぞれにおいて、補正の対象となる色に対応する補正領域ＣＡ内の部分領域のどれに各画素の色が含まれるかに応じて、式（１）および式（２）を用いた色の補正を行う。例えば、肌色を補正する場合、補正部１１ａは、図７および図８に示した三角形Ａ１Ｂ１Ｇ１，Ｂ１Ｃ１Ｇ１，Ｃ１Ｄ１Ｇ１，Ｄ１Ａ１Ｇ１のうち、画素の色を示す点Ｗが含まれる部分領域で、点Ｇ１を第１頂点とした成分ｐ，ｑ，ｒ，ｓを式（２）を用いて求める。補正部１１ａは、求めた成分ｐ，ｑ，ｒ，ｓの行列と式（１）とを用いて補正後の点Ｔでの色差Ｔｘ，Ｔｙを求める。補正部１１ａは、画素の輝度Ｙに応じて選択される式（６）から式（９）のいずれかを用い、一組の輝度それぞれで求めた色差Ｔｘ，Ｔｙを、画素の輝度Ｙと一組の輝度のそれぞれとの差に応じた重みを付けて加算する。補正部１１ａは、重み付け加算で得られた値Ｏｘ，Ｏｙを画素の補正後の色差Ｃｂ，Ｃｒとする。
〈輝度Ｙが０以上６４未満である場合〉
Ｏｘ＝（（６４−Ｙ）×Ｔｘ（０）＋Ｙ×Ｔｘ（６４））／６４  …（６）
Ｏｙ＝（（６４−Ｙ）×Ｔｙ（０）＋Ｙ×Ｔｙ（６４））／６４
〈輝度Ｙ１が６４以上１２８未満である場合〉
Ｏｘ＝（（１２８−Ｙ）×Ｔｘ（６４）＋（Ｙ−６４）×Ｔｘ（１２８））／６４  …（７）
Ｏｙ＝（（１２８−Ｙ）×Ｔｙ（６４）＋（Ｙ−６４）×Ｔｙ（１２８））／６４
〈輝度Ｙ１が１２８以上１９２未満である場合〉
Ｏｘ＝（（１９２−Ｙ）×Ｔｘ（１２８）＋（Ｙ−１２８）×Ｔｘ（１９２））／６４  …（８）
Ｏｙ＝（（１９２−Ｙ）×Ｔｙ（１２８）＋（Ｙ−１２８）×Ｔｙ（１９２））／６４
〈輝度Ｙ１が１９２以上２５５以下である場合〉
Ｏｘ＝（（２５６−Ｙ）×Ｔｘ（１９２）＋（Ｙ−１９２）×Ｔｘ（２５５））／６４  …（９）
Ｏｙ＝（（２５６−Ｙ）×Ｔｙ（１９２）＋（Ｙ−１９２）×Ｔｙ（２５５））／６４
ここで、式（６）から式（９）における演算子“×”は乗算を示す。また、Ｔｘ（０），Ｔｙ（０）は、輝度０に対応して求めた画素の補正後の色差Ｃｂ，Ｃｒを示す。Ｔｘ（６４），Ｔｙ（６４）は、輝度６４に対応して求めた画素の補正後の色差Ｃｂ，Ｃｒを示す。Ｔｘ（１２８），Ｔｙ（１２８）は、輝度１２８に対応して求めた画素の補正後の色差Ｃｂ，Ｃｒを示す。Ｔｘ（１９２），Ｔｙ（１９２）は、輝度１９２に対応して求めた画素の補正後の色差Ｃｂ，Ｃｒを示す。Ｔｘ（２５５），Ｔｙ（２５５）は、輝度２５５に対応して求めた画素の補正後の色差Ｃｂ，Ｃｒを示す。なお、輝度０を示す画素は黒色、いわゆる“黒潰れ”の状態であることから、輝度０の画素における補正後の色差Ｔｘ（０），Ｔｙ（０）には、当該画素の補正前の色差Ｃｂ，Ｃｒの値が設定されてもよい。また、輝度２５５を示す画素は白色、いわゆる“白とび”の状態であることから、輝度２５５の画素における補正後の色差Ｔｘ（２５５），Ｔｙ（２５５）には、当該画素の補正前の色差Ｃｂ，Ｃｒの値が設定されてもよい。
【００８８】
図９および図１０は、図５に示したデジタルカメラ２００に含まれる画像処理装置１００の画像処理の例を示す。例えば、ステップＳ２０からステップＳ３８の動作は、制御部１０がプログラムを実行することにより実現される。すなわち、図９および図１０は、画像処理プログラムおよび画像処理方法の別実施形態を示す。なお、図９および図１０に示す処理は、デジタルカメラ２００に搭載されるハードウェアにより実行されてもよい。この場合、図５に示した補正部１１ａ、欠陥画素部１２、オフセット部１３、ＷＢ調整部１４、色補間部１５、第１色補正部１６、第１色変換部１７、第２色変換部１８、ガンマ補正部１９およびＹＣ変換部２１は、装置内に配置される回路によりそれぞれ実現される。
【００８９】
ステップＳ２０において、制御部１０は、図５で説明したように、デジタルカメラ２００に含まれるシャッタ釦等の操作部材を介して撮像指示の信号を受けた場合、撮像素子３２に被写体を撮像し画像を生成させる。そして、撮像素子３２は、生成した画像をＡＤ変換部３３に出力する。
【００９０】
次に、ステップＳ２１において、ＡＤ変換部３３は、撮像素子３２により生成された画像のアナログ信号をデジタル信号に変換する。
【００９１】
次に、ステップＳ２２において、欠陥画素部１２は、図５で説明したように、正常に動作しているフォトダイオードの信号を用いて欠陥画素の信号（画素値）を補間する。
【００９２】
次に、ステップＳ２３において、オフセット部１３は、図５で説明したように、画像の信号（画素値）におけるフォトダイオードが有する暗電流のバイアスを補正する。
【００９３】
次に、ステップＳ２４において、ＷＢ調整部１４は、図５で説明したように、画像の白色の領域における色温度を検出し、検出した色温度に基づいて白色の領域が被写体を照射する光による影響が除去された白色となるように画像のホワイトバランスを調整する。
【００９４】
次に、ステップＳ２５において、色補間部１５は、図５で説明したように、画像の各画素においてＲＧＢ全ての色成分の画素値を有するように、色成分が異なる隣接する画素の画素値を用いて補間する。
【００９５】
次に、ステップＳ２６において、第１色補正部１６は、図５で説明したように、式（３）を用いて、１画素ごとに画像全体の色を補正する。
【００９６】
次に、ステップＳ２７において、第１色変換部１７は、図５で説明したように、式（４）を用いて画像をＲＧＢの色成分から輝度Ｙおよび色差Ｃｂ，Ｃｒの色成分に変換する。
【００９７】
次に、ステップＳ２８において、補正部１１ａは、図５から図８で説明したように、受けた画像に対する色の補正のために、輝度ごとの補正空間と基準点の起点および終点とを示す情報を記憶部２０ａから読み出す。例えば、補正部１１ａは、補正テーブル５ａから、補正する色のそれぞれに対応して設定された輝度ごとの補正空間、基準点の起点および終点、部分領域および第１頂点を示す情報を読み出す。
【００９８】
次に、ステップＳ２９において、補正部１１ａは、画像に含まれる各画素を順次に選択し、図５から図８で説明したように、輝度０，６４，１２８，１９２，２５５のうち、選択した画素の輝度Ｙに近い一組の輝度を決定する。
【００９９】
次に、ステップＳ３０において、補正部１１ａは、決定した一組の輝度それぞれにおける、補正する色に応じた補正領域ＣＡと部分領域とを用いて、選択した画素の色を示す点Ｗが補正領域ＣＡ内のいずれの部分領域に含まれるかを判定する。例えば、一組の輝度が輝度０と輝度６４とである場合、補正部１１ａは、図７（ａ１）の四角形Ａ１（０）Ｂ１（０）Ｃ１（０）Ｄ１（０）で示した肌色の補正領域ＣＡ内のどの三角形に画素の色を示す点Ｗが含まれるかを、条件１から条件４に基づいて判定する。また、補正部１１ａは、図７（ａ２）に四角形Ａ１（６４）Ｂ１（６４）Ｃ１（６４）Ｄ１（６４）で示した補正領域ＣＡ内の４つの三角形のどれに画素の色を示す点Ｗが含まれるかを、条件１から条件４に基づいて判定する。補正部１１ａは、各輝度において画素の色を示す点Ｗが条件１から条件４のいずれかを満たす場合（ＹＥＳ）、点Ｗが条件を満たした部分領域に含まれると判定し、処理をステップＳ３１に移行する。一方、補正部１１ａは、各輝度において画素の色を示す点Ｗが条件１から条件４のいずれも満たさない場合（ＮＯ）、点Ｗが補正領域の外側にあると判定し、処理をステップＳ３３に移行する。
【０１００】
ステップＳ３１において、補正部１１ａは、図５から図８で説明したように、ステップＳ３０で各輝度について判定された画素の色を示す点Ｗを含む三角形の領域ごとに、基準点の起点から終点への変位による三角形の領域の変形に応じて画素の色を補正する。例えば、補正部１１ａは、式（２）を用い、各輝度について画素の色を示す点Ｗを含む三角形の領域の第１頂点に応じた行列の成分ｐ，ｑ，ｒ，ｓの値をそれぞれ算出し、算出した行列を用いて、各輝度における補正後の画素の色を示す点Ｔでの色差を算出する。補正部１１ａは、例えば、一組の輝度が輝度０および輝度６４である場合、輝度ごとに算出した行列と式（１）とを用い、各輝度で補正後の画素の色を示す点Ｔでの色差Ｃｂ，ＣｒであるＴｘ（０），Ｔｙ（０）とＴｘ（６４），Ｔｙ（６４）とをそれぞれ算出する。
【０１０１】
次に、ステップＳ３２において、補正部１１ａは、図６から図８で説明したように、画素の輝度Ｙに応じて選択される式（６）から式（９）の１つを用い、一組の輝度それぞれにおける補正後の画素の色を示す点Ｔでの色差を重み付け加算する。補正部１１ａは、重み付け加算により算出した値Ｏｘ，Ｏｙを画素の補正後の色を示す色差Ｃｂ，Ｃｒとする。補正部１１ａは、処理をステップＳ３４に移行する。
【０１０２】
ステップＳ３３において、補正部１１ａは、選択した画素の色の補正を行わず、第１色変換部１７から受けた画像の色差Ｃｂ，Ｃｒを出力する。
【０１０３】
次に、ステップＳ３４において、補正部１１ａは、画像に含まれる全ての画素について補正の処理を行ったか否かを判定する。補正部１１ａは、全ての画素について補正の処理を行った場合（ＹＥＳ）、処理をステップＳ３５に移行する。一方、補正部１１ａは、全ての画素について補正の処理を行っていない場合（ＮＯ）、処理をステップＳ２９に移行する。
【０１０４】
ステップＳ３５において、第２色変換部１８は、図５で説明したように、式（５）を用いて画像を輝度Ｙおよび色差Ｃｂ，Ｃｒの色成分からＲＧＢの色成分に変換する。
【０１０５】
次に、ステップＳ３６において、ガンマ補正部１９は、図５で説明したように、画像のＲＧＢの各色成分の信号（画素値）の強度と、出力装置４０の画面の明るさとが直線的な比例関係となるように、画像のＲＧＢの色成分の信号の強度を補正する。
【０１０６】
次に、ステップＳ３７において、ＹＣ変換部２１は、図５で説明したように、出力装置４０に出力するにあたり、画像のＲＧＢの色成分から輝度Ｙと色差Ｃｂ，Ｃｒに変換する。ＹＣ変換部２１は、変換した輝度Ｙの信号と色差Ｃｂ，Ｃｒの信号とを分離して、出力装置４０に出力する。
【０１０７】
次に、ステップＳ３８において、出力装置４０は、色が補正された画像を表示する。
【０１０８】
そして、デジタルカメラ２００は、画像処理を終了する。なお、図９および図１０に示したデジタルカメラ２００に含まれる画像処理装置１００の動作フローは、被写体の撮像指示を受ける度に実行される。
【０１０９】
以上、この実施形態では、補正部１１ａは、複数の輝度の各々に対応した画像の色を補正する補正領域ＣＡと基準点の起点および終点とを示す情報を、記憶部２０ａから読み出す。補正部１１ａは、読み出した各輝度に対応付けられた情報のうち、各画素の輝度Ｙに近い一組の輝度に対応付けられた情報を選択する。また、補正部１１ａは、選択した情報により、一組の輝度のそれぞれにおける複数の部分領域ごとに、基準点の起点から終点への変位による部分空間の変形に応じて各画素の色を補正する。補正部１１ａによる部分領域内に含まれる色を有する画素についての補正量が、補正領域ＣＡの境界に近づくほど小さくなるため、補正領域の境界上において、画像の色差Ｃｂ，Ｃｒの連続性を保持することができる。隣接する２つの部分領域において、その境界上は同じベクトルで補正されるため、隣接する２つの部分領域の境界上において、画像の色差Ｃｂ，Ｃｒの連続性を保持することができる。これにより、画像処理装置１００は、従来と比べて画像の色を補正する補正領域を自由度高く設定することができる。
【０１１０】
また、記憶部２０ａに記憶される各輝度の補正領域ＣＡは、色空間の原点を含まない任意の形状を有するため、補正部１１ａは、所望の色を所望の度合いで補正できる。
【０１１１】
また、記憶部２０ａに記憶される複数の輝度それぞれの補正領域ＣＡ、基準点の起点および終点、部分領域および第１頂点を示す情報は、Ｃｂ，Ｃｒ平面の各座標に対して予め設定される補正値を格納したルックアップテーブル等と比べて少ない情報量である。これにより、画像処理装置１００は、Ｃｂ，Ｃｒ平面の各座標に対応する補正値を格納したルックアップテーブル等を用いる従来技術に比べて、回路規模の小型化およびコストの削減を図ることができる。
【０１１２】
なお、基準点の起点および終点は、例えば、起点Ｇ１（Ｙ１）と終点Ｈ１（Ｙ１）とのように１つの補正領域ＣＡについて１つずつ設定したが、１つの補正領域ＣＡについて２以上の基準点の起点および終点を設定してもよい。これにより、画像処理装置１００は、基準点の起点および終点が１つの場合と比べてよりきめ細かく画像の色を補正することができる。
【０１１３】
なお、補正部１１ａは、輝度Ｙと色差Ｃｂ，Ｃｒとの色空間に変換された画像に対して色の補正を行ったが、ＲＧＢ成分により色が表された画像に対しても色の補正を行ってもよい。例えば、輝度ＹをＧ成分に、色差Ｃｂ，ＣｒをＢ，Ｒ成分にそれぞれ対応させることで、補正部１１ａは、ＲＧＢ成分の画像に対しても色の補正を行うことができる。補正部１１ａがＲＧＢ成分の画像に対して色の補正を行うことで、第１色変換部１７および第２色変換部１８を省略することができ、画像処理装置１００の処理の高速化、画像処理装置１００の小型化およびコストの削減を図ることができる。
【０１１４】
なお、補正部１１ａは、画素ごとに式（２）の行列を算出したが、これに限定されない。例えば、補正部１１ａは、各輝度における複数の三角形の部分領域それぞれの第１頂点に応じて写像する行列の成分ｐ，ｑ，ｒ，ｓを予め算出し、算出した各行列の成分ｐ，ｑ，ｒ，ｓの値を、補正テーブル５ａの格納領域に予め格納してもよい。これにより、画像処理装置１００は、処理の高速化およびコストの削減を図ることができる。
【０１１５】
なお、補正部１１ａは、第１色補正部１６とガンマ補正部１９との間に配置されたが、例えば、ＹＣ変換部２１と出力装置４０との間に配置されてもよい。これにより、第１色変換部１７および第２色変換部１８を省略することができ、画像処理装置１００の処理の高速化、画像処理装置１００の小型化およびコストの削減を図ることができる。ただし、補正部１１ａがＹＣ変換部２１と出力装置４０との間に配置される場合、例えば、ガンマ補正部１９は、画像のビット数を１２ビットに維持する機能を有することが好ましい。
【０１１６】
なお、ＹＣ変換部２１は、分離した輝度Ｙの信号と色差Ｃｂ，Ｃｒの信号とを出力装置４０に出力したが、これに限定されない。例えば、画像処理装置１００は、輝度Ｙの信号と色差Ｃｂ，Ｃｒの信号とを用い、ＪＰＥＧ（Joint Photographic Experts Group）等の規格の画像ファイルを生成し、生成した画像ファイルを記憶部２０ａに記憶してもよい。
【０１１７】
なお、画像処理装置１００は、デジタルカメラ２００に含まれたが、テレビ等のディスプレイ、コピー機、スキャナあるいはプリンタ等に含まれてもよい。
【０１１８】
図１１は、画像処理装置の別実施形態を示す。図１１に示す画像処理装置１００は、デジタルカメラ２００に配置される。図１１に示すデジタルカメラ２００および画像処理装置１００の各要素において、図５に示したデジタルカメラ２００および画像処理装置１００の要素と同一または同様の機能を有するものについては、同一の符号を付し詳細な説明は省略する。
【０１１９】
図１１に示すデジタルカメラ２００は、画像処理装置１００とともに、レンズ３１、撮像素子３２、ＡＤ変換部３３、出力装置４０を含む。
【０１２０】
図１１に示す画像処理装置１００は、制御部１０ａおよび記憶部２０ａを含む。
【０１２１】
例えば、制御部１０ａは、プログラムを実行することで、補正部１１ｂとともに、欠陥画素部１２、オフセット部１３、ＷＢ調整部１４、色補間部１５として動作する。さらに、制御部１０ａは、プログラムを実行することで、第１色補正部１６、第１色変換部１７、第２色変換部１８、ガンマ補正部１９およびＹＣ変換部２１として動作する。
【０１２２】
例えば、補正部１１ｂは、図６に示した各補正テーブル５ａから補正の対象となる色をＮ個の輝度の各々に対応して補正領域、補正領域に含まれる基準点の起点および終点、部分領域および第１頂点を示す情報を読み出す。補正部１１ｂは、読み出したＮ個の各輝度の各々に対応する補正領域、補正領域に含まれる基準点の起点および終点、部分領域および第１頂点を示す情報に基づいて、基準点の起点から終点への変位による部分領域の変形に応じて画像の画素の色を補正する。補正部１１ｂの動作については、図１２で説明する。なお、補正部１１ｂは、画像処理装置１００に設けられたキーボードやタッチパネル等の入力装置を用いて、ユーザにより指定された各輝度における補正領域と基準点の起点および終点とを示す情報を受けてもよい。
【０１２３】
図１２は、図１１に示した画像処理装置１００により画像の色を補正する例を示す。図１２は、色差Ｃｂ（ｘ軸）、色差Ｃｒ（ｙ軸）および輝度Ｙ（ｚ軸）の色空間を示す。図１２（ａ）は、補正する色が肌色の場合の各輝度０，６４，１２８，１９２，２５５における補正領域ＣＡと、基準点の起点Ｇ１（０），Ｇ１（６４），Ｇ１（１２８），Ｇ１（１９２），Ｇ１（２５５）との色空間における分布を示す。図１２（ｂ）は、補正する色が肌色の場合の各輝度における補正領域ＣＡと、基準点の終点Ｈ１（０），Ｈ１（６４），Ｈ１（１２８），Ｈ１（１９２），Ｈ１（２５５）との分布を示す。図１２では、各輝度の補正領域ＣＡの各頂点、基準点の起点および終点それぞれを点線で繋いでいる。
【０１２４】
例えば、補正部１１ｂは、読み出した各輝度の補正領域ＣＡを示す情報を用い、輝度Ｙ方向における頂点Ａ１，Ｂ１の関数Ａ１（Ｙ）（＝（Ａ１ｘ（Ｙ），Ａ１ｙ（Ｙ）））およびＢ１（Ｙ）（＝（Ｂ１ｘ（Ｙ），Ｂ１ｙ（Ｙ）））を求める。また、補正部１１ｂは、輝度Ｙ方向における頂点Ｃ１，Ｄ１の関数Ｃ１（Ｙ）（＝（Ｃ１ｘ（Ｙ），Ｃ１ｙ（Ｙ）））およびＤ１（Ｙ）（＝（Ｄ１ｘ（Ｙ），Ｄ１ｙ（Ｙ）））を求める。補正部１１ｂは、読み出した各輝度における基準点の起点と終点とを示す情報を用い、輝度Ｙ方向における基準点の起点および終点それぞれの関数Ｇ１（Ｙ）（＝（Ｇ１ｘ（Ｙ），Ｇ１ｙ（Ｙ）））およびＨ１（Ｙ）（＝（Ｈ１ｘ（Ｙ），Ｈ１ｙ（Ｙ）））を求める。なお、補正部１１ｂは、例えば、各輝度に対応する補正領域ＣＡと基準点の起点および終点とを示す情報に直線補間あるいはスプライン補間等を施すことで、補正領域ＣＡの各頂点と基準点の起点および終点それぞれの輝度Ｙに対する変化を示す関数を求める。
【０１２５】
補正部１１ｂは、求めた補正領域ＣＡの各頂点の関数を用い、例えば、画像に含まれる画素が有する輝度ｋでの補正領域ＣＡの各頂点Ａ１（ｋ），Ｂ１（ｋ），Ｃ１（ｋ），Ｄ１（ｋ）を求める。また、補正部１１ｂは、求めた基準点の起点および終点の関数を用い、画素の輝度ｋでの基準点の起点Ｇ１（ｋ）および終点Ｈ１（ｋ）を求める。補正部１１ｂは、求めた補正領域の各頂点Ａ１（ｋ），Ｂ１（ｋ），Ｃ１（ｋ），Ｄ１（ｋ）と、基準点の起点Ｇ１（ｋ）および終点Ｈ１（ｋ）と、式（１）および式（２）とを用いて、画像に含まれる画素の色を補正する。
【０１２６】
図１３および図１４は、図１１に示したデジタルカメラ２００に含まれる画像処理装置１００の画像処理の例を示す。例えば、ステップＳ２０からステップＳ２８、ステップＳ３３からステップＳ３８およびステップＳ４０からステップＳ４３の動作は、制御部１０ａがプログラムを実行することにより実現される。すなわち、図１３および図１４は、画像処理プログラムおよび画像処理方法の別実施形態を示す。なお、図１３および図１４に示す処理は、画像処理装置１００に搭載されるハードウェアにより実行されてもよい。この場合、図１１に示した補正部１１ｂ、欠陥画素部１２、オフセット部１３、ＷＢ調整部１４、色補間部１５、第１色補正部１６、第１色変換部１７、第２色変換部１８、ガンマ補正部１９およびＹＣ変換部２１は、装置内に配置される回路によりそれぞれ実現される。なお、図１３および図１４に示す各ステップの処理のうち、図９および図１０に示すステップと同一または同等の処理のものについては、同一のステップの番号を付し説明を省略する。
【０１２７】
図１４に示すステップＳ４０において、補正部１１ｂは、図１１および図１２で説明したように、読み出した各輝度に対応する情報を用い、補正する色ごとの補正領域ＣＡの各頂点と基準点の起点および終点との関数を求める。
【０１２８】
次に、ステップＳ４１において、補正部１１ｂは、図１２で説明したように、求めた補正領域ＣＡの各頂点および基準点の関数を用い、画像に含まれる画素の輝度ｋにおける補正する色ごとの補正領域ＣＡの各頂点と基準点の起点および終点とを求める。
【０１２９】
次に、ステップＳ４２において、補正部１１ｂは、ステップＳ４１で求めた補正領域ＣＡと部分領域とを用いて、画像に含まれる画素の色を示す点Ｗが補正領域ＣＡ内のいずれの部分領域に含まれるかを判定する。例えば、補正部１１ｂは、輝度ｋにおける補正領域ＣＡである四角形Ａ１（ｋ）Ｂ１（ｋ）Ｃ１（ｋ）Ｄ１（ｋ）に含まれる部分領域のいずれかに点Ｗが含まれるか否かを、条件１から条件４に基づいて判定する。補正部１１ｂは、画素の色を示す点Ｗが条件１から条件４のいずれかを満たす場合（ＹＥＳ）、点Ｗが条件を満たした部分領域に含まれると判定し、処理をステップＳ４３に移行する。一方、補正部１１ｂは、画素の色を示す点Ｗが条件１から条件４のいずれも満たさない場合（ＮＯ）、点Ｗが補正領域ＣＡの外側にあると判定し、処理をステップＳ３３に移行する。
【０１３０】
ステップＳ４３において、補正部１１ｂは、図１１で説明したように、輝度ｋにおける基準点の起点Ｇ１（ｋ）から終点Ｈ１（ｋ）への変位による点Ｗを含む三角形の領域の変形に応じて画素の色を補正する。例えば、補正部１１ｂは、式（２）を用い、画素の色を示す点Ｗを含む三角形の領域の第１頂点に応じた行列の成分ｐ，ｑ，ｒ，ｓの値をそれぞれ算出する。補正部１１ｂは、算出した行列と式（１）とを用い、点Ｗを含む三角形の領域の変形によって移動した点Ｔの座標を、補正後の画素の色差Ｃｂ，Ｃｒとする。補正部１１ｂは、処理をステップＳ３４に移行する。
【０１３１】
そして、デジタルカメラ２００は、画像処理を終了する。なお、図１３および図１４に示したデジタルカメラ２００に含まれる画像処理装置１００の動作フローは、被写体の撮像指示を受ける度に実行される。
【０１３２】
以上、この実施形態では、補正部１１ｂは、複数の輝度の各々に対応した画像の色を補正する補正領域ＣＡと基準点の起点および終点とを示す情報を、記憶部２０ａから読み出す。補正部１１ｂは、読み出した補正領域ＣＡの各頂点と基準点の起点および終点それぞれの輝度方向の関数を求める。補正部１１ｂは、求めた関数を用い、画素の輝度ｋでの複数の部分領域ごとに、基準点の起点および終点の変位による部分領域の変形に応じて画像の色を補正する。補正部１１ｂによる部分領域内に含まれる色を有する画素についての補正量が、補正領域ＣＡの境界に近づくほど小さくなるため、補正領域の境界上において、画像の輝度Ｙおよび色差Ｃｂ，Ｃｒの連続性を保持することができる。隣接する２つの部分領域において、その境界上は同じベクトルで補正されるため、隣接する２つの部分領域の境界上において、画像の色差Ｃｂ，Ｃｒの連続性を保持することができる。これにより、画像処理装置１００は、従来と比べて画像の色を補正する補正領域を自由度高く設定することができる。
【０１３３】
また、補正部１１ｂは、画素の輝度ｋに応じた補正領域ＣＡと基準点の起点および終点とに基づいて画像の色を補正するため、従来と比べてよりきめ細やかな補正領域の設定ができる。
【０１３４】
さらに、記憶部２０ａに記憶される各輝度の補正領域は、色空間の原点を含まない任意の形状を有するため、補正部１１ｂは、所望の色を所望の度合いで補正できる。
【０１３５】
なお、基準点の起点および終点は、例えば、輝度ｋに対応する補正領域ＣＡにおいて起点Ｇ１（ｋ）と終点Ｈ１（ｋ）と１つずつ設定したが、補正領域ＣＡのそれぞれにおいて２以上の基準点の起点および終点を設定してもよい。これにより、画像処理装置１００は、基準点の起点および終点が１つの場合と比べてよりきめ細かく画像の色を補正することができる。
【０１３６】
なお、補正部１１ｂは、読み出した各輝度に対応する補正領域ＣＡと基準点の起点および終点とを示す情報を用い、補正領域ＣＡの各頂点と基準点の起点および終点との関数を求めたが、これに限定されない。例えば、補正部１１ｂは、補正領域ＣＡの各頂点と基準点の起点および終点との関数を予め求め、求めた補正領域ＣＡの各頂点と基準点の起点および終点との関数を記憶部２０ａに割り当てられた格納領域に格納してもよい。
【０１３７】
なお、補正部１１ｂは、輝度Ｙと色差Ｃｂ，Ｃｒとの色空間に変換された画像に対して色補正を行ったが、ＲＧＢ成分の画像に対しても色補正を行ってもよい。補正部１１ｂがＲＧＢ成分の画像に対して色補正を行うことで、第１色変換部１７および第２色変換部１８を省略することができ、画像処理装置１００の処理の高速化、画像処理装置１００の小型化およびコストの削減を図ることができる。
【０１３８】
なお、補正部１１ｂは、第１色補正部１６とガンマ補正部１９との間に配置されたが、例えば、ＹＣ変換部２１と出力装置４０との間に配置されてもよい。
【０１３９】
なお、ＹＣ変換部２１は、分離した輝度Ｙの信号と色差Ｃｂ，Ｃｒの信号とを出力装置４０に出力したが、これに限定されない。例えば、画像処理装置１００は、輝度Ｙの信号と色差Ｃｂ，Ｃｒの信号とを用い、ＪＰＥＧ等の規格の画像ファイルを生成し、生成した画像ファイルを記憶部２０ａに記憶してもよい。
【０１４０】
なお、画像処理装置１００は、デジタルカメラ２００に含まれたが、テレビ等のディスプレイ、コピー機、スキャナあるいはプリンタ等に含まれてもよい。
【０１４１】
図１５は、画像処理装置の別実施形態を示す。図１５に示す画像処理装置１００は、デジタルカメラ２００に配置される。図１５に示すデジタルカメラ２００および画像処理装置１００の各要素において、図１１に示したデジタルカメラ２００および画像処理装置１００の要素と同一または同様の機能を有するものについては、同一の符号を付し詳細な説明は省略する。
【０１４２】
図１５に示すデジタルカメラ２００は、画像処理装置１００とともに、レンズ３１、撮像素子３２、ＡＤ変換部３３、出力装置４０を含む。
【０１４３】
図１５に示す画像処理装置１００は、制御部１０ｂおよび記憶部２０ｂを含む。
【０１４４】
例えば、記憶部２０ｂは、制御部１０ｂが実行する画像処理プログラムを記憶する格納領域を有する。また、記憶部２０ｂは、撮像素子３２により撮像された画像の色を補正するための３次元の補正空間と補正空間に含まれる基準点の起点および終点と示す情報を含む補正テーブル５ｂを記憶する格納領域を有する。補正テーブル５ｂについては図１６で説明する。
【０１４５】
例えば、制御部１０ｂは、プログラムを実行することで、補正部１１ｃとともに、欠陥画素部１２、オフセット部１３、ＷＢ調整部１４、色補間部１５として動作する。さらに、制御部１０ｂは、プログラムを実行することで、第１色補正部１６、第１色変換部１７、第２色変換部１８、ガンマ補正部１９およびＹＣ変換部２１として動作する。
【０１４６】
例えば、補正部１１ｃは、第１色変換部１７によって色変換された画像を受け、受けた画像の色を補正する。補正部１１ｃは、受けた画像の色を補正するために、例えば、補正する色を３次元の色空間において示す補正空間と補正空間に含まれる基準点の起点および終点とを示す情報を、図１６で後述する記憶部２０ｂに格納される補正テーブル５ｂから読み出す。
【０１４７】
例えば、補正部１１ｃは、読み出した補正空間と基準点の起点および終点との情報に基づいて、基準点を基に補正空間を分割した複数の部分空間ごとに、基準点の起点から終点の変位による部分空間の変形に応じて画像の画素の色を補正する。補正部１１ｃの動作については、図１６および図１７で説明する。
【０１４８】
図１６は、図１５に示した補正テーブル５ｂの例を示す。補正テーブル５ｂは、補正する色、補正空間、基準点の起点および終点、部分空間および第１頂点の格納領域を有する。
【０１４９】
補正する色の格納領域には、例えば、画像において、人物の肌色、青空あるいは夕焼け等の補正する色や対象の名称が格納される。
【０１５０】
補正空間の格納領域には、例えば、補正する色に対応して設定される色空間の領域を示す座標が格納される。図１６に示す例では、肌色の補正に用いる補正空間を示す情報として、色空間における六面体を示す８つの点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｇ１，Ｈ１の座標が、肌色に対応して補正テーブル５ｂに設けられた補正空間の格納領域に格納される。また、青空の補正に用いる補正空間を示す情報として、色空間における４面体を示す４つの点Ａ２，Ｂ２，Ｃ２，Ｄ２の座標が、青空に対応して補正テーブル５ｂに設けられた補正空間の格納領域に格納される。また、夕焼けの補正に用いる補正空間を示す情報として、色空間における５面体を示す５つの点Ａ３，Ｂ３，Ｃ３，Ｄ３，Ｅ３の座標が、夕焼けに対応して補正テーブル５ｂに設けられた補正空間の格納領域に格納される。
【０１５１】
基準点の起点の格納領域には、補正空間に含まれ補正処理の開始位置を示す基準点の起点の座標が格納される。例えば、図１６に示した補正テーブル５ｂは、肌色の補正に用いる基準点の起点を示す情報として、六面体Ａ１Ｂ１Ｃ１Ｄ１Ｅ１Ｆ１Ｇ１Ｈ１で示される補正空間に含まれる起点Ｊ１の座標を基準点の起点の格納領域に格納する。また、補正テーブル５ｂは、青空の補正に用いる基準点の起点を示す情報として、四面体Ａ２Ｂ２Ｃ２Ｄ２で示される補正空間に含まれる起点Ｊ２の座標を基準点の起点の格納領域に格納する。補正テーブル５ｂは、夕焼けの補正に用いる基準点の起点を示す情報として、五面体Ａ３Ｂ３Ｃ３Ｄ３Ｅ３で示される補正空間に含まれる起点Ｊ３の座標を基準点の起点の格納領域に格納する。
【０１５２】
基準点の終点の格納領域には、補正空間に含まれ補正処理の終了位置を示す終点の座標が格納される。例えば、図１６に示した補正テーブル５ｂは、肌色の補正に用いる基準点の終点を示す情報として、六面体Ａ１Ｂ１Ｃ１Ｄ１Ｅ１Ｆ１Ｇ１Ｈ１で示される補正空間に含まれる終点Ｋ１の座標を基準点の終点の格納領域に格納する。また、補正テーブル５ｂは、青空の補正に用いる基準点の終点を示す情報として、四面体Ａ２Ｂ２Ｃ２Ｄ２で示される補正空間に含まれる終点Ｋ２の座標を基準点の終点の格納領域に格納する。補正テーブル５ｂは、夕焼けの補正に用いる基準点の終点を示す情報として、五面体Ａ３Ｂ３Ｃ３Ｄ３Ｅ３で示される補正空間に含まれる終点Ｋ３の座標を基準点の終点の格納領域に格納する。
【０１５３】
部分空間の格納領域には、基準点を基に補正空間を分割した複数の部分空間である変形前の三角錐の頂点の組合せが格納される。例えば、補正する色が肌色の場合、部分空間の格納領域には、三角錐の頂点の組合せ（Ａ１，Ｂ１，Ｃ１，Ｊ１）、（Ｃ１，Ｄ１，Ａ１，Ｊ１）、（Ａ１，Ｅ１，Ｆ１，Ｊ１）、（Ｆ１，Ｂ１，Ａ１，Ｊ１）および（Ｂ１，Ｆ１，Ｇ１，Ｊ１）が格納される。また、補正する色が肌色における部分空間の格納領域には、三角錐の頂点の組合せ（Ｇ１，Ｃ１，Ｂ１，Ｊ１），（Ｃ１，Ｇ１，Ｈ１，Ｊ１），（Ｈ１，Ｄ１，Ｃ１，Ｊ１）および（Ｄ１，Ｈ１，Ｅ１，Ｊ１）が格納される。さらに、補正する色が肌色における部分空間の格納領域には、三角錐の頂点の組合せ（Ｅ１，Ａ１，Ｄ１，Ｊ１），（Ｅ１，Ｈ１，Ｇ１，Ｊ１）および（Ｇ１，Ｆ１，Ｅ１，Ｊ１）が格納される。なお、補正する色が青空あるいは夕焼け等の場合でも、部分空間の格納領域には、青空あるいは夕焼け等における補正空間と基準点の起点との格納領域に格納された情報に基づいて、基準点を基に分割された複数の部分空間を示す情報が格納される。
【０１５４】
第１頂点の格納領域には、基準点の起点から終点の変位による部分空間の格納領域に格納される各三角錐の変形に応じて、各三角錐に含まれる画像の画素の色を補正するために、各三角錐において変形の基準を示す１つの頂点を格納する。例えば、補正する色が肌色の場合、基準点の起点である点Ｊ１が、部分空間の格納領域に格納される各三角錐における変形の基準として、第１頂点の格納領域に格納される。また、補正する色が青空の場合、基準点の起点である点Ｊ２が、部分空間の格納領域に格納される各三角錐における変形の基準として、第１頂点の格納領域に格納される。補正する色が夕焼けの場合、基準点の起点である点Ｊ３が、部分空間の格納領域に格納される各三角錐における変形の基準として、第１頂点の格納領域に格納される。なお、図１６に示した補正テーブル５ｂにおける第１頂点の格納領域には、各三角錐において共通の頂点Ｊ１、Ｊ２またはＪ３が格納されたが、三角錐ごとに異なる頂点が格納されてもよい。
【０１５５】
例えば、補正部１１ｃは、補正テーブル５ｂから、補正する色のそれぞれに対応して設定された補正空間、基準点の起点および終点、部分空間および第１頂点の情報を読み出す。なお、補正部１１ｃは、画像処理装置１００に設けられるキーボードやタッチパネル等の入力装置を用いて、ユーザにより指定された補正空間、基準点の起点および終点、部分空間および第１頂点を示す情報を受けてもよい。
【０１５６】
図１７は、図１５に示した画像処理装置１００により画像の色を補正する例を示す。図１７は、色差Ｃｂ（ｘ軸）、色差Ｃｒ（ｙ軸）および輝度Ｙ（ｚ軸）の色空間を示す。図１７（ａ）は、例えば、図１６に示した補正テーブル５ｂにより、肌色を補正する場合について設定された六面体Ａ１Ｂ１Ｃ１Ｄ１Ｅ１Ｆ１Ｇ１Ｈ１の補正空間ＣＢと、基準点の起点Ｊ１とを示す。図１７（ｂ）は、例えば、六面体Ａ１Ｂ１Ｃ１Ｄ１Ｅ１Ｆ１Ｇ１Ｈ１の補正空間ＣＢと、基準点の終点Ｋ１とを示す。基準点の起点Ｊ１から終点Ｋ１の変位の大きさは、補正部１１ｃによる画像に含まれる肌色を示す画素に対する色の補正の度合いを示す。
【０１５７】
例えば、補正部１１ｃは、画像の各画素の色が六面体Ａ１Ｂ１Ｃ１Ｄ１Ｅ１Ｆ１Ｇ１Ｈ１の補正空間ＣＢ内にある場合、画素の色が基準点の起点Ｊ１を頂点に含む三角錐のどれに含まれるかに応じて、画素の輝度Ｙおよび色差Ｃｂ，Ｃｒの値を補正する。例えば、図１７（ａ）に示した三角錐Ａ１Ｂ１Ｃ１Ｊ１は、基準点の起点Ｊ１から終点Ｋ１への変位により、図１７（ｂ）に示した三角錐Ａ１Ｂ１Ｃ１Ｋ１に変形される。また、図１７（ａ）に示した三角錐Ｃ１Ｄ１Ａ１Ｊ１，Ａ１Ｅ１Ｆ１Ｊ１，Ｆ１Ｂ１Ａ１Ｊ１，Ｂ１Ｆ１Ｇ１Ｊ１のそれぞれは、図１７（ｂ）に示した三角錐Ｃ１Ｄ１Ａ１Ｋ１，Ａ１Ｅ１Ｆ１Ｋ１，Ｆ１Ｂ１Ａ１Ｋ１，Ｂ１Ｆ１Ｇ１Ｋ１のそれぞれに変形される。また、図１７（ａ）に示した三角錐Ｇ１Ｃ１Ｂ１Ｊ１，Ｃ１Ｇ１Ｈ１Ｊ１，Ｈ１Ｄ１Ｃ１Ｊ１，Ｄ１Ｈ１Ｅ１Ｊ１のそれぞれは、図１７（ｂ）に示した三角錐Ｇ１Ｃ１Ｂ１Ｋ１，Ｃ１Ｇ１Ｈ１Ｋ１，Ｈ１Ｄ１Ｃ１Ｋ１，Ｄ１Ｈ１Ｅ１Ｋ１のそれぞれに変形される。さらに、図１７（ａ）に示した三角錐Ｅ１Ａ１Ｄ１Ｊ１，Ｅ１Ｈ１Ｇ１Ｊ１，Ｇ１Ｆ１Ｅ１Ｊ１のそれぞれは、図１７（ｂ）に示した三角錐Ｅ１Ａ１Ｄ１Ｋ１，Ｅ１Ｈ１Ｇ１Ｋ１，Ｇ１Ｆ１Ｅ１Ｋ１のそれぞれに変形される。
【０１５８】
例えば、画素の色を示す点Ｗが三角錐Ａ１Ｂ１Ｃ１Ｊ１に含まれる場合、補正部１１ｃは、式（１０）を用い、基準点の起点Ｊ１から終点Ｋ１への変位による、三角錐Ａ１Ｂ１Ｃ１Ｊ１から三角錐Ａ１Ｂ１Ｃ１Ｋ１への変形に応じて画素の色を補正する。
【０１５９】
【数４】
2015170963.tif 000006
ここで、（Ｗｘ，Ｗｙ，Ｗｚ）は、補正前の画素の色を示す点Ｗの色空間における座標を示す。成分Ｗｘ，Ｗｙ，Ｗｚは、色差Ｃｂ，Ｃｒおよび輝度Ｙをそれぞれ示す。（Ｔｘ，Ｔｙ，Ｔｚ）は、補正後の画素の色を示す点Ｔの色空間における座標を示す。成分Ｔｘ，Ｔｙ，Ｔｚは、色差Ｃｂ，Ｃｒおよび輝度Ｙをそれぞれ示す。（Ｊ１ｘ，Ｊ１ｙ，Ｊ１ｚ）および（Ｋ１ｘ，Ｋ１ｙ、Ｋ１ｚ）は、基準点の起点Ｊ１および終点Ｋ１の色空間における座標を示す。また、成分ｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖ，ｍ，ｎを有する３行３列の行列は、点Ｊ１を第１頂点とし、ベクトルＪ１Ａ１、ベクトルＪ１Ｂ１およびベクトルＪ１Ｃ１を、ベクトルＫ１Ａ１、ベクトルＫ１Ｂ１およびベクトルＫ１Ｃ１にそれぞれ写像する行列である。式（１０）における３行３列の行列は、式（１１）のように表される。
【０１６０】
【数５】
2015170963.tif 000007
ここで、（Ａ１ｘ，Ａ１ｙ，Ａ１ｚ）、（Ｂ１ｘ，Ｂ１ｙ，Ｂ１ｚ）および（Ｃ１ｘ，Ｃ１ｙ，Ｃ１ｚ）は、図１７に示した色空間における点Ａ１，Ｂ１，Ｃ１それぞれの座標を示す。
【０１６１】
一方、補正部１１ｃは、画像の画素の色を示す点Ｗが補正空間ＣＢの外側にある場合、画素の色差Ｃｂ，Ｃｒおよび輝度Ｙに対して色補正を行わず、受けた画像における色差Ｃｂ，Ｃｒおよび輝度Ｙを出力する。
【０１６２】
なお、式（１０）は、三角錐Ａ１Ｂ１Ｃ１Ｊ１から三角錐Ａ１Ｂ１Ｃ１Ｋ１に写像する行列として、点Ｊ１を第１頂点する式（１１）を用いた。しかしながら、三角錐Ａ１Ｂ１Ｃ１Ｊ１から三角形Ａ１Ｂ１Ｃ１Ｋ１への座標変換を示す行列であれば、点Ｊ１以外を第１頂点する行列を用いてもよい。例えば、式（１０）は、三角錐Ａ１Ｂ１Ｃ１Ｊ１のベクトルＡ１Ｂ１，Ａ１Ｃ１，Ａ１Ｊ１を、三角錐Ａ１Ｂ１Ｃ１Ｋ１のベクトルＡ１Ｂ１，Ａ１Ｃ１，Ａ１Ｋ１に写像する、点Ａ１を第１頂点として式（１１）と同様に算出される成分の行列を用いてもよい。また、式（１０）は、三角錐Ａ１Ｂ１Ｃ１Ｊ１のベクトルＢ１Ａ１，Ｂ１Ｃ１，Ｂ１Ｊ１を、三角錐Ａ１Ｂ１Ｃ１Ｋ１のベクトルＢ１Ａ１，Ｂ１Ｃ１，Ｂ１Ｋ１に写像する、点Ｂ１を第１頂点として式（１１）と同様に算出される成分の行列を用いてもよい。また、式（１０）は、三角錐Ａ１Ｂ１Ｃ１Ｊ１のベクトルＣ１Ａ１，Ｃ１Ｂ１，Ｃ１Ｊ１を、三角錐Ａ１Ｂ１Ｃ１Ｋ１のベクトルＣ１Ａ１，Ｃ１Ｂ１，Ｃ１Ｋ１に写像する、点Ｃ１を第１頂点として式（１１）と同様に算出される成分の行列を用いてもよい。
【０１６３】
また、例えば、点Ｗが三角錐Ｃ１Ｄ１Ａ１Ｊ１内に含まれる場合には、三角錐Ｃ１Ｄ１Ａ１Ｊ１のベクトルＪ１Ｃ１，Ｊ１Ｄ１，Ｊ１Ａ１を、三角錐Ｃ１Ｄ１Ａ１Ｋ１のベクトルＫ１Ｃ１，Ｋ１Ｄ１，Ｋ１Ａ１に写像する、点Ｊ１を第１頂点とする行列を用いる。そのためには、例えば、式（１１）に示した点Ａ１の座標（Ａ１ｘ，Ａ１ｙ，Ａ１ｚ）および点Ｂ１の座標（Ｂ１ｘ，Ｂ１ｙ，Ｂ１ｚ）を、点Ｃ１の座標（Ｃ１ｘ，Ｃ１ｙ，Ｃ１ｚ）および点Ｄ１の座標（Ｄ１ｘ，Ｄ１ｙ，Ｄ１ｚ）に置き換える。さらに、式（１１）に示した点Ｃ１の座標（Ｃ１ｘ，Ｃ１ｙ，Ｃ１ｚ）を、点Ａ１の座標（Ａ１ｘ，Ａ１ｙ，Ａ１ｚ）に置き換えることで、点Ｊ１を第１頂点とし三角錐Ｃ１Ｄ１Ａ１Ｊ１から三角錐Ｃ１Ｄ１Ａ１Ｋ１へ写像する行列が得られる。他の三角錐についても同様である。
【０１６４】
また、補正部１１ｃは、基準点の起点Ｊ１を頂点とする三角錐から基準点の終点Ｋ１を頂点とする三角錐への写像をそれぞれ表す行列の成分ｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖ，ｍ，ｎを予め算出し、各行列の成分を補正テーブル５ｂの格納領域に予め格納してもよい。
【０１６５】
図１８および図１９は、図１５に示したデジタルカメラ２００に含まれる画像処理装置１００における画像処理の例を示す。例えば、ステップＳ２０からステップＳ２７、ステップＳ３４からステップＳ３８およびステップＳ５０からステップＳ５３の動作は、制御部１０ｂがプログラムを実行することにより実現される。すなわち、図１８および図１９は、画像処理プログラムおよび画像処理方法の別実施形態を示す。なお、図１８および図１９に示す処理は、画像処理装置１００に搭載されるハードウェアにより実行されてもよい。この場合、図１５に示した補正部１１ｃ、欠陥画素部１２、オフセット部１３、ＷＢ調整部１４、色補間部１５、第１色補正部１６、第１色変換部１７、第２色変換部１８、ガンマ補正部１９およびＹＣ変換部２１は、装置内に配置される回路によりそれぞれ実現される。なお、図１８および図１９に示す各ステップの処理のうち、図９および図１０に示すステップと同一または同等の処理のものについては、同一のステップの番号を付し説明を省略する。
【０１６６】
図１９に示すステップＳ５０において、補正部１１ｃは、図１５から図１６で説明したように、受けた画像に対する色を補正する補正空間と基準点の起点および終点とを示す情報を記憶部２０ｂから読み出す。例えば、補正部１１ｃは、補正テーブル５ｂから、補正する色のそれぞれに対応して設定された補正空間、基準点の起点および終点、部分空間および第１頂点を示す情報を読み出す。
【０１６７】
次に、ステップＳ５１において、補正部１１ｃは、図１７で説明したように、読み出した補正空間ＣＢと部分空間とを用いて、画像の画素の色を示す点Ｗが補正空間ＣＢ内のいずれかの部分空間に含まれるかを判定する。例えば、補正部１１ｃは、読み出した情報に基づいて、画素の色を示す点Ｗがいずれの三角錐の領域に含まれるかを、三角錐ごとに定義される条件に基づいて判定する。例えば、画素の色を示す点Ｗが三角錐Ａ１Ｂ１Ｃ１Ｊ１に含まれる条件は、次のように定義される。
（ベクトルＡ１Ｂ１×ベクトルＡ１Ｃ１）・ベクトルＡ１Ｗが０以上、
且つ（ベクトルＢ１Ｊ１×ベクトルＢ１Ｃ１）・ベクトルＢ１Ｗが０以上、
且つ（ベクトルＣ１Ｊ１×ベクトルＣ１Ａ１）・ベクトルＣ１Ｗが０以上、
且つ（ベクトルＪ１Ｂ１×ベクトルＪ１Ａ１）・ベクトルＪ１Ｗが０以上
ここで、条件における演算子“×”はベクトルの外積を示し、演算子“・”はベクトルの内積を示す。なお、画素の色を示す点Ｗが他の三角錐に含まれる条件についても、三角錐Ａ１Ｂ１Ｃ１Ｊ１に含まれる条件と同様である。例えば、画素の色を示す点Ｗが三角錐Ｃ１Ｄ１Ａ１Ｊ１に含まれるための条件は、第１頂点、第２頂点、第３頂点が、点Ａ１，Ｂ１，Ｃ１から点Ｃ１，Ｄ１，Ａ１に代わる。
【０１６８】
例えば、補正部１１ｃは、画素の色を示す点Ｗがいずれかの三角錐に含まれる条件を満たす場合（ＹＥＳ）、点Ｗは条件を満たした三角錐の部分空間に含まれると判定し、処理をステップＳ５２に移行する。一方、補正部１１ｃは、画素の色を示す点Ｗがいずれの条件を満たさない場合（ＮＯ）、点Ｗが補正空間ＣＢの外側にあると判定し、処理をステップＳ５３に移行する。
【０１６９】
ステップＳ５２において、補正部１１ｃは、図１７で説明したように、基準点の起点から終点への変位による画素の色を示す点Ｗを含む三角錐の空間の変形に応じて画素の輝度Ｙおよび色差Ｃｂ，Ｃｒを補正する。例えば、補正部１１ｃは、式（１１）を用い、画素の色を示す点Ｗを含む三角錐における第１頂点に応じた行列の各成分ｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖ，ｍ，ｎの値を算出する。補正部１１ｃは、算出した成分の行列と式（１０）とを用い、画素の輝度Ｙおよび色差Ｃｂ，Ｃｒを補正する。
【０１７０】
ステップＳ５３において、補正部１１ｃは、選択した画素の色の補正を行わず、第１色変換部１７から受けた画像の輝度Ｙおよび色差Ｃｂ，Ｃｒを出力する。
【０１７１】
そして、デジタルカメラ２００は、画像処理を終了する。なお、図１８および図１９に示したデジタルカメラ２００に含まれる画像処理装置１００の動作フローは、被写体の撮像指示を受ける度に実行される。
【０１７２】
以上、この実施形態では、補正部１１ｃは、記憶部２０ｂに記憶された画像の色を補正する補正空間ＣＢと基準点の起点および終点とを示す情報を用い、基準点の起点から終点への変位による部分空間の変形に応じて画像に含まれる画素の色を補正する。補正部１１ｃによる部分空間内の色を有する画素についての補正量が、補正空間ＣＢの境界に近づくほど小さくなるため、補正空間の境界上において、画像の輝度Ｙおよび色差Ｃｂ，Ｃｒの連続性を保持することができる。隣接する２つの部分空間において、その境界上は同じベクトルで補正されるため、隣接する２つの部分空間の境界上において、画像の色差Ｃｂ，Ｃｒおよび輝度Ｙの連続性を保持することができる。これにより、画像処理装置１００は、従来と比べて画像の色を補正する補正空間を自由度高く設定することができる。
【０１７３】
また、記憶部２０ｂに記憶される補正空間ＣＢは、色空間の原点を含まない任意の形状を有するため、補正部１１ｃは、所望の色を所望の度合いで補正できる。
【０１７４】
また、記憶部２０ｂに記憶される補正空間、基準点の起点および終点、部分空間および第１頂点を示す情報は、輝度Ｙおよび色差Ｃｂ，Ｃｒの色空間の各座標に対して予め設定される補正値を格納したルックアップテーブル等と比べて少ない情報量である。これにより、画像処理装置１００は、色空間の各座標に対応する補正値を格納したルックアップテーブル等を用いる従来技術に比べて、回路規模の小型化およびコストの削減を図ることができる。
【０１７５】
なお、補正空間ＣＢ内に設定される基準点の起点および終点は、例えば、図１６に示した起点Ｊ１と終点Ｋ１とのように１つずつに限定されず、補正空間ＣＢ内に２以上の基準点の起点および終点を設定してもよい。これにより、画像処理装置１００は、基準点の起点および終点が１つの場合と比べてよりきめ細かく画像の色を補正することができる。
【０１７６】
なお、補正部１１ｃは、輝度Ｙと色差Ｃｂ，Ｃｒとの色空間に変換された画像に対して色の補正を行ったが、ＲＧＢ成分によって色が表された画像に対しても色の補正を行ってもよい。
【０１７７】
なお、補正部１１ｃは、第１色補正部１６とガンマ補正部１９との間に配置されたが、例えば、ＹＣ変換部２１と出力装置４０との間に配置されてもよい。
【０１７８】
なお、ＹＣ変換部２１は、分離した輝度Ｙの信号と色差Ｃｂ，Ｃｒの信号とを出力装置４０に出力したが、これに限定されない。例えば、画像処理装置１００は、輝度Ｙの信号と色差Ｃｂ，Ｃｒの信号とを用い、ＪＰＥＧ等の規格の画像ファイルを生成し、生成した画像ファイルを記憶部２０ｂに記憶してもよい。
【０１７９】
なお、画像処理装置１００は、デジタルカメラ２００に含まれたが、テレビ等のディスプレイ、コピー機、スキャナあるいはプリンタ等に含まれてもよい。
【０１８０】
図２０は、図１、図５、図１１および図１５に示した画像処理装置１００のハードウェア構成の例を示す。なお、図２０に示した要素のうち、図１、図５、図１１および図１５に示した要素と同等のものについては同一の符号を付して示し、詳細な説明は省略する。
【０１８１】
コンピュータ装置３００は、プロセッサ３１０、カメラインタフェース３２０、入出力インタフェース３３０、光学ドライブ装置３４０、メモリ３５０およびハードディスク装置３６０を含む。プロセッサ３１０、カメラインタフェース３２０、入出力インタフェース３３０、光学ドライブ装置３４０、メモリ３５０およびハードディスク装置３６０は、バスを介し互いに接続される。また、プロセッサ３１０、カメラインタフェース３２０、入出力インタフェース３３０、メモリ３５０は、画像処理装置１００に含まれる。
【０１８２】
コンピュータ装置３００は、カメラインタフェース３２０を介して、例えば、撮像装置３０に接続される。プロセッサ３１０は、カメラインタフェース３２０を介して、撮像装置３０により撮像された被写体の画像を受信する。なお、図２０では、撮像装置３０は、コンピュータ装置３００の外部に配置されるが、例えば、コンピュータ装置３００の内部に配置されてもよい。なお、撮像装置３０は、デジタルカメラ、コピー機あるいはスキャナ等である。
【０１８３】
また、出力装置４０は、有機ＥＬや液晶等のディスプレイ、コピー機あるいはプリンタ等の１つまたは複数を含む。出力装置４０は、プロセッサ３１０の制御により撮像装置３０により生成された画像を表示あるいは印刷等する。
【０１８４】
入力装置５０は、例えば、キーボード、タッチパネルあるいはマウス等である。コンピュータ装置３００のユーザは、入力装置５０を操作し、例えば、画像処理の実行や終了の指示、あるいは画像処理における補正領域および基準点の設定等を行う。
【０１８５】
光学ドライブ装置３４０は、光ディスク等のリムーバブルディスク３４５を装着可能であり、装着したリムーバブルディスク３４５に記録された情報の読み出しおよび記録を行う。
【０１８６】
また、メモリ３５０は、コンピュータ装置３００のオペレーティングシステムとともに、プロセッサ３１０が画像処理を実行するためのアプリケーションプログラムを格納する。また、メモリ３５０は、画像に色補正を施す補正領域および基準点を示す情報を予め記憶する。
【０１８７】
なお、画像処理を実行するためのアプリケーションプログラムは、例えば、リムーバブルディスク３４５に記録して頒布することができる。そして、リムーバブルディスク３４５が光学ドライブ装置３４０に装着され、プロセッサ３１０が読み込み処理を行うことにより、画像処理を実行するためのアプリケーションプログラムは、メモリ３５０やハードディスク装置３６０に格納されてもよい。また、コンピュータ装置３００は、コンピュータ装置３００に含まれるネットワークインタフェースを介し、ネットワークから画像処理を実行するためのアプリケーションプログラムをダウンロードし、メモリ３５０やハードディスク装置３６０に格納してもよい。
【０１８８】
また、プロセッサ３１０は、画像処理のアプリケーションプログラムを実行することで、図１に示す補正部１１として機能する。また、プロセッサ３１０は、画像処理のアプリケーションプログラムを実行することで、図５に示す補正部１１ａ、欠陥画素部１２、オフセット部１３、ＷＢ調整部１４、色補間部１５として機能する。さらに、プロセッサ３１０は、画像処理のアプリケーションプログラムを実行することで、図５に示す第１色補正部１６、第１色変換部１７、第２色変換部１８、ガンマ補正部１９およびＹＣ変換部２１として機能する。また、プロセッサ３１０は、画像処理のアプリケーションプログラムを実行することで、図１１に示す補正部１１ｂ、欠陥画素部１２、オフセット部１３、ＷＢ調整部１４、色補間部１５として機能する。さらに、プロセッサ３１０は、画像処理のアプリケーションプログラムを実行することで、図１１に示す第１色補正部１６、第１色変換部１７、第２色変換部１８、ガンマ補正部１９およびＹＣ変換部２１として機能する。
【０１８９】
また、プロセッサ３１０は、画像処理のアプリケーションプログラムを実行することで、図１５に示す補正部１１ｃ、欠陥画素部１２、オフセット部１３、ＷＢ調整部１４、色補間部１５として機能する。さらに、プロセッサ３１０は、画像処理のアプリケーションプログラムを実行することで、図１５に示す第１色補正部１６、第１色変換部１７、第２色変換部１８、ガンマ補正部１９およびＹＣ変換部２１として機能する。
【０１９０】
つまり、画像処理装置１００は、プロセッサ３１０、カメラインタフェース３２０、入出力インタフェース３３０、メモリ３５０の協働によって実現する。
【０１９１】
画像処理のアプリケーションプログラムは、画像の色補正を行う補正領域と基準点とを示す情報に基づき、補正領域で基準点を頂点とする三角形または三角錐の領域ごとに基準点の変位に応じて色補正する処理をプロセッサ３１０に実行させるプログラムを含む。
【０１９２】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０１９３】
１０，１０ａ，１０ｂ…制御部；１１，１１ａ，１１ｂ，１１ｃ…補正部；１２…欠陥画素部；１３…オフセット部；１４…ＷＢ調整部；１５…色補間部；１６…第１色補正部；１７…第１色変換部；１８…第２色変換部；１９…ガンマ補正部；２０，２０ａ，２０ｂ…記憶部；２１…ＹＣ変換部；３０…撮像装置；３１…レンズ；３２…撮像素子；３３…ＡＤ変換部；４０…出力装置；５０…入力装置；１００…画像処理装置；２００…デジタルカメラ；３００…コンピュータ装置；３１０…プロセッサ；３２０…カメラインタフェース；３３０…入出力インタフェース；３４０…光学ドライブ装置；３４５…リムーバブルディスク；３５０…メモリ；３６０…ハードディスク装置
【図１】
2015170963.tif 000008
【図２】
2015170963.tif 000009
【図３】
2015170963.tif 000010
【図４】
2015170963.tif 000011
【図５】
2015170963.tif 000012
【図６】
2015170963.tif 000013
【図７】
2015170963.tif 000014
【図８】
2015170963.tif 000015
【図９】
2015170963.tif 000016
【図１０】
2015170963.tif 000017
【図１１】
2015170963.tif 000018
【図１２】
2015170963.tif 000019
【図１３】
2015170963.tif 000020
【図１４】
2015170963.tif 000021
【図１５】
2015170963.tif 000022
【図１６】
2015170963.tif 000023
【図１７】
2015170963.tif 000024
【図１８】
2015170963.tif 000025
【図１９】
2015170963.tif 000026
【図２０】
2015170963.tif 000027