(57)【要約】【課題】色かぶりの程度が比較的大きいデジタルカラー画像に対しても適正に色補正する。【解決手段】複数の要素色成分で表されるカラー画像の各画素について、画素の輝度が大きいほど大きくなる、および／または、画素の色がグレーに近いほど大きくなる重要度を算出し、画素の各要素色成分を該画素の重要度でそれぞれ重み付けしたときの、前記カラー画像における要素色成分の重み付き平均を要素色毎に算出し、前記算出された要素色毎の要素色成分の重み付き平均によって表される色がグレーに近づくような補正量を算出し、前記カラー画像を、前記補正量を用いて色補正する。【選択図】図５
2007316911.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが、所定の複数種類の要素色成分を有する、複数の画素からなるカラー画像を色補正する画像色補正装置であって、
前記カラー画像の各画素について、画素の輝度が大きいほど大きくなる、および／または、画素の色がグレーに近いほど大きくなる重要度を算出する重要度算出手段と、
画素の各要素色成分を該画素の重要度でそれぞれ重み付けしたときの、前記カラー画像全体における要素色成分の重み付き平均を要素色毎に算出する要素色成分平均算出手段と、
前記算出された前記複数種類の要素色成分の重み付き平均によって表される色がグレーに近づくような、要素色成分に対する補正量を算出する補正量算出手段と、
前記カラー画像を、前記補正量を用いて色補正する色補正処理手段とを備えたことを特徴とする画像色補正装置。
【請求項２】
前記色補正によって得られた補正済みカラー画像を前記カラー画像として、前記重要度の算出、前記要素色成分の重み付き平均の算出、前記補正量の算出および前記色補正が所定数繰り返されるように各手段を制御する繰り返し制御手段をさらに備えたことを特徴とする請求項１記載の画像色補正装置。
【請求項３】
前記要素色成分が、所定の階調数で表されるものであり、
前記要素色成分平均算出手段が、前記複数種類のうち少なくとも１つの要素色成分が前記階調における最大値未満である画素のみを対象に、前記要素色成分の重み付き平均を算出するものであることを特徴とする請求項１または２記載の画像色補正装置。
【請求項４】
それぞれが、所定の複数種類の要素色成分を有する、複数の画素からなるカラー画像を色補正する画像色補正方法であって、
前記カラー画像の各画素について、画素の輝度が大きいほど大きくなる、および／または、画素の色がグレーに近いほど大きくなる重要度を算出するステップと、
画素の各要素色成分を該画素の重要度でそれぞれ重み付けしたときの、前記カラー画像全体における要素色成分の重み付き平均を要素色毎に算出するステップと、
前記算出された前記複数種類の要素色成分の重み付き平均によって表される色がグレーに近づくような、要素色成分に対する補正量を算出するステップと、
前記カラー画像を、前記補正量を用いて色補正するステップとを有することを特徴とする画像色補正方法。
【請求項５】
コンピュータを、それぞれが、所定の複数種類の要素色成分を有する、複数の画素からなるカラー画像を色補正する画像色補正装置として機能させるためのプログラムであって、
該コンピュータを、
前記カラー画像の各画素について、画素の輝度が大きいほど大きくなる、および／または、画素の色がグレーに近いほど大きくなる重要度を算出する重要度算出手段と、
画素の各要素色成分を該画素の重要度でそれぞれ重み付けしたときの、前記カラー画像全体における要素色成分の重み付き平均を要素色毎に算出する要素色成分平均算出手段と、
前記算出された前記複数種類の要素色成分の重み付き平均によって表される色がグレーに近づくような、要素色成分に対する補正量を算出する補正量算出手段と、
前記カラー画像を、前記補正量を用いて色補正する色補正処理手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色および輝度を表す所定の複数種類の要素色成分を有する、複数の画素からなるカラー画像を色補正する画像色補正装置および方法並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置を用いた撮像によって得られるデジタル写真画像は、光源の特性や撮像装置のオートホワイトバランス特性などの影響により、色が赤色、青色あるいは緑色方向に偏った、いわゆる色かぶりが生じることがある。
【０００３】
そこで、特許文献１では、このような色かぶりをソフトウェアによって適切に色修正することを目的として、画像中でグレー領域に近い要素色成分を有する画素を集計し、その集計結果から補正量を決定し、その補正量に基づいて画像の色修正を行う手法が提案されている。
【特許文献１】特開２００１−１７７７３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載された色修正の手法によれば、色かぶりの程度が比較的大きい画像については、グレー領域に近い要素色成分を有する画素が十分に計数されず、適切な補正量を決定することができないという問題がある。
【０００５】
本発明は、上記事情に鑑み、色かぶりの程度が比較的大きい画像であっても適切に色補正することが可能な画像色補正装置および方法並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明の画像色補正装置は、それぞれが、所定の複数種類の要素色成分を有する、複数の画素からなるカラー画像を色補正する画像色補正装置であって、前記カラー画像の各画素について、画素の輝度が大きいほど大きくなる、および／または、画素の色がグレーに近いほど大きくなる重要度を算出する重要度算出手段と、画素の各要素色成分を該画素の重要度でそれぞれ重み付けしたときの、前記カラー画像全体における要素色成分の重み付き平均を要素色毎に算出する要素色成分平均算出手段と、前記算出された前記複数種類の要素色成分の重み付き平均によって表される色がグレーに近づくような、要素色成分に対する補正量を算出する補正量算出手段と、前記カラー画像を、前記補正量を用いて色補正する色補正処理手段とを備えたことを特徴とするものである。
【０００７】
本発明の画像色補正装置において、前記色補正によって得られた補正済みカラー画像を前記カラー画像として、前記重要度の算出、前記要素色成分の重み付き平均の算出、前記補正量の算出および前記色補正が所定数繰り返されるように各手段を制御する繰り返し制御手段をさらに備えるようにしてもよい。
【０００８】
また、本発明の画像色補正装置において、前記要素色成分は、所定の階調数で表されるものであり、前記要素色成分平均算出手段は、前記複数種類のうち少なくとも１つの要素色成分が前記階調における最大値未満である画素のみを対象に、前記要素色成分の重み付き平均を算出するものであってもよい。
【０００９】
本発明の画像色補正方法は、それぞれが、所定の複数種類の要素色成分を有する、複数の画素からなるカラー画像を色補正する画像色補正方法であって、前記カラー画像の各画素について、画素の輝度が大きいほど大きくなる、および／または、画素の色がグレーに近いほど大きくなる重要度を算出するステップと、画素の各要素色成分を該画素の重要度でそれぞれ重み付けしたときの、前記カラー画像全体における要素色成分の重み付き平均を要素色毎に算出するステップと、前記算出された前記複数種類の要素色成分の重み付き平均によって表される色がグレーに近づくような、要素色成分に対する補正量を算出するステップと、前記カラー画像を、前記補正量を用いて色補正するステップとを有することを特徴とするものである。
【００１０】
本発明のプログラムは、コンピュータを、それぞれが、所定の複数種類の要素色成分を有する、複数の画素からなるカラー画像を色補正する画像色補正装置として機能させるためのプログラムであって、該コンピュータを、前記カラー画像の各画素について、画素の輝度が大きいほど大きくなる、および／または、画素の色がグレーに近いほど大きくなる重要度を算出する重要度算出手段と、画素の各要素色成分を該画素の重要度でそれぞれ重み付けしたときの、前記カラー画像全体における要素色成分の重み付き平均を要素色毎に算出する要素色成分平均算出手段と、前記算出された前記複数種類の要素色成分の重み付き平均によって表される色がグレーに近づくような、要素色成分に対する補正量を算出する補正量算出手段と、前記カラー画像を、前記補正量を用いて色補正する色補正処理手段として機能させることを特徴とするものである。
【００１１】
ここで、「要素色成分」とは、その要素色の程度という概念を含むものである。
【００１２】
また、「グレー」とは、任意の色を定義する各要素色成分の比率が等しくなる色を意味するものであり、例えば、任意の色をＲ，Ｇ，Ｂの３種類の要素色成分で表す場合には、Ｒ＝Ｇ＝Ｂであるときの色を意味するものである。
【００１３】
また、「グレーに近い」とは、前記複数種類の要素色成分で表わされる色空間上で、対象としている色の座標と前記グレーの座標との距離が相対的に小さいことを意味するものである。
【００１４】
なお、本発明のプログラムは、当該プログラムを記録したコンピュータ読取可能な記録媒体として提供してもよいし、ネットワークを介してダウンロードする形態で提供するようにしてもよい。
【発明の効果】
【００１５】
本発明の画像色補正装置および方法によれば、色かぶりの補正に必要な、画像中のグレー領域に近いあるいは輝度が大きい画素の色をグレーに近づける色補正を行うことを基本として、その補正量を、相対的にグレー領域に近いあるいは相対的に輝度が大きい画素が重視された、画像全体における要素色成分の重み付き平均に基づいて算出するので、常に画像全体の画素の色に基づいて補正量を算出し、補正量を決定するために用いる画素が極端に少なくなる状態をなくすことができ、グレー領域に近い要素色成分を有する画素が少ない、色かぶりの程度が比較的大きい画像であっても適正に色補正することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して、本発明の実施形態について説明する。
【００１７】
図１は、本発明の実施形態による画像色補正装置の概略構成を示す図である。この画像色補正装置は、デジタル写真画像における画像全体の画素の色に基づいて補正量を算出し、その補正量を用いて画像を色補正することにより、主に画像の色かぶりを補正するものである。
【００１８】
図１に示す画像色補正装置１００は、補正対象であるデジタルカラー画像Ｐ１の色空間を色補正処理の前後で変換する色空間変換部１０と、カラー画像Ｐ１の各画素について、画素の輝度が大きいほど、また、画素の色がグレーに近いほど大きくなる重要度を算出する重要度算出部２０と、画素の各要素色成分を当該画素の重要度でそれぞれ重み付けしたときの、カラー画像Ｐ１における要素色成分の重み付き平均を要素色毎に算出する要素色成分平均算出部３０と、算出された要素色毎の要素色成分の重み付き平均によって表される色がグレーに近づくような補正量を算出する補正量算出部４０と、カラー画像Ｐ１を、算出された補正量を用いて色補正する色補正処理部５０と、色補正によって得られた補正済みカラー画像Ｐ１′を被補正カラー画像として、重要度の算出、要素色成分の重み付き平均の算出、補正量の算出および色補正が所定数繰り返されるように各部を制御する繰り返し制御部６０とを備えている。
【００１９】
なお、カラー画像Ｐ１を構成する画素は、それぞれ、色および輝度を表す所定の複数種類の要素色成分を有するものであり、具体的には、ＲＧＢ（赤、緑、青）の３色の成分を有するものである。また、要素色成分は所定の階調で表されるものであり、ここでは、linearＲＧＢ空間（撮像素子への入射光量に比例した信号値で表現される空間）において各要素色成分は０〜１の値を採るものとする。
【００２０】
色空間変換部１０は、色補正処理の前段階においてカラー画像Ｐ１をlinearＲＧＢ空間へ変換し、また、色補正処理の後段階において補正済みカラー画像Ｐ１′をlinearＲＧＢ空間から出力色空間へ変換するものである。
【００２１】
重要度算出部２０は、カラー画像Ｐ１を構成する各画素について、画素の輝度が大きいほど、また、画素の色がグレーに近いほど大きくなる重要度を算出するものであり、具体的には、式(1-1)〜(1-6)にしたがって座標(x,y)の画素について重要度importance(x,y)を算出する。
【００２２】
重要度importance(x,y)
＝imp1(vividness(x,y))×imp2（brightness(x,y)）    …(1-1)
色鮮明度vividness(x,y)
＝max{R(x,y)，G(x,y)，B(x,y)，1/R(x,y)，1/G(x,y)，1/B(x,y)}
…(1-2)
輝度（明度）brightness(x,y)
＝{r(x,y)＋g(x,y)＋b(x,y)}/3
＝average(x,y)                                     …(1-3)
ただし、      R(x,y)＝r(x,y)/average(x,y)                  …(1-4)
G(x,y)＝g(x,y)/average(x,y)                  …(1-5)
B(x,y)＝b(x,y)/average(x,y)                  …(1-6)
r(x,y)は、P1上の座標(x,y)における赤の値
g(x,y)は、P1上の座標(x,y)における緑の値
b(x,y)は、P1上の座標(x,y)における青の値
【００２３】
なお、imp1(vividness(x,y))およびimp2（brightness(x,y)）は、図２に示すようなルックアップテーブル（ＬＵＴ）で定義される。図２におけるＬＵＴ１はimp1(vividness(x,y))を示しており、imp1は色鮮明度が小さいほど、すなわち、グレーから遠ざかるほど大きな値を採り、０≦imp1≦１の範囲内の値を採る。また、図２におけるＬＵＴ２はimp2（brightness(x,y)）を示しており、imp2は輝度が大きいほど大きな値を採り、０≦imp2≦１の範囲内の値を採る。
【００２４】
要素色成分平均算出部３０は、画素の各要素色成分を当該画素の重要度でそれぞれ重み付けしたときの、カラー画像Ｐ１における要素色成分の重み付き平均を要素色毎に算出するものであり、具体的には、式(2-1)〜(2-3)にしたがって各要素色成分の重み付き平均R_ave，G_ave，B_aveを算出する。
【００２５】
R_ave＝Σ{R(x,y)×importance(x,y)}/Σimportance(x,y)       …(2-1)
G_ave＝Σ{G(x,y)×importance(x,y)}/Σimportance(x,y)       …(2-2)
B_ave＝Σ{B(x,y)×importance(x,y)}/Σimportance(x,y)       …(2-3)
【００２６】
なお、要素色成分平均算出部３０は、要素色成分の重み付き平均を算出する際に、すべての種類の要素色成分が上記階調における最大値である画素、あるいはその画素を含む近傍領域の画素群を考慮しない。すなわち、ＲＧＢの要素色成分がすべて１である画素、あるいはその画素を含む近傍領域の画素群を、上記重み付き平均を求める上で母集団から外す。これは、成分値が最大値である画素は、画像を生成する際に成分値が飽和し、光量に比例した適正な成分値が得られていない可能性が高いため、そのような画素を補正量の算出に反映させない趣旨である。
【００２７】
補正量算出部４０は、要素色成分平均算出部３０により算出された、要素色毎の要素色成分の重み付き平均によって表される色がグレーに近づくような補正量を算出するものであり、具体的には、式(3-1)〜(3-6)にしたがって要素色成分の重み付き平均に乗じる補正係数r_mod，g_mod，b_modを算出する。
【００２８】
R_ave×r_mod＝RGB_ave＝(R_ave＋G_ave＋B_ave)/3＝1          …(3-1)
G_ave×g_mod＝RGB_ave＝(R_ave＋G_ave＋B_ave)/3＝1          …(3-2)
B_ave×b_mod＝RGB_ave＝(R_ave＋G_ave＋B_ave)/3＝1          …(3-3)
r_mod＝1/R_ave                                      …(3-4)
g_mod＝1/G_ave                                      …(3-5)
b_mod＝1/B_ave                                      …(3-6)
【００２９】
色補正処理部５０は、カラー画像Ｐ１を、補正量算出部４０により算出された補正量を用いて補正するものであり、具体的には、式(4-1)〜(4-3)にしたがって補正係数r_mod，g_mod，b_modを用いて画素値の変換を行う。
【００３０】
r′(x,y)＝r(x,y)×r_mod
＝r(x,y)/R_ave                                     …(4-1)
g′(x,y)＝g(x,y)×g_mod
＝g(x,y)/G_ave                                     …(4-2)
b′(x,y)＝b(x,y)×b_mod
＝b(x,y)/B_ave                                     …(4-3)
【００３１】
このような色補正は、画像中の輝度および色の分布に応じて補正量が変わるが、これらの関係は、例えば図３に示すような画像の色分布と補正量との関係から概念的に捉えることができる。図３における(a)〜(e)はそれぞれ各画像の色分布の例を示すものであり、ここで、Ｗは白、Ｓは肌色、Ｇはグレー、Ｂは黒を示している。(a)は輝度が大きくグレーに近い領域がある例、(b)は輝度は大きいがグレーにあまり近くない領域がある例、(c)は輝度は大きくないがグレーに近い領域がある例、(d)，(e)は輝度が大きくなくグレーにあまり近くない領域がある例であるが、(a)＜(b),(c)＜(d),(e)の順に補正量が多くなる。
【００３２】
なお、カラー画像Ｐ１上で輝度が比較的大きい領域について、他の領域と同様に式(4-1)〜(4-3)にしたがって画素値を変換すると、変換後の画素値が飽和状態となって適正な変換が行われない場合が考えられる。そこで、輝度が比較的大きい領域については補正の程度が抑えられるように、式(4-1)〜(4-3)を改変して得られた式(4-1)′〜(4-3)′にしたがって画素値を変換するようにしてもよい。
【００３３】
r′(x,y)＝r(x,y)/{(R_ave−RGB_ave)×α(x,y)＋RGB_ave}
＝r(x,y)/{(R_ave−1)×α(x,y)＋1}
＝r(x,y)/{R_ave×α(x,y)＋1×(1−α(x,y))}         …(4-1)′
g′(x,y)＝g(x,y)/{G_ave×α(x,y)＋1×(1−α(x,y))}         …(4-2)′
b′(x,y)＝b(x,y)/{B_ave×α(x,y)＋1×(1−α(x,y))}         …(4-3)′
【００３４】
図４は、座標(x,y)の画素における輝度brightness(x,y)と補正強度α(x,y)との関係を示したＬＵＴの一例である。この例は、輝度が0〜0.8では通常の補正を行い、輝度が0.8〜1.0ではその輝度が大きくなるに連れて補正の程度を小さくし、輝度が1.0のときに無補正となるように補正強度を設定したものである。なお、補正強度の変化点（この例では輝度が0.8のところ）は固定せず、外部から設定可能とすることが望ましい。
【００３５】
繰り返し制御部６０は、色補正によって得られた補正済みカラー画像Ｐ１′を被補正カラー画像として、重要度の算出、要素色成分の重み付き平均の算出、補正量の算出および色補正が所定数繰り返されるように各部を制御するものであり、具体的には、補正量算出部４０により算出された補正量が所定量以下になるまで、上記サイクルによる処理が繰り返されるように制御する。例えば、色補正が終了した時点で、補正係数r_mod，g_mod，b_modが式(5-1)〜(5-3)をすべて満たすか否かを判定し、否定される場合には色補正の繰り返し処理を続行し、肯定される場合には色補正の処理を終了する。
【００３６】
0.8≦r_mod≦1.2                                            …(5-1)
0.8≦g_mod≦1.2                                            …(5-2)
0.8≦b_mod≦1.2                                            …(5-3)
【００３７】
なお、重要度算出部２０により各画素の重要度を算出する際に用いるＬＵＴは、常に同じであってもよいし、色補正の繰り返し回数目に応じて変えるようにしてもよい。例えば、imp1のＬＵＴについて、一回目の色補正処理ではｘ切片を4.0、二回目の色補正処理ではｘ切片を3.0と変えるようにしてもよい。
【００３８】
続いて、本実施形態による画像色補正装置１００における処理の流れについて説明する。図５は、画像色補正装置１００における処理の流れを示したフローチャートである。
【００３９】
補正対象であるカラー画像Ｐ１が画像色補正装置１００に入力される（ステップＳ１）と、まず、色空間変換部１０が、カラー画像Ｐ１をlinearＲＧＢ空間へ変換する（ステップＳ２）。そして、重要度算出部２０が、カラー画像Ｐ１を構成する各画素について、画素の輝度が大きいほど、また、画素の色がグレーに近いほど大きくなる重要度importance(x,y)を上記の式(1-1)〜(1-6)にしたがって算出する（ステップＳ３）。
【００４０】
次に、要素色成分平均算出部３０が、画素の各要素色成分を当該画素の重要度でそれぞれ重み付けしたときの、カラー画像Ｐ１における要素色成分の重み付き平均R_ave，G_ave，B_aveを上記の式(2-1)〜(2-3)にしたがって算出する（ステップＳ４）。このとき、すべての種類の要素色成分が上記階調における最大値である画素、あるいはその画素を含む近傍領域の画素群は計算上考慮しない。
【００４１】
その後、補正量算出部４０が、要素色成分の重み付き平均R_ave，G_ave，B_aveによって表される色がグレーに近づくような補正を考えたときに、要素色成分の重み付き平均に乗じるべき補正係数r_mod，g_mod，b_modを上記の式(3-1)〜(3-6)にしたがって算出する（ステップＳ５）。
【００４２】
そして、色補正処理部５０が、カラー画像Ｐ１を、補正係数r_mod，g_mod，b_modを用いて、上記の式(4-1)〜(4-3)あるいは式(4-1)′〜(4-3)′にしたがって要素色成分（画素値）の変換を行い、補正済みカラー画像Ｐ１′を得る（ステップＳ６）。
【００４３】
ここで、繰り返し制御部６０は、補正係数r_mod，g_mod，b_modが上記の式(5-1)〜(5-3)をすべて満たすか否かを判定し（ステップＳ７）、否定される場合にはステップＳ３に戻って、補正済みカラー画像Ｐ１′を被補正カラー画像として、色補正の繰り返し処理を続行し、肯定される場合には色補正の処理を終了してステップＳ８へ移行する。
【００４４】
ステップ８では、色空間変換部１０が、補正済みカラー画像Ｐ１′（あるいはＰ１″等）をlinearＲＧＢ空間から出力色空間へ変換する（ステップＳ８）。
【００４５】
このように、本実施形態では、カラー画像Ｐ１の各画素について、画素の輝度が大きいほど大きくなり、かつ、画素の色がグレーに近いほど大きくなる重要度importance(x,y)を算出し、その重要度で重み付けした、カラー画像Ｐ１における要素色成分の重み付き平均R_ave，G_ave，B_aveを算出し、これらの重み付き平均によって表される色がグレーに近づくような補正量、すなわち、各要素色成分に対して適用する補正係数r_mod，g_mod，b_modを算出している。
【００４６】
したがって、本実施形態によれば、色かぶりの補正に必要な、画像中のグレー領域に近いあるいは輝度が大きい画素の色をグレーに近づける色補正を行うことを基本として、その補正量を、相対的にグレー領域に近いあるいは相対的に輝度が大きい画素が重視された、画像全体における要素色成分の重み付き平均に基づいて算出するので、常に画像全体の画素の色に基づいて補正量を算出し、補正量を決定するために用いる画素が極端に少なくなる状態をなくすことができ、グレー領域に近い要素色成分を有する画素が少ない、色かぶりの程度が比較的大きい画像であっても適正に色補正することが可能となる。
【００４７】
なお、本実施形態においては、画像をlinearＲＧＢ空間に変換した上で色補正を行っているが、もちろん、ＲＧＢの階調を対数表現したlogＲＧＢ空間に変換した上で同様の色補正を行うようにしてもよい。
【００４８】
また、本実施形態においては、画素毎の重要度importance(x,y)を、色鮮明度の関数imp1と輝度の関数imp2の両方を用いて算出しているが、これらのいずれか一方のみを用いて算出するようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】本実施形態による画像色補正装置の概略構成を示す図
【図２】imp1(vividness(x,y))およびimp2（brightness(x,y)）のＬＵＴを示す図
【図３】画像中の輝度および色の分布と補正量との関係を示す図
【図４】画素の輝度brightness(x,y)と補正強度α(x,y)との関係を表すＬＵＴを示す図
【図５】本実施形態による画像色補正装置における処理の流れを示したフローチャート
【符号の説明】
【００５０】
１０ 色空間変換部
２０ 重要度算出部
３０ 要素色成分平均算出部
４０ 補正量算出部
５０ 色補正処理部
６０ 繰り返し制御部
１００ 画像色補正装置
【図１】
2007316911.tif 000003
【図２】
2007316911.tif 000004
【図３】
2007316911.tif 000005
【図４】
2007316911.tif 000006
【図５】
2007316911.tif 000007