(57)【特許請求の範囲】
【請求項１】
同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる前記補正係数に基づいて導出された変換情報を記憶する記憶部と、
画像を撮影する撮影部と、
前記記憶部に記憶された変換情報に基づき、前記撮影部により撮影された画像の各画素の色を変換する色変換部と、
を有することを特徴とする撮像装置。 
【請求項２】
前記撮影部により撮影された画像の色空間を輝度および色差の色空間に変換する色空間変換部をさらに有し、
前記記憶部は、輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色とのノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数に基づいて導出された前記変換情報を記憶し、
前記色変換部は、前記変換情報に基づき、前記色空間変換部により輝度および色差の色空間に変換された画像の各画素の色を変換する
ことを特徴とする請求項１に記載の撮像装置。 
【請求項３】
前記記憶部は、輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色とのノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数に基づいて導出され、前記撮影部により撮影された画像で用いられる色空間への変換が施された前記変換情報を記憶する
ことを特徴とする請求項１に記載の撮像装置。 
【請求項４】
前記記憶部は、前記補正係数に単位行列を加算したトータルの補正係数を前記変換情報として記憶し、
前記色変換部は、前記撮影部により撮影された画像の各画素の色を構成する各色成分に対して前記変換情報として記憶されたトータルの補正係数を乗算して色を変換する
ことを特徴とする請求項１〜３の何れか１つに記載の撮像装置。 
【請求項５】
コンピュータに、
同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
処理を実行させることを特徴とする画像処理プログラム。 
【請求項６】
コンピュータが、
同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
処理を実行することを特徴とする画像処理方法。 
【請求項７】
同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数を算出する算出部と、
補正対象の画像を取得する取得部と、
前記算出部により算出された補正係数に基づいて導出した変換情報に基づき、前記取得部により取得された画像の各画素の色を変換する色変換部と、
を有する画像処理装置。 
【請求項８】
コンピュータに、
同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数を算出し、
算出された補正係数に基づいて導出した変換情報に基づき、補正対象の画像の各画素の色を変換する
各処理を実行させることを特徴とする画像処理プログラム。 
【請求項９】
コンピュータが、
同一の対象物について、赤外光が混入しないように撮影した画像の画素値の行列を目標色とし、赤外光が混入する撮影画像の画素の画素値の行列を補正対象色とし、前記補正対象色の補正に用いる行列を補正係数として、前記目標色に対する前記補正対象色の色差と、前記補正対象色を前記補正係数で補正した補正色との差分のノルムに、所定の重み係数を乗じた前記補正係数のノルムを加算した和が、最小値から所定の許容範囲内となる補正係数を算出し、
算出された補正係数に基づいて導出した変換情報に基づき、補正対象の画像の各画素の色を変換する
各処理を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理プログラム、画像処理方法、および画像処理装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどの可視光による画像を撮影する撮像装置では、赤外カットフィルタを設けて赤外光をカットし、可視光のみによる画像の撮影を行う。一方、監視カメラなどに用いられる、赤外光を照射して撮影を行うアクティブセンサを有する撮影装置では、赤外カットフィルタを設けずに可視光および赤外光による画像の撮影を行う。この可視光および赤外光による画像は、赤外光分を含む影響により、可視光のみによる画像と比べて色合いが変化する。
【０００３】
ところで、可視光による画像の撮影と赤外光による画像の撮影とを１台で兼用する場合、撮影装置に赤外カットフィルタを着脱する着脱機構を設ける構成が考えられる。しかし、着脱機構を設けた場合、撮影装置が大型化し、製造コストも増大する。特に、携帯電話やスマートフォンなどカメラを有する携帯端末では、装置の大型化は問題である。
【０００４】
そこで、赤外カットフィルタを除去し、行列演算を用いて可視光および赤外光による画像に対して色補正を行う技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−９４１１２号公報
【特許文献２】特開２００６−１０１２３１号公報
【特許文献３】特開２００５−２９５４１９号公報
【特許文献４】特開２００３−１１０８６０号公報
【非特許文献】
【０００６】
【非特許文献１】豊田  善隆ら、“カラー撮影可能な近赤外撮像装置の研究”、映像情報メディア学会誌、２０１０年、Ｖｏｌ．６４、Ｎｏ１、Ｐ１０１〜Ｐ１１０
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、従来の色補正の一例を説明する。画像の各画素は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色空間でそれぞれ例えば、２５６階調など所定階調により色を示す値が定められる。補正前の色をＸ、色Ｘの補正による目標色をＹとした場合、Ｎ個の画素の補正前の色Ｘ、目標色Ｙは、以下の（１）式、（２）式に示すようなＲＧＢ３色×Ｎの行列で表される。
【０００８】
【数１】
0005910043.tif 000002
【０００９】
補正前の色Ｘを目標色Ｙに補正する補正係数Ｂを以下の（３）式に示すような３×３の行列と定める。
【００１０】
【数２】
0005910043.tif 000003
【００１１】
目標色Ｙは、以下の（４）式に示すように、補正前の色Ｘに対する補正係数Ｂの演算で表される。
Ｙ＝Ｂ・Ｘ          （４）
【００１２】
補正係数Ｂは、補正前の色Ｘを目標色Ｙに可能なかぎり近く変換できることが好ましい。このため、この補正係数Ｂは、以下の（５）式の最小化問題を解くことにより定まる。
【００１３】
【数３】
0005910043.tif 000004
【００１４】
補正係数Ｂは、以下の（６）式に示すように、疑似逆行列として算出される。“ｘt”は、ｘの転置行列を表す。
Ｂ＝ｙ・ｘt／ｘ・ｘt      （６）
【００１５】
補正前の色Ｘを補正係数Ｂにより補正した補正後の色をＹoutとした場合、Ｙoutは、以下の（７）式のように表される。
Ｙout＝Ｂ・ｘ              （７）
【００１６】
ところで、（６）式から求めた補正係数Ｂを用いて画像の補正を行った場合、補正後の画像にノイズが多くなる現象が発生する。
【００１７】
ここで、ｘ−ｒｉｔｅ社製のカラーチェッカーターゲットを撮影した画像を用いてノイズが多くなる現象の一例を説明する。図１８は、赤外カットフィルタを設けて撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。図１９は、赤外カットフィルタを設けずに撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。図１８および図１９に示すように、カラーチェッカーターゲット２００は、グレートーンを含む２４色の矩形の色見本領域２０１を有する。図１９は、図１８に比べて色合いが変化している。これは、赤外カットフィルタを設けなかったことにより、撮像素子のＲＧＢの各色の受光部に可視光に加えて赤外光も入射し、赤外光を受光した分の電荷が発生した影響により色合いが変化したものである。
【００１８】
図１８の各色を目標色Ｙとし、図１９の各色を補正前の色Ｘとして、（６）式に示す演算を行って補正前の色Ｘを目標色Ｙに変換する補正係数Ｂを求める。（６）式に示す演算を行って求めた補正係数Ｂの一例を（８）式に示す。
【００１９】
【数４】
0005910043.tif 000005
【００２０】
そして、図１９の画像の各画素の色Ｘに対して補正係数Ｂを用いて（７）式に示す変換を行って画素毎に補正後の色Ｙoutを求めることにより補正を行う。図２０は、図１９の画像を補正係数Ｂにより補正した画像の一例を示す図である。図２０は、図１８に比べてノイズが多い。
【００２１】
ここで、補正による画像の変化を明確にするため、補正前の画像と補正後の画像で対応する画素毎に、色を示すＲＧＢの値を輝度Ｙ、色差Ｉ、Ｑに変換して比較する。図２１Ａは、図１８の画像と図２０の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。図２１Ａの例では、図１８の破線に沿った各画素の輝度Ｙを目標値として示し、図２０の破線に沿った各画素の輝度Ｙを補正値として示す。図２１Ｂは、図１８の画像と図２０の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。図２１Ｂの例では、図１８の破線に沿った各画素の色差Ｉを目標値として示し、図２０の破線に沿った各画素の色差Ｉを補正値として示す。図２１Ｃは、図１８の画像と図２０の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。図２１Ｃの例では、図１８の破線に沿った各画素の色差Ｑを目標値として示し、図２０の破線に沿った各画素の色差Ｑを補正値として示す。
【００２２】
図２１Ｂおよび図２１Ｃに示すように、色差Ｉ、Ｑは、補正値が目標値に近い値で変化する。すなわち、補正による色合いの変化は小さいことを示す。一方、図２１Ａに示すように、輝度Ｙは、目標値に対して補正値が大きく変化する。このように輝度Ｙの補正値が目標値に対して大きく変化する理由は、撮像素子への赤外光の混入量が多い場合、補正係数Ｂの各要素が１より非常に大きくなり、その結果、補正後の画像のノイズが強調された画像になるためである。
【００２３】
輝度Ｙのノイズを減少させるために、補正係数Ｂに重みをもたせることが考えられる。例えば、以下の（９）式に示すように、Ｔｉｋｈｏｎｏｖの正則化法を用いて、補正係数Ｂに重み係数λの項を加えて、目標色Ｙと補正前の色Ｘを補正係数Ｂ’で補正した補正色とのノルムを正則化する最小化問題と考える。
【００２４】
【数５】
0005910043.tif 000006
【００２５】
この補正係数Ｂ’は、以下の（１０）式から算出される。
Ｂ’＝ｙ・ｘｔ／（ｘ・ｘｔ＋λ2・Ｉ）      （１０）
ここで、Ｉは単位行例を表す。
【００２６】
例えば、λ＝３０とした場合の（１０）式に示す演算を行って求めた補正係数Ｂ’の一例を（１１）式に示す。
【００２７】
【数６】
0005910043.tif 000007
【００２８】
図１９の画像の各画素の色Ｘに対して、式（８）により求めた補正係数Ｂ’を用いて（７）式に示す変換を行って画素毎に補正後の色Ｙoutを求めることにより画像の補正を行う。図２２は、図１９の画像を補正係数Ｂ’により補正した画像の一例を示す図である。図２２は、図２０に比べてノイズが減少するが、図１８に比べて色合いが大きく変化する。
【００２９】
ここで、補正による画像の変化を明確にするため、補正前の画像と補正後の画像で対応する画素毎に、色を示すＲＧＢの値を輝度Ｙ、色差Ｉ、Ｑに変換して比較する。図２３Ａは、図１８の画像と図２２の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。図２３Ａの例では、図１８の破線に沿った各画素の輝度Ｙを目標値として示し、図２２の破線に沿った各画素の輝度Ｙを補正値として示す。図２３Ｂは、図１８の画像と図２２の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。図２３Ｂの例では、図１８の破線に沿った各画素の色差Ｉを目標値として示し、図２２の破線に沿った各画素の色差Ｉを補正値として示す。図２３Ｃは、図１８の画像と図２２の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。図２３Ｃの例では、図１８の破線に沿った各画素の色差Ｑを目標値として示し、図２２の破線に沿った各画素の色差Ｑを補正値として示す。
【００３０】
図２３Ａに示すように、輝度Ｙは、目標値に近い値で補正値が小さい幅で変化する。すなわち、補正によるノイズの発生は小さいことを示す。一方、図２３Ｂおよび図２３Ｃに示すように、色差Ｉ、Ｑは、目標値から補正値が変化している。すなわち、補正により色合いは変化していることを示す。
【００３１】
このように、重みなしの場合は補正後の輝度Ｙはノイズが大きいが、色差Ｉ、Ｑは目標値に近い。一方、重みありの場合は、補正後の輝度Ｙのノイズは小さくなっているが、色差Ｉ、Ｑは異なっている。このようにノイズと色合いは、トレードオフの関係にある。
【００３２】
開示の技術は、色合いの変化を抑えつつノイズの発生を抑えて画像を補正できる撮像装置、画像処理プログラム、画像処理方法、および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００３３】
本願の開示する撮像装置は、一つの態様において、記憶部と、撮影部と、色変換部と、を有する。記憶部は、目標色に対する補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出された変換情報を記憶する。撮影部は、画像を撮影する。色変換部は、前記記憶部に記憶された変換情報に基づき、前記撮影部により撮影された画像の各画素の色を変換する。
【発明の効果】
【００３４】
本願の開示する撮像装置の一つの態様によれば、色合いの変化を抑えつつノイズの発生を抑えて画像を補正できる。
【図面の簡単な説明】
【００３５】
【図１】図１は、撮影システムの全体構成の一例を示す図である。
【図２】図２は、図１９の画像を補正係数Ａにより補正した画像の一例を示す図である。
【図３Ａ】図３Ａは、図１８の画像と図２の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。
【図３Ｂ】図３Ｂは、図１８の画像と図２の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。
【図３Ｃ】図３Ｃは、図１８の画像と図２の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。
【図４】図４は、色補正部による処理の流れを模式的に示した図である。
【図５】図５は、変換情報格納処理の手順を示すフローチャートである。
【図６】図６は、撮像処理の手順を示すフローチャートである。
【図７】図７は、色補正部による処理の流れを模式的に示した図である。
【図８】図８は、撮影システムの全体構成の一例を示す図である。
【図９】図９は、第一色空間変換部および色補正部による処理の流れを模式的に示した図である。
【図１０】図１０は、図１９の画像を補正係数Ａ’により補正した画像の一例を示す図である。
【図１１】図１１は、図１９の画像を補正係数Ａにより補正した画像の一例を示す図である。
【図１２Ａ】図１２Ａは、図１８の画像と図１０の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。
【図１２Ｂ】図１２Ｂは、図１８の画像と図１０の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。
【図１２Ｃ】図１２Ｃは、図１８の画像と図１０の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。
【図１３Ａ】図１３Ａは、図１８の画像と図１１の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。
【図１３Ｂ】図１３Ｂは、図１８の画像と図１１の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。
【図１３Ｃ】図１３Ｃは、図１８の画像と図１１の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。
【図１４】図１４は、第一色空間変換部および色補正部による処理の流れを模式的に示した図である。
【図１５】図１５は、画像処理装置の構成の一例を示す図である。
【図１６】図１６は、画像処理の手順を示すフローチャートである。
【図１７】図１７は、変換情報格納プログラムを実行するコンピュータを示す図である。
【図１８】図１８は、赤外カットフィルタを設けて撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。
【図１９】図１９は、赤外カットフィルタを設けずに撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。
【図２０】図２０は、図１９の画像を補正係数Ｂにより補正した画像の一例を示す図である。
【図２１Ａ】図２１Ａは、図１８の画像と図２０の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。
【図２１Ｂ】図２１Ｂは、図１８の画像と図２０の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。
【図２１Ｃ】図２１Ｃは、図１８の画像と図２０の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。
【図２２】図２２は、図１９の画像を補正係数Ｂ’により補正した画像の一例を示す図である。
【図２３Ａ】図２３Ａは、図１８の画像と図２２の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。
【図２３Ｂ】図２３Ｂは、図１８の画像と図２２の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。
【図２３Ｃ】図２３Ｃは、図１８の画像と図２２の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。
【発明を実施するための形態】
【００３６】
以下に、本発明にかかる撮像装置、画像処理プログラム、画像処理方法、および画像処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。以下では、撮影システムに本発明を適用した場合について説明する。
【実施例１】
【００３７】
実施例１に係る撮影システムについて説明する。図１は、撮影システムの全体構成の一例を示す図である。図１に示すように、撮影システム１０は、変換情報格納装置２０と、撮像装置３０を有する。変換情報格納装置２０は、撮像装置３０で撮影された画像を補正する際に用いる変換情報を導出し、導出した変換情報を撮像装置３０に格納する機器であり、例えば、コンピュータなどである。変換情報格納装置２０は、例えば、撮像装置３０の製造や検査を行う工場などに設けられ、撮像装置３０に変換情報を格納する。変換情報格納装置２０は、記憶部２１と、算出部２２、格納部２３とを有する。
【００３８】
記憶部２１は、各種情報を記憶する。例えば、記憶部２１は、第一画像情報２１ａと、第二画像情報２１ｂと、変換情報２１ｃとを記憶する。第一画像情報２１ａは、補正対象とする補正対象色を含んだ画像の画像情報である。第二画像情報２１ｂは、補正対象色の補正の目標とする目標色を含んだ画像情報である。第一画像情報２１ａにより示される画像は、例えば、赤外カットフィルタを設けずに対象物を撮影した画像であり、一例として、図１９に示す赤外カットフィルタを設けずにカラーチェッカーターゲットを撮影した画像が該当する。第二画像情報２１ｂにより示される画像は、例えば、赤外カットフィルタを設けて、第一画像情報２１ａと同一の対象物を撮影した画像であり、一例として、図１８の赤外カットフィルタを設けてカラーチェッカーターゲットを撮影した画像が該当する。第一画像情報２１ａおよび第二画像情報２１ｂは、赤外カットフィルタを着脱可能な１台の撮影装置により撮影されたものでもよい。また、第一画像情報２１ａおよび第二画像情報２１ｂは、赤外カットフィルタを設けた撮影装置と、赤外カットフィルタを設けていない撮影装置によりそれぞれ撮影されたものでもよい。記憶部２１のデバイスの一例としては、フラッシュメモリやＮＶＳＲＡＭ(Non  Volatile  Static  Random  Access  Memory)などのデータを書き換え可能な半導体メモリや、ハードディスク、光ディスクなどの記憶装置が挙げられる。
【００３９】
算出部２２は、各種の算出を行う。例えば、算出部２２は、第一画像情報２１ａおよび第二画像情報２１ｂから撮像装置３０で撮影された画像の色を補正する補正係数Ａを算出する。
【００４０】
ここで、算出部２２による補正係数Ａの算出について説明する。赤外カットフィルタを設けて撮影されたフィルタあり画像は、可視光による画像である。一方、赤外カットフィルタを設けずに撮影されたフィルタなし画像は、可視光および赤外光による画像であり、フィルタあり画像に比べて赤外光分を含む。このため、フィルタあり画像の画素のＲＧＢの各画素値をＲin、Ｇin、Ｂinとし、フィルタなし画像の画素のＲＧＢの各画素値をＲout、Ｇout、Ｂoutとし、赤外光分のＲＧＢの各画素値をΔＲ、ΔＧ、ΔＢとした場合、以下の（１２）式の関係があると考えられる。
Ｒout＝Ｒin＋ΔＲ
Ｇout＝Ｇin＋ΔＧ        （１２）
Ｂout＝Ｂin＋ΔＢ 
【００４１】
照明によって異なるが、照射される光に含まれる赤外光の割合は定まる。このため、補正係数Ａを３×３の行列と定めると、以下の（１３）式の関係があると考えられる。
【００４２】
【数７】
0005910043.tif 000008
【００４３】
フィルタなし画像の画素のＲＧＢの画素値Ｒout、Ｇout、Ｂoutの行例を（１４）式に示すように補正対象色Ｘとする。また、フィルタあり画像の画素の画素値Ｒin、Ｇin、Ｂinの行例を（１５）式に示すように、補正対象色Ｘの補正の目標とする目標色Ｙとする。
【００４４】
【数８】
0005910043.tif 000009
【００４５】
（１２）式は、（１３）（１４）（１５）式から以下の（１６）式のように表すことができる。なお、−Ａを新たな補正係数Ａに変更している。
Ｙ＝Ｘ＋Ａ・Ｘ        （１６）
【００４６】
一方、赤外光分の画素値ΔＲ、ΔＧ、ΔＢは、以下の（１７）式に示すように、目標色Ｙに対する補正対象色Ｘの色差ｄｙと考えられる。
ｄｙ＝Ｙ−Ｘ            （１７）
【００４７】
この（１７）式は、以下の（１８）式のように表せる。
Ｙ＝Ｘ＋ｄｙ            （１８）
【００４８】
上記（１６）（１８）式から、補正係数Ａは、補正対象色Ｘを色差ｄｙに可能なかぎり近く変換できることが好ましい。このような補正係数Ａは、目標色Ｙに対する補正対象色Ｘの色差ｄｙと、当該補正対象色Ｘを補正係数Ａで補正した補正色との差分のノルムを正則化する補正係数を算出することにより定めることができる。本実施例では、ノイズを減少させるために、Ｔｉｋｈｏｎｏｖの正則化法を用いて、補正係数Ａの算出を考える。例えば、以下の（１９）式のように、色差ｄｙと補正対象色Ｘを補正係数Ａで補正した補正色との差分のノルムと、所定の重み係数λを施した補正係数Ａのノルムとの和が最小値となる補正係数を算出する最小化問題と考える。
【００４９】
【数９】
0005910043.tif 000010
【００５０】
この補正係数Ａは、以下の（２０）式から算出される。
Ａ＝ｄｙ・ｘｔ／（ｘ・ｘｔ＋λ2・Ｉ）      （２０）
【００５１】
算出部２２は、記憶部２１に記憶された第一画像情報２１ａおよび第二画像情報２１ｂから（２０）式に示す演算を行って補正係数Ａを算出する。
【００５２】
例えば、図１８の各色を目標色Ｙとし、図１９の各色を補正対象色Ｘとし、λ＝３０とした場合の（２０）式に示す演算を行って求めた補正係数Ａの一例を（２１）式に示す。算出部２２は、算出された補正係数Ａを変換情報２１ｃとして記憶部２１に記憶させる。
【００５３】
【数１０】
0005910043.tif 000011
【００５４】
本実施例では、補正対象の画像の各画素のＲＧＢの画素値をＸとして上記（１６）式に示す演算を行って補正後のＲＧＢの画素値Ｙを算出することにより色の補正を行う。図２は、図１９の画像を補正係数Ａにより補正した画像の一例を示す図である。なお、補正係数Ａは、重み係数λ＝３０として算出したものを用いている。図２は、図１８に示した赤外カットフィルタを設けて撮影された画像に近い画像に補正される。
【００５５】
ここで、補正による画像の変化を明確にするため、補正前の画像と補正後の画像で対応する画素毎に、色を示すＲＧＢの値を輝度Ｙ、色差Ｉ、Ｑに変換して比較する。図３Ａは、図１８の画像と図２の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。図３Ａの例では、図１８の破線に沿った各画素の輝度Ｙを目標値として示し、図２の破線に沿った各画素の輝度Ｙを補正値として示す。図３Ｂは、図１８の画像と図２の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。図３Ｂの例では、図１８の破線に沿った各画素の色差Ｉを目標値として示し、図２の破線に沿った各画素の色差Ｉを補正値として示す。図３Ｃは、図１８の画像と図２の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。図３Ｃの例では、図１８の破線に沿った各画素の色差Ｑを目標値として示し、図２の破線に沿った各画素の色差Ｑを補正値として示す。
【００５６】
図３Ａに示すように、輝度Ｙは、目標値に近い値で補正値が小さい幅で変化する。すなわち、補正によるノイズの発生は小さいことを示す。また、図３Ｂおよび図３Ｃに示すように、色差Ｉ、Ｑは、補正値が目標値に近い値で変化する。すなわち、補正による色合いの変化は小さいことを示す。
【００５７】
このように補正係数Ａを用いて色の補正を行うことにより、赤外カットフィルタを設けずに撮影された画像は、赤外カットフィルタを設けて撮影された画像に近い画像に補正される。
【００５８】
ここで、重み係数λは、値が小さいほど補正された画像が赤外カットフィルタを設けずに撮影された画像に近い色合いとなるが、画像のノイズ量が多くなる。また、重み係数λは、値が大きいほど補正された画像のノイズが小さくなるが赤外カットフィルタを設けずに撮影された画像からの色合いの変化が大きくなる。重み係数λの値は、撮像装置３０に要求される撮影画像の画質に応じて決定される。例えば、撮影画像のノイズを抑えた場合は、重み係数λに大きい値が管理者により設定される。一方、撮影画像の色合の変化を抑えた場合は、重み係数λに小さい値が管理者により設定される。
【００５９】
格納部２３は、撮像装置３０の後述する記憶部３２に変換情報２１ｃを格納する。なお、変換情報格納装置２０と撮像装置３０がＵＳＢ（Universal  Serial  Bus）など有線により接続される場合、格納部２３は、有線を介して変換情報２１ｃを記憶部３２に格納してもよい。また、撮像装置３０が後述するようにメモリカード３７が着脱可能な場合、メモリカード３７に変換情報２１ｃを記憶させ、メモリカード３７を介して変換情報２１ｃを記憶部３２に格納してもよい。
【００６０】
図１に戻り、撮像装置３０は、静止画や動画の撮影を行う機器であり、例えば、デジタルカメラやビデオカメラ、監視カメラなどである。なお、撮像装置３０は、カメラを有する携帯端末であってもよい。撮像装置３０は、撮影部３１と、記憶部３２と、色補正部３３と、γ補正部３４と、画質調整部３５と、出力部３６と、メモリカード３７とを有する。
【００６１】
撮影部３１は、画像の撮像を行う。例えば、撮影部３１は、レンズなどの光学系部品、光学系部品の光軸上に配置された、ＣＣＤ（Charge  Coupled  Devices）イメージセンサやＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサなどの撮像素子を有する。撮影部３１は、光学系部品に赤外カットフィルタが含まれておらず、可視光および赤外光が撮像素子に入射する。撮像素子は、各画素に対応してＲＧＢが所定パターンで配列したカラーフィルタが受光面に設けられており、各画素で受光した光量に応じたアナログ信号を出力する。撮影部３１は、撮像素子から出力されたアナログ信号に対して相関２重サンプリングなどのノイズ除去処理や、増幅処理など各種のアナログ信号処理を行う。そして、撮影部３１は、アナログ信号処理されたアナログ信号をデジタルデータに変換し、デモザイク処理など各種のデジタル信号処理を行い、撮像された画像を示す画像情報を出力する。この画像情報の各画素は、ＲＧＢの色空間で所定階調により色を示す値が定められている。
【００６２】
記憶部３２は、各種情報を記憶する。例えば、記憶部３２は、変換情報格納装置２０により格納された変換情報２１ｃを記憶する。記憶部３２のデバイスの一例としては、フラッシュメモリやＮＶＳＲＡＭなどのデータを書き換え可能な半導体メモリが挙げられる。
【００６３】
色補正部３３は、撮影部３１により撮影された画像の色の補正を行う。例えば、色補正部３３は、記憶部３２に変換情報２１ｃとして記憶された補正係数Ａを読み出す。そして、色補正部３３は、撮影部３１により撮影された画像の各画素毎に、画素のＲＧＢの画素値をＸとして上記（１６）式に示す演算を行って補正後のＲＧＢの画素値Ｙを算出する。図４は、色補正部による処理の流れを模式的に示した図である。色補正部３３では、撮影部３１により撮影された画像の各画素のＲＧＢの画素値Ｘに補正係数Ａを乗算すると共に画素値Ｘを加算して補正後のＲＧＢの画素値Ｙを算出する。このように補正係数Ａを用いて色の補正を行うことにより、赤外カットフィルタを設けずに撮影された画像は、赤外カットフィルタを設けて撮影された画像に近い画像に補正される。
【００６４】
γ補正部３４は、色補正部３３により色が補正された画像情報に対して撮影部３１の感度特性を補正する非線形のγ補正を行い、撮影部３１により撮影された画像の明るさの変化と画素値の変化が比例するように補正を行う。
【００６５】
画質調整部３５は、画像の画質を調整する各種の画像処理を行う。例えば、画質調整部３５は、γ補正部３４によりγ補正された画像情報により示される画像の鮮やかさやコントラストなどが所定の画質となるように、当該画像情報に対して所定の画像処理を行う。
【００６６】
出力部３６は、各種の情報を出力する。例えば、出力部３６は、画質調整部３５により画質が調整された画像を表示する。出力部３６のデバイスの一例としては、ＬＣＤ（Liquid  Crystal  Display）の表示デバイスなどが挙げられる。なお、出力部３６は、画質調整部３５により画質が調整された画像情報を外部へ出力するものとしてもよい。
【００６７】
メモリカード３７は、各種の情報を記憶する。例えば、画質調整部３５により画質が調整された画像情報を記憶する。
【００６８】
次に、本実施例に係る変換情報格納装置２０により変換情報を導出し、撮像装置３０に格納する処理の流れを説明する。図５は、変換情報格納処理の手順を示すフローチャートである。この変換情報格納処理は、例えば、撮像装置３０に対して変換情報の格納を指示する所定操作が行われたタイミングで実行される。なお、変換情報格納処理は、変換情報格納装置２０に撮像装置３０が接続されたタイミングで実行してもよい。
【００６９】
図５に示すように、算出部２２は、記憶部２１に記憶された第一画像情報２１ａおよび第二画像情報２１ｂから（２０）式の演算を行って補正係数Ａを算出する（ステップＳ１０）。算出部２２は、算出した補正係数Ａを変換情報２１ｃとして記憶部２１に記憶させる（ステップＳ１１）。格納部２３は、記憶部２１から変換情報２１ｃを読み出し、撮像装置３０の記憶部３２に格納し（ステップＳ１２）、処理を終了する。これにより、撮像装置３０の記憶部３２には、補正係数Ａが記憶される。
【００７０】
次に、本実施例に係る撮像装置３０により画像を撮像する際の処理の流れを説明する。図６は、撮像処理の手順を示すフローチャートである。この撮像処理は、例えば、撮像装置３０に対して撮像を指示する所定操作が行われたタイミングで実行される。
【００７１】
図６に示すように、撮影部３１は、撮像素子の各画素からアナログ信号を読み出して各種のアナログ信号処理、デジタル信号処理を行い、撮像された画像を示す画像情報を出力する（ステップＳ２０）。色補正部３３は、記憶部３２に変換情報２１ｃとして記憶された補正係数Ａを読み出す（ステップＳ２１）。そして、色補正部３３は、読み出した補正係数Ａを用いて撮影部３１から出力された画像情報に対して（１６）式の演算を行って色を変換する補正を行う（ステップＳ２２）。γ補正部３４は、色が補正された画像情報に対してγ補正を行う（ステップＳ２３）。画質調整部３５は、γ補正された画像情報に対して画質を調整する所定の画像処理を行う（ステップＳ２４）。画質調整部３５は、画質が調整された画像を出力部３６へ出力して表示させる（ステップＳ２５）。また、画質調整部３５は、画質が調整された画像情報をメモリカード３７に記憶させ（ステップＳ２６）、処理を終了する。
【００７２】
このように、撮像装置３０は、目標色Ｙに対する補正対象色Ｘの色差と当該補正対象色Ｘを補正係数Ａで補正した補正色との差分のノルムと、所定の重み係数を施した補正係数Ａのノルムとの和が最小値となる補正係数Ａを変換情報として記憶する。そして、撮像装置３０は、変換情報に基づき、撮影部３１により撮影された画像の各画素の色を変換する。よって、撮像装置３０によれば、色合いの変化を抑えつつノイズの発生を抑えて画像を補正できる。これにより、撮像装置３０によれば、赤外カットフィルタを設けなくても、赤外カットフィルタを設けた画像に近い画像を撮影できる。
【００７３】
一方、変換情報格納装置２０は、目標色Ｙに対する補正対象色Ｘの色差と当該補正対象色Ｘを補正係数Ａで補正した補正色との差分のノルムと、所定の重み係数を施した補正係数Ａのノルムとの和が最小値となる補正係数を算出する。そして、変換情報格納装置２０は、算出された補正係数に基づいて導出した変換情報を撮像装置３０の記憶部３２に格納する。これにより、撮像装置３０は、変換情報に基づいて撮影された画像の各画素の色を変換することにより、色合いの変化を抑えつつノイズの発生を抑えて画像を補正できる。
【実施例２】
【００７４】
次に、実施例２について説明する。実施例２に係る撮影システム１０、変換情報格納装置２０および撮像装置３０の構成は、図１に示した実施例１に係る撮影システム１０、変換情報格納装置２０および撮像装置３０と略同一であるため、異なる部分について説明する。
【００７５】
ここで、上述した（１６）式は、単位行列をＩとすると以下の（２２）式のように表せる。
Ｙ＝（Ｉ＋Ａ）・Ｘ        （２２）
【００７６】
このＩ＋Ａをトータルの補正係数ＡTotalとした場合、（２２）式は、以下の（２３）式のように表せ、計算を簡略化できる。
Ｙ＝ＡTotal・Ｘ        （２３）
【００７７】
そこで、算出部２２は、記憶部２１に記憶された第一画像情報２１ａおよび第二画像情報２１ｂから補正係数Ａを算出し、算出した補正係数Ａに単位行列を加算してトータルの補正係数ＡTotalを算出する。そして、算出部２２は、トータルの補正係数ＡTotalを変換情報として記憶部２１に記憶させる。この記憶部２１に記憶されたトータルの補正係数ＡTotalは、格納部２３により撮像装置３０の記憶部３２に格納される。
【００７８】
色補正部３３は、記憶部３２に変換情報２１ｃとして記憶されたトータルの補正係数ＡTotalを読み出し、撮影部３１により撮影された画像の各画素毎に、画素のＲＧＢの画素値をＸとして上記（２３）式に示す演算を行って補正後のＲＧＢの画素値Ｙを算出する。図７は、色補正部による処理の流れを模式的に示した図である。色補正部３３では、撮影部３１により撮影された画像の各画素のＲＧＢの画素値Ｘにトータルの補正係数ＡTotalを乗算して補正後のＲＧＢの画素値Ｙを算出する。
【００７９】
このように、撮像装置３０は、補正係数Ａに単位行列を加算したトータルの補正係数ＡTotalを変換情報として記憶する。そして、撮像装置３０は、撮影部により撮影された画像の各画素の色を構成する各色成分に対してトータルの補正係数ＡTotalを乗算して色を変換する。よって、撮像装置３０によれば、色変換の処理の負荷を軽減できる。
【実施例３】
【００８０】
次に、実施例３について説明する。図８は、撮影システムの全体構成の一例を示す図である。なお、図１に示した実施例１に係る撮影システムと同一の部分については、同一の符号を付し、異なる部分について説明する。
【００８１】
変換情報格納装置２０は、色空間変換部２４をさらに有する。色空間変換部２４は、第一画像情報２１ａおよび第二画像情報２１ｂの色空間をＹＩＱの色空間に変換する。例えば、ＲＧＢの色空間からＹＩＱの色空間へ変換する変換係数をＣとし、ＲＧＢの色空間での目標色をＹ、補正対象色をＸとした場合、ＹＩＱの色空間での目標色Ｙ’および補正対象色Ｘ’は、以下の（２４）式、（２５）式のように表せる。
Ｙ’＝Ｃ・Ｙ          （２４）
Ｘ’＝Ｃ・Ｘ          （２５）
【００８２】
算出部２２は、色空間変換部２４によりＹＩＱの色空間に変換された第一画像情報２１ａおよび第二画像情報２１ｂから撮像装置３０で撮影された画像の色を補正する補正係数Ａ’を算出する。例えば、ＹＩＱの色空間での目標色Ｙ’に対する補正対象色Ｘ’の色差ｄｙ’は、以下の（２６）式のように表せる。
ｄｙ’＝Ｙ’−Ｘ’      （２６）
【００８３】
そして、ＹＩＱの色空間において、上述の（１９）式と同様に、Ｔｉｋｈｏｎｏｖの正則化法を用いて、以下の（２７）式に示す最小化問題を考える。
【００８４】
【数１１】
0005910043.tif 000012
【００８５】
この補正係数Ａ’は、以下の（２８）式から算出される。
Ａ’＝ｄｙ’・ｘ’ｔ／（ｘ’・ｘ’ｔ＋λ2・Ｉ）      （２８）
【００８６】
例えば、図１８の各色を目標色Ｙとし、図１９の各色を補正対象色ＸとしてＹＩＱの色空間に変換した後、λ＝１５として（２８）式に示す演算を行って求めた補正係数Ａ’の一例を（２９）式に示す。
【００８７】
【数１２】
0005910043.tif 000013
【００８８】
算出部２２は、算出された補正係数Ａ’を変換情報２１ｃとして記憶部２１に記憶させる。この記憶部３２に記憶された補正係数Ａ’は、格納部２３により撮像装置３０の記憶部３２に格納される。
【００８９】
一方、撮像装置３０は、第一色空間変換部４０と、第二色空間変換部４１をさらに有する。第一色空間変換部４０は、撮影部３１により撮影された画像の色空間をＹＩＱの色空間に変換する。
【００９０】
色補正部３３は、記憶部３２に変換情報２１ｃとして記憶された補正係数Ａ’を読み出す。そして、色補正部３３は、第一色空間変換部４０によりＹＩＱの色空間に変換された画素値をＸ’として下記（３０）式に示す演算を行って補正後のＹＩＱの色空間での画素値Ｙ’を算出する。
Ｙ’＝Ｘ’＋Ａ’・Ｘ’      （３０）
【００９１】
図９は、第一色空間変換部および色補正部による処理の流れを模式的に示した図である。第一色空間変換部４０では、撮影部３１により撮影された画像の各画素のＲＧＢ色空間の画素値ＸをＹＩＱ色空間の画素値Ｘ’に変換する。色補正部３３では、ＹＩＱ色空間の画素値Ｘ’に補正係数Ａ’を乗算すると共に画素値Ｘ’を加算して補正後のＲＧＢの画素値Ｙ’を算出する。
【００９２】
第二色空間変換部４１は、色補正部３３により補正撮影されたＹＩＱ色空間の画像をＲＧＢ色空間に変換する。ＲＧＢ色空間に変換された画像は、γ補正部３４によりγ補正が行われる。
【００９３】
図１０は、図１９の画像を補正係数Ａ’により補正した画像の一例を示す図である。なお、補正係数Ａ’は、重み係数λ＝１５として算出したものを用いている。また、比較のため、同じ重み係数λ＝１５として上述の（２０）式の演算により補正係数Ａを算出し、図１９の画像を（１６）式を用いて補正係数Ａにより補正した画像を示す。図１１は、図１９の画像を補正係数Ａにより補正した画像の一例を示す図である。図１０は、図１１よりもノイズが低減している。
【００９４】
ここで、補正による画像の変化を明確にするため、補正前の画像と補正後の画像で対応する画素毎に、色を示すＲＧＢの値を輝度Ｙ、色差Ｉ、Ｑに変換して比較する。図１２Ａは、図１８の画像と図１０の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。図１２Ａの例では、図１８の破線に沿った各画素の輝度Ｙを目標値として示し、図１０の破線に沿った各画素の輝度Ｙを補正値として示す。図１２Ｂは、図１８の画像と図１０の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。図１２Ｂの例では、図１８の破線に沿った各画素の色差Ｉを目標値として示し、図１０の破線に沿った各画素の色差Ｉを補正値として示す。図１２Ｃは、図１８の画像と図１０の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。図１２Ｃの例では、図１８の破線に沿った各画素の色差Ｑを目標値として示し、図１０の破線に沿った各画素の色差Ｑを補正値として示す。
【００９５】
また、図１３Ａは、図１８の画像と図１１の画像の対応する画素の輝度Ｙを比較した一例を示すグラフである。図１３Ａの例では、図１８の破線に沿った各画素の輝度Ｙを目標値として示し、図１１の破線に沿った各画素の輝度Ｙを補正値として示す。図１３Ｂは、図１８の画像と図１１の画像の対応する画素の色差Ｉを比較した一例を示すグラフである。図１３Ｂの例では、図１８の破線に沿った各画素の色差Ｉを目標値として示し、図１１の破線に沿った各画素の色差Ｉを補正値として示す。図１３Ｃは、図１８の画像と図１１の画像の対応する画素の色差Ｑを比較した一例を示すグラフである。図１３Ｃの例では、図１８の破線に沿った各画素の色差Ｑを目標値として示し、図１１の破線に沿った各画素の色差Ｑを補正値として示す。
【００９６】
図１２Ａと図１３Ａを比較した場合、輝度Ｙは、図１２Ａの方が目標値に近い値で補正値が小さい幅で変化する。すなわち、補正によるノイズは、ＹＩＱ色空間で求めた補正係数Ａ’により補正した方が低減している。一方、図１２Ｂと図１３Ｂおよび図１２Ｃと図１３Ｃを比較した場合、色差Ｉ、Ｑは、ほぼ同様である。すなわち、補正による色合いの変化はほぼ同様であることを示す。
【００９７】
このように補正係数Ａ’により補正した方が輝度Ｙのノイズが低減される理由は、（２６）（２７）式に示すように、ＹＩＱ色空間での色差から補正係数Ａ’を算出するため、輝度Ｙの差がより小さくなる補正係数Ａ’が求まるためである。
【００９８】
このように、撮像装置３０は、撮影部３１により撮影された画像の色空間を輝度および色差の色空間に変換する。また、撮像装置３０は、輝度および色差の色空間における目標色Ｙに対する補正対象色Ｘの色差と補正対象色Ｘを補正係数で補正した補正色とのノルムと、所定の重み係数を施した補正係数Ａ’のノルムとの和が最小値となる補正係数Ａ’を変換情報として記憶する。そして撮像装置３０は、変換情報に基づき、輝度および色差の色空間に変換された画像の各画素の色を変換する。よって、撮像装置３０によれば、ノイズの発生をより抑えて画像を補正できる。
【実施例４】
【００９９】
次に、実施例４について説明する。実施例４に係る撮影システム１０、変換情報格納装置２０および撮像装置３０の構成は、図８に示した実施例３に係る撮影システム１０、変換情報格納装置２０および撮像装置３０と略同一であるため、異なる部分について説明する。
【０１００】
ここで、上述した（３０）式は、単位行列をＩとすると以下の（３１）式のように表せる。
Ｙ’＝（Ｉ＋Ａ’）・Ｘ’        （３１）
【０１０１】
このＩ＋Ａ’をトータルの補正係数Ａ’Totalとした場合、（３１）式は、以下の（３２）式のように表せ、計算を簡略化できる。
Ｙ’＝Ａ’Total・Ｘ’        （３２）
【０１０２】
そこで、算出部２２は、記憶部２１に記憶された第一画像情報２１ａおよび第二画像情報２１ｂから補正係数Ａ’を算出し、算出した補正係数Ａ’に単位行列を加算してトータルの補正係数Ａ’Totalを算出する。そして、算出部２２は、トータルの補正係数Ａ’Totalを変換情報２１ｃとして記憶部２１に記憶させる。この記憶部２１に記憶されたトータルの補正係数ＡTotalは、格納部２３により撮像装置３０の記憶部３２に格納される。
【０１０３】
色補正部３３は、記憶部３２に変換情報２１ｃとして記憶されたトータルの補正係数Ａ’Totalを読み出す。そして、色補正部３３は、第一色空間変換部４０によりＹＩＱの色空間に変換された画像の各画素毎に、画素のＹＩＱの画素値をＸ’として上記（３２）式に示す演算を行って補正後のＹＩＱの画素値Ｙ’を算出する。図１４は、第一色空間変換部および色補正部による処理の流れを模式的に示した図である。第一色空間変換部４０では、撮影部３１により撮影された画像の各画素のＲＧＢ色空間の画素値ＸをＹＩＱ色空間の画素値Ｘ’に変換する。色補正部３３では、ＹＩＱ色空間の画素値Ｘ’にトータルの補正係数Ａ’Totalを乗算して補正後のＲＧＢの画素値Ｙ’を算出する。
【０１０４】
このように、撮像装置３０は、補正係数Ａ’に単位行列を加算したトータルの補正係数Ａ’Totalを変換情報として記憶する。そして、撮像装置３０は、撮影部により撮影された画像の各画素の色を構成する各色成分に対してトータルの補正係数Ａ’Totalを乗算して色を変換する。よって、撮像装置３０によれば、色変換の処理の負荷を軽減できる。
【０１０５】
また、撮像装置３０は、輝度および色差の色空間において算出した補正係数Ａ’から導出されたトータルの補正係数Ａ’Totalにより画像の各画素の色を変換する。よって、撮像装置３０によれば、ノイズの発生をより抑えて画像を補正できる。
【実施例５】
【０１０６】
次に、実施例５について説明する。実施例５は、補正情報を導出し、導出した補正情報を用いて画像を補正する画像処理装置５０として構成した場合について説明する。図１５は、画像処理装置の構成の一例を示す図である。なお、上述した実施例１〜４と同一の部分については、同一の符号を付し、異なる部分について説明する。図１５に示すように、画像処理装置５０は、記憶部２１と、算出部２２と、色補正部３３と、出力部３６とを有する。また、画像処理装置５０は、取得部５１をさらに有する。
【０１０７】
取得部５１は、各種の情報を取得する。例えば、取得部５１は、補正対象の画像を取得する。取得部５１は、例えば、画像処理装置５０に挿入されたフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ（Compact  Disk  Read  Only  Memory）、ＩＣ（Integrated  Circuit）カードなどの記憶媒体から補正対象の画像を読み出して取得してもよい。また、取得部５１は、公衆回線、インターネット、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）などのネットワークを介して補正対象の画像を取得してもよい。
【０１０８】
記憶部２１は、第一画像情報２１ａと、第二画像情報２１ｂと、変換情報２１ｃとを記憶する。算出部２２は、第一画像情報２１ａおよび第二画像情報２１ｂから撮像装置３０で撮影された画像の色を補正する補正係数Ａを算出する。そして、算出部２２は、算出された補正係数Ａを変換情報２１ｃとして記憶部２１に記憶させる。
【０１０９】
色補正部３３は、取得部５１により取得された補正対象の画像の色の補正を行う。例えば、色補正部３３は、記憶部３２に変換情報２１ｃとして記憶された補正係数Ａを読み出す。そして、色補正部３３は、取得部５１により取得された補正対象の画像の各画素毎に、画素のＲＧＢの画素値をＸとして上記（１６）式に示す演算を行って補正後のＲＧＢの画素値Ｙを算出する。出力部３６は、色補正部３３により補正された画像を出力する。例えば、出力部３６は、色補正部３３により補正された画像を表示する。なお、出力部３６は、色補正部３３により補正された画像を外部装置へ出力するものとしてもよい。
【０１１０】
次に、本実施例に係る画像処理装置５０により画像を補正する画像処理の流れを説明する。図１６は、画像処理の手順を示すフローチャートである。この画像処理は、例えば、取得部５１により取得された補正対象の画像に対して補正を指示する所定操作が行われたタイミングで実行される。
【０１１１】
図１６に示すように、算出部２２は、第一画像情報２１ａおよび第二画像情報２１ｂから撮像装置３０で撮影された画像の色を補正する補正係数Ａを算出する（ステップＳ３０）。算出部２２は、算出した補正係数Ａを変換情報２１ｃとして記憶部２１に記憶させる（ステップＳ３１）。色補正部３３は、記憶部３２に変換情報２１ｃとして記憶された補正係数Ａを読み出す（ステップＳ３２）。そして、色補正部３３は、読み出した補正係数Ａを用いて補正対象の画像に対して（１６）式の演算を行って色を変換する補正を行い（ステップＳ３３）、処理を終了する。
【０１１２】
このように、画像処理装置５０は、目標色Ｙに対する補正対象色Ｘの色差と当該補正対象色Ｘを補正係数Ａで補正した補正色との差分のノルムと、所定の重み係数を施した補正係数Ａのノルムとの和が最小値となる補正係数Ａを算出する。また、画像処理装置５０は、補正対象の画像を取得する。そして、画像処理装置５０は、算出された補正係数に基づいて導出した変換情報に基づき、取得された画像の各画素の色を変換する。よって、画像処理装置５０によれば、色合いの変化を抑えつつノイズの発生を抑えて画像を補正できる。
【実施例６】
【０１１３】
さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【０１１４】
例えば、上記の実施例１では、ＲＧＢの色空間において補正係数Ａを算出する場合について説明したが、開示の装置はこれに限定されない。例えば、変換情報格納装置２０に、実施例３のように色空間変換部２４を設けて、色空間変換部２４がＲＧＢの色空間の目標色Ｙおよび補正対象色Ｘを輝度および色差の色空間に変換する。そして、算出部２２が、輝度および色差の色空間における目標色Ｙに対する補正対象色Ｘの色差と当該補正対象色Ｘを補正係数で補正した補正色とのノルムと、所定の重み係数を施した補正係数Ａのノルムとの和が最小値となる補正係数Ａを算出する。そして、色空間変換部２４が、算出された補正係数ＡをＲＧＢの色空間に変換して撮像装置３０の記憶部３２に格納するようにしてもよい。この補正係数Ａは、ＹＩＱ色空間での色差がより小さくなるように要素が定められているため、ノイズの発生をより抑えて画像を補正できる。また、撮像装置３０は、撮影画像をＹＩＱ色空間に一旦変換しなくてもノイズの発生をより抑えて画像の色を補正できる。
【０１１５】
また、上記の実施例５の画像処理装置５０は、実施例２と同様に、算出部２２が補正係数Ａに単位行列を加算したトータルの補正係数ＡTotalを変換情報として記憶部２１に記憶させる。そして、色補正部３３が補正係数ＡTotal用いて補正対象の画像に対して（２３）式の演算を行って色を変換する補正を行ってもよい。
【０１１６】
また、上記の実施例５の画像処理装置５０は、実施例３の変換情報格納装置２０と同様に色空間変換部２４をさらに設けて第一画像情報２１ａおよび第二画像情報２１ｂをＹＩＱの色空間に変換して補正係数Ａ’を算出してもよい。
【０１１７】
また、上記の実施例５の画像処理装置５０は、画像の補正の際に、算出部２２により補正係数Ａを毎回算出しなくてもよい。すなわち、画像処理装置５０は、記憶部３２に変換情報２１ｃが記憶されている場合、記憶された変換情報２１ｃにより画像を補正するようにしてもよい。
【０１１８】
また、上記の実施例では、目標色に対する補正対象色の色差と補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した補正係数のノルムとの和が最小値となる補正係数を算出する場合について説明したが、これに限定されない。例えば、変換情報格納装置２０は、数値解析などにより、最小値から所定の許容範囲内となり、最小値と見なせる補正係数を算出するようにしてもよい。例えば、反復解法などにより、補正係数をある初期予測値から開始して、ノルムの和の計算を反復的に計算を行って徐々に解に収束させていき、最小値から所定の許容範囲内となるステップで計算を終了して近似値を得るものとしてもよい。
【０１１９】
また、上記の実施例では、輝度および色差の色空間をＹＩＱ色空間とした場合について説明したが、これに限定されない。例えば、ＹＵＶ色空間や、ＹＣｂＣｒ色空間、ＹＰｂＰｒ色空間、ＨＬＳ色空間としてもよい。また、ＨＳＶ色空間など明度を含む色空間に変換して補正係数を算出してもよい。
【０１２０】
また、上記の実施例では、補正係数を算出して補正情報として記憶させる場合について説明したが、これに限定されない。例えば、変換情報格納装置２０が補正係数から補正前の色と補正後の色を対応させた色変換用のルックアップテーブルを生成し、ルックアップテーブルを補正情報として撮像装置３０に記憶させてもよい。なお、ルックアップテーブルは、全ての色について生成して色変換を行うものとしてもよい。また、ルックアップテーブルは、特定の色についてのみ生成し、特定の色以外の色は特定の色からの補間により色変換を行うものとしてもよい。
【０１２１】
また、上記の実施例では、Ｔｉｋｈｏｎｏｖの正則化法を用いて補正係数に乗算する重み係数をλ2とした場合について説明したが、これに限定されない。例えば、乗算する重み係数を変えてもよい。正則化の他の例としては、ＬＡＳＳＯの正則化などがある。
【０１２２】
また、照明によって赤外光が含まれる割合が異なる。例えば、蛍光灯は赤外光が少ない。一方、白熱電球は赤外光を多く含む。このため、変換情報格納装置２０が異なる照明環境で補正情報を複数パターン生成して撮像装置３０に記憶させ、撮像装置３０が照明環境に応じた補正情報を用いて色の補正を行うものとしてもよい。撮像装置３０は、照明環境を検出する検出部を設けて照明環境を検出してもよく、ユーザからの入力により照明環境を判別してもよい。
【０１２３】
また、上記の実施例では、変換情報格納装置２０が補正情報を１つ生成して撮像装置３０に格納する場合について説明したが、これに限定されない。例えば、変換情報格納装置２０が異なる重み係数λで補正情報を複数パターン生成して撮像装置３０に格納し、撮像装置３０が複数パターンの補正情報から選択して色の補正を行うものとしてもよい。補正情報の選択は、撮像装置３０がユーザから撮影画像の画質の指定の受付け、受付けた画質に応じて選択してもよい。
【０１２４】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、変換情報格納装置２０の算出部２２、格納部２３、色空間変換部２４、および撮像装置３０の色補正部３３、γ補正部３４、画質調整部３５、第一色空間変換部４０、第二色空間変換部４１の各処理部が適宜統合されてもよい。また、例えば、画像処理装置５０の算出部２２、色補正部３３の各処理部が適宜統合されてもよい。さらに、各処理部の処理が適宜複数の処理部の処理に分離されてもよい。さらに、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１２５】
［変換情報格納プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図１７は、変換情報格納プログラムを実行するコンピュータを示す図である。
【０１２６】
図１７に示すように、コンピュータ３００は、ＣＰＵ（Central  Processing  Unit）３１０、ＨＤＤ（Hard  Disk  Drive）３２０、ＲＡＭ（Random  Access  Memory）３４０を有する。これら３００〜３４０の各部は、バス４００を介して接続される。
【０１２７】
ＨＤＤ３２０には上記の変換情報格納装置２０の算出部２２、格納部２３、色空間変換部２４と同様の機能を発揮する変換情報格納プログラム３２０ａが予め記憶される。なお、変換情報格納プログラム３２０ａについては、適宜分離しても良い。
【０１２８】
また、ＨＤＤ３２０は、各種情報を記憶する。例えば、ＨＤＤ３２０は、図１に示した第一画像情報２１ａおよび第二画像情報２１ｂに対応する第一画像情報３２０ｂおよび第二画像情報３２０ｃを記憶する。
【０１２９】
そして、ＣＰＵ３１０が、変換情報格納プログラム３２０ａをＨＤＤ３２０から読み出してＲＡＭ３４０に展開し、ＨＤＤ３２０に記憶された第一画像情報３２０ｂおよび第二画像情報３２０ｃを用いて各処理を実行する。すなわち、変換情報格納プログラム３２０ａは、算出部２２、格納部２３、色空間変換部２４と同様の動作を実行する。
【０１３０】
なお、上記した変換情報格納プログラム３２０ａについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。
【０１３１】
例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
【０１３２】
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
【０１３３】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
【０１３４】
（付記１）補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出された変換情報を記憶する記憶部と、
画像を撮影する撮影部と、
前記記憶部に記憶された変換情報に基づき、前記撮影部により撮影された画像の各画素の色を変換する色変換部と、
を有することを特徴とする撮像装置。
【０１３５】
（付記２）前記撮影部により撮影された画像の色空間を輝度および色差の色空間に変換する色空間変換部をさらに有し、
前記記憶部は、輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出された前記変換情報を記憶し、
前記色変換部は、前記変換情報に基づき、前記色空間変換部により輝度および色差の色空間に変換された画像の各画素の色を変換する
ことを特徴とする付記１に記載の撮像装置。
【０１３６】
（付記３）前記記憶部は、輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、前記撮影部により撮影された画像で用いられる色空間への変換が施された前記変換情報を記憶する
ことを特徴とする付記１に記載の撮像装置。
【０１３７】
（付記４）前記記憶部は、前記補正係数に単位行列を加算したトータルの補正係数を前記変換情報として記憶し、
前記色変換部は、前記撮影部により撮影された画像の各画素の色を構成する各色成分に対して前記変換情報として記憶されたトータルの補正係数を乗算して色を変換する
ことを特徴とする付記１〜３の何れか１つに記載の撮像装置。
【０１３８】
（付記５）コンピュータに、
補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
処理を実行させることを特徴とする画像処理プログラム。
【０１３９】
（付記６）補正対象とする画像の色空間を輝度および色差の色空間に変換し、
輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、輝度および色差の色空間に変換された画像の各画素の色を変換する
ことを特徴とする付記５に記載の画像処理プログラム。
【０１４０】
（付記７）輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、前記撮影部により撮影された画像で用いられる色空間への変換が施され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
ことを特徴とする付記５に記載の画像処理プログラム。
【０１４１】
（付記８）補正対象とする画像の各画素の色を構成する各色成分に対して補正係数に単位行列を加算したトータルの補正係数を乗算して色を変換する
ことを特徴とする付記５〜７の何れか１つに記載の画像処理プログラム。
【０１４２】
（付記９）コンピュータが、
補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
処理を実行することを特徴とする画像処理方法。
【０１４３】
（付記１０）補正対象とする画像の色空間を輝度および色差の色空間に変換し、
輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、記憶部に記憶された変換情報に基づき、輝度および色差の色空間に変換された画像の各画素の色を変換する
ことを特徴とする付記９に記載の画像処理方法。
【０１４４】
（付記１１）輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数に基づいて導出され、前記撮影部により撮影された画像で用いられる色空間への変換が施され、記憶部に記憶された変換情報に基づき、補正対象とする画像の各画素の色を変換する
ことを特徴とする付記９に記載の画像処理方法。
【０１４５】
（付記１２）補正対象とする画像の各画素の色を構成する各色成分に対して補正係数に単位行列を加算したトータルの補正係数を乗算して色を変換する
ことを特徴とする付記９〜１１の何れか１つに記載の画像処理方法。
【０１４６】
（付記１３）補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出する算出部と、
補正対象の画像を取得する取得部と、
前記算出部により算出された補正係数に基づいて導出した変換情報に基づき、前記取得部により取得された画像の各画素の色を変換する色変換部と、
を有する画像処理装置。
【０１４７】
（付記１４）前記目標色および前記補正対象色の色空間を輝度および色差の色空間に変換する色空間変換部をさらに有し、
前記算出部は、輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出する
ことを特徴とする付記１３に記載の画像処理装置。
【０１４８】
（付記１５）前記色空間変換部は、前記算出部により算出された補正係数を補正対象の画像で用いられる色空間への変換を施す
ことを特徴とする付記１４に記載の画像処理装置。
【０１４９】
（付記１６）前記算出部は、前記補正係数に単位行列を加算してトータルの補正係数を算出する
ことを特徴とする付記１３〜１５の何れか１つに記載の画像処理装置。
【０１５０】
（付記１７）コンピュータに、
補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出し、
算出された補正係数に基づいて導出した変換情報に基づき、補正対象の画像の各画素の色を変換する
各処理を実行させることを特徴とする画像処理プログラム。
【０１５１】
（付記１８）前記目標色および前記補正対象色の色空間を輝度および色差の色空間に変換し、
輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出する
ことを特徴とする付記１７に記載の画像処理プログラム。
【０１５２】
（付記１９）算出された補正係数を補正対象の画像で用いられる色空間への変換を施す
ことを特徴とする付記１８に記載の画像処理プログラム。
【０１５３】
（付記２０）前記補正係数に単位行列を加算してトータルの補正係数を算出する
ことを特徴とする付記１７〜１９の何れか１つに記載の画像処理プログラム。
【０１５４】
（付記２１）コンピュータが、
補正対象色の補正の目標とする目標色に対する当該補正対象色の色差と当該補正対象色を補正係数で補正した補正色との差分のノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出し、
算出された補正係数に基づいて導出した変換情報に基づき、補正対象の画像の各画素の色を変換する
各処理を実行することを特徴とする画像処理方法。
【０１５５】
（付記２２）前記目標色および前記補正対象色の色空間を輝度および色差の色空間に変換し、
輝度および色差の色空間における前記目標色に対する前記補正対象色の色差と当該補正対象色を補正係数で補正した補正色とのノルムと、所定の重み係数を施した前記補正係数のノルムとの和が最小値から所定の許容範囲内となる補正係数を算出する
ことを特徴とする付記２１に記載の画像処理方法。
【０１５６】
（付記２３）算出された補正係数を補正対象の画像で用いられる色空間への変換を施す
ことを特徴とする付記２２に記載の画像処理方法。
【０１５７】
（付記２４）前記補正係数に単位行列を加算してトータルの補正係数を算出する
ことを特徴とする付記２１〜２３の何れか１つに記載の画像処理方法。
【符号の説明】
【０１５８】
１０    撮影システム
２０    変換情報格納装置
２１    記憶部
２１ａ  第一画像情報
２１ｂ  第二画像情報
２１ｃ  変換情報
２２    算出部
２３    格納部
２４    色空間変換部
３０    撮像装置
３１    撮影部
３２    記憶部
３３    色補正部
４０    第一色空間変換部
４１    第二色空間変換部
【図１】
0005910043.tif 000014
【図３Ａ】
0005910043.tif 000015
【図３Ｂ】
0005910043.tif 000016
【図３Ｃ】
0005910043.tif 000017
【図４】
0005910043.tif 000018
【図５】
0005910043.tif 000019
【図６】
0005910043.tif 000020
【図７】
0005910043.tif 000021
【図８】
0005910043.tif 000022
【図９】
0005910043.tif 000023
【図１２Ａ】
0005910043.tif 000024
【図１２Ｂ】
0005910043.tif 000025
【図１２Ｃ】
0005910043.tif 000026
【図１３Ａ】
0005910043.tif 000027
【図１３Ｂ】
0005910043.tif 000028
【図１３Ｃ】
0005910043.tif 000029
【図１４】
0005910043.tif 000030
【図１５】
0005910043.tif 000031
【図１６】
0005910043.tif 000032
【図１７】
0005910043.tif 000033
【図２１Ａ】
0005910043.tif 000034
【図２１Ｂ】
0005910043.tif 000035
【図２１Ｃ】
0005910043.tif 000036
【図２３Ａ】
0005910043.tif 000037
【図２３Ｂ】
0005910043.tif 000038
【図２３Ｃ】
0005910043.tif 000039
【図２】
0005910043.tif 000040
【図１０】
0005910043.tif 000041
【図１１】
0005910043.tif 000042
【図１８】
0005910043.tif 000043
【図１９】
0005910043.tif 000044
【図２０】
0005910043.tif 000045
【図２２】
0005910043.tif 000046