(57)【要約】【課題】偽色がある画像を、小さな回路規模で高速に補正し、画像の不自然な色づきを軽減することができる画像処理装置，画像処理方法および画像処理プログラムの提供を図る。【解決手段】入力画像Ｐinおよび前記入力画像の偽色判定結果Ｐ，Ｐ13を受け取って、前記入力画像における色差信号Ｃb，Ｃrを平滑化する色差信号平滑化部１４と、前記入力画像における色差信号Ｃb，Ｃr，前記入力画像Ｐinの偽色判定結果Ｐ，Ｐ13および前記色差信号平滑化部１４の出力Ｐ14を受け取って、偽色判定された画素の色差信号を置き換えて偽色補正した出力画像Ｐoutを生成する色差信号置き換え部１５と、を有する。【選択図】図８
2015228582.tif 000002
【特許請求の範囲】
【請求項１】
入力画像および前記入力画像の偽色判定結果を受け取って、前記入力画像における色差信号を平滑化する色差信号平滑化部と、
前記入力画像における色差信号，前記入力画像の偽色判定結果および前記色差信号平滑化部の出力を受け取って、偽色判定された画素の色差信号を置き換えて偽色補正した出力画像を生成する色差信号置き換え部と、を有する、
ことを特徴とする画像処理装置。
【請求項２】
さらに、
前記入力画像における輝度信号を受け取って、白とび境界を検出する白とび境界検出部と、
前記入力画像における色差信号を受け取って彩度を判定する彩度判定部と、
前記白とび境界検出部の出力および前記彩度判定部の出力を受け取って、前記入力画像における偽色画素を判定する偽色画素判定部と、を有する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色差信号平滑化部は、
前記入力画像の偽色判定結果を重みに用いて、前記入力画像における色差信号の平滑化を行う、
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記色差信号平滑化部は、
前記入力画像における輝度信号の差分を重みに用いて、前記入力画像における色差信号の平滑化を行う、
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記色差信号平滑化部は、
前記入力画像の偽色判定結果と前記入力画像における輝度信号の差分の乗算値を重みに用いて、前記入力画像における色差信号の平滑化を行う、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記色差信号平滑化部は、
前記色差信号平滑化部の出力の信頼度を算出し、前記信頼度が低いほど、前記色差信号置き換え部の出力画像を無彩色に近づける、
ことを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
入力画像および前記入力画像の偽色判定結果を受け取って、前記入力画像における色差信号を平滑化し、
前記入力画像における色差信号，前記入力画像の偽色判定結果および前記入力画像における色差信号を平滑化した信号を受け取って、偽色判定された画素の色差信号を置き換えて偽色補正した出力画像を生成する、
ことを特徴とする画像処理方法。
【請求項８】
さらに、
前記入力画像における輝度信号を受け取って、白とび境界を検出し、
前記入力画像における色差信号を受け取って、彩度を判定し、
検出された前記白とび境界および判定された前記彩度を受け取って、前記入力画像における偽色画素を判定する、
ことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
入力画像を受け取って、前記前記入力画像に含まれる偽色を補正する画像処理プロセッサに実行させる画像処理プログラムであって、
前記画像処理プロセッサに、
前記入力画像および前記入力画像の偽色判定結果を受け取って、前記入力画像における色差信号を平滑化する手順と、
前記入力画像における色差信号，前記入力画像の偽色判定結果および前記入力画像における色差信号を平滑化した信号を受け取って、偽色判定された画素の色差信号を置き換えて偽色補正した出力画像を生成する手順と、を実行させる、
ことを特徴とする画像処理プログラム。
【請求項１０】
さらに、
前記画像処理プロセッサに、
前記入力画像における輝度信号を受け取って、白とび境界を検出する手順と、
前記入力画像における色差信号を受け取って、彩度を判定する手順と、
検出された前記白とび境界および判定された前記彩度を受け取って、前記入力画像における偽色画素を判定する手順と、を実行させる、
ことを特徴とする請求項９に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で言及する実施例は、画像処理装置，画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
近年、例えば、タブレットコンピュータやスマートフォン、或いは、音楽プレーヤーや携帯ゲーム機を始めとして様々な電子機器にカメラ機能が設けられている。また、コンパクトデジタルカメラ等のデジタルカメラはもちろんのこと、カメラ機能を有する様々な電子機器(画像撮影装置)は、静止画だけでなく動画を撮影することもできるようになって来ている。
【０００３】
このようなデジタルカメラやカメラ機能を有する電子機器により、被写体を撮影する際、例えば、撮影した画像のエッジ部分に、本来の被写体とは異なった色(偽色)が発生することがある。
【０００４】
エッジ周辺部の偽色は、レンズ収差の影響、撮像素子の電子の漏れ、折り返し歪など様々な要因で発生することが知られている。特に、近年はレンズユニットの小型化により、軸上色収差が発生しやすく、軸上色収差による偽色が問題となることも多い。
【０００５】
ところで、従来、エッジ周辺部の偽色の影響を低減するようにした画像処理技術としては、様々なものが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−０１４２６１号公報
【特許文献２】特開２００５−２５２７５６号公報
【特許文献３】特開２００６−１１５０３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述したように、例えば、軸上色収差があるレンズを用いて撮影を行うと、撮影した画像のエッジ周辺に紫色の偽色が発生する。このような紫色の偽色は、一般的に、パープルフリンジと呼ばれている。また、パープルフリンジは、レンズの軸上色収差によるものだけでなく、例えば、センサの特性に起因して発生するものも存在する。
【０００８】
ところで、例えば、パープルフリンジなどの偽色がある画像は、画質が大きく劣化して見えるため、通常、画像処理により補正することが行われている。しかしながら、パープルフリンジを低減する画像処理技術を一律に適用すると、補正された画像が不自然になり、或いは、画像を補正するために膨大な回路を使用するといった様々な不都合を生じることになる。
【課題を解決するための手段】
【０００９】
一実施形態によれば、色差信号平滑化部と、色差信号置き換え部と、を有する画像処理装置が提供される。前記色差信号平滑化部は、入力画像および前記入力画像の偽色判定結果を受け取って、前記入力画像における色差信号を平滑化する。
【００１０】
前記色差信号置き換え部は、前記入力画像における色差信号，前記入力画像の偽色判定結果および前記色差信号平滑化部の出力を受け取って、偽色判定された画素の色差信号を置き換えて偽色補正した出力画像を生成する。
【発明の効果】
【００１１】
開示の画像処理装置，画像処理方法および画像処理プログラムは、偽色がある画像を、小さな回路規模で高速に補正し、画像の不自然な色づきを軽減することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、デジタルカメラにより撮影された画像の一例を模式的に示す図である。
【図２】図２は、画像処理装置の一例を示すブロック図である。
【図３】図３は、図２に示す画像処理装置の各ブロックにより処理される画像を説明するための図である。
【図４】図４は、図２に示す画像処理装置における平滑化処理の一例を説明するための図である。
【図５】図５は、平滑化処理による問題を説明するための図である。
【図６】図６は、被写体が偽色に近い色の場合の問題を説明するための図である。
【図７】図７は、被写体が細い線の場合の問題を説明するための図である。
【図８】図８は、画像処理装置の第１実施例を示すブロック図である。
【図９】図９は、図８に示す画像処理装置における白とび境界検出部における処理の一例を説明するための図(その１)である。
【図１０】図１０は、図８に示す画像処理装置における白とび境界検出部における処理の一例を説明するための図(その２)である。
【図１１】図１１は、図８に示す画像処理装置におけるＣbＣr平滑化部における処理の一例を説明するための図(その１)である。
【図１２】図１２は、図８に示す画像処理装置におけるＣbＣr平滑化部における処理の一例を説明するための図(その２)である。
【図１３】図１３は、図８に示す画像処理装置が適用されるデジタルカメラの一例を示すブロック図である。
【図１４】図１４は、ＣbＣr平滑化部の第２変形例を説明するための図である。
【図１５】図１５は、ＣbＣr平滑化部の第３変形例における、注目画素の補正値の信頼度を説明するための図である。
【図１６】図１６は、本実施例に適用されるＣbＣr平滑化部の一例を示すブロック図である。
【図１７】図１７は、図１６に示すＣbＣr平滑化部における処理の一例を説明するための図である。
【図１８】図１８は、本実施例に適用される乗算値算出ＬＵＴの他の例を説明するための図である。
【発明を実施するための形態】
【００１３】
まず、画像処理装置，画像処理方法および画像処理プログラムの実施例を詳述する前に、図１〜図７を参照して、画像処理装置の一例、並びに、その画像処理装置における問題点を説明する。
【００１４】
図１は、デジタルカメラにより撮影された画像Ｐinの一例を模式的に示す図であり、パープルフリンジを説明するためのものである。前述したように、例えば、軸上色収差があるレンズを用いて撮影を行うと、撮影した画像(特に、逆光で撮影した画像)のエッジ周辺に、パープルフリンジと呼ばれる紫色の偽色が発生する。なお、パープルフリンジは、レンズの軸上色収差によるものだけでなく、例えば、センサの特性に起因して発生するものもある。パープルフリンジは、その特性上、高輝度部周辺に発生しやすい傾向にある。
【００１５】
具体的に、図１に示す画像Ｐinは、２本の木ＴＲ１，ＴＲ２を、青空ＳＫを背景にして撮影したものであり、例えば、木ＴＲ１，ＴＲ２のエッジ周辺、すなわち、木ＴＲ１，ＴＲ２と青空ＳＫとの境目には、パープルフリンジＰＦ1，ＰＦ2が発生している。なお、画像(入力画像)Ｐinにおいて、参照符号ＬＦ１，ＬＦ２は、木ＴＲ１，ＴＲ２における葉部を示し、ＦＲ１，ＦＲ２は、木ＴＲ２における実部を示す。
【００１６】
図２は、画像処理装置の一例を示すブロック図であり、パープルフリンジを低減するための画像処理装置の一例を示すものである。図３は、図２に示す画像処理装置の各ブロックにより処理される画像を説明するための図である。
【００１７】
図２に示されるように、画像処理装置７は、白とび検出部７１，彩度判定部７２，偽色画素判定部７３，色差信号(ＣbＣr)平滑化部７４および色差信号(ＣbＣr)置き換え部７５を含む。ここで、色差信号ＣｂＣｒは、例えば、Ｂ−Ｙ，Ｒ−Ｙで算出できる色を表現した信号を示す。なお、ＣｂＣｒの代わりに、ＵＶなどを用いることもできる。
【００１８】
図２および図３に示されるように、白とび検出部７１は、入力画像Ｐin(入力ＹＣbＣr)における輝度信号Ｙを受け取って白とびを検出し、白とび検出結果Ｐ71を生成して偽色画素判定部７３に出力する。彩度判定部７２は、入力画像Ｐinにおける色差信号Ｃb，Ｃrを受け取って彩度を判定し、彩度判定結果Ｐ72を生成して偽色画素判定部７３に出力する。
【００１９】
偽色画素判定部７３は、白とび検出部７１からの白とび検出結果Ｐ71、および、彩度判定部７２からの彩度判定結果Ｐ72を受け取って偽色画素を判定し、偽色判定結果Ｐ73を生成してＣbＣr置き換え部７５に出力する。ＣbＣr平滑化部７４は、入力画像Ｐinにおける色差信号Ｃb，Ｃrを受け取って平滑化を行い、ＣbＣr平滑化結果Ｐ74を生成してＣbＣr置き換え部７５に出力する。
【００２０】
図４は、図２に示す画像処理装置における平滑化処理の一例を説明するための図である。図４に示されるように、ＣbＣr平滑化部７４による平滑化処理は、入力画像Ｐinにおける色差信号Ｃb，Ｃrを受け取り、例えば、注目画素ＡＴＰに対する５×５(２５画素)の注目枠内の画素値(Ｙ成分)に対して、平均値による平滑化処理は、以下の計算で求まる。
【００２１】
(２５０＋２５０＋２５０＋２５０＋２００＋
２５０＋２５０＋２５０＋２００＋２５０＋
２５０＋２５０＋２００＋  ８０＋  ８０＋
２５０＋２００＋  ８０＋  ８０＋  ８０＋
２００＋  ８０＋  ８０＋  ８０＋  ８０)／２５
＝ １７９
ＣｂＣｒ平滑化部７４では、上記のような平滑化処理をＣｂＣｒそれぞれの成分に対して行う。
【００２２】
ＣbＣr置き換え部７５は、偽色画素判定部７３からの偽色判定結果Ｐ73、ＣbＣr平滑化部７４からのＣbＣr平滑化結果Ｐ74、および、入力画像Ｐinにおける色差信号Ｃb，Ｃrを受け取ってＣbＣrの置き換えを行い、偽色補正後ＣbＣr(出力画像)Ｐoutを出力する。
【００２３】
このように、図２に示す画像処理装置７は、白とび部位の周辺で、かつ、偽色と似た彩度(Ｃb，Ｃr)を有する画素を偽色画素と判定し、その偽色と判定された画素の色(Ｃb，Ｃr)を周辺画素で平滑化した値に置き換えることで偽色を抑制している。
【００２４】
［課題１］
ところで、ＣbＣrを平滑化する際、例えば、ガウシアンフィルタなどのローパスフィルタ(ＬＰＦ)などを用いる方法が考えられるが、この方法を用いると、次のような問題点１〜問題点３が発生する可能性がある。
【００２５】
すなわち、問題点１：偽色画素を参照するため、偽色が完全には解消されない、問題点２：低輝度領域に偽色がある場合、周辺の高輝度画素の色で誤った補正値が算出される(高輝度領域に偽色がある場合、周辺の低輝度画素の色で誤った補正値が算出される)。さらに、問題点３：複雑な模様がある場合、複数の色が混ざり合って色にじみが発生する。
【００２６】
図５は、平滑化処理による問題を説明するための図である。ここで、図５(a)は、問題点１に相当する出力画像Ｐout1aを示し、図５(b)は、問題点２に相当する出力画像Ｐout1bを示し、そして、図５(c)は、問題点３に相当する出力画像Ｐout1cを示す。
【００２７】
例えば、前述した図１と図５(a)の比較のように、入力画像Ｐinにおける偽色発生個所ＰＦ1，ＰＦ2は、例えば、偽色画素を含めて参照するため、出力画像Ｐout1aのＰＦ1a，ＰＦ2aでも、偽色を完全に解消することは困難(問題点１)となっている。
【００２８】
さらに、図１と図５(b)の比較のように、例えば、偽色発生個所ＰＦ1，ＰＦ2が入力画像Ｐinの低輝度領域の場合などでは、周辺の高輝度画素の色で誤った補正値が算出されるため、出力画像Ｐout1bのＰＦ1b，ＰＦ2bでは誤った色に補正されてしまう(問題点２)。
【００２９】
また、図１と図５(c)の比較のように、木ＴＲ２の葉部ＬＦ２の中に、実部ＦＲ１，ＦＲ２が存在するといった複雑な模様がある場合、このＦＲ１，ＦＲ２の影響で出力画像Ｐout1cのＰＦ1c，ＰＦ2cに色にじみＣＢ１，ＣＢ２が発生する可能性がある(問題点３)。
【００３０】
そこで、上記のような問題点１〜問題点３に対して、ＣbＣrを平滑化する際、例えば、平滑化に用いる画素(参照画素)の画素値に重みを加えることでより正確な補正値を算出する手法が考えられている。すなわち、この補正値の算出を式で表すと、次の［式１］のような算出式となる。
【数１】
2015228582.tif 000003
【００３１】
ここで、Ｃb(ｘ，ｙ)，Ｃr(ｘ，ｙ)は、座標(ｘ，ｙ)におけるＣb，Ｃrの入力値、Ｃb'(ｘ，ｙ)，Ｃr'(ｘ，ｙ)は、座標(ｘ，ｙ)におけるＣb，Ｃrの出力値、そして、Ｆ(ｘ，ｙ，i，ｊ)は、平滑化に用いる重みを表す。また、Ｗは、フィルタ処理に使用する周辺画素の範囲(参照領域)を表す。
【００３２】
上述した算出式において、具体的な重みＦの例として、参照画素(x＋i，y＋ｊ)の色相が偽色から離れているほど大きな値となる重みを与えることが考えられるが、それだけでは、例えば、問題点１は解消できても、問題点２および問題点３を解消するのは難しい。
【００３３】
さらに、本来の被写体の色が偽色に近い色の場合、このような重みを使用すると、本来の被写体の色とは異なった色で補正されてしまう可能性が高くなる。図６は、被写体が偽色に近い色の場合の問題を説明するための図である。ここで、図６(a)は、撮影する被写体Ｒobを示し、図６(b)は、補正前の画像(入力画像Ｐin)を示し、そして、図６(c)は、補正後の画像(出力画像Ｐout)を示す。
【００３４】
すなわち、図６(a)に示されるように、例えば、被写体Ｒobとなる円形状物Ｃ2aの色が偽色に近い色(例えば、紫色)の場合、図６(b)に示されるように、入力画像Ｐinでは、撮影された円形状物Ｃ2bと偽色発生個所ＰＦ2bの色は、ほぼ同じ色になる。
【００３５】
このような場合、例えば、前述した［式１］による偽色発生個所の補正を行うと、図６(c)に示されるように、出力画像Ｐoutにおいて、偽色発生個所ＰＦ2cの色が撮影された円形状物Ｃ2c(Ｃ2b)の色とは異なる色になってしまう虞がある。
【００３６】
［課題２］
また、例えば、電線などの細い線上で偽色が発生していた場合、線全体が偽色となってしまうと周辺画素から正しい元の色を復元することが困難になる。図７は、被写体が細い線の場合の問題を説明するための図であり、図７(a)は、補正前の画像(入力画像Ｐin)を示し、図７(b)は、補正後の画像(出力画像Ｐout)を示す。図７(a)および図７(b)において、参照符号ＴＰは、電柱を示し、ＷＥは、電線を示し、ＳＫは、背景(青空)を示す。
【００３７】
ここで、図７(a)に示されるように、入力画像Ｐinにおいて、電線ＷＥは、例えば、背景の青空ＳＫの中に細い線として存在するため、電線ＷＥの偽色発生個所ＰＦ3aは、電線ＷＥそのものとなり、電線ＷＥ自体の色が偽色となる。なお、電柱ＴＰのエッジ周辺にも偽色発生個所ＰＦ4aが存在するが、このＰＦ4aは、例えば、前述した木ＴＲ１，ＴＲ２のパープルフリンジＰＦ1，ＰＦ2と同様のものとなる。
【００３８】
図７(a)に示されるように、例えば、電線ＷＥ(ＰＦ3a)に偽色が発生していた場合、電線ＷＥ全体が偽色となり、その偽色となっている電線ＷＥに対して、例えば、背景の青空ＳＫによる色の補正が行われるため、不自然な画像となってしまう。
【００３９】
［課題３］
さらに、上述した偽色抑制処理をソフトウェアにより実現するには、複雑な演算が含まれるため演算処理量が膨大となり、処理時間の遅延を招くことになってしまう。また、偽色抑制処理を専用のハードウェアで実現することも考えられるが、その場合には、例えば、大きなタップ数のフィルタ処理を行うために回路規模が膨大なものとなる可能性がある。
【００４０】
このように、例えば、パープルフリンジなどの偽色がある画像を、画像処理により補正する場合、回路規模が大きく、または、処理時間が長くなり、或いは、画像に不自然な色づきが発生するといった様々な不都合が生じることになる。
【００４１】
以下、本実施例の画像処理装置，画像処理方法および画像処理プログラムを、添付図面を参照して詳述する。図８は、画像処理装置の第１実施例を示すブロック図である。
【００４２】
図８に示されるように、第１実施例の画像処理装置１は、白とび境界検出部１１，彩度判定部１２，偽色画素判定部１３，色差信号(ＣbＣr)平滑化部１４および色差信号(ＣbＣr)置き換え部１５を含む。ここで、色差信号ＣｂＣｒは、例えば、Ｂ−Ｙ，Ｒ−Ｙで算出できる色を表現した信号を示すのは前述した通りである。
【００４３】
図８と前述した図２の比較から明らかなように、第１実施例の画像処理装置１では、図２を参照して説明した画像処理装置７における白とび検出部７１が白とび境界検出部１１とされている。
【００４４】
さらに、第１実施例の画像処理装置１において、ＣbＣr平滑化部１４は、入力画像Ｐinの色差信号ＣbＣr(入力ＣbＣr)だけでなく、入力画像Ｐinの輝度信号Ｙ(入力Ｙ)、並びに、偽色画素判定部１３からの偽色判定結果Ｐ13受け取るようになっている。
【００４５】
［白とび境界検出部１１について］
＜動作説明＞
まず、前述した図２の画像処理装置７における白とび検出部７１は、例えば、偽色が発生するのは白とび画素の周辺であるため、その白とび部を検出して、その周辺に補正をかけるようになっている。
【００４６】
しかしながら、白とび画素の周辺における全ての画素に補正をかけてしまうと、偽色でない正常な色の画素に対しても補正を適用することになり、前述した色にじみなどの弊害が発生してしまうことがある。
【００４７】
そこで、第１実施例の画像処理装置１における白とび境界検出部１１は、次の偽色の発生のメカニズムを考慮して処理を行う。すなわち、偽色の発生に関して、白とび部周辺にある低輝度画素が暗くなるほど偽色が強くなり、また、周辺にある輝度差の大きい画素の数が多くなるほど偽色は強くなる。
【００４８】
そのため、注目画素が白とび画素の場合には、周辺にある低輝度画素の数を考慮し、また、注目画素が低輝度画素の場合には、周辺にある白とび画素の数を考慮するのが好ましい。
【００４９】
これを利用して補正の適用位置とその強さを調整することで、補正による弊害を少なく抑えることが可能となる。また、これによって補正の強さがなめらかに変化するため、補正を適用した個所と適用していない個所の境界に不自然な境界が発生するという弊害も回避することができる。
【００５０】
従って、白とび境界検出部１１は、周辺にある輝度差が大きく異なる画素の数と、低輝度画素の明るさを利用して偽色の強さの指標Ｐyを算出する。ここで、Ｐyは、０〜１．０の範囲の値で、偽色がないと思われる画素は『０』の値をとり、偽色が強いと思われる画素は『１．０』の値をとる。次に、注目画素における、Ｐyの算出方法の例を説明する。
【００５１】
＜算出方法＞
まず、注目画素の輝度値Ｙが閾値以下の低輝度画素の場合、その注目画素の輝度値Ｙから、輝度に対する補正の度合いＰydを算出し、さらに、近傍にある白とび画素の画素数から、画素数に対する補正の度合いＰnを算出する。そして、ＰydとＰnを乗算することで、Ｐyを算出する(Ｐy＝Ｐyd×Ｐn)。
【００５２】
また、注目画素が白とび画素であり、かつ、周辺に、閾値に低輝度画素がある場合、周辺の低輝度画素の輝度値Ｙから、輝度に対する補正の度合いＰydを算出し、近傍にある低輝度画素の画素数から、画素数に対する補正の度合いＰdを算出する。そして、ＰydとＰnを乗算することで、Ｐyを算出する(Ｐy＝Ｐyd×Ｐn)。そして、注目画素が低輝度画素でも白とび画素でもない場合には、Ｐy＝０とする。
【００５３】
図９および図１０は、図８に示す画像処理装置における白とび境界検出部における処理の一例を説明するための図である。図９(a)は、偽色発生の一例を示し、図９(b)は、図９(a)のような偽色発生例において使用する近傍領域の例を示すものである。
【００５４】
例えば、図９(a)のような偽色発生例において、Ｐn算出の際に使用する近傍領域は、偽色の発生状況によって変えるのが好ましい。例えば、図９(b)に示されるように、偽色が白とび部から３画素離れた位置で発生し得る場合、注目画素の周辺近傍の３画素分を近傍領域(近傍画素)として用いるのが好ましい。
【００５５】
なお、Ｐydの算出には、例えば、図１０(a)のような変換テーブルを適用することができ、また、Ｐnの算出には、例えば、図１０(b)のような変換テーブルを適用することができる。
【００５６】
ここで、図１０(a)に示されるように、Ｐyd用変換テーブルは、例えば、白とび部周辺の低輝度画素が暗くなるほど偽色が強いと判定されるように、輝度値が暗くなるほど１．０に近づくようになっている。
【００５７】
また、図１０(b)に示されるように、Ｐn用変換テーブルは、例えば、周辺にある輝度差の大きい画素の数が多くなるほど偽色が強いと判定されるように、画素数が大きくなるほど１．０に近づくようになっている。
【００５８】
例えば、近傍領域内の半分以上の画素数が白とび画素の場合、その画素は、白とび領域に隣接しており、偽色である可能性も高いため、画素数が半分を超える場合はＰn＝１．０とするのが好ましい。また、近傍画素中(近傍領域内)に白とび画素が存在しないとき、補正が行われないように、画素数が０の場合は、Ｐn＝0とするのが好ましい。
【００５９】
なお、図１０(a)および図１０(b)に示す変換テーブルの値は、例えば、偽色の発生度合いや状況に応じて調整するのが好ましい。また、偽色は、画像の周辺部で大きく発生する特性があるため、この変換テーブルの値を、処理対象画素の座標に応じて変化させることも可能である。
【００６０】
［彩度判定部１２について］
＜動作説明＞
まず、前述した図２の画像処理装置７における彩度判定部７２は、偽色以外の色を有する画素に対しても補正を行ってしまう可能性がある。ここで、偽色は、例えば、パープルフリンジなどと呼ばれるように、ある一定の色を有していることが一般的である。
【００６１】
そこで、さらに偽色と同じ色を有する画素に補正対象を絞ることによって、誤った補正による弊害を低減する。また、偽色は、常に一定の色とは限らず、例えば、色補正などの結果により紫色から赤に近い色に変わるなどの可能性も考えられる。
【００６２】
よって、広い範囲の色を偽色と判定しない限り、すべての偽色を補正することは難しい。ただし、広い範囲を偽色とすると、誤った補正による弊害の可能性が大きくなる。従って、補正効果を保ちつつ弊害を少なくするには、最低限補正をかけたい色のみに限定して補正をかけることで実現できると考えられる。
【００６３】
そこで、第１実施例の画像処理装置１における彩度判定部１２は、注目画素の色(Ｃb，Ｃr)から偽色らしさの指標Ｐcを算出する。ここで、Ｐcは、例えば、０〜１．０の範囲の値をとり、偽色ではないと考えられる画素のＰcは『０』、偽色らしさが高いために強く補正したいと考えられる画素のＰcは『１．０』の値をとるよう算出される。
【００６４】
参照テーブル(ＬＵＴ：Look Up Table)は、予め複数の画像を撮影して、偽色の発生傾向と弊害の発生傾向を調査して作成するのが好ましい。具体的に、例えば、以下のような手順で作成することができる。
【００６５】
i) 参照テーブルを全て『０』で初期化する。
ii) 画像から偽色が目立つ色を目視で確認し、その色に近い色に対するテーブル値を『１．０』に変更する。
iii) 偽色がそれほど目立たないが補正したい色がある場合、その色に近い色のテーブル値を『０．５』程度の値に変更する。
iv) 上記i)〜iii)までの参照テーブルを用いて実際に補正処理を行った結果、色ボケなどの補正による弊害が目立つ場合、弊害が発生している色のテーブル値を『０』に変更する。
【００６６】
＜算出方法＞
予め撮影した複数の画像を用いて、全ての色(Ｃb，Ｃr)についてその色の偽色らしさの指標(Ｐc)を、０〜１．０の範囲で決定する。そして、決定した値を、参照テーブル(ＬＵＴ)として保存しておく。そして、補正処理時に、上記参照テーブルから注目画素の色(Ｃb，Ｃr)に対応する偽色らしさの値を取得し、その値をＰcとする。
【００６７】
このように、偽色補正を行う色を広範囲に設定することで、偽色の色が変化した場合でも補正することができる。また、弊害が発生しやすい色に対して、ピンポイントで補正を弱くかけることも可能となる。
【００６８】
［偽色画素判定部１３について］
＜動作説明＞
まず、偽色の強さの指標Ｐyと偽色らしさの指標Ｐcから、偽色の度合いを示す偽色判定結果Ｐを算出する。上述したように、ＰyとＰcの値が大きい個所ほど、偽色が強く発生している可能性が高くなる。よって、偽色判定結果Ｐは、ＰyとＰcがともに大きい値の時に大きい値となるよう設定する。
【００６９】
＜算出方法＞
例えば、Ｐは、次の式で計算することができる。
Ｐ＝Ｐy×Ｐc
【００７０】
［ＣbＣr置き換え部１５について］
＜動作説明＞
ＣbＣr置き換え部１５は、偽色判定結果Ｐに応じて、その画素を補正するか補正しないかを決定し、補正する場合は補正値を計算し、入力画素のＣbＣrと入れ替えて出力する。補正値は、偽色判定結果Ｐの値が大きいほど、補正が強くかかるよう算出する。
【００７１】
＜算出方法＞
偽色判定結果Ｐが『０』、つまり偽色がないと判定された画素は、入力ＣbＣrを出力する。一方、偽色判定結果Ｐが『０』以外、つまり偽色があると判定された画素は、補正値を計算して出力する。
【００７２】
ここで、補正値は、入力画素のＣbＣrと、ＣbＣr平滑化部１４の出力をＰの値に応じてブレンド(混合)することで算出される。すなわち、補正値は、次の式により算出される。
補正値＝入力画素のＣbＣr×(１．０−Ｐ)＋ＣbＣr平滑化部１４の出力×Ｐ
【００７３】
［ＣbＣr平滑化部１４について］
＜動作説明＞
ＣbＣr平滑化部１４は、周辺画素の重み付き平滑化処理を行って、注目画素の偽色補正値を算出する。平滑化に用いる重みは、注目画素の色を正しく再現できるように、以下の２つを掛け合わせた重み(『偽色判定結果Ｐによる重み』×『輝度値Ｙの差分による重み』)を用いる。
【００７４】
<偽色判定結果Ｐによる重み>
まず、周辺にある偽色画素を使って補正値を算出すると、偽色が完全には補正されず残ってしまうことがある。そのため、補正値を算出する際は、偽色ではない画素のみを利用することが好ましい。
【００７５】
ここで、例えば、ＣbＣrが偽色と異なる色を有している場合には、その画素にかける重みを小さくすることで、補正値が偽色の影響を受けないようにする方法が考えられる。しかしながら、この方法では、本来の被写体の色が偽色に近い色を有している場合には、本来の被写体の色とは異なった色で補正されてしまう可能性が高くなる。
【００７６】
そこで、本実施例では、上述したようにして算出した偽色判定結果Ｐを重みに用い、Ｐが『１．０』に近い画素ほど重みを小さくする。すなわち、偽色判定結果Ｐは、本来の被写体の色が偽色に近い色を有している場合でも、Ｐn算出に使用する近傍画素中に白とび画素が存在しない場合には、Ｐ＝０となるようＰn変換テーブルを設定する。これにより、Ｐn算出に用いる近傍領域の外側の画素から正しい色に補正することが可能になる。
【００７７】
<輝度値Ｙの差分による重み>
上述したように、偽色判定結果Ｐの重みにより、偽色画素を補正に用いる可能性は低くなるが、注目画素とは異なる被写体の色を参照して補正してしまう可能性は高いままである。すなわち、異なる被写体の色を参照してしまうと、補正個所に色にじみが発生してしまう。
【００７８】
ここで、被写体が異なる場合、輝度値Ｙは、大きく異なる可能性が高い。そこで、注目画素の輝度値Ｙと参照画素の輝度値Ｙが大きく異なる場合には、重みを小さくする。これにより、異なる被写体の色を参照する可能性が小さくなり、正しい被写体の色で補正できるようになる。
【００７９】
＜算出方法＞
この処理は、例えば、次の［式２］により計算することができる。
【数２】
2015228582.tif 000004
【００８０】
［平滑化に使用する画素について］
図１１は、図８に示す画像処理装置におけるＣbＣr平滑化部における処理の一例を説明するための図(その１)であり、領域を規定するＷが５画素(Ｗ＝５)の場合の平滑化に使用する画素を示す。
【００８１】
図１１に示されるように、上述した［式２］で平滑化に用いる領域は、Ｗにより決まる矩形領域となっている。矩形領域は、Ｗ＝５に限定されるものではなく、さらに、矩形領域は、演算が簡単なため単なる例として挙げただけのもので、円形などの領域を用いることも可能である。
【００８２】
ここで、領域の大きさ(Ｗの値)は、偽色が発生しうる距離(例えば、３画素)よりも大きくなるように、Ｗを設定(Ｗ＝５画素)するのが好ましい。すなわち、領域が小さすぎると、例えば、その領域内に偽色画素しか存在せず、補正がうまくいかない画素が発生する可能性が出てくるからである。
【００８３】
［Ｃb'Ｃr'算出式の物理的な意味について］
注目画素の色ＣbＣrを、周辺画素の色ＣbＣrから推定する際には、推定に使用するのが好ましい周辺画素のみを用いることで、推定の精度を向上させることができる。前述した［式２］は、重みＫを用いることでより好ましい画素を優先して使って補正することができる。なお、［式２］における重みＫは、推定に用いることが好ましい場合は大きい値で、好ましくない場合は『０』となるように算出される。
【００８４】
また、［式２］において、例えば、Ｋが０，１の２値であった場合、Ｋ＝１の画素のみを用いた平滑化処理を実現することができる。以下に、計算の様子の一例を示す。図１２は、図８に示す画像処理装置におけるＣbＣr平滑化部における処理の一例を説明するための図(その２)であり、図１２(a)は、Ｃbの値の例を示し、図１２(b)は、重みＫの値の例を示す。
【００８５】
図１２(a)および図１２(b)に示されるように、注目画素の周辺の画素Ｃb0，Ｃb1，Ｃb2，…，Ｃb7に対して、重みＫの値が、０，０，１，…，１の場合、平滑化後の出力値は、次の式で計算される。
Ｃb'＝(0＊Ｃb0＋0＊Ｃb1＋1＊Ｃb2＋0＊Ｃb3＋1＊Ｃb4＋0＊Ｃb5＋0＊Ｃb6＋1＊Ｃb7)／(0＋0＋1＋0＋1＋0＋0＋1)
＝(Ｃb2＋Ｃb4＋Ｃb7)／３
【００８６】
これより、Ｋ＝１の画素のみを用いた平滑化処理が実現できている様子が確認できる。また、重みＫの値は、Ｋ＝０，１だけではなく、偽色であるかあいまいな画素に対してはＫ＝０．５などの中間値を使用することで、その画素も平滑化に利用することも可能である。この場合、例えば、Ｋ＝０．５の画素は、Ｋ＝１の画素より重みが小さいため、平滑化結果に及ぼす影響も小さくなる。
【００８７】
［重みＫの物理的な意味について］
前述した［式２］において、Ｋ(ｘ，ｙ，ｉ，j)は、平滑化に用いる重みを表し、項Ｔ１は、「輝度値Ｙの差分による重み」を表し、そして、項Ｔ２は、「偽色判定結果Ｐによる重み」を表す。なお、重みＫは、前述したように、推定に用いることが好ましい場合は大きい値で、好ましくない場合は『０』となるように算出される値である。
【００８８】
まず、「輝度値Ｙの差分による重み」は、注目画素と参照画素の輝度値Ｙが等しい場合は『１．０』となり、注目画素と参照画素の輝度値Ｙの差分が大きくなるにつれて重みは『０』に近づくようになっている。
【００８９】
ここで、輝度値Ｙが異なる場合、その画素は違う被写体である可能性が高く、注目画素の推定に使用するのは好ましくない。その時は重みが『０』に近づくため、想定通りの重みづけが実現できている。
【００９０】
また、「偽色判定結果Ｐによる重み」は、偽色判定結果Ｐが『０』の場合は『１．０』、偽色判定結果Ｐが『１．０』の場合は重みが『０』になる。偽色判定結果Ｐは、偽色が強い可能性がある画素で『１．０』の値をとる。偽色が強い可能性がある画素は、推定に用いることは好ましくないため、重みは『０』であるのが好ましく、この項Ｔ２により，それが実現できている。
【００９１】
そして、「輝度値Ｙの差分による重み」と「偽色判定結果Ｐによる重み」を乗算することで、両方の重みが大きい場合には、この重みは大きい値をとる。よって、輝度値Ｙが近く、かつ、偽色である可能性が低い画素を平滑化に用いることが実現できることになる。
【００９２】
このように、本実施例によれば、「輝度値Ｙの差分による重み」と「偽色判定結果Ｐによる重み」の２つの値を重みとして用いた平滑化処理を行うようになっている。ここで、注目画素と参照画素の輝度Ｙが大きく異なる場合は、異なる模様と考えられるので、その画素は平滑化に利用しないのが好ましい。また、偽色画素を平滑化に利用すると偽色が改善しないため、偽色と判定された画素は、平滑化には利用しないのが好ましい。
【００９３】
図１３は、図８に示す画像処理装置が適用されるデジタルカメラの一例を示すブロック図である。図１３に示されるように、デジタルカメラ１００は、レンズ１０１，イメージセンサ１０２，ＳＤカード１０３，ＳＤＲＡＭ１０４および画像処理プロセッサ１０５を含む。
【００９４】
画像処理プロセッサ(ＩＳＰ：Image Signal Processor)１０５は、バス１５０，ＹＵＶ画像生成部１５１，ＣＰＵ１５２，フラッシュメモリ１５３，ＳＤカードＩ／Ｆ(インターフェース)１５４，および，ＳＤＲＡＭ Ｉ／Ｆ１５５を含む。さらに、画像処理プロセッサ１０５は、フィルタ１５６，ＬＵＴ(参照テーブル)１５７，乗算部１５８および色ノイズ除去部１５９を含む。
【００９５】
イメージセンサ１０２は、例えば、レンズ１０１により撮影された光学画像を、電気信号に変換するＣＭＯＳイメージセンサ等であり、ＹＵＶ画像生成部１５１は、イメージセンサ１０２の出力からＹＵＶ画像を生成してバス１５０に出力する。なお、ＹＵＶは、色空間の一種で、輝度信号Ｙと、青色成分の差分信号Ｕおよび赤色成分の差分信号Ｖの３要素によって色を表現する方式のことであり、前述したＹＣbＣrを含む。もちろん、色空間は、ＹＵＶやＹＣbＣrに限定されるものではない。
【００９６】
フィルタ１５６，ＬＵＴ１５７，乗算部１５８，色ノイズ除去ｂｕ１５９は、汎用の画像処理回路であり、また、フラッシュメモリ１５３は、例えば、ＣＰＵ１５２で実行するプログラムデータを格納する。
【００９７】
なお、本実施例は、ハード構成により実現することもできるが、上記のようなＣＰＵ１５２で実行するプログラムデータにより実現することも可能である。さらに、前述したように、本実施例は、デジタルカメラを始めとして、カメラ機能を有する様々な電子機器に適用することができるのはいうまでもない。
【００９８】
次に、上述したＣbＣr平滑化部１４の第１変形例を説明する。
＜動作説明＞
上述したＣbＣr平滑化部１４の説明は、輝度成分Ｙを重みに用いることで、異なる被写体を参照せずに補正値を算出する方法について述べた。しかしながら、輝度値Ｙは、Ｙ＝Ｒ＋２＊Ｇ＋Ｂで算出されるため、ＲおよびＢ成分も含んでいる。
【００９９】
ところで、偽色は、一般的に紫色であることが多く、ＲおよびＢ成分が本来の被写体とは異なる可能性が高い。つまり、Ｙ成分による重みづけ平滑化処理では、Ｙ成分が本来の被写体とは異なる可能性があるため好ましくない場合がある。
【０１００】
そこで、ＣbＣr平滑化部１４による重みづけ平滑化処理として、Ｙ成分の変わりに、Ｇ成分の差分による重みを用いる。これにより、例えば、Ｙ成分による重みづけ平滑化処理では好ましくない場合、偽色の影響を受けずに正確に補正値を算出する可能性を向上させることができる。
【０１０１】
＜算出方法＞
ここで、重みＫは、例えば、次の［式３］により計算することができる。なお、［式３］における項Ｔ３１は、前述した［式２］にける項Ｔ１の「輝度値Ｙの差分による重み」に相当する「Ｇ成分の差分による重み」を表す。
【数３】
2015228582.tif 000005
【０１０２】
次に、上述したＣbＣr平滑化部１４の第２変形例を説明する。
＜動作説明＞
上述したＣbＣr平滑化部１４の実施例および第１変形例では、Ｙ成分やＧ成分などの１つの成分のみを用いて重みを算出しているが、同時にＣb成分を用いるといった複数の成分による重みを用いることで、より正確な重みづけを与えられる可能性がある。しかしながら、Ｃb，Ｃr成分やＲ，Ｂ成分は、偽色の影響を受けて本来持つ被写体の正しい色を再現できていないため、重みとして用いることは好ましくない。
【０１０３】
そこで、任意の色空間変換をして偽色と偽色でない成分とに分離し、偽色でない成分を重みとして利用する方法が考えられる。なお、任意の色空間変換は、例えば、予め採取した偽色画素に対して主成分分析を行うことで求めることができる。
【０１０４】
＜算出方法＞
例えば、ＹＣbＣrに対して色空間変換を実施することで、偽色成分(Ｍ1)と偽色でない成分(Ｍ2，Ｍ3)に分離し、偽色でない成分(Ｍ2，Ｍ3)を重みとして用いる。すなわち、例えば、次の［式４］により計算することができる。
【数４】
2015228582.tif 000006
【０１０５】
なお、上記［式４］において、変換行列Ｚは、例えば、予め採取した偽色画素に対して主成分分析を行うことで求めることができる。具体的に、例えば、予め偽色を有する画像を複数枚撮影し、偽色を持っている画像を目視などにより抽出する。
【０１０６】
図１４は、ＣbＣr平滑化部の第２変形例を説明するための図であり、図１４(a)は、パープルフリンジのＣbＣrの値を２次元グラフ上にプロットしたものを示し、図１４(b)は、偽色成分(Ｍ1)と偽色でない成分(Ｍ2，Ｍ3)に分離したものを示す。
【０１０７】
ところで、偽色は、紫色などの一定の色を有しているため、抽出した偽色画素のＣbＣrの値を２次元グラフ上にプロットすると、ある一定の個所に点が集まる。例えば、パープルフリンジの場合、図１４(a)における領域ＲＰの部分に集中する。
【０１０８】
すなわち、偽色がある場合には、図１４(a)における点線ＤＬ0の方向に色が変化し、また、その点線ＤＬ0に垂直な方向では、色が変化し難い。すなわち、点線ＤＬ0に垂直方向の色成分は、偽色とは無関係であり、本来持つ被写体の値と変わらないために、重みとして用いることができる。
【０１０９】
この垂直方向の色成分(第二主成分Ｍ2，第三主成分Ｍ3)は、上述した方法で抽出した偽色画素データ列に対して主成分(第一主成分Ｍ1)の分析を行うことで求めることができる。すなわち、主成分の分析結果の固有ベクトルをｖ１，ｖ２，ｖ３とすると、Ｚは、次の［式５］により計算することができる。
【数５】
2015228582.tif 000007
【０１１０】
そして、主成分分析を行うことにより、図１４(b)のように、第一成主分Ｍ1は、偽色と相関の高い方向に、また、(第二主成分)Ｍ2および第三主成分(Ｍ3)は、偽色とは相関の低い成分に分離することができ、偽色の影響を受けない重みづけが可能となる。なお、この例では、第三主成分(Ｍ3)は、紙面に対して前後方向となる。
【０１１１】
このように、ＹＣbＣrを任意の変換行列で色空間変換して、偽色成分と偽色以外の成分に分離し、偽色以外の成分の差分を重みとして用いることもできる。なお、色空間変換行列は、例えば、予め採取した偽色画素の画素値ＹＣbＣrに対して主成分分析を行うことで算出可能である。
【０１１２】
さらに、上述したＣbＣr平滑化部１４の第３変形例を説明する。
＜動作説明＞
上述したＣbＣr平滑化部１４の実施例では、例えば、図７を参照して説明したように、電線などの細い線上で偽色が発生して線全体が偽色となる場合、誤った色で補正されてしまう可能性がある。
【０１１３】
そこで、誤った色で補正される可能性が高い場合は、補正値を無彩色とすることでこの問題を解決する。具体的に、ＣbＣr平滑化部１４の出力値の正しい度合い(信頼度)を算出し、その信頼度が低いほど、補正値を無彩色に近づけるようにする。
【０１１４】
ここで、ＣbＣr平滑化部１４の出力値が誤っている可能性が高い画素は、周辺に偽色画素、あるいは、異なる被写体の画素しか存在しない場合である。すなわち、周辺の画素が偽色画素かどうかは、偽色判定結果により分かり、異なる被写体かどうかは、注目画素との輝度値Ｙの差分によりわかる。
【０１１５】
つまり、周辺画素の重みＫの総和が小さい場合は、ＣbＣr平滑化部１４の出力値が誤っている可能性が高い。そこで、本第３変形例では、注目画素の補正値の信頼度を、重みＫの総和から求めるようにする。図１５は、ＣbＣr平滑化部の第３変形例における、注目画素の補正値の信頼度を説明するための図である。
【０１１６】
＜算出方法＞
ここで、注目画素の補正値の信頼度α(ｘ，ｙ)は、ΣΣＫ(ｘ，ｙ，ｉ，j)の値に応じて、例えば、図１５に示されるような特性を有する変換テーブルにより求めることができる。
【０１１７】
ＣbＣr平滑化部１４の算出は、図１５に示されるような信頼度α(ｘ，ｙ)を用いて、次の［式６］により計算することができる。ここで、［式６］において、Ｃb'(ｘ，ｙ)，Ｃr'(ｘ，ｙ)は、ＣbＣr平滑化部１４の出力値、すなわち、Ｃb(ｘ，ｙ)，Ｃr(ｘ，ｙ)の補正値を示す。これによって、αが小さい場合は、Ｃb'，Ｃr'が『０』に近づき無彩色となる。
【数６】
2015228582.tif 000008
【０１１８】
なお、［式６］において、α(ｘ，ｙ)／ΣΣＫ(ｘ，ｙ，ｉ，j)は、ΣΣＫ(ｘ，ｙ，ｉ，j)に応じて一意に求まる値である。そこで、重たい演算である除算を削減するために、例えば、ΣΣＫ(ｘ，ｙ，ｉ，j)から、α(ｘ，ｙ)／ΣΣＫ(ｘ，ｙ，ｉ，j)の値を算出する変換テーブルを予め作成しておき、その変換テーブルを利用してＣb'，Ｃr'を計算してもよい。
【０１１９】
次に、上述したＣbＣr平滑化部１４の第４変形例を説明する。上述したＣbＣr平滑化部１４の実施例および第１〜第３変形例を、ソフトウェア(ＳＷ)で実現する場合、例えば、膨大な演算を行うことになるため、デジタルカメラなどの組み込み機器で高速に実行することは難しい。
【０１２０】
一方、ハードウェア(ＨＷ)で実現する場合、専用の複雑な回路を使用することになるため、回路規模が膨大なものとなってしまう。そこで、本第４変形例は、画像処理回路(ＩＳＰ)などに搭載されている汎用的な演算機能を用いて実現するものである。
【０１２１】
本第４変形例のＣbＣr平滑化部１４は、例えば、乗算回路，ＬＵＴ回路および色ノイズ除去回路により実現することができる。ここで、色ノイズ除去回路は、異なる被写体の色を参照しないようフィルタ処理を行うことが一般的である。これにより、ＨＷ(ハードウェア)を追加／変更することなく、高速に偽色補正処理を実施することが可能になる。
【０１２２】
図１６は、本実施例に適用されるＣbＣr平滑化部の一例を示すブロック図であり、図１７は、図１６に示すＣbＣr平滑化部における処理の一例を説明するための図である。ここで、図１７(a)〜図１７(g)は、各ブロックの処理を説明するためのものである。
【０１２３】
図１６に示されるように、ＣbＣr平滑化部１４は、色差信号(ＣbＣr)無彩色化部１４１，判定値調整ＬＵＴ１４２，第１色ノイズ除去部１４３，第２色ノイズ除去部１４４，乗算値算出ＬＵＴ１４５および乗算部１４６を含む。
【０１２４】
図１７(a)および図１７(b)に示されるように、ＣbＣr無彩色化部(乗算)１４１は、偽色と判定された画素のＣb，Ｃrを『０』に置き換え、無彩色化する。ここで、偽色と判定されていない画素は、入力画素値をそのまま出力する。具体的には、Ｃb'，Ｃr'は、次のように、入力ＣbＣrに対してＰを乗算することで求めることができる。
Ｃb'＝Ｐ*Ｃb
Ｃr'＝Ｐ*Ｃr
【０１２５】
図１７(c)に示されるように、第１色ノイズ除去部１４３は、色ノイズ除去処理を行うもので、この色ノイズ除去処理は、例えば、次の［式７］で示されるような処理である。
【数７】
2015228582.tif 000009
【０１２６】
ここで、［式７］は、εフィルタと呼ばれるものであり、ノイズ除去に一般的に用いられている。また、このεフィルタの他に、バイラテラルフィルタに基づいた方法など、輝度成分ＹなどのＮＲ対象とは異なる色成分を重みとして利用した平滑化効果を持つフィルタであれば、適用可能である。さらに、同様の特徴を有しているのであれば、輝度を対象としたノイズ除去フィルタを用いることもできる。
【０１２７】
この処理を行うことで、輝度成分Ｙを重みとしたＣb，Ｃr成分について平滑化処理を実施することができるが、ＣbＣrの無彩色化によって偽色部周辺は、彩度が低下する(色が薄くなる)。そこで、以下の処理を行うことにより、低下した彩度をゲインアップする。
【０１２８】
図１７(d)および図１７(e)に示されるように、判定値調整ＬＵＴ１４２は、例えば、偽色判定結果Ｐを、所定値(例えば、１２８)倍する。すなわち、通常、色ノイズ除去回路は入力値が、０〜２５５の範囲の値など入力画素値が制限されているため、例えば、その中間値(１２８)倍して色ノイズ除去回路(第２色ノイズ除去部)１４４に入力できる値に変換する。
【０１２９】
Ｐc＝１２８＊Ｐ
なお、第１色ノイズ除去部１４３と平滑化に用いる重みづけは、近い方が好ましいため、そうなるように、値を調整することもできる。
【０１３０】
図１７(f)に示されるように、第２色ノイズ除去部１４４は、判定値調整ＬＵＴ１４２の出力Ｐcを色信号とみなして、色ノイズの除去処理を行う。この色ノイズ除去処理は、例えば、次の［式８］で示されるような処理である。
【数８】
2015228582.tif 000010
【０１３１】
さらに、乗算値算出ＬＵＴ１４５は、第１色ノイズ除去部１４３に乗算する乗算値を計算する。ここで、乗算値は、上記［式８］におけるＰnの逆数に比例した値となる。具体的に、例えば、判定値調整ＬＵＴ１４２で１２８倍した場合は、以下の式により乗算値が得られることになる。すなわち、乗算値算出ＬＵＴ１４５は、この演算を実現するテーブルを生成し、ＬＵＴ処理を行う。
１２８／Ｐn
【０１３２】
図１７(g)に示されるように、乗算部１４６は、第１色ノイズ除去部１４３の出力(Ａ)と乗算値算出ＬＵＴ１４５の出力(Ｂ)を乗算し、ＣbＣr平滑化部１４の出力Ｐ14を生成してＣbＣr置き換え部１５に出力する。
【０１３３】
図１８は、本実施例に適用される乗算値算出ＬＵＴ１４５の他の例を説明するための図である。乗算値算出ＬＵＴ１４５は、上述したように、１２８／Ｐnとして乗算値を求めるのに限定されず、例えば、出力画像の品質に応じてゲイン値を乗算するなどの調整を行うこともできる。
【０１３４】
例えば、Ｐnが『１』といった小さい値の場合、乗算値が大きくなりすぎて色ノイズが強調されるといった弊害が発生する虞があるため、Ｐnが小さい場合は、乗算値が小さくなるように調整してもよい。
【０１３５】
また、Ｐnの値が大きい場合は、周辺に偽色画素が多いと考えられるため、正しい補正値が得られない可能性が高い。そこで、この情報を利用し、Ｐnが大きい場合は、倍率を『１．０』として無彩色となるように、調整してもよい。具体的に、乗算値算出ＬＵＴ１４５を、図１８に示されるような特性とすることができる。
【０１３６】
次に、ε1＝∞，ε2＝０の場合を例にして、乗算値算出ＬＵＴ１４５による乗算値を説明する。このとき、偽色画素(Ｐc(ｘ，ｙ)＝０)の第２色ノイズ除去部１４４の出力Ｐn(ｘ，ｙ)は、次の［式９］により求めることができる。
【数９】
2015228582.tif 000011
【０１３７】
この［式９］から、Ｐnは、周辺画素の偽色でない画素数に比例した値を表していることがわかる。一方、第１色ノイズ除去部１４３の出力は、周辺に存在する偽色でない画素数が多いほど彩度が低下する傾向にある。よって、Ｐnの逆数に比例した値を第１色ノイズ除去部１４３の出力に乗算することで、低下した彩度を改善することができる。
【０１３８】
ここで、単純に、第１色ノイズ除去部１４３の出力結果をＰnで除算した場合の出力Ｃbは、次の［式１０］により求めることができる。
【数１０】
2015228582.tif 000012
【０１３９】
この［式１０」は、Ｐを重みとした重み付き平滑化処理となっていることがわかる。また、判定値調整部で128倍しているため、出力値が1/128倍された小さい値となっている。よって乗算値は、Ｐnの逆数を128倍した値を用いると良いことがわかる。
【０１４０】
そして、前述したように、乗算部１４６により、第１色ノイズ除去部１４３の出力(Ａ)と乗算値算出ＬＵＴ１４５の出力(Ｂ)が乗算され、ＣbＣr平滑化部１４の出力Ｐ14としてＣbＣr置き換え部１５に出力される。
【０１４１】
上述したように、本実施例によれば、平滑化の際に、偽色判定結果Ｐを重みに用いるようになっている。これにより、偽色画素の色を平滑化に使用しなくなるため、前述した「問題点１：偽色画素を参照するため、偽色が完全には解消されない」を解決することができる。
【０１４２】
また、本実施例によれば、偽色との色相の違いを重みとする場合と比較して、偽色判定結果は、高輝度部周辺のみでＰの値が小さくなっている。そのため、「本来の被写体の色が偽色に近い色を有している場合、この重みでは正しい補正を行うことが難しい」という問題も発生しない。
【０１４３】
さらに、低輝度部と高輝度部には大きな輝度差があるため、低輝度部では高輝度部の色を平滑化に使用しなくなる。また、高輝度部では低輝度部の色を平滑化に使用しなくなる。これにより、前述した「問題点２：低輝度領域に偽色がある場合、周辺の高輝度画素の色で誤った補正値が算出される(高輝度領域に偽色がある場合、周辺の低輝度画素の色で誤った補正値が算出される)。」も解決することができる。
【０１４４】
そして、複雑な模様がある場合でも輝度差により模様に応じた重みづけが実現できるため、前述した「問題点３：複雑な模様がある場合、複数の色が混ざり合って色にじみが発生する。」も解決することができる。
【０１４５】
なお、本実施例(例えば、第３変形例)によれば、補正値の信頼度が低い場合は、無彩色で補正するようになっている。すなわち、補正値の信頼度を算出し、信頼度が低い場合は無彩色とすることにより、誤った色で補正されるのを回避することができる。
【０１４６】
さらに、本実施例(例えば、第４変形例)によれば、色ノイズ除去回路と汎用の画像処理回路を利用するようになっている。このように、色ノイズ除去回路と汎用の画像処理回路を利用することによりＨＷ(ハードウェア)を追加することなく、上述した処理を高速に実行することが可能となる。
【０１４７】
以上、詳述したように、本実施例を適用することにより、偽色画素を本来持つ正しい色で高速に補正することが可能となり、また、正しい補正が困難な場合は、偽色画素を無彩色とすることで、画像の不自然な色づきを軽減することが可能となる。
【０１４８】
以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
【０１４９】
以上の実施例を含む実施形態に関し、さらに、以下の付記を開示する。
（付記１）
入力画像および前記入力画像の偽色判定結果を受け取って、前記入力画像における色差信号を平滑化する色差信号平滑化部と、
前記入力画像における色差信号，前記入力画像の偽色判定結果および前記色差信号平滑化部の出力を受け取って、偽色判定された画素の色差信号を置き換えて偽色補正した出力画像を生成する色差信号置き換え部と、を有する、
ことを特徴とする画像処理装置。
【０１５０】
（付記２）
さらに、
前記入力画像における輝度信号を受け取って、白とび境界を検出する白とび境界検出部と、
前記入力画像における色差信号を受け取って彩度を判定する彩度判定部と、
前記白とび境界検出部の出力および前記彩度判定部の出力を受け取って、前記入力画像における偽色画素を判定する偽色画素判定部と、を有する、
ことを特徴とする付記１に記載の画像処理装置。
【０１５１】
（付記３）
前記色差信号平滑化部は、
前記入力画像の偽色判定結果を重みに用いて、前記入力画像における色差信号の平滑化を行う、
ことを特徴とする付記１または付記２に記載の画像処理装置。
【０１５２】
（付記４）
前記色差信号平滑化部は、
前記入力画像における輝度信号の差分を重みに用いて、前記入力画像における色差信号の平滑化を行う、
ことを特徴とする付記１乃至付記３のいずれか１項に記載の画像処理装置。
【０１５３】
（付記５）
前記色差信号平滑化部は、
前記入力画像の偽色判定結果と前記入力画像における輝度信号の差分の乗算値を重みに用いて、前記入力画像における色差信号の平滑化を行う、
ことを特徴とする付記４に記載の画像処理装置。
【０１５４】
（付記６）
前記色差信号平滑化部は、
前記色差信号平滑化部の出力の信頼度を算出し、前記信頼度が低いほど、前記色差信号置き換え部の出力画像を無彩色に近づける、
ことを特徴とする付記１乃至付記５のいずれか１項に記載の画像処理装置。
【０１５５】
（付記７）
画像を撮影するレンズと、
前記レンズにより撮影された光学画像を電気信号に変換するイメージセンサと、
前記イメージセンサから出力される画像信号を、前記入力画像として処理する、付記１乃至付記６のいずれか１項に記載の画像処理装置と、を有する、
ことを特徴とする画像撮影装置。
【０１５６】
（付記８）
入力画像および前記入力画像の偽色判定結果を受け取って、前記入力画像における色差信号を平滑化し、
前記入力画像における色差信号，前記入力画像の偽色判定結果および前記入力画像における色差信号を平滑化した信号を受け取って、偽色判定された画素の色差信号を置き換えて偽色補正した出力画像を生成する、
ことを特徴とする画像処理方法。
【０１５７】
（付記９）
さらに、
前記入力画像における輝度信号を受け取って、白とび境界を検出し、
前記入力画像における色差信号を受け取って、彩度を判定し、
検出された前記白とび境界および判定された前記彩度を受け取って、前記入力画像における偽色画素を判定する、
ことを特徴とする付記８に記載の画像処理方法。
【０１５８】
（付記１０）
前記入力画像における色差信号を平滑化するのは、
前記入力画像の偽色判定結果を重みに用いて、前記入力画像における色差信号の平滑化を行う、
ことを特徴とする付記８または付記９に記載の画像処理方法。
【０１５９】
（付記１１）
前記入力画像における色差信号を平滑化するのは、
前記入力画像における輝度信号の差分を重みに用いて、前記入力画像における色差信号の平滑化を行う、
ことを特徴とする付記８乃至付記１０のいずれか１項に記載の画像処理方法。
【０１６０】
（付記１２）
前記入力画像における色差信号を平滑化するのは、
前記入力画像の偽色判定結果と前記入力画像における輝度信号の差分の乗算値を重みに用いて、前記入力画像における色差信号の平滑化を行う、
ことを特徴とする付記１１に記載の画像処理方法。
【０１６１】
（付記１３）
前記入力画像における色差信号を平滑化するのは、
平滑化された前記入力画像における色差信号の信頼度を算出し、前記信頼度が低いほど、前記出力画像を無彩色に近づける、
ことを特徴とする付記８乃至付記１２のいずれか１項に記載の画像処理方法。
【０１６２】
（付記１４）
入力画像を受け取って、前記入力画像に含まれる偽色を補正する画像処理プロセッサに実行させる画像処理プログラムであって、
前記画像処理プロセッサに、
前記入力画像および前記入力画像の偽色判定結果を受け取って、前記入力画像における色差信号を平滑化する手順と、
前記入力画像における色差信号，前記入力画像の偽色判定結果および前記入力画像における色差信号を平滑化した信号を受け取って、偽色判定された画素の色差信号を置き換えて偽色補正した出力画像を生成する手順と、を実行させる、
ことを特徴とする画像処理プログラム。
【０１６３】
（付記１５）
さらに、
前記画像処理プロセッサに、
前記入力画像における輝度信号を受け取って、白とび境界を検出する手順と、
前記入力画像における色差信号を受け取って、彩度を判定する手順と、
検出された前記白とび境界および判定された前記彩度を受け取って、前記入力画像における偽色画素を判定する手順と、を実行させる、
ことを特徴とする付記１４に記載の画像処理プログラム。
【符号の説明】
【０１６４】
１，７    画像処理装置
１１    白とび境界検出部
１２，７２    彩度判定部
１３，７３    偽色画素判定部
１４，７４    色差信号(ＣbＣr)平滑化部
１５，７５    色差信号(ＣbＣr)置き換え部
７１    白とび検出部
１００    デジタルカメラ
１０１    レンズ
１０２    イメージセンサ
１０３    ＳＤカード
１０４    ＳＤＲＡＭ
１０５    画像処理プロセッサ(ＩＳＰ)
１４１    色差信号(ＣbＣr)無彩色化部
１４２    判定値調整ＬＵＴ
１４３    第１色ノイズ除去部
１４４    第２色ノイズ除去部
１４５    乗算値算出ＬＵＴ
１４６    乗算部
１５０    バス
１５１    ＹＵＶ画像生成部
１５２    ＣＰＵ
１５３    フラッシュメモリ
１５４    ＳＤカードＩ／Ｆ(インターフェース)
１５５    ＳＤＲＡＭ Ｉ／Ｆ
１５６    フィルタ
１５７    ＬＵＴ(参照テーブル)
１５８    乗算部
１５９    色ノイズ除去部
【図１】
2015228582.tif 000013
【図２】
2015228582.tif 000014
【図３】
2015228582.tif 000015
【図４】
2015228582.tif 000016
【図５】
2015228582.tif 000017
【図６】
2015228582.tif 000018
【図７】
2015228582.tif 000019
【図８】
2015228582.tif 000020
【図９】
2015228582.tif 000021
【図１０】
2015228582.tif 000022
【図１１】
2015228582.tif 000023
【図１２】
2015228582.tif 000024
【図１３】
2015228582.tif 000025
【図１４】
2015228582.tif 000026
【図１５】
2015228582.tif 000027
【図１６】
2015228582.tif 000028
【図１７】
2015228582.tif 000029
【図１８】
2015228582.tif 000030