(57)【要約】【課題】異なる特性を有する色ノイズ除去処理を用いることで色の解像感を失わずに画像の色ノイズを除去することが可能な画像処理装置を提供すること。【解決手段】所定の色空間を有する第１のカラー画像信号に対する色ノイズ除去処理を実行する第１ノイズ除去部と、第１ノイズ除去部によって色ノイズ除去処理が実行された第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換部と、第２のカラー画像信号に対する色ノイズ除去処理を実行する第２ノイズ除去部と、を含む、画像処理装置が提供される。異なる特性を有するカラー画像信号に対する異なる色ノイズ除去処理によって、色の解像感を失わずに画像の色ノイズを除去することができる。【選択図】図１
2010211773.tif 000002
【特許請求の範囲】
【請求項１】
所定の色空間を有する第１のカラー画像信号に対する色ノイズ除去処理を実行する第１ノイズ除去部と、
前記第１ノイズ除去部によって色ノイズ除去処理が実行された前記第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換部と、
前記第２のカラー画像信号に対する色ノイズ除去処理を実行する第２ノイズ除去部と、
を含む、画像処理装置。
【請求項２】
前記第１ノイズ除去部及び前記第２ノイズ除去部における色ノイズ除去処理の強度を設定する設定部をさらに備える、請求項１に記載の画像処理装置。
【請求項３】
前記閾値設定部は、前記第１ノイズ除去部及び前記第２ノイズ除去部の前記強度を同じ値に設定する、請求項２に記載の画像処理装置。
【請求項４】
前記設定部は、ＩＳＯ感度の情報を用いて強度を設定する、請求項２に記載の画像処理装置。
【請求項５】
前記設定部は、前記第１のカラー画像信号から得られる前記ＩＳＯ感度の情報を用いて強度を設定する、請求項４に記載の画像処理装置。
【請求項６】
前記設定部は、前記第１のカラー画像信号の明るさから得られる前記ＩＳＯ感度の情報を用いて強度を設定する、請求項５に記載の画像処理装置。
【請求項７】
前記第１ノイズ除去部は、
前記第１のカラー画像信号の色差を計算する色差計算部と、
前記色差計算部が計算した色差のノイズを除去する色差ノイズ除去部と、
を含む、請求項１に記載の画像処理装置。
【請求項８】
前記変換部は、前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＣｒ信号及びＣｂ信号に、それぞれ変換する、請求項１に記載の画像処理装置。
【請求項９】
前記変換部は、前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＵ信号及びＶ信号に、それぞれ変換する、請求項１に記載の画像処理装置。
【請求項１０】
前記所定の色空間はＲＧＢ色空間である、請求項１に記載の画像処理装置。
【請求項１１】
所定の色空間を有する第１のカラー画像信号に対する色ノイズ除去処理を実行する第１ノイズ除去ステップと、
前記第１ノイズ除去ステップによって色ノイズ除去処理が実行された前記第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、
前記第２のカラー画像信号に対する色ノイズ除去処理を実行する第２ノイズ除去ステップと、
を含む、画像処理方法。
【請求項１２】
コンピュータに、
所定の色空間を有する第１のカラー画像信号に対する色ノイズ除去処理を実行する第１ノイズ除去ステップと、
前記第１ノイズ除去ステップによって色ノイズ除去処理が実行された前記第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、
前記第２のカラー画像信号に対する色ノイズ除去処理を実行する第２ノイズ除去ステップと、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラの撮像素子として用いられているＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）から出力されるＲＡＷデータには各種のノイズが含まれている。
【０００３】
例えば、ＲＡＷデータから他のフォーマットの信号に変換することで画像を現像する場合には、変換後の信号に含まれるノイズを効果的に除去することが求められる。例えばＲＡＷデータから、輝度信号と色差信号からなる画像データ（例えばＹＣＣデータ）に変換する場合には、画像のノイズも輝度ノイズと色ノイズに分類される。そして、色ノイズを除去することによって画質を向上させることができることが広く知られている。
【０００４】
ＲＡＷデータに含まれるノイズを除去する手法として、例えば特許文献１に開示されているような、Ｇｒ／Ｒ／Ｂ／Ｇｂデータに対してノイズを除去する手法がある。しかし、Ｇｒ／Ｒ／Ｂ／Ｇｂデータに対してノイズ除去処理を行うと、輝度信号と色差信号への分離がされていないため、ノイズ除去処理によって輝度信号に影響を及ぼしてしまう場合がある。そのため、輝度変化のあるエッジ部分において、着色したり異なる輝度になったりする偽色が発生してしまう場合がある。
【０００５】
色ノイズを除去する方法としては、ＲＡＷデータをデモザイク等の色分離をして得られる輝度信号及び色差信号からなるＹＣＣ（ＹＣｒＣｂ）データに対してノイズを除去する手法がある。色差信号に対してノイズ除去処理を実行することで、輝度信号に影響を及ぼすことなく色ノイズを除去することができる。しかし、ノイズが多く含まれている状態でエッジ方向を考慮するような高度なデモザイク処理を実行すると、ノイズによりエッジの誤判別が生じる場合がある。その結果、デモザイク後の画像に偽色や色ノイズが発生するおそれがある。また、ＹＣＣデータはデモザイク処理等の信号処理を通過しているため、色差信号であるＣｒ／Ｃｂでは、ノイズの特性が複雑に変化し、色ノイズを除去しきれない場合もある。さらに、色ノイズを除去するためにノイズリダクションを強く実行すると、エッジがぼけてしまう場合もある。
【０００６】
そこで、ＲＡＷデータに対してエッジ方向を考慮しない簡易デモザイク処理を実行して色差信号に変換し、色差信号に対してノイズ除去処理を適用して色ノイズを除去し、ＲＡＷデータに再変換する手法がある（特許文献２参照）。ノイズ除去後は、再変換後のＲＡＷデータに対してエッジ判別に基づく処理を含む高度なデモザイク処理が実行されることで、ＹＣＣデータが生成される。特許文献２に開示された手法では、色ノイズを除去する際に、エッジ方向を考慮しない簡易なデモザイク処理を行うため、ノイズによりエッジを誤って判別し、色差信号が劣化してしまうことを防ぐことができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−３１１４５５号公報
【特許文献２】特開２００８−１５３８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献２に開示された発明は、簡易デモザイク処理による輝度信号と色差信号への分離は、最終的な輝度信号と色差信号へ分離とは異なっており、高周波の色ノイズが残ってしまうという問題があった。また、特許文献２に開示された発明は、色ノイズを除去するためにノイズリダクションを強く実行すると、輝度信号に対して影響を与え、輝度変化のあるエッジ部分において、着色したり異なる輝度になったりする偽色が発生してしまうという問題もあった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、異なる特性を有するカラー画像信号に対する異なる色ノイズ除去処理を用いることで色の解像感を失わずに画像の色ノイズを除去することが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、所定の色空間を有する第１のカラー画像信号に対する色ノイズ除去処理を実行する第１ノイズ除去部と、前記第１ノイズ除去部によって色ノイズ除去処理が実行された前記第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換部と、前記第２のカラー画像信号に対する色ノイズ除去処理を実行する第２ノイズ除去部と、を含む、画像処理装置が提供される。
【００１１】
かかる構成によれば、第１ノイズ除去部は所定の色空間を有する第１のカラー画像信号に対する色ノイズ除去処理を実行し、変換部は第１ノイズ除去部によって色ノイズ除去処理が実行された第１のカラー画像信号を、輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する。そして、第２ノイズ除去部は前記第２のカラー画像信号に対する色ノイズ除去処理を実行する。その結果、異なる特性を有するカラー画像信号に対する異なる色ノイズ除去処理を用いることで色の解像感を失わずに画像の色ノイズを除去することができる。
【００１２】
前記第１ノイズ除去部及び前記第２ノイズ除去部における色ノイズの強度を設定する設定部をさらに備えていてもよい。
【００１３】
前記設定部は、前記第１ノイズ除去部及び前記第２ノイズ除去部の前記強度を同じ値に設定してもよい。
【００１４】
前記設定部は、ＩＳＯ感度の情報を用いて強度を設定してもよい。
【００１５】
前記設定部は、前記第１のカラー画像信号から得られる前記ＩＳＯ感度の情報を用いて強度を設定してもよい。
【００１６】
前記設定部は、前記第１のカラー画像信号の明るさから得られる前記ＩＳＯ感度の情報を用いて強度を設定してもよい。
【００１７】
前記第１ノイズ除去部は、前記第１のカラー画像信号の色差を計算する色差計算部と、前記色差計算部が計算した前記色差のノイズを除去する色差ノイズ除去部と、を含んでいてもよい。
【００１８】
前記変換部は前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＣｒ信号及びＣｂ信号に、それぞれ変換してもよい。
【００１９】
前記変換部は前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＵ信号及びＶ信号に、それぞれ変換してもよい。
【００２０】
前記所定の色空間はＲＧＢ色空間であってもよい。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、所定の色空間を有する第１のカラー画像信号に対する色ノイズ除去処理を実行する第１ノイズ除去ステップと、前記第１ノイズ除去ステップによって色ノイズ除去処理が実行された前記第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、前記第２のカラー画像信号に対する色ノイズ除去処理を実行する第２ノイズ除去ステップと、を含む、画像処理方法が提供される。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、所定の色空間を有する第１のカラー画像信号に対する色ノイズ除去処理を実行する第１ノイズ除去ステップと、前記第１ノイズ除去ステップによって色ノイズ除去処理が実行された前記第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、前記第２のカラー画像信号に対する色ノイズ除去処理を実行する第２ノイズ除去ステップと、を実行させる、コンピュータプログラムが提供される。
【発明の効果】
【００２３】
以上説明したように本発明によれば、異なる特性を有するノイズ除去処理を用いることで色の解像感を失わずに画像の色ノイズを除去することが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。
【図２】ベイヤー配列について示す説明図である。
【図３Ａ】色ノイズ、色ノイズ除去処理に用いる閾値及び色エッジの関係について示す説明図である。
【図３Ｂ】色ノイズ、色ノイズ除去処理に用いる閾値及び色エッジの関係について示す説明図である。
【図３Ｃ】色ノイズ、色ノイズ除去処理に用いる閾値及び色エッジの関係について示す説明図である。
【図３Ｄ】色ノイズ、色ノイズ除去処理に用いる閾値及び色エッジの関係について示す説明図である。
【図３Ｅ】色ノイズ、色ノイズ除去処理に用いる閾値及び色エッジの関係について示す説明図である。
【図４Ａ】色ノイズ、色ノイズ除去処理に用いる閾値及び色エッジの関係について示す説明図である。
【図４Ｂ】色ノイズ、色ノイズ除去処理に用いる閾値及び色エッジの関係について示す説明図である。
【図５】本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理について説明する流れ図である。
【図６】本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理における、閾値設定方法について示す流れ図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
また、以下の順序に従って本発明の好適な実施の形態について詳細に説明する。
＜１．本発明の一実施形態＞
［１−１．撮像装置の構成］
［１−２．色ノイズと色エッジとの関係］
［１−３．色ノイズ除去処理］
［１−４．閾値設定方法］
＜２．まとめ＞
【００２７】
＜１．本発明の一実施形態＞
［１−１．撮像装置の構成］
まず、本発明の一実施形態にかかる撮像装置の構成について説明する。図１は、本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。以下、図１を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明する。
【００２８】
図１に示したように、本発明の一実施形態にかかる撮像装置１００は、ベイヤー入力端子１０１と、４色分離部１０４と、第１ノイズリダクション部１０５と、エッジ判別デモザイク部１０６と、ＹＣＣ変換部１０７と、第２ノイズリダクション部１０８と、ＹＣＣ合成部１０９と、明るさ検出部１１０と、ＩＳＯ感度手動設定部１１１と、ＩＳＯ感度変更部１１２と、閾値変更部１１３と、出力端子１１４と、を含んで構成される。
【００２９】
ベイヤー入力端子１０１は、所定の色空間を有するカラー画像信号を入力する端子である。本実施形態においては、レンズ（図示せず）を通して集光された被写体からの光を、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の撮像素子（図示せず）に照射する。そして、撮像素子に照射された光を、モザイク状のベイヤー配列を有するカラーフィルタに通した後に電気信号に変換することでＲＡＷデータを得ることができる。ベイヤー入力端子１０１に入力されたＲＡＷデータは４色分離部１０４に送られる。
【００３０】
図２は、ベイヤー配列について示す説明図である。図２に示したように、ベイヤー配列は、水平方向２画素×垂直方向２画素を基本ブロックとする画素配列である。ベイヤー配列は、この基本ブロックにおいて２つの緑画素（Ｇｒ、Ｇｂ）が一方の対角上に配置され、赤画素（Ｒ）と青画素（Ｂ）とが残りの対角上に配置されており、この基本ブロックが周期的に配置された画素配列である。
【００３１】
４色分離部１０４は、ＲＡＷデータに含まれる画像データＧｒ、Ｇｂ、Ｒ、Ｂを、図２に示したベイヤー配列における縦２画素×横２画素の基本ブロックに含まれる４種類の画像データに分離するものである。４色分離部１０４で分離された４種類の画像データは、ホワイトバランスの調整が施された後、第１ノイズリダクション部１０５に送られる。
【００３２】
第１ノイズリダクション部１０５は、４色分離部１０４によって４種類の画像データに分離されたＲＡＷデータに対して、色ノイズ除去処理を実行するものである。図１に示したように、第１ノイズリダクション部１０５は、第１簡易デモザイク部１２１と、色差計算部１２２と、ノイズ除去部１２３と、第２簡易デモザイク部１２４と、ＲＢ計算部１２５と、を含んで構成される。
【００３３】
第１簡易デモザイク部１２１は、４色分離部１０４によって４種類の画像データに分離されたＲＡＷデータに対して簡易的にデモザイク処理を行うものである。ここで「簡易的」とは、通常のデモザイク処理と比較して演算処理を簡略化したものであることを示している。簡易デモザイク部１２１は、隣接する緑色の画素Ｇｒ、Ｇｂの画素値を用いた補完演算処理によって、それぞれ赤色の画素Ｒ及び青色の画素Ｂの空間位置における緑色の画素値を計算する。例えば、赤色の画素Ｒの空間位置における緑色の画素値Ｇｘは、画素Ｒに隣接する４つの画素Ｇｒ、Ｇｂの画素値を平均したものである。同様に、青色の画素Ｂの空間位置における緑色の画素値Ｇｙは、画素Ｂに隣接する４つの画素Ｇｒ、Ｇｂの画素値を平均したものである。第１簡易デモザイク部１２１で簡易的なデモザイク処理が施された結果得られる画素値Ｇｘ、Ｇｙは、４色分離部１０４から出力される画素値Ｇｒ、Ｇｂ、Ｒ、Ｂと共に色差計算部１２２に送られる。
【００３４】
色差計算部１２２は、第１簡易デモザイク部１２１から出力される各画素の画素値を用いて、赤色画素及び青色画素の画素値を表す色ノイズ除去用の画素値を生成するものである。具体的には、本実施形態においては、色差計算部１２２は、第１簡易デモザイク部１２１から出力される画素値Ｇｒ、Ｇｂ、Ｒ、Ｂ、Ｇｘ、Ｇｙを用いて色差を計算する。色差計算部１２２で計算した画素値が、色ノイズ除去のための画素値として適用される。
【００３５】
色差計算部１２２は、赤色の画素Ｒ及び青色の画素Ｂの全てに対して色差の計算を実行する。その結果、色差計算部１２２は、赤色の画素Ｒの画素値及び青色の画素Ｂの画素値を、それぞれ緑色の画素値を基準にした色差の画素値Ｃｒ、Ｃｂに変換する。すなわち、赤色の画素においては、（Ｒ−Ｇｘ）の値が赤色画素の色差Ｃｒとなり、青色の画素においては、（Ｂ−Ｇｙ）の値が青色画素の色差Ｃｂとなる。色差計算部１２２で生成した赤色画素及び青色画素の画素値を表す色ノイズ除去用の画素値はノイズ除去部１２３に送られる。
【００３６】
ノイズ除去部１２３は、色差計算部１２２が算出した色差の画素値Ｃｒ及び色差の画素値Ｃｂそれぞれに、色ノイズ除去処理を実行するものである。ノイズ除去部１２３は、例えば特開２００８−１５３８３６号公報に示されているように、εフィルタを用いて、色差の画素値Ｃｒ及びＣｂからノイズを除去する色ノイズ除去処理を実行してもよい。
【００３７】
そして、本実施形態においては、閾値変更部１１３によって、ノイズ除去部１２３における色ノイズ除去処理に用いる色ノイズ除去閾値を変更することができる。なお、本実施形態では、色ノイズ除去処理に用いる色ノイズ除去閾値は、色ノイズ除去処理の強度を示すものである。閾値変更部１１３によって色ノイズ除去閾値を変更することで効果的に色ノイズを除去することができる。なお、色ノイズ除去閾値と色ノイズ除去処理との関係については後に詳述する。ノイズ除去部１２３で色ノイズが除去されると、各画像信号は第２簡易デモザイク部１２４に送られる。
【００３８】
第２簡易デモザイク部１２４は、ノイズ除去部１２３によって色ノイズが除去された信号が入力され、第１簡易デモザイク部１２１と同様に、補間演算処理によって、赤色の画素Ｒ、青色の画素Ｂの空間位置における緑色の画素値Ｇｘ、Ｇｙを算出する。赤色の画素Ｒの空間位置における緑色の画素値Ｇｘは、赤色の画素Ｒに隣接する４つの緑色の画素値の平均値を算出することによって得ることができる。同様に、青色の画素Ｂの空間位置における緑色の画素値Ｇｙは、青色の画素Ｂに隣接する４つの緑色の画素値の平均値を算出することによって得ることができる。第２簡易デモザイク部１２４で算出された赤色の画素Ｒ、青色の画素Ｂの空間位置における緑色の画素値Ｇｘ、Ｇｙは、緑色の画素の空間位置における緑色の画素値Ｇｒ、Ｇｂと併せてＲＢ計算部１２５に送られる。
【００３９】
ＲＢ計算部１２５は、第２簡易デモザイク部１２４で計算した、赤色の画素Ｒ、青色の画素Ｂの空間位置における緑色の画素値Ｇｘ、Ｇｙを用いて、赤色の画素Ｒ及び青色の画素Ｂの画素値を算出するものである。すなわち、ＲＢ計算部１２５は、第２簡易デモザイク部１２４で計算された赤色の画素Ｒの空間位置における緑色の画素値Ｇｘを、当該画素の色差と加算することで、赤色の画素Ｒの画素値を算出する。同様に、ＲＢ計算部１２５は、第２簡易デモザイク部１２４で計算された青色の画素Ｂの空間位置における緑色の画素値Ｇｙを、当該画素の色差と加算することで、青色の画素Ｂの画素値を算出する。ＲＢ計算部１２５で赤色の画素Ｒ及び青色の画素Ｂの画素値が算出されると、各画素の画像データはエッジ判別デモザイク部１０６に送られる。
【００４０】
エッジ判別デモザイク部１０６は、第１ノイズリダクション部１０５から出力される画像データに対してデモザイク処理を実行するものである。エッジ判別デモザイク部１０６でデモザイク処理を実行することで、撮像素子の各画素の空間位置で赤色、緑色、青色の色データＲ、Ｇ、Ｂを有するフルカラーの画像データが生成される。
【００４１】
また、エッジ判別デモザイク部１０６は、エッジの方向に延長した位置の画素値を用い、注目画素の画素値を補間演算処理する。このようにエッジ判別デモザイク部１０６で補間演算処理を実行することで、エッジを精度良く再現することができる。エッジ判別デモザイク部１０６で生成されたフルカラーの画像データはＹＣＣ変換部１０７に送られる。
【００４２】
ＹＣＣ変換部１０７は、エッジ判別デモザイク部１０６で生成されたフルカラーの画像データを、輝度信号及び色差信号からなるＹＣＣ（Ｙ／Ｃｂ／Ｃｒ）データに変換するものである。なお、ＹＣＣ変換部１０７は、例えば下記の数式１〜数式３を用いて、フルカラーの画像データからＹＣＣデータに変換してもよい。
【００４３】
【数１】
2010211773.tif 000003
・・・（数式１）
2010211773.tif 000004
・・・（数式２）
2010211773.tif 000005
・・・（数式３）
【００４４】
ＹＣＣ変換部１０７によって生成されるＹＣＣデータは、第２ノイズリダクション部１０８に送られる。
【００４５】
第２ノイズリダクション部１０８は、ＹＣＣデータに対する色ノイズ除去処理を実行するものである。本実施形態では、第２ノイズリダクション部１０８は、ＹＣＣ変換部１０７によって生成されるＹＣＣデータに含まれる色差信号（Ｃｂ／Ｃｒ信号）に対する色ノイズ除去処理を実行する。
【００４６】
そして、本実施形態においては、閾値変更部１１３によって、第２ノイズリダクション部１０８における色ノイズ除去処理に用いる色ノイズ除去閾値を変更することができる。閾値変更部１１３によって第２ノイズリダクション部１０８で用いられる色ノイズ除去閾値を変更することで、効果的に低周波の色ノイズを除去することができる。なお、色ノイズ除去閾値と色ノイズ除去処理との関係については後に詳述する。第２ノイズリダクション部１０８で、ＹＣＣデータに含まれる色ノイズが除去されると、色ノイズ除去処理が施されたＹＣＣデータはＹＣＣ合成部１０９に送られる。
【００４７】
ＹＣＣ合成部１０９は、第２ノイズリダクション部１０８で色差信号のノイズが除去されたＹＣＣデータを合成して１チャンネルの画像データを生成するものである。ＹＣＣ合成部１０９で生成された画像データは、出力端子１１４から出力される。出力端子１１４から出力された画像データは、例えばエンコーダ（図示せず）に送られてエンコード処理が施される。エンコード処理が施された画像は、画像を表示する画像表示部（図示せず）に表示され、また記録媒体に記録される。
【００４８】
明るさ検出部１１０は、撮像装置１００で画像を撮影した際の、被写体の明るさを検出するものである。本実施形態にかかる撮像装置１００は、ベイヤー入力端子１０１に入力されるＲＡＷデータを用いて被写体の明るさを検出している。明るさ検出部１１０で被写体の明るさを検出することで、後述するＩＳＯ感度変更部１１２は被写体の明るさに応じてＩＳＯ感度を変更することができる。
【００４９】
ＩＳＯ感度手動設定部１１１は、撮像装置１００を用いた画像の撮影時に、撮影者によって撮影する画像のＩＳＯ感度を設定するものである。撮影者によって設定されたＩＳＯ感度はＩＳＯ感度変更部１１２に送られる。
【００５０】
ＩＳＯ感度変更部１１２は、明るさ検出部１１０で検出した被写体の明るさを用いて、またはＩＳＯ感度手動設定部１１１における設定を用いて、ＩＳＯ感度を設定するものである。本実施形態においては、ＩＳＯ感度変更部１１２が設定するＩＳＯ感度に応じて、第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８のノイズ除去処理に用いる閾値を設定する。ＩＳＯ感度変更部１１２が設定したＩＳＯ感度の情報は閾値変更部１１３に送られる。
【００５１】
なお本実施形態では、ＩＳＯ感度変更部１１２は、明るさ検出部１１０で検出した被写体の明るさを用いてＩＳＯ感度を設定しているが、本発明はかかる例に限定されない。例えば、被写体の明るさを用いてＩＳＯ感度を設定する場合には、ＩＳＯ感度変更部１１２は、例えば、４色分離部１０４でＧｒ、Ｇｂ、Ｒ、Ｂの４つに分離された画像データの内、Ｇｒの画像データを用いてＩＳＯ感度を設定してもよい。
【００５２】
閾値変更部１１３は、ＩＳＯ感度変更部１１２が設定したＩＳＯ感度の情報が入力され、ＩＳＯ感度に応じて第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８の色ノイズ除去処理に用いる閾値を設定するものである。閾値変更部１１３が設定した閾値の情報は、第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８に送られる。第１ノイズリダクション部１０５に送られる閾値の情報はノイズ除去部１２３に入力される。
【００５３】
閾値変更部１１３は、色ノイズ除去処理に用いる閾値を設定する際に、予め閾値変更部１１３の内部に、または閾値変更部１１３の外部に設けたテーブルから、入力されたＩＳＯ感度に応じた閾値の情報を読み出して、閾値を設定してもよい。
【００５４】
以上、本発明の一実施形態にかかる撮像装置１００の構成について説明した。次に、本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理について説明する。
【００５５】
［１−２．色ノイズと色エッジとの関係］
まず、本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理の詳細を説明する前提として、色ノイズ、色ノイズ除去処理に用いる閾値及び色エッジの関係について説明する。図３Ａ〜図３Ｅ及び図４Ａ、図４Ｂは、色ノイズ、色ノイズ除去処理に用いる閾値及び色エッジの関係について概念的に示す説明図である。
【００５６】
図３Ａは、色信号Ｃｒ、Ｃｂにおけるエッジ部分（以下、かかるエッジ部分のことを「色エッジ部分」とも称する）に色ノイズが全く乗っていない理想的な状態である色エッジの一例について示す説明図である。図３Ａには、例えば色信号Ｃｒ（またはＣｂ）の値と、隣接する色信号Ｃｒ（またはＣｂ）の値との差が９０である色エッジを一例として示している。
【００５７】
図３Ｂは、図３Ａに示した色エッジ部分に色ノイズが乗った状態の一例について示す説明図である。図３Ｂには、例えば色信号Ｃｒ（またはＣｂ）の値と、隣接する色信号Ｃｒ（またはＣｂ）の値との差が９０である色エッジ部分に、最大振幅が５０である色ノイズが乗っている場合を一例として示している。
【００５８】
図３Ｂに示したように、色エッジ部分のエッジ成分より小さな最大振幅を有するノイズが色エッジ部分に乗った場合に、閾値を５０とする色ノイズ除去処理を実行すると、色ノイズ除去後の色エッジ部分の波形を理想的な状態とすることができる。なお、本実施形態では、色ノイズ除去処理の閾値は、色ノイズ除去処理の強度を示すものである。図３Ｃは、図３Ｂに示したノイズの乗った色エッジから、閾値を５０とする色ノイズ除去処理によって色ノイズを除去した後の、色エッジ部分の波形の一例について示す説明図である。図３Ｃに示したように、色エッジより小さな最大振幅を有するノイズが色エッジ部分に乗っていると想定すると、色エッジより小さな閾値による色ノイズ除去処理によって、色ノイズ除去後の色エッジ部分の波形を理想的な状態とすることができる。色ノイズ除去後の色エッジ部分の波形を理想的な状態とすることで、色ノイズ除去処理の前後で色の解像感を保つことができる。
【００５９】
しかし、色エッジ部分のエッジ成分より大きな最大振幅を有するノイズが色エッジ部分に乗った場合には、ノイズを除去するために色ノイズ除去処理の強度を強めてしまうと、ノイズは除去できるが、色エッジ部分の波形が乱れてしまうという問題がある。色エッジ部分の波形が乱れてしまうと色の解像感が保たれず、色がぼやけた感じとなる。なお、本実施形態においては、色イズ除去処理の強度を強めるということは、大きな閾値による色ノイズ除去処理を実行することである。
【００６０】
図３Ｄは、図３Ａに示した色エッジ部分にノイズが乗った状態の一例について示す説明図である。図３Ｄには、色信号Ｃｒ（またはＣｂ）の値と、隣接する色信号Ｃｒ（またはＣｂ）の値との差が９０である色エッジに、最大振幅が１００であるノイズが乗っている場合を一例として示している。
【００６１】
図３Ｄに示したように、色エッジ部分の差より大きな最大振幅を有するノイズが色エッジ部分に乗ったと想定し、この色エッジ部分に閾値を１００とする色ノイズ除去処理を実行すると、ノイズは除去することができるが、色エッジ部分の波形が乱れてしまう場合がある。図３Ｅは、図３Ｄに示した色信号Ｃｒ（またはＣｂ）の値と、隣接する色信号Ｃｒ（またはＣｂ）の値との差が９０である色エッジに、最大振幅が１００であるノイズが乗っている状態から、閾値を１００とするノイズ除去処理によってノイズを除去した後の、色エッジ部分の波形の一例について示す説明図である。図３Ｅに示したように、色エッジより大きな最大振幅を有するノイズが色エッジ部分に乗った場合に、色エッジより大きな閾値による色ノイズ除去処理を実行すると、ノイズは除去できるが、色エッジ部分の波形が乱れてしまう。
【００６２】
そこで、本実施形態では、色エッジより大きな最大振幅を有するノイズが色エッジ部分に乗った場合に、２段階の色ノイズ除去処理を実行することで、色エッジ部分の波形を乱すことなく、ノイズの除去を実行する。
【００６３】
図４Ａは、図３Ｄに示した差が９０である色エッジに、最大振幅が１００である色ノイズが乗っている状態から、閾値を５０とする色ノイズ除去処理を実行した場合の色ノイズ除去処理後の波形の一例について示す説明図である。図４Ａに示したように、最大振幅が１００である色ノイズは、閾値を５０とする色ノイズ除去処理を実行しても、最大振幅が５０のノイズが残り、ノイズを完全に除去することは出来ない。しかし、図３Ｄに示した波形に対して閾値を５０とする色ノイズ除去処理を実行することで、色ノイズ除去処理後の色エッジ部分の波形を、ノイズが乗っていない理想的な状態の波形に近い状態に保持することができる。
【００６４】
図４Ｂは、図４Ａに示した、ノイズが乗っている色エッジ部分の波形に対して、閾値を５０とする色ノイズ除去処理を実行した場合の色ノイズ除去処理後の波形の一例について示す説明図である。図４Ｂに示したように、色エッジより小さな最大振幅を有するノイズが色エッジ部分に乗った場合には、色エッジより小さな閾値による色ノイズ除去処理によって、色エッジ部分のノイズ除去後の波形を、ノイズが乗っていない理想的な状態の波形に保つことができる。
【００６５】
なお、ノイズの最大振幅は様々な要因により変化する。ノイズの最大振幅に影響を与える要因の一つに、撮影画像のＩＳＯ感度がある。撮影時にＩＳＯ感度を向上させれば、光量の少ない場所の被写体や高速で移動する被写体を撮影することが可能となるが、その反面、撮影画像にノイズが多く乗ってしまう。そこで、本実施形態にかかる撮像装置１００は、撮影画像のＩＳＯ感度から、また撮影者の撮影操作によって指定されたＩＳＯ感度から、色ノイズ除去処理に用いる閾値を設定する。そして本実施形態にかかる撮像装置１００は、設定された閾値を用いて、撮影時のＩＳＯ感度に応じて２段階の色ノイズ除去処理を実行する。
【００６６】
以上、色ノイズ、色ノイズ除去処理に用いる閾値及び色エッジの関係について説明した。続いて、本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理について詳細に説明する。
【００６７】
［１−３．色ノイズ除去処理］
図５は、本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理について説明する流れ図である。以下、図５を用いて本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理について説明する。
【００６８】
撮像装置１００において被写体の撮影操作が行われ、ベイヤー入力端子１０１にＲＡＷデータが入力されると、入力されたＲＡＷデータは４色分離部１０４へ送られる。そして、４色分離部１０４に入力されたＲＡＷデータは、Ｇｒ、Ｇｂ、Ｒ、Ｂの４種類の画像データに分離されて、第１ノイズリダクション部１０５へ出力される。
【００６９】
第１ノイズリダクション部１０５は、Ｇｒ、Ｇｂ、Ｒ、Ｂの４種類に分離された画像データが入力されると、まず第１簡易デモザイク部１２１において、各画像データを用いた簡易デモザイク処理を実行する。そして、第１簡易デモザイク部１２１において簡易デモザイク処理が施された画像データは、色差計算部１２２において赤色の画素Ｒ及び青色の画素Ｂにおける色差が計算される（ステップＳ１０１）。
【００７０】
色差計算部１２２で赤色の画素Ｒ及び青色の画素Ｂにおける色差を計算すると、続いて色差計算部１２２が算出した赤色及び青色の色差毎に、それぞれ色ノイズ除去処理をノイズ除去部１２３で実行する（ステップＳ１０２）。ここで、ノイズ除去部１２３は、予め定められた閾値を用いて色ノイズ除去処理を実行する。また、ノイズ除去部１２３の色ノイズ除去処理に用いられる閾値は、閾値変更部１１３によって設定される。
【００７１】
ノイズ除去部１２３において色ノイズ除去処理が行われると、色ノイズ除去処理が施された信号は、第２簡易デモザイク部１２４、ＲＢ計算部１２５及びエッジ判別デモザイク部１０６によってＲ、Ｇ、Ｂのフルカラー画像データに戻される（ステップＳ１０３）。具体的には、まず第２簡易デモザイク部１２４において、補間演算処理によって、赤色の画素Ｒ、青色の画素Ｂの空間位置における緑色の画素値Ｇｘ、Ｇｙが算出される。次に、ＲＢ計算部１２５において、赤色の画素Ｒ、青色の画素Ｂの空間位置における緑色の画素値Ｇｘ、Ｇｙを用いて、赤色の画素Ｒ及び青色の画素Ｂの画素値が算出される。そして、エッジ判別デモザイク部１０６において、撮像素子の各画素の空間位置で赤色、緑色、青色の色データＲ、Ｇ、Ｂを有するフルカラーの画像データが生成される。
【００７２】
第２簡易デモザイク部１２４、ＲＢ計算部１２５及びエッジ判別デモザイク部１０６によってＲ、Ｇ、Ｂのフルカラー画像データが生成されると、続いて、フルカラー画像データを、輝度信号及び色差信号からなるＹＣＣデータに変換する（ステップＳ１０４）。フルカラー画像データからＹＣＣデータへの変換はＹＣＣ変換部１０７が行う。ＹＣＣ変換部１０７は、フルカラー画像データからＹＣＣデータへ、例えば上述した数式１〜数式３を用いて変換する。
【００７３】
フルカラー画像データからＹＣＣデータへの変換が実行されると、続いて、ＹＣＣデータに対する色ノイズ除去処理を第２ノイズリダクション部１０８で実行する（ステップＳ１０８）。本実施形態では、第２ノイズリダクション部１０８は、ＹＣＣ変換部１０７によって生成されるＹＣＣデータに含まれる色差信号（Ｃｂ／Ｃｒ信号）に対する色ノイズ除去処理を実行する（ステップＳ１０５）。
【００７４】
ここで、第２ノイズリダクション部１０８は、予め定められた閾値を用いて色ノイズ除去処理を実行する。また、第２ノイズリダクション部１０８の色ノイズ除去処理に用いられる閾値は、閾値変更部１１３によって設定される。
【００７５】
第２ノイズリダクション部１０８による、ＹＣＣデータに対する色ノイズ除去処理が行われると、ＹＣＣ合成部１０９で、色差信号のノイズが除去されたＹＣＣデータを合成し、画像データを生成する（ステップＳ１０６）。
【００７６】
このように、本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理は、第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８の２箇所で実行される。撮像装置１００による撮像処理の結果生成されるＲＡＷデータに含まれる色ノイズに対して２段階の色ノイズ除去処理を実行することで、色エッジ部分の画素値の差を超える色ノイズがＲＡＷデータに含まれているような場合にも色ノイズを効果的に除去することができる。
【００７７】
［１−４．閾値設定方法］
続いて、本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理における、閾値設定方法について説明する。図６は、本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理における、閾値設定方法について示す流れ図である。
【００７８】
最初に、ＩＳＯ感度変更部１１２がＩＳＯ感度を設定する（ステップＳ１１１）。ＩＳＯ感度変更部１１２は、ＲＡＷデータのＩＳＯ感度を、例えば、明るさ検出部１１０にＲＡＷデータが入力され、入力されたＲＡＷデータから導出したものを用いて設定してもよい。またＩＳＯ感度変更部１１２は、ＩＳＯ感度手動設定部１１１で設定されたＩＳＯ感度を用いて、ＲＡＷデータのＩＳＯ感度を設定してもよい。ＩＳＯ感度変更部１１２によって設定されたＩＳＯ感度の情報は閾値変更部１１３に送られる。
【００７９】
上記ステップＳ１１１において、ＩＳＯ感度変更部１１２によってＩＳＯ感度が設定されると、続いて、閾値変更部１１３が、設定されたＩＳＯ感度に応じた、色ノイズ除去処理に用いる閾値を設定する（ステップＳ１１２）。閾値変更部１１３は、ＩＳＯ感度が高くなった場合には閾値を大きく設定し、ＩＳＯ感度が低くなった場合には閾値を小さく設定する。閾値変更部１１３で閾値を設定すると、閾値変更部１１３は設定した閾値を第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８に送る。第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８は、閾値変更部１１３から送られた閾値を用いた色ノイズ除去処理を、それぞれ実行する（ステップＳ１１３）。
【００８０】
ここで、ＩＳＯ感度と閾値との関係の一例を以下に示す。ＩＳＯ感度変更部１１２によってＩＳＯ感度が１００に設定された場合には、閾値変更部１１３は、例えば、第１ノイズリダクション部１０５での色ノイズ除去処理に用いる閾値と、第２ノイズリダクション部１０８での色ノイズ除去処理に用いる閾値を、それぞれ５０に設定する。第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８は、閾値変更部１１３で設定された閾値を用いて、それぞれ色ノイズ除去処理を実行する。
【００８１】
また、ＩＳＯ感度変更部１１２によってＩＳＯ感度が２００に設定された場合には、閾値変更部１１３は上記の場合と異なる閾値を第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８に設定する。閾値変更部１１３は、例えば、第１ノイズリダクション部１０５での色ノイズ除去処理に用いる閾値と、第２ノイズリダクション部１０８での色ノイズ除去処理に用いる閾値を、それぞれ１００に設定する。第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８は、閾値変更部１１３で設定された閾値を用いて、それぞれ色ノイズ除去処理を実行する。
【００８２】
同様に、ＩＳＯ感度変更部１１２によってＩＳＯ感度が４００に設定された場合には、色ノイズ除去処理に用いる閾値をそれぞれ２００に設定し、ＩＳＯ感度が８００に設定された場合には、色ノイズ除去処理に用いる閾値をそれぞれ４００に設定する。このように、閾値変更部１１３は、設定されたＩＳＯ感度の半分の値を、第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８における色ノイズ除去処理に用いる閾値として設定する。その結果、ＩＳＯ感度に応じて閾値を設定することで、ＲＡＷデータに含まれる色ノイズの量に応じた色ノイズ除去処理を実行することが出来る。また、このように閾値を設定することで、図４Ａ及び図４Ｂに示したように、色ノイズ除去処理を実行した後の色エッジ部分の波形が理想的な状態となるように、色ノイズを除去することが可能となる。色ノイズ除去処理を実行した後の色エッジ部分の波形が理想的な状態となるように色ノイズを除去することで、色ノイズ除去処理の前後で色の解像感を保つことができる。
【００８３】
なお、本実施形態においては、設定されたＩＳＯ感度の半分の値を、第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８における色ノイズ除去処理に用いる閾値として設定しているが、本発明はかかる例に限定されないことは言うまでも無い。閾値設定部１１３は、第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８とで異なる閾値を設定してもよい。
【００８４】
また例えば、ＲＡＷデータに含まれる色ノイズが少ない場合には、閾値変更部１１３は、第１ノイズリダクション部１０５での色ノイズ除去処理に用いる閾値と、第２ノイズリダクション部１０８での色ノイズ除去処理に用いる閾値を、設定されたＩＳＯ感度の半分の値より少ない値としてもよい。例えば、ＩＳＯ感度変更部１１２によってＩＳＯ感度が１００に設定された場合であっても、半分の閾値でＲＡＷデータに含まれる色ノイズを除去できる場合には、閾値変更部１１３は、第１ノイズリダクション部１０５での色ノイズ除去処理に用いる閾値と、第２ノイズリダクション部１０８での色ノイズ除去処理に用いる閾値を、例えばそれぞれ２５に設定してもよい。
【００８５】
また例えば、ＲＡＷデータに含まれる色ノイズが少ない場合には、閾値変更部１１３は、第１ノイズリダクション部１０５または第２ノイズリダクション部１０８のいずれか一方に対して閾値を設定してもよい。例えば、ＩＳＯ感度変更部１１２によってＩＳＯ感度が１００に設定され、色エッジ部分の画素値の差より小さい振幅を有する色ノイズがＲＡＷデータに含まれている場合を考える。かかる場合には、第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８に対してそれぞれ閾値を５０に設定してもよく、第１ノイズリダクション部１０５または第２ノイズリダクション部１０８のいずれか一方に対して閾値を１００に設定してもよい。
【００８６】
なお、ＲＡＷデータに含まれる色ノイズが少なく、第１ノイズリダクション部１０５または第２ノイズリダクション部１０８のいずれか一方による色ノイズ除去処理で色ノイズを十分除去出来る場合には、第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８の双方で色ノイズ除去処理を実行してもよく、第１ノイズリダクション部１０５でのみ色ノイズ除去処理を実行し、第２ノイズリダクション部１０８はノイズ除去処理を実行しないようにしても良い。第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８をハードウェアで構成する場合には、第２ノイズリダクション部１０８における色ノイズ除去処理を行なわないようにすることにより、消費電力を抑えることができ、また色ノイズ除去処理に要する処理時間を短縮することができる。
【００８７】
以上、本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理における、閾値設定方法について説明した。
【００８８】
＜２．まとめ＞
以上説明したように本発明によれば、ＲＡＷデータに含まれる色ノイズを除去する色ノイズ除去処理を、第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８において実行する。第１ノイズリダクション部１０５はＲＡＷデータに対する色ノイズ除去処理を実行し、第２ノイズリダクション部１０８はＹＣＣデータに対する色ノイズ除去処理を実行する。第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８では、閾値変更部１１３が設定した閾値を用いて色ノイズ除去処理を実行する。
【００８９】
第１ノイズリダクション部１０５によるＲＡＷデータに対する色ノイズ除去処理のみを実行する場合は、色ノイズ除去処理の強度を強くすると、低周波色ノイズは除去することができるが、色の解像感も失われてしまう。色の解像感が失われないように色ノイズ除去処理の強度を強くすると、低周波色ノイズを完全に除去することは出来ない。第２ノイズリダクション部１０８によるＹＣＣデータに対する色ノイズ除去処理のみを実行する場合も同様に、色ノイズ除去処理の強度を強くすると、低周波色ノイズは除去することができるが、色の解像感も失われてしまう。色の解像感が失われないように色ノイズ除去の強度を強くすると、低周波色ノイズを完全に除去することは出来ない。
【００９０】
本実施形態にかかる撮像装置１００は、第１ノイズリダクション部１０５によるＲＡＷデータに対する色ノイズ除去処理及び第２ノイズリダクション部１０８によるＹＣＣデータに対する色ノイズ除去処理を実行する。そして、それぞれの色ノイズ除去処理の強度は色の解像感が失われない程度の強度に留める。具体例としては、図４Ａ及び図４Ｂに示したような、色エッジ部分の画素値の差を超えない程度の色ノイズ除去閾値を用いて、色ノイズ除去処理を実行する。このように特性の異なる色ノイズ除去処理を２度実行することで、従来においては除去できなかった低周波色ノイズを、色エッジ部分の波形を乱すことなく除去することができる。
【００９１】
また、第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８での色ノイズ除去処理に用いる閾値は、閾値変更部１１３がＩＳＯ感度に応じて設定することができる。閾値変更部１１３が閾値を設定する際に用いるＩＳＯ感度の情報は、入力されるＲＡＷデータを解析して設定してもよく、撮影者によって設定してもよい。ＩＳＯ感度に応じて閾値を設定することで、第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８は、ＲＡＷデータに含まれるノイズの量に応じた色ノイズ除去処理を実行することが出来る。
【００９２】
なお、上述した本発明の一実施形態にかかる撮像装置１００を用いた色ノイズ除去処理は、ハードウェアによって実行されるようにしてもよく、ソフトウェアによって実行されるようにしてもよい。色ノイズ除去処理をソフトウェアによって実行されるようにする場合には、例えばプログラムが格納された記録媒体を撮像装置１００に内蔵してもよい。そして、かかるプログラムを、撮像装置１００に内蔵したＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）その他の制御装置が読み出して順次実行するようにしてもよい。
【００９３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００９４】
例えば、上記実施形態では、撮像装置１００の内部に第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８を設け、撮像装置１００で撮像した画像データに対する色ノイズ除去処理を撮像装置１００の内部で行うものとしたが、本発明はかかる例に限定されない。例えば、撮像装置の撮像処理によって得られるＲＡＷデータを、パーソナルコンピュータその他の情報処理装置に設けるカラー画像信号入力部に、ＲＡＷデータが保存された記録媒体を介して、またはネットワークを介して入力される。そして、ＲＡＷデータが入力された情報処理装置の内部に、上記実施形態で説明した第１ノイズリダクション部１０５及び第２ノイズリダクション部１０８を備え、当該情報処理装置において色ノイズ除去処理を実行してもよい。
【００９５】
また例えば、上記実施形態では、第１ノイズリダクション部１０５では、入力されたＲＡＷデータから色差を計算し、赤色及び青色の色差毎に色ノイズ除去処理を実行することで、ＲＡＷデータに含まれる色ノイズを除去していたが、本発明は、ＲＡＷデータに対する色ノイズ除去処理はかかる例に限定されない。なお、ＲＡＷデータに含まれる色ノイズを除去する際には、輝度成分に影響を与えないように、色差成分に対して色ノイズを除去することが望ましい。
【００９６】
また例えば、上記実施形態では、第１ノイズリダクション部１０５で色ノイズ除去処理が行われるカラー画像信号は、ベイヤー配列を有するＲＡＷデータであったが、本発明は、ノイズ除去処理の対象となるカラー画像信号は、モザイク状のベイヤー配列を有するものに限られない。例えばハニカム状の配列を有するものであっても良く、ストライプ状の配色を有するものであってもよい。
【００９７】
また、例えば、上記実施形態ではＲＧＢ色空間を有するＲＡＷデータに対して色ノイズ除去処理を実行し、色ノイズ除去処理が実行されたＲＡＷデータから、ＹＣｒＣｂ色空間を有するＹＣＣデータに変換し、さらに変換後のＹＣＣデータに対して色ノイズ除去処理を実行していたが、本発明は、ＲＡＷデータから変換するカラー画像信号はかかる例に限定されない。例えば、ＹＣｂＣｒ以外の、ＹＵＶ、Ｌａｂその他の色空間を有するカラー画像信号に変換し、変換後のカラー画像信号に対して色ノイズ除去処理を実行しても良い。
【産業上の利用可能性】
【００９８】
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに適用可能であり、特にＲＡＷデータに含まれる色ノイズを除去する画像処理装置、画像処理方法及びコンピュータプログラムに適用可能である。
【符号の説明】
【００９９】
１００    撮像装置
１０１    ベイヤー入力端子
１０４    ４色分離部
１０５    第１ノイズリダクション部
１０６    エッジ判別デモザイク部
１０７    ＹＣＣ変換部
１０８    第２ノイズリダクション部
１０９    ＹＣＣ合成部
１１０    明るさ検出部
１１１    ＩＳＯ感度手動設定部
１１２    ＩＳＯ感度変更部
１１３    閾値変更部
１１４    出力端子
１２１    第１簡易デモザイク部
１２２    色差計算部
１２３    ノイズ除去部
１２４    第２簡易デモザイク部
１２５    ＲＢ計算部
【図１】
2010211773.tif 000006
【図２】
2010211773.tif 000007
【図３Ａ】
2010211773.tif 000008
【図３Ｂ】
2010211773.tif 000009
【図３Ｃ】
2010211773.tif 000010
【図３Ｄ】
2010211773.tif 000011
【図３Ｅ】
2010211773.tif 000012
【図４Ａ】
2010211773.tif 000013
【図４Ｂ】
2010211773.tif 000014
【図５】
2010211773.tif 000015
【図６】
2010211773.tif 000016