(57)【特許請求の範囲】
【請求項１】
処理対象画像において注目画素を含んだ処理対象エリア内で注目画素と周辺画素の信号値を比較して類似度の高い画素を抽出し、抽出した画素を用いてフィルタリング処理を演算するフィルタリング手段と、
前記フィルタリング手段により得られたフィルタリング処理の結果を新たな注目画素の信号値として前記フィルタリング処理が繰り返され、処理対象画素又は処理対象エリアの所定条件により前記フィルタリング処理の繰り返し回数を決定する処理回数決定手段と、を有し、
前記処理回数決定手段は、前記処理対象画像の合焦位置と前記処理対象エリアとの距離に基づいて前記フィルタリング処理の繰り返し回数を決定することを特徴とする画像処理装置。
【請求項２】
処理対象画像において注目画素を含んだ処理対象エリア内で注目画素と周辺画素の信号値を比較して類似度の高い画素を抽出し、抽出した画素を用いてフィルタリング処理を演算するフィルタリング手段と、
前記フィルタリング手段により得られたフィルタリング処理の結果を新たな注目画素の信号値として前記フィルタリング処理が繰り返され、処理対象画素又は処理対象エリアの所定条件により前記フィルタリング処理の繰り返し回数を決定する処理回数決定手段と、を有し、
前記処理回数決定手段は、前記処理対象画像の絞り情報に基づいて前記フィルタリング処理の繰り返し回数を決定することを特徴とする画像処理装置。
【請求項３】
処理対象画像において注目画素を含んだ処理対象エリア内で注目画素と周辺画素の信号値を比較して類似度の高い画素を抽出し、抽出した画素を用いてフィルタリング処理を演算するフィルタリング手段と、
前記フィルタリング手段により得られたフィルタリング処理の結果を新たな注目画素の信号値として前記フィルタリング処理が繰り返され、処理対象画素又は処理対象エリアの所定条件により前記フィルタリング処理の繰り返し回数を決定する処理回数決定手段と、を有し、
前記処理回数決定手段は、前記所定条件として画像から算出される標準偏差を用い、前記標準偏差が所定値以上では繰り返し回数を制限することを特徴とする画像処理装置。
【請求項４】
前記フィルタリング手段は、前記処理回数決定手段が決定した繰り返し回数に基づいて前記フィルタリング処理を演算する、請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記フィルタリング手段は、前記フィルタリング処理の結果として前記抽出した画素の信号値の平均値を算出する、請求項１から４のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに含まれるノイズを低減する機能を備える画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラやスキャナ等の撮像装置により撮影された画像データ（以下、「画像」ともいう。）には、撮像装置に含まれる撮像素子や回路の特性上、ショットノイズ、暗電流ノイズなどのノイズが含まれる。これら撮影された画像から高画質の画像を得るために、画像中のノイズを低減する必要がある。
【０００３】
しかし、画像に対して単純にローパスフィルタを用いてノイズを低減すると、エッジなどの画像中の重要な要素も同時に失われてしまい、画質が劣化する。そこで、画像データのノイズ低減においては、画像の領域の特性に応じて、適応的にノイズ低減を行うことが必要となる。 
【０００４】
画像データに関するノイズ低減技術の一つとして、εフィルタが考案されている（非特許文献１参照。）。εフィルタでは、注目画素との信号差が一定閾値以下となる周辺画素をフィルタ処理に用いることで、エッジなどの信号差の大きい成分を保存しつつノイズを低減することができる。
【０００５】
また、カラー画像に対する信号依存性のノイズ低減を、より少ない計算コストで実現する技術が知られている（特許文献１参照。）。この特許文献１の技術は、εフィルタに準ずる原理で注目画素周辺の類似画素群を選択して、その類似画素群の性質をεフィルタの演算結果と処理対象画素値との差分の変換処理に反映させる。このような特許文献１の技術は、エッジ以外で細かな信号差が発生することで目立ちやすい画像中の輝度ノイズに対しては有用である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１の技術は、色ノイズのような、注目画素と周辺画素との信号差が小さく広範囲に及ぶノイズに対しては周辺の参照画素数が少なく、除去効果が弱い。一方で、注目画素と周辺画素との信号差が小さいノイズに対してノイズ除去効果を高めるため、ノイズ除去に用いる参照画素数を増やすとフレームメモリの容量が大きくなる。そのため、特許文献１の技術には、ハード構成のサイズやコストが増加してしまうという課題がある。
【０００７】
本発明は上記の課題に鑑みてなされたものであって、注目画素と周辺画素との信号差が小さいノイズであっても効率よくノイズ除去を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、処理対象画像において注目画素を含んだ処理対象エリア内で注目画素と周辺画素の信号値を比較して類似度の高い画素を抽出し、抽出した画素を用いてフィルタリング処理を演算するフィルタリング手段と、フィルタリング手段により得られたフィルタリング処理の結果を新たな注目画素の信号値としてフィルタリング処理が繰り返され、処理対象画素又は処理対象エリアの所定条件によりフィルタリング処理の繰り返し回数を決定する処理回数決定手段と、を有してなることを特徴とする画像処理装置である。
【発明の効果】
【０００９】
本発明によれば、注目画素と周辺画素との信号差が小さく広範囲に及ぶノイズであっても効率よくノイズ除去を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る画像処理装置の実施の形態を示す画像処理装置としての撮像装置の正面図である。
【図２】上記画像処理装置の上面図である。
【図３】上記画像処理装置の例を示す背面図である。
【図４】上記画像処理装置の電気的制御系統の例を示す機能ブロック図である。
【図５】上記画像処理装置の画像処理部の機能ブロック図である。
【図６】上記画像処理装置のノイズ低減処理を示すフローチャートである。
【図７】上記画像処理装置の画像フィルタリング処理の一例を示す図である。
【図８】平均値と、分散の算出を模式的に説明する図である。
【図９】上記画像フィルタリング処理における信号値（画素値）に対するノイズの分散を示すグラフである。
【図１０】上記画像フィルタリング処理における類似画素群平均値に対するノイズ量の推定関数を示すグラフである。
【図１１】平均値と処理対象画素値との差分を一次元の特定方向に射影して加重加算を行う一例を示す図である。
【図１２】上記ノイズ低減処理における画像フィルタリング処理の繰り返し回数に対するノイズ量の推定関数を示すグラフである。
【図１３】上記画像処理装置のノイズ低減処理における画像フィルタリング処理の繰り返し回数を決定するテーブルの一例を示す図である。
【図１４】上記ノイズ低減処理における処理対象画像の領域分割の一例を示す図である。
【図１５】上記処理対象画像の領域分割した場合の領域ごとの繰り返し回数の一例を示す図である。
【図１６】上記領域分割によるノイズ低減処理についてフォーカスポイントと処理対象領域との距離の測定の一例を示す図である。
【図１７】上記領域分割による画像フィルタリング処理の繰り返し回数を決定するテーブルの一例を示す図である。
【図１８】ベイヤー配列の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明に係る画像処理装置の実施の形態について、図面を参照しながら説明する。
【００１２】
なお、本発明に係る画像処理装置は、後述するように、撮像装置が撮影した画像データのノイズを低減処理する装置である。画像処理装置の実現方法としては、処理対象の画像データを撮影する撮像装置の一機能として実現されるようにしてもよいし、あるいは、画像処理装置は撮像装置とは別の装置として実現されるようにしてもよい。ここで、以下の説明では、撮像装置が画像処理装置して実現される場合を例に説明する。
【００１３】
[画像処理装置の実施の形態]
図１は、画像処理装置の実施の形態を示す図であり、画像処理装置としての撮像装置の正面図である。図１において、撮像装置１の筐体であるカメラボディＣＢの正面には、ストロボ発光部３、ファインダ４の対物面、リモコン受光部６及び撮像レンズを含む撮像光学系を構成する鏡胴ユニット７が配置されている。カメラボディＣＢの一方の側面部には、メモリカード装填室及び電池装填室の蓋２が設けられている。
【００１４】
図２は、撮像装置１の上面図である。図２において、カメラボディＣＢの上面には、レリーズスイッチＳＷ１、モードダイヤルＳＷ２及びサブ液晶ディスプレイ（サブＬＣＤ）（以下「液晶ディスプレイ」を「ＬＣＤ」という。）１１が配置されている。
【００１５】
図３は、撮像装置１の背面図である。図３において、カメラボディＣＢの背面には、ファインダ４の接眼部、ＡＦ用発光ダイオード（以下発光ダイオードを「ＬＥＤ」という。）８、ストロボＬＥＤ９、被写体画像と拡大画像及び各種設定画面を表示する表示手段であるＬＣＤモニタ１０、電源スイッチ１３、広角方向ズームスイッチＳＷ３、望遠方向ズームスイッチＳＷ４、セルフタイマの設定及び解除スイッチＳＷ５、メニュースイッチＳＷ６、上移動及びストロボセットスイッチＳＷ７、右移動スイッチＳＷ８、ディスプレイスイッチＳＷ９、下移動及びマクロスイッチＳＷ１０、左移動及び画像確認スイッチＳＷ１１、ＯＫスイッチＳＷ１２、クイックアクセススイッチＳＷ１３、が配置されている。
【００１６】
[撮像装置の機能ブロック]
次に、撮像装置１の機能ブロックの例について説明する。図４は、撮像装置１の機能構成例を示す機能ブロック図である。撮像装置１の各種動作（処理）は、デジタル信号処理ＩＣ（集積回路）等で構成されるデジタルスチルカメラプロセッサ１０４（以下、単に「プロセッサ１０４」という。）と、プロセッサ１０４において動作する撮像プログラムによって制御される。画像処理手段であるプロセッサ１０４は、第１のＣＣＤ（電荷結合素子）信号処理ブロック１０４−１と、第２のＣＣＤ信号処理ブロック１０４−２と、ＣＰＵ（中央処理ユニット）ブロック１０４−３と、ローカルＳＲＡＭ（ＳＲＡＭ：スタティックランダムアクセスメモリ）１０４−４と、ＵＳＢ（ユニバーサルシリアルバス）ブロック１０４−５と、シリアルブロック１０４−６と、ＪＰＥＧコーデック（ＣＯＤＥＣ）ブロック１０４−７と、リサイズ（ＲＥＳＩＺＥ）ブロック１０４−８と、ＴＶ信号表示ブロック１０４−９と、メモリカードコントローラブロック１０４−１０と、を有してなる。これら各ブロックは相互にバスラインで接続されている。
【００１７】
プロセッサ１０４の外部には、ＲＡＷ−ＲＧＢ画像データ、ＹＵＶ画像データ及びＪＰＥＧ画像データを保存するためのＳＤＲＡＭ（シンクロナスランダムアクセスメモリ）１０３、ＲＡＭ１０７、内蔵メモリ１２０及び撮像プログラムである制御プログラムが格納されているＲＯＭ１０８、が配置されており、これらはバスラインを介してプロセッサ１０４に接続している。プロセッサ１０４は、ＲＯＭ１０８に格納されている各種制御プログラムを実行し、各種制御プログラムによる機能を実現する。ＳＤＲＡＭ１０３は、フレームメモリに相当する。ＲＯＭ１０８に格納されている各種制御プログラムには、本発明に係る画像処理装置の動作を実現するプログラムである、ノイズ低減プログラム２０が含まれる。つまり、撮像装置１において、ＲＯＭ１０８に格納されるノイズ低減プログラム２０をプロセッサ１０４に実行させ、ＳＤＲＡＭ１０３、ＲＡＭ１０７、内蔵メモリ１２０を使用することにより、画像処理装置１００のフィルタリング手段１０９と処理回数決定手段１１０との機能を実現している。
【００１８】
プロセッサ１０４は、主にＣＰＵブロック１０４−３等がバスで接続されたコンピュータを実体とし、ＲＯＭ１０８に記憶されたノイズ低減プログラム２０をＣＰＵブロック１０４−３が実行することで、画像データに以下で説明するノイズ低減処理が施される。
なお、ＡＳＩＣ等のハードウェア（不図示）によりノイズ低減処理を実装してもよい。
【００１９】
ノイズ低減プログラム２０は、あらかじめ、ＲＯＭ１０８に記憶される。ここで、ノイズ低減プログラムは、メモリカード１９２に記憶させて、メモリカードスロット１９１を介してＲＯＭ１０８に読み込むことができる。あるいは、ネットワーク（不図示）を介してノイズ低減プログラム２０をＲＯＭ１０８にダウンロードしてもよい。
【００２０】
鏡胴ユニット７は、ズーム（ＺＯＯＭ）レンズ７−１ａを有するズーム光学系７−１、フォーカス（ＦＯＣＵＳ）レンズ７−２ａを有するフォーカス光学系７−２、絞り７−３ａ、を有する絞りユニット７−３、メカニカルシャッタ（メカシャッタ）７−４ａを有するメカシャッタユニット７−４、を備えており、これらによって撮像光学系が構成される。
【００２１】
ズーム光学系７−１と，フォーカス光学系７−２と、絞りユニット７−３と、メカシャッタユニット７−４は、それぞれズーム（ＺＯＯＭ）モータ７−１ｂ、フォーカスレンズ移動手段としてのフォーカス（ＦＯＣＵＳ）モータ７−２ｂ、絞りモータ７−３ｂとメカシャッタモータ７−４ｂ、によって駆動される。
【００２２】
ズームモータ７−１ｂ、フォーカスモータ７−２ｂ、絞りモータ７−３ｂ及びメカシャッタモータ７−４ｂの各モータは、モータードライバ７−５によって駆動される。モータードライバ７−５はプロセッサ１０４のＣＰＵブロック１０４−３によって動作が制御される。
【００２３】
鏡胴ユニット７を構成するズームレンズ７−１ａとフォーカスレンズ７−２ａは、撮像素子であるＣＣＤ（Charge Coupled Device）１０１の受光面上に被写体像を結像させる撮像レンズを構成する。ＣＣＤ１０１は、受光面に結像された被写体像を電気的な画像信号に変換してＦ／Ｅ−ＩＣ（フロントエンドＩＣ）１０２に出力する。
【００２４】
なお、本実施の形態において、撮像素子は、ＣＣＤに限らず、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いてもよい。
【００２５】
Ｆ／Ｅ−ＩＣ１０２は、ＣＤＳ（相関２重サンプリング部）１０２−１、ＡＧＣ（自動利得制御部）１０２−２及びＡ／Ｄ（アナログ−デジタル）変換部１０２−３を有し、被写体像から変換された画像信号に対して、所定の処理を施し、デジタル信号に変換する。変換されたデジタル画像信号は、ＣＣＤ信号処理ブロック１０４−１に入力される。これらの信号処理動作は、プロセッサ１０４のＣＣＤ信号処理ブロック１０４−１から出力されるＶＤ信号（垂直駆動信号）とＨＤ信号（水平駆動信号）により、ＴＧ（タイミングジェネレータ）１０２−４を介して制御される。
【００２６】
ＣＣＤ信号処理ブロック１０４−１は、ＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２を経由して入力されたデジタル画像データに対して、ホワイトバランス調整及びγ調整等の信号処理を行うとともに、ＶＤ信号及びＨＤ信号を出力する。
【００２７】
また、ＣＰＵブロック１０４−３は、ストロボ回路１１４を制御して動作させることによってストロボ発光部３から照明光を発光させる。
【００２８】
ＵＳＢブロック１０４−５は、ＵＳＢコネクタ１２２に結合される。シリアルブロック１０４−６は、シリアルドライバ回路１２３−１を介してＲＳ−２３２Ｃコネクタ１２３−２に結合される。
【００２９】
ＴＶ信号表示ブロック１０４−９は、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に結合され、また、ＴＶ信号表示ブロック１０４−９は、ビデオアンプ（ＡＭＰ）１１８を介してビデオジャック１１９にも結合される。
【００３０】
メモリカードコントローラブロック１０４−１０は、メモリカードスロット１９１のカード接点に結合されている。メモリカード１９２がこのメモリカードスロット１９１に装填されると、メモリカード１９２の接点に接触して電気的に接続され、装填されたメモリカード１９２に画像ファイルを記憶する。
【００３１】
[撮像装置の動作]
次に、撮像装置１の動作について説明をする。図１から図３に示した撮像装置１において、モードダイヤルＳＷ２を操作し、「記録モード」を選択すると、撮像装置１は記録モードでの動作を開始する。より詳しくは、図３に示した操作ｋｅｙユニット（ＳＷ１〜ＳＷ１３）に含まれるモードダイヤルＳＷ２の状態が記録モード−オンになったことを、ＣＰＵブロック１０４−３が検知することで、記録モードでの動作が開始する。
【００３２】
ＣＰＵブロック１０４−３はモータードライバ７−５を制御し、鏡胴ユニット７を撮像可能な位置に移動させる。さらに、ＣＣＤ１０１、Ｆ／Ｅ−ＩＣ１０２及びＬＣＤモニタ１０等の各部に電源が投入されて動作が開始される。各部の電源が投入されると、ファインダモードでの動作が開始する。
【００３３】
ファインダモードで動作中の撮像装置１は、撮像レンズを介してＣＣＤ１０１の受光面に結像された被写体像に係る画像信号がＣＤＳ１０２−１に出力される。このアナログＲＧＢ信号は、ＡＧＣ（自動利得制御回路）１０２−２を介してＡ／Ｄ変換器１０２−３にてデジタル画像信号に変換される。このデジタル画像信号に含まれるＲ・Ｇ・Ｂの各信号は、プロセッサ１０４内の第２のＣＣＤ信号処理ブロック１０４−２が具備するＹＵＶ変換手段によって、ＹＵＶ画像データに変換されて、フレームメモリとしてのＳＤＲＡＭ１０３に記録される。なお、第２のＣＣＤ信号処理ブロック１０４−２は、ＲＧＢ画像信号に対してフィルタリング処理等の適切な処理を施してＹＵＶ画像データへと変換する。
【００３４】
ＹＵＶ画像データは、ＣＰＵブロック１０４−３によって読み出されて、ビデオ信号表示ブロック１０４−９を介してビデオアンプ１１８及びビデオジャック１１９に送られて、これに接続されたＴＶ（テレビジョン）にて表示される。
【００３５】
また、ＣＰＵブロック１０４−３によって読み出されたＹＵＶ画像データは、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に送られて表示に供される。この処理が１／３０秒間隔で行われて表示が更新され、撮像対象とする被写体をＬＣＤモニタ１０の表示によって視認しながら撮像することができるファインダモードでの動作となる。
【００３６】
ＣＣＤ１０１は複数の駆動モード（駆動条件）を設定することができる。この駆動モードによって、ＣＣＤ１０１から出力される画像信号の出力条件を変更することができる。駆動モードには、例えば、『水平画素の「加算と間引き」をせずに、垂直画素の「加算と間引き」もしないモード（以下「モード１」とする。）』、『水平画素を「２画素加算」し、垂直画素を「２画素加算」するモード（以下「モード２」とする。）』、『水平画素を「４画素加算」し、垂直画素を「２画素間引き」するモード（以下「モード３」とする。）』、『水平画素の「加算と間引き」をせず、垂直画素を「４画素加算」とするモード（以下「モード４」とする。）』、がある。
【００３７】
[ノイズ低減処理の実施例１]
次に、撮像装置１が実行する画像データのノイズを低減するための、画像フィルタリング処理と、この画像フィルタリング処理の繰り返し回数の決定処理とを含む画像データのノイズ低減処理の一例について、実施例１として説明する。本実施例では、一つの画素がＲＧＢの３成分を持つカラー画像から、信号値に大きさが依存するノイズを低減する際に処理対象画像全体に対して画像フィルタリング処理を繰り返す例を示す。
【００３８】
図５は、撮像装置１によって実現される画像処理装置の機能ブロック図の一例を示す。画像処理装置１００は、画像データ（以下、処理対象画像３１という）を入力データとして画像フィルタリング処理を所定回数繰り返し行うことで、ノイズ低減画像３２を出力する。
【００３９】
画像処理装置１００は、機能ブロックとして、画像取得部１０８−１、画像情報取得部１０８−２、カメラ設定情報記憶部５１、繰り返し回数算出部１０８−３、繰り返し回数カウント部１０８−４、注目画素選択部１０８−５、類似画素群抽出部１０８−６、平均値算出部１０８−７、画素選択済判定部１０８−８、繰り返し終了判定部１０８−９、加重加算部１０８−１０、ノイズ分散推定関数記憶部４１、補正値置換部１０８−１１を有する。各機能ブロックは、ＣＰＵブロック１０４−３がノイズ低減プログラム２０を実行することで実現される。
【００４０】
画像取得部１０８−１、注目画素選択部１０８−５、類似画素群抽出部１０８−６、平均値算出部１０８−７、画素選択済判定部１０８−８は、フィルタリング手段１０９として画像フィルタリング処理を演算する。また、画像情報取得部１０８−２、カメラ設定情報記憶部５１、繰り返し回数算出部１０８−３、繰り返し回数カウント部１０８−４は、処理回数決定手段１１０としてフィルタリング処理の繰り返し回数を決定する。
【００４１】
図６は、画像処理の手順を示すフローチャート図の一例を示す。以下、各機能ブロックが行う処理について、図６のフローチャートに沿って説明する。
【００４２】
画像処理装置１００が画像フィルタリング処理を開始すると、画像取得部１０８−１が、処理対象画像３１が格納されるＳＤＲＡＭ１０３から処理対象画像３１を取得する（処理ステップＳ１０１）。処理対象画像３１は、画像処理装置１００が含まれる撮像装置１によって撮影された画像データであるが、それ以外の画像データ（例えば、他の撮像装置によって撮影された画像データ）であってもよい。
【００４３】
処理対象画像３１を取得すると、画像情報取得部１０８−２は、処理対象画像３１から画像情報として撮影時のカメラ設定情報や、画像特性情報を取得する（処理ステップＳ１０２）。
【００４４】
ここで、撮影時のカメラ設定情報は、画像がＪＰＥＧ（Joint
Photographic Experts Group）であればデジタルカメラなどで一般的に付加されるＥｘｉｆ（Exchangeable
Image File Format）情報や、各カメラメーカーが独自に画像データのファイル内に書き込んでいる情報（メーカーノート）から取得することができる情報である。カメラ設定情報から取得する情報としては、例えば、ＩＳＯ（International Organization for Standardization）感度、光源（ＷＢ（White Balance）を含む）情報などである。
【００４５】
画像処理装置１００が、撮像装置１内部の機能として処理を行う場合には、撮像装置１内のカメラ設定情報記憶部５１に撮影時のカメラ設定情報が保持されている。そのため、画像情報取得部１０８−２は、カメラ設定情報記憶部５１からカメラ設定情報を取得する。
【００４６】
また、画像特性情報は、撮影した処理対象画像３１から輝度値、標準偏差を算出して取得される情報である。画像特性情報の算出方法については後述する。
【００４７】
繰り返し回数算出部１０８−３は、画像情報取得部１０８−２が取得したカメラ設定情報、画像特性情報に基づいて内蔵メモリ１２０内にある繰り返し回数テーブルを参照して、画像フィルタリング処理を繰り返す回数を決定する（処理ステップＳ１０３）。繰り返し回数決定方法については後述する。
【００４８】
繰り返し回数カウント部１０８−４は、画像フィルタリング処理を行うたびに画像フィルタリング処理の繰り返し回数を加算して、画像フィルタリング処理の処理回数をカウントする（処理ステップＳ１０４）。
【００４９】
画像フィルタリング処理の繰り返し回数が決定されると、注目画素選択部１０８−５は、処理対象画像３１に含まれる画素の中から注目画素を選択する（処理ステップＳ１０５）。注目画素の選択方法としては、例えば、ラスタ走査により水平方向に１画素ずつ移動させて注目画素を選択する方法を採用することができる。ここで、走査方法は上述のものに限らず、いかなるものであってもよい。
【００５０】
注目画素の決定後、類似画素群抽出部１０８−６は、注目画素の近傍領域から類似画素を抽出する（処理ステップＳ１０６）。類似画素の抽出方法としては、例えば、注目画素を中心としたウィンドウを設定し、注目画素との信号値の差分の絶対値が特定閾値以下のものを抽出する方法を採用することができる。
【００５１】
図７は、画像処理装置１００による、画像フィルタリング処理の一例を示す図である。類似画素群抽出部１０８−６は、例えば、図７（ａ）のような注目画素を中心として５×５のウィンドウの信号値に対して注目画素３３を定める。次いで、図７（ｂ）のように注目画素３３と周辺画素の画素値の絶対差分値を算出する。その後、類似画素群抽出部１０８−６は、図７（ｃ）のように所定の閾値（例えば、絶対差分値が３０以下）の画素であることを条件に、閾値範囲内の画素を類似画素として抽出する。この操作により、エッジなどの信号値が急峻に変わる部分の信号値の影響を避けることができる。
【００５２】
なお、注目画素との信号値の類似度としては、注目画素との信号値の差分の絶対値に限らず、ＲＧＢ空間におけるユークリッド距離や、その他にも種々の値を基準に用いることができる。
【００５３】
図８は、平均値と、分散の算出を模式的に説明する図である。例えば、図８に示すように、ウィンドウ内の画素をＬ＊ａ＊ｂ＊空間にマッピングし、その空間でのユークリッド距離を使って類似度を算出してもよい。また、類似度の数値としては、ユークリッド距離に限らずＬｐノルムを使用してもよい。
【００５４】
平均値算出部１０８−７は、図７（ｃ）で抽出した類似画素群について、図７（ｄ）のように信号値の平均値３４（ＲＧＢの３次元ベクトル）を算出する（処理ステップＳ１０７）。平均値算出部１０８−７は、この平均値３４を注目画素に対応するフィルタリング処理結果とする。
【００５５】
画素選択済判定部１０８−８は、処理対象画像３１中のすべての画素を注目画素として選択したか否かを判定する（処理ステップＳ１０８）。すべての画素を選択した場合は次ステップへ進む。すべての画素を選択していない場合、画像処理装置１００は、処理ステップＳ１０５に戻り、処理対象画像３１中の別の画素を注目画素として処理ステップＳ１０５からＳ１０７までの処理を行う。
【００５６】
繰り返し終了判定部１０８−９では、繰り返し回数カウント部１０８−４のカウント回数が繰り返し回数算出部１０８−３で算出した繰り返し回数に到達しているか判定する（処理ステップＳ１０９）。算出した繰り返し回数に到達している場合は次ステップに進む。算出した繰り返し回数に到達していない場合はＳ１０４に戻り、算出した繰り返し回数に到達するまでＳ１０５からＳ１０８までの処理を繰り返す。
【００５７】
処理対象画像３１の全ての画素について平均値を算出後、加重加算部１０８−１０は、処理対象画像３１の各画素において、平均値と画素値の加重加算を行う（処理ステップＳ１１０）。この加重加算について定式化すると、処理対象画像３１の画素値ｙ（ＲＧＢ３次元ベクトル）、類似画素群の平均値μ（ＲＧＢ３次元ベクトル）、重み係数行列Ｗ（３×３行列）、単位行列Ｉ（３×３行列）を用いて、式（１）で補正値ｘ（ＲＧＢ３次元ベクトル）を算出する。
【００５８】
【数１】
0005880121.tif 000002
【００５９】
補正値ｘは、重み係数行列Ｗの対角成分が１に近いほど平均値μに近付き、０に近いほど元の画素値ｙに近付く。処理対象画像３１の平坦な部分やノイズの多い部分でＷを大きく（１に近く）設定すれば、平均値μに近付き、より多くのノイズを低減することができる。また、処理対象画像３１のテクスチャのある部分やノイズの少ない部分でＷを小さく設定すれば、元の画素値ｙに近付き、微細な信号成分を残すことができる。このように加重加算を用いることで、局所領域の特性に合わせた適応的なノイズ低減が可能となる。
【００６０】
次に、重み係数行列Ｗは、ＲＧＢごとのノイズの分散τＲ２、τＧ２、τＢ２、類似画素群の平均値μＲ、μＧ、μＢ、設計パラメータαを用いて式（２）で算出する。
【００６１】
【数２】
0005880121.tif 000003
ノイズの分散τＲ２、τＧ２、τＢ２は、一定の設計値を用いてもよいし、その都度に推定することもできる。
【００６２】
図９は、上記画像フィルタリング処理における信号値（画素値）に対するノイズの分散を示すグラフである。処理ステップＳ１１０にてノイズの分散τ２を推定する方法について説明する。一般にＣＣＤやＣＭＯＳ等の撮像した画像に現れるショットノイズは、信号値が大きくなるにつれてノイズのサイズが大きくなる。このように、信号値とノイズの分散の相関性は高いので、回帰によって信号値からノイズの分散を良好な精度で推定することができる。ただし、真の信号値はノイズ低減画像からは分からないため、類似画素群の平均値μで真の信号値を代替する。
【００６３】
図１０は、画像フィルタリング処理における類似画素群平均値に対するノイズ量の推定関数を示すグラフである。本実施例では、このような推定関数をあらかじめ設定しておき、μからτ２を推定する。
【００６４】
なお、ノイズ量の推定関数は、ノイズ分散推定関数記憶部４１にルックアップテーブルで実装してもよいし、多項式などの関数をノイズ分散推定関数記憶部４１に用意してプロセッサ１０４により計算してもよい。推定関数は、例えばカラーチャート（Macbeth ColorCheckerなど）を撮影し、カラーチャートの各カラーパッチの信号値バラツキをノイズと見なすことで、最小二乗法等を利用して同定することができる。カラー画像の場合、ノイズの分散τＲ２、τＧ２、τＢ２に対するノイズ推定関数をＲＧＢ成分のそれぞれに用意する。
【００６５】
また、推定関数が撮影条件によって異なる場合は、撮影条件ごとに別の関数を用意して用いればよい。例えば、ＩＳＯ感度によってノイズの大きさは変わるため、設定されたＩＳＯ感度によって使用する推定関数を切り替えることができる。この場合に、ノイズ分散推定関数記憶部４１には、複数種の推定関数を保持するのがよい。
【００６６】
補正値置換部１０８−１１が処理対象画像３１中の画素値を補正値で置換しノイズ低減画像３２を得て出力する（処理ステップＳ１１１）。出力されたノイズ低減画像３２は、ＳＤＲＡＭ１０３やメモリカード１９２に格納される。
【００６７】
以上のように、画像処理装置１００は、カラー画像データである処理対象画像３１に対して、信号依存性のノイズの解像感を落とすことなく低い処理コストでノイズを低減することができる。
【００６８】
なお、以上の実施例では、処理対象画像３１がＲＧＢ成分を持つカラー画像であるものとして説明したが、本発明はＹＣＣやＬ＊ａ＊ｂ＊など任意の色空間で表現されたカラー画像に対して、同様に適用することができる。また、本発明は、ｎバンドの分光画像に対しても、本実施例における信号値をｎ次元ベクトルとみなすことで、適用可能である。
【００６９】
[ステップＳ１１０の変形例]
上述の実施例における、処理ステップＳ１１０の加重加算処理の変形例について説明する。
【００７０】
上述の実施例の処理ステップＳ１１０において、加重加算処理の一例として、ＲＧＢの３次元空間での加重加算を説明したが、平均値と処理対象画素値との差分を一次元の特定方向ｅに射影してから加重加算を行うこともできる。
【００７１】
図１１は、平均値と処理対象画素値との差分を一次元の特定方向に射影して加重加算を行う一例を示す図である。上記特定方向としては、例えば、類似画素群の平均値のＲＧＢ比率一定の方向や輝度の方向、最大分散の方向を考えることができる。ここで、ｗは重み係数（スカラー）であり、例えば式（３）のように設定できる。
【００７２】
【数３】
0005880121.tif 000004
【００７３】
１次元に射影することで、計算量を低減し、かつ、特定方向ｅ上に射影を行うことでｅに直交する方向のノイズを強制的に０にすることができる。
【００７４】
[画像特定値の算出方法]
上述の実施例１における、処理ステップＳ１０２の処理対象画像３１から画像特性情報を算出する方法について説明する。処理対象画像３１から算出する画像特性情報としては、輝度値と標準偏差が挙げられる。
輝度値Ｙの算出は処理対象画像３１に含まれる画素ごとに行われ、ＲＧＢ信号に対して式（４）で算出される。
【００７５】
【数４】
0005880121.tif 000005
また、標準偏差σの算出は処理対象画像全体に対して行われ、式（５）で算出される。
【００７６】
【数５】
0005880121.tif 000006
【００７７】
ここでｎは処理対象画像３１の画素数、ｘiは注目画素の信号量、ｘは信号平均値である。標準偏差の算出は、輝度値、ＲＧＢそれぞれに算出するとよい。輝度値は処理対象画像３１内で平均を算出して使用する。
【００７８】
[繰り返し回数決定処理]
上述の処理ステップＳ１０３にて説明した、繰り返し回数算出部１０８−３による、繰り返し回数決定処理について説明する。
【００７９】
図１２は、ノイズ低減処理における画像フィルタリング処理の繰り返し回数に対するノイズ量の関係を示したグラフの一例である。図１２に示すように、繰り返し回数を増やすと色ノイズ量が減少し、繰り返し回数が増えるにつれて色ノイズ低減量は徐々に小さくなる傾向にある。このような特性を有する画像フィルタリング処理における、その繰り返し回数の決定方法を説明する。
【００８０】
上述のように、処理ステップＳ１０３では、繰り返し回数算出部１０８−３が、画像情報取得部１０８−２で取得した画像情報と繰り返し回数テーブルとに基づいて、繰り返し回数を算出する。取得する画像情報には、輝度、標準偏差、ＩＳＯ感度（センサゲイン）、光源（ＷＢ）がある。以下に、各情報での繰り返し回数決定方法について説明する。
【００８１】
[輝度値に基づく繰り返し回数決定方法]
まず、画像特性情報に含まれる輝度に基づく繰り返し回数決定方法について説明する。画像データにおいて、色ノイズが目立つのは画像の比較的暗い領域である。
【００８２】
図１３は、画像処理装置１００のノイズ低減処理における画像フィルタリング処理の繰り返し回数を決定するテーブルの一例を示す図である。図１３（ａ）は、輝度値に基づく繰り返し回数テーブルの一例である。繰り返し回数決定処理にあたり、図１３（ａ）のようにあらかじめ輝度値に対して閾値を設定し、閾値で区切られた領域ごとに繰り返し回数を設定する。繰り返し回数の設定について、例えば、色ノイズの目立ちやすい低輝度領域の繰り返し回数を多くし、中間輝度から高輝度に向けて徐々に少なくなるように設定する。繰り返し回数算出部１０８−３が、処理対象画像３１から取得した輝度情報が繰り返し回数テーブルのいずれの輝度値領域に入るのかを判断することによって、繰り返し回数が決定される。
【００８３】
[標準偏差に基づく繰り返し回数決定方法]
標準偏差に基づく繰り返し回数決定方法について説明する。この方法は、画像特性情報に基づいて算出される標準偏差に対して閾値を定め、この閾値に対して繰り返し回数をあらかじめテーブルに設定する。繰り返し回数算出部１０８−３は、算出された値とテーブルの閾値とを照合して繰り返し回数を決定する。
【００８４】
標準偏差に基づく繰り返し回数の決定にあたっては、ノイズが多い領域では標準偏差が高くなるが、エッジを多く含む場合にも標準偏差が高くなる傾向がある。
【００８５】
そのため、繰り返し回数の設定には注意が必要である。すなわち、繰り返し回数の設定にあたっては、標準偏差がある値以上では繰り返し回数を増やさないような設定が必要となる。
【００８６】
図１３（ｂ）は、標準偏差に基づく繰り返し回数テーブルの一例である。標準偏差に基づく繰り返し回数テーブルにおいて、ある標準偏差の領域に向けて繰り返し回数が多くなるように設定している。また、標準偏差に基づく繰り返し回数テーブルでは、ある標準偏差の領域を超えるとエッジを保持する目的で繰り返し回数が少なくなるように設定している。
【００８７】
［ＩＳＯ感度（センサゲイン）に基づく繰り返し回数決定方法］
ＩＳＯ感度（センサゲイン）に基づく繰り返し回数決定方法について説明する。画像データにおいて、ＩＳＯ感度が高くなるとノイズが増える傾向にある。そこで、ＩＳＯ感度に対して閾値を設定して、閾値で区切られた領域ごとに繰り返し回数を設定する。
【００８８】
図１３（ｃ）は、ＩＳＯ感度に基づく繰り返し回数テーブルの一例である。ＩＳＯ感度に基づく繰り返し回数テーブルでは、高ＩＳＯ感度ほど繰り返し回数が多くなるようにし、低ＩＳＯ感度になるにつれて徐々に少なくなるように設定している。
【００８９】
[光源情報に基づく繰り返し回数決定方法]
光源情報に基づく繰り返し回数決定方法について説明する。様々な光源下で撮影される中で、ＷＢ（White Balance）制御では白い被写体を画像データ上で白に見せるために、最も感度の高いＧ信号量にＲ信号量とＢ信号量のレベルを合わせるようにＲ信号量とＢ信号量にゲインを乗算する。すなわち、ＷＢ制御では、色温度が低い光源下で撮影された場合には、青色の光が少ないためＷＢのＢゲインが高い値となり青色の色ノイズが多くなる。
【００９０】
光源情報に基づく繰り返し回数決定方法において、画像から取得可能な光源情報としては、ＷＢゲインやＷＢ情報（白熱灯、蛍光灯、曇天など）がある。ＷＢゲインの場合には、ＲゲインとＢゲインからある程度撮影時の光源色温度を推定することができる。ＷＢ情報であれば対応する色温度（例えば、白熱灯：３０００Ｋ、蛍光灯：４０００Ｋ、曇天：６０００Ｋなど）で判定を行う。
【００９１】
光源情報に基づく繰り返し回数の決定にあたり、推測された光源色温度に閾値を設定し、閾値で区切られた領域ごとに繰り返し回数を設定する。
【００９２】
図１３（ｄ）は、光源情報に基づく繰り返し回数テーブルの一例である。光源情報に基づく繰り返し回数テーブルでは、青色の色ノイズの目立ちやすい低色温度の繰り返し回数を多く、高色温度になるにつれて徐々に少なくなるように設定している。
【００９３】
[複数の方法の組み合わせによる繰り返し回数決定方法]
上記のように個々の情報から繰り返し回数を決定する方法に代えて、複数の情報を組み合わせることでより精度の高い繰り返し回数決定が可能となる。複数の情報の組み合わせによる繰り返し回数決定方法の一例として、ＩＳＯ感度と標準偏差の組み合わせによる繰り返し回数決定方法について説明する。
【００９４】
撮像装置１内で本実施例の処理を行う場合は、撮影時に用いる撮像素子は単一となる可能性が高い。一方で、ＰＣ等で本実施例の処理を行う場合は、撮影に用いられた撮像装置は複数存在することになり、撮影で使用される撮像素子は様々なものとなる可能性がある。一般的に画像データに発生するノイズ量は撮像素子のサイズに起因する場合が高く、撮像素子のサイズが小さいほどノイズ量は多くなる。撮像装置は、一般にＩＳＯ感度の数値を選択できるようになっているが、同じＩＳＯ感度であっても撮影に使用した撮像素子によってノイズ量は全く異なる。このような場合に、ＩＳＯ感度のみで繰り返し回数を決定するとノイズ量の少ない画像に対して過剰にノイズ低減処理を行ってしまうおそれや、ノイズ量の多い画像に対してノイズ低減処理が不足するおそれがある。
【００９５】
そこで、撮像装置外で本実施例のノイズ低減処理を行う場合に好適な繰り返し回数決定方法として、ＩＳＯ感度に対して、さらに標準偏差を組み合わせることができる。このような方法によれば、様々な撮像素子に最適な繰り返し回数を決定することができる。
【００９６】
繰り返し回数決定方法の組合せ方法は、例えば以下の方法が挙げられる。まず、画像から取得したＩＳＯ感度から図１３（ｃ）に従ってＩＳＯ感度での繰り返し回数Ｎ１を算出する。次に、処理対象画像３１から取得した標準偏差から図１３（ｂ）に従って標準偏差での繰り返し回数Ｎ２を算出する。
【００９７】
Ｎ１とＮ２を算出した後、あらかじめ定めたＮ１とＮ２の優先順位に従って、画像フィルタリング処理の繰り返し回数を決定する。例えば、ＩＳＯ感度と標準偏差から算出したそれぞれの繰り返し回数で、Ｎ１≧Ｎ２の場合にはＮ２を使用し、Ｎ１＜Ｎ２の場合にはＮ１の繰り返し回数を使用する。
【００９８】
一例として、ＩＳＯ感度がＩＳＯ１６００で、標準偏差σが１．２であった場合、ＩＳＯ感度での繰り返し回数Ｎ１は４回、標準偏差での繰り返し回数Ｎ２は２回となり、Ｎ１≧Ｎ２となるため、Ｎ２の２回を採用する。
【００９９】
以上の決定方法によれば、ノイズの少ない撮像素子で繰り返し回数が増えるのを防ぐことができる。
【０１００】
また、別の例として、ＩＳＯ感度がＩＳＯ１６００で、標準偏差σが４．５であった場合、ＩＳＯ感度での繰り返し回数Ｎ１は４回、標準偏差での繰り返し回数Ｎ２は６回となり、Ｎ１＜Ｎ２となるため、Ｎ１の４回を採用する。
【０１０１】
以上の決定方法によれば、処理対象画像３１にエッジを含むことにより標準偏差が高くなったとしてもＩＳＯ感度による繰り返し回数が使用されることで繰り返し回数がクリップされ、繰り返し回数を増やしてエッジが潰れることを防ぐことができる。また、繰り返し回数の設定としては、ＩＳＯ感度側に最大繰り返す回数を設定してもよい。
【０１０２】
[ノイズ低減処理の実施例２]
上述の実施例１では、処理対象画像３１に対して全画面（処理対象画像３１に含まれるすべての画素）で同じ回数のフィルタ処理を繰り返す方法を説明した。これに対し、実施例２では、処理対象画像３１を複数の領域に分割し、この領域ごとに繰り返し回数を変更する方法について説明する。
【０１０３】
なお、以下に説明する実施例２では、機能ブロック及び処理フローチャートは実施例１と共通する。そのため、実施例２の説明では、図５，６などを参照しつつ、実施例１との相違点について説明する。
【０１０４】
処理ステップＳ１０２では、画像情報取得部１０８−２が画像取得部１０８−１で取得した処理対象画像３１から撮影時のカメラ設定情報、画像特性情報を取得する。撮影時のカメラ設定情報は、実施例１と同じくＩＳＯ感度、光源（ＷＢ含む）情報に加え、実施例２で用いる情報として処理対象画像３１におけるフォーカス位置が分かるフォーカスポイント、及び、絞り設定がある。
【０１０５】
画像特性情報は、実施例１と同じく画像から輝度値、標準偏差を算出して取得するが、実施例２では画像特性情報を算出する領域が実施例１と異なる。
【０１０６】
図１４は、ノイズ低減処理における処理対象画像３１の領域分割の一例を示す図である。図１４に示すように、処理対象画像３１は、水平、垂直方向で任意の数・サイズに区切られた処理対象領域３１ａとなり、この処理対象領域３１ａごとに画像特性情報が算出される。
【０１０７】
処理ステップＳ１０３について、実施例１では、繰り返し回数算出部１０８−３が処理ステップＳ１０５からＳ１０８までの処理を繰り返す回数を決定する。これに対して実施例２では、繰り返し回数は処理対象領域ごとに算出する。処理対象領域ごとの繰り返し回数決定方法については後述する。
【０１０８】
処理ステップＳ１０４について、実施例１では、Ｓ１０５からＳ１０８までの処理回数をカウントするために、画像フィルタリング処理を行うたびに繰り返し回数をインクリメントしてカウントする。これに対して実施例２では、繰り返し回数を領域ごとにカウントする。
【０１０９】
処理ステップＳ１０９について、実施例２では、繰り返し終了判定部１０８−９が繰り返し回数カウント部１０８−４のカウント回数が各領域の繰り返し回数算出部１０８−３で算出した繰り返し回数に到達しているか判定する。そして、各処理対象領域について所定の繰り返し回数に到達している場合は次のステップへ進む。一方、所定の繰り返し回数に到達していない場合はＳ１０４に戻る。
【０１１０】
[領域ごとの繰り返し回数決定方法]
実施例２における処理対象領域ごとの画像フィルタリング処理の繰り返し回数決定方法について説明する。
【０１１１】
図１５は、処理対象画像３１を領域分割した場合の領域ごとの繰り返し回数の一例を示す図である。図１５において、処理対象画像３１の処理対象領域３１ａに記載される数値は、処理対象領域３１ａに対する繰り返し回数を示す。このように、実施例２によれば、処理対象画像３１を分割した処理対象領域３１ａごとに異なる繰り返し回数を決定する。
【０１１２】
画像フィルタリング処理の繰り返し回数決定方法について、輝度値、標準偏差についての決定方法は、各処理対象領域について画像特性情報で判定し、この領域ごとに繰り返し回数を決定する点が、実施例１と異なる。
【０１１３】
また、ＩＳＯ感度（センサゲイン）、光源（ＷＢ）情報に基づく繰り返し回数決定方法については、処理対象領域ごとに異なる情報が得られる場合には、実施例１の方法を領域ごとに行って領域ごとに繰り返し回数を決定することができる。
【０１１４】
[フォーカスポイントに基づく繰り返し回数決定方法]
次に、フォーカスポイント情報に基づいて、画像フィルタリング処理の繰り返し回数を決定する方法について説明する。フォーカスポイント情報は、画像のどこにフォーカスを合わせて撮影されているかを示す情報である。フォーカスが合っている領域が最も高周波成分が高く、フォーカスポイントから外れるにつれてフォーカスがずれることで高周波成分は低くなるため、画像データにボケが発生する。
【０１１５】
本実施例では、フォーカスポイント情報からフォーカスポイントと処理対象領域の距離ｄを算出する。そして、算出したフォーカスポイントとの距離に対して閾値を設定し、閾値で区切られた領域ごとに繰り返し回数を設定する。
【０１１６】
図１６は、領域分割によるノイズ低減処理についてフォーカスポイントと処理対象領域との距離の測定の一例を示す図である。処理対象画像３１における処理対象領域３１ａとフォーカスポイント３１ｂとの距離ｄは、次式（６）で算出する。
【０１１７】
【数６】
0005880121.tif 000007
【０１１８】
ここで、ｈは１ブロックの水平画素数、ｖは１ブロックの垂直画素数、ｈsubはフォーカスポイントと対象領域の水平ブロック差分、ｖsubはフォーカスポイントと対象領域の垂直ブロック差分を示す。
【０１１９】
図１７は、領域分割による画像フィルタリング処理の繰り返し回数を決定するテーブルの一例を示す図である。図１７（ａ）に示すように、フォーカスポイントから近い領域は、高周波成分が高いため解像度を残すように繰り返し回数を少なくしている。一方、フォーカスポイントから遠い領域は、ボケ領域のためノイズを少なくするように繰り返し回数を多くしている。また、フォーカスポイントが複数ある場合には、処理対象領域から最も近いフォーカスポイントからの距離を算出して使用する。
【０１２０】
[絞り設定に基づく繰り返し回数決定方法]
次に、絞り設定に基づいて画像フィルタリング処理の繰り返し回数を決定する方法について説明する。画像のボケ量は、絞り設定が大きく影響する。すなわち、撮像装置の絞りが開かれているときは被写界深度が浅くなりボケ量は大きくなるが、絞りが絞られているときは被写界深度が深くなりボケ量は小さくなる。
【０１２１】
そこで、本実施例では、画像データから取得した絞り情報を利用することで、効果的に画像データのボケ領域に対して繰り返し回数を増やすことができる。
【０１２２】
例えば、図１７（ｂ）のように絞り設定に対して閾値を設定して、閾値で区切られた領域ごとに補正係数を設定する。補正係数は、絞り設定が小さくなるにつれて１に、大きくなるにつれて０に近づくように設定する。
【０１２３】
そして、繰り返し回数算出部１０８−３は、フォーカスポイントと処理対象領域の距離ｄから算出した繰り返し回数に対して、絞り情報から算出した補正係数を乗算することで繰り返し回数を算出する。
【０１２４】
フォーカスポイントからの距離と絞り情報とに基づく繰り返し回数決定方法について、例えば、フォーカスポイントと処理対象領域の距離ｄが４０Ｒ（Ｒは水平、垂直で各１ブロックずれた時の距離とする。）で、絞りがＦ４．０だった場合は、図１７（ａ）に基づいて距離ｄから繰り返し回数４回、図１７（ｂ）に基づいて絞り設定から補正係数０．８が算出される。
【０１２５】
以上の数値より、処理対象領域の繰り返し回数は、４×０．８＝３．２となり、例えば四捨五入することにより３回として処理する。
【０１２６】
以上の繰り返し回数決定方法によれば、絞りが絞られた状態ではボケ量は少なくなるため繰り返し回数は少なくなり、開かれた状態ではボケ量が大きくなるため繰り返し回数は多くすることができる。
【０１２７】
[本発明のベイヤー配列への適用]
以上説明した実施例のノイズ低減処理は、ベイヤー配列型の画像データに対しても適用可能である。図１８は、ベイヤー配列の一例を示す図である。ベイヤー配列型の画像データに対してノイズ低減処理を行うにあたっては、ベイヤー配列型データにデモザイキングを施しRGB画像に変換することで、適用が可能となる。
【０１２８】
[実施例の効果]
以上説明した実施例の画像処理装置が行うノイズ低減処理によれば、以下のような効果を得られる。
【０１２９】
実施例１，２の画像処理装置では、ノイズ低減処理にあたり、所定条件により画像フィルタリング処理を繰り返す回数を決定し、その回数に基づいて画像フィルタリング処理を行っている。画像フィルタリング処理を複数回行うことで、従来では除去することが困難であった色ノイズのような注目画素と類似画素との信号差が小さいノイズを除去することができる。
【０１３０】
また、実施例１，２の画像処理装置では、所定条件に基づいて画像フィルタリング処理の回数を決定することにより、解像度を落とさずに効果的に色ノイズのような注目画素と類似画素との信号差が小さいノイズを除去することがsできる。
【０１３１】
また、実施例１，２の画像処理装置では、画像フィルタリング処理の結果として、抽出した画素のうち注目画素と類似画素群とから画素の信号値の平均値を算出する。そして、実施例１，２の画像処理装置では、この平均値を用いた画像フィルタリング処理を複数回行う。このような実施例１，２の画像処理装置によれば、解像度を落とさずに効果的に色ノイズのような注目画素と類似画素との信号差が小さいノイズを除去することが可能となる。
【０１３２】
実施例２の画像処理装置では、処理対象画像を水平、垂直方向で任意の数のブロックに分割し、ブロック分割された処理対象領域ごとに所定条件により画像フィルタリング処理回数を変更している。
【０１３３】
実施例２の画像処理装置によれば、ノイズを減らしたい領域の画像フィルタリング処理の回数を増やし、解像を残したい領域の画像フィルタリング処理回数を減らし、領域に応じて効果的にノイズ低減処理を行うことが可能となる。
【０１３４】
実施例１，２の画像処理装置では、繰り返し回数決定の所定条件を被写体輝度とし、被写体輝度に応じて画像フィルタリング処理の繰り返し回数を決定している。
【０１３５】
実施例１，２の画像処理装置によれば、特に暗部で発生しやすい色ノイズに対して、暗部の画像フィルタリング処理の回数を増やすことができるため、色ノイズを効果的に除去することができる。
【０１３６】
実施例１，２の画像処理装置では、繰り返し回数決定の所定条件を撮像素子のＩＳＯ感度（ゲイン）設定とし、撮像素子のＩＳＯ感度設定に応じて画像フィルタリングの繰り返し回数を決定している。
【０１３７】
画像データにおいて、撮像素子のゲイン設定が高くなるにつれて色ノイズが発生しやすいが、実施例１，２の画像処理装置によれば、そのような色ノイズに対して、撮像素子のゲイン設定に応じて画像フィルタリング処理の回数を増やすことができるため、色ノイズを効果的に除去することができる。
【０１３８】
実施例１，２の画像処理装置では、繰り返し回数決定の所定条件を画像から算出される標準偏差として、標準偏差に応じて画像フィルタリング処理の繰り返し回数を決定している。
【０１３９】
画像データにおいて、色ノイズが発生している場合には標準偏差が高くなる傾向にある。そこで、実施例１，２の画像処理装置によれば、標準偏差が高くなるのに対応して画像フィルタリング処理の繰り返し回数を増やすことができるため、色ノイズを効果的に除去することができる。
【０１４０】
さらに、エッジを含む画像データにおいても標準偏差が高くなる傾向にあるが、実施例１，２の画像処理装置では、標準偏差がある一定以上の場合には画像フィルタリング処理の回数を増やさないように設定している。そのため、実施例１，２の画像処理装置によれば、エッジが潰れることを防ぐこともできる。
【０１４１】
実施例１，２の画像処理装置では、繰り返し回数の所定条件を撮影時の光源色温度とし、光源色温度に応じて画像フィルタリング処理の繰り返し回数を決定している。
【０１４２】
画像データにおいて、低色温度での撮影では青色の光が少ないことでホワイトバランスのＢゲインが高くなり色ノイズが発生しやすくなる。実施例１，２の画像処理装置によれば、光源色温度が低い場合には画像フィルタリング処理の繰り返し回数を増やすことができるため、色ノイズを効果的に除去することができる。
【０１４３】
実施例２の画像処理装置では、繰り返し回数決定の所定条件を撮影時のフォーカスポイントに基づき設定して画像フィルタリング処理の繰り返し回数を決定している。
【０１４４】
画像データにおいて、フォーカスポイントから外れた領域はボケが発生しているため、画像フィルタリング処理により解像度が失われたとしても画像データの評価には影響が少ない。そのため、実施例２の画像処理装置によれば、画像フィルタリング処理の回数を多くすることで色ノイズを低減することができる。
【０１４５】
実施例２の画像処理装置では、繰り返し回数決定の所定条件を撮影時の絞り情報とし、絞り設定に応じて画像フィルタリングの繰り返し回数を決定している。
【０１４６】
実施例２の画像処理装置によれば、上述のフォーカスポイントに基づく繰り返し回数決定方法と連動させて絞り情報を利用することにより、画像データにおけるボケが発生している箇所を精度よく判断することができる。そのため、実施例２の画像処理装置によれば、画像データ上のボケが発生している領域に効果的に画像フィルタリング処理を行うことができる。
【符号の説明】
【０１４７】
１          ：撮像装置
２０        ：ノイズ低減プログラム
３１        ：処理対象画像
３１ａ      ：処理対象領域
３１ｂ      ：フォーカスポイント
３２        ：ノイズ低減画像
４１        ：ノイズ分散推定関数記憶部
５１        ：カメラ設定情報記憶部
１００      ：画像処理装置
１０４      ：デジタルスチルカメラプロセッサ
１０８−１  ：画像取得部
１０８−２  ：画像情報取得部
１０８−３  ：繰り返し回数算出部
１０８−４  ：繰り返し回数カウント部
１０８−５  ：注目画素選択部
１０８−６  ：類似画素群抽出部
１０８−７  ：平均値算出部
１０８−８  ：画素選択済判定部
１０８−９  ：繰り返し終了判定部
１０８−１０：加重加算部
１０８−１１：補正値置換部
１０９      ：フィルタリング手段
１１０      ：処理回数決定手段
【先行技術文献】
【特許文献】
【０１４８】
【特許文献１】特開２０１０−２１８１１０号公報
【非特許文献】
【０１４９】
【非特許文献１】原島博, 小田島薫, 鹿喰善明, 宮川洋, "ε-分離非線形ディジタルフィルタとその応用," 電子情報通信学会論文誌 A , Vol.J65-A, No.4,pp.297-304, 1982
【図１】
0005880121.tif 000008
【図２】
0005880121.tif 000009
【図３】
0005880121.tif 000010
【図４】
0005880121.tif 000011
【図５】
0005880121.tif 000012
【図６】
0005880121.tif 000013
【図７】
0005880121.tif 000014
【図９】
0005880121.tif 000015
【図１０】
0005880121.tif 000016
【図１１】
0005880121.tif 000017
【図１２】
0005880121.tif 000018
【図１３】
0005880121.tif 000019
【図１４】
0005880121.tif 000020
【図１５】
0005880121.tif 000021
【図１６】
0005880121.tif 000022
【図１７】
0005880121.tif 000023
【図１８】
0005880121.tif 000024
【図８】
0005880121.tif 000025