(57)【要約】【課題】  信号レベルのみならず動的に変化する要因に対応したノイズ量のモデルを用いて、ノイズ量を正確に推定できる撮像装置の提供。【解決手段】  撮影された映像信号は前処理部103へ転送され、サンプリング、ゲイン増幅、A/D変換されて画像バッファ104へ転送される。画像バッファ104内の映像信号は、ノイズ推定部106へ転送される。ノイズ推定部106は、上記撮影条件、映像信号と基準ノイズモデルに基づき、ISO感度ごと、色信号ごとにノイズ量を算出する。算出されたノイズ量は、ノイズ低減部105へ転送される。ノイズ低減部105は、ノイズ推定部106で推定されたノイズ量に基づき、画像バッファ104内の映像信号に対してノイズ低減処理を行い、ノイズ低減処理後の映像信号を信号処理部108へ転送する。【選択図】    図１
2005303802.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からのデジタル化された信号を処理する撮像装置において、
上記信号中のノイズ量を推定するノイズ推定手段と、上記ノイズ量に基づき画像処理を行う画像処理手段を有することを特徴とする撮像装置。
【請求項２】
前記ノイズ推定手段は、カラー撮像素子に対応する一つ以上の基準ノイズモデル及び補正係数に基づきISO感度および色信号ごとのノイズ量を算出する算出手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ノイズ推定手段は、白黒撮像素子に対応する基準ノイズモデル及び補正係数に基づきISO感度ごとのノイズ量を算出する算出手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記画像処理手段は、算出したノイズ量に対応しノイズ低減処理を行うノイズ低減手段を有することを特徴とする請求項１に記載の撮像装置
【請求項５】
前記画像処理手段は、ノイズ低減した信号に対してエッジ強調を行うエッジ強調手段を有することを特徴とする請求項１に記載の撮像装置
【請求項６】
前記ノイズ推定手段は、異なる撮像素子に対応するための一つ基準ノイズモデル及び複数変換補正係数に基づきのノイズ量を算出する算出手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記補正係数は、基準ノイズモデルに基づき、他のISO感度及び色信号ごとにノイズ量を算出するための数値パラメータからなることを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記算出手段は、ブロック信号を抽出する抽出手段と、上記抽出された信号を色フィルタごとに分離する分離手段と、上記分離された色フィルタごとに信号値レベルの平均値を算出する平均値算出手段と、上記の平均値が関数化された基準ノイズモデルのどの信号値レベルにあるかを探索する探索手段と、基準ノイズモデルに基づき区間の線形補間処理を行いノイズ量を算出するノイズ算出手段と、所望のノイズモデルのノイズ量を算出する算出手段を有することを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記補正係数は、基準ノイズモデルに基づき、他のISO感度ごとにノイズ量を算出するための数値パラメータからなることを特徴とする請求項３に記載の撮像装置。
【請求項１０】
前記算出手段は、ブロック信号を抽出する抽出手段と、上記抽出された信号の平均値を算出する平均値算出手段と、上記の平均値が関数化された基準ノイズモデルのどの信号値レベルにあるかを探索する探索手段と、基準ノイズモデルに基づき区間の線形補間処理を行いノイズ量を算出するノイズ算出手段と、所望のノイズモデルのノイズ量を算出する算出手段を有することを特徴とする請求項３に記載の撮像装置。
【請求項１１】
前記基準ノイズモデルは信号値レベルに対するノイズ量を関数化した数値パラメータからなることを特徴とする請求項２または請求項３に記載の撮像装置。
【請求項１２】
前記数値パラメータは少なくとも２点以上の代表点における信号値レベルとノイズ量の座標データおよび傾斜データからなることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記基準ノイズモデルは基準ノイズモデルが最高ISO感度に対応することを特徴とする請求項２または請求項３に記載の撮像装置。
【請求項１４】
前記算出手段は、異なる撮像素子に対応した基準ノイズモデルと補正係数を複数有することを特徴とする請求項２または請求項３に記載の撮像装置。
【請求項１５】
コンピュータに、撮像条件及び映像信号などの情報を読み込む手順と、注目画素を中心として所定のサイズの画素単位を抽出する手順と、色信号ごとに信号を読み出す手順と、指定した信号レベルの平均値を求める手順と、記録媒体に保存しているノイズ量の補正係数とノイズ量対信号レベルの代表点を抽出する手順と、基準ノイズモデルのどの位置に属するかを探索する手順と、基準ノイズモデルに基づき線形補間でノイズ量の補間を行う手順と、記録媒体に保存されている補正係数を用いてあるISO感度のある色信号のノイズ量を算出する手順と、フィルタリングでノイズ低減処理を行う手順と、平滑化された信号をバッファに保存する手順と、すべての色信号への操作が完了したかを判断する手順と、全画素に対する処理が完了したかを判断する手順、を実行させる画像処理プログラム。
【請求項１６】
コンピュータに、撮像条件及び映像信号などの情報を読み込む手順と、注目画素を中心として所定のサイズの画素単位を抽出する手順と、指定した信号レベルの平均値を求める手順と、記録媒体に保存しているノイズ量の補正係数とノイズ量対信号レベルの代表点を抽出する手順と、基準ノイズモデルのどの位置に属するかを探索する手順と、基準ノイズモデルに基づき線形補間でノイズ量の補間を行う手順と、記録媒体に保存されている補正係数を用いてあるISO感度の信号のノイズ量を算出する手順と、フィルタリングでノイズ低減処理を行う手順と、平滑化された信号をバッファに保存する手順と、全画素に対する処理が完了したかを判断する手順、を実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子系に起因するランダムノイズ量を信号値レベル、ISO感度及び色信号など動的に変化する要因に基づいて推定することでノイズ成分のみを高精度に低減する撮像装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
撮像素子とそれに付随するアナログ回路、およびA/Dコンバータから得られるデジタル化された信号中に含まれるノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するものであり、ホワイトノイズ特性に近い特性を有する。
【０００３】
ランダムノイズに関しては、例えば特許文献１に示されるように、ノイズ量を信号レベルに対して関数化し、この関数から信号レベルに対するノイズ量を推定し、ノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。これにより、信号レベルに対して適応的なノイズ低減処理が行われることになる。
【０００４】
【特許文献１】特開２００１−１５７０５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、ノイズ量をN、濃度値に変換した信号レベルをDとした場合にN=abcDで関数化していた。ここで、a,b,cは定数項であり、静的に与えられる。しかしながら、ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化する。すなわち、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣るという問題があった。
【０００６】
本発明は、従来技術のこのような問題点に鑑みてなされたものであり、信号レベルのみならずランダムノイズに関連のある信号値レベル、ISO感度、及び色信号などの動的に変化する要因に対応したノイズ量のモデルを用いて、ノイズ量を正確に推定できる撮像装置および画像処理プログラムを提供することを目的とする。また、ノイズ量を正確に推定するために、信号値レベル、ISO感度、及び色信号などの要素を取り込むと高精度の部品が必要となり、ハードウェア化に際してコストが嵩むことになる。本発明は、ノイズモデル簡略化処理を用いることで、ノイズ量の推定精度を保ちながらハードウェアの負担の軽減に対応する撮像装置および画像処理プログラムの提供を目的とする。
【課題を解決するための手段】
【０００７】
（１）．上記目的を達成するために、本発明にかかる撮像装置は、撮像素子からのデジタル化された信号を処理する撮像装置において、
上記信号中のノイズ量を推定するノイズ推定手段と、上記ノイズ量に基づき画像処理を行う画像処理手段を有することを特徴とする。（１）の発明は、図1〜図16に示される第1、第2と第3の実施形態例が対応している。ノイズ推定手段は、図1及び図2に示されるノイズ推定部106、図3及び図4に示されるノイズ推定部1006、図5及び図6に示されるノイズ推定部5006が該当する。画像処理手段は、図1及び図2に示されるノイズ低減部105、図3〜図6に示されるノイズ低減部1005が該当する。
【０００８】
（１）の発明の好ましい適用例は、第1の実施形態例の図1に示されるノイズ推定部106、第2の実施形態例の図3に示されるノイズ推定部1006、及び第3の実施形態例の図5に示されるノイズ推定部5006によりノイズ量を推定し、推定されたノイズ量に基づき画像処理を行う撮像装置である。（１）の発明によれば、ノイズ量を正確に推定し、それに基づき画像処理を行う。このため、ノイズ量を正確に推定することで、高品位な画像を生成する画像処理を行うことができる。
【０００９】
（２）．前記（１）のノイズ推定手段は、カラー撮像素子に対応する一つ以上の基準ノイズモデル及び補正係数に基づきISO感度および色信号ごとのノイズ量を算出する算出手段を有することを特徴とする。（２）の発明は、図1、図2、図5、図7、図10、図12〜図14に示される第1の実施形態例が対応している。カラー撮像素子に対応する算出手段は、図2に示されるブロック信号抽出部200、色信号分離部201、平均算出部202、区間探索部203、ノイズ補間部204、ROM206、ノイズ乗算部205、制御部107が該当する。
【００１０】
（２）の発明の好ましい適用例は、ブロック信号抽出部200、色信号分離部201、平均算出部202、区間探索部203、ノイズ補間部204、ROM206、ノイズ乗算部205、制御部107からの情報に基づき、ノイズ量を算出するカラー撮像素子に対応する撮像装置である。（２）の発明は、カラー撮像素子に対応するISO感度及び色信号ごとにノイズ量を計算している。このため、ISO感度及び色信号ごとにノイズ量を計算することで、ノイズ量を正確に推定することが可能となる。
【００１１】
（３）．前記（１）のノイズ推定手段は、白黒撮像素子に対応する基準ノイズモデル及び補正係数に基づきISO感度ごとのノイズ量を算出する算出手段を有することを特徴とする。（３）の発明は、図3〜図6、図8、図9、図11〜図13、図15〜図16に示される第2と第3の実施形態例が対応している。白黒撮像素子に対応するノイズ量の算出手段は、第2の実施形態例の図4に示すブロック信号抽出部2000、平均算出部2001、区間探索部2002、ノイズ補間部2003、ROM部2005、ノイズ乗算部2004、制御部1007が該当する。また、第3の実施形態例の図6に示すブロック信号抽出部2000、平均算出部2001、区間探索部6002、ノイズ補間部6003、ROM部6005、ノイズ乗算部6004、制御部5007が該当する。
【００１２】
（３）の発明の好ましい適用例は、第2の実施形態例において、ブロック信号抽出部2000、平均算出部2001、区間探索部2002、ノイズ補間部2003、ROM部2005、ノイズ乗算部2004、制御部1007からの情報に基づきノイズ量を算出する白黒撮像素子に対応する撮像装置である。また、第3の実施形態例において、ブロック信号抽出部2000、平均算出部2001、区間探索部6002、ノイズ補間部6003、ROM部6005、ノイズ乗算部6004、制御部5007からの情報に基づきノイズ量を算出する白黒撮像素子に対応する撮像装置である。（３）の発明は、白黒撮像素子に対応するISO感度ごとにノイズ量を計算している。このように、ISO感度ごとにノイズ量を計算することで、ノイズ量を正確に推定することが可能となる。
【００１３】
（４）．前記（１）の画像処理手段は、算出したノイズ量に対応しノイズ低減処理を行うノイズ低減手段を有することを特徴とする。（４）の発明は、図1〜図16に示される第１〜第3の実施形態例が対応している。ノイズ低減手段は、図1と図2のノイズ低減部105、図3と図4のノイズ低減部1005、及び図5と図6のノイズ低減部1005が該当する。
【００１４】
（４）の発明の好ましい適用例は、第1の実施形態例の図７のフィルタリング部300、第2の実施形態例の図8のフィルタリング部3000、及び第1の実施形態例の図9のフィルタリング部3000にてフィルタリング処理を行う撮像装置である。（４）の発明は、フィルタリング処理によりノイズ低減処理を行うものである。このため、ノイズ成分のみが除去され、それ以上の信号を原信号として保存される。また、ノイズのみが低減された高品位な画像が得られる。
【００１５】
（５）．前記（１）の画像処理手段は、ノイズ低減した信号に対してエッジ強調を行うエッジ強調手段を有することを特徴とする。（５）の発明は、図3〜図6、図8、図9、図11〜図13、図15〜図16に示される第2と第3の実施形態例が対応している。エッジ強調手段は、図3、図5のエッジ強調部1008が該当する。（５）の発明の好ましい適用例は、第２の実施形態例の図15のフィルタリング部7002及びエッジ制御部7003にてエッジ抽出及びエッジ強調処理を行う撮像装置である。（５）の発明は、エッジ抽出処理及びエッジ強調処理によりエッジの強調を行う。このため、エッジの部分が強調され、高品位な画像が得られる。
【００１６】
（６）．前記（１）のノイズ推定手段は、異なる撮像素子に対応するための一つ基準ノイズモデル及び複数変換補正係数に基づきノイズ量を算出する算出手段を有することを特徴とする。（６）の発明は、図3、図4、図8、図11〜図13、図15〜図16に示される第2の実施形態例が対応している。異なる撮像素子に対応する基準ノイズモデルと変換補正係数を有することは、図5のCCD1002、撮像素子認識部1011及び図6のROM6005が該当する。
【００１７】
（６）の発明の好ましい適用例は、図5のCCD1002、撮像素子認識部1011及び図6のROM6005により異なる撮像素子に対応する基準ノイズモデルと変換補正係数を有する撮像装置である。（６）の発明は、異なる撮像素子に対応して基準ノイズモデル及び変換補正係数によりノイズ量を計算する。このように、異なる撮像素子に対応するための基準ノイズモデル及び変換補正係数を有することで、ノイズ量の算出精度を確保しながらハードウェアの負担を軽減することができる。
【００１８】
（７）．前記（２）の補正係数は、基準ノイズモデルに基づき、他のISO感度及び色信号ごとにノイズ量を算出するための数値パラメータからなることを特徴とする。（７）の発明は、図1、図2、図7、図10、図12〜図14に示される第1の実施形態例が対応している。数値パラメータは、図2のROM206が該当する。（７）の発明の好ましい適用例は、図2のROM206に、他のISO感度及び色信号ごとにノイズ量を算出するための補正係数が保存されている撮像装置である。（７）の発明は、他のISO感度及び色信号ごとのノイズ量は補正係数から算出される。このように、他のISO感度及び色信号ごとのノイズ量は補正係数から算出されることにより、ハードウェアの負担が軽減できる。
【００１９】
（８）．前記（２）の算出手段は、ブロック信号を抽出する抽出手段と、上記抽出された信号を色フィルタごとに分離する分離手段と、上記分離された色フィルタごとに信号値レベルの平均値を算出する平均値算出手段と、上記の平均値が関数化された基準ノイズモデルのどの信号値レベルにあるかを探索する探索手段と、基準ノイズモデルに基づき区間の線形補間処理を行いノイズ量を算出するノイズ算出手段と、所望のノイズモデルのノイズ量を算出する算出手段を有することを特徴とする。
【００２０】
（８）の発明は、図1、図2、図7、図10、図12〜図14に示される第1の実施形態例が対応している。抽出手段は図2のブロック信号抽出部200が、分離手段は図2の色信号分離部201が、平均算出手段は図2の平均算出部202が、探索手段は図2の区間探索部203が、補間手段は、図2のノイズ補間部204が、算出手段は、図2のノイズ乗算部205がそれぞれ該当する。
【００２１】
（８）の発明の好ましい適用例は、図2の撮像装置である。この撮像装置は、ブロック信号抽出部200にてブロック信号を抽出し、色信号分離部201にて色信号を分離し、平均算出部202にて信号レベルの平均値を算出し、区間探索部203にて平均値が関数化された基準ノイズモデルのどの信号レベル（座標）にあるかを探索し、ノイズ補間部204にてノイズ量を算出し、ノイズ乗算部205にて所望ISO感度の色信号レベルごとのノイズ量を算出する
【００２２】
（８）の発明は、画像信号をブロック信号の抽出、色信号の分離、平均値の算出、平均値の信号レベル（座標）の探索、ノイズの補間及びノイズの補間結果と補正係数の乗算などの過程を通してノイズ量を算出する。このように、色信号ごと、ISO感度ごとにノイズ量を算出することで、ノイズ量の推定精度が高くなる。また、基準ノイズモデルに基づきノイズ量を算出することで、ハードの負担を軽減することができる。
【００２３】
（９）．前記（３）の補正係数は、基準ノイズモデルに基づき、他のISO感度ごとにノイズ量を算出するための数値パラメータからなることを特徴とする。（９）の発明は、図3〜図6、図8、図9、図11〜図13、図15〜図16に示される第2と第3の実施形態例例が対応している。数値パラメータは、図4のROM部2005及び図6のROM部6005が該当する。
【００２４】
（９）の発明の好ましい適用例は、第2の実施形態例の図4のROM部2005及び第3の実施形態例の図6のROM部6005に、他のISO感度にノイズ量を算出するための補正係数が保存されている撮像装置である。（９）の発明は、他のISO感度ごとのノイズ量は補正係数から算出されるものである。このように、他のISO感度ごとのノイズ量は補正係数から算出されることで、ハードウェアの負担を軽減することができる。
【００２５】
（１０）．前記（３）の算出手段は、ブロック信号を抽出する抽出手段と、上記抽出された信号の平均値を算出する平均値算出手段と、上記の平均値が関数化された基準ノイズモデルのどの信号レベルにあるかを探索する探索手段と、基準ノイズモデルに基づき区間の線形補間処理を行いノイズ量を算出するノイズ算出手段と、所望のノイズモデルのノイズ量を算出する算出手段を有することを特徴とする。
【００２６】
（１０）の発明は、図3〜図6、図8、図9図、図11〜図13、図15〜図16に示される第2と第3の実施形態例が対応している。信号ブロックの抽出手段は、図4と図6のブロック信号抽出部2000が、算出手段は、図4と図6の平均算出部2001が、探索手段は、図4の区間探索部2002と図6の区間探索部6002が、補間手段は、図4のノイズ補間部2003と図6のノイズ補間部6003が、所望のノイズ量算出手段は、図4のノイズ乗算部2004と図6のノイズ乗算部6004が該当する。
【００２７】
（１０）の発明の好ましい適用例は、第2の実施形態例において、図4のブロック信号抽出部2000にてブロック信号を抽出し、平均算出部2001にて信号レベルの平均値を算出し、区間探索部2002にて平均値が関数化された基準ノイズモデルのどの位置（座標）にあるかを探索し、ノイズ補間部2003にてノイズ量を算出し、ノイズ乗算部2004にて所望ISO感度ごとのノイズ量を算出する撮像装置である。また、第3実施形態例において、図6のブロック信号抽出部2000にてブロック信号を抽出し、平均算出部2001にて信号レベルの平均値を算出し、区間探索部6002にて平均値が関数化された基準ノイズモデルのどの信号レベル（座標）にあるかを探索しノイズ補間部6003にてノイズ量を算出し、ノイズ乗算部6004にて所望ISO感度ごとのノイズ量を算出する撮像装置である。
【００２８】
（１０）の発明は、画像信号をブロック信号の抽出、平均値の算出、平均値の位置（座標）の探索、ノイズの補間及びノイズの補間結果と補正係数の乗算などの過程を通してノイズ量を算出する。このように、ISO感度ごとにノイズ量を算出することで、ノイズ量の推定精度が高くなる。また、基準ノイズモデルに基づきノイズ量を算出することで、ハードの負担を軽減することができる。
【００２９】
（１１）．前記（２）または（３）の基準ノイズモデルは、信号値レベルに対するノイズ量を関数化した数値パラメータからなることを特徴とする。（１１）の発明は、図1〜図14に示される第１〜第3の実施形態例が対応している。数値パラメータは、図2のROM206、図4のROM2005及び図6のROM6005が該当する。
【００３０】
（１１）の発明の好ましい適用例は、第1の実施形態例における図2のROM部206、第2の実施形態例における図4のROM部2005、及び第3の実施形態例における図6のROM6005に基準ノイズモデルに対応する関数化した数値パラメータが保存されている撮像装置である。（１１）の発明は、基準ノイズモデルに対応する信号値レベル対ノイズ量の関数化した数値パラメータがハードウェアに保存されている。このように、関数化した数値パラメータに対応している基準ノイズモデルを用いる事によって、ノイズ量を系統的で正確に推定することが可能となる。
【００３１】
（１２）．前記（１１）の数値パラメータは少なくとも２点以上の代表点における信号値レベルとノイズ量の座標データおよび傾斜データからなることを特徴とする。（１２）の発明は、図1〜図16に示される第１〜第3の実施形態例が対応している。代表点の座標データ及び傾斜データは、図2のROM206、図4のROM部2005及び図6図のROM6005が該当する。
【００３２】
（１２）の発明の好ましい適用例は、第1の実施形態例における図2のROM部206、第2の実施形態例における図4のROM2005、及び第3の実施形態例における図6のROM6005に、数値パラメータとする代表点の座標データと傾斜データが保存されている撮像装置である。（１２）の発明は、基準ノイズモデルに対応する数値パラメータが信号値レベル対ノイズ量の代表点の座標データと傾斜データから構成される。このように、信号値レベル対ノイズ量の代表点の座標データと傾斜データ少ないデータが基準ノイズモデルに対応できることで、ハードウェアの負担を軽減することができる。
【００３３】
（１３）．前記（２）または（３）の基準ノイズモデルは基準ノイズモデルが最高ISO感度に対応することを特徴とする。（１３）の発明は、図1〜図16に示される第１〜第3の実施形態例に対応している。最高ISO感度に対応する基準ノイズモデルは、図2のROM206、図4のROM2005及び図6のROM6005が該当する。（１３）の発明の好ましい適用例は、第1の実施形態例の図2のROM部206、第2の実施形態例の図4のROM2005及び第3の実施形態例の図6のROM6005に保存されている基準ノイズモデルが、最高ISO感度に対応する撮像装置である。（１３）の発明は、基準ノイズモデルが最高ISO感度に対応する。このように、基準ノイズモデルが最高ISO感度に対応することで、高精度なノイズ量の推定が可能となる
【００３４】
（１４）．前記（２）または（３）の算出手段は、異なる撮像素子に対応した基準ノイズモデルと補正係数を複数有することを特徴とする。（１４）の発明は、図3、図5、図9、図11〜図13、図16に示される第3の実施形態例が対応している。複数の基準ノイズモデルと補正係数を有することは、図6のROM6005が該当する。
【００３５】
（１４）の発明の好ましい適用例は、図6のROM6005により対応する基準ノイズモデルと補正係数が決まるという異なる撮像素子に対応するために基準ノイズモデル及び補正係数を複数もつ撮像装置である。（１４）の発明は、異なる撮像素子に対応して基準ノイズモデル及び補正係数が複数存在する。このように、異なる撮像素子に対応する基準ノイズモデル及び補正係数を複数有することで、異なる撮像素子のノイズ量の算出精度が確保できる。
【００３６】
（１５）．本発明の画像処理プログラムは、コンピュータに、撮像条件及び映像信号などの情報を読み込む手順と、注目画素を中心として所定のサイズの画素単位を抽出する手順と、色信号ごとに信号を読み出す手順と、指定した信号レベルの平均値を求める手順と、記録媒体に保存しているノイズ量の補正係数とノイズ量対信号レベルの代表点を抽出する手順と、基準ノイズモデルのどの位置に属するかを探索する手順と、基準ノイズモデルに基づき線形補間でノイズ量の補間を行う手順と、記録媒体に保存されている補正係数を用いてあるISO感度の色信号のノイズ量を算出する手順と、フィルタリングでノイズ低減処理を行う手順と、平滑化された信号をバッファに保存する手順と、すべての色信号への操作が完了したかを判断する手順と、全画素に対する処理が完了したかを判断する手順、を実行させる。
【００３７】
（１５）の発明は、図１４のフローチャートに対応する。（１５）の発明によれば、カラー画像信号に対するノイズ低減処理をソフトウェアにより行うことができる。
【００３８】
（１６）．本発明の画像処理プログラムは、コンピュータに、撮像条件及び映像信号などの情報を読み込む手順と、注目画素を中心として所定のサイズの画素単位を抽出する手順と、指定した信号レベルの平均値を求める手順と、記録媒体に保存しているノイズ量の補正係数とノイズ量対信号レベルの代表点を抽出する手順と、基準ノイズモデルのどの位置に属するかを探索する手順と、基準ノイズモデルに基づき線形補間でノイズ量の補間を行う手順と、記録媒体に保存されている補正係数を用いてあるISO感度の信号のノイズ量を算出する手順と、フィルタリングでノイズ低減処理を行う手順と、平滑化された信号をバッファに保存する手順と、全画素に対する処理が完了したかを判断する手順、を実行させる。
【００３９】
（１６）の発明は、図16のフローチャートに対応する。（１６）の発明によれば、白黒画像信号に対するノイズ低減処理をソフトウェアにより行うことができる。
【発明の効果】
【００４０】
本発明においては、信号レベルのみならずランダムノイズに関連のある信号値レベル、ISO感度、及び色信号などの動的に変化する要因に対応したノイズ量のモデルを用いて、ノイズ量を正確に推定できる撮像装置を提供することができる。また、ノイズモデル簡略化処理を用いることで、ノイズ量の推定精度を保ちながらハードウェアの負担を軽減することができる。
【発明を実施するための最良の形態】
【００４１】
以下、本発明の実施形態例について図を参照して説明する。図１は第1の実施形態例の構成図、図2は第1の実施形態例におけるノイズ推定部の構成図、図7は第1の実施形態例におけるノイズ低減処理部の構成図、図10は信号レベル対ノイズ量の特性図、図12は信号レベル対ノイズ量を折れ線で近似した特性図、図13はノイズ量の補間処理を示す特性図、図14はノイズ低減処理のフローチャートである。
【００４２】
図1において、レンズ系100、ローパスフィルタ101、カラーフィルタ111を有するカラー用CCD102を介して撮影された映像は、前処理部103においてサンプリング、ゲイン増幅、A/D変換等の前処理が施さた後、画像バッファ104を介してノイズ低減部105へ転送される。ノイズ低減部105からの信号は、信号処理部108を経由してメモリカードなどの出力部109に送出されている。
【００４３】
また、画像バッファ104はノイズ推定部106へ接続されており、ノイズ推定部106はノイズ低減部105に接続されている。制御部107は、前処理部103、ノイズ推定部106、ノイズ低減部105、信号処理部108、出力部109に双方向に接続されている。さらに、電源スイッチ、シャッターボタン、撮像時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部110も、制御部107に双方向に接続されている。
【００４４】
図１において、信号の流れを説明する。外部I/F部110を介してISO感度などの撮像条件を設定した後、シャッターを押すことで撮像する。レンズ系100、ローパスフィルタ101、カラーフィルタ111、CCD102を介して、撮影された映像信号は前処理部103へ転送される。前処理部103で、映像信号は前記のようにサンプリングされる。サンプリングされた映像信号は、さらにゲイン増幅され、A/D変換されて画像バッファ104へ転送される。
【００４５】
画像バッファ104内の映像信号は、ノイズ推定部106へ転送される。ノイズ推定部106へは、制御部107を介して外部I/F部110によるISO感度などの撮影条件も合わせて転送される。ノイズ推定部106は、上記撮影条件、映像信号と基準ノイズモデルに基づき、ISO感度ごと、色信号ごとにノイズ量を算出する。算出されたノイズ量は、ノイズ低減部105へ転送される。
【００４６】
ノイズ推定部106におけるノイズ量の算出は、制御部107の制御に基づきノイズ低減部105の処理と同期して行われる。ノイズ低減部105は、ノイズ推定部106で推定されたノイズ量に基づき、画像バッファ104内の映像信号に対してノイズ低減処理を行い、ノイズ低減処理後の映像信号を信号処理部108へ転送する。信号処理部108は、制御部107の制御に基づきノイズ低減後の映像信号に対して、公知の圧縮処理や強調処理などを行い、出力部109へ転送する。出力部109は、メモリカードなどの記録媒体へ信号を記録保存する。
【００４７】
図2は、ノイズ推定部106の構成の一例を示すものである。ノイズ推定部106は、ブロック信号抽出部200、色信号分離部201、平均算出部202、区間探索部203、ノイズ補間部204、ノイズ乗算部205、ROM206から構成される。画像バッファ104は、ブロック信号抽出部200に接続されている。制御部107は、ブロック信号抽出部200、色信号分離部201、平均算出部202、区間探索部203、ノイズ補間部204、ノイズ乗算部205に双方向に接続されている。ブロック信号抽出部200は、色信号分離部201、平均算出部202、区間探索部203、ノイズ補間部204を介してノイズ乗算部205へ接続されている。また、ROM206は、区間探索部203、ノイズ補間部204、ノイズ乗算部205に接続されている。
【００４８】
ブロック信号抽出部200は、画像バッファ104から転送された映像信号からブロック信号を抽出し、色信号分離部201へ転送する。色信号分離部201は、ブロック信号抽出部200から転送されたブロック信号を色信号ごとに分離して、平均算出部202へ転送する。平均算出部202は、色信号分離部201から転送された分離映像信号を色信号ごとに平均値を算出して区間探索部203へ転送する。本発明においては、CCD102のノイズ特性に対応した基準ノイズモデルを具備している。
【００４９】
図10は、基準ノイズモデルの信号値レベル対ノイズ量の関連を示す特性図である。また、第12図は折れ線近似の形状で、基準ノイズモデルにおける信号値レベル対ノイズ量の関連を示している。基準ノイズモデルを代表する、信号値レベル対ノイズ量の代表点はROM206に保存されている。本例においては、基準ノイズモデルの信号値レベル（Level）対ノイズ量（Noise）の代表点、及び各代表点と代表点間の区間の向きを表す傾斜点（Slope）が、ROM206に保存されている。例えば、8点の代表点と７点の傾斜点の例を式（１）〜式（3）
Noise[8] = [N1, N2, N3, N4, N5, N6, N7, N8]     （1）
Level[8] = [L1, L2, L3,L4, L5,L6,L7,L8]         （2）
Slope[7] = [S1, S2, S3, S4, S5, S6, S7]         （3）
に示す。
【００５０】
ROM206には、また、ISO感度及び色信号ごとのノイズ量を計算するための補正係数（K）も保存されている。例えば、ISO感度が4種類、色信号がR、Gr、Gb、Bの4種類の例を式（4）
K[4][4] = [Kr1, Kgr1, Kgb1, Kb1           ISO = 100
Kr2, Kgr2, Kgb2, Kb2                      ISO = 200
Kr3, Kgr3, Kgb3, Kb3                      ISO = 300
Kr4, Kgr4, Kgb4, Kb4 ]                    ISO = 400         （4）
に示す。
【００５１】
図２において、区間探索部203は、平均算出部202から転送された平均値をROM206中に保存されている代表点の信号値レベルと比較して、どの信号値レベル（座標）の間に属するかを探索する。ノイズ補間部204は、区間探索部203に基づき、区間内で線形補間を行うことにより平均値に対するノイズ量を算出する。図13は、ノイズ補間部204により、ある区間における線形補間処理を例示したものである。ノイズ乗算部205は、ノイズ補間部204からの補間結果とROM206に保存されている補正係数を用いて、制御部107から得られたあるISO感度における色信号ごとのノイズ量（NR）を式（５）
NR = K[ISO][color] ＊ N                                   （5）
（注：Nは図13中のNに対応している）
により算出する。算出されたノイズ量の結果はノイズ低減部105へ転送される。
【００５２】
図7は、ノイズ低減部105の構成の一例を示すもので、フィルタリング部300、バッファ部301から構成される。画像バッファ104は、フィルタリング部300を介してバッファ部301へ接続されており、ノイズ推定部106は、フィルタリング部300に接続されている。制御部107は、フィルタリング300とバッファ部301に双方向に接続されている。バッファ部301は信号処理部108に接続されている。
【００５３】
フィルタリング部300は、画像バッファ104における映像信号に対して、ノイズ推定部106から転送されたノイズ量と平均値を用いて、ノイズ低減処理を行う。
ノイズ低減処理は、ある位置の信号レベル（Rx）に対し、ノイズ量（NR）と平均値（Rav）を用いて、例えば式（６）
If (Rx > Rav + NR/2) →Rx' = Rx - NR/2
If (Rav + NR/2 > Rx > Rav - NR/2) → Rx' = Rx
If (Rx < Rav ― NR/2) → Rx' = Rx + NR/2                  （6）
に示す演算を行う。ノイズ低減処理された映像信号Rx'はバッファ301へ保存される。
【００５４】
上記構成により、カラー撮像素子に対応して、信号値レベル、ISO感度、色信号などの動的に変化する要因に対応したノイズ量の推定が可能となる。これらの推定に基づき、ISO感度、色信号ごとにノイズ低減処理を行うため、高精度なノイズ低減処理が可能となる。そして、基準ノイズモデルの折れ線近似または直線近似及び基準モデルから他のモデルを導出する処理を用いて、ハードウェアの負担を軽減することが可能となる。本実施形態例により、カラー撮像素子に対応して、高精度なノイズ低減処理及びハードウェアの負担を軽減するノイズ低減処理が同時に実現可能となる。
【００５５】
なお、本実施形態例に対する好ましい一変形例として、ROM206内に基準モデルをRGB成分ごとに持つ方式が考えられる。この変形例では、ROM206内の補正係数はISO感度の違いに応じて用意される。ノイズ乗算部205では、各色成分ごとに別々の基準モデルから算出されたノイズ量にISO感度に応じた補正係数を乗じて、最終的なノイズ量を算出する。色成分ごとのノイズモデルが、単一の基準モデルと補正係数の組み合わせで近似できない場合でも、この方式であればより高精度にノイズ量を推定できる。
【００５６】
また、本実施形態例におけるノイズ低減処理は、ハードウェアにより実現しているが、同様の処理をソフトウェアにより行うことも可能である。図14は、ノイズ低減処理のソフトウェア処理に関するフローチャートである。Step1にて、撮像条件及び映像信号などの情報を読み込む。Step2にて注目画素を中心として所定のサイズ、例えば6x6画素単位を抽出する。Step3にて色信号ごとに信号を読み出し、Step4にて、指定した信号レベルの平均値を求める。Step5にて、ROMに保存しているノイズ量の補正係数、ノイズ量対信号レベルの代表点を抽出し、Step6にて基準ノイズモデルのどの位置に属するかを探索する。
【００５７】
Step7にて、基準ノイズモデルに基づき線形補間でノイズ量の補間を行い、Step8にて、ROMに保存されている補正係数を用いてあるISO感度のある色信号のノイズ量を算出する。Step9にて、フィルタリングでノイズ低減処理を行う。Step10にて、平滑化された信号をバッファに保存する。Step11にて、すべての色信号への操作が完了したかを判断し、完了していない場合はStep3へ、完了した場合はStep12へ移行する。Step12にて、全画素に対する処理が完了したかを判断し、完了していない場合はStep2へ、完了した場合は終了となる。
【００５８】
次に、第２の実施形態例について説明する。図3は第２の実施形態例の構成図、図4は第2の実施形態例におけるノイズ推定部の構成図、図8は第2の実施形態例のノイズ低減処理部の構成図、図11は複数の撮像素子に対応する信号レベル対ノイズ量を示す特性図、図13はノイズ量の補間処理を示す特性図、図15はエッジ強調部の構成図、図16はノイズ低減処理のフローチャートである。
【００５９】
図3において、レンズ系1000、ローパスフィルタ1001を有する白黒用CCD1002を介して撮影された映像は、前処理部1003によりサンプリング、ゲイン増幅、A/D変換等の前処理が施される。その後、画像バッファ1004を介してノイズ低減部1005へ転送される。ノイズ低減部1005からの信号は、エッジ強調部1008を経由してメモリカードなどの出力部1009に送出される。
【００６０】
また、画像バッファ1004はノイズ推定部1006へ接続されており、ノイズ推定部1006は、ノイズ低減部1005に接続されている。撮像素子認識部1011はCCD1002に接続されている。制御部1007は、前処理部1003、ノイズ推定部1006、ノイズ低減部1005、エッジ強調部1008、出力部1009、撮像素子認識部1011に双方向に接続されている。さらに、電源スイッチ、シャッターボタン、撮像時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部1010も制御部1007に双方向に接続されている。
【００６１】
図3において、信号の流れを説明する。外部I/F部1010を介してISO感度などの撮像条件を設定した後、シャッターを押すことで撮像する。レンズ系1000、ローパスフィルタ1001、白黒用CCD1002を介して撮影された映像信号は、前処理部1003へ転送される。撮像素子認識部1011では、CCD1002を認識して撮像素子の情報を記録する。また、前処理部1003では、転送された映像信号はサンプリング処理される。サンプリング処理後に、ゲイン増幅され、A/D変換されて画像バッファ1004へ転送される。
【００６２】
画像バッファ1004内の映像信号は、ノイズ推定部1006へ転送される。ノイズ推定部1006へは、制御部1007を介して外部I/F部1010によるISO感度及び撮像素子認識部1011による撮像素子の情報などの撮影条件も合わせて転送される。ノイズ推定部1006は、上記撮像条件、映像信号と基準ノイズモデルに基づきISO感度ごとにノイズ量を算出する。算出されたノイズ量はノイズ低減部1005へ転送される。
【００６３】
ノイズ推定部1006におけるノイズ量の算出は、制御部1007の制御に基づきノイズ低減部1005の処理と同期して行われる。ノイズ低減部1005は、ノイズ推定部1006におけるノイズ量に基づき、画像バッファ1004内の映像信号に対してノイズ低減処理を行い、処理後の映像信号をエッジ強調部1008へ転送する。エッジ強調部1008は、制御部1007の制御に基づきノイズ低減後の映像信号に対して、エッジ強調を行い、出力部1009へ転送する。出力部1009は、メモリカードなどの記録媒体へ信号を記録保存する。
【００６４】
図4は、ノイズ推定部1006の構成の一例を示すものである。ノイズ推定部1006は、ブロック信号抽出部2000、平均算出部2001、区間探索部2002、ノイズ補間部2003、ノイズ乗算部2004、ROM2005から構成される。画像バッファ1004は、ブロック信号抽出部2000に接続されている。制御部1007は、ブロック信号抽出部2000、平均算出部2001、区間探索部2002、ノイズ補間部2003、ノイズ乗算部2004に双方向に接続されている。
【００６５】
ブロック信号抽出部2000は、平均算出部2001、区間探索部2002、ノイズ補間部2003を介してノイズ乗算部2004へ接続されている。ROM2005は、区間探索部2002、ノイズ補間部2003、ノイズ乗算部2004に接続されている。ブロック信号抽出部2000は、画像バッファ1004から転送された映像信号からブロック信号を抽出し、平均算出部2001へ転送する。平均算出部2001は、ブロック信号抽出部2000から転送された映像信号の平均値を算出して区間探索部2002へ転送する。
【００６６】
本実施の形態例においては、第１の実施形態例と同じく基準ノイズモデルはひとつであるが、異なる撮像素子に対応するための補正係数が設けられている。そして、図3の撮像素子認識部1011により、使用されているCCD1002の撮像素子の種類を検出し、制御部1007を介して図4のROM2005内の補正係数（M）の中から撮像素子に対応するものを抽出する。例えば、3種類の素子に対応する補正係数の例を式（7）
M[3] = [M1，            撮像素子１
M2,             撮像素子2
M3 ]            撮像素子3                             （7）
に示す。
【００６７】
基準ノイズモデルは、第１の実施の形態例と同様に、折れ線近似されたデータがROM2005に保存されている。具体的なデータ形式は、式（1）〜式（3）に示したように、信号値レベル対ノイズ量の代表点8点、及び各代表点と代表点間の区間の向きを表す傾斜点7点である。区間探索部2002は、平均算出部2001から転送された平均値を、ROM2005中に保存されている代表点の信号値レベルと比較して、どの信号値レベル（座標）に属するかを探索する。ノイズ補間部2003は、区間探索部2002における探索結果に基づき、区間内で線形補間を行うことにより平均値に対するノイズ量を算出する。
【００６８】
図13は、ある区間における線形補間処理の様子を例示したものである。また、ROM2005にはISO感度ごとのノイズ量を計算するための補正係数（K）も保存されている。例えば、4種類のISO感度に対応する補正係数の例を式（8）
K[4] = [K1，            ISO = 100
K2,             ISO = 200
K3,             ISO = 300
K4 ]            ISO = 400         （8）
に示す。
【００６９】
ノイズ乗算部2004は、ノイズ補間部2003からの補間結果と、ROM2005に保存されている、CCD1002に対応した補正係数とISO感度ごとに対応した補正係数を用いて、制御部1007から得られた、ISO感度における信号ごとのノイズ量（NR）を式（9）
NR = M[撮像素子] ＊ K[ISO] ＊ N                           （9）
（注：Nは図13中のNに対応している）
に基づき算出する。そして、算出されたノイズ量の結果をノイズ低減部1005へ転送する。
【００７０】
図8はノイズ低減部1005の構成の一例を示すものである。ノイズ低減部1005は、フィルタリング部3000、バッファ部3001から構成される。画像バッファ1004は、フィルタリング部3000を介してバッファ部3001へ接続しており、ノイズ推定部1006は、フィルタリング部3000に接続している。制御部1007は、フィルタリング3000とバッファ部3001に双方向に接続されている。バッファ部3001はエッジ強調部1008に接続されている。
【００７１】
フィルタリング部3000は、画像バッファ1004における映像信号に対して、ノイズ推定部1006から転送されたノイズ量と平均値を用いて、ノイズ低減処理を行う。ノイズ低減処理は、ある位置の信号レベル（Rx）に対し、ノイズ量（NR）と平均値（Rav）を用いて式（10）
If (Rx > Rav + NR/2) →Rx' = Rx - NR/2
If (Rav + NR/2 > Rx > Rav - NR/2) → Rx' = Rx
If (Rx < Rav - NR/2) →Rx' = Rx + NR/2         （10）
に示した演算を行う。そして、ノイズ低減処理された映像信号Rx'をバッファ3001へ保存する。
【００７２】
図15は、エッジ強調部1008の構成の一例を示すものである。エッジ強調部1008は、バッファー7001、フィルタリング部7002、エッジ制御部7003、ＲＯＭ部7004から構成される。ノイズ低減部1005は、バッファー7001、フィルタリング部7002、エッジ制御部7003を介して出力部1009に接続されており、ROM7004は、フィルタリング部7002、エッジ制御部7003に接続されている。制御部1007は、バッファー7001、フィルタリング部7002、エッジ制御部7003に双方向に接続されている。
【００７３】
フィルタリング部7002は、制御部1007に基づき、バッファー7001における映像信号に対し、ROM7004からエッジ抽出処理に要するフィルタ係数を読み出させて公知のエッジ抽出処理を行う。エッジ制御部7003は、制御部1007に基づき、フィルタリング部7002から転送されてきた映像信号を用いて、ROM7004からエッジ強調用のフィルタ係数を読み出し、映像信号のエッジ部に対して公知のエッジ強調処理を行う。
【００７４】
上記構成により、種々のノイズ特性の異なる白黒撮像素子に対応し、さらに信号値レベル、ISO感度などの動的に変化する要因にも対応したノイズ量の推定が可能となる。これらの推定に基づき、撮像素子ごと、ISO感度ごとにノイズ低減処理を行うため、高精度なノイズ低減処理が可能となる。そして、基準ノイズモデルの折れ線、線形などの簡略化処理及び基準モデルから撮像素子ごと、ISO感度ごとのモデルを導出する処理を用いて、ハードウェアの負担を軽減することが可能となる。すなわち、本実施形態例により、異なる白黒撮像素子に対応して高精度なノイズ低減処理、及びハードウェアの負担を軽減する処理が同時に実現可能となる。
【００７５】
また、本実施形態例におけるノイズ低減処理は、ハードウェアにより実現しているが、同様の処理をソフトウェアにより行うことも可能である。図16は、ノイズ低減処理のソフトウェア処理に関するフローチャートである。Step21にて、撮像条件及び映像信号などの情報を読み込む。Step22にて注目画素を中心として所定のサイズ、例えば6x6画素単位を抽出する。Step23にて、指定した信号レベルの平均値を求める。Step24にて、ROMに保存しているノイズ量の補正係数、ノイズ量対信号レベルの代表点を抽出し、Step25にて基準ノイズモデルのどの位置に属するかを探索する。
【００７６】
Step26にて、基準ノイズモデルに基づき線形補間でノイズ量の補間を行い、Step27にて、ROMに保存されている補正係数を用いてあるISO感度の色信号のノイズ量を算出する。Step28にて、フィルタリングでノイズ低減処理を行う。Step29にて、平滑化された信号をバッファに保存する。Step30にて、全画素に対する処理が完了したかを判断し、完了していない場合はStep22へ、完了した場合は終了となる。
【００７７】
次に、本発明に係る第３の実施形態例について説明する。図5は第3の実施形態例の構成図、図6は第3の実施形態例ノイズ推定部の構成図、図9は第3の実施形態例に係るノイズ低減処理部の構成図である。第3の実施形態例は、第2の実施形態例とは、ノイズ推定部5006及び制御部5007を除いて同一の構成と作用を有している。そこで、ここでは両者で相違のあるノイズ推定部5006及び制御部5007においての信号の流れを説明する。なお、以下の説明中、第2の実施形態例と同一の番号を付したものは、本実施形態例においても第2の実施の形態例における場合と同一の作用を持つ。
【００７８】
図5は、本実施形態例の構成図である。レンズ系1000、ローパスフィルタ1001を有する白黒用CCD1002を介して撮影された映像は、前処理部1003によりサンプリング処理される。サンプリング処理された信号は、ゲイン増幅、A/D変換等の前処理が施さた後、画像バッファ1004を介してノイズ低減部1005へ転送される。ノイズ低減部1005からの信号は、エッジ強調部1008を経由してメモリカードなどの出力部1009に送出される。また、画像バッファ1004はノイズ推定部5006へ接続されており、ノイズ推定部5006はノイズ低減部1005に接続されている。
【００７９】
像素子認識部1011はCCD1002に接続されている。制御部5007は、前処理部1003、ノイズ推定部5006、ノイズ低減部1005、エッジ強調部1008、出力部1009、撮像素子認識部1011に双方向に接続されている。さらに、電源スイッチ、シャッターボタン、撮像時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部1010も、制御部5007に双方向に接続されている。
【００８０】
本実施形態例においても第２の実施形態例と同様に、種々の撮像素子に対応したノイズ低減が可能であるが、図11に示すように、異なる撮像素子に対応する基準ノイズモデルがあらかじめROM6005内に複数用意されている点が異なる。そして、図5の撮像素子認識部1011により、使用されているCCD1002の撮像素子を検出し、制御部5007を介して図6のROM6005からCCD1002に対応する基準ノイズモデルを抽出する。ノイズモデルのデータ形式は、式（1）、式（2）、式（3）に示したものと同様である。
【００８１】
区間探索部6002は、平均算出部2001から転送された平均値を制御部5007により抽出されたノイズモデルの代表点の信号値レベルと比較して、どの信号値レベルに属するかを探索する。ノイズ補間部6003は、区間探索部6002における探索結果に基づき、区間内で線形補間を行うことにより平均値に対するノイズ量を算出する。この線形補間は、前記のように図13に示されたある区間における線形補間処理を適用するものである。
【００８２】
ノイズ乗算部6004は、ノイズ補間部6003からの補間結果とROM6005に保存されている、CCD1002に対応した基準ノイズモデルに対応するISO感度ごとの補正係数を用いて、制御部5007から得られたISO感度に対する信号ごとのノイズ量（NR）を式（11）
NR = K[撮像素子][ISO] ＊ N                            （11）
（注：Nは図13中のNに対応している）
により算出する。そして、算出されたノイズ量の結果をノイズ低減部1005へ転送する。
【００８３】
図9はノイズ低減部1005の構成の一例を示すものである。ノイズ低減部1005は、フィルタリング部3000、バッファ部3001から構成される。画像バッファ1004は、フィルタリング部3000を介してバッファ部3001へ接続されており、ノイズ推定部5006は、フィルタリング部3000に接続されている。制御部5007は、フィルタリング3000とバッファ部3001に双方向に接続されている。
【００８４】
バッファ部3001はエッジ強調部1008に接続されている。フィルタリング部3000は、画像バッファ1004における映像信号に対して、ノイズ推定部1006から転送されたノイズ量と平均値を用いて、ノイズ低減処理を行う。ノイズ低減処理とエッジ強調処理は第2の実施形態例の処理と同じである。
【００８５】
上記構成により、種々のノイズ特性の異なる白黒撮像素子に対応し、さらに信号値レベル、ISO感度などの動的に変化する要因にも対応したノイズ量の推定が可能となる。これらの推定に基づき、撮像素子ごと、ISO感度ごとにノイズ低減処理を行うため、高精度なノイズ低減処理が可能となる。そして、基準ノイズモデルの折れ線、線形などの簡略化処理及び基準モデルから撮像素子ごと、ISO感度ごとのモデルを導出する処理を用いて、ハードウェアの負担を軽減することが可能となる。すなわち、本実施形態例により、異なる白黒撮像素子に対応して高精度なノイズ低減処理、及びハードウェアの負担を軽減する処理が同時に実現可能となる。
【００８６】
前記図14に示したカラー画像に対する画像処理プログラムと、図16に示した白黒画像に対する画像処理プログラムを記録媒体に記録させることができる。この記録媒体をコンピュータにインストールすることにより、コンピュータが動作する環境であれば場所や時間に制約されることなくカラー画像および白黒画像に対する高精度なノイズ低減処理を行うことができる。
【産業上の利用可能性】
【００８７】
以上説明したように、本発明によれば、信号レベルのみならずランダムノイズに関連のある信号値レベル、ISO感度、及び色信号などの動的に変化する要因に対応したノイズ量のモデルを用いて、ノイズ量を正確に推定できる撮像装置を提供することができる。また、画像信号のノイズ量を正確に推定できる画像プログラムを提供することができる。
【図面の簡単な説明】
【００８８】
【図１】第１の実施形態例の構成図である。
【図２】第1の実施形態例におけるノイズ推定部の構成図である。
【図３】第２の実施形態例の構成図である。
【図４】第２の実施形態例におけるノイズ推定部の構成図である。
【図５】第３の実施形態例の構成図である。
【図６】第３の実施形態例ノイズ推定部の構成図である。
【図７】第1の実施形態例のノイズ低減処理部の構成図である。
【図８】第２の実施形態例のノイズ低減処理部の構成である。
【図９】第３の実施形態例のノイズ低減処理部の構成図である。
【図１０】信号レベル対ノイズ量の関係を示す特性図である。
【図１１】複数の撮像素子に対応する信号レベル対ノイズ量の関係を示す特性図である。
【図１２】信号レベル対ノイズ量の関係を折れ線で近似する特性図である。
【図１３】ノイズ量の補間処理を示す特性図である。
【図１４】第１の実施形態例のフローチャートである。
【図１５】第２の実施形態例におけるエッジ強調部の構成図である。
【図１６】第２、第３の実施形態例のフローチャートである。
【符号の説明】
【００８９】
１００・・・レンズ系、１０１・・・ローパスフィルタ、１０２・・・カラー用CCD、１０４・・・画像用バッファ、１０５・・・ノイズ低減部、１０６・・・ノイズ推定部、１０７・・・制御部、１０８・・・信号処理部、１０９・・・出力部、２００・・・ブロック信号抽出部、２０１・・・色信号分離部、２０２・・・平均算出部、２０３・・・区間探索部、２０４・・・ノイズ補間部、２０５・・・ノイズ乗算部、２０６・・・ＲＯＭ、１００２・・・白黒用CCD、１００６・・・ノイズ推定部、１００８・・・エッジ強調部
【図１】
2005303802.tif 000003
【図２】
2005303802.tif 000004
【図３】
2005303802.tif 000005
【図４】
2005303802.tif 000006
【図５】
2005303802.tif 000007
【図６】
2005303802.tif 000008
【図７】
2005303802.tif 000009
【図８】
2005303802.tif 000010
【図９】
2005303802.tif 000011
【図１０】
2005303802.tif 000012
【図１１】
2005303802.tif 000013
【図１２】
2005303802.tif 000014
【図１３】
2005303802.tif 000015
【図１４】
2005303802.tif 000016
【図１５】
2005303802.tif 000017
【図１６】
2005303802.tif 000018