(57)【要約】【課題】  暗黒画像を用いたノイズ抑制において、ランダムノイズの増加しない技術を提供することを目的とする。【解決手段】  本発明のノイズ抑制装置は、入力部、暗黒画像処理部、およびノイズ抑制部を備える。入力部は、被写界を撮像部で撮像して得た画像データと、遮光状態の撮像部で撮像して得た複数の暗黒画像データとを取り込む。暗黒画像処理部は、複数の暗黒画像データ間における非相関性のランダムノイズを抑制して暗黒画像データＢを生成する。ノイズ抑制部は、この暗黒画像データＢに基づいて、画像データのノイズを抑制する。【選択図】      図２
2006311086.tif 000002
【特許請求の範囲】
【請求項１】
光像を撮像部で撮像して得た画像データと、遮光状態の前記撮像部で撮像して得た複数の暗黒画像データとを取り込む入力部と、
前記複数の暗黒画像データ間における非相関性のランダムノイズを抑制して暗黒画像データＢを生成する暗黒画像処理部と、
前記暗黒画像データＢに基づいて、前記画像データのノイズを抑制するノイズ抑制部と
を備えたことを特徴とするノイズ抑制装置。
【請求項２】
請求項１に記載のノイズ抑制装置において、
前記暗黒画像処理部は、
前記複数の暗黒画像データ間におけるレベルバラツキから非相関箇所を検出し、前記複数の暗黒画像データの合成画像に前記非相関箇所の変動抑制を施して、暗黒画像データＢを求める
ことを特徴とするノイズ抑制装置。
【請求項３】
請求項１または請求項２に記載のノイズ抑制装置において、
前記暗黒画像処理部は、
前記複数の暗黒画像データがいずれも予め定められた閾値以下となる微小レベル箇所を検出し、前記複数の暗黒画像データの合成画像に前記微小レベル箇所の変動抑制を施して、暗黒画像データＢを求める
ことを特徴とするノイズ抑制装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載のノイズ抑制装置において、
前記複数の暗黒画像データの総合電荷蓄積時間を、前記画像データの電荷蓄積時間よりも時間短縮して設定した場合、
前記暗黒画像処理部は、前記時間短縮に伴う固定パターンノイズのゲイン低下を補償する補償ゲインを、前記暗黒画像データＢにかける
ことを特徴とするノイズ抑制装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載のノイズ抑制装置と、
光電変換を行う撮像部と、
前記撮像部を遮光する遮光機構と、
前記撮像部を駆動して被写界を撮像して画像データを生成し、かつ前記遮光機構により遮光状態にした前記撮像部を複数回駆動して、複数の暗黒画像データを生成する制御部とを備え、
前記ノイズ抑制装置は、前記画像データおよび前記複数の暗黒画像データを取り込んで、前記画像データのノイズを抑制する
ことを特徴とする電子カメラ。
【請求項６】
コンピュータを、請求項１ないし請求項４のいずれか１項に記載の前記入力部、前記暗黒画像処理部、および前記ノイズ抑制部として機能させるための画像処理プログラム。                                                                               
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、暗黒画像を用いて画像ノイズを抑制するノイズ抑制装置、電子カメラ、および画像処理プログラムに関する。
【背景技術】
【０００２】
一般に、電子カメラにおいて長秒時撮影を行うと、画像データに固定パターンノイズが現れる。この種のノイズを除去する装置として、特許文献１の従来装置が知られている。
この従来装置では、まず、通常に撮像された画像データと、シャッタを閉じて撮像した暗黒画像データとを用意する。従来装置は、この画像データから暗黒画像データを画素単位に減算することにより、固定パターンノイズを同相除去する。
【特許文献１】特開２０００−１２５２０４号公報（請求項１，２など）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、長秒時撮影された暗黒画像データには、固定パターンノイズの他に、ランダムノイズも含まれる。上述した従来装置の減算処理では、このランダムノイズを逆相にして、画像データに加算してしまうため、画像データのランダムノイズを逆に増やしてしまうという問題点があった。
そこで、本発明では、暗黒画像を用いたノイズ抑制において、ランダムノイズの増加しない技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
《１》  本発明のノイズ抑制装置は、入力部、暗黒画像処理部、およびノイズ抑制部を備える。
入力部は、光像を撮像部で撮像して得た画像データと、遮光状態の撮像部で撮像して得た複数の暗黒画像データとを取り込む。
暗黒画像処理部は、複数の暗黒画像データ間における非相関性のランダムノイズを抑制して暗黒画像データＢを生成する。
ノイズ抑制部は、暗黒画像データＢに基づいて、画像データのノイズを抑制する。
【０００５】
《２》  なお好ましくは、暗黒画像処理部は、複数の暗黒画像データ間におけるレベルバラツキから非相関箇所を検出する。暗黒画像処理部は、複数の暗黒画像データの合成画像に非相関箇所の変動抑制を施して、暗黒画像データＢを求める。
【０００６】
《３》  また好ましくは、暗黒画像処理部は、複数の暗黒画像データがいずれも予め定められた閾値以下となる微小レベル箇所を検出する。暗黒画像処理部は、複数の暗黒画像データの合成画像に微小レベル箇所の変動抑制を施して、暗黒画像データＢを求める。
【０００７】
《４》  なお好ましくは、複数の暗黒画像データの総合電荷蓄積時間を、画像データの電荷蓄積時間よりも時間短縮して設定する。この場合、暗黒画像処理部は、この時間短縮に伴う固定パターンノイズのゲイン低下を補償する補償ゲインを、暗黒画像データＢにかける。
【０００８】
《５》  本発明の電子カメラは、ノイズ抑制装置、撮像部、遮光機構、および制御部を備える。
撮像部は、光電変換を行う。
遮光機構は、この撮像部を遮光する機能を有する。
制御部は、撮像部を駆動して被写界を撮像して画像データを生成する。また、制御部は、遮光機構により遮光状態にした撮像部を複数回駆動して、複数の暗黒画像データを生成する。
特に、ノイズ抑制装置は、上記《１》ないし《４》のいずれか１項に記載の装置であり、画像データおよび複数の暗黒画像データを取り込んで、画像データのノイズを抑制する。
【０００９】
《６》  本発明の画像処理プログラムは、コンピュータを、上記《１》ないし《４》のいずれか１項に記載の入力部、暗黒画像処理部、およびノイズ抑制部として機能させるためのプログラムである。
【発明の効果】
【００１０】
本発明は、暗黒画像データを複数生成する。複数の暗黒画像データ間において、固定パターンノイズの発生傾向は類似し、高い相関性を示す。一方、ランダムノイズは、複数の暗黒画像データ間においてランダムに発生するため、非相関性を示す。そこで、複数の暗黒画像データを比較することで非相関性のランダムノイズと相関性の固定パターンノイズとを的確に弁別できる。本発明は、この相関判別によりランダムノイズを抑えた暗黒画像データＢを基準として、画像データの固定パターンノイズを抑制する。その結果、ランダムノイズ増加の弊害を抑えつつ、画像データ中の固定パターンノイズを適切に抑制できる。
【発明を実施するための最良の形態】
【００１１】
《本実施形態の構成説明》
図１は、電子カメラ１１を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。レンズ制御部１２ａは、この撮影レンズ１２のフォーカス駆動や絞り制御などを実施する。この撮影レンズ１２の像空間には、遮蔽機構１２ｂを介して撮像素子１３の受光面が配置される。この遮蔽機構１２ｂは、機械式シャッタまたは絞りを兼用するものでもよいし、あるいは専用の遮蔽機構でもよい。遮蔽機構１２ｂは、撮像制御部１４からの信号で撮影レンズ１２の入射光路を遮断することにより、撮像素子１３の受光面を遮光する機能を有する。
【００１２】
一方、撮像素子１３は、撮像制御部１４によって駆動される。撮像素子１３から出力される画像データは、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、メモリ１７に一時蓄積される。
このメモリ１７は、バス１８に接続される。このバス１８には、レンズ制御部１２ａ、撮像制御部１４、マイクロプロセッサ１９、画像処理部２０、記録部２２、およびモニタ表示部２３も接続される。
上記のマイクロプロセッサ１９には、レリーズ釦などの操作部１９ａが接続される。また、上記の記録部２２には、記録媒体２２ａが装着される。
【００１３】
《本実施形態の動作説明》
図２は、本実施形態の動作を説明する流れ図である。
以下、図２に示すステップ番号に沿って、動作説明を行う。
【００１４】
ステップＳ１：  マイクロプロセッサ１９は、ユーザーからのレリーズ指示を操作部１９ａなどで検出すると、撮像制御部１４に撮像動作の開始を指示する。撮像制御部１４は、遮蔽機構１２ｂを開いた状態で、撮像素子１３に被写体像の光電変換を開始させ、予め設定された電荷蓄積時間の経過を待って、撮像素子１３から画像データを読み出す。この画像データは、信号処理部１５およびＡ／Ｄ変換部１６を介してデジタル化された後、メモリ１７に一時蓄積される。
【００１５】
ステップＳ２：  マイクロプロセッサ１９は、画像データの電荷蓄積時間に対応して、複数の暗黒画像データの生成スケジュールを決定し、撮像制御部１４に暗黒画像データの生成を指示する。
例えば、Ｎ個（Ｎ≧２）の暗黒画像データを生成する場合に、画像データの電荷蓄積時間の１／Ｎ倍を暗黒画像データ１つ分の電荷蓄積時間に設定することが好ましい。
また例えば、Ｎ個の暗黒画像データを生成する場合に、暗黒画像データの総合電荷蓄積時間の時間短縮率をＲ（０＜Ｒ＜１）とする。この場合、画像データの電荷蓄積時間のＲ／Ｎ倍を暗黒画像データ１つ分の電荷蓄積時間に設定することが好ましい。
また例えば、Ｎ個の暗黒画像データを生成する場合に、暗黒画像データの総合電荷蓄積時間の時間延長率をＥ（Ｅ＞１）とする。この場合、画像データの電荷蓄積時間のＥ／Ｎ倍を暗黒画像データ１つ分の電荷蓄積時間に設定することが好ましい。
また例えば、Ｎ個の暗黒画像データの内、全部または一部の電荷蓄積時間を意図的にずらして設定することも好ましい。特にこの場合は、異なる電荷蓄積時間と、発生する固定パターンノイズとの時間軸上の関係に対して数式近似や回帰分析などの解析を行うことで、両者の線形性または非線形な関係を特定できる。その結果、画像データの電荷蓄積時間における固定パターンノイズをより高精度に推定できるようになる。
【００１６】
ステップＳ３：  撮像制御部１４は、暗黒画像データの生成指示に応じて、遮蔽機構１２ｂを遮蔽し、撮像素子１３の受光面を暗黒状態に保つ。
【００１７】
ステップＳ４：  撮像制御部１４は、この暗黒状態の撮像素子１３を駆動し、生成スケジュールに従って、電荷蓄積・画像読み出しを少なくとも２回実施する。このとき生成される複数の暗黒画像データは、信号処理部１５およびＡ／Ｄ変換部１６を介して順次に処理された後、メモリ１７に蓄積される。
【００１８】
ステップＳ５：  マイクロプロセッサ１９は、予め記憶された対応関係を暗黒画像データの電荷蓄積時間などで参照することにより、設定値Ｌ，Ｊ，Ｋを決定する。この設定値Ｌ，Ｊ，Ｋは、画像処理部２０にパラメータ設定される。
この設定値Ｌは、暗黒画像データ中から、固定パターンノイズが明らかに発生していない微小レベル箇所を弁別するための閾値である。このような設定値Ｌは、撮像素子１３のノイズ特性、電荷蓄積時間、または撮像感度などによって変動する。そこで、暗黒画像データの電荷蓄積時間、または撮像感度などに対応付けて、実験的に予め求めておくことが好ましい。なお、設定値Ｌとしては、『（ａ）固定パターンノイズの下限閾値』、『（ｂ）ランダムノイズの上限閾値』、または（ａ）（ｂ）の低い方の値を採用することが好ましい。また、複数の暗黒画像データの電荷蓄積時間や撮像感度が異なる場合には、暗黒画像データごとに設定値Ｌを決定することが好ましい。
また、設定値Ｊは、暗黒画像データ間において信号レベルが相関しているか否かを弁別するための閾値である。このような設定値Ｊは、撮像素子１３のノイズ特性、電荷蓄積時間、または撮像感度などによって変動する。そこで、暗黒画像データの電荷蓄積時間、または撮像感度などに対応付けて、実験的に予め求めておくことが好ましい。なお、設定値Ｊとしては、個々の暗黒画像データ（電荷蓄積時間が異なる場合は正規化係数をかけて平均信号レベルを揃えたもの）の固定パターンノイズのばらつき幅を統計的に求めた値（標準偏差σに応じた値など）を採用することが好ましい。
さらに、設定値Ｋは、暗黒画像データＢ（後述）において、ランダムノイズの影響を受けない場合の仮想信号レベルを示す値である。この設定値Ｋは、複数の暗黒画像データの全体電荷蓄積時間、または撮像感度などに対応付けて、実験的に予め求めておくことが好ましい。なお、この設定値Ｋは、ステップＳ４で得た暗黒画像データから直流レベルなどを検出して決定してもよい。
【００１９】
ステップＳ６：  画像処理部２０は、暗黒画像データの走査位置[i,j]を[0,0]に初期化し、複数の暗黒画像データから走査位置[i,j]の値をそれぞれ読み出す。
【００２０】
ステップＳ７：  画像処理部２０は、複数の暗黒画像データの走査位置[i,j]の値が、いずれも設定値Ｌ以下か否かを判定する。
全ての暗黒画像データにおいて走査位置[i,j]が、対応する設定値Ｌ以下の場合、画像処理部２０は、固定パターンノイズを含まない微小レベル箇所であると判断して、ステップＳ９に動作を移行する。
それ以外の場合、画像処理部２０は、ステップＳ８に動作を移行する。
【００２１】
ステップＳ８：  画像処理部２０は、複数の暗黒画像データ間において、走査位置[i,j]のレベル差（絶対値）を算出する。なお、暗黒画像データが３つ以上の場合は、走査位置[i,j]の最大値と最小値との差や、走査位置[i,j]の標準偏差や、個別間のレベル差を平均した値などを求めて、レベル差とすることが好ましい。
次に、画像処理部２０は、求めたレベル差が設定値Ｊ未満か否かを判定する。
ここで、レベル差が設定値Ｊ未満の場合、相関性が高い箇所なので走査位置[i,j]は固定パターンノイズであると判断できる。この場合、画像処理部２０は、ステップＳ１０に動作を移行する。
一方、レベル差が設定値Ｊ以上の場合、非相関箇所であるから、走査位置[i,j]はランダムノイズであると判断できる。この場合、画像処理部２０は、ステップＳ９に動作を移行する。
【００２２】
なお、複数の暗黒画像データを１枚ずつ逐次処理する場合には、１枚目の暗黒画像データについては差を取る比較対象が無いので、無条件でステップＳ１０に移行することが好ましい。この場合、２枚目以降の暗黒画像データから、ステップＳ８の判断を開始することになる。
また、１つ以上の暗黒画像データにおいて、設定値Ｌ以下となった走査位置[i,j]については、ステップＳ８の判断をせずに、ステップＳ７からステップＳ９に動作を移行してもよい。このような動作により、処理時間を短縮することが可能になる。
【００２３】
ステップＳ９：  画像処理部２０は、暗黒画像データＢ（メモリ容量を節約するため、メモリ１７内の暗黒画像データの一つとすることが好ましい）の走査位置[i,j]を設定値Ｋに置き換える。この処理の後、ステップＳ１１に動作を移行する。
【００２４】
ステップＳ１０：  画像処理部２０は、複数の暗黒画像データについて走査位置[i,j]の値を加算して加算値を求め、暗黒画像データＢの走査位置[i,j]に格納する。
【００２５】
ステップＳ１１：  画像処理部２０は、暗黒画像データの走査が完了したか否かを判定する。もし、走査が完了していなければ、ステップＳ１２に動作を移行する。一方、走査が完了した場合は、ステップＳ１３に動作を移行する。
【００２６】
ステップＳ１２：  画像処理部２０は、走査位置[i,j]を次に進める。画像処理部２０は、複数の暗黒画像データから、新たな走査位置[i,j]の値をそれぞれ読み出す。この処理の後、画像処理部２０はステップＳ７に動作を戻す。
【００２７】
ステップＳ１３：  画像処理部２０は、暗黒画像データの電荷蓄積時間ＢＴの総和Ｓと、画像データの電荷蓄積時間ＰＴとに基づいて、暗黒画像データＢの補償ゲインを決定する。もしも固定パターンノイズのレベルが電荷蓄積時間に対して線形変化するならば、『ＰＴ／Ｓ倍』を補償ゲインとすればよい。もしも非線形ならば、ＳおよびＰＴ（或いはＢＴおよびＰＴ）に対応する補償ゲインを求めればよい。
画像処理部２０は、求めた補償ゲインを暗黒画像データＢにかけて、暗黒画像データＢと画像データと間で、固定パターンノイズのレベルをほぼ揃える。
【００２８】
ステップＳ１４：  画像処理部２０は、メモリ１７内の画像データから、暗黒画像データＢを画素単位に減算する。この減算処理により、固定パターンノイズを抑制した画像データを得る。
【００２９】
《本実施形態の効果など》
以上説明したように、本実施形態では、暗黒画像データを複数生成する。
固定パターンノイズは、規則的に発生するため、複数の暗黒画像データ間において高い相関性を示す。一方、ランダムノイズは不規則に発生するため、複数の暗黒画像データ間において非相関性を示す。そこで、本実施形態のように、複数の暗黒画像データ間において非相関箇所を抑制することにより、ランダムノイズを低減した暗黒画像データが得られる。この暗黒画像データを基準に画像ノイズを抑制することにより、ランダムノイズの影響を抑えた固定パターンノイズの抑制が実現する。
【００３０】
さらに、本実施形態では、複数の暗黒画像データがいずれも微小レベルとなる微小レベル箇所を検出する。この微小レベル箇所は、レベルが上昇しやすい固定パターンノイズではあり得ない箇所である。このような微小レベル箇所は、ランダムノイズのみを含む箇所であって、固定パターンノイズの除去において害あって利のない箇所と判断できる。したがって、微小レベル箇所をレベル抑圧することによって、ランダムノイズの影響を更に抑制することが可能になる。その結果、ランダムノイズの影響を抑えた固定パターンノイズの抑制が実現する。
【００３１】
このようにランダムノイズの影響を抑制できるので、従来に比べて暗黒画像データのランダムノイズを許容することが可能になる。したがって、暗黒画像データの総合電荷蓄積時間を時間短縮するなどの設定が実現可能になる。この場合、電子カメラ１１を暗黒画像データの撮像シーケンスから早く解放することが可能になり、使い勝手に優れた電子カメラ１１を実現することが可能になる。
【００３２】
《実施形態の補足事項》
なお、上述した実施形態では、画像データから暗黒画像データを減算することにより、固定パターンノイズを除去している。しかしながら、実施形態はこれに限定されるものではない。
【００３３】
例えば、画像処理部２０が、複数の暗黒画像データの相関性を評価して、相関性の高い固定パターンノイズの発生箇所を検出する（あるいは非相関性を示すランダムノイズの発生箇所を除くことで、固定パターンノイズの発生箇所を検出する）。次に、画像処理部２０は、この発生箇所に対応する画像データ中の画素位置に対し、周辺画素などを参照したノイズ抑制処理を実施する。このような処理では、暗黒画像データ中の固定パターンノイズとランダムノイズとを相関性の違いから正確に弁別することが可能になる。その結果、この処理においても画像データに対するランダムノイズの影響を抑制することが可能になる。
【００３４】
なお、上述した実施形態では、暗黒画像データ中の非相関箇所を設定値Ｋに置き換えることにより、非相関性のランダムノイズを抑制している。しかしながら、実施形態はこれに限定されるものではない。
例えば、３つ以上の暗黒画像データを生成する場合には、３つ以上の暗黒画像データに中間値演算（メディアン）を施す画像合成により、非相関性のランダムノイズを抑制することもできる。
【００３５】
また例えば、３つ以上の暗黒画像データを生成する場合には、レベル差の大きな画素値を除いて平均するなどの画像合成により、非相関性のランダムノイズを抑制することもできる。
【００３６】
なお、上述した実施形態では、先に画像データを生成し、後から暗黒画像データを生成している。しかしながら、実施形態はこれに限定されるものではない。複数の暗黒画像データの一部または全部を画像データより先に生成してもよい。また、電源投入時などのように画像データの撮影と独立したタイミングで、複数の暗黒画像データの一部または全部を生成してもよい。このような動作では、画像データの撮影後に、暗黒画像データの撮影シーケンスを時間短縮または省くことが可能となる。
【００３７】
また、上述した実施形態では、電子カメラ１１（ノイズ抑制装置を含む）について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、電子カメラとは独立にノイズ抑制装置を構成してもよい。また例えば、上述したノイズ抑制処理（例えば図２中に示す）をソフトウェア化して、画像処理プログラムを作成してもよい。この画像処理プログラムをコンピュータで実行することにより、コンピュータ上でノイズ抑制装置を実現することができる。
【００３８】
なお、上述した実施形態では、電子カメラで生成したデータに対して、ノイズ抑制処理を実施するケースについて説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、スキャナー装置などの画像生成装置で作成した画像データおよび暗黒画像データを用いて、上述したノイズ抑制処理を実施することも可能である。
【００３９】
さらに、このようなインターネット上のサーバ（画像アルバムサーバなど）において、ユーザーから伝送される画像データおよび暗黒画像データを用いて、ノイズ抑制サービスを提供してもよい。
【００４０】
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
【産業上の利用可能性】
【００４１】
以上説明したように、本発明は、画像のノイズ抑制などに利用可能な技術である。
【図面の簡単な説明】
【００４２】
【図１】電子カメラ１１を示すブロック図である。
【図２】本実施形態の動作を説明する流れ図である。
【符号の説明】
【００４３】
１１…電子カメラ，１２…撮影レンズ，１２ｂ…遮蔽機構，１３…撮像素子，１４…撮像制御部，１７…メモリ，１９…マイクロプロセッサ，２０…画像処理部                                                                            
【図１】
2006311086.tif 000003
【図２】
2006311086.tif 000004