(57)【要約】【課題】シェーディングの良好な補正とランダムノイズの増加の抑制との両立を図ることができる画像処理方法等を提供する。【解決手段】暗時画像に係るダミー画像信号から暗時画像シェーディング成分を検出するステップＳ５３と、検出した暗時画像シェーディング成分を用いて暗時画像信号のシェーディングを補正するステップＳ５５と、シェーディングが補正された暗時画像信号を平滑化するステップＳ５７と、明時画像に係るダミー画像信号から明時画像シェーディング成分を検出するステップと、検出した明時画像シェーディング成分を用いて明時画像信号のシェーディングを補正するステップと、シェーディングが補正された明時画像信号から、平滑化された暗時画像信号を減算するステップと、を有する画像処理方法。【選択図】図６
2011234225.tif 000002
【特許請求の範囲】
【請求項１】
画像信号に含まれるノイズを除去する画像処理方法において、
暗時画像に係るダミー画像信号から暗時画像シェーディング成分を検出する暗時画像シェーディング検出ステップと、
検出した暗時画像シェーディング成分を用いて暗時画像信号のシェーディングを補正する暗時画像シェーディング補正ステップと、
シェーディングが補正された暗時画像信号を平滑化する暗時画像平滑化ステップと、
明時画像に係るダミー画像信号から明時画像シェーディング成分を検出する明時画像シェーディング検出ステップと、
検出した明時画像シェーディング成分を用いて明時画像信号のシェーディングを補正する明時画像シェーディング補正ステップと、
シェーディングが補正された明時画像信号から、上記平滑化された暗時画像信号を減算する明暗減算ステップと、
を有することを特徴とする画像処理方法。
【請求項２】
上記シェーディング補正後の暗時画像信号に含まれる欠陥画素を検出する欠陥画素検出ステップをさらに有し、
上記暗時画像平滑化ステップは、検出された欠陥画素の信号を除いて平滑化を行うステップであることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
上記暗時画像シェーディング補正ステップおよび上記明時画像シェーディング補正ステップは、露光時間が所定の閾時間よりも大きいことと、画像信号を生成するときの撮像素子の周辺の温度が所定の閾温度よりも大きいことと、画像信号の増幅率が所定の閾増幅率よりも大きいことと、の内の少なくとも一の条件を満たすときにのみ行うことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
画像信号に含まれるノイズを除去する画像処理装置において、
暗時画像に係るダミー画像信号から暗時画像シェーディング成分を検出する暗時画像シェーディング検出部と、
検出した暗時画像シェーディング成分を用いて暗時画像信号のシェーディングを補正する暗時画像シェーディング補正部と、
シェーディングが補正された暗時画像信号を平滑化する暗時画像平滑化部と、
明時画像に係るダミー画像信号から明時画像シェーディング成分を検出する明時画像シェーディング検出部と、
検出した明時画像シェーディング成分を用いて明時画像信号のシェーディングを補正する明時画像シェーディング補正部と、
シェーディングが補正された明時画像信号から、上記平滑化された暗時画像信号を減算する明暗減算部と、
を具備したことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号に含まれるノイズを除去する画像処理方法、画像処理装置に関する。
【背景技術】
【０００２】
一般に、固体撮像素子から読み出される信号には、素子の製造プロセス等に起因するシェーディングが固定パターンノイズ（ＦＰＮ）として存在することが知られている。
【０００３】
具体的には、撮像素子は、左右両端側から駆動信号が印加されるが、駆動信号が伝達されるまでの信号線の長さが画素の左右方向位置（何列目であるか）によって異なるために、駆動信号の伝達時間が撮像素子の左右方向における中央部の画素と周辺部の画素とでは異なることになる（具体的には、中央部への駆動信号の伝達は、周辺部への駆動信号の伝達よりも時間的に遅れることになる）。さらに、画素の左右方向位置によって信号が伝達されるまでの信号線の長さが相違するが、この長さの違いに応じて信号線のインピーダンス等が異なることになる。このインピーダンス等の相違により、中央部の画素に伝達される駆動信号は、周辺部の画素に伝達される駆動信号よりも波形がややなまる（例えば、信号のエッジが滑らかになる等）ことになり、波形がなまる分だけトランジスタ等のオン／オフのタイミングがずれる。
【０００４】
このような原因により、撮像素子の左右方向における中央部と周辺部とでは露光時間の相違が発生し、これが水平方向の暗時シェーディングとして撮像画像に現れることになる。そこで、このようなシェーディングを補正するための技術が、従来より種々提案されている。
【０００５】
まず、図１０は、シェーディングを補正するための第１の従来技術を説明するための図である。
【０００６】
この第１の従来技術は、明時画像と暗時画像の２枚の画像を撮像して、明時画像から暗時画像を減算するものとなっている。
【０００７】
すなわち、明時画像は、図示のように、水平シェーディング成分ＨＳ、後発欠陥画素ＤＰ、ランダムノイズ白浮きＲＷ、ランダムノイズ黒沈みＲＢ、固定縦すじＦＰなどを含む画像である。
【０００８】
また、暗時画像も、図示のように、水平シェーディング成分ＨＳ、後発欠陥画素ＤＰ、ランダムノイズ白浮きＲＷ、ランダムノイズ黒沈みＲＢ、固定縦すじＦＰなどを含む画像である。
【０００９】
そこで、明時画像から暗時画像を減算することにより、水平シェーディング成分ＨＳや固定縦すじＦＰなどを除去することが可能となっている。ただし、後発欠陥画素ＤＰについては、明時画像と暗時画像とでレベル差があるために、減算によって軽減はされるかもしれないが、このレベル差の分だけ残存すると考えられる。また、ランダムノイズについては、減算しても軽減されるとは限らず場合によっては増加することもあると考えられる。この図１０に示す例では、暗時画像に含まれるランダムノイズ白浮きＲＷが減算後画像においてランダムノイズ黒沈みＲＢとして、ランダムノイズ黒沈みＲＢが減算後画像においてランダムノイズ白浮きＲＷとして、それぞれ現れ、結果としてランダムノイズが増加している。
【００１０】
次に、図１１は、シェーディングを補正するための第２の従来技術を説明するための図である。
【００１１】
この第２の従来技術は、明時画像と暗時画像の２枚の画像を撮像して、暗時画像については平滑化を行い、明時画像から平滑化された暗時画像を減算するものとなっている。
【００１２】
すなわち、例えば後発欠陥画素ＤＰを除外して暗時画像の平滑化を行うと、暗時画像に含まれるランダムノイズ白浮きＲＷおよびランダムノイズ黒沈みＲＢはほぼ滑らかに平坦化される。ただし、固定縦すじＦＰについてはシャープネスが低下した状態に変化し、水平シェーディング成分ＨＳについても平滑化によって濃淡の分布がやや変化する。
【００１３】
このような平滑化された暗時画像を明時画像から減算すると、水平シェーディング成分ＨＳについては幾らかの成分が残り、固定縦すじＦＰについても元のシャープな縦すじとシャープネスが低下した縦すじとの差分が残ることになる。また、後発欠陥画素ＤＰについては、第１の従来技術と同様に、明時画像と暗時画像とでレベル差の分だけ残存する。一方、ランダムノイズについては、減算しても元の明時画像とほぼ同等のレベルを保つことができると考えられる。
【００１４】
続いて、シェーディングを補正するための第３の従来技術として、例えば特開２００７−１８０６１６号公報に記載の撮像装置のノイズ除去方法に関する技術を説明する。該公報には、複数の画素を備える撮像素子と、撮像素子を遮光した状態で取得したダーク画像信号を平滑化するメディアンフィルタ処理回路と、撮像素子により被写体を撮像して得た被写体画像信号から平滑化後のダーク画像信号を減ずる減算処理回路と、減算処理回路により、平滑化前の黒画素信号から平滑化後のダーク画像信号を各画素毎に減算し、得られた差が予め設定された範囲外にある画素を、撮像素子の欠陥画素として抽出するシステム制御回路と、ダーク画像信号を減算した後の被写体画像信号の内、システム制御回路により抽出された欠陥画素の画像信号を、当該欠陥画素の周辺画素の画像信号を用いて補正する画像処理回路とを有する撮像装置が記載されている。
【００１５】
この第３の従来技術は、上述した第２の従来技術に対して、さらに平滑化前のダーク画像信号から平滑化後のダーク画像信号を減算して、減算後にもある程度以上のレベルを保っている画素を欠陥画素として検出し、この欠陥画素の補正を行うものとなっている。従って、図１１に示した後発欠陥画素ＤＰや固定縦すじＦＰを、第２の従来技術よりも良好に除去することが可能であると考えられる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００７−１８０６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
上述したように、第１の従来技術ではシェーディングは良好に補正されるがランダムノイズが増加してしまうことがあり、第２および第３の従来技術ではランダムノイズの増加を抑制することはできるがシェーディングの補正残りが生じたりしてしまう。こうして従来の技術では、シェーディングの良好な補正とランダムノイズの増加の抑制との両立を図ることができなかった。
【００１８】
本発明は上記事情に鑑みてなされたものであり、シェーディングの良好な補正とランダムノイズの増加の抑制との両立を図ることができる画像処理方法、画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【００１９】
上記の目的を達成するために、本発明のある態様による画像処理方法は、画像信号に含まれるノイズを除去する画像処理方法において、暗時画像に係るダミー画像信号から暗時画像シェーディング成分を検出する暗時画像シェーディング検出ステップと、検出した暗時画像シェーディング成分を用いて暗時画像信号のシェーディングを補正する暗時画像シェーディング補正ステップと、シェーディングが補正された暗時画像信号を平滑化する暗時画像平滑化ステップと、明時画像に係るダミー画像信号から明時画像シェーディング成分を検出する明時画像シェーディング検出ステップと、検出した明時画像シェーディング成分を用いて明時画像信号のシェーディングを補正する明時画像シェーディング補正ステップと、シェーディングが補正された明時画像信号から、上記平滑化された暗時画像信号を減算する明暗減算ステップと、を有する。
【００２０】
また、本発明の他の態様による画像処理装置は、画像信号に含まれるノイズを除去する画像処理装置において、暗時画像に係るダミー画像信号から暗時画像シェーディング成分を検出する暗時画像シェーディング検出部と、検出した暗時画像シェーディング成分を用いて暗時画像信号のシェーディングを補正する暗時画像シェーディング補正部と、シェーディングが補正された暗時画像信号を平滑化する暗時画像平滑化部と、明時画像に係るダミー画像信号から明時画像シェーディング成分を検出する明時画像シェーディング検出部と、検出した明時画像シェーディング成分を用いて明時画像信号のシェーディングを補正する明時画像シェーディング補正部と、シェーディングが補正された明時画像信号から、上記平滑化された暗時画像信号を減算する明暗減算部と、を備える。
【発明の効果】
【００２１】
本発明の画像処理方法、画像処理装置によれば、シェーディングの良好な補正とランダムノイズの増加の抑制との両立を図ることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態１において、画像処理装置が適用された撮像装置の構成を示すブロック図。
【図２】上記実施形態１において、ノイズ除去モードが設定されノイズ除去撮影を行うときの画像の変化の様子を示す図。
【図３】上記実施形態１において、撮像装置の撮影時の処理を示すフローチャート。
【図４】上記実施形態１において、ノイズ除去撮影の処理を示すフローチャート。
【図５】上記実施形態１において、明時画像取込・補正処理を示すフローチャート。
【図６】上記実施形態１において、暗時画像取込・補正処理を示すフローチャート。
【図７】上記実施形態１において、水平シェーディング抽出処理を示すフローチャート。
【図８】上記実施形態１において、メモリから２次元ブロック単位で画素データを読み出して２次元平滑化フィルタをかける例を示す図。
【図９】上記実施形態１において、メモリから１ライン内の連続する複数画素単位で画素データを読み出して１次元平滑化フィルタをかける例を示す図。
【図１０】上記実施形態１において、シェーディングを補正するための第１の従来技術を説明するための図。
【図１１】上記実施形態１において、シェーディングを補正するための第２の従来技術を説明するための図。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００２４】
図１から図９は本発明の実施形態１を示したものであり、図１は画像処理装置が適用された撮像装置の構成を示すブロック図である。ここに、本実施形態においては、画像処理装置としての機能を備えた、デジタルカメラ等の撮像装置を例に挙げて説明する。
【００２５】
図１に示す撮像装置は、レンズ１と、撮像素子２と、同期信号生成部３と、駆動部４と、温度検知部５と、信号処理回路６と、画像処理部８と、記録部１０と、表示部１１と、指示部１２と、メモリ１３と、システム制御部１４と、を備えている。
【００２６】
レンズ１は、光学的な被写体像を撮像素子２の撮像面上に結像するための撮影光学系であり、絞りやフォーカスレンズ等を含んで構成されている。
【００２７】
撮像素子２は、複数の画素が配列された撮像面を備え、レンズ１により結像された光学的な被写体像を光電変換して電気的な画像信号を生成するものである。この撮像素子２の具体例としては、ＣＭＯＳ撮像素子を挙げることができるが、勿論これに限定されるものではない。
【００２８】
なお、レンズ１と撮像素子２との間には、図示はしないがメカニカルシャッタが設けられていて、レンズ１から撮像素子２へ向かう光の遮光／通過を制御可能であるものとする。ただし、このメカニカルシャッタは、先幕および後幕の両方を備えているに限るものではなく、先幕を電子シャッタとし、後幕のみをメカニカルシャッタとするものであっても構わない。そこで、以下では、先幕を電子シャッタ、後幕をメカニカルシャッタとした場合を例に挙げて説明する。
【００２９】
同期信号生成部３は、システム制御部１４の制御の下に、垂直同期信号を生成するものである。
【００３０】
駆動部４は、システム制御部１４の制御の下に、同期信号生成部３によって生成された垂直同期信号に基づき、読出開始パルスや電子シャッタ開始パルスを発生して撮像素子２を駆動するものである。
【００３１】
温度検知部５は、撮像素子２の近傍に設けられていて、撮像された画像のノイズレベルに影響を及ぼす撮像素子２の温度を実質的に測定するものである。
【００３２】
信号処理回路６は、撮像素子２からのアナログ画像信号を増幅するゲイン調整回路７を含み、さらに各種のアナログ信号処理を施した後に、アナログ画像信号をデジタル画像信号に変換して出力するものである。この信号処理回路６から出力された画像信号は、メモリ１３に記憶される。
【００３３】
画像処理部８は、信号処理回路６から出力されメモリ１３に記憶されている画像信号に各種の画像処理を施すものであり、欠陥補正部９を含んで構成されている。この欠陥補正部９については、後でフローチャートに沿った処理の流れと共に説明する。
【００３４】
記録部１０は、画像処理部８により記録用に処理された画像データを不揮発に記憶するものであり、例えばメモリカードなどの撮像装置の外部に搬出し得るリムーバブルメモリとして構成されている。従って、記録部１０は、撮像装置に固有の構成でなくても構わない。
【００３５】
表示部１１は、画像処理部８により表示用に処理された画像データや、この撮像装置の操作に係るメニューの表示などを行う表示デバイスである。
【００３６】
指示部１２は、この撮像装置に対する操作入力を行うためのユーザーインタフェースであり、電源のオン／オフを指示するための電源ボタンや撮影開始を指示するためのレリーズボタン、ノイズ除去モードのオン／オフやノイズ除去モードがオンであるときのオート／マニュアルを設定するための撮影モード設定ボタン、画像を撮像する際の露光時間を示すシャッタ速度や画像の増幅率（ゲイン）に係る撮影感度などを設定するための撮影条件設定ボタン、その他各種の設定ボタンなどが含まれている。
【００３７】
システム制御部１４は、指示部１２から入力されたユーザーからの指示や、画像処理部８から得られる撮像された被写体に係る情報（例えばＡＦ情報やＡＥ情報）等に基づいて、この撮像装置全体の制御を行うものである。例えば、システム制御部１４は、自動露出制御が行われているときには、ＡＥ情報に基づいて画像を撮像する際のシャッタ速度を決定し、同期信号生成部３や駆動部４を介して撮像素子２を制御し駆動する。また、システム制御部１４は、自動焦点調節制御が行われているときには、ＡＦ情報に基づいて図示しないレンズ駆動部を介してレンズ１を制御駆動し焦点調節を行う。
【００３８】
さらに、このシステム制御部１４は、暗時画像シェーディング補正部、明時画像シェーディング補正部、明暗減算部たる減算処理回路１５と、暗時画像平滑化部たる平滑化処理回路１６と、暗時画像シェーディング検出部、明時画像シェーディング検出部たる水平シェーディング抽出回路１７と、を含んでおり、欠陥画素検出部を兼ねたものとなっている。これらについては、後でフローチャートに沿った処理の流れと共に説明する。
【００３９】
次に、図２はノイズ除去モードが設定されノイズ除去撮影を行うときの画像の変化の様子を示す図、図３は撮像装置の撮影時の処理を示すフローチャート、図４はノイズ除去撮影の処理を示すフローチャート、図５は明時画像取込・補正処理を示すフローチャート、図６は暗時画像取込・補正処理を示すフローチャート、図７は水平シェーディング抽出処理を示すフローチャートである。
【００４０】
まず、図３を参照して、撮像装置の撮影時の処理の流れについて説明する。
【００４１】
指示部１２の電源ボタンにより電源がオンされると、この処理が開始され、システム制御部１４の制御に基づいて、撮像素子２により撮像された画像をほぼリアルタイムに表示部１１に表示するスルー画表示を行う（ステップＳ１）。
【００４２】
そして、システム制御部１４は、指示部１２のレリーズボタンがオンされるのを待機する（ステップＳ２）。
【００４３】
レリーズボタンがオンされたら、ノイズ除去モードがオフであるか否かをシステム制御部１４が判定し（ステップＳ３）、オフであると判定された場合には通常撮影モードによる撮像を行う（ステップＳ４）。
【００４４】
また、ステップＳ３においてノイズ除去モードがオフでないと判定された場合には、ノイズ除去モードがオートであるか否かをシステム制御部１４が判定する（ステップＳ５）。
【００４５】
ここで、ノイズ除去モードがオートであると判定された場合には、さらに、自動露出制御または手動により設定された露光時間Ｔが予め定められた閾時間Ｗ以下であるか否かをシステム制御部１４がさらに判定する（ステップＳ６）。ここに閾時間Ｗは、固定値であっても良いし、ユーザ設定や撮影条件、被写体条件等によって変更可能な値であっても構わない。
【００４６】
ステップＳ５においてノイズ除去モードがオートでないと判定された場合、またはステップＳ６において露光時間Ｔが閾時間Ｗよりも大きいと判定された場合には、ノイズ除去撮影モードによる撮像を行う（ステップＳ７）。
【００４７】
一方、ステップＳ６において露光時間Ｔが閾時間Ｗ以下であると判定された場合には、ステップＳ４へ行って、通常撮影モードによる撮像を行う。
【００４８】
こうして、ステップＳ４またはステップＳ７の処理により画像が撮像されてたら、画像処理部８により記録用に処理された画像データを記録部１０に記録するとともに（ステップＳ８）、画像処理部８により表示用に処理された画像データを表示部１１に表示する（ステップＳ９）。
【００４９】
その後、指示部１２の電源ボタンにより電源がオフされたか否かをシステム制御部１４が判定し（ステップＳ１０）、オフされていないと判定された場合にはステップＳ１へ戻って上述したような処理を繰り返して行い、また、オフされたと判定された場合にはこの処理を終了する。
【００５０】
続いて、図２も参照しながら、図４に沿って、図３のステップＳ７におけるノイズ除去撮影の処理の流れを説明する。
【００５１】
この処理を開始すると、露光時間Ｔが予め定められた閾時間Ｘよりも大きいことと（条件１）、温度検知部５により検知された撮像素子２の近傍の温度Ｃが予め定められた閾温度Ｙよりも大きいことと（条件２）、ゲイン調整回路７における信号増幅率を示すゲインＧが予め定められた閾ゲインＺ（閾増幅率）よりも大きいことと（条件３）、の内の少なくとも１つが成り立つか否かをシステム制御部１４がさらに判定する（ステップＳ２１）。ここに閾時間Ｘ、閾温度Ｙ、閾ゲインＺは、固定値であっても良いし、ユーザ設定や撮影条件、被写体条件等によって変更可能な値であっても構わない。
【００５２】
なお、ここでは３つの条件の内の少なくとも１つが成り立つか否かを判定しているが、これに限るものではない。例えば、２つの条件を組み合わせたもの、すなわち、条件１および２と、条件２および３と、条件３および１と、の内の少なくとも１つが成り立つか否かをシステム制御部１４が判定するようにしても良い。あるいは、条件１〜３の内の何れか１つが必須の条件である場合、例えば露光時間Ｔに係る条件１が必須の条件である場合には、条件１および２と、条件１および３と、の何れか一方が成り立つか否かをシステム制御部１４が判定するようにしても良い。同様に、３つの条件１〜３の全てが成り立つか否かをシステム制御部１４が判定するようにしても構わない。そして、条件１〜３にさらに他の条件を付け加えてその成否を判定しても構わないし、条件１〜３の内の何れかの条件を他の条件と取り替えてその成否を判定しても構わない。
【００５３】
ステップＳ２１において、条件が成立していると判定された場合にはフラグＦｌａｇに０を代入し（ステップＳ２２）、条件が成立していないと判定された場合にはフラグＦｌａｇに１を代入する（ステップＳ２３）。
【００５４】
ステップＳ２２またはステップＳ２３の処理が終了したら、メカニカルシャッタを開いた状態にしてから、システム制御部１４が同期信号生成部３および駆動部４を制御することにより、撮像素子２を駆動して、明時画像（被写体光を受光して光電変換を行うことにより得られた画像）の撮像を行わせる（ステップＳ２４）。
【００５５】
そして、後で図５を参照して説明するような明時画像取込・補正処理を行い（取り込まれた画像は図２の画像Ｐ１参照、補正処理が行われた画像は図２の画像Ｐ２参照）（ステップＳ２５）、処理後の画像（図２の画像Ｐ２参照）をメモリ１３に一時的に記憶させる（ステップＳ２６）。
【００５６】
続いて、メカニカルシャッタを閉じた状態にしてから、システム制御部１４が上述と同様に撮像素子２を駆動して暗時画像（撮像素子２が遮光されている状態で明時画像と同一の露光時間Ｔだけ光電変換可能な状態を維持して得られた画像）の撮像を行わせ（ステップＳ２７）、後で図６を参照して説明するような暗時画像取込・補正処理を行い（取り込まれた画像は図２の画像Ｐ３参照、補正処理が行われた画像は図２の画像Ｐ４およびＰ５参照）（ステップＳ２８）、処理後の画像（図２の画像Ｐ５参照）をメモリ１３に一時的に記憶させる（ステップＳ２９）。
【００５７】
その後、システム制御部１４がメモリ１３に一時的に記憶されている明時画像および暗時画像を読み込んで（ステップＳ３０、ステップＳ３１）、減算処理回路１５により明時画像（図２の画像Ｐ２）から暗時画像（図２の画像Ｐ５）を減算する処理を行う（明暗減算ステップ）（この処理の結果得られた画像は、図２の画像Ｐ６参照）（ステップＳ３２）。
【００５８】
そして、システム制御部１４の制御に基づき、画像処理部８内の欠陥補正部９が欠陥画素を補正する処理を行い（この処理の結果得られた画像は、図２の画像Ｐ７参照）（ステップＳ３３）、この処理が終了したところで図３に示した処理へリターンする。
【００５９】
次に、図２も参照しながら、図５に沿って、図４のステップＳ２５における明時画像取込・補正処理の流れを説明する。
【００６０】
この処理を開始すると、まず、撮像素子２からダミー読み出しを行うことにより明時ダミー画像を取り込む（明時ダミー画像取得ステップ）（ステップＳ４１）。
【００６１】
そして、図４のステップＳ２２またはステップＳ２３において設定されたフラグＦｌａｇが０であるか否かを判定する（ステップＳ４２）。
【００６２】
ここで、フラグＦｌａｇが０であると判定された場合には、システム制御部１４内の水平シェーディング抽出回路１７が明時ダミー画像に対して後で図７を参照して説明するような水平シェーディング抽出処理を行うことにより、明時画像に対する水平シェーディング成分を抽出する（明時画像シェーディング検出ステップ）（ステップＳ４３）。
【００６３】
さらに、撮像素子２から、露光時間Ｔだけ露光して得られた明時画像を取り込む（明時画像撮像ステップ）（ステップＳ４４）。ここで取り込んだ明時画像は、図２の画像Ｐ１に示すように、水平シェーディング成分ＨＳ、後発欠陥画素ＤＰ、ランダムノイズ白浮きＲＷ、ランダムノイズ黒沈みＲＢ、固定縦すじＦＰなどを含む画像である。
【００６４】
そこで、システム制御部１４に含まれる減算処理回路１５が、この明時画像Ｐ１からステップＳ４３において抽出した水平シェーディング成分を減算することにより、水平シェーディング成分が補正された図２に示すような明時画像Ｐ２が得られる（明時画像シェーディング補正ステップ）（ステップＳ４５）。ステップＳ４３において抽出した水平シェーディング成分には固定縦すじＦＰに起因する成分も含まれているために、明時画像Ｐ２は、水平シェーディング成分ＨＳだけでなく固定縦すじＦＰも除去されたものとなっている。
【００６５】
また、ステップＳ４２において、フラグＦｌａｇが０でないと判定された場合には、ステップＳ４４と同様の、撮像素子２から露光時間Ｔだけ露光して得られた明時画像を取り込む処理を行う（明時画像撮像ステップ）（ステップＳ４６）。すなわち、図４のステップＳ２１の条件が満たされないときには、水平シェーディング成分ＨＳおよび固定縦すじＦＰは無視し得るレベルであるために、ここでは水平シェーディング抽出処理および明時画像から水平シェーディングを減算する処理を省略している。
【００６６】
そして、ステップＳ４５またはステップＳ４６の処理が終了したら、図４に示した処理へリターンする。
【００６７】
続いて、図２も参照しながら、図６に沿って、図４のステップＳ２８における暗時画像取込・補正処理の流れを説明する。
【００６８】
この処理を開始すると、まず、撮像素子２からダミー読み出しを行うことにより暗時ダミー画像を取り込む（暗時ダミー画像取得ステップ）（ステップＳ５１）。
【００６９】
そして、図４のステップＳ２２またはステップＳ２３において設定されたフラグＦｌａｇが０であるか否かを判定する（ステップＳ５２）。
【００７０】
ここで、フラグＦｌａｇが０であると判定された場合には、システム制御部１４内の水平シェーディング抽出回路１７が暗時ダミー画像に対して後で図７を参照して説明するような水平シェーディング抽出処理を行うことにより、暗時画像に対する水平シェーディング成分を抽出する（暗時画像シェーディング検出ステップ）（ステップＳ５３）。
【００７１】
さらに、撮像素子２から、遮光状態において露光時間Ｔだけ露光して得られた暗時画像を取り込む（暗時画像撮像ステップ）（ステップＳ５４）。ここで取り込んだ暗時画像は、図２の画像Ｐ３に示すように、水平シェーディング成分ＨＳ、後発欠陥画素ＤＰ、ランダムノイズ白浮きＲＷ、ランダムノイズ黒沈みＲＢ、固定縦すじＦＰなどを含む画像である。
【００７２】
そこで、システム制御部１４に含まれる減算処理回路１５が、この暗時画像Ｐ３からステップＳ５３において抽出した水平シェーディング成分を減算することにより、水平シェーディング成分が補正された図２に示すような暗時画像Ｐ４が得られる（暗時画像シェーディング補正ステップ）（ステップＳ５５）。ステップＳ５３において抽出した水平シェーディング成分には固定縦すじＦＰに起因する成分も含まれているために、暗時画像Ｐ４は、水平シェーディング成分ＨＳだけでなく固定縦すじＦＰも除去されたものとなっている。
【００７３】
次に、欠陥画素の登録処理を行う（欠陥画素検出ステップ）（ステップＳ５６）。この欠陥画素の登録処理は、システム制御部１４が、シェーディング補正後の暗時画像Ｐ４の各画素の画素値ｘを、予め定められた欠陥判定値Ｂと比較して、ｘ≧Ｂであるときにはその画素が欠陥画素であるとして登録し、ｘ＜Ｂであるときにはその画素は欠陥画素でないとして次の画素の判定に進む処理を、全画素について行うことによりなされる。また、登録された欠陥画素の情報は、例えばメモリ１３に記憶される。
【００７４】
その後、暗時画像平滑化処理を行う（暗時画像平滑化ステップ）（ステップＳ５７）。この暗時画像平滑化処理は、欠陥画素以外の画素を順次に着目画素としながら、着目画素の空間的近傍に位置する画素（カラー撮像素子である場合には同一色の画素）に対して平滑化フィルタをかけることにより、該着目画素の画素値を得る処理である。この処理の具体例について、図８および図９を参照して説明する。
【００７５】
まず、図８は、メモリ１３から２次元ブロック単位で画素データを読み出して２次元平滑化フィルタをかける例を示す図である。
【００７６】
この図８に示す例においては、画素値ｘの着目画素の近傍に、この着目画素と同一色の画素値ａの画素、画素値ｂの画素、画素値ｃの画素、および画素値ｄの画素が存在する場合を図示している（ここでは近傍画素の数が４である場合を図示しているが、これに限るものでないことは勿論である）。
【００７７】
そして、平滑化フィルタとして、例えば、平均化フィルタを用いる場合には（ｘ＋ａ＋ｂ＋ｃ＋ｄ）／５を、また、ガウシアンフィルタを用いる場合には（２ｘ＋ａ＋ｂ＋ｃ＋ｄ）／６を、さらに、メディアンフィルタを用いる場合には｛ｘ，ａ，ｂ，ｃ，ｄ｝の中の中央値を、着目画素の新たな画素値とする例が挙げられる。
【００７８】
ただし、着目画素の近傍画素中に欠陥画素が存在する場合には、その欠陥画素は平滑化の処理には用いない。
【００７９】
次に、図９は、メモリ１３から１ライン内の連続する複数画素単位で画素データを読み出して１次元平滑化フィルタをかける例を示す図である。
【００８０】
この図９に示す例においては、画素値ｘの着目画素の同一ライン上における近傍に、この着目画素と同一色の画素値ａの画素、および画素値ｂの画素が存在する場合を図示している（ここでは近傍画素の数が２である場合を図示しているが、これに限るものでないことは勿論である）。
【００８１】
そして、平滑化フィルタとして、例えば、平均化フィルタを用いる場合には（ｘ＋ａ＋ｂ）／３を、また、ガウシアンフィルタを用いる場合には（２ｘ＋ａ＋ｂ）／４を、さらに、メディアンフィルタを用いる場合には｛ｘ，ａ，ｂ｝の中の中央値を、着目画素の新たな画素値とする例が挙げられる。
【００８２】
この図９を参照して説明した処理においても、着目画素の近傍画素中に欠陥画素が存在する場合には、その欠陥画素は平滑化の処理には用いない。
【００８３】
この図９に示す平滑化処理は、ラインバッファがあれば良いために、図８に示した平滑化処理よりもメモリ容量が小さくて済み、かつラスタスキャン方式で順次読み出しされる画素値を処理するのに適している利点がある。
【００８４】
なお、ここでは平滑化フィルタの例として平均化フィルタ、ガウシアンフィルタ、メディアンフィルタを説明したが、これらに限るものでないことは勿論である。
【００８５】
図６の説明に戻って、ステップＳ５２において、フラグＦｌａｇが０でないと判定された場合には、ステップＳ５４と同様の、遮光状態において露光時間Ｔだけ露光して得られた暗時画像を撮像素子２から取り込む処理を行う（暗時画像撮像ステップ）（ステップＳ５８）。
【００８６】
そして、ステップＳ５６と同様の、欠陥画素の登録処理を行う（欠陥画素検出ステップ）（ステップＳ５９）。上述したように、図４のステップＳ２１の条件が満たされないときには、水平シェーディング成分ＨＳおよび固定縦すじＦＰは無視し得るレベルであるために、ここでは水平シェーディング抽出処理および明時画像から水平シェーディングを減算する処理を省略している。また、ランダムノイズも無視し得るレベルであるために、暗時画像平滑化処理も省略している。
【００８７】
こうして、ステップＳ５７またはステップＳ５９の処理が終了したら、図４に示した処理へリターンする。
【００８８】
次に、図７を参照して、図５のステップＳ４３および図６のステップＳ５３における水平シェーディング抽出処理の流れを説明する。
【００８９】
この処理を開始すると、まず、ループ回数を示す変数ｉに１を代入して初期化する（ステップＳ６１）。
【００９０】
次に、ｉが、ダミー画像上に配列された画素の列数Ｖｎ以下であるか否かを判定する（ステップＳ６２）。
【００９１】
ここで、ｉ≦Ｖｎであると判定された場合には、ｉ列の画素データを読み込んで（ステップＳ６３）、ＩＩＲ（無限インパルス応答）加算処理を行う（ステップＳ６４）。
【００９２】
そして、変数ｉをインクリメントして（ステップＳ６５）、ステップＳ６２へ戻り、上述したような処理を繰り返して行う。
【００９３】
こうして１ループ毎に変数ｉを１ずつ増加させて行き、ついにステップＳ６２においてｉ＞Ｖｎであると判定された場合には、全ての列に対してそれぞれ計算されたＩＩＲ加算の結果を水平シェーディング成分として（ステップＳ６６）、図５または図６の処理へリターンする。
【００９４】
次に、図２を参照しながら、図４のステップＳ３２およびステップＳ３３の処理について、さらに説明する。
【００９５】
図４のステップＳ２９までの処理を行うことにより、メモリ１３に記憶されている明時画像は図２のＰ２に示すような画像、暗時画像は図２のＰ５に示すような画像となっている。そこで、ステップＳ３０およびステップＳ３１においてこれらの明時画像Ｐ２および暗時画像Ｐ５を読み込んで、ステップＳ３２においてシステム制御部１４内の減算処理回路１５により明時画像Ｐ２から暗時画像Ｐ５を減算する処理を行い、図２のＰ６に示すような画像を取得する。この処理により、明時画像における後発欠陥画素ＤＰの画素値と暗時画像における後発欠陥画素ＤＰの画素値との相違を残す程度まで、後発欠陥画素ＤＰのレベルが軽減される。さらに、この処理により、ＯＢ段差が吸収されるとともに、図５のステップＳ４５や図６のステップＳ５５においてまだ幾らか残存しているかもしれない水平シェーディング成分がさらに低減される。
【００９６】
ここで、ＯＢ段差の吸収についてさらに説明する。
固体撮像素子は暗電流が発生するために、得られる画像には黒レベルの浮きがあることが知られている。そこで、多くの撮像素子において、撮像面の一部にアルミ等の遮光幕を形成したオプティカルブラック（ＯＢ）領域を設けて、遮光されたＯＢ領域で得られる信号レベルを有効撮像領域の画像信号から減算することにより、黒レベルを補正する処理が行われる。しかし、ＯＢ領域は有効撮像領域とは構成が異なるために、例えばアルミ遮光幕とフォトダイオードとの間に寄生容量が発生するなどして、ＯＢ領域と有効撮像領域との黒レベルに段差（いわゆるＯＢ段差）が生じることが知られている。従って、ＯＢ領域の信号から得た黒レベルを、有効撮像領域の画像信号から減算しただけ（つまり、ＯＢクランプを行っただけ）では、黒レベルの浮きを完全に補正することはできない。
【００９７】
明時画像を撮像する時点と暗時画像を撮像する時点とでは撮像素子２の温度が異なるなどの相違があり得るために、明時画像の黒レベルと暗時画像の黒レベルとは一般に一致しないが、明時画像のＯＢ段差と暗時画像のＯＢ段差とはほぼ同等のレベルであると考えても良く、つまりＯＢクランプを行った後に残存するＯＢ段差は明時画像と暗時画像とでほぼ同じと考えて差し支えない。
【００９８】
そこで、本実施形態においては、有効撮像領域の明時画像信号から有効撮像領域の暗時画像信号を減算することにより、ＯＢクランプ後にも残存するＯＢ段差を良好に除去して正確な黒レベルを得ることができる利点がある。
【００９９】
続いて、ステップＳ３３において、画像処理部８内の欠陥補正部９が、図６のステップＳ５６またはステップＳ５９の処理において登録された欠陥画素を補正する処理を行う。
【０１００】
この欠陥画素の補正処理は、図８や図９を参照して説明した平滑化処理と類似した処理となっているが、欠陥画素のみを着目画素とする点が異なっている。そして、欠陥画素を着目画素としているために、着目画素自体の画素値ｘは、該欠陥画素の補正値を求めるのには用いられない。
【０１０１】
上述した図８の画素配置例において、欠陥画素の補正処理に、例えば平均化フィルタまたはガウシアンフィルタを用いる場合には、（ａ＋ｂ＋ｃ＋ｄ）／４を欠陥画素の補正値とすれば良い。また、例えばメディアンフィルタを用いる場合には、｛ａ，ｂ，ｃ，ｄ｝の中の中央値をとる２つの画素値の平均を欠陥画素の補正値とすれば良い。
【０１０２】
また、図９の画素配置例においては、欠陥画素の補正処理に、平均化フィルタ、ガウシアンフィルタ、メディアンフィルタの何れを用いる場合であっても、（ａ＋ｂ）／２を欠陥画素の補正値とすることになる。
【０１０３】
これらの何れの場合であっても、着目している欠陥画素の近傍画素中に他の欠陥画素が存在する場合には、該他の欠陥画素を、欠陥画素の補正処理に用いないのは上述と同様である。
【０１０４】
こうして、欠陥画素の画素値を用いないという規則を適用すれば、平滑化と欠陥補正との両方のフィルタ処理を共通化することができるために、構成や処理の簡素化を図ることができる。ただし、これに限らず、平滑化に用いるフィルタと欠陥補正に用いるフィルタとを異ならせても勿論構わない。
【０１０５】
このような欠陥画素の補正処理を行うことにより、ステップＳ３２の処理後の画像Ｐ６に残存している後発欠陥画素ＤＰが解消され、図２のＰ７に示すような画像が得られる。この画像Ｐ７を、撮像素子２から取得された明時画像Ｐ１と比べてみると、水平シェーディング成分ＨＳ、後発欠陥画素ＤＰ、固定縦すじＦＰ、ＯＢ段差が補正され、残存するのはランダムノイズ白浮きＲＷ、ランダムノイズ黒沈みＲＢのみであることが分かる。しかも、これらのランダムノイズＲＷ，ＲＢは、最初の明時画像Ｐ１に存在していたものであり、図１０を参照して説明した従来技術のようにランダムノイズが増加する、ということはない。
【０１０６】
なお、上述では画像処理装置が適用された装置の例として撮像装置を例に挙げ、撮像装置において行われる画像処理方法を説明したが、これに限るものではなく、画像処理装置は記録媒体に記録された画像処理プログラムを読み取って実行するコンピュータなどであっても構わないし、画像処理方法はコンピュータにより画像処理プログラムを実行することにより達成される方法であっても構わない。従って、本願発明の態様として、画像処理方法、画像処理装置、撮像装置、画像処理プログラム、画像処理プログラムを記録するコンピュータにより読み取り可能な記録媒体の何れをも取り得る。
【０１０７】
このような実施形態１によれば、明時画像に係るダミー画像信号から明時画像シェーディング成分を検出して、検出した明時画像シェーディング成分を用いて明時画像信号のシェーディングを補正しているために、明時画像のシェーディングを良好に補正することができる。
【０１０８】
また、暗時画像に係るダミー画像信号から暗時画像シェーディング成分を検出して、検出した暗時画像シェーディング成分を用いて暗時画像信号のシェーディングを補正しているために、シェーディングが良好に補正された暗時画像を得ることができる。
【０１０９】
さらに、シェーディングが補正された暗時画像信号を平滑化しているために、ランダムノイズが抑制された暗時画像信号を得ることができる。
【０１１０】
そして、シェーディングが補正された明時画像信号から、平滑化された暗時画像信号を減算しているために、ＯＢ段差を吸収することができるとともに、明時画像のランダムノイズが増加するのを抑制することができる。
【０１１１】
こうして、シェーディングの良好な補正とランダムノイズの増加の抑制との両立を図ることができ、さらにＯＢ段差を吸収することもできる。
【０１１２】
加えて、シェーディング補正後の暗時画像信号に基づき欠陥画素を検出しているために、シェーディングの影響を受けることなく欠陥画素を正確に検出することができる。
【０１１３】
さらに、検出した欠陥画素の画素値を近傍の画素の画素値から補間するようにしたために、欠陥補正を良好に行うことができる。このとき、暗時画像の平滑化を、検出された欠陥画素の信号を除いて行うために、欠陥画素の情報が他の画素に混入することはない。
【０１１４】
また、暗時画像のシェーディング補正および明時画像のシェーディング補正は、露光時間が所定の閾時間以下、画像信号を生成するときの撮像素子の周辺の温度が所定の閾温度以下、画像信号の増幅率が所定の閾増幅率以下、の全ての条件が満たされるときには省略するようにしたために、シェーディング補正が不要な場合に無駄な処理を行うことがなく、処理負荷の軽減や消費電力の低減を図ることができる。
【０１１５】
加えて、暗時画像については、露光時間が所定の閾時間以下、画像信号を生成するときの撮像素子の周辺の温度が所定の閾温度以下、画像信号の増幅率が所定の閾増幅率以下、の全ての条件が満たされるときに、さらに平滑化の処理も省略するようにしたために、より一層処理負荷の軽減や消費電力の低減を図ることができる。
【０１１６】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１１７】
１…レンズ
２…撮像素子
３…同期信号生成部
４…駆動部
５…温度検知部
６…信号処理回路
７…ゲイン調整回路
８…画像処理部
９…欠陥補正部
１０…記録部
１１…表示部
１２…指示部
１３…メモリ
１４…システム制御部（欠陥画素検出部）
１５…減算処理回路（暗時画像シェーディング補正部、明時画像シェーディング補正部、明暗減算部）
１６…平滑化処理回路（暗時画像平滑化部）
１７…水平シェーディング抽出回路（暗時画像シェーディング検出部、明時画像シェーディング検出部）
Ｓ３２…明暗減算ステップ
Ｓ４３…明時画像シェーディング検出ステップ
Ｓ４５…明時画像シェーディング補正ステップ
Ｓ５３…暗時画像シェーディング検出ステップ
Ｓ５５…暗時画像シェーディング補正ステップ
Ｓ５６，Ｓ５９…欠陥画素検出ステップ
Ｓ５７…暗時画像平滑化ステップ
【図１】
2011234225.tif 000003
【図２】
2011234225.tif 000004
【図３】
2011234225.tif 000005
【図４】
2011234225.tif 000006
【図５】
2011234225.tif 000007
【図６】
2011234225.tif 000008
【図７】
2011234225.tif 000009
【図８】
2011234225.tif 000010
【図９】
2011234225.tif 000011
【図１０】
2011234225.tif 000012
【図１１】
2011234225.tif 000013