(57)【要約】【課題】画像信号に重畳されるスミア成分のみを検出し、検出したスミア成分のみを画像信号から効率的に取り除くこと。【解決手段】スミア補正部４は、光源から入射した光を光電変換して画像信号を生成する入射領域及び光線が遮光された状態で生じる暗電流から基準信号を生成する遮光領域を有する撮像素子から供給される画像信号及び基準信号を生成する撮像素子を用いる。次に、画像信号に重畳されるノイズを所定のフィルタ処理で取り除き、ノイズが取り除かれた画像信号から基準信号を減ずることによって画像信号に重畳されるスミア成分を検出し、画像信号からスミア成分を取り除くための補正信号を生成する補正量生成部２１を備える。そして、スミア成分が画像信号に重畳されているか否かに応じて適切に処理した画像信号を出力する補正量減算部２２を備える。【選択図】図４
2010045449.tif 000002
【特許請求の範囲】
【請求項１】
光源から入射した光を光電変換して画像信号を生成する入射領域及び前記光線が遮光された状態で生じる暗電流から基準信号を生成する遮光領域を有する撮像素子から供給される前記画像信号及び前記基準信号に対して、前記画像信号に重畳されるノイズを所定のフィルタ処理で取り除き、前記ノイズが取り除かれた前記画像信号から前記基準信号を減ずることによって前記画像信号に重畳されるスミア成分を検出し、前記画像信号から前記スミア成分を取り除くための補正信号を生成する補正量生成部と、
前記スミア成分が前記画像信号に重畳されている場合に、前記画像信号から前記補正信号を減じて、前記スミア成分が取り除かれた画像信号を出力し、前記スミア成分が前記画像信号に重畳されていない場合に、前記画像信号をそのまま出力する補正量減算部と、を備える
スミア補正回路。
【請求項２】
請求項１記載のスミア補正回路において、
前記補正量生成部は、
前記遮光領域のうち、垂直遮光領域が出力する前記画像信号から前記スミア成分の波形を検出するスミア波形検出部と、
前記遮光領域のうち、前記スミア成分が重畳されない水平遮光領域が出力する前記画像信号の信号レベルを、前記基準信号の黒レベルとして検出する黒レベル検出部と、
前記スミア波形検出部が前記スミア成分の波形を検出した場合に、前記垂直遮光領域が出力する前記画像信号の信号レベルから前記黒レベルを減じ、前記黒レベルが減じられた前記画像信号の信号レベルが第１の閾値から所定の上限値の範囲内である場合に、前記黒レベルが減じられた前記画像信号から前記スミア成分を取り除いた前記補正信号を出力するコアリング処理部と、を備える
スミア補正回路。
【請求項３】
請求項１又は２記載のスミア補正回路において、
前記補正量減算部は、
前記画像信号の信号レベルを検出する信号レベル検出部と、
乱数を発生する乱数発生部と、
前記信号レベル検出部が検出した前記信号レベルを、前記乱数発生部から供給される乱数によって変化させて、前記画像信号の補正ゲインを生成する補正ゲイン生成部と、
前記補正量生成部から供給される前記補正信号を補正される画素に対応して記憶する記憶部と、
前記記憶部に記憶された前記補正信号によって補正される画素を、前記乱数発生部から供給される乱数によって変化させて、前記補正信号を読み出す読み出し制御部と、
前記補正ゲイン生成部から供給される前記補正ゲインに、前記読み出し制御部が読み出した前記補正信号を乗じて、前記画像信号の信号レベルを減ずる減算信号を生成する乗算部と、
前記画像信号から前記減算信号を減じた画像信号を出力する減算部と、を備える
スミア補正回路。
【請求項４】
請求項３記載のスミア補正回路において、
前記減算部は、
前記画像信号から前記補正信号を減じた画像信号を生成する減算信号生成部と、
前記画像信号の信号レベルと第２の閾値を比較し、前記画像信号の信号レベルが前記第２の閾値未満である場合に前記画像信号を出力し、前記画像信号の信号レベルが前記第２の閾値を超える場合に前記減算信号生成部から供給される前記画像信号から前記補正信号を減じた画像信号を出力する閾値判定部と、を備える
スミア補正回路。
【請求項５】
請求項２記載のスミア補正回路において、
前記補正量生成部は、
複数フレームにわたって、前記遮光領域に生じた前記スミアの位置を位置情報として登録するスミア位置登録部と、
前記撮像素子及び前記光源の相対位置が変化した場合に、前記スミア位置登録部に登録された前記位置情報に基づいて、前記スミアの傾きを検出し、前記デジタル画像信号から傾きを有するスミアのスミア成分を取り除く前記補正信号を生成するスミア傾き検出部と、を備える
スミア補正回路。
【請求項６】
光源から入射した光を光電変換して画像信号を生成する入射領域及び前記光線が遮光された状態で生じる暗電流から基準信号を生成する遮光領域を有する撮像素子から供給される前記画像信号及び前記基準信号に対して、前記画像信号に重畳されるノイズを所定のフィルタ処理で取り除き、前記ノイズが取り除かれた前記画像信号から前記基準信号を減ずることによって前記画像信号に重畳されるスミア成分を検出し、前記画像信号から前記スミア成分を取り除くための補正信号を生成するステップと、
前記スミア成分が前記画像信号に重畳されている場合に、前記画像信号から前記補正信号を減じて、前記スミア成分が取り除かれた画像信号を出力し、前記スミア成分が前記画像信号に重畳されていない場合に、前記画像信号をそのまま出力するステップと、を含む
スミア補正方法。
【請求項７】
光源から入射した光を光電変換して画像信号を生成する入射領域及び前記光線が遮光された状態で生じる暗電流から基準信号を生成する遮光領域を有する撮像素子と、
前記撮像素子から供給される前記画像信号及び前記基準信号に対して、前記画像信号に重畳されるノイズを所定のフィルタ処理で取り除き、前記ノイズが取り除かれた前記画像信号から前記基準信号を減ずることによって前記画像信号に重畳されるスミア成分を検出し、前記画像信号から前記スミア成分を取り除くための補正信号を生成する補正量生成部と、
前記スミア成分が前記画像信号に重畳されている場合に、前記画像信号から前記補正信号を減じて、前記スミア成分が取り除かれた画像信号を出力し、前記スミア成分が前記画像信号に重畳されていない場合に、前記画像信号をそのまま出力する補正量減算部と、を備える
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、撮像した画像に生じるスミアを補正する場合に適用して好適なスミア補正回路、スミア補正方法及び撮像装置に関する。
【背景技術】
【０００２】
従来、ＣＣＤ（Charge Coupled Devices）センサ等の撮像素子を用いて高輝度の被写体を撮像した場合、画像の垂直方向に本来は存在しないはずの縦筋が現れ、画質が劣化することがあった。このような縦筋はスミアと呼ばれている。スミアは、強烈な光が照射することにより本来遮光されているはずの垂直転送路に光が混入したり、フォトダイオードで光電変換された信号電荷がポテンシャル障壁を乗り越えて垂直転送路に漏れ込んだりすることにより発生する。そして、スミアを発生させるスミア成分は、画像信号に重畳されるノイズであり、有効画素領域外の遮光領域（ＯＰＢ：オプティカルブラック）が発生させる画像信号にも重畳することがある。このため、スミア成分の影響を除く様々な技術が検討されていた。以下の説明では、画像信号に重畳するスミア成分を除く補正を「スミア補正」と呼ぶ。
【０００３】
特許文献１には、遮光領域から検出したスミア成分を有効画素から減ずることによって、スミアを補正する技術について開示されている。
【特許文献１】特開２００６−７４６５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、従来のスミア補正を行う技術はスミア成分のみを検出するものではなかったため、画像信号に多くのノイズが重畳したり、複数の光源を撮像したりする場合に、スミアが発生していない領域についても過剰に補正することがあった。つまり、画像信号に重畳するスミア成分以外のノイズがスミア成分であると判断されることにより、スミアが発生していない領域に過剰にスミア補正がされ、色が付いた縦筋等が画像に現れることがあった。また、光源が移動する場合（言い換えれば、撮像素子と光源の相対位置が変化する場合）、信号電荷が転送されるタイミングがずれるので、斜め方向にスミアが発生することもあった。従来、撮像素子の垂直転送方向に対してスミア補正が行われていたため、斜め方向に発生したスミアを補正すると、スミアが発生していない領域にも過剰に補正されてしまう。このため、表示される画像に違和感が生じることがあった。
【０００５】
本発明はこのような状況に鑑みて成されたものであり、画像信号に重畳されるスミア成分のみを検出し、検出したスミア成分のみを画像信号から効率的に取り除くことを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、光源から入射した光を光電変換して画像信号を生成する入射領域及び光線が遮光された状態で生じる暗電流から基準信号を生成する遮光領域を有する撮像素子から供給される画像信号及び基準信号を用いる。
次に、画像信号に重畳されるノイズを所定のフィルタ処理で取り除き、ノイズが取り除かれた画像信号から基準信号を減ずることによって画像信号に重畳されるスミア成分を検出し、画像信号からスミア成分を取り除くための補正信号を生成する。
そして、スミア成分が画像信号に重畳されている場合に、画像信号から補正信号を減じて、スミア成分が取り除かれた画像信号を出力し、スミア成分が画像信号に重畳されていない場合に、画像信号をそのまま出力する。
【０００７】
このようにしたことで、画像信号に重畳されるスミア成分のみを検出した上で、画像信号からスミア成分を補正するための補正信号を減じて、スミア成分を取り除いた画像信号を出力することができる。
【発明の効果】
【０００８】
本発明によれば、画像信号に重畳されるノイズを所定のフィルタ処理で取り除くことによって、スミア成分を確実に検出できる。そして、画像信号から検出したスミア成分のみを取り除くため、スミア成分が重畳されていない画像信号を過剰に補正しない。このため、得られる画像にはスミアだけが取り除かれるようになり、画質を高めることができるという効果がある。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の第１の実施の形態について、図１〜図１０を参照して説明する。本実施の形態では、被写体を撮像して得られる画像信号を所定の処理で適切に補正する撮像装置１０に適用した例について説明する。
【００１０】
図１は、本例の撮像装置１０の内部構成例を示すブロック図である。
撮像装置１０は、不図示の光学系を介して結像した像光を光電変換することによって、Ｒ，Ｇ，Ｂアナログ画像信号を生成する撮像素子１ｒ、１ｇ、１ｂと、Ｒ，Ｇ，Ｂアナログ画像信号を増幅するアンプ２ｒ，２ｇ，２ｂを備える。また、増幅されたＲ，Ｇ，Ｂアナログ画像信号をＲ，Ｇ，Ｂデジタル画像信号に変換するアナログ／デジタル変換部３ｒ，３ｇ，３ｂを備える。以下、Ｒ，Ｇ，Ｂデジタル画像信号を、単に「デジタル画像信号」と呼ぶ。
【００１１】
また、撮像装置１０は、アナログ／デジタル変換部３ｒ，３ｇ，３ｂが出力するデジタル画像信号に重畳されるノイズやスミア成分を補正するスミア補正部４を備える。また、補正されたデジタル画像信号のゲインを調整するゲイン調整部５と、ゲインが調整されたデジタル画像信号の輝度を調整する輝度調整部６を備える。また、輝度が調整されたデジタル画像信号をガンマ補正するガンマ補正部７と、デジタル画像信号を、Ｙ，Ｃｒ，Ｃｂデジタル画像信号に変換して出力する出力部８を備える。
【００１２】
出力部８から出力されるＹ，Ｃｒ，Ｃｂデジタル画像信号は、例えば、液晶ディスプレイパネル、有機ＥＬディスプレイパネルからなる不図示の表示部に供給され、画像が表示される。また、Ｙ，Ｃｒ，Ｃｂデジタル画像信号は、例えば、ハードディスクドライブ、フラッシュメモリ、テープ装置からなる不図示の記録部に供給され、所定のフォーマットで記録される場合もある。
【００１３】
ここで、各部の動作について説明する。
撮像素子１ｒ、１ｇ、１ｂが出力するアナログ画像信号は、アンプ２ｒ，２ｇ，２ｂとアナログ／デジタル変換部３ｒ、３ｇ、３ｂによって量子化され、適切なレベルに調節されて、デジタル画像信号に変換される。デジタル画像信号は、スミア補正部４及びゲイン調整部５によって適切に処理された後、輝度調整部６によって高輝度部分が圧縮されて、規定の範囲内に納められる。また、ＣＲＴ（Cathode Ray Tube）等のモニタガンマに対応するために、ガンマ補正部７によってガンマ補正された後、出力部８によって最終的な出力形式のデジタル画像信号に変換され、不図示の表示部、記録部等に出力される。
【００１４】
ところで、撮像装置１０において、ゲイン調整部５によって調整されたデジタル画像信号からスミア成分を検出すると、例えば、スミアが生じていない領域にスミアが現れているといった誤検出につながりやすい。このため、スミア補正部４によって、画像信号からスミア成分を検出する処理と、スミア補正の処理が行われる。
【００１５】
図２は、撮像素子１ｒ，１ｇ，１ｂの構成例を示す。
本例の撮像素子１ｒ，１ｇ，１ｂは、１１２５×２２００画素で構成される撮像素子である。撮像素子１ｒ，１ｇ，１ｂの左端には、水平遮光領域１１（ＨＯＰＢ：Horizontal OPtical Black）が形成され、上端には、垂直遮光領域（ＶＯＰＢ：Vertical OPtical Black）３５が形成される。水平遮光領域１１と垂直遮光領域１５は、光源からの光線が遮光された領域である。そして、光線が遮光された状態で、この遮光領域の画素が生じる暗電流の直流レベル（直流電圧）は、後述する黒レベル検出部３２で用いられる基準信号（黒レベルとも称する。）として用いられる。
【００１６】
撮像素子１ｒ，１ｇ，１ｂにおいて、水平遮光領域１１と垂直遮光領域１５を除いた領域である受光部１２には、光源から入射した光を光電変換して画像信号を生成する入射領域として機能する。受光部１２に結像した被写体の像光は、光電変換されてＲ，Ｇ，Ｂアナログ画像信号として出力される。
【００１７】
受光部１２の一部に光源１３から強い光が入射すると、スミア１４が撮像素子１ｒ，１ｇ，１ｂの垂直方向に生じる。後述する黒レベル検出部３２（図４参照）は、遮光された領域１６の画素が生じる直流信号の信号レベルを黒レベルとしてリアルタイムで検出する。領域１６にはスミアが生じないため、領域１６で生じた直流信号は、スミアを検出するための基準信号として用いられる。
【００１８】
図３は、スミア補正部４の内部構成例を示す。
スミア補正部４は、デジタル画像信号から補正量を演算し、ノイズを除く補正量生成部２１と、デジタル画像信号から補正量生成部２１で演算された補正量を減ずる補正量減算部２２を備える。
【００１９】
補正量生成部２１は、デジタル画像信号に重畳されるノイズを所定のフィルタ処理で取り除き、ノイズが取り除かれたデジタル画像信号から基準信号を減ずることによってデジタル画像信号に重畳されるスミア成分を検出する。そして、デジタル画像信号からスミア成分を取り除くための補正信号を生成する。補正信号のレベルは、ユーザが不図示の表示部に表示された画像を見ながら行うメニュー操作等によって任意に変更することが可能である。
【００２０】
補正量減算部２２は、スミア成分がデジタル画像信号に重畳されている場合に、デジタル画像信号から補正信号を減じて、スミア成分が取り除かれたデジタル画像信号を出力する。一方、スミア成分がデジタル画像信号に重畳されていない場合に、デジタル画像信号をそのまま出力する。そして、補正量減算部２２は、補正信号を減じられたデジタル画像信号を後続のゲイン調整部５（図１参照）に引き渡す。こうして、補正量減算部２２は、スミアが発生していない領域まで過剰にスミア補正しないようにデジタル画像信号を処理する。
【００２１】
図４は、補正量生成部２１の内部構成例を示す。
補正量生成部２１は、撮像素子１ｒ、１ｇ、１ｂの垂直遮光領域１５から出力されるデジタル画像信号からスミア成分の波形を検出するスミア波形検出部３１を備える。また、遮光領域のうち、スミア成分が重畳されない水平遮光領域１１（本例では、領域１６）が出力するデジタル画像信号の信号レベルを、基準信号の黒レベルとして検出する黒レベル検出部３２を備える。また、補正量生成部２１は、スミア成分の波形を検出した場合に応じて、デジタル画像信号からスミア成分を取り除いた補正信号を出力するコアリング処理部３３を備える。コアリング処理部３３が行うコアリング処理については、後述する図７にて説明する。
【００２２】
ここで、黒レベル検出部３２の処理について説明する。
撮像装置１０が撮影している間、垂直遮光領域１５には、露光時にスミア１４のスミア成分が重畳される。このため、垂直遮光領域１５の画素から供給される信号のみでは黒レベルの目標値を決めることができない。そこで、黒レベル検出部３２は、水平遮光領域１１（本例では、領域１６）が出力する信号を基準信号として用いることによって、リアルタイムで黒レベルを検出する。ただし、黒レベルは、温度等によって変わる可能性があるため、水平遮光領域１１で生じるノイズ成分を除去することによって、黒レベルを安定させる必要がある。このノイズ成分を除去するためには、ＩＩＲフィルタが用いられる。ＩＩＲフィルタは、入力信号とそれ以前の出力信号をフィードバックループによって用いるフィルタである。
【００２３】
そして、スミア波形検出部３１は、スミア１４のスミア成分を検出する。通常、ランダムノイズに対して静止して現れるスミアは、一定の場所に現れる固定パターンのノイズであり、ユーザにとって視感度が高いため、スミア１４のみを検出する精度を高める必要がある。このため、スミア波形検出部３１は、複数種類のデジタルフィルタを組み合わせてスミア成分を検出する。
【００２４】
コアリング処理部３３は、スミア波形検出部３１がスミア成分の波形を検出した場合に、垂直遮光領域１５が出力するデジタル画像信号の信号レベルから黒レベルを減じる。そして、黒レベルが減じられたデジタル画像信号の信号レベルが所定の閾値から所定の上限値の範囲内である場合に、黒レベルが減じられたデジタル画像信号からスミア成分を取り除いた補正信号を出力する。
【００２５】
図５は、スミア波形検出部３１の構成例を示す。
スミア波形検出部３１は、インパルスノイズを除去するメディアンフィルタ４１を備える。また、撮像素子１ｒ，１ｇ，１ｂの垂直方向の低域成分を抽出する積分フィルタ４２と、撮像素子１ｒ，１ｇ，１ｂの水平方向の低域成分を抽出する低域成分を抽出するローパスフィルタ４３を備える。制御部４４は、メディアンフィルタ４１、積分フィルタ４２、ローパスフィルタ４３の動作を制御する。
【００２６】
メディアンフィルタ４１は、垂直遮光領域１５から得られるデジタル画像信号より、例えば、隣り合う３つの画素のレベルを求め、中央値を抽出する。
積分フィルタ４２は、複数ラインのデジタル画像信号を記憶するラインメモリ４５を備えており、垂直遮光領域１５から得られるデジタル画像信号の各列の信号レベルを平均する。このとき、積分フィルタ４２は、ラインメモリ４５から読み出したデジタル画像信号を加算することによって、デジタル画像信号から垂直方向の低域成分を抽出できる。このように、積分フィルタ４２は、前フレームの垂直遮光領域１５から得られるデジタル画像信号をラインメモリ４５に記憶することによって、ノイズ成分を除去する効果を高めている。
【００２７】
ローパスフィルタ４３は、積分フィルタ４２によって平均化されたデジタル画像信号の低域成分を通過させて、さらにノイズ成分を除去する。本例では、積分フィルタ４２とローパスフィルタ４３を組み合わせることで、２次元フィルタとして機能させている。
【００２８】
このようにして、スミア波形検出部３１は、空間的かつ時間的に生じるランダムノイズをデジタル画像信号から除去できる。このため、垂直遮光領域１５に生じたスミア成分を精度よく検出することが可能である。ローパスフィルタ４３を動作させるか否かは、ノイズ量に応じてユーザが切替えることが可能である。
【００２９】
補正量生成部２１は、垂直遮光領域１５から得られるデジタル画像信号より検出したＶＯＰＢ波形と黒レベルを用いて、ノイズ成分の補正量を求める。具体的には、ＶＯＰＢ波形から黒レベルを引いた後、さらにノイズ成分を除去するために、コアリング処理部３３によってコアリング処理を行う。コアリング処理は、３種類の処理（後述する図８参照）から状況に応じて選択できる。
【００３０】
図６は、補正量減算部２２の内部構成例を示す。
補正量減算部２２は、アナログ／デジタル変換部３ｒ，３ｇ，３ｂから供給されるデジタル画像信号の信号レベルを検出する信号レベル検出部５１ｒ，５１ｇ，５１ｂと、補正ゲインを生成する補正ゲイン生成部５２ｒ，５２ｇ，５２ｂを備える。また、乱数を発生する乱数発生部５７と、デジタル画像信号を補正するＲ，Ｇ，Ｂ補正信号を保存するＲＡＭ５５ｒ，５５ｇ，５５ｂと、ＲＡＭ５５ｒ，５５ｇ，５５ｂを制御するＲＡＭ制御部５４ｒ，５４ｇ，５４ｂを備える。ＲＡＭ５５ｒ，５５ｇ，５５ｂには、補正量生成部２１から供給されるＲ，Ｇ，Ｂ補正信号が補正される画素に対応して記憶される。
【００３１】
また、補正量減算部２２は、補正ゲイン生成部５２ｒ，５２ｇ，５２ｂで生成された補正ゲインを、ＲＡＭ５５ｒ，５５ｇ，５５ｂから読み出した補正信号に乗じる乗算部５３ｒ，５３ｇ，５３ｂを備える。乗算部５３ｒ，５３ｇ，５３ｂは、補正ゲイン生成部から供給される補正ゲインに、ＲＡＭ制御部５４ｒ，５４ｇ，５４ｂが読み出した補正信号を乗じて、デジタル画像信号の信号レベルを減ずる減算信号を生成する。また、補正量減算部２２は、デジタル画像信号から、乗算部５３ｒ，５３ｇ，５３ｂが生成した減算信号を減じたデジタル画像信号を出力する減算部５６を備える。
【００３２】
デジタル画像信号は、信号レベル検出部５１ｒ，５１ｇ，５１ｂと、減算部５６にそれぞれ供給される。信号レベル検出部５１ｒ、５１ｇ、５１ｂは、デジタル画像信号の信号レベルを検出し、検出した信号レベルを画素毎に補正ゲイン生成部５２ｒ，５２ｇ，５２ｂに供給する。そして、補正ゲイン生成部５２ｒ，５２ｇ，５２ｂは、信号レベルに応じた補正ゲインを生成する。補正ゲインを調整する理由については、図９を参照して後述する。
【００３３】
一方、乱数発生部５７は、補正ゲイン生成部５２ｒ，５２ｇ，５２ｂと、ＲＡＭ制御部５４ｒ，５４ｇ，５４ｂに乱数を供給する。非常にノイズ量が多い状況下において、垂直遮光領域１５から得られるデジタル画像信号から検出したスミア成分を各列一律に減算すると、スミア波形検出部３１のフィルタ処理で除去できなかったノイズの影響により、縦筋を発生させてしまうことがある。このノイズの影響を除くために、乱数発生部５７で発生させた乱数を用いて、補正ゲインまたは画素を微小変動させることによって、縦筋に濃淡を生じさせ、画像のノイズを見えにくくすることができる。
【００３４】
補正ゲイン生成部５２ｒ，５２ｇ，５２ｂに供給される乱数は、補正レベルを各行毎に微小変動させるために用いられる。この微小変動とは、例えば、１画素毎にディザをかけるものである。また、ＲＡＭ制御部５４ｒ，５４ｇ，５４ｂに供給される乱数は、画素を微小変動（例えば、隣り合った画素を入れ替える。）させるために用いられる。この微小振動は、ＲＡＭ５５ｒ，５５ｇ，５５ｂから補正値を読み出すための読み出しアドレスに乱数を加えることによって、補正値を空間的に変動させるものである。これにより、補正ゲイン生成部５２ｒ，５２ｇ，５２ｂは、信号レベル検出部５１ｒ，５１ｇ，５１ｂが検出した信号レベルを、乱数発生部５７から供給される乱数によって変化させて、デジタル画像信号の補正ゲインを生成することができる。
【００３５】
ＲＡＭ５５ｒは、補正量生成部２１から供給されたＲ補正信号を格納する。ＲＡＭ５５ｇは、補正量生成部２１から供給されたＧ補正信号を格納する。ＲＡＭ５５ｂは、補正量生成部２１から供給されたＢ補正信号を格納する。ＲＡＭ５５ｒ，５５ｇ，５５ｂは、それぞれＲＡＭ制御部５４ｒ，５４ｇ，５４ｂによってＲ，Ｇ，Ｂ補正信号の保存と読み出しが制御される。これにより、ＲＡＭ制御部５４ｒ，５４ｇ，５４ｂは、ＲＡＭ５５ｒ，５５ｇ，５５ｂに記憶されたＲ，Ｇ，Ｂ補正信号によって補正される画素を、乱数発生部５７から供給される乱数によって変化させた上で読み出すことができる。
【００３６】
そして、補正ゲイン生成部５２ｒ，５２ｇ，５２ｂが出力する補正ゲインと、ＲＡＭ制御部５４ｒ，５４ｇ，５４ｂがＲＡＭ５５ｒ，５５ｇ，５５ｂから読み出すＲ，Ｇ，Ｂ補正信号は、それぞれ乗算部５３ｒ，５３ｇ，５３ｂによって乗じられる。そして、乗算部５３ｒ，５３ｇ，５３ｂは、入力されたデジタル画像信号の信号レベルを減算する減算信号を生成する。乗算部５３ｒ，５３ｇ，５３ｂによって生成された減算信号は、減算部５６に供給される。減算部５６は、デジタル画像信号から減算信号を減じたデジタル画像信号を出力する。
【００３７】
図７は、減算部５６の内部構成例を示す。
減算部５６は、入力されたデジタル画像信号又は補正したデジタル画像信号を選択して出力する減算部５６ｒ、５６ｇ、５６ｂを備える。減算部５６ｒ、５６ｇ、５６ｂは、デジタル画像信号から補正信号を減じたデジタル画像信号を生成する減算信号生成部６１ｒ，６１ｇ，６１を備える。また、所定の閾値に基づいて、デジタル画像信号又はデジタル画像信号からＲ，Ｇ，Ｂ補正信号を減じたデジタル画像信号を出力する閾値判定部６２ｒ，６２ｇ，６２ｂを備える。
【００３８】
減算部５６ｒ、５６ｇ、５６ｂには、補正量生成部２１からＲ，Ｇ，Ｂ補正信号が供給される。減算信号生成部６１ｒ，６１ｇ，６１ｂは、減算部５６ｒ、５６ｇ、５６ｂに入力したデジタル画像信号からＲ，Ｇ，Ｂ補正信号が減じる。そして、閾値判定部６２ｒ，６２ｇ，６２ｂは、デジタル画像信号の信号レベルと所定の閾値を比較する。デジタル画像信号の信号レベルが所定の閾値未満である場合にデジタル画像信号を出力する。一方、デジタル画像信号の信号レベルが所定の閾値を超える場合に減算信号生成部６１ｒ，６１ｇ，６１ｂから供給される、デジタル画像信号からＲ，Ｇ，Ｂ補正信号を減じたデジタル画像信号を出力する。
【００３９】
図８は、コアリング処理部３３が行うコアリング処理の例を示す。
コアリング処理とは、入力したデジタル画像信号に含まれるノイズを効率的に除去する処理である。
図８Ａは、第１のコアリング処理の例を示す。
図８Ｂは、第２のコアリング処理の例を示す。
図８Ｃは、第３のコアリング処理の例を示す。
【００４０】
図８Ａ〜図８Ｃにおいて、横軸はコアリング処理部３３に入力するデジタル画像信号の値を示し、縦軸はコアリング処理部３３が出力するデジタル画像信号の値を示す。また、所定の信号レベルに達するまで、入力するデジタル画像信号の出力を制限する、閾値レベルが設定されている。入力するデジタル画像信号と出力するデジタル画像信号の信号レベルが等しい場合、入出力のデジタル画像信号の関係は、破線で示される。
【００４１】
図８Ａより、入力するデジタル画像信号のレベルが閾値レベルを超えると、コアリング処理部３３は、デジタル画像信号を出力する。このとき、デジタル画像信号に重畳されるわずかなノイズは出力されない。このため、デジタル画像信号に重畳されるわずかなノイズを除くことができる。
【００４２】
入力と出力のデジタル画像信号のレベルは線形であり、所定の傾きの直線で示される。この傾きは可変であり、ユーザのメニュー操作等が行われると傾きを変えて、補正量を調整できる。ところで、検出したスミア成分の信号レベルが飽和している場合、補正後の画素を正しく復元できなくなる。そこで、あるレベル以上のスミア成分を出力させないように上限クリップを設けることによって、補正後の画素の不自然さを軽減する。
【００４３】
図８Ｂより、入力するデジタル画像信号のレベルが閾値レベルより低い段階でデジタル画像信号が出力されることが示される。ただし、入力したデジタル画像信号より出力するデジタル画像信号のレベルが大きくなることはない。このため、入力するデジタル画像信号のレベルが閾値レベルを超えると、出力するデジタル画像信号のレベルが上限クリップまで大きくなる。そして、出力するデジタル画像信号のレベルが上限クリップに達すると、出力するデジタル画像信号のレベルが制限される。この結果、スミアを目立たなく補正することができる。
【００４４】
図８Ｃより、入力したデジタル画像信号のレベルが閾値レベルに達した時点で、出力するデジタル画像信号のレベルが破線に一致することが示される。以降、図８Ｂと同様に、出力するデジタル画像信号のレベルは、上限値まで破線に沿って出力するデジタル画像信号のレベルが上昇する。そして、出力するデジタル画像信号のレベルが上限に達すると、一定の値でスミア成分がクリップされることになる。
【００４５】
図９は、補正ゲイン生成部５２ｒ，５２ｇ，５２ｂが行う、補正ゲインを調整する処理の例を示す。図９において、横軸は画素毎の信号レベル（画素レベルとも呼ぶ。）を示し、縦軸は補正ゲインを示す。
【００４６】
補正対象画素のレベルが飽和レベルに近い場合、検出したスミアをゲイン調整せずに減算すると、補正後に不自然な色のスミアになることがある。これを防止するために、補正ゲインを調整する処理を行う。この調整処理によって、補正対象となる画素のレベルが大きい時は補正ゲインを小さくすることができる。
【００４７】
本例において、画素レベルは、０〜１０２３までの範囲で示される。補正ゲイン生成部５２ｒ，５２ｇ，５２ｂで補正される画素毎のデジタル画像信号の補正ゲインは、画素レベルがゲイン調整開始レベルに達するまで一定である。そして、画素レベルがゲイン調整開始レベルに達すると、補正ゲインを下げるように調整する。さらに、画素レベルが飽和レベルに達すると、補正ゲインを最も下げて補正ゲインが最低値となるように調整する。
【００４８】
以上説明した第１の実施の形態に係る撮像装置１０によれば、撮像素子１ｒ，１ｇ，１ｂから得られるデジタル画像信号に重畳されるノイズを所定のフィルタ処理で取り除くことによって、スミア成分を確実に検出できる。そして、画像信号から検出したスミア成分のみを取り除いて出力することによって、スミア成分が重畳されていない画像信号を過剰に補正することがなくなる。このため、得られる画像にはスミアだけが取り除かれ、表示部に表示される画像の画質を高めることができるという効果がある。
【００４９】
また、スミア波形検出部３１が検出したスミアが生じた垂直遮光領域１５から出力されたデジタル画像信号からスミア成分の波形を検出した場合に、垂直遮光領域が出力する画像信号の信号レベルから黒レベルを減じる。そして、黒レベルが減じられた画像信号の信号レベルが所定の閾値から所定の上限値の範囲内である場合に、補正信号を出力するコアリング処理を行う。このため、スミア成分以外のわずかなノイズは出力されず、強烈な光によってスミア成分が表現しきれないレベルにまで飽和する場合には、スミア成分を所定の上限値に制限する。このため、スミア成分が飽和した場合であっても、補正するスミア成分のレベルが一定の範囲に収まり、スミア補正後の画像に違和感が生じないという効果がある。
【００５０】
また、乱数発生部５７が発生した乱数を、補正ゲイン生成部５２ｒ，５２ｇ，５２ｂとＲＡＭ制御部５４ｒ，５４ｇ，５４ｂに供給するようにした。これにより、補正ゲインまたは画素を微小変動させることによって、縦筋に濃淡を生じさせ、画像のノイズを見えにくくすることができる。この結果、スミア補正を行った結果、デジタル画像信号に縦筋等のノイズがわずかに重畳した場合であっても、ノイズの影響を現れにくくすることができるという効果がある。
【００５１】
また、減算部５６は、入力されるデジタル画像信号のうち、デジタル画像信号から補正信号を減算した値が所定の閾値未満である場合、デジタル画像信号をそのまま出力する。そして、所定の閾値を超える場合に減算信号生成部６１ｒ、６１ｇ、６１ｂから供給される画像信号から前記補正信号を減じた画像信号を出力する。このことによって、スミア成分を取り除いた画像信号が過剰に補正されることがなく、元の画像信号を活かした状態で画像を表示することができるという効果がある。
【００５２】
また、通常、デジタル画像信号にはスミア成分以外にも様々なノイズが重畳されるが、これらのノイズは、スミア波形検出部３１が備える各種のフィルタによって予め取り除くことができる。このように、ノイズが重畳されたデジタル画像信号であっても、スミア成分のみを確実に検出できるため、検出したスミア成分のみをデジタル画像信号から取り除くことができる。
【００５３】
次に本発明に係る第２の実施の形態について、図１０〜図１２を参照して説明する。
ただし、以下の説明において、既に第１の実施の形態で説明した図２及び図４に対応する部分には同一符号を付し、詳細な説明を省略する。
【００５４】
図１０は、斜めに発生するスミアを補正する補正量生成部７０の内部構成例を示す。
補正量生成部７０は、スミア波形検出部３１と、黒レベル検出部３２と、コアリング処理部３３を備える。また、スミアの位置情報を登録するスミア位置登録部７１と、スミアの傾きを検出し、スミア補正を行ったＲ，Ｇ，Ｂ補正信号を出力するスミア傾き検出部７２を備える。
【００５５】
コアリング処理部３３でコアリング処理部されたデジタル画像信号は、スミア位置登録部７１に供給される。スミア位置登録部７１は、不図示のメモリを備えており、複数フレームにわたって、垂直遮光領域１５に生じたスミア１４の位置を垂直遮光領域３５に接する位置として記憶する。スミア傾き検出部７２は、スミア位置登録部７１から複数のフレームにわたって供給されるスミアの位置情報からスミアの傾きを検出する。そして、デジタル画像信号から傾きを有するスミアのスミア成分を取り除く補正信号を生成する。
【００５６】
図１１は、移動する光源に付随して斜めに発生したスミアの例を示す。
図１１Ａは、１つ前のフレームに生じたスミアの例を示す。
図１１Ｂは、現在のフレームに生じたスミアの例を示す。
【００５７】
撮像素子及び光源の相対位置が変化した場合（本例では、スミアが生じる光源１３が矢印８０の方向に移動した場合）、前のフレームにおけるスミア８１は、垂直方向ではなく斜め方向に発生する。そして、現在のフレームにおけるスミア８１が矢印６０の方向に動いた状態で、斜め方向に発生する。このとき、スミア位置登録部７１は、垂直遮光領域３５におけるスミアの位置８２ａ，８２ｂを示す位置情報を登録する。そして、スミア傾き検出部８２は、スミア位置登録部７１から読み出したスミアの位置情報に基づいてスミア８１の傾きを検出し、スミア８１を補正する。
【００５８】
図１２は、斜めに生じたスミアを補正する処理の例を示す。
図１２Ａは、斜めに生じたスミアの例を示す。
図１２Ｂは、斜めに生じたスミアを過剰に補正した例を示す。
図１２Ｃは、斜めに生じたスミアを適切に補正した例を示す。
【００５９】
図１２Ａは、図１１Ａと同じ図であり、光源１３が横方向に移動することによって、スミアが斜めに生じた状態を示している。このとき、スミアの位置８２ａ，８２ｂを示す位置情報をスミア位置登録部７１に登録するのは上述したとおりである。
【００６０】
斜めに生じたスミア８１を補正するため、スミア傾き検出部７２は、前フレームの垂直遮光領域１５で検出したスミアの位置と、現フレームの垂直遮光領域１５が検出したスミアの位置の差をとって差分を演算する。１フレームの垂直の長さは固定であるため、この差分との関係からスミア８１の傾きを検出できる。さらに、その傾きを元にして、スミア８１を補正する。この結果、スミア８１は、図１２Ｂに示す補正部８５のように周囲の輝度、色度等に合わせて補正される。
【００６１】
しかし、被写体が複数ある場合や、二つ以上の被写体が交差する場合、スミア傾き検出部７２は、スミアの位置を誤検出する可能性がある。スミア傾き検出部７２がスミアの位置を誤検出すると図１２Ｂのように、スミアを過剰に補正した過補正部８６が生じる。過補正部８６は、本来補正しなくてよい領域であるため、補正した結果、かえって周囲の輝度、色度より目立ってしまう。
【００６２】
このような過補正を防ぐために、図８の減算部５６にて、補正後の信号がある閾値以下であれば、領域８７の補正を行わない。または、領域８７の補正ゲインを下げるという処理を行っている。この処理によって、スミア補正が失敗することによって不自然な画像になることを抑制している。
【００６３】
以上説明した第２の実施の形態に係る補正量生成部７０によれば、撮像素子及び光源の相対位置が変化した場合に生じる斜め方向のスミアの垂直遮光領域１５における位置情報を複数フレームにわたって登録する。そして、この位置情報に基づいてスミアの傾きを検出して、このスミアを取り除く補正信号を生成できる。このため、斜め方向のスミアのスミア成分のみをデジタル画像信号から取り除くことができる。この結果、スミアが生じていない領域に対して過補正をすることがなくなり、画質を向上することができるという効果がある。
【００６４】
なお、上述した実施の形態における一連の処理は、ハードウェアにより実行できるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。
【００６５】
また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６６】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００６７】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。
【００６８】
さらに、本発明は上述した実施の形態に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施の形態における撮像装置の内部構成例を示すブロック図である。
【図２】本発明の第１の実施の形態における撮像素子の構成例を示す説明図である。
【図３】本発明の第１の実施の形態におけるスミア補正部の内部構成例を示すブロック図である。
【図４】本発明の第１の実施の形態における補正量生成部の内部構成例を示すブロック図である。
【図５】本発明の第１の実施の形態におけるスミア波形検出部の内部構成例を示すブロック図である。
【図６】本発明の第１の実施の形態における補正量減算部の内部構成例を示すブロック図である。
【図７】本発明の第１の実施の形態における減算部の内部構成例を示すブロック図である。
【図８】本発明の第１の実施の形態におけるコアリング処理部の例を示す説明図である。
【図９】本発明の第１の実施の形態におけるゲイン調整の例を示す説明図である。
【図１０】本発明の第２の実施の形態における補正量生成部の内部構成例を示すブロック図である。
【図１１】本発明の第２の実施の形態における移動するスミアに対応したスミア検出の例を示す説明図である。
【図１２】本発明の第２の実施の形態におけるスミアの過補正を制御する処理の例を示す説明図である。
【符号の説明】
【００７０】
１ｒ，１ｇ，１ｂ…撮像素子、２ｒ，２ｇ，２ｂ…アンプ、３ｒ，３ｇ，３ｂ…アナログ／デジタル変換部、４…スミア補正部、５…ゲイン調整部、６…輝度調整部、７…ガンマ補正部、８…出力部、１０…撮像装置、１１…水平遮光領域、１２…受光部、１３…光源、１４…スミア成分、２１…補正量生成部、２２…補正量減算部、３１…スミア波形検出部、３２…黒レベル検出部、３３…コアリング処理部、４０…フィルタ、４１…メディアンフィルタ、４２…積分フィルタ、４３…ローパスフィルタ、４４…制御部
【図１】
2010045449.tif 000003
【図３】
2010045449.tif 000004
【図４】
2010045449.tif 000005
【図５】
2010045449.tif 000006
【図６】
2010045449.tif 000007
【図７】
2010045449.tif 000008
【図８】
2010045449.tif 000009
【図９】
2010045449.tif 000010
【図１０】
2010045449.tif 000011
【図２】
2010045449.tif 000012
【図１１】
2010045449.tif 000013
【図１２】
2010045449.tif 000014