(57)【特許請求の範囲】
【請求項１】
撮像素子の画素ライン毎、または所定数の画素ラインを束ねた画素ライン群毎に、輝度情報を取得する輝度情報取得部と、
複数の画素ライン群を束ねた画素ライン群ファミリーにおいて、前記輝度情報に基づいてフリッカノイズによる画像上の明暗の縞模様の周期を求める周期検知部と、
前記周期と、前記輝度情報に基づいて、前記輝度情報を取得したライン毎または画素ライン群毎の輝度補正量を求める補正量演算部と、
前記画素ライン群を構成する画素から得られた画像信号について、前記輝度補正量を使って補正を行い前記画像上の明暗の縞模様を低減する画素演算部とを備える撮像装置のフリッカノイズ低減装置。
【請求項２】
前記輝度情報取得部は、サンプリング加算部であり、前記画素ライン毎、または前記画素ライン群毎に、ランダムに第１数量だけ抽出した画素から得られた輝度値を合算した加算値を前記輝度情報として求め、
前記周期検知部は、前記画素ライン群ファミリーにおいて、前記加算値が最も大きい値を有する画素ライン群と次に大きい値を有する画素ライン群との第１距離、前記加算値が最も小さい値を有する画素ライン群と次に小さい値を有する画素ライン群との第２距離に基づいて前記周期を求め、
前記補正量演算部は、注目する画素ライン群を含み、前記周期と同じ幅を持つ画素ライン群の集合体の中で、前記画素ライン群毎の加算値の平均値を求め、前記平均値を前記注目する画素ライン群の加算値で除算して前記輝度補正量を求める演算を、総ての画素ライン群において行い、
前記画素演算部は、前記注目する画素ライン群が有する画素から得られた画像信号について、前記注目する画素ライン群の輝度補正量を乗算する補正を行う演算を、総ての画素ライン群において行うことを特徴とする請求項１に記載のフリッカノイズ低減装置。
【請求項３】
前記画素ライン群ファミリーを２つ以上有し、
前記周期検知部は、前記２つ以上の画素ライン群ファミリーそれぞれから前記２つ以上の前記第１距離の値、及び前記第２距離の値に基づいて前記周期を求めることを特徴とする請求項２に記載のフリッカノイズ低減装置。
【請求項４】
前記画素ライン群ファミリーを３つ以上有し、
前記周期検知部は、前記３つ以上の前記第１距離の値、及び前記第２距離の値のうち、中間の値に近い複数の値の平均値を前記周期として求めることを特徴とする請求項３に記載のフリッカノイズ低減装置。
【請求項５】
前記第１数量は、２以上であることを特徴とする請求項２に記載のフリッカノイズ低減装置。
【請求項６】
前記撮像素子は、前記画素ライン毎に異なる露光タイミングで露光が行われるロータリーシャッタを有するＣＭＯＳイメージセンサであることを特徴とする請求項１に記載のフリッカノイズ低減装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズ低減装置に関し、特に撮像装置において蛍光灯の点灯に伴うフリッカノイズを低減する装置に関する。
【背景技術】
【０００２】
画像上に現れる、蛍光灯の点灯に伴うフリッカノイズによる明暗の縞模様を低減する装置が提案されている。
【０００３】
特許文献１は、ノイズ除去を行うフレームの前後に撮像されたフレームを使ってフリッカノイズによる明暗の縞模様を低減する装置を開示する。
【特許文献１】特開２００２−５６３９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の装置は、ノイズ除去を行うフレームの前後のフレームの画像情報も利用するため応答時間が長くなり、また必ずしも正しいデータとならない（データが埋もれてしまう）といった問題がある。
【０００５】
したがって本発明の目的は、ノイズ除去を行うフレームの前後のフレームの画像情報を利用せずにフリッカノイズの低減を行う装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置のフリッカノイズ低減装置は、撮像素子の画素ライン毎、または所定数の画素ラインを束ねた画素ライン群毎に、輝度情報を取得する輝度情報取得部と、複数の画素ライン群を束ねた画素ライン群ファミリーにおいて、輝度情報に基づいてフリッカノイズによる画像上の明暗の縞模様の周期を求める周期検知部と、周期と、輝度情報に基づいて、輝度情報を取得した画素ライン毎または画素ライン群毎の輝度補正量を求める補正量演算部と、画素ライン群を構成する画素から得られた画像信号について、輝度補正量を使って補正を行い画像上の明暗の縞模様を低減する画素演算部とを備える。
【０００７】
好ましくは、輝度情報取得部は、サンプリング加算部であり、画素ライン毎、または画素ライン群毎に、ランダムに第１数量だけ抽出した画素から得られた輝度値を合算した加算値を輝度情報として求め、周期検知部は、画素ライン群ファミリーにおいて、加算値が最も大きい値を有する画素ライン群と次に大きい値を有する画素ライン群との第１距離、加算値が最も小さい値を有する画素ライン群と次に小さい値を有する画素ライン群との第２距離に基づいて周期を求め、補正量演算部は、注目する画素ライン群を含み、周期と同じ幅を持つ画素ライン群の集合体の中で、画素ライン群毎の加算値の平均値を求め、平均値を注目する画素ライン群の加算値で除算して輝度補正量を求める演算を、総ての画素ライン群において行い、画素演算部は、注目する画素ライン群が有する画素から得られた画像信号について、注目する画素ライン群の輝度補正量を乗算する補正を行う演算を、総ての画素ライン群において行う。
【０００８】
さらに好ましくは、画素ライン群ファミリーを２つ以上有し、周期検知部は、２つ以上の画素ライン群ファミリーそれぞれから２つ以上の第１距離の値、及び第２距離の値に基づいて周期を求める。
【０００９】
さらに好ましくは、画素ライン群ファミリーを３つ以上有し、周期検知部は、３つ以上の第１距離の値、及び第２距離の値のうち、中間の値に近い複数の値の平均値を周期として求める。
【００１０】
また、好ましくは、第１数量は、２以上である。
【００１１】
また、好ましくは、撮像素子は、画素ライン毎に異なる露光タイミングで露光が行われるロータリーシャッタを有するＣＭＯＳイメージセンサである。
【発明の効果】
【００１２】
以上のように本発明によれば、ノイズ除去を行うフレームの前後のフレームの画像情報を利用せずにフリッカノイズの低減を行う装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態について、図を用いて説明する。本実施形態における撮像装置１は、ＣＭＯＳイメージセンサ１０、ＡＤＣ（Ａｎａｌｏｇ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）２０、フリッカノイズ除去部３０、画像処理部４０、及びタイミングジェネレータ５０とを備える（図１参照）。本実施形態では、撮像装置１は、デジタルカメラである。
【００１４】
被写体像が撮像光学系を介して投影された光学像は、ＣＭＯＳイメージセンサ１０の撮像面に結像される。ＣＭＯＳイメージセンサ１０は、光学像を光電変換によって電気信号に変換する。ＣＭＯＳイメージセンサ１０で所定時間（露光時間）蓄積された後、読み出しされた電荷に基づく電気信号は、ＡＤＣ２０でアナログ信号からデジタル信号に変換される。デジタル信号に変換された電気信号は、フリッカノイズ除去部３０で、フリッカノイズを取り除く処理がされる。フリッカノイズ処理後、画像処理部４０で、その他の画像処理が行われる。これらの動作は、タイミングジェネレータ５０からの同期信号により制御され、ＡＤＣ２０からのデータ（電気信号）と調歩が取られる。
【００１５】
ＣＭＯＳイメージセンサ１０は、画素ライン毎に異なる露光タイミングで露光が行われるロータリーシャッタを有する。本実施形態では、ＣＭＯＳイメージセンサ１０は、例として２６２０本の画素ラインを有するものとして説明する。ＣＭＯＳイメージセンサ１０の画素ラインは、最も上の画素ラインを第１画素ラインＬ１と定義し、最も下の画素ラインを第２６２０画素ラインＬ２６２０と定義する（図２参照）。また、隣接する所定数の画素ライン（所定数束ねた画素ライン）を画素ライン群と定義する。本実施形態では所定数を２０ラインにするとして、第１〜第２０画素ラインＬ１〜Ｌ２０を第１画素ライン群ＬＧ１、第２１〜第４０画素ラインＬ２１〜Ｌ４０を第２画素ライン群ＬＧ２、・・・第２６０１〜２６２０画素ラインＬ２６０１〜Ｌ２６２０を第１３１画素ライン群ＬＧ１３１と定義する（図２、図３参照）。
【００１６】
それぞれの画素ライン群が有する画素ラインの数（所定数）を少なくし、画素ライン群の数を多くした方が精度の高い補正演算が可能になるが、処理時間が長くなるので、撮像装置１の演算能力に応じて設定するのが望ましい。また、所定数を多くする場合であっても、フリッカノイズの周期（明暗の縞模様の縞の周期）を予測し、それよりも画素ライン群の幅が長くならない程度に設定するのが望ましい。画素ライン群の幅とは、画素ライン群の、画素ラインが並べられる方向の長さである。
【００１７】
フリッカノイズ除去部３０は、サンプリング加算部３１、周期検知部３２、補正量演算部３３、及び画素演算部３４とを有する。
【００１８】
サンプリング加算部３１（図４参照）は、画素ライン群の中からランダムに第１数量の画素を抽出する。抽出した第１数量の画素から得られた輝度値が、画素ライン群の加算値として合算される。加算値の演算は、画素ライン群毎に演算される。第１数量は、画素ライン群毎に同じ値に設定される。輝度値を抽出する画素の位置は、画素ライン群ごとに合わせる必要はない。第１数量を多く設定した方が、精度の高い補正が可能になる。
【００１９】
サンプリング加算部３１は、加算器３１ａ、ラインカウント部３１ｂ、及びサンプリング数カウント部３１ｃとを有する。
【００２０】
ラインカウント部３１ｂは、タイミングジェネレータ５０の同期信号に基づいて、ＡＤＣ２０から出力されたデジタル信号（電気信号）が、ＣＭＯＳイメージセンサ１０上のどの画素ライン群に対応するものかを検出する。サンプリング数カウント部３１ｃは、タイミングジェネレータ５０の同期信号に基づいて、ＡＤＣ２０から出力されたデジタル信号に対応する画素ライン群上から抽出した画素の数（サンプリング数）を検出する。加算器３１ａは、ラインカウント部３１ｂ、サンプリング数カウント部３１ｃからの情報に基づいて、加算値の演算を行う。画素ライン群毎の加算値の演算結果は、周期検知部３２に出力される。
【００２１】
周期検知部３２（図５参照）は、画素ライン群毎に演算した加算値に基づいてフリッカノイズの周期Ｃを検知する。フリッカノイズの周期Ｃは、複数の周期の候補（第１〜第６周期候補ｃ１〜ｃ６）を求め、これら中から抽出した複数の候補の平均値とする。周期検知部３２は、最大値検出部３２ａ、最小値検出部３２ｂ、及び並べ替え部３２ｃを有する。
【００２２】
具体的に、フリッカノイズの周期Ｃの演算手順を説明する。隣接する複数の画素ライン群（複数束ねた画素ライン群）を画素ライン群ファミリーと定義する。画素ライン群ファミリーの数は２以上であり、本実施形態では、３つの画素ライン群ファミリー（第１〜第３画素ライン群ファミリーＬＧＦ１〜ＬＧＦ３）を有する。画素ライン群ファミリーが有する画素ライン群の数は、画素ライン群ファミリーに対応する画像上でフリッカノイズによる暗い部分と明るい部分がそれぞれ少なくとも２カ所以上存在するような値に決定され、具体的には、フリッカノイズの元となる蛍光灯の周波数、ＣＭＯＳイメージセンサ１０の読み出し速度から算出される。
【００２３】
第１〜第３画素ライン群ファミリーＬＧＦ１〜ＬＧＦ３それぞれが有する画素ライン群の数は同じである。第１画素ライン群ファミリーＬＧＦ１は、第１〜第２５画素ライン群ＬＧ１〜ＬＧ２５を有し、第２画素ライン群ファミリーＬＧＦ２は、第５〜第２９画素ライン群ＬＧ５〜ＬＧ２９を有し、第３画素ライン群ファミリーＬＧＦ３は第１０７〜第１３１画素ライン群ＬＧ１０７〜ＬＧ１３１を有する（図３参照）。
【００２４】
最大値検出部３２ａは、第１画素ライン群ファミリーＬＧＦ１内の画素ライン群それぞれにおける加算値の中で最も大きい加算値と次に大きい加算値を検出する。最大値検出部３２ａは、最も大きい加算値を有する画素ライン群の位置と、次に大きい加算値を有する画素ライン群の第１距離を演算し、これをフリッカノイズの周期の候補（第１周期候補ｃ１）とする（図５参照）。
【００２５】
最大値検出部３２ａは、第２、第３画素ライン群ファミリーＬＧＦ２、ＬＧＦ３の中でも同様に最も大きい加算値と、次に大きい加算値を検出し、これらからフリッカノイズの周期の候補（第２、第３周期候補ｃ２、ｃ３）を求める。
【００２６】
最小値検出部３２ｂは、第１画素ライン群ファミリーＬＧＦ１内の画素ライン群それぞれにおける加算値の中で最も小さい加算値と次に小さい加算値を検出する。最小値検出部３２ｂは、最も小さい加算値を有する画素ライン群の位置と、次に小さい加算値を有する画素ライン群の第２距離を演算し、これをフリッカノイズの周期の候補（第４周期候補ｃ４）とする。
【００２７】
最小値検出部３２ｂは、第２、第３画素ライン群ファミリーＬＧＦ２、ＬＧＦ３の中でも同様に最も小さい加算値と、次に小さい加算値を検出し、これらからフリッカノイズの周期の候補（第５、第６周期候補ｃ５、ｃ６）を求める。
【００２８】
並べ替え部３２ｃは、第１〜第６周期候補ｃ１〜ｃ６を値の大きい順に並べ替え、最も大きい周期候補と、最も小さい周期候補を除いた中間の４つの周期候補を抽出し、これらの平均値を演算する。この平均値をフリッカノイズの周期Ｃとする。フリッカノイズの周期Ｃの演算結果は、補正量演算部３３に出力される。
【００２９】
最も大きい周期候補や最も小さい周期候補を除いて平均値演算するのは、周期の値として適当でない誤差の大きい値を除いて平均値を求めるためである。本実施形態では、３つの画素ライン群ファミリーを使って周期候補演算を行ったが、さらに多くの画素ライン群ファミリーを使って周期候補演算を行い、周期候補の値のうち、並べ替えにより中間の順位に近い周期候補だけを使って平均値演算を行うと、より精度の高い周期演算が可能になる。
【００３０】
補正量演算部３３は、画素ライン群の加算値に対する輝度補正量を演算する（図６参照）。補正量演算部３３は、周期カウント部３３ａ、輝度平均値演算部３３ｂ、及び除算部３３ｃとを有する。
【００３１】
補正量演算部３３は、注目する画素ライン群を含み、周期Ｃと同じ幅を持つ画素ライン群の集合体の中で、加算値の平均値を求める。例えば、第１２８画素ライン群ＬＧ１２８を含み、周期Ｃと同じ幅に含まれる画素ライン群の集合体の中で、加算値の平均値を求める（図３参照）。加算値の平均値を、注目する画素ライン群の加算値で除算したものを輝度補正量とする。輝度補正量の演算は、総ての画素ライン群において行う。
【００３２】
周期カウント部３３ａは、周期Ｃに関する情報を周期検知部３２から受け、タイミングジェネレータ５０からの同期信号に基づいて、注目する画素ライン群を含む画素ライン群の集合体の幅が、周期Ｃと同じ長さになるように調整する（図６参照）。画素ライン群の集合体の幅は、画素ライン群の集合体の、画素ラインが並べられる方向の長さである。輝度平均値演算部３３ｂは、注目する画素ライン群を含む画素ライン群の集合体における加算値の平均値を演算する。除算部３３ｃは、輝度平均値演算部３３ｂで求めた平均値を、注目する画素ライン群の加算値で除算する。
【００３３】
除算した演算結果（輝度補正量）は、画素演算部３４に出力される。周期カウント部３３ａ、輝度平均値演算部３３ｂ、除算部３３ｃにおける輝度補正量を求める演算は、総ての画素ライン群（第１〜第１３１画素ライン群ＬＧ１〜ＬＧ１３１）について行われる。
【００３４】
画素演算部３４は、補正部３４ａを有し、画素ライン群毎に演算された輝度補正量に基づいて、画素ライン群の各画素から得られた画像信号（電気信号）について輝度補正を行う（図７参照）。補正部３４ａは、ＡＤＣ２０からのデジタル信号（画像信号）について、補正量演算部３３からの輝度補正量を乗算する。すなわち、注目する画素ライン群の総ての画素からの画像信号それぞれに、注目する画素ライン群の輝度補正量を乗算する。補正部３４ａによる演算は、総ての画素ライン群（第１〜第１３１画素ライン群ＬＧ１〜ＬＧ１３１）について行われ、画素ライン群を構成する画素から得られた画像信号総てについて行われる。
【００３５】
注目する画素ライン群の加算値が平均値よりも大きい場合は、注目する画素ライン群の画像がフリッカノイズによって明るくなったとして、輝度補正量だけ暗くする補正を行う。注目する画素ライン群の加算値が平均値よりも小さい場合は、注目する画素ライン群の画像がフリッカノイズによって暗くなったとして、輝度補正量だけ明るくする補正を行う。注目する画素ライン群の加算値と平均値が同じ場合は、注目する画素ライン群の画像がフリッカノイズによる影響を受けていないとして、輝度補正を行わない。
【００３６】
ＣＭＯＳイメージセンサ１０は、画素ライン毎に異なる露光タイミングで露光が行われるロータリーシャッタを有する。蛍光灯が点灯されている条件下で撮影が行われた場合には、第１画素ラインＬ１について露光されている時と、第２画素ラインＬ２について露光されている時とで、蛍光灯の明るさが異なる。蛍光灯は、１秒間に、点灯周波数（日本では５０Ｈｚ又は６０Ｈｚ）の逆数の２倍の回数だけ明るい状態と暗い状態が切り替わる。蛍光灯の明るさが変化することで、第１画素ラインＬ１で撮像されて得られた画像と、第２画素ラインＬ２で撮像されて得られた画像との間に被写体像に関係のない明暗の差が生じる。総ての画素ラインで考えると、第１画素ラインＬ１において露光開始された時間から、第２６２０画素ラインＬ２６２０において露光終了された時間までの間に、蛍光灯が点滅した回数だけ画像に明暗の縞模様が生じる。例えば、５０Ｈｚの周波数で１秒間に１００回点滅を繰り返す蛍光灯下で撮像した場合であって、１フレームの読み出し速度（第１画素ラインＬ１において電荷読み出しが開始されてから、第２６２０画素ラインＬ２６２０において電荷読み出しが終了されるまでの速度）が６６ｍｓである場合、画像上に被写体像と関係のない６〜７本の明暗の縞模様が写り込む。
【００３７】
本実施形態では、撮像により得られた画像信号の中から輝度情報を抽出し、輝度の強弱から明暗の縞模様の周期と、輝度補正量を演算し、明暗の縞模様の存在を低減するので、このような縞模様の写り込みを少なくすることが可能になる。
【００３８】
本実施形態における、縞模様の低減処理においては、撮像されたフレームの画像情報のみから行われ、前後のフレームの情報を用いないで行うことが出来るので、処理速度を早くすることが可能になる。
【００３９】
また、輝度情報を得るための加算値の演算において、画素ライン群の中からランダムに抽出された画素の情報を用いるので、フリッカノイズが生じる画像上の場所に影響されず正しく縞模様の写り込みを少なくすることが可能になる。
【図面の簡単な説明】
【００４０】
【図１】本実施形態における撮像装置の構成図である。
【図２】ＣＭＯＳイメージセンサの画素ラインと画素ライン群との関係を示す構成図である。
【図３】ＣＭＯＳイメージセンサの画素ライン群と画素ライン群ファミリーとの関係を示す構成図である。
【図４】サンプリング加算部の詳細を示す構成図である。
【図５】周期検知部の詳細を示す構成図である。
【図６】補正量演算部の詳細を示す構成図である。
【図７】画素演算部の詳細を示す構成図である。
【符号の説明】
【００４１】
１  撮像装置
１０  ＣＭＯＳイメージセンサ
２０  ＡＤＣ
３０  フリッカノイズ除去部
３１  サンプリング加算部
３１ａ  加算器
３１ｂ  ラインカウント部
３１ｃ  サンプリング数カウント部
３２  周期検知部
３２ａ  最大値検出部
３２ｂ  最小値検出部
３２ｃ  並べ替え部
３３  補正量演算部
３３ａ  周期カウント部
３３ｂ  輝度平均値演算部
３３ｃ  除算部
３４  画素演算部
３４ａ  補正部
４０  画像処理部
５０  タイミングジェネレータ
Ｃ  周期
Ｌ１〜Ｌ２６２０  第１〜第２６２０画素ライン
ＬＧ１〜ＬＧ１３１  第１〜第１３１画素ライン群
ＬＧＦ１〜ＬＧＦ３  第１〜第３画素ライン群ファミリー
【図１】
0004515991.tif 000002
【図２】
0004515991.tif 000003
【図３】
0004515991.tif 000004
【図４】
0004515991.tif 000005
【図５】
0004515991.tif 000006
【図６】
0004515991.tif 000007
【図７】
0004515991.tif 000008