(57)【要約】【課題】  本発明は、フリッカ成分が画像内で異なる場合や、垂直方向の信号強度分布にフリッカ以外の変動成分が含まれる場合でも、精度良くフリッカ成分を補正する。【解決手段】  １フレームの画像信号に対し、複数のフリッカ検出枠を設定し、フリッカ検出枠ごとにフリッカ成分を検出する。そして、フリッカモデルとの相関の程度に基づいて、フリッカ検出枠ごとのフリッカ成分の信頼性を評価する。信頼性の評価が低い領域については、異なるフリッカモデルを用いて再度信頼性の評価を再帰的に行う。そして、最終的に信頼性の高い領域のフリッカ成分を用いて生成したフリッカ成分から補正値を生成し、画像信号に適用してフリッカ成分の補正を行う。【選択図】  図１
2009038669.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、
前記画像信号の１フレームを、少なくとも水平方向において複数のフリッカ検出枠に分割する分割手段と、
前記複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出手段と、
前記複数のフリッカ検出枠のうち、前記フリッカ検出手段が検出したフリッカ成分の評価を行うべきものを決定する決定手段と、
前記決定手段が決定したフリッカ検出枠で前記フリッカ検出手段が検出したフリッカ成分の信頼性の高さを、フリッカモデルとの相関の程度によって評価する評価手段と、
前記複数のフリッカ検出枠の各々を、前記評価手段による評価の結果に基づき、フリッカ成分の信頼性が高いフリッカ検出枠からなる高信頼性フリッカ領域と、フリッカ成分の信頼性が低いフリッカ検出枠からなる低信頼性フリッカ領域とに分類する分類手段と、
前記高信頼性フリッカ領域に含まれるフリッカ検出枠から前記フリッカ検出手段が検出したフリッカ成分に基づいて、当該フリッカ成分を補正するための補正値を生成する補正値生成手段と、
前記補正値生成手段が生成した補正値を用いて、前記画像信号のフリッカ成分を補正する補正手段と、
前記低信頼性フリッカ領域に含まれるフリッカ検出枠のフリッカ成分の信頼性を、異なるフリッカモデルを用いて前記評価手段に再評価させ、前記再評価の結果に基づき、前記再評価を行ったフリッカ検出枠の分類を前記分類手段により更新させる一連の処理を、前記画像信号の１フレームに対して再帰的に実行するように前記決定手段、前記評価手段及び前記分類手段を制御する制御手段とを有することを特徴とするフリッカ補正装置。
【請求項２】
前記分類手段による分類結果を記憶する記憶手段をさらに有し、
前記補正値生成手段が、前記記憶手段に記憶された分類結果を参照して、前記高信頼性フリッカ領域に含まれるフリッカ検出枠で検出されたフリッカ成分から生成したフリッカ成分を前記低信頼性フリッカ領域に含まれるフリッカ検出枠で検出されたフリッカ成分として用いて前記補正値を生成することを特徴とする請求項１記載のフリッカ補正装置。
【請求項３】
さらに、前記決定手段が決定したフリッカ検出枠で検出されたフリッカ成分に基づいて前記フリッカモデルを生成するモデル生成手段を有し、
前記評価手段が、前記モデル生成手段が生成したフリッカモデルを用いて前記評価を行うことを特徴とする請求項１又は請求項２記載のフリッカ補正装置。
【請求項４】
前記制御手段が、前記複数のフリッカ検出枠のうち、前記フリッカ検出手段が検出したフリッカ成分の評価を行うべきものがなくなるか、前記一連の処理を前記画像信号の１フレームについて実行した回数が予め定めた回数に達するまで、前記一連の処理を再帰的に実行するように前記決定手段、前記評価手段及び前記分類手段を制御することを特徴とする請求項１乃至請求項３のいずれか１項に記載のフリッカ補正装置。
【請求項５】
撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、
前記画像信号の１フレームを、少なくとも水平方向において複数のフリッカ検出枠に分割する分割工程と、
前記複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出工程と、
前記複数のフリッカ検出枠のうち、前記フリッカ検出工程が検出したフリッカ成分の評価を行うべきものを決定する決定工程と、
前記決定工程で決定されたフリッカ検出枠で前記フリッカ検出工程が検出したフリッカ成分の信頼性の高さを、フリッカモデルとの相関の程度によって評価する評価工程と、
前記複数のフリッカ検出枠の各々を、前記評価工程による評価の結果に基づき、フリッカ成分の信頼性が高いフリッカ検出枠からなる高信頼性フリッカ領域と、フリッカ成分の信頼性が低いフリッカ検出枠からなる低信頼性フリッカ領域とに分類する分類工程と、
前記高信頼性フリッカ領域に含まれるフリッカ検出枠から前記フリッカ検出工程によって検出されたフリッカ成分に基づいて、当該フリッカ成分を補正するための補正値を生成する補正値生成工程と、
前記補正値生成工程によって生成された補正値を用いて、前記画像信号のフリッカ成分を補正する補正工程と、
前記画像信号の１フレームに対して前記決定工程、前記評価工程及び前記分類工程を再帰的に実行させて、前記低信頼性フリッカ領域に含まれるフリッカ検出枠のフリッカ成分の信頼性を、異なるフリッカモデルを用いて再評価し、前記再評価の結果に基づき、前記再評価を行ったフリッカ検出枠の分類を更新させる制御工程とを有することを特徴とするフリッカ補正方法。
【請求項６】
コンピュータを、請求項１乃至請求項４のいずれか１項に記載のフリッカ補正装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はフリッカ補正装置及びフリッカ補正方法に関し、特には、撮像素子を用いて撮像された画像中のフリッカ成分を補正するフリッカ補正装置及びフリッカ補正方法に関する。
【背景技術】
【０００２】
ＣＭＯＳイメージセンサに代表されるＸＹアドレス方式の固体撮像素子を用いた撮像装置において、蛍光灯照明下の被写体を動画撮影する場合、撮像画像に例えば図１１に示すように垂直方向の周期的な明暗が現れることがある。この現象は蛍光灯フリッカと呼ばれ、商用電源周波数と撮像装置の垂直同期周波数との違いによるものである。
【０００３】
そこで、従来、垂直方向の周期的な信号レベルの変動成分（以下フリッカ成分と呼ぶ）を検出し、その逆ゲインを乗算することでフリッカ成分の検出と補正を行う技術がある（特許文献１参照）。
【０００４】
【特許文献１】特開平１１−１２２５１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１記載の方法では、現フレームまたは現フィールドの画像信号を水平方向に積分した垂直方向の強度分布を、過去の複数フレームまたは複数フィールド分の垂直方向の強度分布で除算し、画面の垂直方向におけるフリッカ成分を検出している。そのため、フリッカ成分が画面の左右で異なっている場合に、正確にフリッカ成分を検出（及び補正）することができないという問題がある。この問題は、例えば図１２に示す、被写体の左側は蛍光灯により照らされ、右側は太陽光に照らされているような場合に発生しうる。
【０００６】
図１３は、被写体について得られた直近３フレーム分の画像信号と、この画像信号のうち過去の２フレームから求めた垂直方向の強度分布、現フレームの垂直強度分布、及び、これら２つの強度分布を除算して求めたフリッカ成分を示している。
そして、図１３（ａ）は被写体が静止している場合を、（ｂ）は、被写体が３フレーム目（現フレーム）で動いた場合をそれぞれ示している。
【０００７】
特許文献１記載の技術では、図１３の（ａ）に示すように被写体が静止している場合は、正確にフリッカ成分を検出することができる。しかし、図１３の（ｂ）のように被写体が動いて現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合には、被写体の動き成分によって、画像信号の垂直方向の強度分布が乱れ、正確にフリッカ成分を検出できない。
【０００８】
本発明はこのような従来技術の問題点に鑑みなされたものである。本発明は、フリッカ成分が画像内で異なる場合や、垂直方向の信号強度分布にフリッカ以外の変動成分が含まれる場合でも、精度良くフリッカ成分を補正するフリッカ補正装置及びフリッカ補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の目的は、撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、画像信号の１フレームを、少なくとも水平方向において複数のフリッカ検出枠に分割する分割手段と、複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出手段と、複数のフリッカ検出枠のうち、フリッカ検出手段が検出したフリッカ成分の評価を行うべきものを決定する決定手段と、決定手段が決定したフリッカ検出枠でフリッカ検出手段が検出したフリッカ成分の信頼性の高さを、フリッカモデルとの相関の程度によって評価する評価手段と、複数のフリッカ検出枠の各々を、評価手段による評価の結果に基づき、フリッカ成分の信頼性が高いフリッカ検出枠からなる高信頼性フリッカ領域と、フリッカ成分の信頼性が低いフリッカ検出枠からなる低信頼性フリッカ領域とに分類する分類手段と、高信頼性フリッカ領域に含まれるフリッカ検出枠からフリッカ検出手段が検出したフリッカ成分に基づいて、当フリッカ成分を補正するための補正値を生成する補正値生成手段と、補正値生成手段が生成した補正値を用いて、画像信号のフリッカ成分を補正する補正手段と、低信頼性フリッカ領域に含まれるフリッカ検出枠のフリッカ成分の信頼性を、異なるフリッカモデルを用いて評価手段に再評価させ、再評価の結果に基づき、再評価を行ったフリッカ検出枠の分類を分類手段により更新させる一連の処理を、画像信号の１フレームに対して再帰的に実行するように決定手段、評価手段及び分類手段を制御する制御手段とを有することを特徴とするフリッカ補正装置によって達成される。
【００１０】
また、上述の目的は、撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、画像信号の１フレームを、少なくとも水平方向において複数のフリッカ検出枠に分割する分割工程と、複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出工程と、複数のフリッカ検出枠のうち、フリッカ検出工程が検出したフリッカ成分の評価を行うべきものを決定する決定工程と、決定工程で決定されたフリッカ検出枠でフリッカ検出工程が検出したフリッカ成分の信頼性の高さを、フリッカモデルとの相関の程度によって評価する評価工程と、複数のフリッカ検出枠の各々を、評価工程による評価の結果に基づき、フリッカ成分の信頼性が高いフリッカ検出枠からなる高信頼性フリッカ領域と、フリッカ成分の信頼性が低いフリッカ検出枠からなる低信頼性フリッカ領域とに分類する分類工程と、高信頼性フリッカ領域に含まれるフリッカ検出枠からフリッカ検出工程によって検出されたフリッカ成分に基づいて、当フリッカ成分を補正するための補正値を生成する補正値生成工程と、補正値生成工程によって生成された補正値を用いて、画像信号のフリッカ成分を補正する補正工程と、画像信号の１フレームに対して決定工程、評価工程及び分類工程を再帰的に実行させて、低信頼性フリッカ領域に含まれるフリッカ検出枠のフリッカ成分の信頼性を、異なるフリッカモデルを用いて再評価し、再評価の結果に基づき、再評価を行ったフリッカ検出枠の分類を更新させる制御工程とを有することを特徴とするフリッカ補正方法によっても達成される。
【発明の効果】
【００１１】
このような構成により、本発明によれば、フリッカ成分が画像内で異なる場合や、垂直方向の信号強度分布にフリッカ以外の変動成分が含まれる場合でも、精度良くフリッカ成分を補正することができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図１は、本発明の実施形態に係るフリッカ補正装置の構成例を示すブロック図である。
フリッカ検出部１は、入力された画像信号において、フリッカによる信号レベルの変動成分が、画面内でどのように分布しているかを検出する。第１記憶部２は、入力画像信号を１フレーム分記憶する。フリッカ補正値生成部３は、フリッカ検出部１の出力に基づき、フリッカによる信号レベルの変動成分を補正するための補正値を生成する。乗算器４は、第１の記憶部２から読み出された入力画像信号に、フリッカ補正値生成部３で生成されたフリッカ補正値を乗じて、フリッカによる信号レベルの変動成分を補正する補正手段として機能する。システム制御部５は、フリッカ補正装置全体を制御する。
【００１３】
フリッカ検出部１は、フリッカ成分検出部１０、評価領域決定部１１、フリッカモデル生成部１２、フリッカ成分評価部１３、分類部１４、第２の記憶部１５、第３の記憶部１６、から構成され、その動作はシステム制御部５によって制御されている。
【００１４】
（フリッカ検出部１の構成）
次に、フリッカ検出部１に含まれる各構成要件について説明する。
図９は、フリッカ成分検出部１０の構成例を示すブロック図である。
図９において、ブロック分割部１００は、フリッカ成分の検出を行う領域（フリッカ検出枠）を、１画面（１フレーム）分の画像信号に対して水平方向および垂直方向に設定する。本実施形態において、ブロック分割部１００は、図３に示すように、水平方向にＭ個、垂直方向にＮ個のＭ×Ｍ個のフリッカ検出枠を設定するものとする。なお、フリッカ検出枠は、少なくとも水平方向に複数存在すればよく、垂直方向での分割は必須ではない。
【００１５】
加算平均部１０１は、現フレームについてブロック分割部１００が設定したフリッカ検出枠の各々について、画素の輝度レベルの平均値を算出する。また、引算器１０２、乗算器１０３、加算器１０４およびメモリ１０５は、以下に示す演算を行うことで、いわゆる巡回型ローパスフィルタ１１０を形成している。
【００１６】
【数１】
2009038669.tif 000003
【００１７】
ここで、aveは加算平均部１０１の出力を示し、moutはメモリ１０５からの出力を示す。memは加算器１０４からの出力を示し、メモリ１０５に新しく記憶される値を示す。また、kは巡回型ローパスフィルタ１１０のフィルタ係数である。巡回型ローパスフィルタ１１０により、フリッカ検出枠ごとに、過去の数フレーム分の入力画像を参照し、時間方向の定常的な信号成分を抽出する。
【００１８】
除算器１０６は、メモリ１０５から出力される、入力画像の時間方向の定常的な信号成分を、加算平均部１０１から出力される現フレームの平均レベルで除算することによってフリッカ検出枠ごとのフリッカ成分（入力画像信号のレベル変動成分）を算出する。
【００１９】
以上の処理を、ブロック分割部１００で設定された全てのフリッカ検出枠について行うことにより、現フレームに対してＭ×Ｎ個のフリッカ成分を検出する。検出したＭ×Ｎ個のフリッカ成分は、第２の記憶部１５に格納する。
【００２０】
フリッカモデル生成部１２は、各フリッカ検出枠のフリッカ成分の信頼性を評価するために用いる、フリッカモデルを生成する。ここで、フリッカモデルとは、“ある特定のフリッカの状態を示す、垂直方向の信号レベルの変動特性”であり、例えば、垂直方向に、ある特定の振幅、周波数、位相を持つsin波で近似された変動特性を示すデータである。
【００２１】
フリッカ成分評価部１３は、Ｍ×Ｎ個のフリッカ検出枠に対応したフリッカ成分を、第２の記憶部１５から読み出し、フリッカモデル生成部１２で生成されたフリッカモデルを参照して、フリッカ検出枠ごとに、検出されたフリッカ成分の信頼性を評価する。例えば、フリッカ検出枠ごとに、フリッカ成分検出部１０で検出されたフリッカ成分と、フリッカモデル生成部１２で生成されたフリッカモデルとの差分をとり、この差分値を、そのフリッカ検出枠における、フリッカ成分の信頼性として出力する。
【００２２】
ここで、フリッカ成分とフリッカモデルとの差分が小さいほど、そのフリッカ検出枠には、フリッカによる変動成分が多く含まれていて、フリッカ成分としての信頼性が高いことを示す。一方、差分が大きいほど、そのフリッカ検出枠には、フリッカ以外の要因による変動成分が多く含まれていて、フリッカ成分としての信頼性が低いことを示す。
【００２３】
分類部１４は、フリッカ成分評価部１３の出力を参照して、１フレーム（１画面）分の画像信号を、
・フリッカ成分の信頼性が高いフリッカ検出枠が集まっている領域（以下、高信頼性フリッカ領域）と、
・フリッカ成分の信頼性が低いフリッカ検出枠が集まっている領域（以下、低信頼性フリッカ領域）とに分類する。
【００２４】
例えば、フリッカ成分検出部１０で検出されたフリッカ成分と、フリッカモデル生成部１２で生成されたフリッカモデルとの差分が、フリッカモデルの最大振幅の１０％よりも大きいフリッカ検出枠からなる領域は、低信頼性フリッカ領域として分類する。
【００２５】
そして、分類部１４は、低信頼性フリッカ領域情報と、ブロック属性情報を生成し、第３の記憶部１６に記憶する。
低信頼性フリッカ領域情報は、低信頼性フリッカ領域が、現フレーム内に何個分布しており、それぞれ、どのような大きさと位置で分布しているかを示す情報である。本実施形態では、低信頼性フリッカ領域の面積は、その領域に含まれるフリッカ検出枠の個数で示し、低信頼性フリッカ領域の位置は、その領域の中心位置のアドレス（ｘ，ｙ）（０≦ｘ≦Ｍ，０≦ｙ≦Ｎ）で表す。なお、領域の中心位置はフリッカ検出枠のアドレスと異なり、整数で無くても良い。
また、ブロック属性情報は、各フリッカ検出枠が、どのフリッカ領域に含まれているかを示す情報である。
【００２６】
本実施形態において、分類部１４は、高信頼性フリッカ領域に含まれるフリッカ検出枠には、それぞれ、その領域のフリッカ成分と相関が高いと判定されたフリッカモデルのモデル識別ＩＤを、ブロック属性情報として設定する。また、分類部１４は、低信頼性フリッカ領域に含まれるフリッカ検出枠には、それぞれ、その低信頼性フリッカ領域に設定した領域識別ＩＤを、ブロック属性情報として設定する。
【００２７】
ここで、図４〜図６を参照して、分類部１４が生成する低信頼性フリッカ領域情報と、ブロック属性情報の具体例を説明する。
図４は、フリッカモデル生成部１２が生成した例示的なフリッカモデルＭａの特性を示す図である。フリッカモデルＭａは、例えば、あるフレームについて、フリッカ検出枠ごとに求められたフリッカ成分を、水平方向に平均化して求めたものであってよい。
【００２８】
図５は、１フレーム分の画像信号に設定された各フリッカ検出枠で検出されたフリッカ成分と、図４に示すフリッカモデルＭａとの差分をフリッカ成分評価部１３で算出した結果に基づき、分類部１４がフリッカ検出枠を分類した結果を示す図である。
【００２９】
図５において白色で示されるフリッカ検出枠は、差分が所定値より小さい、すなわち検出されたフリッカ成分とフリッカモデルＭａとの相関が高く、フリッカ成分の信頼性が高いと判定される領域（高信頼性フリッカ領域）を構成する。一方、黒色で示されるフリッカ検出枠は、差分が所定値以上、すなわち検出されたフリッカ成分とフリッカモデルＭａとの相関が低く、フリッカ成分の信頼性が低いと判定される領域（低信頼性フリッカ領域）を構成する。
【００３０】
信頼性の評価結果が図５に示すように分類された場合、分類部１４が生成する低信頼性フリッカ領域情報は、以下のようになる。
低信頼性フリッカ領域数：３
低信頼性フリッカ領域１（領域識別ＩＤ＝１、面積＝６、位置＝（1.5，5））
低信頼性フリッカ領域２（領域識別ＩＤ＝２、面積＝１２、位置＝（8，3.5））
低信頼性フリッカ領域３（領域識別ＩＤ＝３、面積＝２０、位置＝（14.5，6））
【００３１】
同様に、分類部１４が各フリッカ検出枠に付与するブロック属性情報は、図６のようになる。
図６に示すように、分類部１４は、低信頼性フリッカ領域に含まれるフリッカ検出枠に対しては、フリッカ検出枠を含む低信頼性フリッカ領域の領域識別ＩＤを、ブロック属性情報として付与する。
【００３２】
また、図６において、斜線を付した、フリッカモデルＭａとの相関が高い高信頼性フリッカ領域に含まれるフリッカ検出枠については、分類部１４は相関の高いフリッカモデルのモデル識別ＩＤ＝Ｍａを付与する。
【００３３】
第３の記憶部１６は、分類部１４から出力される、低信頼性フリッカ領域情報及びブロック属性情報を記憶する。第３の記憶部１６に記憶された低信頼性フリッカ領域情報と、ブロック属性情報は、フリッカ補正値生成部３および評価領域決定部１１によって参照される。
【００３４】
評価領域決定部１１は、第３の記憶部１６から読み出した低信頼性フリッカ領域情報及びブロック属性情報と、システム制御部５からの制御信号に基づいて、フリッカ成分評価部１３およびフリッカモデル生成部１２が参照するフリッカ検出枠を決定する。
【００３５】
以上の構成要件を含む本実施形態のフリッカ検出部１の特徴は、フリッカ検出の精度を高めるために、評価領域決定部１１、フリッカモデル生成部１２、フリッカ成分評価部１３、分類部１４での処理を、再帰的に行うことである。
【００３６】
そのため、システム制御部５は、評価領域決定部１１、フリッカモデル生成部１２、フリッカ成分評価部１３、分類部１４での一連の処理を再帰的に行った回数（以下再帰回数と表記）をカウントする再帰回数カウンタ５１を有する。そして、その再帰回数に基づいて、フリッカ検出部１での処理を制御している。具体的には、再帰回数カウンタ５１の値が、所定の値に達したか、または、フリッカ成分の信頼性に基づいた分類結果が、所定の状態に達した場合に、フリッカ検出部１での処理を終了させる。
【００３７】
（フリッカ検出部１の動作）
図２に示すフローチャートを参照して、本実施形態のフリッカ検出部１の動作についてさらに説明する。
本実施形態のフリッカ検出部１は、図２に示す処理を、入力画像信号の単位映像期間（１フレームの期間）に実行する。
【００３８】
Ｓ１００１では、システム制御部５において、上述した再帰回数を保持する再帰回数カウンタ５１と、第３の記憶部１６の記憶領域の値を０（初期状態）にリセットする。
【００３９】
Ｓ１００２では、フリッカ成分検出部１０において、入力画像信号の１フレーム分の領域を、図３に示すような、水平方向および垂直方向のＭ×Ｎ個のフリッカ検出枠に分割して、フリッカ検出枠ごとにフリッカ成分を検出し、第２の記憶部１５に格納する。
【００４０】
Ｓ１００３では、評価領域決定部１１において、全てのフリッカ検出枠を評価対象領域として設定する。このステップは、現フレームの画像信号において検出されたフリッカ成分に対して、１回目の評価、分類を行うときにのみ適用される。
【００４１】
Ｓ１００４では、フリッカモデル生成部１２において、評価対象領域で検出されたフリッカ成分を用いてフリッカモデルを生成する。ここで生成したフリッカモデルは、各フリッカ検出枠で検出されたフリッカ成分の信頼性を評価するために用いられる。
【００４２】
Ｓ１００５では、フリッカ成分評価部１３において、評価対象領域のフリッカ検出枠で検出されたフリッカ成分と、Ｓ１００４で生成されたフリッカモデルとの相関の程度を求め、相関の大きさによって、フリッカ成分の信頼性を評価する。本実施形態では、上述したように、相関の程度により、信頼性が高いか、信頼性が低いか、のいずれであるかを評価する。
【００４３】
Ｓ１００６では、Ｓ１００５で評価されたフリッカ成分の信頼性に基づいて、分類部１４において低信頼性フリッカ領域情報とブロック属性情報を生成し、第３の記憶部１６に格納する。
【００４４】
これにより、
・評価対象領域の決定、
・評価対象領域において支配的なフリッカの状態を示すフリッカモデルの生成、
・フリッカモデルと各フリッカ検出枠で検出されたフリッカ成分との相関の程度に基づく、現フレームの入力画像信号に対するフリッカ成分の信頼性評価、
・信頼性評価結果に基づくフリッカ検出枠の分類、
という、評価領域決定部１１、フリッカモデル生成部１２、フリッカ成分評価部１３、分類部１４での一連の処理（フリッカ検出単位処理）の１回分が終了する。
【００４５】
この後、現フレームの入力画像信号に対して再帰的にフリッカ検出単位処理を行うか、現フレームの入力画像信号に対するフリッカ成分検出処理を終了するかは、Ｓ１００７、Ｓ１００９、Ｓ１０１０での判定結果に基づいて決定される。
【００４６】
Ｓ１００７では、システム制御部５において、第３の記憶部１６から読み出した低信頼性フリッカ領域情報を参照し、フリッカ検出単位を再帰的に行うか否かを決定する。この判定の基準は、例えば、現フレーム内に、低信頼性フリッカ領域があるか否かであってよい。低信頼性フリッカ領域がある場合には、低信頼性フリッカ領域に対して、フリッカ成分の再評価、再分類を行うため、システム制御部５は、Ｓ１００８で再帰回数カウンタ５１の値を１増やした後、処理をＳ１００９に進める。一方、低信頼性フリッカ領域がない場合には、現フレームの全てのフリッカ検出枠で信頼性の高いフリッカ成分が検出されたとみなせるので、システム制御部５は単位映像期間におけるフリッカ検出部１での処理を終了させる。
【００４７】
Ｓ１００９では、現フレームに低信頼性フリッカ領域が残存していても、単位映像期間で可能な処理回数を超える場合には、再帰処理を行わないようにするための判定処理を行う。システム制御部５は、再帰回数カウンタ５１の値が、所定の値Ｎ＿ｍａｘに達したかを判定する。ここで、所定の値Ｎ＿ｍａｘは、単位映像期間（１フレームの期間）内で処理可能な、最大の処理回数を表す値であり、フリッカ検出部１の処理能力や１フレームの画素数などに応じて予め定めておく。
【００４８】
再帰回数カウンタ５１の値がＮ＿ｍａｘに達していない場合、システム制御部５は処理をＳ１０１０に進める。一方、再帰回数カウンタ５１の値が、Ｎ＿ｍａｘに達した場合、システム制御部５は、単位映像期間におけるフリッカ検出部１での処理を終了させる。
【００４９】
Ｓ１０１０で、システム制御部５は、第３の記憶部１６から読み出した低信頼性フリッカ領域情報を参照し、現フレームに存在する低信頼性フリッカ領域が、評価対象となりうるか否かを判定する。これは、低信頼性フリッカ領域に対して、再帰的な評価、分類を繰り返すと、低信頼性領域の分布領域の大きさが、次第に小さくなっていき、垂直方向の分布特性が、正しく評価できなくなるためである。そのため、本実施形態では、低信頼性フリッカ領域が残存しており、かつ、その時点での再帰処理回数がＮ＿ｍａｘに達していない場合でも、低信頼性フリッカ領域の分布状態によって、処理を打ち切る。
【００５０】
具体的には、システム制御部５は、低信頼性フリッカ領域のうち、フレームの垂直方向に最も広く分布している低信頼性フリッカ領域を選択する。そして、システム制御部５は、選択した低信頼性領域の垂直方向の長さが、所定の閾値Th_vよりも長い場合には、評価対象となる低信頼性フリッカ領域が存在すると判定し、処理をＳ１０１１に進める。
【００５１】
一方、現フレーム内で垂直方向に最も広く分布している低信頼性フリッカ領域の垂直方向の長さが、所定の閾値Th_v以下である場合、システム制御部５は、評価対象となる低信頼性フリッカ領域は存在しないと判定し、フリッカ検出処理を終了させる。
【００５２】
このように、Ｓ１００７〜Ｓ１０１０において、システム制御部５は、現フレームの画像信号に対し、フリッカ検出単位処理を繰り返し実行するか（再帰的に実行するか）否かを判定する。
【００５３】
そして、フリッカ検出単位処理を再帰的に実行すると判定された場合には、以下のＳ１０１１〜Ｓ１０１５において、どの低信頼性フリッカ領域に対してフリッカ成分の評価、分類を行うかの決定及び、フリッカ成分の評価に用いるフリッカモデルを決定する。
【００５４】
評価領域決定部１１は、第３の記憶部１６から読み出した低信頼性フリッカ領域情報を参照し、フリッカ検出単位処理を適用する低信頼性フリッカ領域を決定する。この際、低信頼性フリッカ領域の面積、分布位置、識別ＩＤの順に、優先順位をつけて、領域決定を行う。
【００５５】
まず、Ｓ１０１１で、評価領域決定部１１は、現フレームに存在する、最も面積の大きい低信頼性フリッカ領域を選択する。そして、選択した領域の面積と、残りの低信頼性フリッカ領域の各々の面積の差が、いずれも所定の値A_diff以上であるかを判定する。
【００５６】
この条件を満たす場合、選択した低信頼性フリッカ領域は、全ての低信頼性フリッカ領域の中で飛び抜けて面積が大きいとみなせるので、評価領域決定部１１は、最大面積の低信頼性フリッカ領域を、評価対象領域に設定する（Ｓ１０１２）。
【００５７】
一方、最大面積の低信頼性フリッカ領域との面積の差がA_diff未満の低信頼性フリッカ領域が存在し、最大面積の低信頼性フリッカ領域が飛び抜けて大きくはない場合、評価領域決定部１１は、優先順位が次に高い、位置についての評価を行う（Ｓ１０１３）。
【００５８】
Ｓ１０１３で、評価領域決定部１１は、低信頼性フリッカ領域情報を参照し、フレームの中心に最も近い位置に存在する低信頼性フリッカ領域を選択する。そして、選択した低信頼性フリッカ領域とフレーム中心との距離と、他の低信頼性フリッカ領域の各々とフレーム中心との距離との差を求める。
【００５９】
そして、距離の差が、いずれも所定の値D_diff以上である場合、選択した低信頼性フリッカ領域が、フレーム中心に孤立した低信頼性フリッカ領域であるとみなせる。つまり、フレーム中心付近には他の低信頼性フリッカ領域が存在しないとみなせる。そのため、評価領域決定部１１は、フレームの中心に最も近い位置に存在する低信頼性フリッカ領域を評価対象領域に設定する（Ｓ１０１４）。
【００６０】
一方、上述した距離の差がD_diff未満の低信頼性フリッカ領域が存在し、フレームの中心に最も近い低信頼性フリッカ領域が、中央で孤立している訳ではない場合、評価領域決定部１１は、優先順位が次に高い、識別ＩＤについての評価を行う（Ｓ１０１５）。
【００６１】
Ｓ１０１５で、評価領域決定部１１は、低信頼性フリッカ領域のうち、識別ＩＤの値が最も小さいものを、評価対象領域に設定する。Ｓ１０１５で設定が行われるのは、フレーム内に存在する低信頼性フリッカ領域の面積および位置に大きな差（偏り）がなく、特に優先的にフリッカ検出単位処理を適用すべき低信頼性フリッカ領域がない場合である。
【００６２】
Ｓ１０１１〜Ｓ１０１５の処理によって、評価対象領域が決定されると、Ｓ１００４において、フリッカモデル生成部１２が、評価対象領域に設定された低信頼性フリッカ領域のフリッカ成分を用いて、新たなフリッカモデルを生成する。その後、Ｓ１００５において、フリッカ成分評価部１３は、評価対象領域に設定された低信頼性フリッカ領域のフリッカ成分と、Ｓ１００４で生成されたフリッカモデルとの相関の程度を評価する。
【００６３】
Ｓ１００６で、分類部１４は、フリッカ成分評価部１３の評価結果に基づいた分類を行う。そして、評価の結果、今回使用したフリッカモデルと相関が高いフリッカ成分が検出されたフリッカ検出枠について、高信頼性フリッカ領域に分類し直すとともに、ブロック属性情報を、今回参照したフリッカモデルのモデル識別ＩＤに更新する。分類部１４は、分類結果を第３の記憶部１６に記憶する。
【００６４】
この動作について、図を用いて具体的に説明する。
１回目のフリッカ検出単位処理の結果、図６に示すような分類結果が得られたものとする。図６において、低信頼性フリッカ領域に含まれるフリッカ検出枠には、そのフリッカ検出枠が属する低信頼性フリッカ領域の識別ＩＤに等しいブロック属性情報が設定されていることが示されている。
【００６５】
そして、Ｓ１０１０において、低信頼性フリッカ領域３が、垂直方向の分布長さの条件を満たし、かつ、Ｓ１０１１において最大面積の低信頼性フリッカ領域として選択されたものとする。
【００６６】
ここで、A_diff＝８（面積をフリッカ検出枠の数で表した場合）であるとすると、低信頼性フリッカ領域３の面積は、他の低信頼性フリッカ領域１，２の面積よりも８以上大きい。そのため、Ｓ１０１２において、低信頼性フリッカ領域３が、２回目のフリッカ検出単位処理における評価対象領域に設定される。
【００６７】
そして、Ｓ１００４において、フリッカモデル生成部１２は、低信頼性フリッカ領域３で検出されたフリッカ成分から、フリッカモデルＭｂを生成する。フリッカ成分評価部１３は、Ｓ１００５において、低信頼性フリッカ領域３に含まれる各フリッカ検出枠で検出されたフリッカ成分と、フリッカモデルＭｂとの相関を求め、相関の程度によって信頼性評価を行う。
【００６８】
分類部１４が、信頼性評価結果に基づいて、評価対象領域（低信頼性フリッカ領域３）のフリッカ検出枠を、信頼性の高いものと信頼性の低いものに分けた結果を図７に示す。図７において、低信頼性フリッカ領域３のフリッカ検出枠は、４つを除き、フリッカモデルＭｂとの相関が高く、高信頼性フリッカ領域Ｍｂに分類し直されている。この領域に含まれるフリッカ検出枠には、相関の高いフリッカモデルのモデル識別ＩＤ＝Ｍｂが、ブロック属性情報として付与される（図示せず）。
【００６９】
また、図７において、フリッカモデルＭｂを用いた評価でも、相関が低く、フリッカ成分の信頼性が低いと判定された領域は、低信頼性フリッカ領域４、低信頼性フリッカ領域５として抽出されている。これらの領域に含まれるフリッカ検出枠には、それぞれ、領域識別ＩＤ４と５がブロック属性情報として付与されている。
以上のようにして、低信頼性フリッカ領域に含まれるフリッカ検出枠は、新たなフリッカモデルを用いて再帰的に評価され、ブロック属性情報が更新される。
【００７０】
この後、Ｓ１００７〜Ｓ１０１０では、さらに、再帰的な処理を実行するか否かを判定する。フリッカ検出単位処理を再帰的に実行する場合には、再びＳ１０１１〜Ｓ１０１５で、評価対象領域を決定する。フリッカ検出単位処理をこれ以上行わない場合、システム制御部５はフリッカ検出部１での処理を終了させる。
以上のように、低信頼性フリッカ領域でのフリッカ成分の評価、分類を繰り返すことにより、最終的に、単位映像期間でのフリッカ検出部１での処理が終了する。
【００７１】
例えば、１回目の評価、分類により、図６のような分類結果が得られた場合、フリッカ検出単位処理をさらに再帰的に実行した場合、単位映像期間でのフリッカ検出部１での処理終了時点での分類結果は、例えば図８のようになる。
【００７２】
図６の時点では、フリッカモデルＭａとの相関が低く、フリッカとしての信頼性が低いと判定されていたフリッカ検出枠の大部分が、その後の再帰的な処理によって、別のフリッカモデルＭｂ、Ｍｃ、Ｍｄと相関が高いと判定されている。その結果、図８の時点では、高信頼性フリッカ領域として再定義されている。また、図８の時点で、残存している低信頼性フリッカ領域は、どのフリッカモデルとも相関が低かった領域か、または、分布面積が小さくなり、妥当な評価ができなくなった領域か、または、他の低信頼性フリッカ領域と比べて、評価の優先順位が低かった領域である。
【００７３】
本実施形態では、以上のように、フリッカ検出部１において、フリッカ検出枠ごとに検出されたフリッカ成分を、再帰的に評価、分類する。そのため、フリッカ成分が支配的に分布していると思われる高信頼性フリッカ領域と、フリッカ成分に加え、動き等の変動成分が含まれ、フリッカとしての信頼性が低い低信頼性フリッカ領域に分けることができる。そして、後段のフリッカ補正値生成部３では、フリッカ成分を再帰的に評価、分類した結果を参照することにより、高信頼性フリッカ領域と、低信頼性フリッカ領域とで、それぞれに適したフリッカ補正値を生成することができる。
【００７４】
（フリッカ補正値生成部３）
次に、図１０を参照して、本実施形態におけるフリッカ補正値生成部３の構成および動作を説明する。
フリッカ補正値生成部３は、低信頼性フリッカ領域補間部３００、補正特性生成処理部３０１及び補正値平滑化処理部３０２を含む。
【００７５】
低信頼性フリッカ領域補間部３００では、低信頼性フリッカ領域のフリッカ成分を、周囲の高信頼性フリッカ領域のフリッカ成分を用いて補間する。まず、低信頼性フリッカ領域補間部３００は、第３の記憶部１６から、各フリッカ検出枠のブロック属性情報を参照して、低信頼性フリッカ領域に含まれるフリッカ検出枠を検索する。そして、その周囲に分布する高信頼性フリッカ領域のフリッカ検出枠のフリッカ成分を、第２の記憶部１５から読み出し、それらの平均値を、そのフリッカ検出枠のフリッカ成分として、第２の記憶部１５に書き戻す。
【００７６】
例えば、第３の記憶部１６から読み出した、ブロック属性情報が、図８に示すように分布していとする。この場合、低信頼性フリッカ領域４に含まれる、アドレスが（１３，４）、（１４，４）のフリッカ検出枠に対しては、高信頼性フリッカ領域Ｍａと、高信頼性フリッカ領域Ｍｂに含まれる、アドレスが、（１２，３）、（１３，３）、（１４，３）、（１５，３）、（１２，４）、（１２，５）、（１３，５）、（１４，５）、（１５，５）、（１５，４）のフリッカ検出枠のフリッカ成分を平均したものを、第２の記憶部１５に書き戻す。
【００７７】
同様に、低信頼性フリッカ領域５に含まれる、アドレスが（１３，８）、（１４，８）のフリッカ検出枠に対しては、高信頼性フリッカ領域Ｍａと、高信頼性フリッカ領域Ｍｂに含まれる、アドレスが、（１２，７）、（１２，８）、（１３，７）、（１４，７）、（１５，７）、（１５，８）のフリッカ検出枠のフリッカ成分を平均したものを、第２の記憶部１５に書き戻す。
【００７８】
同様に、低信頼性フリッカ領域６に含まれる、アドレスが（９，４）、（９，５）のフリッカ検出枠に対しては、高信頼性フリッカ領域Ｍａと、高信頼性フリッカ領域Ｍｃに含まれる、アドレスが、（８，３）、（９，３）、（１０，３）、（８，４）、（８，５）、（８，６）、（９，６）、（１０，４）、（１０，５）、（１０，６）のフリッカ検出枠のフリッカ成分を平均したものを、第２の記憶部１５に書き戻す。
以上の処理により、第２の記憶部１５には、画面内の全てのフリッカ検出枠において、信頼性の高いフリッカ成分が格納される。
【００７９】
次に、補正特性生成処理部３０１では、第２の記憶部１５に格納されたＭ×Ｎ個のフリッカ成分を垂直方向の一列ごとに読み出し、Ｎ個のフリッカ成分からなる列から、垂直方向の変動特性を抽出する。そして、その垂直方向の変動特性の逆特性を求め、その列におけるフリッカ成分の補正特性として出力する。
【００８０】
補正特性生成処理部３０１で生成された補正特性は、フリッカ検出枠ごとの離散的な値であるので、補正値平滑化処理部３０２では、補正特性生成処理部３０１の出力を内挿補間することにより、画素単位の補正値を生成する。
【００８１】
（乗算器４）
最後に、補正手段の一例としての乗算器４での処理について説明する。
乗算器４では、第１の記憶部２から読み出した、現フレームの入力画像信号の各画素に対して、フリッカ補正値生成部３から出力される、入力画像信号の各画素に対応したフリッカ補正値を乗じて、入力画像信号に含まれるフリッカ成分を補正する。
【００８２】
以上説明したように、本実施形態によれば、１フレームの画像信号を、複数のフリッカ検出枠に分割し、フリッカ検出枠ごとにフリッカ成分を検出する。そして、検出したフリッカ成分の信頼性を、ある特定のフリッカモデルＭ（ｎ）を用いて評価する。また、フリッカ成分の信頼性が低いと分類されたフリッカ検出枠については、異なるフリッカモデルＭ（ｎ＋１）を用いた再評価を行う。そして、フリッカモデルＭ（ｎ＋１）を用いた再評価の結果、フリッカ成分の信頼性が高いと評価されたフリッカ検出枠には、フリッカモデルＭ（ｎ＋１）の識別ＩＤを、ブロック属性情報として上書きする。一方、フリッカモデルＭ（ｎ＋１）を用いた評価でも、フリッカ成分の信頼性が低いと評価されたフリッカ検出枠は、さらに異なるフリッカモデルＭ（ｎ＋２）を用いた再評価を行う。
【００８３】
このような再帰的な処理を、処理の終了条件を満たすまで、単位映像期間内で繰り返し行うことによって、フレーム内で、特性の異なるフリッカ成分が分布している場合でも、それぞれのフリッカ成分を精度良く検出することができる。
【００８４】
また、単位映像期間でのフリッカ検出処理が終了した時点で、低信頼性フリッカ分布領域が残存している場合、その領域を、被写体の動き等、フリッカ以外の変動特性が重畳されているとみなすことができる。
【００８５】
したがって、フレーム内に、特性の異なるフリッカが分布していて、かつ、その中に被写体の動き等、フリッカ以外の変動特性が重畳されていても、各領域でのフリッカ成分を精度良く検出できる。また、フリッカ以外の変動特性がどこに分布しているかを検出することができる。
【００８６】
このため、本発明のフリッカ補正装置では、フリッカ以外の変動特性を排除し、かつ、画面内に分布した、異なる特性のフリッカ成分を、それぞれ適切に検出し、補正することができる。
【００８７】
（他の実施形態）
上述の実施形態で説明したフリッカ補正装置は、ＸＹアドレス方式の撮像素子を用いる撮像装置に好適に使用することができる。すなわち、撮像素子から得られる画像信号に対し、本発明の実施形態に係るフリッカ補正装置を適用することにより、フリッカ成分を精度良く補正できる。そして、フリッカ補正後の画像信号を用いて、周知の画像処理や符号化処理を行ない、記録媒体に記録したり、外部機器へ出力したりすればよい。
【００８８】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００８９】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００９０】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００９１】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【００９２】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００９３】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００９４】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施形態に係るフリッカ補正装置の構成例を示すブロック図である。
【図２】本発明の実施形態に係るフリッカ補正装置におけるフリッカ検出部１の動作を説明するフローチャートである。
【図３】本発明の実施形態に係るフリッカ補正装置におけるフリッカ検出部１のブロック分割部１００が入力画像に設定するフリッカ検出枠の例を示す図である。
【図４】例示的なフリッカモデルの特性を模式的に示す図である。
【図５】本発明の実施形態に係るフリッカ補正装置における分類部１４がフリッカ成分の信頼性評価結果に基づいてフリッカ検出枠を分類した結果の例を模式的に示す図である。
【図６】図５に示す分類結果に従い、本発明の実施形態に係るフリッカ補正装置における分類部１４がフリッカ検出枠に付与するブロック属性情報の一例を模式的に示す図である。
【図７】本発明の実施形態に係るフリッカ補正装置における分類部１４が２度目のフリッカ成分の信頼性評価結果に基づいてフリッカ検出枠を分類した結果の例を模式的に示す図である。
【図８】図７にしめす状態からさらにフリッカ検出単位処理を再帰的に実行し、単位映像期間でのフリッカ検出処理が終了した時点における、フリッカ検出枠の分類結果の例を模式的に示す図である。
【図９】本発明の実施形態に係るフリッカ補正装置におけるフリッカ成分検出部１０の構成例を示すブロック図である。
【図１０】本発明の実施形態に係るフリッカ補正装置におけるフリッカ補正値生成部３の構成例を示すブロック図である。
【図１１】ＸＹアドレス方式の固体撮像素子を用いた場合に発生するフリッカ現象を表す図である。
【図１２】被写体が左側からは蛍光灯、右側からは太陽光によって照らされている被写体をＸＹアドレス方式の固体撮像素子を用いて撮像した場合に発生するフリッカ現象を表す図である。
【図１３】被写体について得られた直近３フレーム分の画像信号と、この画像信号のうち過去の２フレームから求めた垂直方向の強度分布、現フレームの垂直強度分布、及び、これら２つの強度分布を除算して求めたフリッカ成分を示す図である。
【図１】
2009038669.tif 000004
【図２】
2009038669.tif 000005
【図３】
2009038669.tif 000006
【図４】
2009038669.tif 000007
【図５】
2009038669.tif 000008
【図６】
2009038669.tif 000009
【図７】
2009038669.tif 000010
【図８】
2009038669.tif 000011
【図９】
2009038669.tif 000012
【図１０】
2009038669.tif 000013
【図１１】
2009038669.tif 000014
【図１２】
2009038669.tif 000015
【図１３】
2009038669.tif 000016