(57)【要約】【課題】  フリッカ成分が画像信号内で分布を持っている場合や現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を検出する。【解決手段】  撮像素子により得られた１画面分の画像信号について、少なくとも水平方向において複数のフリッカ検出枠を設定する（Ｓ３０２）。そして、フリッカ検出枠ごとに、垂直方向の輝度レベルの変動として生じるフリッカ成分の検出を行う（Ｓ３０３〜Ｓ３０５）。【選択図】  図３
2009017214.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により得られた画像信号からフリッカ成分を検出するフリッカ検出装置であって、
１画面分の前記画像信号の少なくとも水平方向において、各々が少なくとも１画素の画像信号を含む複数のフリッカ検出枠を設定する設定手段と、
前記画像信号に垂直方向の輝度レベルの変動として生じるフリッカ成分を前記複数のフリッカ検出枠ごとに検出するフリッカ検出手段とを有することを特徴とするフリッカ検出装置。
【請求項２】
前記設定手段が、前記１画面分の前記画像信号を、水平方向及び垂直方向に分割することにより前記複数のフリッカ検出枠を設定することを特徴とする請求項１記載のフリッカ検出装置。
【請求項３】
前記フリッカ検出手段が検出したフリッカ成分の信頼性を、予め定めたフリッカモデルとの比較に基づいて判定する評価手段をさらに有することを特徴とする請求項１又は請求項２記載のフリッカ検出装置。
【請求項４】
前記フリッカ検出枠ごとに、特定のフリッカ成分の特性を表す特性パラメータを抽出する特性パラメータ抽出手段と、
前記特性パラメータに基づいて前記フリッカモデルを生成するモデル生成手段とをさらに有し、
前記評価手段が、前記モデル生成手段が生成した前記フリッカモデルを用いて前記評価を行うことを特徴とする請求項３記載のフリッカ検出装置。
【請求項５】
前記特性パラメータが、フリッカ成分の周波数、振幅及び位相に関するパラメータであることを特徴とする請求項４記載のフリッカ検出装置。
【請求項６】
前記評価手段によって信頼性が低いと判定されたフリッカ成分に代わるフリッカ成分として、前記評価手段によって信頼性が高いと判定された他のフリッカ成分を補間して生成する補間手段をさらに有することを特徴とする請求項３乃至請求項５のいずれか１項に記載のフリッカ検出装置。
【請求項７】
前記評価手段による判定結果を予め定めた条件に基づいて分類した分類情報を生成する分類手段をさらに有し、
前記補間手段が前記分類情報に応じた補間を行うことを特徴とする請求項６記載のフリッカ検出装置。
【請求項８】
撮像素子により得られた画像信号からフリッカ成分を検出するフリッカ検出方法であって、
１画面分の前記画像信号の少なくとも水平方向において、各々が少なくとも１画素の画像信号を含む複数のフリッカ検出枠を設定する設定工程と、
前記画像信号に垂直方向の輝度レベルの変動として生じるフリッカ成分を前記複数のフリッカ検出枠の各々で検出するフリッカ検出工程とを有することを特徴とするフリッカ検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はフリッカ検出装置及びフリッカ検出方法に関し、特には、ＸＹアドレス方式の撮像素子を用いて撮像された画像中のフリッカ成分を検出するフリッカ検出装置及びフリッカ検出方法に関する。
【背景技術】
【０００２】
ＣＭＯＳイメージセンサに代表されるＸＹアドレス方式の固体撮像素子を用いた撮像装置において、蛍光灯照明下の被写体を動画撮影する場合、撮像画像に例えば図１６に示すように垂直方向の周期的な明暗が現れることがある。この現象は蛍光灯フリッカと呼ばれ、商用電源周波数と撮像装置の垂直同期周波数との違いによるものである。
【０００３】
そこで、従来、垂直方向の周期的な信号レベルの変動成分（以下フリッカ成分と呼ぶ）を検出し、その逆ゲインを乗算することでフリッカ成分の検出と補正を行う技術がある（特許文献１参照）。
【０００４】
【特許文献１】特開平１１−１２２５１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載の方法は、現在及び過去のフレーム（またはフィールド）の画像信号を水平方向に積分して生成した垂直方向の強度分布を用いてフリッカ成分を検出する方法である。そのため、フリッカ成分が画面の左右で異なっている場合に、正確にフリッカ成分を検出することができないという問題がある。この問題は、例えば図１７に示す、被写体の左側は蛍光灯により照らされ、右側は太陽光に照らされているような場合に発生しうる。
【０００６】
また、検出されるフリッカ成分が被写体の動きに依存するという問題もある。
図１８は、被写体について得られた直近３フレーム分の画像信号と、この画像信号のうち過去の２フレームから求めた垂直方向の強度分布、現フレームの垂直強度分布、及び、これら２つの強度分布を除算して求めたフリッカ成分を示している。
そして、（ａ）は被写体が静止している場合を、（ｂ）は、被写体が３フレーム目（現フレーム）で動いた場合をそれぞれ示している。
【０００７】
特許文献１記載の技術では、図１８の（ａ）に示すように被写体が静止している場合は、正確にフリッカ成分を検出することができる。しかし、図１８の（ｂ）のように被写体が動いて現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合には、正確にフリッカ成分を検出できない。
【０００８】
本発明はこのような従来技術の問題点に鑑みなされたものである。本発明は、フリッカ成分が画像信号内で分布を持っている場合や現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を検出可能なフリッカ検出装置及びフリッカ検出方法を提供することを目的する。
【課題を解決するための手段】
【０００９】
すなわち、上述の目的は、撮像素子により得られた画像信号中のフリッカ成分を検出するフリッカ検出装置であって、１画面分の画像信号の少なくとも水平方向において、各々が１画素以上の画像信号を含む複数のフリッカ検出枠を設定する設定手段と、画像信号に垂直方向の輝度レベルの変動として生じるフリッカ成分を複数のフリッカ検出枠の各々で検出するフリッカ検出手段とを有することを特徴とするフリッカ検出装置によって達成される。
【００１０】
また、上述の目的は、撮像素子により得られた画像信号中のフリッカ成分を検出するフリッカ検出方法であって、１画面分の画像信号の少なくとも水平方向において、各々が１画素以上の画像信号を含む複数のフリッカ検出枠を設定する設定工程と、画像信号に垂直方向の輝度レベルの変動として生じるフリッカ成分を複数のフリッカ検出枠の各々で検出するフリッカ検出工程とを有することを特徴とするフリッカ検出方法によっても達成される。
【発明の効果】
【００１１】
以上説明したように、本発明によれば、フリッカ成分が画像信号内で分布を持っている場合や現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を検出できる。
【発明を実施するための最良の形態】
【００１２】
（第１の実施形態）
以下、本発明の好適な実施形態について、添付図面を参照しながら詳細に説明する。
図１は、本発明の第１の実施形態に係るフリッカ検出装置の一例としてのフリッカ補正装置１０の構成例を示すブロック図である。
図１において、フリッカ検出部１は、ＣＭＯＳイメージセンサのような、ＸＹアドレス方式の撮像素子によって撮像された画像信号からフリッカ成分を検出する。本実施形態において、画像信号は、撮像素子を一ライン毎に垂直方向に順次リセットすることによって順次蓄積が開始され、一ライン毎に順次水平走査することにより読み出されるものとする。
【００１３】
フリッカ補正値生成部２はフリッカ検出部１で検出されたフリッカ成分の逆特性（逆数）を、フリッカ補正値として求め、画素単位のフリッカ補正値を生成する。そして、乗算器３は、フリッカ補正値生成部２で得られたフリッカ補正値と画像信号を乗算し、補正後の画像信号として出力する。また、記憶部９は、例えば半導体メモリやハードディスクのような記憶装置であり、現フレームまたは現フィールドの画像信号を記憶する。制御部１１は、フリッカ補正装置１０全体の動作を制御する。
【００１４】
図２は、図１におけるフリッカ検出部１の構成例を示すブロック図である。
図２において、ブロック分割部１００は、フリッカ成分の検出を行う領域（フリッカ検出枠）を、１画面分の画像信号に対して水平方向および垂直方向に設定する。加算平均部１０１は、ブロック分割部１００が設定した検出領域の各々について、画素の輝度レベルの平均値を算出する。また、引算器１０２、乗算器１０３、加算器１０４およびメモリ１０５は、以下に示す演算を行うことで、いわゆる巡回型ローパスフィルタ１１０を形成している。
【００１５】
【数１】
2009017214.tif 000003
【００１６】
ここで、aveは加算平均部１０１の出力を示し、moutはメモリ１０５からの出力を示す。memは加算器１０４からの出力を示し、メモリ１０５に新しく記憶される値を示す。また、kは巡回型ローパスフィルタ１１０のフィルタ係数である。
【００１７】
除算器１０６は、加算平均部１０１の出力と、メモリ１０５からの出力を除算することによってフリッカ検出枠ごとのフリッカ成分を算出して出力する。
つまり、水平方向の各々の検出領域（垂直方向の複数の検出領域からなる）では、垂直方向の輝度レベルの変動として生じるフリッカ成分が検出される。
【００１８】
（動作）
次に、本実施形態のフリッカ補正装置の動作の一例について、図３のフローチャートを参照しながら説明する。
まず、Ｓ３００においては、フリッカ補正装置１０に画像信号が入力される。次に、Ｓ３０１において、入力された画像信号が記憶部９に記憶される。次にＳ３０２においては、フリッカ検出部１のブロック分割部１００により、入力された１画面分の画像信号に水平方向にＭブロック、垂直方向にＮブロックのフリッカ検出枠を設定する。
【００１９】
Ｓ３０３においては、Ｓ３０２において設定されたフリッカ検出枠ごとに、フリッカ検出部１の加算平均部１０１により輝度レベルの平均値を算出する。次に、Ｓ３０４において、フリッカ検出部１の巡回型ローパスフィルタ１１０により、例えば［数１］のような演算に基づいて、フリッカ検出枠ごとにローパスフィルタ処理を行う。
【００２０】
Ｓ３０５においては、Ｓ３０３においてフリッカ検出枠ごとに加算平均された画像信号と、Ｓ３０４においてフリッカ検出枠ごとにローパスフィルタ処理された画像信号をフリッカ検出部１の除算器１０６で除算する。これにより、フリッカ検出枠ごとにフリッカ成分を抽出する。抽出されたフリッカ成分は、フリッカ検出部１からフリッカ補正値生成部２へ与えられる。
【００２１】
次にＳ３０６においては、フリッカ補正値生成部２が、Ｓ３０５においてフリッカ検出部から与えられたフリッカ成分の逆数（逆特性）を求め、画素位置に応じたフリッカ補正値を生成する。
【００２２】
Ｓ３０７においては、Ｓ３０１で記憶された画像信号を、制御部１１が記憶部９から順次読み出す。次にＳ３０８において、読み出された画像信号に対応するフリッカ補正値をフリッカ補正値生成部２から乗算器３に供給し、両者を乗算してフリッカ補正を行う。乗算器３の乗算結果は、フリッカ補正後の画像信号としてフリッカ補正装置１０から出力される。
【００２３】
なお、本例ではフリッカ成分を求めるために水平方向にＭブロック、垂直方向にＮブロックのフリッカ検出枠を設定したが、フリッカ検出枠は少なくとも１画素の画像信号が含まれていればよい。すなわち、１画素ごとにフリッカ成分を求めても良い。
【００２４】
以上、本実施形態によれば、入力された画像信号の水平方向及び垂直方向の両方について、複数の領域でフリッカ成分を検出する。そのため、フリッカ成分が画像信号内で分布を持っている場合や、現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を検出、補正することができる。
【００２５】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図４は、本発明の第２の実施形態に係るフリッカ補正装置の構成例を示すブロック図である。
【００２６】
図４において、第１の実施形態と同一の構成要素には同一番号を付しており、重複する説明は省略する。第１の実施形態と異なっている点は、フリッカ補正装置１０’にフリッカ成分評価部４が含まれていること、フリッカ成分評価部４が、撮像装置（図示せず）の全体を制御するシステム制御部５と接続されている点である。
【００２７】
フリッカ成分評価部４は、フリッカ検出部１で検出されたフリッカ成分の信頼性を評価する。そして、フリッカ成分評価部４は、評価結果であるフリッカ成分の信頼性と、フリッカ検出部１で検出されたフリッカ成分とをフリッカ補正値生成部２へ出力する。
フリッカ補正値生成部２は、フリッカ成分評価部４から与えられるフリッカ成分の信頼性に応じてフリッカ補正値の生成方法を制御する。
【００２８】
図５は、本実施形態におけるフリッカ成分評価部４の構成例を示すブロック図である。
図５において、フリッカモデル選択部４００は、システム制御部５から出力される複数のフリッカモデルのうち、フリッカ検出部１で検出されたフリッカ成分と相関の高いフリッカモデルを選択する。
【００２９】
ここで、フリッカモデルとは、ある特定のフリッカ状態の時のフリッカ成分のデータで、例えば、水平方向には緩やかな傾斜を持ち、垂直方向はsin波で近似されたある特定のフリッカ成分のモデルである。
【００３０】
差分抽出部４０１は、フリッカ検出部１で検出されたフリッカ成分と、フリッカモデル選択部４００で選択されたフリッカモデルとの差分を求め、信頼性判定部４０２へ出力する。なお、本実施形態では、フリッカ成分がフリッカ検出枠ごとに検出されているため、フリッカモデルについてもフリッカ検出枠ごとに生成する。具体的には、フリッカモデルにおいてもフリッカ成分の検出と同様に加算平均処理を適用することができる。フリッカ成分を画素単位で検出する場合には、フリッカモデルについても画素単位の値に換算して用いる。
【００３１】
信頼性判定部４０２は、フリッカ検出部１が検出したフリッカ成分の信頼性を、差分抽出部４０１で求めた差分に基づいて判定し、その判定結果をフリッカ補正値生成部２へ出力する。ここで、フリッカ成分の信頼性とは、検出されたフリッカ成分が蛍光灯フリッカによって発生する垂直方向の周期的な信号レベルの変動成分かどうかという、フリッカの確からしさを示す情報を意味する。
【００３２】
次に、本実施形態におけるフリッカ補正装置の動作の一例について、図６のフローチャートを参照しながら説明する。なお、図６において、図３と同一の動作を行うステップについては同一の参照数字を付し、説明を省略する。
【００３３】
画像信号の入力（Ｓ３００）から、フリッカ成分の検出（Ｓ３０５）までは図３と同一である。
Ｓ６０６において、フリッカ成分評価部４は、システム制御部５から例えば複数のフリッカモデルを取得する。次に、Ｓ６０７において、フリッカ成分評価部４は、システム制御部５から取得した複数のフリッカモデルの各々とフリッカ検出部１が検出したフリッカ成分との１画面分の相関を、フリッカ検出枠ごとの相関の合計として求める。そして、フリッカモデルのうち、最も高い相関を示すものを選択する。１画面分の相関は、例えば以下の［数２］に示す演算によって算出することができる。
【００３４】
【数２】
2009017214.tif 000004
【００３５】
ここで、ｘ，ｙは各フリッカ検出枠の座標位置（１≦ｘ≦Ｍ、１≦ｙ≦Ｎ）を表す。また、axyはフリッカモデルの各フリッカ検出枠のフリッカ成分の値を、bxyはフリッカ検出部１で検出されたフリッカ成分の各フリッカ検出枠のフリッカ成分の値を示す。
【００３６】
Ｓ６０８において、フリッカ成分評価部４は、Ｓ６０７において選択したフリッカモデルと、フリッカ検出部１で検出されたフリッカ成分の差分を抽出する。具体的には、選択したフリッカモデルと、フリッカ検出部１で検出されたフリッカ成分とについて、フリッカ検出枠毎に［数２］で求めた値を差分として用いることができる。
【００３７】
次にＳ６０９で、フリッカ成分評価部４は、Ｓ６０８において抽出された差分が閾値Thよりも大きいかどうかを、フリッカ検出枠ごとに判定する。
Ｓ６０９において差分が閾値Th以下であると判定された場合、フリッカ成分評価部４は、フリッカ検出部１が検出したフリッカ成分の信頼性が高いと判定する（Ｓ６１１）。そして、フリッカ成分評価部４は、信頼性の判定結果をフリッカ補正値生成部２へ供給する。
Ｓ６１２において、フリッカ補正値生成部２は、フリッカ検出部１が検出したフリッカ成分を用い、そのフリッカ成分に対応する検出枠に対するフリッカ補正値を生成する。
【００３８】
一方、Ｓ６０９において差分が閾値Thよりも大きいと判定された場合、フリッカ成分評価部４は、フリッカ検出部１が検出したフリッカ成分の信頼性が低いと判定し、判定結果をフリッカ補正値生成部２へ通知する（Ｓ６１０）。そして、フリッカ補正値生成部２は、信頼性が低いと判定されたフリッカ成分に代わるフリッカ成分を、信頼度が高いと判定されたフリッカ成分を用いて生成する（Ｓ６１３）。
【００３９】
この補間フリッカ成分は、信頼度が低いと判定されたフリッカ成分が検出されたフリッカ検出枠に最も近い複数のフリッカ検出枠で検出され、補間処理を行なう時点で信頼性が高いと判定されているフリッカ成分を補間して生成することができる。
【００４０】
Ｓ６１４では、フリッカ補正値生成部２が、補間フリッカ成分を用いてフリッカ補正値を生成する。なお、Ｓ６１２、Ｓ６１４におけるフリッカ補正値生成部２の動作は、使用するフリッカ成分が実際に検出されたものか、補間により生成されたものかという点のみ異なる。
Ｓ３０７、Ｓ３０８においては、第１の実施形態と同様、記憶部９に記憶された画像信号を読み出し、フリッカ補正値を乗じることによってフリッカ補正を行う。
【００４１】
なお、本実施形態においても、第１の実施形態と同様、フリッカ成分を求めるために１フレーム分の画像信号を水平方向にＭブロック、垂直方向にＮブロックのＭ×Ｎ個のフリッカ検出枠に分割し、フリッカ検出枠毎にフリッカ成分を検出、補正した。しかし、フリッカ検出枠は少なくとも１画素の画像信号を含めばよい。すなわち、１画素ごとにフリッカ成分を求めても良い。この場合、Ｓ３０２、Ｓ３０３の処理は不要となる。
【００４２】
なお、Ｓ６１３における補間方法に特に制限はない。例えば補間フリッカ成分を生成するフリッカ検出枠からの距離が近いほど大きな重み付けを行ったり、垂直方向よりも水平方向で近いフリッカ検出枠から検出された値に大きな重み付けを行ったりしてもよい。基本的には、信頼度が高いと判定されたフリッカ成分か、信頼度が高いと判定されたフリッカ成分から求められた補間フリッカ成分を元に、フリッカ補正値が生成されればよい。
【００４３】
以上、説明したように、本実施形態によれば、検出されたフリッカ成分とフリッカモデルを比較することで、検出されたフリッカ成分の信頼性が評価できる。そして、信頼性が低いと判定されたフリッカ成分に代えて、信頼性が高いと判定された周辺のフリッカ成分から補間したフリッカ成分を用いる。これにより、より信頼性の高いフリッカの検出結果が得られる。そのため、精度の高いフリッカ補正を実施することができる。
【００４４】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図７は、本発明の第３の実施形態に係るフリッカ補正装置の構成例を示すブロック図である。
図７において、第２の実施形態と同一の構成要素には同一番号を付しており、重複する説明は省略する。第２の実施形態と異なっているのは、フリッカ補正装置１０”にフリッカ特性パラメータ抽出部６とフリッカモデル生成部７が含まれていること、フリッカ成分評価部４にシステム制御部５が接続されていないことである。
【００４５】
フリッカ特性パラメータ抽出部６は、フリッカ検出部１が検出したフリッカ成分から、フリッカ特性パラメータを抽出し、フリッカモデル生成部７へ出力する。本実施形態において、フリッカ特性パラメータとは、ある特定のフリッカ成分の特性を表すパラメータであり、ここでは、ある特定のフリッカ成分の位相、振幅、周波数とする。
また、フリッカ特性パラメータ抽出部６は、フリッカ特性パラメータの抽出結果を示す制御信号ＳＥＬをフリッカ補正値生成部２へ出力する。
【００４６】
図８は、本実施形態におけるフリッカ特性パラメータ抽出部６の構成例を示すブロック図である。
振幅・周波数算出部８００は、フリッカ成分検出部１で検出されたフリッカ成分を用いて、例えば図９に示す手順により、特定のフリッカ成分についての振幅と周波数を算出する。
【００４７】
図９は、振幅・周波数算出部８００の動作の一例を説明するフローチャートである。
まず、Ｓ９００で、振幅・周波数算出部８００は、フリッカ検出部１で検出されたフリッカ成分に対し、［数３］、［数４］、［数５］に示されるフーリエ変換を適用する。
【００４８】
【数３】
2009017214.tif 000005
【数４】
2009017214.tif 000006
【数５】
2009017214.tif 000007
【００４９】
ここで、hは垂直方向の検出枠番号（０≦ｈ≦(Ｎ-1)）を示し、y(h)はh番目の検出枠に対して検出されたフリッカ成分の値を示す。また、fは周波数を表し、YRe(f)、YIm(f)は、それぞれフーリエ変換した時の実部と虚部を表す。Y(f)は振幅成分を表す。
【００５０】
Ｓ９０１で、振幅・周波数算出部８００は、［数３］〜［数５］においてf=50とした計算を行い、検出されたフリッカ成分中の50Hzの振幅成分Y50を算出する。
Ｓ９０２は、振幅・周波数算出部８００は、［数３］〜［数５］においてf=60とした計算を行い、検出されたフリッカ成分中の60Hzの振幅成分Y60を算出する。
【００５１】
Ｓ９０３で、振幅・周波数算出部８００は、Y50とY60を比較する。ここで、Y50よりもY60の方が大きい場合はＳ９０４へ、Y60がY50以下であった場合はＳ９０５へ処理を進める。
【００５２】
Ｓ９０４で、振幅・周波数算出部８００は、フリッカ特性パラメータとして、振幅Y60、周波数60Hzをフリッカモデル生成部７へ出力する。一方、Ｓ９０５で、振幅・周波数算出部８００は、フリッカ特性パラメータとして、振幅Y50、周波数50Hzをフリッカモデル生成部７へ出力する。
【００５３】
振幅と周波数の算出は、垂直方向に並んだＮ個の検出枠を単位として、画面全体について実施する。従って、本実施形態では、１画面についてＭ組の振幅と周波数が算出される。
【００５４】
また、フリッカ特性パラメータ抽出部６の位相算出部８０１は、フリッカ成分検出部１で検出されたフリッカ成分を用いて、例えば図１０に示す手順により、特定のフリッカ成分についての位相を算出する。
【００５５】
図１０は、位相算出部８０１の動作の一例を説明するフローチャートである。また、図１１は、フリッカ検出部１で検出されるフリッカ成分の一例を、フリッカ検出枠の縦一列分について示す図である。
【００５６】
フリッカ検出部１で検出されるフリッカ成分の値は、垂直方向に並んだフリッカ検出枠の列ごとに、例えば図１１のように、フリッカ成分値１を中心とした正弦波状の分布を示す。
そこで、Ｓ１０００において、位相算出部８０１は、まず、隣接するフリッカ検出枠から検出されたフリッカ成分値を直線で結び、フリッカ成分の近似波形を生成する。
【００５７】
次に、Ｓ１００１において、位相算出部８０１は、フリッカ成分の近似波形と、フリッカ成分値＝１を表す水平線とが交わるライン番号V1、V2、V3・・・を、全て求める。フリッカ成分値は、第１の実施形態において説明したように、加算平均部１０１の出力値と、出力値にローパスフィルタを適用した値との除算結果である。従って、フリッカ成分値＝１は、フリッカ成分が検出されないことを意味する。
【００５８】
具体的には、フリッカ検出枠ごとに検出されたフリッカ成分値を、フリッカ検出枠に含まれる所定数のｍラインのうち、ｎ番目（１≦ｎ≦ｍ）のライン、例えば最初のラインや真ん中のラインにおける値と見なす。そして、隣接するフリッカ成分値の間を線形補間することにより、フリッカ成分の近似波形とフリッカ成分値＝１の水平線との交点が、どのラインに相当するかを求めることができる。
【００５９】
次に、Ｓ１００２において、位相算出部８０１は、V1とV2の差分を求め、その差分が閾値VTh1よりも大きいかどうか判定する。差分が閾値VTh1以下の場合、フリッカ成分よりも周波数が高すぎ、ノイズであると見なす。つまり、閾値VTh1は、フリッカ成分の位相をノイズにより誤検出することを防止するために設けられている。
なお、必要に応じてV1とV2の差分の上限閾値VTh2(VTh1＜VTh2)を設定しても良い。
【００６０】
V1とV2の差分が閾値VTh1より大きい場合、位相算出部８０１は、Ｓ１００３において、フリッカ成分波形のラインV1、V2における傾きを求める。
次に、Ｓ１００４において、位相算出部８０１は、求めた傾きが正の値を示すライン番号を、フリッカ特性パラメータのうちの位相としてフリッカモデル生成部７へ出力する。例えば、図１１の例で、V2-V1＞VTh1であれば、ライン番号V1が位相（フリッカ成分の位相＝０のライン）として出力される。
【００６１】
そして、Ｓ１００９において、位相算出部８０１は、フリッカ特性パラメータの抽出結果を示す制御信号ＳＥＬの値に、抽出できたことを意味する”０”を設定する。
一方、Ｓ１００２において、V1とV2の差分が閾値VTh1以下である場合、位相算出部８０１は近似波形がフリッカ成分値＝１の水平線と３回目に交わるラインV3の有無を判定する（Ｓ１００５）。
【００６２】
V3がある場合、位相算出部８０１はＳ１００６において、第２の交点V2を第１の交点V1とし、第３の交点V3を第２の交点V2としてＳ１００２へ進む。このように、差分の条件に合致するライン番号の組が見つかるまで、ライン番号の少ない方から順に、隣接する交点の組について処理を繰り返す。
【００６３】
一方、Ｓ１００５において、V3（即ち、未処理の交点）がなければ、位相算出部８０１はＳ１００７で、ライン番号０を位相として選択する。そして、Ｓ１００８において、位相算出部８０１は、フリッカ特性パラメータの抽出結果を示す制御信号ＳＥＬの値に、抽出できなかったことを意味する”１”を設定し、Ｓ１０１０においてフリッカ補正値生成部２へ出力する。
フリッカ補正値生成部２は、位相算出部８０１から通知された制御信号の値を、フリッカ検出枠と対応付けて記憶する。
【００６４】
位相の算出も、振幅と周波数の算出と同様、垂直方向に並んだＮ個の検出枠を単位として、画面全体について実施する。従って、本実施形態では、１画面についてＭ個の位相が算出される。
【００６５】
フリッカモデル生成部７（図７）は、フリッカ特性パラメータ抽出部６から出力される、フリッカ特性パラメータ（ここでは位相、振幅、周波数）を用い、例えば［数６］に示すような演算によってフリッカモデルFmを生成する。
【００６６】
【数６】
2009017214.tif 000008
【００６７】
ここで、Aは振幅を表し、fはフリッカ成分の周波数を表す。また、yは、垂直方向の画素位置（即ち、ライン番号）を表し、lは位相を表す。
【００６８】
なお、フリッカモデルFmも、垂直方向に並んだＮ個の検出枠を単位として、画面全体について生成する。従って、本実施形態では、１画面についてＭ個のフリッカモデルが生成される。
【００６９】
次に、図１２は、本実施形態におけるフリッカ補正装置の動作の一例を説明するフローチャートである。図１２において、第１及び第２の実施形態と共通の動作ステップについては同じ参照数字を付し、重複する説明を省略する。
【００７０】
画像信号の入力（Ｓ３００）から、フリッカ成分の検出（Ｓ３０５）までは図３と同一である。ただし、本実施形態においては、フリッカ特性パラメータを生成するために、１画面分の画像信号に対するフリッカ成分の検出処理を全て行ってからＳ１２０６へ処理を移す。
【００７１】
Ｓ１２０６において、フリッカ特性パラメータ抽出部６は、図９および図１０を用いて上述した処理手順に従い、フリッカ特性パラメータを抽出する。次にＳ１２０７において、フリッカモデル生成部７が、［数６］に示すような演算を用いてフリッカモデルを生成する。
【００７２】
この後の処理は、フリッカ検出枠ごとに行なう。
フリッカモデルと、フリッカ成分検出部１で検出されたフリッカ成分の差分を求め、差分と閾値Thとを比較し、検出したフリッカ成分の信頼性を判定するまでの処理（Ｓ６０８〜Ｓ６１１）は第２の実施形態と同一である。
【００７３】
Ｓ６１１において信頼性が高いと判定された場合、Ｓ１２１２において、フリッカ補正値生成部２は、対応する検出枠について、フリッカ特性パラメータ抽出部６から通知された制御信号ＳＥＬの値が”０”かどうかの判定を行う。
【００７４】
制御信号ＳＥＬの値が”０”であれば、フリッカ補正値生成部２は、検出されたフリッカ成分に基づいてフリッカ補正値を生成する（Ｓ６１２）。一方、Ｓ１２１２において、制御信号ＳＥＬの値が”１”であれば、フリッカ補正値生成部２は、”１”をフリッカ補正値として生成する（Ｓ１２１８）。
【００７５】
Ｓ６０９において、差分が閾値Thよりも大い場合、検出されたフリッカ成分の信頼性が低いと判定される（Ｓ６１０）。この場合、フリッカ補正値生成部２は、第２の実施形態と同様、Ｓ６１３において、信頼性が高い周囲のフリッカ成分を補間して、信頼性が低いと判定されたフリッカ成分に代わるフリッカ成分を生成する。
【００７６】
次に、Ｓ１２１４において、フリッカ補正値生成部２は、対応する検出枠について、フリッカ特性パラメータ抽出部６から通知された制御信号ＳＥＬの値が”０”かどうかの判定を行う。
【００７７】
制御信号ＳＥＬの値が”０”であれば、フリッカ補正値生成部２は、補間されたフリッカ成分に基づいてフリッカ補正値を生成する（Ｓ６１４）。一方、Ｓ１２１２において、制御信号ＳＥＬの値が”１”であれば、フリッカ補正値生成部２は、”１”をフリッカ補正値として生成する（Ｓ１２１６）。
その後、Ｓ３０７及びＳ３０８においては、第１の実施形態と同様、記憶部９に記憶された画像信号を読み出し、フリッカ補正値を乗じることによってフリッカ補正を行う。
【００７８】
なお、本実施形態においても、第１の実施形態と同様、フリッカ成分を求めるために１フレーム分の画像信号を水平方向にＭブロック、垂直方向にＮブロックのＭ×Ｎ個のフリッカ検出枠に分割し、フリッカ検出枠毎にフリッカ成分を検出、補正した。しかし、フリッカ検出枠は少なくとも１画素の画像信号を含めばよい。すなわち、１画素ごとにフリッカ成分を求めても良い。この場合、Ｓ３０２、Ｓ３０３の処理は不要となる。
【００７９】
以上説明したように、本実施形態によれば、検出されたフリッカ成分から抽出したフリッカ特性パラメータを用いて、フリッカモデルを生成することにより、フリッカ成分の信頼性評価精度を向上させることができる。また、その結果、より精度の高いフリッカ成分を検出することができる。
【００８０】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
図１３は、本発明の第４の実施形態に係るフリッカ補正装置の構成例を示すブロック図である。
【００８１】
図１３において、第２の実施形態と同一の構成要素には同一番号を付しており、重複する説明は省略する。第２の実施形態と異なっているのは、フリッカ補正装置１０”’に分類部８が含まれている点である。
分類部８は、例えばフリッカ成分評価部４からの信頼性評価結果に応じてフリッカ検出枠を分類し、その分類結果をフリッカ補正値生成部２に出力する。
【００８２】
図１４は、画像をＭ＝１１，Ｎ＝１１の計１２１個のフリッカ検出枠に分割し、フリッカ検出枠ごとに求めたフリッカ成分について、システム制御部５から取得したフリッカモデルとの差分に基づいて評価した信頼性を視覚的に示す図である。図１４において、検出されたフリッカ成分の信頼性が高いと判定されたフリッカ検出枠は白、信頼性が低いと判定されたフリッカ検出枠は黒で示している。
【００８３】
分類部８では、信頼性の低いフリッカ検出枠の位置の連続性に着目した情報を生成し、フリッカ補正値生成部２へ出力する。図１４の例では、２行目５列目から信頼性が低いフリッカ検出枠が水平方向に３個連続している、６行目は１列目から信頼性が低いフリッカ検出枠が水平方向に３個連続している、１０行目は信頼性が高いフリッカ検出枠が１つしかない、といった具合である。
【００８４】
フリッカ補正値生成部２では、分類情報により補間方法を選択して補間を行う。
図１４の例では、２行目５列目から信頼性が低いフリッカ検出枠が水平方向に３個連続しているが、左右に信頼性の高いフリッカ値が存在しているので、例えば［数７］のように重み付けをして補間を行う。
【００８５】
【数７】
2009017214.tif 000009
【００８６】
ここで、x、yは各フリッカ検出枠の座標位置（図１４の例では１＜ｘ＜１１，ｙ≦１１）を表す。また、kは着目しているフリッカ検出枠と同じ行にあり、左側（１≦ｋ＜ｘ）で最も近く、かつ、信頼性が高いと判定されたフリッカ検出枠の座標位置を表す。また、hは着目しているフリッカ検出枠と同じ行にあり、右側（ｘ＜ｈ≦１１）で最も近く、かつ、信頼性が高いと判定されたフリッカ検出枠の座標位置を表す。また、axyは補間したいフリッカ検出枠のフリッカ成分の値を表し、aky、ahyはそれぞれの位置のフリッカ成分の値を表す。
【００８７】
また、６行目は１列目から信頼性が低いフリッカ検出枠が水平方向に３個連続しているため、例えば［数８］のように直線で補間を行う。
【００８８】
【数８】
2009017214.tif 000010
【００８９】
ここで、ｘ、ｙは各フリッカ検出枠の座標位置（図１４の例では１≦ｘ≦１１，ｙ≦１１）を表す。また、s、ｔは着目しているフリッカ検出枠と同じ行にあり、信頼性が高いと判定されたフリッカ検出枠の座標位置を表す。また、axyは補間したいフリッカ検出枠のフリッカ成分の値を表し、asy、atyはそれぞれの位置のフリッカ成分の値を表す。
また、１０行目は信頼性が高いフリッカ検出枠が１つしかないため、補間を行わない。
【００９０】
次に、本実施形態におけるフリッカ補正装置の動作について、図１５のフローチャートを参照しながら説明する。図１５において、図６と同一の動作を行うステップについては同一の参照数字を付し、説明を省略する。
【００９１】
本実施形態においては、画像信号の入力から、信頼性の判定処理までは第２の実施形態と同様に処理を行なうことができる。
Ｓ１５１２において、分類部８は、信頼性の判定結果を、フリッカ検出枠ごとに記憶する。そして、１画面分の信頼性の判定結果が記憶されると、分類情報を生成し、フリッカ補正値生成部２へ通知する（Ｓ１５１３）。
【００９２】
その後は、フリッカ検出枠ごとの処理を行なう。
即ち、フリッカ補正値生成部２は、信頼性が高いと判断されたフリッカ検出値に対応するフリッカ検出枠については、Ｓ６１２において、フリッカ検出部１が検出したフリッカ値を用いて補正値を生成する。
【００９３】
一方、フリッカ補正値生成部２は、信頼性が低いと判断されたフリッカ検出値に対応するフリッカ検出枠については、Ｓ６１３でフリッカ成分の補間を行う。
【００９４】
この際、上述したように、分類部８から通知された分類情報に基づく補間式を用いる。そして、フリッカ補正値生成部２は、補間されたフリッカ成分に基づいてフリッカ補正値を生成する（Ｓ６１４）。
その後、Ｓ３０７及びＳ３０８においては、第１の実施形態と同様、記憶部９に記憶された画像信号を読み出し、フリッカ補正値を乗じることによってフリッカ補正を行う。
【００９５】
なお、ここでは水平方向に分類し、水平方向に補間する例を示したが、分類部８において、垂直方向の連続性に着目した分類情報を生成し、フリッカ補正値生成部２において垂直方向に重み付けをして補間しても良い。また、１画面中に信頼性が高いと評価されたフリッカ検出枠の個数が閾値Thtrueよりも多い場合には、信頼性が低いと評価されたフリッカ検出枠のフリッカ成分をそのまま用いて補正値を生成するようにしても良い。
【００９６】
以上、説明したように、本実施形態においては、信頼性が低いと評価されたフリッカ検出枠のフリッカ成分を補間して生成する場合に、それぞれに適した補間方法を選択することにより、より精度の高い補間フリッカ成分を生成することができる。これにより、いっそう信頼性の高いフリッカの検出結果を得ることができる。そのため、精度の良いフリッカ補正を行うことができる。
【００９７】
（他の実施形態）
上述の実施形態において、乗算器３に与える補正値が１．０もしくは十分１．０に近い値である場合には、補正を行わないことと同義と見なすことができる。従って、補正値が１．０と見なせる範囲の値を有する場合には、補正値の読み出し、乗算を行わずに、既往部９から読み出した画素値をそのまま補正後の画素値として出力するように構成しても良い。具体的には、記憶部９からの出力が乗算器３へ与えられる経路と、直接出力される経路との間で切り替えを行うスイッチを設ける。そして、補正値の値が１．０と見なせる値である場合には、記憶部から読み出した画素値を直接出力する経路を選択し、それ以外の場合は乗算器３へ画素値を供給する経路を選択するように制御部１１がスイッチを制御すればよい。
【００９８】
上述の実施形態で説明したフリッカ検出装置は、ＣＭＯＳイメージセンサのようなＸＹアドレス方式の撮像素子を用いる撮像装置に好適に使用することができる。すなわち、撮像素子から得られる画像信号に対し、本発明の実施形態に係るフリッカ検出装置を適用することにより、フリッカ成分を精度良く検出でき、結果として良好なフリッカ成分の補正を行うことが可能となる。そして、フリッカ補正後の画像信号を用いて、周知の画像処理や符号化処理を行ない、記録媒体に記録したり、外部機器へ出力したりすればよい。
【００９９】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１００】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【０１０１】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１０２】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【０１０３】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１０４】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【０１０５】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【０１０６】
【図１】本発明の第１の実施形態におけるフリッカ補正装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態におけるフリッカ検出部の構成例を示すブロック図である。
【図３】本発明の第１の実施形態におけるフリッカ補正装置の動作の一例を示すフローチャートである。
【図４】本発明の第２の実施形態におけるフリッカ補正装置の構成例を示すブロック図である。
【図５】本発明の第２の実施形態におけるフリッカ成分評価部の構成例を示すブロック図である。
【図６】本発明の第２の実施形態におけるフリッカ補正装置の動作の一例を示すフローチャートである。
【図７】本発明の第３の実施形態におけるフリッカ補正装置の構成例を示すブロック図である。
【図８】本発明の第３の実施形態におけるフリッカ特性パラメータ抽出部の構成例を示すブロック図である。
【図９】本発明の第３の実施形態における振幅・周波数算出部の動作の一例を示すフローチャートである。
【図１０】本発明の第３の実施形態における位相算出部の動作の一例を示すフローチャートである。
【図１１】フリッカ検出部で検出されるフリッカ成分の一例を示す図である。
【図１２】本発明の第３の実施形態におけるフリッカ補正装置の動作の一例を示すフローチャートである。
【図１３】本発明の第４の実施形態におけるフリッカ補正装置の構成例を示すブロック図である。
【図１４】フリッカ成分評価部で信頼性評価されたフリッカ成分の一例を示す図である。
【図１５】本発明の第４の実施形態におけるフリッカ補正装置の動作の一例を示すフローチャートである。
【図１６】ＸＹアドレス方式の固体撮像素子を用いた場合に発生するフリッカ現象を表す図である。
【図１７】被写体が左側からは蛍光灯、右側からは太陽光によって照らされている被写体をＸＹアドレス方式の固体撮像素子を用いて撮像した場合に発生するフリッカ現象を表す図である。
【図１８】被写体について得られた直近３フレーム分の画像信号と、この画像信号のうち過去の２フレームから求めた垂直方向の強度分布、現フレームの垂直強度分布、及び、これら２つの強度分布を除算して求めたフリッカ成分を示す図である。
【図１】
2009017214.tif 000011
【図２】
2009017214.tif 000012
【図３】
2009017214.tif 000013
【図４】
2009017214.tif 000014
【図５】
2009017214.tif 000015
【図６】
2009017214.tif 000016
【図７】
2009017214.tif 000017
【図８】
2009017214.tif 000018
【図９】
2009017214.tif 000019
【図１０】
2009017214.tif 000020
【図１１】
2009017214.tif 000021
【図１２】
2009017214.tif 000022
【図１３】
2009017214.tif 000023
【図１４】
2009017214.tif 000024
【図１５】
2009017214.tif 000025
【図１６】
2009017214.tif 000026
【図１７】
2009017214.tif 000027
【図１８】
2009017214.tif 000028