(57)【要約】【課題】  フリッカ成分が画像信号内で分布を持っている場合や現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を補正する。【解決手段】  １フレームの画像信号に対し、少なくとも水平方向に複数のフリッカ検出枠を設定し、フリッカ検出部１０１でフリッカ検出枠ごとにフリッカ成分を検出する。そして、フリッカ検出枠ごとのフリッカ成分の信頼性に基づいて、第１の信頼性評価部１０５が、１フレーム分のフリッカ成分の信頼性を評価する。そして、信頼性の評価が高い場合には、そのフレームで検出されたフリッカ成分から生成した補正値を用いてフリッカ成分の補正を行う。一方、信頼性の評価が低い場合には、記憶部１０６に記憶された、過去に生成した補正値に関する情報を用いて生成した補正値を用いてフリッカ成分の補正を行う。【選択図】  図１
2009021814.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、
前記フリッカ成分を検出するフリッカ検出手段と、
前記フリッカ成分の信頼性に基づき、前記フリッカ検出手段が前記１フレームについて検出したフリッカ成分の信頼性を評価する第１の信頼性評価手段と、
前記フリッカ検出手段が検出したフリッカ成分から、当該フリッカ成分を補正するための第１の補正値を生成する第１の補正値生成手段と、
前記第１の補正値生成手段が生成した第１の補正値に関する情報を抽出する抽出手段と、
前記第１の信頼性評価手段による評価結果と、前記抽出手段が抽出した第１の補正値に関する情報とを複数フレーム分記憶する記憶手段と、
前記記憶手段に記憶された、前記第１の補正値に関する情報を用いて、第２の補正値を生成する第２の補正値生成手段と、
前記第１の信頼性評価手段による信頼性の評価が所定値よりも高い場合には、前記第１の補正値生成手段が生成した第１の補正値を、前記第１の信頼性評価手段による信頼性の評価が前記所定値よりも低い場合には、前記第２の補正値生成手段が生成した第２の補正値を出力する制御手段と、
前記制御手段が出力する第１又は第２の補正値を用いて、前記画像信号のフリッカ成分を補正する補正手段とを有することを特徴とするフリッカ補正装置。
【請求項２】
前記第１の信頼性評価手段が、前記フリッカ検出手段が検出したフリッカ成分の信頼性が低いと評価されるフリッカ検出枠の分布に基づいて前記信頼性の評価を行うことを特徴とする請求項１記載のフリッカ補正装置。
【請求項３】
前記抽出手段が抽出した第１の補正値に関する情報の信頼性を評価する第２の信頼性評価手段をさらに有し、
前記記憶手段が、前記第２の信頼性評価手段による評価結果についても前記複数フレーム分記憶し、
前記第２の補正値生成手段が、前記第１の信頼性評価手段による信頼性の評価と、前記第２の信頼性評価手段による信頼性の評価のいずれも高いフレームに関する前記第１の補正値に関する情報を用いて、前記第２の補正値を生成することを特徴とする請求項１又は請求項２記載のフリッカ補正装置。
【請求項４】
前記第１の補正値に関する情報が、前記第１の補正値の垂直方向の変動における周波数、振幅及び位相に関するパラメータであり、
前記第２の信頼性評価手段が、前記第１の補正値に関する情報の時間方向の連続性を評価することによって、前記第１の補正値に関する情報の信頼性を評価することを特徴とする請求項３記載のフリッカ補正装置。
【請求項５】
前記第２の補正値生成手段が、前記第２の補正値の生成に用いた前記第１の補正値に対応するフレームから、前記補正手段によって補正を行うフレームまでの経過時間に応じて、前記第２の補正値を調整して出力することを特徴とする請求項１乃至請求項４のいずれか１項に記載のフリッカ補正装置。
【請求項６】
前記第２の補正値生成手段が、前記経過時間が予め定めた閾値以上の場合、前記第２の補正値として、前記画像信号に影響を与えない補正値を出力することを特徴とする請求項５記載のフリッカ補正装置。
【請求項７】
撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、
前記複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出工程と、
前記フリッカ成分の信頼性に基づき、前記フリッカ検出工程が前記１フレームについて検出したフリッカ成分の信頼性を評価する第１の信頼性評価工程と、
前記フリッカ検出工程によって検出されたフリッカ成分から、当該フリッカ成分を補正するための第１の補正値を生成する第１の補正値生成工程と、
前記第１の補正値生成工程によって生成された第１の補正値に関する情報を抽出する抽出工程と、
前記第１の信頼性評価工程による評価結果と、前記抽出工程が抽出した第１の補正値に関する情報とを記憶手段に複数フレーム分記憶する記憶工程と、
前記記憶手段に記憶された、前記第１の補正値に関する情報を用いて、第２の補正値を生成する第２の補正値生成工程と、
前記第１の信頼性評価工程による信頼性の評価が所定値よりも高い場合には、前記第１の補正値生成工程によって生成された第１の補正値を、前記第１の信頼性評価工程による信頼性の評価が前記所定値よりも低い場合には、前記第２の補正値生成工程によって生成された第２の補正値を出力する制御工程と、
前記制御工程によって出力される第１又は第２の補正値を用いて、前記画像信号のフリッカ成分を補正する補正工程とを有することを特徴とするフリッカ補正方法。
【請求項８】
コンピュータを、請求項１乃至請求項６のいずれか１項に記載のフリッカ補正装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はフリッカ補正装置及びフリッカ補正方法に関し、特には、ＸＹアドレス方式の撮像素子を用いて撮像された画像中のフリッカ成分を補正するフリッカ補正装置及びフリッカ補正方法に関する。
【背景技術】
【０００２】
ＣＭＯＳイメージセンサに代表されるＸＹアドレス方式の固体撮像素子を用いた撮像装置において、蛍光灯照明下の被写体を動画撮影する場合、撮像画像に例えば図１３に示すように垂直方向の周期的な明暗が現れることがある。この現象は蛍光灯フリッカと呼ばれ、商用電源周波数と撮像装置の垂直同期周波数との違いによるものである。
【０００３】
そこで、従来、垂直方向の周期的な信号レベルの変動成分（以下フリッカ成分と呼ぶ）を検出し、その逆ゲインを乗算することでフリッカ成分の検出と補正を行う技術がある（特許文献１参照）。
【０００４】
【特許文献１】特開平１１−１２２５１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載の方法は、現在及び過去のフレーム（またはフィールド）の画像信号を水平方向に積分して生成した垂直方向の強度分布を用いてフリッカ成分を検出する方法である。そのため、フリッカ成分が画面の左右で異なっている場合に、正確にフリッカ成分を検出することができないという問題がある。この問題は、例えば図１４に示す、被写体の左側は蛍光灯により照らされ、右側は太陽光に照らされているような場合に発生しうる。
また、検出されるフリッカ成分が被写体の動きに依存するという問題もある。
【０００６】
図１５は、被写体について得られた直近３フレーム分の画像信号と、この画像信号のうち過去の２フレームから求めた垂直方向の強度分布、現フレームの垂直強度分布、及び、これら２つの強度分布を除算して求めたフリッカ成分を示している。
そして、（ａ）は被写体が静止している場合を、（ｂ）は、被写体が３フレーム目（現フレーム）で動いた場合をそれぞれ示している。
【０００７】
特許文献１記載の技術では、図１５の（ａ）に示すように被写体が静止している場合は、正確にフリッカ成分を検出することができる。しかし、図１５の（ｂ）のように被写体が動いて現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合には、正確にフリッカ成分を検出できない。
【０００８】
本発明はこのような従来技術の問題点に鑑みなされたものである。本発明は、フリッカ成分が画像信号内で分布を持っている場合や現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を補正可能なフリッカ補正装置及びフリッカ補正方法を提供することを目的する。
【課題を解決するための手段】
【０００９】
上述の目的は、撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、フリッカ成分を検出するフリッカ検出手段と、フリッカ成分の信頼性に基づき、フリッカ検出手段が１フレームについて検出したフリッカ成分の信頼性を評価する第１の信頼性評価手段と、フリッカ検出手段が検出したフリッカ成分から、当フリッカ成分を補正するための第１の補正値を生成する第１の補正値生成手段と、第１の補正値生成手段が生成した第１の補正値に関する情報を抽出する抽出手段と、第１の信頼性評価手段による評価結果と、抽出手段が抽出した第１の補正値に関する情報とを複数フレーム分記憶する記憶手段と、記憶手段に記憶された、第１の補正値に関する情報を用いて、第２の補正値を生成する第２の補正値生成手段と、第１の信頼性評価手段による信頼性の評価が所定値よりも高い場合には、第１の補正値生成手段が生成した第１の補正値を、第１の信頼性評価手段による信頼性の評価が所定値よりも低い場合には、第２の補正値生成手段が生成した第２の補正値を出力する制御手段と、制御手段が出力する第１又は第２の補正値を用いて、画像信号のフリッカ成分を補正する補正手段とを有することを特徴とするフリッカ補正装置によって達成される。
【００１０】
また、上述の目的は、撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、複数のフリッカ検出枠の各々で、フリッカ成分を検出するフリッカ検出工程と、フリッカ成分の信頼性に基づき、フリッカ検出工程が１フレームについて検出したフリッカ成分の信頼性を評価する第１の信頼性評価工程と、フリッカ検出工程によって検出されたフリッカ成分から、当フリッカ成分を補正するための第１の補正値を生成する第１の補正値生成工程と、第１の補正値生成工程によって生成された第１の補正値に関する情報を抽出する抽出工程と、第１の信頼性評価工程による評価結果と、抽出工程が抽出した第１の補正値に関する情報とを記憶手段に複数フレーム分記憶する記憶工程と、記憶手段に記憶された、第１の補正値に関する情報を用いて、第２の補正値を生成する第２の補正値生成工程と、第１の信頼性評価工程による信頼性の評価が所定値よりも高い場合には、第１の補正値生成工程によって生成された第１の補正値を、第１の信頼性評価工程による信頼性の評価が所定値よりも低い場合には、第２の補正値生成工程によって生成された第２の補正値を出力する制御工程と、制御工程によって出力される第１又は第２の補正値を用いて、画像信号のフリッカ成分を補正する補正工程とを有することを特徴とするフリッカ補正方法によっても達成される。
【発明の効果】
【００１１】
このような構成により、本発明によれば、本発明は、フリッカ成分が画像信号内で分布を持っている場合や現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を補正できる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図１は、本発明の実施形態に係るフリッカ補正装置１０の構成例を示すブロック図である。
【００１３】
（構成）
フリッカ検出部１０１は、ＣＭＯＳイメージセンサのような、ＸＹアドレス方式の撮像素子によって撮像された画像信号の１画面分に、水平方向にｎ個、垂直方向にｍ個のフリッカ検出枠を設定し、フリッカ検出枠ごとにフリッカ成分を検出する。
【００１４】
フリッカ成分評価部１０２は、フリッカ検出部１０１で検出されたフリッカ検出枠ごとのフリッカ成分を評価し、評価結果を分類部１０３へ出力する。分類部１０３は、フリッカ成分評価部１０２からの評価結果に応じてフリッカ検出枠を分類し、その分類結果を第１の信頼性評価部１０５に出力する。
【００１５】
第１の補正値生成手段としての第１のフリッカ補正値生成部１０４は、フリッカ検出部１０１で検出されたフリッカ成分の逆数をフリッカ補正値（第１の補正値）として生成する。
第１の信頼性評価部１０５は、分類部１０３で得られた分類結果の画面内での分布から、検出されたフリッカ成分の、画面単位（以下、フレーム単位ともいう）での確からしさ（信頼性）を評価する。また、第１の信頼性評価部１０５は、評価結果を記憶部１０６に記憶する。
【００１６】
パラメータ抽出部１１０は、第１のフリッカ補正値生成部１０４で得られたフリッカ補正値から、補正値のパラメータとして垂直方向の変動における周波数、振幅、位相を抽出し、これらをフレームないしフィールドごとに、記憶部１０６に記憶する。
【００１７】
第２の信頼性評価部１０７は、記憶部１０６に記録されているパラメータを評価する。後述するように、第２の信頼性評価部１０７は、周波数及び振幅のフレーム間での差分がそれぞれ所定の値よりも小さく、かつ、位相がフレーム間で周期的に変化していると判定される場合、記憶部１０６に記録されているパラメータの信頼性が高いと評価する。また、第２の信頼性評価部１０７は、評価結果を第２のフリッカ補正値生成部１１１へ通知する。
【００１８】
第２の補正値生成手段としての第２のフリッカ補正値生成部１１１は、記憶部１０６に記録されているパラメータから、画像信号の垂直方向の信号レベルの変動成分を補正するフリッカ補正値（第２の補正値）を生成する。
制御部１０８は、第１の信頼性評価部１０５の評価結果に応じて、後述するフリッカ補正部１０９に対し、第１のフリッカ補正値生成部１０４又は第２のフリッカ補正値生成部１１１が生成したフリッカ補正値（第１又は第２の補正値）を選択して出力する。
【００１９】
フリッカ補正部１０９は、入力された画像信号に対し、制御部１０８が出力する補正値を適用し、フリッカ成分の補正を行う。フリッカ補正部１０９の一例は、画像信号に補正値を乗じる乗算器である。
【００２０】
（動作）
次に本実施形態におけるフリッカ補正装置のうち、フリッカ検出部１０１、フリッカ成分評価部１０２、分類部１０３及び第１の信頼性評価部１０５の動作について、図３に示すフローチャートを参照して説明する。
【００２１】
ステップＳ２０１：まず、フリッカ検出部１０１において、フリッカ成分を検出する。  図２は、図１におけるフリッカ検出部１０１の構成例を示すブロック図である。
図２において、ブロック分割部１０００は、フリッカ成分の検出を行う領域（フリッカ検出枠）を、１画面分の画像信号に対して水平方向にｎ個、垂直方向にｍ個のｎ×ｍ個設定する。加算平均部１００１は、ブロック分割部１０００が設定した検出領域の各々について、画素の輝度レベルの平均値を算出する。また、引算器１００２、乗算器１００３、加算器１００４およびメモリ１００５は、以下に示す演算を行うことで、いわゆる巡回型ローパスフィルタ１１００を形成している。
【００２２】
【数１】
2009021814.tif 000003
【００２３】
ここで、aveは加算平均部１００１の出力を示し、moutはメモリ１００５からの出力を示す。memは加算器１００４からの出力を示し、メモリ１００５に新しく記憶される値を示す。また、kは巡回型ローパスフィルタ１１００のフィルタ係数である。
除算器１００６は、加算平均部１００１の出力と、メモリ１００５からの出力を除算することによってフリッカ検出枠ごとのフリッカ成分を算出して出力する。
【００２４】
次に、フリッカ成分評価部１０２において、フリッカ検出部１０１で得られたフリッカ成分のフリッカとしての確からしさ（信頼性）をブロックごとに評価する。
フリッカ成分の信頼性は、例えばフリッカ成分のモデルデータ（フリッカモデル）を用意しておき、そのデータとの相関が高ければ信頼性も高いとして評価することができる。フリッカモデルは、ある特定のフリッカ状態の時のフリッカ成分のデータで、例えば、水平方向には緩やかな傾斜を持ち、垂直方向はsin波で近似されたある特定のフリッカ成分のモデルである。
【００２５】
フリッカ成分評価部１０２は、フリッカ検出部１０１で検出されたフリッカ成分と、フリッカモデルとの差分を求め、その差分が閾値以下であれば相関が高く、信頼性が高いと判定して、検出されたフリッカ成分の信頼性をフリッカ検出枠ごとに評価する。
そして、評価結果をフリッカ検出枠ごとに分類部１０３に出力する。
【００２６】
図４は、１フレーム分の画像信号を、ｎｘｍのフリッカ検出枠（図ではｎ＝ｍ＝１１）に分割し、フリッカ検出枠ごとにフリッカ検出部１０１で検出したフリッカ成分を、フリッカ成分評価部１０２で評価した結果を模式的に示した図である。
【００２７】
ここで、白いブロックは検出されたフリッカ成分の信頼性が高いと評価されたフリッカ検出枠を、黒いブロックは検出されたフリッカ成分の信頼性が低いと評価されたフリッカ検出枠をそれぞれ示している。
【００２８】
図４（ａ）のは、検出されたフリッカ成分の信頼性が画面全体に渡って高いことを示している。一方、図４（ｂ）においては、一部にフリッカ成分の信頼性が低いと評価されたフリッカ検出枠が存在している。
【００２９】
分類部１０３では、検出されたフリッカ成分の信頼性が低いと判定された検出枠の数や位置を表す分類情報を生成する。図４（ｂ）の例であれば、２行目５列目のフリッカ検出枠から評価結果が低いフリッカ検出枠が水平方向に３個連続していることや、４行目２列目から評価結果が低いフリッカ検出枠が水平方向に５個連続しているといった分類情報を生成する。
【００３０】
第１の信頼性評価部１０５は、分類部１０３からの分類情報に基づいて、評価結果の低いフリッカ検出枠の画面内の分布から、フリッカ検出部１０１が検出したフリッカ成分について、フレーム単位でみたときの信頼性を評価する。
【００３１】
第１の信頼性評価部１０５は、例えば、
・評価結果の低いフリッカ検出枠が画面中央部に所定数以上ある、
・評価結果の低いフリッカ検出枠の総数（もしくはフリッカ検出枠の総数に対する割合）が所定値以上である、
・評価結果の低いフリッカ検出枠の連続数が所定数以上である
といった条件を１つ以上満たした場合、フリッカ成分のフレーム単位での信頼性が低いと評価する。
【００３２】
例えば図４の例であれば、図４（ａ）はフレーム単位での信頼性が高いフレーム、図４（ｂ）はフレーム単位での信頼性の低いフレームと評価する。
以下、検出されたフリッカ成分のフレーム単位での信頼性を、第１の信頼性という。
【００３３】
ステップＳ２０２：第１の信頼性評価部１０５は、第１の信頼性の評価結果を、制御部１０８に通知する。
ステップＳ２０３：第１の信頼性評価部１０５は、第１の信頼性の評価結果を、記憶部１０６へ記憶する。
【００３４】
この、第１の信頼性の評価は、入力される各々のフレームないしフィールドに対して行われ、各々のフレームないしフィールドにおける第１の信頼性が常に評価され、記憶部１０６に記憶されていく。
【００３５】
次に、図５に示すフローチャートを用い、第１のフリッカ補正値生成部１０４及びパラメータ抽出部１１０の動作を説明する。
ステップＳ４０１：第１のフリッカ補正値生成部１０４が、フリッカ検出部１０１が検出したフリッカ成分に基づき、フリッカ補正値を生成する。例えば、フリッカ検出部１０１で検出したフリッカ成分の逆数をフリッカ補正値として求めることができる。
【００３６】
ステップＳ４０２：第１のフリッカ補正値生成部１０４は、生成したフリッカ補正値を制御部１０８へ通知する。
ステップＳ４０３：パラメータ抽出部１１０において、第１のフリッカ補正値生成部１０４が生成したフリッカ補正値から、補正値の情報として、垂直方向の変動における周波数、振幅、位相の各パラメータを抽出する。
【００３７】
以下、パラメータ抽出の具体的な方法の例について説明する。
（フリッカ補正値の周波数の算出）
パラメータ抽出部１１０は、第１のフリッカ補正値生成部１０４から出力されるフリッカ補正値に対し、以下の式（１）〜（３）に示すフーリエ変換を適用する。
【００３８】
【数２】
2009021814.tif 000004
【００３９】
ここで、ｈは垂直方向のフリッカ検出枠番号を示し、ｙ（ｈ）はｈ番目のフリッカ検出枠におけるフリッカ補正値の値を示す。また、ｆは周波数を表し、ＹＲｅ（ｆ）、ＹＩｍ（ｆ）は、それぞれフーリエ変換した時の実部と虚部を表す。Ｙ（ｆ）は振幅成分を表す。
【００４０】
フーリエ変換の結果、得られた各周波数の振幅成分のうちもっとも大きい周波数として、フリッカ成分に比例した周波数ｆが得られる。
【００４１】
（フリッカ補正値の振幅の算出）
図６にフリッカ補正値の模式図を示す。５０１は、フリッカ検出部１０１がフリッカ検出枠から検出した垂直方向のフリッカ成分を打ち消すため、第１のフリッカ補正値生成部１０４が生成したフリッカ補正値の例を示している。
【００４２】
フリッカ補正値は垂直方向のフリッカ成分を打ち消す値に生成されているため、図示のように１を境に正弦波に近い波形をしている。従って、フリッカ補正値の振幅値Ａは、フリッカ補正値の最大値と最小値の差分として算出することができる。
【００４３】
（フリッカ補正値の位相の算出）
図６に示したフリッカ補正値は、１を境にした正弦波に近い波形をしているため、フリッカ補正値が１を示している入力信号上の垂直ラインを基準として、フリッカ補正値の位相を求めることができる。図６において、フリッカ補正値の横軸の左端が入力信号の先頭ラインを示しているので、フリッカ補正値の位相Φは、先頭ラインから最初にフリッカ補正値が１を示すラインまでのライン数から求めることができる。
【００４４】
ステップＳ４０４：パラメータ抽出部１１０は、ステップＳ４０３でフリッカ補正値から抽出した周波数、振幅、位相の各パラメータを、フリッカ補正値に関する情報として記憶部１０６に記憶する。
【００４５】
以上のパラメータ抽出は、上述した第１の信頼性評価と同様、入力される各々のフレームないしフィールドに対して行われる。そして、各々のフレームないしフィールドにおける垂直方向のフリッカ成分を補正するフリッカ補正値の情報として、周波数、振幅、位相の各パラメータが常に評価され記憶されていく。
【００４６】
また、先に述べた第１の信頼性の評価結果と、フリッカ補正値の周波数、振幅、位相の各パラメータは、いずれもフレームを特定する情報、例えばフレーム番号と対応付けて記憶部１０６に記憶する。
【００４７】
次に、図７に示すフローチャートを用い、第２の信頼性評価部１０７の動作を説明する。
ステップＳ６０１：第２の信頼性評価部１０７は、記憶部１０６から、現フレーム及び過去のフレームに対応するフリッカ補正値の周波数、振幅、位相の各パラメータを読み出す。現フレームとは、現在入力されている画像信号が形成する動画像フレームである。
【００４８】
本実施形態において、記憶部１０６は、第１の信頼性評価結果及びフリッカ補正値から抽出したパラメータを複数フレーム分記憶することが可能である。そして、第２の信頼性評価部１０７は、現在及び過去のフレームに対応したパラメータから、各パラメータの時間方向の連続性（第２の信頼性）を評価する。
【００４９】
ステップＳ６０２：第２の信頼性評価部１０７は、記憶部１０６から読み出した、現フレーム及び過去のフレームのフリッカ補正値から抽出した周波数、振幅、位相の各パラメータの時間方向の連続性を評価する。
【００５０】
以下、図８を参照しながら、第２の信頼性の評価方法の例について述べる。
図８は、記憶部１０６から読み出した現フレームおよび過去のフレーム（１フレーム前から３フレーム前まで）の各パラメータを示している。本実施形態では計４フレーム分の各パラメータを用いて時間方向の連続性を評価する方法について述べるが、記憶部１０６には任意のフレーム数分のパラメータ及び第１の信頼性評価結果を記憶することが可能であり、読み出すフレーム数には制限はない。
【００５１】
以下、補正値の情報としての各パラメータについての、時間方向の信頼性の評価方法について述べる。
（フリッカ補正値の周波数の時間方向の信頼性の評価方法）
記憶部１０６から読み出した各周波数としてｆｎ〜ｆｎ−３の４点が得られたとする。この周波数ｆｎ〜ｆｎ−３に対し、式（４）に示されるように分散値を算出する。
【００５２】
【数３】
2009021814.tif 000005
【００５３】
算出した分散値ｆｒｍｓ２が、ある閾値ｆｔｈよりも低いときにばらつきが少ない、すなわち連続性が高いと判断できるようなｆｔｈを設けることにより、連続性の評価が可能となる。
【００５４】
（フリッカ補正値の振幅の時間方向の信頼性の評価方法）
記憶部１０６から読み出した各振幅値としてＡｎ〜Ａｎ−３の４点が得られたとする。この振幅値Ａｎ〜Ａｎ−３に対し、式（５）に示されるように分散値を算出する。
【００５５】
【数４】
2009021814.tif 000006
【００５６】
算出した分散値Ａｒｍｓ２が、ある閾値Ａｔｈよりも低いときにばらつきが少ない、すなわち連続性が高いと判断できるようなＡｔｈを設けることにより、連続性の評価が可能となる。
【００５７】
（フリッカ補正値の位相の時間方向の信頼性の評価方法）
記憶部１０６から読み出した各位相値としてΦｎ〜Φｎ−３の４点が得られたとする。この振幅値Φｎ〜Φｎ−３に対し、式（６）及び（７）に示されるようにフレーム間の位相差を比較演算する。
【００５８】
【数５】
2009021814.tif 000007
【００５９】
ＣＭＯＳイメージセンサを代表とするＸＹアドレス方式の固体撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラなどの撮像装置により、蛍光灯照明下において被写体を動画撮影する場合を考える。この場合、商用電源周波数が５０Ｈｚ（発光周期は１００Ｈｚ）、撮像装置の垂直同期周波数６０Ｈｚの条件下では、画像上に現れるフリッカが３フレーム周期で繰り返すことが知られている。従って、フレーム間の位相差は２／３πとなるため、式（６）及び（７）に示した関係を満たせば、連続性が高いと評価できるようなΔΦを定義することで、過去の各フレームに対する現フレームの位相の連続性の評価が可能となる。
【００６０】
ステップＳ６０３：第２の信頼性評価部１０７は、第２の信頼性の評価結果を記憶部１０６に記憶する。
【００６１】
第２の信頼性評価についても、入力される各々のフレームないしフィールドに対して行い、各々のフレーム又はフィールドについて、フリッカ補正値の第２の信頼性が常に評価され記憶されていく。
また、先に述べた第１の信頼性の評価結果などと同様、第２の信頼性の評価結果についても、フレームを特定する情報、ここではフレーム番号と対応づけて記憶する。
【００６２】
記憶部１０６に記憶される各パラメータ、第１の信頼性評価結果、第２の信頼性評価結果の例を図９に示す。図９に示すように、各パラメータと第１の信頼性、第２の信頼性がそれぞれフレーム番号と対応付けられて記憶される。
【００６３】
次に、図１０に示すフローチャートを用い、本実施形態のフリッカ補正装置の全体的な動作について説明する。
ステップＳ９０１：制御部１０８において、記憶部１０６に記録されている現フレームの第１の信頼性評価結果を読み出し、第１の信頼性の評価結果が高ければステップＳ９０２へ、低ければステップＳ９０３へ進む。
【００６４】
ステップＳ９０２：第１の信頼性の評価結果が高い場合、制御部１０８は、現フレームの画像信号からフリッカ検出部１０１が検出したフリッカ成分に対して第１のフリッカ補正値生成部１０４が生成したフリッカ補正値を、フリッカ補正部１０９へ出力する。
【００６５】
ステップＳ９０３：第１の信頼性の評価結果が低い場合、制御部１０８は、第２のフリッカ補正値生成部１１１に対し、記憶部１０６に記録されている過去のフレームの補正値に関する情報である各パラメータからフリッカ補正値を生成するよう指示する。そして、第２のフリッカ補正値生成部１１１は、補正値を生成するために参照している過去のフレーム（参照先フレーム）から、現フレームまでの経過時間ｎｐが閾値ｎｔｈを超えていないかどうかを判定する。即ち、ｎｐ＜ｎｔｈであるか否かを判定する。
【００６６】
図１１は、ステップＳ９０３における経過時間の評価方法の例を示す図である。
現在のフレームを第ｎフレームとし、記憶部１０６に記録されている過去のフリッカ補正値のパラメータを７０１〜７０３、対応するフレームを第ｎａ〜ｎｃフレームとする。そして、第２のフリッカ補正値生成部１１１が第ｎａフレームを参照して第ｎフレームに対する補正値を生成する場合、第ｎフレームと第ｎａフレームとの間の経過時間に比例するパラメータｎｐを式（６）によって算出する。ここでは、説明及び理解を容易にするため、経過時間＝ｎｐであるとする。
【００６７】
【数６】
2009021814.tif 000008
【００６８】
経過時間が閾値以上、すなわちｎｐ≧ｎｔｈの場合、第２のフリッカ補正値生成部１１１が参照しているパラメータに対応する過去のフレームが現フレームに対して時間的に離れすぎており、参照先として適切ではない。そのため、本実施形態のフリッカ補正装置は、ｎｐ≧ｎｔｈの場合、現フレームに対するフリッカ補正を行わない。
【００６９】
ステップＳ９０４：ｎｐ≧ｎｔｈの場合、現フレームに対してフリッカ補正を行わないようにするため、第２のフリッカ補正値生成部１１１は、値０のフリッカ補正値を生成して制御部１０８に出力する。具体的には、第２のフリッカ補正値生成部１１１において、後述する、フリッカ補正値に対する乗算係数を０に制御すればよい。なお、フリッカ補正部１０９が、フリッカ補正値を画像信号に乗じる乗算器である場合、第２のフリッカ補正値生成部１１１は、値１のフリッカ補正値を生成して制御部１０８に出力する。この場合は、乗算係数を制御せず、補正値の代わりに固定値を出力するように構成すればよい。
【００７０】
このように、ステップＳ９０４では、第２のフリッカ補正値生成部１１１が、画像信号に影響を与えない補正値を生成し、制御部１０８に出力すれば、フリッカ補正値の値に制限はない。そして、制御部１０８は、第２のフリッカ補正値生成部１１１からの補正値をフリッカ補正部１０９に出力する。
【００７１】
ステップＳ９０５：第２のフリッカ補正値生成部１１１は、記憶部１０６から、参照先フレームに対する第１の信頼性評価結果と第２の信頼性評価結果を読み出す。
ステップＳ９０６：第２のフリッカ補正値生成部１１１は、参照先フレームの第１の信頼性の評価結果を判定する。第１の信頼性の評価結果が高ければステップＳ９０７へ、低ければステップＳ９０８へ処理を移す。
【００７２】
ステップＳ９０７：第１の信頼性の評価結果が高い場合、第２のフリッカ補正値生成部１１１は、引き続き、参照先フレームの補正値から抽出したパラメータについての第２の信頼性の評価結果を判定する。第２の信頼性の評価結果が高い場合はステップＳ９０９へ、低ければステップＳ９０８へ処理を移す。
【００７３】
ステップＳ９０８：参照先フレームの第１または第２の信頼性の評価結果が低い場合、第２のフリッカ補正値生成部１１１は、記憶部１０６における参照先フレームを１つ前のフレームにする。そして、ステップＳ９０３からの処理を繰り返す。
【００７４】
ステップＳ９０９：参照先フレームについて、第１および第２の信頼性の評価結果がともに高いと判定された場合、第２のフリッカ補正値生成部１１１は、参照先フレームのフリッカ補正値の各パラメータを用い、現フレームに対するフリッカ補正値を生成する。すなわち、第２のフリッカ補正値生成部１１１は、記憶された過去の補正値に関する情報を用いてフリッカ補正値を生成する。
【００７５】
ステップＳ９１０：第２のフリッカ補正値生成部１１１は、生成した補正値に対し、ステップＳ９０３で算出した、参照先フレームから現在のフレームまでの経過時間ｎｐに応じた調整を行い、制御部１０８へ出力する。制御部１０８は、この調整後の補正値をフリッカ補正部１０９へ出力する。
【００７６】
図１２は、第２のフリッカ補正値生成部１１１が、生成したフリッカ補正値に図示しない乗算器を用いて乗じる乗算係数の制御例を示す図である。
ここでは、フリッカ補正値に対して、経過時間ｎｐが長いほど乗算係数を１から下げていくような制御を行う例を示している。このように乗算係数の値を制御することにより、経過時間ｎｐの長さに応じてフリッカ補正を制御することが可能となる。
【００７７】
ステップＳ９１１：フリッカ補正部１０９が、制御部１０８から供給される補正値を現フレームの画像信号に適用し、フリッカ成分の補正を行う。なお、現フレームに対する第１の信頼性が低く、かつ参照先フレームから現フレームまでの経過時間ｎｐが閾値ｎｔｈ以上である場合には、補正を適用しても画像信号に影響はない。
【００７８】
なお、本実施形態ではフリッカ検出枠を水平方向にＭブロック、垂直方向にＮブロック設定したが、垂直方向には１つのみ設定しても良い。
【００７９】
以上、説明したように、本実施形態によれば、入力された画像信号を少なくとも水平方向において複数の領域でフリッカ成分を検出する。そのため、フリッカ成分が画像信号内で分布を持っている場合や、現フレームまたは現フィールドの垂直方向の強度分布に変動があった場合でも、精度良くフリッカ成分を検出、補正することができる。
【００８０】
また、本実施形態によれば、検出されたフリッカ成分の信頼性に応じて、現フレームに対する補正値を、現フレームから検出されたフリッカ成分から生成した補正値と、過去に生成した補正値のパラメータから生成した補正値のいずれかから選択して用いる。
【００８１】
過去のフレームについて、検出されたフリッカ成分の信頼性と、検出されたフリッカ成分から生成された補正値のパラメータとその信頼性とを対応付けて記憶する記憶部を有する。そのため、現在のフレームについて検出されたフリッカ成分から補正値が生成できない場合でも、過去の信頼性の高い補正値の情報を用いて補正値を生成することが可能であり、精度のよいフリッカ補正を行うことが可能となる。
【００８２】
さらに、過去の情報から生成した補正値を用いる場合、参照先フレームから現フレームまでの経過時間に応じて修正を行うので、過去の情報に基づく補正値を用いる場合の補正精度をより高めることが可能になる。
【００８３】
（他の実施形態）
上述の実施形態で説明したフリッカ補正装置は、ＣＭＯＳイメージセンサのようなＸＹアドレス方式の撮像素子を用いる撮像装置に好適に使用することができる。すなわち、撮像素子から得られる画像信号に対し、本発明の実施形態に係るフリッカ補正装置を適用することにより、フリッカ成分を精度良く補正することが可能となる。そして、フリッカ補正後の画像信号を用いて、周知の画像処理や符号化処理を行ない、記録媒体に記録したり、外部機器へ出力したりすればよい。
【００８４】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００８５】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００８６】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００８７】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【００８８】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００８９】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００９０】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施形態に係るフリッカ補正装置の構成例を示すブロック図である。
【図２】本発明の実施形態に係るフリッカ補正装置におけるフリッカ検出部１０１の構成例を示すブロック図である。
【図３】本発明の実施形態に係るフリッカ補正装置におけるフリッカ検出部１０１、フリッカ成分評価部１０２、分類部１０３及び第１の信頼性評価部１０５の動作を説明するためのフローチャートである。
【図４】本発明の実施形態に係るフリッカ補正装置におけるフリッカ成分評価部１０２の評価結果を模式的に示した図である。
【図５】本発明の実施形態に係るフリッカ補正装置における第１のフリッカ補正値生成部１０４及びパラメータ抽出部１１０の動作を説明するためのフローチャートである。
【図６】本発明の実施形態に係るフリッカ補正装置におけるフリッカ補正値およびフリッカ補正値のパラメータの例を説明するための模式図である。
【図７】本発明の実施形態に係るフリッカ補正装置における第２の信頼性評価部１０７の動作を説明するためのフローチャートである。
【図８】本発明の実施形態に係るフリッカ補正装置の記憶部１０６に記録されている各パラメータの例を説明するための図である。
【図９】本発明の実施形態に係るフリッカ補正装置の記憶部１０６に記録されている各パラメータ及び第１の信頼性評価結果、第２の信頼性評価結果の例を説明するための図である。
【図１０】本実施形態のフリッカ補正装置の全体的な動作について説明するためのフローチャートである。
【図１１】図１０のステップＳ９０３における、経過時間の評価方法の例を示す図である。
【図１２】本発明の実施形態に係るフリッカ補正装置において、記憶部１０６から読み出したフリッカ補正値に、経過時間に応じて制御部１０８が乗じる乗算係数の制御例を示す図である。
【図１３】ＸＹアドレス方式の固体撮像素子を用いた場合に発生するフリッカ現象を表す図である。
【図１４】被写体が左側からは蛍光灯、右側からは太陽光によって照らされている被写体をＸＹアドレス方式の固体撮像素子を用いて撮像した場合に発生するフリッカ現象を表す図である。
【図１５】被写体について得られた直近３フレーム分の画像信号と、この画像信号のうち過去の２フレームから求めた垂直方向の強度分布、現フレームの垂直強度分布、及び、これら２つの強度分布を除算して求めたフリッカ成分を示す図である。
【図１】
2009021814.tif 000009
【図２】
2009021814.tif 000010
【図３】
2009021814.tif 000011
【図４】
2009021814.tif 000012
【図５】
2009021814.tif 000013
【図６】
2009021814.tif 000014
【図７】
2009021814.tif 000015
【図８】
2009021814.tif 000016
【図９】
2009021814.tif 000017
【図１０】
2009021814.tif 000018
【図１１】
2009021814.tif 000019
【図１２】
2009021814.tif 000020
【図１３】
2009021814.tif 000021
【図１４】
2009021814.tif 000022
【図１５】
2009021814.tif 000023