(57)【要約】【課題】点滅光源におけるフリッカ周波数が変動しても輝度変動を精度よく検出する。【解決手段】フリッカ検出部１０３は基準周波数に応じて、撮像素子１０１から出力される画像信号を周波数解析処理して画像信号における照明強度の変化を示す照明強度変化情報をフリッカとして検出する。誤差推定部１０４は照明強度変化情報と時間情報とに応じて、フリッカの周波数と基準周波数との誤差を示す誤差周波数を推定する。フリッカ検出部は誤差周波数に応じて基準周波数を変更して、変更後の基準周波数に応じて周波数解析処理を行う。【選択図】図１
2014165800.tif 000002
【特許請求の範囲】
【請求項１】
光学像が結像されて、該光学像を光電変換する撮像素子から出力される画像信号で生じるフリッカを検出するフリッカ検出装置であって、
予め定められた基準周波数に応じて前記画像信号を周波数解析処理して前記画像信号における照明強度の変化を示す照明強度変化情報をフリッカとして検出するフリッカ検出手段と、
前記照明強度変化情報と時間を示す時間情報とに応じて、前記フリッカの周波数と前記基準周波数との誤差を示す誤差周波数を推定する誤差推定手段とを有し、
前記フリッカ検出手段は前記誤差周波数に応じて前記基準周波数を変更して、変更後の基準周波数に応じて前記周波数解析処理を行うことを特徴とするフリッカ検出装置。
【請求項２】
前記フリッカ検出手段は、単位フレームにおいてラインに垂直な方向における照明強度の変化を検出することを特徴とする請求項１に記載のフリッカ検出装置。
【請求項３】
前記フリッカ検出手段は、前記誤差周波数が予め定められた閾値よりも大きいと、前記誤差周波数に応じて前記基準周波数を変更することを特徴とする請求項１又は２に記載のフリッカ検出装置。
【請求項４】
前記フリッカ検出手段は基準周波数を変更する際、前記周波数解析処理におけるサンプリング数を変更することを特徴とする請求項３に記載のフリッカ検出装置。
【請求項５】
光学像が結像されて、該光学像を光電変換する撮像素子から出力される画像信号で生じるフリッカを検出して補正するフリッカ補正装置であって、
予め定められた基準周波数に応じて前記画像信号を周波数解析処理して前記画像信号における照明強度の変化を示す照明強度変化情報をフリッカとして検出するフリッカ検出手段と、
前記照明強度変化情報と時間を示す時間情報とに応じて、前記フリッカの周波数と前記基準周波数との誤差を示す誤差周波数を推定する誤差推定手段と、
前記照明強度変化情報および前記誤差周波数に基づいて前記フリッカ補正をするためのフリッカ補正値を生成するフリッカ補正値生成手段と、
前記フリッカ補正値に基づいて前記画像信号に生じたフリッカの補正を行うフリッカ補正手段と、
を有することを特徴とするフリッカ補正装置。
【請求項６】
前記フリッカ検出手段は前記誤差周波数に応じて前記基準周波数を変更して、変更後の基準周波数に応じて前記周波数解析処理を行うことを特徴とする請求項５に記載のフリッカ補正装置。
【請求項７】
前記フリッカ検出手段は、単位フレームにおいてラインに垂直な方向における照明強度の変化を検出することを特徴とする請求項５又は６に記載のフリッカ補正装置。
【請求項８】
前記撮像素子の電荷蓄積時間に応じて、前記誤差周波数を前記フリッカ補正値生成手段に送るか否かを判定する判定手段を有することを特徴とする請求項５に記載のフリッカ補正装置。
【請求項９】
前記撮像素子の電荷蓄積時間に応じて、前記誤差周波数を前記フリッカ検出手段および前記フリッカ補正値生成手段に送るか否かを判定する判定手段を有することを特徴とする請求項６に記載のフリッカ補正装置。
【請求項１０】
前記照明強度変化情報に応じて得られるフリッカの振幅値に応じて前記誤差周波数を前記フリッカ補正値生成手段に送るか否かを判定する判定手段を有することを特徴とする請求項５に記載のフリッカ補正装置。
【請求項１１】
前記照明強度変化情報は位相に応じて得られるフリッカの振幅値に応じて、前記フリッカ検出手段および前記誤差周波数を前記フリッカ補正値生成手段に送るか否かを判定する判定手段を有することを特徴とする請求項６に記載のフリッカ補正装置。
【請求項１２】
前記照明強度変化情報は、前記周波数解析処理によって得られる周波数成分の位相情報であり、
前記誤差推定手段は、前記位相情報に応じて単位時間当たりの位相の変化量によって前記誤差周波数を推定することを特徴とする請求項５〜１１のいずれか１項に記載のフリッカ補正装置。
【請求項１３】
光学像が結像されて、該光学像を光電変換する撮像素子から出力される画像信号で生じるフリッカを検出するフリッカ検出装置の制御方法であって、
予め定められた基準周波数に応じて前記画像信号を周波数解析処理して前記画像信号における照明強度の変化を示す照明強度変化情報をフリッカとして検出するフリッカ検出ステップと、
前記照明強度変化情報と時間を示す時間情報とに応じて、前記フリッカの周波数と前記基準周波数との誤差を示す誤差周波数を推定する誤差推定ステップと、
前記誤差周波数に応じて前記基準周波数を変更して、変更後の基準周波数に応じて前記周波数解析処理を前記フリッカ検出ステップで行わせる変更ステップと、
を有することを特徴とする制御方法。
【請求項１４】
光学像が結像されて、該光学像を光電変換する撮像素子から出力される画像信号で生じるフリッカを検出するフリッカ検出装置で用いられる制御プログラムであって、
前記フリッカ検出装置が備えるコンピュータに、
予め定められた基準周波数に応じて前記画像信号を周波数解析処理して前記画像信号における照明強度の変化を示す照明強度変化情報をフリッカとして検出するフリッカ検出ステップと、
前記照明強度変化情報と時間を示す時間情報とに応じて、前記フリッカの周波数と前記基準周波数との誤差を示す誤差周波数を推定する誤差推定ステップと、
前記誤差周波数に応じて前記基準周波数を変更して、変更後の基準周波数に応じて前記周波数解析処理を前記フリッカ検出ステップで行わせる変更ステップと、
を実行させることを特徴とする制御プログラム。
【請求項１５】
光学像が結像されて、該光学像を光電変換する撮像素子から出力される画像信号で生じるフリッカを検出して補正するフリッカ補正装置の制御方法であって、
予め定められた基準周波数に応じて前記画像信号を周波数解析処理して前記画像信号における照明強度の変化を示す照明強度変化情報をフリッカとして検出するフリッカ検出ステップと、
前記照明強度変化情報と時間を示す時間情報とに応じて、前記フリッカの周波数と前記基準周波数との誤差を示す誤差周波数を推定する誤差推定ステップと、
前記照明強度変化情報および前記誤差周波数に基づいて前記フリッカ補正をするためのフリッカ補正値を生成するフリッカ補正値生成ステップと、
前記フリッカ補正値に基づいて前記画像信号に生じたフリッカの補正を行うフリッカ補正ステップと、
を有することを特徴とする制御方法。
【請求項１６】
光学像が結像されて、該光学像を光電変換する撮像素子から出力される画像信号で生じるフリッカを検出して補正するフリッカ補正装置で用いられる制御方法であって、
前記フリッカ補正装置が備えるコンピュータに、
予め定められた基準周波数に応じて前記画像信号を周波数解析処理して前記画像信号における照明強度の変化を示す照明強度変化情報をフリッカとして検出するフリッカ検出ステップと、
前記照明強度変化情報と時間を示す時間情報とに応じて、前記フリッカの周波数と前記基準周波数との誤差を示す誤差周波数を推定する誤差推定ステップと、
前記照明強度変化情報および前記誤差周波数に基づいて前記フリッカ補正をするためのフリッカ補正値を生成するフリッカ補正値生成ステップと、
前記フリッカ補正値に基づいて前記画像信号に生じたフリッカの補正を行うフリッカ補正ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フリッカ検出装置、フリッカ補正装置、その制御方法、および制御プログラムに関し、特に、撮像された画像に含まれる周期的な輝度変動を検出して補正するフリッカ補正装置に関する。
【背景技術】
【０００２】
一般に、ＣＭＯＳイメージセンサなどの撮像素子を備える撮像装置においては、蛍光灯照明下で被写体の動画撮影を行うと、撮影の結果得られた画像に周期的な明暗が現れることがある。この現象は蛍光灯フリッカと呼ばれ、商用電源周波数と撮像装置の垂直同期周波数との相違に起因して発生する。
【０００３】
図９は、蛍光灯照明下において被写体を連続して撮影した際の撮像素子における電荷の蓄積の様子を示す図である。
【０００４】
ここでは、商用電源周波数が５０Ｈｚの地域において蛍光灯照明下で撮像装置によって被写体を連続的に撮影したものとする。そして、撮像装置にはＮＴＳＣ方式のＣＭＯＳイメージセンサが撮像素子として用いられている。
【０００５】
図９において、撮像装置は垂直同期信号（ＶＤ）９０１に応じて電荷の蓄積を行う。この際、商用電源周波数９０２の商用電源によって蛍光灯（蛍光体）が発光して、蛍光灯は商用電源周期９０２に応じた発光周期９０３で発光する。
【０００６】
いま、撮像素子が垂直同期信号９０１の周期と同一の周期（１／６０ｓ）で電荷を蓄積しているとものとすると、画素毎の露光はライン方向に順次行われる。ここで、垂直同期信号に応じて、図中左から順に１フレーム目、２フレーム目、および３フレーム目とし、１フレーム目の１ライン目の蓄積電荷量をｂ１１、１フレーム目の２ライン目の蓄積電荷量をｂ１２とする。そして、以下同様に、２フレーム目の１ライン目の蓄積電荷量をｂ２１、２フレーム目の２ライン目の蓄積電荷量をｂ２２とする。また、３フレーム目の１ライン目の蓄積電荷量ｂ３１、３フレーム目の２ライン目の蓄積電荷量をｂ３２とする。
【０００７】
この場合、フレームの各々においてライン毎に蓄積電荷の総量が異なる。つまり、フレームの各々において、発光体の光量を蓄積時間で積分したものに比例するのでライン毎の蓄積電荷の総量が異なる。このため、各フレームについて、ライン毎の蓄積時間が異なることになる。つまり、ｔ１１≠ｔ１２、ｔ２１≠ｔ２２、ｔ３１≠ｔ３２の関係が成り立つ。
【０００８】
この結果、同一フレームにおいて、ライン毎に輝度レベルが異なる現象が生じ、かつ、フレーム毎の同一位置のライン（例えば、各フレームの１ライン目）の輝度レベルを比較しても差異が生じてしまうことになる（ｔ１１≠ｔ２１≠ｔ３１）。
【０００９】
図１０は撮像素子による撮像の結果得られた画像信号を説明するための図である。そして、図１０（ａ）は蛍光灯などの点滅光源が存在する際に得られた画像信号を模式的に示す図であり、図１０（ｂ）は商用電源周波数に変動が発生した際に得られた画像信号を模式的に示す図である。
【００１０】
図１０（ａ）において、点滅光源の存在下で得られた画像信号１００１は、点滅光源によって信号レベル１００２が変調されており、画像信号１００１に点滅光源の発光周期に依存した周期的なレベル変動が発生することが分かる。
【００１１】
一方、撮影の結果得られた画像に含まれる点滅光源による周期的な輝度変動を検出して補正するようにした撮像装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００４−２２２２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ところで、上述のように、フリッカの発生源である点滅光源における点滅周期は商用電源周波数に依存している。このため、電源周波数が変動すると、画像に現れるフリッカによる明暗の縞間隔が変動してしまう。
【００１４】
例えば、商用電源周波数に変動が発生すると（例えば、周波数が低くなると）、図１０（ｂ）に示す画像信号１００３が得られる。この際、点滅光源によって画像信号１００３の信号レベル１００４が変調される。なお、図１０（ｂ）においては、商用電源周波数に変動が生じていない際の信号レベル１００２が破線で示されている。
【００１５】
図１０（ｂ）から容易に理解できるように、商用電源周波数の変動前に比べて、変動後においては画像の明暗の位置が変化してしまう。
【００１６】
一方、特許文献１においては、点滅光源による周期的な輝度変動を補正する際、その周波数解析処理の基準となる周波数が固定されているので、フリッカの周波数が変化すると、輝度変動を精度よく検出して補正することが困難となってしまう。そして、周波数解析処理において解析する周波数に対する分解能を上げると、サンプリング数を増加することになるので、演算処理負荷を考慮すると好ましくはない。
【００１７】
従って、本発明の目的は、点滅光源におけるフリッカ周波数が変動しても輝度変動を精度よく検出して補正することのできるフリッカ検出装置、フリッカ補正装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１８】
上記の目的を達成するため、本発明によるフリッカ検出装置は、光学像が結像されて、該光学像を光電変換する撮像素子から出力される画像信号で生じるフリッカを検出するフリッカ検出装置であって、予め定められた基準周波数に応じて前記画像信号を周波数解析処理して前記画像信号における照明強度の変化を示す照明強度変化情報をフリッカとして検出するフリッカ検出手段と、前記照明強度変化情報と時間を示す時間情報とに応じて、前記フリッカの周波数と前記基準周波数との誤差を示す誤差周波数を推定する誤差推定手段とを有し、前記フリッカ検出手段は前記誤差周波数に応じて前記基準周波数を変更して、変更後の基準周波数に応じて前記周波数解析処理を行うことを特徴とする。
【００１９】
本発明によるフリッカ補正装置は、光学像が結像されて、該光学像を光電変換する撮像素子から出力される画像信号で生じるフリッカを検出して補正するフリッカ補正装置であって、予め定められた基準周波数に応じて前記画像信号を周波数解析処理して前記画像信号における照明強度の変化を示す照明強度変化情報をフリッカとして検出するフリッカ検出手段と、前記照明強度変化情報と時間を示す時間情報とに応じて、前記フリッカの周波数と前記基準周波数との誤差を示す誤差周波数を推定する誤差推定手段と、前記照明強度変化情報および前記誤差周波数に基づいて前記フリッカ補正をするためのフリッカ補正値を生成するフリッカ補正値生成手段と、前記フリッカ補正値に基づいて前記画像信号に生じたフリッカの補正を行うフリッカ補正手段とを有することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、点滅光源におけるフリッカ周波数が変動しても輝度変動を精度よく検出してフリッカの補正を行うことができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態によるフリッカ検出補正装置を備える撮像装置の一例を示すブロック図である。
【図２】図１に示す撮像装置におけるフリッカ検出処理を説明するためのフローチャートである。
【図３】横軸を時間軸とした際の位相量Δφの変化を示す図である。
【図４】本発明の第２の実施形態によるフリッカ補正装置の一例を備える撮像装置を示すブロック図である。
【図５】本発明の第２の実施形態によるフリッカ補正装置の他の例を備える撮像装置を示すブロック図である。
【図６】本発明の第３の実施形態によるフリッカ補正装置の一例を備える撮像装置を示すブロック図である。
【図７】図６に示す撮像素子の電荷蓄積時間と画像に現れるフリッカの大きさとの関係を示す図である。
【図８】本発明の第３の実施形態によるフリッカ補正装置の他の例を備える撮像装置を示すブロック図である。
【図９】蛍光灯照明下において被写体を連続して撮影した際の撮像素子における電荷の蓄積の様子を示す図である。
【図１０】撮像素子による撮像の結果得られた画像信号を説明するための図であり、（ａ）は蛍光灯などの点滅光源が存在する際に得られた画像信号を模式的に示す図、（ｂ）は商用電源周波数に変動が発生した際に得られた画像信号を模式的に示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態によるフリッカ検出装置の一例をついて図面を参照して説明する。
【００２３】
［第１の実施形態］
図１は、本発明の第１の実施形態によるフリッカ検出装置を備える撮像装置の一例を示すブロック図である。なお、図１に示す撮像装置においては、フリッカの検出を行うための構成要素のみが示されており、例えば、画像信号を画像処理するための構成要素などは省略されている。
【００２４】
図示の撮像装置は、ＣＭＯＳイメージセンサなどの撮像素子１０１を有しており、この撮像素子１０１は複数の光電変換素子を備えている。撮像素子１０１は、制御部１０２の制御下において駆動パルスで駆動され、レンズを介して結像した被写体像（光学像）を光電変換によって電気信号（アナログ信号）に変換する。そして、撮像素子１０１は内蔵するＡ／Ｄ変換部（図示せず）によってアナログ信号をデジタル信号に変換して、当該デジタル信号を画像信号として出力する。
【００２５】
なお、撮像素子１０１が電子シャッタ機能を備えていれば、制御部１０２の制御下で露光時間を調整するようにしてもよい。
【００２６】
制御部１０２は撮像装置全体の制御を司る。制御部１０２は、例えば、撮像素子１０１における電荷の蓄積時間などを制御する。そして、制御部１０２は、後述する誤差推定部１０４に対して、撮像素子１０１の制御状態を示す情報を制御情報として出力する。さらに、制御部１０２は、後述するフリッカ検出部１０３に対して、入力画像信号に現れるフリッカを検出するためのフリッカ検出領域を指定する。
【００２７】
フリッカ検出部１０３は、撮像素子１０１から画像信号を受け、当該画像信号が示す画像に現れるフリッカを周波数解析処理によって照明強度として検出する。そして、フリッカ検出部１０３は照明強度の変化を示す照明強度変化情報を誤差推定部１０４に出力する。
【００２８】
誤差推定部１０４は照明強度変化情報に応じて、周波数解析処理における基準周波数とフリッカ周波数との誤差周波数を示す誤差周波数情報を推定する。そして、誤差推定部１０４は誤差周波数情報をフリッカ検出部１０３に出力する。フリッカ検出部は周波数解析処理の際、誤差周波数情報に基づいて基準周波数を変更して、変更後の基準周波数とする。
【００２９】
図２は、図１に示す撮像装置におけるフリッカ検出処理を説明するためのフローチャートである。
【００３０】
フリッカ検出処理を開始すると、制御部１０２はフリッカ検出部１０３にフリッカ検出領域を指定する。そして、フリッカ検出部１０３において、フリッカ検出領域において画像信号が示す画像に発生しているフリッカ、つまり、照明強度の変化を示す照明強度変化情報取得する（ステップＳ２０１）。
【００３１】
ところで、点滅光源などに起因する周期的な輝度変動の成分を抽出する手法として、例えば、時間的に変化する画像信号を周波数領域に変換する手法がある。そして、画像信号のように所定の期間でサンプリングされたデータについては、一般に離散フーリエ変換を用いて周波数領域に変換することが行われている。よって、以下の説明では、フリッカ検出部１０３は離散フーリエ変換を用いて画像信号が示す画像のフリッカを周波数領域に変換して、照明強度の変化を求めるものとする。
【００３２】
図１０に関連して説明したように、点滅光源によって生じるフリッカは、撮像素子１０１の駆動に応じて画像の垂直方向に明暗の形であらわれる。従って、画像信号が示す画像において垂直方向にサンプリングを行えばよく、例えば、水平ライン毎に画像信号を平均処理して、時間軸（時間サンプリング）および信号レベルの２次元情報に縮退させてフリッカを検出する。
【００３３】
なお、上記の手法の他に、例えば、画像信号が示す画像の中央部で発生するフリッカがユーザに不快感を与えるとして、画像の中央部にフリッカ検出領域を設定する。そして、当該フリッカ検出領域において水平方向毎に画像信号を平均してフリッカを検出するようにしてもよい。
【００３４】
いずれにしても、画像信号を時間軸（時間サンプリング）および信号レベルの２次元情報に縮退させたデータに基づいてフリッカを検出するようにすればよい。
【００３５】
さらに、画像に発生したフリッカは輝度変調性を有しているので、フリッカが生じていない場合のライン毎の平均信号レベル（ライン平均レベル）が異なると、フリッカの振幅も異なることになる。このため、フリッカ検出部１０３はフリッカが生じた場合のライン平均レベルを、フリッカが生じていない場合のライン平均レベルで除算して正規化する。
【００３６】
画像信号がＮＴＳＣで商用電源の周波数が６０Ｈｚの場合、画像信号に現れるフリッカは１００／６０≒１．７周期である。このため、フリッカが生じていない場合のライン平均レベルは３フレーム間で加算平均すれば精度よく求めることができる。また、直流成分（ＤＣ成分）をキャンセルするため、正規化後のサンプリングデータから１を減算して周波数解析の母数とする。
【００３７】
加えて、前述のように、画像信号に現れるフリッカは１．７周期であるので、画像信号において垂直方向のうち全て又は１周期以上の一部分をサンプリングすればよい。なお、画像信号がＰＡＬで商用電源周波数が５０Ｈｚの場合には、１２０／５０＝２．４周期であるため、同様に画像信号において垂直方向のうち全て又は１周期以上の一部分をサンプリングすればよい。
【００３８】
ここで、上述のようにして得られたサンプリングデータを周波数領域に変換する例について説明する。
【００３９】
いま、サンプリングの母数（つまり、サンプリング数）をＮ（Ｎは２以上の整数）、サンプリングされたデータをＸｎ（ｎ＝０，１，…，Ｎ−１）とすると、次の式（１）で示す離散的なフーリエ係数によって周波数領域に離散フーリエ変換される。
【００４０】
【数１】
2014165800.tif 000003
ここで、ｋ＝０，１，…，（Ｎ−１）である。
【００４１】
時間Ｌ（ｓｅｃ）についてＮ個の時間サンプリングを行った場合に、サンプリング間隔をａ（ｓｅｃ）とすると、離散フーリエ変換後のフーリエ係数は、式（２）で示される離散的な周波数ｆｋの範囲で求めることができる。
【００４２】
【数２】
2014165800.tif 000004
ここでｆｓは時間領域におけるサンプリング周波数である。
【００４３】
画像信号からサンプリングされたデータ列は実時間信号であるので、式（１）を展開すると、データ列は実部Ｒｅと虚部Ｉｍに分離することができ、式（３）および式（４）で表される。
【００４４】
【数３】
2014165800.tif 000005
【００４５】
離散フーリエ変換の定義から、式（４）に示す実部Ｒｅおよび虚部Ｉｍに応じて、次数ｋにおける周波数成分（振幅値および位相情報）を算出することができ、検出すべきフリッカの周波数に相当する次数ｋを適切に選択すれば、照明強度変化情報を得ることができる。
【００４６】
上述のようにして、フリッカ検出部１０３で照明強度変化情報が得られると、誤差推定部１０４は照明強度変化情報（フリッカの周波数成分である実部Ｒｅおよび虚部Ｉｍ）に応じて位相情報Ωｋを算出する（ステップＳ２０２）。
【００４７】
離散フーリエ変換における位相スペクトルの算出は式（５）で定義される。
【００４８】
【数４】
2014165800.tif 000006
【００４９】
但し、式（５）において取りうる値は、−π／２〜π／２であり、後述する誤差推定部１０４で行われる誤差推定処理において都合が悪いので、式（６）に示すように、取りうる値を０〜２πに拡張する。
【００５０】
【数５】
2014165800.tif 000007
【００５１】
続いて、誤差推定部１０４は移送情報Ωｋを、制御部１０２からの時間情報でモニタリングして誤差推定処理を行う（ステップＳ２０３）。
【００５２】
位相情報Ωｋのうち検出すべきフリッカの周波数に相当する次数ｋにおける位相情報Ωｋは画像に現れるフリッカを周期波としてとらえた際の位相情報を示す。例えば、画像信号がＮＴＳＣで商用電源の周波数が６０Ｈｚの場合、画像信号に現れるフリッカのうち、基本周波数である１００Ｈｚの成分は１００／６０≒１．７周期である。このため、１００Ｈｚの成分は３フレーム周期でその位相が繰り返される。
【００５３】
従って、フレーム毎に得られる位相情報Ωｋは、所定の位相量Δφと３フレームの繰り返しによる位相変化量θとを含んでいる。（なお、位相量Δφとは、特定のフレームにおける離散フーリエ変換の余弦波（式（４））に対する位相ずれ量である。
【００５４】
よって、位相情報Ωｋに対して、式（７）によって位相量Δφを算出することができる。
【数６】
2014165800.tif 000008
【００５５】
例えば、あるフレームを基準として、当該基準フレームで得られた位相情報Ωｋに対してθ＝０とし、次のフレームではθ＝２π／３、さらに、次のフレームではθ＝４π／３として、以後３フレーム毎に繰り返して演算を行う。この操作によって、フレーム毎に位相量Δφを得ることができる。
【００５６】
なお、式（６）に示すように、ここでは、取りうる値を０〜２πとしたいので、式（７）による演算の結果が負になる場合には、２πを加算する。
【００５７】
図３は、横軸を時間軸とした際の位相量Δφの変化を示す図である。なお、フレーム単位で位相量Δφが得られるので、位相量Δφは離散的な値を取るべきであるが、図３においては説明の便宜上連続した値で描画されている。
【００５８】
図３において、破線（点線）３０２は画像に現れたフリッカの周波数がフリッカ検出部１０３における周波数解析処理の基準周波数と一致している場合を示す。点線３０２では、時間方向、つまり、フレーム単位でみた際にその値に変化が見られず、位相量Δφは一定の値Δφ１となる。
【００５９】
一方、画像に現れたフリッカの周波数がフリッカ検出部１０３における周波数解析処理の基準周波数と一致していない場合には、つまり、点滅光源の点滅周期が変動した場合には、実線３０１で示すように、位相量Δφは０〜２πの範囲で変化する。特に、点滅光源の周期（周波数）が一定の誤差量で変動している場合には、位相量Δφも一定の変化割合で増加又は減少する（図３においては、増加する例が示されている）。
【００６０】
誤差推定部１０４は、画像に現れたフリッカの周波数とフリッカ検出部１０３における周波数解析処理の基準周波数との誤差周波数Δｆを算出する（ステップＳ２０４）。
【００６１】
再び図３を参照して、画像に現れたフリッカの周波数に一定の誤差がある場合には、実線３０１で示すように誤差量に応じて位相量Δφが変化する。この際、位相量Δφは０〜２πの範囲で単一増加又は単一減少するので、誤差推定部１０４がモニタリングを開始した時刻ｔ１のときの位相量Δφ１から位相量が変化し、ある時間が経過した後再び位相量Δφ１に戻る。このときの時刻をｔ２とすると、誤差周波数Δｆは、位相が２π（ｒａｄ）変化するのに要した時間Δｔから式（８）によって算出される。
【００６２】
【数７】
2014165800.tif 000009
但し、式（８）においては、符号が考慮されていないので、式（８）を式（９）に修正して誤差周波数Δｆを算出する。
【００６３】
【数８】
2014165800.tif 000010
【００６４】
誤差推定部１０４は、フレーム単位で得られる位相量Δφが１周するのに要するフレーム数（つまり、時間）を制御部１０２から取得する。そして、誤差推定部１０４はフレーム単位で得られる位相量Δφから、画像に現れるフリッカの周波数と周波数解析処理の基準周波数との誤差周波数Δｆを算出する。
【００６５】
この誤差周波数Δｆは、誤差推定部１０４からフリッカ検出部１０３に送られて、フリッカ検出部１０３は、誤差周波数Δｆに応じて周波数解析処理における基準周波数を変更する。
【００６６】
なお、基準周波数とは、画像信号に発生したフリッカの基本波の成分であって、一般的に電源周波数の２倍の周波数に相当する。例えば、離散フーリエ変換による周波数解析処理の場合には、式（２）から明らかなように得られる周波数成分は離散的な値ｆｋになるので、基準周波数の変更はサンプリングの母数Ｎを変更することに相当する。
【００６７】
誤差推定部１０４で得られた誤差周波数Δｆは、画像に発生したフリッカの基本波の成分の誤差量を示しているので、式（１０）で示すように、フリッカ検出部１０３は誤差周波数Δｆを考慮した新たなサンプリング母数Ｎ’を周波数解析処理の解析範囲とする。
【００６８】
【数９】
2014165800.tif 000011
【００６９】
ここで、ｆ’ｋは、誤差周波数Δｆを加味した離散フーリエ変換で解析される離散的な周波数であって、画像に現れたフリッカの周波数の基本波の成分とその高調波の成分をよって正確に検出することができる。
【００７０】
上述のように、本発明の第１の実施形態では、フリッカの検出を行う際の周波数解析処理において、画像に現れるフリッカの周波数と周波数解析処理の基準周波数との誤差周波数に応じて、基準周波数を変更するようにしたので、精度よくフリッカの検出を行うことができる。
【００７１】
第１の実施形態では、位相量Δφが０〜２πの範囲で１周した際の時間Δｔと位相量Δφの変化の方向（増加又は減少）とから式（９）に応じて誤差周波数Δｆを算出した。なお、一周とは、図３に示すモニタリング開始時の位相量Δφ１から増加又は減少を繰り返すことによって、値域０〜２πで元のΔφ１に戻ることをいう。
【００７２】
別の手法として、次のようにして誤差周波数Δｆを求めるようにしてもよい。例えば、図３において、モニタリングを開始した時刻ｔ１のときの位相量Δφ１から所定の時刻ｔ３を経過した際の位相量をΔφ２とした場合、角速度の定義から、式（１１）によって誤差周波数Δｆを算出することができる。
【００７３】
【数１０】
2014165800.tif 000012
【００７４】
つまり、単位時間当たりの位相変化量を算出するによって誤差周波数Δｆを算出することができ、前述のように、位相量Δφが１周するのを待つことなく誤差周波数Δｆを推定することできる。また、単位時間当たりの位相変化量を１フレーム毎又は数フレーム（単位フレーム）毎に算出して、単位時間当たりの位相変化量が一定か否かについて位相量Δφと同様に時間方向にモニタリングする。これによって、誤差周波数Δｆが一定か否かを判定することができ、誤差周波数Δｆの信頼度を向上させることができる。
【００７５】
さらに、フリッカ検出部１０３は誤差周波数Δｆが予め定められた閾値Ｔｈを超えると、式（１０）に応じて周波数ｆｋを変更するようにしてもよい。これによって、頻繁に周波数が切り替わることを抑制することができ、周波数解析の演算パラメータの変更に要する演算時間を抑制することが可能となる。
【００７６】
［第２の実施形態］
続いて、本発明の第２の実施形態によるフリッカ補正装置を備える撮像装置の一例について説明する。
【００７７】
図４は、本発明の第２の実施形態によるフリッカ補正装置の一例を備える撮像装置を示すブロック図である。なお、図４において、図１に示す撮像装置と同一の構成要素については同一の参照番号を付して説明を省略する。
【００７８】
図４において、図示の撮像装置は、フリッカ補正値生成部４０１およびフリッカ補正部４０２を有しており、誤差推定部１０４で得られた誤差周波数Δｆがフリッカ補正値生成部４０１に与えられる。フリッカ補正値生成部４０１は制御部１０２の制御下で、フリッカ検出部１０３で得られた照明強度変化情報に基づいて画像のフリッカを補正するための補正値（フリッカ補正値）を算出する。そして、フリッカ補正値生成部４０１はフリッカ補正値をフリッカ補正部４０２に送る。
【００７９】
ここで、フリッカ補正値生成部４０１によるフリッカ補正値の生成について説明する。
【００８０】
フリッカ補正値生成部４０１は、画像信号が示す画像に現れるフリッカを補正するフリッカ補正値を生成するため、例えば、式（１２）に示す正弦波モデルを保持している。
【００８１】
【数１１】
2014165800.tif 000013
【００８２】
式（１２）において、Ａｋは照明強度変化情報（実部Ｒｅおよび虚部Ｉｍ）に応じて式（１３）によって算出されるフリッカの振幅値である。
【数１２】
2014165800.tif 000014
【００８３】
フリッカ補正値を生成する際、フリッカ補正値生成部４０１はフリッカ検出部１０３による周波数解析処理の次数ｋを選択して、当該次数ｋにおける振幅値Ａｋおよび周波数ｆｋ（つまり、補正対象となるフリッカの周波数）を適用する。
【００８４】
式（１２）に示すθは選択した次数ｋにおける位相情報Ωｋから求められる位相量であって、フリッカを周期波としてとらえた際のフレーム毎の初期位相に相当する。
【００８５】
フリッカ補正値生成部４０１は、画像信号に含まれる各ラインに対するフリッカ補正値を生成するため、フレームに含まれるライン数に応じて式（１２）の時間ｔを算出することによって、各ラインのフリッカ補正値を算出する。具体的には、フリッカ補正値生成部４０１は制御部１０２から各ラインの開始タイミングを制御情報として受け取る。そして、フリッカ補正値生成部４０１は制御情報に応じてライン間の経過時刻を算出する。
【００８６】
なお、次数ｋを複数選択するようにすれば、画像に現れるフリッカの高次の成分に係るフリッカ補正値を生成することができるが、説明の便宜上、基本波（つまり、電源周波数の２倍）の成分に係るフリッカ補正値を生成するものとする。
【００８７】
式（１２）によって得られるｆｋ（ｔ）は、画像信号のフリッカを再現したものであるから、画像信号のフリッカを補正するためには、ｆｋ（ｔ）に１を加算して、その逆数を求めればフリッカ補正値になる。
【００８８】
フリッカ補正部４０２はフリッカ補正値を撮像素子１０１の出力である画像信号に乗算して画像信号が示す画像に現れるフリッカを補正する。なお、画像に現れるフリッカはおおむね同一ラインにおいては同一の変調量であるため、同一ラインにおいては同一のフリッカ補正量を用いることができる。
【００８９】
図４に示す撮像装置において、いまフリッカ補正値を生成するための基準周波数が、例えば、ｆｋ＝１００Ｈｚであるものとする。このｆｋ＝１００Ｈｚは、前述したように画像に現れるフリッカの周波数（基本周波数）が電源周波数の２倍であることによるものであり、一般的に知られた値である。
【００９０】
電源周波数の誤差によって画像に現れるフリッカ周波数が変動すると、フリッカ補正値生成部４０１は、誤差推定部１０４から得られる誤差周波数Δｆを式（１２）に示すｆｋに加算する。これによって、フリッカ補正値生成部４０１はフリッカの周波数が変動しても変動後の周波数でフリッカ補正値を生成することが可能となって、フリッカ補正の精度が向上する。
【００９１】
図５は、本発明の第２の実施形態によるフリッカ補正装置の他の例を備える撮像装置を示すブロック図である。なお、図５において、図４に示す撮像装置と同一の構成要素については同一の参照番号を付して説明を省略する。
【００９２】
図５に示す撮像装置では、誤差推定部１０４は誤差周波数Δｆをフリッカ検出部１０３およびフリッカ補正値生成部４０１に送る。フリッカ検出部１０３は、第１の実施形態で説明したように誤差周波数Δｆに応じて周波数解析処理の基準周波数基準周波数を変更する。
【００９３】
これによって、画像に現れるフリッカを精度よく検出することができる。つまり、フリッカ検出部１０３で得られる照明強度変化情報（離散フーリエ変換によって得られる実部Ｒｅおよび虚部Ｉｍ）の精度が向上する。この結果、式（１３）によって算出されるフリッカの振幅値Ａｋの精度が向上する。
【００９４】
さらに、フリッカ補正値生成部４０１はフリッカ補正値の周波数ｆｋを変動後の周波数で生成することができ、式（１２）における振幅値Ａｋおよびｆｋの双方をフリッカの周波数の変動に対応させることができる。よって、画像に現れるフリッカの周波数の変動した場合においても、フリッカ補正の精度をさらに向上させることができる。
【００９５】
［第３の実施形態］
次に、本発明の第３の実施形態によるフリッカ補正装置を備える撮像装置の一例について説明する。
【００９６】
図６は、本発明の第３の実施形態によるフリッカ補正装置の一例を備える撮像装置を示すブロック図である。なお、図６において、図１、図４、および図５に示す撮像装置と同一の構成要素については同一の参照番号を付して説明を省略する。
【００９７】
図示の撮像装置は、調整判定部６０１を備えており、調整判定部６０１は制御部１０２の制御下で、誤差推定部１０４で得られた誤差周波数Δｆで基準周波数の調整を行うか否かを判定する。制御部１０２は調整判定部６０１に調整制御信号を送る。この調整制御信号は撮像素子１０１における電荷蓄積時間を示す。制御部１０２は撮像素子１０１の電荷蓄積を制御する際に得られる電荷蓄積時間に応じて調整制御信号を生成する。
【００９８】
図７は、図６に示す撮像素子１０１の電荷蓄積時間と画像に現れるフリッカの大きさとの関係を示す図である。なお、フリッカの大きさとは点滅光源による輝度信号の変調度をいう。
【００９９】
図７において、縦軸の変調度は、点滅光源によってフリッカが生じる際のレベル変動（振幅）を、フリッカが生じない場合の信号レベルで正規化したものである。実線で示す特性曲線７０１は電荷蓄積時間の各々において、フリッカによる信号レベルの変調がどの程度であるかを示す。電荷蓄積時間が短くなる程、点滅光源の光量を積分する時間が短くなるので、ライン毎の信号レベルの変動が大きくなる。このため、積分する時間と点滅光源の周期とから、変調度は図示の特性を有する。
【０１００】
いま、所定の基準によって定められた閾値Ｔｈよりもフリッカの大きさが大きくなる電荷蓄積時間を、時間ｔｌおよびｔｒで示す。調整判定部６０１は、次の式（１４）および式（１５）によって、制御部１０２から送られる調整制御信号が示す電荷蓄積時間ｔｓが時間ｔｌ又はｔｒに含まれているか否かについて判定する。
【０１０１】
【数１３】
2014165800.tif 000015
【０１０２】
なお、閾値Ｔｈは、画像に現れるフリッカが画像で認識される境界条件に応じて決定され、フリッカの大きさが閾値Ｔｈ以下であれば、フリッカはユーザに視認されないことが望ましい。
【０１０３】
調整判定部６０１は、現在の撮像素子１０１の電荷蓄積時間が閾値Ｔｈよりもフリッカの大きさが大きくなる電荷蓄積時間であると判定すると、誤差周波数Δｆをフリッカ検出部１０３およびフリッカ補正値生成部４０１に送る。一方、撮像素子１０１の電荷蓄積時間が閾値Ｔｈよりもフリッカの大きさが大きくなる電荷蓄積時間でないと判定すると、調整判定部６０１は誤差周波数Δｆをフリッカ検出部１０３およびフリッカ補正値生成部４０１に送らない。
【０１０４】
なお、撮像素子１０１の電荷蓄積時間が閾値Ｔｈよりもフリッカの大きさが大きくなる電荷蓄積時間でないと判定すると、調整制御部６０１は誤差周波数ΔｆをΔｆ＝０として、フリッカ検出部１０３およびフリッカ補正値生成部４０１に送るようにしてもよい。
【０１０５】
このように、図６に示す撮像装置では、調整判定部６０１が撮像素子１０１の電荷蓄積時間に応じてフリッカ検出部１０３の基準周波数ｆｋとフリッカ補正値生成部の基準周波数ｆｋの調整を行うようにしたので、頻繁に基準周波数が切り替わることを抑制することができる。これによって、周波数解析処理の演算パラメータの変更に要する演算時間、フリッカ補正値の生成に要する演算時間を抑制することが可能となる。
【０１０６】
また、図７に示す特性曲線７０１から容易に理解できるように、誤差推定部１０４で得られた誤差周波数Δｆが同一であっても、撮像素子１０１の電荷蓄積時間に対して画像に現れるフリッカの大きさは変動するので、撮像素子１０１の電荷蓄積時間によってはフリッカ補正後に画像に現れる誤差成分に差が生じる。この誤差成分は補正残りに起因する残留成分である。このため、第１の実施形態で説明した誤差周波数Δｆに対して閾値判定を行うよりも、さらに検出精度を向上させることができる。
【０１０７】
図８は、本発明の第３の実施形態によるフリッカ補正装置の他の例を備える撮像装置を示すブロック図である。なお、図８において、図６に示す撮像装置と同一の構成要素については同一の参照番号を付して説明を省略する。
【０１０８】
図８に示す撮像装置では、フリッカ検出部１０３で得られた照明強度変化（実部Ｒｅおよび虚部Ｉｍ）が照明強度変化情報８０１として調整判定部６０１に入力される。調整判定部６０１は照明強度変化情報８０１に応じて式（１３）によって画像に発生しているフリッカの振幅値Ａｋを算出する。
【０１０９】
この振幅値Ａｋは撮像素子１０１の電荷蓄積時間におけるフリッカの大きさ、つまり、図７で示す特性曲線７０１上の１点を示している。そして、調整判定部６０１は、図６に関連して説明したように、予め定められた閾値Ｔｈと振幅値Ａｋとを比較して、誤差周波数Δｆをフリッカ検出部１０３およびフリッカ補正値生成部４０１に送るか否かを判定する。
【０１１０】
このように、図８に示す撮像装置では、図６に示す撮像装置と同様の効果が得られるばかりでなく、点滅光源の相違に起因して特性曲線に相違があっても、より的確に周波数解析処理の際の演算パラメータの変更に要する演算時間およびフリッカ補正値の生成に要する演算時間を抑制することが可能となる。
【０１１１】
以上のように、本発明の第３の実施形態では、周波数解析処理の演算パラメータの変更に要する演算時間およびフリッカ補正値の生成に要する演算時間を抑制して、しかも精度よくフリッカを検出して補正を行うことができる。
【０１１２】
上述の説明から明らかなように、図１、図４、図５、図６、および図８に示す例においては、フリッカ検出部１０３および制御部１０２がフリッカ検出手段として機能し、誤差推定部１０４および制御部１０２が誤差推定手段として機能する。
【０１１３】
また、フリッカ補正値生成部４０１および制御部１０２がフリッカ補正値生成手段として機能する。さらに、調整判定部６０１および制御部１０２が判定手段として機能する。
【０１１４】
なお、図１に示す例では、制御部１０２、フリッカ検出部１０３、および誤差推定部１０４がフリッカ検出装置を構成する。また、図４および図５に示す例では、制御部１０２、フリッカ検出部１０３、誤差推定部１０４、フリッカ補正値生成部４０１、およびフリッカ補正部４０２がフリッカ補正装置を構成する。さらに、図６および図８に示す例では、制御部１０２、フリッカ検出部１０３、誤差推定部１０４、フリッカ補正値生成部４０１、フリッカ補正部４０２、および調整判定部６０１がフリッカ補正装置を構成する。
【０１１５】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１１６】
例えば、上記の実施の形態の機能を制御方法として、この制御方法をフリッカ検出装置又はフリッカ補正装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムをフリッカ検出装置又はフリッカ補正装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１１７】
上記の制御方法および制御プログラムの各々は、少なくともフリッカ検出ステップ、誤差推定ステップ、および変更ステップを有している。また、制御方法および制御プログラムの各々は、フリッカ検出ステップ、誤差推定ステップ、フリッカ補正値生成ステップ、およびフリッカ補正ステップを有するようにしてもよい。
【０１１８】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１１９】
１０１  撮像素子
１０２  制御部
１０３  フリッカ検出部
１０４  誤差推定部
４０１  フリッカ補正値生成部
４０２  フリッカ補正部
６０１  調整判定部
【図１】
2014165800.tif 000016
【図２】
2014165800.tif 000017
【図３】
2014165800.tif 000018
【図４】
2014165800.tif 000019
【図５】
2014165800.tif 000020
【図６】
2014165800.tif 000021
【図７】
2014165800.tif 000022
【図８】
2014165800.tif 000023
【図９】
2014165800.tif 000024
【図１０】
2014165800.tif 000025