(57)【要約】【課題】単一のフレームの画像によってフリッカを高精度に検出する。【解決手段】撮像装置１００は、撮像素子１０１の各走査ラインに、相異なる第１または第２の電荷蓄積時間のいずれかを設定する露光制御部１０５と、撮像素子１０１によって取得された単一のフレームの画像信号のうち、第１の電荷蓄積時間が設定された走査ラインによる第１の画像信号と、第２の電荷蓄積時間が設定された走査ラインによる第２の画像信号との間で、走査ラインの方向に対して垂直な方向の輝度変化の差分を取得する輝度差算出部１０８と、輝度変化の差分に基づいて、フリッカが発生しているか否かを判定するフリッカ検出部１０９とを含む。【選択図】図１３
2012134677.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の各走査ラインに、相異なる第１または第２の電荷蓄積時間のいずれかを設定する露光制御部と、
前記撮像素子によって取得された単一のフレームの画像信号のうち、前記第１の電荷蓄積時間が設定された前記走査ラインによる第１の画像信号と、前記第２の電荷蓄積時間が設定された前記走査ラインによる第２の画像信号との間の、前記走査ラインの方向に対して垂直な方向の輝度変化の差分を取得する輝度差算出部と、
前記輝度変化の差分に基づいて、フリッカが発生しているか否かを判定するフリッカ検出部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記第１の電荷蓄積時間は、前記フリッカの周期の自然数倍であることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記第２の電荷蓄積時間は、前記フリッカの別の周期の自然数倍であることを特徴とする、請求項２に記載の撮像装置。
【請求項４】
前記フリッカ検出部は、前記輝度変化の差分を積算して所定の閾値と比較することによって、前記フリッカが発生しているか否かを判定することを特徴とする、請求項１に記載の撮像装置。
【請求項５】
前記第１の画像信号および前記第２の画像信号について、画像を分割した複数のブロックのそれぞれにおける輝度積算値を取得するブロック輝度積算部をさらに備え、
前記輝度差算出部は、各ブロックを単位として前記輝度変化の差分を取得することを特徴とする、請求項１に記載の撮像装置。
【請求項６】
前記第１の画像信号と前記第２の画像信号との間の電荷蓄積時間の差による露出差が補償されるように、前記走査ラインごとに画素値の増幅ゲインを設定するアナログ処理部をさらに備えることを特徴とする、請求項１に記載の撮像装置。
【請求項７】
前記フリッカ判定部は、前記輝度変化の差分を周波数解析することによって、前記フリッカの周波数を特定することを特徴とする、請求項１に記載の撮像装置。
【請求項８】
撮像素子の各走査ラインに、相異なる第１または第２のいずれかの電荷蓄積時間を設定するステップと、
前記撮像素子によって取得された単一のフレームの画像信号のうち、前記第１の電荷蓄積時間が設定された前記走査ラインによる第１の画像信号と、前記第２の電荷蓄積時間が設定された前記走査ラインによる第２の画像信号との間で、画像の前記走査ラインの方向に対して垂直な方向の輝度変化の差分を取得するステップと、
前記輝度変化の差分に基づいて、フリッカが発生しているか否かを判定するステップと、
を含むことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法に関し、特に、自動露光機能を有する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
蛍光灯照明の室内などで、デジタルカメラなどの電子的撮像装置を用いて画像を撮影した場合、被写体の照度が周期的に変化することによって、撮影された画像に輝度ノイズが生じる場合がある。ここでは、被写体の照度の周期的な変化をフリッカ（ちらつき）といい、フリッカによって画像に生じる輝度ノイズをフリッカノイズという。フリッカノイズの例は、動画の連続したフレームの間に生じる輝度差でありうる。また、フリッカノイズの別の例は、画像に発生する縞模様でありうる。
【０００３】
そこで、フリッカを検出するための技術が提案されている。例えば、特許文献１では、所定の期間に撮影された複数のフレームの画像について、各画像の輝度の平均値に対する差分から導出した指標を用いてフリッカを検出する技術が開示されている。特許文献２では、画像に設定されたフリッカ検波枠を用いて、前後の２つのフレームの輝度差分として抽出されるフリッカ成分の山と谷を測定してフリッカの周波数を推定する技術が開示されている。特許文献３では、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサにおいて、フリッカの周期に同期する露光時間と、それ以外の露光時間のそれぞれで撮影された画像の輝度の違いに基づいてフリッカ成分を抽出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１２１６０５号公報
【特許文献２】特許第３８２３３１４号公報
【特許文献３】特表２０１０−５２０６７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１〜３において開示されている技術は、いずれも、複数のフレーム間での輝度変化を観測することによってフリッカを検出している。この場合、動きのある被写体を撮影した場合などに、フレーム相互間で画像のぶれが生じると、フリッカの検出精度が低下するという問題がある。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、単一のフレームの画像によってフリッカを高精度に検出することが可能な、新規かつ改良された撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、撮像素子の各走査ラインに、相異なる第１または第２の電荷蓄積時間のいずれかを設定する露光制御部と、上記撮像素子によって取得された単一のフレームの画像信号のうち、上記第１の電荷蓄積時間が設定された上記走査ラインによる第１の画像信号と、上記第２の電荷蓄積時間が設定された上記走査ラインによる第２の画像信号との間で、上記走査ラインの方向に対して垂直な方向の輝度変化の差分を取得する輝度差算出部と、上記輝度変化の差分に基づいて、フリッカが発生しているか否かを判定するフリッカ検出部とを含むことを特徴とする撮像装置が提供される。
【０００８】
かかる構成によれば、電荷蓄積時間が相異なる２種類の走査ラインによる画像の間で輝度変化の差分を算出してフリッカの発生を検出するため、単一のフレームの画像によってフリッカを検出することができる。また、フレーム間の画像の変化の影響を受けないため、フリッカを高精度に検出することができる。
【０００９】
上記第１の電荷蓄積時間は、上記照度変化の周期の自然数倍であってもよい。これにより、２種類の走査ラインによる画像のうちの一方ではフリッカが発生しないため、輝度変化の差分を用いたフリッカの検出が容易になる。
【００１０】
上記第２の電荷蓄積時間は、上記照度変化の別の周期の自然数倍であってもよい。これにより、照度変化の周期が２つあるうちのどちらであっても、２種類の走査ラインによる画像のうちの一方ではフリッカが発生しないため、輝度変化の差分を用いたフリッカの検出が容易になる。
【００１１】
上記フリッカ検出部は、上記輝度変化の差分を積算して所定の閾値と比較することによって、上記フリッカが発生しているか否かを判定してもよい。これにより、単純な比較処理によってフリッカが発生しているか否かを判定することができる。
【００１２】
上記撮像装置は、上記第１の画像信号および上記第２の画像信号について、画像を分割した複数のブロックのそれぞれにおける輝度積算値を取得するブロック輝度積算部をさらに含み、上記輝度差算出部は、各ブロックを単位として上記輝度変化の差分を取得してもよい。これにより、輝度変化の差分を取得するときの演算量を削減することができる。
【００１３】
上記撮像装置は、上記第１の画像信号と上記第２の画像信号との間の電荷蓄積時間の差による露出差が補償されるように、上記走査ラインごとに画素値の増幅ゲインを設定するアナログ処理部をさらに含んでもよい。これにより、フリッカ検出のための電荷蓄積時間の変更が、撮像される画像に及ぼす影響を低減することができる。
【００１４】
上記フリッカ判定部は、上記輝度変化の差分を周波数解析することによって、上記フリッカの周波数を特定してもよい。これにより、発生しているフリッカについてのさらに詳細な情報を得ることができる。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子の各走査ラインに、相異なる第１または第２のいずれかの電荷蓄積時間を設定するステップと、上記撮像素子によって取得された単一のフレームの画像信号のうち、上記第１の電荷蓄積時間が設定された上記走査ラインによる第１の画像信号と、上記第２の電荷蓄積時間が設定された上記走査ラインによる第２の画像信号との間で、画像の上記走査ラインの方向に対して垂直な方向の輝度変化の差分を取得するステップと、上記輝度変化の差分に基づいて、フリッカが発生しているか否かを判定するステップとを含むことを特徴とする撮像方法が提供される。
【発明の効果】
【００１６】
以上説明したように本発明によれば、単一のフレームの画像によってフリッカを高精度に検出することができる。
【図面の簡単な説明】
【００１７】
【図１】交流電源の電圧変化の例を示す図である。
【図２】光源の照度変化の例を示す図である。
【図３】面フリッカの例を示す図である。
【図４】ラインフリッカの例を示す図である。
【図５】面フリッカの発生原因について説明するための図である。
【図６】ラインフリッカの発生原因について説明するための図である。
【図７】面フリッカが発生しない場合について説明するための図である。
【図８】ラインフリッカが発生しない場合について説明するための図である。
【図９】面フリッカを検出する関連技術の例を示す図である。
【図１０】ラインフリッカを検出する関連技術の例を示す図である。
【図１１】本発明の一実施形態における撮像素子のフィールド構成を示す図である。
【図１２】本発明の一実施形態に係る撮像装置の機能構成を示すブロック図である。
【図１３】本発明の一実施形態に係る撮像装置の動作を示すフローチャートである。
【図１４】本発明の一実施形態において発生しうるフリッカノイズを示す図である。
【図１５】本発明の一実施形態におけるカラーチャネルの分離について説明するための図である。
【図１６】本発明の一実施形態における輝度変化の差分の算出について説明するための図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
（１．フリッカの発生原理）
まず、フリッカの発生原理について説明する。上述のように、フリッカとは、被写体の照度の周期的な変化である。被写体の照度変化は光源の照度変化によってもたらされ、光源の照度変化は電源の電圧変化によってもたらされる。
【００２０】
図１は、交流電源の電圧変化の例を示す図である。図示されているように、交流電源の電源電圧の変化は、正弦波になる。一般的な交流電源の周波数は５０Ｈｚまたは６０Ｈｚであるため、交流電源の電源電圧の変化は、周波数ｆ＝５０Ｈｚの正弦波、または周波数ｆ＝６０Ｈｚの正弦波になる。なお、図示された例は周波数ｆ＝５０Ｈｚの場合である。
【００２１】
図２は、光源の照度変化の例を示す図である。交流電源を供給される光源の照度は、交流電源の周波数の２倍の周波数で周期的に変化する。上述のように、一般的な交流電源の周波数は５０Ｈｚまたは６０Ｈｚであるため、光源の照度の周波数はその２倍で、周波数ｆ＝１００Ｈｚ、または周波数ｆ＝１２０Ｈｚになる。なお、図示された例は周波数ｆ＝１００Ｈｚで光源の照度が変化する場合である。
【００２２】
フリッカの原因になるのは、図２の例のように、照度が周期的に変化する光源である。以下、このような光源を、フリッカ光源ともいう。被写体の照度は、フリッカ光源の照度とともに周期的に変化するため、フリッカ周波数は、フリッカ光源の照度変化の周波数と同一になるため、光源の電源に一般的な交流電源が用いられる場合、フリッカ周波数は１００Ｈｚまたは１２０Ｈｚになる。以下、周波数が１００Ｈｚのフリッカを１００Ｈｚフリッカ、周波数が１２０Ｈｚのフリッカを１２０Ｈｚフリッカともいう。
【００２３】
ここで、表１を参照して、フリッカによって画像に発生するフリッカノイズの種類について説明する。表１は、フリッカノイズの種類ごとに、フリッカノイズが発生しうる撮像素子の種類（ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ）、およびフリッカノイズの概要を示す表である。
【００２４】
【表１】
2012134677.tif 000003
【００２５】
図３は、面フリッカの例を示す図である。図示されているように、撮像素子がＣＣＤである場合に面フリッカが発生すると、時系列で連続したフレームの平均輝度が周期的に変化する。
【００２６】
図４は、ラインフリッカの例を示す図である。図示されているように、撮像素子がＣＭＯＳである場合にラインフリッカが発生すると、画像の輝度が垂直方向に変化するため、水平方向の縞模様が現れる。
【００２７】
続いて、それぞれの種類のフリッカノイズについて、発生原因を説明する。
【００２８】
図５は、面フリッカの発生原因について説明するための図である。面フリッカは、各フレームの撮影時における被写体の照度の位相が異なることが原因となって発生する。被写体の照度が周期的に変化する場合、矢印で図示されている各フレームの露光時間の範囲における照度の位相変化はそれぞれ異なる。従って、後述する特殊なケースを除き、露光量、すなわち露光時間中の照度積分値は、各フレームで異なる。結果として、各フレームの平均輝度が周期的に変化し、面フリッカが発生する。
【００２９】
図６は、ラインフリッカの発生原因について説明するための図である。ラインフリッカは、撮像素子がローリングシャッタ方式のＣＭＯＳである場合に、走査ラインごとに露光のタイミングが異なることが原因となって発生する。被写体の照度が周期的に変化する場合、ローリングシャッタ方式で順次露光される各走査ラインの露光時間の範囲における照度の位相変化はそれぞれ異なる。従って、後述する特殊なケースを除き、露光時間中の照度積分値は、各走査ラインで異なる。結果として、各走査ラインの輝度が周期的に変化し、画像にラインフリッカが発生する。図示された例では、ライン０とラインｎとの間で露光時間中の照度積分値が異なることが示されている。
【００３０】
続いて、それぞれの種類のフリッカノイズが発生しない場合について説明する。
【００３１】
図７は、面フリッカが発生しない場合について説明するための図である。図示された例１〜例３のように、動画撮影のフレーム間隔が、被写体の照度変化の周期の自然数倍である場合、面フリッカは発生しない。この場合、各フレームの露光時間の範囲における照度の位相変化は、どのフレームでも同じになる。従って、露光時間中の照度積分値は、各フレームで一致する。結果として、面フリッカは発生しない。しかし、この場合でも、ラインフリッカは発生しうる。なお、フレーム間隔が被写体の照度変化の周期の自然数倍である場合、フレーム間隔の逆数であるフレームレートは、被写体の照度変化の周期の逆数である周波数の１／ｎ（ｎは自然数）になる。以下、このような場合を「フレームレートがフリッカ周波数に同期している場合」ともいう。
【００３２】
図８は、ラインフリッカが発生しない場合について説明するための図である。図示された例のように、露光時間が被写体の照度変化の周期の自然数倍である場合、ラインフリッカは発生しない。この場合、各走査ラインの露光時間の範囲における照度の位相変化はそれぞれ異なるが、露光時間中の照度積分値は、各走査ラインで一致する。結果として、ラインフリッカは発生しない。また、この場合、複数のフレーム間でも同様に露光時間の範囲における照度積分値が一致するため、面フリッカも発生しない。なお、露光時間が被写体の照度変化の周期の自然数倍であることを、「露光時間がフリッカの周期に同期している」ともいう。
【００３３】
（２．関連技術の説明）
次に、フリッカを検出するための関連技術について説明する。ここで説明する関連技術では、複数のフレームの画像を用いてフリッカの発生が検出される。
【００３４】
図９は、面フリッカを検出する関連技術の例を示す図である。面フリッカを検出する関連技術では、複数のフレームにおける画像全体、または特徴部分の平均輝度を周波数解析することによって、フリッカ周波数が推定される。図示された例では、まず、各フレームの画像が所定のサイズの統計ブロックに分割される。次に、各フレームの統計ブロックの中で、複数の特定ブロック（特徴部分）が設定される。次に、各特定ブロックについて、時系列で連続した複数フレームでの輝度データが取得される。取得された各特定ブロックにおける複数フレームの間での輝度変化は、例えば高速フーリエ変換（ＦＦＴ：Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）によって周波数解析される。これによって、フリッカ周波数を示すパワースペクトルが得られ、面フリッカの有無と、フリッカ周波数が特定される。
【００３５】
しかし、複数フレームの間での輝度変化を周波数解析するためには、比較的多くのフレームを解析することが必要になる。例えば、図示された例のようにＦＦＴによって解析する場合、１６フレーム以上の解析が必要になる。
【００３６】
図１０は、ラインフリッカを検出する関連技術の例を示す図である。ラインフリッカを検出する関連技術では、露光時間が異なる複数のフレームの画像の輝度差分から、ラインフリッカの有無が推定される。図示された例では、露光時間が１／１００秒のフレーム１と、露光時間が１／９０秒のフレーム２との間の輝度差分が取得される。
【００３７】
ここで、光源の照度は、図２を参照して説明したように周波数ｆ＝１００Ｈｚで周期的に変化するものとする。この場合、露光時間が１／１００秒であるフレーム１では、図８を参照して説明したように、露光時間がフリッカの周期と同期するため、各走査ラインにおける露光時間中の照度積分値が一致し、ラインフリッカが発生しない。
【００３８】
一方、露光時間が１／９０秒であるフレーム２では、露光時間がフリッカの周期とは同期しない。なお、フレーム２の露光時間は、光源の照度が周波数ｆ＝１２０Ｈｚで周期的に変化する場合にも、フリッカの周期とは同期しない。この場合、フレーム２では、各走査ラインの輝度が周期的に変化することによって、画像にラインフリッカが発生する。このようなフレーム１およびフレーム２の間で、垂直方向に連続したブロックについて輝度差分を取得すると、周期的な輝度変化がフリッカ成分として抽出される。
【００３９】
しかし、このラインフリッカを検出する関連技術でも、検出のためには複数のフレームが必要になる。従って、動きのある被写体を撮影した場合などに、フレーム相互間で画像のぶれが生じると、フリッカの検出精度が低下する。
【００４０】
（３．実施形態の概要）
次に、本発明の一実施形態の概要について説明する。本実施形態では、画像信号を取得する撮像素子の走査ラインごとに、相異なる第１または第２の電荷蓄積時間のいずれかを設定することによって、単一のフレームの画像によってフリッカを検出する。それゆえ、本実施形態では、上記の関連技術においてフリッカ検出のために複数のフレームが必要であることによって生じうるフリッカの検出精度の低下を防ぐことが可能になる。
【００４１】
なお、本実施形態においては、フリッカ周波数が１００Ｈｚまたは１２０Ｈｚであることが予め特定されているものとする。図１および図２を参照して説明したように、一般的な交流電源の周波数は５０Ｈｚまたは６０Ｈｚであり、交流電源を供給される光源の照度変化の周波数は、供給される交流電源の周波数の２倍になる。従って、一般的な交流電源を供給される光源によって照らされる被写体の照度変化の周波数は、１００Ｈｚまたは１２０Ｈｚになる。
【００４２】
図１１は、本発明の一実施形態における撮像素子のフィールド構成を示す図である。本実施形態では、ベイヤー配列カラーフィルタ（Ｂａｙｅｒ  ＣＦＡ：Ｃｏｌｏｒ  Ｆｉｌｔｅｒ  Ａｒｒａｙ）を有する撮像素子において、水平方向の各走査ラインが、交互に、第１フィールドまたは第２フィールドに分類される。図示された例において、第１フィールドはＲ（赤）およびＧｒ（緑）の画素を含む走査ラインであり、第２フィールドはＢ（青）およびＧｂ（緑）の画素を含む走査ラインである。なお、Ｇｒは、Ｒと同じ走査ライン、すなわち第１フィールドに含まれる緑の画素であり、Ｇｂは、Ｂと同じ走査ライン、すなわち第２フィールドに含まれる緑の画素である。
【００４３】
本実施形態において、第１フィールドに含まれる走査ラインと、第２フィールドに含まれる走査ラインとは、相異なる電荷蓄積時間（露光時間）で撮影される。Ｇｒの画素は第１フィールドに含まれ、Ｇｂの画素は第２フィールドに含まれるため、Ｇｒの画素とＧｂの画素とは、相異なる電荷蓄積時間で撮影されることになる。このように相異なる電荷蓄積時間で撮影されたＧｒおよびＧｂの２つのカラーチャネルの間の輝度変化の差分を取得することによって、フリッカ成分が抽出される。
【００４４】
なお、第１フィールドと第２フィールドとの間の露光時間の差は、ＧｒおよびＧｂの２つのカラーチャネルの間の受光感度差が、フリッカによって生じる輝度差分よりも十分に小さくなるように設定される。
【００４５】
（４．撮像装置の構成）
次に、本発明の一実施形態に係る撮像装置の構成について説明する。本実施形態に係る撮像装置は、例えばコンパクトデジタルカメラである。また、撮像装置は、静止画を撮影可能なビデオカメラなど、撮像機能を有する他の装置であってもよい。
【００４６】
図１２は、本発明の一実施形態に係る撮像装置１００の機能構成を示すブロック図である。撮像装置１００は、撮像素子１０１、アナログ処理部１０２、信号処理部１０３、タイミングジェネレータ１０４、露光制御部１０５、カラーチャネル分離部１０６、ブロック輝度積算部１０７、輝度差算出部１０８、およびフリッカ検出部１０９を含む。撮像素子１０１以外の各構成要素は、例えばＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）を用いて実現される他、専用のハードウェアを用いて実現されてもよく、またＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）が記憶装置に格納されたプログラムに基づいて動作することによってソフトウェアとして実現されてもよい。
【００４７】
撮像素子（イメージセンサ）１０１は、図示しないレンズ等の光学系から入射された光学像（被写体像）を光電変換して生じた画像信号をアナログ処理部１０２に出力する。撮像素子１０１は、例えばローリングシャッタ方式のＣＭＯＳでありうる。図１１を参照して説明したように、撮像素子１０１は、ベイヤーＣＦＡを用いており、第１フィールドまたは第２フィールドに分類された複数の走査ラインを含む。撮像素子１０１は、第１フィールドの走査ラインによる第１の画像信号と、第２フィールドの走査ラインによる第２の画像信号とを、画像信号としてアナログ処理部１０２に出力する。
【００４８】
アナログ処理部１０２は、撮像素子１０１から入力された画像信号を処理し、Ｒ、Ｇｒ、Ｇｂ、Ｂの各カラーチャネルの情報を含むＲＡＷデータを信号処理部１０３およびカラーチャネル分離部１０６に出力する。アナログ処理部１０２は、例えば、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路によって、電気信号に含まれる低周波ノイズを除去し、増幅器（ａｍｐｌｉｆｉｅｒ）によって電気信号を任意のレベルまで増幅する。
【００４９】
ここで、アナログ処理部１０２は、増幅器の増幅ゲインを、撮像素子１０１の各走査ラインに対応する画像信号についてそれぞれ設定することが可能である。後述する露光制御部１０５によって、第１フィールドの走査ラインと第２フィールドの走査ラインとの間で異なる電荷蓄積時間が設定された場合、アナログ処理部１０２は、電荷蓄積時間の差による露出差を補償するために、第１フィールドの走査ラインから出力された第１の画像信号と第２フィールドの走査ラインから出力された第２の画像信号との間で異なる増幅ゲインを設定する。
【００５０】
信号処理部１０３は、アナログ処理部１０２から入力されたＲＡＷデータをアナログ／デジタル変換し、Ｒ、Ｇ、Ｂの画像信号を含むデジタル画像信号を取得する。信号処理部１０３は、取得された画像信号を、撮像装置１００における撮像画像の保存または表示のために出力する。
【００５１】
タイミングジェネレータ１０４は、露光制御部１０５によって制御され、撮像素子１０１を駆動するための各種パルスを生成して撮像素子１０１に供給する。例えば、撮像素子１０１に含まれる各走査ラインの電荷蓄積時間は、タイミングジェネレータ１０４から供給されるパルスによって決定される。
【００５２】
露光制御部１０５は、タイミングジェネレータ１０４を制御することによって、撮像素子１０１の各走査ラインの電荷蓄積時間を設定する。上述のように、撮像素子１０１に含まれる走査ラインは第１フィールドまたは第２フィールドに分類されている。露光制御部１０５は、走査ラインごとに異なる電荷蓄積時間を設定することが可能であり、第１フィールドおよび第２フィールドにそれぞれ含まれる走査ラインに、相異なる第１または第２の電荷蓄積時間のいずれかを設定する。
【００５３】
カラーチャネル分離部１０６は、アナログ処理部１０２から入力されたＲＡＷデータを、Ｒ、Ｇｒ、Ｇｂ、Ｂの各カラーチャネルの情報に分離する。カラーチャネル分離部１０６は、分離された各カラーチャネルの画像信号のうち、少なくともＧｒ、Ｇｂのカラーチャネルの画像信号を、ブロック輝度積算部１０７に出力する。
【００５４】
ブロック輝度積算部１０７は、カラーチャネル分離部１０６から入力された画像信号を用いて、画像を分割した複数のブロックのそれぞれにおける輝度積算値を取得して輝度差算出部１０８に出力する。ブロック輝度積算部１０７は、少なくともＧｒ、Ｇｂのカラーチャネルの画像信号を用いて、ブロックごとの輝度積算値を算出する。本実施形態において、Ｇｒのカラーチャネルの輝度積算値は、第１フィールドの走査ラインによる第１の画像信号の輝度に対応する。また、Ｇｂのカラーチャネルの輝度積算値は、第２フィールドの走査ラインによる第２の画像信号の輝度に対応する。
【００５５】
輝度差算出部１０８は、第１の画像信号に対応するＧｒのカラーチャネルと、第２の画像信号に対応するＧｂのカラーチャネルとの間で、ブロック輝度積算部１０７から入力されたブロックごとの輝度積算値の垂直方向の変化（輝度変化）の差分を算出してフリッカ検出部１０９に出力する。ここで、垂直方向とは、撮像素子１０１の走査ラインの方向に対して垂直な方向である。
【００５６】
フリッカ検出部１０９は、輝度差算出部１０８から入力された輝度変化の差分に基づいて、フリッカが発生しているか否かを判定する。また、フリッカ検出部１０９は、輝度変化の差分を周波数解析することによって、フリッカ周波数を特定してもよい。
【００５７】
（５．撮像装置の動作）
次に、本発明の一実施形態に係る撮像装置の動作について説明する。
【００５８】
図１３は、本発明の一実施形態に係る撮像装置１００の動作を示すフローチャートである。図１３では、撮像装置１００が１フレームの画像を撮影し、撮影された画像からフリッカを検出する処理が示されている。
【００５９】
まず、露光制御部１０５が、撮像素子１０１の走査ラインのうち、第１フィールドに含まれる走査ラインの電荷蓄積時間である第１の電荷蓄積時間をｎ／１００秒に設定し、第２フィールドに含まれる走査ラインの電荷蓄積時間である第２の電荷蓄積時間をｎ／１２０秒に設定する（ステップＳ１０１）。なお、ｎは自然数である。
【００６０】
上述のように、本実施形態において、フリッカ周波数は、１００Ｈｚまたは１２０Ｈｚである。従って、フリッカの周期は、１／１００秒または１／１２０秒である。フリッカ周波数が１００Ｈｚである場合、第１の電荷蓄積時間（ｎ／１００秒）は、フリッカの周期（１／１００秒）の自然数倍になり、フリッカの周期に同期する。また、フリッカ周波数が１２０Ｈｚである場合、第２の電荷蓄積時間（ｎ／１２０秒）は、フリッカの周期（１／１２０秒）の自然数倍になり、フリッカの周期に同期する。
【００６１】
なお、フリッカ周波数をｆ（Ｈｚ）とすると、フリッカの周期に同期する電荷蓄積時間ｔ（秒）は、自然数ｎを用いて式１によって求められる。
【００６２】
【数１】
2012134677.tif 000004
・・・（式１）
【００６３】
ここで、露光制御部１０５によって、フリッカ検出のために第１フィールドおよび第２フィールドに含まれる走査ラインの電荷蓄積時間が変更された場合、撮影された画像の露光が変化する。本実施形態では、この変化を補償するために、アナログ処理部１０２の増幅器で用いられる増幅ゲイン（感度）が調整される。例えば、フリッカ検出のために変更される前の電荷蓄積時間およびゲインをそれぞれＴｖ、Ｓｖとし、フリッカ検出のために変更された電荷蓄積時間およびゲインをそれぞれＴｖ’、Ｓｖ’とすると、両者の関係は式２によって求められる。なお、Ｔｖ、Ｓｖ、Ｔｖ’、Ｓｖ’は、いずれもＡＰＥＸ値である。
【００６４】
【数２】
2012134677.tif 000005
・・・（式２）
【００６５】
続いて、撮像素子１０１がタイミングジェネレータ１０４によって制御され、各走査ラインがステップＳ１０１において露光制御部１０５によって設定された電荷蓄積時間の間露光することによって、１フレームの画像が撮影される（ステップＳ１０３）。
【００６６】
ここで、図１４を参照して、上記のステップＳ１０３において撮影された１フレームの画像を、第１フィールドと第２フィールドとに分離した場合に、それぞれのフィールドの画像において発生しうるフリッカノイズについて説明する。
【００６７】
図１４は、本発明の一実施形態において発生しうるフリッカノイズを示す図である。図示された例では、１００Ｈｚフリッカによって画像にフリッカノイズが生じる場合、１２０Ｈｚフリッカによって画像にフリッカノイズが生じる場合、およびフリッカによるフリッカノイズが生じない場合が示されている。
【００６８】
フリッカ周波数が１００Ｈｚである場合、第１フィールドでは、電荷蓄積時間（ｎ／１００秒）がフリッカの周期に同期し、画像にフリッカノイズは生じない。第２フィールドでは、電荷蓄積時間（ｎ／１２０秒）とフリッカ周期とが同期しないため、画像にフリッカノイズ（ラインフリッカ）が生じる。
【００６９】
一方、フリッカ周波数が１２０Ｈｚである場合、第１フィールドでは、電荷蓄積時間（ｎ／１００秒）とフリッカの周期とが同期しないため、画像にフリッカノイズ（ラインフリッカ）が生じる。第２フィールドでは、電荷蓄積時間（ｎ／１２０秒）がフリッカの周期に同期するため、画像にフリッカノイズは生じない。
【００７０】
また、例えば被写体の照度変化がない場合、つまりフリッカがない場合、電荷蓄積時間に関わらず、画像にフリッカノイズは生じない。従って、この場合、第１フィールドおよび第２フィールドのいずれにおいても、画像にフリッカノイズは生じない。
【００７１】
再び図１３を参照して、次に、カラーチャネル分離部１０６が、撮影された１フレームの画像のＲＡＷデータを、Ｒ、Ｇｒ、Ｇｂ、Ｂの各カラーチャネルの情報に分離する（ステップＳ１０５）。
【００７２】
ここで、図１５を参照して、上記のステップＳ１０５において分離される各カラーチャネルの情報について説明する。
【００７３】
図１５は、本発明の一実施形態におけるカラーチャネルの分離について説明するための図である。図示された例では、ベイヤーＣＦＡによって生成され、Ｒ、Ｇｒ、Ｇｂ、Ｂの４つのカラーチャネルの情報を含むソースＲＡＷデータから分離された、ＧｒおよびＧｂのカラーチャネルの情報が示されている。
【００７４】
上述のように、撮像素子１０１において、Ｇｒは、第１フィールドに含まれる緑の画素であり、Ｇｂは、第２フィールドに含まれる緑の画素である。それゆえ、カラーチャネル分離部１０６において各カラーチャネルの情報が分離された結果として得られるＧｒおよびＧｂのカラーチャネルの輝度は、それぞれ、第１フィールドおよび第２フィールドの走査ラインによってそれぞれ撮影される画像の輝度を示す。従って、分離されたＧｒおよびＧｂのカラーチャネルの輝度を分析することによって、第１フィールドおよび第２フィールドのそれぞれにおけるフリッカノイズの有無を判定することが可能である。なお、輝度差の解析にＧｒおよびＧｂのカラーチャネルが用いられるのは、これらのカラーチャネルの間では受光感度差が小さいためである。
【００７５】
再び図１３を参照して、次に、ブロック輝度積算部１０７が、画像に含まれるブロックごとの輝度積算値を算出し、輝度差算出部１０８が、ブロックごとの輝度積算値の垂直方向の変化（輝度変化）の差分を算出する（ステップＳ１０７）
【００７６】
ここで、図１６を参照して、上記のステップＳ１０７における輝度変化の差分の算出について説明する。
【００７７】
図１６は、本発明の一実施形態における輝度変化の差分の算出について説明するための図である。図示された例では、画像が縦３２×横３２に分割された１０２４のブロックが設定され、各ブロックについて、ＧｒおよびＧｂのカラーチャネルでの輝度積算値が算出される。なお、ブロックを用いずに、各画素を単位として同様の処理を実行してもよいが、本実施形態ではブロックを用いることによって演算量を削減している。
【００７８】
輝度変化の差分の算出では、まず、ブロック輝度積算部１０７が、画面の縦（垂直）方向に配列された１列分、３２のブロックについて輝度積算値を算出する。これらのブロックの輝度積算値は、同じ垂直位置で画面の横（水平）方向に配列されたブロックの輝度積算値の平均値であってもよいし、また、垂直方向に配列された任意の１列のブロックを代表垂直ブロックとして抽出してもよい。例えば、水平方向に配列されたブロックの輝度積算値の平均値を、垂直方向に配列された１列分のブロックの輝度積算値とする場合、１つのブロックの輝度積算値Ｓａｖｇｖは、式３によって求められる。なお、Ｓｖｈは、垂直方向ではｖ番目、水平方向ではｈ番目のブロックの輝度積算値である。
【００７９】
【数３】
2012134677.tif 000006
・・・（式３）
【００８０】
上記のようにして算出される、垂直方向に配列された１列分のブロック輝度変化Ｓａｖｇ（Ｓａｖｇ１〜Ｓａｖｇ３２）を、Ｇｒチャネル（ＳａｖｇＧｒ）、およびＧｂチャネル（ＳａｖｇＧｂ）についてそれぞれ生成する。
【００８１】
続いて、輝度差算出部１０８が、ＳａｖｇＧｒとＳａｖｇＧｂとの間の輝度差から、フリッカ指標値Ｄを算出する。フリッカ指標値Ｄは、ＳａｖｇＧｒとＳａｖｇＧｂとの間の輝度差を積算したものであり、式４によって求められる。なお、ｋ１およびｋ２は、第１フィールドの画像と第２フィールドの画像との間に、走査ラインの電荷蓄積時間の相違によって露出差が生じている場合に、露出差によって生じる輝度差を補正するための係数である。
【００８２】
【数４】
2012134677.tif 000007
・・・（式４）
【００８３】
フリッカ指標値Ｄの値が大きいほど、画像に振幅の大きいフリッカノイズが発生していると推定される。なお、フリッカ指標値Ｄは、輝度差の分散または偏差などとして求めてもよい。
【００８４】
再び図１３を参照して、次に、フリッカ検出部１０９が、フリッカの有無を判定する（ステップＳ１０９）。
【００８５】
上述のように、本実施形態におけるフリッカ周波数は、１００Ｈｚまたは１２０Ｈｚである。また、第１フィールドおよび第２フィールドの走査ラインの電荷蓄積時間は、それぞれｎ／１００秒およびｎ／１２０秒である。従って、図１４を参照して説明したように、フリッカノイズは、Ｇｒチャネルに対応する第１フィールド、またはＧｂチャネルに対応する第２フィールドのいずれかの画像に発生するか、またはいずれの画像にも発生しない。
【００８６】
第１フィールド、または第２フィールドのいずれかの画像にフリッカノイズが発生している場合、フリッカノイズが発生している一方の画像の輝度変化が大きいのに対して、フリッカノイズが発生していない他方の輝度変化は小さい。それゆえ、いずれかの画像においてフリッカノイズが発生している場合には、双方の画像の輝度変化には比較的大きな差分が生じ、これを積算したフリッカ指標値Ｄも、比較的大きな値になる。
【００８７】
以上より、輝度差算出部１０８において算出されたフリッカ指標値Ｄとフリッカノイズの発生との関係は、表２に示すような関係になる。
【００８８】
【表２】
2012134677.tif 000008
【００８９】
ここで、フリッカ検出部１０９は、フリッカ指標値Ｄを所定の閾値Ｔｈｒｅｓｈｏｌｄと比較して、フリッカの有無を判定する。例えば、式５が満たされる場合、フリッカ検出部１０９は、画像にフリッカノイズが発生していると判定する。なお、閾値Ｔｈｒｅｓｈｏｌｄは、明るさなどに応じて調整された設計値である。
【００９０】
【数５】
2012134677.tif 000009
・・・（式５）
【００９１】
フリッカ検出部１０９は、さらに、フリッカ成分として抽出された輝度変化の差分のピークをカウントしたり、フーリエ変換によって周波数を特定したりすることによって、フリッカ周波数を特定してもよい。
【００９２】
本実施形態におけるフリッカ検出処理では、１フレームの画像によってフリッカを検出することができる。従って、動きのある被写体を撮影した場合などに、フレーム相互間で画像のぶれが生じた場合でも、フリッカの検出精度が低下しない。また、複数のフレームの画像を取得しなくてよいため、高速にフリッカを検出できる。
【００９３】
（６．補足）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９４】
１００    撮像装置
１０１    撮像素子
１０２    アナログ処理部
１０５    露光制御部
１０６    カラーチャネル分離部
１０７    ブロック輝度積算部
１０８    輝度差算出部
１０９    フリッカ検出部
【図１】
2012134677.tif 000010
【図２】
2012134677.tif 000011
【図３】
2012134677.tif 000012
【図５】
2012134677.tif 000013
【図６】
2012134677.tif 000014
【図７】
2012134677.tif 000015
【図８】
2012134677.tif 000016
【図９】
2012134677.tif 000017
【図１０】
2012134677.tif 000018
【図１１】
2012134677.tif 000019
【図１２】
2012134677.tif 000020
【図１３】
2012134677.tif 000021
【図１４】
2012134677.tif 000022
【図１５】
2012134677.tif 000023
【図１６】
2012134677.tif 000024
【図４】
2012134677.tif 000025