(57)【要約】  フリッカ成分の有無を容易に判定する。  撮像素子が、それぞれが複数の画素からなる複数のラインを互いに異なる露光開始タイミングから所定の露光期間に亘って順に露光して画像データを生成する処理を所定の垂直同期信号の周期が経過するたびに行う。タイミング制御部が、露光開始タイミングのそれぞれを一定時間ずらす制御を周期が経過するたびに行う。判定部が、画像データにおいて複数のラインに垂直な方向に沿って所定の周波数で輝度が変化する成分の有無を判定する。除去部が、成分が存在すると判定された場合には画像データにおいて成分を除去する。
2016031402.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが複数の画素からなる複数のラインを互いに異なる露光開始タイミングから所定の露光期間に亘って順に露光して画像データを生成する処理を所定の垂直同期信号の周期が経過するたびに行う撮像素子と、
前記露光開始タイミングのそれぞれを一定時間ずらす制御を前記周期が経過するたびに行うタイミング制御部と、
前記画像データにおいて前記複数のラインに垂直な方向に沿って所定の周波数で輝度が変化する成分の有無を判定する判定部と、
前記成分が存在すると判定された場合には前記画像データにおいて前記成分を除去する除去部と
を具備する撮像装置。
【請求項２】
前記所定の周波数は、異なる２つの周波数のいずれかであり、
前記一定時間は、前記２つの周波数の一方の前記成分の位相の前記周期内の変化量と前記２つの周波数の他方の前記成分の位相の前記周期内の変化量とのうち大きい方に応じた値である
請求項１記載の撮像装置。
【請求項３】
前記垂直同期信号は、ＮＴＳＣ（National Television System Committee）規格に準拠した信号であり、
前記一定時間は、前記周期の１／３である
請求項１記載の撮像装置。
【請求項４】
前記画像データは、複数のラインデータを含み、
前記フリッカ成分判定部は、
前記周期の３倍の期間における前記ラインデータの平均値を算出する平均値算出部と、
前記ラインデータを前記平均値により除算して除算値を出力する除算部と、
前記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、
前記解析結果に基づいて前記成分の有無を判定して判定結果を生成する判定結果生成部とを備える
請求項３記載の撮像装置。
【請求項５】
前記垂直同期信号は、ＰＡＬ（Phase Alternating Line）規格に準拠した信号であり、
前記一定時間は、前記周期の１／５である
請求項１記載の撮像装置。
【請求項６】
前記画像データは、複数のラインデータを含み、
前記フリッカ成分判定部は、
前記周期の５倍の期間における前記ラインデータの平均値を算出する平均値算出部と、
前記ラインデータを前記平均値により除算して除算値を出力する除算部と、
前記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、
前記解析結果に基づいて前記成分の有無を判定して判定結果を生成する判定結果生成部とを備える
請求項５記載の撮像装置。
【請求項７】
前記画像データを出力する出力タイミングを前記一定時間に応じた時間ずらす制御を前記周期が経過するたびに行って当該ずらした出力タイミングにより前記画像データを出力する
請求項１記載の撮像装置。
【請求項８】
前記除去部は、前記露光期間を一定値にして前記成分を除去する
請求項１記載の撮像装置。
【請求項９】
前記画像データは、複数の画素データを含み、
前記除去部は、前記複数の画素データのそれぞれの値を増減して前記成分を除去する
請求項１記載の撮像装置。
【請求項１０】
撮像素子が、それぞれが複数の画素からなる複数のラインを互いに異なる露光開始タイミングから所定の露光期間に亘って順に露光して画像データを生成する処理を所定の垂直同期信号の周期が経過するたびに行う撮像手順と、
タイミング制御部が、前記露光開始タイミングのそれぞれを一定時間ずらす制御を前記周期が経過するたびに行うタイミング制御手順と、
判定部が、前記画像データにおいて前記複数のラインに垂直な方向に沿って所定の周波数で輝度が変化する成分の有無を判定する判定手順と、
除去部が、前記成分が存在すると判定された場合には前記画像データにおいて前記成分を除去する除去手順と
を具備する撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置および撮像装置の制御方法に関する。詳しくは、ローリングシャッタ方式の撮像装置および撮像装置の制御方法に関する。
【背景技術】
【０００２】
従来より、室内などでは、明るさを確保するために、蛍光灯や水銀灯など、一定の電源周波数の２倍の周波数で明滅を繰り返す光源がよく用いられている。このような光源の下において、ライン毎の露光タイミングが異なるローリングシャッタ方式で撮像を行うと、ラインに垂直な方向に沿って一定の周波数で輝度が変化する成分が画像データ内に生じて、横縞に見えるという現象が生じる。この横縞は、光源の電源周波数とラインを走査する水平同期周波数との相違により生じたものであり、フリッカ成分と呼ばれる。また、画像データ内のフリッカ成分の位置、すなわち位相は、動画内において、フレーム（またはフィールド）ごとに変化することがある。位相が変化する際のフレームごとの位相の変化量は、光源の電源周波数と撮像素子の垂直同期周波数とから決定される。【０００３】
例えば、電源周波数が５０ヘルツ（Ｈｚ）で、垂直同期周波数が５９．９４ヘルツ（Ｈｚ）の場合、フレームごとの位相の変化量は、垂直同期信号の周期の約１／３である。このため、フリッカ成分の位相は、３フレームで一巡して、３フレーム前と略同一の位相に戻る。【０００４】
フリッカ成分の有無を判定するため、時系列順に連続する３つのフレームのライン毎の平均値を求める撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置は、現在フレームの各ラインを、その現在フレームを含む連続する３つのフレームの対応するラインの平均値により除算した結果から、フリッカ成分の有無を判定している。そして、撮像装置は、フリッカ成分が存在すると判定した場合には、そのフリッカ成分を画像データから除去し、画像データの画質を向上させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１６５１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術では、フレームごとにフリッカ成分の位相が、ある程度変化することを前提としてフリッカ成分の有無を判定していたが、電源周波数と垂直同期周波数との組合せが特定の組合せである場合には位相がほとんど変化しなくなってしまう。ここで、フリッカ成分のフレームごとの位相の変化量は、電源周波数と垂直同期周波数とから、例えば、次の式により求められる。
【数１】
2016031402.tif 000003
上式において、左辺は、フレームごとの位相の変化量を示す。また、ｆｐは電源周波数であり、ｆｖは垂直同期周波数である。これらの周波数の単位は、例えば、ヘルツ（Ｈｚ）である。また、「ｍｏｄ」は、その直前の数値を、その直後の数値で除算した余りを求める処理を示す。【０００７】
例えば、電源周波数が６０ヘルツ（Ｈｚ）で、垂直同期周波数が５９．９４ヘルツ（Ｈｚ）の場合は、式１よりフレームごとの位相の変化量は、垂直同期信号の周期の約１／５００といった、非常に小さな値となる。また、電源周波数および垂直同期周波数がいずれも５０ヘルツ（Ｈｚ）である場合には、式１より位相の変化量が「０」となる。このように、位相がほとんど変化しない場合に上述の撮像装置では、フリッカ成分の有無の判定が困難になる問題がある。【０００８】
本技術はこのような状況に鑑みて生み出されたものであり、フリッカ成分の有無を容易に判定することを目的とする。
【課題を解決するための手段】
【０００９】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、それぞれが複数の画素からなる複数のラインを互いに異なる露光開始タイミングから所定の露光期間に亘って順に露光して画像データを生成する処理を所定の垂直同期信号の周期が経過するたびに行う撮像素子と、上記露光開始タイミングのそれぞれを一定時間ずらす制御を上記周期が経過するたびに行うタイミング制御部と、上記画像データにおいて上記複数のラインに垂直な方向に沿って所定の周波数で輝度が変化する成分の有無を判定する判定部と、上記成分が存在すると判定された場合には上記画像データにおいて上記成分を除去する除去部とを具備する撮像装置、および、その制御方法である。これにより、露光開始タイミングのそれぞれを一定時間ずらす制御が、周期が経過するたびに行われるという作用をもたらす。【００１０】
また、この第１の側面において、上記所定の周波数は、異なる２つの周波数のいずれかであり、上記一定時間は、上記２つの周波数の一方の上記成分の位相の上記周期内の変化量と上記２つの周波数の他方の上記成分の位相の上記周期内の変化量とのうち大きい方に応じた値であってもよい。これにより、２つの周波数のそれぞれに対応する変化量のうち大きい方に応じた時間だけ露光開始タイミングをずらす制御が行われるという作用をもたらす。【００１１】
また、この第１の側面において、上記垂直同期信号は、ＮＴＳＣ（National Television System Committee）規格に準拠した信号であり、上記一定時間は、上記周期の１／３であってもよい。これにより、周期の１／３だけ露光開始タイミングをずらす制御が行われるという作用をもたらす。【００１２】
また、この第１の側面において、上記画像データは、複数のラインデータを含み、上記フリッカ成分判定部は、上記周期の３倍の期間における上記ラインデータの平均値を算出する平均値算出部と、上記ラインデータを上記平均値により除算して除算値を出力する除算部と、上記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、上記解析結果に基づいて上記成分の有無を判定して判定結果を生成する判定結果生成部とを備えてもよい。これにより、周期の３倍の期間におけるラインデータの平均値によりラインデータを除算した除算値の信号の周波数が解析されるという作用をもたらす。【００１３】
また、この第１の側面において、上記垂直同期信号は、ＰＡＬ（Phase Alternating Line）規格に準拠した信号であり、上記一定時間は、上記周期の１／５であってもよい。これにより、周期の１／５だけ露光開始タイミングをずらす制御が行われるという作用をもたらす。【００１４】
また、この第１の側面において、上記フリッカ成分判定部は、上記周期の５倍の期間における上記ラインデータの平均値を算出する平均値算出部と、上記ラインデータを上記平均値により除算して除算値を出力する除算部と、上記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、上記解析結果に基づいて上記成分の有無を判定して判定結果を生成する判定結果生成部とを備えてもよい。これにより、周期の５倍の期間におけるラインデータの平均値によりラインデータを除算した除算値の信号の周波数が解析されるという作用をもたらす。【００１５】
また、この第１の側面において、上記画像データを出力する出力タイミングを上記一定時間に応じた時間ずらす制御を上記周期が経過するたびに行って当該ずらした出力タイミングにより上記画像データを出力してもよい。これにより、一定時間に応じた時間ずらしたタイミングで画像データが出力されるという作用をもたらす。【００１６】
また、この第１の側面において、上記除去部は、上記露光期間を一定値にして上記成分を除去してもよい。これにより、一定値の露光期間で画像データが生成されるという作用をもたらす。【００１７】
また、この第１の側面において、上記画像データは、複数の画素データを含み、上記除去部は、上記複数の画素データのそれぞれの値を増減して上記成分を除去してもよい。これにより、複数の画素データのそれぞれの値が増減されるという作用をもたらす。
【発明の効果】
【００１８】
本技術によれば、フリッカ成分の有無を容易に判定することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】第１の実施の形態における撮像素子の一構成例を示すブロック図である。
【図３】第１の実施の形態におけるフリッカ成分判定部の一構成例を示すブロック図である。
【図４】第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図５】第１の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。
【図６】第１の実施の形態における電源周波数が６０ヘルツに対応するフリッカ成分の一例を示す図である。
【図７】第１の実施の形態における電源周波数が５０ヘルツに対応するフリッカ成分の一例を示す図である。
【図８】第１の実施の形態におけるフリッカ成分の位相の変化量の一例を示す図である。
【図９】第２の実施の形態におけるフリッカ成分判定部の一構成例を示すブロック図である。
【図１０】第２の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１１】第２の実施の形態におけるフリッカ成分の位相の変化量の一例を示す図である。
【図１２】第２の実施の形態の第１の変形例における撮像装置の一構成例を示すブロック図である。
【図１３】第２の実施の形態の第１の変形例におけるフリッカ成分判定部の一構成例を示すブロック図である。
【図１４】第２の実施の形態の第２の変形例における撮像装置の一構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（垂直同期信号に同期して露光開始タイミングを一定時間ずらす例）
２．第２の実施の形態（５０ヘルツの垂直同期信号に同期して露光開始タイミングを一定時間ずらす例）
【００２１】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、撮像レンズ１１０、撮像素子２００、画像処理部１２０、ビデオ信号生成部１３０、駆動タイミング制御部１４０、出力タイミング制御部１５０、フリッカ成分除去部１６０およびフリッカ成分判定部１７０を備える。
【００２２】
撮像レンズ１１０は、光を集光して被写体像を撮像素子２００の面上に結像させるものである。
【００２３】
撮像素子２００は、それぞれが複数の画素からなる複数のラインを互いに異なるタイミングで順に露光して画像データを生成するものである。この撮像素子２００は、駆動タイミング制御部１４０から垂直同期信号ＶＳＹＮＣおよび露光開始タイミングＴＳを受け取る。また、フリッカ成分除去部１６０から露光期間ΔＴを受け取る。ここで、垂直同期信号ＶＳＹＮＣは、画像データを生成するタイミングを示す信号である。例えば、ＮＴＳＣ（National Television System Committee）規格に準拠した、５９．９４ヘルツ（Ｈｚ）の信号が垂直同期信号として用いられる。露光開始タイミングＴＳには、基準のタイミングから特定のライン（例えば、最初に露光されるライン）の露光開始タイミングまでの時間を表す値が設定される。基準のタイミングは、例えば、垂直同期信号ＶＳＹＮＣの立上り、または、立下りのタイミングである。露光期間ΔＴには、各ラインの露光期間が設定される。露光開始タイミングＴＳおよび露光期間ΔＴの単位は、例えば、ミリ秒（ｍｓ）や、所定の周波数のパルス信号のパルス数である。
【００２４】
撮像素子２００は、露光開始タイミングＴＳから最初のラインの露光を開始する。また、撮像素子２００は、２番目以降のラインの露光を、その直前のラインの露光開始から１／ｆｈ秒が経過したときに開始する。ここで、ｆｈは、ラインごとの露光開始タイミングを示す水平同期信号の水平同期周波数である。撮像素子２００は、各ラインを露光期間ΔＴに亘って露光してラインデータを順に生成し、画像処理部１２０に信号線２０９を介して供給する。このように、ラインごとに異なるタイミングで露光を行う方式は、一般に、ローリングシャッタ方式と呼ばれる。
【００２５】
このローリングシャッタ方式の撮像素子２００により、蛍光灯など、一定の周波数で明滅する光源の下で撮像を行うと、前述したように横縞が生じるおそれがある。この横縞の成分は、蛍光灯などの光源のちらつきに起因して生じるため、フリッカ成分と呼ばれる。
【００２６】
また、撮像素子２００は、垂直同期信号ＶＳＹＮＣの周期Ｐが経過するたびに、全てのラインを走査するプログレッシブ方式で画像データを生成するものとする。なお、撮像素子２００は、その周期Ｐが経過するたびに、奇数ラインと偶数ラインとを交互に走査するインターレス方式で画像データを生成してもよい。プログレッシブ方式では、垂直同期信号ＶＳＹＮＣに同期して全ラインデータを含む画像データが生成され、その画像データはフレームと呼ばれる。一方、インターレス方式では、垂直同期信号ＶＳＹＮＣに同期して、奇数または偶数のラインデータを含む画像データが生成され、それらの画像データはフィールドと呼ばれる。
【００２７】
画像処理部１２０は、撮像素子２００からの画像データ（フレーム）に対して、所定の画像処理を行うものである。例えば、デモザイク処理やＹＣ変換処理が画像処理として実行される。デモザイク処理により、Ｒ（Red）、Ｇ(Green)およびＢ(Blue)信号のいずれかを含む画素データのそれぞれにおいて足りない色信号が補間される。また、ＹＣ変換処理により、Ｒ（Red）、Ｇ(Green)およびＢ(Blue)信号が、輝度信号および色差信号に変換される。画像処理部１２０は、画像処理後の画像データを信号線１２９を介してビデオ信号生成部１３０およびフリッカ成分判定部１７０へ供給する。なお、画像処理部１２０は、デモザイク処理およびＹＣ変換処理の一方のみを行ってもよいし、ガンマ補正処理やホワイトバランス補正処理などの他の画像処理をさらに行ってもよい。
【００２８】
ビデオ信号生成部１３０は、画像データからビデオ信号を生成するものである。ビデオ信号生成部１３０は、輝度信号および色差信号に、垂直同期信号を加えた信号を生成し、ビデオ信号として出力タイミング制御部１５０に供給する。
【００２９】
駆動タイミング制御部１４０は、撮像素子２００の駆動タイミングを制御するものである。この駆動タイミング制御部１４０は、垂直同期信号ＶＳＹＮＣおよび露光開始タイミングＴＳを生成して、信号線１４８および１４９を介して撮像素子２００に供給する。また、駆動タイミング制御部１４０は、画像処理を行う画像処理タイミングを画像処理部１２０に信号線１４７を介して供給する。例えば、露光開始タイミングに同期したタイミングが、画像処理タイミングとして供給される。
【００３０】
また、駆動タイミング制御部１４０は、垂直同期信号ＶＳＹＮＣの周期が経過するたびに、各ラインの露光開始タイミングを一定時間（以下、「シフト量Ｓ」と称する。）ずらす制御を行う。
【００３１】
ここで、電源周波数ｆｐとして、一般に５０ヘルツ（Ｈｚ）または６０ヘルツ（Ｈｚ）が用いられる。また、垂直同期周波数ｆｖは、ＮＴＳＣ規格では、５９．９４ヘルツ（Ｈｚ）である。この垂直同期周波数ｆｖを固定値とすると、式１より、位相の変化量は、電源周波数ｆｐが５０ヘルツ（Ｈｚ）および６０ヘルツ（Ｈｚ）のいずれであるかにより決定される。
【００３２】
例えば、垂直同期周波数ｆｖが５９．９４ヘルツ（Ｈｚ）で、電源周波数ｆｐが６０ヘルツ（Ｈｚ）の場合を想定する。この場合には、式１に基づいて、次の式により、露光開始タイミングをシフトしない場合の位相の変化量が求められる。
【数２】
2016031402.tif 000004
【００３３】
式２より、シフトしない際に、垂直同期信号ＶＳＹＮＣの周期Ｐが経過するたびに、その周期Ｐの約１／５００ずつしか、フリッカ成分の位相が変化しない。このため、シフトしない際には、フリッカ成分の位相が一巡するまで約５００フレームを要してしまう。しかし、駆動タイミング制御部１４０が露光開始タイミングをフレームごとにシフト量Ｓの分ずらすと、フリッカ成分の位相は、フレームごとにシフト量Ｓの分、変化する。例えば、シフト量ＳがＰ／１０（３６度）であり、全ライン数が５２５ラインであれば、フレームごとに約５２．５ラインの分、位相が変化する。この結果、フリッカ成分の位相が一巡するまでの期間は、シフト量に応じた期間に短縮される。例えば、シフト量がＰ／１０であれば、フリッカ成分の位相は、１０フレームで一巡する。
【００３４】
ただし、電源周波数ｆｐが５０ヘルツ（Ｈｚ）である場合も想定される。この場合には、式１に基づいて、次の式により、露光開始タイミングをシフトしない場合の位相の変化量が求められる。
【数３】
2016031402.tif 000005
【００３５】
式３より、シフトしない際は、垂直同期信号ＶＳＹＮＣの周期Ｐが経過するたびに、その周期Ｐの２／３（−１２０度）ずつ、位相が変化する。このため、シフトしない場合であっても、フリッカ成分の位相は３フレームで一巡する。このように、電源周波数が５０ヘルツ（Ｈｚ）の場合と６０ヘルツ（Ｈｚ）の場合とで、シフトしない場合における位相の変化量が異なる。この際には、どちらの電源周波数の場合でも、シフト後においてフレームごとの位相の変化量が同じ値となることが望ましい。電源周波数にかかわらず、シフト後の変化量を同じ値にするには、シフト量Ｓを、式２、３で得られた位相の変化量のうち、大きい方に比例した値にすればよい。したがって、シフト量ＳをＰ／３（１２０度）などに設定することが望ましい。
【００３６】
なお、垂直同期周波数ｆｖは、５９．９４ヘルツ（Ｈｚ）以外の周波数であってもよい。例えば、垂直同期周波数ｆｖは、６０ヘルツ（Ｈｚ）または３０ヘルツ（Ｈｚ）であってもよい。これらの周波数の場合も、位相の変化量は、式２および式３で得られる値と同程度になるため、シフト量ＳをＰ／３（１２０度）に設定することが望ましい。
【００３７】
なお、駆動タイミング制御部１４０は、特許請求の範囲に記載のタイミング制御部の一例である。
【００３８】
出力タイミング制御部１５０は、ビデオ信号において、画像データの出力タイミングをずらして外部の表示装置などへ出力するものである。ここで、出力タイミングをずらす量は、垂直同期信号ＶＳＹＮＣの周期Ｐとシフト量Ｓとの差分などである。これにより、画像データの出力タイミングが一定となる。
【００３９】
フリッカ成分除去部１６０は、フリッカ成分判定部１７０によりフリッカ成分があると判定された際に、そのフリッカ成分を画像データから除去するものである。このフリッカ成分除去部１６０は、フリッカ成分が無いと判定された場合には、ユーザの操作などに従って予め設定された露光期間ΔＴを、信号線１６９を介して撮像素子２００に供給する。一方、フリッカ成分が存在すると判定された場合には、フリッカ成分除去部１６０は、光源が明滅する周期の整数倍の時間（１／１００秒など）に露光期間ΔＴを設定し、撮像素子２００に供給する。この露光期間ΔＴの制御により、フリッカ成分が除去される。なお、フリッカ成分除去部１６０は、特許請求の範囲に記載の除去部の一例である。
【００４０】
フリッカ成分判定部１７０は、フリッカ成分の有無を判定するものである。このフリッカ成分判定部１７０は、例えば、画像データから直流成分を除去した後、周波数の解析を行う。直流成分については後述する。ここで、フリッカ成分の周波数は、電源周波数と水平同期信号ＨＳＹＮＣの周波数とから決定されるため、周波数の解析により、フリッカ成分判定部１７０はフリッカ成分の有無を判定することができる。フリッカ成分判定部１７０は、判定結果をフリッカ成分除去部１６０に信号線１７９を介して供給する。なお、フリッカ成分判定部１７０は、特許請求の範囲に記載の判定部の一例である。
【００４１】
［撮像素子の構成例］
図２は、第１の実施の形態における撮像素子２００の一構成例を示すブロック図である。この撮像素子２００は、行走査回路２１０、画素アレイ部２２０、タイミング制御回路２５０、ＡＤ（Analog to Digital）変換部２６０および列走査回路２７０を備える。画素アレイ部２２０には、２次元格子状に複数の画素２３０が設けられる。
【００４２】
タイミング制御回路２５０は、行および列の走査のタイミングを制御するものである。ここで、行は画素アレイ部２２０において、ある一方向に複数の画素２３０が配列されたものであり、ラインとも呼ばれる。また、列は画素アレイ部２２０において行と直交する方向に複数の画素２３０が配列されたものである。
【００４３】
タイミング制御回路２５０は、垂直同期信号ＶＳＹＮＣに同期して、水平同期信号ＨＳＹＮＣを生成し、行走査回路２１０に供給する。また、タイミング制御回路２５０は、列を走査するタイミングを指示するタイミング信号を水平同期信号ＨＳＹＮＣに同期して生成し、列走査回路２７０に供給する。
【００４４】
行走査回路２１０は、水平同期信号ＨＳＹＮＣに同期して行（ライン）の各々を選択するものである。この行走査回路２１０は、行選択信号を行の各々へ信号線２１９を介して順に出力することにより行を選択する。
【００４５】
また、行走査回路２１０は、行のそれぞれを互いに異なるタイミングで露光させる。この行走査回路２１０は、露光開始タイミングＴＳにおいて１行目の長時間露光を開始する。２行目以降の長時間露光は、直前の行の露光開始から１／ｆｈ秒が経過したときに開始される。そして、行走査回路２１０は、各行の露光開始から露光期間ΔＴが経過したときに、その行の露光を終了する。
【００４６】
画素２３０は、露光期間に応じた電位の画素信号を生成するものである。画素２３０は、信号線２３９を介して、生成した画素信号をＡＤ変換部２６０に供給する。
【００４７】
ＡＤ変換部２６０は、画素信号をＡＤ変換して画素データを生成するものである。ＡＤ変換部２６０は、列ごとに設けられる。列走査回路２７０により選択された列のＡＤ変換部２６０は、生成した画素データを画像処理部１２０へ供給する。なお、ＡＤ変換部２６０を撮像素子２００に設ける構成としているが、このＡＤ変換部２６０を撮像素子２００の外部に設けてもよい。
【００４８】
列走査回路２７０は、タイミング制御回路２５０の制御に従って、列の各々を選択するものである。この列走査回路２７０は、列選択信号をＡＤ変換部２６０のそれぞれに順に出力することにより列を選択する。
【００４９】
［フリッカ成分判定部の構成例］
図３は、第１の実施の形態におけるフリッカ成分判定部１７０の一構成例を示すブロック図である。このフリッカ成分判定部１７０は、ライン平均値算出部１７１と、ライン平均値記憶部１７２および１７３と、３フレーム平均値算出部１７４と、除算部１７５と、周波数解析部１７６と、判定結果生成部１７７とを備える。
【００５０】
ライン平均値算出部１７１は、画素データの平均値をラインごとに算出するものである。例えば、画像データ内のライン数が５２５である場合には、画像データごとに５２５個の平均値が算出される。このライン平均値算出部１７１は、算出した平均値をライン平均値Ｙｓとしてライン平均値記憶部１７２および３フレーム平均値算出部１７４に供給する。
【００５１】
ライン平均値記憶部１７２は、１フレーム分のライン平均値Ｙｓを記憶するものである。ライン平均値記憶部１７２に記憶されたライン平均値Ｙｓは、現在のフレームより１フレーム前のライン平均値Ｙｓとしてライン平均値記憶部１７３および３フレーム平均値算出部１７４へ供給される。
【００５２】
ライン平均値記憶部１７３は、１フレーム分のライン平均値Ｙｓを記憶するものである。ライン平均値記憶部１７３に記憶されたライン平均値Ｙｓは、現在のフレームより２フレーム前のライン平均値Ｙｓとしてライン平均値記憶部１７３および３フレーム平均値算出部１７４へ供給される。
【００５３】
３フレーム平均値算出部１７４は、ライン平均値Ｙｓの３フレーム分の平均値をラインごとに算出するものである。この３フレーム平均値算出部１７４は、算出した平均値を直流成分Ｉｓとして除算部１７５に供給する。ここで、直流成分は、フリッカ成分の影響が排除された、被写体本来の濃淡を示す成分である。なお、３フレーム平均値算出部１７４は、特許請求の範囲に記載の平均値算出部の一例である。
【００５４】
除算部１７５は、現在のフレームのライン平均値Ｙｓを、対応するラインの直流成分Ｉｓにより除算するものである。除算部１７５は、除算値を周波数解析部１７６に供給する。
【００５５】
ここで、ｎフレームにおけるｙラインのライン平均値Ｙｓ（ｙ、ｎ）は、例えば、次の式により表される。
【数４】
2016031402.tif 000006
上式において、Ｉｓ（ｙ）は、ｙラインの直流成分を示す。Ａは、フリッカ成分の大きさを示す。ｆｈは、水平同期信号ＨＳＹＮＣの水平同期周波数を示し、ｆｖは、垂直同期信号ＶＳＹＮＣの垂直同期周波数を示す。また、ｆｐは、電源周波数を示す。
【００５６】
式４の左辺は、ライン平均値算出部１７１により算出される。また、右辺の直流成分Ｉｓ（ｙ）は、３フレーム平均値算出部１７４により算出される。左辺を直流成分Ｉｓ（ｙ）により除算することにより、直流成分の影響を排除した信号が生成される。
【００５７】
周波数解析部１７６は、除算値の信号の周波数を解析するものである。周波数解析部１７６は、除算値の信号に対してフーリエ変換などを行って周波数を解析して、その信号内の周波数の異なる複数の成分のそれぞれの振幅を示す周波数分布を生成し、判定結果生成部１７７に供給する。
【００５８】
式４より、フリッカ成分の周波数は、２ｆｐ／ｆｈに比例した値となる。水平同期周波数ｆｈは撮像中において固定値（１５．７５キロヘルツなど）であるため、フリッカ成分の周波数は、電源周波数５０ヘルツ（Ｈｚ）に対応する周波数と、電源周波数６０ヘルツ（Ｈｚ）に対応する周波数とのいずれかになる。
【００５９】
判定結果生成部１７７は、画像データ内のフリッカ成分の有無を判定して、判定結果を生成するものである。この判定結果生成部１７７は、周波数分布において支配的な成分（例えば、振幅が最も大きな成分）の周波数がフリッカ成分の周波数であるか否かにより、フリッカ成分の有無を判定する。判定結果生成部１７７は、生成した判定結果をフリッカ成分除去部１６０へ供給する。
【００６０】
［撮像装置の動作例］
図４は、第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。この動作は、例えば、動画を撮像するための所定の操作（録画ボタンの押下など）が行われたときに開始する。
【００６１】
撮像装置１００は、５９．９４Ｈｚの垂直同期信号ＶＳＹＮＣに同期して画像データ（フレーム）を撮像する（ステップＳ９０１）。そして、撮像装置１００は、露光開始タイミングＴＳを垂直同期信号ＶＳＹＮＣの周期Ｐの１／３（すなわち、１２０度）ずらす（ステップＳ９０２）。また、撮像装置１００は、フリッカ成分が有るか否かを判定する（ステップＳ９０３）。フリッカ成分があると判定した場合には（ステップＳ９０３：Ｙｅｓ）、撮像装置１００は、露光期間の制御などにより、フリッカ成分を除去する（ステップＳ９０４）。一方、フリッカ成分が無いと判定した場合（ステップＳ９０３：Ｎｏ）、または、ステップＳ９０４の後、撮像装置１００は、ステップＳ９０１に戻る。
【００６２】
図５は、第１の実施の形態における撮像装置１００の動作の一例を示すタイミングチャートである。同図におけるａは、撮像レンズ１１０が集光する光の光源の光強度の変動の一例を示す図である。同図のａにおける縦軸は、光強度であり、横軸は時間である。同図におけるａに例示するように、光源は、一定の周波数で明滅する。この周波数は、光源に電力を供給する電源の電源周波数の２倍に相当する。
【００６３】
図５におけるｂは、垂直同期信号ＶＳＹＮＣの一例を示す図である。同図のａにおける縦軸は、垂直同期信号ＶＳＹＮＣの値であり、横軸は時間である。同図におけるａに例示するように、垂直同期信号ＶＳＹＮＣの垂直同期周波数は、電源周波数と同程度である。
【００６４】
図５におけるｃは、撮像素子２００の露光タイミングの一例を示す図である。同図における縦軸はラインの位置であり、横軸は時間である。また、同図のａにおける太線は、各ラインの露光開始タイミングを示し、一点鎖線は、各ラインの露光終了のタイミングを示す。前述したように撮像装置１００は、フレームごとに、各ラインの露光開始タイミングを垂直同期信号ＶＳＹＮＣの周期Ｐの１／３（すなわち、１２０度）シフトさせる。例えば、あるフレームＦ１における最初の行の露光開始タイミングをＴＳ１とすると、その次のフレームＦ２における最初のラインの露光開始タイミングＴＳ２は、露光開始タイミングＴＳ１に対して、Ｐ／３（１２０度）遅れたタイミングに制御される。また、フレームＦ２の次のフレームＦ３の最初のラインの露光開始タイミングＴＳ３は、露光開始タイミングＴＳ２に対してＰ／３（１２０度）遅れたタイミングに制御される。フレームＦ３の次のフレームＦ４の最初のラインの露光開始タイミングは、フレームＦ１と同じ露光開始タイミングＴＳ１に制御される。
【００６５】
図５におけるｄは、図５におけるｃの露光期間の一部を拡大した図である。同図におけるｄに示すように、露光開始タイミングから、露光期間ΔＴが経過した露光終了タイミングＴＥで、ラインの露光が終了する。そして、そのラインのラインデータが読出し時間において読み出される。なお、同図におけるｃでは、読出し時間は、省略されている。
【００６６】
図６は、第１の実施の形態における電源周波数が６０ヘルツ（Ｈｚ）の際のフリッカ成分の一例を示す図である。同図におけるａは、露光開始タイミングをシフトしない場合の電源周波数が６０ヘルツ（Ｈｚ）に対応するフリッカ成分の一例を示す図である。露光開始タイミングをシフトせずにフレーム５１１、５１２、５１３、５１４、５１５および５１６が時系列順に撮像されたものとする。これらのフレームにおいて、光源のちらつきにより、ラインに垂直な方向に沿って濃淡、言い換えれば横縞が生じる。この横縞の成分が、除去すべきフリッカ成分に相当する。フリッカ成分が基準値（ピーク値など）になる位相は、フレームごとに変化する。この位相の変化量は非常に小さく、位相が一巡するのに約５００フレームを要する。なお、画像データには、通常、フリッカ成分以外にも、被写体本来の濃淡成分が含まれるが、図６では、フリッカ成分以外の濃淡成分は省略されている。
【００６７】
図６におけるｂは、露光開始タイミングをフレームごとにシフトした場合の電源周波数６０ヘルツ（Ｈｚ）に対応するフリッカ成分の一例を示す図である。露光開始タイミングをシフトしつつ、フレーム５２１、５２２、５２３、５２４、５２５および５２６が時系列順に撮像されたものとする。これらのフレームにおいて、フリッカ成分内の所定ライン（例えば、輝度が最も高いライン）のフレーム内の位置、すなわち位相は、フレームごとに、露光開始タイミングのシフト量Ｓの分、変化する。シフト量Ｓが、垂直同期信号ＶＳＹＮＣの周期Ｐの１／３（１２０度）に設定されると、画像データ内のフリッカ成分の位置、すなわち位相がフレームごとに変化し、３フレームで位相が一巡する。例えば、フレーム５２４におけるフリッカ成分の位相は、その３フレーム前のフレーム５２１と同様である。このように、露光開始タイミングをフレームごとに１２０度ずらすことによって、フリッカ成分の位相がフレームごとに変化し、３フレームで一巡する。このため、最短で３フレームという短い時間でフリッカ成分を検出することができる。
【００６８】
図７は、第１の実施の形態における電源周波数が５０ヘルツ（Ｈｚ）の際のフリッカ成分の一例を示す図である。同図におけるａは、露光開始タイミングをシフトしない場合の電源周波数が５０ヘルツ（Ｈｚ）に対応するフリッカ成分の一例を示す図である。露光開始タイミングをシフトせずにフレーム５３１、５３２、５３３、５３４、５３５および５３６が時系列順に撮像されたものとする。これらのフレームにおいて、フリッカ成分の位相は、フレームごとに、垂直同期信号ＶＳＹＮＣの周期Ｐの２／３だけ変化する。例えば、フレーム５３４において、フリッカ成分の位相は、その３フレーム前のフレーム５３１と同様である。
【００６９】
図７におけるｂは、露光開始タイミングをフレームごとにシフトした場合の電源周波数５０ヘルツ（Ｈｚ）に対応するフリッカ成分の一例を示す図である。露光開始タイミングをフレームごとにシフトしつつ、フレーム５４１、５４２、５４３、５４４、５４５および５４６が時系列順に撮像されたものとする。同図におけるａに例示したように、シフトしない状態で、フリッカ成分の位相は、フレームごとに、Ｐ／３（１２０度）変化していた。このため、露光開始タイミングをフレームごとに同じ量（Ｐ／３）シフトすれば、シフトしない場合と同じく、３フレームで位相が一巡する。なお、図７では、フリッカ成分以外の被写体の濃淡成分は省略されている。
【００７０】
図６および図７に例示したように、電源周波数５０ヘルツ（Ｈｚ）に対応するフリッカ成分の位相の変化量に比例した量（１２０度など）にシフト量を設定すれば、電源周波数に関わらず、フリッカ成分の位相の変化量は同じ値になる。したがって、５０ヘルツおよび６０ヘルツのいずれの電源周波数であっても、撮像装置１００は、同じアルゴリズムでフリッカ成分の有無を判定することができる。
【００７１】
図８は、第１の実施の形態におけるフリッカ成分の位相の変化量の一例を示す図である。同図におけるａは、電源周波数が５０ヘルツ（Ｈｚ）に対応するフリッカ成分の位相の変化量の一例を示す図である。同図においては、フレームＦ１のフリッカ成分の位相を基準タイミングとして、その基準タイミングに対する、フレームＦ１以外の位相の変化量を角度で表記している。露光開始タイミングをシフトしない場合には、フレームＦ１の次のフレームＦ２の位相は、例えば、基準タイミングから−１２０度変化する。そして、次のフレームＦ３の位相は、フレームＦ２からさらに−１２０度変化し、基準タイミングに対して＋１２０度となる。その次のフレームＦ４の位相は、フレームＦ３からさらに−１２０度変化し、基準タイミングに戻る。フレームＦ５およびＦ６の位相は、フレームＦ２およびＦ３と同様である。
【００７２】
一方、露光開始タイミングを１２０度シフトした場合には、フレームＦ２の位相は、例えば、基準タイミングから＋１２０度変化する。そして、次のフレームＦ３の位相は、フレームＦ２からさらに＋１２０度変化し、基準タイミングに対して−１２０度となる。その次のフレームＦ４の位相は、フレームＦ３からさらに＋１２０度変化し、基準タイミングに戻る。
【００７３】
図８におけるｂは、電源周波数が６０ヘルツ（Ｈｚ）に対応するフリッカ成分の位相の変化量の一例を示す図である。露光開始タイミングをシフトしない場合、フレームＦ２乃至Ｆ６の各フレームのフリッカ成分の所定ラインの位相は、基準タイミングに対して変化しない。
【００７４】
一方、露光開始タイミングを１２０度シフトした場合には、フレームＦ２の位相は、例えば、基準タイミングから−１２０度変化する。そして、次のフレームＦ３の位相は、フレームＦ２からさらに−１２０度変化し、基準タイミングに対して＋１２０度となる。その次のフレームＦ４の位相は、フレームＦ３からさらに−１２０度変化し、基準タイミングに戻る。フレームＦ５およびＦ６の位相は、フレームＦ２およびＦ３と同様である。
【００７５】
図８に例示したように、シフト量を１２０度とすることにより、電源周波数が５０ヘルツおよび６０ヘルツのいずれの場合であっても、フレームごとのフリッカ成分の位相の変化量は、１２０度になる。
【００７６】
このように、本技術の第１の実施の形態によれば、撮像装置１００は、垂直同期信号の周期が経過するたびに、各ラインの露光開始タイミングを一定時間ずらすため、フリッカ成分の位相は、フレームごとに一定時間変化する。これにより、撮像装置１００は、フリッカ成分の有無を短い時間で容易に判定することができる。
【００７７】
＜２．第２の実施の形態＞
［撮像装置の構成例］
第１の実施の形態では、撮像装置１００は、ＮＴＳＣ規格に準拠した５９．９４ヘルツ（Ｈｚ）の垂直同期信号ＶＳＹＮＣに同期して撮像していた。しかし、撮像装置１００は、ＰＡＬ（Phase Alternating Line）規格に準拠した５０ヘルツ（Ｈｚ）の垂直同期信号ＶＳＹＮＣに同期して撮像する構成であってもよい。第２の実施の形態の撮像装置１００は、ＰＡＬ規格に準拠した垂直同期信号ＶＳＹＮＣに同期して撮像する点において第１の実施の形態と異なる。
【００７８】
垂直同期周波数ｆｖが５０ヘルツ（Ｈｚ）で、電源周波数ｆｐが５０ヘルツ（Ｈｚ）の場合を想定する。この場合には、式１に基づいて、次の式によりシフトしない場合の位相の変化量が求められる。
【数５】
2016031402.tif 000007
【００７９】
上式より、シフトしない際にはフリッカ成分の位相は変化しない。しかし、駆動タイミング制御部１４０が露光開始タイミングをフレームごとにシフト量Ｓの分ずらすことにより、フリッカ成分の位相は、フレームごとに、そのシフト量Ｓに対応するラインの分、変化する。
【００８０】
また、垂直同期周波数ｆｖが５０ヘルツ（Ｈｚ）で、電源周波数ｆｐが６０ヘルツ（Ｈｚ）の場合を想定する。この場合には、式１に基づいて、次の式によりシフトしない場合の位相の変化量が求められる。
【数６】
2016031402.tif 000008
【００８１】
上式より、シフトしない際は、垂直同期信号ＶＳＹＮＣの周期Ｐが経過するたびに、その周期Ｐの２／５（すなわち、１４４度）ずつ、位相が変化する。このため、シフトしない場合であっても、フリッカ成分の位相は５フレームで一巡する。このように、電源周波数が５０ヘルツ（Ｈｚ）の場合と６０ヘルツ（Ｈｚ）の場合とで、シフトしない場合における位相の変化量が異なる。この際には、どちらの電源周波数の場合でも、シフト後においてフレームごとの位相の変化量が同じ値となることが望ましい。電源周波数にかかわらず、シフト後の変化量を同じ値にするには、シフト量Ｓを、式５、６で得られた位相の変化量のうち、大きい方に比例した値にすればよい。したがって、シフト量ＳをＰ／５（７２度）などに設定することが望ましい。
【００８２】
第２の実施の形態の駆動タイミング制御部１４０は、５０ヘルツ（Ｈｚ）の垂直同期信号ＶＳＹＮＣを撮像素子２００に供給し、フレームごとに露光開始タイミングをＰ／５ずらす点において第１の実施の形態と異なる。また、第２の実施の形態の撮像装置１００は、フリッカ成分判定部１７０の代わりにフリッカ成分判定部１８０を備える点において第１の実施の形態と異なる。
【００８３】
図９は、第２の実施の形態におけるフリッカ成分判定部１８０の一構成例を示すブロック図である。第２の実施の形態のフリッカ成分判定部１８０は、ライン平均値記憶部１８１および１８２をさらに備え、３フレーム平均値算出部１７４の代わりに５フレーム平均値算出部１８３を備える点において第１の実施の形態と異なる。
【００８４】
現在のフレームより２フレーム前のライン平均値Ｙｓは、５フレーム平均値算出部１８３の他、ライン平均値記憶部１７３にも供給される。
【００８５】
ライン平均値記憶部１８１は、１フレーム分のライン平均値を記憶するものである。ライン平均値記憶部１８１に記憶されたライン平均値は、現在のフレームより３フレーム前のライン平均値Ｙｓとしてライン平均値記憶部１８２および５フレーム平均値算出部１８３へ供給される。
【００８６】
ライン平均値記憶部１８２は、１フレーム分のライン平均値を記憶するものである。ライン平均値記憶部１８２に記憶されたライン平均値は、現在のフレームより４フレーム前のライン平均値として５フレーム平均値算出部１８３へ供給される。
【００８７】
５フレーム平均値算出部１８３は、５フレーム分のライン平均値の平均値Ｙｓをラインごとに算出するものである。この５フレーム平均値算出部１８３は、算出した平均値を直流成分Ｉｓとして除算部１７５に供給する。なお、５フレーム平均値算出部１８３は、特許請求の範囲に記載の平均値算出部の一例である。
【００８８】
図１０は、第２の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。第２の実施の形態における撮像装置１００の動作は、ステップＳ９０１およびＳ９０２の代わりに、ステップＳ９０５およびＳ９０６を実行する点において第１の実施の形態と異なる。
【００８９】
撮像装置１００は、５０Ｈｚの垂直同期信号ＶＳＹＮＣに同期して画像データ（フレーム）を撮像する（ステップＳ９０５）。そして、撮像装置１００は、露光開始タイミングをＰ／５（すなわち、７２度）ずらす（ステップＳ９０６）。
【００９０】
図１１は、第２の実施の形態におけるフリッカ成分の位相の変化量の一例を示す図である。同図におけるａは、電源周波数５０ヘルツ（Ｈｚ）に対応するフリッカ成分の位相の変化量の一例を示す図である。同図においては、フレームＦ１のフリッカ成分の位相を基準タイミングとして、その基準タイミングに対する、フレームＦ１以外の位相の変化量を角度で表記している。露光開始タイミングをシフトしない場合、フレームＦ２乃至Ｆ６の各フレームのフリッカ成分の位相は、基準タイミングに対して変化しない。
【００９１】
一方、露光開始タイミングを７２度シフトした場合には、フレームＦ２の位相は、例えば、基準タイミングから−７２度変化する。そして、次のフレームＦ３の位相は、フレームＦ２からさらに−７２度変化し、基準タイミングに対して−１４４度となる。フレームＦ４およびＦ５の位相は、−２１６度および−２８８度となり、フレームＦ６において位相は基準タイミングに戻る。
【００９２】
図１１におけるｂは、同図におけるａは、電源周波数が６０ヘルツ（Ｈｚ）に対応するフリッカ成分の位相の変化量の一例を示す図である。露光開始タイミングをシフトしない場合にフレームＦ２の位相は、例えば、基準タイミングから＋１４４度変化する。そして、次のフレームＦ３の位相は、フレームＦ２からさらに＋１４４度変化し、基準タイミングに対して＋２８８度となる。フレームＦ４およびＦ５の位相は、＋７２度および＋２１６度となり、フレームＦ６において位相は基準タイミングに戻る。
【００９３】
一方、露光開始タイミングを７２度シフトした場合には、フレームＦ２の位相は、例えば、基準タイミングから＋７２度変化する。そして、次のフレームＦ３の位相は、フレームＦ２からさらに＋７２度変化し、基準タイミングに対して＋１４４度となる。フレームＦ４およびＦ５の位相は、＋２１６度および＋２８８度となり、フレームＦ６において位相は基準タイミングに戻る。
【００９４】
図１１に例示したように、シフト量を７２度とすることにより、電源周波数が５０ヘルツおよび６０ヘルツのいずれの場合であっても、フレーム間のフリッカ成分の位相の変化量は７２度になる。
【００９５】
このように、本技術の第２の実施の形態によれば、５０ヘルツの垂直同期信号の周期が経過するたびに、各ラインの露光開始タイミングを一定時間ずらすため、垂直同期信号が５０ヘルツの際に、フリッカ成分を短時間で検出することができる。
【００９６】
［第１の変形例］
第２の実施の形態では、撮像装置１００は、５０ヘルツ（Ｈｚ）の垂直同期信号に同期して撮像を行っていたが、ユーザの操作などに従って、その垂直同期周波数ｆｖを５９．９４ヘルツ（Ｈｚ）に切り替えてもよい。第２の実施の形態の第１の変形例における撮像装置１００は、垂直同期周波数ｆｖを切り替える点において第１の実施の形態と異なる。
【００９７】
図１２は、第２の実施の形態の第１の変形例における撮像装置１００の一構成例を示すブロック図である。第１の変形例の撮像装置１００は、駆動タイミング制御部１４０およびフリッカ成分判定部１８０の代わりに、駆動タイミング制御部１４１およびフリッカ成分判定部１９０を備える点において第２の実施の形態と異なる。
【００９８】
駆動タイミング制御部１４１は、垂直同期周波数ｆｖの切り替えを指示する切替信号に従って、垂直同期周波数ｆｖを切り替える点において第１の実施の形態と異なる。切替信号は、例えば、ユーザの操作に従って生成され、その切替信号により、５０ヘルツおよび５９．９４ヘルツのいずれかへの垂直同期周波数ｆｖの切り替えが指示される。そして、駆動タイミング制御部１４１は、５９．９４ヘルツに切り替えた際には第１の実施の形態と同様にシフト量を１２０度にし、５０ヘルツに切り替えた際にはシフト量を７２度にする。
【００９９】
フリッカ成分判定部１９０は、切替信号に従って、アルゴリズムを変更してフリッカ成分の有無を判定する点において第１の実施の形態と異なる。
【０１００】
図１３は、第２の実施の形態の第１の変形例におけるフリッカ成分判定部１９０の一構成例を示すブロック図である。第１の変形例のフリッカ成分判定部１９０は、スイッチ１９１および１９２をさらに備え、５フレーム平均値算出部１８３の代わりに３／５フレーム平均値算出部１９３を備える点において第２の実施の形態と異なる。
【０１０１】
スイッチ１９１は、切替信号に従って、ライン平均値記憶部１８１と３／５フレーム平均値算出部１９３との間の経路を開閉するものである。例えば、５０ヘルツの垂直同期周波数ｆｖに切り替える際には、スイッチ１９１は閉状態に移行し、５９．９４ヘルツの垂直同期周波数ｆｖに切り替える際には、スイッチ１９１は開状態に移行する。
【０１０２】
スイッチ１９２は、切替信号に従って、ライン平均値記憶部１８２と３／５フレーム平均値算出部１９３との間の経路を開閉するものである。例えば、５０ヘルツの垂直同期周波数ｆｖに切り替える際には、スイッチ１９２は閉状態に移行し、５９．９４ヘルツの垂直同期周波数ｆｖに切り替える際には、スイッチ１９２は開状態に移行する。
【０１０３】
３／５フレーム平均値算出部１９３は、３フレーム分または５フレーム分のライン平均値の平均値をラインごとに算出するものである。
【０１０４】
このように、第２の実施の形態の第１の変形例によれば、撮像装置１００は、垂直同期周波数ｆｖを切り替えて撮像を行うため、垂直同期周波数ｆｖが変更された場合であっても、フリッカ成分の有無を判定することができる。
【０１０５】
［第２の変形例］
第２の実施の形態では、撮像装置１００は、露光期間を制御してフリッカ成分を除去していたが、画像データに対するゲインを制御してフリッカ成分を除去することもできる。この第２の実施の形態の第２の変形例の撮像装置１００は、画像データに対するゲインを制御してフリッカ成分を除去する点において第２の実施の形態と異なる。
【０１０６】
図１４は、第２の実施の形態の第２の変形例における撮像装置１００の一構成例を示すブロック図である。第２の変形例の撮像装置１００は、フリッカ成分除去部１６０の代わりに、フリッカ成分除去部１９５を備える点において第２の実施の形態と異なる。なお、第１の実施の形態の撮像装置１００にフリッカ成分除去部１９５を設けてもよい。
【０１０７】
フリッカ成分除去部１９５は、撮像素子２００からの画素データに対するゲインを制御してフリッカ成分を除去するものである。このフリッカ成分除去部１９５は、フリッカ成分が無い場合には、撮像素子２００からの全ての画素データに同一の係数（例えば、１）を乗じて画像処理部１２０へ供給する。
【０１０８】
一方、フリッカ成分が有ると判定された場合には、フリッカ成分除去部１９５は、ｙラインのラインデータ内の各画素データに対して、Ｉｓ（ｙ）／Ｙｓ（ｙ、ｎ）の係数を乗算して画像処理部１２０へ供給する。この係数の乗算、言い換えれば、ゲインによる増幅により、式４に基づいて、フリッカ成分が除去されて、直流成分のみとなる。
【０１０９】
また、第２の変形例のフリッカ成分判定部１８０は、判定結果とともに、Ｉｓ（ｙ）およびＹｓ（ｙ、ｎ）をフリッカ成分除去部１９５へさらに供給する。
【０１１０】
このように、第２の実施の形態の第２の変形例によれば、撮像装置１００は、ゲインを制御してフリッカ成分を除去するため、露光期間を変更せずにフリッカ成分を除去することができる。
【０１１１】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１１２】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【０１１４】
なお、本技術は以下のような構成もとることができる。
（１）それぞれが複数の画素からなる複数のラインを互いに異なる露光開始タイミングから所定の露光期間に亘って順に露光して画像データを生成する処理を所定の垂直同期信号の周期が経過するたびに行う撮像素子と、
前記露光開始タイミングのそれぞれを一定時間ずらす制御を前記周期が経過するたびに行うタイミング制御部と、
前記画像データにおいて前記複数のラインに垂直な方向に沿って所定の周波数で輝度が変化する成分の有無を判定する判定部と、
前記成分が存在すると判定された場合には前記画像データにおいて前記成分を除去する除去部と
を具備する撮像装置。
（２）前記所定の周波数は、異なる２つの周波数のいずれかであり、
前記一定時間は、前記２つの周波数の一方の前記成分の位相の前記周期内の変化量と前記２つの周波数の他方の前記成分の位相の前記周期内の変化量とのうち大きい方に応じた値である
前記（１）記載の撮像装置。
（３）前記垂直同期信号は、ＮＴＳＣ（National Television System Committee）規格に準拠した信号であり、
前記一定時間は、前記周期の１／３である
前記（１）または（２）記載の撮像装置。
（４）前記画像データは、複数のラインデータを含み、
前記フリッカ成分判定部は、
前記周期の３倍の期間における前記ラインデータの平均値を算出する平均値算出部と、
前記ラインデータを前記平均値により除算して除算値を出力する除算部と、
前記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、
前記解析結果に基づいて前記成分の有無を判定して判定結果を生成する判定結果生成部とを備える
前記（３）記載の撮像装置。
（５）前記垂直同期信号は、ＰＡＬ（Phase Alternating Line）規格に準拠した信号であり、
前記一定時間は、前記周期の１／５である
前記（１）記載の撮像装置。
（６）前記画像データは、複数のラインデータを含み、
前記フリッカ成分判定部は、
前記周期の５倍の期間における前記ラインデータの平均値を算出する平均値算出部と、
前記ラインデータを前記平均値により除算して除算値を出力する除算部と、
前記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、
前記解析結果に基づいて前記成分の有無を判定して判定結果を生成する判定結果生成部とを備える
前記（５）記載の撮像装置。
（７）前記画像データを出力する出力タイミングを前記一定時間に応じた時間ずらす制御を前記周期が経過するたびに行って当該ずらした出力タイミングにより前記画像データを出力する
前記（１）から（６）のいずれかに記載の撮像装置。
（８）前記除去部は、前記露光期間を一定値にして前記成分を除去する
前記（１）から（７）のいずれかに記載の撮像装置。
（９）前記画像データは、複数の画素データを含み、
前記除去部は、前記複数の画素データのそれぞれの値を増減して前記成分を除去する
前記（１）から（８）のいずれかに記載の撮像装置。
（１０）撮像素子が、それぞれが複数の画素からなる複数のラインを互いに異なる露光開始タイミングから所定の露光期間に亘って順に露光して画像データを生成する処理を所定の垂直同期信号の周期が経過するたびに行う撮像手順と、
タイミング制御部が、前記露光開始タイミングのそれぞれを一定時間ずらす制御を前記周期が経過するたびに行うタイミング制御手順と、
判定部が、前記画像データにおいて前記複数のラインに垂直な方向に沿って所定の周波数で輝度が変化する成分の有無を判定する判定手順と、
除去部が、前記成分が存在すると判定された場合には前記画像データにおいて前記成分を除去する除去手順と
を具備する撮像装置の制御方法。
【符号の説明】
【０１１５】
１００  撮像装置
１１０  撮像レンズ
１２０  画像処理部
１３０  ビデオ信号生成部
１４０、１４１  駆動タイミング制御部
１５０  出力タイミング制御部
１６０、１９５  フリッカ成分除去部
１７０、１８０、１９０  フリッカ成分判定部
１７１  ライン平均値算出部
１７２、１７３、１８１、１８２  ライン平均値記憶部
１７４  ３フレーム平均値算出部
１７５  除算部
１７６  周波数解析部
１７７  判定結果生成部
１８３  ５フレーム平均値算出部
１９１、１９２  スイッチ
１９３  ３／５フレーム平均値算出部
２００  撮像素子
２１０  行走査回路
２２０  画素アレイ部
２３０  画素
２５０  タイミング制御回路
２６０  ＡＤ変換部
２７０  列走査回路
【図１】
2016031402.tif 000009
【図２】
2016031402.tif 000010
【図３】
2016031402.tif 000011
【図４】
2016031402.tif 000012
【図５】
2016031402.tif 000013
【図６】
2016031402.tif 000014
【図７】
2016031402.tif 000015
【図８】
2016031402.tif 000016
【図９】
2016031402.tif 000017
【図１０】
2016031402.tif 000018
【図１１】
2016031402.tif 000019
【図１２】
2016031402.tif 000020
【図１３】
2016031402.tif 000021
【図１４】
2016031402.tif 000022
【国際調査報告】
2016031402.tif 000023
2016031402.tif 000024
2016031402.tif 000025
2016031402.tif 000026