(57)【要約】【課題】蛍光灯照明下において発生するフリッカをリアルタイムで抑圧するとともに、感度の低い画素領域が撮像面上で固定されることにより発生する撮像画像上のノイズを効果的に抑制する。【解決手段】撮像装置１００では、各フレームにおいて、フリッカ成分を含まない第１画像信号とフリッカ成分を含む第２画像信号を取得し、第１画像信号および第２画像信号から第２画像信号に含まれるフリッカ成分を除去するためのゲイン補正係数を算出し、そのゲイン補正係数により第２画像信号からフリッカ成分を除去した後、第１画像信号と第２画像信号とを合成することで、フリッカ成分が除去された画像信号を生成する。また、フレーム毎に各画素の電荷蓄積時間を変更することで、感度の低い画素領域が撮像面上で固定されることにより発生する撮像画像上のノイズを効果的に抑制する。【選択図】図１
2009010836.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ複数の画素からなる第１画素群および第２画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部と、
前記撮像部により取得される画像において、照明の電源周波数により発生するフリッカ成分が発生しない前記画素の電荷蓄積時間を第１電荷蓄積時間として設定し、前記第１電荷蓄積時間以外の電荷蓄積時間である第２電荷蓄積時間を設定する電荷蓄積時間設定部と、
前記第１画素群の電荷蓄積時間および前記第２画素群の電荷蓄積時間を、フレーム毎に、前記第１電荷蓄積時間および前記第２電荷蓄積時間に切り替える切替部と、
前記第１画素群の前記画素および前記第２画素群の前記画素を、フレーム毎に前記切替部により切り替えられた前記第１電荷蓄積時間および前記第２電荷蓄積時間により駆動する駆動部と、
前記撮像部により前記第１電荷蓄積時間で取得された画像信号を第１画像信号として出力し、前記撮像部により前記第２電荷蓄積時間で取得された画像信号を第２画像信号として出力する信号切替部と、
前記第１画像信号の信号レベルを前記第２画像信号の信号レベルに合わせるようにゲイン補正を行う第１ゲイン補正部と、
前記第１画像信号と前記第２画像信号とから前記第２画像信号のフリッカ成分を補正するためのゲイン補正係数を算出するゲイン算出部と、
前記ゲイン補正係数に基づいて、前記第２画像信号のフリッカ成分を補正する第２ゲイン補正部と、
前記第２ゲイン補正部により補正された前記第２画像信号と前記第１ゲイン補正部によりゲイン補正された前記第１画像信号とを、前記撮像素子上の前記第１画素群および前記第２画素群の配置に一致させるように合成する信号合成部と、
を備える撮像装置。
【請求項２】
前記ゲイン算出部は、前記第１画像信号から形成される第１画像の水平ラインごとの信号レベルの平均値Ａおよび前記第２画像信号から形成される第２画像の水平ラインごとの信号レベルの平均値Ｂを算出し、水平ライン平均値の比Ｃ（＝（前記平均値Ａ）／（前記平均値Ｂ））を前記ゲイン補正係数として算出し、
前記第２ゲイン補正部は、前記第２画像信号に、前記ゲイン算出部により算出された前記水平ライン平均値の比Ｃを乗算することで、前記第２画像信号を補正する、
請求項１に記載の撮像装置。
【請求項３】
前記撮像部は、前記第１画素群に含まれる前記画素と前記第２画素群に含まれる前記画素とが、前記撮像素子の撮像面上の縦方向および横方向に、互いに隣接して配置されている前記撮像素子を有する、
請求項１または２に記載の撮像装置。
【請求項４】
前記撮像部は、前記第１画素群に含まれる前記画素と前記第２画素群に含まれる前記画素とが、前記撮像素子の撮像面上の縦方向に、互いに隣接して配置されている前記撮像素子を有する、
請求項１または２に記載の撮像装置。
【請求項５】
前記撮像部は、前記第１画素群に含まれる前記画素と前記第２画素群に含まれる前記画素とが、前記撮像素子の撮像面上の横方向に、互いに隣接して配置されている前記撮像素子を有する、
請求項１または２に記載の撮像装置。
【請求項６】
前記電荷蓄積時間設定部は、照明の電源周波数が５０［Ｈｚ］である場合、前記第１電荷蓄積時間をｎ／１００秒（ｎは自然数）に設定し、照明の電源周波数が６０［Ｈｚ］である場合、前記第１電荷蓄積時間をｎ／１２０秒（ｎは自然数）に設定する、
請求項１から５のいずれかに記載の撮像装置。
【請求項７】
それぞれ複数の画素からなる第１画素群および第２画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法であって、
前記撮像部により取得される画像において、照明の電源周波数により発生するフリッカ成分が発生しない前記画素の電荷蓄積時間を第１電荷蓄積時間として設定し、前記第１電荷蓄積時間以外の電荷蓄積時間である第２電荷蓄積時間を設定する電荷蓄積時間設定ステップと、
前記第１画素群の電荷蓄積時間および前記第２画素群の電荷蓄積時間を、フレーム毎に、前記第１電荷蓄積時間および前記第２電荷蓄積時間に切り替える切替ステップと、
前記第１画素群の前記画素および前記第２画素群の前記画素を、フレーム毎に前記切替ステップにより切り替えられた前記第１電荷蓄積時間および前記第２電荷蓄積時間により駆動する駆動ステップと、
前記撮像部により前記第１電荷蓄積時間で取得された画像信号を第１画像信号として出力し、前記撮像部により前記第２電荷蓄積時間で取得された画像信号を第２画像信号として出力する信号切替ステップと、
前記第１画像信号の信号レベルを前記第２画像信号の信号レベルに合わせるようにゲイン補正を行う第１ゲイン補正ステップと、
前記第１画像信号と前記第２画像信号とから前記第２画像信号のフリッカ成分を補正するためのゲイン補正係数を算出するゲイン算出ステップと、
前記ゲイン補正係数に基づいて、前記第２画像信号のフリッカ成分を補正する第２ゲイン補正ステップと、
前記第２ゲイン補正部により補正された前記第２画像信号と前記第１ゲイン補正部によりゲイン補正された前記第１画像信号とを、前記撮像素子上の前記第１画素群および前記第２画素群の配置に一致させるように合成する信号合成ステップと、
を備える撮像方法。
【請求項８】
それぞれ複数の画素からなる第１画素群および第２画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられるプログラムであって、
コンピュータを、
前記撮像部により取得される画像において、照明の電源周波数により発生するフリッカ成分が発生しない前記画素の電荷蓄積時間を第１電荷蓄積時間として設定し、前記第１電荷蓄積時間以外の電荷蓄積時間である第２電荷蓄積時間を設定する電荷蓄積時間設定部、
前記第１画素群の電荷蓄積時間および前記第２画素群の電荷蓄積時間を、フレーム毎に、前記第１電荷蓄積時間および前記第２電荷蓄積時間に切り替える切替部、
前記第１画素群の前記画素および前記第２画素群の前記画素を、フレーム毎に前記切替部により切り替えられた前記第１電荷蓄積時間および前記第２電荷蓄積時間により駆動する駆動部、
前記撮像部により前記第１電荷蓄積時間で取得された画像信号を第１画像信号として出力し、前記撮像部により前記第２電荷蓄積時間で取得された画像信号を第２画像信号として出力する信号切替部、
前記第１画像信号の信号レベルを前記第２画像信号の信号レベルに合わせるようにゲイン補正を行う第１ゲイン補正部、
前記第１画像信号と前記第２画像信号とから前記第２画像信号のフリッカ成分を補正するためのゲイン補正係数を算出するゲイン算出部、
前記ゲイン補正係数に基づいて、前記第２画像信号のフリッカ成分を補正する第２ゲイン補正部、
前記第２ゲイン補正部により補正された前記第２画像信号と前記第１ゲイン補正部によりゲイン補正された前記第１画像信号とを、前記撮像素子上の前記第１画素群および前記第２画素群の配置に一致させるように合成する信号合成部、
として機能させるためのプログラム。
【請求項９】
それぞれ複数の画素からなる第１画素群および第２画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部と、
前記撮像部により取得される画像において、照明の電源周波数により発生するフリッカ成分が発生しない前記画素の電荷蓄積時間を第１電荷蓄積時間として設定し、前記第１電荷蓄積時間以外の電荷蓄積時間である第２電荷蓄積時間を設定する電荷蓄積時間設定部と、
前記第１画素群の電荷蓄積時間および前記第２画素群の電荷蓄積時間を、フレーム毎に、前記第１電荷蓄積時間および前記第２電荷蓄積時間に切り替える切替部と、
前記第１画素群の前記画素および前記第２画素群の前記画素を、フレーム毎に前記切替部により切り替えられた前記第１電荷蓄積時間および前記第２電荷蓄積時間により駆動する駆動部と、
前記撮像部により前記第１電荷蓄積時間で取得された画像信号を第１画像信号として出力し、前記撮像部により前記第２電荷蓄積時間で取得された画像信号を第２画像信号として出力する信号切替部と、
前記第１画像信号の信号レベルを前記第２画像信号の信号レベルに合わせるようにゲイン補正を行う第１ゲイン補正部と、
前記第１画像信号と前記第２画像信号とから前記第２画像信号のフリッカ成分を補正するためのゲイン補正係数を算出するゲイン算出部と、
前記ゲイン補正係数に基づいて、前記第２画像信号のフリッカ成分を補正する第２ゲイン補正部と、
前記第２ゲイン補正部により補正された前記第２画像信号と前記第１ゲイン補正部によりゲイン補正された前記第１画像信号とを、前記撮像素子上の前記第１画素群および前記第２画素群の配置に一致させるように合成する信号合成部と、
を備える集積回路。
【請求項１０】
それぞれ複数の画素からなる第１画素群および第２画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部とともに用いられる集積回路であって、
前記撮像部により取得される画像において、照明の電源周波数により発生するフリッカ成分が発生しない前記画素の電荷蓄積時間を第１電荷蓄積時間として設定し、前記第１電荷蓄積時間以外の電荷蓄積時間である第２電荷蓄積時間を設定する電荷蓄積時間設定部と、
前記第１画素群の電荷蓄積時間および前記第２画素群の電荷蓄積時間を、フレーム毎に、前記第１電荷蓄積時間および前記第２電荷蓄積時間に切り替える切替部と、
前記第１画素群の前記画素および前記第２画素群の前記画素を、フレーム毎に前記切替部により切り替えられた前記第１電荷蓄積時間および前記第２電荷蓄積時間により駆動する駆動部と、
前記撮像部により前記第１電荷蓄積時間で取得された画像信号を第１画像信号として出力し、前記撮像部により前記第２電荷蓄積時間で取得された画像信号を第２画像信号として出力する信号切替部と、
前記第１画像信号の信号レベルを前記第２画像信号の信号レベルに合わせるようにゲイン補正を行う第１ゲイン補正部と、
前記第１画像信号と前記第２画像信号とから前記第２画像信号のフリッカ成分を補正するためのゲイン補正係数を算出するゲイン算出部と、
前記ゲイン補正係数に基づいて、前記第２画像信号のフリッカ成分を補正する第２ゲイン補正部と、
前記第２ゲイン補正部により補正された前記第２画像信号と前記第１ゲイン補正部によりゲイン補正された前記第１画像信号とを、前記撮像素子上の前記第１画素群および前記第２画素群の配置に一致させるように合成する信号合成部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＯＳ型撮像素子のようなＸＹアドレス駆動方式の撮像素子を有する撮像装置を用いて、電源周波数で明るさが変動する照明下で撮像した場合に生ずるフリッカ現象を検出し、補正する技術に関するものである。
【背景技術】
【０００２】
電源周波数で明るさが変動する照明のもとで撮像した場合に、フリッカを検出し補正する必要性がある。図６に、電源周波数が５０［Ｈｚ］の電源照明下で、フレームレート６０［ｆｐｓ］の一般的な撮像装置でフリッカが発生する理由を説明する図を示す。図５に示すように、撮像装置において、ＭＯＳ型撮像素子のようなＸＹアドレス駆動方式の撮像素子で撮像するとラインごとに露光時刻が異なるため、任意の電荷蓄積時間で撮像素子を駆動するとラインごとに蓄積される光量に差が出て、３フレームで繰り返すフリッカ横縞が、撮像装置により取得される撮像画像（映像）上に発生する。
一方、１／１００秒で撮像素子を駆動すると、照明の電源周波数に相当する周期の半周期分の時間を露光するため、全ラインで蓄積される光量が同じになり、撮像装置により取得される撮像画像（映像）上にフリッカ横縞は発生しない。このことは一般に広く知られていて、電源周波数が５０［Ｈｚ］の電源照明下でフリッカを検出すると１／１００秒の電荷蓄積時間（露光時間）で撮像素子を駆動して簡易的にフリッカ除去を行うことが多い。
【０００３】
しかし、この場合、感度が低い状態に固定されるため、つまり、撮像素子の電荷蓄積時間（露光時間）が短い露光時間に固定されるため、撮像素子の電荷蓄積時間が長い場合と比較すると、撮像素子により取得される映像信号の出力レベルが小さく、撮像素子で取得される映像信号の出力レベルを上げるために増幅器の利得（ゲイン）を大きくしなければならない。このように増幅器のゲインを大きくすることは、映像信号のＳ／Ｎ比を劣化させるため、あまり望ましくない。
そこで、従来の撮像装置では、第１フレームで２種類の異なる蓄積時間で撮像部を駆動してフリッカを検出する。そして、第２フレーム以降では、１種類の蓄積時間で撮像部を通常駆動し、撮像部の後段の増幅器の利得（ゲイン）を変えることによってフリッカ補正を行っている。以下では説明便宜のため、照明電源周波数が５０［Ｈｚ」であるものとして説明する。
【０００４】
図７に、従来の撮像装置において、２種類の異なる電荷蓄積時間で撮像した画像を補正する様子を示す。
第１フレームの撮像に関して、撮像素子の画素列毎に２種類の異なる電荷蓄積時間（１／１００秒及び１／６０秒）で駆動すると（例えば、奇数列の画素の露光時間を１／１００秒とし、偶数列の画素の露光時間を１／６０秒とする。）、電荷蓄積時間を１／１００秒として取得した画像信号Ａにはフリッカは発生しない。一方、電荷蓄積時間を１／６０秒にして取得した画像信号Ｂにはフリッカが発生する。これら２種類の画像信号を除算処理すると、被写体画像は打ち消されてフリッカ成分に対応した輝度パターンのみを持つ画像信号Ｃ（＝Ｂ／Ａ）が得られる。また、演算によってこの画像信号Ｃの垂直投影による出力波形Ｖを取得し、さらに出力波形Ｖの逆位相に比例する補正係数を取得することができる。取得された補正係数を、電荷蓄積時間を１／６０秒として取得した画像信号Ｂに掛け合わせることによって、フリッカ成分が相殺された画像信号（補正後の画像信号）を取得することができる。
【０００５】
図４に、従来の撮像装置４００の全体構成図を示す。
撮像装置４００は、被写体からの光を光電変換により映像信号（画像信号）として取得する撮像部４０１と、撮像部４０１の撮像素子の露光時間を制御するための露光時間制御信号を撮像部４０１に出力する露光時間制御回路４０２と、撮像部４０１から出力された画像信号よりフリッカ検出を行うフリッカ検出回路４０３と、フリッカ検出回路４０３からの出力に基づいてゲイン補正係数を決定させるゲイン制御回路４０４と、ゲイン補正係数に基づいて、撮像部４０１から出力される第２フレーム以降の画像信号に対するゲインを変化させるゲイン可変増幅器４０５と、を備える。その他、図示していないが、撮像装置４００内の各部動作タイミング等の動作を制御する全体制御部も含まれる。
撮像部４０１は、撮像画素部（撮像素子）と、撮像画素部の全列用に割り当てられる垂直シフトレジスタと、撮像画素部の奇数列用に割り当てられる第１水平シフトレジスタ及び第１ラインメモリと、撮像画素部の偶数列用に割り当てられる第２水平シフトレジスタ及び第２ラインメモリと、を有する。撮像画素部の奇数列の画素を電源周波数が５０［Ｈｚ］の電源照明下でフリッカが発生しないｎ／１００秒（ｎは正の整数）、撮像画素部の偶数列の画素を電源周波数が６０［Ｈｚ］の電源照明下でフリッカの発生しないｎ／１２０秒（ｎは正の整数）の電荷蓄積時間（露光時間）で駆動させる。
【０００６】
露光時間制御回路４０２は、撮像部４０１の撮像画素部（撮像素子）の奇数列の画素と偶数列の画素とを互いに異なる電荷蓄積時間で駆動させるための露光時間制御信号を撮像部４０１に出力する。
フリッカ検出回路４０３は、撮像部４０１から出力される第１フレームの画像信号に基づきフリッカ成分を検出し、その検出信号をゲイン制御回路４０４に供給（出力）する。
ゲイン制御回路４０４は、フリッカ検出回路４０３により検出されたフリッカ成分の逆位相に比例する補正ゲインに対応するゲイン補正係数を算出し、そのゲイン補正係数をゲイン可変増幅器４０５に出力する。
ゲイン可変増幅器４０５は、フリッカ検出回路４０３にて第１フレームの画像信号からフリッカが検出された場合、撮像部４０１から出力される第２フレーム以降の画像信号に対し、ゲイン制御回路４０４からのゲイン補正係数をかけることにより、画像信号からフリッカ成分を除去する。ゲイン可変増幅器４０５は、フリッカ成分が相殺（除去）された補正画像信号を補正画像信号として出力する。一方、ゲイン可変増幅器４０５は、フリッカ検出回路４０３にて第１フレームの画像信号からフリッカが検出されなかった場合、フリッカ無しの画像信号として、撮像部４０１から出力された画像信号をそのまま出力する。
【特許文献１】特開２００６−２４５７８４号公報（［００３０〜００５４］）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の従来の撮像装置では、複数フレームに１回だけフリッカ成分を検出して、検出後のフレームにおいて、検出したフリッカ成分から位相情報を基にゲイン補正値を演算によって求めている。つまり、フリッカ成分の検出処理とフリッカ成分の補正とが別々のフレームで行われている。このため、撮像環境の照明が時間的に変化する場合や撮像装置を動かして屋内と屋外とを交互に撮像する場合、従来の撮像装置では、フリッカ補正に誤差が生じるという問題点がある。つまり、従来の撮像装置では、撮像部が動く場合、リアルタイムで適切なフリッカ補正を行うことができないという問題点がある。
本発明は、上記従来の問題点を解決するもので、撮像装置（カメラ）が動く場合でも適切なフリッカ補正を可能とし、さらに、感度の低い画素領域が撮像面上で固定されることにより発生する撮像画像上のノイズを効果的に抑制することができる撮像装置、撮像方法、プログラム、および集積回路を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の発明は、撮像部と、電荷蓄積時間設定部と、切替部と、駆動部と、信号切替部と、第１ゲイン補正部と、第２ゲイン補正部と、信号合成部と、を備える撮像装置である。撮像部は、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する。電荷蓄積時間設定部は、撮像部により取得される画像において、照明の電源周波数により発生するフリッカ成分が発生しない画素の電荷蓄積時間を第１電荷蓄積時間として設定し、第１電荷蓄積時間以外の電荷蓄積時間である第２電荷蓄積時間を設定する。切替部は、第１画素群の電荷蓄積時間および第２画素群の電荷蓄積時間を、フレーム毎に、第１電荷蓄積時間および第２電荷蓄積時間に切り替える。駆動部は、第１画素群の画素および第２画素群の画素を、フレーム毎に切替部により切り替えられた第１電荷蓄積時間および第２電荷蓄積時間により駆動する。信号切替部は、撮像部により第１電荷蓄積時間で取得された画像信号を第１画像信号として出力し、撮像部により第２電荷蓄積時間で取得された画像信号を第２画像信号として出力する。第１ゲイン補正部は、第１画像信号の信号レベルを第２画像信号の信号レベルに合わせるようにゲイン補正を行う。ゲイン算出部は、第１画像信号と第２画像信号とから第２画像信号のフリッカ成分を補正するためのゲイン補正係数を算出する。第２ゲイン補正部は、ゲイン補正係数に基づいて、第２画像信号のフリッカ成分を補正する。信号合成部は、第２ゲイン補正部により補正された第２画像信号と第１ゲイン補正部によりゲイン補正された第１画像信号とを、撮像素子上の第１画素群および第２画素群の配置に一致させるように合成する。
【０００９】
この撮像装置では、各フレームにおいて、フリッカ成分を含まない第１画像信号とフリッカ成分を含む第２画像信号が取得され、第１画像信号および第２画像信号から第２画像信号に含まれるフリッカ成分を除去するためのゲイン補正係数が算出され、そのゲイン補正係数により第２画像信号からフリッカ成分を除去した後、第１画像信号と第２画像信号とが合成されることで、フリッカ成分が除去された画像信号が取得される。また、この撮像装置では、フレーム毎に、各画素での電荷蓄積時間が第１電荷蓄積時間と第２電荷蓄積時間とに切り替えられるので、感度の低い画素領域（電荷蓄積時間の短い画素からなる画素領域）が撮像面上で固定されることがない。
したがって、この撮像装置により、撮像装置が動く場合でも、リアルタイムで適切なフリッカ補正を可能とし、さらに、感度の低い画素領域が撮像面上で固定されることにより発生する撮像画像上のノイズを効果的に抑制することができる。
【００１０】
なお、「撮像素子上の第１画素群および第２画素群の配置に一致させるように合成する」とは、例えば、第１画像信号が第１画素群から取得された画像信号であり、第２画像信号が第２画素群から取得された画像信号である場合、第１ゲイン補正部から出力された第１画像信号と第２ゲイン補正部から出力された第２画像信号とを、第１画素群および第２画素群の撮像素子上の画素の位置関係に対応させて、合成することをいう。したがって、撮像素子上の第１画素群および第２画素群の配置に一致させるように合成された画像信号を表示装置に表示させることで、撮像部の撮像素子で取得された画像を２次元画像として忠実に表示させることができる。
また、ここで、「フリッカ成分」とは、撮像装置が置かれている環境下に存在する照明の電源周波数に起因して生じる、撮像装置による撮像画像上のフリッカ成分のことをいう。
【００１１】
第２の発明は、第１の発明であって、ゲイン算出部は、第１画像信号から形成される第１画像の水平ラインごとの信号レベルの平均値Ａおよび第２画像信号から形成される第２画像の水平ラインごとの信号レベルの平均値Ｂを算出し、水平ライン平均値の比Ｃ（＝（平均値Ａ）／（平均値Ｂ））をゲイン補正係数として算出する。そして、第２ゲイン補正部は、第２画像信号に、ゲイン算出部により算出された水平ライン平均値の比Ｃを乗算することで、第２画像信号を補正する。
これにより、この撮像装置では、簡単な方法で、効果的にフリッカ成分を除去（補正）することができる。
第３の発明は、第１または第２の発明であって、撮像部は、第１画素群に含まれる画素と第２画素群に含まれる画素とが、撮像素子の撮像面上の縦方向および横方向に、互いに隣接して配置されている撮像素子を有する。
【００１２】
この撮像装置では、撮像素子の撮像面上において、第１画素群に含まれる画素どうしが縦横方向に隣接することがなく、かつ、第２画素群に含まれる画素どうしが縦横方向に隣接することがない。つまり、この撮像装置では、撮像素子の撮像面上で縦横両方向に交互に配置されている画素に対して、２種類の異なる電荷蓄積時間で画素を駆動することにより、電荷蓄積時間の違いによる処理画像上のノイズの発生を効果的に抑制することができる。
第４の発明は、第１または第２の発明であって、撮像部は、第１画素群に含まれる画素と第２画素群に含まれる画素とが、撮像素子の撮像面上の縦方向に、互いに隣接して配置されている撮像素子を有する。
これにより、電荷蓄積時間の違いによる処理画像上のノイズの発生を効果的に抑制することができる。
【００１３】
第５の発明は、第１または第２の発明であって、撮像部は、第１画素群に含まれる画素と第２画素群に含まれる画素とが、撮像素子の撮像面上の横方向に、互いに隣接して配置されている撮像素子を有する。
これにより、電荷蓄積時間の違いによる処理画像上のノイズの発生を効果的に抑制することができる。
第６の発明は、第１から第５のいずれかの発明であって、電荷蓄積時間設定部は、照明の電源周波数が５０［Ｈｚ］である場合、第１電荷蓄積時間をｎ／１００秒（ｎは自然数）に設定し、照明の電源周波数が６０［Ｈｚ］である場合、第１電荷蓄積時間をｎ／１２０秒（ｎは自然数）に設定する。
これにより、簡単にフリッカ成分を含まない第１画像信号を生成することができる。
【００１４】
なお、ｎは、第１電荷蓄積時間が１フレーム期間を超えない最大となる整数とすることが好ましい。
第７の発明は、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法であって、電荷蓄積時間設定ステップと、切替ステップと、駆動ステップと、信号切替ステップと、第１ゲイン補正ステップと、ゲイン算出ステップと、第２ゲイン補正ステップと、信号合成ステップと、を備える。電荷蓄積時間設定ステップでは、撮像部により取得される画像において、照明の電源周波数により発生するフリッカ成分が発生しない画素の電荷蓄積時間を第１電荷蓄積時間として設定し、第１電荷蓄積時間以外の電荷蓄積時間である第２電荷蓄積時間を設定する。切替ステップでは、第１画素群の電荷蓄積時間および第２画素群の電荷蓄積時間を、フレーム毎に、第１電荷蓄積時間および第２電荷蓄積時間に切り替える。駆動ステップでは、第１画素群の画素および第２画素群の画素を、フレーム毎に切替ステップにより切り替えられた第１電荷蓄積時間および第２電荷蓄積時間により駆動する。信号切替ステップでは、撮像部により第１電荷蓄積時間で取得された画像信号を第１画像信号として出力し、撮像部により第２電荷蓄積時間で取得された画像信号を第２画像信号として出力する。第１ゲイン補正ステップでは、第１画像信号の信号レベルを第２画像信号の信号レベルに合わせるようにゲイン補正を行う。ゲイン算出ステップでは、第１画像信号と第２画像信号とから第２画像信号のフリッカ成分を補正するためのゲイン補正係数を算出する。第２ゲイン補正ステップでは、ゲイン補正係数に基づいて、第２画像信号のフリッカ成分を補正する。信号合成ステップでは、第２ゲイン補正部により補正された第２画像信号と第１ゲイン補正部によりゲイン補正された第１画像信号とを、撮像素子上の第１画素群および第２画素群の配置に一致させるように合成する。
【００１５】
これにより、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられることで、第１の発明と同様の効果を奏する撮像方法を実現することができる。
第８の発明は、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられるプログラムであって、コンピュータを、電荷蓄積時間設定部、切替部、駆動部、信号切替部、第１ゲイン補正部、ゲイン算出部、第２ゲイン補正部、信号合成部、として機能させるためのプログラムである。電荷蓄積時間設定部は、撮像部により取得される画像において、照明の電源周波数により発生するフリッカ成分が発生しない画素の電荷蓄積時間を第１電荷蓄積時間として設定し、第１電荷蓄積時間以外の電荷蓄積時間である第２電荷蓄積時間を設定する。切替部は、第１画素群の電荷蓄積時間および第２画素群の電荷蓄積時間を、フレーム毎に、第１電荷蓄積時間および第２電荷蓄積時間に切り替える。駆動部は、第１画素群の画素および第２画素群の画素を、フレーム毎に切替部により切り替えられた第１電荷蓄積時間および第２電荷蓄積時間により駆動する。信号切替部は、撮像部により第１電荷蓄積時間で取得された画像信号を第１画像信号として出力し、撮像部により第２電荷蓄積時間で取得された画像信号を第２画像信号として出力する。第１ゲイン補正部は、第１画像信号の信号レベルを第２画像信号の信号レベルに合わせるようにゲイン補正を行う。ゲイン算出部は、第１画像信号と第２画像信号とから第２画像信号のフリッカ成分を補正するためのゲイン補正係数を算出する。第２ゲイン補正部は、ゲイン補正係数に基づいて、第２画像信号のフリッカ成分を補正する。信号合成部は、第２ゲイン補正部により補正された第２画像信号と第１ゲイン補正部によりゲイン補正された第１画像信号とを、撮像素子上の第１画素群および第２画素群の配置に一致させるように合成する。
【００１６】
これにより、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられることで、第１の発明と同様の効果を奏するプログラムを実現することができる。
第９の発明は、撮像部と、電荷蓄積時間設定部と、切替部と、駆動部と、信号切替部と、第１ゲイン補正部と、第２ゲイン補正部と、信号合成部と、を備える集積回路である。撮像部は、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する。電荷蓄積時間設定部は、撮像部により取得される画像において、照明の電源周波数により発生するフリッカ成分が発生しない画素の電荷蓄積時間を第１電荷蓄積時間として設定し、第１電荷蓄積時間以外の電荷蓄積時間である第２電荷蓄積時間を設定する。切替部は、第１画素群の電荷蓄積時間および第２画素群の電荷蓄積時間を、フレーム毎に、第１電荷蓄積時間および第２電荷蓄積時間に切り替える。駆動部は、第１画素群の画素および第２画素群の画素を、フレーム毎に切替部により切り替えられた第１電荷蓄積時間および第２電荷蓄積時間により駆動する。信号切替部は、撮像部により第１電荷蓄積時間で取得された画像信号を第１画像信号として出力し、撮像部により第２電荷蓄積時間で取得された画像信号を第２画像信号として出力する。第１ゲイン補正部は、第１画像信号の信号レベルを第２画像信号の信号レベルに合わせるようにゲイン補正を行う。ゲイン算出部は、第１画像信号と第２画像信号とから第２画像信号のフリッカ成分を補正するためのゲイン補正係数を算出する。第２ゲイン補正部は、ゲイン補正係数に基づいて、第２画像信号のフリッカ成分を補正する。信号合成部は、第２ゲイン補正部により補正された第２画像信号と第１ゲイン補正部によりゲイン補正された第１画像信号とを、撮像素子上の第１画素群および第２画素群の配置に一致させるように合成する。
【００１７】
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
第１０の発明は、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部とともに用いられる集積回路であって、電荷蓄積時間設定部と、切替部と、駆動部と、信号切替部と、第１ゲイン補正部と、第２ゲイン補正部と、信号合成部と、を備える。電荷蓄積時間設定部は、撮像部により取得される画像において、照明の電源周波数により発生するフリッカ成分が発生しない画素の電荷蓄積時間を第１電荷蓄積時間として設定し、第１電荷蓄積時間以外の電荷蓄積時間である第２電荷蓄積時間を設定する。切替部は、第１画素群の電荷蓄積時間および第２画素群の電荷蓄積時間を、フレーム毎に、第１電荷蓄積時間および第２電荷蓄積時間に切り替える。駆動部は、第１画素群の画素および第２画素群の画素を、フレーム毎に切替部により切り替えられた第１電荷蓄積時間および第２電荷蓄積時間により駆動する。信号切替部は、撮像部により第１電荷蓄積時間で取得された画像信号を第１画像信号として出力し、撮像部により第２電荷蓄積時間で取得された画像信号を第２画像信号として出力する。第１ゲイン補正部は、第１画像信号の信号レベルを第２画像信号の信号レベルに合わせるようにゲイン補正を行う。ゲイン算出部は、第１画像信号と第２画像信号とから第２画像信号のフリッカ成分を補正するためのゲイン補正係数を算出する。第２ゲイン補正部は、ゲイン補正係数に基づいて、第２画像信号のフリッカ成分を補正する。信号合成部は、第２ゲイン補正部により補正された第２画像信号と第１ゲイン補正部によりゲイン補正された第１画像信号とを、撮像素子上の第１画素群および第２画素群の配置に一致させるように合成する。
【００１８】
これにより、それぞれ複数の画素からなる第１画素群および第２画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられることで、第１の発明と同様の効果を奏するプログラムを実現することができる。
【発明の効果】
【００１９】
本発明によれば、撮像装置（カメラ）が動く場合でも、リアルタイムで適切なフリッカ補正を可能とし、さらに、感度の低い画素領域が撮像面上で固定されることにより発生する撮像画像上のノイズを効果的に抑制することができる撮像装置、撮像方法、プログラム、および集積回路を実現することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施するための第１実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１：撮像装置の構成＞
図１に、本発明の第１実施形態の撮像装置１００の構成図を示す。
図２に、撮像部１および駆動部７の概略構成部を示す。
撮像装置１００は、被写体からの光を光電変換により第１画像信号（フリッカ成分を含まない画像信号）および第２画像信号として取得する撮像部１と、撮像部１の画素の電荷蓄積時間を制御する電荷蓄積時間制御信号をフレームごとに切り替える切替部６と、電荷蓄積時間制御信号に基づいて撮像部１の画素を駆動する駆動部７と、撮像部１で取得された第１画像信号および第２画像信号の出力先を、第１補正ゲイン補正部および第２ゲイン補正部のいずれかにフレーム毎に切り替える信号切替部２と、を備える。また、撮像装置１００は、信号切替部２から出力された第１画像信号および第２画像信号に基づいて、第２画像信号のフリッカ成分を補正するとともに、第１画像信号に対して電荷蓄積時間の差異により生じる第２画像信号との信号レベルの差異がなくなるように、第１画像信号の信号レベルを調整する信号補正部３と、信号補正部３から出力された第１画像信号（ゲイン調整後の第１画像信号）および第２画像信号（補正後の第２画像信号）を合成し、合成画像信号として出力する信号合成部４と、を備える。さらに、撮像装置１００は、各部におけるタイミング調整を行うための制御信号を各部に出力し、また、撮像部１の各画素を所定の電荷蓄積時間により駆動するための電荷蓄積時間制御信号を切替部６に出力するタイミングジェネレータ部５を備える。
【００２１】
なお、図示していないが、撮像装置１００には、撮像装置１００内の各構成部の制御（各部の動作タイミング等の制御を含む。）を行う全体制御部も含まれる。
撮像部１は、被写体からの光を光電変換により第１画像信号（フリッカ成分を含まない画像信号）および第２画像信号として取得する。撮像部１は、複数の画素からなり、画素毎に駆動することができる撮像素子である。つまり、撮像部１は、画素毎に設定された電荷蓄積時間（露光時間）により駆動されうる。撮像部１は、図２に示すように、フリッカ成分を含まない電荷蓄積時間（以下、「第１電荷蓄積時間」という。）で駆動した画素（以下、これらの画素を「画素Ａ」といい、画素Ａからなる画像を「画像Ａ」という。）から取得された画像信号を第１画像信号として信号切替部２に出力し、第１電荷蓄積時間とは異なる電荷蓄積時間（以下、「第２電荷蓄積時間」という。）で駆動した画素（以下、これらの画素を「画素Ｂ」といい、画素Ｂからなる画像を「画像Ｂ」という。）から取得された画像信号を第２画像信号として信号切替部２に出力に出力する。
【００２２】
ここで、例えば、照明電源周波数が５０［Ｈｚ］の場合、第１電荷蓄積時間はｎ／１００秒（ｎは電荷蓄積時間が１フレーム期間を超えない最大となる整数）に設定され、第２電荷蓄積時間は任意の時間に設定される。また、照明電源周波数が６０［Ｈｚ］の場合、第１電荷蓄積時間はｎ／１２０秒（ｎは蓄積時間が１フレーム期間を超えない最大となる整数）に設定され、第２電荷蓄積時間は任意の時間になるように設定される。
なお、撮像部１として、ＣＭＯＳ型イメージセンサーを用いることが好ましい。
切替部６は、タイミングジェネレータ部５から出力された電荷蓄積時間制御信号を入力とし、駆動部７に出力する。切替部６は、この電荷蓄積時間制御信号をフレームごとに切り替える。このように、切替部６により、電荷蓄積時間制御信号をフレームごとに切り替えることで、撮像部１において、フレームごとに駆動される領域を切り替えることができる。
【００２３】
例えば、撮像部の撮像面上において、偶数列に配置されている画素についての電荷蓄積時間を第１電荷蓄積時間に設定し、奇数列に配置されている画素についての電荷蓄積時間を第２電荷蓄積時間に設定する電荷蓄積時間制御信号を駆動部７に出力したとすると、次のフレームでは、偶数列に配置されている画素についての電荷蓄積時間を第２電荷蓄積時間に設定し、奇数列に配置されている画素についての電荷蓄積時間を第１電荷蓄積時間に設定する電荷蓄積時間制御信号を駆動部７に出力するようにする。
駆動部７は、電荷蓄積時間制御信号に基づいて撮像部１の画素を駆動する。駆動部７は、図２に示すように、垂直シフトレジスタ７１と、第１水平シフトレジスタ７２と、第２水平シフトレジスタ７３と、を有する。
垂直シフトレジスタ７１、第１水平シフトレジスタ７２および第２水平シフトレジスタ７３には、それぞれ、切替部６からの電荷蓄積時間制御信号が入力されており、各画素の電荷蓄積時間（露光時間）が所望の時間となるように、電荷蓄積時間制御信号に基づいて、垂直シフトレジスタ７１、第１水平シフトレジスタ７２および第２水平シフトレジスタ７３において、撮像部１の画素を駆動させる駆動信号が生成される。図２においては、電荷蓄積時間制御信号が、垂直走査用電荷蓄積時間制御信号、水平走査用電荷蓄積時間制御信号（画素Ａ用）および水平走査用電荷蓄積時間制御信号（画素Ｂ用）からなる場合の一例を示しており、図２に示すように、垂直走査用電荷蓄積時間制御信号は、垂直シフトレジスタ７１に入力され、水平走査用電荷蓄積時間制御信号（画素Ａ用）は第１水平シフトレジスタ７２に入力され、水平走査用電荷蓄積時間制御信号（画素Ｂ用）は第２水平シフトレジスタ７３に入力される。そして、垂直シフトレジスタ７１は、垂直走査用電荷蓄積時間制御信号に基づいて撮像部１の画素を駆動させる駆動信号を生成する。第１水平シフトレジスタ７２は、水平走査用電荷蓄積時間制御信号（画素Ａ用）に基づいて撮像部１の画素Ａを駆動させる駆動信号を生成する。第２水平シフトレジスタ７３は、水平走査用電荷蓄積時間制御信号（画素Ｂ用）に基づいて撮像部１の画素Ｂを駆動させる駆動信号を生成する。そして、撮像部１の画素Ａは、垂直シフトレジスタ７１により生成された駆動信号および第１水平シフトレジスタ７２により生成された駆動信号により駆動される。撮像部１の画素Ｂは、垂直シフトレジスタ７１により生成された駆動信号および第２水平シフトレジスタ７３により生成された駆動信号により駆動される。つまり、画素Ａおよび画素Ｂの電荷蓄積時間（露光時間）を、垂直走査用電荷蓄積時間制御信号、水平走査用電荷蓄積時間制御信号（画素Ａ用）および水平走査用電荷蓄積時間制御信号（画素Ｂ用）により制御することができる。
【００２４】
信号切替部２は、タイミングジェネレータ部５から出力される信号切替制御信号、並びに撮像部１から出力される第１画像信号および第２画像信号を入力とし、タイミングジェネレータ部５から出力される信号切替制御信号に基づいて、撮像部１で取得された第１画像信号および第２画像信号の出力先を、第１補正ゲイン補正部および第２ゲイン補正部のいずれかにフレーム毎に切り替える。
信号補正部３は、信号切替部２から出力された第１画像信号および第２画像信号に基づいて、第２画像信号のフリッカ成分を補正するとともに、第１画像信号に対して電荷蓄積時間の差異により生じる第２画像信号との信号レベルの差異がなくなるように、第１画像信号の信号レベルを調整する。
信号補正部３は、第１ゲイン補正部３１と、ゲイン算出部３２と、第２ゲイン補正部３３と、を有する。
【００２５】
第１ゲイン補正部３１は、信号切替部２から出力された第１画像信号およびタイミングジェネレータ部５から出力される第１電荷蓄積時間と第２電荷蓄積時間とについての情報を入力とし、第１画像信号に対して電荷蓄積時間の差異により生じる第２画像信号との信号レベルの差異がなくなるように、第１画像信号の信号レベルを調整し、信号合成部４に出力する。例えば、第１電荷蓄積時間がＴ１（電源周波数が５０［Ｈｚ］である場合、例えば、Ｔ１＝１／１００秒）であり、第２電荷蓄積時間がＴ２（電源周波数が５０［Ｈｚ］である場合、例えば、Ｔ２＝１／６０秒）であったとすると、ゲインＧ１＝Ｔ２／Ｔ１とし、第１画像信号にゲインＧ１を乗算することで、第１画像信号の信号レベルを、第２画像信号の信号レベルと同等になるようにすることができる。
なお、ここで、Ｔ２＞Ｔ１である場合に、上記のようにゲインＧ１を乗算することで第１画像信号の信号レベルを調整することが好ましく、Ｔ２≦Ｔ１である場合は、第２ゲイン補正部で信号レベル調整を行うようにすることが好ましい。
【００２６】
ゲイン算出部３２は、信号切替部２から出力される第１画像信号および第２画像信号を入力とし、第１画像信号および第２画像信号に基づいて、第２画像信号のフリッカ成分を補正するためのゲイン補正係数をライン毎に算出し、算出したゲイン補正係数を第２ゲイン補正部３３に出力する。
信号合成部４は、信号補正部３から出力された第１画像信号（ゲイン調整後の第１画像信号）および第２画像信号（補正後の第２画像信号）を入力とし、第１画像信号（ゲイン調整後の第１画像信号）および第２画像信号（補正後の第２画像信号）を合成し、合成画像信号として出力する。具体的には、信号合成部４は、タイミングジェネレータ部５から出力される画素Ａおよび画素Ｂについての画素位置等の情報、およびフレーム切替についての情報等に基づいて、第１画像信号（ゲイン調整後の第１画像信号）および第２画像信号（補正後の第２画像信号）を、撮像部１の画素の画素配列と同配列となるように混合することで、合成画像信号を生成し、生成した合成画像信号を出力する。
【００２７】
タイミングジェネレータ部５は、各部におけるタイミング調整を行うための制御信号を各部に出力し、また、撮像部１の各画素を所定の電荷蓄積時間により駆動するための電荷蓄積時間制御信号を切替部６に出力する。タイミングジェネレータ部５は、信号切替部２、信号補正部３、および信号合成部４に、信号切替制御信号、画素Ａおよび画素Ｂについての画素位置等の情報、およびフレーム切替についての情報等を出力する。なお、電荷蓄積時間設定部の機能は、タイミングジェネレータ部５により実現される。
＜２：撮像装置の動作＞
以上のように構成された撮像装置１００の動作について、以下説明する。なお、説明便宜のため、照明の電源周波数が５０［Ｈｚ］とし、第１電荷蓄積時間を１／１００秒とし、第２電荷蓄積時間を１／６０秒であるものとして、以下説明する。
【００２８】
（２．１：奇数フレームでの動作）
初めに、撮像装置１００の奇数フレームにおける処理において、被写体からの光は、撮像部１により、光電変換され第１画像信号および第２画像信号として取得される。このとき、タイミングジェネレータ部５からの電荷蓄積時間制御信号により、撮像部１の画素Ａの電荷蓄積時間（第１電荷蓄積時間）は、ｎ／１００秒に設定され、撮像部１の画素Ｂの電荷蓄積時間（第２電荷蓄積時間）は、任意の時間（ｎ／１００秒以外の任意の時間）に設定される。ここでは、ｎ＝１として、第１電荷蓄積時間は１／１００秒に、第２電荷蓄積時間は１／６０秒に設定される。そして、奇数フレームにおいては、図２に示すように、撮像部１の撮像面の奇数行奇数列の画素および偶数行偶数列の画素が画素Ａに設定され、奇数行偶数列の画素および偶数行奇数列の画素が画素Ｂに設定されるものとして、説明する。
【００２９】
図２に示すように、第１画像信号は、撮像部１の画素Ａで、切替部６から出力される電荷蓄積時間制御信号により設定された第１電荷蓄積時間（１／１００秒）だけ電荷蓄積されることで取得される。第２画像信号は、撮像部１の画素Ｂで、切替部６から出力される電荷蓄積時間制御信号により設定された第２電荷蓄積時間（１／６０秒）だけ電荷蓄積されることで取得される。
ここで、照明の電源周波数が５０［Ｈｚ］であるので、第１電荷蓄積時間１／１００秒で取得された第１画像信号には、フリッカ成分が含まれていない。一方、第１画像信号には、フリッカ成分が含まれている。
第１画像信号および第２画像信号は、信号切替部２に入力される。奇数フレームにおいては、信号切替部２により、撮像部１の撮像面の奇数行奇数列の画素および偶数行偶数列の画素からの信号が、第１画像信号として、第１ゲイン補正部３１およびゲイン算出部３２に出力される。そして、撮像部１の撮像面の奇数行偶数列の画素および偶数行奇数列の画素からの信号が、第２画像信号として、第２ゲイン補正部３３およびゲイン算出部３２に出力される。
【００３０】
ゲイン算出部３２では、第１画像信号により、第１画像信号から形成される画像Ａのライン（水平ライン）毎の平均値Ａ’が算出される。また、ゲイン算出部３２では、第２画像信号により、第２画像信号から形成される画像Ｂのライン（水平ライン）毎の平均値Ｂ’が算出される。そして、ゲイン算出部３２により、ライン平均の比Ｃ’＝Ａ’／Ｂ’が算出される。算出されたライン平均の比Ｃ’＝Ａ’／Ｂ’は、第２画像信号のフリッカ成分を補正するゲイン補正係数として、ゲイン算出部３２から第２ゲイン補正部３３に出力される。
また、第２画像信号は、第１ゲイン補正部３１に入力され、第１ゲイン補正部３１により、信号レベルの調整が行われ、信号合成部４に出力される。具体的には、第２画像信号は、第１電荷蓄積時間をＴ１（Ｔ１＝１／１００秒）とし、第２電荷蓄積時間をＴ２（Ｔ２＝１／６０秒）として、ゲインＧ１をゲインＧ１＝Ｔ２／Ｔ１により算出し、この算出したゲインＧ１を第１画像信号に乗算することで、第１画像信号の信号レベルを、第２画像信号の信号レベルと同等になるようにする。そして、このようにして信号レベル調整された第１画像信号が信号合成部４に出力される。
【００３１】
第２画像信号は、第２ゲイン補正部３３により、ゲイン補正係数（Ｃ’＝Ａ’／Ｂ’）をライン毎に乗算され、フリッカ成分が除去される。このフリッカ成分が除去された信号は、補正後の第２画像信号として、第２ゲイン補正部３３から信号合成部４に出力される。
第１ゲイン補正部３１から出力された第１画像信号および補正後の第２画像信号は、信号合成部４に入力され、信号合成部４により、撮像部１の撮像面と同配列（撮像部１の画素の画素配列と同配列）になるように混合されることで、合成画像信号に変換される。
そして、合成画像信号は、フリッカ成分が補正（除去）された画像信号として、信号合成部４から出力される。
（２．２：偶数フレームでの動作）
図３に、本実施形態における偶数フレームの場合の撮像部１および駆動部７の概略構成部を示す。
【００３２】
次に、撮像装置１００の偶数フレームにおける処理について説明する。奇数フレームにおいて第１電荷蓄積時間（１／１００秒）で駆動されていた領域（奇数行奇数列の画素および偶数行偶数列からなる領域）での電荷蓄積時間を第２電荷蓄積時間（１／６０秒）となるように設定し、奇数フレームにおいて第２電荷蓄積時間で駆動していた領域（奇数行偶数列の画素および偶数行奇数列の画素からなる領域）での電荷蓄積時間を第１電荷蓄積時間（１／１００秒）となるように設定する。つまり、図３に示すように、撮像部１の撮像面の奇数行奇数列の画素および偶数行偶数列の画素を画素Ｂに、奇数行偶数列の画素および偶数行奇数列の画素を画素Ａに設定する。
なお、画素Ａおよび画素Ｂの設定は、タイミングジェネレータ部５により設定され、切替部６によりフレームごとに切り替えられる電荷蓄積時間制御信号により設定される。
【００３３】
画素Ａから取得された第１画像信号および画素Ｂから取得された第２画像信号は、信号切替部２に入力される。
信号切替部２では、撮像部１の撮像面の奇数行偶数列の画素および偶数行奇数列の画素からの信号が、第１画像信号として、第１ゲイン補正部３１およびゲイン算出部３２に出力される。そして、撮像部１の撮像面の奇数行奇数列の画素および偶数行偶数列の画素からの信号が、第２画像信号として、第２ゲイン補正部３３およびゲイン算出部３２に出力される。
以下、奇数フレームと同様の動作（処理）が行なわれる。
そして、撮像装置１００では、奇数フレームでの処理が終了すると、再度、偶数フレームでの処理が実行される。
【００３４】
このように、撮像装置１００では、フレームごとに２種類の電荷蓄積時間で駆動する撮像部１の撮像面上の画素領域を交互に入れ替えて動作させる。これにより、撮像装置（カメラ）が動く場合でも適切なフリッカ補正を可能とし、さらに、感度の低い画素領域が撮像面上で固定されることにより発生する撮像画像上のノイズを効果的に抑制することができる。
なお、フレームごとの画素Ａおよび画素Ｂの画素位置の設定については、上記に限定されるものではない。
他の例について、図４および図５に示す。
図４は、異なる電荷蓄積時間を持つ画素領域を列ごとに交互に設定した場合の撮像部１の画素領域を示したものである。
【００３５】
奇数フレームでは、図４（ａ）に示すように、奇数列の電荷蓄積時間をｎ／１００秒とし、偶数列の電荷蓄積時間を任意の時間に設定する。
偶数フレームでは、図４（ｂ）に示すように奇数列の電荷蓄積時間を任意の時間に設定し、偶数列の電荷蓄積時間をｎ／１００秒に設定する。
撮像装置１００において、上記のように、フレームごとの画素Ａおよび画素Ｂの画素位置の設定を行ってもよい。
尚、本発明の撮像装置１００では、電荷蓄積時間の異なる２種類の画素領域の画像信号の除算によってフリッカ成分を補正するゲイン補正係数を求めているため、図１の撮像部１で異なる電荷蓄積時間の画素が隣接していなければ、フリッカ成分を補正する際に生じる誤差を大きくしてしまう可能性がある。動きの観点から見れば、露光タイミング差（電荷蓄積時間の差）がほとんどない水平走査方向に電荷蓄積時間が異なる画素を設定する方が良いため、図５（ａ）に示すように、撮像装置１００において、画素列ごとに異なる水平シフトレジスタで走査し、図５（ａ）のように画素Ａおよび画素Ｂの画素位置を設定することが望ましい。
【００３６】
しかし、水平走査方向に細かい縞模様がある被写体の場合、図５（ｂ）に示すように画素行ごとに異なる水平シフトレジスタで走査し、図５（ｂ）のように画素Ａおよび画素Ｂの画素位置を設定することが望ましい。
また、図５（ｃ）に示すように、ラインごとに交互に異なる電荷蓄積時間となるように画素Ａおよび画素Ｂの画素位置を設定すれば、被写体に、水平・垂直のどちらの縞模様があったとしても、感度の低い画素領域が撮像面上で固定されることにより発生する撮像画像上のノイズを効果的に抑制することができる。
以上のように、この撮像装置１００では、各フレームにおいて、フリッカ成分を含まない第１画像信号とフリッカ成分を含む第２画像信号を取得し、第１画像信号および第２画像信号から第２画像信号に含まれるフリッカ成分を除去するためのゲイン補正係数を算出し、そのゲイン補正係数により第２画像信号からフリッカ成分を除去した後、第１画像信号と第２画像信号とを合成することで、フリッカ成分が除去された画像信号を生成することができる。
【００３７】
従来の方法では、複数フレームに１回だけフリッカ成分の検出を行い、フリッカ成分の検出を行ったフレームの後のフレームでは、過去に検出されたフリッカ成分から位相情報を基にゲイン補正値を演算によって求めているため、フリッカ成分の検出処理と補正処理とが別フレームで行われていた。
それに対して、本発明の撮像装置１００では、フリッカ補正に使われるゲイン補正係数を補正されるフレーム画像自体の情報を基に求めているため、フリッカ成分の検出処理と補正処理とが同一フレームで行われる。
また、撮像装置１００において、フレームごとに画素Ａおよび画素Ｂの画素位置を変更するので、感度の低い画素領域が撮像面上で固定されることがなく、感度の低い画素領域が撮像面上で固定されることにより発生する撮像画像上のノイズを効果的に抑制することができる。
【００３８】
従って、本発明の撮像装置１００によれば、撮像装置１００が動く場合でも適切なフリッカ補正を可能とし、さらに、感度の低い画素領域が撮像面上で固定されることにより発生する撮像画像上のノイズを効果的に抑制することができる。
［他の実施形態］
なお、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００３９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００４０】
本発明に係る撮像装置、撮像方法、プログラム、および集積回路は、照明の電源周波数に起因するフリッカ成分を効果的に補正（除去）することができるので、映像機器関連産業分野において、有用であり、本発明に係る撮像装置、撮像方法、プログラム、および集積回路は、当該分野において実施することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１実施形態に係る撮像装置１００の構成図
【図２】本発明の第１実施形態に係る撮像装置１００の撮像部１および駆動部７の概略構成図（奇数フレーム）
【図３】本発明の第１実施形態に係る撮像装置１００の撮像部１および駆動部７の概略構成図（偶数フレーム）
【図４】本発明の第１実施形態に係る撮像装置１００の２種類の電荷蓄積時間の画素配列がフレームごとに入れ替わる動作を説明するための説明図
【図５】本発明の第１実施形態に係る撮像装置１００の撮像部１の画素Ａおよび画素Ｂの画素配置について説明するための説明図
【図６】従来の撮像装置の構成図
【図７】電源周波数が５０［Ｈｚ］の照明下で、フレームレート６０［ｆｐｓ］の一般的な撮像装置でフリッカが発生する理由を説明するための説明図
【図８】２種類の異なる電荷蓄積時間で撮像した画像を補正する処理についての説明図
【符号の説明】
【００４２】
１００  撮像装置
１  撮像部
２  信号切替部
３  信号補正部
４  信号合成部
５  タイミングジェネレータ部
６  切替部
７  駆動部
３１  第１ゲイン補正部
３２  ゲイン算出部
３３  第２ゲイン補正部
【図１】
2009010836.tif 000003
【図２】
2009010836.tif 000004
【図３】
2009010836.tif 000005
【図４】
2009010836.tif 000006
【図５】
2009010836.tif 000007
【図６】
2009010836.tif 000008
【図７】
2009010836.tif 000009
【図８】
2009010836.tif 000010