(57)【要約】      （修正有）【課題】フリッカを抑制して、画像品質を向上する撮像装置及び方法を提供する。【解決手段】設定部は、画素領域の画素の配列を行単位で間引いてグループ化する。例えば、4n,4n+1行目が第１群、4n+2,4n+3行目が第2群とされる。各グループ（第１群および第２群）に対して、リセット開始から第１蓄積、第２蓄積、第３蓄積を行い、画素信号を出力する。これにより、複数の画像、例えば、第１群の３枚の画像および第２群の３枚の画像が得られる。【選択図】図７
2017112409.tif 000002
【特許請求の範囲】
【請求項１】
画素領域の画素の配列から、行単位でローリングさせながら異なる露光と読み出しのタイミングで連続的に撮像可能な駆動方式で、１フレーム期間中に複数枚の画像を撮像する撮像部と、
画像をｎ行毎に間引いてグループ化し、グループ単位で露光と読出しのタイミングを制御する制御部と
を備える撮像装置。
【請求項２】
前記撮像部は、露光時間の和が被写体の消灯時間を上回るように、１フレーム期間中に複数枚の画像を撮像する
請求項１に記載の撮像装置。
【請求項３】
前記制御部は、１フレーム期間中に取得する複数枚の画像の露光と読み出しタイミングを独立に制御する
請求項２に記載の撮像装置。
【請求項４】
前記制御部は、露光周期を第１の周波数に合わせた第１のグループと、露光周期を、前記第１の周波数とは異なる第２の周波数に合わせた第２のグループとにグループ化して、グループ単位で露光と読出しのタイミングを制御する
請求項３に記載の撮像装置。
【請求項５】
前記撮像部により撮像された複数枚の画像から間引かれた行を補間する補間部と、
前記補間部により行が補間された複数枚の画像を合成し、合成された画像を生成する合成部と
をさらに備える請求項１の記載の撮像装置。
【請求項６】
前記合成部により合成された画像を検波する検波部を
さらに備え、
前記制御部は、前記検波部による検波結果に基づいて、画像をｎ行毎に間引いてグループ化し、グループ単位で露光と読出しのタイミングを制御する
請求項１の記載の撮像装置。
【請求項７】
撮像装置が、
画素領域の画素の配列から、行単位でローリングさせながら異なる露光と読み出しのタイミングで連続的に撮像可能な駆動方式で、１フレーム期間中に複数枚の画像を撮像し、
画像をｎ行毎に間引いてグループ化し、グループ単位で露光と読出しのタイミングを制御する
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置および方法に関し、特に、フリッカを抑制して、画像品質を向上することができるようにした撮像装置および方法に関する。
【背景技術】
【０００２】
ある一定周期で点灯状態と消灯状態とを繰り返すような被写体をイメージセンサで撮像した場合、被写体の明滅と露光のタイミングの関係により、フリッカ現象が起きる。フリッカ現象は光源が電源周波数に依存した周期で明滅している場合に発生することが多く、特にLED光源は応答速度が高速であるため、ある一定期間完全に消灯した状態が持続する。LEDを利用している信号機や道路標識などの撮像・認識用途で、このようなLEDの消灯と露光タイミングが同期してしまうと、長時間にわたりLED光源の像が得られないことが起こってしまっていた。
【０００３】
フリッカを抑制する技術としては、露光時間をフリッカ周期に合わせて撮像する手法があるが、日本のように商用電源50Hz帯／60Hz帯の地域が混在している場合に複数のフリッカ周波数に対応しようとすると、露光設定を変えながら高速撮像する必要があった。また、発光周期が長くDuty比が短いLED被写体を確実に捉えるため、露光時間を発光周期に合わせると照度によっては画素信号値が飽和レベルを超えてしまうことがあった。さらに、特許文献１では、被写体のフリッカ周期に対して撮像のタイミングをランダムにずらす手法もあるが、映像出力周期を一定に保つために、フレームメモリが必要であった。
【０００４】
そこで、特許文献２では、露光時間の和が被写体の消灯時間を上回るように複数回に分けて撮像し、取得した複数の画像の平均値または最大値を算出する手法が提案されている。この手法によれば、確実に被写体の像を捉えるとともに、画素が飽和することを抑制することができる。
【０００５】
ところで、特許文献３で提案されているように、長時間露光画像（長蓄）と短時間露光画像（短蓄）をライン単位でローリングさせながら画像を取得するイメージセンサの駆動方式を、特許文献２に記載の手法に応用することを考える。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１７２９３号公報
【特許文献２】特開２００７−１６１１８９号公報
【特許文献３】特開２００６−３３１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この手法により撮像した画像を平均化または最大値算出することで、被写体を確実に捉えることができる。しかしながら、この手法では、被写体の点灯時間が短い場合、露光時間を短くすることができず、被写体の明滅周期が長いほど露光時間が長くなり、飽和しやすい状態になっていた。
【０００８】
また、この手法では、高感度のイメージセンサやレンズF値が小さく画素信号が飽和しやすいため、単純に１フレームあたりに出力する画像の数が増加するため、フォーカルプレーン歪み（撮像した画像の歪み）が悪化することがあった。さらに、この手法では、複数のフリッカ周期に対しては、最適化することが困難であった。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、フリッカを抑制して、画像品質を向上することができるものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の撮像装置は、画素領域の画素の配列から、行単位でローリングさせながら異なる露光と読み出しのタイミングで連続的に撮像可能な駆動方式で、１フレーム期間中に複数枚の画像を撮像する撮像部と、画像をｎ行毎に間引いてグループ化し、グループ単位で露光と読出しのタイミングを制御する制御部とを備える。
【００１１】
前記撮像部は、露光時間の和が被写体の消灯時間を上回るように、１フレーム期間中に複数枚の画像を撮像することができる。
【００１２】
前記制御部は、１フレーム期間中に取得する複数枚の画像の露光と読み出しタイミングを独立に制御することができる。
【００１３】
前記制御部は、露光周期を第１の周波数に合わせた第１のグループと、露光周期を、前記第１の周波数とは異なる第２の周波数に合わせた第２のグループとにグループ化して、グループ単位で露光と読出しのタイミングを制御することができる。
【００１４】
前記撮像部により撮像された複数枚の画像から間引かれた行を補間する補間部と、前記補間部により行が補間された複数枚の画像を合成し、合成された画像を生成する合成部とをさらに備えることができる。
【００１５】
前記合成部により合成された画像を検波する検波部をさらに備え、前記制御部は、前記検波部による検波結果に基づいて、画像をｎ行毎に間引いてグループ化し、グループ単位で露光と読出しのタイミングを制御することができる。
【００１６】
本技術の一側面の撮像方法は、撮像装置が、画素領域の画素の配列から、行単位でローリングさせながら異なる露光と読み出しのタイミングで連続的に撮像可能な駆動方式で、１フレーム期間中に複数枚の画像を撮像し、画像をｎ行毎に間引いてグループ化し、グループ単位で露光と読出しのタイミングを制御する。
【００１７】
本技術の一側面においては、画素領域の画素の配列から、行単位でローリングさせながら異なる露光と読み出しのタイミングで連続的に撮像可能な駆動方式で、１フレーム期間中に複数枚の画像が撮像される。また、画像がｎ行毎に間引いてグループ化され、グループ単位で露光と読出しのタイミングが制御される。
【発明の効果】
【００１８】
本技術によれば、フリッカを抑制して、画像品質を向上することができる。
【００１９】
なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
【図面の簡単な説明】
【００２０】
【図１】被写体の明滅周期に合わせて３回に分けて撮像した場合の例を示す図である。
【図２】被写体の明滅を取り逃がさないように、露光時間を明滅周期に合わせ、１枚当たりの露光時間を等しくして、飽和の影響を抑えた場合の例を示す図である。
【図３】１フレームあたり長蓄、短蓄１、短蓄２の３回の露光を、１フレームあたり長蓄、短蓄１、短蓄２、短蓄３の４回の露光に増やした例を示す図である。
【図４】フリッカ周期と点灯時間の例を示す図である。
【図５】本技術の固体撮像装置の概略構成例を示すブロック図である。
【図６】本技術を適用する撮像装置の構成例を示すブロック図である。
【図７】本技術の蓄積と読み出しの単位およびタイミングについて説明する図である。
【図８】複数の蓄積開始リセットと読出しのタイミングの例を示す図である。
【図９】画像サイズ復元とフリッカ抑制のための信号処理を説明する図である。
【図１０】異なるフリッカ周期を有する複数のフリッカ被写体への対応について説明する図である。
【図１１】撮像装置の撮像処理の例を説明するフローチャートである。
【図１２】本技術を適用するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
【００２２】
＜駆動方式の例＞
特許文献３においては、長時間露光画像（長蓄）と短時間露光画像（短蓄）をライン単位でローリングさせながら取得するイメージセンサの駆動方式が提案されている。
【００２３】
この駆動方式は、ライン単位でローリングさせながら異なる露光と読み出しのタイミングで連続的に撮像可能な方式である。
【００２４】
この駆動方式を、上述した露光時間の和が被写体の消灯時間を上回るように複数回に分けて撮像し、取得した複数の画像の平均値または最大値を算出する特許文献２の手法に、応用することを考える。
【００２５】
すなわち、この駆動方式が用いられて、フリッカ周期と点灯時間に合わせた露光と読み出しのタイミングにて、１フレーム期間中に複数枚の画像が取得される。なお、その際、１フレーム中に取得する複数枚の画像の露光と読み出しタイミングは独立に制御可能である。
【００２６】
図１は、特許文献３の駆動方式により、被写体の明滅周期に合わせて３回に分けて撮像した場合の例を示す図である。図１の例においては、横軸が時間、縦軸が明るさを表している。１フレームセットにおいては、明るさのある点灯状態と、明るさのない消灯状態が示されており、矢印が、撮像タイミングを表している。
【００２７】
図１の矢印に示されるように、この手法によれば、１フレーム内で３回撮像されるので、少なくとも１回は、明るさのない消灯状態ではない点灯状態で撮像される画像が取得される。したがって、この手法により撮像された画像を平均化、または最大値算出することにより、被写体を確実に捉えることができる。
【００２８】
しかしながら、図１に示された手法では、図２に示されるように、被写体の点灯時間が短い場合には、露光時間を短くすることができず、被写体の明滅周期が長いほど露光時間が長くなり、画素が飽和しやすい状態になってしまう恐れがある。
【００２９】
図２は、被写体の明滅を取り逃がさないように、露光時間を明滅周期に合わせ、１枚当たりの露光時間を等しくして、飽和の影響を抑えた場合の例を示す図である。図２の上の表においては、横軸が時間、縦軸が明るさを示している。すなわち、図２の上の表は、明滅周期（点灯時間）を表している。図２の下の表においては、横軸が時間、縦軸が固体撮像装置におけるアクセス行（画素）を示している。すなわち、図２の下の表は、明滅周期に合わせた３回の露光（長畜、短畜１、短畜２）における固体撮像装置のアクセス行を表している。
【００３０】
図２の下の表において、それぞれの左側の小四角は、各画素についての蓄積開始リセットタイミングを示しており、それぞれの右側の小四角は、読み出しタイミングを示しており、左右の小四角の間は、蓄積時間を示している。なお、これらの表は、以降の図においても同様である。
【００３１】
この例の場合、被写体の明滅周期が長いと、１枚当たりの露光時間が長くなり、右側の出力画像に示されるように、飽和してしまい、白とび画像が得られてしまう恐れがある。また、明滅周期において点灯期間が短いと、露光時間をこれ以上短くすることが困難であった。
【００３２】
これに対して、図３に示された手法では、１フレームあたりに出力する画像枚数を増やすと１枚あたりの露光時間を短くすることができるため、飽和状態を軽減することができる。
【００３３】
図３の例においては、１フレームあたり長蓄、短蓄１、短蓄２の３回の露光を、１フレームあたり長蓄、短蓄１、短蓄２、短蓄３の４回の露光に増やした例が示されている。
【００３４】
図３の点線矢印に示されるように、フレーム数を増加させると、先頭行から最終行まで露光するタイミングがずれてしまうため、動く被写体のなどの像が歪んでしまう。このような歪みのことを、フォーカルプレーン歪みといい、この歪みが悪化してしまっていた。車載カメラのように動きの激しい被写体を捉えて認識処理を行うセンシング用途に対しては、撮像結果が歪んでしまうことで対象を正しく認識するのが困難であった。
【００３５】
また、図１に示された手法では、さらに、ある１つのフリッカ周期に合わせてしまうと、異なるフリッカ周期に対して最適化するのが困難であった。
【００３６】
例えば、図４Ａの例においては、図１に示された手法によりフリッカ抑制されて撮像可能な条件の被写体の明滅周期が示されている。図４Ｂの例においては、図４Ａの明滅周期と異なる明滅周期において、図４Ａの明滅周期でフリッカ抑制された例が示されている。図４Ｂの場合、フリッカ抑制の対象の明滅周期とは異なる明滅周期の被写体のため、消灯フレーム(NG)に示されるように取り逃がしが起こってしまう。
【００３７】
一方、図４Ｃの例においては、図４Ａの例と周期は同じであるが、図４Ａの例と点灯時間が異なる、すなわち、図４Ａの例より点灯時間が短い例が示されている。図４Ｃの場合も、図４Ａの例よりも短い点灯時間のため、消灯フレーム(NG)に示されるように取り逃がしが起こってしまう。
【００３８】
そこで、本技術においては、この駆動方式を用いて、フリッカ周期と点灯時間に合わせた露光と読み出しのタイミングにて、１フレーム期間中に複数枚の画像が取得される。その際に、画像がNライン毎に間引いてグループ化され、グループ単位で露光と読み出しのタイミングが制御される。
【００３９】
＜固体撮像装置の概略構成例＞
図５は、本技術の各実施の形態に適用されるCMOS（Complementary Metal Oxide Semiconductor）固体撮像装置の一例の概略構成例を示している。
【００４０】
図５に示されるように、固体撮像装置１（素子チップ）１は、半導体基板１１（例えばシリコン基板）に複数の光電変換素子を含む画素２が規則的に２次元的に配列された画素領域（いわゆる撮像領域）３と、周辺回路領域とを有して構成される。
【００４１】
画素２は、光電変換素子（例えば、PD(Photo Diode)）と、複数の画素トランジスタ（いわゆるMOSトランジスタ）を有してなる。複数の画素トランジスタは、例えば、転送トランジスタ、リセットトランジスタ、および増幅トランジスタの３つのトランジスタで構成することができ、さらに選択トランジスタを追加して４つのトランジスタで構成することもできる。
【００４２】
また、画素２は、画素共有構造とすることもできる。画素共有構造は、複数のフォトダイオード、複数の転送トランジスタ、共有される１つのフローティングディフュージョン、および、共有される１つずつの他の画素トランジスタから構成される。フォトダイオードは、光電変換素子である。
【００４３】
周辺回路領域は、垂直駆動回路４、カラム信号処理回路５、水平駆動回路６、出力回路７、および制御回路８から構成される。
【００４４】
制御回路８は、入力クロックや、動作モード等を指令するデータを受け取り、また、固体撮像装置１の内部情報等のデータを出力する。具体的には、制御回路８は、垂直同期信号、水平同期信号、およびマスタクロックに基づいて、垂直駆動回路４、カラム信号処理回路５、および水平駆動回路６の動作の基準となるクロック信号や制御信号を生成する。そして、制御回路８は、これらの信号を垂直駆動回路４、カラム信号処理回路５、および水平駆動回路６に入力する。
【００４５】
垂直駆動回路４は、例えばシフトレジスタによって構成され、画素駆動配線を選択し、選択された画素駆動配線に画素２を駆動するためのパルスを供給し、行単位で画素２を駆動する。具体的には、垂直駆動回路４は、画素領域３の各画素２を行単位で順次垂直方向に選択走査し、垂直信号線９を通して各画素２の光電変換素子において受光量に応じて生成した信号電荷に基づいた画素信号をカラム信号処理回路５に供給する。
【００４６】
カラム信号処理回路５は、画素２の例えば列毎に配置されており、１行分の画素２から出力される信号を画素列毎にノイズ除去等の信号処理を行う。具体的には、カラム信号処理回路５は、画素２固有の固定パターンノイズを除去するためのCDS（Correlated Double Sampling）や、信号増幅、A/D（Analog/Digital）変換等の信号処理を行う。カラム信号処理回路５の出力段には、水平選択スイッチ（図示せず）が水平信号線１０との間に接続されて設けられる。
【００４７】
水平駆動回路６は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路５の各々を順番に選択し、カラム信号処理回路５の各々から画素信号を水平信号線１０に出力させる。
【００４８】
出力回路７は、カラム信号処理回路５の各々から水平信号線１０を通して順次に供給される信号に対し、信号処理を行って出力する。出力回路７は、例えば、バッファリングだけを行う場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理等を行う場合もある。
【００４９】
入出力端子１２は、外部と信号のやりとりをするために設けられる。
【００５０】
＜本技術の撮像装置の構成例＞
図６は、本技術を適用する撮像装置の構成例を示すブロック図である。
【００５１】
図６の例において、撮像装置１００は、撮像部１１１、信号処理部１１２、表示部１１３、記録部１１４、認識処理部１１５、検波部１１６、設定部１１７、および操作部１１８により構成されている。
【００５２】
撮像部１１１は、例えば、図５の固体撮像装置１で構成される。撮像部１１１は、上述したように、ライン単位（行単位）でローリングさせながら異なる露光と読み出しのタイミングで連続的に撮像可能な駆動方式で、露光時間の和が被写体の消灯時間を上回るように、例えば、３回に分けて撮像を行う。詳しくは、後述されるが、その際、画像がｎライン毎に間引いてグループ化され、グループ単位で露光と読み出しのタイミングが制御される。これにより、複数の画像、例えば、第１群の３枚の画像および第２群の３枚の画像が得られる。
【００５３】
撮像部１１１から、撮像され、CDSや、信号増幅、A/D変換等の所定の信号処理がなされた複数の画像は、信号処理部１１２に入力される。
【００５４】
信号処理部１１２は、補間部１２１および合成部１２２を含むように構成される。補間部１２１は、撮像部１１１からの複数の画像の垂直方向の補間処理を行う。補間部１２１は、補間処理を行った複数の画像を、合成部１２２に出力する。合成部１２２は、複数の画像を合成し、合成した画像（すなわち、フリッカ抑制がなされた画像）を、表示部１１３、記録部１１４、認識処理部１１５、および検波部１１６の少なくとも１つに出力する。
【００５５】
表示部１１３は、LCDなどにより構成され、合成部１２２からの画像信号に対応する画像を表示する。記録部１１４は、合成部１２２からの画像信号を、必要に応じで符号化などを行い、図示せぬメモリやハードディスクなどの記録媒体に記録する。
【００５６】
認識処理部１１５は、合成部１２２からの画像信号に対して、例えば、車載の撮像装置であった場合など、自動運転などのために、例えば、信号機や車のテールランプやヘッドライトなどの認識処理を行う。検波部１１６は、合成部１２２からの画像信号を用いて、画面の平均的な明るさを検波し、検波した明るさ情報を、設定部１１７に供給する。検波部１１６は、例えば、明るすぎるようであれば、設定部１１７に対して、フィードバックをかける。
【００５７】
設定部１１７は、操作部１１８からの操作情報や検波部１１６からの明るさ情報に基づいて、あるいは、予め記憶されているプリセット値に基づいて、撮像部１１１（のレジスタ）に対して設定を行うことで、１フレーム期間中に取得する複数枚の画像の露光と読み出しタイミングを独立に制御し、また、画像をｎライン毎に間引いてグループ化し、グループ単位で露光と読み出しのタイミングを制御する。操作部１１８は、例えば、表示部１１３に積層されたタッチパネルやボタンなどからなり、ユーザの操作に対応する操作情報を、設定部１１７に供給する。
【００５８】
＜本技術の蓄積と読み出しの単位およびタイミング＞
次に、図７を参照して、本技術の蓄積と読み出しの単位およびタイミングについて説明する。
【００５９】
なお、図７の例においては、ベイヤー配列に対応させるべく、1/2間引きの例について示されているが、グループ化の方法はこの限りではなく、また、グループ数も限定されない。
【００６０】
図７の右側には、各グループ（第１群および第２群）に対して、リセット開始から第１蓄積、第２蓄積、第３蓄積を行い、画素信号で読み出した場合が示されている。なお、横軸の時間の分解能は、1H（１ライン）単位とされている。
【００６１】
すなわち、第１群として、上から０行目の画素がリセット後、蓄積されて、次いで、上から１行目の画素がリセット後、蓄積され、それぞれ順に読み出される。次に、上から４行目の画素がリセット後、蓄積されて、次いで、上から５行目の画素がリセット後、蓄積されて、それぞれ順に読み出される。
【００６２】
読みだされた後、上から８行目の画素がリセット後、蓄積されて、次いで、上から９行目の画素がリセット後、蓄積されて、それぞれ順に読み出される。そして、上から4n行目の画素がリセット後、蓄積されて、次いで、上から4n+1行目の画素がリセット後、蓄積されて、それぞれ順に読み出される、という処理がラインの最後まで繰り返される。
【００６３】
一方、第１群の上から４行目の画素が読み出された後、並行して、第２群として、上から２行目の画素がリセット後、蓄積されて、次いで、上から３行目の画素がリセット後、蓄積されて、それぞれ順に読み出される。次に、上から６行目の画素がリセット後、蓄積されて、次いで、上から７行目の画素がリセット後、蓄積されて、それぞれ順に読み出される。
【００６４】
読み出された後、上から１０行目の画素がリセット後、蓄積されて、次いで、上から１１行目の画素がリセット後、蓄積されて、それぞれ順に読み出される。そして、上から4n+2行目の画素がリセット後、蓄積されて、上から4n+3行目の画素がリセット後、蓄積されて、それぞれ順に読み出される、という処理がラインの最後まで繰り返される。
【００６５】
以上の処理が、第１群、第２群の２つのグループに対する第１蓄積期間の処理であり、この処理が、さらに、第２蓄積期間および第３蓄積期間の２回繰り返され、最終的に、２グループ×３蓄積＝６枚の画像が出力され、出力される各画像は、垂直方向に1/2間引かれるが、飽和しにくい画像になる。
【００６６】
なお、各蓄積区間と読み出しのタイミングは独立して設定可能とする。ただし、複数の読み出しのタイミングが同時に発生しないように設定される。
【００６７】
すなわち、図８に示されるように、P枠部分は、すべての読み出しがオーバラップするため、衝突しないような読み出しのタイミングを設定する必要がある。読み出しタイミングの設定制約は、１ラインを時間の分解能として、以下のように計算可能である。
【００６８】
M ＝ (グループ数)×(蓄積数)
第1群・第1読み出し＝  MN＋Offset0ライン目
第2群・第1読み出し＝  MN＋Offset1ライン目
第1群・第2読み出し＝  MN＋Offset2ライン目
第2群・第2読み出し＝  MN＋Offset3ライン目
第1群・第3読み出し＝  MN＋Offset4ライン目
第2群・第3読み出し＝  MN＋Offset5ライン目
ただし、Nは自然数。
ここで、Offset0乃至5は、0乃至5の順列（6!通り）のうちの１つとする。
【００６９】
したがって、本技術によれば、１枚当たりの蓄積期間を従来よりも短く設定することができるため、出力画像が飽和しにくくなる。
【００７０】
本技術においては、出力画像データの量は、従来と同等なので、フォーカルプレーン歪みは、従来と同様である。また、本技術においては、各グループの各蓄積時間と読み出しタイミングを任意のタイミングに設定することができるので、複数の周波数のフリッカ光源に対して対応することが可能である。
【００７１】
次に、図９を参照して、画像サイズ復元とフリッカ抑制のための信号処理について説明する。
【００７２】
撮像部１１１から出力される画像（６枚）は、フリッカが発生しているフリッカ発生画像であり、垂直方向に間引かれた画像であるので、まずは、補間部１２１において元の画像サイズに戻すための垂直方向補間処理が行われる。補間部１２１においては、例えば、補間処理として、LPFに代表される方法が適用される。
【００７３】
次に、合成部１２２においては、フリッカを抑制するために、得られた画像(図９の場合、６枚)が合成される。合成部１２２においては、例えば、合成処理として、平均値や最大値に代表される方法が適用される。
【００７４】
以上の処理により、全画素に相当する１枚のフリッカ抑制画像が生成される。
【００７５】
図１０は、異なるフリッカ周期を有する複数のフリッカ被写体への対応について説明する図である。図１０においては、100Hzと300Hzのフリッカを捉える場合の例が示されている。これまでにおいては、枠Ａに示される100Hz用に合わせた露光時間では、300Hzのフリッカ被写体を取り逃し、枠Ｂに示される300Hz用に合わせた露光時間では、100Hzのフリッカ被写体を取り逃していた。
【００７６】
そこで、上述したように、4n,4n+1行目を第１群、4n+2,4n+3行目が第２群として分けられる。そして、設定部１１７は、100Hzを第１群で捉えるように、第１群の第１蓄積乃至第３蓄積の露光周期を10msに合わせる。他方、設定部１１７は、300Hzを第２群で捉えるように、第２群の第１蓄積乃至第３蓄積の露光周期を3.3msに合わせる。
【００７７】
そして、補間部１２１は、第１群から出力される３枚の画像に対して、垂直方向補間処理を行い、合成部１２２は、その３枚の画像を合成する。これにより、100Hzのフリッカを抑制された画像が出力される。また、補間部１２１は、第２群から出力される３枚の画像に対して、垂直方向補間処理を行い、合成部１２２は、その３枚の画像を合成する。これにより、300Hzのフリッカを抑制された画像が出力される。すなわち、この場合、２枚のフリッカ抑制画像が生成される。
【００７８】
以上のようにして、異なるフリッカ周期を有する複数のフリッカ被写体にも対応することができる。
【００７９】
次に、図１１のフローチャートを参照して、撮像装置１００の撮像処理について説明する。
【００８０】
ステップＳ１１１において、設定部１１７は、操作部１１８からの操作情報や検波部１１６からの明るさ情報に基づいて、あるいは、予め記憶されているプリセット値に基づいて、撮像部１１１（のレジスタ）に対して設定を行う。
【００８１】
ステップＳ１１２において、撮像部１１１は、ライン単位でローリングさせながら異なる露光と読み出しのタイミングで連続的に撮像可能な駆動方式で、露光時間の和が被写体の消灯時間を上回るように、例えば、３回に分けて撮像を行う。その際、上述したように、画像は、nライン毎に間引いてグループ化され、グループ単位で露光と読み出しのタイミングが制御される。これにより、複数の画像、例えば、第１群の３枚の画像および第２群の３枚の画像が得られる。
【００８２】
ステップＳ１１３において、補間部１２１は、元の画像サイズに戻すための垂直方向補間処理を行う。ステップＳ１１４において、合成部１２２は、フリッカを抑制するために、得られた画像(図９の場合、６枚)を合成する。これにより、全画素に相当する１枚のフリッカ抑制画像が生成される。
【００８３】
合成部１２２は、複数の画像を合成し、合成した画像（すなわち、フリッカ抑制がなされた画像）を、表示部１１３、記録部１１４、認識処理部１１５、および検波部１１６の少なくとも１つに出力する。
【００８４】
ステップＳ１１５において、検波部１１６は、合成部１２２からの画像信号を用いて、画面の平均的な明るさを検波し、検波した明るさ情報を、設定部１１７に供給する。検波部１１６からの情報に基づいて、設定部１１７は、ステップＳ１１６において、フィードバックをかけるか否かを判定する。
【００８５】
ステップＳ１１６において、フィードバックをかけると判定された場合、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返される。ステップＳ１１６において、フィードバックをかけないと判定された場合、処理は、ステップＳ１１７に進む。
【００８６】
ステップＳ１１７において、設定部１１７は、処理を終了するか否かを判定する。ステップＳ１１７において、処理を終了しないと判定されたばあい、処理は、ステップＳ１１２に戻り、それ以降の処理が繰り返される。ステップＳ１１７において、処理を終了すると判定された場合、撮像装置１００の撮像処理は、終了する。
【００８７】
以上のように、本技術によれば、１枚当たりの蓄積期間を短くすることができる。例えば、フリッカ周期に合わせて３枚露光するよりも２グループにわけて（間引いて）６枚露光する方が飽和させにくい。したがって、より飽和させにくい状態で、被写体の明滅周期に合わせた露光が可能となる。
【００８８】
また、本技術によれば、フォーカルプレーン歪みを悪化させない。
【００８９】
さらに、本技術によれば、１フレーム期間に独立した複数のグループの露光期間を設定することができるので、複数の明滅周期、点灯期間を有する被写体のフリッカに対応することが可能となる。
【００９０】
なお、以上においては、本技術を、CMOS固体撮像装置に適用した構成について説明してきたが、CCD（Charge Coupled Device）固体撮像装置といった固体撮像装置に適用するようにしてもよい。
【００９１】
また、本技術は、固体撮像装置に適用されるが、撮像装置とは、車載用や監視用のカメラシステムや、デジタルスチルカメラやデジタルビデオカメラ等のカメラシステムや、携帯電話機等の撮像機能を有する電子機器のことをいう。なお、電子機器に搭載されるモジュール状の形態、すなわちカメラモジュールを撮像装置とする場合もある。
【００９２】
＜パーソナルコンピュータ＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【００９３】
図１２は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
【００９４】
パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【００９５】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
【００９６】
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【００９７】
以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
【００９８】
コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００９９】
コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０１００】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
【０１０１】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０２】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１０３】
なお、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１０４】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１０５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０６】
なお、本技術は以下のような構成も取ることができる。
（１）  画素領域の画素の配列から、行単位でローリングさせながら異なる露光と読み出しのタイミングで連続的に撮像可能な駆動方式で、１フレーム期間中に複数枚の画像を撮像する撮像部と、
画像をｎ行毎に間引いてグループ化し、グループ単位で露光と読出しのタイミングを制御する制御部と
を備える撮像装置。
（２）  前記撮像部は、露光時間の和が被写体の消灯時間を上回るように、１フレーム期間中に複数枚の画像を撮像する
前記（１）に記載の撮像装置。
（３）  前記制御部は、１フレーム期間中に取得する複数枚の画像の露光と読み出しタイミングを独立に制御する
前記（１）または（２）に記載の撮像装置。
（４）  前記制御部は、露光周期を第１の周波数に合わせた第１のグループと、露光周期を、前記第１の周波数とは異なる第２の周波数に合わせた第２のグループとにグループ化して、グループ単位で露光と読出しのタイミングを制御する
前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）  前記撮像部により撮像された複数枚の画像から間引かれた行を補間する補間部と、
前記補間部により行が補間された複数枚の画像を合成し、合成された画像を生成する合成部と
をさらに備える前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）  前記合成部により合成された画像を検波する検波部を
さらに備え、
前記制御部は、前記検波部による検波結果に基づいて、画像をｎ行毎に間引いてグループ化し、グループ単位で露光と読出しのタイミングを制御する
前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）  撮像装置が、
画素領域の画素の配列から、行単位でローリングさせながら異なる露光と読み出しのタイミングで連続的に撮像可能な駆動方式で、１フレーム期間中に複数枚の画像を撮像し、
画像をｎ行毎に間引いてグループ化し、グループ単位で露光と読出しのタイミングを制御する
撮像方法。
【符号の説明】
【０１０７】
１  固体撮像装置，  ２  画素，  ３  画素領域，  １００  撮像装置，  １１１  撮像部，  １１２  信号処理部，  １１３  表示部，  １１４  記録部，  １１５  認識処理部，  １１６  検波部，  １１７  設定部，  １１８  操作部，  １２１  補間部，  １２２  合成部
【図１】
2017112409.tif 000003
【図２】
2017112409.tif 000004
【図３】
2017112409.tif 000005
【図４】
2017112409.tif 000006
【図５】
2017112409.tif 000007
【図６】
2017112409.tif 000008
【図７】
2017112409.tif 000009
【図８】
2017112409.tif 000010
【図９】
2017112409.tif 000011
【図１０】
2017112409.tif 000012
【図１１】
2017112409.tif 000013
【図１２】
2017112409.tif 000014