(57)【要約】【課題】フリッカー光源下での撮像において、画像に現れるフリッカーの影響を軽減することが出来る撮像装置を提供する。【解決手段】複数の画素が２次元的に配置され、異なる領域の画素において時間的に並行して異なる露光時間での露光を行うことが可能な撮像素子と、フリッカーを検知する検知部と、検知部により検知されたフリッカーの周期よりも短いフレームレートで撮像を行う場合に、フレームレートにおける１フレーム内で設定できる最大の露光時間を第１の露光時間として撮像素子の第１の領域で第１の画像を撮像するとともに、第１の露光時間の整数倍の時間とフリッカーの１周期の時間との差分を第２の露光時間として撮像素子の第１の領域とは異なる第２の領域で第２の画像を撮像するように撮像素子を制御する制御部とを備える。【選択図】図６
2020036128.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が２次元的に配置され、異なる領域の画素において時間的に並行して異なる露光時間での露光を行うことが可能な撮像素子と、
フリッカーを検知する検知手段と、
前記検知手段により検知されたフリッカーの周期よりも短いフレームレートで撮像を行う場合に、前記フレームレートにおける１フレーム内で設定できる最大の露光時間を第１の露光時間として前記撮像素子の第１の領域で第１の画像を撮像するとともに、前記第１の露光時間の整数倍の時間と前記フリッカーの１周期の時間との差分を第２の露光時間として前記撮像素子の前記第１の領域とは異なる第２の領域で第２の画像を撮像するように前記撮像素子を制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第１の露光時間の整数倍の時間と前記第２の露光時間とを加えた時間が、前記フリッカーの１周期の時間と一致するように、前記第１の露光時間と前記第２の露光時間を設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の画像と前記第２の画像を合成して１フレームの画像とする合成手段をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記合成手段は、前記フリッカーの１周期の時間が前記第１の露光時間の整数倍である場合は、異なるフレームにおける前記第１の画像を合成することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記フリッカーの周期よりも長いフレームレートで撮像を行う場合は、前記合成手段は、画像の合成を行わないことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記第１の領域は、前記撮像素子の１行おきの行を合わせた領域であり、前記第２の領域は、前記撮像素子の前記第１の領域以外の１行おきの行を合わせた領域であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記フリッカーの周期よりも長いフレームレートで撮像を行う場合は、前記制御手段は、前記第１の露光時間を前記フリッカーの１周期の整数倍の時間に一致させることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記フリッカーの周期よりも長いフレームレートで撮像を行う場合は、前記制御手段は、前記第２の露光時間を０とすることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記第１の露光時間と前記第２の露光時間は、連続した露光時間であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
複数の画素が２次元的に配置され、異なる領域の画素において時間的に並行して異なる露光時間での露光を行うことが可能な撮像素子を備える撮像装置を制御する方法であって、
フリッカーを検知する検知工程と、
前記検知工程において検知されたフリッカーの周期よりも短いフレームレートで撮像を行う場合に、前記フレームレートにおける１フレーム内で設定できる最大の露光時間を第１の露光時間として前記撮像素子の第１の領域で第１の画像を撮像するとともに、前記第１の露光時間の整数倍の時間と前記フリッカーの１周期の時間との差分を第２の露光時間として前記撮像素子の前記第１の領域とは異なる第２の領域で第２の画像を撮像するように前記撮像素子を制御する制御工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１１】
請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置において、画像に現れるフリッカーの影響を軽減する技術に関する。
【背景技術】
【０００２】
撮像素子であるＣＭＯＳセンサの電子シャッターの方式には、グローバルシャッター方式とスリットローリングシャッター方式とがある。これらの各方式において、フリッカー光源下で撮影を行うと、前者の方式では、１回の撮像毎に明るさが変化する画像（面フリッカーと呼ぶ）となり、後者の方式ではライン毎に明るさが変化する画像（ラインフリッカーと呼ぶ）となる。どちらの場合でも、適正な安定した明るさの画像が得られないという問題が発生する。
【０００３】
シャッター方式によって発生する適正露出からの差分を、画像処理によって補正する技術は既に知られている。例えば、特許文献１には、スリットローリングシャッター方式によって発生したラインフリッカーの逆位相を補正係数として、画像処理を行う技術が記載されている。
【０００４】
また、近年ＣＭＯＳセンサの中には、所謂マルチストリーム出力と言われる、センサのライン単位（領域ごと）で独立して読み出しタイミングを変更し、フレームレートや露出の異なる画像を並列して出力できるものがある。特許文献２には、このマルチストリーム出力で得られた二枚の画像を合成してダイナミックレンジの広い画像を作成する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１６００９０号公報
【特許文献２】特許第６０７０５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
フリッカー光源下での画像の明るさの補正方法に関して、特許文献１では、画像の行単位の積分値をもとにラインフリッカーの逆位相を算出している。そのため、この補正方法は、画面全体にラインフリッカーが現れている場合には有効であるが、画面の一部分にしかフリッカーが発生していない場合は、逆に、フリッカーが発生していなかった部分に対して過補正になってしまう。この場合、見えていなかったラインフリッカーが浮き出て見えてしまうこともある。
【０００７】
また、フリッカーの影響を軽減する方法として、撮像の段階で撮像素子の蓄積時間をフリッカー周期の整数倍の時間に設定して、画像内及び画像間の露出差を抑制する技術が知られている。しかし、この方法は、１フレームの時間よりもフリッカーの１周期の時間の方が長い場合には、用いることが出来ない。
【０００８】
本発明は上述した課題に鑑みてなされたものであり、その目的は、フリッカー光源下での撮像において、画像に現れるフリッカーの影響を軽減することが出来る撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明に係わる撮像装置は、複数の画素が２次元的に配置され、異なる領域の画素において時間的に並行して異なる露光時間での露光を行うことが可能な撮像素子と、フリッカーを検知する検知手段と、前記検知手段により検知されたフリッカーの周期よりも短いフレームレートで撮像を行う場合に、前記フレームレートにおける１フレーム内で設定できる最大の露光時間を第１の露光時間として前記撮像素子の第１の領域で第１の画像を撮像するとともに、前記第１の露光時間の整数倍の時間と前記フリッカーの１周期の時間との差分を第２の露光時間として前記撮像素子の前記第１の領域とは異なる第２の領域で第２の画像を撮像するように前記撮像素子を制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、フリッカー光源下での撮像において、画像に現れるフリッカーの影響を軽減することが出来る撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の撮像装置の一実施形態であるデジタルカメラの構成を示すブロック図。
【図２】一実施形態のデジタルカメラの外観図。
【図３】一実施形態における撮像素子の構成を示す図。
【図４】一実施形態における動画撮影の開始から終了までのフローチャート。
【図５】一実施形態における第２の露光時間を決定する動作を示すフローチャート。
【図６】一実施形態における第１の画像と第２の画像の合成処理の組み合わせを示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。
【００１３】
図１は、本発明の撮像装置の一実施形態であるデジタルカメラ（以下、単にカメラと称す）１の構成を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１４】
図１において、カメラ１は、カメラ本体１００とレンズユニット２００とを備えて構成されている。レンズユニット２００はカメラ本体１００に対して着脱自在である。以下、図１を参照して、カメラ本体１００にレンズユニット２００が接続された（取り付けられた）状態のカメラ１の構成について説明する。なお、カメラ１としては、カメラ本体１００とレンズユニット２００とが一体的に設けられている構成であってもよい。
【００１５】
図１において、カメラ制御部１０１は、カメラ１の動作を統括的に制御するカメラ制御手段であって、内部に制御用のマイクロプロセッサ（コンピュータ）としてカメラＣＰＵを備えている。また、カメラ制御部１０１は、内部に時間計測が可能な内蔵タイマー１０１ａを備えている。内蔵タイマー１０１ａは所謂リアルタイムクロックであって、後述のメモリ１０２に予め格納されたタイマー精度と、カメラ初期設定時に設定されたタイムゾーンなどの情報とに基づいて、各動作における時間計測を実行する。なお、カメラ制御部１０１は、後述するメモリ１０２に記憶されたコンピュータ制御プログラムに基づき後述の各種制御や処理を実行する。
【００１６】
メモリ１０２は、カメラ１の動作に関わるデータやカメラ１を用いて取得した種々のデータを記憶可能な記憶媒体である。本実施形態のメモリ１０２は、不揮発性メモリとしてＲＯＭ領域、および揮発性メモリとしてＲＡＭ領域をそれぞれ備えている。
【００１７】
レンズ制御部２０１は、レンズユニット２００の動作を統括的に制御するレンズ制御手段であって、内部にレンズ制御用のマイクロプロセッサ（コンピュータ）としてレンズＣＰＵを備えている。カメラ本体１００にレンズユニット２００が装着されている状態で、レンズ制御部２０１は図１に図示するインターフェース（ＩＦ）を介してカメラ本体１００側と相互に通信可能である。撮像レンズ群２０２は、シフトレンズやズームレンズ、フォーカスレンズなどの複数のレンズを含むレンズ群であって、被写体の光学像に対応した光束をカメラ本体１００の内部へと導く光学部材である。絞り２０３は、撮像レンズ群２０２を介して入射した光束に対応する光量を調節するための光量調節部材である。
【００１８】
撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の電荷蓄積型の固体撮像素子を採用した撮像手段である。撮像素子１０３は、撮像素子１０３の撮像面に結像した被写体像を光電変換して、アナログ画像信号を出力する。
【００１９】
シャッター１０４は、撮像素子１０３に入射する光束を遮蔽可能な遮蔽部材であって、入射した光束を遮蔽せずに撮像素子１０３に導く開放状態と、入射した光を遮蔽する遮蔽状態とに遷移可能である。
【００２０】
Ａ／Ｄ変換器１０５は、撮像素子１０３から出力されるアナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換手段である。画像処理部１０６は、デジタル画像データに対して所定の画素補間処理、縮小処理などのリサイズ処理や、色変換処理、飽和画素や黒潰れ画素などの画素データ数の演算処理などを行う画像処理手段である。
【００２１】
Ｄ／Ａ変換器１０８は、デジタル画像データを表示用のアナログ画像信号に変換するＤ／Ａ変換手段である。メモリ制御部１０７は、Ａ／Ｄ変換器１０５、画像処理部１０６、Ｄ／Ａ変換器１０８などの各部への画像データの入出力を制御する記録制御手段である。なお、本実施形態に係るカメラ１では、撮像手段として撮像素子１０３を含む構成であるが、例えば、Ａ／Ｄ変換器１０５、画像処理部１０６、Ｄ／Ａ変換器１０８などを含めた構成を撮像手段としてもよい。
【００２２】
表示部１０９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）などで構成された表示手段であって、表示用のアナログ画像信号を表示できる。なお、表示部１０９は、撮像素子１０３を用いて取得した画像データを逐次表示する所謂ライブビュー表示（以下、ＬＶ表示と称す）が可能である。なお、表示部１０９には、取得した画像データ以外の種々の情報を表示可能である。
【００２３】
タイミングジェネレータ（以下、ＴＧと称す）１１０は、カメラ１の各動作に関わるタイミングをカメラ１の各部に向けて発するタイミング発生手段である。例えば、ＴＧ１１０は、撮像素子１０３における電荷蓄積やフレームレートの変更、シャッター１０４の状態変更など、種々の動作に関するタイミングを発生することができる。
【００２４】
レリーズボタン１１１は、撮像準備動作および撮像動作の開始を指示する撮像指示手段である。本実施形態に係るカメラ１では、ユーザが例えばレリーズボタン１１１を半押し操作して、スイッチＳＷ１をＯＮ状態にすることで、撮像準備動作の開始が指示され、後述するフォーカス制御や測光演算などが実行される。また、ユーザがレリーズボタン１１１を全押し操作して、スイッチＳＷ２をＯＮ状態にすることで、撮像動作の開始が指示され、被写体を撮像して静止画像および動画像の取得を完了するまでの一連の処理が実行される。
【００２５】
操作部１１２は、ユーザの手動操作に応じた各種の動作指示をカメラ制御部１０１へと入力する操作手段である。図２は、本実施形態に係るカメラ１の外観図（背面図）である。図２に示される破線部分は、操作部１１２に含まれる第１の操作部１１２ａおよび第２の操作部１１２ｂをそれぞれ示している。第１の操作部１１２ａは、撮像に係る種々の動作を指示する方向指示ボタンや表示部１０９でのＬＶ表示の実行および終了を指示するＬＶボタンなどを備えている。第２の操作部１１２ｂは、電源スイッチや撮像モードを設定するモードダイヤルなどを備えている。なお、表示部１０９として静電容量式のタッチパネルなどを採用して、表示部１０９が上述した各操作入力が可能な操作手段として機能するように構成してもよい。表示制御部１１３は、表示部１０９における画像表示を制御する表示制御手段である。表示制御部１１３は、カメラ制御部１０１からの指示に応じて表示部１０９に表示する画像データの選択や、表示部１０９のオン・オフ（表示・非表示）を設定可能である。
【００２６】
焦点検出回路１１４は、フォーカスセンサ（不図示）を備え、レンズユニット２００側から入射した光束に対応する光学像の合焦状態を検出する焦点検出手段である。焦点検出回路１１４は、焦点検出結果に基づいて、カメラ１から所定の被写体までの距離情報を算出できる。焦点検出回路１１４の検出結果は、レンズユニット２００が備えるフォーカスレンズ（不図示）のレンズ位置の制御（フォーカス制御）に用いられる。なお、撮像レンズ群２０２を介して入射した光束は、ミラー（不図示）によって撮像素子１０３側およびフォーカスセンサ側へと導かれる。また、本実施形態に係るカメラ１では、位相差検出方式を用いて焦点検出回路１１４の出力に基づきフォーカス制御を実行する構成であるが、画像データのコントラスト情報に基づくコントラスト検出方式を用いる構成であってもよい。また、本実施形態のカメラ１は、撮像素子１０３と別体のフォーカスセンサを備える構成であるが、フォーカスセンサを備えることなく、撮像素子１０３に含まれる焦点検出が可能な画素から出力されるデータに基づいて焦点検出を実行する構成でもよい。
【００２７】
測光回路１１５は、測光センサ（不図示）を備え、レンズユニット２００側から入射した光束に対応する測光値を演算する測光手段である。測光回路１１５の測光結果は、カメラ制御部１０１に出力され、露出制御に用いられる。なお、測光回路１１５は、撮像素子１０３の出力に基づいて測光演算を実行する構成でもよい。
【００２８】
フリッカー検知部１１６は、撮像素子１０３で蓄積された撮像画像とその前後の撮像画像を比較して、明暗の規則性から照明光のフリッカーの周期を検知する。合成処理部１１７は、複数枚の画像の合成画像を生成する画像処理部である。
【００２９】
外部記録媒体３００は、カメラ本体１００に対して着脱可能なメモリーカードやハードディスクなどの記録媒体であって、例えば、被写体を撮像することで取得した画像を記録することができる。なお、本実施形態の外部記録媒体３００は、カメラ本体１００に対して挿抜可能なメモリーカードを採用するが、これ限定されるものではなく、ＤＶＤ−ＲＷディスク等の光学ディスクやハードディスク等の磁気ディスクであってもよい。以上が、本実施形態のカメラの基本構成である。
【００３０】
図３は、本実施形態における撮像素子１０３の構成を示す図である。図３（ａ）は撮像素子１０３を光の入射する側の斜め上から見た図、図３（ｂ）は撮像素子１０３の概略ブロック構成を示す図である。
【００３１】
図３（ａ）に示すように、撮像素子１０３は、複数の画素３０１が２次元的に形成され光入射側に配された第１のチップ３０と、列走査回路３１３ａ，３１３ｂや行走査回路３１２などの画素駆動回路が形成された第２のチップ３１とが、積層されて構成されている。
【００３２】
図３（ｂ）に示すブロック構成において、撮像素子１０３は、画素３０１、垂直出力線３０２ａ，３０２ｂ、転送信号線３０３、リセット信号線３０４、行選択信号線３０５、カラムＡＤＣブロック３１１ａ，３１１ｂ、行走査回路３１２、列走査回路３１３ａ，３１３ｂ、タイミング制御回路３１４、水平信号線３１５ａ，３１５ｂを備える。さらに、撮像素子１０３は、切り替えスイッチ３１６、フレームメモリ３１７、素子内演算部３１８、パラレル・シリアル変換部（Ｐ／Ｓ変換部と表記）３１９を備える。
【００３３】
第１のチップ３０において、画素３０１はマトリクス状に配列されており、水平方向（行方向）において転送信号線３０３、リセット信号線３０４、および行選択信号線３０５に接続されている。また、垂直方向（列方向）において垂直出力線３０２ａまたは３０２ｂに接続されている。垂直出力線３０２ａ，３０２ｂの各々は、読み出し行単位で接続行が異なっており、例えば奇数行の画素が垂直出力線３０２ａに接続され、偶数行の画素が垂直出力線３０２ｂに接続されている。この場合、奇数行の画素は、垂直出力線３０２ａによって図中下側に転送され、カラムＡＤＣブロック３１１ａでデジタルデータに変換され、第１のチャンネルの出力として読み出される。また、偶数行の画素は、垂直出力線３０２ｂによって図中上側に転送され、カラムＡＤＣブロック３１１ｂでデジタルデータに変換され、第２のチャンネルの出力として読み出される。このような構成により、本実施形態では、奇数行の第１のチャンネルの画素と偶数行の第２のチャンネルの画素でそれぞれ並行して異なる露光時間で電荷を蓄積することが可能であり、それぞれ異なる画像信号を並行して出力することが可能である。
【００３４】
第２のチップ３１は、カラムＡＤＣブロック３１１ａ，３１１ｂ、行走査回路３１２、列走査回路３１３ａ，３１３ｂ、タイミング制御回路３１４等の画素駆動回路と、フレームメモリ３１７、素子内演算部３１８、Ｐ／Ｓ変換部３１９等の周辺回路とを備える。
【００３５】
このように、第１のチップ３０に画素３０１を配置し、第２のチップ３１に画素駆動回路や周辺回路等を配置することにより、撮像素子１０３の撮像層と回路層とで製造プロセスを分けることができる。これにより、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。
【００３６】
切り替えスイッチ３１６は前述した第１のチャンネルと第２のチャンネルを切り替えて、水平信号線３１５ａ，３１５ｂから出力される画像信号を順次フレームメモリ３１７へ選択的に出力するためのスイッチである。フレームメモリ３１７は出力された画像信号を一時的に記憶する。素子内演算部３１８は、撮像素子内で被写体距離の演算などを行う。素子内演算部３１８で処理された画像情報とフレームメモリ３１７に保存されているデータは、タイミング制御回路３１４が出力する信号のタイミングに合わせてＰ／Ｓ変換部３１９でパラレル・シリアル変換され、撮像素子１０３外へと送られる。
【００３７】
以下、図４、図５のフローチャートと図６の模式図を参照して、本実施形態の特徴的な部分である、第１の露光時間と第２の露光時間の決定から画像の合成までの流れについて説明する。
【００３８】
図４は、本実施形態における動画モードの動作の流れを示すフローチャートである。動画モードが開始されると、まずステップＳ４０１において、カメラ制御部１０１は、フリッカー検知部１１６を用いてフリッカーの検知を行う。検知が完了したら、ステップＳ４０２において、記録するフレームレートをユーザに設定させる。ここで設定されたフレームレートが、撮像のフレームレートとなり、動画を撮像するための撮像素子の駆動が変更される。
【００３９】
変更が完了すると、ステップＳ４０３において、カメラ制御部１０１は、ステップＳ４０２で設定されたフレームレートの１フレームの時間をＶＤＴｉｍｅとして保持し、ステップＳ４０４において、記録する動画の露光時間（以下、Ｔｖ）を決定する。露光時間Ｔｖは、ステップＳ４０１でフリッカーが検知されていれば、そのフリッカーの１周期の時間（以下、ＦＬＫＴｉｍｅ）を最短露光時間とし、ＦＬＫＴｉｍｅの整数倍の時間に設定する。
【００４０】
ステップＳ４０５では、カメラ制御部１０１は、ステップＳ４０３において確定したＶＤＴｉｍｅとステップＳ４０４で決定したＴｖの比較を行う。ＶＤＴｉｍｅの方が長いと判定された場合は、ステップＳ４０６に進み、第１の露光時間にはステップＳ４０４で決定したＴｖがそのまま設定され、第２の露光時間には０が設定される。
【００４１】
一方、ステップＳ４０５でＴｖの方が長いと判定された場合は、ステップＳ４０８で第１の露光時間にＶＤＴｉｍｅが設定される。第１の露光時間は、１フレーム内で設定可能な最大の露光時間であるが、実質的には、第１の露光時間は１フレームの時間と一致する。そして、ステップＳ４０９において、第２の露光時間が算出される。
【００４２】
ここで、ステップＳ４０９における動作の詳細について、図５を参照して説明する。図５は第２の露光時間の決定方法を示すフローチャートである。ステップＳ５０１において、カメラ制御部１０１は、演算用変数Ｎを０に初期化する。ステップＳ５０２において、演算用変数Ｎを１インクリメントし、ステップＳ５０３に進む。ステップＳ５０３では、カメラ制御部１０１は、ステップＳ４０４で決定したＴｖからＶＤＴｉｍｅにＮをかけた時間を減算し、Ｔｖ２とする。Ｔｖ２がまだ正の値であればステップＳ５０２に戻って同じ処理を繰り返す。ステップＳ５０４において、Ｔｖ２が初めてマイナスの値になった場合、露光時間Ｔｖは以下のように表される。
【００４３】
Ｔｖ＝｛ＶＤＴｉｍｅ×（Ｎ−１）＋α｝    （α＜ＶＤＴｉｍｅ）
そして、ステップＳ５０５において、カメラ制御部１０１は、第２の露光時間を（Ｔｖ２＋ＶＤＴｉｍｅ）と決定する。ここで、Ｔｖ２はマイナスの値であり、第２の露光時間である（Ｔｖ２＋ＶＤＴｉｍｅ）は、上記の式におけるαと一致する。
【００４４】
第２の露光時間が決定されると、図４のステップＳ４１０に戻り、カメラ制御部１０１は、第１の露光時間と第２の露光時間を撮像素子１０３に設定する。第１及び第２の露光時間が設定されると、カメラ制御部１０１は、例えば撮像素子１０３の奇数行からなる第１のチャンネル（第１の領域）に第１の露光時間での第１の撮像を行わせ、偶数行からなる第２のチャンネル（第１の領域以外の領域）に第２の露光時間での第２の撮像を行わせる。これら第１の撮像及び第２の撮像は時間的に連続して行われる。設定したそれぞれの露光時間での撮像が完了したら、ステップＳ４１１で画像が読み出され、ステップＳ４１２の合成処理に進む。なお、第１のチャンネルに第１の撮像を行わせ、第２のチャンネルに第２の撮像を行わせるのに限らず、第１のチャンネルに第２の撮像を行わせ、第２のチャンネルに第１の撮像を行わせてもかまわない。
【００４５】
ステップＳ４１２の合成処理については、図６の模式図を参照して説明する。図６は、動画のフレームレートが１２０ｆｐｓで、１００Ｈｚのフリッカーが発生していた場合の例を示している。この場合、Ｔｖはフリッカーの１周期時間と同じ１０ｍｓｅｃに設定されており、第１の露光時間は１２０ｆｐｓの１フレーム時間である８．３ｍｓｅｃ、第２の露光時間は１０ｍｓｅｃと８．３ｍｓｅｃの差分である１．７ｍｓｅｃに設定されている。ここで１００Ｈｚのフリッカーを消すために合成処理に用いる画像は、時間的に連続した露光を行い、かつ、露光時間の合計が１０ｍｓｅｃになる組み合わせとなる。そのため、図６で示す撮像素子１０３の第１のチャンネルで撮像される第１の画像ｂと第２のチャンネルで撮像される第２の画像ａとが合成される。この場合、第２の画像ａの露光時間が第１の画像ａの露光時間と重なるが、第１の画像ａと第２の画像ａは、撮像素子１０３の１行おきの異なる行（第１のチャンネル１と第２のチャンネル）で別々に撮像されるため、これらの画像を並行して出力することが出来る。同様に、第１の画像ｃと第２の画像ｂが合成され、第１の画像ｄと第２の画像ｃが合成される。画像の合成処理が完了したら、ステップＳ４１３に進み、合成した画像で動画を生成する。
【００４６】
以上のように、本実施形態によれば、フリッカーの周期と撮像のタイミングを予測して補正係数を演算する処理を必要とせずに、かつ、確実にフリッカーの影響を抑制した動画の撮影が可能になる。
【００４７】
なお、ステップＳ４０７においては、第２の画像の蓄積を行わないものとして第２の露光時間に０を設定しているが、任意の露光時間で第２の画像の蓄積を行い、ステップＳ４１２において合成処理を行わないようにしてもよい。
【００４８】
また、ステップＳ４１２の合成処理において、合成処理に用いる画像は、露光時間の合計が検知したフリッカーの１周期の時間と等しくなればよいので、露光時間が連続した第１の画像を複数枚合成に用いてもよい。その場合は、例えば、フリッカーの１周期が１フレーム時間の２倍である場合には、今回のフレームにおいて撮像した第１の画像と、１回前のフレームにおいて撮像した第１の画像を合成することとなる。また、フリッカーの１周期が１フレーム時間のＮ倍である場合には、今回のフレームにおいて撮像した第１の画像と、１回前のフレームまでの（Ｎ−１）回分のフレームで撮像した（Ｎ−１）枚の第１の画像を合成すればよい。また、同様に、フリッカーの１周期が１フレーム時間のＮ倍より長く（Ｎ＋１）倍より短い場合には、今回のフレームにおいて撮像した第１の画像と、１回前のフレームまでの（Ｎ−１）回分のフレームで撮像した（Ｎ−１）枚の第１の画像と、さらに第２の画像とを合成すればよい。
【００４９】
また、上記の実施形態の方法は、スリットローリングシャッター方式とグローバルシャッター方式のどちらの方式においても有効である。
【００５０】
また、前述した実施形態では、本発明を実施する撮像装置の一例としてカメラ本体１００とレンズユニット２００とがそれぞれ別個の、所謂レンズ交換式の撮像装置について説明したが、これに限定されるものではない。例えば、撮像装置本体とレンズユニットとが一体的に形成された、所謂レンズ一体型の撮像装置を、本発明を実施する撮像装置としてもよい。また、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラを想定して説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスやウェアラブル端末、セキュリティーカメラや車載カメラなど、デジタルカメラ以外の撮像装置や多様な用途を想定した撮像装置を採用する構成であってもよい。
【符号の説明】
【００５１】
１００：カメラ本体、１０１：カメラ制御部、１０２：メモリ、１０３：撮像素子、１０４：シャッター、１１６：フリッカー検知部、１１７：合成処理部、２００：レンズユニット、２０１：レンズ制御部
【図１】
2020036128.tif 000003
【図２】
2020036128.tif 000004
【図３】
2020036128.tif 000005
【図４】
2020036128.tif 000006
【図５】
2020036128.tif 000007
【図６】
2020036128.tif 000008