(57)【要約】【課題】フリッカー環境下におけるＨＤＲ撮影において、良好な画質のＨＤＲ画像を撮影することを可能にした撮像装置を提供する。【解決手段】被写体像を撮像する撮像部と、光源のフリッカーを検出する検出部と、検出部によりフリッカーが検出された場合に、撮像部に、フリッカーの影響を軽減する撮像動作を行わせる露光制御部と、撮像部に、露光時間を異ならせながら複数回の撮像動作を行わせることで合成用に露出の異なる複数の画像を取得する撮像制御部と、を備え、複数回の撮像動作において、露光制御部が撮像部にフリッカーの影響を軽減する撮像動作を行わせる場合に、撮像制御部は、複数回の撮像動作において、露出の異なる複数枚の画像のうち、露光時間の短い画像から順に、撮像部に撮像させる。【選択図】  図２
2020028080.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像手段と、
光源のフリッカーを検出する検出手段と、
前記検出手段によりフリッカーが検出された場合に、前記撮像手段に、フリッカーの影響を軽減する撮像動作を行わせる露光制御手段と、
前記撮像手段に、露光時間を異ならせながら複数回の撮像動作を行わせることで合成用に露出の異なる複数の画像を取得する撮像制御手段と、を備え、
前記複数回の撮像動作において、前記露光制御手段が前記撮像手段に前記フリッカーの影響を軽減する撮像動作を行わせる場合に、前記撮像制御手段は、前記複数回の撮像動作において、前記露出の異なる複数枚の画像のうち、露光時間の短い画像から順に、前記撮像手段に撮像させることを特徴とする撮像装置。
【請求項２】
前記露光制御手段は、フリッカーのピークタイミングに合わせて前記撮像手段に撮像動作を行わせることにより、フリッカーの影響を軽減することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、前記露出の異なる複数枚の画像のうちの１枚目の画像の撮像動作の前にフリッカーのピークタイミングの検出を行い、２枚目以降の画像の撮像動作の前にはフリッカーのピークタイミングの検出を行わないことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記検出手段は、前記露出の異なる複数枚の画像のうちの１枚目の画像の撮像動作の前にフリッカーのピークタイミングの検出を行い、２枚目以降の画像の撮像動作においては、撮像動作の露光時間が所定の時間よりも長い場合は、該撮像動作の前にフリッカーのピークタイミングの検出を行わないことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記撮像制御手段により取得された前記露出の異なる複数枚の画像を合成することにより、ＨＤＲ（ハイダイナミックレンジ）画像を生成する合成手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記露出の異なる複数枚の画像のうちの１枚目の画像を基準にして、２枚目以降の画像におけるフリッカーの影響を補正する補正手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像装置が固定された状態にあるか否かを判定する判定手段をさらに備え、該判定手段により前記撮像装置が固定された状態にあると判定された場合は、前記検出手段は、前記露出の異なる複数枚の画像のそれぞれの撮像動作の前に、フリッカーのピークタイミングの検出を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
被写体像を撮像する撮像手段を備える撮像装置を制御する方法であって、
光源のフリッカーを検出する検出工程と、
前記検出工程においてフリッカーが検出された場合に、前記撮像手段に、フリッカーの影響を軽減する撮像動作を行わせる露光制御工程と、
前記撮像手段に、露光時間を異ならせながら複数回の撮像動作を行わせることで合成用に露出の異なる複数の画像を取得する撮像制御工程と、を有し、
前記複数回の撮像動作において、前記露光制御工程で前記撮像手段に前記フリッカーの影響を軽減する撮像動作を行わせる場合に、前記撮像制御工程では、前記複数回の撮像動作において、前記露出の異なる複数枚の画像のうち、露光時間の短い画像から順に、前記撮像手段に撮像させることを特徴とする撮像装置の制御方法。
【請求項９】
請求項８に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項８に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における、フリッカーの影響を低減するための露出制御技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラの高感度化に伴い、フリッカーの発生する人工光源下でも高速シャッターが切れるようになってきている。室内スポーツの撮影などでブレのない写真を撮影できるメリットがある一方、フリッカー光源下での高速シャッター撮影では、フリッカーの影響により、フレーム毎、もしくは１フレーム内でも、画像の露出や色のムラが発生してしまうことがある。
【０００３】
このような問題に対しては、フリッカーを検出し、明暗の変化が最も少ない、フリッカーのピークタイミングで露光を行うことにより、フリッカーの影響を軽減するという技術も知られている。
【０００４】
一方で、近年のデジタルカメラでは、異なる露出で複数枚の画像を撮影し、それらを合成した画像を得る合成撮影機能が備えられているものも多い。例えば、昨今のカメラやスマートホンの多くに搭載されているＨＤＲ撮影といわれる機能は、撮像素子のダイナミックレンジに収まりきらないようなシーンで有効である。この機能は同一撮影視野で露出の異なる複数枚の画像を撮影し、それらの画像を合成することで実現される。
【０００５】
ここで、フリッカー環境下において、ＨＤＲ撮影のような合成撮影を行う場合を考える。単純に複数枚撮影を行い、合成したのでは、合成の元となる撮影画像にフリッカーの影響が出る可能性があるため、その場合は合成後の画像にもフリッカーの影響が出てしまう。
【０００６】
そこで、例えば特許文献１では、フリッカーレス撮影機能を設ける代わりに、ＨＤＲ撮影で得た複数種類の露光時間の撮影画像のそれぞれに対して、フリッカー成分が含まれているか否かを検出する手段を有する。この検出手段により検出したフリッカーの振幅成分に従って、ＨＤＲ画像を合成する際の合成のブレンド率を変更し、フリッカーの影響を低減したＨＤＲ画像を得る。
【０００７】
一方、特許文献２には、フリッカーレス撮影機能が搭載されている撮像装置を前提とし、ブラケッティング撮影及びマルチショット撮影時においては、フリッカーレス撮影の有効／無効の設定に関わらず、フリッカーレス撮影を有効にして撮影する方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１６−１４６５９２号公報
【特許文献２】特開２０１６−８６２０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述の特許文献１に開示された従来技術では、合成のブレンド率が変化することから、ブレンド率によっては、ＨＤＲ撮影のダイナミックレンジ拡大効果が低くなってしまうという問題がある。
【００１０】
また、上述の特許文献２に開示された従来技術では、フリッカーレス撮影を有効にして複数枚撮影を行う際の詳細なシーケンスについては言及されていないが、以下のような問題があると考えられる。例えば、フリッカーレス撮影で３枚の画像の撮影を行い、ＨＤＲ画像を得る際の最も基本的なシーケンスを考えると、図６のフローチャートのようになる。
【００１１】
図６において、ＨＤＲ撮影時は、基本的に適正露出の画像、露出オーバーの画像、露出アンダーの画像の３枚を撮影し、合成する。このときに撮影する３枚の画像の露光時間のうち、最も短いものをＳＨ１、２番目に短いものをＳＨ２、最長のものをＳＨ３とする。
【００１２】
ここで、ＨＤＲ撮影時の基本的な思想として、次のような順番で撮影を行うことが一般的である。まず、合成前でもそれなりの見栄えになると思われる適正露出の画像を、最もレリーズタイムラグの短い（撮影者の撮影意図にもっとも近いタイミングとなる）１枚目に撮影する。その後、２枚目に露出アンダーの画像、最後に露出オーバーの画像を撮影する。Ｓ２０３からの撮影では、この撮影順序に従って撮影を行う。
【００１３】
Ｓ２０３〜Ｓ２０５では、撮影開始前に、フリッカー検知用の画像を取得し、この画像からフリッカーを判定する。Ｓ２０６では、Ｓ２０３で取得したフリッカー検知用画像から、フリッカーのピークタイミングを算出し、算出したピークタイミングをＰ１とする。ピークタイミングＰ１を算出したら、Ｓ２０７では、ピークタイミングＰ１から、フリッカー周期の整数倍後の時間にあるピークタイミングＰ１＋ｎＴ（ｎ：任意の自然数、Ｔ：Ｓ２０５で判定したフリッカーの周期：１００Ｈｚ検知時は１０ｍｓ、２２０Ｈｚ検知時は８．３３ｍｓ）を待つ。そして、Ｓ２０８で露光を行う。これらの動作により、フリッカーレス撮影が実現される。この場合のシャッタースピードは、上述の思想から適正露出のもの、すなわち露光時間がＳＨ２となるように設定される。
【００１４】
次に、２枚目の露出アンダーの画像の撮影に進むが、ここで、フリッカーの周波数はある一定のゆらぎを持っている事実を考慮する。フリッカーの周波数は、一般には商用電源周波数の２倍の値になる。商用電源周波数は、ある精度内でゆらぐため、フリッカーの光源の周波数も、この影響を受けることになる。つまり、フリッカー周波数は、例えば１００Ｈｚではなく、ある瞬間には９９．９Ｈｚのような場合も存在する。ここでのフリッカーレス撮影では、検出したピークタイミングから、１０ｍｓ（１００Ｈｚフリッカーの周期）、もしくは８．３３ｍｓ（１２０Ｈｚフリッカーの周期）の整数倍のタイミングで露光を行う。そのため、商用電源の周波数が１００Ｈｚや１２０Ｈｚちょうどでない場合は、ピークタイミング検知から時間が経てば経つほど、露光タイミングは真のフリッカーピークタイミングからずれてしまう。ずれが軽微な範囲では問題ないが、ずれが大きくなるに従い、撮影画像にはフリッカーの影響が出てしまうため、ピークタイミングは頻繁に検出、更新しないと、精度良くフリッカーレス撮影を行うことができない。この問題を考慮し、図６では、フリッカー検出処理は撮影開始時の１回のみであるが、ピークタイミング演算用画像の取得とピークタイミング演算処理は、２枚目以降の撮影でもその都度行う。
【００１５】
すなわち、Ｓ２０９〜Ｓ２１２では、ピークタイミング演算用の画像を取得し直し、ここからピークタイミングＰ２を算出して、ピークタイミングＰ２＋ｎＴに同期して、シャッタースピードＳＨ１で露光を行う。同様に、Ｓ２１３〜Ｓ２１６では、ピークタイミング演算用の画像を取得し直し、ピークタイミングＰ３を検出し、ピークタイミングＰ３＋ｎＴに同期して、シャッタースピードＳＨ３で露光を行う。
【００１６】
このように、毎コマピークタイミング演算用画像の取得とピークタイミング演算処理を行いながら、ＳＨ２→ＳＨ１→ＳＨ３の順で撮影し、Ｓ２１７で画像合成処理を行って、最終的なＨＤＲ画像を得る。
【００１７】
以上が、フリッカーレス撮影で３枚の撮影を行い、ＨＤＲ画像を得る際の基本的なシーケンスである。この図６のシーケンスでは、毎コマ、露光の直前にピークタイミング演算用画像の取得とピークタイミング演算処理が入るため、コマ間の時間が長くなってしまう傾向がある。ＨＤＲ撮影の場合、最後に合成するので、合成の元となる３枚の画像は、本来は全く同じ撮影視野で撮影することが望ましい。しかし、コマ間の時間が長くなると、例えば手持ちで撮影するような場合は、手ブレなどにより、撮影視野のずれが大きくなりやすく、合成に悪影響を与えることも考えられる。
【００１８】
このように、従来のフリッカーを考慮したＨＤＲ撮影では、コマ間の撮影視野のずれが大きいという問題がある。
【００１９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、フリッカー環境下におけるＨＤＲ撮影において、良好な画質のＨＤＲ画像を撮影することを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【００２０】
本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、光源のフリッカーを検出する検出手段と、前記検出手段によりフリッカーが検出された場合に、前記撮像手段に、フリッカーの影響を軽減する撮像動作を行わせる露光制御手段と、前記撮像手段に、露光時間を異ならせながら複数回の撮像動作を行わせることで合成用に露出の異なる複数の画像を取得する撮像制御手段と、を備え、前記複数回の撮像動作において、前記露光制御手段が前記撮像手段に前記フリッカーの影響を軽減する撮像動作を行わせる場合に、前記撮像制御手段は、前記複数回の撮像動作において、前記露出の異なる複数枚の画像のうち、露光時間の短い画像から順に、前記撮像手段に撮像させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、フリッカー環境下におけるＨＤＲ撮影において、良好な画質のＨＤＲ画像を撮影することを可能にした撮像装置を提供することが出来る。
【図面の簡単な説明】
【００２２】
【図１】本発明の撮像装置の第１の実施形態であるレンズ交換式のデジタルカメラシステムの構成を示す図。
【図２】第１の実施形態のデジタルカメラシステムの動作を示すフローチャート。
【図３】フリッカーのピークタイミングからずれて露光した場合に、フリッカーが撮影画像に与える影響を説明する図。
【図４】第１の実施形態の変形例における画像補正を説明する図。
【図５】第２の実施形態のデジタルカメラシステムの動作を示すフローチャート。
【図６】フリッカーレス撮影で３枚の撮影を行い、ＨＤＲ画像を得る際の最も基本的なシーケンスを説明するフローチャート。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００２４】
＜第１の実施形態＞
図１は、本発明の撮像装置の第１の実施形態であるレンズ交換式のデジタルカメラシステム１００の構成を示す図である。このデジタルカメラシステムは、フリッカーの影響を低減したＨＤＲ（ハイダイナミックレンジ）撮影を可能とする機能を備える。
【００２５】
図１において、デジタルカメラシステム１００は、カメラ本体１０１と、カメラ本体１０１に着脱可能に装着される撮影レンズ１０２とから構成される。
【００２６】
まず、カメラ本体１０１の構成について説明する。カメラマイコン１０３は、マイクロコンピュータからなり、カメラ本体１０１の各部を制御する。具体的には、カメラマイコン１０３は、カメラ本体１０１内の各種部品の制御や、撮影レンズとの通信処理、フリッカーの検出処理、フリッカーのピークタイミングの演算処理、ＨＤＲ（ハイダイナミックレンジ）画像合成処理などを行う。
【００２７】
カメラマイコン１０３には、不揮発性メモリ（ＲＯＭ）１２０と、揮発性メモリ（ＲＡＭ）１２１が接続されている。カメラマイコン１０３は、不揮発性メモリ１２０から揮発性メモリ１２１に展開された制御プログラムを実行することにより、デジタルカメラシステム１００全体を制御する。
【００２８】
撮像素子１０４は、ＣＣＤやＣＭＯＳセンサ等からなり、赤外カットフィルタやローパスフィルタ等を含む。撮像素子１０４には、撮影レンズ１０２によって被写体像が結像される。シャッター１０５は、撮像素子１０４の露光量を制御する。シャッター１０５をフリッカーのピークタイミングに同期して走行させることにより、フリッカーレス撮影を行うことが可能となる。
【００２９】
ディスプレイユニット１０６は、例えばＴＦＴ液晶パネルなどで構成される。ディスプレイユニット１０６は、フレーミング時は撮像素子１０４で取得した画像や、各種の撮影設定情報等をリアルタイムに表示し、撮影後はユーザーの操作に応じて撮影した画像をユーザーが確認できるように表示する。
【００３０】
加速度センサ１１１は、カメラ本体１０１に発生した振動を検出する。加速度センサ１１１の出力が変動している時は、振動が発生しており、出力変動がなければ、振動は発生しておらずカメラ本体１０１は安定した状態（例えば三脚に固定、もしくは机の上などに置かれた状態）であると判定される。
【００３１】
次に撮影レンズ１０２の構成について説明する。マウント接点群１０７は、電気接点群であり、カメラ本体１０１と撮影レンズ１０２を電気的に接続する。ＬＰＵ１０８は、マイクロコンピュータからなり、撮影レンズ１０２の各部を制御する。具体的には、撮影レンズ１０２内の各種部品の制御や、カメラ本体１０１との通信処理を行う。被写体に焦点を合わせるためのフォーカシングレンズ１０９、光量を調節するための絞り１１０は、それぞれ、カメラ本体１０１からの指示に基づいて、ＬＰＵ１０８が制御する。
【００３２】
次に、図２は、本実施形態におけるデジタルカメラシステム１００の動作を示すフローチャートである。このフローチャートの動作は、カメラマイコン１０３が不揮発性メモリ１２０に記憶された制御プログラムを実行することにより実施される。
【００３３】
図２において、Ｓ１０１でプログラムがスタートすると、まずＳ１０２では、カメラマイコン１０３は、ＡＦ／ＡＥ（オートフォーカス／自動露出制御）処理を行う。特にＡＥ処理では、撮影視野内を細かく分割して測光し、ＨＤＲ撮影のための３枚の画像の撮影を、それぞれどのような露出条件で撮影するか（複数回の撮像を行う撮像制御）を計算する。露出条件のうち、絞り値を変えて複数枚撮影すると、被写界深度が画像毎に変わってしまい、また、ＩＳＯ感度を変えて複数枚撮影すると、ノイズ感が画像毎に変わってしまう。そのため、合成後のＨＤＲ画像が不自然になる可能性がある。そこで、本実施形態では、シャッタースピードを変化させて、露出の異なる画像を得ることとする。なお、撮影する３枚の画像の露光時間（シャッタースピード）のうち、最も短いものをＳＨ１、２番目に短いものをＳＨ２、最長のものをＳＨ３、とそれぞれ記すこととする。後述のＳ１０６から露光時間がＳＨ１〜ＳＨ３の３枚の画像の撮影が始まるが、ＨＤＲ撮影時は、基本的に適正露出の画像、露出オーバーの画像、露出アンダーの画像の３枚の合成用の画像を撮影し、合成するものとする。
【００３４】
Ｓ１０３〜Ｓ１０５では、撮影開始前に、フリッカー検知用の画像を取得し、この画像からフリッカーを判定する。具体的には、フリッカーの有無を判定する。さらに、フリッカーがある場合は１００Ｈｚのフリッカーなのか、１２０Ｈｚのフリッカーなのかを判定する。Ｓ１０５で１００Ｈｚ、もしくは１２０Ｈｚのフリッカーを検出した場合は、Ｓ１０６に進み、そうでない場合はＳ１１９に進む。なお、フリッカーの有無の判定と、フリッカーの周波数の検出方法は、すでに公知の方法を用いればよい。
【００３５】
Ｓ１０６は、Ｓ１０３で取得したフリッカー検知用画像から、ピークタイミングを算出するステップである。ここで算出したピークタイミングをＰ１とする。ピークタイミングＰ１を算出したら、Ｓ１０７では、撮影準備動作（シャッターの走行準備や、絞りの駆動）を行う。また、算出したピークタイミングＰ１から、フリッカー周期の整数倍後の時間にあるピークタイミングＰ１＋ｎ１・Ｔ（ｎ１：任意の自然数、Ｔ：Ｓ１０５で判定したフリッカーの周期：１００Ｈｚ検知時は１０ｍｓ、１２０Ｈｚ検知時は８．３３ｍｓ）を待つ。そして、Ｓ１０８で露光を行う。これらの露光制御動作により、フリッカーレス撮影が実現される。この場合のシャッタースピードは、３枚の画像のうち露光時間の最も短いもの、すなわちＳＨ１に設定される。
【００３６】
ここで、従来技術の説明では、ＨＤＲ撮影時の基本的な思想として、次のような順番で撮影を行うことを説明した。つまり、合成前でもそれなりの見栄えになると思われる適正露出の画像を、最もレリーズタイムラグの短い（撮影者の撮影意図にもっとも近いタイミングとなる）１枚目に撮影する。その後、２枚目に露出アンダーの画像、最後に露出オーバーの画像を撮影する。
【００３７】
これに対し、本実施形態では、撮影順序を、ＳＨ１→ＳＨ２→ＳＨ３と、露光時間が短い順に撮影を行うように変更している。
【００３８】
また、従来例を示す図６では、１枚目だけでなく、２枚目の撮影と３枚目の撮影においても、フリッカーのピークタイミング演算用画像の取得と、ピークタイミングの演算処理を行っている。
【００３９】
これに対し、本実施形態では、２枚目と３枚目の撮影直前のピークタイミング演算用画像の取得とピークタイミング演算処理を省略している。
【００４０】
以下、これらの理由について説明する。まず、２枚目と３枚目の撮影直前のピークタイミング演算用画像の取得とピークタイミング演算処理が省略されている点に関しては、ＨＤＲ撮影時は、各画像の撮影視野のずれを少なくするため、コマ間時間が短い方が望ましいからである。この省略により、合成時に３枚の撮影画像の撮影視野ずれは小さくなり、視野ずれが合成画像に与える悪影響を低減できる。
【００４１】
次に、撮影順序を変更した点に関して説明する。上述したように、図２のシーケンスでは、コマ間時間を短くするため、２枚目以降の撮影直前のフリッカーのピークタイミング演算用画像の取得とピークタイミング演算処理を省略している。そして、２枚目、３枚目とも、Ｓ１０６で算出したピークタイミングＰ１を基準に露光タイミングを決定している。この場合、２枚目、３枚目はピークタイミングを検出してから露光するまでの時間が長いので、商用電源周波数のゆらぎにより、露光タイミングが真のフリッカーピークタイミングからずれて、撮影画像にフリッカーの影響が出てしまう可能性がある。ここで、露光タイミングが真のフリッカーピークタイミングからずれた場合の、フリッカーが撮影画像に与える影響に関して説明する。
【００４２】
図３は、シャッターの走行タイミングが真のフリッカーピークタイミングからずれた場合に、撮像素子の露光量がどうなるかを、シャッタースピードが異なる２つの場合に関して模式的に示した図である。横軸が時間を示し、理想的な｜Ｓｉｎ｜の関数で表せるフリッカーの光量変化のタイミングと、撮像素子の上端から下端まで、シャッターの先幕と後幕が走行するタイミングとを、並べて図示している。撮像素子の露光量に関しては、上端、下端の２か所の露光量に着目し、それらの露光量を代表として示している。図４の左半分が、相対的にシャッタースピードが遅い（露光時間が長い）ＳＨ＿ｌｏｗの場合、右半分が相対的にシャッタースピードが速い（露光時間が短い）ＳＨ＿ｈｉｇｈの場合を示している。また、図４の上半分が、露光タイミングがフリッカーのピークタイミングと一致した理想的な場合を示し、下半分が、露光タイミングが理想的な状態よりΔＳＨだけ遅れてしまった場合を示している。
【００４３】
図３の左上は、ＳＨ＿ｌｏｗの場合で、露光タイミングずれのない理想的なフリッカーレス撮影の状態を表す図である。図より、撮像素子上端の露光量はＵ１、下端の露光量はＤ１となり、Ｕ１＝Ｄ１である。
【００４４】
これに対して、図３の左下は、シャッターの走行タイミングが想定よりΔＳＨだけ遅れてしまった場合を示す図である。図のように、撮像素子上端はＵ２、下端はＤ２で露光され、Ｕ１よりもＵ２の方がフリッカーのピークタイミングに近いのでＵ１＜Ｕ２となり、同様にＤ１＞Ｄ２となる。ただしシャッタースピードがＳＨ＿ｌｏｗの場合は、露光する時間幅が大きいので、Ｕ１とＵ２、Ｄ１とＤ２の差は比較的小さく、Ｕ１／Ｕ２＜１、Ｄ２／Ｄ１＜１である
一方で、同様の図を比較的シャッタースピードが高速なＳＨ＿ｈｉｇｈの場合で描いたものが図３の右半分である。図３の右上は、理想的なタイミングでシャッター走行した場合の図であり、Ｕ３＝Ｄ３となる。これに対して、図３の右下は、シャッターの走行タイミングがΔＳＨだけ遅れてしまった場合を示す図である。図３の左下に対して、露光する時間幅が狭く、その露光量はフリッカーの光量変化の影響を大きく受ける。そのため、
Ｕ３／Ｕ４＜Ｕ１／Ｕ２＜１、Ｄ４／Ｄ３＜Ｄ２／Ｄ１＜１
となる。すなわち、ピークタイミングからシャッターの走行時間がずれた場合に、タイミングのずれ量が同じでも、画像に与える影響が大きいのは、シャッタースピードがより高速の場合であることが分かる。
【００４５】
具体的な例として、１２０Ｈｚフリッカー環境で、シャッターが撮像素子の上端から下端まで走行するのにかかる時間を３ｍｓとし、真のフリッカーピークタイミングより１ｍｓ遅れて露光した場合を考える。この時、撮像素子上端と下端の露光量の差は、シャッタースピード１／８０００の場合は約０．７４段、１／１２５の場合は約０．０６段と大きく異なる。
【００４６】
以上のことから、シャッター走行タイミングのずれが最も小さくなる１枚目に、３枚中で最もシャッタースピードが高速なＳＨ１の撮影を行い、次いでＳＨ２、ＳＨ３と撮影を行うことで、ピークタイミングずれが画像に与える影響を低減することが出来る。
【００４７】
なお、３枚の撮影順序を露光時間の短い順（シャッタースピードの速い順）に、ＳＨ１→ＳＨ２→ＳＨ３の順で行ったとしても、フリッカーの影響が画像に出にくくなるだけであり、後の撮影ほど、露光タイミングとフリッカーピークタイミングのずれが大きくなりやすい事実は変わらない。そこで、最もフリッカーの影響が少ない１枚目の画像に基づいて、２枚目、３枚目の画像のフリッカーの影響を補正してから合成する変形例も考えられる。
【００４８】
例として、｜Ｓｉｎ｜の関数で光量変化する理想的なフリッカー均一面を、ＨＤＲ撮影した場合の画像を用いて説明する。１枚目の画像は、ピークタイミングを検出してから露光までの時間が短いので、商用電源周波数がゆらいでいたとしても、ほぼ理想的な図３の上段のようなタイミングで露光できるはずである。この時得られる画像は図４の１枚目として示すものであり、この画像に対して水平方向に射像をとり、最大値を１として規格化したものをＨ１とする。Ｈ１は、図３の上段に示すように撮像素子の上端と下端の露光量が揃っている。同様に、図３の下段のようにシャッターの走行が遅れた場合の２枚目、３枚目の画像のイメージと水平方向の規格化した射像を考えると、図４のＨ２、Ｈ３のようになる。すなわち、図３の下段のように、シャッター走行が遅れた場合は、撮像素子の上端は露光量が増え、下端は露光量が減る。この現象はシャッターの走行遅れが大きくなるほど顕著に表れるため、２枚目はＨ２、３枚目はＨ３のような射像となる。ここで、２枚目の画像に対して、各行毎にＨ１／Ｈ２を補正係数としてかければ、２枚目の画像のフリッカーの影響を、１枚目相当まで軽減して補正することが出来る。同様に、３枚目の画像に対しては、Ｈ１／Ｈ３をかけることにより補正でき、補正した２、３枚目の画像を合成することにより、さらにフリッカーの影響を低減したＨＤＲ画像を得ることが可能となる。
【００４９】
ここで、図２の説明に戻って、Ｓ１１１以降のシーケンスについて説明する。Ｓ１０８で１枚目の画像の撮影を行ったので、Ｓ１１１では、カメラマイコン１０３は、撮影準備動作（シャッターの走行準備や、絞りの駆動）を行う。また、Ｓ１０６で算出したピークタイミングＰ１から、フリッカー周期の整数倍後の時間にあるピークタイミングＰ１＋ｎ２・Ｔ（ｎ２：ｎ１より大きい任意の自然数、Ｔ：Ｓ１０５で判定したフリッカーの周期：１００Ｈｚ検知時は１０ｍｓ、１２０Ｈｚ検知時は８．３３ｍｓ）を待つ。そして、Ｓ１１２では、２枚目の画像、つまり露光時間が２番目に短いＳＨ２の画像の露光を行う。
【００５０】
次に３枚目の画像の撮影に進み、Ｓ１１５では、カメラマイコン１０３は、撮影準備動作（シャッターの走行準備や、絞りの駆動）を行う。また、Ｓ１０６で算出したピークタイミングＰ１から、フリッカー周期の整数倍後の時間にあるピークタイミングＰ１＋ｎ３・Ｔ（ｎ３：ｎ２より大きい任意の自然数、Ｔ：Ｓ１０５で判定したフリッカーの周期：１００Ｈｚ検知時は１０ｍｓ、１２０Ｈｚ検知時は８．３３ｍｓ）を待つ。そして、Ｓ１１６では、３枚目の画像、つまり露光時間が最も長いＳＨ３の画像の露光を行う。この露光により、ＨＤＲ画像を合成するための３枚の画像が揃うこととなる。
【００５１】
一方、Ｓ１０５でフリッカーを検出しなかった場合のシーケンスが、Ｓ１１９〜Ｓ１２４である。フリッカーが無い環境下では、露光タイミングに制約はないので、単純に撮影準備ができ次第、すぐに露光を行えばよい。よって、Ｓ１１９〜Ｓ１２４では、「撮影準備→露光」という動作を３回行う。この場合は、フリッカーの制限を受けないため、ＨＤＲ画像合成のための一般的な撮影の順序である、ＳＨ２→ＳＨ１→ＳＨ３の順に連続して撮影を行う。
【００５２】
Ｓ１１７では、カメラマイコン１０３は、得られた３枚の画像を合成し、ＨＤＲ画像を生成する。そして、Ｓ１１８で、このフローチャートの動作を終了する。
【００５３】
以上説明したように、上記の実施形態によれば、２枚目と３枚目の画像の撮影においては、撮影直前のフリッカーのピークタイミング演算用画像の取得とピークタイミング演算処理を行わない。また、連続撮影する画像の撮影順序を、露光時間の短い順に行うようにする。これらの動作により、コマ間の撮影視野のずれを抑制しつつ、フリッカーの影響の少ない画像を合成することができ、良好な画質のＨＤＲ画像を得ることが可能となる。
【００５４】
＜第２の実施形態＞
次に、図５を参照して、本発明の第２の実施形態について説明する。図５は第２の実施形態のデジタルカメラシステムの撮像動作を示すフローチャートである。なお、第２の実施形態のデジタルカメラシステムの構成は、第１の実施形態と同様であるため、説明を省略する。
【００５５】
第１の実施形態では、図２に示したように、２枚目と３枚目の撮影直前のフリッカーのピークタイミング演算用画像の取得とピークタイミング演算処理を省略し、代わりにフリッカーの影響が画像に出やすいシャッタースピードの速い画像から順に撮影した。
【００５６】
しかし、３枚全てが高速なシャッタースピードの場合などは、第１の実施形態の方法を用いても、特に３枚目の画像などではフリッカーの影響が目立ってしまう可能性がある。そこで、本実施形態では、ピークタイミングがずれた場合にフリッカーの影響が目立ってしまうようなシャッタースピードの場合には、２、３枚目といえども撮影直前のピークタイミング演算用画像の取得とピークタイミング演算処理を実施するようにする。具体的には、ピークタイミングがずれた場合にフリッカーの影響が目立ってしまうような露光時間（シャッタースピード）の閾値ＳＨ＿ｔｈ（例えば１／５００ｓｅｃ）を予めカメラ内部に記憶させておく。そして、３枚それぞれに対して、露光時間がＳＨ＿ｔｈ以下となるような高速シャッターの場合は、撮影直前のフリッカーのピークタイミング演算用画像の取得とピークタイミング演算処理を行う。以下、図５を用いて、この動作について説明する。
【００５７】
まず、Ｓ６０１〜Ｓ６０８は、図２のＳ１０１〜Ｓ１０８と同じ動作であるので、説明を省略する。
【００５８】
次に、Ｓ６０９では、カメラマイコン１０３は、露光時間ＳＨ２に対して判定を行う。もし、ＳＨ２＞ＳＨ＿ｔｈの場合（露光時間が所定の時間より長い場合）は、フリッカーの影響が目立ってくる露光時間ＳＨ＿ｔｈより露光時間ＳＨ２が長い低速シャッターなので、ピークタイミングずれの影響は軽微であると判断する。そして、撮影直前のピークタイミング演算用画像の取得とピークタイミング演算処理を省略する。また、もともとＳＨ３＞ＳＨ２なので、この場合は自動的にＳＨ３も撮影直前のピークタイミング演算用画像の取得とピークタイミング演算処理を省略し、２枚目、３枚目とも、Ｓ６０６で演算したピークタイミングＰ１を基準にシャッター走行タイミングを決定することとなる（Ｓ６２７〜Ｓ６３０）。
【００５９】
仮に、Ｓ６０９でＳＨ２≦ＳＨ＿ｔｈの場合は、ＳＨ２のピークタイミングずれによるフリッカーの影響を考慮して、Ｓ６１０、Ｓ６１１でフリッカーピークタイミング検知を行う。そして、ここで得るピークタイミングＰ２を基準に２枚目の画像の露光を行う（Ｓ６１０〜Ｓ６１３）。
【００６０】
そしてこの後、３枚目に関してもＳ６１４でＳＨ３＞ＳＨ＿ｔｈの判定を行い、ＳＨ３＞ＳＨ＿ｔｈの場合は撮影直前のフリッカーのピークタイミング演算用画像の取得とピークタイミング演算処理を省略する。そして、Ｓ６１１で演算したピークタイミングＰ２を基準に露光を行う（Ｓ６３１〜Ｓ６３２）。一方、ＳＨ３≦ＳＨ＿ｔｈの場合は、Ｓ６１０〜Ｓ６１３と同様の処理を、Ｓ６１５〜Ｓ６１８で行う。
【００６１】
このように、露光時間が閾値ＳＨ＿ｔｈより短い高速シャッターの場合だけ、撮影直前のフリッカーのピークタイミング演算用画像の取得とピークタイミング演算処理を行う。これにより、フリッカーの画像への影響とコマ間時間の短縮の両方に配慮したＨＤＲ撮影が可能となる。
【００６２】
＜第３の実施形態＞
第１及び第２の実施形態では、ＨＤＲ撮影でのコマ間時間は、撮影視野のずれがＨＤＲ画像に与える影響を考え、短い方が良いという前提で説明してきた。しかし、三脚を用いた撮影など、カメラがしっかりと固定された状況においては、撮影視野のずれは無いと考えることができるので、この限りではない。既に述べたように、図１に示す加速度センサ１１１の出力変動の有無によって、カメラ本体１０１が安定した状態（例えば三脚に固定、もしくは机の上などに置かれた状態）か否かを判定することが出来る。よって、加速度センサ１１１により、カメラが安定した状態であると判定された場合は、毎コマ、撮影直前のフリッカーのピークタイミング演算用画像の取得とピークタイミング演算処理を行う図６の処理を行い、安定していない場合は、コマ間時間が短い図２の処理を行う、というように切り替えてもよい。
【００６３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００６４】
例えば、前述した実施形態では、本発明を実施する撮像装置の一例として撮像装置と交換レンズとがそれぞれ個別である、所謂レンズ交換式の撮像装置について説明したが、これに限定されるものではない。例えば、撮像装置本体と撮影レンズユニットとが一体的に形成された、所謂レンズ一体側の撮像装置を、本発明を実施する撮像装置としてもよい。
【００６５】
また、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラを想定して説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスやウェアラブル端末、セキュリティーカメラや車載カメラなど、デジタルカメラ以外の撮像装置や多様な用途を想定した撮像装置を採用する構成であってもよい。
【００６６】
（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【符号の説明】
【００６７】
１０１：カメラ本体、１０３：カメラマイコン、１０４：撮像素子、１０５：シャッター、１１１：加速度センサ
【図１】
2020028080.tif 000003
【図２】
2020028080.tif 000004
【図３】
2020028080.tif 000005
【図４】
2020028080.tif 000006
【図５】
2020028080.tif 000007
【図６】
2020028080.tif 000008