(57)【特許請求の範囲】
【請求項１】
撮像装置に搭載された撮像素子であって、
被写体が第１フレームレートで撮像されることにより得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵された記憶部と、
前記記憶部に記憶された前記撮像画像データに基づく処理を行い、かつ、前記撮像素子に内蔵された処理部と、
前記撮像画像データに基づく出力用画像データを第２フレームレートで前記撮像素子の外部に出力し、かつ、前記撮像素子に内蔵された出力部と、を含み、
前記第１フレームレートは、前記第２フレームレートよりも高いフレームレートであり、かつ、フリッカの発生周期に応じて定められ、
前記処理部は、複数フレーム分の前記撮像画像データに基づいて、前記撮像素子による撮像に対しての前記フリッカの影響が回避されるフリッカ影響回避タイミングを検出する
撮像素子。
【請求項２】
前記処理は、前記撮像画像データのフレーム間の輝度差を測定し、測定した前記輝度差に基づいて、前記フリッカ影響回避タイミングを検出する測定検出処理を含み、
前記測定検出処理に要する処理時間は、前記発生周期に応じて定められる請求項１に記載の撮像素子。
【請求項３】
前記撮像画像データは、前記フレーム間で、第１撮像画像データと、前記第１撮像画像データよりも後に撮像されることで得られた第２撮像画像データと、に類別され、
前記輝度差は、前記第１撮像画像データの輝度から前記第２撮像画像データの輝度を減じた減算結果であり、
前記フリッカ影響回避タイミングは、前記輝度差が正値から負値に転じるタイミングである請求項２に記載の撮像素子。
【請求項４】
前記処理部は、前記輝度差が前記正値から前記負値に２回転じたことを条件に前記測定検出処理を打ち切る請求項３に記載の撮像素子。
【請求項５】
前記第２撮像画像データは、前記第１撮像画像データの２フレーム以上後に撮像されることで得られた画像データである請求項３又は請求項４に記載の撮像素子。
【請求項６】
前記第１フレームレートは、前記測定検出処理が行われた後、予め定められた条件を満足する迄の間、前記測定検出処理でのフレームレートよりも低いフレームレートに設定される請求項２から請求項５の何れか一項に記載の撮像素子。
【請求項７】
前記処理部は、前記予め定められた条件を満足した場合に前記測定検出処理を再び行う請求項６に記載の撮像素子。
【請求項８】
前記予め定められた条件を満足し、かつ、前記処理部により測定された前記輝度差が前記処理時間内に測定された前記輝度差から変化した場合に前記測定検出処理を再び行う請求項７に記載の撮像素子。
【請求項９】
前記輝度差は、前記撮像画像データの前記フレーム間で互いに対応する一部領域の輝度差である請求項２から請求項８の何れか一項に記載の撮像素子。
【請求項１０】
前記フリッカ影響回避タイミングは、前記撮像画像データにより示される画像の明るさがピークに達するタイミングである請求項１から請求項９の何れか一項に記載の撮像素子。
【請求項１１】
前記出力用画像データは、前記フリッカ影響回避タイミングで撮像されることにより得られた前記撮像画像データに基づく画像データである請求項１から請求項８の何れか一項に記載の撮像素子。
【請求項１２】
前記フリッカはラインフリッカであり、
前記フリッカ影響回避タイミングに応じて定められたクロップ係数に従って選択された撮像領域内で前記被写体が撮像される請求項１から請求項１１の何れか一項に記載の撮像素子。
【請求項１３】
前記発生周期は、商用電源から交流電力が供給されることで明滅する光源に起因して生じるフリッカの発生周期として予め定められている請求項１から請求項１２の何れか一項に記載の撮像素子。
【請求項１４】
前記第１フレームレートは、前記発生周期が短くなるに従って高くなる請求項１から請求項１３の何れか一項に記載の撮像素子。
【請求項１５】
前記撮像画像データは、前記被写体がローリングシャッタ方式で撮像されることにより得られた画像データである請求項１から請求項１４の何れか一項に記載の撮像素子。
【請求項１６】
前記撮像素子は、光電変換素子を有し、前記光電変換素子に前記記憶部が積層された積層型撮像素子である請求項１から請求項１５の何れか一項に記載の撮像素子。
【請求項１７】
請求項１から請求項１６の何れか一項に記載の撮像素子と、
前記撮像素子に含まれる前記出力部により出力された前記出力用画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、
を含む撮像装置。
【請求項１８】
被写体が第１フレームレートで撮像されることにより得られた撮像画像データを記憶する記憶部と、前記記憶部に記憶された前記撮像画像データに基づく処理を行う処理部と、撮像画像データに基づく出力用画像データを第２フレームレートで外部に出力する出力部と、が内蔵されており、撮像装置に搭載された撮像素子の画像データ処理方法であって、
前記第１フレームレートを、前記第２フレームレートよりも高いフレームレートとし、  前記第１フレームレートを、フリッカの発生周期に応じて定め、
前記処理部が、複数フレーム分の前記撮像画像データに基づいて、前記撮像素子による撮像に対しての前記フリッカの影響が回避されるフリッカ影響回避タイミングを検出することを含む画像データ処理方法。
【請求項１９】
コンピュータを、
被写体が第１フレームレートで撮像されることにより得られた撮像画像データを記憶する記憶部と、前記記憶部に記憶された前記撮像画像データに基づく処理を行う処理部と、撮像画像データに基づく出力用画像データを第２フレームレートで外部に出力する出力部と、が内蔵されており、撮像装置に搭載された撮像素子に含まれる前記処理部及び前記出力部として機能させるためのプログラムであって、
前記第１フレームレートは、前記第２フレームレートよりも高いフレームレートであり、かつ、フリッカの発生周期に応じて定められ、
前記処理部は、複数フレーム分の前記撮像画像データに基づいて、前記撮像素子による撮像に対しての前記フリッカの影響が回避されるフリッカ影響回避タイミングを検出するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の技術は、撮像素子、撮像装置、画像データ処理方法、及びプログラムに関する。
【背景技術】
【０００２】
特開２０１７−１８８７６０号公報には、撮像素子から出力された画素信号を記憶する記憶部と、記憶部に記憶されている画素信号に対する信号処理を行う信号処理部と、信号処理部による信号処理の完了前に同一のフレームにおける画素信号に対する検波処理を完了させる検波部と、を備えた画像処理装置が開示されている。【０００３】
特開２０１８−７２１０号公報には、撮像画像の明るさ情報を算出する明るさ情報算出部と、複数の時刻における明るさ情報に基づいて、基準となる明るさを示す明るさ基準値を算出する明るさ基準算出部と、明るさ情報と明るさ基準値とに基づいて、撮像画像の明るさを補正するための補正パラメータを算出する補正パラメータ算出部と、を備える信号処理装置が開示されている。【０００４】
ＷＯ２０１５／１６３１４５号公報には、異なる露光条件で撮影された画像内の所定の位置における信号値の強度に関する比を算出する強度比算出部と、強度比算出部による算出された強度比が、周期的なノイズの成分に由来するのか、または動きに由来するのかを表す寄与度を算出する寄与度算出部と、を備える画像処理装置が開示されている。【０００５】
特表２０１７−５０１６２７号公報には、複数の画素を含む撮像領域と、それぞれが１つ以上の画素を含む１つ以上のフリッカ検出領域と、を備え、撮像領域における少なくとも１つの画素が画像をキャプチャする間に、少なくとも１つのフリッカ検出領域における１つ以上の画素のうちの少なくとも１つが複数回サンプリングされる画像センサが開示されている。【０００６】
特開２０１７−１８８７６０号公報、特開２０１８−７２１０号公報、ＷＯ２０１５／１６３１４５号公報、及び特表２０１７−５０１６２７号公報に記載の技術が適用される撮像装置としては、例えば、電子シャッタとメカニカルシャッタとを併用してローリングシャッタ方式で撮像を行う撮像装置が挙げられる。この種の撮像装置では、例えば、光電変換素子において、１ラインずつ順次に、露光が開始され、露光量に応じた電荷信号が読み出される。そして、読み出された電荷信号に基づいて画像データが生成され、生成された画像データにより示される画像がディスプレイに表示される。
【発明の概要】
【０００７】
しかしながら、ローリングシャッタ方式の撮像が行われると、電子シャッタのローリングずれ、及びメカニカルシャッタのローリングずれが生じる。ここで、電子シャッタのローリングずれとは、例えば、光電変換素子のうちの先頭ラインに対する露光が開始されてから最終ラインに対する露光が開始されるまでの時間差を指す。また、メカニカルシャッタのローリングずれとは、例えば、メカニカルシャッタの先幕が光電変換素子のうちの先頭ラインを通過してから最終ラインを通過するまでの時間差を指す。
【０００８】
ところで、一例として図２８に示すように撮像素子の電子シャッタのローリングずれは、メカニカルシャッタのローリングずれよりも長い。図２８に示す例では、メカニカルシャッタのローリングずれが電子シャッタのローリングずれよりも短い。
【０００９】
商用電源の周波数が５０Ｈｚ（ヘルツ）の場合、例えば、商用電源から電力が供給されて明滅する蛍光灯等の光源は、１００Ｈｚの周波数で明滅する。このような環境下で、ローリングシャッタ方式で撮像が行われると、一例として図３０に示すように、撮像されることで得られた撮像画像Ｐ１では、１０ｍｓに相当する間隔でラインフリッカが垂直方向に現れる。なお、ライブビュー画像が表示されると、複数本のラインフリッカが垂直方向に流れるように現れる。
【００１０】
フルサイズ又は中判サイズ等の光電変換素子で、一例として図２８に示すローリングシャッタ方式の撮像が行われると、一例として図３０に示すように、撮像されることで得られた撮像画像Ｐ１には４本のラインフリッカが現れる。また、フルサイズ又は中判サイズ等よりも小さなサイズであるＡＰＳ−Ｃ（Ａｄｖａｎｃｅｄ  Ｐｈｏｔｏ  Ｓｙｓｔｅｍ  Ｔｙｐｅ  Ｃ）サイズの光電変換素子で、一例として図２８に示すローリングシャッタ方式の撮像が行われると、一例として図３０に示すように、撮像画像Ｐ１には３本のラインフリッカが現れる。
【００１１】
一方、一例として図２９に示すように、近年、電子シャッタのローリングずれの時間が従来に比べ短くなり、電子シャッタのローリングずれのタイミングが、従来に比べ、メカシャッタのローリングずれのタイミングに近くなっている。
【００１２】
つまり、一例として図２９に示すローリングシャッタ方式での撮像は、一例として図２８に示すローリングシャッタ方式での撮像に比べ、電子シャッタのローリングずれのタイミングがメカニカルシャッタのローリングずれのタイミングに近くなっている。
【００１３】
従って、一例として図２９に示すローリングシャッタ方式で撮像が行われると、一例として図２８に示すローリングシャッタ方式での撮像に比べ、撮像画像に現れるラインフリッカの本数が減る。
【００１４】
例えば、フルサイズ又は中判サイズ等の光電変換素子で、一例として図２９に示すローリングシャッタ方式の撮像が行われると、一例として図３１に示すように、撮像画像Ｐ２には２本のラインフリッカが現れる。また、ＡＰＳ−Ｃサイズの光電変換素子で、一例として図２９に示すローリングシャッタ方式の撮像が行われると、一例として図３１に示すように、ＡＰＳ−Ｃサイズの撮像領域に相当する画像領域の垂直方向の長さよりもラインフリッカ間の間隔が長くなる。そのため、撮像画像Ｐ２のうちのＡＰＳ−Ｃサイズの撮像領域に相当する画像領域には１本のラインフリッカしか現れない。
【００１５】
ラインフリッカの影響を回避したローリングシャッタ方式の撮像を行う場合、ラインフリッカの影響を回避可能な撮像タイミングを特定することが重要になる。しかし、特許文献１〜４に記載の技術では、ラインフリッカの有無の検出は可能であるが、ラインフリッカの影響を回避可能な撮像タイミングを特定することは困難である。また、一例として図３１に示すように撮像画像Ｐ２のうちのＡＰＳ−Ｃサイズの撮像領域に相当する画像領域に１本のラインフリッカしか現れない場合、ラインフリッカの影響を回避可能な撮像タイミングを特定することは益々困難になる。
【００１６】
なお、グローバルシャッタ方式の撮像が行われる場合であっても、同様のことが言える。グローバルシャッタ方式での撮像の場合、光電変換素子により面フリッカが検出されることになるが、この場合も、面フリッカの影響を回避した撮像を行うには、面フリッカの影響を回避可能な撮像タイミングを特定することが重要になる。特許文献１〜４に記載の技術を用いた場合、面フリッカの有無の検出は可能であるが、面フリッカの影響を回避可能な撮像タイミングを特定することは困難である。
【００１７】
本発明の一つの実施形態は、フリッカの影響を回避して撮像することができる撮像素子、撮像装置、画像データ処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【００１８】
本開示の技術に係る第１の態様は、撮像素子であって、被写体が第１フレームレートで撮像されることにより得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、記憶部に記憶された撮像画像データに基づく処理を行い、かつ、撮像素子に内蔵された処理部と、撮像画像データに基づく出力用画像データを第２フレームレートで撮像素子の外部に出力し、かつ、撮像素子に内蔵された出力部と、を含み、第１フレームレートは、第２フレームレートよりも高いフレームレートであり、かつ、フリッカの発生周期に応じて定められ、処理部は、複数フレーム分の撮像画像データに基づいて、撮像素子による撮像に対してのフリッカの影響が回避されるフリッカ影響回避タイミングを検出する、撮像素子である。【００１９】
従って、本開示の技術に係る第１の態様の撮像素子は、フリッカの影響を回避して撮像することができる。【００２０】
本開示の技術に係る第２の態様は、処理は、撮像画像データのフレーム間の輝度差を測定し、測定した輝度差に基づいて、フリッカ影響回避タイミングを検出する測定検出処理を含み、測定検出処理に要する処理時間は、発生周期に応じて定められる、第１の態様に係る撮像素子である。【００２１】
従って、本開示の技術に係る第２の態様の撮像素子は、撮像画像データのフレーム間の輝度差を用いない場合に比べ、測定検出処理に要する処理時間を過不足なく定めることができる。【００２２】
本開示の技術に係る第３の態様は、撮像画像データは、フレーム間で、第１撮像画像データと、第１撮像画像データよりも後に撮像されることで得られた第２撮像画像データと、に類別され、輝度差は、第１撮像画像データの輝度から第２撮像画像データの輝度を減じた減算結果であり、フリッカ影響回避タイミングは、輝度差が正値から負値に転じるタイミングである、第２の態様に係る撮像素子である。【００２３】
従って、本開示の技術に係る第３の態様の撮像素子は、撮像画像データにより示される画像が最も明るくなるタイミングをフリッカ影響回避タイミングとして検出することができる。【００２４】
本開示の技術に係る第４の態様は、処理部は、輝度差が正値から負値に２回転じたことを条件に測定検出処理を打ち切る、第３の態様に係る撮像素子である。【００２５】
従って、本開示の技術に係る第４の態様の撮像素子は、測定検出処理に要する処理時間を必要最低限の時間にすることができる。【００２６】
本開示の技術に係る第５の態様は、第２撮像画像データは、第１撮像画像データの２フレーム以上後に撮像されることで得られた画像データである、第３の態様又は第４の態様に係る撮像素子である。【００２７】
従って、本開示の技術に係る第５の態様の撮像素子は、隣接するフレーム間の輝度差を用いる場合に比べ、フリッカ影響回避タイミングの誤検出を抑制することができる。【００２８】
本開示の技術に係る第６の態様は、第１フレームレートは、測定検出処理が行われた後、予め定められた条件を満足する迄の間、測定検出処理でのフレームレートよりも低いフレームレートに設定される、第２の態様から第５の態様の何れか１つの態様に係る撮像素子である。【００２９】
従って、本開示の技術に係る第６の態様の撮像素子は、測定検出処理以外の処理でも測定検出処理でのフレームレートが適用される場合に比べ、消費電力を低減することができる。【００３０】
本開示の技術に係る第７の態様は、処理部は、予め定められた条件を満足した場合に測定検出処理を再び行う、第６の態様に係る撮像素子である。【００３１】
従って、本開示の技術に係る第７の態様の撮像素子は、常に測定検出処理が実行される場合に比べ、消費電力を低減することができる。【００３２】
本開示の技術に係る第８の態様は、予め定められた条件を満足し、かつ、処理部により測定された輝度差が処理時間内に測定された輝度差から変化した場合に測定検出処理を再び行う、第７の態様に係る撮像素子である。【００３３】
従って、本開示の技術に係る第８の態様の撮像素子は、測定検出処理の不要な実行を回避することができる。【００３４】
本開示の技術に係る第９の態様は、輝度差は、撮像画像データのフレーム間で互いに対応する一部領域の輝度差である、第２の態様から第８の態様の何れか１つの態様に係る撮像素子である。【００３５】
従って、本開示の技術に係る第９の態様の撮像素子は、撮像画像データのフレーム間で全画像領域を対象として輝度差を測定する場合に比べ、被写体の動き及び／又は手振れの影響の少ない輝度差を測定することができる。【００３６】
本開示の技術に係る第１０の態様は、フリッカ影響回避タイミングは、撮像画像データにより示される画像の明るさがピークに達するタイミングである、第１の態様にから第９の態様の何れか１つの態様に係る撮像素子である。【００３７】
従って、本開示の技術に係る第１０の態様の撮像素子は、撮像画像データにより示される画像の明るさがピークに達するタイミングと異なるタイミングをフリッカ影響回避タイミングとする場合に比べ、明るい画像を得ることができる。【００３８】
本開示の技術に係る第１１の態様は、出力用画像データは、フリッカ影響回避タイミングで撮像されることにより得られた撮像画像データに基づく画像データである、第１の態様から第８の態様の何れか１つの態様に係る撮像素子である。【００３９】
従って、本開示の技術に係る第１１の態様の撮像素子は、フリッカの影響が回避された出力用画像データを出力することができる。【００４０】
本開示の技術に係る第１２の態様は、フリッカはラインフリッカであり、フリッカ影響回避タイミングに応じて定められたクロップ係数に従って選択された撮像領域内で被写体が撮像される、第１の態様から第１１の態様の何れか１つの態様に係る撮像素子である。【００４１】
従って、本開示の技術に係る第１２の態様の撮像素子は、全撮像領域で撮像が行われる場合に比べ、ラインフリッカの画像への写り込みを抑制することができる。【００４２】
本開示の技術に係る第１３の態様は、発生周期は、商用電源から交流電力が供給されることで明滅する光源に起因して生じるフリッカの発生周期として予め定められている、第１の態様から第１２の態様の何れか１つの態様に係る撮像素子である。【００４３】
従って、本開示の技術に係る第１３の態様の撮像素子は、フリッカの発生周期が予め定められていない場合に比べ、フリッカの発生周期を定める手間を軽減することができる。【００４４】
本開示の技術に係る第１４の態様の撮像素子は、第１フレームレートは、発生周期が短くなるに従って高くなる、第１の態様から第１３の態様の何れか１つの態様に係る撮像素子である。【００４５】
従って、本開示の技術に係る第１４の態様の撮像素子は、第１フレームレートが固定化されている場合に比べ、フリッカ影響回避タイミングの検出精度を高めることができる。【００４６】
本開示の技術に係る第１５の態様は、撮像画像データは、被写体がローリングシャッタ方式で撮像されることにより得られた画像データである、第１の態様から第１４の態様の何れか１つの態様に係る撮像素子である。【００４７】
従って、本開示の技術に係る第１５の態様の撮像素子は、被写体がローリングシャッタ方式で撮像される場合に生じるフリッカの影響を回避することができる。【００４８】
本開示の技術に係る第１６の態様は、撮像素子は、光電変換素子を有し、光電変換素子に記憶部が積層された積層型撮像素子である、第１の態様から第１５の態様の何れか１つの態様に係る撮像素子である。【００４９】
従って、本開示の技術に係る第１６の態様の撮像素子は、光電変換素子に記憶部が積層されていないタイプの撮像素子を用いる場合に比べ、フリッカ影響回避タイミングの検出精度を高めることができる。
【００５０】
本開示の技術に係る第１７の態様は、第１の態様から第１６の態様の何れか１つの態様に係る撮像素子と、撮像素子に含まれる出力部により出力された出力用画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、を含む、撮像装置である。【００５１】
従って、本開示の技術に係る第１７の態様の撮像装置は、フリッカの影響を回避して撮像することができる。【００５２】
本開示の技術に係る第１８の態様は、被写体が第１フレームレートで撮像されることにより得られた撮像画像データを記憶する記憶部と、記憶部に記憶された撮像画像データに基づく処理を行う処理部と、撮像画像データに基づく出力用画像データを第２フレームレートで外部に出力する出力部と、が内蔵された撮像素子の画像データ処理方法であって、第１フレームレートを、第２フレームレートよりも高いフレームレートとし、第１フレームレートを、フリッカの発生周期に応じて定め、処理部が、複数フレーム分の撮像画像データに基づいて、撮像素子による撮像に対してのフリッカの影響が回避されるフリッカ影響回避タイミングを検出することを含む、画像データ処理方法である。【００５３】
従って、本開示の技術に係る第１８の態様の画像データ処理方法は、フリッカの影響を回避して撮像することができる。【００５４】
本開示の技術に係る第１９の態様は、コンピュータを、被写体が第１フレームレートで撮像されることにより得られた撮像画像データを記憶する記憶部と、記憶部に記憶された撮像画像データに基づく処理を行う処理部と、撮像画像データに基づく出力用画像データを第２フレームレートで外部に出力する出力部と、が内蔵された撮像素子に含まれる処理部及び出力部として機能させるためのプログラムであって、第１フレームレートは、第２フレームレートよりも高いフレームレートであり、かつ、フリッカの発生周期に応じて定められ、処理部は、複数フレーム分の撮像画像データに基づいて、撮像素子による撮像に対してのフリッカの影響が回避されるフリッカ影響回避タイミングを検出するプログラムである。【００５５】
従って、本開示の技術に係る第１９の態様のプログラムは、フリッカの影響を回避して撮像することができる。
【００５６】
本開示の技術に係る第２０の態様は、撮像素子であって、被写体が第１フレームレートで撮像されることにより得られた撮像画像データを記憶し、かつ、撮像素子に内蔵されたメモリと、メモリに記憶された撮像画像データに基づく処理を行い、撮像画像データに基づく出力用画像データを第２フレームレートで撮像素子の外部に出力し、かつ、撮像素子に内蔵されたプロセッサと、を含み、第１フレームレートは、第２フレームレートよりも高いフレームレートであり、かつ、フリッカの発生周期に応じて定められ、プロセッサは、複数フレーム分の撮像画像データに基づいて、撮像素子による撮像に対してのフリッカの影響が回避されるフリッカ影響回避タイミングを検出する、撮像素子である。
【００５７】
本発明の一つの実施形態によれば、フリッカの影響を回避して撮像することができる、という効果が得られる。
【図面の簡単な説明】
【００５８】
【図１】実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。
【図２】実施形態に係る撮像装置の背面側を示す背面図である。
【図３】実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。
【図４】実施形態に係る撮像装置のハイブリッドファインダーの構成の一例を示す概略構成図である。
【図５】実施形態に係る撮像装置に含まれる撮像素子の概略構成の一例を示す概略構成図である。
【図６】実施形態に係る撮像装置に含まれる撮像素子の要部構成の一例を示すブロック図である。
【図７】従来技術に係る撮像装置におけるローリングずれとフリッカ周期特性との関係の一例を示す概念図である。
【図８】実施形態に係る撮像装置におけるローリングずれとフリッカ周期特性との関係の一例を示す概念図である。
【図９】５０Ｈｚの商用電源の電圧変化の一例を示すグラフである。
【図１０】１００Ｈｚの周波数で明滅する明滅光源の明滅周期特性の一例を示すグラフである。
【図１１】実施形態に係る撮像装置により被写体が撮像されることで得られた複数フレームの撮像画像の一例を示す概念図である。
【図１２】実施形態に係るフリッカ影響回避タイミングの検出方法の一例の説明に供する説明図である。
【図１３】サンプリング周波数が２００Ｈｚの場合に輝度差のサンプリングされる態様の一例を示す概念図である。
【図１４】サンプリング周波数が４００Ｈｚの場合に輝度差のサンプリングされる態様の一例を示す概念図である。
【図１５】サンプリング周波数が８００Ｈｚの場合に輝度差のサンプリングされる態様の一例を示す概念図である。
【図１６】実施形態に係る撮像処理の流れの一例を示すフローチャートである。
【図１７】実施形態に係るフリッカ回避撮像処理の流れの一例を示すフローチャートである。
【図１８】実施形態に係る測定検出処理の打ち切りタイミングの説明に供する説明図である。
【図１９】メカニカルシャッタを用いて撮像が行われることで得られた撮像画像の一例、及び電子シャッタを用いて撮像が行われることで得られた撮像画像の一例を示す画像図である。
【図２０】クロップ領域が設定された場合の画像領域とラインフリッカとの位置関係の一例を示す概念図である。
【図２１】光量ピークのタイミングに合わせて表示用フレームを出力する態様の一例を示す概念図である。
【図２２】実施形態に係る撮像処理及びフリッカ回避撮像処理が実行されることで実現されるシーケンシャル処理の一例を示すタイムチャートである。
【図２３】当初の明滅光源の明滅周期特性と数時間後の明滅光源の明滅周期特性との関係の一例を示す概念図である。
【図２４】１フレームの全体で算出された輝度差が被写体の動き及び／又は手振れの影響を受けた場合の輝度差のプロット例を示す概念図である。
【図２５】２フレームの撮像画像の各々を垂直方向に２分割されて得られた第１分割画像（上段側の分割画像）から算出された輝度差が被写体の動き及び／又は手振れの影響を受けた場合の輝度差のプロット例と、２フレームの撮像画像の各々を垂直方向に２分割されて得られた第２分割画像（下段側の分割画像）から算出された輝度差が被写体の動き及び／又は手振れの影響を受けた場合の輝度差のプロット例を示す概念図である。
【図２６】実施形態に係るプログラムが記憶された記憶媒体から、実施形態に係るプログラムが撮像素子にインストールされる態様の一例を示す概念図である。
【図２７】実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。
【図２８】電子シャッタのローリングずれとメカニカルシャッタのローリングずれとの関係の一例を示す概念図である。
【図２９】図２８に示す例に比べて電子シャッタのローリングずれが短くなった場合の電子シャッタのローリングずれとメカニカルシャッタのローリングずれとの関係の一例を示す概念図である。
【図３０】図２８に示す例のローリングシャッタ方式により撮像されることで得られた撮像画像の一例を示す画像図である。
【図３１】図２９に示す例のローリングシャッタ方式により撮像されることで得られた撮像画像の一例を示す画像図である。
【発明を実施するための形態】
【００５９】
以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
【００６０】
一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ１４は、手動操作により光軸方向に移動可能なフォーカスレンズ１６を有する撮像レンズ１８を含む。
【００６１】
また、撮像装置本体１２には、ハイブリッドファインダー（登録商標）２１が設けられている。ここで言うハイブリッドファインダー２１とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ  ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ  ｖｉｅｗｆｉｎｄｅｒ” の略称を指す。
【００６２】
交換レンズ１４は、撮像装置本体１２に対して交換可能に装着される。また、交換レンズ１４の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング２２が設けられている。フォーカスリング２２の手動による回転操作に伴ってフォーカスレンズ１６は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。
【００６３】
撮像装置本体１２の前面には、ハイブリッドファインダー２１に含まれるＯＶＦのファインダー窓２４が設けられている。また、撮像装置本体１２の前面には、ファインダー切替えレバー（ファインダー切替え部）２３が設けられている。ファインダー切替レバー２３を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている。なお、ライブビュー画像とは、光電変換素子で撮像されることにより得られた表示用の動画像を指す。
【００６４】
なお、ＯＶＦの光軸Ｌ２は、交換レンズ１４の光軸Ｌ１とは異なる光軸である。また、撮像装置本体１２の上面には、レリーズボタン２５、撮像系のモード、及び再生系のモード等の設定用のダイヤル２８が設けられている。
【００６５】
レリーズボタン２５は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
【００６６】
本実施形態に係る撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２５が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン２５が半押し状態にされることによりＡＥ（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）機能が働いて露出状態が設定された後、ＡＦ（Ａｕｔｏ−Ｆｏｃｕｓ）機能が働いて合焦制御され、レリーズボタン２５を全押し状態にすると撮像が行われる。
【００６７】
一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ３０、十字キー３２、メニューキー３４、指示ボタン３６、及びファインダー接眼部３８が設けられている。
【００６８】
タッチパネル・ディスプレイ３０は、液晶ディスプレイ（以下、「第１ディスプレイ」という）４０及びタッチパネル４２（図３参照）を備えている。
【００６９】
第１ディスプレイ４０は、画像及び文字情報等を表示する。第１ディスプレイ４０は、撮像モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ４０は、静止画撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ４０は、再生モード時の再生画像の表示及びメニュー画面等の表示にも用いられる。
【００７０】
タッチパネル４２は、透過型のタッチパネルであり、第１ディスプレイ４０の表示領域の表面に重ねられている。タッチパネル４２は、例えば、指又はスタイラスペン等の指示体による接触を検知する。タッチパネル４２は、検知結果（タッチパネル４２に対する指示体による接触の有無）を示す検知結果情報を所定周期（例えば１００ミリ秒）で既定の出力先（例えば、後述のＣＰＵ５２（図３参照））に出力する。検知結果情報は、タッチパネル４２が指示体による接触を検知した場合、タッチパネル４２上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル４２が指示体による接触を検知していない場合、座標を含まない。
【００７１】
十字キー３２は、１つ又は複数のメニューの選択、ズーム及び／又はコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。メニューキー３４は、第１ディスプレイ４０の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令する指令ボタンとしての機能とを兼備した操作キーである。指示ボタン３６は、選択項目など所望の対象の消去、指定内容の取消し、及び１つ前の操作状態に戻す場合に等に操作される。
【００７２】
撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置１０により被写体が撮像されることで得られた静止画像を記録する動作モードであり、動画撮像モードは、撮像装置１０により被写体が撮像されることで得られた動画像を記録する動作モードである。
【００７３】
一例として図３に示すように、撮像装置１０は、撮像装置本体１２に備えられたマウント４６（図１も参照）と、マウント４６に対応する交換レンズ１４側のマウント４４と、を含む。交換レンズ１４は、マウント４６にマウント４４が結合されることにより撮像装置本体１２に交換可能に装着される。
【００７４】
撮像レンズ１８は、絞り４７及びモータ４９を含む。絞り４７は、フォーカスレンズ１６よりも撮像装置本体１２側に配置されており、モータ４９に接続されている。絞り４７は、モータ４９の動力を受けて作動することで露出を調節する。
【００７５】
撮像レンズ１８は、スライド機構４８及びモータ５０を含む。スライド機構４８は、フォーカスリング２２の操作が行われることでフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。スライド機構４８には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ１６が取り付けられている。また、スライド機構４８にはモータ５０が接続されており、スライド機構４８は、モータ５０の動力を受けてフォーカスレンズ１６を光軸Ｌ１に沿ってスライドさせる。
【００７６】
モータ４９，５０は、マウント４４，４６を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本実施形態では、モータ４９，５０の一例として、ステッピングモータを適用している。従って、モータ４９，５０は、撮像装置本体１２からの命令によりパルス電力に同期して動作する。また、図３に示す例では、モータ４９，５０が撮像レンズ１８に設けられている例が示されているが、これに限らず、モータ４９，５０は撮像装置本体１２に設けられていてもよい。
【００７７】
撮像装置１０は、被写体を撮像することで得た静止画像及び動画像を記録するデジタルカメラである。撮像装置本体１２は、操作部５４、外部インタフェース（Ｉ／Ｆ）６３、及び後段回路９０を備えている。後段回路９０は、撮像素子２０から送り出されるデータを受け取る側の回路である。本実施形態では、後段回路９０としてＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）が採用されている。ＩＣの一例としては、ＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）が挙げられる。なお、後段回路９０は、本開示の技術に係る「回路」の一例である。
【００７８】
後段回路９０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４を含む。本実施形態では、ＣＰＵ５２として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ５２に代えて複数のＣＰＵを採用してもよい。つまり、ＣＰＵ５２によって実行される各種処理は、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって実行されるようにしてもよい。
【００７９】
なお、本実施形態では、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４の各々がＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）によって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）のうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４のうちの少なくとも１つが、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
【００８０】
ＣＰＵ５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、操作部５４、外部Ｉ／Ｆ６３、及びタッチパネル４２は、バス６８を介して相互に接続されている。
【００８１】
ＣＰＵ５２は、撮像装置１０の全体を制御する。本実施形態に係る撮像装置１０では、オートフォーカスモード時に、ＣＰＵ５２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ５０を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、ＣＰＵ５２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ５２は、レリーズボタン２５が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタスピード及びＦ値を導出する。そして、導出したシャッタスピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。
【００８２】
一次記憶部５８とは、揮発性のメモリを意味し、例えばＲＡＭを指す。二次記憶部６０とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）を指す。
【００８３】
二次記憶部６０には、撮像プログラム６０Ａが記憶されている。ＣＰＵ５２は、二次記憶部６０から撮像プログラム６０Ａを読み出し、読み出した撮像プログラム６０Ａを一次記憶部５８に展開する。ＣＰＵ５２は、一次記憶部５８に展開した撮像プログラム６０Ａに従って後述の撮像処理（図１６参照）を実行する。
【００８４】
操作部５４は、後段回路９０に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部５４は、レリーズボタン２５、ダイヤル２８、ファインダー切替レバー２３、十字キー３２、メニューキー３４、及び指示ボタン３６を含む。操作部５４によって受け付けられた各種指示は操作信号としてＣＰＵ５２に出力され、ＣＰＵ５２は、操作部５４から入力された操作信号に応じた処理を実行する。
【００８５】
位置検出部７０は、ＣＰＵ５２に接続されている。位置検出部７０は、マウント４４，４６を介してフォーカスリング２２に接続されており、フォーカスリング２２の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ５２に出力する。ＣＰＵ５２は、位置検出部７０から入力された回転角度情報に応じた処理を実行する。
【００８６】
撮像モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ１６を含む撮像レンズ１８及びメカニカルシャッタ７２を介してカラーの撮像素子２０の受光面に結像される。
【００８７】
デバイス制御部７４は、ＣＰＵ５２に接続されている。また、デバイス制御部７４は、撮像素子２０及びメカニカルシャッタ７２に接続されている。更に、デバイス制御部７４は、マウント４４，４６を介して撮像レンズ１８のモータ４９，５０に接続されている。
【００８８】
デバイス制御部７４は、ＣＰＵ５２の制御下で、撮像素子２０、メカニカルシャッタ７２、及びモータ４９，５０を制御する。
【００８９】
一例として図４に示すように、ハイブリッドファインダー２１は、ＯＶＦ７６及びＥＶＦ７８を含む。ＯＶＦ７６は、対物レンズ８１と接眼レンズ８６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ７８は、第２ディスプレイ８０、プリズム８４、及び接眼レンズ８６を有する。
【００９０】
また、対物レンズ８１の前方には、液晶シャッタ８８が配設されており、液晶シャッタ８８は、ＥＶＦ７８を使用する際に、対物レンズ８１に光学像が入射しないように遮光する。
【００９１】
プリズム８４は、第２ディスプレイ８０に表示される電子像又は各種の情報を反射させて接眼レンズ８６に導き、且つ、光学像と第２ディスプレイ８０に表示される電子像及び／又は各種情報とを合成する。
【００９２】
ここで、ファインダー切替レバー２３を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ７６により光学像を視認することができるＯＶＦモードと、ＥＶＦ７８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。
【００９３】
第２表示制御部６６は、ＯＶＦモードの場合、液晶シャッタ８８が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第２表示制御部６６は、ＥＶＦモードの場合、液晶シャッタ８８が遮光状態になるように制御し、接眼部から第２ディスプレイ８０に表示される電子像のみが視認できるようにする。
【００９４】
なお、以下では、説明の便宜上、第１ディスプレイ４０及び第２ディスプレイ８０を区別して説明する必要がない場合は、符号を付さずに「表示装置」と称する。表示装置は、本開示の技術に係る「表示部」の一例である。また、以下では、説明の便宜上、第１表示制御部６４及び第２表示制御部６６を区別して説明する必要がない場合は、符号を付さずに「表示制御部」と称する。
【００９５】
撮像素子２０は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子２０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。一例として図５に示すように、撮像素子２０には、光電変換素子９２、処理回路９４、及びメモリ９６が内蔵されている。撮像素子２０では、光電変換素子９２に対して処理回路９４及びメモリ９６が積層されている。なお、処理回路９４は、本開示の技術に係る「処理部」の一例であり、メモリ９６は、本開示の技術に係る「記憶部」の一例である。
【００９６】
処理回路９４は、例えば、ＬＳＩであり、メモリ９６は、例えば、ＲＡＭである。本実施形態では、メモリ９６の一例として、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）が採用されているが、本開示の技術はこれに限らず、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であってもよい。
【００９７】
本実施形態では、処理回路９４は、ＡＳＩＣによって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路９４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
【００９８】
光電変換素子９２は、マトリクス状に配置された複数のフォトセンサを有している。本実施形態では、フォトセンサの一例として、フォトダイオードが採用されている。また、複数のフォトセンサの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。
【００９９】
光電変換素子９２は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本実施形態では、光電変換素子９２の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ，Ｇ，Ｂ信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。
【０１００】
なお、ここでは、撮像素子２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、光電変換素子９２がＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサであっても本開示の技術は成立する。
【０１０１】
撮像素子２０は、いわゆる電子シャッタ機能を有しており、デバイス制御部７４の制御下で電子シャッタ機能を働かせることで、光電変換素子９２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。
【０１０２】
撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ７２を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタ７２を作動させずに、電子シャッタ機能を働かせることで実現される。
【０１０３】
処理回路９４は、デバイス制御部７４によって制御される。処理回路９４は、被写体が光電変換素子９２により撮像されることで得られた撮像画像データを読み出す。ここで言う「撮像画像データ」とは、被写体を示す画像データを指す。撮像画像データは、光電変換素子９２に蓄積された信号電荷である。処理回路９４は、光電変換素子９２から読み出した撮像画像データに対してＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換を行う。処理回路９４は、撮像画像データに対してＡ／Ｄ変換を行うことで得た撮像画像データをメモリ９６に記憶する。処理回路９４は、メモリ９６から撮像画像データを取得し、取得した撮像画像データに基づく画像データである出力用画像データを後段回路９０のＩ／Ｆ５６に出力する。なお、以下では、説明の便宜上、「撮像画像データに基づく画像データである出力用画像データ」を単に「出力用画像データ」と称する。
【０１０４】
処理回路９４は、撮像画像データに対して第１処理と第２処理とを行う。第１処理とは、光電変換素子９２から撮像画像データを読み出し、読み出した撮像画像データをメモリ９６に記憶する処理を指す。第２処理とは、出力用画像データを撮像素子２０の外部に出力する処理を指す。ここで言う「撮像素子２０の外部」とは、例えば、後段回路９０のＩ／Ｆ５６を指す。なお、後段回路９０は、本開示の技術に係る「回路」の一例である。
【０１０５】
撮像素子２０では、第１フレームレートで被写体が撮像される。処理回路９４は、第１フレームレートで第１処理を行い、第２フレームレートで第２処理を行う。第１フレームレートは、第２フレームレートよりも高いフレームレートである。
【０１０６】
本実施形態では、第２フレームレートの一例として、６０ｆｐｓ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）が採用されているが、本開示の技術はこれに限定されず、“第２フレームレート＜第１フレームレート” の関係性を満たしていれば、第２フレームレートは変更可能である。
【０１０７】
第１フレームレートは、第２フレームレート以下にならない範囲内で可変なフレームレートとされている。例えば、本実施形態において、第１フレームレートは、処理回路９４によって、高フレームレートと、低フレームレートとに切り替え可能なフレームレートとされている。
【０１０８】
高フレームレートとは、低フレームレートよりも高いフレームレートを指す。本実施形態では、低フレームレートの一例として、１００ｆｐｓが採用されている。また、本実施形態では、高フレームレートは、第１の高フレームレートと第２の高フレームレートとに類別される。第１の高フレームレートは、後述のフリッカ発生周期が１０ｍｓの場合に採用されるフレームレートであり、第２の高フレームレートは、後述のフリッカ発生周期が８．３３ｍｓの場合に採用されるフレームレートである。本実施形態では、第１の高フレームレートの一例として、２００ｆｐｓが採用されており、第２の高フレームレートの一例として２４０ｆｐｓが採用されている。なお、第１の高フレームレートと第２の高フレームレートとの間には、“第１の高フレームレート＜第２の高フレームレート”の関係が成立している。また、高フレームレートは、例えば、４００ｆｐｓ、４８０ｆｐｓ、８００ｆｐｓ、又は９６０ｆｐｓ等のように、２４０ｆｐｓよりも高いフレームレートであってもよい。
【０１０９】
ところで、撮像素子２０により被写体が撮像されることで得られた出力用画像データにフリッカが写り込むことがある。ローリングシャッタ方式での撮像が行われる場合、一例として図７及び図８に示すように、線状のフリッカであるラインフリッカが発生する。なお、図７には、従来技術に係る撮像装置により被写体が撮像されることで得られたライブビュー画像がディスプレイに表示された状態の一例が示されている。また、図８には、撮像装置１０により被写体が撮像されることで得られたライブビュー画像が表示装置に表示された状態の一例が示されている。
【０１１０】
ラインフリッカは、撮像装置１０のローリングずれと、周期的に明滅する光源（以下、「明滅光源」と称する）の明滅とが原因で生じる現象である。表示装置にライブビュー画像が表示される場合、ラインフリッカは、垂直方向に流れるように現れる。図７に示す例では、ライブビュー画像内に２本のラインフリッカが現れている。図８に示す例では、図７に示す例に比べ、ローリングずれが短いため、ライブビュー画像内に１本のラインフリッカが現れている。
【０１１１】
明滅光源の一例としては、蛍光灯が挙げられる。商用電源から交流電力が蛍光灯に供給された場合、蛍光灯の明滅の周期は、商用電源の電圧周期の半分である。例えば、図９及び図１０に示すように、商用電源の周波数が５０Ｈｚの場合、蛍光灯の明滅の周波数は、１００Ｈｚであり、商用電源の周波数が６０Ｈｚの場合、蛍光灯の明滅の周波数は、１２０Ｈｚである。なお、ここでは、明滅光源として蛍光灯を例示しているが、明滅光源は、蛍光灯に限定されない。明滅光源は、例えば、パーソナル・コンピュータに接続されたディスプレイ、及びイルミネーションで使用されるＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等であってもよい。
【０１１２】
撮像装置１０では、出力用画像データにより示される画像にラインフリッカを写り込ませない撮像、すなわち、ラインフリッカの影響を回避した撮像を実現するために、処理回路９４がラインフリッカの発生周期に応じて第１フレームレートを定めている。すなわち、処理回路９４は、ラインフリッカの発生周期（以下、「フリッカ発生周期」と称する）に応じて、第１フレームレートを低フレームレートから第１の高フレームレート又は第２の高フレームレートに変更する。
【０１１３】
フリッカ発生周期は、明滅光源の明滅の周期である。そのため、例えば、蛍光灯の照明を受けている環境下で撮像が行われる場合、蛍光灯の明滅の周期がフリッカ発生周期として処理回路９４によって用いられる。処理回路９４によって用いられるフリッカ発生周期は、例えば、タッチパネル４２及び／又は操作部５４によって受け付けられた指示に応じて変更される可変値であってもよいし、固定値であってもよい。
【０１１４】
一例として図６に示すように、処理回路９４は、光電変換素子駆動回路９４Ａ、ＡＤ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換回路９４Ｂ、画像処理回路９４Ｃ、出力回路９４Ｄ、及び記憶回路９４Ｅを含む。処理回路９４は、デバイス制御部７４を介してＣＰＵ５２の制御下で動作する。また、記憶回路９４Ｅには、クロップ係数導出テーブル９８が記憶されている。詳しくは後述するが、クロップ係数導出テーブル９８は、後述のフリッカ回避撮像処理において用いられるテーブルである。
【０１１５】
光電変換素子駆動回路９４Ａは、光電変換素子９２及びＡＤ変換回路９４Ｂに接続されている。メモリ９６は、ＡＤ変換回路９４Ｂ及び画像処理回路９４Ｃに接続されている。画像処理回路９４Ｃは出力回路９４Ｄに接続されている。出力回路９４Ｄは、後段回路９０のＩ／Ｆ５６に接続されている。
【０１１６】
光電変換素子駆動回路９４Ａは、デバイス制御部７４の制御下で、光電変換素子９２を制御し、光電変換素子９２からアナログの撮像画像データを読み出す。ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａにより読み出された撮像画像データをデジタル化し、デジタル化した撮像画像データをメモリ９６に記憶する。メモリ９６は、複数フレームの撮像画像データを記憶可能なメモリである。画像処理回路９４Ｃは、撮像画像データに対して処理を施す。
【０１１７】
撮像装置１０では、ラインフリッカが撮像画像データにより示される画像（以下、「撮像画像」と称する）に写り込まない撮像を実現するために、処理回路９４によりフリッカ影響回避タイミングが検出される。フリッカ影響回避タイミングとは、撮像素子２０による撮像に対してのラインフリッカの影響が回避されるタイミングを指す。本実施形態では、フリッカ影響回避タイミングの一例として、撮像画像の明るさがピークに達するタイミングが採用されている。撮像画像の明るさがピークに達するタイミングとは、例えば、隣接するフレーム間の撮像画像の輝度差が“０”になるタイミングを指す。なお、フリッカ影響回避タイミングは、必ずしも撮像画像の明るさがピークに達するタイミングでなくてもよい。この場合、例えば、フリッカ影響回避タイミングは、撮像画像内にフリッカが現れない範囲内で、撮像画像の明るさのピークから外れたタイミングであってもよい。
【０１１８】
ここでは、輝度差として、一方のフレームの撮像画像の全体の平均輝度と他方のフレームの撮像画像の全体の平均輝度との差が採用されているが、本開示の技術はこれに限定されない。例えば、輝度差は、一方のフレームの撮像画像の一部領域の平均輝度と他方のフレームの撮像画像の一部領域の平均輝度との差であってもよい。
【０１１９】
ここで、フリッカ影響回避タイミングの検出方法の一例について図１１及び図１２を参照して説明する。図１１に示す例では、高フレームレートで撮像されることで得られた複数フレームの撮像画像の一例として、第１フレーム〜第Ｎフレームの撮像画像が示されている。第１フレームは最新のフレームであり、第Ｎフレームが最も過去に得られたフレームである。
【０１２０】
一例として図１２に示すように、フリッカ影響回避タイミングの検出方法は、手順がステップ１〜ステップ４に分けられる。先ず、ステップ１では、メモリ９６に新たな撮像画像データが記憶される毎に、最新の撮像画像データと１フレーム前の撮像画像データとの間の輝度差が算出され、算出された輝度差が時系列でプロットされることで、輝度差の周期特性を示す輝度差周期特性グラフＧが生成される。
【０１２１】
なお、図１２に示す例において、点Ａ１は、第１フレームの撮像画像データと第２フレームの撮像画像データとの輝度差であり、点Ａ２は、第２フレームの撮像画像データと第３フレームの撮像画像データとの輝度差である。
【０１２２】
ステップ２では、輝度差が負値から正値に転じる範囲内で、かつ、輝度差が“０”になるタイミング、及び輝度差が正値から負値に転じる範囲内で、かつ、輝度差が“０”になるタイミングが検出される。図１２に示す例では、輝度差周期特性グラフＧ上の“▲”の位置の輝度差及び“▼”の位置の輝度差は何れも“０である。また、図１２に示す例において、“▲”の位置は、輝度差が負値から正値に転じるタイミングであり、かつ、輝度差が“０”になる位置を示す。また、“▼”の位置は、輝度差が正値から負値に転じるタイミングであり、かつ、輝度差が“０”になる位置を示す。
【０１２３】
換言すると、図１２に示す“▲”の位置は、輝度差周期特性グラフＧの微分係数が正値を示す範囲内において輝度差が“０”の位置である。また、図１２に示す“▼”の位置は、輝度差周期特性グラフＧの微分係数が負値を示す範囲内において輝度差が“０”の位置である。
【０１２４】
ステップ３では、輝度差が“０”になるタイミングの時間間隔が検出される。図１２に示す例においては、時間間隔Ｂ１と時間間隔Ｂ２が検出される。時間間隔Ｂ１は、“▼”の位置から“▲”の位置までの時間間隔であり、時間間隔Ｂ２は、“▲”の位置から“▼”の位置までの時間間隔である。
【０１２５】
ステップ４では、ステップ２での検出結果及びステップ３での検出結果に基づいて、フリッカ影響回避タイミングが検出される。図１２に示す例では、輝度差周期特性グラフＧにおいて撮像画像が最も明るくなるタイミング、すなわち、明るさがピークに達するタイミングが、フリッカ影響回避タイミングであり、輝度差周期特性グラフＧ上の“▼”の位置がフリッカ影響回避タイミングである。フリッカ影響回避タイミング、すなわち、輝度差周期特性グラフＧ上の“▼”の位置は、“時間間間隔Ｂ１＋時間間隔Ｂ２”の一定の周期で現れる。
【０１２６】
フリッカ影響回避タイミングを検出することは、ラインフリッカの影響を回避した撮像を実現するために重要である。そこで、撮像素子２０では、処理回路９４によって、第１処理と同様に第１フレームレートで測定検出処理が実行される。換言すると、処理回路９４によって実行される処理には、測定検出処理が含まれる。
【０１２７】
測定検出処理とは、撮像画像データのフレーム間の輝度差を測定し、測定した輝度差に基づいてフリッカ影響回避タイミングを検出する処理を指す。測定検出処理の一例としては、図１２のステップ１〜ステップ３に示す一連の処理が挙げられる。
【０１２８】
フリッカ影響回避タイミングの検出は、輝度差周期特性グラフＧが作成されることを前提として実現される。フリッカ影響回避タイミングの検出精度を高めるためには、輝度差周期特性グラフＧの確度を高める必要がある。輝度差周期特性グラフＧの確度を高めるには、ステップ１での輝度差のサンプリング周波数（＝輝度差の測定回数／１秒）を高める必要がある。しかし、従来の撮像素子が、図１２に示す輝度差のサンプリングを実現するには、撮像画像データを間引く必要があるので、間引いた分だけ輝度差の精度が低くなる。輝度差の精度が低下すると、これに伴って、フリッカ影響回避タイミングが誤検出され易くなる。これに対し、撮像素子２０は、フリッカ影響回避タイミングを検出する上で必要なサンプリング周波数を、撮像画像データを間引くことなく確保することができる。
【０１２９】
フリッカ影響回避タイミングの検出精度を確保するには、サンプリング周波数が過不足なく定められることは重要である。また、消費電力の低減の観点からしても、サンプリング周波数が過不足なく定められることは好ましいことである。
【０１３０】
サンプリング周波数は第１フレームレートによって一意に定まる。そこで、撮像素子２０では、処理回路９４が、フリッカ発生周期に応じて第１フレームレートを定めている。
【０１３１】
また、例えば、レリーズボタン２５が全押し状態にされてから撮像が開始されるまでの間に処理回路９４によって測定検出処理が実行される場合、測定検出処理の処理に要する処理時間（以下、単に「処理時間」と称する）は短いほど良い。処理時間が短くなることは、全押し状態にされてから撮像が開始されるまでのタイムラグが短くなることを意味する。
【０１３２】
本実施形態では、処理時間の一例として、輝度差が“０”になる位置が３回検出されるのに最低限必要な時間が採用されている。輝度差が“０”になる位置が３回検出されるのに最低限必要な時間とは、例えば、図１２に示すように、“▼”の位置が２回検出されるのに最低限必要な時間を意味する。
【０１３３】
なお、本実施形態では、処理時間として、輝度差が“０”になる位置が３回検出されるのに最低限必要な時間を採用しているが、本開示の技術はこれに限定されない。例えば、処理時間は、輝度差が“０”になる位置が２回検出されるのに最低限必要な時間であってもよい。輝度差が“０”になる位置が２回検出されるのに最低限必要な時間とは、一例として図１２のステップ３に示す時間間隔Ｂ１が検出されるのに最低限必要な時間を指す。時間間隔Ｂ１が検出されることで、その後、時間間隔Ｂ１と同じ時間間隔で輝度差が“０”になるとみなせば、輝度差が“０”になる位置が３回検出される場合と同様に、フリッカ影響回避タイミングが特定される。
【０１３４】
処理回路９４は、フリッカ発生周期に応じて処理時間を定めている。例えば、明滅の周波数が１００Ｈｚの明滅光源が明滅している環境下で撮像が行われる場合、処理回路９４は、第１フレームレートの高フレームレートとして、第１の高フレームレートを設定する。本実施形態では、第１の高フレームレートの一例として２００ｆｐｓが採用されている。この場合、処理回路９４は、処理時間として３０ｍｓ（＝１０ｍｓ（＝１／１００Ｈｚ）×３回）を設定する。ここで、“３回”とは、輝度差が“０”になる位置の回数を指す。
【０１３５】
また、例えば、明滅の周波数が１２０Ｈｚの明滅光源が明滅している環境下で撮像が行われる場合、処理回路９４は、第１フレームレートを第２の高フレームレートに設定する。本実施形態では、第２の高フレームレートの一例として、２４０ｆｐｓが採用されている。この場合、処理回路９４は、処理時間として２５ｍｓ（＝８．３３ｍｓ（＝１／１２０Ｈｚ）×３回）を設定する。ここで、“３回”とは、輝度差が“０”になる位置の回数を指す。
【０１３６】
上記の３０ｍｓ及び２５ｍｓの処理時間は最低限の処理時間であり、これよりも長い処理時間であってもよい。被写体の動き又は手振れ等を考慮した場合、輝度差が“０”になる位置を３回検出するには上記の３０ｍｓ及び２５ｍｓの処理時間では足りない可能性があるからである。この場合、例えば、処理回路９４が被写体の動き又は手振れの度合いを検出し、検出結果に応じて、上記の３０ｍｓ及び２５ｍｓの処理時間に対して、必要な時間を加えればよい。
【０１３７】
また、輝度差周期特性グラフＧの確度を高めるには、サンプリング周波数を高くした方が良い。例えば、サンプリング周波数が２００Ｈｚの場合は、一例として図１３に示すように、明滅光源の１周期において、輝度差が３回測定される。また、例えば、サンプリング周波数が４００Ｈｚの場合は、一例として図１４に示すように、明滅光源の１周期において、輝度差が５回測定される。更に、例えば、サンプリング周波数が８００Ｈｚの場合は、一例として図１５に示すように、明滅光源の１周期において、輝度差が９回測定される。
【０１３８】
次に、撮像装置１０の本開示の技術に係る部分の作用について説明する。
【０１３９】
ＣＰＵ５２は、撮像処理を開始する指示が操作部５４によって受け付けられた場合に、撮像プログラム６０Ａに従って撮像処理を実行する。以下、ＣＰＵ５２によって実行される撮像処理について図１６を参照して説明する。なお、以下では、説明の便宜上、明滅光源が蛍光灯であり、蛍光灯のみの照明下で撮像装置１０によって被写体が撮像され、被写体を示す静止画像が取得される場合について説明する。また、以下では、説明の便宜上、レリーズボタン２５が半押し状態の場合にＡＦ及びＡＥの両方が実行されることを前提として説明する。
【０１４０】
図１６に示す撮像処理では、先ず、ステップ１００で、ＣＰＵ５２は、撮像素子２０及び表示制御部を制御することで、表示装置に対してライブビュー画像の表示を開始させ、その後、ステップ１０２へ移行する。本ステップ１００では、ＣＰＵ５２は、撮像素子２０に対して第１フレームレートで撮像を開始させ、撮像素子２０により撮像されることで得られたライブビュー画像を表示制御部に出力する。表示制御部は、入力されたライブビュー画像を表示装置に対して表示させる。
【０１４１】
ステップ１０２で、ＣＰＵ５２は、レリーズボタン２５が半押し状態か否かを判定する。ステップ１０２において、レリーズボタン２５が半押し状態の場合は、判定が肯定されて、撮像処理はステップ１０４へ移行する。ステップ１０２において、レリーズボタン２５が半押し状態でない場合は、判定が否定されて、撮像処理はステップ１１２へ移行する。
【０１４２】
ステップ１０４で、ＣＰＵ５２は、ＡＦ及びＡＥが実行中か否かを判定する。ステップ１０４において、ＡＦ及びＡＥが実行中でない場合は、判定が否定されて、撮像処理はステップ１０６へ移行する。ステップ１０４において、ＡＦ及びＡＥが実行中の場合は、判定が肯定されて、撮像処理はステップ１０８へ移行する。
【０１４３】
ステップ１０６で、ＣＰＵ５２は、ＡＦ及びＡＥの実行を開始し、その後、撮像処理はステップ１０８へ移行する。
【０１４４】
ステップ１０８で、ＣＰＵ５２は、撮像処理を終了する条件である撮像処理終了条件を満足したか否かを判定する。撮像処理終了条件としては、例えば、撮像処理を終了させる指示がタッチパネル４２及び／又は操作部５４によって受け付けられたとの条件が挙げられる。また、撮像処理終了条件としては、例えば、撮像処理が開始されてからステップ１１２において判定が肯定されない時間が予め定められた時間を超えたとの条件が挙げられる。ここで言う「予め定められた時間」とは、例えば、５分を指す。予め定められた時間は、固定値であってもよいし、ユーザから与えられた指示に応じて変更可能な可変値であってもよい。
【０１４５】
ステップ１０８において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理はステップ１１０へ移行する。ステップ１０８において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップ１０２へ移行する。
【０１４６】
ステップ１１２で、ＣＰＵ５２は、レリーズボタン２５が全押し状態か否かを判定する。ステップ１１２において、レリーズボタン２５が全押し状態の場合は、判定が肯定されて、撮像処理はステップ１１４へ移行する。ステップ１１２において、レリーズボタン２５が全押し状態でない場合、すなわち、レリーズボタン２５が押下されていない場合は、判定が否定されて、撮像処理はステップ１２２へ移行する。
【０１４７】
ステップ１２２で、ＣＰＵ５２は、ＡＦ及びＡＥが実行中か否かを判定する。ステップ１２２において、ＡＦ及びＡＥが実行中でない場合は、判定が否定されて、撮像処理はステップ１０８へ移行する。ステップ１２２において、ＡＦ及びＡＥが実行中の場合は、判定が肯定されて、撮像処理はステップ１２４へ移行する。
【０１４８】
ステップ１２４で、ＣＰＵ５２は、ＡＦ及びＡＥの実行を終了し、その後、撮像処理はステップ１０８へ移行する。
【０１４９】
ステップ１１４で、ＣＰＵ５２は、ＡＦ及びＡＥの実行を終了し、その後、撮像処理はステップ１１６へ移行する。
【０１５０】
ステップ１１６で、ＣＰＵ５２は、フリッカ回避撮像処理の実行開始を撮像素子２０に対して指示し、その後、撮像処理はステップ１１８へ移行する。
【０１５１】
ステップ１１６の処理がＣＰＵ５２によって実行されることでフリッカ回避撮像処理の実行開始が撮像素子２０に対して指示されると、撮像素子２０の処理回路９４は、フリッカ回避撮像処理を実行する。
【０１５２】
ここで、処理回路９４によって実行されるフリッカ回避撮像処理について図１７を参照して説明する。なお、以下では、説明の便宜上、第１フレームレートとして低フレームレートが採用されている状態でフリッカ回避撮像処理が開始されることを前提として説明する。
【０１５３】
図１７に示すフリッカ回避撮像処理では、先ず、ステップ１５０で、処理回路９４は、図１６に示す撮像処理の実行が開始されてから、フリッカ回避撮像処理の実行が１回目か否かを判定する。換言すると、処理回路９４は、図１６に示す撮像処理の実行が開始されてから、フリッカ回避撮像処理が初めて実行されたか否かを判定する。
【０１５４】
ステップ１５０において、図１６に示す撮像処理の実行が開始されてから、本フリッカ回避撮像処理の実行が１回目の場合は、判定が肯定されて、フリッカ回避撮像処理はステップ１５２へ移行する。ステップ１５０において、図１６に示す撮像処理の実行が開始されてから、本フリッカ回避撮像処理の実行が１回目でない場合、すなわち、２回目以降の場合は、判定が否定されて、フリッカ回避撮像処理はステップ１８０へ移行する。
【０１５５】
ステップ１５２で、処理回路９４は、電源周波数情報を取得し、その後、フリッカ回避撮像処理はステップ１５４へ移行する。電源周波数情報とは、蛍光灯に対して供給される電力の供給源として使用している商用電源の周波数を示す情報を指す。電源周波数情報は、例えば、タッチパネル５２及び／又は操作部５４によって受け付けられ、ＣＰＵ５２及びデバイス制御部７４を介して処理回路９４によって取得される。
【０１５６】
ステップ１５４で、処理回路９４は、ステップ１５２で取得した電源周波数情報に基づいてフリッカ発生周期を算出し、その後、フリッカ回避撮像処理はステップ１５６へ移行する。本ステップ１５４では、例えば、電源周波数情報により示される周波数が５０Ｈｚの場合、フリッカ発生周期として１０ｍｓが算出され、電源周波数情報により示される周波数が６０Ｈｚの場合、フリッカ発生周期として８．３３ｍｓが算出される。
【０１５７】
ステップ１５６で、処理回路９４は、ステップ１５４で算出したフリッカ発生周期に応じて第１フレームレートの高フレームレートを決定する。すなわち、処理回路９４は、第１フレームレートの高フレームレートとして、第１の高フレームレート及び第２の高フレームレートの何れかを決定する。
【０１５８】
本ステップ１５６では、ステップ１５４で算出されたフリッカ発生周期が１０ｍｓの場合、第１フレームレートの高フレームレートは、第１の高フレームレート及び第２の高フレームレートのうちの第１の高フレームレートに決定される。また、ステップ１５４で算出されたフリッカ発生周期が８．３３ｍｓの場合、第１フレームレートの高フレームレートは、第１の高フレームレート及び第２の高フレームレートのうちの第２の高フレームレートに決定される。
【０１５９】
次のステップ１６０で、処理回路９４は、第１フレームレートを、低フレームレートから、ステップ１５６で決定された高フレームレートに変更し、その後、フリッカ回避撮像処理はステップ１６２へ移行する。
【０１６０】
ステップ１６２で、処理回路９４は、上述した処理時間を算出し、その後、フリッカ回避撮像処理はステップ１６４へ移行する。
【０１６１】
ステップ１６４で、画像処理回路９４Ｃは、メモリ９６に記憶されている最新の撮像画像データから輝度を取得し、その後、ステップ１６６へ移行する。ここで言う「最新の撮像画像データ」は、本開示の技術に係る「第２撮像画像データ」の一例である。
【０１６２】
ステップ１６６で、画像処理回路９４Ｃは、メモリ９６に記憶されている複数フレームの撮像画像データのうち、最新の撮像画像データの１フレーム前の撮像画像データから輝度を取得し、その後、フリッカ回避撮像処理はステップ１６８へ移行する。ここで言う「最新の撮像画像データの１フレーム前の撮像画像データ」は、本開示の技術に係る「第１撮像画像データ」の一例である。
【０１６３】
ステップ１６８で、画像処理回路９４Ｃは、輝度差を算出し、その後、フリッカ回避撮像処理はステップ１７０へ移行する。本ステップ１６８の処理が実行されることで算出される輝度差は、ステップ１６６で取得した輝度から、ステップ１６４で取得した輝度を減じた減算結果である。よって、“ステップ１６６で取得した輝度＞ステップ１６４で取得した輝度”であれば、輝度差は正値となり、“ステップ１６６で取得した輝度＜ステップ１６４で取得した輝度”であれば、輝度差は負値となる。また、“ステップ１６６で取得した輝度＝ステップ１６４で取得した輝度”であれば、輝度差は“０”となる。
【０１６４】
ステップ１７０で、画像処理回路９４Ｃは、ステップ１６２の実行が終了してから、ステップ１６２で算出された処理時間が経過したか否かを判定する。ステップ１７０において、ステップ１６２で算出された処理時間が経過していない場合は、判定が否定されて、フリッカ回避撮像処理はステップ１６４へ移行する。ステップ１７０において、ステップ１６２で算出された処理時間が経過した場合は、判定が肯定されて、フリッカ回避撮像処理はステップ１７２へ移行する。
【０１６５】
ステップ１７２で、画像処理回路９４Ｃは、輝度差の算出を打ち切って光量ピーク周期を算出し、その後、ステップ１７４へ移行する。光量ピークとは、撮像画像の明るさのピークを意味する。光量ピーク周期とは、フリッカ影響回避タイミングを規定する周期を指す。図１２に示す例では、ステップ３の”時間間隔Ｂ１＋時間間隔Ｂ２”の時間が、光量ピーク周期の１周期分に相当する。
【０１６６】
また、ステップ１７２において、輝度差の算出を打ち切るとは、輝度差が正値から負値に２回転じたことを条件に測定検出処理を打ち切ることを意味する。例えば、図１８に示すように、輝度差周期特性グラフＧにおいて輝度差が“０”になる位置が３点検出された場合に、輝度差の算出は打ち切られる。なお、図１８に示す例では、輝度差が“０”になる位置の３点が最短期間で検出される一例と、輝度差が“０”になる位置の３点が最長期間で検出される一例とが示されている。また、図１８に示す例では、光量ピーク周期は、２つの“▼”の位置間の時間間隔によって規定される。
【０１６７】
一例として図２１に示すように、ステップ１７２の処理が実行されることで光量ピーク周期が算出されると、以降、ステップ１７２で算出された最新の光量ピーク周期に従って表示用フレームが出力回路９４Ｄから後段回路９０に出力される。表示用フレームが出力回路９４Ｄから後段回路９０に出力されると、表示用フレームは、ＣＰＵ５２の制御下で、ライブビュー画像として表示装置に表示される。ここで言う「表示用フレーム」とは、画像処理回路９４Ｃがメモリ９６から読み出した撮像画像データに対して処理を施して得たライブビュー画像用の出力用画像データを指す。
【０１６８】
ステップ１７４で、処理回路９４は、ステップ１７２で算出された光量ピーク周期に基づいて、撮像画像の光量ピークのタイミングが到来したか否かを判定する。ここで言う「撮像画像の光量ピークのタイミング」は、本開示の技術に係る「フリッカ影響回避タイミング」の一例である。
【０１６９】
ステップ１７４において、撮像画像の光量ピークのタイミングが到来していない場合は、判定が否定されて、ステップ１７４の判定が再び行われる。ステップ１７４において、撮像画像の光量ピークのタイミングが到来した場合は、判定が肯定されて、フリッカ回避撮像処理はステップ１７６へ移行する。
【０１７０】
ところで、一例として図１９に示すように、電子シャッタのローリングずれの影響は、メカニカルシャッタのローリングずれの影響よりも大きいことが一般的に知られている。よって、撮像素子２０においても、“電子シャッタのローリングずれの時間＞＞メカニカルシャッタ７２のローリングずれの時間”の場合、一例として図２０に示すように、表示装置の画面内に２本のラインフリッカが現れることがある。“フリッカ発生周期≒ローリングずれの時間”の場合も同様である。
【０１７１】
そこで、ステップ１７６で、光電変換素子駆動回路９４Ａは、フリッカ影響回避タイミングに基づいてクロップ領域を設定する。そして、光電変換素子駆動回路９４Ａは、光電変換素子９２の撮像領域のうち、設定したクロップ領域内で被写体を撮像し、その後、ステップ１７８へ移行する。なお、本実施形態では、本ステップ１７６の処理が実行されることで撮像されて得られた撮像画像データに基づく出力用画像データは静止画像データであるが、本開示の技術はこれに限定されない。例えば、本ステップ１７６の処理が実行されることで撮像されて得られた撮像画像データに基づく出力用画像データを記録用の動画像データとして用いることも勿論可能である。
【０１７２】
クロップ領域は、フリッカ影響回避タイミングに応じて定められたクロップ係数によって定められる。本ステップ１７６では、記憶回路９４Ｅに記憶されているクロップ係数導出テーブル９８からクロップ係数が導出される。クロップ係数導出テーブル９８は、光量ピーク周期とクロップ係数とが対応付けられたテーブルである。クロップ係数導出テーブル９８のクロップ係数は、光電変換素子９２の撮像領域のうち、ラインフリッカの影響を回避した撮像領域を規定する係数である。
【０１７３】
処理回路９４は、クロップ係数導出テーブル９８から、ステップ１７２で算出された光量ピーク周期に対応するクロップ係数を導出する。光電変換素子駆動回路９４Ａは、クロップ係数導出テーブル９８から導出されたクロップ係数に従って、ラインフリッカの影響を回避したクロップ領域を設定し、設定したクロップ領域内で被写体を撮像する。本ステップ１７６の処理が実行されることで、一例として図２０に示すように、表示装置では、クロップ領域に相当する画像領域がラインフリッカ間に位置することになり、ラインフリッカの画面への写り込みが抑制される。
【０１７４】
つまり、本ステップ１７６の処理が実行されることで、ラインフリッカの発生タイミングを回避したタイミングで、かつ、表示装置にラインフリッカが現れないクロップ領域で被写体が撮像されることになる。
【０１７５】
ステップ１７８で、処理回路９４は、ステップ１７６で撮像されることにより得られた撮像画像データに基づいて静止画像データを生成し、生成した静止画像データを後段回路９０に出力し、撮像処理はステップ１７９へ移行する。すなわち、本ステップ１７８では、光電変換素子駆動回路９４Ａは、光電変換素子９２の撮像領域のうちのクロップ領域で撮像して得た撮像画像データをＡＤ変換回路９４Ｂに出力する。ＡＤ変換回路９４Ｂは、入力された撮像画像データをデジタル化してメモリ９６に記憶する。画像処理回路９４Ｃは、メモリ９６から撮像画像データを読み出し、読み出した撮像画像データに処理を施し、静止画像データを生成し、生成した静止画像データを出力回路９４Ｄに出力する。出力回路９４Ｄは、出力用画像データを第２フレームレートで後段回路９０のＩ／Ｆ５６に出力する。なお、静止画像データは、本開示の技術に係る「出力用画像データ」の一例である。
【０１７６】
ステップ１７９で、処理回路９４は、第１フレームレートを、高フレームレートから、低フレームレートに変更し、その後、フリッカ回避撮像処理を終了する。
【０１７７】
ところで、撮像装置１０は温度変化の影響を受けることでクロックがずれるので、商用電源の周波数に基づく実際のフリッカ発生周期とステップ１７２で算出した光量ピーク周期とがずれることが起こり得る。つまり、一例として図２３に示すように、明滅光源の特性である光源明滅特性は、数時間後に異なってしまうことがある。このように光源明滅特性がずれているにも拘わらず、撮像素子２０から出力される表示用フレームをそのままライブビュー画像として表示装置に表示されると、ラインフリッカが現れる虞がある。
【０１７８】
そこで、ステップ１８０で、処理回路９４は、輝度差確認タイミングが到来したか否かを判定する。輝度差確認タイミングとは、現時点の輝度差が、前回のステップ１６４〜ステップ１７０の処理が実行されることで得られた輝度差に基づく輝度差周期特性グラフＧから逸脱しているか否かを確認するタイミングとして予め定められたタイミングを指す。
【０１７９】
予め定められたタイミングとは、実機による試験及び／又はコンピュータ・シミュレーション等により、撮像装置１０が温度変化の影響を受けることでクロックがずれてラインフリッカが表示装置の画面内に現れるタイミングとして予め導出されたタイミングを指す。輝度差確認タイミングとしては、例えば、前回のステップ１６８の処理の実行から第１既定時間（例えば、３０分）が経過したタイミング、又は、撮像装置１０の電源がオンされてから第２既定時間（例えば、１時間）が経過したタイミング等が挙げられる。
【０１８０】
ステップ１８０において、輝度差確認タイミングが到来していない場合は、判定が否定されて、フリッカ回避撮像処理はステップ１７４へ移行する。ステップ１８０において、輝度差確認タイミングが到来した場合は、判定が肯定されて、フリッカ回避撮像処理はステップ１８１へ移行する。なお、輝度差確認タイミングが到来した場合は、本開示の技術に係る「予め定められた条件を満足した場合」の一例である。
【０１８１】
ステップ１８１で、処理回路９４は、第１フレームレートを、低フレームレートから、ステップ１５６で決定された高フレームレートに変更し、その後、フリッカ回避撮像処理はステップ１８２へ移行する。
【０１８２】
ステップ１８２で、画像処理回路９４Ｃは、メモリ９６に記憶されている最新の撮像画像データから輝度を取得し、その後、ステップ１８４へ移行する。
【０１８３】
ステップ１８４で、画像処理回路９４Ｃは、メモリ９６に記憶されている複数フレームの撮像画像データのうち、最新の撮像画像データの１フレーム前の撮像画像データから輝度を取得し、その後、フリッカ回避撮像処理はステップ１８６へ移行する。
【０１８４】
ステップ１８６で、画像処理回路９４Ｃは、輝度差を算出し、その後、フリッカ回避撮像処理はステップ１８８へ移行する。本ステップ１８６の処理が実行されることで算出される輝度差は、ステップ１８４で取得した輝度から、ステップ１８２で取得した輝度を減じた減算結果である。
【０１８５】
ステップ１８８で、画像処理回路９４Ｃは、ステップ１８６で算出した輝度差が、前回のステップ１６４〜ステップ１７０の処理が実行されることで得られた輝度差に基づく輝度差周期特性グラフＧからずれているか否かを判定する。
【０１８６】
ステップ１８８において、ステップ１８６で算出した輝度差が、前回のステップ１６４〜ステップ１７０の処理が実行されることで得られた輝度差に基づく輝度差周期特性グラフＧからずれていない場合は、判定が否定されて、フリッカ回避撮像処理はステップ１７４へ移行する。すなわち、ステップ１８６で算出した輝度差が、前回のステップ１６４〜ステップ１７０の処理が実行されることで得られた輝度差に基づく輝度差周期特性グラフＧ上にない場合は、判定が否定される。
【０１８７】
ステップ１８８において、ステップ１８６で算出した輝度差が、前回のステップ１６４〜ステップ１７０の処理が実行されることで得られた輝度差に基づく輝度差周期特性グラフＧからずれている場合は、判定が肯定されて、フリッカ回避撮像処理はステップ１６４へ移行する。すなわち、ステップ１８６で算出した輝度差が、前回のステップ１６４〜ステップ１７０の処理が実行されることで得られた輝度差に基づく輝度差周期特性グラフＧ上にある場合は、判定が肯定される。
【０１８８】
図１６に示す撮像処理では、ステップ１１８で、ＣＰＵ５２は、図１７に示すフリッカ回避撮像処理のステップ１７８の処理が実行されることで出力回路９４Ｄから出力された静止画像データが後段回路９０のＩ／Ｆ５６に入力されたか否かを判定する。ステップ１１８において、静止画像データが後段回路９０のＩ／Ｆ５６に入力されていない場合は、判定が否定されて、ステップ１１８の判定が再び行われる。ステップ１１８において、静止画像データが後段回路９０のＩ／Ｆ５６に入力された場合は、判定が肯定されて、撮像処理はステップ１２０へ移行する。
【０１８９】
ステップ１２０で、ＣＰＵ５２は、静止画像データを取得し、各種処理を実行し、その後、ステップ１０８へ移行する。ここで言う「各種処理」には、例えば、静止画像データを画像処理部６２に出力する処理が含まれる。静止画像データが画像処理部６２に出力されると、例えば、画像処理部６２は、静止画像データに対して信号処理を施し、信号処理を施した静止画像データを外部Ｉ／Ｆ６３を介して外部装置（図示省略）に出力する。ここで言う「外部装置」としては、例えば、メモリカード、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、及びサーバ等が挙げられる。
【０１９０】
図１６に示すステップ１１０で、ＣＰＵ５２は、ライブビュー画像の表示を終了し、その後、撮像処理を終了する。
【０１９１】
図１６に示す撮像処理及び図１７に示すフリッカ回避撮像処理が実行されると、一例として図２２に示すシーケンシャル処理が実行される。
【０１９２】
ここで、図２２に示すシーケンシャル処理について説明する。先ず、レリーズボタン２５が押下されていない状態では、表示装置にライブビュー画像が表示され、かつ、撮像素子２０の処理回路９４では、低フレームレートで第１処理が実行される。
【０１９３】
レリーズボタン２５が押下されて半押し状態になると、ＡＦ及びＡＥが実行される。また、レリーズボタン２５が半押し状態になったとしても、表示装置にライブビュー画像が表示され、かつ、撮像素子２０の処理回路９４では、低フレームレートで第１処理が実行される。
【０１９４】
レリーズボタン２５が全押し状態になると、処理回路９４によって第１処理に加えて、測定検出処理も実行される。第１処理及び測定検出処理は、ステップ１５６の処理で決定された高フレームレートで実行される。また、レリーズボタン２５が全押し状態になったとしても、表示装置の画面はブラックアウトせずに、表示装置の画面にはライブビュー画像が表示される。
【０１９５】
撮像素子２０は、測定検出処理が終了すると、光量ピークの到来を待ってから撮像を開始する。光量ピークの到来を待つとは、例えば、図１７に示すフリッカ回避撮像処理のステップ１７４の判定が肯定されるまで待つことを意味する。
【０１９６】
撮像素子２０による撮像が終了すると、表示装置にライブビュー画像が表示され、かつ、撮像素子２０の処理回路９４では、低フレームレートで第１処理が実行される。
【０１９７】
以上説明したように、撮像装置１０には、処理回路９４及びメモリ９６が内蔵されている。撮像装置１０では、被写体が第１フレームレートで撮像され、撮像されることで得られた撮像画像データがメモリ９６に記憶される。また、メモリ９６に記憶された撮像画像データに基づく処理が画像処理回路９４Ｃにより行われる。撮像画像データに基づく出力用画像データが出力回路９４Ｄにより第２フレームレートで後段回路９０に出力される。そして、第１フレームレートがフリッカ発生周期に応じて定められ、処理回路９４により、複数フレーム分の撮像画像データに基づいてフリッカ影響回避タイミングが検出される。従って、撮像装置１０では、フリッカ発生周期に応じて定められた第１フレームレートに従ってフリッカ影響回避タイミングで撮像が行われることになるので、フリッカの影響を回避した撮像が実現される。
【０１９８】
また、撮像装置１０では、処理回路９４により実行される測定検出処理の処理時間がフリッカ発生周期に応じて定められる。従って、撮像装置１０は、撮像画像データのフレーム間の輝度差を用いない場合に比べ、測定検出処理に要する処理時間を過不足なく定めることができる。
【０１９９】
また、撮像装置１０では、輝度差が正値から負値に転じるタイミングをフリッカ影響回避タイミングとしている。従って、撮像装置１０は、撮像画像が最も明るくなるタイミングをフリッカ影響回避タイミングとして検出することができる。
【０２００】
また、撮像装置１０では、輝度差が正値から負値に２回転じたことを条件に測定検出処理が打ち切られる。従って、撮像装置１０は、測定検出処理に要する処理時間を必要最低限の時間にすることができる。
【０２０１】
また、撮像装置１０では、第１フレームレートは、測定検出処理が行われた後、フリッカ回避撮像処理に含まれるステップ１８０において判定が肯定される迄の間、測定検出処理でのフレームレートよりも低いフレームレートに設定される。従って、撮像装置１０は、測定検出処理以外の処理でも測定検出処理でのフレームレートが適用される場合に比べ、消費電力を低減することができる。
【０２０２】
また、撮像装置１０では、フリッカ回避撮像処理に含まれるステップ１８０において判定が肯定された場合に、処理回路９４により、測定検出処理の実行が再開される。従って、撮像装置１０は、常に測定検出処理が実行される場合に比べ、消費電力を低減することができる。
【０２０３】
また、撮像装置１０では、フリッカ回避撮像処理に含まれるステップ１８０において判定が肯定され、かつ、ステップ１８８において判定が肯定された場合に、測定検出処理の実行が再開される。従って、撮像装置１０は、測定検出処理の不要な実行を回避することができる。
【０２０４】
また、撮像装置１０では、撮像画像の明るさがピークになった場合に撮像が行われる（ステップ１７４，１７６）。従って、撮像装置１０は、撮像画像の明るさがピークに達するタイミングと異なるタイミングで撮像が行われる場合に比べ、明るい撮像画像を得ることができる。
【０２０５】
また、撮像装置１０では、光量ピークのタイミングで撮像されることにより得られた出力用画像データが出力回路９４Ｄから後段回路９０に出力される。従って、撮像装置１０は、フリッカの影響が回避された出力用画像データを出力することができる。
【０２０６】
また、撮像装置１０では、表示制御部が、出力用画像データに基づく画像を表示装置に対して表示させる制御を行う。従って、撮像装置１０は、フリッカの影響が回避された画像を表示装置に対して表示させることができる。
【０２０７】
また、撮像装置１０では、フリッカ影響回避タイミングに応じて定められたクロップ係数に従って選択された撮像領域であるクロップ領域内で撮像される。従って、撮像装置１０は、光電変換素子９２の全撮像領域で撮像が行われる場合に比べ、ラインフリッカの画像への写り込みを抑制することができる。
【０２０８】
また、撮像装置１０では、フリッカ発生周期が、商用電源から交流電力が供給されることで明滅する明滅光源に起因して生じるフリッカの発生周期として予め定められている。従って、撮像装置１０は、フリッカ発生周期が予め定められていない場合に比べ、フリッカ発生周期を定める手間を軽減することができる。
【０２０９】
また、撮像装置１０では、電源周波数情報により示される周波数が５０Ｈｚの場合、フリッカ発生周期として１０ｍｓが算出され、電源周波数情報により示される周波数が６０Ｈｚの場合、フリッカ発生周期として８．３３ｍｓが算出される。そして、フリッカ発生周期が１０ｍｓの場合、第１フレームレートの高フレームレートは、第１の高フレームレート及び第２の高フレームレートのうちの第１の高フレームレートに決定される。フリッカ発生周期が８．３３ｍｓの場合、第１フレームレートの高フレームレートは、第１の高フレームレート及び第２の高フレームレートのうちの第２の高フレームレートに決定される。つまり、第１フレームレートは、フリッカ発生周期が短くなるに従って高くなる。従って、撮像装置１０は、第１フレームレートが固定化されている場合に比べ、フリッカ影響回避タイミングの検出精度を高めることができる。
【０２１０】
また、撮像装置１０では、撮像画像データは、被写体がローリングシャッタ方式で撮像されることにより得られた画像データである。従って、撮像装置１０は、被写体がローリングシャッタ方式で撮像される場合に生じるフリッカの影響を回避することができる。
【０２１１】
更に、撮像装置１０では、光電変換素子９２に対して処理回路９４及びメモリ９６が積層された積層型撮像素子が撮像素子２０として採用されている。従って、撮像装置１０は、光電変換素子９２に記憶部が積層されていないタイプの撮像素子を用いる場合に比べ、フリッカ影響回避タイミングの検出精度を高めることができる。
【０２１２】
なお、上記実施形態では、隣接するフレームのうちの一方のフレームの撮像画像の全体の平均輝度と他方のフレームの撮像画像の全体の平均輝度との差を輝度差として例示したが、本開示の技術はこれに限定されない。１フレーム分の撮像画像の全体を輝度差の算出対象とすると、輝度差の算出精度が被写体の動き及び／又は手振れの影響により、撮像画像の全体の輝度がフレーム間で大きく変わることがある。例えば、図２４に示すように、輝度差Ｃｎ及び輝度差Ｃｎ＋１は、被写体の動き及び／又は手振れの影響を受けている。この場合、輝度差周期特性グラフＧの確度が低下し、これに伴って、フリッカ影響回避タイミングの検出精度も低下する虞がある。
【０２１３】
被写体の動き及び／又は手振れの影響を軽減するためには、撮像画像データのフレーム間で互いに対応する一部領域の輝度差が算出されるようにすればよい。例えば、図２５に示すように、１フレームの撮像画像は垂直方向に２分割されることで第１及び第２分割画像の２つの分割画像に分けられ、隣接するフレーム間で、位置が対応する分割画像間の輝度差が算出される。そして、第１及び第２分割画像のうち、被写体の動き及び／又は手振れの影響が少ない方の分割画像間の輝度差が採用されるようにすればよい。図２５に示す例では、第１分割画像の輝度差よりも第２分割画像の輝度差の方が被写体の動き及び／又は手振れの影響が少ないので、第２分割画像の輝度差が採用されることになる。
【０２１４】
また、撮像画像の分割数は３以上であってもよいし、撮像画像を垂直方向ではなく水平方向に分割するようにしてもよいし、撮像画像を垂直方向に分割するだけでなく、水平方向にも分割するようにしてもよい。このように、分割画像数を増やすことは、被写体の動き及び／又は手振れの他にも輝度差の算出精度に影響を及ぼす要因がある場合に有効である。例えば、極端に明るい光源が存在する環境下で撮像が行われる場合、画素信号が飽和してフレーム間の輝度差の算出が困難になるので、分割画像数を増やすことで、算出対象となるエリアを確保することができる。
【０２１５】
また、上記実施形態では、隣接するフレーム間の輝度差が算出される場合について説明したが、本開示の技術はこれに限定されない。例えば、メモリ９６には複数フレームの撮像画像データが記憶されるので、最新の撮像画像データの２フレーム以上後に撮像されることで得られた撮像画像データの輝度と最新の撮像画像データの輝度との輝度差が算出されるようにしてもよい。図１１に示す例では、第１フレームと第２フレームとの間の撮像画像データの輝度差ではなく、第１フレームと第３フレームとの間の撮像画像データの輝度差が算出されるようにすればよい。この場合、第１フレームの撮像画像データが本開示の技術に係る「第１撮像画像データ」の一例であり、第３フレームの撮像画像データが本開示の技術に係る「第２撮像画像データ」の一例である。
【０２１６】
なお、最新の撮像画像データの２フレーム以上後に撮像されることで得られた撮像画像データの輝度と最新の撮像画像データの輝度との輝度差を算出する場合も、上記実施形態と同様に、測定検出処理の処理時間は、少なくとも輝度差が正値から負値に２回転じるのに要する時間が算出される。
【０２１７】
また、上記実施形態では、クロップ係数導出テーブル９８を例示したが、本開示の技術はこれに限定されない。例えば、光量ピーク周期を独立変数とし、クロップ係数を従属変数としたクロップ係数導出演算式を用いてクロップ係数が算出されるようにしてもよい。
【０２１８】
また、上記実施形態では、ラインフリッカを例示したが、本開示の技術はこれに限定されず、面単位で明滅する面フリッカについても本開示の技術は適用可能である。
【０２１９】
また、上記実施形態では、商用電源の周波数に従って明滅する明滅光源を例示したが、商用電源の周波数とは無関係に明滅する明滅光源が明滅している環境下で撮像装置１０によって撮像が行われる場合であっても本開示の技術は適用可能である。この場合、図１７に示すフリッカ回避撮像処理において、ステップ１５２は不要となり、ステップ１５４の処理に代えて、例えば、タッチパネル４２及び／又は操作部５４を介してフリッカ発生周期を受け付ける処理を適用すればよい。
【０２２０】
また、上記実施形態では、消費電力の低減の観点から、第１フレームレートが低フレームレートから高フレームレートに変更される形態例を挙げて説明したが、高フレームレートのみが設定されるようにしてもよい。
【０２２１】
また、上記実施形態では、輝度差確認タイミングとして第１既定時間又は第２既定時間が経過したタイミングを例示したが、本開示の技術はこれに限定されない。例えば、輝度差確認タイミングは、タッチパネル４２及び／操作部５４を介してユーザから輝度差を確認する指示が与えられたタイミングであってもよい。
【０２２２】
また、上記実施形態では、本開示の技術に係る「予め定められた条件を満足した場合」の一例として、フリッカ回避撮像処理に含まれるステップ１８０において判定が肯定される場合、すなわち、輝度差確認タイミングが到来した場合を挙げたが、本開示の技術はこれに限定されない。例えば、タッチパネル４２及び／又は操作部５４によって、フリッカ回避撮像処理のステップ１８１以降の処理の実行を開始する指示として予め定められた指示が受け付けられた場合にフリッカ回避撮像処理のステップ１８１以降の処理が実行されるようにしてもよい。また、撮像装置１０の電源がオンされた状態において、静止画撮像の指示が予め定められた回数（例えば、２００回）に到達した場合にステップ１８１以降の処理が実行されるようにしてもよい。
【０２２３】
また、上記実施形態では、ステップ１８０〜１８８の処理が実行されたことを条件にステップ１６４以降の処理が再び実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、前回のステップ１６８の処理の実行から上述した第１既定時間が経過したタイミング、又は、撮像装置１０の電源がオンされてから上述した第２既定時間が経過したタイミングでステップ１６４以降の処理が再び実行されるようにしてもよい。また、タッチパネル４２及び／又は操作部５４によって、フリッカ回避撮像処理のステップ１６４以降の処理の実行を再開する指示として予め定められた指示が受け付けられた場合にフリッカ回避撮像処理のステップ１６４以降の処理が再び実行されるようにしてもよい。更に、撮像装置１０の電源がオンされた状態において、静止画撮像の指示が上述した予め定められた回数に到達した場合にステップ１６４以降の処理が実行されるようにしてもよい。
【０２２４】
また、上記実施形態では、ＡＳＩＣによって実現される処理回路９４を例示したが、上述したフリッカ回避撮像処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。
【０２２５】
この場合、例えば、図２６に示すように、上述したフリッカ回避撮像処理を撮像素子２０に内蔵されたコンピュータ２０Ａに実行させるためのプログラム６００を記憶媒体７００に記憶させておく。コンピュータ２０Ａは、ＣＰＵ２０Ａ１、ＲＯＭ２０Ａ２、及びＲＡＭ２０Ａ３を備えている。そして、記憶媒体７００のプログラム６００がコンピュータ２０Ａにインストールされ、コンピュータ２０ＡのＣＰＵ２０Ａ１は、プログラム６００に従って、上述したフリッカ回避撮像処理を実行する。ここでは、ＣＰＵ２０Ａ１として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ２０Ａ１に代えて複数のＣＰＵを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって、上述した撮像処理及び／又はフリッカ回避撮像処理が実行されるようにしてもよい。
【０２２６】
なお、記憶媒体７００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。
【０２２７】
また、通信網（図示省略）を介してコンピュータ２０Ａに接続される他のコンピュータ又はサーバ装置等の記憶部にプログラム６００を記憶させておき、プログラム６００が撮像装置１０等の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラム６００がコンピュータ２０Ａによって実行される。
【０２２８】
また、コンピュータ２０Ａは、撮像素子２０の外部に設けられるようにしてもよい。この場合、コンピュータ２０Ａがプログラム６００に従って処理回路９４を制御するようにすればよい。
【０２２９】
上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。ここで、上記実施形態で説明した各種処理とは、撮像処理及びフリッカ回避撮像処理が挙げられる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。
【０２３０】
本開示の技術に係る各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【０２３１】
１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、本開示の技術に係る各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）などに代表されるように、本開示の技術に係る各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【０２３２】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
【０２３３】
また、上記実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図２７に示すスマートデバイス９００に対して本開示の技術を適用するようにしてもよい。一例として図２７に示すスマートデバイス９００は、本開示の技術に係る撮像装置の一例である。スマートデバイス９００には、上記実施形態で説明した撮像素子２０が搭載されている。このように構成されたスマートデバイス９００であっても、上記実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス９００に限らず、ＰＣ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。
【０２３４】
また、上記実施形態では、表示装置として第１ディスプレイ４０及び第２ディスプレイ８０を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。
【０２３５】
また、上記実施形態で説明した撮像処理及びフリッカ回避撮像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【０２３６】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【０２３７】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【０２３８】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、
【図１】
0006956894.tif 000002
【図２】
0006956894.tif 000003
【図３】
0006956894.tif 000004
【図４】
0006956894.tif 000005
【図５】
0006956894.tif 000006
【図６】
0006956894.tif 000007
【図７】
0006956894.tif 000008
【図８】
0006956894.tif 000009
【図９】
0006956894.tif 000010
【図１０】
0006956894.tif 000011
【図１１】
0006956894.tif 000012
【図１２】
0006956894.tif 000013
【図１３】
0006956894.tif 000014
【図１４】
0006956894.tif 000015
【図１５】
0006956894.tif 000016
【図１６】
0006956894.tif 000017
【図１７】
0006956894.tif 000018
【図１８】
0006956894.tif 000019
【図１９】
0006956894.tif 000020
【図２０】
0006956894.tif 000021
【図２１】
0006956894.tif 000022
【図２２】
0006956894.tif 000023
【図２３】
0006956894.tif 000024
【図２４】
0006956894.tif 000025
【図２５】
0006956894.tif 000026
【図２６】
0006956894.tif 000027
【図２７】
0006956894.tif 000028
【図２８】
0006956894.tif 000029
【図２９】
0006956894.tif 000030
【図３０】
0006956894.tif 000031
【図３１】
0006956894.tif 000032