(57)【要約】【課題】フリッカ光源下においてフリッカ波形を精度よく求める。【解決手段】代表画像の分割領域ごとの測光値に基づいて除外領域が特定され、代表画像以外の画像の各々の分割領域のうち除外領域に対応するものを除く分割領域ごとの測光値が取得される。そして、代表画像の分割領域ごとの測光値のうち除外する測光値を除外した測光値と、代表画像以外の画像の除外領域に対応するものを除く分割領域ごとの測光値とに基づいて、フリッカ波形が生成される。【選択図】図５
2017098777.tif 000002
【特許請求の範囲】
【請求項１】
ローリングシャッタ方式で駆動される撮像素子を備える撮像装置であって、
前記撮像素子により取得された複数の画像ごとに測光値を取得する第１の取得手段と、
前記複数の画像から代表画像を選択する選択手段と、
前記選択手段により選択された前記代表画像を、露光タイミングの異なる複数の領域に分割する第１の分割手段と、
前記第１の分割手段により分割された分割領域ごとの測光値を取得する第２の取得手段と、
前記第２の取得手段により取得された分割領域ごとの測光値に基づいて、フリッカ光源下におけるフリッカ波形の生成に際し除外する測光値に対応する分割領域を特定する特定手段と、
前記第１の分割手段により分割された分割領域に対応させて、前記複数の画像のうち前記代表画像以外の画像の各々を、露光タイミングの異なる複数の領域に分割する第２の分割手段と、
前記第２の分割手段により分割された分割領域のうち前記特定手段により特定された分割領域に対応するものを除く分割領域ごとの測光値を取得する第３の取得手段と、
前記代表画像の分割領域ごとの測光値のうち前記除外する測光値を除外した測光値と、前記第３の取得手段により取得された分割領域ごとの測光値とに基づいて、前記フリッカ波形を生成する生成手段と、を有することを特徴とする撮像装置。
【請求項２】
前記選択手段は、前記第１の取得手段により取得された前記複数の画像ごとの測光値に基づいて前記代表画像を選択することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記生成手段は、前記複数の画像ごとの測光値に基づいて粗波形を生成し、
前記選択手段は、前記生成手段により生成された前記粗波形において変化度合いが最も小さい領域に相当する画像を代表画像として選択することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記生成手段は、前記複数の画像ごとの測光値に基づいて粗波形を生成し、
前記特定手段は、前記分割領域ごとの測光値のうち前記生成手段により生成された前記粗波形からの乖離が最大となる測光値を、前記除外する測光値と決定することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記複数の画像は、前記フリッカ光源の発光周期よりも高い周期で取得されることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記複数の画像は、前記フリッカ光源の想定される発光周期の少なくとも１周期分の期間で取得されることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記第１の取得手段は、前記複数の画像の各々における、前記撮像素子における複数のラインの測光値の中央値を、前記複数の画像ごとの測光値として取得することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記第１の分割手段は、前記撮像素子における所定数のラインごとに１つの分割領域となるよう前記代表画像を分割することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記生成手段により生成された前記フリッカ波形と前記フリッカ波形におけるピークとに基づいて、撮影可能期間を決定する決定手段を有することを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記決定手段は、前記フリッカ波形において、前記ピークに対して所定値だけ低い値よりも高い期間を、前記撮影可能期間として決定することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
シャッタ開期間と前記撮影可能期間との比較に基づいて、前記シャッタ開期間の開始タイミングを制御する制御手段を有することを特徴とする請求項９または１０に記載の撮像装置。
【請求項１２】
前記制御手段は、前記シャッタ開期間が前記撮影可能期間より長い場合は、前記シャッタ開期間の時間的中心と前記撮影可能期間の時間的中心とが合うように、前記シャッタ開期間の開始タイミングを制御することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記制御手段は、前記シャッタ開期間が前記撮影可能期間より長くない場合において、撮影指示から露光許可までの時間を確保するためのレリーズ安定期間の満了タイミングが前記撮影可能期間内に含まれない場合は、前記シャッタ開期間の開始タイミングを前記撮影可能期間の開始タイミングに合わせることを特徴とする請求項１１または１２に記載の撮像装置。
【請求項１４】
前記制御手段は、前記シャッタ開期間が前記撮影可能期間より長くない場合において、撮影指示から露光許可までの時間を確保するためのレリーズ安定期間の満了タイミングが前記撮影可能期間内に含まれる場合は、前記レリーズ安定期間の満了タイミングから前記シャッタ開期間を開始した場合に想定される前記シャッタ開期間の終了タイミングが前記撮影可能期間内に含まれるか否かを判断し、前記シャッタ開期間の終了タイミングが前記撮影可能期間内に含まれないときは、前記シャッタ開期間の開始タイミングを前記撮影可能期間の開始タイミングに合わせ、一方、前記シャッタ開期間の終了タイミングが前記撮影可能期間内に含まれるときは、前記シャッタ開期間の開始タイミングを前記レリーズ安定期間の満了タイミングに合わせることを特徴とする請求項１１〜１３のいずれか１項に記載の撮像装置。
【請求項１５】
ローリングシャッタ方式で駆動される撮像素子を備える撮像装置の制御方法であって、
前記撮像素子により取得された複数の画像ごとに測光値を取得する第１の取得ステップと、
前記複数の画像から代表画像を選択する選択ステップと、
前記選択ステップにより選択された前記代表画像を、露光タイミングの異なる複数の領域に分割する第１の分割ステップと、
前記第１の分割ステップにより分割された分割領域ごとの測光値を取得する第２の取得ステップと、
前記第２の取得ステップにより取得された分割領域ごとの測光値に基づいて、フリッカ光源下におけるフリッカ波形の生成に際し除外する測光値に対応する分割領域を特定する特定ステップと、
前記第１の分割ステップにより分割された分割領域に対応させて、前記複数の画像のうち前記代表画像以外の画像の各々を、露光タイミングの異なる複数の領域に分割する第２の分割ステップと、
前記第２の分割ステップにより分割された分割領域のうち前記特定ステップにより特定された分割領域に対応するものを除く分割領域ごとの測光値を取得する第３の取得ステップと、
前記代表画像の分割領域ごとの測光値のうち前記除外する測光値を除外した測光値と、前記第３の取得ステップにより取得された分割領域ごとの測光値とに基づいて、前記フリッカ波形を生成する生成ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１６】
請求項１５に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ローリングシャッタ方式で駆動される撮像素子を備える撮像装置及びその制御方法、プログラムに関する。
【背景技術】
【０００２】
近年のデジタルカメラ等の撮像装置が備える撮像素子の高感度化に伴い、室内のような比較的暗い環境下においても高速シャッタでブレのない写真を撮影できるようになってきている。また、室内光源として普及している人工光源、例えば蛍光灯の下では、商用電源の周期的な電圧変化により、周期的に照明光がゆらぐフリッカ現象が起きる。このような周期的に照明光がゆらぐ蛍光灯等のフリッカ光源下での高速シャッタ撮影では、フリッカの影響により、フレーム毎に画像の露出や色温度のバラつきが発生したり、１フレーム内での露出ムラや色ムラが発生したりしてしまうことがある。
【０００３】
このような問題に対して、フリッカの周期と位相を検出して、明暗の変化が少ないフリッカの光量のピークタイミングに合わせて露光できるようにフリッカ同期信号を生成し、露光を行うフリッカ除去技術が提案されている。しかし、人工光源によってフリッカ波形は異なり、光量が大きい期間が長い光源や短い光源など様々である。光源のフリッカ波形に応じて、フリッカ除去撮影が可能な期間やタイミングは異なってくる。
【０００４】
特許文献１に開示される技術では、フリッカのピークである特徴点を検出して撮影している。また、特許文献２に開示される技術では、５０Ｈｚと６０Ｈｚの両方の周波数に対処するために、フレーム毎に位相が約１８０度ずれるフレームレートで撮影し、前後２フレームの画像の比からフリッカ周波数を求めている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−２２０７６３号公報
【特許文献２】特開２００７−３７１０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、人工光源によって異なるフリッカ波形を考慮していないので、ピーク以外でフリッカ除去撮影が可能な撮影タイミングがあっても、撮影で利用をすることはできない。また、特許文献２では、フリッカ波形を求めることができず、また、フリッカのピークも求めていないので、フリッカを除去した撮影を行うことはできない。
【０００７】
フリッカの１周期以上の期間を一括で露光し、輝度の変化を計測してフリッカ波形を生成する場合、画像データに映り込む被写体の影響を大きく受けてしまう。図８に、１周期以上の期間で画像データを取得し、輝度変化から算出したフリッカ波形を示している。画像データ２００を複数に分割して輝度を取得することで輝度の時間変化が観測される。領域２０１は、画像データ２００のうち被写体の影響を受けた領域である。領域２０１に対応する輝度値によると、被写体の影響を受けたことで、本来の波形とは異なる波形がフリッカ波形として形成されてしてしまう。すなわち、フリッカ光源下において正確なフリッカ波形を生成することが困難であるという問題があった。
【０００８】
ところで、光源が発光しているタイミングで撮像するフリッカレス撮影においては、光源が発光している状態で撮像できるか否かによって、撮影画像の品質に大きく影響する。光源が発光している状況は、光源の種類（蛍光灯かＬＥＤ照明か等）によって異なる。従って、フリッカレス撮影期間を適切に設定するためには、正確なフリッカ波形を得ることが重要となる。
【０００９】
本発明の目的は、フリッカ光源下においてフリッカ波形を精度よく求めることである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明は、ローリングシャッタ方式で駆動される撮像素子を備える撮像装置であって、前記撮像素子により取得された複数の画像ごとに測光値を取得する第１の取得手段と、前記複数の画像から代表画像を選択する選択手段と、前記選択手段により選択された前記代表画像を、露光タイミングの異なる複数の領域に分割する第１の分割手段と、前記第１の分割手段により分割された分割領域ごとの測光値を取得する第２の取得手段と、前記第２の取得手段により取得された分割領域ごとの測光値に基づいて、フリッカ光源下におけるフリッカ波形の生成に際し除外する測光値に対応する分割領域を特定する特定手段と、前記第１の分割手段により分割された分割領域に対応させて、前記複数の画像のうち前記代表画像以外の画像の各々を、露光タイミングの異なる複数の領域に分割する第２の分割手段と、前記第２の分割手段により分割された分割領域のうち前記特定手段により特定された分割領域に対応するものを除く分割領域ごとの測光値を取得する第３の取得手段と、前記代表画像の分割領域ごとの測光値のうち前記除外する測光値を除外した測光値と、前記第３の取得手段により取得された分割領域ごとの測光値とに基づいて、前記フリッカ波形を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、フリッカ光源下においてフリッカ波形を精度よく求めることができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の概略構成図である。
【図２】フリッカ波形生成処理のフローチャートである。
【図３】商用電源周波数が５０Ｈｚ、６０Ｈｚであるときのフリッカ検出のための電荷の蓄積タイミング及び画像信号の読み出しタイミングを示す図（図（ａ）、（ｂ））である。
【図４】複数の画像と粗波形とを示す図である。
【図５】代表画像を５つに分割した例を示す図である。
【図６】代表画像以外の画像を５つに分割した例を示す図である。
【図７】分割領域毎の測光値から生成される正確なフリッカ波形を示す図である。
【図８】従来の手法で算出されたフリッカ波形を示す図である。
【図９】光源の発光時間が長い環境下、短い環境下でそれぞれ生成されたフリッカ波形の例を示す図（図(ａ)、(ｂ)）である。
【図１０】撮影タイミング制御の処理のフローチャートである。
【図１１】シャッタ走行期間とフリッカレス撮影期間との関係を示す図である。
【図１２】シャッタ走行期間とフリッカレス撮影期間との関係を示す図である。
【図１３】シャッタ走行期間とフリッカレス撮影期間との関係を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を図面を参照して説明する。
【００１４】
図１は、本発明の一実施の形態に係る撮像装置の概略構成図である。この撮像装置は、デジタル一眼レフカメラとして構成され、カメラ本体１００と、カメラ本体１００に着脱可能なレンズユニット１２０とを含む。
【００１５】
まず、カメラ本体１００の構成について説明する。マイクロコンピュータＣＰＵであるカメラマイコン１０１は、カメラ本体１００の各部を制御する。メモリ１０２は、カメラマイコン１０１に接続されているＲＡＭやＲＯＭ等のメモリである。撮像素子１０３は、赤外カットフィルタやローパスフィルタ等を含むＣＣＤ、ＣＭＯＳ等の撮像素子であり、レンズユニット１２０を介して入射した光束を光電変換して画像信号を出力する。
【００１６】
シャッタ１０４は、非撮影時には撮像素子１０３を遮光し、撮影時には開いて撮像素子１０３へ光線を導く。すなわち、シャッタ１０４は、レンズユニット１２０を介して入射した光束から撮像素子１０３を遮光する遮光状態、及び、レンズユニット１２０を介して入射した光束を撮像素子１０３に導く退避状態となるように走行する。ハーフミラー１０５は、レンズユニット１２０を介して入射した光束の光路変更を行い、撮影時には、レンズユニット１２０を介して入射した光束を撮像素子１０３へ導く。ハーフミラー１０５は、非撮影時には、入射した光を測光センサ１０８へ導くと共に、入射した光の一部を反射させてピント板１０６に結像させる。
【００１７】
表示素子１０７は、ＰＮ液晶等を用いた表示素子であり、自動焦点調節制御（ＡＦ制御）に用いられる焦点検出領域を示す枠（ＡＦ枠）などを表示し、光学ファインダを覗いたときにどの位置でＡＦしているか等をユーザに示す。測光センサ１０８は、ＣＭＯＳ等の入射光量に応じた電荷を蓄積する電荷蓄積型撮像素子であり、出力される画像信号に基づいて測光だけでなく被写体の顔検出や被写体追尾、フリッカの検出などを行うことができる。本実施の形態では、フリッカを検出するデバイスとして測光センサを例に挙げているが、フリッカ検出用のデバイスとしても撮像素子１０３を用いても良い。
【００１８】
ペンタプリズム１０９は、ピント板１０６の被写体像を測光センサ１０８及び不図示の光学ファインダに導く。測光センサ１０８は、ペンタプリズム１０９を介してピント板１０６に結像した被写体像を斜めから見る位置に配置される。焦点検出回路１１０は、ＡＦ制御のために焦点検出を行うものであって、ＡＦミラー１１１により、レンズユニット１２０を介して入射しハーフミラー１０５を通過した光束の一部が焦点検出回路１１０内の不図示のＡＦセンサに導かれる。
【００１９】
ＩＣＰＵ１１２は、測光センサ１０８の駆動制御や画像処理・演算用のＣＰＵであって、測光センサ１０８からの出力信号（画像信号）に基づいて測光、被写体の顔検出、被写体追尾、フリッカ検出などに関わる各種演算を行う。メモリ１１３は、ＩＣＰＵ１１２に接続されているＲＡＭやＲＯＭ等のメモリである。なお、本実施の形態では、カメラマイコン１０１とは別にＩＣＰＵ１１２を有する構成を説明するが、ＩＣＰＵ１１２で実行する処理をカメラマイコン１０１が実行する構成としても構わない。
【００２０】
操作部１１４は、ユーザがカメラ本体１００に撮影準備動作の開始指示（ＳＷ１のオン）や撮影動作の開始指示（ＳＷ２のオン）を行うためのレリーズボタンや、ユーザがカメラ本体１００の各種設定を行うための設定ボタンなどを含む。また、操作部１１４は、ユーザがカメラ本体１００の電源のオンオフを切り替えるための電源スイッチや、ユーザがカメラ本体１００の動作モードを複数のモードの中から選択するためのモードダイヤル、タッチパネルなどを含む。レンズＣＰＵ１２１（以下、ＬＰＵとする）は、レンズユニット１２０の各部、例えば、フォーカスレンズ、ズームレンズ、絞りの駆動部などを制御するものであって、レンズに関する情報をカメラマイコン１０１に送信する。
【００２１】
ところで、測光センサ１０８は、ローリングシャッタ方式で駆動可能な撮像素子である。概略として、ＩＣＰＵ１１２は、測光センサ１０８における２次元配列された複数の画素を所定ライン毎に順次走査して画素の電荷のリセットを実施し、所定の露光時間経過後に、所定ライン毎に順次走査して、蓄積した電荷の読み出しと信号の出力を行う。所定ライン数は、１であっても２以上であってもよい。
【００２２】
次に、フリッカ光源下におけるフリッカ波形の生成について説明する。図２は、フリッカ波形生成処理のフローチャートである。図２の処理において、ＩＣＰＵ１１２は、本発明における、選択手段、第１、第２、第３の分割手段、第１、第２の取得手段、特定手段及び生成手段としての役割を果たす。この処理は、例えば、電源スイッチのオン操作によりカメラ本体１００の電源がオン状態になると開始される。まずステップＳ１０１で、ＩＣＰＵ１１２は、測光センサ１０８を連続的に駆動して、複数の画像を取得する。この動作は、図３に示すように、フリッカを検知するための蓄積と読み出しの動作となる。
【００２３】
図３（ａ）、（ｂ）は、フリッカ検出のための電荷の蓄積タイミング及び画像信号の読み出しタイミングを示す図である。ＩＣＰＵ１１２は、６００ｆｐｓ、約１．６６７ｍｓ周期で蓄積・読み出しを連続して１２回、行うよう制御する。この６００ｆｐｓは、予め想定されるフリッカ周波数（１００Ｈｚと１２０Ｈｚ）の最小公倍数と等しい値となっている。また、６００ｆｐｓで１２回、蓄積を行うことで、全体として２０ｍｓの期間で蓄積を行うことになり、商用電源周波数が５０Ｈｚ、６０Ｈｚのどちらであっても、フリッカ光源の光量変化が２周期分、含まれることになる。蓄積・読み出しについては、短くても１周期分の期間を確保する必要がある。
【００２４】
近年の一眼レフカメラには、撮影の直前にペンタプリズムの測光センサで画像信号を取得し、その画像信号を処理することにより顔検出や被写体追尾を行い、さらにその画像信号を元に測光を行うシステムがある。ＣＭＯＳのセンサの場合は、部分読み出しが比較的簡単にできるので、いわゆる間引き読み出しによって蓄積と読み出しの合計時間が約１．６６７ｍｓとなるように調整する。このようにして、測光センサ１０８を６００ｆｐｓ（１．６６７ｍｓ周期）で駆動する。
【００２５】
次に、ステップＳ１０２では、ＩＣＰＵ１１２は、フリッカ検出用の輝度評価用に、ステップＳ１０１で取得された複数の画像ごとに測光値（輝度値）を取得する。図３（ａ）、（ｂ）ではそれぞれ、商用電源周波数が５０Ｈｚ、６０Ｈｚであるときの電荷の蓄積タイミング、画像信号の読み出しタイミング及び測光値の推移を示している。ｎ回目の蓄積を「蓄積ｎ」、蓄積ｎの読み出しを「読み出しｎ」、読み出しｎの結果から得られる測光値を「ＡＥ（ｎ）」と記述する。なお、各測光値の取得時間に関し、蓄積は有限の時間で行われる。ＩＣＰＵ１１２は、画像の各々について、測光センサ１０８における複数のラインごとの測光値の中央値（メジアン）を得て、得られた複数の測光値を、各画像の測光値として取得する。なお、複数のラインの測光値の平均値を、各画像の測光値として取得するようにしてもよい。
【００２６】
商用電源周波数が５０Ｈｚのときのフリッカ光源の発光周期（光量変化周期）は約１０ｍｓであり、１０÷１．６６７≒６であるから、図３（ａ）に示すように、蓄積のタイミングによらず、６回周期で同じ測光値が得られる。すなわち、ＡＥ（ｎ）≒ＡＥ（ｎ＋６）の関係となる。同様に、商用電源周波数が６０Ｈｚのときのフリッカ光源の発光周期は約８．３３ｍｓであり、８．３３÷１．６６７≒５であるから、図３（ｂ）に示すように、５回周期で同じ測光値が得られ、ＡＥ（ｎ）≒ＡＥ（ｎ＋５）の関係となる。
【００２７】
一方、フリッカがない（光量変化がない）光源下であれば、ｎによらずＡＥ（ｎ）は略一定である。そこで、ＩＣＰＵ１１２は、数式１、２を用いて、商用電源周波数５０Ｈｚ、６０Ｈｚのときのそれぞれの評価値Ｆ５０、Ｆ６０を算出する。
【００２８】
【数１】
2017098777.tif 000003
【００２９】
【数２】
2017098777.tif 000004
【００３０】
ＩＣＰＵ１１２は、評価値Ｆ５０及び評価値Ｆ６０を所定の閾値Ｆ＿ｔｈと比較することで、フリッカ検出を行う。具体的には、Ｆ５０＜Ｆ＿ｔｈ且つ、Ｆ６０＜Ｆ＿ｔｈが成立する場合、複数の測光値のすべてが略等しいといえるため、フリッカが生じていないと判断される。Ｆ５０＜Ｆ＿ｔｈ且つ、Ｆ６０≧Ｆ＿ｔｈが成立する場合、複数の測光値が６回周期で略等しい値となっていて、５回周期では略等しい値となっていないといえる。そのため、光量変化周期が１０ｍｓのフリッカが生じている（商用電源周波数が５０Ｈｚのフリッカ光源下である）と判断される。Ｆ５０≧Ｆ＿ｔｈ且つ、Ｆ６０＜Ｆ＿ｔｈが成立する場合、複数の測光値が、５回周期で略等しい値となっていて、６回周期では略等しい値となっていないといえる。そのため、光量変化周期が８．３３ｍｓのフリッカが生じている（商用電源周波数が６０Ｈｚのフリッカ光源下である）と判断される。
【００３１】
なお、パンニング等の撮像装置の移動や被写体の移動によって測光値が大きく変化して、Ｆ５０≧Ｆ＿ｔｈ且つ、Ｆ６０≧Ｆ＿ｔｈとなる場合も考えられる。その場合、ＩＣＰＵ１１２は、評価値Ｆ５０と評価値Ｆ６０とを比較してフリッカ検出を行う。具体的には、Ｆ５０≧Ｆ＿ｔｈ且つ、Ｆ６０≧Ｆ＿ｔｈ且つ、Ｆ５０≦Ｆ６０が成立する場合、光量変化周期が１０ｍｓのフリッカが生じている（商用電源周波数が５０Ｈｚのフリッカ光源下である）と判断される。Ｆ５０≧Ｆ＿ｔｈ且つ、Ｆ６０≧Ｆ＿ｔｈ且つ、Ｆ５０＞Ｆ６０が成立する場合、光量変化周期が８．３３ｍｓのフリッカが生じている（商用電源周波数が６０Ｈｚのフリッカ光源下である）と判断される。なお、Ｆ５０≧Ｆ＿ｔｈ且つ、Ｆ６０≧Ｆ＿ｔｈ且つ、Ｆ５０＝Ｆ６０の場合は、フリッカ光源の発光周期を判断できないため、フリッカが生じていないあるいはフリッカの検出不可と判断してもよい。なお、Ｆ５０≧Ｆ＿ｔｈ且つ、Ｆ６０≧Ｆ＿ｔｈが成立する場合に、フリッカ検出結果の信頼性が低いとして、フリッカ検出をやり直すようにしてもよい。
【００３２】
次に、ステップＳ１０３では、ＩＣＰＵ１１２は、ステップＳ１０２で算出した画像ごとの測光値を用いて、粗いフリッカ波形（以下、粗波形と称する）を生成する。図４は、複数の画像と粗波形とを示す図である。図４における画像３０１〜３０６は、１．６６７ｍｓ周期で撮影した６枚の画像である。画像３０１〜３０６の測光値Ｙ３０１〜Ｙ３０６は、ＡＥ（１）〜ＡＥ（６）に相当する。ＩＣＰＵ１１２は、ステップＳ１０２でも説明したように、ラインごとの測光値を蓄積期間中の中央値で代表させて測光値Ｙ３０１〜Ｙ３０６を得る。そして、ＩＣＰＵ１１２は、測光値Ｙ３０１と測光値Ｙ３０２、測光値Ｙ３０２と測光値Ｙ３０３というように、隣り合う測光値を結んでグラフ化することで、粗波形を生成する。なお、図４では画像は６枚としたが、取得した全ての画像の測光値Ｙを用いて粗波形を生成してもよい。
【００３３】
次に、ステップＳ１０４では、ＩＣＰＵ１１２は、画像３０１〜３０６の中から、粗波形における変化度合いが最も小さい領域に相当する画像を代表画像として選択する。ここで、波形変化が小さい画像の判断は、例えば、フリッカ周期と測光値Ｙ３０１〜Ｙ３０６との比較により行える。例えば、ＩＣＰＵ１１２は、着目する測光値Ｙに隣接する２つの測光値Ｙ同士の差が最小となるような測光値Ｙを決定し、決定した測光値Ｙを有する画像を代表画像として選択する。または、輝度変化が少ない画像を選択することが困難な場合は、輝度が単調に変化している画像を選択してもよい。後述するステップＳ１０５において、代表画像が更に領域毎に分割されて輝度値が算出されるので、新たに求める輝度値の予測がつくような画像を代表画像として選択するのが望ましい。本実施の形態では、画像３０１が代表画像として選択されたとする。なお、波形変化が小さい画像を代表画像とする方が高精度となるため好ましいが、代表画像は、波形変化が最小の画像であることは必須でない。
【００３４】
次に、ステップＳ１０５では、ＩＣＰＵ１１２は、代表画像を水平方向に分割して、分割した分割領域毎に測光値（輝度値）を求める。すなわち、ＩＣＰＵ１１２はまず、選択された代表画像を分割する。ここでは、測光センサ１０８における所定数のラインごとに１つの分割領域となるよう代表画像が分割される。ＣＭＯＳセンサでは、ローリングシャッタ方式で撮影すると、１画面内の画像データでも、ラインによって蓄積タイミングが異なった画像データとなる。そこで、センサの読み出し順序に対して、蓄積開始・終了時間に時間差が生じるように、画像を複数の分割領域に分割する。さらに分割領域のそれぞれについて測光値を求めることで、１画面内で、露光タイミングすなわち取得タイミングが異なった測光値を求めることができる。
【００３５】
図５に、画像３０１を分割領域３０１−１〜３０１−５の５つに分割した例を示す。なお、領域の分割数は５つで無くても構わない。細かく分割すれば、異なるタイミングでの輝度変化をより細かく計測することが可能となるが、輝度を演算する上での画素数が減少してしまうため、撮影する画像やノイズの影響を受け易くなってしまう。従って、分割数は撮像素子の画素数や特性から決定するのが好ましい。分割領域３０１−１〜３０１−５のそれぞれで求めた測光値が、測光値Ｙ３０１−１〜Ｙ３０１−５である。１つの分割領域に複数のラインが対応する場合は、分割領域に対応する各ラインの測光値の中央値（メジアン）を、分割領域ごとの測光値とする。なお、分割領域に対応する各ラインの測光値の平均値を、分割領域ごとの測光値としてもよい。
【００３６】
次に、ステップＳ１０６では、ＩＣＰＵ１１２は、フリッカ波形の生成に際し除外すべき測光値に対応する分割領域を除外領域として特定する。まず、ＩＣＰＵ１１２は、各分割領域の測光値Ｙ３０１−１〜Ｙ３０１−５を、利用できるデータと利用できないデータとに選別をする。撮像画像には被写体が写っているので、領域によっては被写体の影響を大きく受けて、フリッカ検出の観点からは不適切な測光値が算出されている場合がある。図５に示すように、ＩＣＰＵ１１２は、粗波形に測光値Ｙ３０１−１〜Ｙ３０１−５を重ねて配置する。
【００３７】
図５から、粗波形に測光値Ｙ３０１−１〜Ｙ３０１−５を重ねて描画すると、特に測光値Ｙ３０１−５が粗波形から大きく乖離している（外れている）ことがわかる。これは、分割領域３０１−５が被写体の影響を大きく受けた測光値を有する領域であることを示している。従って、精度の高いフリッカ波形を生成する観点からは、測光値Ｙ３０１−５を使用しないと共に、画像３０２〜３０６における、分割領域３０１−５に対応する領域から求めた測光値も使用しないようにしたい。そこで、ＩＣＰＵ１１２は、分割領域３０１−５を、フリッカ波形の生成に際し除外領域として記憶しておく。なお、粗波形から最も乖離する測光値Ｙを求めるために、閾値などを用いて判定してもよい。また、被写体の状態によっては各分割領域の測光値Ｙ３０１−１〜Ｙ３０１−５のすべてが利用できるデータの場合がある。その場合は、いずれの測光値Ｙも除外する必要はない。
【００３８】
分割領域３０１−５に相当する位置の輝度値は、フリッカ波形の生成には使用されなくなるが、分割領域３０１−５は、１．６６７ｍｓの短い期間で取得される画像の一部分である。図８は、従来の手法で算出されたフリッカ波形を示す図である。複数の画像を撮影して輝度値を並べることで、図８の領域２０１のように、フリッカ波形の一部の領域全てで輝度値が使用できなくなることを避けられ、正確なフリッカ波形を求めるための輝度値をフリッカ１周期中に点在させることが可能となる。
【００３９】
次に、ステップＳ１０７では、ＩＣＰＵ１１２は、分割領域の測光値の取得対象となる次の画像を選択する。例えば、取得タイミングの昇順に選択されるとし、現在選択されている画像の直後に取得された画像（例えば、画像３０１の後であれば画像３０２）が選択される。ステップＳ１０８では、ＩＣＰＵ１１２は、選択した画像を、ステップＳ１０５と同様に複数に分割する。その際、代表画像と同じ態様（同じ分割数で且つ同じ分割位置）で分割される。例えば、図６に示す例では、画像３０２が分割領域３０２−１〜３０２−５の５つに分割されている。ステップＳ１０７ではさらに、ＩＣＰＵ１１２は、分割領域のうち１つを選択する。例えば、取得タイミングの昇順に選択されるとし、最初は分割領域３０２−１が選択される。
【００４０】
次に、ステップＳ１０９では、ＩＣＰＵ１１２は、今回選択されている分割領域が、除外領域に対応する領域であるか否かを判別する。その判別の結果、今回選択されている分割領域が、除外領域に対応している場合は、被写体の影響を受けて、フリッカ生成に用いるのに適さないため、ＩＣＰＵ１１２は、処理をステップＳ１１２に進める。一方、今回選択されている分割領域が、除外領域に対応していない場合は、ＩＣＰＵ１１２は、ステップＳ１１０で、今回選択されている分割領域について測光値（輝度値）を算出する。
【００４１】
次に、ＩＣＰＵ１１２は、ステップＳ１１１で、算出した輝度値を粗波形に重ねて配置し、ステップＳ１１２で、現在選択している画像における、除外領域に対応していない分割領域の全てについて測光値の算出が完了したか否かを判別する。その判別の結果、ＩＣＰＵ１１２は、測光値が未算出の分割領域がある場合は、処理をステップＳ１０８に戻し、処理対象を次の分割領域に進める。一方、除外領域に対応していない分割領域の全てについて測光値の算出が完了した場合は、ＩＣＰＵ１１２は、処理をステップＳ１１３に進める。図６に示す例では、画像３０２の分割領域３０２−１〜３０２−４に対して測光値Ｙ３０２−１〜Ｙ３０２−４が算出されるが、分割領域３０２−５は、除外領域である分割領域３０１−５に対応するため、測光値は算出されない。こうして、測光値Ｙ３０２−１〜Ｙ３０２−４が粗波形に重ねて配置される。
【００４２】
次に、ステップＳ１１３では、ＩＣＰＵ１１２は、全ての画像についての処理が完了したか否かを判別し、未処理の画像がある場合は、処理をステップＳ１０７に戻す。ステップＳ１０７〜Ｓ１１３の繰り返しにより、図６に示すように、画像３０３に対しても同様に測光値Ｙ３０３−１〜Ｙ３０３−４が算出され、残りの画像３０４〜３０６に対しても同様に測光値が算出され、粗波形に重ねられる。一方、全ての画像についての処理が完了した場合は、ステップＳ１１４で、ＩＣＰＵ１１２は、粗でなく密のフリッカ波形を生成する。すなわち、ＩＣＰＵ１１２は、図７に示すように、全画像の分割領域毎の測光値Ｙ３０１−１〜Ｙ３０６−４までを繋いて、正確なフリッカ波形を生成する。なお、粗波形に重ねられた全ての測光値を繋ぐ近似曲線を求めることで、フリッカ波形を描画でき、その際、適宜、補間処理を用いてもよい。
【００４３】
図２の処理によれば、代表画像の分割領域ごとの測光値に基づいて除外領域が特定され、代表画像以外の画像の各々の分割領域のうち除外領域に対応するものを除く分割領域ごとの測光値が取得される。そして、代表画像の分割領域ごとの測光値のうち除外すべき測光値を除外した測光値と、代表画像以外の画像の除外領域に対応するものを除く分割領域ごとの測光値とに基づいて、フリッカ波形が生成される。これにより、フリッカ光源下においてフリッカ波形を精度よく取得することができる。
【００４４】
次に、上記のようにして適切に求めたフリッカ波形を用いて撮影タイミングのバラつきを抑えたフリッカレス撮影を実現する方法について説明する。
【００４５】
図９（ａ）、（ｂ）は、互いに異なる光源下で生成されたフリッカ波形の例を示す図である。図９（ａ）は光源の発光時間が長い環境下でのフリッカ波形、図９（ｂ）は光源の発光時間が短い環境下でのフリッカ波形を示す。
【００４６】
適切なフリッカレス撮影を実現するためには、フリッカ波形の最高輝度付近の輝度が出ているタイミングで撮影する必要がある。図９（ｂ）の波形では、図９（ａ）の波形と比較して、最高輝度（ピーク）に近い輝度を計測できる期間が短く、フリッカレス撮影を実現できるフリッカレス撮影期間（撮影可能期間）が短くなっていることが分かる。適切なフリッカレス撮影を実現するためには、最高輝度に近い輝度を計測できる期間をフリッカレス撮影期間として決定し、その期間に合わせて撮影すれば良い。そのためには、最高輝度から予め決められた輝度低下までを計測できる期間をフリッカレス撮影期間と決定すればよい。例えば、フリッカ波形において、ピークに対して所定値Ｘだけ低い値よりも高い期間が、フリッカレス撮影期間として決定される。特に、図２の処理で生成した正確なフリッカ波形を用いることで、適切なフリッカレス撮影期間を決定することができる。正確でないフリッカ波形を用いると、正確なフリッカレス撮影期間を決定することができず、フリッカレス撮影期間に撮影したつもりなのにフリッカレス撮影にならなかったり、フリッカレス撮影ができるタイミングを逃がしたりする。よって、上記した手法を用いて正確なフリッカ波形を算出することが重要になる。
【００４７】
図１０は、撮影タイミング制御の処理のフローチャートである。まず、ステップＳ２０１では、ＩＣＰＵ１１２は、図２のフリッカ波形生成処理により、フリッカ波形を生成し取得する。ステップＳ２０２以降の処理は、フリッカ波形が取得された後に開始される。
【００４８】
ステップＳ２０２では、カメラマイコン１０１は、フリッカレス撮影期間を決定する。カメラマイコン１０１は、上記したように、ステップＳ２０１で得たフリッカ波形において、ピークに対して所定値Ｘだけ低い値よりも高い期間をフリッカレス撮影期間として決定する（図９（ａ）参照）。ステップＳ２０３以降の処理では、カメラマイコン１０１は、シャッタ走行期間（すなわちシャッタ開期間、あるいはシャッタ秒時）とフリッカレス撮影期間とを比較し、さらにレリーズ安定タイマを考慮して、実際の撮影タイミングを決定する。
【００４９】
ところで、通常の撮影では、操作部１１４のレリーズボタンによる撮影動作の開始を指示するＳＷ２のオンからシャッタ１０４の先幕を走行させるタイミングを、レリーズ安定タイマによって計測する。この時間計測は、ＳＷ２のオンからの撮像素子１０３による撮影タイミングのバラつきが発生しないよう、撮影指示から露光許可までの時間を確保し、安定した時間で撮影できるようにするために行われる。レリーズ安定タイマが満了すると、シャッタ１０４の先幕が走行し、シャッタ秒時に応じてシャッタ１０４の後幕が走行することで、撮像素子１０３による撮影が実現される。しかしながら、フリッカレス撮影ではフリッカレス撮影期間に撮影動作をさせなければ、フリッカの影響を適切に抑制できない。そのため、実際の撮影開始タイミングとレリーズ安定タイマの満了とが極力ずれないようにするのが望ましい。
【００５０】
ステップＳ２０３では、カメラマイコン１０１は、シャッタ走行期間（シャッタ開期間）とフリッカレス撮影期間とを比較し、シャッタ走行期間≦フリッカレス撮影期間が成立するか否かを判別する。シャッタ走行期間（シャッタ開期間）は、図１１に示す、先幕走行開始から後幕走行完了までの期間である。その判別の結果、シャッタ走行期間≦フリッカレス撮影期間が成立しない場合は、シャッタ走行期間はフリッカレス撮影期間より長いので、フリッカレス撮影期間内（撮影可能期間内）に収まらない。そこで、カメラマイコン１０１は、ステップＳ２０８へ処理を進め、図１１に示すように、シャッタ走行期間の時間的中心とフリッカレス撮影期間の時間的中心とが合うように、シャッタ走行期間の開始タイミングを制御する。図１１に示すように、フリッカレス撮影期間の時間的中心に、先幕開始から後幕完了までの時間的中心が一致している。その後、図１０の処理は終了する。
【００５１】
一方、ステップＳ２０３の判別の結果、シャッタ走行期間≦フリッカレス撮影期間が成立する場合は、シャッタ走行期間はフリッカレス撮影期間より長くないので、フリッカレス撮影期間内に収めることが可能である。従って、シャッタ１０４の先幕の走行開始タイミングによってシャッタ１０４の後幕の走行完了タイミングがフリッカレス撮影期間内になるのかどうかを判断する必要がある。そこで、カメラマイコン１０１は、処理をステップＳ２０４に進める。
【００５２】
ステップＳ２０４では、カメラマイコン１０１は、レリーズ安定タイマの満了タイミング、すなわちレリーズ安定期間の満了タイミングが、フリッカレスレス撮影期間内であるか否かを判別する。その判別の結果、レリーズ安定期間の満了タイミングがフリッカレスレス撮影期間内に含まれない場合は、カメラマイコン１０１は、ステップＳ２０７に処理を進める。すなわち、仮に、レリーズ安定タイマの満了タイミングでシャッタ１０４の先幕を走行させると、シャッタ１０４の先幕の走行開始タイミングがフリッカレス撮影期間の時間的前方へ外れてしまう。そこで、カメラマイコン１０１は、ステップＳ２０７で、カメラマイコン１０１は、図１２に示すように、シャッタ走行期間の開始タイミングをフリッカレスレス撮影期間の開始タイミングに合わせる。このように制御することで、フリッカレスレス撮影期間内にシャッタ走行期間を収めることができ、レリーズ安定タイマの満了タイミングから実際の撮影開始タイミングまでのずれを最小限に留めることができる。これにより、フリッカ波形の最大輝度に合わせて撮影するよりも、撮影タイミングのずれを小さく抑えることができる。その後、図１０の処理は終了する。
【００５３】
ステップＳ２０４の判別の結果、レリーズ安定期間の満了タイミングがフリッカレスレス撮影期間内に含まれる場合は、そのままでも本来のレリーズ安定タイマによる撮影タイミングでフリッカレス撮影を実現できる可能性がある。これはシャッタ１０４の後幕の走行完了タイミングにもよる。そこで、カメラマイコン１０１は、処理をステップＳ２０５に進める。ステップＳ２０５では、カメラマイコン１０１は、レリーズ安定期間の満了タイミングからのシャッタ走行期間がフリッカレス撮影期間内であるか否かを判別する。すなわち、カメラマイコン１０１は、レリーズ安定期間の満了タイミングからシャッタ走行期間を開始した場合に想定されるシャッタ走行期間の終了タイミングがフリッカレス撮影期間内に含まれるか否かを判別する。
【００５４】
ステップＳ２０５の判別の結果、上記想定されるシャッタ走行期間の終了タイミングがフリッカレス撮影期間内に含まれない場合、このままでは、シャッタ１０４の後幕の走行完了タイミングがフリッカレス撮影期間の時間的後方へ外れてしまう。そこでカメラマイコン１０１は、処理をステップＳ２０７に移行させる。この場合のステップＳ２０７では、カメラマイコン１０１は、シャッタ走行期間の開始タイミングをフリッカレスレス撮影期間の開始タイミングに合わせる。このように制御することで、フリッカレスレス撮影期間内にシャッタ走行期間を収めることができる。
【００５５】
一方、ステップＳ２０５の判別の結果、上記想定されるシャッタ走行期間の終了タイミングがフリッカレス撮影期間内に含まれる場合、レリーズ安定タイマの完了タイミングで撮影を開始してもフリッカレス撮影を実現することが可能である。そこで、カメラマイコン１０１は、処理をステップＳ２０６に進め、図１３に示すように、シャッタ走行期間の開始タイミングをレリーズ安定期間の満了タイミングに合わせる。これにより、本来のレリーズタイムラグのまま実際の撮影が開始される。より詳細には、図１３に示すように、カメラマイコン１０１は、レリーズ安定タイマの満了タイミングでシャッタ１０４の先幕を走行させ、シャッタ秒時に応じてシャッタ１０４の後幕を走行させる。すると、シャッタ先幕走行開始タイミングとシャッタ後幕走行完了タイミングの両方が、フリッカレス撮影期間に入っており、撮影タイミングのバラつきを発生させずにフリッカレス撮影を実現できる。その後、図１０の処理は終了する。
【００５６】
本実施の形態によれば、フリッカ光源下においてフリッカ波形を精度よく求めることができる。また、図２の処理で求めた正確なフリッカ波形と当該フリッカ波形におけるピークとに基づいてフリッカレス撮影期間（撮影可能期間）が決定されるので、正確な波形に基づき撮影可能期間を決定し、撮影画像の品質を高めることができる。さらに、図１０の処理により、シャッタ走行期間（シャッタ開期間）とフリッカレス撮影期間との比較に基づいて、シャッタ走行期間の開始タイミングが制御される。従って、シャッタ走行期間とフリッカレス撮影期間とが重なる実際の撮影期間を長く確保することができる。しかも、さらにレリーズ安定タイマを考慮して、実際の撮影タイミングを決定するので、実際の撮影期間を長く確保すると共に、撮影タイミングのバラつきを抑えることができる。
【００５７】
なお、図２のステップＳ１０６で、除外領域として特定される分割領域の数は１つに限定されず、２つ以上であってもよい。
【００５８】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【００５９】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【符号の説明】
【００６０】
１０１  カメラマイコン
１０８  測光センサ
１１２  ＩＣＰＵ
【図１】
2017098777.tif 000005
【図２】
2017098777.tif 000006
【図３】
2017098777.tif 000007
【図４】
2017098777.tif 000008
【図５】
2017098777.tif 000009
【図６】
2017098777.tif 000010
【図７】
2017098777.tif 000011
【図８】
2017098777.tif 000012
【図９】
2017098777.tif 000013
【図１０】
2017098777.tif 000014
【図１１】
2017098777.tif 000015
【図１２】
2017098777.tif 000016
【図１３】
2017098777.tif 000017