(57)【要約】【課題】コストアップを招くことなく、画像合成による画像のチラつきの少ないＨＤＲ動画を得られるようにする。【解決手段】光学像を電気信号に変換する撮像部と、シャッター速度を変更するシャッター速度制御部と、感度を変更する感度制御部と、露出を適正露出からずらして撮影する露出補正を行う露出補正部と、被写体の動きを検出する動き検出部と、露出補正部により露出補正を行った異なる露出の複数の画像を撮影し、複数の画像を合成する合成撮影部と、通常の撮影と合成撮影部による合成撮影とを切り替える切り替え部と、通常の撮影から合成撮影に切り替える場合に、動き検出部の検出結果に基づいて、シャッター速度制御部を用いて露出補正を行うか、感度制御部を用いて露出補正を行うかを切り替える制御部とを備える。【選択図】  図９
2015053652.tif 000002
【特許請求の範囲】
【請求項１】
光学像を電気信号に変換する撮像手段と、
シャッター速度を変更するシャッター速度制御手段と、
感度を変更する感度制御手段と、
露出を適正露出からずらして撮影する露出補正を行う露出補正手段と、
被写体の動きを検出する動き検出手段と、
前記露出補正手段により露出補正を行った異なる露出の複数の画像を撮影し、該複数の画像を合成する合成撮影手段と、
通常の撮影と前記合成撮影手段による合成撮影とを切り替える切り替え手段と、
前記通常の撮影から前記合成撮影に切り替える場合に、前記動き検出手段の検出結果に基づいて、前記シャッター速度制御手段を用いて前記露出補正を行うか、前記感度制御手段を用いて前記露出補正を行うかを切り替える制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記通常撮影から前記合成撮影に切り替える場合に、前記露出補正の補正量を徐々に変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記通常撮影から前記合成撮影に切り替える場合に、前記動き検出手段により被写体の動きがあると判断された場合には、前記感度制御手段を用いて前記露出補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記通常撮影から前記合成撮影に切り替える場合に、前記動き検出手段により被写体の動きがあると判断され場合には、前記感度制御手段の感度の変更速度を速めることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記通常撮影から前記合成撮影に切り替える場合に、前記動き検出手段により被写体の動きがないと判断された場合には、感度の変更速度を遅めることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記通常撮影から前記合成撮影に切り替える場合に、前記動き検出手段により被写体の動きがないと判断された場合には、前記シャッター速度制御手段を用いて前記露出補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項７】
光学像を電気信号に変換する撮像手段と、
シャッター速度を変更するシャッター速度制御手段と、
感度を変更する感度制御手段と、
露出を適正露出からずらして撮影する露出補正を行う露出補正手段と、
被写体のフリッカを検出するフリッカ検出手段と、
前記露出補正手段により露出補正を行った異なる露出の複数の画像を撮影し、該複数の画像を合成する合成撮影手段と、
通常の撮影と前記合成撮影手段による合成撮影とを切り替える切り替え手段と、
前記通常の撮影から前記合成撮影に切り替える場合に、前記フリッカ検出手段の検出結果に基づいて、前記シャッター速度制御手段を用いて前記露出補正を行うか、前記感度制御手段を用いて前記露出補正を行うかを切り替える制御手段と、
を備えることを特徴とする撮像装置。
【請求項８】
前記通常撮影から前記合成撮影に切り替える場合に、前記露出補正の補正量を徐々に変更することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記通常撮影から前記合成撮影に切り替える場合に、前記フリッカ検出手段により被写体のフリッカがあると判断された場合には、前記感度制御手段を用いて前記露出補正を行うことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
光学像を電気信号に変換する撮像手段を備える撮像装置の制御方法であって、
シャッター速度を変更するシャッター速度制御工程と、
感度を変更する感度制御工程と、
露出を適正露出からずらして撮影する露出補正を行う露出補正工程と、
被写体の動きを検出する動き検出工程と、
前記露出補正工程により露出補正を行った異なる露出の複数の画像を撮影し、該複数の画像を合成する合成撮影工程と、
通常の撮影と前記合成撮影工程による合成撮影とを切り替える切り替え工程と、
前記通常の撮影から前記合成撮影に切り替える場合に、前記動き検出工程の検出結果に基づいて、前記シャッター速度制御工程による前記露出補正を行うか、前記感度制御工程による前記露出補正を行うかを切り替える制御工程と、
を有することを特徴とする制御方法。
【請求項１１】
光学像を電気信号に変換する撮像手段を備える撮像装置の制御方法であって、
シャッター速度を変更するシャッター速度制御工程と、
感度を変更する感度制御工程と、
露出を適正露出からずらして撮影する露出補正を行う露出補正工程と、
被写体のフリッカを検出するフリッカ検出工程と、
前記露出補正工程により露出補正を行った異なる露出の複数の画像を撮影し、該複数の画像を合成する合成撮影工程と、
通常の撮影と前記合成撮影工程による合成撮影とを切り替える切り替え工程と、
前記通常の撮影から前記合成撮影に切り替える場合に、前記フリッカ検出工程の検出結果に基づいて、前記シャッター速度制御工程による前記露出補正を行うか、前記感度制御工程による前記露出補正を行うかを切り替える制御工程と、
を有することを特徴とする制御方法。
【請求項１２】
光学像を電気信号に変換する撮像手段を備える撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
シャッター速度を変更するシャッター速度制御工程と、
感度を変更する感度制御工程と、
露出を適正露出からずらして撮影する露出補正を行う露出補正工程と、
被写体の動きを検出する動き検出工程と、
前記露出補正工程により露出補正を行った異なる露出の複数の画像を撮影し、該複数の画像を合成する合成撮影工程と、
通常の撮影と前記合成撮影工程による合成撮影とを切り替える切り替え工程と、
前記通常の撮影から前記合成撮影に切り替える場合に、前記動き検出工程の検出結果に基づいて、前記シャッター速度制御工程による前記露出補正を行うか、前記感度制御工程による前記露出補正を行うかを切り替える制御工程と、
を有する制御方法を実行させることを特徴とする制御プログラム。
【請求項１３】
光学像を電気信号に変換する撮像手段を備える撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
シャッター速度を変更するシャッター速度制御工程と、
感度を変更する感度制御工程と、
露出を適正露出からずらして撮影する露出補正を行う露出補正工程と、
被写体のフリッカを検出するフリッカ検出工程と、
前記露出補正工程により露出補正を行った異なる露出の複数の画像を撮影し、該複数の画像を合成する合成撮影工程と、
通常の撮影と前記合成撮影工程による合成撮影とを切り替える切り替え工程と、
前記通常の撮影から前記合成撮影に切り替える場合に、前記フリッカ検出工程の検出結果に基づいて、前記シャッター速度制御工程による前記露出補正を行うか、前記感度制御工程による前記露出補正を行うかを切り替える制御工程と、
を有する制御方法を実行させる制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は露出を変えながら撮影を行い、それらの画像を合成することによりダイナミックレンジを拡張させた動画を得る技術に関するものである。
【背景技術】
【０００２】
近年、家庭用ビデオカメラやデジタルスチルカメラなどの撮像機器が一般に普及している。撮像素子に関しても、ＣＣＤ撮像素子に加えてＣＭＯＳ撮像素子も広く使用されつつある。これらの撮像素子は市場の要求を受け多画素化が進んでいるが、それに伴い撮像素子自身のダイナミックレンジが狭まる傾向がある。
【０００３】
この課題に対する解決方法の一つとして、ダイナミックレンジ拡張撮影技術（ハイダイナミックレンジ：ＨＤＲ技術）が提案されている。例えば、特許文献１では、アンダー露出の画像とオーバー露出の画像を合成して、ダイナミックレンジを拡張する方法が提案されている。これにより、撮像素子のダイナミックレンジを超える画像の撮影が可能となり、ユーザーにとって利便性の高い機能となっている。
【０００４】
しかしながら、複数の画像を撮影して合成する場合、各画像のシャッター速度が異なるため、露光重心がズレた画像を合成しようとすると、合成画像の動いている被写体周辺がチラついて違和感を感じる画像になることがある。特許文献２では、ＨＤＲ動画撮影時に、複数枚の撮影による露光重心のズレを補正する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２７３３５４号公報
【特許文献２】特開２０１１−２５９３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に記載の方法等を用いることにより、ＨＤＲ動画における合成処理の露光重心のズレを補正することは可能であるが、特殊な撮像素子を使用しなくてはならないため、コストアップにつながってしまうという問題があった。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、コストアップを招くことなく、画像合成による画像のチラつきの少ないＨＤＲ動画を得られるようにすることである。
【課題を解決するための手段】
【０００８】
本発明に係わる撮像装置は、光学像を電気信号に変換する撮像手段と、シャッター速度を変更するシャッター速度制御手段と、感度を変更する感度制御手段と、露出を適正露出からずらして撮影する露出補正を行う露出補正手段と、被写体の動きを検出する動き検出手段と、前記露出補正手段により露出補正を行った異なる露出の複数の画像を撮影し、該複数の画像を合成する合成撮影手段と、通常の撮影と前記合成撮影手段による合成撮影とを切り替える切り替え手段と、前記通常の撮影から前記合成撮影に切り替える場合に、前記動き検出手段の検出結果に基づいて、前記シャッター速度制御手段を用いて前記露出補正を行うか、前記感度制御手段を用いて前記露出補正を行うかを切り替える制御手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、コストアップを招くことなく、画像合成による画像のチラつきの少ないＨＤＲ動画を得ることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係わる撮像装置の構成を示す図。
【図２】本発明の一実施形態における動画撮影フローを示した図。
【図３】ＨＤＲの合成比を示した図。
【図４】動き検出の検出方法を示した図。
【図５】動き検出のフレームと時刻の関係を示した図。
【図６】ＨＤＲ動画記録時の露光重心を示した図。
【図７】ＨＤＲ合成判定の輝度分布を示した図。
【図８】ＨＤＲ切替フローを示した図。
【図９】本発明の一実施形態におけるＨＤＲ切替のシャッター速度制御と感度制御を示した図。
【図１０】本発明の一実施形態におけるＨＤＲ切替のシャッター速度制御と感度制御を示した図。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。 図１は、本発明の一実施形態に係わる撮像装置の構成を示す図である。
【００１２】
図１において、１００はデジタルカメラ等の撮像装置である。１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ映像信号をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、 Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。機械式シャッター１２以外にも、タイミング発生回路１８による撮像素子のリセットタイミングの制御によって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影などに使用可能である。
【００１３】
２０は画像処理回路であり、 Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また画像処理回路２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行っている。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１４】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。
【００１５】
２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。
【００１６】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００１７】
３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ３１内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域が設けられ、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。
【００１８】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００１９】
４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連動することによりフラッシュ調光機能も有する。４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。
【００２０】
露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。５０は撮像装置１００全体を制御するシステム制御回路である。
【００２１】
６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。
【００２２】
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード等の各機能モードを切り替え設定することが出来る。６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、この露光期間中にフラッシュ４８を発光させる。そして、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。シャッタースイッチＳＷ２のＯＮにより、撮像素子１４からの信号の読み出し処理、画像データの現像処理、画像データの圧縮処理、画像データを書き込む記録処理という一連の処理の動作開始を指示する。読み出し処理とは、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込む処理である。現像処理とは、画像処理回路２０やメモリ制御回路２２での演算を用いて画像データを現像する処理である。圧縮処理とは、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行う処理である。記録処理とは、記録媒体２００に画像データを書き込む処理である。
【００２３】
６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。
【００２４】
７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。
【００２５】
７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチである。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。
【００２６】
８６はアルカリ電池等の一次電池や、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源である。９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。１０２は、撮像装置１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである。１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。１１０は通信部で、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００２７】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。
【００２８】
図２は、本発明の一実施形態の撮像装置における動画撮影フローを示した図である。動画記録開始指示があると、Ｓ１０１で測光処理を行う。測光処理では適正露出を算出し、Ｓ１０２で画像の撮影を行う。Ｓ１０１の測光処理では被写体の輝度分布情報を算出し、輝度分布情報を用いてＳ１０３のＨＤＲ（ハイダイナミックレンジ）撮影（合成撮影）をするか通常撮影をするかの判断を行う。ＨＤＲ撮影判断の詳細は図７を用いて後述する。Ｓ１０３でＨＤＲ動画撮影をすると判断されたなら、Ｓ１０４でアンダー露出の画像を撮影する。アンダー露出の画像の撮影に関しては、図８を用いて詳細に後述する。ここで撮影するアンダー露出の画像は、適正露出に対してシャッター速度もしくは感度の設定により露出差を生成する。どちらを選択するかは図８を用いて後述する。なお、感度は、撮像素子１４内のアンプのゲイン、Ａ／Ｄ変換器１６の前に設けられるＣＤＳゲイン回路のアナログゲイン、Ａ／Ｄ変換器１６の後に設けられるＶＧＡゲイン回路のデジタルゲインなどをシステム制御部５０が調整することで設定される。
【００２９】
露出の異なる適正露出とアンダー露出の２種類の画像を取得したら、Ｓ１０５にて合成処理を行う。合成処理に関しては図３を用いて後述する。合成処理された画像は撮像素子から出力されたＲＧＢ−Ｂａｙｅｒデータ形式のままであるため、Ｓ１０６にてＹＵＶ形式に現像処理を行ったのち符号化処理を行い、Ｓ１０７で記録媒体へ記録する。
【００３０】
Ｓ１０８で記録終了指示があれば、この動画記録ルーチンを抜ける。終了指示があるまで、Ｓ１０１に戻り、動画記録を続ける。
【００３１】
図３は、本実施形態におけるＨＤＲの合成比を示した図である。図３の合成比率テーブルが示すように合成比率は適正画像の画素レベルによって決定される。適正画像の画素レベルが低いときは、非常に輝度レベルが低い画像なので、適正露出の画像からの合成比率を高め、アンダー露出の画像からの合成比率を低めている。逆に適正露出の画像の画素レベルが高いときは、非常に輝度レベルが高い画像なので、白飛びが発生していないアンダー露出の画像からの合成比率を高め、適正露出の画像からの合成比率を低めている。この合成処理を実行することで、１回のみの露光で得られた画像より、ダイナミックレンジの広い画像を得ることができる。図３に示した合成比率テーブルは画素ごとに適用される。
【００３２】
図４は、本実施形態における動き検出の検出方法に関して示した図であり、図５は、本実施形態における動き検出のフレームと時刻の関係を示した図である。図５のように連続したフレーム間で、動きがあるかを判定している。ＮフレームとＮ−１フレーム間で動きがあるかを判定するには、Ｎ−１フレーム画像とＮフレーム画像の間で図４のような演算を行う。
【００３３】
図４のＮフレームの基準画像と、Ｎ−１フレームの画像に差分が小さければ、動きは無いと判断できる。差分は画像同士の画素の差分を以下の式（１）で求める。
【００３４】
【数１】
2015053652.tif 000003
【００３５】
…（１）
ここで、ＦｒN（ｘ，ｙ）はＮフレームの基準画像の座標（ｘ，ｙ）の画素値で、ＦｒN-1（ｘ，ｙ）はＮ−１フレームの画像の座標（ｘ，ｙ）の画素値である。これらの差分の総和を全体の差分Ｄｉｆｆとして求める。
【００３６】
図４に示すように画像Ａは基準画像に対し、水平方向に−α画素、垂直方向に＋β画素ずらした画像である。これとＮ−１フレームとの差分を取り、差分が小さければ画像が画像Ａのように左上方向にシフトしたと判断できる。同様の処理をＢ〜Ｈの画像に対しても行い、差分Ｄｉｆｆが一番小さい画像が、移動した方向であると判断できる。本実施形態の動き検出は基準画像に対して差分が最も小さければ動きが無いと判断し、それ以外なら動きがあると判断する。
【００３７】
次にフリッカ検出の演算方法について説明する。まず、式（２）に示される演算を用いて蓄積時間の差による平均輝度レベルを補正するとともに、画素ごとにフリッカ成分を検出する。
【００３８】
【数２】
2015053652.tif 000004
【００３９】
…（２）
ここで、Ｆ（ｈ，ｖ）はフリッカ成分を表し、Ｓ（ｈ，ｖ）は本画像を表す。また、Ｓ’（ｈ，ｖ）は補助画像を表す。ｈおよびｖは、それぞれの画像のｘ座標、ｙ座標を表す。また、Ｔｖ１は本画像の蓄積時間を表し、Ｔｖ２は補助画像の蓄積時間を表す。次に、検出されたフリッカ成分に対し、式（３）、式（４）、式（５）に示されるフーリエ変換によって、列ごとにフリッカ特性パラメータの抽出を行う。
【００４０】
【数３】
2015053652.tif 000005
【００４１】
…（３）
【００４２】
【数４】
2015053652.tif 000006
【００４３】
…（４）
【００４４】
【数５】
2015053652.tif 000007
【００４５】
…（５）
ここで、ｙ(ｖ)は水平方向にｈ画素目、垂直方向にｖ画素目のフリッカ成分の値を示す。また、ｆは周波数を表し、ＹＲｅ（ｆ）、ＹＩｍ（ｆ）は、それぞれフーリエ変換した時の実部と虚部を表す。Ｙ（ｆ）は振幅成分を表し、検出したフリッカの強度となる。このＹ（ｆ）が所定値以上であればフリッカが発生していると判断する。
【００４６】
図６は、本実施形態におけるＨＤＲ動画記録時の露光重心を示した図である。図６はＣＭＯＳ型撮像素子のローリングシャッターのタイミングチャートを示している。ＣＭＯＳ型撮像素子は、撮像素子のラインごとに露光タイミングが異なっており、１フレームの平均的な露光時刻である露光重心は、露光時間を示す平行四辺形の重心となる。
【００４７】
図６（ａ）はシャッター速度を一定にし、アンダー露出の画像撮影を感度を下げて行った場合のタイミングチャートである。露光重心Ａの適正露出の画像と露光重心Ｂのアンダー露出の画像をＨＤＲ合成するが、それぞれの露光重心の間隔は一定しているため、合成時に動体部分のチラつきは目立ちにくい。そのため、被写体が動体でもチラつきが起きにくい。ただし、適正露出の画像の感度をアンダー露出の画像より高める必要があるため、ノイズは目立ちやすくなる。
【００４８】
図６（ｂ）は感度を一定にし、アンダー露出の画像撮影をシャッター速度を上げて（露光時間を短くして）行った場合のタイミングチャートである。露光重心Ａの適正露出の画像と露光重心Ｂのアンダー露出の画像をＨＤＲ合成するが、それぞれの露光重心の間隔が一定していないため、合成時に動体部分のチラつきが目立ちやすい。そのため、被写体は動体ではなく、風景のような静止被写体に向いている。さらに、感度を上げて撮影する必要がないため、ノイズが目立ちにくいメリットがある。
【００４９】
図７は、本実施形態におけるＨＤＲ合成判定の輝度分布を示した図である。Ｓ１０１の測光処理では、被写体の輝度分布を取得する。図７（ａ）の輝度分布は被写体輝度の大部分が適正輝度範囲に収まっているためＨＤＲ動画ではなく通常動画記録を行うと判断する。図７（ｂ）の輝度分布は適正輝度範囲に収まっていない画素が多くあるため、ダイナミックレンジが不足していることからＨＤＲ動画撮影が必要と判断する。
【００５０】
具体的にはヒストグラムを生成し、適正輝度範囲下限Ｌv_Ｌoから上限Ｌv_Ｈiの輝度に入っている画素は適正輝度範囲に収まっていると判定する。式（６）のように適正輝度範囲に収まっている画素数PixNumTekiseiを全画素数PixNumTotalで割った割合TekiseiRatioが所定値以上か否かで、ＨＤＲ動画撮影か否かを判断する。
【００５１】
TekiseiRatio ＝ PixNumTekisei ／ PixNumTotal          …（６）
TekiseiRatioが所定値以上なら通常動画撮影、所定値未満ならＨＤＲ動画撮影を行う。この判定は動画記録中も常時行う必要があり、シーン変化にも追従させる。なお、ＨＤＲ動画撮影中では、適正露出の画像とアンダー露出の画像の２つの画像を撮影することになるが、上記のＨＤＲ合成判定には適正露出の画像を用いればよい。
【００５２】
図８は、本実施形態におけるＨＤＲ切替フローを示した図である。ＨＤＲ動画に切り替わったら、Ｓ２０１で動き検出の検出結果を参照し、動きが無ければＳ２０４でシャッター速度で露出差を設けアンダー露出の画像の露出制御を行う。被写体に動きが無いときは、合成する２枚の画像の露光重心が一定でなくとも合成によるチラつきは目立たない。
【００５３】
Ｓ２０１で動きがあると判断されたら、Ｓ２０２でフリッカの有無を判断し、フリッカが無ければＳ２０４でシャッター速度で露出差を設けアンダー露出の画像の露出制御を行う。Ｓ２０２でフリッカがあると判断されたなら、Ｓ２０３で感度設定で露出差を設けアンダー露出の画像の露出制御を行う。被写体に動きがあるときは、合成する２枚の画像の露光重心が一定である方がチラつきが目立たないので、露光重心を一定にするため、感度を下げてアンダー露出の画像の撮影を行う。またフリッカが発生しているシーンでシャッター速度を変更してＨＤＲ動画の露出差を設けるとフリッカ検波の連続性がなくなってしまい、正しくフリッカが検出できなくなってしまう。そのため、フリッカ検出においてフリッカが発生していると判断されたら、シャッター速度を変えずに感度設定を変更して、露出差を設け、ＨＤＲ動画撮影を行う。
【００５４】
図９は、本実施形態におけるＨＤＲ切替のシャッター速度制御及び感度制御を示した図である。図７で説明したように、被写体のコントラストが高まりＨＤＲ動画撮影に遷移する際には、図６、図７で説明した被写体の動き検出結果を取得し、被写体の動きがあるならば感度を低く設定し露出差を設けてアンダー露出の画像を撮影する。
【００５５】
感度を急激に下げると通常動画からＨＤＲ動画へ滑らかに遷移しないので、徐々に感度を下げていき（感度の変更速度を緩やかにし）、所望の露出差を実現させたら感度差を適正露出から一定の差に保つ。適正露出の感度が変更されれば、アンダー露出の画像も感度差分を一定に保って感度変更する。
【００５６】
感度設定を用いて露出を変更し設定の上限や下限に行きついたならば、次はシャッター速度を変更して露出制御を行う。その場合も露出差は一定に保ち、ＨＤＲ動画を撮影し続ける。再度感度設定が上限や下限に行きつかない輝度になったならば、感度設定を用いて露出制御を行う。また被写体に動きがあるときは、シーンが変化している可能性が高いため、図９の切り替わり部分のように徐々に感度を下げる速度を通常より早めて、変化したシーンに適応できるように制御する。
【００５７】
図１０は、本実施形態におけるＨＤＲ切替のシャッター速度制御及び感度制御を示した図である。図７で説明したように、被写体のコントラストが高まりＨＤＲ動画撮影に遷移する際には、図６、図７で説明した被写体の動き検出結果を取得し、被写体の動きがないならばシャッター速度を上げて露出差を設け、アンダー露出の画像を撮影する。
【００５８】
シャッター速度を急激に上げると通常動画からＨＤＲ動画へ滑らかに遷移しないので、徐々にシャッター速度を上げていき（露出の補正量を徐々に増やし）、所望の露出差を実現させたらシャッター速度差を適正露出から一定の差に保つ。適正露出のシャッター速度が変更されれば、アンダー画像もシャッター速度差分を一定に保って変更する。
【００５９】
シャッター速度設定を用いて露出を変更し設定の上限や下限に行きついたならば、次は感度設定を変更して露出制御を行う。その場合も露出差は一定に保ち、ＨＤＲ動画を撮影し続ける。再度シャッター速度が上限や下限に行きつかない輝度になったならば、シャッター速度設定を用いて露出制御を行う。また被写体に動きがないときは、シーンが変化していない可能性が高いため、図１０の切り替わり部分のように徐々にシャッター速度を上げる速度を通常より遅めて、変化が急激に表れないように制御する。
【００６０】
以上説明したように、通常動画からＨＤＲ動画へ切り替える際に、動体の有無やフリッカの有無により、露出段差の設定方法を感度とシャッター速度とで切り替えることで、露光重心の変化を減らし、ＨＤＲ動画のチラつきを抑えることができる。
【００６１】
なお、本実施形態では被写体の動き検出とフリッカ検出結果とから切り替えの判断を行ったが、顔認識結果や個人認識結果、もしくは夕景・夜景等のシーン検出結果から判断するという方法もある。またＨＤＲ動画に切り替えたら感度かシャッター速度のどちらかのみを用いて露出差を設定したが、感度とシャッター速度を組み合わせて徐々に露出差を設定してもよい。
【００６２】
本実施形態のＨＤＲ動画合成は適正露出の画像とアンダー露出の合成により行っているが、適正露出とオーバー露出という組み合わせを用いて、本実施形態の説明と逆方向の露出制御を行ってもよい。また、オーバー露出の画像とアンダー露出の画像から合成する場合はオーバー・アンダーそれぞれ同時に露出制御を切り替える必要がある。さらに、適正・アンダー・オーバーの３画像から合成する場合には、本実施形態の適正露出＋アンダー露出の方式に加え、先に述べた適正露出＋オーバー露出の露出制御をそれぞれ組み合わせることで実現可能である。
【００６３】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００６４】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を露出制御装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを露出制御装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００６５】
上記の制御方法および制御プログラムの各々は、少なくとも指定ステッップ、特徴抽出ステップ、露光量算出ステップ、および感度設定ステップを有している。
【００６６】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【図１】
2015053652.tif 000008
【図２】
2015053652.tif 000009
【図３】
2015053652.tif 000010
【図４】
2015053652.tif 000011
【図５】
2015053652.tif 000012
【図６】
2015053652.tif 000013
【図７】
2015053652.tif 000014
【図８】
2015053652.tif 000015
【図９】
2015053652.tif 000016
【図１０】
2015053652.tif 000017