(57)【要約】【課題】点滅光源領域に対して適切に比較明合成を行うことにより、光源の明るさが安定した動画を得る。【解決手段】動画の記録開始を指示する記録開始指示手段と、前記記録開始指示手段による指示があるまでは、動画の記録レートよりも遅いフレームレートに設定しておくフレームレート制御手段と、画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域ごとに、前記記録開始指示手段による指示があるまでの輝度を監視する監視手段と、前記監視手段の監視結果に基づき、分割領域の輝度が安定しているかを判定する判定手段と、前記判定手段により輝度が安定していると判定された領域のうち、前記記録開始手段の指示により動画の記録レートに切り替えた際に、輝度が所定以上変化した領域を特定する特定手段と、前記特定手段により特定された領域に対しては、比較明合成した画像を動画として記録する記録手段と、を備えることを特徴とする。【選択図】図３
2017126913.tif 000002
【特許請求の範囲】
【請求項１】
動画の記録開始を指示する記録開始指示手段と、
前記記録開始指示手段による指示があるまでは、動画の記録レートよりも遅いフレームレートに設定しておくフレームレート制御手段と、
画像を複数の領域に分割する領域分割手段と、
前記領域分割手段により分割された領域ごとに、前記記録開始指示手段による指示があるまでの輝度を監視する監視手段と、
前記監視手段の監視結果に基づき、分割領域の輝度が安定しているかを判定する判定手段と、
前記判定手段により輝度が安定していると判定された領域のうち、前記記録開始手段の指示により動画の記録レートに切り替えた際に、輝度が所定以上変化した領域を特定する特定手段と、
前記特定手段により特定された領域に対しては、比較明合成した画像を動画として記録する記録手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記領域分割手段により分割された領域ごとに、動きベクトルを検出する動き検出手段と、前記動き検出手段の結果に基づき、領域が移動体領域か否かを推定する推定手段をさらに備え、前記推定手段により移動体領域と推定された領域に対しては、比較明合成を行わないことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記推定手段は、前記動き検出手段により、前記記録開始手段の指示により動画の記録レートに切り替える前後の画像から動きベクトルが検出された領域を移動体領域と推定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記記録開始手段の指示により動画の記録レートに切り替える前後で、注目領域の周辺の領域に所定以上の輝度変化がある場合、前記注目領域に対しては比較明合成を行わないことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記記録開始手段の指示により動画の記録レートに切り替えた後、前記特定手段により特定された領域の輝度が、記記録開始手段の指示により動画の記録レートに切り替える前の輝度に達してから、動画記録を開始することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来の撮像装置には、ピクセルデータ同士を比較して値が大きい方を新たなピクセルデータとして再構成する、所謂比較明合成を行うものがある。特許文献１には、ピクセルデータと所定のスレッシュレベルの関係に応じて、ピクセル毎に選択的に比較明合成を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１３００５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
フレームレートの速い動画を撮影する際、点滅光源の輝度がフレーム毎に変動してしまうのを抑えるために、点滅光源に対して選択的に比較明合成を行うことは有効であるが、特許文献１に記載の技術では所定のスレッシュレベル以上のピクセルは比較明合成の対象外となってしまうために、点滅光源に対して比較明合成が行われないという課題があった。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明に係る撮像装置は、
動画の記録開始を指示する記録開始指示手段と、
前記記録開始指示手段による指示があるまでは、動画の記録レートよりも遅いフレームレートに設定しておくフレームレート制御手段と、
画像を複数の領域に分割する領域分割手段と、
前記領域分割手段により分割された領域ごとに、前記記録開始指示手段による指示があるまでの輝度を監視する監視手段と、
前記監視手段の監視結果に基づき、分割領域の輝度が安定しているかを判定する判定手段と、
前記判定手段により輝度が安定していると判定された領域のうち、前記記録開始手段の指示により動画の記録レートに切り替えた際に、輝度が所定以上変化した領域を特定する特定手段と、
前記特定手段により特定された領域に対しては、比較明合成した画像を動画として記録する記録手段と、
を備えることを特徴とする。
【発明の効果】
【０００６】
本発明に係る撮像装置によれば、点滅光源領域に対して適切に比較明合成を行うことにより、光源の明るさが安定した動画を得ることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明の一実施形態に係る動画記録モードのフローチャート図である。
【図３】本発明の一実施形態に係る比較明合成領域決定処理のフローチャート図である。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための形態を図面に基づいて説明する。
【実施例１】
【０００９】
図１に、実施形態に係る撮像装置の構成を示す。
【００１０】
撮像部１０は光を受光し、Ａ／Ｄ変換によってデジタル化された画像信号を出力する。撮像部１０が受光する光はフォーカスレンズを含むレンズ群、シャッター、絞り、ＮＤフィルタを通過したものであり、シャッター、絞り、ＮＤフィルタは露出制御部２０によって、フォーカスレンズはフォーカス制御部３０によってそれぞれ制御することが可能である。また、ビデオライト制御部３５によって被写体に光を照射し、反射光を撮像部１０でとりこむこともできる。
【００１１】
撮像部１０から出力された画像データは画像処理回路６０へ入力すると同時に、メモリ５０に記憶することができる。一旦、メモリ５０に記憶した画像データは再度読み出すことができ、システム制御４０から画像データを参照したり、読み出した画像データを画像処理回路６０に入力することが可能である。さらに、画像処理回路６０で画像処理した画像データをメモリ５０に書き戻したり、システム制御４０から任意のデータを書き込むことも可能である。
【００１２】
画像処理回路６０においては、入力画像を解析することで人物（顔）をはじめとする被写体を検出することも可能であり、システム制御４０と連携して、被写体に応じた様々な制御を行うことが可能である。また、動画のエンコードや比較明合成を含む画像合成も画像処理回路６０で行うことができる。
【００１３】
表示部７０は画像処理回路６０で画像処理されメモリ５０に記憶されたデジタル画像データをＤ／Ａ変換して、液晶ディスプレイのような表示装置に画像を表示することができる。また、画像データだけでなく任意の情報を単独、もしくは画像と共に表示することが可能であり、撮影時の露出情報を表示したり、検出された顔領域に枠を表示することも可能である。
【００１４】
記録部８０は撮影した画像データをメディアに記憶することができる。
【００１５】
操作部９０は特に動画記録指示を行うための動画釦（９２）を含む。また、静止画撮影モード、動画撮影モード、再生モードなどのカメラ動作モードを切り替えるモード切替スイッチや、カメラ設定を変更可能なパラメータ選択スイッチなどを含む。
【００１６】
図２は動画記録モード処理を示すフローチャートである。
【００１７】
システム制御４０は測光処理を行い、被写体の輝度値を算出するとともに、算出した輝度値に基づき適正露出に制御する（Ｓ２０１）。被写体の輝度値は、撮像部１０から出力される画像データの輝度信号値と、その画像が露光された時点の露出条件とから算出される。
【００１８】
Ｓ２０２では、測距処理を行い、被写体にピントを合わせるためにフォーカスレンズを合焦位置に移動させる。
【００１９】
次にシステム制御４０は、撮像部１０から出力される画像データを小領域に分割し、分割された領域ごとに輝度値を求め、前記輝度値を動画釦９２が押されるまで周期的に監視する（Ｓ２０３）。領域分割は、画像データの輝度情報や色情報に基づいて行い、輝度や色の近い画素の塊としてグルーピングされる。
【００２０】
また、前記分割された領域ごとに動きベクトルも求め、この動きベクトルを動画釦９２が押されるまで周期的に監視する（Ｓ２０４）。動きベクトルは例えば、撮像部１０から連続して出力される画像の隣接するフレーム間で、画素信号の差分を取ることにより求めることができる。
【００２１】
Ｓ２０５ではシステム制御４０は動画釦９２が押されたか否かを判断し、押されていなければＳ２０１に戻る。動画釦９２が押された場合は（Ｓ２０５）Ｓ２０６に進み、システム制御４０は、フレームレートを動画記録用に切り替える。本実施例では高フレームレート動画記録用の動画記録モードを想定し、動画釦がおされるまでの動画待機中は低フレームレートで動作し、動画釦が押されて記録を開始する際に記録用の高フレームレートに切り替えるものとする。
【００２２】
このような構成とすることで、低フレームレートで処理負荷の小さい動画待機中に明るさやピントを合わせ（Ｓ２０１、Ｓ２０２）、明るさやピントがあった状態のまま高フレームレートの動画を撮影することができる。
【００２３】
フレームレートを変更すると、制御可能な露光時間の範囲が変わるため、改めて露出を設定し直す（Ｓ２０７）。待機中の露光時間設定にもよるが、フレームレートを速くすることで最長露光時間が短くなるため、動画待機中に比べて短い露光時間を設定する。その分感度を上げたり絞りを開いたりして明るさを調整する。
【００２４】
Ｓ２０８では、Ｓ２０３およびＳ２０４で用いた分割領域それぞれに対して、比較明合成の対象とするか否かを決定してＳ２０９に進む。この比較明合成領域決定処理Ｓ２０８は図３を用いて後述する。
【００２５】
Ｓ２０９に進むと、システム制御４０は動画の記録を開始する。記録部８０によって動画がメディアに記録される。特にＳ２０８で比較明合成対象に決定された領域に関しては、比較明合成された結果の画像が動画として記録される。また、露光タイミングによっては点滅光源領域の輝度が低いフレームが記録開始直後に続いてしまうことも考えられるため、Ｓ２０３で監視していた輝度情報を基に、点滅光源領域の輝度が所定レベルに達するまで、例えば待機中の平均輝度値に達するまでは記録の開始を待ち合わせてもよい。
【００２６】
図３はＳ２０８の比較明合成領域決定処理を示すフローチャートである。
【００２７】
ここではＳ２０３およびＳ２０４で用いた分割領域それぞれに対して、比較明合成の対象とするかを判定するが、判定を行う領域のインデックスＮをまず１に初期化する（Ｓ３０１）。
【００２８】
Ｓ３０２に進むと、システム制御４０は領域Ｎに対して判定を開始する。
【００２９】
まずＳ３０３で、領域Ｎの輝度が動画待機中に安定していたかを判定する。判定は、Ｓ２０３で監視しておいた領域Ｎの輝度変化情報を基に、例えば輝度変化が動画釦押下前の一定期間、閾値以内に収まっているか否かで行えばよい。動画待機中の輝度が安定していないと判定された場合はＳ３０８に進む。Ｓ３０３で領域Ｎの輝度が動画待機中に安定していたと判定された場合は、続いて領域Ｎの輝度が動画待機中と比べて所定以上変化したかを判定する（Ｓ３０４）。Ｓ２０７の露出制御により待機中に比べて短い露光時間が設定された場合、特に待機中の露光時間が点滅光源の点滅周期より長く、Ｓ２０７の露出制御により点滅光源の点滅周期より短い露光時間が設定された場合、露光時間に収まる光源波形の周期の数が異なるため、点滅光源に対応する領域の輝度は大きく変化する可能性がある。換言すると、Ｓ２０７の露出制御により大きく輝度が変化した領域は点滅光源の可能性があるため、比較明合成により記録動画の輝度を安定させるべくＳ３０５に進む。待機中からの輝度変化が少ない場合はＳ３０８に進む。
【００３０】
Ｓ３０５では、領域Ｎが動体領域でないかを確認するため、領域Ｎに対する動きベクトルが検出されていないかを判定する。判定については、フレームレート切替前後の画像の信号差分から動きベクトルを計算し、ベクトルが検出されるか否かを判定すればよい。また、Ｓ２０４で監視しておいた領域Ｎの動きベクトル情報を基に、例えば動きベクトルが動画釦押下前の一定期間、検出されないことを条件として加えてもよい。動きベクトルが検出されなければＳ３０６に、検出された場合はＳ３０８に進む。
【００３１】
Ｓ３０６に進むと、システム制御４０は、領域Ｎの周辺の領域の輝度が安定しているかを判定する。周辺領域も輝度が変化している場合、光の当たり方が変わったなどして単純に被写体の輝度が変化した可能性も考えられるので、この場合は領域Ｎを点滅光源だとは断定せず、比較明合成の対象領域からは外しておく（Ｓ３０８）。
【００３２】
周辺領域の輝度も安定していた場合は（Ｓ３０６）Ｓ３０７に進み、領域Ｎを点滅光源だとみなして比較明合成対象の領域に設定する。逆にＳ３０８に進んだ場合は、領域Ｎは比較明合成の対象外の領域に設定する。
【００３３】
領域Ｎの判定を終了すると、システム制御４０は、比較明合成の対象にするか否かを決定していない領域があるかを判定し（Ｓ３０９）、未決定の領域が残っている場合はＳ３１０に進み判定を行う領域のインデックスをインクリメントしＳ３０２に戻る。未決定の領域がない場合は（３０９）、Ｓ２０８の比較明合成領域決定処理を終了する。
【００３４】
点滅光源領域か否かを決定するために、動画待機中の輝度は安定していたが、フレームレートおよび露出の切替後に輝度が所定以上変化したかをまず判定している（Ｓ３０３〜Ｓ３０４）。ただ、移動体の領域であったり、光の当たり方が変わっただけでも前記の条件が成立してしまうことがあるため、Ｓ３０５〜Ｓ３０６で条件を絞ることで、より精度よく点滅光源であることを判定している。
【００３５】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００３６】
１０  撮像部、２０  露出制御部、３０  フォーカス制御部、３５  ビデオライト制御部
【図１】
2017126913.tif 000003
【図２】
2017126913.tif 000004
【図３】
2017126913.tif 000005