(57)【要約】【課題】ノイズ感の不自然な変化が微速度動画像に生ずるのを抑制し得る撮像装置及びその制御方法を提供する。【解決手段】光学像を定期的に撮像する撮像手段と、光学像を撮像することにより撮像手段によって取得された画像に対してノイズ低減処理を行う画像処理手段と、ノイズ低減処理を行うか否かを判定する判定手段とを有し、ノイズ低減処理の実施と不実施の切り替えが生じた場合には、ノイズ低減処理の度合いを変化させながら、現フレームの画像及び現フレームより後に取得される画像に対してノイズ低減処理を行う。【選択図】図２
2017034473.tif 000002
【特許請求の範囲】
【請求項１】
光学像を定期的に撮像する撮像手段と、
前記光学像を撮像することにより前記撮像手段によって取得された画像に対してノイズ低減処理を行う画像処理手段と、
前記ノイズ低減処理を行うか否かを判定する判定手段と、
前フレームの前記画像に対しては前記ノイズ低減処理を行わないと前記判定手段が判定したが、現フレームの前記画像に対しては前記ノイズ低減処理を行うと前記判定手段が判定した場合、又は、前記前フレームの前記画像に対しては前記ノイズ低減処理を行うと前記判定手段が判定したが、前記現フレームの前記画像に対しては前記ノイズ低減処理を行わないと前記判定手段が判定した場合には、前記ノイズ低減処理の度合いを変化させながら、前記現フレームの前記画像及び前記現フレームより後に取得される前記画像に対して前記ノイズ低減処理を行うように、前記画像処理手段を制御する制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記光学像を撮像することにより前記撮像手段によって取得された前記画像である本画像と、外光を遮断した状態で撮像を行うことにより前記撮像手段によって取得された黒画像とを用いて、前記本画像に対してノイズ低減処理を行う
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記本画像の露光時間と、前記本画像に対して前記ノイズ低減処理を行う際に用いられる前記黒画像の露光時間とは、同一に設定され、
前記画像処理手段は、前記黒画像の各画素の画素値に乗じる値を変化させることにより、前記本画像に対する前記黒画像の割合を変化させ、前記本画像に対する前記割合が変化した前記黒画像を前記本画像から減じる
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像処理手段は、前記本画像を撮像する際の露光時間に対する前記黒画像を撮像する際の露光時間の割合を変化させることにより、前記本画像に対する前記黒画像の割合を変化させ、前記本画像に対する前記割合が変化した前記黒画像を前記本画像から減じる
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記前フレームの前記本画像に対しては前記ノイズ低減処理を行わないと前記判定手段が判定したが、前記現フレームの前記本画像に対しては前記ノイズ低減処理を行うと前記判定手段が判定した場合には、前記本画像に対する前記黒画像の前記割合を増加させる
ことを特徴とする請求項３又は４に記載の撮像装置。
【請求項６】
前記前フレームの前記本画像に対しては前記ノイズ低減処理を行うと前記判定手段が判定したが、前記現フレームの前記本画像に対しては前記ノイズ低減処理を行わないと前記判定手段が判定した場合には、前記本画像に対する前記黒画像の前記割合を減少させる
ことを特徴とする請求項３又は４に記載の撮像装置。
【請求項７】
前記定期的な撮像におけるインターバル時間の設定に応じて、前記本画像に対する前記黒画像の前記割合を変化させる際における前記割合の変化量を制御する
ことを特徴とする請求項３から６のいずれか１項に記載の撮像装置。
【請求項８】
光学像を定期的に撮像する撮像装置の制御方法であって、
前記光学像を撮像することにより画像を取得するステップと、
前記画像に対してノイズ低減処理を行うステップとを有し、
前フレームの前記画像に対しては前記ノイズ低減処理を行わなかったが、現フレームの前記画像に対しては前記ノイズ低減処理を行う場合、又は、前記前フレームの前記画像に対しては前記ノイズ低減処理を行ったが、前記現フレームの前記画像に対しては前記ノイズ低減処理を行わない場合に、前記ノイズ低減処理の度合いを変化させながら、前記現フレームの前記画像及び前記現フレームより後に取得される前記画像に対して前記ノイズ低減処理を行う
ことを特徴とする撮像装置の制御方法。
【請求項９】
前記ノイズ低減処理を行うステップでは、前記光学像を撮像することにより取得された前記画像である本画像と、外光を遮断した状態で撮像を行うことにより取得された黒画像とを用いて、前記本画像に対してノイズ低減処理を行う
ことを特徴とする請求項８に記載の撮像装置の制御方法。
【請求項１０】
前記黒画像を取得するステップでは、前記黒画像を用いた前記ノイズ低減処理が行われる前記本画像の露光時間と同一の露光時間で、前記黒画像を取得し、
前記ノイズ低減処理を行うステップでは、変化させた値を乗じた前記黒画像を用いて、前記本画像に対して前記ノイズ低減処理を行う
ことを特徴とする請求項９に記載の撮像装置の制御方法。
【請求項１１】
前記黒画像を取得するステップでは、前記本画像を撮像する際の露光時間に対する割合を変化させた露光時間で前記黒画像を撮像する
ことを特徴とする請求項９に記載の撮像装置の制御方法。
【請求項１２】
請求項８から１１のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項８から１１のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮影装置は、消費電力の低減によりバッテリーでの長時間の使用が可能となった。更に、画像を記録するストレージの大容量化により、撮影できる枚数が増大した。このような撮影装置の性能の向上に伴い、屋内外を問わず、手軽に、微速度動画を撮影することが可能となってきている。
【０００３】
微速度動画の撮影においては、徐々に変化していく映像が得られることが期待される。しかし、偶然通過した人物、動物、乗り物等が映り込んだ場合には、不連続な見苦しい画像となってしまう。このような問題を解決するために、前回撮影した画像と今回撮影した画像を比較し、これらの差分が閾値以下の場合は今回撮影した画像を採用し、これらの差分が閾値以上の場合には撮影を所定回繰り返す技術が提案されている（特許文献１）。特許文献１によれば、不連続な画像が撮影されてしまうのを防止することができる。
【０００４】
一方、微速度動画では、フレームレートの速い動画像と比べて１フレームあたりの撮影時間を十分に長く確保することができる。このため、微速度動画の撮影においては、イメージセンサから画像を読み出す際の読み出し時間の制約が少なく、高解像、高ダイナミックレンジの撮影を行うことが可能である。また、長秒露光による撮影となる場合には、各フレームの撮影後にノイズリダクション処理を行うことも可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２４４３３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の撮像装置によって取得された微速度動画像では、ノイズ感の不自然な変化がみられる場合があった。
【０００７】
本発明の目的は、ノイズ感の不自然な変化が微速度動画像に生ずることを抑制し得る撮像装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一観点によれば、光学像を定期的に撮像する撮像手段と、前記光学像を撮像することにより前記撮像手段によって取得された画像に対してノイズ低減処理を行う画像処理手段と、前記ノイズ低減処理を行うか否かを判定する判定手段と、前フレームの前記画像に対しては前記ノイズ低減処理を行わないと前記判定手段が判定したが、現フレームの前記画像に対しては前記ノイズ低減処理を行うと前記判定手段が判定した場合、又は、前記前フレームの前記画像に対しては前記ノイズ低減処理を行うと前記判定手段が判定したが、前記現フレームの前記画像に対しては前記ノイズ低減処理を行わないと前記判定手段が判定した場合には、前記ノイズ低減処理の度合いを変化させながら、前記現フレームの前記画像及び前記現フレームより後に取得される前記画像に対して前記ノイズ低減処理を行うように、前記画像処理手段を制御する制御手段と、を有することを特徴とする撮像装置が提供される。
【発明の効果】
【０００９】
本発明によれば、長秒露光時のノイズリダクション処理の実施と不実施の切り替わりが微速度動画の撮影中に生じた場合には、ノイズリダクション処理の度合いを変化させながら、画像に対してノイズリダクション処理を行う。このため、長秒露光時のノイズリダクション処理の実施と不実施の切り替わりの前後でノイズ感が不自然に変化してしまうのを防止することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態による撮像装置の構成を示すブロック図である。
【図２】長秒露光時のノイズリダクション処理を概念的に示す図である。
【図３】本発明の第１実施形態による撮像装置の動作を示すフローチャートである。
【図４】長秒露光時のノイズリダクション処理が必要であるか否かの判断基準の一例を示す図である。
【図５】式（１）に基づく黒引きゲインと式（２）に基づく黒引きゲインとを示すグラフである。
【図６】本発明の第２実施形態による撮像装置の動作を示すフローチャートである。
【図７ａ】長秒露光時のノイズリダクション処理を概念的に示す図である。
【図７ｂ】長秒露光時のノイズリダクション処理を概念的に示す図である。
【発明を実施するための形態】
【００１１】
長時間にわたって微速度動画を撮影した場合には、昼間から夜間にまたがった撮影となることや、夜間から昼間にまたがった撮影となることもある。夜間における屋外の撮影では、露光時間が非常に長くなるため、長秒露光時のノイズリダクション処理が必要となる場合がある。一方、昼間の撮影では、露光時間が十分に短くなるため、長秒露光時のノイズリダクション処理は不要となる。従って、昼間から夜間にまたがる微速度動画の撮影や、夜間から昼間にまたがる微速度動画の撮影において、長秒露光時のノイズリダクション処理の実施と不実施との切り替えが生じる。長秒露光時のノイズリダクション処理の実施と不実施との切り替えの前後の画像を比較すると、ノイズ感に著しい相違が観察される。このため、長秒露光時のノイズリダクション処理の実施と不実施との切り替えが微速度動画の撮影時に生じた場合には、ノイズ感が不自然に変化してしまうこととなる。本願発明者は、上記のような課題に鑑み、鋭意検討した結果、以下のような発明を想到した。
【００１２】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００１３】
［第１実施形態］
第１実施形態による撮像装置及びその制御方法について図１乃至図５を用いて説明する。図１は、本実施形態による撮像装置の構成を示すブロック図である。
【００１４】
撮影レンズ１０３は、フォーカスレンズを含んでいる。シャッター１０１は、絞り機能を備えている。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等の撮像素子によって構成されている。撮像部２２の受光面（図示せず）には、複数の画素（図示せず）がマトリクス状に配されている。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。バリア１０２は、撮影レンズ１０３等を覆うことにより、撮影レンズ１０３、シャッター１０１及び撮像部２２を含む撮像系の汚れや破損を防止する。
【００１５】
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し、所定の画素補間、縮小といったリサイズ処理や、色変換処理等を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、演算処理によって得られた演算結果をシステム制御部５０に送信する。システム制御部５０は、画像処理部２４によって得られた演算結果に基づいて、露光制御、測距制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、演算処理によって得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。画像処理部２４は、更に、長秒露光（長時間露光）が行われた場合は、長秒露光時のノイズリダクション処理（ノイズ低減処理、ＮＲ処理）をも行う。長秒露光時のノイズリダクション処理は、本画像を撮影した後に黒画像を撮影し、当該本画像から当該黒画像を減算することによって固定ノイズを除去する処理である。このような処理は、黒画像を減算する処理であるため、黒引き処理とも称される。黒画像は、例えば、シャッター１０１を用いて外光を遮断した状態で取得される。黒画像の露光時間は、例えば、本画像の露光時間と同じに設定される。
【００１６】
図２は、長秒露光時のノイズリダクション処理を概念的に示す図である。図２（ａ）は、参考例による撮像装置における長秒露光時のノイズリダクション処理を示しており、図２（ｂ）は、本実施形態による撮像装置における長秒露光時のノイズリダクション処理を示している。図２（ａ）に示すように、参考例による撮像装置では、長秒露光時のノイズリダクション処理の単なるオンまたは単なるオフしか実行し得なかった。これに対し、本実施形態による撮像装置では、図２（ｂ）に示すように、黒画像のゲインを調整することができるため、本画像に対する黒画像の割合を段階的に変化させることができる。
【００１７】
Ａ／Ｄ変換器２３から出力されるデジタルデータは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介して、メモリ３２に書き込まれる。メモリ３２は、撮像部２２によって得られ、Ａ／Ｄ変換器２３によってデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。
【００１８】
また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２から出力される画像表示用のデータをアナログ信号に変換し、当該アナログ信号を表示部２８に送信する。これにより、メモリ３２に書き込まれている表示用の画像データが、表示部２８によって表示される。表示部２８は、ＬＣＤ等の表示器を含んでいる。表示部２８は、Ｄ／Ａ変換器１３からのアナログ信号に応じた画像を、表示器を用いて表示する。撮像部２２から出力されるアナログ信号は、Ａ／Ｄ変換器２３によってデジタル信号に変換され、当該デジタル信号がメモリ３２に一時的に記憶される。メモリ３２に一時的に記憶されたデジタル信号は、Ｄ／Ａ変換器１３によってアナログ信号に変換され、当該アナログ信号が表示部２８に順次送信される。表示部２８は、Ｄ／Ａ変換器１３から順次送信されるアナログ信号に応じた画像を表示する。表示部２８は、電子ビューファインダ（スルー画像表示）として機能する。
【００１９】
不揮発性メモリ５６は、電気的に情報の消去や記録が可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられている。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶されている。かかるプログラムは、本実施形態による撮像装置を制御するためのプログラムであり、例えば、図３に示すような動作が当該プログラムによって実行される。
【００２０】
システム制御部５０は、本実施形態による撮像装置（以下、「デジタルカメラ」ともいう）１００の全体の制御を司る。不揮発性メモリ５６に記録されたプログラムを実行することによって、後述する各処理を実行する。システムメモリ５２としては、例えばＲＡＭが用いられている。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することによって表示制御をも行う。
システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する。
【００２１】
モード切替スイッチ６０、第１のシャッタースイッチ（図示せず）、第２のシャッタースイッチ（図示せず）、及び、操作部７０は、システム制御部５０に対して各種の動作指示を行うための操作手段である。
【００２２】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。第１のシャッタースイッチは、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）によってＯＮ状態となり、第１のシャッタースイッチ信号ＳＷ１を発生する。第１のシャッタースイッチ信号ＳＷ１によって、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作が開始される。
【００２３】
第２のシャッタースイッチは、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）によってＯＮ状態となり、第２のシャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２のシャッタースイッチ信号ＳＷ２により、撮像部２２からの画像信号の読み出しから記録媒体２００への画像データの書き込みまでの一連の撮影処理の動作を開始する。
【００２４】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作すること等によって、場面ごとに機能が適宜割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると、各種の設定を行うことが可能なメニュー画面が表示部２８に表示される。たとえば、動画記録モードにおいてメニューボタンが押されると、フレームレートや解像度を選択することができる。微速度動画（タイムラプス動画）の撮影も、メニュー画面において選択し得る。ユーザは、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて、各種設定を直感的に行うことができる。
【００２５】
コントローラホイール（図示せず）は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと同様に選択項目を指示する際等に使用される。コントローラホイールを回転操作させると、操作量に応じた電気的なパルス信号が発生する。システム制御部５０は、コントローラホイールから出力されるパルス信号に基づいて、デジタルカメラ１００の各部を制御する。システム制御部５０は、コントローラホイールが回転操作された角度や、コントローラホイールが何回転したか等を、コントローラホイールから出力されるパルス信号に基づいて判定し得る。なお、コントローラホイールは、回転操作が検出できる操作部材であれば、どのようなものであってもよい。例えば、コントローラホイールは、ユーザの回転操作に応じてコントローラホイール自体が回転するとともにパルス信号を発生するダイヤル操作部材であってもよい。また、コントローラホイールは、タッチセンサより成る操作部材であってもよい。例えば、コントローラホイール自体は回転せず、コントローラホイール上でのユーザの指の回転動作等を検出するようにしてもよい。このようなコントローラホイールは、タッチホイールと称される。
【００２６】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、これらの検出結果やシステム制御部５０からの指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００２７】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等から成る。電源スイッチ７２は、デジタルカメラ１００の電源のオン／オフの切り替えのためのものである。記録媒体２００は、メモリカード、半導体メモリ、磁気ディスク等によって構成される。記録媒体２００への画像データの書き込みや記録媒体２００からの画像データの読み出し等は、インターフェース１８を介して行われる。
【００２８】
図３は、本実施形態による撮像装置の動作を示すフローチャートである。図３は、微速度動画の撮影時における固定パターンノイズの除去のためのノイズリダクション処理を示している。図３に示す動作は、制御手段であるシステム制御部５０の制御下で実行される。微速度動画の撮影を行うか否かの設定は、ユーザによるメニュー操作によって撮影開始前に行われる。
【００２９】
ステップＳ２０１においては、システム制御部５０は、撮影が終了するか否かの判定を行う。撮影終了と判定する条件としては、撮影時間等の条件が満了した場合や、ユーザによって行われた撮影終了操作を受け付けた場合、電源電圧の低下等の異状を検出した場合等である。撮影終了の条件を満たしている場合には（ステップＳ２０１においてＹＥＳ）、撮影処理を終了する。一方、撮影終了の条件を満たしていない場合には、ステップＳ２０２に移行する。
【００３０】
ステップＳ２０２においては、システム制御部５０は、前回の撮影からの経過時間が、予め設定されたインターバル時間に達したか否かを判定する。インターバル時間は、全体の撮影時間に応じて、また、動画再生時の長さに応じて、適宜設定される。例えば、再生時のフレームレートを３０ｆｐｓとし、１０倍速再生となるような動画を撮影するためには、３０／１０＝３ｆｐｓのフレームレートで撮影すればよい。３ｆｐｓの撮影を行うときの露光時間の最長時間は、ノイズリダクション処理のための黒画像の撮影を考慮すると、６ｆｐｓの１コマの時間と同等であるため、１／６秒である。インターバル時間が経過した場合には（ステップＳ２０２においてＹＥＳ）、ステップＳ２０３に移行する。一方、インターバル時間を経過していない場合には（ステップＳ２０２においてＮＯ）、ステップＳ２０１へ戻る。
【００３１】
ステップＳ２０３においては、撮影レンズ１０３によって撮像部２２の受光面に形成される光学像を、撮像部２２によって撮影することにより、本画像を取得する。長秒露光時のノイズリダクション処理を行うために取得される黒画像と区別するため、この段階で行われる撮影によって取得される画像は「本画像」と称することとする。本画像の撮影が終了すると、ステップＳ２０４に移行する。
【００３２】
ステップＳ２０４においては、システム制御部５０は、ステップＳ２０３で本画像を撮影した際における撮影情報を収集する。かかる撮影情報としては、例えば、撮影条件の設定や、撮影環境の情報等が挙げられる。より具体的には、例えば、シャッター速度、絞り値、ＩＳＯ感度、ホワイトバランス設定、焦点距離、使用レンズ情報、イメージセンサの温度等が挙げられる。撮影情報の収集が完了すると、ステップＳ２０５に移行する。
【００３３】
ステップＳ２０５においては、システム制御部５０は、ステップＳ２０４で収集した撮影情報に基づいて、長秒露光時のノイズリダクション処理の実施が必要であるか否を判断する。図４は、長秒露光時のノイズリダクション処理の実施が必要であるか否かの判断基準の例を示す図である。一般的な傾向として、露光時間Ｔｖの増加や、センサ温度Ｔの上昇に伴い、固定パターンノイズが目立つ。このため、露光時間Ｔｖやセンサ温度Ｔをパラメータとして、長秒露光時のノイズリダクション処理を実施するか否を決定する。長秒露光時のノイズリダクション処理の実施が必要であると判断した場合には（ステップＳ２０５においてＹＥＳ）、ステップＳ２０６に移行する。一方、長秒露光時のノイズリダクション処理の実施が不要であると判断した場合には（ステップＳ２０５においてＮＯ）、ステップＳ２０７に移行する。
【００３４】
ステップＳ２０６は、黒引きゲインを段階的に増加させるためのステップである。一方、ステップＳ２０７は、黒引きゲインを段階的に減少させるためのステップである。これらのステップは本発明における特徴的なステップである。黒引きゲインとは、黒引きの程度を示すものであり、最小値は０であり、最大値は１である。換言すれば、黒引きゲインは、本画像に対する黒画像の割合である。本画像を１としたとき、当該本画像に対してノイズ低減処理を行う際に用いられる黒画像は０より大きく、１以下である。黒引きゲインを段階的に増減させ、黒引きゲインが最大値又は最小値に到達した際には、黒引きゲインの増減の操作を終了させる。黒引きゲインの増減の開始点と終了点とにおける黒引きゲインの変化量を少なくするためには、以下のような式（１）に基づいて黒引きゲインを設定すればよい。ただし、式（１）は黒引きゲインＧを段階的に増加させる処理（ステップＳ２０６）において適用される。Ｎは、黒引きゲインを最大値に到達させるまでの操作の分割数を示しており、ｎは何回目の操作であるかを示している。
Ｇ＝（１／２）×［ｓｉｎ｛（（ｎ／Ｎ）−（１／２））×π｝＋１］  ・・・（１）
【００３５】
また、黒引きゲインＧは、以下のような式（２）に基づいて設定するようにしてもよい。式（２）に基づいて黒引きゲインを設定した場合には、黒引きゲインの変化率は一定となる。
Ｇ＝ｎ／Ｎ  ・・・（２）
【００３６】
図５は、式（１）に基づく黒引きゲインと式（２）に基づく黒引きゲインとを示すグラフである。横軸は、黒引きゲインの増減のための当該操作が何回目の操作であるかを示しており、縦軸は黒引きゲインの値を示している。式（１）に基づく黒引きゲインは、◆印を用いてプロットされており、式（２）に基づく黒引きゲインは、■印を用いてプロットされている。
【００３７】
分割数Ｎが大きいほど、黒引きゲインの変化量が小さくなる。このため、分割数Ｎが大きいほど、長秒露光時のノイズリダクション処理の実施と不実施時の切り替えの前後におけるノイズ感の変化が小さくなる。
【００３８】
しかしながら、分割数Ｎが大きすぎる場合には、黒引きゲインの変化量が小さくなりすぎ、長秒露光時のノイズリダクション処理を十分に行うべき画像に対して長秒露光時のノイズリダクション処理が十分に行われないため、ノイズが目立ってしまう。
【００３９】
一方、分割数Ｎが小さすぎる場合には、黒引きゲインの変化量が大きくなりすぎ、ノイズ感の変化が大きくなりすぎてしまう。撮影のインターバル時間が短く、画像が緩やかに変化するような情景を撮影する場合には、分割数Ｎが小さすぎることは好ましくない。従って、分割数Ｎの選定は、インターバル時間に応じて調整することが好ましい。
【００４０】
黒引きゲインの操作が終了すると、ステップＳ２０８に移行する。
ステップＳ２０８においては、黒引きゲインが０より大きいか否かの判定を行う。黒引きゲインが０より大きい場合には（ステップＳ２０８においてＹＥＳ）、ステップＳ２０９に移行する。一方、黒引きゲインが０である場合には（ステップＳ２０８においてＮＯ）、ステップＳ２０１に移行する。
【００４１】
ステップＳ２０９においては、長秒露光時のノイズリダクション処理を行うために、黒画像を撮影する。黒画像の撮影においては、シャッター１０１を完全にクローズさせ、外光を取り込まずに、本画像と同一の設定にて撮影を行う。黒画像の撮影が完了すると、ステップＳ２１０に移行する。
【００４２】
ステップＳ２１０においては、ノイズリダクション処理（ＮＲ処理）を行う。ノイズリダクション処理においては、システム制御部５０が、画像処理部２４を駆動することによって、画像の演算処理を行う。本画像における各画素の出力値をＲ（ｈ，ｖ）、黒画像における各画素の出力値（画素値）をＤ（ｈ，ｖ）、黒引きゲインをＧ、黒レベルのオフセット成分をＯとすると、ノイズリダクション処理後の合成画像Ｉ（ｈ，ｖ）は、以下の式（３）で表される。
Ｉ（ｈ，ｖ）＝Ｒ（ｈ，ｖ）−Ｇ×Ｄ（ｈ，ｖ）＋Ｏ  ・・・（３）
長秒露光時のノイズリダクション処理が完了すると、ステップＳ２０１へ戻る。
【００４３】
黒画像の各画素の出力値Ｄ（ｈ，ｖ）に乗じられる黒引きゲインＧの値が段階的に変化するため、長秒露光時のノイズリダクション処理の強度も段階的に変化する。
【００４４】
このように、本実施形態では、前フレームの本画像に対してはノイズリダクション処理を行わないとシステム制御部５０が判定し、現フレームの本画像に対してはノイズリダクション処理を行うとシステム制御部５０が判定した場合には、以下のように動作する。即ち、システム制御部５０は、ノイズリダクション処理の度合いを徐々に増加させながら、現フレームの本画像及び現フレームより後に取得される本画像に対してノイズリダクション処理を行う。また、本実施形態では、前フレームの本画像に対してはノイズリダクション処理を行うとシステム制御部５０が判定したが、現フレームの本画像に対してはノイズリダクション処理を行わないとシステム制御部５０が判定した場合には、以下のように動作する。即ち、システム制御部５０は、ノイズリダクション処理の度合いを徐々に減少させながら、現フレームの本画像及び現フレームより後に取得される本画像に対してノイズリダクション処理を行う。即ち、本実施形態では、微速度動画の撮影中に長秒露光時のノイズリダクション処理の実施と不実施の切り替えが生じた場合には、長秒露光時のノイズリダクション処理の度合いを徐々に変化させる。より具体的には、黒引きゲインを徐々に変化させる。このため、本実施形態によれば、長秒露光時のノイズリダクション処理の強度を徐々に変化させることができ、ひいては、ノイズ感が急激に変化することを防止することができる。
【００４５】
［第２実施形態］
第２実施形態による撮像装置及びその制御方法を図６及び図７を用いて説明する。図１乃至図５に示す第１実施形態による撮像装置及びその制御方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
【００４６】
第１実施形態では、微速度動画の撮影中に長秒露光時のノイズリダクション処理の実施と不実施の切り替えが生じた場合には、黒引きゲインＧを段階的に変化させることにより、ノイズ感が急激に変化することを防止した。本実施形態では、微速度動画の撮影中に長秒露光時のノイズリダクション処理の実施と不実施の切り替えが生じた場合には、黒画像を撮影する際の露光時間を段階的に変化させることにより、ノイズ感が急激に変化することを防止する。
【００４７】
本実施形態よる撮像装置の構成は、図１を用いて上述した第１実施形態による撮像装置の構成と同様であるため、説明を省略する。
【００４８】
図６は、本実施形態による撮像装置の動作を示すフローチャートである。ステップＳ６０１からステップＳ６０８までは、図２を用いて上述したステップＳ２０１からステップＳ２０８までと同様であるため、説明を省略する。第１実施形態による撮像装置の制御方法と本実施形態による撮像装置の制御方法との相違点は、ステップＳ６０９に行われる処理とステップＳ６１０において行われる処理である。第１実施形態においては、本画像を撮影する際の露光時間と、当該本画像に対するノイズリダクション処理を行う為に用いられる黒画像の露光時間とは同一に設定した（ステップＳ２０９）。これに対し、本実施形態では、本画像を撮影する際の露光時間と、当該本画像に対するノイズリダクション処理を行うための黒画像を撮影する際の露光時間とを同一に設定せず、当該黒画像を撮影する際の露光時間を段階的に変化させる（ステップＳ６０９）。黒画像を撮影する際の露光時間Ｄｔｖは、本画像を撮影する際の露光時間をＲｔｖ、黒引きゲインをＧとすると、以下のような式（４）を用いて算出し得る。
Ｄｔｖ＝Ｒｔｖ×Ｇ  ・・・（４）
ステップＳ６０９においては、式（４）を用いて求めた露光時間Ｄｔｖで黒画像を撮影する。
【００４９】
ステップＳ６１０においては、長秒露光時のノイズリダクション処理を行う。長秒露光時のノイズリダクション処理においては、システム制御部５０が、画像処理部２４を駆動することによって、画像の演算処理を行う。本画像における各画素の出力値をＲ（ｈ，ｖ）、黒画像における各画素の出力値をＤ′（ｈ，ｖ）、黒レベルのオフセット成分をＯとすると、ノイズリダクション処理後の合成画像Ｉ（ｈ，ｖ）は、以下の式（５）で表される。
Ｉ（ｈ，ｖ）＝Ｒ（ｈ，ｖ）−Ｄ′（ｈ，ｖ）＋Ｏ  ・・・（５）
長秒露光時のノイズリダクション処理が完了すると、ステップＳ６０１へ戻る。
【００５０】
図７ａ及び図７ｂは、長秒露光時のノイズリダクション処理を概念的に示す図である。図７ａ及び図７ｂは、周囲環境の光量と、長秒露光時のノイズリダクション処理を行う必要性の有無と、黒画像を撮影する際の露光時間とを模式的に表している。
【００５１】
図７ａは、参考例による撮像装置における長秒露光時のノイズリダクション処理を示している。図７ａに示すように、微速度動画の撮影においては、本画像４００〜４０９が定期的に取得される。即ち、本画像４００〜４０９が所定のインターバル時間で順次取得される。本画像４００を撮影する際には、周囲が明るいため、即ち、周囲環境の光量が所定値より大きいため、黒引き、即ち、長秒露光時のノイズリダクション処理は行われない。周囲が暗くなった場合、即ち、周囲環境の光量が所定値より小さくなった際には、黒引き、即ち、長秒露光時のノイズリダクション処理が行われる。このため、本画像４０１〜４０６の各々に対して、長秒露光時のノイズリダクション処理を行うべく、黒画像４１１〜４１６がそれぞれ取得される。本画像４０１を撮影する際の露光時間と、黒画像４１１を撮影する際の露光時間とは、同一に設定される。同様に、本画像４０２〜４０６を撮影する際のそれぞれの露光時間と、黒画像４１２〜４１６をそれぞれ撮影する際の露光時間とは、それぞれ同一に設定される。本画像４０１から黒画像４１１を減算することによって、長秒露光時のノイズリダクション処理が施された合成画像４３１が得られる。同様に、本画像４０２〜４０６から黒画像４１２〜４１６をそれぞれ減算することによって、長秒露光時のノイズリダクション処理が施された合成画像４３２〜４３６がそれぞれ得られる。本画像４０７〜４０９を撮影する際には、周囲が明るいため、即ち、周囲環境の光量が所定値より大きいため、黒引き、即ち、長秒露光時のノイズリダクション処理は行われない。
【００５２】
このように、参考例による撮像装置においては、本画像４００に対しては長秒露光時のノイズリダクション処理が行われない一方、本画像４０１に対しては長秒露光時のノイズリダクション処理が行われる。また、本画像４０６に対しては長秒露光時のノイズリダクション処理が行われる一方、本画像４０７に対しては長秒露光時のノイズリダクション処理は行われない。このため、参考例による撮像装置では、長秒露光時のノイズリダクション処理が急に行われるようになったり、また、長秒露光時のノイズリダクション処理が急に行われなくなったりする。このため、参考例による撮像装置では、長秒露光時のノイズリダクション処理の実施と不実施の切り替えの前後において、ノイズ感に急激な変化が生じてしまう。
【００５３】
図７ｂは、本実施形態による撮像装置における長秒露光時のノイズリダクション処理を示している。図７ｂに示すように、微速度動画の撮影においては、本画像４５０〜４５９が定期的に取得される。即ち、本画像４５０〜４５９が所定のインターバル時間で順次取得される。本画像４５０を撮影する際には、周囲が明るいため、即ち、周囲環境の光量が所定値より大きいため、黒引き、即ち、長秒露光時のノイズリダクション処理は行われない。この際の黒引きゲインは０である。周囲が暗くなった場合、即ち、周囲環境の光量が所定値より小さくなった際には、黒引き、即ち、長秒露光時のノイズリダクション処理が行われる。本画像４５１は、長秒露光時のノイズリダクションが必要になったばかりの段階のものである。このため、黒画像４６１を撮影する際の露光時間は、本画像４５１を撮影した際の露光時間に対して十分に短く設定される。そして、本画像４５１から黒画像４６１を減算することによって合成画像４７１を生成する。画像のノイズ感を徐々に変化させるべく、黒引きゲインは段階的に増加される。本画像４５２を撮影した際の露光時間に対する黒画像４６２を撮影する際の露光時間の割合は、本画像４５１を撮影した際の露光時間に対する黒画像４６１を撮影した際の露光時間の割合よりも大きく設定される。そして、本画像４５２から黒画像４６２を減算することによって合成画像４７２を生成する。こうして、段階的に黒引きゲインを増加させつつ長秒露光時のノイズリダクション処理が施された合成画像４７１，４７２が得られる。
【００５４】
本画像４５３〜４５６は、黒引きゲインが１に達した後に撮像されたものである。このため、黒画像４６３〜４６６を撮影する際の露光時間は、本画像４５３〜４５６を撮影した際の露光時間と同一に設定される。本画像４５３〜４５６から黒画像４６３〜４６６をそれぞれ減算することによって、長秒露光時のノイズリダクション処理が施された合成画像４７３〜４７６がそれぞれ得られる。
【００５５】
本画像４５７は、長秒露光時のノイズリダクション処理が不要になったばかりの段階のものである。この段階で長秒露光時のノイズリダクション処理を直ちに中止した場合には、ノイズ感が急激に変化してしまう。そこで、本実施形態では、長秒露光時のノイズリダクション処理を直ちにやめるのではなく、黒引きゲインを段階的に減少させる。具体的には、黒画像４６７を撮影する際の露光時間を、本画像４５７を撮影した際の露光時間よりも短く設定する。そして、本画像４５７から黒画像４６７を減算することによって合成画像４７７を生成する。本画像４５８を撮影した際の露光時間に対する黒画像４６８を撮影する際の露光時間の割合は、本画像４５７を撮影した際の露光時間に対する黒画像４６７を撮影した際の露光時間の割合よりも小さく設定される。そして、本画像４５８から黒画像４６８を減算することによって合成画像４７８を生成する。こうして、段階的に黒引きゲインを減少させつつ長秒露光時のノイズリダクション処理が施された合成画像４７７，４７８が得られる。
【００５６】
本画像４５９は、長秒露光時のノイズリダクション処理を行うことが不要になってから十分に時間が経過した後に撮像されたものである。この際の黒引きゲインは０である。このため、本画像４５９に対しては長秒露光時のノイズリダクション処理は行われない。
【００５７】
このように、本実施形態では、微速度動画の撮影中に長秒露光時のノイズリダクション処理の実施と不実施の切り替えが生じた場合には、黒画像の撮影時間を段階的に変化させる。このため、本実施形態によっても、ノイズ感が急激に変化するのを防止することができる。
【００５８】
以上、好適な実施形態に基づいて本発明を詳述してきたが、本発明はこれらの特定の実施形態に限定されるものではなく、要旨を逸脱しない範囲の様々な変形形態も本発明に含まれる。また、上記実施形態の一部を適宜組み合わせてもよい。
【００５９】
また、上記実施形態では、本画像から黒画像を減じることによりノイズリダクション処理を行う場合を例に説明したが、ノイズリダクション処理の手法はこれに限定されるものではない。例えば、フィルタを用いた２次元処理や複数フレームの画像を用いた３次元処理によってノイズリダクション処理を行うようにしてもよい。そして、フィルタ係数やフレーム数を変更することにより、ノイズリダクション処理の度合いを変化させるようにしてもよい。
【００６０】
また、上記実施形態では、本画像に対する黒画像の割合を段階的に変化させる場合を例に説明したが、本画像に対する黒画像の割合をなだらかに変化させるようにしてもよい。
【００６１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６２】
２２…撮像部
２４…画像処理部
２８…表示部
５０…システム制御部
６０…モード切替スイッチ
７０…操作部
１００…デジタルカメラ
１０１…シャッター
【図１】
2017034473.tif 000003
【図２】
2017034473.tif 000004
【図３】
2017034473.tif 000005
【図４】
2017034473.tif 000006
【図５】
2017034473.tif 000007
【図６】
2017034473.tif 000008
【図７ａ】
2017034473.tif 000009
【図７ｂ】
2017034473.tif 000010