(57)【要約】      （修正有）【課題】長秒撮影を主とした多重合成撮影処理を速やかに停止することができ、かつ、停止指示がなされるまでに合成された撮影画像を記録することが可能な撮像装置を提供する。【解決手段】先行黒画像取り込み手段と、インターバル撮影手段と、比較明合成撮影手段と、後処理用黒画像取り込み手段と、記録手段と、を有する。先行黒画像取り込み処理中または一枚目のインターバル撮影動作中に停止指示がなされた場合には撮影動作を中断し、ＮＲ処理、比較明合成処理、記録処理を実行しないように制御する。一枚目のインターバル撮影動作完了後から最終インターバル撮影動作完了前期間の撮影動作中に停止指示がなされた場合には、実行中の撮影処理は中断し、撮影画像に対する比較明合成処理を行った画像に対し記録手段による記録処理を実行するように制御し、最終インターバル撮影動作完了後に停止指示がなされた場合には、処理は中断せず、記録処理を実行する。【選択図】図２
2017022544.tif 000002
【特許請求の範囲】
【請求項１】
撮影指示により、インターバル撮影動作に先立って遮光状態の撮像データを取り込む先行黒画像取り込み手段と、
順次所定間隔で撮影動作を行うインターバル撮影手段と、
前記インターバル撮影手段により得られた撮影画像に対し、順次前記黒画像取り込み手段により取り込んだ黒画像を用いてＮＲ処理及び比較明合成する比較明合成撮影手段と、
あらかじめ指定された枚数または経過時間に達するまでインターバル撮影及び比較明合成手段による合成を行った後に、遮光状態の撮影画像を取り込む後処理用黒画像取り込み手段と、
比較明合成撮影手段により生成された最後の比較明合成画像に対して後処理用黒画像取り込み手段により取り込まれた黒画像を用いてＮＲ処理を行った後に記録用画像を生成し記録媒体に記録する記録手段と、
を有し、
先行黒画像取り込み処理中、または一枚目のインターバル撮影動作中に停止指示がなされた場合には撮影動作を中断し、ＮＲ処理、比較明合成処理、記録処理を実行しないように制御し、
一枚目のインターバル撮影動作完了後から最終インターバル撮影動作完了前期間の撮影動作中に停止指示がなされた場合には、
実行中の撮影処理は中断し、停止指示時がなされる前に撮影動作が完了したところまでの撮影画像に対する比較明合成処理を行った画像に対し記録手段による記録処理を実行するように制御し、
最終インターバル撮影動作完了後に停止指示がなされた場合には、処理は中断せず、記録処理を実行するように制御することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターバル撮影が可能な撮像装置に関する。
【背景技術】
【０００２】
近年、複数の画像を一連の撮像動作により生成し、生成された複数の画像に対して比較明合成処理を行う撮像装置が知られている。比較明合成処理とは、例えば、連続撮影で取得された複数の画像を比較して基準画像に対して明るい画素だけを用いて合成画像を生成する処理である。
【０００３】
特許文献１には、インターバル撮影中に比較明合成処理を行うとともに、適切なノイズ除去処理を行い、高品位な合成画像を記録・表示可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−４１８７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような比較明合成によるインターバル撮影は、主として、夜景や星空の撮影に用いられることが多く、露光条件としては、長秒露光で用いられることが多い。また、長秒露光条件での撮影画像に対するノイズ除去処理としては、特許文献１にも記載されているように、撮影前・後に黒引き用の黒画像を取り込みノイズ除去に用いることが一般的であり、この黒画像取り込みには、本露光と同じ時間の露光時間が必要である。
【０００６】
また、一般的にはこのようなインターバル撮影や連写などの連続撮影時には、ユーザーの撮影停止指示に対し、画像の露出を保証するよう、連続露光の間で停止するように制御することが一般的である。
【０００７】
しかし、このように連続露光の間で停止するように制御すると、誤って撮影開始してしまった場合や、撮影開始後に想定外の被写体が画角内に入り込んだ場合などに、長秒露光であるためにすぐに停止できず、操作性が良くない。想定外の被写体が比較明合成されてしまうため、それまでの撮影が全て無駄になってしまうといった課題があった。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、
撮影指示により、インターバル撮影動作に先立って遮光状態の撮像データを取り込む先行黒画像取り込み手段と、
順次所定間隔で撮影動作を行うインターバル撮影手段と、
前記インターバル撮影手段により得られた撮影画像に対し、順次前記黒画像取り込み手段により取り込んだ黒画像を用いてＮＲ処理及び比較明合成する比較明合成撮影手段と、
あらかじめ指定された枚数または経過時間に達するまでインターバル撮影及び比較明合成手段による合成を行った後に、遮光状態の撮影画像を取り込む後処理用黒画像取り込み手段と、
比較明合成撮影手段により生成された最後の比較明合成画像に対して後処理用黒画像取り込み手段により取り込まれた黒画像を用いてＮＲ処理を行った後に記録用画像を生成し記録媒体に記録する記録手段と、
を有し、
先行黒画像取り込み処理中、または一枚目のインターバル撮影動作中に停止指示がなされた場合には撮影動作を中断し、ＮＲ処理、比較明合成処理、記録処理を実行しないように制御し、
一枚目のインターバル撮影動作完了後から最終インターバル撮影動作完了前期間の撮影動作中に停止指示がなされた場合には、
実行中の撮影処理は中断し、停止指示時がなされる前に撮影動作が完了したところまでの撮影画像に対する比較明合成処理を行った画像に対し記録手段による記録処理を実行するように制御し、
最終インターバル撮影動作完了後に停止指示がなされた場合には、処理は中断せず、記録処理を実行するように制御することを特徴とする。
【０００９】
本発明の他の側面としてのプログラムは、前記撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムである。
【００１０】
本発明の他の側面としての記憶媒体は、コンピュータに、前記撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体である。
【００１１】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１２】
本発明によれば、長秒撮影を主とした多重合成撮影処理を速やかに停止することができ、かつ停止指示がなされるまでに合成された撮影画像を記録することが可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明における撮像装置のシステム構成を示す図である。
【図２】本発明における比較明合成処理概要を示す図である。
【図３】本発明におけるインターバル比較明合成撮影の従来例を示す図である。
【図４】本発明におけるインターバル比較明合成撮影の実施例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
【００１５】
まず、図１を参照して、本実施例における撮像装置（デジタルカメラ）の構成について説明する。本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。
【００１６】
図２において、シャッター１０１は撮像素子への露光制御を行っている。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。
【００１７】
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。
【００１８】
画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。さらに、画像処理部２４では、黒引き処理などのノイズ除去処理や、基準画像に対して、輝度レベルの高い画素のみを合成する比較明合成処理といった画像処理も行っている。
【００１９】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００２０】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。
【００２１】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２２】
システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
【００２３】
システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。
【００２４】
モード切り替えスイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。
【００２５】
第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００２６】
第２シャッタースイッチ６２は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２７】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２８】
コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。
【００２９】
例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。
【００３０】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００３１】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ/Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００３２】
ストロボ装置３００は、デジタルカメラ１００に着脱可能に装着されるストロボである。ストロボ制御部３０１は、例えばＣＰＵであり、カメラ制御部５０からI/F３３を介して入力される指示によって、ストロボ３００の各ブロックの動作を制御する。具体的には、ストロボシステム制御部３０１は、発光量の制御や発光時間、発光照射角の制御等を行う。発光部３０４は、ストロボシステム制御部３０１が指示した電圧でストロボを発光する。
【００３３】
レンズ装置４００は、着脱可能なレンズユニットであり、ズームレンズ、フォーカスレンズ、防振レンズ、絞り羽を含むレンズ群である。レンズ制御部４０１は、例えばＣＰＵであり、カメラ制御部５０からI/F３４を介して入力される指示によって、レンズの各ブロックを制御する。具体的には、レンズ制御部４０１は、ズームレンズの制御、フォーカスレンズの制御、防振レンズの制御、絞り羽の制御を行う。
【００３４】
なお、本実施例の撮像装置１００は、レンズユニットを着脱可能な構成であるが、これに限定されるものではない。本実施例は、撮像装置本体と、撮影レンズ（撮像光学系）とが一体となっている構成の撮像システムにも適用可能である。
【００３５】
次に、本実施例における比較明合成を用いたインターバル撮影処理について、図２を用いて説明する。
【００３６】
図２の２４−１、２４−２、２４−３、２４−４は全て、画像処理部２４に含まれる各画像処理回路を示している。
【００３７】
昨今、デジタルカメラ（撮像装置１００）の機能拡張に伴い、デジタルカメラには、通常の撮影のみならず、多重露光やパノラマ合成処理などの機能が搭載されてきている。その機能の一つとして、デジタルカメラを三脚に固定した状態でインターバル撮影を行って得られた複数枚の静止画を撮影し、合成画像を作成する手法がある。具体的には、撮影画面内を移動している蛍の光跡を映しこんだ写真や、地球の日周運動に起因する夜空を移動する星の光跡を表現した写真を作成するため、比較明合成処理が行われる場合がある。
【００３８】
このような夜空などの暗所の撮影である場合には、一枚当たりの露光時間が長くなる。しかし、長秒露光を行うと、撮像センサの暗電流成分が多くなってしまうため、黒引きが必要となる。しかし、黒引き用の画像には本露光と同じ時間の黒露光が必要であり、日周運動記録を想定した場合に毎撮影毎に長秒黒露光が行われると露光間隔が長くなってしまう。そのため、インターバル撮影開始時に１枚プリダーク画像を撮影しておき、そのプリダーク画像を用いて、以降の本露光画像に対してプリダーク黒引き処理を行うのが一般的である。
【００３９】
システム制御回路５０は、２−１のようにプリダーク画像をメモリ３０上に記録し、インターバル撮影２−２で取り込んだ本露光画像に対して、メモリ３０上に記録されたプリダーク画像を用いてプリダーク黒引き処理を行い、再度メモリ３０に書き戻す(２−３)。その後、２−４のように、前回までの比較明合成画像と比較明合成処理を行う。ただし、１枚目の撮影時には、合成対象の画像は存在せず、撮影画像が以降の比較明合成の基準画像となるため、比較明合成処理は行わず、プリダーク処理された画像を比較明合成画像領域にコピーするのみとなる。
【００４０】
システム制御回路５０はインターバル撮影停止指示がされるまで、本露光、プリダーク黒引き、比較明合成処理を繰り返す。日周運動記録のような長時間のインターバル撮影においては、撮影開始時と終了時では暗電流成分の量も変わってきてしまい、プリダーク黒引きだけでは暗電流成分を除去しきれないため、インターバル撮影停止後に再度１枚ポストダーク画像を撮影し、ポストダーク画像を用いて、比較明合成画像に対して再度黒引き処理を適用することにより、撮影開始時点からの暗電流成分の差分を除去することができる。システム制御回路５０は、インターバル撮影停止時に、２−５のようにポストダーク画像をメモリ３０上に記録し、２−６で比較明合成画像に対して黒引き処理を行う。
【００４１】
さらに、システム制御回路５０は、ポストダーク処理を施された比較明合成画像から、現像処理部を用いて記録用画像を生成し、画像記録部を用いて記録媒体に記録する（２−７）。
【００４２】
これが本実施例における比較明合成を用いたインターバル撮影シーケンスの概要である。
【００４３】
次に、本発明の従来例について、図３を用いて説明する。先に述べたような比較明合成シーケンスにおいて、ユーザからの停止時を行った場合に、どのタイミングで停止を受け付けるかを記載している。一般的に、撮像装置の考え方としては、露光中に停止指示を受けた場合には、その停止指示をした時点の露光が適正に行われ、また、必ず画像が記録されることを保証するのが使い勝手がよいとされる。
【００４４】
従来は、撮影開始３−１から３−２の期間にユーザーが停止指示を行った場合、３−２のタイミングまでシーケンスを実行し、３−２のタイミングで撮像動作を停止後、ポストダーク露光取り込み及びポストダーク黒引きを実施して記録用画像生成及び記録動作を行う。
【００４５】
また、３−２から３−３までの区間に停止指示がなされた場合には３−３、３−３から３−４までの区間に停止指示がなされた場合には３−４のタイミングまでシーケンスを実行し、撮像動作を停止後、ポストダーク露光取り込み及びポストダーク黒引きを実施して記録用画像生成及び記録動作を行う。
【００４６】
このような制御では、本露光時間が長い場合に使い勝手が良くなく、また、最終露光画像に高輝度被写体が写り込んだ場合には比較明合成によりそれまでに合成された画像が全て無駄になってしまうという問題がある。
【００４７】
次に本発明の実施例について、図４を用いて説明する。撮影開始から１枚目の露光が完了するまでの図４−１区間に停止指示がなされた場合、システム制御回路５０は、４−５のプリダーク及び４−６本露光を即中断し、画像を記録せずにシーケンスを終了する。プリダーク露光は、本露光と同様の露光時間を必要とするため、星空撮影などの長秒露光時には、プリダーク露光をキャンセルすることにより、誤って撮影開始指示をしてしまった場合の操作性向上に効果がある。
【００４８】
４−２の区間に停止指示がなされた場合、システム制御回路５０は、既に完了している４−６の画像に対するプリダーク黒引き４−７及びコピー処理４−８を行った後に、記録用画像生成及び記録処理４−１７を行う。ここで、４−９の２枚目の本露光期間に停止時がなされた場合には、２枚目の本露光はキャンセルし、合成は行わない。
【００４９】
また、４−３区間に停止指示がなされた場合、システム制御回路５０は、既に完了している４−９の画像に対するプリダーク黒引き４−１０及び比較明合成処理４−１１を行った後に、記録用画像生成及び記録処理４−１７を行う。ここで、４−１２の３枚目の本露光期間に停止時がなされた場合には、３枚目の本露光はキャンセルし、合成は行わない。
【００５０】
このように、露光中に停止指示がなされた場合には、それ以前に完了している露光データにたいするプリダーク処理及び比較明合成処理を行い、記録することにより、速やかに停止指示を受け付けることが可能であり、想定外の高輝度被写体が画角内に入りこんだ場合にも、速やかに停止し、それまでに合成した画像を記録することが可能となる。
【００５１】
［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
【００５２】
本実施例によれば、インターバル撮影中に比較明合成処理を行って高品位な合成画像を表示可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。
【００５３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５４】
１３  Ｄ／Ａ変換器、１５  メモリ制御部、１８  記録媒体Ｉ／Ｆ、２２  撮像部、
２３  Ａ／Ｄ変換器、２４  画像処理部、２８  表示部、３０  電源部、３２  メモリ、
３３  ストロボＩ／Ｆ、３４  レンズＩ／Ｆ、５０  システム制御部、
５２  システムタイマー、５３  システムメモリ、５６  不揮発性メモリ、
５７  バックアップメモリ、６０  モード切り替えスイッチ、６１  撮影ボタン、
７０  操作部、７２  電源スイッチ、７３  コントローラホイール、８０  電源制御部、
１００  デジタルビデオカメラ、１１１  接続ケーブル、１１２  コネクタ、
２００  記録媒体、２０１  記録媒体スロット、２０２  蓋、３００  ストロボ装置、
３０１  ストロボ用システム制御部、３０４  発光部、４００  レンズ装置、
４０１  レンズ用システム制御部
【図１】
2017022544.tif 000003
【図２】
2017022544.tif 000004
【図３】
2017022544.tif 000005
【図４】
2017022544.tif 000006