(57)【要約】【課題】天体のように長秒露光でかつ高倍率で撮影する必要がある被写体においても容易に画角合わせを行うことができるようにする。【解決手段】カメラ３００は天体のような被写体を撮像して得られた画像を連続的に表示部３１１に表示する。この際、動き検出部３１６によってカメラの動きを検出して、全体制御演算部３０９は動き検出部によってカメラの動きが検出されると、当該動きが検出されたフレームよりも前のフレームに基づいて得られた画像を表示部に表示する。【選択図】図３
2017183983.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して得られた画像を連続的に表示部に表示する撮像装置であって、
前記撮像装置の画角の変化を検知する検知手段と、
前記被写体を撮像する際に、前記検知手段によって前記画角の変化が検知されると、前記画角の変化が検知されたフレームよりも前のフレームの画像を前記表示部に表示する制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記被写体を撮像する際の露光時間が予め定められた閾値以上である場合に、前記検知手段によって前記画角の変化が検出されると、前記画角の変化が検知されたフレームよりも前のフレームの画像を前記表示部に表示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記露光時間が前記閾値未満であるか又は前記検知手段によって前記画角の変化が検知されないと、フレームの各々の画像を前記表示部に表示することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記検知手段は、前記画角の変化が予め定められた条件を満たさないと、前記撮像装置に動きがあったとすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記画角の変化が検知されたフレームよりも前のフレームの画像を前記表示部に表示する際に、前記画角の変化に応じて前記表示部に画像を表示することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
複数のフレームを合成して合成画像を得る合成手段を備え、
前記制御手段は、前記検知手段によって前記画角の変化が検知されないと、前記合成手段によって得られた合成画像を前記表示部に表示することを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記制御手段は、前記検知手段によって前記画角の変化が検知された際のフレームを前記合成手段による画像合成に用いないことを特徴とする請求項６に記載の撮像装置。
【請求項８】
被写体を撮像して得られた画像を連続的に表示部に表示する撮像装置の制御方法であって、
前記撮像装置の画角の変化を検知する検知ステップと、
前記被写体を撮像する際に、前記検知ステップで前記画角の変化が検知されると、前記画角の変化が検知されたフレームよりも前のフレームの画像を前記表示部に表示する制御ステップと、
を有することを特徴とする制御方法。
【請求項９】
被写体を撮像して得られた画像を連続的に表示部に表示する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記撮像装置の画角の変化を検知する検知ステップと、
前記被写体を撮像する際に、前記検知ステップで前記画角の変化が検知されると、前記画角の変化が検知されたフレームよりも前のフレームの画像を前記表示部に表示する制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮像装置に備えられた撮像素子の駆動に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置では、撮像素子の高感度化および低ノイズ化によって、高ＩＳＯ感度および長時間露出（長秒露光）の設定が可能となっている。このため、ユーザの写真撮影の技術が高くなくても、夜景又は夜空などの高感度でかつ長秒露光が必要なシーンにおける撮影を比較的容易に行うことができる。
【０００３】
例えば、画角を変更するためにパンニング動作が行われると、感度を上げるとともに、フレームレートを高くしてかつ露光時間を短くするようにした撮像装置がある（特許文献１参照）。これによって、この撮像装置では、画像のぶれを少なくしてぶれによる影響が抑制された連続画像を得るようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−９２０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、たとえ、フレームレートを下げたとしても、暗いシーンにおいて天体のように非常に小さく暗い被写体を撮影するとなると、被写体自体を所望の画角に捕えることは極めて困難である。
【０００６】
通常、撮影を行う際には、カメラに備えられた光学ファインダー又は表示モニタ部を目視しつつ画角を合わせる。天体などように被写体輝度が低く、その大きさが小さい場合には、肉眼で見える明るさでなければ、光学ファインダーによって天体などを捕えることはできない。
【０００７】
また、表示モニタ部を用いた場合には、露光時間を長くすれば、天体をライブビューとして表示させることは可能である。ところが、画角合わせのためのカメラパンニング動作を行うと、露光時間が長いため被写体である天体の位置が動いて露光量が不足する。この結果、天体を画像として表示することができず、画角合わせが困難となる。
【０００８】
言い替えると、感度を上げて露光時間を短くすれば、画像のぶれを抑えることはできる。一方、夜景又は夜空のようなシーンでは既に感度を上げた状態であり、露光時間も長い。このため、さらに感度を上げて撮影を行うと画像にはノイズが多くなってライブビュー画像として用いることは困難である。特に、天体のような点状の被写体ではより画質が極めて悪くなってしまう。
【０００９】
従って、本発明の目的は、天体のように長秒露光でかつ高倍率で撮影する必要がある被写体においても容易に画角合わせを行うことができる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明による撮像装置は、被写体を撮像して得られた画像を連続的に表示部に表示する撮像装置であって、前記撮像装置の画角の変化を検知する検知手段と、前記被写体を撮像する際に、前記検知手段によって前記画角の変化が検知されると、前記画角の変化が検知されたフレームよりも前のフレームの画像を前記表示部に表示する制御手段と、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、天体のように長秒露光でかつ高倍率で撮影する必要がある被写体においても容易に画角合わせを行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラで行われるライブビュー表示の一例を説明するためのフローチャートである。
【図３】図２に示す表示モード１における処理を説明するためのフローチャートである。
【図４】図２に示す表示モード２における処理を説明するためのフローチャートである。
【図５】図３に示す動き検出に係る処理を説明するためのフローチャートである。
【図６】図１に示すカメラにおいてパンニング動作が行われた際の表示画像の一例を示す図である。
【図７】パンニング動作が行われた場合に分割露光で得られた表示画像の一例を示す図である。
【図８】図７に示す表示画像を得た際のパンニング動作と露光タイミングとの関係を示す図である。
【図９】本発明の第２の実施形態で行われる表示モード１に係る処理の一例を説明するためのフローチャートである。
【図１０】図９に示す加算合成処理を説明するためのフローチャートである。
【図１１】本発明の第２の実施形態によるカメラで行われる画像領域の加算数を説明するための図であり、（ａ）は画像領域の設定を示す図、（ｂ）は領域数加算マップを示す図である。
【図１２】本発明の第２の実施形態によるカメラで得られた画像のライブビュー表示の一例を示す図である。
【図１３】カメラのパンニング動作を行った際の被写体と画角との関係を示す図である。
【図１４】カメラのパンニング動作と露光タイミングとの関係を示す図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１４】
まず、本発明の実施の形態による撮像装置について説明する前に、パンニング動作を行った際の被写体と画角との関係および露光タイミングについて説明する。
【００１５】
図１３は、カメラのパンニング動作を行った際の被写体と画角との関係を示す図である。
【００１６】
画像８００において、被写体として星空を捕らえた際の画角が示されている。いま、撮影者が画角８０１から画角８０２に画角を変更するとする。なお、図示の例では、画角８０１および画角８０２の双方に共通する画角を画角８０３とする。画角８０１の状態において、カメラが静止している際にはライブビューとして画像８１１で示す天体が表示モニタに表示される。
【００１７】
この状態から画角８０２に撮影者がカメラのパンニング動作を行ったとする。前述のように、天体をライブビュー表示させる際には、１枚の画像を得るため十分な露光時間を必要とする。このため、最終的な画角８０２においてカメラ静止の際の表示画像が画像８１４であった場合に、パンニング動作途中の画像である画像８１２および画像８１３では十分な露光量を得ることができない。その結果、天体を画像として表示することが困難となる。つまり、本来画角合わせのためのパンニング動作であるにも拘わらず、撮影者には肝心の被写体が見えないので、結果的に画角合わせをすることが困難となってしまう。
【００１８】
図１４は、カメラのパンニング動作と露光タイミングとの関係を示す図である。
【００１９】
図１４において、横軸は時間の経過を示し、時刻Ｔ９０１〜９０５はライブビューのための露光開始タイミングを示す。そして、フレームの露光期間を露光９１１〜９１４で示す。さらに、露光９１１〜９１４において露光を行った結果得られた画像に応じて生成された画像をライブビューとして表示開始するタイミングをＴ９０１’〜９０４’で示す。
【００２０】
露光９１１〜９１４において撮影した画像はそれぞれ図１３に示す画像８１１〜８１４である。図１４において、曲線９１０はカメラの動き量を示しており、カメラの動き量が大きい区間は画角合わせのためのパンニング動作が行われている。つまり、時刻Ｔ９０２の少し前から時刻Ｔ９０４の直後の期間においてカメラのパンニング動作が行われている。カメラ動き量を示す曲線９１０から容易に分かるように、露光９１１および露光９１４においては、カメラの動き量はゼロであって、カメラは静止状態である。
【００２１】
よって、図１３に示す画像８１１および画像８１４は、静止状態でぶれのない天体画像となる。一方、露光９１２および露光９１３においては、カメラの動き量が大きくパンニング動作が行われている期間に露光が行われている。この結果、同一の露光時間であっても画像８１２および画像８１３で示すように、静止状態でぶれのない天体画像を得ることができない。
【００２２】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。なお、以下の説明では、低照度の星空シーンの撮影する際、撮影者が画角を変更するべくパンニング動作を行った場合のライブビュー表示（連続的表示）を例に挙げて説明する。
【００２３】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、レンズユニット（以下単にレンズと呼ぶ）を備えている。レンズ３０１を通過した被写体像（光学像）はメカニカルシャッタ（メカシャッタ）３０３を介して絞り３０４によってその光量が調整される。そして、光学像は撮像素子３０６の撮像面に結像する。
【００２４】
撮像素子３０６は２次元マトリックス状に配列された複数のフォトダイオード（ＰＤ）を備えている。撮像素子３０６は光電変換によって光学像に応じた電気信号（アナログ信号）を生成する。さらに、撮像素子３０６はアナログ信号のゲイン調整を行って、Ａ／Ｄ変換によってアナログ信号をデジタル信号に変換し、Ｒ、Ｇｒ、Ｇｂ、およびＢ信号として撮像信号処理回路３０７に送る。
【００２５】
撮像信号処理回路３０７は、デジタル信号（画像データ）に対してノイズを軽減するローパスフィルタ処理、シェーディング処理、およびＷＢ処理などの画像信号処理を行うとともに、画像補正、画像合成、および圧縮などを行う。
【００２６】
全体制御演算部３０９はカメラ全体の制御を司る。例えば、全体制御演算部３０９はレンズ駆動部３０２によってレンズ３０１を駆動してズームおよびフォーカス制御を行う。さらに、全体制御演算部３０９はシャッタ・絞り駆動部３０５によってメカシャッタ３０３および絞り３０４を駆動制御する。
【００２７】
第１のメモリ部（メモリ部Ｉ）３０８には、撮像信号処理回路３０７の出力である撮像信号が画像データとして一時的に記憶される。全体制御演算部３０９は記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）３１０によって記録媒体３１２に画像データを記録するとともに、記録媒体３１２に記録された画像データを読み出す。記録媒体３１２として、例えば、着脱可能な半導体メモリが用いられる。また、表示部３１１には画像データに応じた画像が表示される。
【００２８】
外部インターフェース部（外部Ｉ／Ｆ部）３１３は外部コンピュータなどの外部機器と通信を行うためのインターフェースである。第２のメモリ部（メモリ部ＩＩ）３１４には全体制御演算部３０９による演算結果および各種パラメータが記憶される。撮影者が操作部３１５によって撮影に関する条件（撮影条件）を設定すると、全体制御演算部３０９は当該撮影条件に基づいてカメラ３００を制御する。
【００２９】
動き検出部３１６はカメラ３００の動きを検出又は検知し、カメラ３００が動くとその移動方向および移動量を検出して、移動方向および移動量を示す動きデータを全体制御演算部３０９に送る。全体制御演算部３０９は、動きデータに基づいて、後述するようにして、被写体画角の変化量を算出する。
【００３０】
図２は、図１に示すカメラで行われるライブビュー表示の一例を説明するためのフローチャートである。
【００３１】
ライブビューモードを開始すると、全体制御演算部３０９は、撮影者によって操作部３１５から入力された設定情報（つまり、撮影条件）に基づいて各種パラメータを初期化する（ステップＳ２０１）。そして、全体制御演算部３０９は初期化したパラメータをメモリ部ＩＩ３１４に記録する。
【００３２】
続いて、操作部３１５において設定情報の変更が行われると、全体制御演算部３０９は設定情報の変更を取得して、当該変更を各種パラメータに反映させる（ステップＳ２０２）。例えば、レンズ３０１および絞り３０４の設定変更があると、全体制御演算部３０９はレンズ駆動部３０２およびシャッタ・絞り駆動部３０５によって設定変更に応じたレンズ位置および絞り値に変更する。そして、全体制御演算部３０９はレンズ位置および絞り値の変更を反映させたパラメータをメモリ部ＩＩ３１４に記録する。
【００３３】
次に、全体制御演算部３０９はメモリ部ＩＩ３１４に記録したパラメータに基づいて、長秒撮影であるか否かを判定する（ステップＳ２０３）。ここでは、全体制御演算部３０９は撮影者によって設定された露光時間ＴｖがＴｖ≧Ｔｖｔｈ（Ｔｖｔｈ：定数（閾値））であるか否かを判定する。つまり、全体制御演算部３０９は露光時間が所定の閾値以上であるか否かを判定する。
【００３４】
Ｔｖ≧Ｔｖｔｈであると、つまり、長秒撮影であると（ステップＳ２０３において、ＹＥＳ）、全体制御演算部３０９は後述する第１の表示モード（表示モード１）を実行する（ステップＳ２０４）。一方、Ｔｖ＜Ｔｖｔｈであると、つまり、閾値未満であって長秒撮影でないと（ステップＳ２０３において、ＮＯ）、全体制御演算部３０９は後述する第２の表示モード（表示モード２）を実行する（ステップＳ２０５）。
【００３５】
ステップＳ２０４又はＳ２０５の処理の後、全体制御演算部３０９は、ライブビュー表示の終了指示があったか否かを判定する（ステップＳ２０６）。終了指示があると（ステップＳ２０６において、ＹＥＳ）、全体制御演算部３０９はライブビューモードを終了する。一方、終了指示がないと（ステップＳ２０６において、ＮＯ）、全体制御演算部３０９はステップＳ２０２の処理に戻る。なお、ステップＳ２０６においては、例えば、操作部３１５によって電源がОＦＦとされると、全体制御演算部３０９は終了指示があったものとする。
【００３６】
図３は、図２に示す表示モード１における処理を説明するためのフローチャートである。
【００３７】
表示モード１を開始すると、全体制御演算部３０９はメモリ部ＩＩ３１４に記録された露光時間Ｔｖ、絞り値Ａｖ、およびゲインＧなどの撮影条件、そして、撮像素子駆動モードなどに係るパラメータを取得する。全体制御演算部３０９は当該パラメータに基づいてライブビューモード駆動によって撮像素子３０６を駆動して撮影を開始する（ステップＳ１０１）。
【００３８】
続いて、全体制御演算部３０９はメモリ部ＩＩ３１４に記録されたパラメータ、および動き検出部３１６で得られた動きデータに基づいてカメラ３００に動きがあったか否かを判定する動き検出を行う（ステップＳ１０２）。当該動き検出については後述するが、この動き検出においては、全体制御演算部３０９は動き判定フラグＭを求める。そして、ここでは、動き判定フラグＭ＝１であると、カメラ３００に動きがあったものとする。また、動き判定フラグＭ＝０であると、カメラ３００に動きがなかったものとする。
【００３９】
次に、全体制御演算部３０９は、動き検出によって得られた動き判定フラグＭがＭ＝１であるか否かを判定する（ステップＳ１０３）。動き判定フラグＭ＝１であると（ステップＳ１０３において、ＹＥＳ）、全体制御演算部３０９は撮像動作をリセットする（ステップＳ１０４）。ここでは、撮影途中であれば、全体制御演算部３０９は撮像素子３０６の駆動を停止して撮像素子３０６を初期化する。撮影が終了していると、全体制御演算部３０９は動きが検出された際に撮影された画像を破棄する。
【００４０】
その後、全体制御演算部３０９は画像の切り出しおよび表示領域の変更を行う（ステップＳ１０５）。ここでは、全体制御演算部３０９は、まず動きが検出される前のフレームにおいて表示用画像に用いられたＲａｗ画像データＲｂを得る。そして、全体制御演算部３０９は当該前のフレームからの画角移動量ΔｘおよびΔｙとＲａｗ画像データＲｂとに基づいて表示画像Ｉｄとして用いるＲａｗ画像データＲｄを生成する。なお、ΔｘおよびΔｙは水平方向および垂直方向の移動量を画素数（単位：ｐｉｘｅｌ）で表し、さらに移動の方向を＋又は−で示す。
【００４１】
例えば、全体制御演算部３０９は、Ｒａｗデータ画像Ｒｂに対して画角を水平方向にΔｘ、そして、垂直にΔｙ移動させる。そして、画像上においてデータが存在しない領域については、全体制御演算部３０９は画素値を０又はそれ以外の任意の値で補ってＲａｗ画像データＲｄを生成する。その後、全体制御演算部３０９は撮像信号処理回路３０７によってＲａｗ画像データＲｄを信号処理して表示画像Ｉｄを得る。
【００４２】
動き判定フラグＭ＝１でないと（ステップＳ１０３において、ＮＯ）、つまり、動き判定フラグ＝０であると、全体制御演算部３０９は撮影動作が終了したか否かを判定する（ステップＳ１０６）。撮影動作が終了しないと（ステップＳ１０６において、ＮＯ）、全体制御演算部３０９は待機する。一方、撮影動作が終了すると（ステップＳ１０６において、ＹＥＳ）、全体制御演算部３０９は撮像素子３０６から読み出した画像信号に基づいてＲａｗ画像データＲｄを生成する。そして、全体制御演算部３０９は撮像信号処理回路３０７によってＲａｗ画像データＲｄを信号処理して表示画像Ｉｄを得る（ステップＳ１０７）。
【００４３】
ステップＳ１０５又はＳ１０７の処理の後、全体制御演算部３０９は表示画像Ｉｄを画像Ｘｉとして表示部３１１に表示する（ステップＳ１０８）。そして、全体制御演算部３０９は表示モード１を終了する。
【００４４】
図４は、図２に示す表示モード２における処理を説明するためのフローチャートである。
【００４５】
表示モード２を開始すると、全体制御演算部３０９はメモリ部ＩＩ３１４に記録された露光時間Ｔｖ、絞り値Ａｖ、およびゲインＧなどの撮影条件、そして、撮像素子駆動モードなどに係るパラメータを取得する。全体制御演算部３０９は当該パラメータに基づいてライブビューモード駆動によって撮像素子３０６を駆動して撮影を開始する（ステップＳ４０１）。
【００４６】
続いて、全体制御演算部３０９は撮像素子３０６から読み出した画像信号に基づいてＲａｗ画像データＲｄを生成する。そして、全体制御演算部３０９は撮像信号処理回路３０７によってＲａｗ画像データＲｄを信号処理して表示画像Ｉｄを得る。全体制御演算部３０９２は表示画像Ｉｄを画像Ｘｉとして表示部３１１に表示する（ステップＳ２０２）。その後、全体制御演算部３０９は表示モード２を終了する。
【００４７】
図５は、図３に示す動き検出に係る処理を説明するためのフローチャートである。
【００４８】
動き検出を開始すると、全体制御演算部３０９は動き検出部３１６から動きデータを取得する（ステップＳ５０１）。そして、全体制御演算部３０９はメモリ部ＩＩ３１４に保存されたカメラ３００の動きに関するパラメータである移動方向φおよび移動量θを読み出す。
【００４９】
続いて、全体制御演算部３０９は次のようにして画角移動量ΔｘおよびΔｙを求める（ステップＳ５０２）。ここでは、全体制御演算部３０９は、まずメモリ部ＩＩ３１４からセンサ画素ピッチＰを読み出す（センサ画素ピッチＰとは撮像素子３０６に備えられた画素のピッチをいう）。そして、全体制御演算部３０９は、センサ画素ピッチＰ、前述の撮影条件である露光時間Ｔｖおよび焦点距離ｆ、移動方向φ、および移動量θに基づいて画角移動量ΔｘおよびΔｙを算出する。
【００５０】
次に、全体制御演算部３０９は、画角移動量ΔｘおよびΔｙが動き判定閾値Мｔｈに対して、次の式（１）を満たすと「動きなし」、満たさないと「動き有り」と判定する動き判定を行う（ステップＳ５０３）。
【００５１】
Мｔｈ≧（Δｘ２、Δｙ２）１／２      （１）
なお、画像上において１画素でも画角が動くと被写体がぶれて見えることを考慮すると、動き判定閾値МｔｈはМｔｈ＝１（ｐｉｘｅｌ）となる。実際には、ライブビューモードにおいては撮像素子３０６の全ての画素から画像信号を読み出すのではなく、数画素おきに間引いて画像信号を読み出す。よって、動き判定閾値Мｔｈは数ｐｉｘｅｌとすればよい。
【００５２】
次に、全体制御演算部３０９は、ステップＳ５０３の判定結果が「動き有り」であるか否かを判定する（ステップＳ５０４）。「動き有り」であると（ステップＳ５０４において、ＹＥＳ）、全体制御演算部３０９は動き判定フラグＭ＝１に設定する（ステップＳ５０５）。そして、全体制御演算部３０９は動き検出を終了する。一方、「動きなし」であると（ステップＳ５０４において、ＮＯ）、全体制御演算部３０９は動き判定フラグＭ＝０に設定する（ステップＳ５０６）。その後、全体制御演算部３０９は動き検出を終了する。
【００５３】
図６は、図１に示すカメラにおいてパンニング動作が行われた際の表示画像の一例を示す図である。
【００５４】
いま、図１３で説明したようにして、撮影者がパンニング動作を行った結果、画角が画角８０１から画角８０２に変更されたとする。この場合、図１に示すカメラ３００では、上述した処理が行われる結果、図６に示す画像が表示部３１１にライブビューとして表示される。
【００５５】
画像１０１１〜画像１０１４はそれぞれ時刻Ｔ９０１’〜Ｔ９０４’（図１４参照）から表示部３１１に表示される表示画像を示す。図６においては、当然のことながら、画角の変化がない露光期間の直後のライブビュー表示画像である画像１０１１および１０１４について画角のぶれがない。さらに、パンニング動作中又はパンニング動作直後のタイミングである時刻Ｔ９０２’およびＴ９０３’においてライブビュー表示される画像１０１２および画像１０１３においてもぶれがない。
【００５６】
このように、本発明の第１の実施形態では、天体のように長秒露光で撮影する必要のある場合にパンニング動作中又はパンニング動作の直後であってもライブビューとしてぶれのない画像を表示することができる。この結果、撮影者は容易に画角合わせを行うことが可能となる。
【００５７】
［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例については説明する。なお、第２の実施形態によるカメラの構成は図１に示すカメラと同様である。
【００５８】
低照度の被写体を撮影する場合、必要とする画像信号の出力を確保する手法として、例えば、撮影する際の露光時間を十分長くする手法（第１の手法）がある。さらには、同一の撮影シーンを所定の露光時間で撮影して得られた複数の枚の画像を加算処理する手法（第２の手法）、つまり、分割露光する手法がある。
【００５９】
前述の第１の実施形態においては、第１の手法を用いて、長秒露光で得られた１枚の画像からライブビューとして表示する１フレーム分の画像を生成した。一方、第２の実施形態では、第２の手法を用いてライブビューとして表示する画像を生成する。
【００６０】
まず、分割露光を行う際の問題点について説明する。
【００６１】
図７は、パンニング動作が行われた場合に分割露光で得られた表示画像の一例を示す図である。また、図８は、図７に示す表示画像を得た際のパンニング動作と露光タイミングとの関係を示す図である。
【００６２】
図７に示す例では、図１３で説明したように、撮影者がパンニング動作を行って、画角を画角８０１から画角８０２に変更したとする。
【００６３】
図８において、横軸は時間の経過を示し、時刻Ｔ１１０１〜Ｔ１１０７はライブビューのための露光開始タイミングを示す。そして、フレームの露光期間を露光１１１１〜１１１７で示す。さらに、露光１１１１〜１１１７において露光を行った結果得られた画像に応じて生成された画像をライブビューとして表示開始するタイミングをＴ１１０１’〜１１０７’で示す。
【００６４】
時刻Ｔ１１０１’〜Ｔ１１０７’において表示されるライブビュー画像はそれぞれ表示開始直前までの３フレームの画像を加算合成して得られた画像である。例えば、Ｔ１１０３’において表示する表示画像は露光期間が露光１１１１〜露光１１１３のフレームを加算合成して得られる。タイミングＴ１１０１’〜Ｔ１１０７’において表示部３１１に表示する表示画像は図７に示す画像１２０１〜１２０７である。
【００６５】
図８において、曲線はカメラ３００の動き量の変化を示しており、カメラ３００の動き量が大きな区間は画角合わせのためのパンニング動作が行われた区間である。図８に示す例では、時刻Ｔ１１０４の少し前から時刻Ｔ１１０５の直前の期間においてパンニング動作が行われている。
【００６６】
カメラ動き量１１１０から容易に理解できるように、露光１１１４についてはカメラ３００動き量が大きくパンニング動作中に露光が行われている。このため、露光１１１４において撮影された画像は像ぶれが大きくなる。このため、分割露光を行うと、つまり、画像合成を行うと、表示画像に用いられる画像１２０４〜１２０６についてはぶれのない画像を得ることができない。
【００６７】
本発明の第２の実施形態においては、低照度の被写体を撮影する際に分割露光を用いた場合に、パンニング動作が行われてもライブビューとしてぶれのない画像を得るようにする。
【００６８】
なお、第２の実施形態においても、図１３に示す画像８００のように低照度の星空シーンの撮影する際に撮影者が画角を変更するため、画角８０１から画角８０２にパンニング動作した場合について説明する。また、ここでは、説明の便宜上、カメラ３００を起動した際の画角に対して水平方向の移動と垂直方向の移動で表現可能な画角の変更について説明する。
【００６９】
第２の実施形態よるカメラにおいても図２で説明したライブビュー表示が行われる。そして、第２の実施形態では、表示モード１に係る処理が第１の実施形態と異なる。
【００７０】
図９は、本発明の第２の実施形態で行われる表示モード１に係る処理の一例を説明するためのフローチャートである。なお、図９において、図３に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。
【００７１】
表示モード１を開始すると、全体制御演算部３０９は、図３で説明したステップＳ１０１の処理を行う。但し、ここでは、複数の画像の合計の合計露光時間が露光時間Ｔｖであればよい。よって、１枚の画像を撮影する際の露光時間をＴｖｓとし、加算する画像の枚数をＮとすると、露光時間Ｔｖｓは次の式（２）で表される。
【００７２】
Ｔｖｓ＝Ｔｖ／Ｎ      （２）
続いて、全体制御演算部３０９は、図３で説明したステップＳ１０２およびＳ１０３の処理を行う。そして、動き判定閾値Ｍ＝１であると（ステップＳ１０３において、ＹＥＳ）、全体制御演算部３０９は、図３で説明したステップＳ１０５の処理を行う。
【００７３】
一方、動き判定閾値Ｍ＝０であると（ステップＳ１０３において、ＮＯ）、全体制御演算部３０９は、後述するようにして、複数枚の画像を合成する加算合成処理を行って、合成画像（Ｒａｗ画像データＲｄ）を得る（ステップＳ６０１）。そして、全体制御演算部３０９は、図３で説明したステップＳ１０７の処理を行う。
【００７４】
ステップＳ１０５又はＳ１０７の処理の後、全体制御演算部３０９は、後述するようにして、領域加算数マップを更新する（ステップＳ６０２）。その後、全体制御演算部３０９は、図３で説明したステップＳ１０８の処理を行って、表示モード１を終了する。
【００７５】
図１０は、図９に示す加算合成処理を説明するためのフローチャートである。
【００７６】
ここでは、複数枚の画像を合成することによって表示部３１１に表示する表示画像を生成する。この際、全体制御演算部３０９は画像の合成数がＮ（Ｎは２以上の整数）枚に達するまでは順次画像の加算合成を行って表示画像を生成する。画像の合成数がＮ枚を超えると、全体制御演算部３０９は最新の画像についてその重みを大きくして加算平均処理を行って表示画像を生成する。
【００７７】
画角が変更されない場合には、全体制御演算部３０９は画像を合成した枚数をメモリ部ＩＩ３１４に記録して、当該枚数に基づいて加算合成処理を行えばよいが、画角が変更されると、画像の領域（画像領域）毎に合成枚数が異なってしまう。そこで、画角が変更された場合には、全体制御演算部３０９はいずれの領域毎に合成枚数をメモリ部ＩＩ３１４に記録して、当該記録に応じて領域毎に加算合成処理を異ならせる。
【００７８】
図１０を参照して、加算合成処理を開始すると、全体制御演算部３０９は、まず変数ｉ＝ｉｒ０、変数ｊ＝ｊｒ０に設定する（ステップＳ７０１）。なお、変数ｉおよびｊは画像の水平方向および垂直方向の位置を示し、画像を複数の領域に分割した際の当該領域を特定するものである。また、ｉｒ０およびｊｒ０は画角の変更によって撮影の際に画像の左上隅の位置する領域の絶対座標における位置を示す。なお、変数ｉを水平領域アドレス、変数ｊを垂直領域アドレスと呼ぶ。
【００７９】
図１１は、本発明の第２の実施形態によるカメラで行われる画像領域の加算数を説明するための図である。そして、図１１（ａ）は画像領域の設定を示す図であり、図１１（ｂ）は領域数加算マップを示す図である。
【００８０】
図１１（ａ）に示すように、全体制御演算部３０９は、最初の撮影の際にレンズ３０１でとらえた画角の左上隅の点を原点とする絶対座標系を設定する。全体制御演算部３０９は当該原点に接する所定の大きさの画像領域を領域（０，０）とする。そして、全体制御演算部３０９は所定の大きさで画像を分割して複数の画像領域を設定する。図示の例では、領域（０，０）〜領域（４，４）が設定される。
【００８１】
いま、ある時点でレンズ３０１によってとらえられた画角を、図１１（ａ）において黒太線で囲まれた枠であるとすると、当該時点における領域（ｉｒ０，ｊｒ０）は領域（１，１）となる。つまり、全体制御演算部３０９はｉ＝１、ｊ＝１に設定する。
【００８２】
再び図１０を参照して、ステップＳ７０１の処理の後、全体制御演算部３０９は処理すべき領域である処理領域（ｉ，ｊ）に移動する（ステップＳ７０２）。そして、全体制御演算部３０９は当該処理領域（ｉ，ｊ）が新しい画角の領域（画角領域）であるか否かを判定する（ステップＳ７０３）。なお、新しい画角領域とは、他の表示モードから表示モード１に切り替わった後、最初の撮影の際の画角でとらえられた領域をいう。
【００８３】
新しい画角領域でないと（ステップＳ７０３において、ＮＯ）、つまり、以前のフレームにおいて得られた（撮影された）領域であると、全体制御演算部３０９は画像加算数ｋに１を加える（ステップＳ７０４）。そして、全体制御演算部３０９は、画素加算数ｋ≦合成枚数Ｎであるか否かを判定する（ステップＳ７０５）。
【００８４】
新しい画角領域であると（ステップＳ７０３において、ＹＥＳ）、つまり、以前のフレームにおいて得られたことのない（撮影されたことのない）領域であると、全体制御演算部３０９は画像加算数ｋ＝１とする（ステップＳ７０６）。そして、全体制御演算部３０９はステップＳ１０１で得られた画像データＸｉｊを表示画像用の部分画像データＸｉｊとする（ステップＳ７０７）。その後、全体制御演算部３０９は、後述するステップＳ７１０の処理に進む。
【００８５】
画素加算数ｋ≦合成枚数Ｎであると（ステップＳ７０５において、ＹＥＳ）、全体制御演算部３０９は部分画像データＸｉｊと１フレーム前の部分画像データＸｉｊ−１とを加算して、表示画像用の部分画像データとする（ステップＳ７０８）。
【００８６】
画素加算数ｋ＞合成枚数Ｎであると（ステップＳ７０５において、ＮＯ）、全体制御演算部３０９は部分画像データＸｉｊと１フレーム前の部分画像データＸｉｊ−１とを用いて、次の式（３）によって表示用画像の部分画像データを求める（ステップＳ７０９）。
【００８７】
Ｘｉｊ＝Ｘｉｊ−１×Ｎ／（Ｎ＋１）＋Ｘｉｊ×１／（Ｎ＋１）      （３）
続いて、全体制御演算部３０９は、レンズ３０１でとらえられた画角に含まれる領域について水平領域アドレスｉ＝最大値ｉｍａｘであるか否かを判定する（ステップＳ７１０）。ｉ＝ｉｍａｘであると（ステップＳ７１０において、ＹＥＳ）、全体制御演算部３０９は垂直領域アドレスｊ＝最大値ｊｍａｘであるか否かを判定する（ステップＳ７１１）。なお、図１１（ａ）に示す例では、水平方向に３領域、垂直方向に３領域であり、領域（ｉｒ０，ｊｒ０）＝領域（１，１）であるので、ｉｍａｘ＝３、ｊｍａｘ＝３となる。
【００８８】
ｉ＝ｉｍａｘでないと（ステップＳ７１０において、ＮＯ）、全体制御演算部３０９は水平領域アドレスｉに１を加える（ステップＳ７１２）。そして、全体制御演算部３０９はステップＳ７０２の処理に戻る。
【００８９】
垂直領域アドレスｊ＝最大値ｊｍａｘでないと（ステップＳ７１１において、ＮＯ）、全体制御演算部３０９は垂直領域アドレスｊに１を加える（ステップＳ７１３）。そして、全体制御演算部３０９は水平領域アドレスｉを初期値ｉ０に設定する（ステップＳ７１４）。その後、全体制御演算部３０９はステップＳ７０２の処理に戻る。
【００９０】
垂直領域アドレスｊ＝最大値ｊｍａｘであると（ステップＳ７１１において、ＹＥＳ）、全体制御演算部３０９は部分画像データをつなぎ合わせてＲａｗ画像Ｒｄを生成する（ステップＳ７１５）。そして、全体制御演算部３０９は加算合成処理を終了する。
【００９１】
ここで、図１１を参照して、領域数加算マップについて説明する。領域数加算マップは、図１１（ｂ）に示すように、被写体（ここでは、空間、つまり、画像）を複数の領域に分割して、各領域についてその加算数ｋを記録したマップである。
【００９２】
図１１（ａ）に示す画像は２０個の領域（０，０）〜領域（４，４）に分割されており、領域（０，０）〜領域（４，４）はそれぞれ図１１（ｂ）に示す２０個の領域に対応している。図示の例では、領域（０，０）加算数ｋは０であり、領域（１，１）の加算数ｋはＮ＋１である。
【００９３】
図１２は、本発明の第２の実施形態によるカメラで得られた画像のライブビュー表示の一例を示す図である。
【００９４】
いま、図１３で説明したようにして、撮影者がカメラ３００のパンニング動作を行い、画角を画角８０１から画角８０２に変更したとする。この際、パンニング動作と露光タイミングとの関係は図８で説明したようになり、タイミングＴ１１０１’〜Ｔ１１０７’において表示部３１１に表示される表示画像はそれぞれ図１２に示す画像１４０１〜画像１４０７となる。
【００９５】
画像１４０１〜画像１４０３および画像１４０７は、それぞれ図７に示す画像１２０１〜画像１２０３および画像１２０７と同様である。全体制御演算部３０９はライブビュー開始の直前までに得られた３フレームの画像に基づいてライブビュー表示用画像を生成する。
【００９６】
一方、全体制御演算部３０９は画像１４０４については画像１４０３の生成に用いたＲａｗ画像Ｒｄに基づいて生成する。また、全体制御演算部３０９は画像１４０５については画像１４０４の生成に用いたＲａｗ画像Ｒｄと露光１１１５で得られた画像とに基づいて生成する。さらに、全体制御演算部３０９は画像１４０６については画像１４０５の生成に用いたＲａｗ画像Ｒｄと露光１１１６で得られた画像に基づいて生成する。
【００９７】
図８に示すように、時刻Ｔ１１０４の少し前から時刻Ｔ１１０５の直後までパンニング動作を行った場合、図７に示す例では、画像１２０４〜画像１２０６についてはぶれが生じる。一方、図１２に示す例では、画像１４０４〜画像１４０６においてぶれが生じることがない。
【００９８】
このように、本発明の第２の実施形態では、長秒露光で撮影を行う必要のある被写体を分割露光によって撮影する際、パンニング動作中又はパンニング動作直後であってもぶれのない画像を表示部に表示することができる。その結果、撮影者は容易に画角を合わせることができる。
【００９９】
上述の第２の実施形態では、画像領域毎の加算数を領域数加算マップとして記録する例について説明したが、画素毎の加算数を記録するようにしてもよく、他の手法を用いるようにしてもよい。
【０１００】
なお、上述の実施の形態では、予め撮影者がライブビューモードで撮影する際の露光時間Ｔｖを指定するようにしたが、カメラ撮影モードとしてカメラ長秒撮影に特化したモードを選択して露光時間を間接的に指定するようにしてもよい。さらには、ＡＥ（自動露出調整）などによって露光時間Ｔｖを決定するようにしてもよい。
【０１０１】
上述の説明から明らかなように、図１に示す例では、全体制御演算部３０９および動き検出部３１６が検出手段として機能し、全体制御演算部３０９が制御手段として機能する。また、全体制御演算部３０９および撮像信号処理回路３０７が合成手段として機能する。
【０１０２】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１０３】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１０４】
［その他の実施形態］
上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも本発明は実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０５】
３０１  レンズ
３０２  レンズ駆動部
３０３  メカシャッタ
３０４  絞り
３０５  シャッタ・絞り駆動部
３０６  撮像素子
３０７  撮像信号処理回路
３０９  全体制御演算部
３１１  表示部
３１６  動き検出部
【図１】
2017183983.tif 000003
【図２】
2017183983.tif 000004
【図３】
2017183983.tif 000005
【図４】
2017183983.tif 000006
【図５】
2017183983.tif 000007
【図６】
2017183983.tif 000008
【図７】
2017183983.tif 000009
【図８】
2017183983.tif 000010
【図９】
2017183983.tif 000011
【図１０】
2017183983.tif 000012
【図１１】
2017183983.tif 000013
【図１２】
2017183983.tif 000014
【図１３】
2017183983.tif 000015
【図１４】
2017183983.tif 000016