(57)【特許請求の範囲】
【請求項１】
移動被写体を追尾する追尾部と、
上記追尾部により移動する被写体を追尾しながら多重露光を行い、上記多重露光中に、撮像面上に結像された被写体像に対して、複数回の露光時にそれぞれ画像データを取得する撮像部と、
上記撮像面上に静止している被写体像と、上記撮像面上を移動する被写体像を認識する被写体認識部と、
上記被写体認識部によって認識された上記移動する被写体像に対して、撮像面での位置ずれとなる移動量および移動方向を検出する画像シフト量検出部と、
上記被写体認識部が上記撮像面上に静止している被写体像と認識した場合には、それぞれの画像データを加算合成による合成処理を行い、上記被写体認識部が上記撮像面上を移動する被写体像と認識した場合には、上記画像シフト量検出部によって検出された上記移動量および移動方向に基づいて、上記撮像面上を移動する被写体像の位置ずれを補正した後、該補正したそれぞれの画像データを比較明合成または加算平均合成により合成処理を行い、多重露光の撮影画像データを生成する画像合成部と、
を備えたことを特徴とする撮像装置。
【請求項２】
上記追尾部は、撮像装置全体をシフトして上記被写体を追尾することを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮像装置の撮影時の緯度情報、方位情報、重力方向に対する向き、焦点距離、および撮影装置をシフトさせる駆動装置の駆動情報を用いて、上記移動する被写体像の位置ずれ量を算出し、該算出した位置ずれ量を用いて、上記位置ずれを補正することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記追尾部は、撮像素子をシフトして上記被写体を追尾することを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記撮像素子のシフト情報を基に上記移動する被写体像の位置ずれを補正することを特徴とする請求項４に記載の撮像装置。
【請求項６】
移動被写体を追尾する追尾部を動作させ、上記追尾部により上記移動被写体を追尾しながら、撮像面上に静止した被写体像と撮像面上を移動する被写体像が混在した被写体像を多重露光して得られた画像データを記録する記録部と、
上記撮像面上に静止している被写体像と、上記撮像面上を移動する被写体像を認識する被写体認識部と、
上記被写体認識部によって認識された上記撮像面上を移動する被写体像に対して、撮像面での位置ずれとなる移動量および移動方向を検出する画像シフト量検出部と、
上記被写体認識部が上記撮像面上に静止している被写体像と認識した場合には、それぞれの画像データを加算合成による合成処理を行い、上記被写体認識部が上記撮像面上を移動する被写体像と認識した場合には、上記画像シフト量検出部によって検出された上記移動量および移動方向に基づいて、上記移動する被写体像の位置ずれを補正した後、該補正したそれぞれの画像データを比較明合成または加算平均合成により合成処理を行い、多重露光の撮影画像データを生成する画像合成部と、
を備えたことを特徴とする画像処理装置。
【請求項７】
移動被写体を追尾する追尾部を動作させ、上記追尾部により上記移動被写体を追尾しながら、撮像面上に静止した被写体像と撮像面上を移動する被写体像が混在した被写体像を多重露光して得られた画像データを記録するステップと、
上記撮像面上に静止している被写体像と、上記撮像面上を移動する被写体像を認識する被写体認識ステップと、
上記被写体認識ステップにおいて認識された上記撮像面上を移動する被写体像に対して、撮像面での位置ずれとなる移動量および移動方向を検出する画像シフト量検出ステップと、
上記被写体認識ステップにおいて上記撮像面上に静止している被写体像と認識した場合には、それぞれの画像データを加算合成による合成処理を行い、上記被写体認識ステップにおいて上記撮像面上を移動する被写体像と認識した場合には、上記画像シフト量検出ステップにおいて検出された上記移動量および移動方向に基づいて、上記移動する被写体像の位置ずれを補正した後、該補正したそれぞれの画像データを比較明合成または加算平均合成により合成処理を行い、多重露光の撮影画像データを生成する画像合成ステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ等の電子撮像装置において、画像合成によりバルブ撮影画像を生成することが可能であり、かつ日周運動による天体の移動方向と同じ方向にイメージセンサまたはカメラ自体を移動させて天体の静止撮影を行う撮像装置、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラが発売される以前のフィルムカメラの時代により、天体を撮影する撮影者は多い。天体撮影は太陽や月を除き、非常に暗い被写体であるため、長時間露光で撮影することが多い。カメラを三脚などに固定して長時間露光で撮影を行うと、日周運動に伴って天体が移動し、天体の軌跡が線状に流れる画像となる。また、太陽や月など天体の中でも明るいものについては他の暗い天体ほどの長時間露光を行わずとも丁度良い露出で撮影することは可能だが、望遠レンズを用いて行う撮影の場合には、撮像面（フィルム面）での被写体像の像面移動速度が速いため、像が流れてしまう。
【０００３】
そこで、天体の移動方向に追尾するように移動させる赤道儀にカメラを取り付け、赤道儀によって天体を静止させて撮影する方法が行われている。また、最近では、カメラを固定した状態でカメラ内部のイメージセンサのみを天体の移動方向に追尾させることで、赤道儀と同様に天体を静止撮影することができる撮像装置が提案されている（特許文献１参照）。
【０００４】
また、天体の移動が視認されない短い露光時間で撮影した複数の画像を位置合わせ合成することで、天体を静止撮影した場合と同等の合成画像を生成することが可能な撮像装置も提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−５１１２号公報
【特許文献２】特開２００３−２５９１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年では、デジタルカメラの多画素化、高画質化に伴い簡単に高画質な天体写真が撮影できるようになり、撮影者が増加し、撮影する被写体も多岐に亘っている。その中でも天体（空・星）と地上の景色を１枚の写真に収める星景写真という分野が確立されている。
【０００７】
この星景写真を撮影するために、赤道儀を使用し、または特許文献１、２に開示の撮像装置を使用して天体追尾を行うと、主要被写体である天体については静止させて撮影することが可能であるが、地上の景色は流れてしまうという問題がある。一方、撮像装置を固定して撮影すると、前述したように、天体は流れてしまう。
【０００８】
さらに、特許文献２の撮像装置では、撮影時間が長くなるほど画角外に被写体が流れていくため、合成画像の画角は狭くなってしまう。撮影途中から画角外に出てしまった撮影領域は画像出力を後段デジタル回路によるゲイン印加により露出補正することも可能であるが、ゲインを印加した分だけノイズが増加し、画質が劣化してしまい、撮影者の意図する画角、または画質の写真撮影を行うことができない。
【０００９】
また、複数の画像の天体の位置が同じになるようにずらして合成するためには、画像から天体の位置情報を読み取る必要があるが、天体撮影は非常に暗い被写体であり、分割露光した画像はさらに暗くＳ／Ｎの劣化した画像となり易い。そのような画像から天体の位置情報を正確に読み取ることは非常に困難であり、精度よく天体が静止した合成画像を生成することは困難である。
【００１０】
本発明は、このような事情を鑑みてなされたものであり、天体と地上の景色の両方が流れることのない星景写真を撮影できる撮像装置、画像処理装置、および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため第１の発明に係る撮像装置は、移動被写体を追尾する追尾部と、上記追尾部により移動する被写体を追尾しながら多重露光を行い、上記多重露光中に、撮像面上に結像された被写体像に対して、複数回の露光時にそれぞれ画像データを取得する撮像部と、上記撮像面上に静止している被写体像と、上記撮像面上を移動する被写体像を認識する被写体認識部と、上記被写体認識部によって認識された上記撮像面上を移動する被写体像に対して、撮像面での位置ずれとなる移動量および移動方向を検出する画像シフト量検出部と、上記被写体認識部が上記撮像面上に静止している被写体像と認識した場合には、それぞれの画像データを加算合成による合成処理を行い、上記被写体認識部が上記撮像面上を移動する被写体像と認識した場合には、上記画像シフト量検出部によって検出された上記移動量および移動方向に基づいて、上記移動する被写体像の位置ずれを補正した後、該補正したそれぞれの画像データを比較明合成または加算平均合成により合成処理を行い、多重露光の撮影画像データを生成する画像合成部と、を備える。
【００１２】
第２の発明に係る撮像装置は、上記第１の発明において、上記追尾部は、撮像装置全体をシフトして上記被写体を追尾する。
【００１３】
第３の発明に係る撮像装置は、上記第２の発明において、撮像装置の撮影時の緯度情報、方位情報、重力方向に対する向き、焦点距離、および撮影装置をシフトさせる駆動装置の駆動情報を用いて、上記移動する被写体像の位置ずれ量を算出し、該算出した位置ずれ量を用いて、上記位置ずれを補正する。
【００１４】
第４の発明に係る撮像装置は、上記第１の発明において、上記追尾部は、撮像素子をシフトして上記被写体を追尾する。
第５の発明に係る撮像装置は、上記第４の発明において、上記撮像素子のシフト情報を基に上記移動する被写体像の位置ずれを補正する。
【００１６】
第６の発明に係る画像処理装置は、移動被写体を追尾する追尾部を動作させ、上記追尾部により上記移動被写体を追尾しながら、撮像面上に静止した被写体像と撮像面上を移動する被写体像が混在した被写体像を多重露光して得られた画像データを記録する記録部と、上記撮像面上に静止している被写体像と、上記撮像面上を移動する被写体像を認識する被写体認識部と、上記被写体認識部によって認識された上記撮像面上を移動する被写体像に対して、撮像面での位置ずれとなる移動量および移動方向を検出する画像シフト量検出部と、上記被写体認識部が上記撮像面上に静止している被写体像と認識した場合には、それぞれの画像データを加算合成による合成処理を行い、上記被写体認識部が上記撮像面上を移動する被写体像と認識した場合には、上記画像シフト量検出部によって検出された上記移動量および移動方向に基づいて、上記移動する被写体像の位置ずれを補正した後、該補正したそれぞれの画像データを比較明合成または加算平均合成により合成処理を行い、多重露光の撮影画像データを生成する画像合成部と、を備える。
【００１７】
第７の発明に係る画像処理方法は、移動被写体を追尾する追尾部を動作させ、上記追尾部により上記移動被写体を追尾しながら、撮像面上に静止した被写体像と撮像面上を移動する被写体像が混在した被写体像を多重露光して得られた画像データを記録するステップと、上記撮像面上に静止している被写体像と、上記撮像面上を移動する被写体像を認識する被写体認識ステップと、上記被写体認識ステップにおいて認識された上記撮像面上を移動する被写体像に対して、撮像面での位置ずれとなる移動量および移動方向を検出する画像シフト量検出ステップと、上記被写体認識ステップにおいて上記撮像面上に静止している被写体像と認識した場合には、それぞれの画像データを加算合成による合成処理を行い、上記被写体認識ステップにおいて上記撮像面上を移動する被写体像と認識した場合には、上記画像シフト量検出ステップにおいて検出された上記移動量および移動方向に基づいて、上記移動する被写体像の位置ずれを補正した後、該補正したそれぞれの画像データを比較明合成または加算平均合成により合成処理を行い、多重露光の撮影画像データを生成する画像合成ステップと、を有する。
【発明の効果】
【００１８】
本発明によれば、天体とその他の景色の両方が流れることのない星景写真を撮影できる撮像装置、画像処理装置、および画像処理方法を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。
【図２】本発明の第１実施形態に係るカメラにおいて、天体追尾撮影モードが選択されている場合の動作を示すフローチャートである。
【図３】本発明の第１実施形態に係るカメラにおいて、シフト合成を行うためのシフト量の検出を説明する図である。
【図４】本発明の第１実施形態に係るカメラにおいて、背景部の指示の仕方の一例を説明する図である。
【図５】本発明の第１実施形態に係るカメラにおいて、シフト量を検出するための一例を説明する図である。
【図６】本発明の第２実施形態に係るカメラの主として電気的構成を示すブロック図である。
【図７】本発明の第２実施形態の変形例に係るカメラの主として電気的構成を示すブロック図である。
【図８】本発明の第２実施形態に係るカメラにおいて、天体追尾撮影モードが選択されている場合の動作を示すフローチャートである。
【図９】本発明の第２実施形態に係るカメラにおいて、天体追尾撮影時の画像合成を説明する図である。
【発明を実施するための形態】
【００２０】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラであり、概略、撮像素子（イメージセンサ４）から読み出される画像データに基づく画像データを表示部にライブビュー表示すると共にレリーズ釦の操作に応じて記録用に画像処理した画像データを外部メモリに記録する。また、天体追尾撮影モードを設定すると、所定時間間隔で撮像素子から画像データを読み出し、この画像データを加算した合成画像を生成する。この合成画像を生成する際に、移動する被写体像の位置ズレを補正し、天体および地上の景色が流れないようにする。
【００２１】
図１は、本発明の好ましい実施形態としての第１実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態におけるカメラは、撮像部１、画像処理部１０、システム制御部２０、およびバス３１とこれに接続された各部を有する。なお、本実施形態においては、レンズ２は、カメラ本体と一体に構成されているが、交換レンズとしても勿論かまわない。
【００２２】
撮像部１内には、レンズ２、メカシャッタ３、イメージセンサ４を有する。レンズ２は、イメージセンサ４に被写体の光学像を結像する。このレンズ２内には、露出量を調節するための絞り値を決定する絞りを備える。また、メカシャッタ３は、開閉動作によりイメージセンサ４への露出や遮光を行い、シャッタ速度を制御する。イメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、画像データを、画像処理部１０およびバス３１に出力する。バス３１は、各ブロック間で信号の送受信を行うための信号線である。撮像部１は、本実施形態においては、撮像面上に静止した被写体像と撮像面上を移動する被写体像が混在した被写体像を多重露光する撮像部として機能する。
【００２３】
画像処理部１０は、イメージセンサ４から出力された画像データに画像処理を施す。画像処理部１０は、画像合成部１１、現像処理部１３、画像シフト量検出部１４、被写体認識部１５を有する。
【００２４】
画像合成部１１は、所定時間間隔でイメージセンサ４から画像データを読み出し、この画像データを加算した合成画像を生成する。この画像合成部１１は、加算合成部１１a、比較合成部１１ｂ、加算平均合成部１１ｃを有する。
【００２５】
加算合成部１１aは、イメージセンサ４から所定時間間隔で連続的に読み出された画像や内部メモリ３３に保存された画像データの画素毎の出力を加算する。詳しくは、図２を用いて説明するが、天体追尾撮影モードが設定された際に、レリーズ釦が操作されると、所定時間間隔（図２のＳ９における露出時間Ｔ）毎に画像信号が読み出されるので、加算合成部１１ａは、画素毎に累積加算を行う。
【００２６】
比較合成部１１ｂは、画素出力を比較し比較明および比較暗合成処理によって合成画像を生成する。比較明合成処理は、最初にイメージセンサ４から読み出された画像データを基に生成された画像データを構成する画素データを比較明合成画像データとして内部メモリ３３に記憶する。次に、イメージセンサ４から読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ３３に記憶されている累積比較明合成画像データを構成する複数の画素データについて、それぞれ対応する画素データを比較する。そして、それぞれ対応する画素データを比較した結果に応じて、いずれか大きい方、すなわち明るい方の画素データを検出し、この明るい方の画素データを用いて、累積比較明合成画像データを再構成する。この処理をイメージセンサ４から画像データが読み出されるたびに繰り返し行う。
【００２７】
この比較明合成処理は、簡単に言えば、所定時間間隔で読み出される画像データの中で対応する画素出力同士を比較し、比較の結果に応じて明るい画素に置き換えていく合成処理である。上述の加算合成処理では、画素出力が読み出される毎に加算されていくのに対して、比較明合成処理では、比較の結果、明るい画素出力が読み出されると画素出力の置換がなされ、一方、比較の結果、明るい画素出力が読み出されなかった場合には画素出力の置換がなされない点で相違する。
【００２８】
加算平均合成部１１ｃは、画素毎の平均出力を算出し、画像平均合成処理を行う。天体写真のように暗い被写体の場合には、画素出力に重畳するノイズの影響を受けやすいが、画素毎の平均出力を算出することにより、ノイズの影響を軽減することができる。
【００２９】
現像処理部１３は、画像合成部１０で生成されたＲＡＷ画像データに対して、デモザイキング、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う。
【００３０】
画像シフト量検出部１４は、移動する被写体について、その被写体が画像上で何画素分移動したかを検出する。本実施形態においては、天体追尾撮影モードによる撮影の際、カメラは固定したままで行われることから、長時間露光を行っても、地上の景色は流れることはないが、星等は移動するために流れてしまう。そこで、画像シフト量検出部１４は、移動する星等について、画像上で何画素分移動したかを算出する。この算出については、図３（ｃ）を用いて後述する。
【００３１】
被写体認識部１５は、複数の撮影画像データを解析し、移動する被写体、静止している被写体を認識する。被写体認識部１５は、所定時間間隔で取得された画像データの対応関係にある位置の画素出力の変化を検出することによって、変化があれば移動する被写体と認識し、変化がなければ静止している被写体と認識する。なお、これ以外にも、例えば、星の形状をしているか等、被写体の形状を認識する等によって、移動する被写体か静止している被写体かを認識するようにしてもよい。
【００３２】
画像処理部１０は、後述するシステム制御部２０と協働して、多重露光して得られた画像のうち移動する被写体像の位置ずれを補正して位置ずれのない画像を表す画像データを生成する画像処理部として機能する。詳しくは、図２のステップＳ９〜Ｓ２１、および図３等を用いて説明する。
【００３３】
バス３１には、前述の画像処理部１０の他、内部メモリ３３、ＧＰＳ（Global Positioning System）３４、センサ３５、外部メモリ３６、表示部３７、入力ＩＦ（インターフェース：Interface）３８、システム制御部２０が接続されている。
【００３４】
内部メモリ３３は、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像データを一時的に記憶する。内部メモリ３３は、フラッシュメモリ、ＳＤＲＡＭ等の不揮発性のメモリによって構成される。
【００３５】
ＧＰＳ３４は、衛星からの電波をＧＰＳ受信機が受信し、カメラが地球上のどの位置にあるかを測位し、本実施形態においては、緯度情報を取得する。センサ部３５は、加速度センサと地磁気センサを備えている。加速度センサは固定されているカメラの重力方向を検出し、重力に対してカメラがどちらの方向を向いているかを検出する。地磁気センサはカメラが東西南北どちらの方向を向いているかを検出する。
【００３６】
後述するように、天体追尾撮影モードが設定されると、星等の移動する被写体の移動方向と移動量（総称してシフト量）を画像シフト量検出部１４によって検出するが、天体は非常に暗いため検出が困難である。そこで、ＧＰＳ３４からカメラが存在する緯度情報を取得し、またセンサ部３５からどの方向を向いているかを取得することによって、星等の被写体のシフト量を算出してもよい。
【００３７】
外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリ３６は、現像処理部１３で現像処理された画像データを記録し、また再生時には、記録された画像データが読み出され、カメラの外部に出力可能である。外部メモリ３６は、撮像面上に静止した被写体像と撮像面上を移動する被写体像が混在した被写体像を多重露光して得られた画像データを記録する記録部として機能する。
【００３８】
表示部３７は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬなどの背面表示部やＥＶＦ（電子ビューファインダ）によって構成され、現像処理部１３によって現像された画像を表示する。
【００３９】
入力ＩＦ３８は、レリーズ釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定やレリーズ等撮影動作の指示を行う。
【００４０】
システム制御部２０は、ＣＰＵ（Central Processing Unit）を有し、内部メモリ３３内に記憶されたプログラムに従ってカメラの全体制御を行う。また、システム制御部２０は、シフト量検出部２１を有する。シフト量検出部２１は、ＧＰＳ３４で検出した移動情報、センサ部３５内の加速度センサおよび地磁気センサで検出したカメラの方位情報、さらに撮影時のレンズ２の焦点距離情報に基づいて、イメージセンサ４の像面上で結像した天体像のシフト量を算出する。シフト量検出部２１は、ソフトウエアによって処理してもよく、またハードウエアによって処理してもよい。シフト量の検知については、図３を用いて後述する。
【００４１】
次に、図２に示すフローチャートを用いて、本実施形態に係るカメラの動作を説明する。このフローチャートは、内部メモリ３３に記憶されたプログラムに従って、システム制御部２０が各部を制御することにより実行する。また、このフローは、ユーザが入力ＩＦ３８によって天体追尾撮影モードを設定している場合の動作のみを表し、その他の撮影モードについては省略してある（後述する図６、７に示すフローチャートも同様）。
【００４２】
図２に示すフローに入ると、まず、ライブビュー表示を行う（Ｓ１）。このステップでは、イメージセンサ４からの画像データに基づいて、表示部３７にライブビュー表示を行う。ライブビュー表示がなされると、ユーザはライブビュー画像（または光学ファインダによる被写体像）を確認し、撮影したい被写体が撮影できるように、カメラの向きやレンズ２の焦点距離（ズーム）やピントを調節する。また、必要に応じて、ユーザは操作釦やタッチパネル等、入力ＩＦ部３８を介して、レンズ２を構成するフォーカスレンズの位置、絞り値、ＩＳＯ感度等の撮影情報を設定する。
【００４３】
また、天体追尾撮影モードが設定されている場合には、所定時間間隔でイメージセンサ４から読み出した画像データを合成して所望の合成画像データを得るが（Ｓ９参照）、この読み出しのための周期Ｔを、ライブビュー表示前またはライブビュー表示中に、ユーザが設定することができる。なお、周期Ｔの設定動作が行われなかった場合には、初期設定が反映される。
【００４４】
ステップＳ１において、ライブビュー表示を行うと、次に、２ｎｄレリーズがオンか否かを判定する（Ｓ５）。構図やピントが合うと撮影を開始するために、ユーザはレリーズ釦を押圧するので、このステップでは、レリーズ釦に連動する２ｎｄレリーズスイッチがオンとなったか否かを判定する。この判定の結果、オンでなかった場合には、ステップＳ１に戻り、ライブビュー表示を繰り返し行う。
【００４５】
ステップＳ５における判定の結果、２ｎｄレリーズがオンであった場合には、システム制御部２０は、１コマ目の露出を開始する（Ｓ７）。このステップでは、イメージセンサ４が露出を開始し、すなわちメカシャッタ３およびイメージセンサ４を制御して、被写体像の輝度に応じて画像信号の蓄積を開始する。また、露出時間を計時するためのタイマの計時動作を開始する。
【００４６】
露出を開始すると、次に、露出時間Ｔが経過したか否かを判定する（Ｓ９）。ここでは、ステップＳ７において計時動作を開始したタイマの経過時間がＴを経過したか否かを判定する。この判定の結果、露出時間Ｔが経過していない場合には、露出を続行しながら、露出時間Ｔが経過するのを待つ。
【００４７】
ステップＳ９における判定の結果、露出時間Ｔが経過すると、画像信号を読み出し、また露出を再開する（Ｓ１１）。ここでは、システム制御部２０は、イメージセンサ４から画像信号を読み出し、また露出を開始する。この露出の再開にあたっては、メカシャッタ３は開いたままで、イメージセンサ４の電子シャッタ制御によって、画像信号の蓄積を再開する。また、露出時間を計時するためのタイマをリセットし、計時動作を再開する。
【００４８】
また、ステップＳ１１において、画像信号の読み出しを行うと、内部メモリに保存する（Ｓ１３）。このステップでは、イメージセンサ４から読み出された画像信号を、デジタルの画像データとして内部メモリ３３に記憶する。内部メモリ３３への画像データの記録と同時に読み出しが完了すると、間をおかずに次のコマの露出を開始している。このため、連続して取り込む画像同士の露光抜けを最小限に抑えることができ、最終的に合成される画像の光跡が途切れることを最小限にすることができる。デジタルカメラのイメージセンサとして一般的に用いられるＣＭＯＳイメージセンサでは、１ライン毎に読み出し、露光開始を順次制御することができるため、連続するコマとコマの間の露光抜けの時間は１ラインの読み出し時間程度となる。この時間は、数１０〜１００μ秒程度と非常に短いため、光跡が途切れた画像として視認されることはない。
【００４９】
ステップＳ１３において画像信号を内部メモリに保存すると、次に、１コマ目の処理か否かを判定する（Ｓ１５）。天体追尾撮影モードにおける合成処理は、２コマ目の画像データを取得してから行うことから、１コマ目の画像データの取得時か、２コマ目以降の画像データ取得時かの判定を行う。ステップＳ１５における判定の結果、１コマ目の処理の場合には、ステップＳ２３に進み、合成処理は行わない。
【００５０】
ステップＳ１５における判定の結果、１コマ目の処理でなかった場合には、次に、移動被写体・静止被写体検出を行う（Ｓ１７）。このステップでは、被写体認識部１５によって、連続して読み出された２コマの画像データを比較し、画像データに含まれる移動被写体と静止被写体を検出する。本処理については、１コマ目の画像データについては行わない。この被写体認識の詳細については、図３を用いて後述する。
【００５１】
移動被写体・静止被写体検出を行うと、次に、シフト量検出を行う（Ｓ１９）。ここでは、ステップＳ１７において検出された移動被写体について、画像シフト量検出部２１が連続する２コマの画像間でのシフト量を検出する。本実施形態においては、星等の天体が移動被写体であることから、それぞれの星について、シフト量を検知する。すなわち、シフト量検出部２１は、それぞれ２コマの画像データに含まれる移動被写体を比較し、画像上でどの方向に何画素シフトしたかを検出する。本処理については、１コマ目の画像データについては行わない。このシフト量検出の詳細については、図３を用いて後述する。
【００５２】
シフト量検知を行うと、次に、合成処理を行う（Ｓ２１）。ここでは、画像合成部１１が、静止被写体部分と移動被写体部分について、それぞれ異なる画像処理を施す。まず、静止被写体部分については、加算合成部１１ａが１コマ目と２コマ目の画像データのそれぞれ同じ座標の画像データについて加算処理を行う。また移動被写体部分については、画像シフト量検知部１４にて検出したシフト量分だけ座標をシフトさせて、１コマ目と２コマ目を重ね合わせるようにしてから、加算合成部１１ａが加算処理を行う。
【００５３】
合成処理を行うと、次に、内部メモリに保存する（Ｓ２３）。ここでは、ステップＳ２１において合成処理された画像データを内部メモリ３３に記憶する。３コマ目以降の画像合成については、それまでの累積合成画像が内部メモリ３３に記憶されていることから、この累積合成画像の画像データと３コマ目以降に読み出した画像データを用いて、ステップＳ１７〜Ｓ２１において合成画像の画像データを生成する。したがって、Ｎコマ目（３以上の整数）の画像については、１〜Ｎ−１コマ目の合成画像とＮコマ目の読み出し画像の画像データを用いて合成画像の画像データを生成する。
【００５４】
内部メモリに保存すると、次に、現像処理を行う（Ｓ２５）。ここでは、内部メモリ３３に記憶された画像データ（１コマ目の画像データ、または合成画像の画像データ）に対して、現像処理部１３がデモザイキング処理、γ補正処理、ノイズリダクション処理、ＹＣ信号生成処理、リサイズ処理等の現像処理を施す。リサイズ処理は、イメージセンサ４から読み出された画像信号の画素数は表示部３７の表示モニタの表示画素よりも大きいため、表示モニタの表示画素数に合わせるためである。
【００５５】
現像処理を行うと、次に、現像画像の表示を行う（Ｓ２７）。ここでは、ステップＳ２５において現像処理された画像データに基づく画像を、表示部３７に表示する。ステップＳ９において、露出時間Ｔが経過するたびに、合成処理された画像が、露光経過画像として表示されるので、ユーザは長時間露光によって次第に露光が進んでいく画像を確認することができる。
【００５６】
現像表示を行うと、次に、２ｎｄレリーズがオフか否かを検知する（Ｓ２９）。ユーザは、天体追尾撮影モードを設定し、ステップＳ５においてレリーズ釦を押圧することにより撮影を開始した後、撮影を終了する場合には、レリーズ釦の押圧を解除する。そこで、このステップでは、レリーズスイッチがオフになったか否かを判定する。この判定の結果、オフでない場合（オンの場合）には、ステップＳ９に戻り、ステップＳ１１においてタイマをリセットしてから時間Ｔが経過すると、ステップＳ１７〜Ｓ２７における処理を実行する。
【００５７】
ステップＳ２９における判定の結果、２ｎｄレリーズがオフを検知すると、次に、外部メモリに保存する（Ｓ３１）。ここでは、累積合成画像の画像データを最終的な撮影画像として、外部メモリ３６に記録する。また、記録画像の画像表示を行う（Ｓ３３）。ここでは、外部メモリ３６に保存した撮影画像を表示部３７に表示する。記録画像の表示を行うと、天体追尾撮影モードにおける動作を終了する。
【００５８】
このように、図２に示すフローチャートは、撮像面上に静止した被写体像と撮像面上を移動する被写体像が混在した被写体像を多重露光して得られた画像データを読み出し（Ｓ１１）、この読み出された画像データを処理して移動する被写体像の位置ずれを補正して位置ずれのない画像データを生成し（Ｓ１９、Ｓ２１）、この補正した画像データを外部メモリに記録している（Ｓ３１）。また、被写体像の位置ずれを補正するにあたっては、移動する被写体像のシフト量を検出し、このシフト量を用いて補正している。また、補正した画像データを生成する毎に表示部３７に表示している（Ｓ２７）。
【００５９】
次に、図３を用いて、ステップＳ１７において被写体認識部１５によって行われる移動被写体の検出について説明する。カメラを三脚などに固定して撮影すると、連続的に読み出された１コマ１コマの画像に撮影される星は、図３（ａ）に示すように、点像となる。十分な明るさになるように露光時間を長くすると、これらの画像は、星が日周運動により移動するため、図３（ｂ）に示すように、星の部分のみの画像が流れる。この星の移動を拡大したものが図３（ｃ）である、Ｎコマ目とＮ＋１コマ目では星の像がずれる。
【００６０】
ここで、被写体認識部１５が行う、Ｎコマ、Ｎ＋１コマの画像からの移動被写体を検出する方法を説明する。Ｎコマ目とＮ＋１コマ目の各画素の出力の差分の絶対値を算出し、その絶対値が所定の閾値以上であった場合は、その画素は移動被写体が撮影されていると判断する。
【００６１】
具体的には、各画像の画素のアドレスを（ｘ，ｙ）として、Ｎ（ｘ，ｙ）をＮコマ目の座標（ｘ，ｙ）の画素出力とし、閾値をＴＨとすると、
ＡＢＳ（Ｎ（ｘ，ｙ）−Ｎ＋１（ｘ，ｙ））≦ＴＨ  ・・・（１）
であれば、画素（ｘ、ｙ）は静止被写体部である。
ＡＢＳ（Ｎ（ｘ，ｙ）−Ｎ＋１（ｘ，ｙ））＞ＴＨ  ・・・（２）
であれば、画素（ｘ，ｙ）は移動被写体部であると判断する。なお、ＡＢＳ（）は絶対値を算出する数式を表す。
【００６２】
上記（１）（２）式において、閾値ＴＨを設けたのは、イメージセンサ４にはランダムノイズが発生するため、同じ露出で撮影を行っても、読み出す毎に同じ画像の出力がランダムノイズのために変動し、このランダムノイズによる画素出力変動によって移動被写体として誤認しないためである。
【００６３】
このように、画素出力の差分出力に基づいて判定すれば、図３（ｃ）に示すような星像が結像した画素部分は閾値ＴＨを超えるため移動被写体部分として判断され、その以外の部分は静止被写体と判断される。
【００６４】
さらに、図３（ｃ）に示すように、Ｎコマ目とＮ＋１コマ目の星像の位置関係からシフト量（Δｘ，Δｙ）を検出することができる。このシフト量の検出は、ステップＳ１９において画像シフト量検出部１４によって行われる。
【００６５】
次に、ステップＳ２１において加算合成部１１ａによって行われる合成処理について説明する。前述したように、合成処理は移動被写体と静止被写体の部分で処理が異なる。Ｎ＋１コマ目の読み出し画像データＮ（ｘ，ｙ）に、合成画像データＮ＋１＿ｃｏｍ（ｘ，ｙ）を合成する場合について述べる。
静止被写体部の結像した画素領域については、
Ｎ＋１＿ｃｏｍ（ｘ，ｙ）＝Ｎ＋１（ｘ，ｙ）＋Ｎ＿ｃｏｍ（ｘ，ｙ）  ・・・（３）
移動被写体部に結像した画素領域については、シフト量（Δｘ，Δｙ）だけ座標をシフトさせて合成するため、
Ｎ＋１＿ｃｏｍ（ｘ，ｙ）＝Ｎ＋１（ｘ−Δｘ，ｙ−Δｙ）＋Ｎ＿ｃｏｍ（ｘ，ｙ）  ・・・（４）
とする。
【００６６】
このように、静止被写体部と移動被写体部に分けて合成処理を行うと、図３（ｄ）に示すように、背景も星像も流れることなく、十分な明るさの合成画像を得ることができる。
【００６７】
次に、図４を用いて、被写体認識部１５について本実施形態の変形例について説明する。天体撮影は、非常に暗い被写体であるため、１コマ１コマの読み出し画像として読み出される画像出力は非常に小さい場合が想定される。この場合、上述したように、画像出力の差分から移動被写体を検出する際に、差分出力が十分大きな値が得られない場合があり、検出精度が劣化することがある。
【００６８】
そのような場合には、ユーザの操作によって移動被写体部分と静止被写体部分に分けられるようにしても良い。例えば、図４に示すように、撮影前にライブビュー画像をユーザが確認しながら、入力ＩＦ３８の１つであるタッチパネル上をタッチ操作することにより、背景部分（静止被写体部分）、または天体部分（移動被写体部分）を指示するようにする。なお、図４に示す例では、背景部分（静止被写体部分）をタッチすることにより、指示している。なお、この場合のライブビュー画像はプレ撮影により十分な露出で撮影した画像を用いることにより、ユーザは画像を確認しやすくすることができる。また、タッチパネル以外にも、例えば、ペンタイプの入力装置を用いたタッチ操作でもよく、またカーソルを十字釦等によって操作することにより、背景部分や天体部分を指示するようにしてもよい。
【００６９】
次に、図５を用いて、シフト量検出部２１について説明する。前述したように、天体撮影は、非常に暗い被写体であるため、１コマ１コマの読み出し画像として読み出される画像出力は非常に小さく、シフト量（Δｘ，Δｙ）の検出も同様に困難であることが想定される。この場合には、カメラの緯度情報と、カメラがどの方向を向いているかの情報を検出することによって、星の移動方向を予測でき、これによって移動方向と移動量（シフト量）を予測できる。
【００７０】
地球の自転に伴い天体は移動しているように見える。図５（ａ）は宇宙空間における地球Ｅを示しており、地球Ｅは地軸ＡＥ（自転の回転軸）を回転中心として自転方向ＲＤに向けて回転している。すなわち、地球Ｅは地軸の北の方向に対して右回転方向に１時間に１５度回転している。
【００７１】
天体は地球Ｅの自転方向と逆方向に回転しているように地球上から見える。図５（ｂ）は、地点Ｐ（例えば、日本の東京）から北方向を見た場合の天体の移動方向を示している。すなわち、東京は北緯３５度付近に位置しており、カメラが図５（ａ）に示すように、北の方向（視界ＡＲ）に向いている場合には、図５（ｂ）に示すように、地軸ＡＥＤの方向を回転中心として、天体が移動方向ＳＴＤに向けて、１時間に１５度、回転する。
【００７２】
このように、カメラの緯度情報とカメラの方位（重力方向に対しての向き、東西南北の方位）、レンズの焦点距離により決まる撮影画角が分かれば、画像データ上でどちらの方向にどのくらいの量で天体が移動するかを予測することができる（この移動方向と移動量をシフト量と称す）。緯度情報はＧＰＳ３４、重力方向に対する向きはセンサ部３５の加速度センサ、方位についてはセンサ部３５の地磁気センサを搭載することにより、検知できる。
【００７３】
以上、説明したように、本発明の第１実施形態においては、撮像装置を固定して撮影しているので、背景部は静止被写体像となり、天体部は移動被写体像となり、撮像部（イメージセンサ４）からは静止被写体像と移動被写体像が混在した画像データが所定時間間隔で出力される。画像処理部（画像処理部１０およびシフト量検出部２１を含む）は、移動被写体像のシフト量を検知し（図２のＳ１９、図３（ｃ）参照）、この検知したシフト量を用いて被写体像の位置ずれを補正して位置ずれのない画像を表す画像データを生成している（図２のＳ２１、図３（ｄ）参照）。
【００７４】
なお、図４に背景部（静止被写体像）、または天体（移動被写体像）のいずれか（または両方）を指定する方法について述べたが、被写体認識部１５によって静止被写体と移動被写体を十分、認識できるのであれば、省略してもよい。また、図５に撮像装置の緯度情報と方位情報を検知することにより、シフト量を予測する方法について述べたが、画像シフト量検出部１４によってシフト量を十分検知できるのであれば、省略してもよい。
【００７５】
次に、図６、８、９図を用いて、本発明の第２実施形態を説明する。第１実施形態においては、カメラを固定して天体を撮影していたことから、星等の天体が移動被写体となり、背景部が静止被写体となっていた。これに対して、第２実施形態においては、カメラ内のイメージセンサ４が天体を追尾して撮影することから、星等の天体が静止被写体となり、背景部が移動被写体となる。
【００７６】
図６を用いて、本実施形態の構成について説明する。第１実施形態に係るカメラと異なるのは、イメージセンサ４を機械的に駆動させるセンサ駆動部４１を有し、またシステム制御部２０内に天体追尾駆動部２３とシフト合成部２５を有する点である。
【００７７】
センサ駆動部４１は、イメージセンサ４の結像面に対して、並行な並進方向（ｘ，ｙ）、回転方向の３軸方向に駆動可能な駆動機構を有している。また、天体追尾駆動部２３は、第１実施形態の変形例として説明したＧＰＳ３４、センサ部３５内の加速度センサおよび地磁気センサから取得する緯度情報、方位情報、および焦点距離情報とイメージセンサ４の大きさから算出される天体の移動情報（シフト量、（ｘ，ｙ））を用いて、天体の移動方向を算出する。そして、この算出結果に基づいて、センサ駆動部４１を駆動制御し、イメージセンサ４が天体の移動に対して追尾することができる。本実施形態においては、センサ駆動部４１および天体追尾駆動部２３は、撮像素子（イメージセンサ４）をシフトして、移動被写体を追尾する追尾部として機能し、また撮像部１は追尾部により移動する被写体を追尾しながら多重露光を行う撮像部として機能する。
【００７８】
シフト合成部２５は、被写体認識部１５によって認識された移動被写体像に対して、天体追尾駆動部２３によって算出された天体の移動方向への移動量を用いて被写体像の位置ずれを補正して位置ずれのない画像を表す画像データを生成する。すなわち、本実施形態においては、撮像素子（イメージセンサ４）のシフト情報を基に移動する被写体像の位置ずれを補正している。
【００７９】
上述した各部以外は、図１に示した各部と同様の機能を有していることから、詳しい説明を省略する。
【００８０】
次に、図８に示すフローチャートを用いて、本実施形態に係るカメラの動作を説明する。このフローチャートは、図２に示すフローチャートと比較し、ステップＳ２−Ｓ４が追加され、またステップＳ１９、２１におけるシフト量の算出と合成処理が異なるのみであり、他のステップでの処理は同様である。そこで、相違するステップを中心に説明する。
【００８１】
図８に示すフローに入ると、まず、ライブビュー表示を行う（Ｓ１）。ライブビュー表示を行うと、ＧＰＳ緯度情報検知およびカメラ向き情報検知を行う（Ｓ２）。ここでは、ＧＰＳ３４によって緯度情報を検出し、センサ３５内の加速度センサと地磁気センサによってカメラの方位（重力に対する向き、東西南北の方位情報）を検出する。
【００８２】
続いて、天体シフト量（Δｘ，Δｙ）を算出する（Ｓ３）。ここでは、ステップＳ２において検出した、緯度情報およびカメラの向き情報とレンズの焦点距離情報に基づいて、図５を用いて説明したように、天体のシフト量（天体の移動方向と移動量（Δｘ，Δｙ））を算出する。
【００８３】
天体シフト量を算出すると、次に、センサ駆動を開始する（Ｓ４）。ここでは、ステップＳ３において算出した天体シフト量に基づいて、天体追尾駆動部２３がセンサ駆動部４１によって天体を追尾するようにイメージセンサ４の駆動を開始する。このセンサ駆動は、撮影開始から終了までの間、継続して行われる。
【００８４】
センサ駆動を開始すると、次に、２ｎｄレリーズがオンしたか否かを判定するが、ステップＳ５からステップＳ１７までの処理は、図２に示したフローチャートと同様の処理を行うことから、詳しい説明を省略する。
【００８５】
ステップＳ１７において、移動被写体と静止被写体の検出を行うと、次に、シフト量の検出を行う（Ｓ１９）。第１実施形態においては、シフト量の検出は、シフト量検出部２１によって、それぞれ２コマの画像データに含まれる移動被写体を比較し、画像上でどの方向に何画素シフトしたかを検出していた。これに対して、第２実施形態においては、ステップＳ３において算出された天体シフト量（Δｘ，Δｙ）だけイメージセンサ４をシフトさせていることから、ステップＳ１９におけるシフト量検出では、ステップＳ３において算出された天体シフト量（Δｘ，Δｙ）を利用する。
【００８６】
ステップＳ１９においてシフト量検出を行うと、次に、合成処理を行う（Ｓ２１）。第１実施形態に係る合成処理では、天体が移動被写体であり、背景が静止被写体であったが、第２実施形態では、逆に天体が静止被写体であり、背景が移動被写体である。従って、第２実施形態においては、移動被写体である背景部に対して、ステップＳ１９において検出したシフト量を用いて、位置ずれを補正し、位置ずれのない画像データを生成する。この合成処理の詳しい動作については、図９を用いて後述する。
【００８７】
合成処理を行うと、次に、内部メモリに保存するが、ステップＳ２１からステップＳ３３までの処理は、図２に示したフローチャートと同様の処理を行うことから、詳しい説明を省略する。ステップＳ３３において、記録画像の表示を行うと、本実施形態における天体追尾撮影モードにおける動作を終了する。
【００８８】
次に、図９を用いて、本実施形態における合成処理について説明する。図９（ａ）は所定時間間隔で得られた背景部のみの画像を示し、図９（ｂ）は、所定時間間隔で得られた背景部および天体部の画像を単に多重合成した画像を示し、図９（ｃ）は、シフト合成後の画像を示す。
【００８９】
第２実施形態においては、図９（ａ）に示すように、１コマ１コマの画像の内の背景部分が移動していく。そこで、被写体認識部１５によって検出された背景部について、それぞれ得られたコマ毎に、シフトさせた画像を得る（図９（ｂ）にそれぞれのシフト量を示す）。本実施形態においては、イメージセンサシフトによる天体追尾を行っているので、イメージセンサ４の駆動方向とは逆方向に背景がシフトしていることから、このときのシフト量は、イメージセンサ４のシフト量（Δｘ，Δｙ）に対して背景のシフト量は、（−Δｘ，−Δｙ）となる。
【００９０】
以上、説明したように、本発明の第２実施形態においては、撮像装置のイメージセンサ４が天体を追尾するようにシフトしながら撮影しているので、背景部は移動被写体像となり、天体部は静止被写体像となり、撮像部（イメージセンサ４）からは静止被写体像と移動被写体像が混在した画像データが所定時間間隔で出力される。画像処理部（画像処理部１０、天体追尾駆動部２３、およびシフト合成部２５を含む）は、緯度情報およびカメラの方位情報、レンズの焦点距離情報に基づいて、シフト量を算出し（図８のＳ３、Ｓ１９、図５参照）、この算出したシフト量を用いて被写体像の位置ずれを補正して位置ずれのない画像を表す画像データを生成している（図８のＳ２１、図９（ｂ）（ｃ）参照）。
【００９１】
第１実施形態においては、天体が移動し、背景が静止していたが、第２実施形態においては、天体が静止し、背景が移動する。星景撮影では、通常、天体が主要な被写体であることが想定され、第１実施形態においては、天体が移動することから、主要被写体である天体が撮影中に画面の外に出て行ってしまう。それに対して、本実施形態においては、主要被写体である天体が静止していることから、撮影中に天体が画角外に出て行ってしまうことがない。このため、ユーザが撮影前に決めた構図通りの画角で撮影を行うことができ、ユーザの意図に沿った撮影が可能となる。
【００９２】
次に、図７を用いて、第２実施形態の変形例について説明する。第２実施形態においては、天体追尾部として、イメージセンサ４自体を移動させ、天体を追尾していたが、本変形例においては、カメラ１００を赤道儀２００に固定し、赤道儀２００によってカメラ１００全体が天体を追尾するようにしている。
【００９３】
具体的には、三脚などに赤道儀２００を設置し、赤道儀２００の回転ステージ上にカメラ１００を設置している。また、赤道儀２００は、カメラ１００に対して、天体を追尾するための回転駆動が印加され（前述の回転ステージを介して印加）、またカメラ１００に対して、動作のオンオフ等の動作情報が伝えられ、またカメラ１００から緯度情報が伝えられる。赤道儀２００は地磁気センサ２０２を内蔵し、赤道儀の方位情報を検出する。さらにカメラ１００からの緯度情報に基づいて、回転軸の傾きを地軸と同じ向きになるように調整することができる。また、赤道儀２００には入力ＩＦ２０１が設けられており、各種設定を行うことができる。なお、本変形例においては、赤道儀２００が、撮像装置全体をシフトして被写体を追尾する追尾部として機能する。
【００９４】
本変形例におけるカメラ１００と赤道儀２００は、図８および図９に示した第２実施形態の動作と同様に動作する。但し、図８に示すフローチャートにおいて、ステップＳ３における天体シフト量の算出と、ステップＳ４におけるセンサ駆動は行われない。代わりに、センサ部３５の加速度センサおよび地磁気センサによって赤道儀２００によるカメラ１００の動きを検出し、ステップＳ１９において検出した動きに基づいてシフト量を算出し、ステップＳ２１において算出したシフト量に基づいて画像合成を行う。
【００９５】
以上、説明したように、本発明の第２実施形態の変形例においては、追尾部として撮像装置全体をシフトして被写体を追尾するようにしており、撮像装置の撮影時の緯度情報、方位情報、重力方向に対する向き、焦点距離、および撮影装置をシフトさせる駆動装置の駆動情報を用いて、移動する被写体像の位置ずれ量を算出し、この算出した位置ずれ量を用いて、上記位置ずれを補正している。
【００９６】
次に、第１及び第２実施形態の変形例について説明する。星景写真においては、背景部分の露出は天体部分に比べて明るいことが多い。そのため、第１及び第２実施形態における加算合成による合成方法では、天体部分に露出が適正になるように撮影すると、背景部分が過露出になってしまうことが多い。さらに、加算合成では、イメージセンサ４からの読み出し時に発生する読み出しノイズが積算されていくため、加算合成の回数が多い程、合成画像の画質が劣化してしまう。
【００９７】
そこで、天体部分の合成方法は加算合成、背景部分の合成方法は加算平均合成部１１ｃによる加算平均合成または比較合成部１１ｂによる比較明合成とし、移動被写体と静止被写体で異なる合成方法で合成を行うのが好ましい。すなわち、本変形例においては、静止した被写体像は加算合成し、移動する被写体は位置ずれを補正した後、比較明合成または加算平均合成により合成する。
【００９８】
本変形例においては、露出時間Ｔで背景の露出が適正になるようにユーザが手動設定するか、若しくはカメラの自動露出検出機能を用いて自動設定する。背景部分の合成方法は加算平均合成または比較明合成で行うことから、露出時間Ｔ以上撮影を続けても、背景部分の露出は適正に維持される。ユーザは表示部３７における撮影経過を確認しながら、暗い天体部分の露出が適度になったところで撮影を終了すれば、天体と背景がそれぞれ適度な露出でユーザの意図に沿った撮影を行うことができる。
【００９９】
比較明合成であれば、露出が一定に保たれ、加算合成と比較してノイズが増加することがない。また加算平均合成であれば、露出が一定に保たれると共に、読み出しノイズの内のランダムノイズ成分は平均化されていくため、合成枚数が増加すれば増加するほど合成画像に発生するノイズが減少し、画質が改善されるので、加算合成に比べ背景部分の画質が向上する。
【０１００】
以上説明したように、本発明の各実施形態や変形例においては、イメージセンサ４から連続的に読み出した画像信号を多重合成してバルブ撮影画像を生成する撮影装置において、撮像面上で静止した被写体像と移動する被写体像が混在する被写体像を撮像する際に、移動する被写体像の位置ずれを補正して位置ずれのない画像を表す画像データを生成している。このため、天体と地上の景色の両方が流れることのない星景写真を撮影することができる。
【０１０１】
また、本発明の第２実施形態や変形例においては、移動被写体を追尾する追尾部を備え、この追尾部により移動する被写体を追尾しながら多重露光を行うようにしている。このため、露光時間が長くても、主要被写体である天体を同じ画角で撮像することができる。
【０１０２】
また、本発明の第２実施形態や変形例においては、イメージセンサシフトによる追尾を行なう場合には（図６参照）イメージセンサのシフト情報を、撮像装置自体をシフトさせる赤道儀での撮影においては（図７参照）、撮像装置の緯度情報、方位情報、重力方向に対する方向、焦点距離の情報より位置ずれを算出し、得られた位置ずれ量から移動する被写体の移動量を補正することで、正確に位置ずれを補正した合成画像を得ることができる。このため、露光時間が長くても、主要被写体である天体を同じ画角で撮像することができる。
【０１０３】
なお、本発明の各実施形態や変形例においては、レリーズ釦を押圧することにより撮影を開始し、押圧を解除することにより撮影を停止していたが、これに限らず、レリーズ釦を押圧することにより撮影を開始し、一旦撮影を開始後に押圧を解除しても撮影が続行され、再度、レリーズ釦を押圧すると撮影を停止するようにしても勿論かまわない。
【０１０４】
また、本発明の各実施形態や変形例においては、撮影中は露出時間Ｔ毎に画像を読み出していたが、この露出時間Ｔは一定の時間でもよく、また適宜変更してもよい。また、本発明の各実施形態や変形例においては、主要被写体を星等の天体としていたが、これに限らず、他の被写体であっても勿論かまわない。
【０１０５】
また、本発明の各実施形態や変形例においては、イメージセンサ４から所定時間間隔で画像データを読み出す毎に、シフト量に基づいて移動する被写体像の位置を補正して位置ずれのない画像データを生成していたが、所定時間間隔で読み出される画像データの全てを記録しておき、撮影が終了した後、被写体像の位置ずれを補正するようにしてもよい。この場合には、バルブ撮影の途中経過の表示にあたって、移動する被写体像の位置ずれを補正することができないが、最終的に記録される画像は位置ずれを補正することができる。
【０１０６】
また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、長時間露光を行い、かつ所定時間間隔で撮像部から画像データを読み出し、合成処理を行って画像データを生成する機器であれば、本発明を適用することができる。
【０１０７】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１０８】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１０９】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１０】
１・・・撮像部、２・・・レンズ（絞り）、３・・・メカシャッタ、４・・・イメージセンサ、１０・・・画像処理部、１１・・・画像合成部、１１ａ・・・加算合成部、１１ｂ・・・比較合成部、１１ｃ・・・加算平均合成部、１３・・・現像処理部、１４・・・画像シフト量検出部、１５・・・被写体認識部、２０・・・システム制御部、２１・・・シフト量検知部、２３・・・天体追尾駆動部、２５・・・シフト合成部、３１・・・バス、３３・・・内部メモリ、３４・・・ＧＰＳ、３５・・・センサ部（加速度センサ、地磁気センサ）、３６・・・外部メモリ、３７・・・表示部、３８・・・入力ＩＦ、４１・・・センサ駆動部、１００・・・カメラ、２００・・・赤道儀、２０１・・・入力ＩＦ、２０２・・・地磁気センサ
【図１】
0005840189.tif 000002
【図２】
0005840189.tif 000003
【図６】
0005840189.tif 000004
【図７】
0005840189.tif 000005
【図８】
0005840189.tif 000006
【図３】
0005840189.tif 000007
【図４】
0005840189.tif 000008
【図５】
0005840189.tif 000009
【図９】
0005840189.tif 000010