(57)【要約】【課題】撮影の向きが異なる画像間で被写体となる星が動いた場合でも、高画質なパノラマ画像を撮影することが出来る撮像装置を提供する。【解決手段】撮像方向が異なり、部分的に共通な領域を有する複数枚の単位画像を合成することにより１枚の合成画像を生成可能な撮像装置であって、被写体像を撮像する撮像部と、撮像部に、複数枚の単位画像を撮像させるとともに、複数枚の単位画像のうちのそれぞれの単位画像の撮像の前後に、単位画像の露光時間よりも露光時間の短い短秒露光画像を撮像させる制御部と、第１の単位画像の撮像の後に撮像された第１の短秒露光画像と、第１の単位画像に続いて撮像された第２の単位画像の撮像の前に撮像された第２の短秒露光画像とを用いて、第１の短秒露光画像と第２の短秒露光画像の間での被写体の移動量を算出する算出部と、算出部により算出された被写体の移動量に基づいて、第１の単位画像と第２の単位画像の位置合わせを行い、第１の単位画像と第２の単位画像を合成する合成部とを備える。【選択図】  図５
2020028079.tif 000002
【特許請求の範囲】
【請求項１】
撮像方向が異なり、部分的に共通な領域を有する複数枚の単位画像を合成することにより１枚の合成画像を生成可能な撮像装置であって、
被写体像を撮像する撮像手段と、
前記撮像手段に、前記複数枚の単位画像を撮像させるとともに、前記複数枚の単位画像のうちのそれぞれの単位画像の撮像の前後に、前記単位画像の露光時間よりも露光時間の短い短秒露光画像を撮像させる制御手段と、
第１の単位画像の撮像の後に撮像された第１の短秒露光画像と、前記第１の単位画像に続いて撮像された第２の単位画像の撮像の前に撮像された第２の短秒露光画像とを用いて、前記第１の短秒露光画像と前記第２の短秒露光画像の間での被写体の移動量を算出する算出手段と、
前記算出手段により算出された前記被写体の移動量に基づいて、前記第１の単位画像と前記第２の単位画像の位置合わせを行い、前記第１の単位画像と前記第２の単位画像を合成する合成手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記被写体は星空であり、前記単位画像は、星空を撮影するための長秒露光で撮影された画像であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記短秒露光画像は、星空を短秒露光で撮影するために、前記撮像手段の感度を上げて撮影された画像であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記短秒露光画像の撮像を実施する必要があるか否かを判定する第１の判定手段をさらに備え、該第１の判定手段により前記短秒露光画像の撮像が必要ないと判定された場合は、前記制御手段は、前記短秒露光画像の撮像を省略することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記判定手段は、前記第１の短秒露光画像と前記第２の短秒露光画像の間での被写体の移動がない場合に、前記短秒露光画像の撮像が必要ないと判定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第１の単位画像と前記第２の単位画像の位置合わせが可能か否かを判定する第２の判定手段と、該第２の判定手段により、前記第１の単位画像と前記第２の単位画像の位置合わせが不可能と判定された場合に警告を発する警告手段と、をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第２の判定手段は、前記算出手段により算出された、前記第１の短秒露光画像と前記第２の短秒露光画像の間での被写体の移動量が所定の量を超えている場合に、前記第１の単位画像と前記第２の単位画像の位置合わせが不可能と判定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第１の短秒露光画像の撮像と前記第２の短秒露光画像の撮像との間の経過時間を計時する計時手段をさらに備え、前記第２の判定手段は、前記経過時間が所定の時間を超えている場合に、前記第１の単位画像と前記第２の単位画像の位置合わせが不可能と判定することを特徴とする請求項６に記載の撮像装置。
【請求項９】
撮像方向が異なり、部分的に共通な領域を有する複数枚の単位画像を合成することにより１枚の合成画像を生成可能な画像処理装置であって、
前記複数枚の単位画像と、前記複数枚の単位画像のうちのそれぞれの単位画像の撮像の前後に、前記単位画像の露光時間よりも短い露光時間で撮像された短秒露光画像と、を取得する取得手段と、
第１の単位画像の撮像の後に撮像された第１の短秒露光画像と、前記第１の単位画像に続いて撮像された第２の単位画像の撮像の前に撮像された第２の短秒露光画像とを用いて、前記第１の短秒露光画像と前記第２の短秒露光画像の間での被写体の移動量を算出する算出手段と、
前記算出手段により算出された前記被写体の移動量に基づいて、前記第１の単位画像と前記第２の単位画像の位置合わせを行い、前記第１の単位画像と前記第２の単位画像を合成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項１０】
前記被写体は星空であり、前記単位画像は、星空を撮影するための長秒露光で撮影された画像であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記短秒露光画像は、星空を短秒露光で撮影するために、前記撮像手段の感度を上げて撮影された画像であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１の単位画像と前記第２の単位画像の位置合わせが可能か否かを判定する第２の判定手段と、該第２の判定手段により、前記第１の単位画像と前記第２の単位画像の位置合わせが不可能と判定された場合に警告を発する警告手段と、をさらに備えることを特徴とする請求項９乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記第２の判定手段は、前記算出手段により算出された、前記第１の短秒露光画像と前記第２の短秒露光画像の間での被写体の移動量が所定の量を超えている場合に、前記第１の単位画像と前記第２の単位画像の位置合わせが不可能と判定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記取得手段は、前記第１の短秒露光画像の撮像と前記第２の短秒露光画像の撮像との間の経過時間の情報をさらに取得し、前記第２の判定手段は、前記経過時間が所定の時間を超えている場合に、前記第１の単位画像と前記第２の単位画像の位置合わせが不可能と判定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
撮像方向が異なり、部分的に共通な領域を有する複数枚の単位画像を合成することにより１枚の合成画像を生成可能な撮像装置を制御する方法であって、
被写体像を撮像する撮像手段に、前記複数枚の単位画像を撮像させるとともに、前記複数枚の単位画像のうちのそれぞれの単位画像の撮像の前後に、前記単位画像の露光時間よりも露光時間の短い短秒露光画像を撮像させる制御工程と、
第１の単位画像の撮像の後に撮像された第１の短秒露光画像と、前記第１の単位画像に続いて撮像された第２の単位画像の撮像の前に撮像された第２の短秒露光画像とを用いて、前記第１の短秒露光画像と前記第２の短秒露光画像の間での被写体の移動量を算出する算出工程と、
前記算出工程において算出された前記被写体の移動量に基づいて、前記第１の単位画像と前記第２の単位画像の位置合わせを行い、前記第１の単位画像と前記第２の単位画像を合成する合成工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１６】
撮像方向が異なり、部分的に共通な領域を有する複数枚の単位画像を合成することにより１枚の合成画像を生成可能な画像処理装置を制御する方法であって、
前記複数枚の単位画像と、前記複数枚の単位画像のうちのそれぞれの単位画像の撮像の前後に、前記単位画像の露光時間よりも短い露光時間で撮像された短秒露光画像と、を取得する取得工程と、
第１の単位画像の撮像の後に撮像された第１の短秒露光画像と、前記第１の単位画像に続いて撮像された第２の単位画像の撮像の前に撮像された第２の短秒露光画像とを用いて、前記第１の短秒露光画像と前記第２の短秒露光画像の間での被写体の移動量を算出する算出工程と、
前記算出こうていにおいて算出された前記被写体の移動量に基づいて、前記第１の単位画像と前記第２の単位画像の位置合わせを行い、前記第１の単位画像と前記第２の単位画像を合成する合成工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１７】
コンピュータに、請求項１５または１６に記載の制御方法の各工程を実行させるためのプログラム。
【請求項１８】
コンピュータに、請求項１５または１６に記載の制御方法の各工程を実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は互いに共通領域が写るように撮影の向きを順次変化させながら連続撮影した画像を合成することにより、より広範囲の星空画像、すなわち星空パノラマ画像を得る技術に関する。
【背景技術】
【０００２】
広大な星空を一枚の画像として収めるための撮影方法の一つとして、パノラマ撮影の手法が知られている。この手法の例として、特許文献１には次のような撮影方法が開示されている。つまり、撮影の向きを順次変化させて撮影範囲の一部を構成する複数の単位画像を撮像し、撮像した単位画像から所定サイズの画像領域を互いに重複領域が生じるように切り出し、切り出した画像領域を順次重ね合わせることによりパノラマ画像を生成する。
【０００３】
ここで、この手法を星空のパノラマ撮影に適用する場合の問題点について説明する。星空を撮影する際は星の光量が微量であることから、３０秒や１分といった長時間の露光を行うことが多い。天体は地球の自転に合わせて日周運動をしているため、長時間露光すると星は点像にならず光跡となってしまう。
【０００４】
星空をパノラマ撮影する際は、星が光跡にならない程度の露光時間で撮影の向きが異なる画像を撮影し、画像をつなぎ合わせることでパノラマ画像を生成することが必要になる。しかし、長時間露光で星空のパノラマ撮影を行いたい場合もある。この場合、画像同士の間で時間の経過により星が動くため、画像同士の位置合わせに失敗しやすい。図８は、星空のパノラマ撮影において、撮影の向きが異なる２つの画像を合成した際の、位置合わせの失敗例を示している。図８（ａ）は１枚目の撮影画像を示し、３０１は背景を示している。図８（ｂ）は２枚目の撮影画像を示し、３０２は背景を示している。１枚目の長秒露光撮影の時間とユーザーが撮影の向きを変えるために撮像装置をセッティングする時間とを合わせた時間の経過によって、２枚目の画像に写る星の位置が１枚目の画像の星の位置に対して移動している。図８（ｃ）は１枚目と２枚目の撮影画像の位置合わせを行う際に、星を位置合わせの基準としたために、星の動きの分だけ背景３０１と３０２がずれて合成された状態を示している。
【０００５】
一方、特許文献２には、天体の日周運動による撮影面上での位置ずれを光学式の振れ補正手段を用いて補正し、撮影と合成を繰り返すことにより、位置合わせの失敗を防ぎつつより広い画角の撮影画像を得る技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３２８４９７号公報
【特許文献２】特開２０１６−００５１６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に開示されている従来技術では、光学式の振れ補正手段を利用するため、撮影の向きの変化の最大値が制限されてしまい、更に広い画角の天体画像を撮影することができないという課題がある。
【０００８】
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影の向きが異なる画像間で被写体となる星が動いた場合でも、高画質なパノラマ画像を撮影することが出来る撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明に係わる撮像装置は、撮像方向が異なり、部分的に共通な領域を有する複数枚の単位画像を合成することにより１枚の合成画像を生成可能な撮像装置であって、被写体像を撮像する撮像手段と、前記撮像手段に、前記複数枚の単位画像を撮像させるとともに、前記複数枚の単位画像のうちのそれぞれの単位画像の撮像の前後に、前記単位画像の露光時間よりも露光時間の短い短秒露光画像を撮像させる制御手段と、第１の単位画像の撮像の後に撮像された第１の短秒露光画像と、前記第１の単位画像に続いて撮像された第２の単位画像の撮像の前に撮像された第２の短秒露光画像とを用いて、前記第１の短秒露光画像と前記第２の短秒露光画像の間での被写体の移動量を算出する算出手段と、前記算出手段により算出された前記被写体の移動量に基づいて、前記第１の単位画像と前記第２の単位画像の位置合わせを行い、前記第１の単位画像と前記第２の単位画像を合成する合成手段と、を備えることを特徴とする。
【００１０】
また、本発明に係わる画像処理装置は、撮像方向が異なり、部分的に共通な領域を有する複数枚の単位画像を合成することにより１枚の合成画像を生成可能な画像処理装置であって、前記複数枚の単位画像と、前記複数枚の単位画像のうちのそれぞれの単位画像の撮像の前後に、前記単位画像の露光時間よりも短い露光時間で撮像された短秒露光画像と、を取得する取得手段と、第１の単位画像の撮像の後に撮像された第１の短秒露光画像と、前記第１の単位画像に続いて撮像された第２の単位画像の撮像の前に撮像された第２の短秒露光画像とを用いて、前記第１の短秒露光画像と前記第２の短秒露光画像の間での被写体の移動量を算出する算出手段と、前記算出手段により算出された前記被写体の移動量に基づいて、前記第１の単位画像と前記第２の単位画像の位置合わせを行い、前記第１の単位画像と前記第２の単位画像を合成する合成手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影の向きが異なる画像間で被写体となる星が動いた場合でも、高画質なパノラマ画像を撮影することが出来る撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】撮影した複数の画像をパノラマ合成する際の概念図。
【図２】本発明の撮像装置の第１の実施形態の構成を示すブロック図。
【図３】通常の撮影動作を説明するフローチャート。
【図４】第１の実施形態における星空パノラマ撮影の動作を示すフローチャート。
【図５】第１の実施形態の動作を説明するデータフローダイアグラム。
【図６】第２の実施形態における星空パノラマ撮影の動作を示すフローチャート。
【図７】第３の実施形態における警告画面の概念図。
【図８】星空パノラマ合成の課題を説明する概念図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１４】
（第１の実施形態）
図１は、パノラマ撮影の概要を示す図である。本実施形態では、パノラマ撮影は、図１（ａ）に示すように撮像装置２０１をユーザー２０２が動かしながら、もしくは自動雲台等で動かしながら順次撮像方向を変えて撮影を行うことにより実施される。図１（ｂ）に示すように、撮影された各画像に部分的に被写体の共通領域が含まれるように、複数枚の画像の撮影を行う。そして各画像の共通領域の特徴点を抽出し、その特徴点がどのくらい動いたかを示す移動ベクトルを検出する。その移動ベクトルから、例えばアフィン変換の係数を算出し、特徴点が一致するように２枚の画像を重ね合わせることにより、共通領域以外の部分が拡張された画像が得られる。これを複数回繰り返すことにより、１回の撮影で得られる画角よりも広範囲の画角のパノラマ画像が生成可能となる。
【００１５】
図２は、本発明の撮像装置の第１の実施形態の構成を示すブロック図である。図２において、撮像装置１００は、被写体像を結像させる撮影レンズ１０１と、撮影レンズ１０１の焦点調節を行うＡＦ（オートフォーカス）駆動回路１０２を備える。ＡＦ駆動回路１０２は、例えばＤＣモータやステッピングモータによって構成され、マイクロコンピュータ１２３の制御により、撮影レンズ１０１のフォーカスレンズの位置を変化させて焦点調節を行う。
【００１６】
撮影レンズ１０１は絞り１０３を備え、絞り１０３は絞り駆動回路１０４により駆動される。光学的な絞り値がマイクロコンピュータ１２３によって算出され、それに基づいて絞り駆動回路１０４が絞り１０３を駆動する量が決定される。
【００１７】
絞り１０３の後方には、主ミラー１０５が配置されている。主ミラー１０５は、撮影レンズ１０１を通過した光束をファインダに導く状態と撮像素子１１２に導く状態を切り替える。主ミラー１０５は、常時はファインダへと光束が向かうように、光束を上方に反射させる位置に配置されているが、撮影が行われる場合やライブビュー表示の場合には、撮像素子１１２へと光束が向かうように、上方に跳ね上がり光路中から待避する。また、主ミラー１０５は、その中央部が少量の光を透過させるハーフミラーとなっており、一部の光を透過させて、それを焦点検出を行うための不図示の焦点検出センサに導く。撮影レンズ１０１のデフォーカス量は、この焦点検出センサの出力を演算することによって求められる。マイクロコンピュータ１２３は演算結果を評価してＡＦ駆動回路１０２に指示し、フォーカスレンズを駆動させる。
【００１８】
主ミラー５は、マイクロコンピュータ１２３の指示により、ミラー駆動回路１０７を介して上下に駆動される。主ミラーの後方には、サブミラー１０６が配置されており、主ミラー１０５を透過した光束を反射させ、前述の焦点検出センサに導く。主ミラー１０５の中央部を透過し、サブミラー１０６で反射された光束は、露光量算出回路１０９にも入射し、その内部に配置された光電変換を行うための測光センサに至る。
【００１９】
主ミラー１０５の上方には、ファインダを構成するペンタプリズムが配置されている。ファインダは、他にピント板、不図示のアイピースレンズなどによって構成される。
撮影レンズ１０１の光路を開閉するフォーカルプレーンシャッタ１１０は、シャッタ駆動回路１１１により駆動される。フォーカルプレーンシャッタ１１０の開口時間は、マイクロコンピュータ１２３によって制御される。
【００２０】
フォーカルプレーンシャッタ１１０の後方には、撮像素子１１２が配置されている。撮像素子１１２には、ＣＣＤやＣＭＯＳセンサなどが用いられ、撮影レンズ１０１によって結像された被写体像を電気信号に変換する。撮像素子１１２の出力はＡ／Ｄ変換器１１５に入力される。Ａ／Ｄ変換器１１５は撮像素子１１２のアナログ出力信号をデジタル信号に変換する。
【００２１】
映像信号処理回路１１６は、ゲートアレイなどのロジックデバイスにより実現される。映像信号処理回路１１６は、輝度調整回路１１６ａ、ガンマ補正回路１１６ｂ、ぶれ量算出回路１１６ｃ、位置合わせ回路１１６ｄ、幾何変換回路１１６ｅ、変倍回路１１６ｆを有する。映像信号処理回路１１６は、さらにトリミング回路１１６ｅ、合成回路１１６ｊ、現像回路１１６ｋ、圧縮・伸長回路１１６ｌを有する。
【００２２】
輝度調整回路１１６ａは、デジタルゲインによって明るさを調整する。ガンマ補正回路１１６ｂは、ガンマ特性によって輝度を調整する。ぶれ量算出回路１１６ｃは、複数枚の画像のぶれ量を算出する。位置合わせ回路１１６ｄは、画像のぶれ量に応じて複数枚の画像の位置合わせを行う。幾何変換回路１１６ｅは、撮影レンズ１０１の歪曲を補正する。変倍回路１１６ｆは、画像のサイズを変倍する。トリミング回路１１６ｅは、画像の一部を切り出す。合成回路１１６ｊは、複数枚の画像を合成する。現像回路１１６ｋは、画像データの現像を行う。圧縮・伸長回路１１６ｌは、画像データをＪｐｅｇなどの一般的な画像形式に変換する。
【００２３】
映像信号処理回路１１６には、表示駆動回路１１７、ＴＦＴや有機ＥＬなどを用いた表示部材１１８、メモリコントローラ１１９、メモリ１２０、コンピュータ等と接続可能な外部インターフェイス１２１、バッファメモリ１２２が接続されている。
【００２４】
映像信号処理回路１１６は、デジタル化された画像データに、フィルター処理、色変換処理、ガンマ処理を行うと共に、ＪＰＥＧなどの圧縮処理を行い、メモリコントローラ１１９に出力する。その際、処理途中の画像を一時的にバッファメモリ１２２に置くことも可能である。
【００２５】
映像信号処理回路１１６は、撮像素子１１２からの映像信号や、メモリコントローラ１１９から逆に入力される画像データを、表示駆動回路１１７を介して表示部材１１８に出力することも可能である。これらの機能の切り替えはマイクロコンピュータ１２３の指示により行われる。
【００２６】
映像信号処理回路１１６は、必要に応じて撮像素子１１２の信号の露出情報やホワイトバランスなどの情報をマイクロコンピュータ１２３に出力することが可能である。それらの情報に基づいて、マイクロコンピュータ１２３はホワイトバランス調整やゲイン調整の指示を行う。
【００２７】
連続撮影動作の場合においては、一旦、未処理のままバッファメモリ１２２に撮影データを格納し、メモリコントローラ１１９を介して未処理の画像データを読み出し、映像信号処理回路１１６において画像処理や圧縮処理を行い、連続撮影を行う。連像撮影枚数は、バッファメモリ１２２の容量やパノラマ撮影の場合はその画像サイズの大きさに左右される。メモリコントローラ１１９では、映像信号処理回路１１６から入力された未処理のデジタル画像データをバッファメモリ１２２に格納し、処理済みのデジタル画像データをメモリ１２０に格納する。また、逆にバッファメモリ１２２やメモリ１２０から画像データを映像信号処理回路部１１６に出力することも可能である。メモリ１２０は取り外し可能である場合もある。なお、メモリコントローラ１１９は、コンピュータ等と接続可能な外部インターフェイス１２１を介してメモリ１２０に記憶されている画像を外部に出力可能である。
【００２８】
操作部材１２４は、マイクロコンピュータ１２３にその状態を伝え、マイクロコンピュータ１２３はその操作部材の変化に応じて各部をコントロールする。スイッチＳＷ１（１２５）とスイッチＳＷ２（１２６）は、レリーズボタンの操作でオンオフするスイッチであり、それぞれ操作部材１２４の入力スイッチのうちの１つである。
【００２９】
スイッチＳＷ１（１２５）のみオンの状態はレリーズボタンの半押し状態であり、この状態でオートフォーカスの動作を行うと共に、測光動作を行う。スイッチＳＷ１（１２５）、ＳＷ２（１２６）が共にオンの状態はレリーズボタンの全押し状態であり、画像を記録するためのレリーズスイッチのオン状態である。この状態で撮影が行われる。またスイッチＳＷ１（１２５）、ＳＷ２（１２６）がＯＮし続けている間は、連続撮影動作が行われる。
【００３０】
操作部材１２４には、他に、ＩＳＯ設定ボタン、メニューボタン、セットボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニューや再生画像移動のための移動＋（プラス）ボタン、移動−（マイナス）ボタン、露出補正ボタン、表示画像拡大ボタン、表示画像縮小ボタン、再生スイッチ、絞り１０３を設定された絞りに絞り込ませるための絞りボタン、撮影した画像を消去するための消去ボタン、撮影や再生に関する情報表示ボタンなど不図示のスイッチが接続されており、スイッチの状態が検出されている。また、上記のプラスボタン及びマイナスボタンの機能を、回転ダイアルスイッチに割り当てることによって、より軽快に数値や機能を選択することが可能となる。
【００３１】
液晶駆動回路１２７は、マイクロコンピュータ１２３の表示命令に従って、文字、画像を用いた動作状態の表示やメッセージ等を、外部液晶表示部材１２８やファインダ内液晶表示部材１２９に表示させる。また、ファインダ内液晶表示部材１２９には、不図示のＬＥＤなどのバックライトが配置されており、そのＬＥＤも液晶駆動回路１２７で駆動される。
【００３２】
マイクロコンピュータ１２３は、撮影前に設定されているＩＳＯ感度、画像サイズ、画質に応じた画像サイズの予測値データに基づいて、メモリコントローラ１１９を介してメモリの容量を確認した上で撮影可能残数を算出することができる。この情報は、必要に応じて外部液晶表示部材１２８、ファインダ内液晶表示部材１２９にも表示することができる。
【００３３】
不揮発性メモリ（ＥＥＰＲＯＭ）１３０は、カメラに電源が入れられていない状態でも、データを保存することができる。電源部１３１は、各ＩＣや駆動系に必要な電源を供給する。内部時計１３２は経過時間を計時し、メモリ１２０に記録する画像ファイルに撮影時刻などを保存したり、後述するように画像そのものに撮影時刻を重畳したりできる。ジャイロ１３３は、２軸もしくは３軸で、撮像装置１００の回転の角速度を検出する。方位計１３４は、撮像装置の向いている方向を検出する。
【００３４】
次に、上記のように構成される撮像装置の動作について説明する。図３は、第１の実施形態の撮像装置の撮影動作を示すフローチャートである。
【００３５】
まず、撮影動作を開始する前に、予め露光量算出回路１０９によって露光量を算出し、絞り量、蓄積時間、ＩＳＯ感度を決定しておく。スイッチＳＷ２（１２６）がユーザーによって押下されると撮影動作が実施される。
【００３６】
Ｓ４０１では、マイクロコンピュータ１２３は、予め決められた絞り値を絞り駆動回路１０４に通知し、絞り１０３を目的の絞り値に調節する。撮像素子１１２、ＡＤ変換器１１５などに電源を入れ、撮影準備を行う。準備が完了するとミラー駆動回路１０７を駆動して主ミラー５を跳ね上げ、被写体像を撮像素子１１２に入射させるようにする。シャッタ駆動回路はフォーカルプレーンシャッタ１１０のうち不図示の先幕を開けて被写体像が撮像素子１１２に入射するようにする。続いて予め決められた蓄積時間後にシャッタ１１０のうち不図示の後幕を閉じて、撮像素子１１２に蓄積時間の間だけ光が入るようにする。この一連の動作を行って露光を行う。
【００３７】
Ｓ４０２では、ＡＤ変換器１１５を介して映像信号処理回路１１６に画像信号を読み出し、バッファメモリ１２２に格納する。Ｓ４０３では、読み出した画像信号を現像回路１１６ｋで現像し、画像データに変換する。この時、画像が適正な画質になるように、ホワイトバランス処理や、ガンマ補正回路１１６ｂにより暗部にゲインをかけるガンマ処理などの画像処理を行ってもよい。
【００３８】
Ｓ４０４では、得られた画像データが圧縮・伸長回路１１６ｌでＪＰＥＧなどの汎用的なデータフォーマットへと変換される。Ｓ４０５では、変換された画像データが、ＳＤカードやコンパクトフラッシュ（登録商標）などのメモリ１２０へと保存される。以上で撮影動作を終了する。
【００３９】
なお、Ｓ４０３において、画像処理や現像処理を行わず、読み出した画像信号そのままをＳ４０４で可逆圧縮し、Ｓ４０５で記憶媒体に保存してもよい。これらの切り替えはユーザーが操作部材１２４を用いて切り替えることが可能である。
【００４０】
以下、星空パノラマ撮影モードについて説明する。星空パノラマ撮影は、横方向に撮像装置をずらしながら撮影するモードと、縦方向に撮像装置をずらしながら撮影するモードがあるが、ここでは横方向にずらしながら撮影する例について説明する。
【００４１】
ユーザーが操作部材１２４を用いて星空パノラマ撮影モードを設定すると、撮像素子１１２、ＡＤ変換器１１５へと電源が供給され、初期設定が行われる。一方で主ミラー１０５を跳ね上げ、シャッタ駆動回路１１１はシャッタ１１０を開いて、撮影レンズ１０１を介した被写体像を撮像素子１１２へと入射させる。
【００４２】
撮像素子１１２からの信号をＡＤ変換器１１５でデジタル信号へと変換し、映像信号処理回路１１６の現像回路１１６ｋで現像し、輝度調整回路１１６ａ、ガンマ補正回路１１６ｂにより適正な画像へと変換する。その後、この画像データは、変倍回路１１６ｆで表示部材１１８に適した画像サイズへと変倍され、表示される。これを１秒間に２４回〜６０回繰り返して行うことにより、いわゆるライブビュー表示を行う。
【００４３】
ユーザーはそのライブビュー表示を確認しながら、撮影の向きや画角を合わせてスイッチＳＷ１（１２５）を押す。スイッチＳＷ１（１２５）が押下されると、露光量が算出される。ライブビュー撮影でない場合は、サブミラー１０６により反射された光を露光量算出回路１０９で受光し、適切な露光量を算出する。ライブビュー撮影中は、映像信号処理回路１１６に含まれる不図示の露光量算出回路で適切な露光量を決定する。そして、マイクロコンピュータ１２３が、絞り駆動回路１０４を用いて絞り１０３を駆動したり、撮像素子１１２の感度や蓄積時間を制御したりする。星空パノラマ撮影では星が軌跡にならない程度の露光時間になるようなプログラム線図を用いる。一方、ＡＦ駆動回路１０２は撮影レンズ１０１を駆動し、焦点を合わせる。撮影の準備を終えると、不図示のブザー等でユーザーに知らせる。ユーザーが撮像装置を撮り始めたい向きに向け、スイッチＳＷ２（１２６）を押下すると星空パノラマ撮影が開始される。
【００４４】
次に、図４のフローチャートと図５のデータフローダイアグラムを用いて、星空パノラマ撮影について詳細に説明する。
【００４５】
星空パノラマ撮影が開始されると、まずマイクロコンピュータ１２３は、Ｓ５０１において、レンズ情報を取得する。このレンズ情報には、後述する歪曲収差やレンズ周辺部の光量の低下を補正するためのデータなどが含まれる。
【００４６】
Ｓ５０２では、１枚目の長秒露光撮影を行う。撮像素子１１２、ＡＤ変換器１１５はライブビュー用の駆動に設定されているため、これを静止画撮影用に切り替える。絞り１０３を先ほど決めた露光量になるように調整し、フォーカルプレーンシャッタ１１０を開閉して、撮像素子１１２を露光させる。撮像素子１１２で得られた画像信号をＡＤ変換器１１５でデジタル信号へと変換し、バッファメモリ１２２へと格納する。この画像データは、画像処理回路１１６に含まれる不図示の回路によって、例えばシェーディング補正などの処理が加えられる。このように最小限の加工しか行っていない画像データをＲＡＷ画像データ６０１と呼ぶ。次に、このＲＡＷ画像データ６０１を現像回路１１６ｋによって現像しＹＵＶ画像データ６０２とする。
【００４７】
次に、Ｓ５０３では、１枚目の高感度短秒露光撮影を行い、短秒露光画像を得る。長秒露光撮影の直前の高感度短秒露光撮影をＡとし、長秒露光撮影の直後の高感度短秒露光撮影をＢとする。高感度短秒露光撮影は移動量算出のためだけに使用し、パノラマ合成画像としては使用しない。Ｓ５０３で行われるのは、高感度短秒露光撮影Ｂである。短秒露光撮影では星が小さく薄くなるため、ＩＳＯ感度を上げて撮影を行う。長秒露光撮影と同様に、ＲＡＷ画像データ６０４を現像回路１１６ｋによって現像しＹＵＶ画像データ６０５とする。
【００４８】
Ｓ５０４では、２枚目の撮影までに撮像装置１００がどのくらいスイング（回転）されたかを後のＳ５０９で取得できるようにするため、まず１枚目の時点でジャイロ１３３の初期化を行う。
【００４９】
Ｓ５０５では、長秒露光撮影と短秒露光撮影それぞれの現像後の画像データ６０２，６０５について、幾何変換回路１１６ｅにより既存の技術を用いて撮影レンズ１０１の歪曲収差を補正し、歪曲補正後の画像データ６０３，６０６を得る。長秒露光による歪曲補正後の画像データ６０３は、表示部材１１８に表示させるため、変倍回路１１６ｆにより液晶モニタの画素数に応じて縮小され、ＶＲＡＭ６１１に格納される。
【００５０】
次に、Ｓ５０６では、２枚目の高感度短秒露光撮影Ａを行い、画像データ６０８を得る。Ｓ５０７では、２枚目の長秒露光撮影を行い、画像データ６１３を得る。さらに、Ｓ５０８において、２枚目の高感度短秒露光撮影Ｂを行い、画像データ６１６を得る。Ｓ５０２と同様に各ＲＡＷ画像データ６０８，６１３，６１６を現像回路１１６ｋによって現像し、ＹＵＶ画像データ６０９，６１４，６１７を得る。
【００５１】
Ｓ５０９では、前回の撮影からの撮像装置１００のスイング量を取得するためにジャイロ１３３の検出値であるジャイロ情報を取得する。ジャイロ情報は、撮像装置のＹａｗ方向、Ｐｉｔｃｈ方向の２軸方向についての値を取得するが、光軸に対しての回転であるＲｏｌｌ方向を加えた３軸方向についての値を取得することも好ましい。ジャイロ１３３からの出力そのものは角速度であるが、パノラマ撮影では前回の撮影からどのくらいスイングされたかが必要なので、前の撮影と次の撮影までの角速度を積分し、２枚目以降の撮影時に前回からの回転角度６０７を計算し、記憶しておく。
【００５２】
Ｓ５１０では、Ｓ５０１で取得したレンズの焦点距離や画角、撮像素子の情報などから、この回転角度６０７を画素単位に変換する。
【００５３】
一般に歪曲収差のないレンズもしくは歪曲補正後の画角（α）は、実効焦点距離をｆ［ｍｍ］、撮像素子の幅をｗ［ｍｍ］とすると、以下の式１で計算される。
【００５４】
α[°]＝２×arctan（ｗ[mm]÷２÷ｆ[mm]）          （式１）
撮像素子の１画素あたりのサイズをｐ［μｍ］、スイング角［°］をθとすると、画像における移動量ｄ［ｐｉｘ］は式２のようになる。
【００５５】
ｄ[pix]＝tan（α[°]÷２）×ｆ[mm] ／ｐ[μm]×１０００    （式２）
Ｓ５１１では、１枚目の歪曲収差補正（Ｓ５０５）と同様に２枚目の各画像の歪曲収差補正を行い、歪曲補正後の画像データ６１０，６１５，６１８を得る。１枚目と同様に、歪曲補正後の長秒露光撮影画像データ６１５は表示部材１１８に表示させるため、変倍回路１１６ｆにより、液晶モニタの画素数に応じて縮小し、ＶＲＡＭ６１９に格納する。
【００５６】
Ｓ５１２では、移動量算出回路１１６ｃを用いて、１枚目の高感度短秒露光撮影Ｂで得られた画像データ６０６と２枚目の高感度短秒露光撮影Ａで得られた画像データ６１０とから移動量を算出する。移動量検出に関しては前述した通り既知の方法が使えるが、本実施形態では移動量検出回路１１６ｃで画像内の特徴点をいくつか見つけ出し、標本化することでアフィン係数６１２を算出している。
【００５７】
具体的には、エッジを検出し、特徴点を抽出し、その移動量を算出する。例えばここで特徴点１が座標（ｘ１，ｙ１）から座標（ｕ１，ｖ１）に、特徴点２が座標（ｘ２，ｙ２）から（ｕ２，ｖ２）に、特徴点３が座標（ｘ３，ｙ３）から（ｕ３，ｖ３）にずれていたとする。すると式１から連立方程式を作ると式３、式４のようになる。
【００５８】
【数１】
2020028079.tif 000003
【００５９】
この方程式を解くことでａ〜ｆのアフィン係数を算出することが可能である。４点以上の特徴点が検出できた場合は、近い点を除外して最小二乗法を用いて正規化する。３点見つからない場合や、抽出した３点が直線状になっている場合、３点のうち２点が近い場合は移動量の算出が失敗したと判断する。
【００６０】
このようにして画像から算出した移動量（アフィン係数）と、Ｓ５１０でジャイロセンサの検出値から計算した回転角度６０７に基づく移動量とが大きく異なる場合は、画像に繰り返しパターンや移動体が含まれていることが考えられる。そこで、別の条件下で再度移動量を算出したり、このショットを失敗とし、次の撮影（Ｓ５０６）に戻ったり、あるいは星空パノラマ撮影が失敗したことの警告を出す方法が考えられる。
【００６１】
Ｓ５１３では、画像から算出した移動量（アフィン係数）に基づいて、Ｓ５０２とＳ５０７で長秒露光撮影して得られた画像について、位置合わせ回路１１６ｄを用いて位置合わせを行い、位置合わせ画像データ６２１を得る。
【００６２】
Ｓ５１４では、１枚目の画像データ６２０と２枚目の位置合わせ後の画像データ６２１を合成回路１１６ｊを用いて合成し、合成画像データ６２２を得る。なおＮ枚目（Ｎ＞２）の処理を行う場合は、これまでの合成結果、つまり（Ｎ−１）枚目までの合成画像データ６２０とＮ枚目の位置合わせ後の画像データ６２１を合成する。
【００６３】
Ｓ５１５で、スイッチＳＷ２（１２６）が押下されていたら次の撮影Ｓ５０６へと戻り、スイッチＳＷ２（１２６）が押下されていない場合はＳ５１６の処理を行う。Ｓ５１６では、圧縮・伸長回路１１６ｌを用いて、画像データをＪｐｅｇなどの汎用フォーマットに圧縮し、Ｓ５１７でメモリ１２０に保存する。
【００６４】
なおこの時に、合成画像の暗部を見やすくするためにガンマ補正回路１１６ｂでγ補正を行うことや、画像全体の色調を統一するために補正を行うことも好ましい。またこのようにして得られる画像はサイズが大きいため、あらかじめユーザーが指示したサイズに変倍回路１１６ｆで変倍を行ってもよい。さらに最大内接矩形あるいは予め決められた領域について、トリミング回路１１６ｇで切り出しを行ってから保存することも好ましい。
【００６５】
なお、上記の説明では、撮像装置を横方向にずらしながら複数の画像を撮影する例を示したが、縦方向にずらす場合も同様の方法で行うことができる。
【００６６】
以上説明したように、撮影の向きが異なる画像の間で被写体となる星が動いても、正しく位置合わせを行い、感度を上げずに高画質なパノラマ合成画像を撮影することが可能となる。
【００６７】
（第２の実施形態）
本実施形態では、星空パノラマ撮影の撮影条件や環境によって移動量算出のための高感度短秒露光撮影が不要な場合の例について説明する。図６は、第２の実施形態におけるパノラマ撮影の動作を示すフローチャートである。
【００６８】
星空パノラマ撮影が開始されてからのＳ７０１〜Ｓ７０２の処理は第１の実施形態のＳ５０１〜Ｓ５０２の処理に、Ｓ７０４〜Ｓ７０６の処理はＳ５０３〜Ｓ５０５の処理に、Ｓ７０８〜Ｓ７０９の処理はＳ５０６〜Ｓ５０７の処理に、Ｓ７１１〜Ｓ７２０の処理はＳ５０８〜Ｓ５１７の処理に相当するため、これらの処理についての説明は省略する。
【００６９】
Ｓ７０３では、１枚目の長秒露光撮影（Ｓ７０２）に続いて、高感度短秒露光撮影Ｂを実施する必要があるか否かを判定する。実施の判定は、例えば次のようにして行う。まず、マイクロコンピュータ１２３が方位計１３４で検出された撮像装置の方向を取得し、撮影間の星の動き量を算出する。星の動きがないと判定された場合には、Ｓ７０４の高感度短秒露光撮影Ｂを行わずにＳ７０５の処理を行う。高感度短秒露光撮影Ｂの実施の判定には、蓄積時間の設定などを用いても構わない。
【００７０】
２枚目以降も長秒露光撮影（Ｓ７０９）の前後の高感度短秒露光撮影ＡおよびＢを実施する必要があるか否かを、Ｓ７０７とＳ７１０において、Ｓ７０３と同様の処理で判定する。そして、星の動きがないと判定された場合には、Ｓ７０８の高感度短秒露光撮影ＡやＳ７１１の高感度短秒露光撮影Ｂを行わずＳ７０９、Ｓ７１２の処理を行う。
【００７１】
以上説明したように、星空パノラマ撮影の撮影条件や撮影環境を判定することにより、位置合わせのための不要な高感度短秒露光撮影を省略することで撮影に係る電力を低減することが可能となる。なお、本実施形態では全ての高感度短秒露光撮影の前に実施判定を入れる場合について説明したが、撮像装置の待機状態で全ての高感度短秒露光撮影が不要であると判定可能な場合は、１回のみの判定処理とする構成であっても構わない。
【００７２】
（第３の実施形態）
本実施形態では、星空パノラマ撮影において、位置合わせに失敗すると考えられる場合にユーザーへの適切な警告を表示する例について図４と図７を用いて説明する。
【００７３】
Ｓ５０４の高感度短秒撮影ＢとＳ５０６の高感度短秒撮影Ａを行った際に、マイクロコンピュータ１２３は時計１３２から時刻を取得し、記憶しておく。マイクロコンピュータ１２３は２つの撮影時間間隔を算出し、一定の時間以上の間隔が空いている場合には星が動きすぎてしまっていると判定し、図８（ａ）の警告画面を表示する。
【００７４】
また、マイクロコンピュータ１２３はＳ５０９で取得したジャイロ情報である回転角度６０７から撮像装置のスイング量を検出し、一定のスイング量を超えている場合は位置合わせができないと判定し、図８（ｂ）の警告画面を表示する。
【００７５】
以上説明したように、星空パノラマ撮影における位置合わせが不可能と予想される場面では予め警告を表示することでユーザーの利便性を向上させることができる。
【００７６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７７】
（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【符号の説明】
【００７８】
１００：撮像装置、１０１：撮影レンズ、１１２：撮像素子、１１６：映像信号処理回路、１１９：メモリコントローラ、１２３：マイクロコンピュータ、１３３：ジャイロ、１３４：方位計
【図１】
2020028079.tif 000004
【図２】
2020028079.tif 000005
【図３】
2020028079.tif 000006
【図４】
2020028079.tif 000007
【図５】
2020028079.tif 000008
【図６】
2020028079.tif 000009
【図７】
2020028079.tif 000010
【図８】
2020028079.tif 000011