(57)【要約】【課題】星空を連続的に複数回撮影する際、時間経過に伴い、元々写っていた星がフレームアウトしてしまう。【解決手段】１枚目と最新画像の２枚で位置合わせ処理後の画像の１枚目画像に対する重複度に応じて撮影終了までの時間予測を行う。【選択図】図２
2019075639.tif 000002
【特許請求の範囲】
【請求項１】
１回の撮影指示に応じて連続的に複数回の撮影動作を行う連続撮影手段と、
位置合わせ後の２画像の重複度を算出する重複度算出手段と、
２画像が重なり合うように一方の画像を移動させる位置合わせ手段と、
前記位置合わせ後の２画像の重複度を算出する重複度算出手段と、
定点撮影を行う定点撮影モードを選択可能である撮影モード選択手段と、
を有し、前記撮影モード選択手段により定点撮影モード選択された際に、前記連続撮影手段により、複数枚連続撮影を行いながら、１枚目画像と最新画像との間で順次位置合わせを行い、位置合わせ後の２画像間の重複度に応じて、撮影終了までの時間を予測する撮影終了時間予測手段をさらに有することを特徴とする撮像装置。
【請求項２】
重複度は、１枚目画像の面積及び１枚目と最新画像の位置合わせ後の重複部面積との比であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
重複度が所定値を下回った時に撮影を終了することを特徴とする請求項１に記載の撮像装置。
【請求項４】
撮影前に撮影領域よりも狭い範囲となる領域をフレーミング領域として指定する、フレーミング指定枠入力手段を有し、前記重複度を基に、フレーミング指定枠内の画像が撮影領域から外れるまでの時間を予測し、通知することを特徴とする請求項１に記載の撮像装置。
【請求項５】
画像重複部が最大の矩形形状となる面積を算出し、１枚目画像の面積及び１枚目と最新画像の位置合わせ後の重複部の最大矩形面積との比を重複度とすることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に日周運動で動く天体の動きに合わせて撮影した複数枚の画像を利用して位置合わせを行う装置に関する。
【背景技術】
【０００２】
天体、特に星空を撮影する際は、星の光量が微量であることから数分以上といった長時間の露光を行うことが多い。天体は地球の自転に合わせて日周運動をしているため、長時間露光すると星は点像にならず光跡となってしまう。星を点像として残したい場合には、一般的に日周運動で動く天体の動きに合わせて星を追尾できるようにした天体専用の赤道儀などを利用して撮影を行う。
【０００３】
しかし、赤道儀は一般的に、高価で丈夫で重く使用前にセッティングも必要で操作も難しい。この課題を解決するために星が光跡にならない程度の露光時間で複数枚撮影を行い、画像間で発生する日周運動による星のずれを、位置合わせしながら合成することで、星を光跡にすることなく、長秒露光した際と同等の露光で撮像する手法が利用されている。
【０００４】
さらに、通常の星だけでなく、流星のように不特定のタイミングで発生する現象を上記点像の星とともに残したいという要求もある。
【０００５】
このような要求に応えるためには、まず同一画角にて星空を流星が尾を引く様子が表現でき、流星以外の星を点像として得られる程度の比較的短秒の露光時間で複数枚連続撮影しておき、後から流星が写っているものを選別する。そして選択された画像および流星を含まない複数枚の画像を位置合わせしながら合成することによって、通常の星は点像、流星は軌跡として記録することが可能である。
【０００６】
特許文献１には、連続撮影された複数の画像のうち基準画像との位置ズレ量を算出し、所定のズレ量以下の対象画像を位置合わせしてから合成、合成枚数に応じて画像の露出補正処理を行う方法が提案されている。ここでは、所定のズレ量を超えた画像に対しては合成の対象としないことが述べられている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−２３５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、天体撮影において複数枚連続撮影を行うにあたり、ある程度時間が経過すると、撮影前に決めておいたフレーミングに対して、元々写っていた星が日周運動によりフレームアウトし、意図した画像が得られなくなってしまう。
【０００９】
従来の技術では、経時変化によって被写体が移動したことに伴うユーザーへの通知や撮影継続に関しては言及されていないため、所定の時刻以降の撮影は無駄になってしまうという問題があった。
【００１０】
本発明の目的は、上記問題を解決すべくなされたもので、被写体移動により、撮影前に行ったフレーミングから大きく外れたことを検出して撮影情報通知を行うことにより、不要な撮影の回避が可能な撮像装置を提供することである。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明による撮像装置は、
１回の撮影指示に応じて連続的に複数回の撮影動作を行う連続撮影手段と、
位置合わせ後の２画像の重複度を算出する重複度算出手段と、
２画像が重なり合うように一方の画像を移動させる位置合わせ手段と、
前記位置合わせ後の２画像の重複度を算出する重複度算出手段と、
定点撮影を行う定点撮影モードを選択可能である撮影モード選択手段と、
を有し、
前記撮影モード選択手段により定点撮影モード選択された際に、前記連続撮影手段により、複数枚連続撮影を行いながら、１枚目画像と最新画像との間で順次位置合わせを行い、位置合わせ後の２画像間の重複度に応じて、撮影終了までの時間を予測する撮影終了時間予測手段をさらに有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮影前に設定したフレーミングに対して被写体の移動量を画像から算出し、ユーザに撮影情報に関する通知を行うことで、不要な撮影の回避が可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１における全体ブロック図
【図２】本発明の実施例１における流星撮影モードのフローチャート
【図３（ａ）】本発明の実施例１における１枚目記録時の画像例
【図３（ｂ）】本発明の実施例１における位置合わせ例（１枚目と２枚目）
【図３（ｃ）】本発明の実施例１における位置合わせ例（１枚目と３枚目）
【図３（ｄ）】本発明の実施例１における位置合わせ例（１枚目と４枚目）
【図３（ｅ）】本発明の実施例１における位置合わせ合成記録例（１〜３枚目）
【図４（ａ）】本発明の実施例２におけるフレーミング指定枠設定例
【図４（ｂ）】本発明の実施例２における残り撮影可能時間計算例
【図４（ｃ）】本発明の実施例２における残り撮影可能時間表示例
【図５（ａ）】本発明の実施例３における１枚目記録時の画像例
【図５（ｂ）】本発明の実施例３におけるＫ枚目記録時の画像例
【図５（ｃ）】本発明の実施例３における１枚目及びＫ枚目の重複部画像例
【図５（ｄ）】本発明の実施例３における１枚目及びＫ枚目の重複部最大矩形画像例
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００１５】
図１は、本発明の実施例１における撮像装置の全体ブロック図を示したものである。
【００１６】
図１において、１０１はレンズ、１０２はレンズ駆動部、１０３はメカシャッタである。１０４は絞り、１０５はシャッター・絞り駆動部、１０６は撮像素子、１０７は撮像信号処理回路である。１０８は撮影した静止画像や動画像を格納するためのメモリ部であり、所定枚数の静止画像や所定時間の動画像を一時的に格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影時等にも処理途中の画像を多数バッファリングすることが可能である。１０９はＦｌａｓｈＲｏｍ等で構成された不揮発性メモリであり、後述する全体制御演算部が実行するプログラムが格納される他、撮像装置毎に異なる調整値やユーザー設定情報の記憶領域としても利用される。
【００１７】
レンズ部１０１を通った被写体像は絞り１０４にて適切な光量に調整され、撮像素子１０６上の撮像面に結像される。撮像素子１０６上の撮像面に結像した被写体像は、光電変換され、さらにゲイン調整、アナログ信号からデジタル信号への変換を行うＡ／Ｄ変換が行われ、Ｒ、Ｇｒ、Ｇｂ、Ｂの信号として取り込まれ、撮像信号処理回路１０７に送られる。撮像信号処理回路１０７では、ノイズを軽減するローパスフィルタ処理やシェーディング処理、ＷＢ処理などの各種の撮像信号処理、さらに各種の補正、画像信号の圧縮等を行う。また、本実施形態においては、後述する流星撮影モードを選択することができ、当該モードにおいては、位置合わせや加算合成処理も行う。
【００１８】
１１０は全体制御演算部であり、撮像装置全体を制御する。前述した不揮発性メモリ１０９に格納されたプログラムを実行することで、後述する本実施形態の各処理を実現する。
【００１９】
１１１は表示部、１１２は記録媒体、１１３は記録媒体制御インターフェース（Ｉ／Ｆ）部、１１４は外部Ｉ／Ｆ部であり、外部コンピュータ等と通信を行うために為のインターフェースである。１１５は電源スイッチ（ＳＷ）、１１６はシャッター釦が半押しされるとＯＮとなるシャッタースイッチＳＷ１、１１７はシャッター釦が全押しされるとＯＮとなるシャッタースイッチＳＷ２である。１１８は、電源ＳＷ（１１５）、ＳＷ１（１１６）、ＳＷ２（１１７）以外のボタン・ダイヤル等から構成される操作部である。
【００２０】
ＳＷ１（１１６）によりシャッター釦が半押しされると、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理等の動作が開始される。ＳＷ２（１１７）によりシャッター釦が全押し状態となると、露光処理、現像処理、圧縮処理、記録処理という一連の撮影シーケンス動作が実行される。
【００２１】
操作部１１８にてユーザが設定した撮像システムの駆動条件に関する情報は、全体制御演算部１０９に送られ、これらの情報に基づいて撮像システム全体の制御が行われる。
【００２２】
本実施形態の撮像装置は、流星撮影モードという撮影モードを有する。この撮影モードは、撮像装置を三脚等に固定した状態で夜空に向け流星を撮影するためのモードであり、通常の星は点像として残すとともに、不確定のタイミングで出現する流星に対しては尾を引く形状として記録することができる。
【００２３】
そのため、撮影者が予め最大撮影時間を指定できるようにしておき、その時間の中で連続撮影を繰り返し、位置合わせ合成を行うことで、適切な露光量が得られるとともに、複数の流星画像も写し込めるような仕組みになっている。
【００２４】
図２は、本実施形態の撮像装置における、流星撮影モード時の処理フローを表したものである。以降図２に従って、この流星撮影モード時の処理の説明を行う。
【００２５】
まず、Ｓ２０１において、選択可能な最大時間を表示部１１１に表示し、ユーザは最大撮影時間を操作部１１８により入力する。
【００２６】
次に現在の撮影枚数をカウントする変数Ｋ及び、撮影が確認できた流星画像枚数をカウントする変数Ｘを０に初期化する（Ｓ２０２）。
【００２７】
次にシャッタースイッチの状態を調べる（Ｓ２０３）。ＳＷ１（１１６）が押下されるのを待ち、押下されたら、全体制御演算部１１０は、撮像素子１０６から得られた画像信号に対して撮像信号処理回路１０７を動作させて、主被写体がどの範囲に存在するかを確定させる（Ｓ２０４）。主被写体検出方法に関してはここでの詳細説明は省略するが、天体撮影に特化し、比較的明るい星が含まれているエリアを優先させる等、撮影モードに応じた検出方法の適用を含んでいる。
【００２８】
同様に全体制御演算部１１０は、天体撮影に適したＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を実行してレンズ駆動部１０２、シャッター・絞り駆動部１０５を通して、レンズ１０１及び絞り１０４を動作させる（Ｓ２０５）。
【００２９】
Ｓ２０５での測光結果を受け、１撮影当たりの露光時間と、加算合成枚数Ｎを算出する（Ｓ２０６）。１撮影当たりの露光時間は通常の星が日周運動により流れず、点像として捉えられる程度のシャッター速度とするために、レンズ１０１の焦点距離情報を加味してもよい。例えば広角域では１５秒〜３０秒、標準から望遠域では２秒〜８秒といったように焦点距離に応じて変更する。この場合は、１撮影あたりの露光時間の変更に対応して、加算合成枚数Ｎも変化する。
【００３０】
次に、シャッタースイッチＳＷ２（１１７）の状態を調べ（Ｓ２０７）、押されていなければ、次にＳＷ１（１１６）が押されているか否かを判定し（Ｓ２０８）、ＳＷ１が押されていればＳ２０７へ、ＳＷ１が放されていればＳ２０３へ処理を移す。Ｓ２０７において、ＳＷ２が押されたら、撮影枚数（Ｋ）をカウントし（Ｓ２０９）、Ｓ２０５で設定された露出制御に基づき撮影動作を行う（Ｓ２１０）。
【００３１】
Ｓ２１１ではカウント中の撮影枚数が１枚目か否かを判定し、１枚目であればＳ２１６へ処理を移す。１枚目以外であれば、１枚目及び撮影直後のＫ枚目の画像に対して位置合わせ処理を行い（Ｓ２１２）、Ｋ枚目画像に対して位置ズレ量に応じた回転・シフト処理を実行し（Ｓ２１３）、さらに１枚目画像とＫ枚目画像の重複度（Ｏｋ）を算出する（Ｓ２１４）。重複度の算出については例えば、１枚目画像領域の面積をＳ１、Ｓ２１２及びＳ２１３の結果得られた１枚目画像及びＫ枚目画像の重複領域の面積をＳ１ｋとすると、
Ｏｋ  ＝  Ｓ１ｋ  ／  Ｓ１
で定義づけることができる。
【００３２】
Ｓ２１５において、Ｓ２１４で算出した重複度（Ｏｋ）と予め設定していた重複度閾値（Ｏｘ）の比較を行う。重複度（Ｏｋ）が閾値（Ｏｘ）以上であれば、次にＳ２１６にてＫ枚目画像が流星画像かの判定を行う。流星画像判定については、例えばＳ２１２における位置合わせ処理の過程で重複部の一部領域において画像相関が著しく低い、特異領域を検出することで判定が可能である。Ｓ２１６においてＫ枚目画像が流星と判定された場合は、Ｋ枚目画像をメモリ部１０８に保存し（Ｓ２１７）、流星枚数をカウントする変数Ｘをカウントアップし（Ｓ２１８）、Ｓ２１９へ制御を移す。Ｓ２１６においてＫ枚目画像が流星でないと判断されたなら、次にＳ２０６にて求めた必要加算合成枚数Ｎから流星画像枚数Ｘを減じた値と、撮影枚数Ｋを比較し、
Ｋ  ＜  （Ｎ  -  Ｘ）
が成立すれば、Ｋ枚目撮影画像をメモリ１０８に保存する（Ｓ２２０）。成立しなければＫ枚目の画像のメモリ１０８への保存は行わず、Ｓ２２１へ制御を移す。
【００３３】
Ｓ２２１では、Ｓ２０１で指定した最大撮影時間を経過したか否かの判定を行い、まだ最大撮影時間に達していなければＳ２０９へ制御を移す。最大撮影時間に達した場合及びＳ２１５において、重複度（Ｏｋ）が重複度閾値（Ｏｘ）を下回った場合は、メモリ１０８内に保存された流星を含む位置合わせ済み画像を合成し、圧縮処理を経て記録媒体１１２へ記録し（Ｓ２２２）、処理を終了する。
【００３４】
画像合成記録時には、互いに重複する部分のみ記録するように制御する。
【００３５】
図３は上記手順にて撮影された星の連続撮影及び位置合わせ合成の様子を表したものである。実際にはもっと多くの撮影を繰り返しているが、簡単化のためここでは４枚撮影を例に挙げている。図３（ａ）は１枚目の撮影画像（面積Ｓ１）、図３（ｂ）は２枚目の撮影画像及び、１枚目画像との位置合わせ合成画像（重複部面積Ｓ１２）を示したものである。同様に、図３（ｃ）は３枚目の撮影画像及び、１枚目画像との位置合わせ合成画像（重複部面積Ｓ１３）を示したもの、図３（ｄ）は４枚目の撮影画像及び、１枚目画像との位置合わせ合成画像（重複部面積Ｓ１４）を示したものである。
【００３６】
１枚目と２枚目の重複度をＯ２とし、１枚目と３枚目の重複度をＯ３、１枚目と４枚目の重複度をＯ４とすると、
Ｏ２＝Ｓ１２／Ｓ１
Ｏ３＝Ｓ１３／Ｓ１
Ｏ４＝Ｓ１４／Ｓ１
となる。重複度閾値をＯｘとすると、
これらの関係は、
１  ＞  Ｏ２  ＞  Ｏ３  ＞  Ｏｘ  ＞  Ｏ４
となる。
【００３７】
４枚目で重複度が閾値を下回ったため、この場合はＯ４は合成対象とはせず、図３（ｅ）に示すように、１枚目から３枚目を位置合わせ合成した画像（重複部のみ）が最終的に記録される。
【００３８】
このように構成すれば、通常の星は移動により流れることなく点像として記録され、さらに最大撮影時間の範囲内で発生した流星を写し込むことができる。その際、星の日周運動により、撮影前のフレーミングに対して撮影範囲が大幅に変わってしまった場合は、最大撮影時間を待たずに撮影を終了させ、それ以降の無駄な撮影を回避することができる。
【実施例２】
【００３９】
実施例１においては、１枚目画像と最新画像の重複度を１枚目画像と１枚目画像及び最新画像の重複部の面積比として重複度として、それが所定量を下回った場合に撮影を終了する制御を行ったが、重複度の変化量から撮影可能時間予測を行うようにしても良い。
【００４０】
単純化のため、ここでは星の移動方向がＸ方向、すなわち水平移動のみとし、１撮影３０秒で連続撮影を行う。また、撮影前の準備として、図４（ａ）のように、星の経時変化による移動を加味して撮影画角よりも一回り小さいフレーミング指定枠を設定し、ここに撮影したい範囲をしておくものとする。この例では、有効画素水平６０００（＝Ｘ）ｘ垂直４０００（＝Ｙ）画素の内の中央部に水平４５００（＝ＦＸ）ｘ  垂直３０００（＝ＦＹ）画素をフレーミング指定枠としている。
【００４１】
なお、本実施形態における重複度はＸ方向のみを考慮すればよいので、Ｋ枚目画像の１枚目画像に対するＸ方向のずれ量が仮に１撮影あたり４０画素となっていれば、Ｋ回目撮影時点での重複度を下記のように表すことができる。
【００４２】
Ｏｋ  ＝  （４５００−４０＊（Ｋ−１））／４５００
図４（ｂ）は撮影回数の増加に伴う、Ｘ方向の位置ずれ量と重複度の変化及び撮影時間と、予測残撮影時間を示したものである。
【００４３】
このケースでは、本来の画像サイズとフレーミング枠のＸ方向の差となる１５００画素分減少するポイント、
つまり
Ｏｋ＊ＦＸ＜３０００
となる３９枚目になると、撮影前にフレーミングした領域が撮影画角から外れてしまう。この時の撮影時間は１１４０秒後であることを示している。
【００４４】
このように、撮影前にフレーミング枠を予め決めておくことで、本来の撮影画角からフレーミング枠で定めた領域がフレームアウトするまでの時間を予測することが可能である。
【００４５】
図４（ｃ）は上記方法に従って、連続撮影の途中で残りの撮影可能時間を表示部１１１の撮影画面上に表示するようにした例である。時間経過に従い、残撮影枚数も表示更新させることで、同一フレーミングであとどのくらい撮影可能かの目安をユーザが知ることができる。また、表示に限らず、例えば外部Ｉ／Ｆ部１１４を介して、無線通信等を利用して遠隔地のユーザに残撮影時間の情報をユーザに伝達することも可能である。
【実施例３】
【００４６】
実施例２では、星の移動方向を水平方向に限定したが、もちろん実際には垂直方向にも移動し、さらに回転が加わる。そのため、重複領域も複雑になる。
【００４７】
図５（ａ）は１枚目画像、図５（ｂ）は１枚目に対して、回転を伴い移動した、Ｋ枚目画像を示している。図５（ｃ）は１枚目画像とＫ枚目画像の位置合わせ後の重複領域を表したものである。
【００４８】
図から明らかなように、重複領域は回転成分が入るため矩形ではなくなっている。しかしながら最終的に記録する場合には画像としての取り扱いも容易な矩形であることが望ましい。そこで、１枚目とＫ枚目の重複領域の面積Ｓ１ｋではなく、図５（ｄ）のように、重複領域から得られる最大の矩形領域Ｓ１ｋｒを使用する。
そして重複度Ｏｋを
Ｏｋ  ＝  Ｓ１ｋｒ  ／  Ｓ１
と定義することができる。このように定義することによって、回転による移動があっても撮影前のフレーミングに近い形で流星を写し込んだ画像を矩形として生成することが可能である。
【００４９】
以上述べたように、本発明によれば、撮影前に設定したフレーミングに対して被写体の移動量を画像から算出し、ユーザに撮影情報に関する通知を行うことで、不要な撮影の回避が可能な撮像装置を提供することができる。
【００５０】
なお、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５１】
１０１  レンズ、１０２  レンズ駆動部、１０３  メカシャッタ、１０４  絞り、
１０５  シャッター・絞り駆動部、１０６  撮像素子、１０７  撮像信号処理回路、
１０８  メモリ部、１０９  不揮発性メモリ、１１０  全体制御演算部、
１１１  表示部、１１２  記録媒体、１１３  記録媒体制御Ｉ／Ｆ部、
１１４  外部Ｉ／Ｆ部、１１５  電源ＳＷ、１１６  ＳＷ１、１１７  ＳＷ２、
１１８  操作部
【図１】
2019075639.tif 000003
【図２】
2019075639.tif 000004
【図３（ａ）】
2019075639.tif 000005
【図３（ｂ）】
2019075639.tif 000006
【図３（ｃ）】
2019075639.tif 000007
【図３（ｄ）】
2019075639.tif 000008
【図３（ｅ）】
2019075639.tif 000009
【図４（ａ）】
2019075639.tif 000010
【図４（ｂ）】
2019075639.tif 000011
【図４（ｃ）】
2019075639.tif 000012
【図５（ａ）】
2019075639.tif 000013
【図５（ｂ）】
2019075639.tif 000014
【図５（ｃ）】
2019075639.tif 000015
【図５（ｄ）】
2019075639.tif 000016