(57)【要約】【課題】画像合成の際に、ずれ補正に必要な動きベクトルを高速かつ効率的に算出する。【解決手段】システム制御部５０は画像の各々に動きベクトルを検出するための第１のクロップ領域を設定し、第１のクロップ領域で被写体に関する動きベクトルを第１の動きベクトルとして検出する。システム制御部は第１の動きベクトルの解析結果に応じて被写体が所定の状態であると判定すると、第１のクロップ領域よりも広い第２のクロップ領域を設定して被写体に関する動きベクトルを第２の動きベクトルとして検出する。画像合成部５４は第１の動きベクトル又は第２の動きベクトルに応じて複数枚の画像を合成処理する。【選択図】図２
2016201616.tif 000002
【特許請求の範囲】
【請求項１】
移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置であって、
前記画像の各々に動きベクトルを検出するための第１の検出領域を設定する第１の設定手段と、
前記第１の検出領域において前記被写体に関する動きベクトルを第１の動きベクトルとして検出する第１の検出手段と、
前記被写体が所定の状態であるか否かを判定する判定手段と、
前記判定手段によって前記被写体が前記所定の状態である判定されると、前記第１の検出領域よりも広い第２の検出領域を前記画像の各々に設定する第２の設定手段と、
前記第２の検出領域において前記被写体に関する動きベクトルを第２の動きベクトルとして検出する第２の検出手段と、
前記第１の動きベクトル又は前記第２の動きベクトルに応じて前記複数枚の画像を合成処理して前記合成画像とする画像合成手段と、
を有することを特徴する画像処理装置。
【請求項２】
前記第２の設定手段は、前記画像の各々を縮小処理して縮小画像として、当該縮小画像に前記第２の検出領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の設定手段は、前記画像の全体を前記第２の検出領域として設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２の設定手段は、複数の検出領域を設定して当該複数の検出領域を前記第２の検出領域とすることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記判定手段は、前記第１の動きベクトルの方向および大きさに基づいて前記動きベクトルのグルーピングを行った際、前記第１の動きベクトルが複数のグループに分けられた場合に、前記被写体が前記所定の状態である判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記判定手段は、前記第１の動きベクトルをそのベクトル量に応じてグルーピングしてピークとなるグループが２つ存在した場合に、前記被写体が前記所定の状態である判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
前記被写体は天体であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記複数枚の画像を撮像する撮像手段と、
請求項１乃至７のいずれか１項に記載の画像処理装置と、
前記画像処理装置で得られた合成画像を記録する記録手段と、
を有することを特徴とする撮像装置。
【請求項９】
移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置の制御方法であって、
前記画像の各々に動きベクトルを検出するための第１の検出領域を設定する第１の設定ステップと、
前記第１の検出領域において前記被写体に関する動きベクトルを第１の動きベクトルとして検出する第１の検出ステップと、
前記被写体が所定の状態であるか否かを判定する判定ステップと、
前記判定ステップで前記被写体が前記所定の状態である判定されると、前記第１の検出領域よりも広い第２の検出領域を前記画像の各々に設定する第２の設定ステップと、
前記第２の検出領域において前記被写体に関する動きベクトルを第２の動きベクトルとして検出する第２の検出ステップと、
前記第１の動きベクトル又は前記第２の動きベクトルに応じて前記複数枚の画像を合成処理して前記合成画像とする画像合成ステップと、
を有することを特徴する制御方法。
【請求項１０】
移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記画像の各々に動きベクトルを検出するための第１の検出領域を設定する第１の設定ステップと、
前記第１の検出領域において前記被写体に関する動きベクトルを第１の動きベクトルとして検出する第１の検出ステップと、
前記被写体が所定の状態であるか否かを判定する判定ステップと、
前記判定ステップで前記被写体が前記所定の状態である判定されると、前記第１の検出領域よりも広い第２の検出領域を前記画像の各々に設定する第２の設定ステップと、
前記第２の検出領域において前記被写体に関する動きベクトルを第２の動きベクトルとして検出する第２の検出ステップと、
前記第１の動きベクトル又は前記第２の動きベクトルに応じて前記複数枚の画像を合成処理して前記合成画像とする画像合成ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、日周運動で動く天体の撮影を行った結果得られた複数枚の画像を画像合成処理する画像処理装置に関する。
【背景技術】
【０００２】
一般に、天体を撮影する際には、星などの天体の光量は微量であるので、３０秒又は１分などの長時間の露光を行う必要がある。そして、天体は地球の自転に合わせて日周運動をしているので、長時間の露光を行うと星は点像にならず光跡となってしまう。このため、天体を撮影する際には、一般に日周運動で動く天体の動きに合わせて天体を追尾できるようにした天体専用の赤道儀などを用いて撮影が行われている。
【０００３】
ところが、赤道儀は、高価でしかも重く使用の際にはセッティングを行う必要があるばかりでなくその操作も難しい。よって、赤道儀を用いることなく、天体が光跡にならない程度の露光時間で複数枚の撮影を行って、画像間で生じる日周運動による天体のずれを補正して１枚の画像に合成することが行われている。これによって、天体を光跡とすることなく、長秒露光した際と同等の露光で撮像することができる。
【０００４】
上記の画像合成手法においては、まず画像を複数のブロックに分割して、ブロックの各々について天体の動きベクトルを算出する。そして、当該動きベクトルに基づいて天体の動きを算出して画像間のずれ補正を行っている。
【０００５】
このような画像合成手法として、例えば、被写体の明るさに応じてトータルの露光時間を決定し、星が光跡にならない程度の露光時間でＮ回分割露光を行うようにしたものがある（特許文献１参照）。そして、ここでは、画像間の動きベクトルに応じて画像のずれ補正を行って、１枚の画像を合成するようにしている。さらに、動きベクトルを算出する際、その探索範囲を焦点距離に応じて切り替えるようにしたものがある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２５９１８４号公報
【特許文献２】特開平４−１８０４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、特許文献１および２ともに、画像全体について動きベクトルを検出する結果、画素数が多いと画像間のずれ補正に要する時間が増加するばかりでなく処理負荷が増大し、さらに撮影に要する時間が長くなってしまう。
【０００８】
このような状況に対処するため、例えば、画像の所定の箇所に動きベクトルを検出するためのクロップ領域を設定することがある。しかしながら、天体撮影の場合には方角によって日周運動の方向が相違するので、適切な箇所にクロップ領域を設定しないと、精度よく動きベクトルを算出することが困難となる。
【０００９】
そこで、本発明の目的は、ずれ補正に必要な動きベクトルを高速かつ効率的に算出することのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明による画像処理装置は、移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置であって、前記画像の各々に動きベクトルを検出するための第１の検出領域を設定する第１の設定手段と、前記第１の検出領域において前記被写体に関する動きベクトルを第１の動きベクトルとして検出する第１の検出手段と、前記被写体が所定の状態であるか否かを判定する判定手段と、前記判定手段によって前記被写体が前記所定の状態である判定されると、前記第１の検出領域よりも広い第２の検出領域を前記画像の各々に設定する第２の設定手段と、前記第２の検出領域において前記被写体に関する動きベクトルを第２の動きベクトルとして検出する第２の検出手段と、前記第１の動きベクトル又は前記第２の動きベクトルに応じて前記複数枚の画像を合成処理して前記合成画像とする画像合成手段と、を有することを特徴する。
【００１１】
本発明による撮像装置は、前記複数枚の画像を撮像する撮像手段と、上記の画像処理装置と、前記画像処理装置で得られた合成画像を記録する記録手段と、を有することを特徴とする。
【００１２】
本発明による制御方法は、移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置の制御方法であって、前記画像の各々に動きベクトルを検出するための第１の検出領域を設定する第１の設定ステップと、前記第１の検出領域において前記被写体に関する動きベクトルを第１の動きベクトルとして検出する第１の検出ステップと、前記被写体が所定の状態であるか否かを判定する判定ステップと、前記判定ステップで前記被写体が前記所定の状態である判定されると、前記第１の検出領域よりも広い第２の検出領域を前記画像の各々に設定する第２の設定ステップと、前記第２の検出領域において前記被写体に関する動きベクトルを第２の動きベクトルとして検出する第２の検出ステップと、前記第１の動きベクトル又は前記第２の動きベクトルに応じて前記複数枚の画像を合成処理して前記合成画像とする画像合成ステップと、を有することを特徴する。
【００１３】
本発明による制御プログラムは、移動する被写体を撮影して得られた複数枚の画像を合成処理して合成画像とする画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記画像の各々に動きベクトルを検出するための第１の検出領域を設定する第１の設定ステップと、前記第１の検出領域において前記被写体に関する動きベクトルを第１の動きベクトルとして検出する第１の検出ステップと、前記被写体が所定の状態であるか否かを判定する判定ステップと、前記判定ステップで前記被写体が前記所定の状態である判定されると、前記第１の検出領域よりも広い第２の検出領域を前記画像の各々に設定する第２の設定ステップと、前記第２の検出領域において前記被写体に関する動きベクトルを第２の動きベクトルとして検出する第２の検出ステップと、前記第１の動きベクトル又は前記第２の動きベクトルに応じて前記複数枚の画像を合成処理して前記合成画像とする画像合成ステップと、を実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、第１の検出領域又は第２の検出領域を設定して、被写体の状態に応じて第１の検出領域又は第２の検出領域で検出された動きベクトルに応じて複数枚の画像を合成処理する。これによって、ずれ補正に必要な動きベクトルを高速かつ効率的に算出することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラで行われるずれ補正量の算出を説明するためのフローチャートである。
【図３】図１に示すカメラにおいて画像に設定されたクロップ領域の一例を説明するための図である。
【図４】図１に示すカメラにおいて画像全体が回転している状態であると判定する際の処理を説明するための図である。
【図５】図１に示すカメラにおいてクロップ領域に主被写体以外の被写体が混在していると判定する際の処理を説明するための図である。
【発明を実施するための形態】
【００１６】
以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。
【００１７】
図１は、本発明の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
【００１８】
図示の撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮影レンズユニット（以下単に撮影レンズと呼ぶ）１０３を有している。撮影レンズ１０３の後段には、絞り機能を備える機械式シャッター１０１が配置されており、撮影レンズ１０３を介して撮像部２２に光学像（被写体像）が入射する。なお、撮影レンズ１０３の前面側には、撮影レンズ１０３、シャッター１０１、および撮像部２２を保護するためのバリア１０２が配置されている。
【００１９】
撮像部２２はＣＣＤ又はＣＭＯＳセンサなどの撮像素子を有しており、撮像素子は光学像に応じた電気信号（アナログ信号）を出力する。そして、当該アナログ信号はＡ／Ｄ変換器２３によってデジタル信号（画像データ）に変換される。
【００２０】
撮像部２２に備えられた撮像素子は、例えば、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の画素が規則的に配列されるベイヤー配列を有している。なお、撮像素子の画素配列はベイヤー配列に限定されない。また、システム制御部５０はタイミング発生回路（図示せず）によって撮像部２２、撮影レンズ１０３、およびシャッター１０１を制御する。
【００２１】
さらに、図示のカメラでは、撮像素子のリセットタイミングを制御することによって、撮像素子における蓄積時間を制御することができる（所謂電子シャッター）。この電子シャッターは、例えば、動画撮影に用いられる。
【００２２】
画像処理部２４は、Ａ／Ｄ変換器２３からの画像データ或いはメモリ制御部１５からの画像データに対して所定の画素補間処理およびシェーディング補正などの各種補正処理を行うとともに、ホワイトバランス処理、γ補正処理、および色変換処理などを行う。さらに、画像処理部２４は画像の切り出しおよび変倍処理を行って電子ズームを行う。
【００２３】
シェーディング補正の際には、画像処理部２４は画像データについて撮影レンズ１０３の特性および撮像部２２の収差などの特性に起因して生じるシェーディングを補正するため、画像における輝度レベルを補正する。画像処理部２４は、シェーディング補正処理の後、画像データについて画像における白基準を白に合わせるホワイトバランス（ＷＢ）処理を行う。
【００２４】
ここでは、シェーディング補正を行う際には、画像処理部２４は、撮像素子の２次元の座標（位置）に応じて画素毎にゲインを乗算する補正を行う。また、ＷＢ処理の際には、画像処理部２４は、ベイヤー配列のＲ、Ｇ（Ｇ１およびＧ２）、およびＢ毎に互いに異なるゲインを乗算する処理を行う。
【００２５】
画像合成部５４は、複数の画像データを画像合成して一つの画像データを生成する。図示の例では、画像合成部５４は、単純な加算合成又は加算平均合成のみではなく、合成対象の画像データの領域の各々において最も明るい又は暗い領域を選択して、これら領域を合成して１枚の画像データを生成する比較明合成処理又は比較暗合成処理を行うことができる。なお、画像合成部５４を画像処理部２４と一体に構成するようにしてもよい。
【００２６】
加えて、画像処理部２４は画像データについて所定の演算処理を行う。システム制御部５０は画像処理部２４で得られた演算結果に基づいて露光制御部および測距制御部（ともに図示せず）を制御して、ＴＴＬ方式のＡＦ処理、ＡＥ処理、およびＥＦ処理を行う。
【００２７】
メモリ制御部１５は、システム制御部５０の制御下でＡ／Ｄ変換器２３、画像処理部２４、およびメモリ３２を制御する。そして、Ａ／Ｄ変換器２３の出力である画像データは画像処理部２４およびメモリ制御部１５を介して、或いは直接メモリ制御部１５を介してメモリ３２に書き込まれる。表示部２８は、例えば、ＴＦＴ  ＬＣＤであり、メモリ制御部１５はメモリ３２に書き込まれた画像データを表示部２８に画像として表示する。
【００２８】
撮像部２２において所定の周期で露光および読み出しを繰り返し行って得られた画像データを画像処理部２４およびメモリ制御部１５を介して表示部２８に表示するようにすれば、ライブビュー表示および電子ファインダーを実現することができる。表示部２８は、システム制御部５０の制御によってその表示をオン又はオフすることができ、表示をオフとした場合には、カメラ１００の電力消費を大幅に低減することができる。
【００２９】
前述のように、メモリ３２には撮影の結果得られた画像データ（静止画像および動画像）が格納される。そして、メモリ３２は所定枚数の静止画像および所定時間の動画像を格納するための十分な記憶容量を備えている。これによって、複数枚の静止画像を連続して撮影する連写撮影又はパノラマ撮影の場合においても、高速かつ大量の画像データの書き込みをメモリ３２に行うことができる。なお、メモリ３２はシステム制御部５０の作業領域として用いることができる。
【００３０】
システム制御部５０は、カメラ１００全体の制御を司る。不揮発性メモリ５６は、例えば、フラッシュＲＯＭであり、不揮発性メモリ５６には制御プログラムなどが格納されており、システム制御部５０は当該制御プログラムを実行して、後述の各種処理を行う。なお、不揮発性メモリ５６にはシステム情報を記憶する領域およびユーザー設定情報を記憶する領域が設けられており、カメラ起動の際には、これら領域から各種情報および設定が読み出されて復元される。
【００３１】
システムメモリ５２として、例えば、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、そして、不揮発性メモリ５６から読み出された制御プログラムなどが展開される。また、システム制御部５０はメモリ３２および表示部２８などを制御して表示制御を行う。システムタイマー５３は各種制御に用いる時間および内蔵の時計の時間を計測する計時部である。
【００３２】
操作部７０には各種ボタンおよびタッチパネルなどが備えられている。例えば、各種ボタンとしてシャッタースイッチ（ＳＷ１およびＳＷ２）、メニューボタン、セットボタン、マクロボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンなどがある。さらには、各種ボタンとして、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、および日付／時間設定ボタンなどがある。
【００３３】
シャッターボタンの操作途中でシャッタースイッチＳＷ１がオンとなって、システム制御部５０はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを開始する。シャッターボタンの操作完了でシャッタースイッチＳＷ２がオンとなって、システム制御部５０は露光処理、現像処理、圧縮・伸長処理、および記録処理などの一連の処理を開始する。
【００３４】
電源部３０として、例えば、アルカリ電池又はリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池等の二次電池が用いられ、さらに、電源部３０にはＡＣアダプターなどが備えられている。そして、電源部３０は電源制御部８０によって制御される。
【００３５】
記録媒体２００は、カメラ１００に対して着脱可能であり、例えば、メモリカード又はハードディスクが用いられる。記録媒体２００はインタフェース（Ｉ／Ｆ）１８によってカメラ１００に接続される。
【００３６】
なお、システム制御部５０は後述する動きベクトルを算出する際、演算部５１によって所定の演算を実行する。
【００３７】
動きベクトルを算出する際には、システム制御部５０は、時間的に連続して撮影された２枚の画像について１枚目の画像を基準画像として設定する。そして、システム制御部５０は当該２枚の画像の各々において切り出したクロップ領域を複数のブロックに分割する。続いて、システム制御部５０は基準画像についてエッジ抽出を行って、複数のブロックにおいてエッジ量が所定の量よりも多いブロックについて２枚の画像間でテンプレートマッチングを行う。これによって、システム制御部５０はブロック毎に動きベクトルを検出する。
【００３８】
ここで、図１に示すカメラ１００で行われる複数の画像データを合成する合成処理について説明する。
【００３９】
画像合成部５４は合成処理として、前述の加算合成処理、加重加算合成処理、比較明合成処理、および比較暗合成処理の４つの合成処理を行うことができる。
【００４０】
いま、合成前の画像データの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画像における座標を示す）とし、Ｎ枚（Ｎは２以上の整数）の画像を合成処理した後の合成画像の画素値をＩ（ｘ，ｙ）とする。なお、画素値として、ベイヤー配列のＲ、Ｇ１、Ｇ２、およびＢの信号値を用いるようにしてもよく、Ｒ、Ｇ１、Ｇ２、およびＢの信号のグループから得られる輝度信号値（輝度値）を用いるようにしてもよい。
【００４１】
さらに、ベイヤー配列における信号値ついて、画素毎にＲ、Ｇ、およびＢの信号値が存在するように補間処理した後、画素毎に輝度値を求めるようにしてもよい。輝度値を求める際には、例えば、輝度値をＹとすると、Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×ＢなどのＲ、Ｇ、およびＢの信号値を加重加算して算出する手法が用いられる。
【００４２】
複数の画像データ間において必要に応じて位置合わせなどの処理を行って、互いに対応づけられた画素値について、画像合成部５４は、次の式（１）によって加算合成処理を行う。
【００４３】
Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ）    （１）
画像合成部５４は画素別にＮ枚の画像の画素値を加算合成処理したものを合成画像データとする。
【００４４】
加重加算合成処理においては、画像合成部５４は、ａｋを重み付け係数として、次の式（２）によって加重加算合計処理を行う。
【００４５】
Ｉ（ｘ，ｙ）＝（ａ１×Ｉ＿１（ｘ，ｙ）＋ａ２×Ｉ＿２（ｘ，ｙ）＋・・・＋ａＮ×Ｉ＿Ｎ（ｘ，ｙ））／Ｎ      （２）
画像合成部５４は画素別にＮ枚の画像の画素値の加重加算合成処理したものを合成画像データとする。
【００４６】
比較明合成処理においては、画像合成部５４は、次の式（３）によって比較明合成処理を行う。
【００４７】
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））      （３）
画像合成部５４は画素別にＮ枚の画像の画素値の最大値を選択して当該最大値を合成画像データとする。
【００４８】
比較暗合成処理においては、画像合成部５４は、次の式（４）によって比較暗合成処理を行う。
【００４９】
Ｉ（ｘ，ｙ）＝ｍｉｎ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））      （４）
画像合成部５４は画素別にＮ枚の画像の画素値の最小値を選択して当該最小値を合成画像データとする。
【００５０】
ここで、比較明合成処理を行う際には、次の手順で比較明合成処理が行われる。まず、ユーザーの操作に応じて、システム制御部５０はインターバル撮影を開始する。そして、システム制御部５０は、複数枚の画像のうち１枚目の画像を、メモリ３２に設定された合成用メモリ領域に初期値としてセットする。
【００５１】
次に、システム制御部５０の制御下で、画像合成部５４は２枚目の画像と合成用メモリ領域にセットされた１枚目の画像とにおいて同一の画素における輝度を比較する。そして、画像合成部５４は、輝度が高い方の画素値を合成用メモリ領域に格納する。
【００５２】
上記の処理を、１枚目の画像と２枚目の画像の全画素について行って、画像合成部５４は合成用メモリ領域に１枚目の画像と２枚目の画像との合成画像を格納する。
【００５３】
続いて、画像合成部５４は３枚目以降の画像について、合成用メモリ領域に格納された合成画像と当該処理すべき画像（つまり、ここでは、３枚目の画像）と同一の画素について輝度を比較する。そして、輝度が高い方の画素値を合成用メモリ領域に格納する。さらに、画像合成部５４は当該処理を合成画像および処理すべき画像の全画素について行う。
【００５４】
このようにして、画像合成部５４は、処理すべき画像の全てについて上述の処理を行う。つまり、画像合成部５４は、次の式（５）で示す処理を行うことになる。
【００５５】
Ｉ２（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ））
Ｉ３（ｘ，ｙ）＝ｍａｘ（Ｉ＿２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ））
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍａｘ（ＩＮ＿１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ））      （５）
図２は、図１に示すカメラで行われるずれ補正量の算出を説明するためのフローチャートである。なお、図示のフローチャートに係る処理はシステム制御部５０の制御下で行われる。
【００５６】
ユーザーよる撮影操作があると、システム制御部５０は被写体である天体の撮影を開始する（ステップＳ２０１）。そして、連続的な撮影によって所定枚数（複数枚）の画像を得ると、システム制御部５０は、撮影の結果得られた画像に第１のクロップ領域（第１の検出領域）を設定する（ステップＳ２０２）。
【００５７】
図３は、図１に示すカメラにおいて画像に設定されたクロップ領域の一例を示す図である。
【００５８】
図示の例では、画像には日周運動によって移動する天体３０２が存在し、当該天体３０２の一部を含むようにして第１のクロップ領域３０１が設定される。ここでは、第１のクロップ領域３０１のサイズは画像のサイズに比べて十分に小さく、システム制御部５０は不揮発性メモリ５６に格納されたクロップ情報に応じて第１のクロップ領域３０１を設定する。
【００５９】
続いて、システム制御部５０は第１のクロップ領域において天体の動きベクトル（第１の動きベクトル）を検出する（ステップＳ２０３）。そして、システム制御部５０は、ステップＳ２０３で得た動きベクトルの解析を行う（ステップＳ２０４）。なお、動きベクトルの解析については後述する。
【００６０】
次に、システム制御部５０は、動きベクトルの解析結果に応じて天体が所定の状態であるか否かを判定する（ステップＳ２０５）。天体が所定の状態であると（ステップＳ２０５において、ＹＥＳ）、システム制御部５０は画像（ベクトル抽出用画像ともいう）を画像処理部２４によって、図３に示すように縮小処理する（ステップＳ２０６）。
【００６１】
その後、システム制御部５０は、縮小処理後の画像（縮小画像）に対して、ステップＳ２０２で設定した第１のクロップ領域３０１よりもそのサイズが大きい第２のクロップ領域（第２の検出領域）を再設定する（ステップＳ２０７）。そして、システム制御部５０は、再設定した第２のクロップ領域において動きベクトル（第２の動きベクトル）を検出する（ステップＳ２０８）。なお、第２のクロップ領域は、縮小画像の全体に設定してもよいし、縮小画像の一部に設定してもよい。第２のクロップ領域を縮小画像の一部に設定する場合は、そのサイズが第１のクロップ領域よりも大きくなるように設定する必要がある。
【００６２】
続いて、システム制御部５０は、ステップＳ２０８で検出された動きベクトルに基づいてアフィン係数を算出して、当該アフィン係数に応じて画像のずれ補正量を求める。（ステップＳ２０９）。そして、システム制御部５０はずれ補正量算出を終了する。その後、システム制御部５０の制御下で、画像合成部５４はずれ補正量を用いて、画像間の位置ずれを補正して、画像合成を行う。
【００６３】
動きベクトルの解析結果が所定の状態でないと（ステップＳ２０５において、ＮＯ）、システム制御部５０は、ステップＳ２０９の処理に進んで、ステップＳ２０３で求めた動きベクトルに応じてずれ補正量を求める。
【００６４】
上述のように、動きベクトルの解析結果に応じて画像の縮小を行うようにしたので、サイズで大きなクロップ領域を設定したとしても高速で動きベクトルの検出処理を行うことができる。この結果、画像間のずれ補正処理においてもその処理時間を短縮することができ、追尾対象の天体をカメラの画角に長時間留めることができる。
【００６５】
さらに、高感度撮影の際、又は撮影の際の温度が高いと、画像にノイズが発生し易く、ノイズの影響によって動きベクトルを誤検出する可能性が高くなる。ここでは、画像を縮小しているのでノイズの影響を軽減することができる。
【００６６】
ここで、動きベクトルの解析について説明する。前述のように、まず、システム制御部５０は、等倍画像（縮小しない画像）に設定されたサイズの小さいクロップ領域で検出された動きベクトルを解析して解析結果を得る。前述の所定の状態とは、例えば、画像全体が回転している状態又はクロップ領域に主被写体以外の被写体が混在する割合が所定の割合よりも高い状態をいう。
【００６７】
例えば、画像全体が回転している状態では、サイズの小さいクロップ領域においては回転を示す動きベクトルを十分に得ることが難しく、高精度にずれ補正量を求めることができない。また、クロップ領域に占める主被写体以外の被写体の割合が高いと、主被写体以外の被写体に係る動きベクトルの影響を強く受けてしまう。このため、高精度にずれ補正量を求めることができない。つまり、システム制御部５０は、動きベクトルの解析結果が所定の状態であると、正確にずれ補正量が算出できない状態であるとする。
【００６８】
図４は、図１に示すカメラにおいて画像全体が回転している状態であると判定する際の処理を説明するための図である。
【００６９】
システム制御部５０は、クロップ領域３０１において動きベクトルの方向および大きさに基づいて動きベクトルのグルーピングを行う。画像全体が回転していない状態では、動きベクトルは同一のグループに属することになる。よって、システム制御部５０は、クロップ領域３０１において動きベクトルが複数のグループに分けられている場合には画像全体が回転している状態であると判定する。
【００７０】
図５は、図１に示すカメラにおいてクロップ領域に主被写体以外の被写体が混在していると判定する際の処理を説明するための図である。
【００７１】
図５においては、クロップ領域３０１には、主被写体である天体３０２の他に木５０１などの前景が混在している。天体３０２は移動するのに対して、木５０１などの前景は移動しない。よって、動きベクトルをグルーピングすると２つのピークに収斂する。従って、システム制御部５０は動きベクトルをそのベクトル量に応じてグルーピングしてピークとなるグループが２つ存在すると、クロップ領域３０１に主被写体以外の被写体が混在していると判定する。
【００７２】
このようにして、動きベクトルの解析結果が所定の状態であるか否かに応じて、等倍画像又は縮小画像から動きベクトルを検出する。これによって、正確に動きベクトルを短時間で求めることができる。
【００７３】
なお、以上の例では、動きベクトルの解析結果に応じて、被写体である天体が所定の状態であるか否かを判定したが、判定方法にこれに限らず、他の方法によって判定してもよい。例えば、カメラ１００に撮像対象である天体の方向を検出する検出部を設けることにより、撮像方向から画像全体が回転している状態であるか否かを判定することができる。また、画像の動きベクトル以外の輝度などの情報を用いて、画像に主被写体以外の被写体が混在しているかを判定することも可能である。
【００７４】
なお、上述の実施の形態では、動きベクトルの解析結果から天体が所定の状態であると、第１のクロップ領域よりもそのサイズが大きい第２のクロップ領域を設定するようにしたが、この第２のクロップ領域は画像の全体に設定する様にしてもよい。さらには、複数のクロップ領域を設定してこれら複数のクロップ領域を第２のクロップ領域とするようにしてもよい。
【００７５】
上述のように、本発明の実施の形態では、ずれ補正に必要な動きベクトルを高速かつ効率的に算出することができる。
【００７６】
上述の説明から明らかなように、図１に示す例では、画像処理部２４およびシステム制御部５０が第１の設定手段、第１の検出手段、判定手段、第２の設定手段、および第２の検出手段として機能する。また、システム制御部５０および画像合成部５４は画像合成手段として機能する。なお、撮影レンズ１０３、シャッター１０２、撮像部２２、およびＡ／Ｄ変換部２３によって撮像手段が構成される。
【００７７】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００７８】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００７９】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８０】
１５  メモリ制御部
２２  撮像部
２４  画像処理部
２８  表示部
３２  メモリ
５０  システム制御部
５１  演算部
５４  画像合成部
７０  操作部
１０３  撮影レンズ
【図１】
2016201616.tif 000003
【図２】
2016201616.tif 000004
【図３】
2016201616.tif 000005
【図４】
2016201616.tif 000006
【図５】
2016201616.tif 000007