(57)【特許請求の範囲】
【請求項１】
連続的に撮影された複数の画像を合成する画像処理装置であって、
前記複数の画像をグループに分類するグループ分類手段と、
前記複数の画像から全体基準画像を設定し、前記グループごとに基準画像を設定する設定手段と、
前記グループ内で前記基準画像を基準として前記画像の間における位置ずれを示す第１の動きベクトルを検出し、該第１の動きベクトルを用いて該グループ内で前記画像の位置合わせを行う第１の位置合わせ手段と、
前記グループの間で、前記基準画像と前記全体基準画像とを基準として前記グループの間で前記画像の間における位置ずれを示す第２の動きベクトルを検出し、該第２の動きベクトルを用いて前記基準画像の位置合わせを行う第２の位置合わせ手段と、
前記第１の位置合わせ手段と前記第２の位置合わせ手段とによって位置合わせされた前記画像を合成する合成手段と、を備え、
前記第１の位置合わせ手段は、前記第２の位置合わせ手段が前記第２の動きベクトルの検出に用いる動きベクトル探索範囲よりも狭い動きベクトル探索範囲を用いて、前記第１の動きベクトルを検出することを特徴とする画像処理装置。
【請求項２】
前記第１の位置合わせ手段が用いる動きベクトル探索範囲は、前記第２の位置合わせ手段が用いる動きベクトル探索範囲を基に、グループ間での基準画像の撮影間隔とグループ内での画像間の撮影間隔の比率を用いて決定されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記グループ分類手段は、
前記複数の画像を撮影の時系列に並べて所定枚数ごとにグループに分類することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像処理装置の動きをジャイロ情報として出力するジャイロ情報取得手段をさらに備え、
前記グループ分類手段は、
前記ジャイロ情報に基づいて、前記画像処理装置の動きが所定範囲内におさまる複数の画像を１つのグループに分類することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記設定手段は、
前記グループ分類手段で分類されたグループ毎にグループ内の画像を時系列に並べた際の順序が中央の画像を該グループの前記基準画像とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記画像処理装置の動きをジャイロ情報として出力するジャイロ情報取得手段をさらに備え、
前記設定手段は、
前記ジャイロ情報に基づいて、前記画像処理装置の動きの平均に最も近い画像を該グループの前記基準画像とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
連続的に複数の画像を撮像し、前記複数の画像を合成する撮像装置であって、
前記複数の画像をグループに分類するグループ分類手段と、
前記複数の画像から全体基準画像を設定し、前記グループごとに基準画像を設定する設定手段と、
前記グループ内で前記基準画像を基準として前記画像の間における位置ずれを示す第１の動きベクトルを検出し、該第１の動きベクトルを用いて該グループ内で前記画像の位置合わせを行う第１の位置合わせ手段と、
前記グループの間で、前記基準画像と前記全体基準画像とを基準として前記グループの間で前記画像の間における位置ずれを示す第２の動きベクトルを検出し、該第２の動きベクトルを用いて前記基準画像の位置合わせを行う第２の位置合わせ手段と、
前記第１の位置合わせ手段と前記第２の位置合わせ手段とによって位置合わせされた前記画像を合成する合成手段と、を有し、
前記第１の位置合わせ手段は、前記第２の位置合わせ手段が前記第２の動きベクトルの検出に用いる動きベクトル探索範囲よりも狭い動きベクトル探索範囲を用いて、前記第１の動きベクトルを検出することを特徴とする撮像装置。
【請求項８】
連続的に撮影された複数の画像を合成する画像処理方法であって、
前記複数の画像をグループに分類するグループ分類ステップと、
前記複数の画像から全体基準画像を設定し、前記グループごとに基準画像を設定する設定ステップと、
前記グループ内で前記基準画像を基準として前記画像の間における位置ずれを示す第１の動きベクトルを検出し、該第１の動きベクトルを用いて該グループ内で前記画像の位置合わせを行う第１の位置合わせステップと、
前記グループの間で、前記基準画像と前記全体基準画像とを基準として前記グループの間で前記画像の間における位置ずれを示す第２の動きベクトルを検出し、該第２の動きベクトルを用いて前記基準画像の位置合わせを行う第２の位置合わせステップと、
前記第１の位置合わせステップと前記第２の位置合わせステップとにおいて位置合わせされた前記画像を合成する合成ステップと、を有し、
前記第１の位置合わせステップにおいては、前記第２の位置合わせにおいて前記第２の動きベクトルの検出に用いる動きベクトル探索範囲よりも狭い動きベクトル探索範囲を用いて、前記第１の動きベクトルを検出することを特徴とする画像処理方法。
【請求項９】
連続的に撮影された複数の画像を合成する画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
前記複数の画像をグループに分類するグループ分類ステップと、
前記複数の画像から全体基準画像を設定し、前記グループごとに基準画像を設定する設定ステップと、
前記グループ内で前記基準画像を基準として前記画像の間における位置ずれを示す第１の動きベクトルを検出し、該第１の動きベクトルを用いて該グループ内で前記画像の位置合わせを行う第１の位置合わせステップと、
前記グループの間で、前記基準画像と前記全体基準画像とを基準として前記グループの間で前記画像の間における位置ずれを示す第２の動きベクトルを検出し、該第２の動きベクトルを用いて前記基準画像の位置合わせを行う第２の位置合わせステップと、
前記第１の位置合わせステップと前記第２の位置合わせステップとにおいて位置合わせされた前記画像を合成する合成ステップと、を行わせ、
前記第１の位置合わせステップにおいては、前記第２の位置合わせにおいて前記第２の動きベクトルの検出に用いる動きベクトル探索範囲よりも狭い動きベクトル探索範囲を用いて、前記第１の動きベクトルを検出することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続的に撮影することで取得した複数の画像を位置合わせして合成する画像処理に関する。
【背景技術】
【０００２】
従来から、画像間の動きベクトルを検出するための検出範囲を撮影条件によって切り替えたり、複数の撮影画像をグループ化したりすることによって、画像合成処理にかかる時間を低減する方法が提案されている。
【０００３】
例えば、特許文献１では、画像間の露光時間間隔に応じて動きベクトル検出範囲を変更することで、撮影画像のブレ補正にかかる時間を短縮する方法が開示されている。
【０００４】
また、特許文献２では、複数の撮影画像を位置ずれの方向毎にグループ化し、グループ毎に位置合わせすることで、ぶれが生じていない方向はノイズリダクションし、ぶれ補正が必要な方向だけ逆変換フィルタによるぶれ補正を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０５４５１８号公報
【特許文献２】特開２００６−１８０４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の特許文献１に開示された従来技術では、直前の画像との露光時間間隔に応じて動きベクトルの検出範囲を変更し処理時間を短縮する記載がある。しかしながら、位置合わせの基準画像に対して露光時間間隔が徐々に長くなっていく場合には、特に考慮されていない。
【０００７】
また、上記の特許文献２に開示された従来技術では、複数の画像をグループ化することで必要な方向だけにぶれ補正するが、ぶれ補正にかかる時間を短縮することについては特に考慮されていない。
【０００８】
そこで、本発明の目的は、動きベクトル検出にかかる時間を短縮しつつ、画像の位置合わせの精度を維持することを可能にした画像処理装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、連続的に撮影された複数の画像を合成する画像処理装置であって、合成対象となる画像間における画像の位置ずれを示す動きベクトルを用いて画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段によって位置合わせされた画像を合成する合成手段と、を備え、前記画像合成装置は、前記複数の画像を撮影の時系列に基づいてグループに分類するグループ分類手段と、前記グループごとに基準画像を設定する設定手段と、をさらに備え、前記位置合わせ手段は、基準画像を基準としてグループ内で画像の位置合わせを行う第１の位置合わせ手段と、グループ間で基準画像の位置合わせを行う第２の位置合わせ手段とを有することを特徴とする特徴とする。
【発明の効果】
【００１０】
本発明によれば、動きベクトル検出にかかる時間を短縮しつつ、画像の位置合わせ精度を維持することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態の画像処理装置を構成するブロック図である。
【図２】本発明の実施形態の画像合成処理を説明する為のフロー図である。
【図３】本発明の実施形態の撮影画像を表した図である。
【図４】本発明の実施形態の撮影画像のグループ分類を説明する為の図である。
【図５】本発明の実施形態の撮影画像の位置合わせを説明する為の図である。
【図６】本発明の実施形態の位置合わせ手段を構成するブロック図である。
【図７】本発明の実施形態の動きベクトル算出を説明する為の図である。
【発明を実施するための形態】
【００１２】
以下に本発明の実施形態を添付の図面に基づいて詳細に説明する。なお本実施形態では、画像処理装置として電子カメラを用いた例で説明する。
【００１３】
図１は、本実施形態の電子カメラの構成を示すブロック図である。図２は、本実施形態の電子カメラが実行する画像合成処理のフローを示すフロー図である。
【００１４】
図１と図２を参照して画像合成処理について説明する。
【００１５】
まず、図１を参照して、画像処理装置としての電子カメラの構成を説明する。
【００１６】
撮像レンズ１０２は、撮影像を光学的に撮像素子１０４上に結像させる。撮像素子１０４は、その撮影像をアナログの電気信号に変換する。また、撮像素子１０４は複数の色フィルタを有する。Ａ／Ｄ変換器１０６は、この撮像素子１０４から出力されるアナログ信号をデジタル信号に変換する。
【００１７】
制御回路１０８は、Ａ／Ｄ変換機１０６、グループ分類手段１０９、グループ基準画像設定手段１１０、位置合わせ手段段１１２、合成手段１１４、画像信号処理手段１１６の間のデータの流れの制御を行う。
【００１８】
グループ分類手段１０９は、連続的に撮影して取得した複数の画像を幾つかのグループに分類する処理を行う。
【００１９】
グループ基準画像設定手段１１０は、グループ分類手段１０９で分類したグループ毎にグループ内の画像を位置合わせするための基準画像を設定する。
【００２０】
位置合わせ手段１１２は、撮影した複数の画像の内で合成対象となる２つの画像の位置ずれを補正し、画像間の位置を合わせる処理を行う。位置合わせ手段１１２は、後述する全体基準画像とグループごとに設定された基準画像とのグループ間で位置合わせを行う全体位置合わせ手段６０１と、グループ内で基準画像を基準として複数の位置合わせを行うグループ位置合わせ手段６０２を有している。
【００２１】
また、全体位置合わせ手段６０１とグループ位置合わせ手段６０２は、動きベクトルの探索範囲が異なるだけであるため、どちらか一方のみを有する構成とし、動きベクトルの探索範囲の設定を切り替えることで共有してもよい。
【００２２】
合成手段１１４は、位置合わせ手段１１２で位置合わせされた画像を合成する。
【００２３】
画像信号処理手段１１６は、撮影された画像に対して、同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の画像信号処理を行い、画像データを現像する。
【００２４】
次に、図２を参照して、画像処理装置で実行される画像合成処理について説明する。
【００２５】
まず、画像合成装置１００を手で保持した状態で高速で複数枚（Ｎ枚）撮影する（Ｓ２００）。本実施例では、Ｎ＝１６枚として説明するが、特に１６枚に限定されるわけではない。撮影された１６枚の画像を図３に示す。
【００２６】
次に、撮影された複数の画像の中から位置合わせの全体基準となる画像である全体基準画像を１枚設定する（Ｓ２０２）。本実施形態では、１枚目に撮影した画像である画像３０１を全体基準画像とするが、複数枚撮影した画像の中から任意に１枚選んでもよい。
【００２７】
次にグループ分類手段１０９において、撮影された複数の画像を幾つかのグループに分類する（Ｓ２０４）。本実施形態では、図４に示すように、全体基準画像以外の１５枚を撮影の時系列に応じて撮影順に５枚ずつ３つのグループに分類する。１つ目のグループである画像グループ４０１は画像３０２から画像３０６の５枚の画像を含み、２つ目のグループである画像グループ４０２は画像３０７から画像３１１までの５枚の画像を含み、３つ目のグループである画像グループ４０３は画像３１２から画像３１６までの画像を含む。
【００２８】
グループの分類方法としては、上記のように、撮影順に所定枚数毎に１つのグループに分類する方法以外に、画像処理装置に付属する或いは画像処理装置の外部のジャイロ装置（ジャイロ情報取得手段）から撮影期間中の位置ずれ量をジャイロ情報として取得できる場合には、得られた位置ずれ量が所定範囲内の画像を１つのグループに分類してもよい。また、所定の時間間隔毎に１つのグループに分類してもよい。
【００２９】
次に、画像グループ毎に位置合わせ処理を行う。まず、初めに画像グループとして画像グループ４０１を選択し、グループ基準画像設定手段１１０においてグループの位置合わせ基準画像を設定する（Ｓ２０６）。本実施形態では、画像グループ内の撮影画像の中で撮影の順序が中央の画像をグループの位置合わせ基準画像として選択する。つまり、画像グループ４０１のグループの位置合わせ基準画像として画像３０４を選択する。
【００３０】
グループの位置合わせ基準画像の選択方法としては、グループ内の撮影時間が中央に最も近い画像をグループの位置合わせ基準画像として選択してもよい。また、外部のジャイロ装置（ジャイロ情報取得手段）から撮影期間中の位置ずれ量をジャイロ情報として取得できる場合には、得られた位置ずれ量の平均に最も近い画像をグループの位置合わせ基準画像としてもよい。
【００３１】
次に全体位置合わせ手段６０１において、グループの位置合わせ基準画像と全体基準画像の位置を合わせるための位置合わせ変換係数を算出する（Ｓ２０８）。画像グループ１の場合は、画像３０４と画像３０１の位置合わせ変換係数を算出する。
【００３２】
位置合わせ変換係数の算出方法を以下に説明する。
【００３３】
位置合わせ変換係数を算出するために、まず画像間の動きベクトルを算出する。動きベクトルの算出方法は種々あるが、本実施形態では、画像のテンプレートマッチングを用いる。テンプレートマッチングの方法について図７を用いて説明する。
【００３４】
図７に示すように、基準画像である画像７０１の所定位置をテンプレート領域７１０として設定する。次に位置合わせ対象画像である画像７０２にテンプレート領域７１０に対応する動きベクトル探索領域７２０を設定する。Ｓ２０８においては、基準画像である画像７０１は画像３０１に対応し、位置合わせ対象画像である画像７０２は画像３０４に対応する。
【００３５】
動きベクトル探索領域７２０は、対応するテンプレート領域７１０の位置ずれ量を考慮して、テンプレート領域７１０よりも広い領域を設定する。動きベクトル探索領域７２０の大きさは、画像７０１と画像７０２で想定される位置ずれ量に基づいて決めることが好ましい。つまり、想定される位置ずれ量が大きければ探索領域を広くし、想定される位置ずれ量が小さければ探索領域を狭くする。
【００３６】
テンプレート領域７１０と動きベクトル探索領域７２０の間で画像７０１と画像７０２の局所的な位置ずれ量を表す動きベクトルを検出する。テンプレートマッチングでは、テンプレート領域７１０を動きベクトル探索領域７２０で走査し、類似度が最も高い走査位置を動きベクトルとして検出する。テンプレートマッチングを用いる場合の類似度の評価としては、ＳＡＤ（差分絶対値和。Ｓｕｍ  Ｏｆ  Ｄｉｆｆｅｒｅｎｃｅ）を用いることができる。テンプレート領域内の画素値の差分絶対値和が最も小さくなる位置をテンプレート領域７１０における動きベクトルとする。
【００３７】
基準画像である画像７０１のテンプレート領域は、テンプレート領域７１０だけではなく、点線で囲まれた合計１２の領域が存在し、位置合わせ対象画像である画像７０２にも同様に合計１２の領域の動きベクトル探索領域が存在する。
【００３８】
テンプレート毎に算出された動きベクトルから最小二乗法で位置合わせ変換係数を算出する。算出された位置合わせ変換係数をＨ５０４とする（図５を参照）。
【００３９】
次にグループ位置合わせ手段６０２において、グループごとに設定された位置合わせ基準画像に対するグループ内の各画像の位置合わせ変換係数を算出する（Ｓ２１０）。この例では、まず、画像３０２を画像３０４に対して位置合わせするための位置合わせ変換係数を算出する。
【００４０】
算出方法は、グループの位置合わせ基準画像と全体基準画像の位置を合わせるための位置合わせ変換係数の算出方法と同様であってもよい。なお、全体基準画像に位置合わせする算出方法とは、動きベクトルの探索範囲だけ異なるため、その内容のみ詳細に説明を行う。なお、Ｓ２１０においては、図７の基準画像である画像７０１は画像３０４に対応し、位置合わせ対象画像である画像７０２は画像３０２に対応する。
【００４１】
グループの位置合わせ基準画像と全体基準画像の位置を合わせるための位置合わせ変換係数の算出方法で述べた通り、動きベクトル探索範囲７２０の大きさは、画像７０１と画像７０２で想定される位置ずれ量に基づいて決めることが好ましい。グループの位置合わせ基準画像である画像３０４と全体基準画像である画像３０１の間の位置ずれ量に対して、グループの位置合わせ基準画像である画像３０４とグループ内の他の画像３０１の位置ずれ量は、全体基準画像とグループの位置合わせ基準画像との撮影間隔よりも時間が短いため、相対的に小さい。従って、動きベクトル探索範囲７２０の大きさも狭く決定することができる。具体的には下記式に基づいて動きベクトル探索範囲を決める。
［グループの位置合わせ基準画像に対する動きベクトル探索範囲］＝
［全体基準画像に対する動きベクトル探索範囲］×
［グループ画像間の撮影間隔］÷［全体基準画像とグループ基準画像の撮影間隔］
（式１）
【００４２】
上記のように撮影間隔の比率に応じて動きベクトルの探索範囲を狭めることで位置合わせと画像合成にかかる処理時間を低減することができる。グループの位置合わせ基準画像３０４に対するグループ内の他の画像３０２の位置ずれに基づいて算出された動きベクトルから算出した位置合わせ変換係数をＨ５０２とする（図５）。
【００４３】
画像グループ４０１の画像３０３、３０５、３０６についても同様にして位置合わせ変換係数Ｈ５０３、５０５、５０６を算出して位置合わせする（Ｓ２１２）。
【００４４】
次に画像グループ４０１の全ての画像について、全体基準画像に対する位置合わせ変換係数を算出し位置合わせを行う（Ｓ２１４）。一例として、画像３０２を全体基準画像である画像３０１に位置合わせする方法を説明する。位置合わせ変換係数Ｈ５０２と位置合わせ変換係数Ｈ５０４を掛けあわせた位置合わせ変換係数を用いて画像３０２を画像３０１に位置合わせする。画像３０３、３０５、３０６に関しても同様に全体基準画像である画像３０１に対する位置合わせ変換係数を算出し、位置合わせを行う。画像３０４はＳ２０６で算出した位置合わせ変換係数Ｈ５０４を用いて、画像３０１に位置合わせを行う。
【００４５】
各グループに設定された基準画像（画像３０４、３０９、３１４）については、全体基準画像３０１に対する位置合わせのための位置合わせ変換係数のみを用いて位置合わせすることが可能である。
【００４６】
次に全てのグループで処理が完了しているか判定する（Ｓ２１６）。画像グループ１の処理が完了した状態では、画像グループ２、画像グループ３の処理が完了していないので（Ｓ２１６でＮｏ）、画像グループ２、画像グループ３についても画像グループ１の処理と同様にＳ２０６〜Ｓ２１４の処理を繰り返す。
【００４７】
全体基準画像に全ての画像が位置合わせできたら（Ｓ２１６でＹｅｓ）、合成手段１１４で位置合わせした複数の画像の合成処理を行う（Ｓ２１８）。本実施例では、同じ撮影条件で撮影した画像を位置合わせして加重加算合成することで、１枚の画像よりＳ／Ｎのよい画像を生成することができる。
【００４８】
上記のように複数の位置合わせ変換係数を算出することで位置合わせの全体基準画像に対して、位置合わせ処理にかかる時間を低減しつつ精度の高い位置合わせ処理を行うことができる。
【００４９】
なお、本発明の実施形態におけるフローチャート図に示した各処理は、各処理の機能を実現するためのコンピュータプログラムを画像処理装置がメモリから読み出して装置内のＣＰＵを実行することによっても実現できる。
【００５０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５１】
１００  画像処理装置
１０２  撮像レンズ
１０４  撮像素子
１０６  Ａ／Ｄ変換器
１０８  制御手段
１０９  グループ分類手段
１１０  グループ基準画像設定手段
１１２  位置合わせ手段
１１４  合成手段
１１６  画像信号処理手段
【図１】
0006452414.tif 000002
【図２】
0006452414.tif 000003
【図３】
0006452414.tif 000004
【図４】
0006452414.tif 000005
【図５】
0006452414.tif 000006
【図６】
0006452414.tif 000007
【図７】
0006452414.tif 000008