(57)【要約】【課題】複数枚の画像間の位置合わせを行う際に、画面の全領域で位置ずれを取り除くことが可能な画像処理装置を提供すること。【解決手段】連続撮影して得た複数の画像が予め記憶されている記憶手段４０１と、前記記憶手段から位置合わせ合成の基準となる基準画像を選択する選択手段４０２と、前記記憶手段から前記基準画像に対して位置合わせ調整を行う対象画像を選択する選択手段４０３と、前記対象画像を複数のブロック領域に分割して、ブロック領域ごとに前記対象画像と前記基準画像間の動きベクトルを検出する検出手段４０４と、前記それぞれのブロック領域ごとに検出した動きベクトルの特徴に基づいて前記ブロック領域を少なくとも２つ以上のグループに分類する分類手段４０５と、前記分類手段により分類されたグループとして複数に分割された画像の領域ごとに位置合わせ調整を行うパラメータを指定可能な入力手段４０６と、を具備することを特徴とする画像処理装置。【選択図】  図４
2013251785.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体をほぼ同一の構図で連続撮影して得た複数の画像が予め記憶されている記憶手段（４０１）と、
前記記憶手段から位置合わせ合成の基準となる基準画像を選択する選択手段（４０４）と、
前記記憶手段から前記基準画像に対して位置合わせ調整を行う対象画像を選択する選択手段（４０５）と、
前記対象画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに前記対象画像と前記基準画像間の動きベクトルを検出する手段（４０８）と、
前記それぞれのブロック領域ごとに検出した動きベクトルの特徴に基づいて前記ブロック領域を少なくとも２つ以上のグループに分類するブロック分類手段（４０９）と、
前記ブロック分類手段により分類されたグループとして複数に分割された画像の領域ごとに位置合わせ調整を行うパラメータを指定可能なパラメータ入力手段（４０６）と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記パラメータ入力手段は、前記グループごとに独立して位置合わせ調整パラメータの入力を受け付けるため、ユーザ操作によりグループ単位で画像の選択領域を切り替えることが可能な切り替え手段（４０７）を具備することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記パラメータ入力手段は、前記グループに分類されたブロック領域の動きベクトルの大きさの平均値の代表値に基づいて、入力部材の入力ステップ幅を決定することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数回の撮影により生成された複数枚の画像を合成する際の位置合わせを行う画像処理装置に関する。
【背景技術】
【０００２】
従来、同一の被写体をほぼ同一の構図で連続撮影して得た複数枚の画像を合成することで、一度の撮影で得られる画像より画質や映像効果を高めた画像を得ることができる技術が提案されている。
【０００３】
例えば、短い撮影間隔で速いシャッター速度で複数の撮影を行い、撮影した複数の画像を合成して実質的に必要な露光量を有する画像を作成する画像処理技術（例えば、特許文献１参照）や、同一の被写体を異なる露出で撮影した複数の画像を合成することで、ＣＣＤ（Charge Coupled Device ）等の撮像素子の固有のダイナミックレンジ以上の範囲のダイナミックレンジを有する画像を作成する画像処理技術（例えば、特許文献２参照）や、同一の被写体を異なる焦点位置で撮影した複数の画像を合成し、入力光学系の被写界深度よりも深い被写界深度を有する画像を作成する画像処理技術（例えば、特許文献３参照）がある。
【０００４】
このような画像合成においては、複数画像間の位置合わせを正確に行わないと合成した画像は手ぶれした画像のようになってしまい画質が著しく低下する。その対策として、画像間の位置ずれを補正するための位置合わせ機能を搭載した、画像処理システムやPC用の画像合成アプリケーションソフトが市販されている。こうした位置合わせ機能では、合成の対象となっている複数枚の画像より、位置合わせの基準とする画像と位置合わせを行う対象の画像をそれぞれ一枚選択し、前者の画像に対する後者の平行移動量、回転量などの位置調整パラメータを指定して、位置合わせを行うのが一般的である。
【０００５】
図１は、このような位置合わせ機能を搭載したPC用の画像合成アプリケーションソフトの位置合わせ画面を例示するための図である。
【０００６】
図１において、１００は位置合わせを行うための画面の一例である。位置合わせを行うにあたり基準とする画像を１０２から選択し、位置合わせを行う調整画像を１０１から選択する。１０３、１０４、１０５では基準画像に対する調整画像の水平、垂直移動量をピクセル単位で指定することができる。また、１０６では基準画像に対する調整画像の光軸を中心とした角度回転量を指定することができる。これらの位置合わせパラメータは１０７のプレビュー画面を見ながら調整することができ、２枚単位で画像間の位置ずれを取り除いていく。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平３−２２４３７２号公報
【特許文献２】特開昭６３−２３２５９１号公報
【特許文献３】特開平１−３０９４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来技術には次のような問題がある。
【０００９】
上記の方法では、平行移動量や回転量などの位置調整パラメータを画像の全領域でそれぞれ1つしか指定できないため、画像間で画像の領域によって位置ずれ量が異なるような場面を連続して撮影した画像の位置合わせを行うとした場合、例えば主要被写体が写っている領域など、ある1つの領域の位置ずれを除去することができてもその他の領域の位置ずれが残ってしまい画像全領域の位置ずれを除去することができず満足な結果が得られないという問題がある。
【００１０】
例えば、夜景を背景に人物を撮影するなど近景と遠景が混在する場面を連続して撮影する際に、手ぶれを起こすと、撮像面上での近景にある人物と遠景にある夜景の像の手ぶれによる移動量が異なることがある。
【００１１】
図２は、近景と遠景とで手ぶれが生じた際の撮像面上でのそれぞれの像の移動量が一致する場合を示すためのイメージ図である。この例では、手ぶれの回転軸２０６はレンズ２０２の中心２０５と一致する。手ぶれが生じる前の、近景にある被写体２０３及び、遠景にある被写体２０４の撮像面上の位置はそれぞれ２０７ａ、２０８ａである。手ぶれが生じた後の、近景にある被写体２０３及び、遠景にある被写体２０４の撮像面上の位置は２０７ｂ、２０８ｂへと移動しているが、それぞれの移動量は変わらない。このような場合には、上述した従来技術の方法は有効であるが、一般的に手ぶれがレンズ中心を軸に回転するケースは稀と考えられる。
【００１２】
他方、図３は近景と遠景とで手ぶれが生じた際の撮像面上でのそれぞれの像の移動量が異なることを示すためのイメージ図である。３０６は手ぶれの回転軸を表しており、３０６を中心に撮像面３０１及びレンズ３０２が回転した例を示している。手ぶれが生じる前の、近景にある被写体３０３及び、遠景にある被写体３０４の撮像面上の位置はそれぞれ３０７ａ、３０８ａであった。手ぶれが生じた後の、近景にある被写体３０３及び、遠景にある被写体３０４の撮像面上の位置は３０７ｂ、３０８ｂへと移動しており、かつそれぞれの移動量が異なる。このような場合、手ぶれ前後の２枚の画像間で位置合わせを行うとき、画面全体で１つの位置調整パラメータしか指定できない従来技術では、画面の全領域での位置合わせは出来なかった。
【００１３】
本発明の目的は、複数枚の画像間で位置合わせを行う際に、複数に分割した領域ごとに独立して位置合わせパラメータを指定可能にすることで、画像間で領域により位置ずれの量が異なる画像を位置合わせする場合でも画面の全領域で位置ずれを取り除くことを可能とするものである。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、同一の被写体をほぼ同一の構図で連続撮影して得た複数の画像が予め記憶されている記憶手段と、前記記憶手段から位置合わせ合成の基準となる基準画像を選択する選択手段と、前記記憶手段から前記基準画像に対して位置合わせ調整を行う対象画像を選択する選択手段と、前記対象画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに前記対象画像と前記基準画像間の動きベクトルを検出する手段と、前記それぞれのブロック領域ごとに検出した動きベクトルの特徴に基づいて前記ブロック領域を少なくとも２つ以上のグループに分類するブロック分類手段と、前記ブロック分類手段により分類されたグループ単位で位置合わせ調整を行うパラメータを指定可能なパラメータ入力手段と、を具備することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、複数枚の画像間の位置合わせを行う際に、複数に分割した領域ごとに独立して位置合わせパラメータを指定可能にすることで、画像間で領域によって位置ずれ量の異なる画像を位置合わせする場合でも画面の全領域で位置ずれを取り除くことが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】一般的な合成アプリケーションの位置合わせ機能の画面例
【図２】近景と遠景とで手ぶれが生じた際の撮像面上でのそれぞれの像の移動量が一致する場合を示す例
【図３】近景と遠景とで手ぶれが生じた際の撮像面上でのそれぞれの像の移動量が異なる場合を示す例
【図４】本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図
【図５】本発明の第1の実施形態に係る画像処理装置の処理の流れを示すフローチャート
【図６】本発明の第１の実施形態に係る画像処理装置の画面構成例
【図７】度数分布からブロック領域を分類する方法を示す図
【発明を実施するための形態】
【００１７】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１８】
［実施例１］
図４は、本発明の第１の実施形態に係る画像間の位置合わせを領域ごとに行うことが可能な一実施形態の画像処理装置の構成例を示すブロック図である。
【００１９】
図４において、記憶装置４０１には、同一の被写体をほぼ同一の構図で複数回撮影して得た複数枚の画像が記憶されている。システム制御部４００は、記憶されている画像を表示部４０３の基準画像選択部４０４及び調整画像選択部４０５に読み込み、ユーザに位置合わせを行う基準となる画像と、対象となる調整画像の選択を促す。システム制御部４００は、ユーザ操作による両画像の選択を検知すると、動きベクトル検出部４０８に両画像を伝達する。動きベクトル検出部４０８は、位置合わせの対象となる調整画像を複数のブロック領域に分割し、分割されたそれぞれのブロック領域ごとに基準画像間の動きベクトルを検出する。ブロック領域分類部４０９は動きベクトル検出部でブロック領域ごとに検出した動きベクトルの特徴に基づきブロック領域をグループに分類する。ブロック領域分類部４０９でグループに分類されたブロック領域の集まりの単位で位置合わせ調整が行えるように、画像の位置合わせ調整領域をグループ単位で切り替えて選択できる切り替え部４０７を表示部４０３に表示する。位置合わせ調整パラメータ入力部４０６は、入力部４０２を通じて入力された位置調整パラメータを調整領域切り替え部４０７において選択されている調整領域に対応付けて位置合わせパラメータの入力を受け付ける。
【００２０】
図５は、画像処理装置における画像間の位置合わせを領域ごとに行うために画像間で検出した動きベクトルを分類した結果に基づいて位置合わせ調整値の入力を受け付ける画像処理装置の処理の流れを示すフローチャートである。図６は、画像処理装置における表示部４０３の一画面構成例を示している。
【００２１】
以下に図５と図６を用いて本実施例の処理の流れを説明する。
【００２２】
図５において、まず、同一の被写体をほぼ同一の構図で複数回撮影して得た複数枚の画像が記憶されている記憶装置４０１から位置合わせ調整を行う画像を読み込む（ステップＳ５０１）。システム制御部４００は、読み込んだ画像を表示部４０３に配置した基準画像選択部６０２に追加し、ユーザによる基準画像の選択を待つ。更に、システム制御部４００は、読み込んだ画像を表示４０３に配置した調整画像選択部６０１に追加し、ユーザによる基準画像の選択を待つ。ユーザ操作により基準画像の選択（Ｓ５０２）および調整画像の選択（Ｓ５０３）を検知するとシステム制御部４００は、動きベクトル検出部４０８に基準画像と調整画像を伝達する。動きベクトル検出部４０８は、入力された調整画像を複数のブロック領域に分割し、分割したそれぞれのブロック領域ごとに基準画像間の動きベクトルを検出する（Ｓ５０４）。ここで、両画像間のブロック領域ごとの動きベクトル検出方法は、本発明の本質に関わる部分ではないため説明を省略する。
【００２３】
検出した動きベクトルは、ブロック領域分類部４０９にて各ブロックで検出された動きベクトルの特徴に基づいてブロック領域をグループに分類する（Ｓ５０５）。このブロック領域の分類については後述する。
【００２４】
ここで、ブロック領域分類部４０９の動作について説明する。まず、ブロック領域分類部４０９はブロック領域ごとの動きベクトルを、その大きさを階級とする度数分布上に振り分ける。図７のような度数分布に対し、プロット７０３、７０５のような極値（ピーク）を探索する。ただし、この極値は予め定められた度数ｐを超えるもの（所定度数以上）である事とする。そして、極値が複数見つかった場合、それらの階級間の距離が定められたｃを超える（所定量以上離れている）ものであるかを判断する。超えているものであれば、それらは互いに別グループと判定し、超えていなければ同一グループだと判定する。
【００２５】
図７の場合、極値はプロット７０３とプロット７０５であり、これらは度数ｐを超えるものである。そして、これらの階級間の距離はｄであり、これはｃより大きいので、別グループであると判定できる。一方度数ｐを超えるものの、極値であるプロット７０３に隣接する７０２は、階級間の距離がｃを超えるものではないので、極値７０３のグループと同一グループであると判断できる。そして、これらに隣接し、度数ｐを超えないプロット７０１および７０４も、極値７０３のグループと同一グループと判断できる。このようにして全てのブロックを少なくとも２つ以上のグループに分類する。このグループ分類は、動きベクトル部４０９で行われる。
【００２６】
ブロック領域分類部４０９でグループに分類されたブロック領域の集まりの単位で位置合わせ調整が行えるように、画像の位置合わせ調整領域をグループに含まれるブロックの領域に対応付けて切り替えて選択できる切り替え部６０３を表示部４０３に表示する（Ｓ５０６）。
【００２７】
位置合わせパラメータ入力部４０６を通じて入力された位置合わせパラメータは調整領域切り替え部４０７で選択されているグループに対応付けて設定される。これにより、位置ずれの特徴が異なるブロック領域のグループ単位でそれぞれに位置合わせを行えるため、画像領域により位置ずれ量の異なる画像間の位置合わせを行う場合でも画面全域で位置ずれを取り除くことが可能となる。
【００２８】
［実施例２］
ついで、本発明の第２の実施例について説明する。本実施例に係る画像処理装置の構成は前記実施例で示したものと同一である。本実施例では、前記実施例に記載の位置合わせ調整パラメータ入力部４０６における、入力部材の入力ステップ幅を、調整領域切り替え部４０７において選択されている調整領域に分類されたブロック領域で検出された動きベクトルの大きさの平均値などの代表値に基づいて決定する。
【００２９】
図７の例では、プロット７０３とプロット７０５の２つのグループに分類されたが、調整領域としてプロット７０３を含むグループが選択されている場合には、プロット７０１、７０２、７０３、７０４の動きベクトルの大きさの平均値が入力部材の入力ステップ幅として設定される。また、７０５のグループが選択されている場合には、プロット７０５の動きベクトルの大きさが入力部材の入力ステップ幅として設定される。
【００３０】
これにより、位置合わせ調整パラメータの入力部材の1ステップあたりのステップ幅が、調整領域として選択している領域の位置ずれの大きさに応じて適切に設定されるため位置合わせ調整を行うユーザの操作負担が軽減される。
【００３１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３２】
４００  システム制御部
４０１  記憶装置
４０２  入力部
４０３  表示部
４０４  基準画像選択部
４０５  調整画像選択部
４０６  位置合わせ調整パラメータ入力部
４０７  画像の調整領域切り替え部
４０８  動きベクトル検出部
４０９  ブロック領域分類部
【図１】
2013251785.tif 000003
【図２】
2013251785.tif 000004
【図３】
2013251785.tif 000005
【図４】
2013251785.tif 000006
【図５】
2013251785.tif 000007
【図６】
2013251785.tif 000008
【図７】
2013251785.tif 000009