(57)【要約】      （修正有）【課題】基準画像に対して信頼度の低い位置合わせ変換係数しか算出できないときにも精度の高い位置合わせ変換係数を算出する画像処理装置及び画像処理装置の制御方法を提供する。【解決手段】画像間の特徴点の動きベクトルを算出する動きベクトル算出手段１１０と、動きベクトルを用いて、画像間の位置合わせ変換係数とその信頼度を算出する位置合わせ変換係数算出手段１１２と、位置合わせ変換係数を用いて、第２の画像を第1の画像に位置を合わせる位置合わせ手段１１４とを有する。位置合わせ変換係数算出手段は、信頼度が閾値以下の場合には、第１の画像と第２の画像とは異なる、第３の画像と第２の画像の位置合わせ変換係数を算出し、第１の画像と第３の画像の位置合わせ変換係数と、第２の画像と第３の画像の位置合わせ変換係数を用いて、第１の画像と第２の画像の位置合わせ変換係数を算出する。【選択図】図１
2016076838.tif 000002
【特許請求の範囲】
【請求項１】
画像間の特徴点の動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトルを用いて、画像間の位置合わせ変換係数とその信頼度を算出する位置合わせ変換係数算出手段と、
前記位置合わせ変換係数を用いて、第２の画像を第1の画像に位置を合わせる位置合わせ手段とを有し、
前記位置合わせ変換係数算出手段は、
前記信頼度が閾値以下の場合には、前記第１の画像と第２の画像とは異なる、第３の画像と第２の画像の位置合わせ変換係数を算出し、
前記第１の画像と第３の画像の位置合わせ変換係数と、前記第２の画像と第３の画像の位置合わせ変換係数を用いて、前記第１の画像と第２の画像の位置合わせ変換係数を算出する
ことを特徴とする画像処理装置。
【請求項２】
前記信頼度は、前記動きベクトルと前記位置合わせ変換係数で座標変換した移動量の差異が小さいときに高くする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記信頼度は、前記第１の画像と第２の画像の位置合わせ変換係数が算出できなかった場合には前記閾値以下に設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第３の画像は、
前記第１の画像との位置合わせ変換係数に対応する前記信頼度が高い画像を優先的に選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第３の画像は、
前記第２の画像と撮影時刻の差が小さい画像を優先的に選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第３の画像は、
高周波成分を多く含む画像を優先的に選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第２の画像と第１の画像の位置合わせ変換係数が複数算出された場合には、
信頼度の高い位置合わせ変換係数を選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記第２の画像と第１の画像の位置合わせ変換係数が複数算出された場合には、
前記第２の画像と第１の画像の位置合わせ変換係数を算出する際に用いた位置合わせ変換係数が少ない位置合わせ変換係数を優先的に選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
画像間の特徴点の動きベクトルを算出する動きベクトル算出工程と、
前記動きベクトルを用いて、画像間の位置合わせ変換係数とその信頼度を算出する位置合わせ変換係数算出工程と、
前記位置合わせ変換係数を用いて、第２の画像を第1の画像に位置を合わせる位置合わせ工程とを有し、
前記位置合わせ変換係数算出工程は、
前記信頼度が閾値以下の場合には、前記第１の画像と第２の画像とは異なる、第３の画像と第２の画像の位置合わせ変換係数を算出し、
前記第１の画像と第３の画像の位置合わせ変換係数と、前記第２の画像と第３の画像の位置合わせ変換係数を用いて、前記第１の画像と第２の画像の位置合わせ変換係数を算出する
ことを特徴とする画像処理装置の制御方法。
【請求項１０】
画像間の特徴点の動きベクトルを算出する動きベクトル算出工程と、
前記動きベクトルを用いて、画像間の位置合わせ変換係数とその信頼度を算出する位置合わせ変換係数算出工程と、
前記位置合わせ変換係数を用いて、第２の画像を第1の画像に位置を合わせる位置合わせ工程とを有し、
前記位置合わせ変換係数算出工程は、
前記信頼度が閾値以下の場合には、前記第１の画像と第２の画像とは異なる、第３の画像と第２の画像の位置合わせ変換係数を算出し、
前記第１の画像と第３の画像の位置合わせ変換係数と、前記第２の画像と第３の画像の位置合わせ変換係数を用いて、前記第１の画像と第２の画像の位置合わせ変換係数を算出する画像処理装置の制御方法をコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理装置の制御方法に関し、特に、複数の画像を位置合わせ合成する技術に関するものである。
【背景技術】
【０００２】
従来、基準画像に対して位置ずれを生じている複数枚画像を基準画像に対して位置合わせする処理において、基準画像に対して信頼度の高い変換係数が算出できなった場合には簡易的な位置合わせを行う方法が提案されている。また、少数の動きベクトルが算出できている場合にはそれらから画像の動きを検出する方法が提案されていた。
【０００３】
例えば、特許文献１では、複数枚撮影した画像間で信頼度の高い変換係数を算出できなかった場合は、画像変形をせずに画像水平垂直シフトのみのグローバルマッチングで位置合わせする方法が開示されている。特許文献２では、動きベクトルの信頼度が高いときはその少数の動きベクトルから画像の動きを検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−６５５３０号公報
【特許文献２】特開２００９−２３９５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述の特許文献１に開示された従来技術では、信頼度の低い変換係数しか算出できなかった場合においても水平垂直シフトのみの位置合わせを行う。このために、アオリや回転などシフトで表現できない位置ずれが含まれる場合には、精度の低い位置合わせしか行えない。
【０００６】
また、前述の特許文献２に開示された従来技術では、信頼度の高い動きベクトルが算出できなかった場合の処理については特に言及されておらず位置合わせの精度が下がる可能性がある。
本発明は前述の問題点に鑑み、基準画像に対して信頼度の低い位置合わせ変換係数しか算出できないときにも精度の高い位置合わせ変換係数を算出できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像間の特徴点の動きベクトルを算出する動きベクトル算出手段と、前記動きベクトルを用いて、画像間の位置合わせ変換係数とその信頼度を算出する位置合わせ変換係数算出手段と、前記位置合わせ変換係数を用いて、第２の画像を第1の画像に位置を合わせる位置合わせ手段とを有し、前記位置合わせ変換係数算出手段は、前記信頼度が閾値以下の場合には、前記第１の画像と第２の画像とは異なる、第３の画像と第２の画像の位置合わせ変換係数を算出し、前記第１の画像と第３の画像の位置合わせ変換係数と、前記第２の画像と第３の画像の位置合わせ変換係数を用いて、前記第１の画像と第２の画像の位置合わせ変換係数を算出することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、基準画像に対して信頼度の低い位置合わせ変換係数しか算出できないときにも精度の高い位置合わせ変換係数を算出して、精度の高い位置合わせを行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に関わる画像処理装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に関わる処理手順の一例を示すフローチャートである。
【図３】本発明の第１の実施形態に関わる位置合わせ変換係数を説明するための図である。
【図４】本発明の第２の実施形態に関わる処理手順の一例を示すフローチャートである。
【図５】本発明の第２の実施形態に関わる位置合わせ変換係数を説明するための図である。
【図６】本発明の実施形態に関わる動きベクトル算出を説明するための図である。
【図７】本発明の実施形態に関わる位置合わせ変換係数算出を説明するための図である。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図１は、本発明の実施形態に関わる画像処理装置の構成を表したブロック図である。
以下、図１と図２を参照して、本発明の第1の実施形態による位置合わせ変換係数算出処理について説明する。本実施形態では、基準画像に対して信頼度の低い位置合わせ変換係数しか算出できないときにも精度の高い位置合わせ変換係数を算出する。
【００１１】
図１において、撮像レンズ１０２は、撮影像を光学的に撮像素子１０４上に結像させる。撮像素子１０４は、その撮影像をアナログの電気信号に変換する。また、撮像素子１０４は複数の色フィルタを有する。Ａ／Ｄ変換器１０６は、この撮像素子１０４から出力されるアナログ信号をデジタル信号に変換する。
【００１２】
制御部１０８は、Ａ／Ｄ変換器１０６、動きベクトル算出部１１０、位置合わせ変換係数算出部１１２、位置合わせ部１１４、画像信号処理部１１６の間のデータの流れの制御を行う。
【００１３】
動きベクトル算出部１１０は、画像間の特徴点の動きベクトルを領域毎に算出する。
位置合わせ変換係数算出部１１２は、動きベクトル算出部１１０で算出された動きベクトルをもとに位置合わせ変換係数を算出する。
【００１４】
位置合わせ部１１４は、位置合わせ変換係数算出部１１２で算出された位置合わせ変換係数に基づき、一方の画像を他方の画像に位置合わせする。
画像信号処理部１１６は、撮影された画像に対して、同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の画像信号処理を行い、画像データを現像する。
【００１５】
図２は、本発明の実施形態に関わる画像処理装置の処理手順の一例を示すフローチャートである。
Ｓ２０１において、複数枚の画像を撮影する処理が行なわれる。以下の説明において、撮影された画像は図３の画像３０１、画像３０２、画像３０３、画像３０４とする。Ｓ２０１における撮影は画像処理装置１００を撮影者が手で保持して行い、撮影された画像間には手振れによる位置ずれが発生している。
【００１６】
次に、Ｓ２０２において、撮影された複数枚の画像の中から基準画像を１つ設定する。本実施形態では画像３０１を基準画像(画像番号ａ＝１)として選択する。以降の処理では、画像３０２、画像３０３、画像３０４を基準画像である画像３０１と被写体の位置を一致させるような位置合わせ変換係数を算出する。
【００１７】
Ｓ２０３において、位置合わせ画像として、まず画像３０２(画像番号ｂ＝２)を選択する。
Ｓ２０４において、基準画像である画像３０１と画像３０２の位置合わせ変換係数Ｈ＿１２を算出するために動きベクトル算出部１１０において、まず画像間の動きベクトルを算出する。動きベクトルの算出方法は種々あるが、本実施形態では画像のテンプレートマッチングを用いる。テンプレートマッチングの方法について図６を用いて以下に説明する。
【００１８】
基準画像である画像３０１の所定位置をテンプレート領域６０１として設定し、テンプレート領域毎に動きベクトル算出部１１０を用い、画像３０１と画像３０２の位置ずれ量を表す動きベクトルを算出する。テンプレートマッチングでは、テンプレート領域６０１を画像３０２上で走査し、類似度が最も高い走査位置を動きベクトルとして算出する。類似度の評価としては、ＳＡＤ（差分絶対値和。Sum Of Absolute Difference）を用いる。テンプレート領域内の画素値の差分絶対値和が最も小さくなる位置をそのテンプレート領域における動きベクトルとする。
【００１９】
基準画像である画像３０１のテンプレート領域はテンプレート領域６０１だけではなく、点線で囲まれた合計１２領域存在し、それぞれの領域毎に前述の動きベクトル算出処理を行い動きベクトルをテンプレート領域毎に算出する。ただし、テンプレート領域６０２のように低コントラストの領域は、精度の高い動きベクトルが算出できないため動きベクトル算出の対象から除外する。結果として、画像３０２上に図示した通り、画像３０１と画像３０２の間では７つの動きベクトルが算出される。
【００２０】
次に、Ｓ２０５において、基準画像である画像３０１と画像３０２の位置合わせ変換係数Ｈ＿１２と信頼度Ｒ＿１２を、位置合わせ変換係数算出部１１２において算出する。
位置合わせ変換係数算出部１１２において行なわれる、位置合わせ変換係数と信頼度の算出する方法について以下に説明する。
【００２１】
本実施形態では、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ ）アルゴリズムに基づく方法を用いて算出する。その方法を図７のフローチャートを用いて説明する。この処理は、制御部１０８が備えている不揮発性メモリに記録されたプログラムを、ワークメモリとして機能するメモリに展開して、同じく制御部１０８が備えているＣＰＵが実行することで実現する。
まず、Ｓ７０１において、算出されたＮ個の動きベクトルからｕ個をランダムに選択する。
次に、Ｓ７０２において、最小二乗法で位置合わせ変換係数Ｈを算出する。位置合わせ変換係数としては、例えば射影変換係数を用いる。ただし、位置合わせ変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した位置合わせ変換係数を用いてもよい。
【００２２】
次に、Ｓ７０３において、算出された位置合わせ変換係数Ｈを用いて、最初に選択されなかったＮ−ｕ個の動きベクトルに対応するテンプレートの中心座標位置の画素を座標変換する。そして、その座標と算出された動きベクトルとの距離差分をＮ−ｕ個分だけ積算し、その位置合わせ変換係数Ｈにおける誤差として算出する。なお、距離差分としてマンハッタン距離やユークリッド距離を用いる。
【００２３】
Ｓ７０４において、Ｓ７０１からＳ７０３までの処理を所定回数繰り返しか否かを判断し、所定回数繰り返した場合には、Ｓ７０５において、誤差が最も小さい位置合わせ変換係数Ｈを仮の位置合わせ変換係数Ｈとして設定する。
次に、Ｓ７０６において、仮の位置合わせ変換係数Ｈを用いて、Ｎ個の動きベクトルに対応するテンプレートの中心座標位置の画素を座標変換し、その座標と算出された動きベクトルとの距離差分が閾値以下の動きベクトルを選択する。また、距離差分が閾値以下である距離差分の和も最終誤差値として保持しておく。
【００２４】
最後に、Ｓ７０７において、選択された動きベクトルを用いて、最小二乗法を用いて最終的な位置合わせ変換係数Ｈを決定する。また、最終誤差値の逆数を信頼度Ｒ＿１２として設定する。なお、本実施形態では信頼度を最終誤差値の逆数としたがこの方法に限定されることなく、最終誤差値からテーブル参照した値を信頼度としたり、最終的に選択された動きベクトルの数を信頼度とすることもできる。
前述したように、動きベクトルと位置合わせ変換係数で座標変換した移動量の差異が小さいときに信頼度は高くする。
【００２５】
また、前述では動きベクトルの数に言及しておらず位置合わせ変換係数Ｈが算出されることを前提にしていたが、動きベクトルの数が所定数以下の場合には位置合わせ変換係数Ｈが算出できない場合がある。例えば、位置合わせ変換係数として射影変換係数を用いる場合、射影変換係数は未知数が８つあるが動きベクトルが４つ以上算出できていない場合には、未知数を決定することができない。その場合には、信頼度Ｒ＿１２を後述する閾値より小さい値に設定する。
【００２６】
図２のフローチャートの説明に戻る。
次に、Ｓ２０６において、Ｈ＿１２の信頼度Ｒ＿１２が閾値以下であるか否かを判定する。本実施形態では、画像３０１と画像３０２の位置合わせ変換係数の信頼度Ｒ＿１２は閾値より大きいとする（Ｓ２０６でＮｏ）。
次に、Ｓ２１０において、算出された位置合わせ変換係数Ｈ＿１２を用いて、位置合わせ部１１４で画像３０２を幾何変換し、基準画像である画像３０１に位置を合わせる。
【００２７】
次に、Ｓ２１１において、全画像の位置合わせ変換係数が算出できているか否かを判定する。本実施形態では画像３０３、画像３０４の位置合わせ変換係数がまだ算出されていないため、Ｓ２１１でＮｏの処理順に従いＳ２１２に進む。
Ｓ２１２においては、画像番号を１つ増やして画像番号ｂ＝３とする。その後、Ｓ２０３に戻る。
【００２８】
Ｓ２０３においては、画像３０２の場合と同様に画像３０３を選択し、Ｓ２０５においては、基準画像である画像３０１の位置合わせ変換係数Ｈ＿１３と信頼度Ｒ＿１３を算出する。本実施形態では、信頼度Ｒ＿１３は閾値以下であるとし（Ｓ２０６でＹｅｓ）、算出した位置合わせ変換係数Ｈ＿１３は位置合わせには用いずに、別の手法で位置合わせ変換係数を算出し直す。
【００２９】
まず、Ｓ２０７において、基準画像である画像３０１と位置合わせ変換係数を算出済みである画像３０２を画像ｃ(画像番号ｃ＝２)として選択する。なお、本実施形態では位置合わせ変換係数を算出済みである画像３０２を選択したが、画像間の手振れ量がより少なくなる可能性の高い撮影時刻の近い画像を選択してもよい。また、信頼度の高い動きベクトルが算出される可能性の高い高周波成分を多く含む画像を選択してもよい。
【００３０】
次に、Ｓ２０８において、画像３０２と画像３０３の位置合わせ変換係数Ｈ＿２３とその信頼度Ｒ＿２３を算出する。算出方法は、Ｓ２０５で説明した内容と同じ手法を用いればよいためここでは記載しない。
【００３１】
Ｓ２０９において、算出された位置合わせ変換係数Ｈ＿２３とＨ＿１２を用いて、基準画像である画像３０１と画像３０３の位置合わせ変換係数Ｈ＿１３を算出する。位置合わせ変換係数Ｈ＿２３を用いて画像３０３を画像３０２の位置に位置合わせした後に、さらに位置合わせ変換係数Ｈ＿１２を用いて基準画像である画像３０１に位置合わせすることで算出される。具体的には下記の式１で表現できる。
Ｈ＿１３＝Ｈ＿１２・Ｈ＿２３          ・・・（式１）
【００３２】
前述したとおり、本実施形態では位置合わせ変換係数として射影変換係数を用いているため、Ｈ＿２３とＨ＿１２は共に３×３の行列であり、行列の積として記述できる。
次に、Ｓ２１０において、算出された位置合わせ変換係数Ｈ＿１３を用いて、位置合わせ部１１４で画像３０３を幾何変換し、基準画像である画像３０１に位置を合わせる。
【００３３】
次に、Ｓ２１１において、再度、全画像の位置合わせ変換係数が算出できているか判定する。本実施形態では画像３０４の位置合わせ変換係数がまだ算出されていないため、Ｓ２１１でＮｏの処理順に従い、Ｓ２１２に進んで画像番号を１つ増やしてｂ＝４とする。
その後、Ｓ２０３に戻り、画像３０４を選択し、その後、Ｓ２０５に進む。
Ｓ２０５においては、画像３０３の場合と同様に位置合わせ変換係数Ｈ＿１４と信頼度Ｒ＿１４を算出し、Ｓ２０６において、Ｈ＿１４の信頼度Ｒ＿１４が閾値以下であるか判定する。本実施形態においては、信頼度Ｒ＿１４が閾値以下であるとする（Ｓ２０６でＹｅｓ）。
【００３４】
まず、Ｓ２０７において、基準画像である画像３０１と位置合わせ変換係数を算出済みである画像３０３を画像ｃ(画像番号ｃ＝３)として選択する。
次に、Ｓ２０８において、画像３０３と画像３０４の位置合わせ変換係数Ｈ＿３４とその信頼度Ｒ＿３４を算出する。算出方法は、Ｓ２０５で説明した内容と同じ手法を用いればよいためここでは記載しない。
【００３５】
次に、Ｓ２０９において、算出された位置合わせ変換係数Ｈ＿３４とＨ＿２３とＨ＿１２を用いて、基準画像である画像３０１と画像３０３の位置合わせ変換係数Ｈ＿１３を算出する。最初に位置合わせ変換係数Ｈ＿３４を用いて画像３０４を画像３０３の位置に位置合わせした後に、位置合わせ変換係数Ｈ＿２３を用いて画像３０２の位置に位置合わせする。
【００３６】
最後に、位置合わせ変換係数Ｈ＿１２を用いて基準画像である画像３０１に位置合わせすることで算出される。具体的には下記の式２で表現できる。
Ｈ＿１４＝Ｈ＿１２・Ｈ＿２３・Ｈ＿３４        ・・・（式２）
【００３７】
前述したとおり、本実施形態では位置合わせ変換係数として射影変換係数を用いているため、Ｈ＿３４とＨ＿２３とＨ＿１２は共に３×３の行列であり、行列の積として記述できる。
次に、Ｓ２１０において、算出された位置合わせ変換係数Ｈ＿１４を用いて、位置合わせ部１１４で画像３０４を幾何変換し、基準画像である画像３０１に位置を合わせる。
次に、Ｓ２１１において、全画像の位置合わせ変換係数が算出できているか判定する。今度は画像３０２、画像３０３、画像３０４の位置合わせ変換係数が算出されたため、処理を終了する。
【００３８】
前述のように位置合わせ変換係数を算出することで、基準画像に対して直接対応する位置合わせ変換係数が算出できなかった場合においても、基準画像とは異なる画像との位置合わせ変換係数を算出するようにした。これにより、基準画像に対する位置合わせ変換係数を算出することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００３９】
［第２の実施形態］
以下、図４と図５を参照して、本発明の第２の実施形態による位置合わせ変換係数算出処理について説明する。構成は第１の実施形態と同様なので説明を省略する。処理についても第１の実施形態と同様の処理は説明を省略する。
【００４０】
図４は、本発明の第２の実施形態に関わる画像処理装置の処理手順の一例を示すフローチャートである。この処理は、制御部１０８が備えている不揮発性メモリに記録されたプログラムを、ワークメモリとして機能するメモリに展開して、同じく制御部１０８が備えているＣＰＵが実行することで実現する。Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０５までは第１の実施形態のフローチャートである図２と同じ処理なので説明を省略する。
【００４１】
第１の実施形態では信頼度が閾値以下の場合に（Ｓ２０６でＹｅｓ）、位置合わせ変換係数を算出し直していた（Ｓ２０７、Ｓ２０８、Ｓ２０９）。
本実施形態では、位置合わせ変換係数の信頼度に関わらず、基準画像との位置合わせ変換係数算出済みの画像（画像番号ｃ）を選択し、その画像との位置合わせ変換係数と信頼度を算出する。
【００４２】
なお、本実施形態では位置合わせ変換係数を算出済みである画像３０２を選択したが、画像間の手振れ量がより少なくなる可能性の高い撮影時刻の近い画像を選択してもよい。また、信頼度の高い動きベクトルが算出される可能性の高い高周波成分を多く含む画像を選択してもよい。
【００４３】
画像３０４を例にしてこの処理を説明する。ここで、位置合わせの基準画像として画像３０１を設定し、画像３０２、画像３０３は基準画像に対する位置合わせ変換係数が既に算出済みであるとする。
Ｓ２０５において、基準画像である画像３０１と画像３０４の間の位置合わせ変換係数Ｈ＿１４と信頼度Ｒ＿１４を算出する。
【００４４】
次に、Ｓ２０７において、基準画像である画像３０１との位置合わせ変換係数算出済みである画像３０２を画像ｃ(画像番号ｃ＝２)として選択し、Ｓ２０８において、画像３０４の位置合わせ変換係数Ｈ＿２４とその信頼度Ｒ＿２４を算出する。
【００４５】
Ｓ２０９において、算出された位置合わせ変換係数Ｈ＿２４とＨ＿１２を用いて、基準画像である画像３０１と画像３０４の位置合わせ変換係数Ｈ＿１４＿１２４を算出する。位置合わせ変換係数Ｈ＿２４を用いて画像３０４を画像３０２の位置に位置合わせした後に、さらに位置合わせ変換係数Ｈ＿１２を用いて基準画像である画像３０１に位置合わせすることで算出される。具体的には、下記の式３で表現できる。
Ｈ＿１４＿１２４＝Ｈ＿１２・Ｈ＿２４        ・・・（式３）
【００４６】
次に、Ｓ４０１で、変換係数算出の条件を満たしているか判定する。本実施形態では、基準画像との位置合わせ変換係数を算出済みの全画像に対し、位置合わせ変換係数と信頼度を算出することをその条件とする。画像３０４の場合は、画像３０１、画像３０２との位置合わせ変換係数とその信頼度は算出済みであるが、画像３０３との位置合わせ変換係数とその信頼度算出されていないため条件を満たしておらず、Ｓ２０７の処理に戻る。なお、判定条件は前述に限定されることなく、位置合わせ変換係数が所定数以上算出された場合に条件を満たすと判定するとしてもよい。
【００４７】
Ｓ２０７において、基準画像である画像３０１との位置合わせ変換係数算出済みである画像３０３を画像ｃ(画像番号ｃ＝３)として選択し、Ｓ２０８において、画像３０４の位置合わせ変換係数Ｈ＿３４とその信頼度Ｒ＿３４を算出する。
算出された位置合わせ変換係数Ｈ＿３４とＨ＿２３とＨ＿１２を用いて、基準画像である画像３０１と画像３０４の位置合わせ変換係数Ｈ＿１４＿１２３４を算出する（Ｓ２０９）。
【００４８】
位置合わせ変換係数Ｈ＿３４を用いて画像３０４を画像３０３の位置に位置合わせした後に、さらに位置合わせ変換係数Ｈ＿２３を用いて画像３０２の位置に位置合わせする。最後に、位置合わせ変換係数Ｈ＿１２を用いて基準画像である画像３０１に位置合わせすることで算出される。具体的には下記の式４で表現できる。
Ｈ＿１４＿１２３４＝Ｈ＿１２・Ｈ＿２３・Ｈ＿３４        ・・・（式４）
【００４９】
基準画像との位置合わせ変換係数を算出済みの全画像に対して、位置合わせ変換係数と信頼度を算出した（Ｓ４０１でＹｅｓ）。
次に、Ｓ４０２において、算出された３つの位置合わせ変換係数Ｈ＿１４＿１４、Ｈ＿１４＿１２４、Ｈ＿１４＿１２３４の中から1つを選択し、最終的に位置合わせに用いる変換係数を選択する。
【００５０】
選択方法は、位置合わせ変換係数Ｈ＿１４＿１４、Ｈ＿１４＿１２４、Ｈ＿１４＿１２３４に対応する信頼度を以下の式で定め、信頼度が一番高い位置合わせ変換係数を優先的に選択する。
Ｒ＿１４＿１４＝Ｒ＿１４                          ・・・（式５）
Ｒ＿１４＿１２４＝Ｒ＿１２・Ｒ＿２４              ・・・（式６）
Ｒ＿１４＿１２３４＝Ｒ＿１２・Ｒ＿２３・Ｒ＿３４  ・・・（式７）
【００５１】
ここで、位置合わせ変換係数Ｈ＿１４、Ｈ＿１２、Ｈ＿２４、Ｈ＿２３、Ｈ＿３４は画像３０１と画像３０４、画像３０１と画像３０２、画像３０２と画像３０４、画像３０３と画像３０４の間の位置合わせ変換係数とする。Ｒ＿１４、Ｒ＿１２、Ｒ＿２４、Ｒ＿２３、Ｒ＿３４は、前述した位置合わせ変換係数に対応する信頼度とする。
【００５２】
選択方法は前述した方法に限定されることなく、位置合わせ変換係数を何回も掛け合わせると誤差が蓄積することを考慮し、信頼度が閾値以上かつ位置合わせ変換係数の掛け合わせ回数が最も少ない位置合わせ変換係数を選択してもよい。つまり、閾値＜Ｒ＿１４＿１２４＜Ｒ＿１４＿１２３４の場合に、位置合わせ変換係数の掛け合わせ回数がより少ない位置合わせ変換係数Ｈ＿１４＿１２４を最終的な位置合わせ変換係数として選択してもよい。
【００５３】
次に、Ｓ２１０において、選択された位置合わせ変換係数を用いて、位置合わせ部１１４で画像３０３を幾何変換し、基準画像である画像３０１に位置合わせする。
Ｓ２１１において、画像３０２、画像３０３、画像３０４の位置合わせ変換係数が算出されたか否かを判断し、算出されたため、処理を終了する。
【００５４】
前述のように、位置合わせ変換係数を複数算出することで基準画像に対してより精度の高い位置合わせ変換係数を選択することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００５５】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５６】
１００  画像処理装置
１０２  撮像レンズ
１０４  撮像素子
１０６  Ａ／Ｄ変換器
１０８  制御部
１１０  動きベクトル算出部
１１２  位置合わせ変換係数算出部
１１４  位置合わせ部
１１６  画像処理部
【図１】
2016076838.tif 000003
【図２】
2016076838.tif 000004
【図３】
2016076838.tif 000005
【図４】
2016076838.tif 000006
【図５】
2016076838.tif 000007
【図６】
2016076838.tif 000008
【図７】
2016076838.tif 000009