(57)【要約】  テンプレート抽出部は、テンプレートマッチングの基準とする元画像内から、テンプレートマッチングを行う際の複数のテンプレートを抽出する。テンプレートマッチング部は、抽出された複数のテンプレートを使用して、合成対象画像をテンプレートマッチングして、合成対象画像内における各テンプレートと画柄が一致する画像位置を特定する。画像合成部は、各テンプレートと特定された画像位置とが一致するように、元画像と合成対象画像間の位置ズレを補正して、両画像を合成する。
2007072678.tif 000002
【特許請求の範囲】
【請求項１】
テンプレートマッチングを行って複数の画像間で画柄が略一致する一致位置を特定し、当該一致位置が重なるように、前記複数の画像を合成するための画像合成方法であって、
基準画像内から前記テンプレートマッチングを行う際のテンプレートとする複数の領域（複数のテンプレート）を抽出する抽出処理を有する画像合成方法。
【請求項２】
請求項１に記載の画像合成方法において、
前記複数のテンプレートは、前記基準画像およびその他の画像の垂直方向または水平方向の位置を合わせるために使用する並進補正用テンプレートと、前記基準画像およびその他の画像の回転方向の位置を合わせるための回転補正用テンプレートとのそれぞれを少なくとも１つ含む画像合成方法。
【請求項３】
請求項２に記載の画像合成方法において、
前記複数のテンプレートは、前記並進補正用テンプレート、および、前記回転補正用テンプレートの双方を含む画像合成方法。
【請求項４】
テンプレートマッチングを行って複数の画像間で画柄が略一致する一致位置を特定し、当該一致位置が重なるように前記複数の画像を合成するための画像合成プログラムであって、
コンピュータに、
基準画像内から前記テンプレートマッチングを行う際のテンプレートとする複数の領域（複数のテンプレート）を抽出する抽出手順を実行させるための画像合成プログラム。
【請求項５】
請求項４に記載の画像合成プログラムにおいて、
前記複数のテンプレートは、前記基準画像およびその他の画像の垂直方向または水平方向の位置を合わせるために使用する並進補正用テンプレートと、前記基準画像およびその他の画像の回転方向の位置を合わせるための回転補正用テンプレートとのそれぞれを少なくとも１つ含む画像合成プログラム。
【請求項６】
請求項５に記載の画像合成プログラムにおいて、
前記複数のテンプレートは、前記並進補正用テンプレート、および、前記回転補正用テンプレートの双方を含むことを特徴とする画像合成プログラム。
【請求項７】
請求項４〜６のいずれか一項に記載の画像合成プログラムを実行する実行装置を備える画像合成装置。
【請求項８】
テンプレートマッチングを行って複数の画像間で画柄が略一致する一致位置を特定するに当たって、前記テンプレートマッチングに使用するテンプレートを抽出するためのテンプレート抽出方法であって、
基準画像を複数の領域に分割した後、各領域の画柄を所定の評価値を用いて評価し、その評価結果に基づいて前記複数の領域の中からテンプレートとして使用する領域を抽出する抽出処理を有するテンプレート抽出方法。
【請求項９】
請求項８に記載のテンプレート抽出方法において、
前記所定の評価値は、各領域内の各画素における隣接画素との濃度値の差分の全画素分の和、各領域内に含まれる全画素の濃度値の標準偏差値、各領域内のコントラスト、各領域とその周囲との濃度平均値の絶対値差、および各領域内のＲＧＢ相関値の少なくともいずれか１つを正規化した値であるテンプレート抽出方法。
【請求項１０】
テンプレートマッチングを行って複数の画像間で画柄が略一致する一致位置を特定するに当たって、前記テンプレートマッチングに使用するテンプレートを抽出するためのテンプレート抽出プログラムであって、
コンピュータに、
基準画像を複数の領域に分割した後、各領域の画柄を所定の評価値を用いて評価し、その評価結果に基づいて前記複数の領域の中からテンプレートとして使用する領域を抽出する抽出手順を実行させるためのテンプレート抽出プログラム。
【請求項１１】
請求項１０に記載のテンプレート抽出プログラムにおいて、
前記所定の評価値は、各領域内の各画素における隣接画素との濃度値の差分の全画素分の和、各領域内に含まれる全画素の濃度値の標準偏差値、各領域内のコントラスト、各領域とその周囲との濃度平均値の絶対値差、および各領域内のＲＧＢ相関値の少なくともいずれか１つを正規化した値であるテンプレート抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を合成するための画像合成方法、画像合成装置、画像合成プログラム、および画像を合成するために使用するテンプレートを抽出するためのテンプレート抽出方法、テンプレート抽出プログラムに関する。
【背景技術】
【０００２】
次のようなテンプレートマッチング装置が特許文献１によって知られている。このテンプレートマッチング装置では、入力された画像と、テンプレートとをマッチング処理して、入力画像とテンプレートにおける合致位置を特定する。【０００３】
【特許文献１】特開２００５−２９３３３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のテンプレートマッチング装置によれば、入力画像とのマッチング処理に使用するテンプレートとして１枚のテンプレートを用いるため、入力画像とテンプレートとの間で、被写体の大きさや写っている被写体の角度がずれた場合に、入力画像とテンプレートにおける合致位置に誤差が生じる可能性がある。
【課題を解決するための手段】
【０００５】
本発明は、テンプレートマッチングを行って複数の画像間で画柄が略一致する一致位置を特定し、当該一致位置が重なるように複数の画像を合成するために、基準画像内からテンプレートマッチングを行う際のテンプレートとする複数の領域（複数のテンプレート）を抽出することを特徴とする。
複数のテンプレートは、基準画像およびその他の画像の垂直方向または水平方向の位置を合わせるために使用する並進補正用テンプレートと、基準画像およびその他の画像の回転方向の位置を合わせるための回転補正用テンプレートとのそれぞれを少なくとも１つ含むことが好ましい。複数のテンプレートは、並進補正用テンプレートと、回転補正用テンプレートの双方を含むようにしてもよい。
本発明はまた、テンプレートマッチングを行って複数の画像間で画柄が略一致する一致位置を特定するに当たって、テンプレートマッチングに使用するテンプレートを抽出するために、基準画像を複数の領域に分割した後、各領域の画柄を所定の評価値を用いて評価し、その評価結果に基づいて複数の領域の中からテンプレートとして使用する領域を抽出することを特徴とする。
所定の評価値は、各領域内の各画素における隣接画素との濃度値の差分の全画素分の和、各領域内に含まれる全画素の濃度値の標準偏差値、各領域内のコントラスト、各領域とその周囲との濃度平均値の絶対値差、および各領域内のＲＧＢ相関値の少なくともいずれかを正規化した値であることが好ましい。
【発明の効果】
【０００６】
本発明によれば、複数のテンプレートを使用してテンプレートマッチングを行うようにしたため、マッチング処理の精度を向上して、入力画像とテンプレートとを精度高く合致することができる。
【図面の簡単な説明】
【０００７】
【図１】画像合成装置の一実施の形態の構成を示すブロック図である。
【図２】画像の撮像面における自由度の具体例を示す図である。
【図３】元画像の具体例を示す図である。
【図４】テンプレート周囲との濃度差の具体例を示す図である。
【図５】周期画像の具体例を示す図である。
【図６】テンプレートマッチングの具体例を模式的に示す図である。
【図７】図７（ａ）は、元画像と合成対象画像との位置関係の一例を示す図、図７（ｂ）は、元画像と合成対象画像とのズレ量を説明するための図である。
【図８】画像の合成過程および合成結果を具体的に示す図である。
【図９】画像合成装置の処理を示すフローチャート図である。
【図１０】変形例におけるマッチング演算カットの具体例を示す図である。
【発明を実施するための最良の形態】
【０００８】
図１は、本発明による画像合成装置の一実施の形態の構成を示すブロック図である。画像合成装置１００としては、例えばパーソナルコンピュータ（パソコン）が使用される。この画像合成装置１００は、入力装置１０１と、画像取込Ｉ／Ｆ１０２と、ハードディスクドライブ（ＨＤＤ）１０３と、制御装置１０４と、モニタ１０５とを備えている。【０００９】
入力装置１０１は、使用者によって操作される種々の入力用装置であり、例えばキーボードやマウスが含まれる。画像取込Ｉ／Ｆ１０２は、デジタルカメラなどの外部機器から画像データを取り込むためのインターフェース部であり、例えばＵＳＢＩ／Ｆなどの有線インターフェース、無線ＬＡＮなどの無線Ｉ／Ｆ、またはメモリカードに記憶されたデータを読み込むメモリカードスロットなどが使用される。ＨＤＤ１０３は、画像取込Ｉ／Ｆ１０２を介して取り込んだ画像データや、後述する種々のプログラムを記録するためのハードディスクドライブである。【００１０】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、テンプレート抽出部１０４ａと、テンプレートマッチング部１０４ｂと、画像合成部１０４ｃとを機能的に有している。制御装置１０４は、後述するように、画像取込Ｉ／Ｆ１０２を介して取り込んだ画像データを各部１０４ａ〜１０４ｃによる処理に基づいて画像処理して合成し、その結果得られる合成画像をモニタ１０５へ出力する。モニタ１０５は、例えば液晶モニタであり、制御装置１０４から出力される合成画像を表示する。【００１１】
制御装置１０４は、ＨＤＤ１０３に記憶されている２枚の画像１０Ａ、１０Ｂについて、一方の画像（１枚目の画像）１０Ａを元画像（基準画像）とし、もう一方の画像（２枚目の画像）１０Ｂを合成対象画像として、元画像１０Ａと合成対象画像１０Ｂとの間でテンプレートマッチングを行って画像を合成する。なお、合成を行う２枚の画像１０Ａ、１０Ｂは、カメラの連写機能などを使用して連続して撮像された画像であり、使用者によってあらかじめ選択されているものとする。【００１２】
なお、制御装置１０４における各部１０４ａ〜１０４ｃによって実現される機能は、ハードウェア的に実現してもよく、ソフトウェア的に実現してもよい。本実施の形態では、制御装置１０４は、ＨＤＤ１０３に記憶されているプログラムを実行することにより、各部による処理をソフトウェア的に実現する。【００１３】
テンプレート抽出部１０４ａは、元画像１０Ａに対して後述するテンプレート評価処理を実行し、元画像１０Ａ内に含まれる２箇所の領域を、合成対象画像１０Ｂとのテンプレートマッチングに使用するためのテンプレートとして抽出する。すなわち２つのテンプレートを抽出する。【００１４】
ここで２つのテンプレートは、一つは並進補正用のテンプレートであり、もう一つは回転補正用のテンプレートである。並進補正用のテンプレートとは、後述するように、画像合成部１０４ｃで元画像１０Ａと合成対象画像１０Ｂとを合成する際に、元画像１０Ａと合成対象画像１０Ｂとの垂直方向、または水平方向の位置ズレを補正して合致させるために使用するテンプレートである。また、回転補正用のテンプレートとは、元画像１０Ａと合成対象画像１０Ｂとの回転方向の位置ズレを補正して合致させるために使用するテンプレートである。【００１５】
このように、並進補正用のテンプレートと回転補正用のテンプレートとを用いて画像を合成する場合には、元画像１０Ａと合成対象画像１０Ｂとの間の縦横方向の位置ズレ、および回転方向の位置ズレを一致させることができる。これに対して画像の撮像面には、図２に示すように、ΔＸ方向、ΔＹ方向、ΔＺ方向、Ｒｏｌｌ方向、Ｐｉｔｃｈ方向、およびＹａｗ方向の６方向の自由度がある。したがって、本実施の形態では、上述した並進補正用のテンプレートと回転補正用のテンプレートとを用いてΔＸ方向、ΔＹ方向、およびＲｏｌｌ方向の位置ズレは補正することができるが、それ以外の方向の位置ズレは補正することができない。【００１６】
しかし、一般的な使用方法でカメラが使用されて場合には、Ｐｉｔｃｈ方向、およびＹａｗ方向のズレは微小である。従って、Ｐｉｔｃｈ方向のズレはΔＹ方向のズレ補正で吸収でき、Ｙａｗ方向のズレはΔＸ方向のズレ補正で吸収できる。ΔＺ方向のズレについては、使用者が歩きながら画像を撮像するなど、通常の撮影では考えられないような極端な方法で撮影しない限り発生しないため、ここでは考慮しなくても影響はないと考えられる。【００１７】
テンプレート抽出部１０４ａは、具体的には次のような処理を行うことにより、元画像１０Ａ内から、並進補正用テンプレートと回転補正用テンプレートとを抽出する。【００１８】
テンプレート抽出部１０４ａは、元画像１０Ａ内を図３に示すように縦７×横９の６３個の領域に分割する。この分割した各領域がテンプレートの候補（テンプレート候補）である。後述する処理が行われることによって、６３個の領域の中から、２つの領域がテンプレートとして抽出される。このために、テンプレート抽出部１０４ａは、各テンプレート候補に対して、エッジ加算値、濃度標準偏差、コントラスト、テンプレート周囲との濃度差、ＲＧＢ相関値のそれぞれを正規化した５つの評価値を用いて、テンプレート候補の評価を行う。なお、このテンプレート候補の評価は、マッチング精度が出やすい画柄をテンプレートとして選択するために行う。【００１９】
テンプレート抽出部１０４ａは、これら５つの評価値を次の（Ａ）〜（Ｅ）に示すように算出する。【００２０】
（Ａ）エッジ加算値の評価値
テンプレート抽出部１０４ａは、まず、エッジ加算値を算出する。エッジ加算値とは、テンプレート候補内の各画素における隣接画素との濃度値の差分の全画素分の和をいう。なお、エッジ加算値を算出するに当たって、差分を算出するための隣接画素は、任意の画素に対して水平方向に隣接する画素、および垂直方向に隣接する画素のいずれでもよい。そして、算出したエッジ加算値（ｍｅａｎＥｄｇｅ）を次式（１）によって正規化して、エッジ加算値の評価値を算出する。次式（１）によって算出される正規化された値、すなわちエッジ加算値の評価値は、その値が大きいほどテンプレートの評価が高いことを表している。
（ｍｅａｎＥｄｇｅ−ｍｉｎ（ｍｅａｎＥｄｇｅ））／Ｒａｎｇｅ（ｍｅａｎＥｄｇｅ）            （１）【００２１】
（Ｂ）濃度標準偏差の評価値
テンプレート抽出部１０４ａは、まず、濃度標準偏差を算出する。濃度標準偏差とは、各テンプレート候補内に含まれる全画素の濃度値の標準偏差値σのことをいう。すなわち、各テンプレート候補内に含まれる全画素におけるＲＧＢそれぞれのσ平均値を算出して、各テンプレート候補の濃度標準偏差とする。そして、算出した濃度標準偏差を、エッジ加算値の場合と同様に正規化する。正規化された値、すなわち濃度標準偏差の評価値は、その値が大きいほどテンプレートの評価が高いことを表している。【００２２】
（Ｃ）コントラストの評価値
テンプレート抽出部１０４ａは、まず、コントラストを算出する。すなわち、各テンプレート候補内に含まれる全画素から最も輝度が高い画素の輝度値（ｍａｘ）と、最も輝度が低い画素の輝度値（ｍｉｎ）を抽出し、（ｍａｘ−ｍｉｎ）／２５５を演算することによって、コントラストを算出する。そして、算出したコントラストを、エッジ加算値の場合と同様に正規化する。正規化された値、すなわちコントラストの評価値は、その値が大きいほどテンプレートの評価が高いことを表している。【００２３】
（Ｄ）テンプレート周囲との濃度差近傍の評価値
テンプレート抽出部１０４ａは、まず、テンプレート周囲との濃度差を算出する。テンプレート周囲との濃度差とは、図４に示すように、元画像１０Ａ上に、テンプレート候補を含み、かつテンプレート候補よりも大きな探索領域４ａを設定したときの、探索領域４ａの濃度平均と、テンプレート候補の濃度平均との絶対値差をいう。そして、算出したテンプレート周囲との濃度差を、エッジ加算値の場合と同様に正規化する。正規化された値、すなわちテンプレート周囲との濃度差の評価値は、その値が大きいほどテンプレートの評価が高いことを表している。これによって、後述するテンプレートマッチング処理において、処理を高速化することができ、近傍との濃度差が大きなテンプレート候補の評価を高くして、テンプレートとして抽出されやすくすることができる。【００２４】
（Ｅ）ＲＧＢ相関値の評価値
テンプレート抽出部１０４ａは、まず、ＲＧＢ相関値を算出する。すなわち、テンプレート候補内各画素において、Ｒ値−Ｇ値、Ｇ値−Ｂ値、およびＢ値−Ｒ値の３つの相関演算を行う。そして、算出したＲＧＢ相関値を、エッジ加算値の場合と同様に正規化する。正規化された値、すなわちＲＧＢ相関値の評価値は、その値が小さいほどテンプレートの評価が高いことを表している。すなわち、図５に示すような、周期画像やコントラストのないグレー画像を含むテンプレート候補は低く評価されるようになり、後述するテンプレートマッチング処理において、精度が出ない画柄がテンプレートとして抽出されることを防ぐことができる。【００２５】
テンプレート抽出部１０４ａは、上述した（Ａ）〜（Ｅ）により算出した５つの評価値、すなわちエッジ加算値の評価値、濃度標準偏差の評価値、コントラストの評価値、テンプレート周囲との濃度差の評価値、およびＲＧＢ相関値の評価値に基づいて、元画像１０Ａ上に設定した６３個のテンプレート候補を評価する。具体的には、各テンプレート候補において、５つの評価値を重み付け加算し、６３個のテンプレート候補を重み付け加算結果の昇順に並べ替えて順位付けを行う。なお、５つの評価値を重み付け加算する際に、各評価値にかける重み値には、あらかじめ実験により算出した値が設定される。【００２６】
これにより、図３に示すように、テンプレート評価結果としての順位が各テンプレート候補に付与される。テンプレート抽出部１０４ａは、この順位付け結果に基づいて、合成対象画像１０Ｂとのテンプレートマッチングに使用するための２つのテンプレート、すなわち上述した並進補正用のテンプレートと回転補正用のテンプレートとを抽出する。具体的には次のように処理する。【００２７】
テンプレート抽出部１０４ａは、並進補正用のテンプレートと回転補正用のテンプレートとの抽出位置が元画像１０Ａ上で離れた位置となるようにそれぞれのテンプレートを抽出する。例えば、並進補正用テンプレートは、図３に示す元画像１０Ａ内の中央付近に設定した領域３ａの中から抽出し、回転補正用テンプレートは、元画像１０Ａ内の四隅にそれぞれ設定した領域３ｂ〜３ｅのいずれかの中から抽出するようにする。【００２８】
ここで、並進補正用テンプレートとしては、領域３ａの中から上述した順位付けの結果、最も順位が高いテンプレート候補を抽出する。また、回転補正用テンプレートとしては、領域３ｂ〜３ｅの中から最も順位が高いテンプレート候補を抽出する。従って、図３における例では、領域３ａの中から順位７のテンプレート候補が並進補正用テンプレートとして抽出され、領域３ｃの中から順位１のテンプレート候補が回転補正用テンプレートとして抽出される。【００２９】
これによって、元画像１０Ａ内の離れた位置から、順位付けが高い２つのテンプレート候補を、それぞれ並進補正用テンプレートおよび回転補正用テンプレートとして抽出することができる。なお、ここでは、並進補正用テンプレートは領域３ａの中から、回転補正用テンプレートは領域３ｂ〜３ｅのいずれかの中から抽出する例について説明した。しかし、並進補正用テンプレートと回転補正用テンプレートを抽出する位置が離れた位置となれば、上述した抽出方法に限定されない。【００３０】
テンプレートマッチング部１０４ｂは、上述したようにテンプレート抽出部１０４ａで抽出された並進補正用テンプレートと回転補正用テンプレートとを使用して、合成対象画像１０Ｂに対してテンプレートマッチングを行い、合成対象画像１０Ｂ内における画柄、すなわち画像パターンがそれぞれのテンプレートの画像パターンと類似（略一致）する位置を特定する。【００３１】
テンプレートマッチング処理を行う方法を図６を用いて説明する。ここでは、テンプレートマッチング部１０４ｂが、図６（ａ）に示すテンプレート（並進補正用テンプレートまたは回転補正用テンプレート）６ａを使用して、テンプレートマッチングする場合について説明する。この場合、テンプレートマッチング部１０４ｂは、図６（ｂ）に示すように、テンプレート６ａに対して合成対象画像１０Ｂを１画素ずつ移動させながら、テンプレート６ａと、当該位置の合成対象画像１０Ｂとのマッチング演算を行って、両者の画柄の類似度（一致度）を判定する。そして、合成対象画像１０Ｂの全体に対してマッチング演算を行った結果、合成対象画像１０Ｂ上の最も類似度が高い位置、例えば座標値を特定する。【００３２】
テンプレート６ａと合成対象画像１０Ｂとのマッチング演算の方法については、公知であるため詳細な説明は省略するが、本実施の形態では、例えば次式（２）を使用してマッチング演算を行うものとする。この次式（２）によって算出される残差和rが小さいほど、テンプレート６ａと合成対象画像１０Ｂとの類似度が高いことを示している。
【数１】
2007072678.tif 000003
（２）
なお、式（２）において、Ｂｍｎは、合成対象画像１０Ｂ内の画素位置ｍ行ｎ列における合成対象画像１０Ｂの濃度値を示し、Ａｍｎは、合成対象画像１０Ｂ内の画素位置ｍ行ｎ列におけるテンプレート６ａの濃度値を示す。【００３３】
以上説明したテンプレートマッチングを、並進補正用テンプレートと、回転補正用テンプレートのそれぞれを使用して行うことによって、合成対象画像１０Ｂ内において、並進補正用テンプレートと類似度が高い画像位置と、回転補正用テンプレートと類似度が高い画像位置を特定することができる。【００３４】
画像合成部１０４ｃは、テンプレートマッチング部１０４ｂによってテンプレートマッチングが行われた結果に基づいて、元画像１０Ａと合成対象画像１０Ｂとを重畳して合成する。具体的な処理方法を図７を用いて説明する。図７（ａ）は、元画像１０Ａと合成対象画像１０Ｂとの位置関係の一例を示す図、図７（ｂ）は、元画像１０Ａと合成対象画像１０Ｂとのズレ量を説明するための図である。【００３５】
画像合成部１０４ｃは、まず、並進補正用テンプレートを用いて、元画像１０Ａと合成対象画像１０Ｂとの垂直方向および水平方向の位置ズレを算出する。すなわち、元画像１０Ａと合成対象画像１０Ｂとを重ね合わせたときに、元画像１０Ａ内における並進補正用テンプレートの位置と、テンプレートマッチング部１０４ｂによって特定された合成対象画像１０Ｂ内において、並進補正用テンプレートと類似度が高い画像位置との水平方向のズレ量ΔＸ１、および垂直方向のズレ量ΔＹ１を算出する。【００３６】
このとき、元画像１０Ａと合成対象画像１０Ｂとを重ね合わせた状態で、元画像１０Ａ内における並進補正用テンプレートに対して類似度が高い画像位置まで、合成対象画像１０Ｂを移動させ、その移動量をズレ量として算出する。なお、一般的に、合成を行う複数の画像間では、それほど大きな画像のズレが発生している可能性が少ないため、探索範囲を、例えば−６４画素〜＋６４画素のように制限することによって、処理時間を短縮することができる。【００３７】
そして、画像合成部１０４ｃは、元画像１０Ａ内における並進補正用テンプレートの位置と、合成対象画像１０Ｂ内において、並進補正用テンプレートとの類似度が高い画像位置とを一致させるように、算出したズレ量分だけ合成対象画像１０Ｂを並進移動させて、両画像間の並進ズレを補正する。すなわち、合成対象画像１０Ｂを水平方向にΔＸ１、垂直方向にΔＹ１移動させる。これによって、例えば２枚の画像が連続して撮像されたときに、撮像時のカメラの向きが画像ごとに微妙に変化した場合であっても、その結果生じる２枚の画像間の水平方向、垂直方向の位置ズレを補正することができる。【００３８】
次に、画像合成部１０４ｃは、回転補正用テンプレートを用いて元画像１０Ａと合成対象画像１０Ｂとの回転方向の位置ズレを補正する。このために、画像合成部１０４ｃは、上述したように並進方向の位置ズレを補正した後の元画像１０Ａ内における回転補正用テンプレートの位置と、テンプレートマッチング部１０４ｂによって特定された合成対象画像１０Ｂ内において、回転補正用テンプレートと類似度が高い画像位置との間の水平方向のズレ量ΔＸ２、および垂直方向のズレ量ΔＹ２を算出する。【００３９】
具体的には、元画像１０Ａ内における回転補正用テンプレートに対して類似度が高い画像位置まで、合成対象画像１０Ｂを移動させ、その移動量をズレ量として算出する。なお、上述した処理で、既に並進方向の補正が完了していることから、画像間のズレは微小なものであると考えられる。従って、探索範囲を、例えば−３２画素〜＋３２画素のように制限することによって、処理時間を短縮することができる。【００４０】
並進補正用テンプレートを使用して両画像の並進方向の位置ズレを補正した後でも、まだ回転補正用テンプレート位置において両画像間にズレが生じている場合には、図２で上述したように、そのズレは回転方向のズレに起因しているものと考えられる。したがって、画像合成部１０４ｃは、回転補正用テンプレート位置における両画像間の水平方向のズレ量ΔＸ２、および垂直方向のズレ量ΔＹ２とに基づいて、ズレ角θを算出する（図７（ｂ）参照）。【００４１】
そして、画像合成部１０４ｃは、元画像１０Ａ内における回転補正用テンプレートの位置と、合成対象画像１０Ｂ内において、回転補正用テンプレートとの類似度が高い画像位置とを一致させるように、算出したズレ角θだけ合成対象画像１０Ｂを回転させて、両画像間の回転ズレを補正する。すなわち、合成対象画像１０Ｂを角度θ回転させる。これによって、２枚の画像が連続して撮像されたときに、撮像時の光軸方向に対するカメラの傾きが画像間で微妙に変化した場合であっても、その結果生じる２枚の画像間の回転ズレを補正することができる。【００４２】
なお、回転方向に発生しているズレが微小な場合には、ズレを補正せずに画像を合成しても、合成後の画像にほとんど影響が出ない場合が多い。よって、本実施の形態では、上述したズレ角θが所定角度以上、例えば±０．１度以上である場合のみ、回転方向のズレを補正するようにし、０．１度未満の場合には、補正しないようにしてもよい。なお、閾値として用いる所定角度は、あらかじめ設定された値を用いてもよいし、使用者が任意に変更できるようにしてもよい。【００４３】
画像合成部１０４ｃは、上述した処理によってズレを補正した後の元画像１０Ａと合成対象画像１０Ｂとを重畳して合成する。これによって、両画像をズレなく合成することができる。【００４４】
図８は、画像合成部１０４ｃによる画像の合成過程および合成結果を具体的に示す図である。図８（ａ）は、元画像１０Ａの具体例を示す図であり、この元画像１０Ａ内では、並進補正用テンプレート７ａおよび回転補正用テンプレート７ｂが抽出されている。図８（ｂ）は、この元画像１０Ａに合成対象画像１０Ｂを重畳した場合の具体例を示している。この図８（ｂ）においては、まだ両画像間のズレが補正されていないため、位置ズレが発生している。このとき、並進補正用テンプレート位置における両画像間のズレ量は、例えば水平方向に−１０画素、垂直方向に−４３画素と算出されたものとする。【００４５】
図８（ｃ）は、図８（ｂ）に示した画像において合成対象画像１０Ｂをズレ量分、すなわち水平方向に１０画素、垂直方向に４３画素移動させて、並進方向のズレを補正した後の画像を示している。そして、この図８（ｃ）に示す画像において、回転補正用テンプレート位置における両画像間のズレ角として−０．２７２度が算出されたものとする。このズレ角は、上述した所定角度（±０．１度）以上であるため、画像合成部１０４ｃは、合成対象画像１０Ｂをズレ角分、すなわち０．２７２度回転させて、回転方向のズレを補正する。その結果、図８（ｄ）に示すズレのない合成後の画像を得ることができる。【００４６】
図９は、本実施の形態における画像合成装置１００の処理を示すフローチャートである。図９に示す処理は、使用者によって入力装置１０１が操作され、画像合成の開始が指示されると、画像合成プログラムがＨＤＤ１０３から読み込まれて起動されることによって実行される。【００４７】
ステップＳ１０において、テンプレート抽出部１０４ａは、使用者によって選択された２枚の画像、すなわち元画像１０Ａと合成対象画像１０ＢとをＨＤＤ１０３から読み込んで、ステップＳ２０へ進む。ステップＳ２０では、テンプレート抽出部１０４ａは、上述したテンプレート評価処理を実行し、上述した（Ａ）〜（Ｅ）の評価値に基づいて、元画像１０Ａ内に設定した各領域に対する順位付けを行う。そして、テンプレート評価結果に基づいて、元画像１０Ａ内から並進補正用テンプレートおよび回転補正用テンプレートを抽出する。その後、ステップＳ３０へ進む。【００４８】
ステップＳ３０では、テンプレートマッチング部１０４ｂは、上述したようにテンプレート抽出部１０４ａで抽出された並進補正用テンプレートと回転補正用テンプレートとを使用して、合成対象画像１０Ｂに対するテンプレートマッチングを行い、合成対象画像１０Ｂ内における画柄、すなわち画像パターンがそれぞれのテンプレートの画像パターンと類似（略一致）する位置を特定する。その後、ステップＳ４０へ進む。【００４９】
ステップＳ４０では、画像合成部１０４ｃは、並進補正用テンプレートを用いて元画像１０Ａと合成対象画像１０Ｂとの垂直方向および水平方向の位置ズレを算出し、そのズレを補正する。その後、ステップＳ５０へ進み、画像合成部１０４ｃは、回転補正用テンプレートを用いて元画像１０Ａと合成対象画像１０Ｂとのズレ角を算出し、そのズレを補正する。その後、ステップＳ６０へ進み、画像合成部１０４ｃは、位置ズレを補正した後の両画像を重畳して合成し、処理を終了する。【００５０】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）並進補正用テンプレートを用いて元画像１０Ａと合成対象画像１０Ｂとの間の並進方向のズレを補正し、回転補正用テンプレートを用いて元画像１０Ａと合成対象画像１０Ｂとの間の回転方向のズレを補正するようにした。これによって、従来のように１つのテンプレートを使用してテンプレートマッチングを行うよりも、精度高く両画像のズレを補正することができる。【００５１】
（２）元画像１０Ａ内から、並進補正用テンプレートと回転補正用テンプレートとを抽出する際に、元画像１０Ａを複数のテンプレート候補に分割した後、各テンプレート候補の画柄を上述した（Ａ）〜（Ｅ）の各評価値を用いて評価する。そして、その評価結果に基づく各テンプレート候補の順位付け結果に基づいて、並進補正用テンプレートと回転補正用テンプレートとを抽出するようにした。これによって、元画像１０Ａ内から、画像の絵柄に応じてテンプレートとするのに相応しい範囲を抽出することができ、テンプレートマッチングの精度を向上することができる。【００５２】
―変形例―
なお、上述した実施の形態の画像合成装置は、以下のように変形することもできる。
（１）上述した実施の形態では、１枚の元画像１０Ａと１枚の合成対象画像１０Ｂとの２枚の画像を合成する例について説明したが、合成対象画像が複数枚、すなわち３枚以上の画像を合成する場合にも適用可能である。この場合には、元画像１０Ａから抽出した並進補正用テンプレートおよび回転補正用テンプレートを用いて、複数枚の合成対象画像の位置ズレを補正して合成するようにすればよい。【００５３】
（２）上述した実施の形態では、テンプレート評価を行うための評価値として、（Ａ）〜（Ｅ）で説明した５つの評価値を用いる例について説明した。しかしこれに限定されず、（Ａ）〜（Ｅ）の評価値のうちの一部のみを用いてもよいし、（Ａ）〜（Ｅ）の評価値に他の評価値を加えて、テンプレート評価を行ってもよい。また、（Ａ）〜（Ｅ）の評価値とは異なるその他の評価値を用いて、テンプレートを評価してもよい。【００５４】
（３）上述した実施の形態では、制御装置１０４が有する１０４ａ〜１０４ｃの各部が実行する処理を図９のフローチャートで示した画像合成プログラムにより実行する例について説明した。しかしこれに限定されず、１０４ａ〜１０４ｃの各部による処理をそれぞれ独立したプログラムとし、これらのプログラムを順番に呼び出して実行するようにしてもよい。すなわち、図９において、テンプレート抽出部１０４ａによって実行されるステップＳ１０およびステップＳ２０の処理をテンプレート抽出プログラムにより実行し、テンプレートマッチング部１０４ｂによって実行されるステップＳ３０の処理をテンプレートマッチングプログラムにより実行し、テンプレート合成部１０４ｃによって実行されるステップＳ４０〜Ｓ６０の処理を画像合成プログラムによって実行してもよい。【００５５】
（４）上述した実施の形態では、テンプレートマッチング部１０４ｂは、テンプレート６ａに対して、合成対象画像１０Ｂを１画素ずつ移動させながら、合成対象画像１０Ｂの全体に対してマッチング演算を行う場合について説明した。しかしこれに限定されず、次に説明するマッチング演算カットの手法を用いて、マッチング演算の処理回数を減らすようにしてもよい。【００５６】
マッチング演算カットとは、テンプレート６ａに対して、合成対象画像１０Ｂを移動させながらマッチングを行う際に、マッチング演算の前にテンプレート６ａ内の画像の統計値と、マッチング演算を行おうとしている位置における合成対象画像１０Ｂ上の画像の統計値とを比較する。なお、ここでは統計値として濃度平均を使用するものとする。その結果、両者の統計値が類似している場合にのみ、その画像位置でマッチング演算を行うようにし、両者の統計値が類似していない場合にはマッチング演算を行わず、テンプレート６ａを移動させる。【００５７】
これによって、統計値の比較という簡易な演算によって両者が類似するか否かをあらかじめ判定したのち、両者が類似する場合のみマッチング演算を行えばよいため、テンプレートマッチングで行うマッチング演算の回数を減らして処理速度を向上することができる。例えば、図１０に示すような合成対象画像１０Ｂとテンプレート６ａとをテンプレートマッチングする場合には、範囲９ａのような画柄がテンプレート６ａと類似（同一）の範囲のみマッチング演算を行えばよい。すなわち、範囲９ｂに示すような画柄がテンプレート６ａとは全く異なる範囲は、マッチング演算の対象から除外することができ、無駄な処理を省くことができる。【００５８】
（５）また、上述した実施の形態では、テンプレートマッチング部１０４ｂは、テンプレート６ａに対して合成対象画像１０Ｂを１画素ずつ移動させながらテンプレートマッチングを行う例について説明したが、これに限定されず、合成対象画像１０Ｂの移動量を変化させるようにしてもよい。例えば、直前にマッチング演算を行った結果、テンプレート６ａと合成対象画像１０Ｂ内の所定範囲との類似度を判定し、類似度が高いときはその近傍にテンプレート６ａと画柄が一致する画像位置が存在すると判断して、合成対象画像１０Ｂの移動量を小さくする。これに対して、類似度が低い場合には、その近くにはテンプレート６ａと画柄が一致する画像位置が存在しないと判断して、合成対象画像１０Ｂの移動量を大きくする。【００５９】
具体的には、合成対象画像１０Ｂの横方向の最大移動量（移動画素数）ＡＡ、および縦方向の最大移動量（移動画素数）ＢＢをあらかじめ設定しておき、これにテンプレート６ａと合成対象画像１０Ｂ内の所定範囲との類似度をかけて、合成対象画像１０Ｂの移動量を算出するようにすればよい。すなわち、次式（３）および（４）により、合成対象画像１０Ｂの横方向の移動量、および縦方向の移動量を算出すればよい。【００６０】
横方向の移動量＝ｆｌｏｏｒ（ＡＡ×（１−類似度））      （３）
縦方向の移動量＝ｆｌｏｏｒ（ＢＢ×（１−その行の類似度平均））    （４）
なお、ここでは、類似度は、０〜１の数値で算出されるものとする。また、ｆｌｏｏｒは、小数点以下を切り捨てるための関数である。【００６１】
これによって、合成対象画像１０Ｂを常に１画素ずつ移動させてマッチング演算を行うよりも、マッチング演算の回数を減らして処理の高速化を図ることができる。なお、この手法を変形例（４）で上述したマッチング演算カットと同時に用いることにより、さらに処理を高速化することができる。【００６２】
上述した実施の形態では、テンプレートに対して、合成対象画像１０Ｂを移動させることによって、テンプレートと合成対象画像１０Ｂとのマッチング演算を行ったが、合成対象画像１０Ｂに対して、テンプレートを移動させるようにしてもよい。【００６３】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。【００６４】
本出願は、以下の文献を基礎として、その内容は引用文としてここに組み込まれる。
日本国特許出願２００５−３６８２２４号（２００５年１２月２１日出願）
【図１】
2007072678.tif 000004
【図２】
2007072678.tif 000005
【図３】
2007072678.tif 000006
【図４】
2007072678.tif 000007
【図５】
2007072678.tif 000008
【図６】
2007072678.tif 000009
【図７】
2007072678.tif 000010
【図８】
2007072678.tif 000011
【図９】
2007072678.tif 000012
【図１０】
2007072678.tif 000013
【国際調査報告】
2007072678.tif 000014
2007072678.tif 000015