(57)【要約】  複数の画像を重ね合わせて合成する際に、共通領域の境界近傍の領域における複数の画像の一致度を算出し、一致度が高い境界近傍の領域が重ね合わせ後の画像上に出るように複数の画像を重ね合わせて合成する。これにより、合成の際の処理を低減しつつ、共通領域での被写体の多重化及び重ね合わせの境界の不自然な断裂を防ぐことが可能となる。
2009040872.tif 000002
【特許請求の範囲】
【請求項１】
撮像位置の異なる複数の画像につき、共通領域と判定された領域の位置を合わせて合成する画像合成装置であって、
前記複数の画像の共通領域を判定する共通領域判定手段と、
前記共通領域判定手段により判定された複数の画像の間の一致の程度を示す一致度を算出する一致度算出手段と、
前記一致度に基づいて、前記複数の画像を重ね合わせるパターンを決定する重ね合わせパターン決定手段とを備え、
前記パターンに基づいて前記複数の画像を重ね合わせる画像合成手段とを有する
ことを特徴とする画像合成装置。
【請求項２】
前記所定の領域は、前記複数の画像を重ね合わせる境界近傍である、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記所定の領域は、前記複数の画像が重なり合う共通領域の外周の少なくとも一部である、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項４】
前記所定の領域は、前記複数の画像が重なり合う共通領域の外周から所定幅だけ共通領域内に入った領域である、
ことを特徴とする請求項１に記載の画像合成装置。  
【請求項５】
前記一致度算出手段は、前記複数の画像の各々から前記所定の領域内の画素を取得し、前記画素の統計量に基づいて一致度を算出する、
ことを特徴とする請求項４に記載の画像合成装置。  
【請求項６】
前記画素の統計量は明るさの統計量である、
ことを特徴とする請求項５に記載の画像合成装置。
【請求項７】
前記画素の統計量は、前記複数の画像において対応する位置にある画素の画素値の差が所定の値以上にある画素の数である、
ことを特徴とする請求項５に記載の画像合成装置。
【請求項８】
前記画素の統計量は、前記複数の画像において対応する位置にある画素の画素値の差の絶対値の累計である、
ことを特徴とする請求項５に記載の画像合成装置。  
【請求項９】
前記重ね合わせパターン決定手段は、前記一致度に基づいて、前記複数の画像が重なる領域において、前記複数の画像のうちいずれかが画像が主として用いられるように、重ね合わせパターンを決定する、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項１０】
前記重ね合わせパターン決定手段は、前記一致度が高い前記所定の領域が、重ね合わせ後の画像上に出るように、重ね合わせパターンを決定する、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項１１】
前記重ね合わせパターン決定手段は、前記一致度が低い前記所定の領域が、重ね合わせ後の画像下に隠れるように、重ね合わせパターンを決定する、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項１２】
重ね合わせる境界近傍の領域で前記複数の画像を重畳させる重畳手段を更に備える、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項１３】
前記重畳手段は、前記重ね合わせパターンに基づいて前記複数の画像を重ね合わせた場合に重ね合わせ後の画像上に出る境界近傍の領域で、重畳処理を行う、  ことを特徴とする請求項１２に記載の画像合成装置。
【請求項１４】
前記複数の画像のうち少なくとも１つの画像を撮影する撮影装置に対し、先に撮影された画像の位置座標とその画像とのずれ量とに基づいて補助情報を作成して出力する撮影補助手段を、
更に備えることを特徴とする請求項１記載の画像合成装置。
【請求項１５】
前記複数の画像のずれ量を算出するずれ量算出手段と、
前記ずれ量に基づいて、前記ずれ量が少なくなるように前記複数の画像のうち少なくとも１つの画像を変換する画像変換手段と、
を更に備え、
前記変換後に、前記複数の画像を重ね合わせる、
ことを特徴とする請求項１記載の画像合成装置。
【請求項１６】
請求項１に記載の画像合成装置を備える画像撮影装置。
【請求項１７】
請求項１に記載の画像合成装置を有する画像撮影装置を備える携帯電話。
【請求項１８】
撮像位置の異なる複数の画像につき、共通領域と判定された領域の位置を合わせて合成する処理をコンピュータに実行させる画像合成プログラムであって、
前記コンピュータを、
前記複数の画像の共通領域を判定する共通領域判定手段と、
前記共通領域判定手段により判定された複数の画像の間の一致の程度を示す一致度を算出する一致度算出手段と、
前記一致度に基づいて、前記複数の画像を重ね合わせるパターンを決定する重ね合わせパターン決定手段と、
前記パターンに基づいて前記複数の画像を重ね合わせる画像合成手段、と
して機能させることを特徴とする画像合成プログラム。
【請求項１９】
撮像位置の異なる複数の画像につき、共通領域と判定された領域の位置を合わせて合成する処理をコンピュータに実行させる画像合成プログラムを記録した記録媒体であって、
前記コンピュータを、
前記複数の画像の共通領域を判定する共通領域判定手段と、
前記共通領域判定手段により判定された複数の画像の間の一致の程度を示す一致度を算出する一致度算出手段と、
前記一致度に基づいて、前記複数の画像を重ね合わせるパターンを決定する重ね合わせパターン決定手段と、
前記パターンに基づいて前記複数の画像を重ね合わせる画像合成手段、と
して機能させることを特徴とする画像合成プログラムを記録した記録媒体。
【請求項２０】
撮像位置の異なる複数の画像につき、共通領域と判定された領域の位置を合わせて合成する処理を行うコンピュータが、
前記複数の画像の共通領域を判定する共通領域判定し、
前記判定された複数の画像の間の一致の程度を示す一致度を算出し、
前記一致度に基づいて、前記複数の画像を重ね合わせるパターンを決定する重ね合わせを行い、
前記パターンに基づいて前記複数の画像を重ね合わせる、
ことを特徴とする画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のデータ化された静止画像を合成する技術に関し、特に動きのある被写体を含む複数の静止画像を合成する技術に関する。
【背景技術】
【０００２】
従来、複数の画像をつなぎ合わせた画像を得る際、各画像をつなぎ合わせるために複数の画像で重複又は共通する領域を「のりしろ」として設定する（以下、のりしろとする領域を共通領域という）。そして、複数の画像間の相対位置を算出して、その相対位置に基づいて複数の画像の位置合わせを行う。位置合わせ後に複数の画像をつなぎ合わせて合成するが、共通領域内であっても複数の画像は撮影した時間のズレによる被写体の動きや変化を含んでおり、完全には一致しないため、共通領域と各画像との境界に不自然な断裂が生じてしまう。【０００３】
そのため、通常は境界が不自然にならないように、境界近傍に位置する共通領域の一部（以下、合成領域）を複数の画像を重畳させて合成する。したがって、つなぎ合わせた結果得られる画像は、１枚の画像のみからなる領域と、複数の画像を重畳して得られた合成画像からなる領域とが混在する画像となる。【０００４】
このように複数の画像を重畳させてつなぎ合わせる際に、複数の画像のそれぞれの合成領域内に動きのある被写体が含まれていた場合、被写体が多重化してしまうという問題があった。  【０００５】
このような問題を解決するために、特許文献１記載の画像合成装置によれば複数の画像を重ね合わせた画像を作成する際に、まず、重ね合わせの対象となる画像を複数の領域に分割し、それぞれの領域毎に複数の画像のうち１つ又は複数の画像を選択する。次に、領域毎に選択された画像を用いて、領域毎に合成された画像を作成し、全領域についてこのようにして合成画像を作成することにより重ね合わせ画像を作成する。【０００６】
しかし、特許文献１記載の画像合成装置は、画像を複数の領域に分割し、領域毎に処理を行う必要があるため、プロセッサが行う処理量が多くなるという技術的課題があった。また、領域毎の画像選択も、画像合成装置によって適切に自動選択することは困難であるという技術的課題もあった。【０００７】
また、特許文献２記載の画像合成装置によれば、まず、２つの画像から被写体と背景とを分離し、２つの画像の背景の部分を合成させた画像を得る。次に、２つの画像から分離された２つの被写体のうちいずれを用いるのかユーザが選択し、選択された被写体を、背景を合成させて得られた画像にさらに合成させる。【０００８】
しかし、特許文献２記載の画像合成装置は、重ね合わせ画像を被写体と背景とに分離する必要があるため、プロセッサが行う処理が多くなるという技術的課題があった。また、ユーザはいずれの画像から分離された被写体を用いるのか選択する必要があるという技術的課題もあった。
【特許文献１】特開２０００−３１６１２５号公報
【特許文献２】特開２００４−７２６８５号公報
【発明の開示】
【０００９】
本発明の目的は、プロセッサの作業量を低減させつつも、自動で共通領域での多重化及びその境界での不自然な断裂を解消することが可能な画像合成技術を提供することである。
【図面の簡単な説明】
【００１０】
【図１】本発明に係わる画像合成装置の原理図である。
【図２】第１実施形態に係わる画像合成装置の構成図である。
【図３】第１実施形態に係わる画像合成装置の行う処理の流れを示すフローチャートである。
【図４】２画像が２次元方向にずれている場合の一致度算出領域を説明する図である。
【図５】一致度算出部の構成例を示す図（その１）である。
【図６】一致度算出部の行う処理の流れを示すフローチャートである。
【図７】一致度算出部の構成例を示す図（その２）である。
【図８】一致度算出部の構成例を示す図（その３）である。
【図９Ａ】１次元方向に２つの画像が互いにずれている場合の、２画像の重ね合わせのパターンを説明する図（その１）である。
【図９Ｂ】１次元方向に２つの画像が互いにずれている場合の、２画像の重ね合わせのパターンを説明する図（その２）である。
【図１０Ａ】２次元方向に２つの画像が互いにずれている場合の重ね合わせのパターンを説明する図（その１）である。
【図１０Ｂ】２次元方向に２つの画像が互いにずれている場合の重ね合わせのパターンを説明する図（その２）である。
【図１０Ｃ】２次元方向に２つの画像が互いにずれている場合の重ね合わせのパターンを説明する図（その３）である。
【図１１】動きのある被写体を含む２画像の重ね合わせを説明する図（その１）である。
【図１２】動きのある被写体を含む２つの画像の重ね合わせを説明する図（その２）である。
【図１３】２つの画像を合成する処理の流れを示すフローチャートである。
【図１４】画像の重ね合わせの境界からの距離に対する２つの画像の合成比率の変化を示す図である。
【図１５Ａ】合成領域で画像Ｐ１及びＰ２を重畳させて合成した結果を示す図（その１）である。
【図１５Ｂ】合成領域で画像Ｐ１及びＰ２を重畳させて合成した結果を示す図（その２）である。
【図１６】第２実施形態に係わる画像合成装置の構成図である。
【図１７】第２実施形態に係わる画像合成装置の行う処理の流れを示すフローチャートである。
【図１８】第３実施形態に係わる画像合成装置の構成図である。
【図１９】第３実施形態に係わる画像合成装置の行う処理の流れを示すフローチャートである。
【図２０】１次元方向にずれた２つの画像のパターンマッチングを説明する図である。
【図２１Ａ】回転が加わった画像の特徴点の対応関係を説明する図（その１）である。
【図２１Ｂ】回転が加わった画像の特徴点の対応関係を説明する図（その２）である。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態を図面を参照しながら説明する。これらの実施形態は、当業者が実施できるように十分詳細に説明されているが、その他の実施形態も利用可能である。例えば、実施形態に対する構成的な、論理的な、電気的な変更は、本発明の主題の範囲から逸脱することなくなされ得る。故に、以下の説明は、限定的に捉えるべきではなく、発明の主題の範囲は、特許請求の範囲およびそれらの法的均等物によって画定されるべきである。【００１２】
さらに、ここに説明されているシステムの機能は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せによって実現することができる。ここに提示されている例は、ユニットごとに一つもしくはそれ以上の機能を組み合わせることができるが、機能の別の組み合わせも本発明の主題の範囲を逸脱することなく実現化することができる。【００１３】
図１は、本発明の原理図である。図１に示すように、本発明にかかわる画像合成装置１０は、複数の画像間の一致又は類似の程度を示す一致度を算出する一致度算出手段１１、複数の画像を重ね合わせる重ね合わせのパターンを決定する上下決定手段１２（重ね合わせパターン決定手段）及び決定されたパターンに基づいて複数の画像を重ね合わせる重ね合わせ手段１３を備える。【００１４】
まず、一致度算出手段１１に複数の画像が入力される。一致度算出手段１１は、入力された複数の画像間の所定の領域内での一致の程度を示す一致度を算出する。より具体的には、一致度算出手段１１は、複数の画像を重ね合わせる境界近傍の領域（一致度算出領域という。後に詳しく説明する。）内において対応する位置にある画素をおのおのの画像から取得し、それらの画素に基づいて、一致度算出領域での複数の画像の一致度を算出する。【００１５】
一致度とは、その領域での複数の画像間の一致又は類似の程度（度合い）を示し、画素の統計量に基づいて算出される値である。一致度が低いことは、その領域で明るさや色等が画像間で大きく異なっていることを意味する。ここで、画素の統計量として、例として、対応する位置にある画素の画素値の差分が所定値より上である画素の数、画素値の差分の絶対値の累計値、所定の領域内における各々の画像の明るさの平均の差分、などが挙げられる。【００１６】
また、所定の領域とは、より具体的には、複数の画像を重ね合わせる境界近傍の領域である。言い換えると、複数の画像が重なり合う共通領域の外周から所定幅だけ共通領域内に入った領域、または重ね合わせの境界上をいう。【００１７】
この一致度によって、その領域に動いている被写体があるか否か判断することができる。例えば、動きのない背景となっている領域の場合、画像間で互いに対応する位置にある画素の明るさや色が大きく変化することはあまりないため、その領域の一致度は高くなる。したがって、一致度が高い場合、その領域は背景となっていると推定できる。逆に、動いている被写体が含まれる領域の場合、画像間で被写体が動いた部分にある画素は、画像間で明るさや色が大きく異なるため、その領域の一致度は低くなる。したがって、一致度が低い場合、その領域に動いている被写体が含まれていると推定できる。【００１８】
上下決定手段１２（重ね合わせパターン決定手段）は、一致度算出手段１１が算出した一致度に基づいて、複数の画像を重ね合わせるパターンを決定する。
より具体的には、上下決定手段１２は、複数の画像を重ね合わせる際に、一致度が高い境界近傍が重ね合わせ後の画像上に出るようなパターンを重ね合わせパターンとして決定する。言い換えると上下決定手段１２は、一致度に基づいて、複数の画像が重なる領域において、複数の画像のうちいずれかの画像が主として用いられるように、重ね合わせパターンを決定する。【００１９】
重ね合わせ手段１３は、上下決定手段１２が決定した重ね合わせパターンに基づいて複数の画像を重ね合わせる。この結果、一致度が低い境界近傍が重ね合わせ後の画像の下に隠れる。【００２０】
上述のように、画像を重ね合わせる境界（つまり共通領域の境界）の近傍での画像間の一致度が高い場合、それらの画像のその領域には動いている被写体が含まれていない可能性が高い。ゆえに、一致度が高い境界近傍が重ね合わせ後の画像上に出るように画像を重ね合わせると、その共通領域には動いている被写体が含まれないので多重化の問題が生じにくいことになる。また、境界近傍に動いている被写体が含まれない画像の場合でも、一致度が高い境界近傍が重ね合わせ後の画像上に出るように画像を重ね合わせると、境界近傍の不自然な断裂が生じにくくなる。【００２１】
ここで、重ね合わせパターンを決定すると、複数の画像が重なる領域において主として用いられる画像も同時に決定される。つまり、上下決定手段１２は、複数の画像が重なる領域において主として用いられるべき画像を決定するともいえる。【００２２】
以上のように、本発明に係わる画像合成装置１０は、共通領域の境界近傍の領域における複数の画像の一致度を算出し、一致度が高い境界近傍の領域が重ね合わせ後の画像上に出るように複数の画像を重ね合わせて合成する。これにより、被写体が含まれる画像の場合、被写体の多重化を防ぐことができる。また、被写体が含まれない画像の場合、画像を重ね合わせた境界に不自然な断裂が生じることを防ぐことができる。【００２３】
さらに、本発明に係わる画像合成装置１０によれば、画像を複数の領域に分割して領域毎に重ね合わせる処理や、画像内で被写体と背景とを分離する処理のような作業量の多い処理は不要である。そして、画像合成装置１０の一致度の算出処理の作業量は少ないため、従来と比べてプロセッサにかかる負荷が少なくなる。【００２４】
さらに、本発明に係わる画像合成装置１０を実現するために、従来の画像合成装置とくらべて大幅な回路規模の増加は必要ないため、画像合成装置１０を比較的安価に実現することが可能である。【００２５】
また、画像合成装置１０は、上記構成に加え、重ね合わせる境界近傍の領域で前記複数の画像を重畳させる重畳手段を更に備えることとしてもよい。画像合成装置１０は、一致度に基づいて複数の画像が重なり合う境界が目立たないようなパターンで画像を重ね合わせるが、そのまま重ね合わせると、目立たないながらも画像のつなぎ目ができる。重畳手段が境界近傍の領域で複数の画像を重畳させることにより、そのつなぎ目が一層目立たなくなる。なお、重畳処理が行われる領域は、具体的には、複数の画像を重ね合わせた場合に重ね合わせ後の画像上にでる境界近傍の領域である。【００２６】
また、画像合成装置１０は、更に、上記構成に加え、複数の画像のうち少なくとも１つを撮影する撮影装置に対し、先に撮影された画像の位置座標とその画像とのずれ量とに基づいて補助情報を作成して出力する撮影補助手段を更に備えることとしてもよい。【００２７】
これにより、撮影者は決められたずれ幅で画像を容易に撮影することが可能となる。
また、画像合成装置１０は、上記構成に加え、複数の画像のずれ量を算出するずれ量算出手段と、ずれ量に基づいて、ずれ量が少なくなるように前記複数の画像のうち少なくとも１つの画像を変換する画像変換手段とを更に備え、変換後に、前記複数の画像を重ね合わせることとしてもよい。【００２８】
これにより、予め位置合わせがされていない複数の画像が入力された場合でも、複数の画像の位置合わせをした後、重ね合わせることが可能となる。
また、画像合成装置１０は、画像撮影装置に備えられることとしてもよい。【００２９】
また、画像合成装置１０を有する画像撮影装置を、携帯電話、ＰＤＡ（Personal Digital Assistant）、パソコン等に備えることとしてもよい。
また、画像合成装置１０を構成する各手段により行われる処理の過程からなる方法も本発明に係わるものであり、この方法によっても上述の目的を達成することが可能である。【００３０】
また、画像合成装置１０を構成する各手段により行なわれる機能と同様の制御をプロセッサに行なわせるプログラム、そのプログラムを記録した記録媒体及びプログラム・プロダクトも本発明に係わるものである。このプログラムをプロセッサに読み出させて、そのプログラムに基づいてプロセッサに、それに接続された各種インターフェース等を制御させることによっても、上述の目的を達成することが可能である。【００３１】
以下、２つの画像を重ね合わせると仮定して説明するが、それは説明をわかりやすくするためであり、画像は２以上であってもよい。さらに、画像を四辺形であると仮定して説明するが、画像の形状は四辺形以外の形状であってもよい。【００３２】
まず、本発明の第１実施形態にかかわる画像合成装置について説明する。第１実施形態に係わる画像合成装置１００は、予め位置決めされた画像Ｐ１及び画像Ｐ２を重ね合わせて合成する。【００３３】
図２は、第１実施形態にかかわる画像合成装置１００の構成図である。図２に示すように、画像合成装置１００は、一致度算出部１１０、上下決定部１５０及び重ね合わせ部１６０を備える。【００３４】
一致度算出部１１０には、予め位置合わせされた画像Ｐ１及びＰ２が入力される。一致度算出部１１０は、画像Ｐ１及びＰ２から、一致度算出領域内で互いに対応する位置にある画素を取得し、その一致度算出領域について一致度を算出する。なお、一致度算出領域は、通常、複数であるため、一致度算出部１１０はそれぞれの一致度算出領域について一致度を算出する。【００３５】
上下決定部１５０は、一致度算出部によって算出された一致度に基づいて、画像Ｐ１及びＰ２の重ね合わせ方を決定する。より具体的には、画像Ｐ１及びＰ２のうちいずれが重ね合わせ後の画像上に出るようにして画像Ｐ１及びＰ２を重ね合わせるのか、決定する。重ね合わせ部１６０は、上下決定部１５０の決定に基づいて、画像Ｐ１及びＰ２を重ね合わせて合成する。合成された画像は出力される。【００３６】
以下、図３を用いて画像合成装置１００が行う処理の流れについて説明する。
まず、画像合成装置１００に画像Ｐ１及びＰ２が入力されると（ステップＳ１）、一致度算出部１１０は複数の一致度算出領域のそれぞれについて一致度を算出する（ステップＳ２）。続いて、上下決定部１５０は、複数の一致度算出領域のうち、どの領域の一致度が高いか判定し（ステップＳ３）、その結果に基づいて、画像Ｐ１及びＰ２の重ね合わせのパターンを決定する（ステップＳ４及びステップＳ５）。重ね合わせ部１６０は、上下決定部１５０の決定に基づいて画像Ｐ１及びＰ２を重ね合わせて合成する（ステップＳ６）。【００３７】
次に、一致度算出部１１０が一致度を算出する領域である一致度算出領域について説明する。まず、画像Ｐ１及びＰ２が上下方向又は水平方向のいずれか１次元方向にずれている場合について説明する。【００３８】
画像Ｐ１及びＰ２が１次元方向にずれている場合、共通領域は、画像Ｐ１の外周のうちの１辺（画像Ｐ１側の境界という）、画像Ｐ２の外周のうちの１辺（画像Ｐ２側の境界という）、及び画像Ｐ１及びＰ２の辺の一部が重ね合わさって形成された２辺によって構成される四辺形となる。この場合、一致度算出領域は２つある。１つは、共通領域の画像Ｐ１側の境界からある画素数分（ある幅分）だけ共通領域内に入った領域であり、１つは画像Ｐ２側の境界からある画素数分（ある幅分）だけ共通領域内に入った領域である。【００３９】
図４を用いて画像Ｐ１及びＰ２が２次元方向にずれている場合の一致度算出領域について説明する。図４に、画像Ｐ１に対して画像Ｐ２が右下にずれた場合の共通領域と一致度算出領域を示す。画像Ｐ１とＰ２が重なり合った領域が共通領域である。共通領域の外周、つまり境界を形成する４辺のうち２辺は、画像Ｐ１の外周を形成する四辺形の隣り合う２辺の一部であり、共通領域の境界の残りの２辺は画像Ｐ２の外周を形成する四辺形の隣り合う２辺の一部である。以下、前者を画像Ｐ１側の境界といい、後者を画像Ｐ２側の境界という。【００４０】
一致度算出領域は２つあり、１つが画像Ｐ１側の境界からある画素数分（ある幅分）だけ共通領域内に入った領域にある、Ｐ１側の一致度算出領域Ｍ１である。他の１つが画像Ｐ２側の境界からある画素数分（ある幅分）だけ共通領域内に入った領域にある、Ｐ２側の一致度算出領域Ｍ２である。【００４１】
図４に示すように、一致度算出領域Ｍ１及びＭ２は共通領域内にあり、共通領域の４つの角のうち向かい合う２角付近の鉤状の領域である。共通領域内で斜線がされた領域については、一致度を算出する必要はない。斜線がされた領域のうち、共通領域の中心付近の領域Ｒ１については、この部分は画像の重ね合わせの境界から離れているからである。斜線がされた領域のうち、共通領域の角部付近の領域Ｒ２及びＲ３については、この部分について一致度を算出しても、一致度算出領域Ｍ１及びＭ２で同じ結果が得られるため、画像の上下を決定するためにはあまり役に立たないからである。【００４２】
以下、一致度算出部１１０についてより詳しく説明する。一致度算出部１１０は一致度を算出するが、その方法は幾つか考えられる。例えば、対応する位置にある２画素の画素値の差分、画像Ｐ１及びＰ２の明るさの統計量、及び・又は境界での画像の連続性に基づいて一致度を算出することとしてもよい。なお、一致度の算出は厳密である必要はないので、例えば縦横１／２にサブサンプリングした縮小画像について一致度を算出することとしても良い。【００４３】
まず、例として、画素値の差分に基づいて一致度を算出する場合について説明する。図５に、画素値の差分に基づいて一致度を算出する一致度算出部１１０の構成例を示す。図５に示すように、一致度算出部１１０は、境界領域選択部１１１、差分算出部１１２−１及び１１２−２、比較部１１３−１及び１１３−２、カウンタ１１４−１及び１１４−２並びに閾値格納部１１５を備える。【００４４】
差分算出部１１２−１、比較部１１３−１及びカウンタ１１４−１は、一致度算出領域Ｍ１について一致度を算出し、差分算出部１１２−２、比較部１１３−２、カウンタ１１４−２は、一致度算出領域Ｍ２について一致度を算出する。前者を画像Ｐ１側算出部といい、後者を画像Ｐ２側算出部ということとする。両者は基本的に同じ構成である。【００４５】
以下、一致度算出部１１０が行う処理の大まかな流れについて説明する。この処理は、図３のステップＳ２に相当する。
画像Ｐ１及びＰ２が境界領域選択部１１１に入力される。境界領域選択部１１１は、入力された画素が、一致度算出領域Ｍ１内にあるか、一致度算出領域Ｍ２内にあるか、それ以外の領域にあるのか、各画素の画像Ｐ１又はＰ２での位置を示す座標情報に基づいて判定する。境界領域選択部１１１は、画素がＰ１側の一致度算出領域Ｍ１内にある場合はＰ１側算出部にその画素を出力し、Ｐ２側の領域Ｍ２内にある場合はＰ２側にその画素を出力し、領域Ｍ１及びＭ２のいずれの領域にもない場合は、その画素は出力せずに他の画素についての処理に移る。境界領域選択部１１１は、入力された画素の全てについてこの処理を行う。【００４６】
以下、Ｐ１側に注目して説明するが、Ｐ２側も基本的に同じ処理をする。まず、画素が入力されると、差分算出部１１２−１（Ｐ２側では１１２−２）は画像Ｐ１及びＰ２で対応する位置にある２つの画素の差分を算出し、その差分の絶対値を比較部１１３−１（Ｍ２側では１１３−２）に出力する。比較部１１３−１（Ｐ２側では１１３−２）は、差分の絶対値を閾値格納部１１５に格納された閾値と比較する。差分の絶対値が閾値よりも大きい場合、カウンタ１１４−１（Ｐ２側では１１４−２）は、カウント値を１インクリメントする。Ｐ１側及びＰ２側で入力された画像についてカウントが終了すると、カウンタ１１４−１及び１１４−２はカウント結果に基づく一致度を比較部１１６に出力する。この場合、一致度は（カウント値＋１）の逆数として得られる。【００４７】
上下決定部１５０の一部を構成する比較部１１６は、Ｐ１側で算出された一致度（この場合はカウント値）と、Ｐ２側で算出された一致度を比較していずれが高いか判定し、判定結果を重ね合わせ部１６０に判定結果を出力する。【００４８】
以下、図６を用いて、一致度を算出する処理の流れを詳しく説明する。以下の説明において、Ｐ１側について説明する。
まず、差分算出部１１２−１は画素の入力を待つ（ステップＳ１０）。差分算出部１１２−１は画素の入力があると（ステップＳ１０：Ｙｅｓ）、画像Ｐ１及びＰ２の対応する位置にある画素の画素値の差分を算出する（ステップＳ１１）。続いて、比較部１１３−１は閾値を閾値格納部１１５から取得し（ステップＳ１２）、その閾値より差分が大きいか否か判定する（ステップＳ１３）。差分の方が大きいと判定した場合（ステップＳ１３：Ｙｅｓ）、カウンタ１１４−１はカウント値を１インクリメントし（ステップＳ１４）、ステップＳ１０に戻る。所定時間待っても画素の入力がない場合（ステップＳ１０：Ｎｏ）、カウンタ１１４−１はカウントを終了する。そして、カウンタ１１４−１は、（カウント値＋１）の逆数、つまりカウント値に１を足した値の逆数を一致度として比較部１１６に出力して（ステップＳ１５）、処理を終了する。Ｐ２側の処理であるステップＳ２０からＳ２５は、Ｐ１側の処理であるステップＳ１０からＳ１５と基本的に同じであるため、説明を省略する。この後、比較部１１６は、Ｐ１側からの一致度とＰ２側からの一致度を比較することになる。【００４９】
ところで、上記構成ではＰ１側とＰ２側で個別の処理ブロックを備えるが、カウンタ１１４−１、１１４−２のみ２つ持ち、それ以外の各部をＰ１側とＰ２側で共有化するように構成しても良い。【００５０】
なお、画素値の差が閾値より大きい画素の数をカウントする場合について説明したが、画像Ｐ１及び画像Ｐ２で対応する位置にある画素の画素値の差（絶対値）の累積値を算出し、その累積値の逆数を一致度としても良い。この場合も、画素値の差が大きい画素が少ないほど一致度が高くなる。【００５１】
次に、画像の明るさの統計量に基づいて一致度を算出する場合について説明する。ここでは、テレビ等でよく使われるＹＣｂＣｒ空間又はＹＰｂＰｒ色空間を例として用いて説明する。これらの色空間では明るさをＹ値で示す。なお、これは例示にすぎず、デバイスによってさまざまな色空間があり、そのいずれの色空間についても基本的に同様な方法で適用可能である。【００５２】
図７に、画像の明るさの統計量に基づいて一致度を算出する一致度算出部１１０の構成例を示す。図７に示すように、一致度算出部１１０は、境界領域選択部１１１、Ｙ平均算出部１１７−１、１１７−２、１１８−１及び１１８−２、差分算出部１１９−１及び１１９−２を備える。【００５３】
Ｙ平均算出部１１７−１、Ｙ平均算出部１１８−１及び差分算出部１１９−１はＰ１側を構成し、Ｙ平均算出部１１７−２、Ｙ平均算出部１１８−２及び差分算出部１１９−２はＰ２側を構成する。両者は基本的に同じ構成である。【００５４】
境界領域選択部１１１は、画像Ｐ１及びＰ２の入力があると、画素の座標情報に基づいて、Ｐ１側の一致度算出領域Ｍ１内にある画素をＰ１側に出力し、Ｐ２側の一致度算出領域Ｍ２内にある画素をＰ２側に出力する。以下、Ｐ１側の各部について説明するが、Ｐ２側も基本的に同様である。【００５５】
境界領域選択部１１１からの画素のうち、画像Ｐ１の画素はＹ平均算出部１１７−１に入力され、画像Ｐ２の画素はＹ平均算出部１１８−１に入力される。Ｙ平均算出部１１７−１は入力された画像Ｐ１の画素のＹ値の平均値を算出して差分算出部１１９−１に出力し、Ｙ平均算出部１１８−１は入力された画像Ｐ２の画素のＹ値の平均値を算出して差分算出部１１９−１に出力する。差分算出部１１９−１は、画像Ｐ１の画素のＹ値の平均値と画像Ｐ１の画素のＹ値の平均値の差分を算出し、その差分の絶対値を一致度として比較部１１６に出力する。なお、Ｙ値の平均値を用いる場合について説明したが、平均値ではなく、Ｙ値の分散や偏差を用いることにしてもよい。【００５６】
次に、境界の連続性に基づいて一致度を算出する場合について説明する。図８に、境界の連続性に基づいて一致度を算出する一致度算出部１１０の構成例を示す。図８に示すように、一致度算出部１１０は、境界領域選択部１１１、差分算出部１２０−１及び１２０−２並びに累積加算部１２１−１及び１２１−２を備える。差分算出部１２０−１及び累積加算部１２１−１は画像Ｐ１側の一致度を算出し、差分算出部１２０−２及び累積加算部１２１−１は画像Ｐ２側の一致度を算出する。Ｐ１側とＰ２側は基本的に同じ装置により構成される。【００５７】
境界の連続性に基づいて一致度を算出する場合、一致度算出部１１０は、一致度算出領域内の画素ではなく境界上の画素について一致度を算出する。この場合、境界領域選択部１１１は、入力された画像Ｐ１及びＰ２の画素の座標情報に基づいて、画像Ｐ１側の境界上にあると判定された画素をＰ１側に出力し、画像Ｐ２側の境界上にあると判定された画素をＰ２側に出力する。【００５８】
以下、Ｐ１側の各部について説明するが、Ｐ２側も基本的に同様である。
Ｐ１側の一致度は、画像Ｐ１及びＰ２のそれぞれにおいてＰ１側の境界上にある２つの画素の差分の絶対値を累積加算することにより算出される。つまり、差分算出部１２０−１は、画像Ｐ１及びＰ２上で対応する位置にある２画素の画素値の差分を算出する。累積加算部１２１−１は、差分算出部１２０−１により算出された差分の絶対値を累積加算し、画像Ｐ１側の境界上にある全ての画素についての処理が終了すると、累積加算の結果がＰ１側の一致度として比較部１１６へ出力される。【００５９】
以上のようにしてＰ１側及びＰ２側の一致度算出領域（又はＰ１側及びＰ２側の境界）について一致度が算出されると、その一致度に基づいて、上下決定部１５０は、Ｐ１側の境界近傍及びＰ２側の境界近傍のいずれを重ね合わせ後の画像上に出るようにして画像Ｐ１及びＰ２を重ね合わせるか決定する。より具体的には、上下決定部１５０は、一致度算出部１１０によって算出された画像Ｐ１側及び画像Ｐ２側の一致度を比較する。そして、画像Ｐ１側の一致度が高いと判定した場合は、画像Ｐ１を画像Ｐ２の上に重ね合わせることを決定し、画像Ｐ２側の一致度が高いと判定した場合は、画像Ｐ２を画像Ｐ１の上に重ね合わせることを決定する。なお、画像Ｐ１側の一致度と画像Ｐ２側の一致度が同じ場合、デフォルトとしていずれを上にするか予め決定することとしてもよいし、ユーザに決定させることとしてもよい。【００６０】
以下、画像Ｐ１及びＰ２を重ね合わせる場合のパターンについて説明する。まず、左右方向又は上下方向の１次元方向にずれている２つの画像Ｐ１及びＰ２を重ね合わせる場合のパターンについて説明する。図９Ａ及び９Ｂでは、図の向かって左右方向（１次元方向）に画像Ｐ１及びＰ２が互いにずれている。このような画像Ｐ１及びＰ２を重ね合わせる場合、画像Ｐ１が上に重なるのか、画像Ｐ２が上に重なるのか、２通りのパターンがある。【００６１】
まず、いずれのパターンでも、共通領域以外の領域では重ね合わせ前と同様に画像Ｐ１又はＰ２のいずれかが用いられる。例えば、共通領域以外の領域のうち、重ね合わせ前に画像Ｐ１であった部分は重ね合わせ後の画像でも画像Ｐ１が用いられ、重ね合わせ前に画像Ｐ２であった部分は重ね合わせ後の画像でも画像Ｐ２が用いられる。【００６２】
共通領域については、画像Ｐ１及びＰ２のいずれが上に重なるパターンであるかによって、用いられる画像が異なる。図９Ａに示すように、画像Ｐ１が画像Ｐ２の上に重なる場合、共通領域のＰ１側の境界が重ね合わせ後の画像上に出る。一方、Ｐ２側の境界は画像Ｐ１の下に隠される。そして、共通領域内では画像Ｐ１が使用される。同様に、図９Ｂに示すように、画像Ｐ２が画像Ｐ１の上に重なる場合、画像Ｐ２側の境界が重ね合わせ後の画像上に出て、画像Ｐ１側の境界は画像Ｐ２の下に隠れる。共通領域内では画像Ｐ２が使用される。【００６３】
次に、左右方向及び上下方向の２次元方向にずれている２つの画像Ｐ１及びＰ２を重ね合わせる場合のパターンについて説明する。この場合、重ね合わせのパターンは４通りある。図１０にそのうち３通りを示す。図１０Ａから図１０Ｃに、図の向かって上下方向及び左右方向に２つの画像がずれている場合の重ね合わせのパターンを示す。【００６４】
図１０Ａ及び１０Ｂは、画像Ｐ２が画像Ｐ１に対して、図面に向かって右下にずれている場合の重ね合わせの２パターンを示す。図１０Ａに示すように、画像Ｐ２が画像Ｐ１の上に重なる場合、画像Ｐ２側の境界が重ね合わせ後の画像上に出て、画像Ｐ１側の境界は重ねあわせ後の画像の下に隠れる。共通領域内では画像Ｐ２が使用される。逆に、図１０Ｂに示すように、画像Ｐ１が画像Ｐ２の上に重なる場合、画像Ｐ１側の境界が重ね合わせ後の画像上に出て、画像Ｐ２側の境界は重ねあわせ後の画像の下に隠れる。そして共通領域内では画像Ｐ１が使用される。
画像Ｐ２が画像Ｐ１に対して、図面に向かって右上にずれている場合の重ね合わせも２パターンある。図１０Ｃに示すように、画像Ｐ１がＰ２の上に重なる場合、画像Ｐ１側の境界が重ね合わせ後の画像上に出る。そして共通領域内では画像Ｐ１が使用される。画像Ｐ２がＰ１の上に重なる場合の図は省略する。【００６５】
共通領域以外の領域については、１次元方向に２画像がずれている場合と同様に、重ね合わせ前に画像Ｐ１であった部分には画像Ｐ１が用いられ、重ね合わせ前に画像Ｐ２であった部分には画像Ｐ２が用いられる。【００６６】
以上のようにして上下決定部１５０によって画像Ｐ１及びＰ２のいずれを上にして重ね合わせるべきか決定されると、重ね合わせ部１６０は、その決定に基づいて画像Ｐ１と画像Ｐ２の何れかを上にして画像Ｐ１及びＰ２を重ね合わせる。【００６７】
このように、画像合成装置１００は、一致度が高い境界近傍が重ね合わせ後の画像上にでるように複数の画像を重ね合わせる。その結果、重ね合わせで上になった境界近傍の領域は、重ねあわせ後の画像上に現れ、重ね合わせで下になった境界近傍の領域は、重ねあわせ後の画像の下に隠れる。【００６８】
上述のように、一致度が高い場合、複数の画像のその境界近傍の領域（一致度算出領域）には動いている被写体が含まれていない可能性が高い。ゆえに、一致度が高い共通領域の境界が外周となっている画像を上にして画像を重ね合わせると、その共通領域には動いている被写体が含まれる恐れが少ないため多重化の問題が生じにくい。【００６９】
また、境界近傍の領域に動いている被写体が含まれていない場合であっても、一致度が高い場合、複数の画像のその境界近傍の領域は互いに似通っているため、一致度が高い境界近傍が外周となっている画像を上にして画像を重ね合わせると、重ねあわせ後の画像で境界に不自然な断裂ができるという問題が生じにくい。【００７０】
以下、図１１及び図１２を用いて、動きのある被写体を含む２画像を重ね合わせる場合について説明する。図１１に示すように、画像Ｐ１及びＰ２には歩いている人物が被写体として撮影されている。人物は図１１の向かって右から左に移動しており、画像Ｐ１が画像Ｐ２より先に撮影されたと仮定する。【００７１】
画像Ｐ１では、画像Ｐ１側の境界近傍の領域（この領域は一致度算出領域でもある）に人物が含まれている。一方、画像Ｐ２では、画像Ｐ１側の境界近傍及び画像Ｐ２側の境界近傍の両方の領域に人物が含まれていない。この場合、一致度算出部１１０が算出する画像Ｐ２側の一致度算出領域の一致度は、画像Ｐ１側の一致度算出領域の一致度よりも高くなる。したがって、上下決定部１５０は、画像Ｐ２を画像Ｐ１の上に重ねることを決定し、重ね合わせ部１６０は、画像Ｐ１を画像Ｐ２の上に重ね合わせた画像を作成する。【００７２】
図１２に、重ね合わせ部１６０が、図１１の画像Ｐ１及びＰ２を重ね合わせて作成する画像を示す。図１２に示すように、画像Ｐ２を画像Ｐ１の上に重ねた結果、画像Ｐ１側の境界近傍の領域に含まれていた人物は画像Ｐ２の下に隠れている。逆に、人物の含まれていない画像Ｐ２側の境界近傍の領域は画像Ｐ１の上に重ねられているが、この部分には動きのある被写体は含まれていない。そして、画像Ｐ２の共通領域外の領域に含まれていた人物が、重ねあわせ後の画像に表れている。このように、画像合成装置１００によれば、重ねあわせ後の画像上での被写体の多重化が避けられる。【００７３】
次に、重ねあわせ部１６０による画像の重ね合わせの変形例について説明する。重ねあわせ部１６０は、画像Ｐ１及びＰ２を重ね合わせる際に、上に重ねられた画像側の境界近傍に現れる断裂を目立たなくするために、境界近傍の画像Ｐ１及びＰ２を重畳させて合成する処理を行うこととしてもよい。以下、重ね合わせ部１６０の行う処理について説明する前に、画像Ｐ１及びＰ２を合成するべき領域、つまり合成領域について説明する。【００７４】
まず、図９Ａ及び９Ｂを用いて、左右方向又は上下方向の１次元方向にずれている２つの画像Ｐ１及びＰ２を重ね合わせる場合の合成領域について説明する。図９Ａに示すように、画像Ｐ１が画像Ｐ２の上に重なる場合、共通領域の画像Ｐ１側の境界からある画素数分（ある幅分）だけ共通領域内に入った領域が、画像Ｐ１及びＰ２を合成するべき合成領域となる。同様に、図９Ｂに示すように、画像Ｐ２が画像Ｐ１の上に重なる場合、共通領域の画像Ｐ２側の境界からある画素数分だけ共通領域内に入った領域が合成領域となる。【００７５】
次に、図１０Ａから１０Ｃを用いて、左右方向及び上下方向の２次元方向にずれている画像Ｐ１及びＰ２を重ね合わせる場合の合成領域について説明する。図１０Ａに示すように、画像Ｐ２が画像Ｐ１の上に重なる場合、画像Ｐ２側の境界からある画素数分だけ共通領域内に入った領域（網掛けされた領域）が合成領域となる。図に示すように、２画像が２次元方向にずれている場合、合成領域の形状は鉤状になる。なお、図１０Ａでは、画像Ｐ２が画像Ｐ１に対して右下にずれている場合を示しているが、画像Ｐ１が画像Ｐ２に対して右下にずれている場合も同様である。【００７６】
一方、図１０Ｂ及び図１０Ｃに示すように、画像Ｐ１が画像Ｐ２の上に重なる場合、画像側の境界からある画素数分だけ共通領域内に入った領域（網掛けされた領域）が合成領域となる。【００７７】
なお、共通領域内にどれだけの画素数分だけ入るのか、つまり合成領域の幅は、画像全体の大きさによって異なる。画像全体の幅の数パーセントから１０数パーセント程度に相当する長さ（画素数）を合成領域の幅としてもよい。【００７８】
次に、図１３を用いて、重ね合わせ部１６０が、画像Ｐ１及びＰ２を合成する処理の流れについて説明する。この処理は、図３のステップＳ６に対応する。この説明では、重ね合わせ部１６０は、２画像を重ね合わせた結果を不図示の出力手段に出力すると仮定して説明する。【００７９】
まず、重ね合わせ部１６０には、上下決定部１５０による決定結果及び２画像が入力される。重ね合わせ部１６０は、入力された２つの画像の画素の座標情報に基づいて、ある座標が共通領域内にあるか否か判定し（ステップＳ３０）、共通領域内にあると判定する場合（ステップＳ３０：Ｙｅｓ）、重ね合わせ部１６０は、さらにその座標が合成領域内にあるのか否か判定する（ステップＳ３１）。【００８０】
共通領域内にないと判定する場合（ステップＳ３０：Ｎｏ）、その座標の画素を重ね合わせ後の座標とともに出力する（ステップＳ３３）。これにより、重ね合わせ前に画像Ｐ１であった部分には画像Ｐ１が用いられ、重ね合わせ前に画像Ｐ２であった部分には画像Ｐ２が用いられることになる。【００８１】
Ｓ３１において、重ね合わせ部１６０が、その座標が合成領域内にあると判定する場合、（ステップＳ３１：Ｙｅｓ）、重ね合わせ部１６０は、座標で互いに対応する画素を画像Ｐ１及びＰ２から取得し、それら２つの画素を重畳させる（ステップＳ３４）。その後、重ね合わせ部１６０は、重畳の結果得られた画素を重ね合わせ後のその画素の座標とともに出力する。【００８２】
ステップＳ３１で、座標が合成領域内にないと判定する場合（ステップＳ３１：Ｎｏ）、重ね合わせ部１６０は、さらに、座標情報と上下決定部１５０による重ね合わせパターンの決定結果に基づいて、重ね合わせ後に共通領域で画像Ｐ１が用いられる場合には（ステップＳ３２：Ｙｅｓ）、重ね合わせ部１６０は重ね合わせ後の座標とともに、画像Ｐ１からの画素を出力する（ステップＳ３５）。あるいは、重ね合わせ後に共通領域で画像Ｐ２が用いられる場合には（ステップＳ３２：Ｎｏ）、重ね合わせ部１６０は、重ね合わせ後の座標とともに画像Ｐ２からの画素を出力する（ステップＳ３６）。【００８３】
重ね合わせ部１６０は、入力された全ての画素についてこれらの処理を行うと（ステップＳ３７）、処理を終了する。
ここで、重ね合わせ部１６０が画像Ｐ１及びＰ２を重畳させて合成する場合に、２画像の合成比率を、画像の境界からその画素までの距離に応じて変化させることとしてもよい。図１４に、画像Ｐ１及びＰ２が左右方向にずれている場合に、画像の重ね合わせの境界からの距離に対する画像Ｐ１及びＰ２を合成する合成比率の変化の例を示す。なお、図１４で画像Ｐ１より画像Ｐ２が小さく表現されているが、これは２画像が重なっていることが分るようにするためであり、両者の大きさが異なっている必要はない。【００８４】
図１４では、画像Ｐ２が画像Ｐ１の上に重なっているため、画像Ｐ２側の境界が重ねあわせ後の画像上に出ている。この場合、画像Ｐ２側の境界で画像Ｐ１とＰ２の合成比率を画像Ｐ１：画像Ｐ２＝１：０とし、合成領域の境界で合成比率を画像Ｐ１：画像Ｐ２＝０：１としてもよい。そして、画像Ｐ２側の境界から合成領域の境界までの間は、画像Ｐ１の合成比率を１から０に徐々に下げ、画像Ｐ２の合成比率を０から１に徐々に上げることとしてもよい。また、図１４では、画像Ｐ１とＰ２の合成比率をリニアに（一次関数的に）変化させる場合を示すが、他の関数を用いることとしてもよい。【００８５】
図１５Ａ及び１５Ｂを用いて、合成領域で画像Ｐ１及びＰ２を重畳させて合成した結果について説明する。図１５Ａ及び１４Ｂに、画像Ｐ２が画像Ｐ１に対して右下にずれている場合の重ね合わせ結果を示す。図１５Ａでは、画像Ｐ１が画像Ｐ２の上に重ねあわされている。この場合、共通領域の画像Ｐ１側の境界近傍が合成領域となっている。そして、画像Ｐ１側の境界での画像Ｐ２の合成比率は１から、合成領域の境界に近づくにつれ、０まで下げられる。その結果、図１５Ａに示すように、濃い灰色で示される画像Ｐ２と白色で示される画像Ｐ１の境界近傍の領域は、濃い灰色から薄い灰色を経て白色まで徐々に変化する。このように、重ね合わせ部１６０が、画像Ｐ１及びＰ２を重ね合わせる際に、画像Ｐ１及びＰ２を重畳させて合成するため、画像の境界近傍に現れる断裂を目立たなくすることができる。【００８６】
図１５Ｂでは、画像Ｐ２が画像Ｐ１の上に重ねあわされている。この場合、図１５Ａとは逆に、共通領域の画像Ｐ２側の境界近傍が合成領域となり、画像Ｐ２側の境界での画像Ｐ１の合成比率が１から、合成領域の境界に近づくにつれ、０まで下げられる。図１５Ｂに示すように、白色で示される画像Ｐ１と濃い灰色で示される画像Ｐ２の境界近傍の領域は、白色から薄い灰色を経て濃い灰色まで徐々に変化し、画像の境界が目立たなくなっている。【００８７】
このように、この変形例では、境界近傍の不自然な断裂が生じないように、重ね合わせ部１６０は境界近傍の領域で画像Ｐ１及びＰ２を重畳させて合成する。画像合成装置１００によれば、画像Ｐ１及びＰ２を重畳する前に、一致度に基づいて共通領域で多重化の問題が生じにくいように画像Ｐ１及びＰ２のいずれかを上にして２画像を重ね合わせるのか決定している。そして、重ね合わせ部１６０は、その決定に基づいて２画像を重ね合わせてから画像を重ね合わせた境界近傍の画像を重畳させる。したがって、画像合成装置１００によれば、境界近傍の画像を重畳させても、多重化の問題が避けることができる。【００８８】
次に、第２実施形態に係わる画像合成装置２００について説明する。第２実施形態にかかわる画像合成装置２００は、予め定められた幅だけ位置がずらされて撮影された複数の静止画像を重ね合わせて合成する。予め定められた幅だけずらすために、撮影装置に回転可能な軸を備え付け、その軸を利用して撮影装置を一定角度回転させることとしてもよいし、撮影者が体を回転させることとしてもよい。【００８９】
その際、画像合成装置２００は、画像合成装置に接続された撮影装置に、先に撮影された画像に対して予め定められた幅だけずらして次の画像を撮影するための補助情報を出力する。なお、画像合成装置２００と撮影装置とに互いに通信する機能を与え、補助情報を画像合成装置２００から撮影装置に送信することとしてもよい。また、撮影装置としてスチルカメラ及びビデオカメラが考えられる。さらに、その撮影装置は、携帯電話やＰＤＡ（Personal Digital Assistant）、パソコン等に備えられることとしてもよい。【００９０】
図１６に、撮影装置に補助情報を出力又は送信する機能を有する画像合成装置２００の構成を示す。図１６に示すように、画像合成装置２００は、ずれ量格納部２１０、撮影補助部２２０、一致度算出部１１０、上下決定部１５０及び重ね合わせ部１６０を備える。【００９１】
ずれ量格納部２１０は、ずれ量として予め定められた幅を格納する。このずれ量は、ユーザに設定させることとしてもよいし、装置の製造当初から設定することとしてもよい。
撮影補助部２２０は、先に撮影された画像（１枚目の画像）及びずれ量に基づいて撮影装置のファインダ上に、１枚目の画像の端及びずれ量として予め定められた幅を示すための補助情報を作成し、その補助情報を撮影装置に出力又は送信する。【００９２】
撮影装置は、補助情報にもとづいて、１枚目の画像の端及びずれ量を示す線又は枠を、撮影対象が出力されたファインダ上に重畳させる。撮影者は２枚目以降を撮影する際に、ファインダ上に重畳された線又は枠に基づいて、１枚目の画像に対して予め定められた幅だけずれた次の画像を簡単に撮影できる。【００９３】
撮影された２枚目の画像は、画像合成装置２００に入力される。一致度算出部１１０、上下決定部１５０及び重ね合わせ部１６０は、１枚目及び２枚目の画像を重ね合わせる。この重ねあわせ処理についてはすでに説明した。【００９４】
以下、図１７を用いて画像合成装置２００の行う処理の流れについて説明する。図１７に示すように、第２実施形態では、第１実施形態のステップＳ１の代わりにステップＳ４０及びＳ４１を行う。【００９５】
まず、ユーザは撮影装置を用いて１枚目の画像を撮影し、撮影装置から、その１枚目の画像が画像合成装置２００に出力又は送信される（ステップＳ４０）。画像合成装置２００は、１枚目の画像及びずれ量格納部２２０に格納されたずれ量に基づいて、１枚目の画像の端を示す枠、及びその枠から予め決められた幅だけ離れた位置を示す線の座標を計算し、その計算結果を補助情報として撮影装置に出力又は送信する。【００９６】
撮影装置は、補助情報にもとづいて、１枚目の画像の端を示す枠及びずれ量を示す線を、撮影対象が出力されたファインダ上に重畳させる。ユーザは２枚目以降を撮影する際に、ファインダ上に重畳された線又は枠に基づいて、１枚目に対して予め定められた幅だけずれた画像を撮影し、撮影された２枚目の画像が画像合成装置２００に出力又は送信される（ステップＳ４１）。【００９７】
続いて、ステップＳ２以降において、１枚目及び２枚目の画像をそれぞれ画像Ｐ１及びＰ２として画像を重ね合わせる処理が行われる。ステップＳ２以降の処理は第１実施形態と同様であるため説明を省略する。【００９８】
このように、第２実施形態に係わる画像合成装置２００によれば、第２実施形態に係わる画像合成装置１００によって達成される利点に加え、２枚目の画像を撮影する際に利用可能な補助情報を作成することができる。これにより、予め定められた幅だけずらされた複数の画像を失敗なく撮影することが可能となる。【００９９】
次に、第３実施形態について説明する。第３実施形態によれば、ずれ量は予め決まっていないため、画像合成装置３００が画像Ｐ１及びＰ２間のずれ量を計算し、ずれを補正した後、画像Ｐ１及びＰ２を重ね合わせる。【０１００】
図１８を用いて、本発明に第３実施形態にかかわる画像合成装置３００の構成を説明する。図１８に示すように、画像合成装置３００は、ずれ量算出部３１０、画像変換部３２０、一致度算出部１１０、上下決定部１５０及び重ね合わせ部１６０を備える。【０１０１】
ずれ量算出部３１０は、入力された画像Ｐ１及びＰ２間のずれ量を算出する。画像変換部３２０は、ずれ量に基づいて、２画像中の同じ被写体が同じ座標に位置するように、一方の画像を変換する。一致度算出部１１０、上下決定部１５０及び重ね合わせ部１６０については、すでに説明した。【０１０２】
以下、図１９を用いて、画像合成装置３００の行う処理の流れについて説明する。図１９に示すように、図３に示す第１実施形態と比べて、第３実施形態ではステップＳ１とＳ２の間にステップＳ５０からＳ５２を行う。【０１０３】
まず、画像合成装置３００に２画像Ｐ１及びＰ２が入力すると（ステップＳ１）、ずれ量算出部３１０は、２画像のずれ量を算出する（ステップＳ５０）。続いて、画像変換部３２０は、算出されたずれ量に基づいて画像Ｐ１及びＰ２のいずれか一方を、ずれがなくなるように変換する（ステップＳ５１）。そして、一致度算出部１１０は、変換後の画像Ｐ１及びＰ２に基づいて共通領域を決定し（ステップＳ５２）、ステップＳ２以下を行う。ステップＳ２以下の処理についてはすでに説明した。【０１０４】
次に、ずれ量算出部３１０によるずれ量の算出の原理について説明する。
画像Ｐ１の特徴点の座標（ｘ，ｙ）と画像Ｐ２の対応する座標（ｘ’，ｙ’）の関係は、ずれ量をΔｘ、Δｙとした場合、以下の式で示すことができる。【０１０５】
ｘ’＝ｘ＋Δｘ
ｙ’＝ｙ＋Δｙ
画像のずれが平行方向のみの場合、画像内のどの座標であってもΔｘ及びΔｙの値は一定である。このとき、Δｘ及びΔｙを検出する方法としては、例えばパターンマッチングがある。例として、図２０に示すような、パソコンを被写体とし、互いに左右方向にずれた画像Ｐ１及びＰ２を用いてこのパターンマッチングについて説明する。【０１０６】
まず、ずれ量算出部３１０は、入力された画像Ｐ１及びＰ２の両者をSobel フィルタにかけることにより、エッジ画像Ｅ１及びＥ２を得る。なお、Sobel フィルタは空間1次微分を計算し、輪郭を検出するフィルタである。次に、ずれ量算出部３１０は、エッジ画像Ｅ１とＥ２の何れか、ここではエッジ画像Ｅ１から特徴点を抽出し、他の画像、ここではエッジ画像Ｅ２からその特徴点に対応する座標の近傍部分を抽出する。続いて、ずれ量算出部３１０は、エッジ画像Ｅ１とＥ２の特徴点近傍の画像を重ね合わせて（パターンマッチング）、ずれ量を算出する。【０１０７】
より具体的には、パターンマッチング法では、背景画像内の小領域画像データ（以下、窓という）が設定され、この窓内の画素値と一致する同一サイズの領域が、対象画像を走査することより探し出される。一致する領域が見つかれば、背景画像の窓の座標と対象画像の窓の座標との差がΔｘ及びΔｙとなる。【０１０８】
しかし、撮影者が撮影用の三脚を用いずに、手に持って撮影した場合、２枚目に撮影された画像には平行移動だけでなく回転も加わることが多い。この場合、ずれ量Δｘ及びΔｙの値は特徴点の座標によって全て異なるため、全特徴点について個別にずれ量Δｘ及びΔｙを算出する必要がある。画像全体のずれ量を求める方法として、例えば平面射影行列（Homography）がある。Homography法は、複数の画像の結合（モザイキング）に使用される技法であり、画像内部の注目すべき複数個の小領域（特徴点）のずれから画像全体のずれ量を算出するアルゴリズムである。【０１０９】
図２１Ａ及び２１Ｂを用いて、画像に回転が加わった場合の特徴点の対応関係について説明する。図２１Ａでは、例として画像ＰＴ１から４つの特徴点Ｔ１からＴ４が抽出され、それぞれの座標が以下のとおりとする。【０１１０】
Ｔ１＝（ｘ１，ｙ１）
Ｔ２＝（ｘ２，ｙ２）
Ｔ３＝（ｘ３，ｙ３）
Ｔ４＝（ｘ４，ｙ４）
一方、図２１Ｂでは画像ＰＴ２内の対応する特徴点Ｔ１’からＴ４’が抽出され、それぞれの座標はそれぞれ以下のとおりとする。【０１１１】
Ｔ１’＝（ｘ１’，ｙ１’）
Ｔ２’＝（ｘ２’，ｙ２’）
Ｔ３’＝（ｘ３’，ｙ３’）
Ｔ４’＝（ｘ４’，ｙ４’）
この場合、Ｔ１からＴ４とＴ１’からＴ４’との間には以下の式が成立する。【０１１２】
Ｔｎ＝ＭＴｎ’
ここで、Ｍは行列であり、Homography Matrix と呼ばれている。画像ＰＴ１及びＰＴ２に共通に存在する特徴点の座標の組からHomography Matrix を算出することができる。【０１１３】
一方の画像の特徴点の座標を（ｘ，ｙ）、他方の画像の特徴点の画像を（ｘ’，ｙ’）とすると、両者の関係を以下の行列式で表すことができる。【０１１４】
【数１】
2009040872.tif 000003
ここで、ｋは任意の０（零）でない数であり、ｍ１からｍ９は任意の数である。数組の特徴点座標を用いることで、このｋ及びｍ１からｍ９のパラメータを算出することができる。算出したHomography Matrix と画像ＰＴ１の任意の座標点（ｘ，ｙ）を行列演算することにより、画像ＰＴ１（ｘ，ｙ）に対応する画像ＰＴ２上の点（ｘ’，ｙ’）を求めることができる。  【０１１５】
このようにして、ずれ量算出部３１０は２画像のずれ量を算出し、画像変換部３２０は算出されたずれ量に基づいて画像Ｐ１及びＰ２のいずれか一方を、ずれがなくなるように変換する。この後、一致度算出部１１０、上下決定部１５０及び重ね合わせ部１６０によって、一致度に基づいて画像Ｐ１及びＰ２の重ね合わせパターンが決定され、それに基づいて画像Ｐ１及びＰ２が重ね合わせられる。したがって、画像合成装置３００によれば、予めずれを補正し、位置決めをされた画像でなくとも、画像を重ね合わせて合成することが可能となる。【０１１６】
本発明に係わる画像合成装置１００、２００及び３００はさまざまな形で実現可能である。以下、本発明に係わる画像合成装置１００、２００及び３００の実現形態について説明する。【０１１７】
たとえば、画像合成装置１００、２００及び３００は、コンピュータを用いて実現可能である。コンピュータ（不図示）は、例えばＣＰＵ（Central Processing Unit ）、メモリ及び入出力インタフェースを備え、これらは互いにバスを介して接続される。入出力インターフェースとして、例えば、液晶パネル、タッチパネル、種々のボタン、ダイヤル等が挙げられる。【０１１８】
画像合成装置１００、２００及び３００を、コンピュータを用いて実現するために、まず画像合成装置を構成する各部によって行われる処理をプロセッサに行わせるためのプログラムをメモリに格納する。そして、ＣＰＵが、メモリを利用してそのプログラムを実行することにより、画像合成装置１００、２００及び３００が実現される。【０１１９】
さらに、この画像合成装置はさまざまな装置に搭載可能である。搭載する装置の例として、例えば、スチルカメラ及びビデオカメラのような画像撮影装置等が上げられる。
例として画像撮影装置に搭載する場合について説明する。画像撮影装置は、多くの場合、レンズ、撮像素子、コントローラ（非汎用プロセッサ）、ディスプレイ、メモリ、入出力インターフェース、及び補助記憶装置を備える。レンズは被写体を撮像素子上に結像させる。撮像素子は結像された画像を電子信号に変換してコントローラに出力する。コントローラはメモリ、記憶装置、インターフェース及びディスプレイを制御する。そして、画像合成装置を構成する各部によって行われる処理をコントローラに行わせるためのプログラムをメモリに格納し、コントローラがこのプログラムをメモリから読み出して実行する。これにより、画像合成装置を搭載する画像撮影装置を実現する。【０１２０】
さらに、画像合成装置を構成する各部によって行われる処理を各種インターフェースに行わせるように制御するコンピュータ・チップ（マイクロコントローラ）を作成し、そのコンピュータ・チップが画像撮影装置を構成する各種機器を制御することにより、画像合成装置を搭載する画像撮影装置を実現することとしてもよい。【０１２１】
また、画像合成装置を構成する各部によって行われる処理をプロセッサに行わせるためのプログラムをメモリ等に書き込んだ状態で画像撮影装置に組み込む（ファームウェア）ことにより、画像合成装置を搭載する画像撮影装置を実現することとしてもよい。【０１２２】
また、さらに、画像合成装置１００、２００及び３００を有する画像撮影装置を備える装置として、ＰＤＡ（Personal Digital Assistant）、パソコン等が挙げられる。
以下、プログラムのローディングについて説明する。上述の実施形態において説明した画像合成装置の機能をコンピュータ、画像撮影装置、並びに画像撮影装置を有する携帯電話及びＰＤＡ等に実現させるプログラムは、さまざまな方法で取得可能である。【０１２３】
例えば、そのプログラムを、コンピュータ等の画像合成装置を実現させるべき装置（プロセッサを含む装置）に接続された外部記憶装置に保存しておき、必要に応じてこのプログラムをメモリにロードさせることとしてもよい。【０１２４】
また、コンピュータで読み取り可能な記録媒体に予め記憶させ、その記録媒体からプログラムを画像合成装置を実現させるべき装置に読み出させて、そのコンピュータのメモリや外部記憶装置に一旦格納させ、この格納されたプログラムをそのコンピュータの有するＣＰＵに読み出させて実行させるように構成すればよい。【０１２５】
また、このプラグラムをプログラム・サーバが備える記憶装置に格納させ、画像合成装置を実現するべき装置に、入力インターフェース及び通信回線を介してダウンロードさせることとしてもよい。この場合、例えば、プログラム・サーバは、上述のプログラムを表現するプログラム・データをプログラム・データ・シグナルに変換し、モデムを用いて変換されたプログラム・データ・シグナルを変調することにより伝送信号を得て、得られた伝送信号を通信回線に出力する。プログラムを受信する装置では、モデムを用いて受信した伝送信号を復調することにより、プログラム・データ・シグナルを得て、得られたプログラム・データ・シグナルを変換することにより、プログラム・データを得る。【０１２６】
なお、送信側のコンピュータと受信側のコンピュータの間を接続する通信回線（伝送媒体）がデジタル回線の場合、プログラム・データ・シグナルを通信することも可能である。また、プログラムを送信するコンピュータと、プログラムをダウンロードするコンピュータとの間に、電話局等のコンピュータが介在しても良い。【０１２７】
以上、本発明の幾つかの実施形態について説明したが、これらの実施形態は任意に組み合わせ可能である。また、本発明の主題を説明するための記述及び図面に基づいて、当業者がなしうるその他の変更は、本発明主題およびそれらの均等物に該当する。
【産業上の利用可能性】
【０１２８】
本発明によれば、複数の画像を重ね合わせて合成する際に、共通領域の境界近傍の領域における複数の画像の一致の程度を示す一致度を算出し、一致度に基づいて、複数の画像の重ね合わせのパターンを決定し、そのパターンに基づいて複数の画像を重ね合わせて合成する。これにより、合成の際の処理を低減しつつ、共通領域での被写体の多重化及び重ね合わせの境界の不自然な断裂を防ぐことが可能となる。
【図１】
2009040872.tif 000004
【図２】
2009040872.tif 000005
【図３】
2009040872.tif 000006
【図４】
2009040872.tif 000007
【図５】
2009040872.tif 000008
【図６】
2009040872.tif 000009
【図７】
2009040872.tif 000010
【図８】
2009040872.tif 000011
【図９Ａ】
2009040872.tif 000012
【図９Ｂ】
2009040872.tif 000013
【図１０Ａ】
2009040872.tif 000014
【図１０Ｂ】
2009040872.tif 000015
【図１０Ｃ】
2009040872.tif 000016
【図１１】
2009040872.tif 000017
【図１２】
2009040872.tif 000018
【図１３】
2009040872.tif 000019
【図１４】
2009040872.tif 000020
【図１５Ａ】
2009040872.tif 000021
【図１５Ｂ】
2009040872.tif 000022
【図１６】
2009040872.tif 000023
【図１７】
2009040872.tif 000024
【図１８】
2009040872.tif 000025
【図１９】
2009040872.tif 000026
【図２０】
2009040872.tif 000027
【図２１Ａ】
2009040872.tif 000028
【図２１Ｂ】
2009040872.tif 000029
【手続補正書】
【提出日】平成21年11月19日(2009.11.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像位置の異なる複数の画像につき、共通画像領域と判定された領域の位置を合わせて合成する画像合成装置であって、
前記複数の画像の共通領域を判定する共通領域判定手段と、
前記共通領域判定手段により判定された複数の画像の間の一致の程度を示す一致度を算出する一致度算出手段と、
前記一致度に基づいて、前記複数の画像を重ね合わせるパターンを決定する重ね合わせパターン決定手段とを備え、
前記パターンに基づいて前記複数の画像を重ね合わせる画像合成手段とを有する
ことを特徴とする画像合成装置。
【請求項２】
前記所定の領域は、前記複数の画像を重ね合わせる境界近傍である、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記所定の領域は、前記複数の画像が重なり合う共通領域の外周の少なくとも一部である、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項４】
前記一致度算出手段は、前記複数の画像の各々から前記所定の領域内の画素を取得し、前記画素の統計量に基づいて一致度を算出する、
ことを特徴とする請求項１に記載の画像合成装置。  
【請求項５】
前記重ね合わせパターン決定手段は、前記一致度に基づいて、前記複数の画像が重なる領域において、前記複数の画像のうちいずれかが画像が主として用いられるように、重ね合わせパターンを決定する、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項６】
前記重ね合わせパターン決定手段は、前記一致度が高い前記所定の領域が、重ね合わせ後の画像上に出るように、重ね合わせパターンを決定する、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項７】
撮像位置の異なる複数の画像につき、共通画像領域と判定された領域の位置を合わせて合成する処理をコンピュータに実行させる画像合成プログラムであって、
前記コンピュータを、
前記複数の画像の共通領域を判定する共通領域判定手段と、
前記共通領域判定手段により判定された複数の画像の間の一致の程度を示す一致度を算出する一致度算出手段と、
前記一致度に基づいて、前記複数の画像を重ね合わせるパターンを決定する重ね合わせパターン決定手段と、
前記パターンに基づいて前記複数の画像を重ね合わせる画像合成手段と
をして機能させることを特徴とする画像合成プログラム。
【請求項８】
撮像位置の異なる複数の画像につき、共通画像領域と判定された領域の位置を合わせて合成する処理を行うコンピュータが、
前記複数の画像の共通領域を判定する共通領域判定し、
前記判定された複数の画像の間の一致の程度を示す一致度を算出し、
前記一致度に基づいて、前記複数の画像を重ね合わせるパターンを決定する重ね合わせを行い、
前記パターンに基づいて前記複数の画像を重ね合わせる、
ことを特徴とする画像合成プログラム。
【国際調査報告】
2009040872.tif 000030
2009040872.tif 000031