(57)【要約】【課題】見る人に面白さを感じさせる画像を手軽に作り出す。【解決手段】被写体が異なる２つの画像において、２つの画像のそれぞれから共通した絵柄上の特徴を有する領域を検出する検出手段と、検出手段により検出された領域の少なくとも一部同士を重み付けして重ね合わせることにより、その２つの画像を継ぎ合わせる合成手段とを備えた画像合成装置を提供する。【選択図】図４
2010033246.tif 000002
【特許請求の範囲】
【請求項１】
被写体が異なる２つの画像のそれぞれから共通した絵柄上の特徴を有する領域を検出する検出手段と、
該検出手段により検出された領域の少なくとも一部同士を重み付けして重ね合わせることにより、前記２つの画像を継ぎ合わせる合成手段と
を備えたことを特徴とする画像合成装置。
【請求項２】
前記検出手段が、前記２つの画像中に異なる種類の共通した絵柄上の特徴を有する領域同士が複数存在する場合、予め設定しておいた優先順位が最も高い種類の絵柄上の特徴が共通する領域同士だけを検出するものであることを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記検出手段により前記２つの画像のそれぞれから異なる種類の共通した絵柄上の特徴を有する領域同士が複数検出された場合、
前記合成手段が、前記検出手段により検出された複数の領域同士のうち、予め設定しておいた優先順位が最も高い種類の絵柄上の特徴が共通する領域同士の少なくとも一部同士を重み付けして重ね合わせることにより、前記２つの画像を継ぎ合わせるものであることを特徴とする請求項１記載の画像合成装置。
【請求項４】
前記検出手段により前記２つの画像のそれぞれから異なる種類の共通した絵柄上の特徴を有する領域同士が複数検出された場合、
前記合成手段が、前記検出手段により検出された複数の共通した絵柄上の特徴を有する領域同士のうち、面積が最も大きい共通した絵柄上の特徴を有する領域同士の少なくとも一部同士を重み付けして重ね合わせることにより、前記２つの画像を継ぎ合わせるものであることを特徴とする請求項１記載の画像合成装置。
【請求項５】
前記被写体が異なる２つの画像が、撮影場所及び撮影時刻のうち少なくとも１つが互いに異なる画像であることを特徴とする請求項１記載の画像合成装置。
【請求項６】
被写体が異なる複数の画像から、共通した絵柄上の特徴を有する領域が存在する２つの画像を検出する検出手段と、
該検出手段により検出された２つの画像における、前記共通した絵柄上の特徴を有する領域の少なくとも一部同士を重み付けして重ね合わせることにより、前記２つの画像を継ぎ合わせる合成手段と
を備えたことを特徴とする画像合成装置。
【請求項７】
前記特徴が、色、エッジの複雑度、被写体の形状、水平方向の直線成分の存在、及び垂直方向の直線成分の存在のいずれか１つであることを特徴とする請求項１から６のいずれか１項記載の画像合成装置。
【請求項８】
前記検出手段が、
被写体が異なる複数の画像から、該複数の画像中の１つの対象画像に対して、該対象画像の少なくとも一部の領域と共通した絵柄上の特徴を有する領域が存在する２以上の画像を検出する第１の検出部と、
該第１の検出部により検出された画像毎に、該画像と前記対象画像における前記共通した絵柄上の特徴を有する領域同士の共通度を算出する算出部と、
該算出部により算出された共通度が最も高い画像と前記対象画像を、前記２つの画像として検出する第２の検出部と
を備えたものであることを特徴とする請求項６記載の画像合成装置。
【請求項９】
前記算出部が、前記共通した絵柄上の特徴を有する領域同士が複数種類の共通した絵柄上の特徴を有する場合、該各種類の共通した絵柄上の特徴による共通度に基づいて前記領域同士の共通度を算出するものであることを特徴とする請求項８記載の画像合成装置。
【請求項１０】
表示画面上に、前記合成手段により前記２つの画像が継ぎ合わせられる前の前記２つの画像のいずれかと、前記２つの画像が継ぎ合わせられてなる画像とを切り換えて表示させる表示制御手段を備えたことを特徴とする請求項１から９のいずれか１項記載の画像合成装置。
【請求項１１】
前記表示制御手段が、前記表示画面上に表示させる画像を前記表示画面の大きさに合わせて拡大／縮小し、該拡大／縮小された画像を前記表示画面上に表示させるものであることを特徴とする請求項１０記載の画像合成装置。
【請求項１２】
表示画面上に、前記合成手段により前記２つの画像が継ぎ合わせられてなる画像を、前記２つの画像中のいずれか一方の画像から他方の画像へそれらの画像間の継ぎ合わせ部を経由して移っていくように表示させる表示制御手段を備えたことを特徴とする請求項１から９のいずれか１項記載の画像合成装置。
【請求項１３】
被写体が異なる２つの画像のそれぞれから共通した絵柄上の特徴を有する領域を検出し、
該検出された領域の少なくとも一部同士を重み付けして重ね合わせることにより、前記２つの画像を継ぎ合わせる
ことを特徴とする画像合成方法。
【請求項１４】
被写体が異なる複数の画像から、共通した絵柄上の特徴を有する領域が存在する２つの画像を検出し、
該検出された２つの画像における、前記共通した絵柄上の特徴を有する領域の少なくとも一部同士を重み付けして重ね合わせることにより、前記２つの画像を継ぎ合わせる
ことを特徴とする画像合成方法。
【請求項１５】
コンピュータに、
被写体が異なる２つの画像のそれぞれから共通した絵柄上の特徴を有する領域を検出し、
該検出された領域の少なくとも一部同士を重み付けして重ね合わせることにより、前記２つの画像を継ぎ合わせる
ことを実行させる画像合成プログラム。
【請求項１６】
コンピュータに、
被写体が異なる複数の画像から、共通した絵柄上の特徴を有する領域が存在する２つの画像を検出し、
該検出された２つの画像における、前記共通した絵柄上の特徴を有する領域の少なくとも一部同士を重み付けして重ね合わせることにより、前記２つの画像を継ぎ合わせる
ことを実行させる画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体が異なる画像同士を共通する絵柄上の特徴に基づいて合成する画像合成装置および方法ならびにプログラムに関するものである。
【背景技術】
【０００２】
従来、複数の画像を合成して１枚の合成画像を生成することが行われている。
【０００３】
特許文献１では、動画に所望の静止画を挿入したい位置を予め指定し、その指定情報に応じてその静止画を動画の一部に挿入・合成することが提案されている。
【０００４】
特許文献２では、対象画像から被写体画像を抽出し、その被写体画像に対応するポーズの「ウサギ」、「クマ」などのアニメ画像を取得し、取得したアニメ画像を対象画像の一部に挿入・合成することが提案されている。
【０００５】
また、広い範囲の景色などをカメラの撮影方向を変えながら複数回に分けて撮影し、得られた複数の画像に画像間の露出の違いや歪みの補正を自動的に行い、画像の継ぎ目が目立たないように継ぎ合わせることにより、パノラマ写真を生成することが行われている。
【特許文献１】特開平１１−２３９３１８号公報
【特許文献２】特開平２００３−３４６１７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１では、ユーザーが予め指定した静止画を、予め指定した動画中の位置に挿入・合成しているので、ユーザーの指定通りの合成結果が得られるに過ぎず、面白味に欠ける。
【０００７】
特許文献２では、被写体画像に対応するポーズのアニメ画像を取得し、挿入・合成しているので、あらゆる被写体画像に対応できるように、様々なポーズのアニメ画像を予め用意しておく必要があり、手軽に実現することができない。
【０００８】
パノラマ写真は、継ぎ合わせるべき画像同士が当たり前の位置関係で継ぎ合わせられるに過ぎず、面白味に欠ける。
【０００９】
本発明は、上記事情に鑑み、見る人に面白さを感じさせる画像を手軽に作り出すことができる画像合成装置および方法ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の画像合成装置は、被写体が異なる２つの画像のそれぞれから共通した絵柄上の特徴を有する領域を検出する検出手段と、検出手段により検出された領域の少なくとも一部同士を重み付けして重ね合わせることにより、その２つの画像を継ぎ合わせる合成手段とを備えたことを特徴とするものである（第１の画像合成装置）。
【００１１】
上記装置において、検出手段は、２つの画像中に異なる種類の共通した絵柄上の特徴を有する領域同士が複数存在する場合、予め設定しておいた優先順位が最も高い種類の絵柄上の特徴が共通する領域同士だけを検出するものであってもよい。
【００１２】
また、検出手段により２つの画像のそれぞれから異なる種類の共通した絵柄上の特徴を有する領域同士が複数検出された場合、合成手段は、検出手段により検出された複数の領域同士のうち、予め設定しておいた優先順位が最も高い種類の絵柄上の特徴が共通する領域同士の少なくとも一部同士を重み付けして重ね合わせることにより、その２つの画像を継ぎ合わせるものであってもよい。
【００１３】
また、検出手段により２つの画像のそれぞれから異なる種類の共通した絵柄上の特徴を有する領域同士が複数検出された場合、合成手段は、検出手段により検出された複数の共通した絵柄上の特徴を有する領域同士のうち、面積の比率が最も大きい共通した絵柄上の特徴を有する領同士域の少なくとも一部同士を重み付けして重ね合わせることにより、その２つの画像を継ぎ合わせるものであってもよい。
【００１４】
また、被写体が異なる２つの画像は、撮影場所及び撮影時刻のうち少なくとも１つが互いに異なる画像であってもよい。
【００１５】
本発明の画像合成装置は、被写体が異なる複数の画像から、共通した絵柄上の特徴を有する領域が存在する２つの画像を検出する検出手段と、検出手段により検出された２つの画像における、共通した絵柄上の特徴を有する領域の少なくとも一部同士を重み付けして重ね合わせることにより、その２つの画像を継ぎ合わせる合成手段とを備えたことを特徴とするものである（第２の画像合成装置）。
【００１６】
上記装置において、検出手段は、被写体が異なる複数の画像から、複数の画像中の１つの対象画像に対して、その対象画像の少なくとも一部の領域と共通した絵柄上の特徴を有する領域が存在する２以上の画像を検出する第１の検出部と、第１の検出部により検出された画像毎に、その画像と対象画像における共通した絵柄上の特徴を有する領域同士の共通度を算出する算出部と、算出部により算出された共通度が最も高い画像と対象画像を、上記２つの画像として検出する第２の検出部とを備えたものであってもよい。
【００１７】
ここで、算出部は、共通した絵柄上の特徴を有する領域同士が複数種類の共通した絵柄上の特徴を有する場合、その各種類の共通した絵柄上の特徴による共通度に基づいて領域同士の共通度を算出するものであってもよい。
【００１８】
上記各装置において、特徴は、色、エッジの複雑度、被写体の形状、水平方向の直線成分の存在、及び垂直方向の直線成分の存在のいずれか１つであってもよい。
【００１９】
また、上記各装置は、表示画面上に、合成手段により２つの画像が継ぎ合わせられる前のその２つの画像のいずれかと、その２つの画像が継ぎ合わせられてなる画像とを切り換えて表示させる表示制御手段を備えたものであってもよい。ここで、表示制御手段は、表示画面上に表示させる画像をその表示画面の大きさに合わせて拡大／縮小し、拡大／縮小された画像を表示画面上に表示させるものであってもよい。
【００２０】
また、表示画面上に、合成手段により２つの画像が継ぎ合わせられてなる画像を、その２つの画像中のいずれか一方の画像から他方の画像へそれらの画像間の継ぎ合わせ部を経由して移っていくように表示させる表示制御手段を備えたものであってもよい。
【００２１】
本発明の画像合成方法は、被写体が異なる２つの画像のそれぞれから共通した絵柄上の特徴を有する領域を検出し、検出された領域の少なくとも一部同士を重み付けして重ね合わせることにより、その２つの画像を継ぎ合わせることを特徴とするものである（第１の画像合成方法）。
【００２２】
本発明の画像合成方法は、被写体が異なる複数の画像から、共通した絵柄上の特徴を有する領域が存在する２つの画像を検出し、検出された２つの画像における、共通した絵柄上の特徴を有する領域の少なくとも一部同士を重み付けして重ね合わせることにより、その２つの画像を継ぎ合わせることを特徴とするものである（第２の画像合成方法）。
【００２３】
本発明の第１および第２の画像合成プログラムは、それぞれ上記第１および第２の画像合成方法をコンピュータに実行させるものである。
【００２４】
なお、ここで「被写体が異なる画像」というのは、被写体が完全に異なる画像を意味するものであり、一部の領域に同一の被写体が重複して撮影されている画像や、連続性のある被写体が分割して撮影されている画像であって、その画像の端部同士をつき合わせると前記連続性のある被写体を完全に再現できる画像は含まないものである。
【発明の効果】
【００２５】
本発明の画像合成装置および方法ならびにプログラムによれば、被写体が異なる２つの画像、あるいは被写体が異なる複数の画像から検出された２つの画像における、共通した絵柄上の特徴を有する領域の少なくとも一部同士を重み付けして重ね合わせることにより、その２つの画像を継ぎ合わせるようにしたので、多様な任意の保有画像を用いて、自然な感じがする画像だけれども、実在しない世界が広がる不思議な画像を手軽に作り出すことができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の画像合成装置の実施の形態について説明する。なお、図１に示す本発明の一実施形態である画像合成装置１は、補助記憶装置に読み込まれた画像合成プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この画像合成プログラムは、CD‐ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。
【００２７】
画像合成装置１は、被写体が異なる画像同士を共通する絵柄上の特徴に基づいて合成するものであって、図１に示すように、検出部10、合成部20、表示部30などを備えている。
【００２８】
検出部10は、入力された２以上の画像の各々について絵柄上の特徴を解析することにより、共通した絵柄上の特徴を有する領域が存在する画像の組み合わせを検出する。
【００２９】
ここで、絵柄上の特徴は、例えば色、エッジの複雑度、被写体の形状、水平方向の直線成分の存在、及び垂直方向の直線成分の存在である。
【００３０】
検出部10は、入力された画像が２つである場合、２つの画像それぞれから共通した絵柄上の特徴を有する領域を検出する処理を行い、共通する絵柄上の特徴を有する領域が検出された場合には、それらの画像の組み合わせを合成部20に出力する。
【００３１】
以下、共通した絵柄上の特徴を有する領域を検出する処理の具体例について説明する。
【００３２】
図２および図３に示すように、入力された画像1A、1Bのそれぞれについて、その画像中の各画素に色（RGB成分等）を求め、同等の色を有する隣接する画素同士を統合することにより、その画像を複数の統合された画素群からなる領域に分割し、分割された領域毎にその領域を構成する各画素の色に基づいてその領域の色（RGB成分等）を決定する。画像1Aは、領域R11（グレー）、R12（濃い緑）、R13（青）に分割され、画像1Bは、R14（青）、R15（ベージュ）、R16（緑）、R17（グレー）、R18（赤）に分割されている。
【００３３】
次に、その決定された領域の色に基づいて、２つの画像1A、1Bのそれぞれから共通した色を有する領域を検出する。画像1Aおよび画像1Bでは、領域R13、R14の色が青であり、色を共通にしているので、共通する色を有する領域として検出される。
【００３４】
なお、ここで、領域同士が色を共通にしているとは、所定の色の評価基準により同一性を有する色として判断される色を有していることを意味し、例えばRGBそれぞれを軸とする３次元の色空間を考え、この空間内での距離が所定のしきい値以下である色同士を同一性がある色として判断し、そのような同一性がある色を有する領域同士を、色を共通にしている領域という。
【００３５】
また、図５および図６に示すように、入力された画像2A、2Bのそれぞれについてエッジ解析を行い、その画像中の被写体の形状を取得する。画像2Aでは、画像の中央から右側に並ぶ複数のビルが縦長の長方形であり、画像の下部に位置する海が横長の長方形であるという被写体の形状情報が取得され、画像2Bでは、画像の中央から左側に並ぶ複数のビルが縦長の長方形であり、画像の下部に位置する海が横長の長方形であるという被写体の形状情報が取得される。
【００３６】
次に、取得された被写体の形状情報に基づいて、２つの画像2A、2Bのそれぞれから共通した形状を有する被写体領域を検出する。画像２Ａおよび画像2Bでは、領域R21、R23が共に縦長の長方形の被写体形状を有する領域であり、共通した形状を有する被写体領域として検出される。また、領域R22、R24も共に横長の長方形で共通した被写体形状を有する領域であり、共通した形状を有する被写体領域として検出される。
【００３７】
また、図８および図９に示すように、入力された画像3A、3Bのそれぞれについて、その画像の単位領域毎にエッジの複雑度（エッジをなす曲線の複雑度）を求め、同等の複雑度を有する隣接する単位領域同士を統合することにより、その画像を複数の統合された領域に分割し、分割された領域毎にその領域のエッジの複雑度を算出する。画像3Aは、領域R31（エッジの単純な領域）、R32（エッジの複雑な領域）に分割され、画像3Bは、領域R33（エッジの単純な領域）、R34（エッジの複雑な領域）、R35（エッジの単純な領域）に分割される。
【００３８】
次に、算出されたエッジの複雑度の情報に基づいて、２つの画像3A、3Bのそれぞれから共通したエッジの複雑度を有する領域を検出する。画像3Aおよび画像3Bでは、領域R32、R34が共にエッジの複雑な領域であり、共通するエッジの複雑度を有する領域として検出される。
【００３９】
なお、ここで、領域同士がエッジの複雑度を共通にしているとは、同じ複雑度を有する場合に限らず、それらの領域における複雑度の差異が所定のしきい値以下である場合を含む。
【００４０】
また、図11および図12に示すように、入力された画像4A、4Bのそれぞれについてエッジ解析を行い、その画像中に水平方向の直線成分あるいは垂直方向の直線成分が存在しているか否かを判別し、存在している場合、その位置を取得する。画像4Aでは、水平方向の直線成分L41が取得され、画像4Bでは、水平方向の直線成分L42が取得されている。
【００４１】
次に、取得された直線成分の情報に基づいて、２つの画像4A、4Bのそれぞれから共通した水平方向の直線成分あるいは垂直方向の直線成分が位置する領域を検出する。画像4Aおよび画像4Bでは、水平方向の直線成分L41、L42が位置する領域が、共通した直線成分が位置する領域として検出される。
【００４２】
上述した各具体例では、入力された２つの画像中から単一の種類の共通した絵柄上の特徴を有する領域を検出する処理について説明したが、入力された２つの画像中には異なる種類の共通した絵柄上の特徴を有する領域同士が複数存在する場合がある。このような場合には、各種類の絵柄上の特徴が共通する領域同士をそれぞれ検出し、複数の画像の組み合わせを検出結果として出力してもよいし、それらの領域同士が重複している領域同士だけを検出してもよいし、予め設定しておいた優先順位が最も高い種類の絵柄上の特徴が共通する領域同士だけを検出してもよい。また、各種類の絵柄上の特徴が共通する領域同士のうち、面積が最も大きい共通した絵柄上の特徴を有する領域同士だけを検出してもよい。
【００４３】
検出部10は、入力された画像が３つ以上ある場合には、それらの複数の画像の中から対象画像を任意に決定し、決定された対象画像の少なくとも一部の領域と共通した絵柄上の特徴を有する領域が存在する画像を、他の複数の画像の中から検出し、それらの画像の組み合わせを合成部20に出力する。
【００４４】
図14に、検出部10により複数の入力画像から検出された、共通した絵柄上の特徴を有する領域が存在する画像の組み合わせの具体例を示す。なお、図14では、検出された各画像の組み合わせを、その組み合わせの画像同士が合成部20により継ぎ合わせられた状態で表している。
【００４５】
検出部10は、1つの対象画像に対して、その対象画像の少なくとも一部の領域と共通した絵柄上の特徴を有する領域が存在する2以上の候補画像が検出された場合、その検出された候補画像毎に、その候補画像と対象画像における共通した絵柄上の特徴を有する領域同士の共通度を算出し、算出された共通度が最も高い候補画像と対象画像を、共通した絵柄上の特徴を有する領域が存在する画像の組み合わせとして検出するものであってもよい。
【００４６】
たとえば図15に示すように、画像5Aに対して、画像5A中の領域R51と共通した色を有する領域R52が存在する候補画像5Baと、領域R51と共通した色を有する領域R53が存在する候補画像5Bbが検出された場合、領域R51の色と領域R52の色の色空間における距離（色距離）と、領域R51と領域R53における色距離とをそれぞれ算出し、算出された色距離が短いほど領域同士の共通度が高いものとする。領域R51と領域R52は、領域R51と領域R53に比べ色距離が短く、共通度が高いので、２つの画像の組み合わせ（画像5Aと画像5Ba、画像5Aと画像5Bb）のうち、対応する領域同士の共通度がより高い画像5Aと画像5Baの組み合わせのみを、共通した絵柄上の特徴を有する領域が存在する画像の組み合わせとして検出してもよい。なお、領域R52は、領域R53より領域R51との色距離が短く、より近い色を有しているため、画像5Aと画像5Baの組み合わせにより得られる合成画像5Caは、画像5Aと画像5Bbの組み合わせにより得られる合成画像5Cbより自然な感じの合成画像となる。
【００４７】
ここでは、共通した絵柄上の特徴が色である場合を例示して説明したが、共通した絵柄上の特徴がエッジの複雑度、被写体の形状、水平方向の直線成分の存在、垂直方向の直線成分の存在等である場合にも、同様な方法により、その共通した絵柄上の特徴を有する領域同士の共通度を算出することができる。
【００４８】
また、共通した絵柄上の特徴を有する領域同士が複数種類の共通した絵柄上の特徴を有する場合、その各種類の共通した絵柄上の特徴による共通度を総合することにより、領域同士の共通度を算出することができる。
【００４９】
また、たとえば図16に示すように、画像6Aに対して、共通するエッジの複雑度を有する領域が存在する候補画像6Baや、共通した被写体の形状（各画像中の木の形状）を有する領域が存在する候補画像6Bbが検出された場合、つまり、異なる種類の共通した絵柄上の特徴を有する領域が存在する複数の候補画像が検出された場合、たとえば下記の表１に示すように予め設定しておいた特徴の種類に対する優先順位に基づいて、その優先順位が高い種類の特徴が共通する領域同士であるほど共通度が高いものとしてもよいし、その面積が大きい領域同士であるほど共通度が高いものとしてもよい。
【表１】
2010033246.tif 000003
【００５０】
この表１によれば、「エッジの複雑度」が「被写体の形状」より優先順位が高いので、画像6Aと画像6Bbの組み合わせより画像6Aと画像6Baの組み合わせのほうが、対応する領域同士の共通度がより高いものとなる。なお、画像6Caは画像6Aと画像6Baの組み合わせを継ぎ合わせてなるものであり、画像6Cbは画像5Aと画像5Bbの組み合わせを継ぎ合わせてなるものである。
【００５１】
このように、1つの対象画像に対して検出された複数の候補画像のうち、対応する領域同士の共通度が最も高い候補画像を対象画像に組み合わせる画像とすることにより、つなぎ目が自然な合成画像が得られるような画像の組み合わせを自動的に決定することができる。
【００５２】
合成部20は、検出部により検出された画像の組み合わせを、それらの画像中における共通した絵柄上の特徴を用いて、画像の継ぎ目が目立たないように継ぎ合わせるものであって、より詳細には、その組み合わせを構成する画像のそれぞれから検出された共通した絵柄上の特徴を有する領域の少なくとも一部同士を重み付けして重ね合わせることにより、それらの画像を継ぎ合わせる。ここで、前記少なくとも一部同士を重ね合わせると、それらの画像の端部に前記少なくとも一部同士を含む、実際に重なってしまう領域が存在する。
【００５３】
具体的に、まず、各画像の端部に前記少なくとも一部を含む、重ね合わせられる部分領域を特定し、特定された領域同士が突き合わさるように、かつ、その位置や大きさが一致するように、それらの画像の相対位置を決定する。このとき、それらの画像が好適に継ぎ合わせられるよう、いずれか一方の画像をリサイズしたり、回転させたりしてもよい。
【００５４】
次に、前記各画像において特定された端部の領域に、その画像の内から端に向かって徐々に小さくなるように設定された重みを用いて重み付けをし、それらの画像同士を重ね合わせる。
【００５５】
図４、図7、図10、図13に、合成部20による合成処理の具体例を示す。
【００５６】
図４では、共通した色を有する領域R13、R14の一部の領域1Sa、1Sbを重ね合わせる部分領域として特定し、領域1Sa、1Sbが互いに一致するように画像1A、1Bの相対位置を決定し、領域1Sa、1Sbの各画素の画素値に相手の画像とつながる方向に向かって連続的に小さくなるように設定した重みを乗じた上で加算することによりそれらの画像1A、1Bを継ぎ合わせ、合成画像1Cを生成している。
【００５７】
図７では、共通した被写体形状を有するものとして対応する領域R21とR23、R22とR24それぞれの一部を含む領域2Sa、2Sbを重ね合わせる部分領域として特定し、領域2Sa、2Sbが互いに一致するように画像2A、2Bの相対位置を決定し、領域2Sa、2Sbの各画素の画素値に相手の画像とつながる方向に向かって連続的に小さくなるように設定した重みを乗じた上で加算することによりそれらの画像2A、2Bを継ぎ合わせ、合成画像2Cを生成している。
【００５８】
図10では、共通したエッジの複雑度を有する領域R32、R34の一部を含む領域3Sa、3Sbを重ね合わせる部分領域として特定し、領域3Sa、3Sbが互いに一致するように画像3A、3Bの相対位置および大きさを決定し、領域3Sa、3Sbの各画素の画素値に相手の画像とつながる方向に向かって連続的に小さくなるように設定した重みを乗じた上で加算することによりそれらの画像3A、3Bを継ぎ合わせ、合成画像３Ｃを生成している。
【００５９】
図13では、共通した水平方向の直線成分L41、L42が位置する領域の一部を含む領域4Sa、4Sbを重ね合わせる部分領域として特定し、直線成分L41、L42が一直線上に位置するように画像4A、4Bの相対位置を決定し、領域4Sa、4Sbの各画素の画素値に相手の画像とつながる方向に向かって連続的に小さくなるように設定した重みを乗じた上で加算することによりそれらの画像4A、4Bを継ぎ合わせ、合成画像4Cを生成している。
【００６０】
なお、合成部20は、上述した画像合成方法により、多数の画像を順次継ぎ合わせて1枚の合成画像を生成することもできる。具体的には、２以上の画像が継ぎ合わせられてなる合成画像とそれに継ぎ合わせる他の画像それぞれから検出された、共通した絵柄上の特徴を有する領域の少なくとも一部同士を重み付けして重ね合わせることにより、1枚の合成画像を生成する。
【００６１】
表示部30は、画像合成装置１に備えられているモニター40の画面上に各種表示を行うものであり、合成部20により継ぎ合わせられてなる合成画像をそのまま表示することに限らず、その継ぎ合わせられる前の画像のいずれかと、継ぎ合わせられてなる合成画像とを切り換えて表示させたり、その合成画像を構成するいずれか一方の画像から他方の画像へそれらの画像間の継ぎ合わせ部を経由して視点が移っていくように表示させたりすることができる。
【００６２】
図17は、表示部30により表示画面上に順次表示される一連の表示画像M11〜M19を示すものである。この一連の画像M11〜Ｍ19では、既に配置されている画像に対して、その画像と被写体が異なり、かつ、その画像の一部の領域と共通した絵柄上の特徴を有する領域が存在する他の画像が次々と現れ、順次継ぎ合わせられていく。このように被写体が異なる画像が1枚ずつ繋がっていく様子を表示させることにより、本発明により作り出される画像の面白みをより分かりやすく伝えることができる。
【００６３】
このような表示の際に、図18に示すように、モニター40の画面上に表示させる画像を、画面の大きさ（Dx、Dy）に合わせて拡大／縮小し、拡大／縮小された画像を画面上に表示させるようにすれば、モニター40の画面全体をより有効に活用することが可能である。図18は、表示部30により表示画面上に順次表示される一連の表示画像M21〜M25を示すものであり、下記の表２は、この各画像M21〜M25における画像Ａの、画面の大きさ（Dx、Dy）に対する拡大率と、画面の左上角を基準としたオフセットを示すものである。
【表２】
2010033246.tif 000004
【００６４】
また、たとえば図19に示すような合成後の状態を表示させた上で、図20に示すように、その合成後の画像を構成する一方の画像から他方の画像へ次々とそれらの画像間の継ぎ合わせ部を経由して移っていくように表示させることができる。
【００６５】
これは、たとえばビデオカメラにより、合成画像の全体を撮影した上で、その合成画像を構成するいずれかの構成画像（１）にフォーカスし、その構成画像（１）連続する他の構成画像（２）にパンし、その構成画像（２）に連続する他の構成画像（３）にパンし、・・・、その構成画像（９）に連続する他の構成画像（10）にパンする撮影方法により得られたような映像の表示方法である。これにより、表示している画像がいつの間にか被写体が異なる次の画像に切り替わっている、という表示を実現でき、画像の変わり目を意識させることなく、多数の画像を連続的に再生することができる。
【００６６】
以下、図21を参照して、画像合成装置1において行われる処理の一例について説明する。まず、２つの画像P1、P2入力されたら、検出部10が、各画像P1、P2の色分布を解析し（ステップST1）、それらの画像P1、P2に共通した色を有する領域が存在するか否かを判定する（ステップST2）。ステップST2が肯定された場合、合成部20が、その共通した色を有する領域に基づいて各画像中の重ね合わせる部分領域S1、S2を特定し（ステップST8）、それらの領域S1、S2が一致するように画像P1、P2の相対位置を決定する（ステップST9）。このとき、それらの画像P1、P2が好適に継ぎ合わせられるよう、いずれか一方の画像をリサイズしたり、回転させたりしてもよい。次に、相対位置が決定された画像P1、P2の重ね合わせる部分領域S1、S2の各画素の画素値を、相手の画像とつながる方向に向かって連続的に小さくなるように設定した重みを乗じて加算することによりそれらの画像P1、P2を継ぎ合わせ、合成画像を生成し（ステップST10）、表示部30が、ステップST10において生成された合成画像をモニター40の画面上に表示させ（ステップST11）、処理を終了する。
【００６７】
一方、ステップST2で、画像P1、P2に共通した色を有する領域が存在するか否かが判定され、共通した色を有する領域は存在しなかった場合には、検出部10が、各画像P1、P2のエッジ分布を解析し（ステップST3）、それらの画像P1、P2に共通したエッジの複雑度を有する領域が存在するか否かを判定する（ステップST4）。ステップST4が肯定された場合、合成部20が、その共通したエッジの複雑度を有する領域に基づいて各画像中の重ね合わせる部分領域S1、S2を特定し（ステップST8）、引き続きステップST9以降の処理が行われる。
【００６８】
また、ステップST4で、画像P1、P2に共通したエッジの複雑度を有する領域が存在するか否かが判定され、共通したエッジの複雑度を有する領域は存在しなかった場合には、それらの画像P1、P2に共通した垂直方向の直線成分が位置する領域が存在するか否かを判定する（ステップST5）。ステップST5が肯定された場合、合成部20が、その共通した垂直方向の直線成分が位置する領域に基づいて各画像中の重ね合わせる部分領域S1、S2を特定し（ステップST8）、引き続きステップST9以降の処理が行われる。
【００６９】
また、ステップST5で、画像P1、P2に共通した垂直方向の直線成分が位置する領域が存在するか否かが判定され、共通した垂直方向の直線成分が位置する領域は存在しなかった場合には、それらの画像Ｐ１、Ｐ２に共通した水平方向の直線成分が位置する領域が存在するか否かを判定する（ステップST6）。ステップST6が肯定された場合、合成部20が、その共通した水平方向の直線成分が位置する領域に基づいて各画像中の重ね合わせる部分領域S1、S2を特定し（ステップST8）、引き続きステップST9以降の処理が行われる。
【００７０】
また、ステップST6で、画像P1、P2に共通した水平方向の直線成分が位置する領域が存在するか否かが判定され、共通した水平方向の直線成分が位置する領域は存在しなかった場合には、それらの画像P1、P2に共通した形状を有する被写体領域が存在するか否かを判定する（ステップST7）。ステップST7が肯定された場合、合成部20が、その共通した形状を有する被写体領域に基づいて各画像中の重ね合わせる部分領域S1、S2を特定し（ステップST8）、引き続きステップST9以降の処理が行われる。
【００７１】
また、ステップST7で、画像P1、P2に共通した水平方向の直線成分が位置する領域が存在するか否かが判定され、共通した形状を有する被写体領域は存在しなかった場合には、画像P1、P2には、共通した絵柄上の特徴はないものとし、処理を終了する。
【００７２】
このように、本発明の実施形態においては、被写体が異なる２つの画像、あるいは被写体が異なる複数の画像から検出された２つの画像における、共通した絵柄上の特徴を有する領域の少なくとも一部同士を重み付けして重ね合わせることにより、その２つの画像を継ぎ合わせるようにしたので、多様な任意の保有画像を用いて、自然な感じがする画像だけれども、実在しない世界が広がる不思議な画像を手軽に作り出すことができる。
【図面の簡単な説明】
【００７３】
【図１】本発明の画像合成装置の一実施形態を示す概略構成図
【図２】共通した色を有する領域を検出する処理の一例を示す図
【図３】共通した色を有する領域を検出する処理の一例を示す図
【図４】共通した色を有する領域が存在する２つの画像を継ぎ合わせる処理の一例を示す図
【図５】共通した形状を有する被写体領域を検出する処理の一例を示す図
【図６】共通した形状を有する被写体領域を検出する処理の一例を示す図
【図７】共通した形状を有する被写体領域が存在する画像を継ぎ合わせる処理一例を示す図
【図８】共通したエッジの複雑度を有する領域を検出する処理の一例を示す図
【図９】共通したエッジの複雑度を有する領域を検出する処理の一例を示す図
【図１０】共通したエッジの複雑度を有する領域が存在する画像を継ぎ合わせる処理一例を示す図
【図１１】共通した直線成分が位置する領域を検出する処理の一例を示す図
【図１２】共通した直線成分が位置する領域を検出する処理の一例を示す図
【図１３】共通した直線成分が位置する領域が存在する画像を継ぎ合わせる処理一例を示す図
【図１４】検出部により複数の入力画像から検出された、共通した絵柄上の特徴を有する領域が存在する画像の組み合わせの具体例を示す図
【図１５】検出部により共通度を算出する処理を説明するための図
【図１６】検出部により共通度を算出する処理を説明するための図
【図１７】表示部により表示される表示画面の一例を示す図
【図１８】表示部により表示される表示画面の一例を示す図
【図１９】表示部により表示される表示画面の一例を示す図
【図２０】表示部により表示される表示画面の一例を示す図
【図２１】本発明の画像合成装置により行われる処理の一例を示すフローチャート
【符号の説明】
【００７４】
１      画像合成装置
１０    検出部
２０    合成部
３０    表示部
４０    モニター
【図１】
2010033246.tif 000005
【図２１】
2010033246.tif 000006
【図２】
2010033246.tif 000007
【図３】
2010033246.tif 000008
【図４】
2010033246.tif 000009
【図５】
2010033246.tif 000010
【図６】
2010033246.tif 000011
【図７】
2010033246.tif 000012
【図８】
2010033246.tif 000013
【図９】
2010033246.tif 000014
【図１０】
2010033246.tif 000015
【図１１】
2010033246.tif 000016
【図１２】
2010033246.tif 000017
【図１３】
2010033246.tif 000018
【図１４】
2010033246.tif 000019
【図１５】
2010033246.tif 000020
【図１６】
2010033246.tif 000021
【図１７】
2010033246.tif 000022
【図１８】
2010033246.tif 000023
【図１９】
2010033246.tif 000024
【図２０】
2010033246.tif 000025