(57)【要約】【課題】過去に撮られた画像（画像Ａ）と、ほぼ同じ場所から撮影した現在の画像（画像Ｂ）を、違和感なく合成することで、時代の流れを感じることのできる写真表現を実現する。【解決手段】画像Ａと画像Ｂの撮影位置の関係を求め（撮影位置計算部１３）、画像Ａの撮影位置を始点とし、画像Ｂの撮影位置を終点とする、時間とともに遷移する仮想的な撮影位置を決定し（仮想撮影位置計算部１４）、上記仮想的な撮影位置からの画像を画像Ａを変形することで作成し（変形画像作成部１５）、さらに、画像Ｂと変形された画像Ａとを合成し（合成画像作成部１６）、画像表示部１７にて表示を行う。【選択図】図１
2015200918.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像と第２の画像を使って、第３の画像を生成する画像処理装置であって、
上記第１の画像と上記第２の画像のマッチングにより、上記第１の画像が撮影された第１の撮影位置と、上記第２の画像が撮影された第２の撮影位置の位置関係を求める撮影位置計算部と、
上記第１の撮影位置と上記第２の撮影位置の間にある位置（第３の撮影位置とする）を決定する仮想位置決定部と、
上記第３の撮影位置から撮影したと仮定した場合の画像を、上記第３の画像として生成する画像生成部と
を有し、
上記仮想位置決定部では、上記第１の撮影位置、あるいは、上記第２の撮影位置の一方を始点とし、他方を終点とする経路上を、時間とともに、上記第３の撮影位置は移動するようにし、
上記画像生成部では、上記第１の撮影位置に対する上記第３の撮影位置の位置関係に応じた変形を、上記第１の画像に対して行うことで、上記第３の画像を生成すること
を特徴とする画像処理装置。
【請求項２】
上記第１の画像は、さらに、各画素位置について奥行き情報を有し、
上記撮影位置計算部では、上記奥行き情報を使って、上記第１の撮影位置と、上記第２の撮影位置の位置関係を求めること
を特徴とする請求項１記載の画像処理装置。
【請求項３】
上記第１の画像は、さらに、各画素位置についてマスク情報を有し、
上記撮影位置計算部では、上記マスク情報がない位置については上記第１の画像の情報を使わず、上記マスク情報がある位置についてのみ上記第１の画像の情報を使ってマッチングを行うこと
を特徴とする請求項１あるいは請求項２記載の画像処理装置。
【請求項４】
第１の画像と第２の画像を使って、第３の画像を生成する画像処理装方法であって、
上記第１の画像と上記第２の画像のマッチングにより、上記第１の画像が撮影された第１の撮影位置と、上記第２の画像が撮影された第２の撮影位置の位置関係を求める撮影位置計算ステップと、
上記第１の撮影位置と上記第２の撮影位置の間にある位置（第３の撮影位置とする）を決定する仮想位置決定ステップと、
上記第３の撮影位置から撮影したと仮定した場合の画像を、上記第３の画像として生成する画像生成ステップと
を有し、
上記仮想位置決定ステップでは、上記第１の撮影位置、あるいは、上記第２の撮影位置の一方を始点とし、他方を終点とする経路上を、時間とともに、上記第３の撮影位置は移動するようにし、
上記画像生成ステップでは、上記第１の撮影位置に対する上記第３の撮影位置の位置関係に応じた変形を、上記第１の画像に対して行うことで、上記第３の画像を生成すること
を特徴とする画像処理方法。
【請求項５】
第１の画像と第２の画像を使って、第３の画像を生成する画像処理用のプログラムであって、
上記第１の画像と上記第２の画像のマッチングにより、上記第１の画像が撮影された第１の撮影位置と、上記第２の画像が撮影された第２の撮影位置の位置関係を求める撮影位置計算ステップと、
上記第１の撮影位置と上記第２の撮影位置の間にある位置（第３の撮影位置とする）を決定する仮想位置決定ステップと、
上記第３の撮影位置から撮影したと仮定した場合の画像を、上記第３の画像として生成する画像生成ステップと
を有し、
上記仮想位置決定ステップでは、上記第１の撮影位置、あるいは、上記第２の撮影位置の一方を始点とし、他方を終点とする経路上を、時間とともに、上記第３の撮影位置は移動するようにし、
上記画像生成ステップでは、上記第１の撮影位置に対する上記第３の撮影位置の位置関係に応じた変形を、上記第１の画像に対して行うことで、上記第３の画像を生成すること
を特徴とするコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、複数の画像から１つの画像群を作成する画像処理方法、装置、及び、プログラムに関する。
【背景技術】
【０００２】
画像の表現方法として、リフォトグラフィ（Re-photography）という分野がある。リフォトグラフィとは、過去に撮られた歴史的建造物または自然風景の画像（写真）に対して、同じ場所から撮影し、これら２つの画像（過去の画像と今撮影した画像）を合成して１つの画像にするものである。これにより、時代の流れを感じることのできる写真表現が可能となる。さて、これを実現させるためには、過去の画像を撮影した場所と同じ撮影位置から撮影する必要がある。もし、違う撮影位置から撮影してしまうと、過去の画像と重ね合わせて合成する際に、位置ずれか起きてしまい、鑑賞に堪えられない画像になってしまうからである。しかしながら、過去の画像を見て、その画像を撮影した位置を特定することは難しい。
【０００３】
そこで、過去の画像を自動解析することで、どこから撮影すれば良いかを指示してくれる手法が、特許文献１あるいは非特許文献１に示されている。この手法では、撮影者は撮影機材を持って、最初に、過去の画像を撮影した位置の近くで撮影を行う。過去の画像と今撮影された画像を解析することで、たとえば、「右に５ｍ動きなさい」という指示を行ってくれる。しかし、この手法では、単に、撮影位置を指示してくれるだけであり、撮影者は、その指示に従って、撮影機材をもって移動しなくてはいけない。特に、歴史的建造物の周囲では観光者が多い場合があり、他の観光者の邪魔をしないで、移動することは大変である。さらに、たとえば、上記例で、右に５ｍ動くと、交通量の多い車道上に移動することになり、危険なため撮影できない、という場合もありうる。
【０００４】
できれば、過去の撮影位置と「およそ」同じ位置から一度撮影するだけで、撮影者の手間は終了するようにしたい。つまり、過去の撮影位置と「およそ」同じ位置から撮影するだけで、過去の画像と今撮影した画像とを融合して、時代の流れを感じることのできる写真表現手法が望まれるが、そのような写真表現手法は存在しなかった。また、その写真表現手法を実現するための装置や方法も存在しなかった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２３９３６１号公報
【非特許文献】
【０００６】
【非特許文献１】Soonmin Bae, Aseem Agarwala, Fredo Durand. "Computational Re-Photography", ACM Transactions on Graphics (Presented at SIGGRAPH Asia 2010), 29(3), pp. 24:1-24:15.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
過去の撮影位置と「およそ」同じ位置から撮影するだけで、過去の画像と今撮影した画像とを融合して、時代の流れを感じることのできる写真表現手法が望まれるが、そのような写真表現手法は存在しなかった。また、その写真表現手法を実現するための装置や方法も存在しなかった。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、ほぼ同じ場所から撮影した画像と、過去に撮られた画像を、違和感なく合成することを可能にするので、撮影者は移動しなくてよい。そして、合成された画像は、時代の流れを感じることのできる写真表現手法となっている。
【課題を解決するための手段】
【０００９】
本技術の一側面の画像処理装置は、第１の画像と第２の画像を使って、第３の画像を生成する画像処理装置であって、上記第１の画像と上記第２の画像のマッチングにより、上記第１の画像が撮影された第１の撮影位置と、上記第２の画像が撮影された第２の撮影位置の位置関係を求める撮影位置計算部と、上記第１の撮影位置と上記第２の撮影位置の間にある位置（第３の撮影位置とする）を決定する仮想位置決定部と、上記第３の撮影位置から撮影したと仮定した場合の画像を、上記第３の画像として生成する画像生成部とを有し、上記仮想位置決定部では、上記第１の撮影位置、あるいは、上記第２の撮影位置の一方を始点とし、他方を終点とする経路上を、時間とともに、上記第３の撮影位置は移動するようにし、上記画像生成部では、上記第１の撮影位置に対する上記第３の撮影位置の位置関係に応じた変形を、上記第１の画像に対して行うことで、上記第３の画像を生成することを特徴とする。
【００１０】
これにより、過去に撮られた画像と、ほぼ同じ場所から撮影した現在の画像を、違和感なく合成でき、時代の流れを感じることのできる写真表現を実現できる。
【００１１】
また、上記画像処理装置において、上記第１の画像は、さらに、各画素位置について奥行き情報を有し、上記撮影位置計算部では、上記奥行き情報を使って、上記第１の撮影位置と、上記第２の撮影位置の位置関係を求めること
を特徴とする。
【００１２】
これにより、精度が向上する。
【００１３】
また、上記画像処理装置において、上記第１の画像は、さらに、各画素位置についてマスク情報を有し、上記撮影位置計算部では、上記マスク情報がない位置については上記第１の画像の情報を使わず、上記マスク情報がある位置についてのみ上記第１の画像の情報を使ってマッチングを行うことを特徴とする。
【００１４】
これにより、精度が向上する。
【００１５】
本技術の一側面の画像処理方法または画像処理プログラムは、第１の画像と第２の画像を使って、第３の画像を生成する画像処理方法または画像処理プログラムであって、上記第１の画像と上記第２の画像のマッチングにより、上記第１の画像が撮影された第１の撮影位置と、上記第２の画像が撮影された第２の撮影位置の位置関係を求める撮影位置計算ステップと、上記第１の撮影位置と上記第２の撮影位置の間にある位置（第３の撮影位置とする）を決定する仮想位置決定ステップと、上記第３の撮影位置から撮影したと仮定した場合の画像を、上記第３の画像として生成する画像生成ステップとを有し、上記仮想位置決定ステップでは、上記第１の撮影位置、あるいは、上記第２の撮影位置の一方を始点とし、他方を終点とする経路上を、時間とともに、上記第３の撮影位置は移動するようにし、上記画像生成ステップでは、上記第１の撮影位置に対する上記第３の撮影位置の位置関係に応じた変形を、上記第１の画像に対して行うことで、上記第３の画像を生成することを特徴とする。
【００１６】
これにより、過去に撮られた画像と、ほぼ同じ場所から撮影した現在の画像を、違和感なく合成でき、時代の流れを感じることのできる写真表現を実現できる。
【００１７】
本技術の一側面の画像処理は、第１の画像と第２の画像を使って、第３の画像を生成する画像処理であって、上記第１の画像と上記第２の画像のマッチングにより、上記第１の画像が撮影された第１の撮影位置と、上記第２の画像が撮影された第２の撮影位置の位置関係を求め、上記第１の撮影位置と上記第２の撮影位置の間にある位置（第３の撮影位置とする）を決定し、上記第３の撮影位置から撮影したと仮定した場合の画像を、上記第３の画像として生成することとし、特に、上記第１の撮影位置、あるいは、上記第２の撮影位置の一方を始点とし、他方を終点とする経路上を、時間とともに、上記第３の撮影位置は移動するようにし、上記第１の撮影位置に対する上記第３の撮影位置の位置関係に応じた変形を、上記第１の画像に対して行うことで、上記第３の画像を生成することを特徴とする。
【００１８】
これにより、過去に撮られた画像と、ほぼ同じ場所から撮影した現在の画像を、違和感なく合成でき、時代の流れを感じることのできる写真表現を実現できる。
【発明の効果】
【００１９】
本技術の一側面によれば、過去に撮られた画像と、ほぼ同じ場所から撮影した現在の画像を、違和感なく合成でき、時代の流れを感じることのできる写真表現を実現できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施例の構成を示すブロック図である。
【図２】本発明の実施例の処理を説明するフローチャートである。
【図３】本発明の実施例が適用できる具体的な撮影状況を説明する図である。
【図４】本発明の実施例が適用できる過去に撮影された画像を示す図である。
【図５】本発明の実施例が適用できる過去に撮影された画像に関して説明する図である。
【図６】本発明の実施例が適用できる過去に撮影された画像に関して説明する図である。
【図７】本発明の実施例が適用できる具体的な撮影状況を説明する図である。
【図８】本発明の実施例が適用できる現在において撮影された画像を示す図である。
【図９】本発明の実施例を適用したときに生成される画像を示す図である。
【図１０】本発明の実施例を適用したときに生成される画像を示す図である。
【図１１】本発明の実施例に関して説明する図である。
【図１２】本発明の実施例を適用したときに生成される画像を示す図である。
【図１３】本発明の実施例の処理を実行するコンピュータ装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
≪本発明の実施例≫
本発明の実施例を説明する。まず、本発明の典型的な使用方法と、本発明の装置での処理の例を簡単に説明する。
＜ユーザ動作１＞ユーザは、最初に、過去に撮られた画像（画像Aとする）を用意する。画像Ａは、たとえば、数十年前に歴史的な建造物を撮影した写真である。
＜ユーザ動作２＞ユーザは、画像Ａを見ながら、画像Ａが撮影された現地へ行き、ほぼ同じ撮影位置から撮影を行う。撮影された画像を画像Ｂとする。
＜ユーザ動作３＞ユーザは、本発明の装置に、画像Ａおよび画像Ｂを入力する。
本発明の装置は、以下の処理を行う。
＜処理１＞画像Ａと画像Ｂのマッチングを行い、画像Ａの撮影された撮影位置（撮影位置ＰＡとする）と、画像Ｂの撮影された撮影位置（撮影位置ＰＢとする）の位置関係を求める。
＜処理２＞次に、仮想的な撮影位置ＰＣ（ｔ）を導入する。ｔは時間を表すパラメータであり、ｔの値は、０から１００までの整数とする。ＰＣ（ｔ）は、ｔ＝０において撮影位置ＰＡと同一であり、ｔ＝１００で撮影位置ＰＢと同一となるように、ｔとともに変化させる。ｔの値を０から１００までとした理由は、画像を１０１枚生成するためであり、１０１枚以外の枚数にしたい場合は、ｔとしてそれに対応した値を取らせれば良い。
＜処理３＞各時刻ｔにおいて、ＰＣ（ｔ）の位置から撮影したと仮定した場合の画像を、画像Ａを変形させることで作成する。この画像をＣ（ｔ）とする。
＜処理４＞また、画像Ｃ（１００）と、画像Ｂを合成する。この画像を画像Ｄとする。
＜処理５＞最後に、画像表示部にて、画像Ｃ（０）から画像Ｃ（１００）を連続表示し、最後に画像Ｄを表示する。
このような一連の処理により、最終的に＜処理５＞で表示される画像（連続的に再生される１０２枚の画像）は、時代の流れを感じることのできる表現をしていることになる。なぜなら、＜処理３＞において作成される画像Ｃ（ｔ）（ｔ＝０〜１００）は、画像Ａから作成されており、過去に撮られた画像である。正確に述べるなら、過去に撮られた画像を変形した画像である。つまり、Ｃ（ｔ）（ｔ＝０〜１００）は、過去の風景を表現している画像である。さらに、Ｃ（１００）は、撮影位置ＰＣ（１００）＝ＰＢ、つまり、画像Ｂと同じ撮影位置から撮影したと仮定した場合の画像である。したがって、画像Ｃ（１００）と画像Ｂを重ね合わせると位置ずれはなく、画像Ｃ（１００）と画像Ｂの合成処理では破たんが起きない。つまり、画像Ｄは、現在の風景と過去の風景とが合成された破たんのない画像である。画像Ｃ（０）から画像Ｃ（１００）までを順番に表示した後、画像Ｄを表示することで、画像Ａ（歴史的な建造物の過去の写真）がゆっくりと変形していき、最後に、「過去の歴史的建造物」が現在の風景と融合した情景を表現できる。このようにして、時代の流れを感じることのできる写真を表現することが可能となる。
【００２２】
以上が、本発明の典型的な使用方法と、本発明の装置での処理の簡単な説明である。
【００２３】
なお、一般的に、２枚の画像があれば、ステレオ視のマッチング問題に帰着できるので、既存のステレオ視に関する２枚の画像間のマッチング手法で撮影位置ＰＡと撮影位置ＰＢの位置関係を求める（上述の＜処理１＞）ことが出来る。しかし、求まった位置関係は、解法の過程が不安定であり、不正確となる場合も多い。そこで、本発明の実施例においては、画像Ａについて、奥行き情報を持たせることで、位置関係の精度を向上させている。つまり、画像Ａの任意の位置（ｘ，ｙ）に対して、画素値Ａ（ｘ，ｙ）という値を持っており、らに、奥行き情報Ｚ（ｘ，ｙ）という値も持っているとする。また、画像Ａを撮影したときの焦点距離をｆＡとする。つまり、Ａ（ｘ，ｙ）とＺ（ｘ，ｙ）、および、ｆＡは、既知とする。
【００２４】
画像Ａが与えられていれば、任意の位置（ｘ，ｙ）に対して画素値Ａ（ｘ，ｙ）が与えられていることと同値なので、Ａ（ｘ，ｙ）が既知であるのは明らかである。ｆＡは、過去において画像Ａを撮影したカメラの情報から知ることができる。また、奥行き情報Ｚ（ｘ，ｙ）は、たとえば、論文  D. Hoiem, A.A. Efros, and M. Hebert, "Automatic Photo Pop-up", ACM SIGGRAPH 2005  に書かれている手法を用いることで自動作成することが出来る。あるいは、奥行き情報Ｚ（ｘ，ｙ）は、ユーザが手作業で作成しても良い。
【００２５】
また、画像Ａに投影されている被写体の中で現在も存在している被写体に関する情報も既知とする。これは、上述の＜ユーザ動作２＞の動作と同時に、ユーザが現地で、現在の風景と、画像Ａとを見比べて、手作業にて作成すれば良い。この情報を、マッチング用マスク情報Ｍ（ｘ，ｙ）とする。なお、Ｍ（ｘ，ｙ）の値は０または１である。すなわち、画像Ａの中で位置（ｘ，ｙ）の被写体が現在も存在している場合には、Ｍ（ｘ，ｙ）＝１とする。画像Ａの中で位置（ｘ，ｙ）の被写体が現在は存在していない場合には、Ｍ（ｘ，ｙ）＝０とする。
【００２６】
また、画像Ａには、歴史的建造物以外に、不要な被写体も含まれている。たとえば、空や地面などである。そこで、不要な部分を排除する情報を、ユーザは作成する。この情報を、被写体用マスク情報Ｎ（ｘ，ｙ）とする。なお、Ｎ（ｘ，ｙ）の値は０または１である。すなわち、画像Ａの中で位置（ｘ，ｙ）の被写体が重要な被写体（歴史的建造物など）である場合には、Ｎ（ｘ，ｙ）＝１とする。画像Ａの中で位置（ｘ，ｙ）の被写体が重要な被写体でない場合には、Ｎ（ｘ，ｙ）＝０とする。
【００２７】
なお、同じ「歴史的な建造物の過去の写真」を使って、複数のユーザが、各ユーザが撮影した現在の写真と合成することが考えられるので、ある人が画像Ａについて奥行き情報Ｚ（ｘ，ｙ）、マッチング用マスク情報Ｍ（ｘ，ｙ）、および、被写体用マスク情報Ｎ（ｘ，ｙ）を作成した場合、その情報を共有することで、他のユーザは、Ｚ（ｘ，ｙ）、Ｍ（ｘ，ｙ）、および、Ｎ（ｘ，ｙ）を作成する手間を省くことが出来る。
【００２８】
また、ユーザは、画像Ｂを撮影する際に、自分のカメラの焦点距離を知ることができるので、この焦点距離（ｆＢとする）も既知とする。
【００２９】
以上をまとめると、本発明の実施例である装置に入力する情報は、
（入力１）画像Ａ、すなわち、各位置（ｘ，ｙ）に対する画素値Ａ（ｘ，ｙ）という値
（入力２）画像Ａに関する奥行き情報、すなわち、各位置（ｘ，ｙ）に対する奥行き情報Ｚ（ｘ，ｙ）という値
（入力３）画像Ａを撮影したときの焦点距離ｆＡ
（入力４）画像Ａに投影されている被写体の中で現在も存在している被写体に関する情報、すなわち、各位置（ｘ，ｙ）に対するマッチング用マスク情報Ｍ（ｘ，ｙ）という値。
（入力５）画像Ａに投影されている被写体の中で重要な被写体であるかどうかに関する情報、すなわち、各位置（ｘ，ｙ）に対する被写体用マスク情報Ｎ（ｘ，ｙ）という値。
（入力６）画像Ｂ、すなわち、各位置（ｘ，ｙ）に対する画素値Ｂ（ｘ，ｙ）という値
（入力７）画像Ｂを撮影したときの焦点距離ｆＢ
である。
【００３０】
以下で、本発明の実施例の詳細を説明していく。
【００３１】
本発明の実施例の装置を図１に示す。図１の１０が、本発明の実施例である画像処理装置である。画像処理装置１０内には、入力端子１１、特徴点マッチング処理部１２、撮影位置計算部１３、仮想撮影位置計算部１４、変形画像作成部１５、合成画像作成部１６、および、画像表示部１７がある。また、図中の各部を結ぶ線は、主なデータの流れを示している。各部の詳細は、以下で述べることとし、ここでは、おおよその処理内容を説明しておく。
【００３２】
入力端子部１１より、上記（入力１）〜（入力７）のデータが入力される。
【００３３】
特徴点マッチング部１２では、画素値Ａ（ｘ，ｙ）、マッチング用マスク情報Ｍ（ｘ，ｙ）、および、画素値Ｂ（ｘ，ｙ）を受け取り、ペアリングされた特徴点どうしの位置関係である（ｘｉ，ｙｉ）および（ｕｉ，ｖｉ）を出力する。
【００３４】
撮影位置計算部１３では、奥行き情報Ｚ（ｘ，ｙ）、焦点距離ｆＡ、焦点距離ｆＢ、および、ペアリングされた特徴点どうしの位置関係である（ｘｉ，ｙｉ）および（ｕｉ，ｖｉ）を受け取り、画像Ａの撮影位置を基準としたときの画像Ｂの撮影位置（Ｒ０、Ｒ１、Ｒ２、Ｔｘ、Ｔｙ、および、Ｔｚ）を出力する。
【００３５】
仮想撮影位置計算部１４では、焦点距離ｆＡ、焦点距離ｆＢ、および、画像Ｂの撮影位置（Ｒ０、Ｒ１、Ｒ２、Ｔｘ、Ｔｙ、および、Ｔｚ）を受け取り、時刻ｔに対応する撮影位置（Ｒ００（ｔ）、Ｒ１０（ｔ）、Ｒ２０（ｔ）、Ｔｘ０（ｔ）、Ｔｙ０（ｔ）、Ｔｚ０（ｔ）、および、ｆＢ０（ｔ））を出力する。
【００３６】
変形画像作成部１５では、画素値Ａ（ｘ，ｙ）、奥行き情報Ｚ（ｘ，ｙ）、焦点距離ｆＡ、時刻ｔに対応する撮影位置（Ｒ００（ｔ）、Ｒ１０（ｔ）、Ｒ２０（ｔ）、Ｔｘ０（ｔ）、Ｔｙ０（ｔ）、Ｔｚ０（ｔ）、および、ｆＢ０（ｔ））を受け取り、画像Ｃ（ｔ）を出力する。ここで、ｔは、０から１００までの整数である。
【００３７】
合成画像作成部１６では、画素値Ａ（ｘ，ｙ）、奥行き情報Ｚ（ｘ，ｙ）、被写体用マスク情報Ｎ（ｘ，ｙ）、焦点距離ｆＡ、画素値Ｂ（ｘ，ｙ）、時刻ｔ＝１００に対応する撮影位置（Ｒ００（ｔ）、Ｒ１０（ｔ）、Ｒ２０（ｔ）、Ｔｘ０（ｔ）、Ｔｙ０（ｔ）、Ｔｚ０（ｔ）、および、ｆＢ０（ｔ））を受け取り、画像Ｄを出力する。
【００３８】
画像表示部１７では、画像Ｃ（ｔ）（ｔ＝０〜１００）と画像Ｄを受け取り、これらを表示する。
【００３９】
次に、処理の流れを説明するが、その前に、画像Ａと画像Ｂの対応関係式について説明しておく。画像Ａの任意の位置（ｘ，ｙ）は、画像Ａの撮影時のカメラの光学中心を基準とした座標系において、式１で表現される３次元位置の被写体が投影されている。
【００４０】
【数１】
2015200918.tif 000003
【００４１】
なぜなら、（ｘ，ｙ，ｆＡ）の方向から来た光線が画像Ａの位置（ｘ，ｙ）に露光されることと、カメラから被写体までのｚ軸方向の距離（奥行き）がＺ（ｘ，ｙ）であることから明らかである。
【００４２】
上述の式１に位置している被写体が、画像Ｂでは、どのような位置に投影されるかを考察する。一般的に、２枚の画像を撮影したときの、それぞれの撮影位置の関係は、３次元上の回転行列と、３次元上の並進ベクトルとで表現される。回転行列の各要素は三角関数で記述されるが、本発明の実施例の場合、画像Ｂは画像Ａとほぼ同じ位置から撮影されているので、回転行列は１次式で近似することが出来る。すなわち、式２となる。
【００４３】
【数２】
2015200918.tif 000004
【００４４】
式２のＲ０、Ｒ１、Ｒ２、Ｔｘ、Ｔｙ、および、Ｔｚは、それぞれ適切な数値（実数）である。画像Ａの位置（ｘ，ｙ）に投影された被写体は、画像Ｂの位置（ｕ，ｖ）に投影される。ここで、（ｕ，ｖ）は、式２で計算される位置である。つまり、式１で示される位置を、回転行列により回転させ、並進ベクトルにより平行移動させることで、（ｕ，ｖ）を得ている。
【００４５】
式２を変形すると、式３となる。
【００４６】
【数３】
2015200918.tif 000005
【００４７】
それでは、図２に本発明の実施例の処理の流れを示す。
【００４８】
まず、図２のステップ１で、前述の
（入力１）画像Ａ、すなわち、各位置（ｘ，ｙ）に対する画素値Ａ（ｘ，ｙ）という値
（入力２）画像Ａに関する奥行き情報、すなわち、各位置（ｘ，ｙ）に対する奥行き情報Ｚ（ｘ，ｙ）という値
（入力３）画像Ａを撮影したときの焦点距離ｆＡ
（入力４）画像Ａに投影されている被写体の中で現在も存在している被写体に関する情報、すなわち、各位置（ｘ，ｙ）に対するマッチング用マスク情報Ｍ（ｘ，ｙ）という値。
（入力５）画像Ａに投影されている被写体の中で重要な被写体であるかどうかに関する情報、すなわち、各位置（ｘ，ｙ）に対する被写体用マスク情報Ｎ（ｘ，ｙ）という値。
（入力６）画像Ｂ、すなわち、各位置（ｘ，ｙ）に対する画素値Ｂ（ｘ，ｙ）という値
（入力７）画像Ｂを撮影したときの焦点距離ｆＢ
を、入力端子１１から入力する。そして、ステップ２に進む。
【００４９】
ステップ２で、画像Ａと画像Ｂのそれぞれから特徴点を検出する。ただし、画像Ａからの特徴点検出は、Ｍ（ｘ，ｙ）＝０である位置（ｘ，ｙ）については除外して、Ｍ（ｘ，ｙ）＝１となる位置（ｘ，ｙ）についてのみ求める。そして、画像Ａから得られる特徴点と、画像Ｂから得られる特徴点のマッチングを行う。すなわち、画像Ａの各特徴点と同じ（あるいは類似する）特徴を有する特徴点を、画像Ｂの特徴点から選ぶ。これにより、特徴点どうしのペアリングが行われる。これらペアリングされた特徴点どうしの位置を、（ｘｉ，ｙｉ）および（ｕｉ，ｖｉ）とする。ここで、ｉは、ペアリングされた特徴点を特定するための添え字（パラメータ）である。すなわち、任意のｉについて、画像Ａの位置（ｘｉ，ｙｉ）の特徴と、画像Ｂの位置（ｕｉ，ｖｉ）の特徴は、同じであり（あるいは類似しており）、画像Ａの位置（ｘｉ，ｙｉ）に投影されている被写体と、画像Ｂの位置（ｕｉ，ｖｉ）に投影されている被写体は同じであると考えられる。この処理は、特徴点マッチング部１２で行われる。
【００５０】
なお、ステップ２において「Ｍ（ｘ，ｙ）＝０である位置（ｘ，ｙ）については除外する」ことで、画像Ａに投影されている被写体の中で現在は存在していない（つまり、画像Ｂには存在しない）被写体を除外することができ、ペアリングの誤判定を抑制することが出来る。
【００５１】
ステップ２の後、ステップ３に進む。
【００５２】
ステップ３で、画像Ａの撮影位置を基準としたときに、画像Ｂの撮影位置が、どのような位置にあったかという情報を求める。すなわち、式３（前述）を満たすＲ０、Ｒ１、Ｒ２、Ｔｘ、Ｔｙ、および、Ｔｚを求める。実際には誤差があるので、式４が最小となるＲ０、Ｒ１、Ｒ２、Ｔｘ、Ｔｙ、および、Ｔｚを求める。
【００５３】
【数４】
2015200918.tif 000006
【００５４】
ここで、ｉについての合算（Σ）は、ステップ２で求めたペアリングされた特徴点すべてについて行う。この処理は、撮影位置計算部１３で行われる。
【００５５】
ステップ３の後、ステップ４に進む。
【００５６】
ステップ４以降では、画像Ａを時間とともに変形させていった画像を作成する。そのために、ステップ４で、時間を表すパラメータとして、ｔに０をセットする。そして、ステップ５に進む。 
【００５７】
ステップ５で、時刻ｔに対応する撮影位置を計算する。すなわち、仮想撮影位置計算部１４にて、式５を計算する。
【００５８】
【数５】
2015200918.tif 000007
【００５９】
時刻ｔにおいては、画像Ａの撮影位置を基準として、Ｒ００（ｔ）、Ｒ１０（ｔ）、Ｒ２０（ｔ）で表現される回転と、Ｔｘ０（ｔ）、Ｔｙ０（ｔ）、Ｔｚ０（ｔ）で表現される平行移動を行った位置から撮影したとする。また、焦点距離は、ｆＢ０（ｔ）とする。式５から分かるように、ｔ＝０においては、画像Ａの撮影位置と同じになる。ｔ＝１００において、画像Ｂの撮影位置と同じになる。
【００６０】
ステップ５の後、ステップ６に進む。
【００６１】
ステップ６で、時刻ｔに対応する画像Ｃ（ｔ）を、画像Ａを変形することで生成する。つまり、画像Ａの各位置（ｘ，ｙ）について、式６を計算し、位置（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））を求める。
【００６２】
【数６】
2015200918.tif 000008
【００６３】
次に、新しいキャンバスを用意する。そして、画像Ａの各位置（ｘ，ｙ）の画素値Ａ（ｘ，ｙ）を、このキャンバス上の位置（ｕ（ｘ，ｙ，ｔ），ｖ（ｘ，ｙ，ｔ））に書き込む。画像Ａのすべての位置について書き込んだ後、キャンバス上にできた画像を、画像Ｃ（ｔ）とする。この処理は、変形画像作成部１５で行われる。
【００６４】
式５および式６から分かるように、ｔ＝０においては画像Ａがそのまま、ｔ＝１００においては画像Ｂと同じ撮影位置から撮影したと仮定した画像が作成されたことになる。また、式５からわかるように、ｔが連続的に増えていくと、時刻ｔに対応する撮影位置（Ｒ００（ｔ）、Ｒ１０（ｔ）、Ｒ２０（ｔ）、Ｔｘ０（ｔ）、Ｔｙ０（ｔ）、Ｔｚ０（ｔ）で確定される位置、および、焦点距離ｆＢ０（ｔ））が連続的に変化していく。
【００６５】
ステップ６の後、ステップ７に進む。
【００６６】
ステップ７で、ｔの値が１００であるか判定する。１００でなければ、次の時刻ｔにおける画像Ｃ（ｔ）を作成する必要があるので、ステップ８に進む。１００であれば、画像Ｃ（ｔ）はすべて作成したので、ステップ９に進む。
【００６７】
ステップ８で、次の時刻の処理をするために、ｔを１だけインクリメントする。そして、ステップ５に戻る。
【００６８】
ステップ９で、最後の画像Ｄを作成する。すなわち、まず、新しいキャンバスを用意する。そして、このキャンバスに画像Ｂをコピーする。つまり、画像Ｂの各位置（ｘ，ｙ）の画素値Ｂ（ｘ，ｙ）を、キャンバス上の位置（ｘ，ｙ）に書き込む。そして、画像Ａの中で、Ｎ（ｘ，ｙ）＝１である各位置（ｘ，ｙ）の画素値Ａ（ｘ，ｙ）を、キャンバス上の位置（ｕ（ｘ，ｙ，１００），ｖ（ｘ，ｙ，１００））に上書きする。なお、（ｕ（ｘ，ｙ，１００），ｖ（ｘ，ｙ，１００））は、前記式６においてｔ＝１００とした場合の値である。キャンバス上にできた画像を、画像Ｄとする。この処理は、合成画像作成部１６で行われる。
【００６９】
このようにして作成された画像Ｄについて、以下で説明する。画素値Ａ（ｘ，ｙ）は、キャンバス上の位置（ｕ（ｘ，ｙ，１００），ｖ（ｘ，ｙ，１００））に書き込まれる。書き込まれた画像は、時刻ｔ＝１００における撮影位置から撮影したと仮定した場合の画像Ａに投影されている被写体の画像である。時刻ｔ＝１００における撮影位置は、画像Ｂと同じ撮影位置であるから、既にキャンバスにコピーされている画像Ｂとは位置ずれのない被写体像である。そして、Ｎ（ｘ，ｙ）＝１である位置のみが書き込まれているので、重要な被写体のみが書き込まれている。したがって、画像Ｄは、画像Ｂの中で、重要な被写体部分が、画像Ａに投影されている被写体像により置き換えられた画像となる。
【００７０】
ステップ９の後、ステップ１０に進む。
【００７１】
ステップ１０で、作成された画像を表示していく。すなわち、画像表示部１７にて、画像Ｃ（０）から画像Ｃ（１００）までを順番に表示した後、最後に画像Ｄを表示する。これにより、画像Ａ（歴史的な建造物の過去の写真）がゆっくりと変形していき、最後に、「過去の歴史的建造物」が現在の風景と融合した情景を表現できる。このようにして、時代の流れを感じることのできる写真を表現することが可能となる。
【００７２】
以上で、処理を終える。もちろん、画像Ｃ（ｔ）（ｔ＝０〜１００）と画像Ｄを、図示省略したデータ保存部に保存して、後で、再度、鑑賞できるようにしても良い。
【００７３】
本発明への理解を深めることができるように、再度、上記処理内容と同じ説明を、図を用いて説明する。
【００７４】
図３は、画像Ａを撮影したときの状況の一例を示している。当時の歴史的建造物２０Ａと、現在は存在しない当時の歴史的建造物２１Ａと、現在は存在しない樹木２２Ａが図のように配置されている。なお説明の都合上、２０Ａには、図中に示すように、４つの白色の窓と１つの白色のドアがあるとする。また、図を簡略化するため、物体は、四角柱や円錐などで表現している。座標系３０Ａから見てスクリーン３１Ａに投影された画像が、画像Ａであるとする。なお、ここで、座標系３０Ａの原点からスクリーン３１Ａまでの距離は、ｆＡである。
【００７５】
図３に示す状況で撮影された画像Ａを、図４に示す。図４に示すように、当時の歴史的建造物２０Ａと、現在は存在しない当時の歴史的建造物２１Ａと、現在は存在しない樹木２２Ａのそれぞれの投影像が画像Ａに写っている。
【００７６】
本発明の実施例の処理を実行する前に、前述のとおり、たとえば、論文  D. Hoiem, A.A. Efros, and M. Hebert, "Automatic Photo Pop-up", ACM SIGGRAPH 2005  に書かれている手法を用いることで奥行き情報Ｚ（ｘ，ｙ）を作成している。画像Ａの各位置（ｘ，ｙ）は、座標系３０Ａから見て（ｘ，ｙ，ｆＡ）の位置である。したがって、位置（ｘ，ｙ）に投影されている被写体は、実際には、座標系３０Ａから見て式１（前述）で示される位置にあることが分かる。この様子を、図３に示しておく。
【００７７】
図３において、２１Ａと２２Ａは、現在、存在しないとする。そして、２０Ａは現在も存在しているとする。したがって、画像Ａに投影されている被写体の中で現在も存在している被写体に関する情報、すなわち、各位置（ｘ，ｙ）に対するマッチング用マスク情報Ｍ（ｘ，ｙ）は、図５に示すものとなる。図５において、斜線領域が、Ｍ（ｘ，ｙ）＝１である領域であり、その他の領域は、Ｍ（ｘ，ｙ）＝０である。
【００７８】
また、２０Ａと２１Ａが、歴史的に意味あるものであり、２２Ａは意味のないものであるとする。したがって、画像Ａに投影されている被写体の中で重要な被写体であるかどうかに関する情報、すなわち、各位置（ｘ，ｙ）に対する被写体用マスク情報Ｎ（ｘ，ｙ）は、図６に示すものとなる。図６において、斜線領域が、Ｎ（ｘ，ｙ）＝１である領域であり、その他の領域は、Ｎ（ｘ，ｙ）＝０である。
【００７９】
図７は、画像Ｂを撮影するときの状況の一例を示している。現在の歴史的建造物２０Ｂと、人２３Ｂと、当時はなかったが現在は建てられている建造物２４Ｂが図のように配置されている。現在の歴史的建造物２０Ｂは、図３の当時の歴史的建造物２０Ａと同一であるが、経年変化により、窓とドアが黒くなってしまった。先に述べたとおり、図７（現在）においては、２１Ａと２２Ａは、存在しない。図７の座標系３０Ｂから見てスクリーン３１Ｂに投影された画像が、画像Ｂであるとする。なお、ここで、座標系３０Ｂの原点からスクリーン３１Ｂまでの距離は、ｆＢである。
【００８０】
なお、座標系３０Ａと、座標系３１Ａは、ほぼ同じ位置であるが、説明を分かりやすくするため、かなり距離をおいた形で図示している。
【００８１】
図７に示す状況で撮影される画像Ｂを、図８に示す。図８に示すように、現在の歴史的建造物２０Ｂと、人２３Ｂと、当時はなかったが現在は建てられている建造物２４Ｂのそれぞれの投影像が画像Ｂに写っている。
【００８２】
図４に示す画像Ａ（ただし、図５に示すＭ（ｘ，ｙ）が１の領域のみ）と、図８に示す画像Ｂとのマッチングが行われる（図２のステップ２およびステップ３）。これにより、座標系３０Ａと、座標系３０Ｂの位置関係Ｒ０、Ｒ１、Ｒ２、Ｔｘ、Ｔｙ、および、Ｔｚが求まる。図３に、この位置関係を図示してある。すなわち、座標系３０Ａに対して、Ｒ０、Ｒ１、Ｒ２で表現される回転と、Ｔｘ、Ｔｙ、Ｔｚで表現される平行移動を行った位置が座標系３０Ｂである。ステップ２およびステップ３で求めた座標系３０Ｂ（図３）は、もちろん、図７に示した座標系３０Ｂと同一となる。
【００８３】
座標系３０Ａと座標系３０Ｂの位置関係が求まると、次に、時刻パラメータｔを用いて、座標系３０Ａから座標系３０Ｂへと滑らかに時間変化する座標系を求める。すなわち、図２のステップ５で求めるＲ００（ｔ）、Ｒ１０（ｔ）、Ｒ２０（ｔ）、Ｔｘ０（ｔ）、Ｔｙ０（ｔ）、および、Ｔｚ０（ｔ）である。図３には、座標系３０Ａに対して、Ｒ００（ｔ）、Ｒ１０（ｔ）、Ｒ２０（ｔ）で表現される回転と、Ｔｘ０（ｔ）、Ｔｙ０（ｔ）、Ｔｚ０（ｔ）で表現される平行移動を行った位置を座標系３０Ｃとして記している。図３において、座標系３０Ｃから見てスクリーン３１Ｃに投影された画像が、画像Ｃ（ｔ）となる（図２のステップ６）。なお、ここで、座標系３０Ｃの原点からスクリーン３１Ｃまでの距離は、ｆＢ０（ｔ）である。
【００８４】
図３に示す状況で、仮想的な位置から撮影された画像（座標系３０Ｃから見てスクリーン３１Ｃに投影された画像）Ｃ（ｔ）を、図９に示す。図９に示すように、画像Ｃ（ｔ）には、画像Ａと比べて、各投影像は変形された投影像となって写っている。
【００８５】
また、ｔ＝１００のときの画像Ｃ（ｔ）を、図１０に示す。図９と同様に、画像Ｃ（１００）には、画像Ａと比べて、各投影像は変形された投影像となって写っている。時刻ｔ＝１００のときの撮影位置は、座標系３０Ｂと一致するので、図８に示す画像Ｂの中の「２０Ｂの投影像」と、図１０に示す画像Ｃ（１００）の中の「変形された２０Ａの投影像」とは位置的に一致している点に注意してほしい。
【００８６】
次に、このような状況において生成される画像Ｄについて、説明する。上述のステップ９における説明から分かるように、画像Ｄは、画像Ｂに対して、一部分を画像Ａ（正確には、画像Ａを変形した画像Ｃ（１００））で置き換えることで作成されている。置き換える部分は、画像Ａにおいて、Ｎ（ｘ，ｙ）＝１となる部分（図６参照）である。つまり、図１０に示す画像Ｃ（１００）で、「変形された２０Ａの投影像」と「変形された２１Ａの投影像」の部分である。これを図示すると、図１１となる。図１１に、画像Ｄを作成するために、Ｎ（ｘ，ｙ）＝１である位置のみ、画像Ａを変形させたデータを図示しておく。
【００８７】
画像Ｄは、画像Ｂ（図８）に対して、図１１で示す画像が上書きされるので、図１２に示す画像となる。図１２に示す画像Ｄで注意してほしい点は、画像Ｂ（図８）と比べて、２０Ｂの投影像（現在の歴史的建造物２０Ｂの投影像）が、２０Ａの投影像（正確には、２０Ａを変形した投影像）で置き換えられている点である。また、現在は存在しない当時の歴史的建造物２１Ａの投影像も写っている点である。画像Ｄにおいては、歴史的建造物の窓およびドアの色が、黒ではなく白であり、当時の歴史的建造物２０Ａの状態で表現されている。画像Ｄは、２０Ａと２１Ａが、現在の人２３Ｂと、当時はなかったが現在は建てられている建造物２４Ｂとともに、写っている画像となる。
【００８８】
かくして、画像Ｃ（０）から画像Ｃ（１００）までを順番に表示した後、最後に画像Ｄを表示することで、画像Ａ（歴史的な建造物の過去の写真）がゆっくりと変形していき、最後に、「過去の歴史的建造物」が現在の風景と融合した情景を表現できる。このようにして、時代の流れを感じることのできる写真を表現することが可能となる。
【００８９】
≪本発明のその他の実施例≫
なお、上述実施の形態においては、専用の画像処理装置１０にて、処理する例を示した。しかし、この他にも、画像をコンピュータ装置に送って、このコンピュータ装置内で画像の生成および表示をすることも可能である。この場合、詳細説明は省略するが、コンピュータ装置内でも、上述した画像処理装置１０における処理と同様の処理により、画像Ｃ（ｔ）および画像Ｄを作成し、それを表示することが出来る。
【００９０】
図１３は、画像Ｃ（ｔ）および画像Ｄを作成し、それを表示するコンピュータ装置４０の構成例を示している。
【００９１】
このコンピュータ装置４０は、ＣＰＵ（Central Processing Unit）４０１１、メモリ４０１２、ディスプレイコントローラ４０１３、入力機器インターフェース４０１４、ネットワークインターフェース４０１５を有している。また、このコンピュータ装置４０は、外部機器インターフェース４０１６およびデジタルカメラインターフェース４０１８を有している。これらは、バス４０１７に接続されている。
【００９２】
ディスプレイ４０１９は、ディスプレイコントローラ４０１３を介してバス４０１７に接続されている。キーボード（ＫＢＤ）４０２０およびマウス４０２１は、入力機器インターフェース４０１４を介してバス４０１７に接続されている。また、ハードディスクドライブ（ＨＤＤ）４０２２およびメディアドライブ４０２３は、外部機器インターフェース４０１６を介してバス４０１７に接続されている。デジタルカメラは、デジタルカメラインターフェース４０１８を介してバス４０１７に接続されている。また、コンピュータ装置４０は、ネットワークインターフェース４０１５を介して、インターネット等のネットワークに接続される。
【００９３】
ＣＰＵ４０１１は、コンピュータ装置４０のメイン・コントローラである。このＣＰＵ４０１１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。ＣＰＵ４０１１は、例えば、デジタルカメラから一度ハードディスクドライブ４０２２にダウンロードされた画像（たとえば、上述の画像Ｂ）を処理するアプリケーション・プログラムを実行することができる。アプリケーション・プログラムの中には、図２に示した処理を行うプログラムがインプリメントされている。ＣＰＵ４０１１は、バス４０１７によって他の機器類と相互接続されている。
【００９４】
メモリ４０１２は、ＣＰＵ４０１１において実行されるプログラム・コードを格納し、また実行中の作業データを一時保管するために使用される記憶装置である。メモリ４０１２は、例えば、ＲＯＭなどの不揮発性メモリおよびＤＲＡＭなどの揮発性メモリの双方を含む構成とされている。
【００９５】
ディスプレイコントローラ４０１３は、ＣＰＵ４０１１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイコントローラ４０１３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ４０１９によって画面出力される。例えば、ハードディスクドライブ４０２２から読み出された画像はディスプレイ４０１９で画面表示されて、ユーザは見て楽しむことができる。
【００９６】
入力機器インターフェース４０１４は、キーボード４０２０やマウス４０２１などのユーザ入力機器をコンピュータ装置４０に接続するための装置である。ユーザは、キーボード４０２０やマウス４０２１を介して、図２に示した処理を行うプログラムを実行するためのコマンドなどを入力することができる。
【００９７】
ネットワークインターフェース４０１５は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、コンピュータ装置４０を、ＬＡＮ（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続する。
【００９８】
ネットワーク上では、複数のホスト端末やサーバー（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行うことができる。例えば、上述の画像Ａが保存されている他のサーバーから画像データを、ネットワーク経由でハードディスクドライブ４０２２へダウンロードすることができる。
【００９９】
デジタルカメラインターフェース４０１８は、デジタルカメラから供給される画像を取り込むための装置である。外部機器インターフェース４０１６は、ハードディスクドライブ４０２２、メディアドライブ４０２３などの外部装置を、コンピュータ装置４０に接続するための装置である。
【０１００】
ハードディスクドライブ４０２２は、従来周知のように、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。また、このハードディスクドライブ４０２２は、ランダムアクセスも可能である。ソフトウェア・プログラムを実行可能な状態でハードディスクドライブ４０２２上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ハードディスクドライブ４０２２には、ＣＰＵ４０１１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、図２に示した処理を行うプログラムを、ハードディスクドライブ４０２２上にインストールすることができる。
【０１０１】
メディアドライブ４０２３は、ＣＤ（Compact Disc）、ＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital Versatile Disc）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。画像処理を行うためのアプリケーション・プログラムを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。
【０１０２】
以上、本発明の実施形態を詳述してきたが、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【０１０３】
さらに、本技術は、以下の構成とすることも可能である。
【０１０４】
［１］
第１の画像と第２の画像を使って、第３の画像を生成する画像処理装置であって、
上記第１の画像と上記第２の画像のマッチングにより、上記第１の画像が撮影された第１の撮影位置と、上記第２の画像が撮影された第２の撮影位置の位置関係を求める撮影位置計算部と、
上記第１の撮影位置と上記第２の撮影位置の間にある位置（第３の撮影位置とする）を決定する仮想位置決定部と、
上記第３の撮影位置から撮影したと仮定した場合の画像を、上記第３の画像として生成する画像生成部と
を有し、
上記仮想位置決定部では、上記第１の撮影位置、あるいは、上記第２の撮影位置の一方を始点とし、他方を終点とする経路上を、時間とともに、上記第３の撮影位置は移動するようにし、
上記画像生成部では、上記第１の撮影位置に対する上記第３の撮影位置の位置関係に応じた変形を、上記第１の画像に対して行うことで、上記第３の画像を生成すること
を特徴とする画像処理装置。
［２］
上記第１の画像は、さらに、各画素位置について奥行き情報を有し、
上記撮影位置計算部では、上記奥行き情報を使って、上記第１の撮影位置と、上記第２の撮影位置の位置関係を求めること
を特徴とする［１］に記載の画像処理装置。
［３］
上記第１の画像は、さらに、各画素位置についてマスク情報を有し、
上記撮影位置計算部では、上記マスク情報がない位置については上記第１の画像の情報を使わず、上記マスク情報がある位置についてのみ上記第１の画像の情報を使ってマッチングを行うこと
を特徴とする［１］あるいは［２］に記載の画像処理装置。
［４］
第１の画像と第２の画像を使って、第３の画像を生成する画像処理装方法であって、
上記第１の画像と上記第２の画像のマッチングにより、上記第１の画像が撮影された第１の撮影位置と、上記第２の画像が撮影された第２の撮影位置の位置関係を求める撮影位置計算ステップと、
上記第１の撮影位置と上記第２の撮影位置の間にある位置（第３の撮影位置とする）を決定する仮想位置決定ステップと、
上記第３の撮影位置から撮影したと仮定した場合の画像を、上記第３の画像として生成する画像生成ステップと
を有し、
上記仮想位置決定ステップでは、上記第１の撮影位置、あるいは、上記第２の撮影位置の一方を始点とし、他方を終点とする経路上を、時間とともに、上記第３の撮影位置は移動するようにし、
上記画像生成ステップでは、上記第１の撮影位置に対する上記第３の撮影位置の位置関係に応じた変形を、上記第１の画像に対して行うことで、上記第３の画像を生成すること
を特徴とする画像処理方法。
［５］
第１の画像と第２の画像を使って、第３の画像を生成する画像処理用のプログラムであって、
上記第１の画像と上記第２の画像のマッチングにより、上記第１の画像が撮影された第１の撮影位置と、上記第２の画像が撮影された第２の撮影位置の位置関係を求める撮影位置計算ステップと、
上記第１の撮影位置と上記第２の撮影位置の間にある位置（第３の撮影位置とする）を決定する仮想位置決定ステップと、
上記第３の撮影位置から撮影したと仮定した場合の画像を、上記第３の画像として生成する画像生成ステップと
を有し、
上記仮想位置決定ステップでは、上記第１の撮影位置、あるいは、上記第２の撮影位置の一方を始点とし、他方を終点とする経路上を、時間とともに、上記第３の撮影位置は移動するようにし、
上記画像生成ステップでは、上記第１の撮影位置に対する上記第３の撮影位置の位置関係に応じた変形を、上記第１の画像に対して行うことで、上記第３の画像を生成すること
を特徴とするコンピュータに実行させるプログラム。
【符号の説明】
【０１０５】
１０…画像処理装置
１１…入力端子
１２…特徴点マッチング処理部
１３…撮影位置計算部
１４…仮想撮影位置計算部
１５…変形画像作成部
１６…合成画像作成部
１７…画像表示部
２０Ａ，２１Ａ，２２Ａ，２０Ｂ，２３Ｂ，２４Ｂ…被写体
３０Ａ，３０Ｂ，３０Ｃ…３次元空間の座標系
３１Ａ，３１Ｂ，３１Ｃ…スクリーン
４０…コンピュータ装置
【図１】
2015200918.tif 000009
【図２】
2015200918.tif 000010
【図１３】
2015200918.tif 000011
【図３】
2015200918.tif 000012
【図４】
2015200918.tif 000013
【図５】
2015200918.tif 000014
【図６】
2015200918.tif 000015
【図７】
2015200918.tif 000016
【図８】
2015200918.tif 000017
【図９】
2015200918.tif 000018
【図１０】
2015200918.tif 000019
【図１１】
2015200918.tif 000020
【図１２】
2015200918.tif 000021