(57)【要約】      （修正有）【課題】仮想視点からの画像を合成する際に、主観品質の向上を図る。【解決手段】撮像位置の異なる画像と距離画像との対を少なくとも２対入力する入力部１１と、画像と距離画像とのそれぞれについて平面領域に分割し、該平面領域それぞれの画像間の対応関係を求め、該平面領域の対応関係から平面領域内の画素の対応関係と、２対のうち、いずれの画像の平面領域を使用するかを選択する平面領域選択部１２と、画素の対応関係と、指定された仮想視点の位置とを基に、選択された平面領域内の画素の移動ベクトルを算出する平面領域移動ベクトル算出部１３と、算出した移動ベクトルによって画素を移動させ仮想視点から見た仮想視点画像をレンダリングする合成部１４とを備える。【選択図】図１
2017142755.tif 000002
【特許請求の範囲】
【請求項１】
撮像位置の異なる画像と距離画像との対を少なくとも２対入力する入力部と、
前記画像と前記距離画像とのそれぞれについて平面領域に分割し、該平面領域それぞれの画像間の対応関係を求め、該平面領域の対応関係から平面領域内の画素の対応関係と、２対のうち、いずれの画像の前記平面領域を使用するかを選択する平面領域選択部と、
前記画素の対応関係と、指定された仮想視点の位置とを基に、選択された前記平面領域内の画素の移動ベクトルを算出する平面領域移動ベクトル算出部と、
算出した前記移動ベクトルによって前記画素を移動させ前記仮想視点から見た仮想視点画像をレンダリングする合成部と
を備える画像合成装置。
【請求項２】
前記平面領域選択部は、対応する前記平面領域の各画像内に占める画素の数に応じて使用する前記平面領域を選択する請求項１に記載の画像合成装置。
【請求項３】
前記平面領域移動ベクトル算出部は、前記平面領域の対応関係を用いて、対応する前記平面領域内の各画素の対応関係を求め、該画素の対応関係と、前記仮想視点の位置を基に前記画素に加える移動ベクトルを定める請求項１に記載の画像合成装置。
【請求項４】
前記平面領域移動ベクトル算出部は、対応関係を持たない画素に対して、近傍に存在する対応する前記領域内画素に加えられた前記移動ベクトルと等しい移動ベクトルを算出する請求項１に記載の画像合成装置。
【請求項５】
前記合成部は、前記平面領域選択部によって選択した前記平面領域内の前記画素を、前記平面領域移動ベクトル算出部で定めた前記移動ベクトルに従って３次元空間上で移動し、前記仮想視点から見た前記画像をレンダリングする請求項１に記載の画像合成装置。
【請求項６】
撮像位置の異なる画像と距離画像の対を２対入力する入力ステップと、
前記画像と前記距離画像とのそれぞれについて平面領域に分割し、該平面領域それぞれの画像間の対応関係を求め、該平面領域の対応関係から平面領域内の画素の対応関係と、２対のうち、いずれの画像の前記平面領域を使用するかを選択する平面領域選択ステップと、
前記画素の対応関係と、指定した仮想視点の位置を基に、選択された前記平面領域内の画素の移動ベクトルを算出する平面領域移動ベクトル算出ステップと、
算出した前記移動ベクトルによって前記画素を移動し前記仮想視点から見た仮想視点画像をレンダリングする合成ステップと
を有する画像合成方法。
【請求項７】
コンピュータを、請求項１から５のいずれか一項に記載の画像合成装置として機能させるための画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像及び距離画像を用いて仮想視点からの画像を合成する画像合成装置、画像合成方法及び画像合成プログラムに関する。
【背景技術】
【０００２】
自由視点映像では、複数視点から撮った映像を用いて任意の視点の映像を合成することで、所望の視点からの映像視聴が可能である。自由視点映像は、次世代の映像メディアとして古くから映像合成のための研究が進められてきた。自由視点映像は、シーン中の被写体の３次元形状復元を行うことで、実際にはカメラがない視点からの映像を生成することを可能とする。
【０００３】
高品質な自由視点映像を実現することができる代表的な研究のひとつとして、Ｃｏｌｌｅｔらの研究が挙げられる（例えば、非特許文献１参照）。これは自由視点映像の撮影、合成、配信まで含めた一連のパイプラインを提案した研究であり、高品質な自由視点映像を合成可能である。
【０００４】
しかしながら、非特許文献の技術にあっては、大量の可視光カメラ及び赤外カメラを必要とする。また、被写体領域を抽出する為に背景を均一色に限定する必要がある。さらに、これらの特殊な環境に特化したキャリブレーションを行う必要があるなど、撮影環境に対して非常に厳しい制約条件がある。そのため、実際のシーンでの利用は難しい。
【０００５】
一方で、距離画像を得ることができる距離センサを用いることで比較的現実的な制約下での自由視点映像合成方法が提案されている。
【０００６】
しかしながら、その合成品質は不十分であることが知られている。合成品質を低下させる大きな要因の一つとして、二重像の発生が挙げられる。これは距離情報のノイズや可視光カメラのキャリブレーションの誤りによるものである。この誤りによって、復元される被写体の３次元形状が誤ったものになることで生じる現象である。距離画像を用いる方法は、このような問題により、視聴者が大きな違和感を覚える要因となる。
【０００７】
二重像解消のための取り組みは古くから行われており、カメラキャリブレーションを厳密に行うこと（例えば、非特許文献２参照）、距離情報へのフィルタリングなどによるものが提案されている。
【０００８】
しかしながら、実際のシーンで二重像を完全に解消することは難しい。その理由として、厳密に正確な幾何形状を復元する必要があるからである。また、実際のシーンでは、カメラキャリブレーション後に外的要因によるカメラ姿勢の変化が起こりうることが挙げられる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】A. Collet, M. Chuang, P. Sweeney, D. Gillett, D. Evseev, D. Calabrese, H. Hoppe, A. Kirk, S. Sullivan, “High-quality streamable free-viewpoint video,” ACM Transactions on Graphics, 34(4), 2015.
【非特許文献２】Z. Zhang, “A flexible new technique for camera calibration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11), 1330-1334, 2000.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述したように、従来の方法では、復元される形状を幾何的に正しい形状へ近づけることは可能であるが、二重像を完全に解消することは難しい。このため、必ずしも合成画像の主観品質向上が実現可能であるとは言えないという問題がある。
【００１１】
本発明は、このような事情に鑑みてなされたもので、仮想視点からの画像を合成する際に、主観品質の向上を図ることができる画像合成装置、画像合成方法及び画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一態様は、撮像位置の異なる画像と距離画像との対を少なくとも２対入力する入力部と、前記画像と前記距離画像とのそれぞれについて平面領域に分割し、該平面領域それぞれの画像間の対応関係を求め、該平面領域の対応関係から平面領域内の画素の対応関係と、２対のうち、いずれの画像の前記平面領域を使用するかを選択する平面領域選択部と、前記画素の対応関係と、指定された仮想視点の位置とを基に、選択された前記平面領域内の画素の移動ベクトルを算出する平面領域移動ベクトル算出部と、算出した前記移動ベクトルによって前記画素を移動させ前記仮想視点から見た仮想視点画像をレンダリングする合成部とを備える画像合成装置である。
【００１３】
本発明の一態様は、前記画像合成装置であって、前記平面領域選択部は、前記対応平面領域の各画像内に占める画素の数に応じて使用する前記平面領域を選択する。
【００１４】
本発明の一態様は、前記画像合成装置であって、前記平面領域移動ベクトル算出部は、前記平面領域の対応関係を用いて、対応する前記平面領域内の各画素の対応関係を求め、該画素の対応関係と、前記仮想視点の位置を基に前記画素に加える移動ベクトルを定める。
【００１５】
本発明の一態様は、前記平面領域移動ベクトル算出部は、対応関係を持たない画素に対して、近傍に存在する前記対応領域内画素に加えられた前記移動ベクトルと等しい移動ベクトルを算出する。
【００１６】
前記合成部は、前記画像合成装置であって、前記平面領域選択部によって選択した前記平面領域内の前記画素を、前記平面領域移動ベクトル算出部で定めた前記移動ベクトルに従って３次元空間上で移動し、前記仮想視点から見た前記画像をレンダリングする請求項１に記載の画像合成装置である。
【００１７】
本発明の一態様は、撮像位置の異なる画像と距離画像との対を少なくとも２対入力する入力ステップと、前記画像と前記距離画像とのそれぞれについて平面領域に分割し、該平面領域それぞれの画像間の対応関係を求め、該平面領域の対応関係から平面領域内の画素の対応関係と、２対のうち、いずれの画像の前記平面領域を使用するかを選択する平面領域選択ステップと、前記画素の対応関係と、指定された仮想視点の位置とを基に、選択された前記平面領域内の画素の移動ベクトルを算出する平面領域移動ベクトル算出ステップと、算出した前記移動ベクトルによって前記画素を移動させ前記仮想視点から見た仮想視点画像をレンダリングする合成ステップとを有する画像合成方法である。
【００１８】
本発明の一態様は、コンピュータを、前記画像合成装置として機能させるための画像合成プログラムである。
【発明の効果】
【００１９】
本発明によれば、主観品質の低下要因である二重像を解消することで、より主観的な品質の高い仮想視点からの画像を合成することが可能になるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態による画像合成装置の構成を示すブロック図である。
【図２】カラー画像と距離画像とを同時に撮像する実カメラの配置の具体例を示す図である。
【図３】図１に示す平面領域選択部１２の詳細な構成を示すブロック図である。
【図４】図１に示す平面領域選択部１２の動作を示すフローチャートである。
【図５】対応無領域内の各画素の移動ベクトルを算出する方法を示す説明図である。
【図６】図１に示す平面領域移動ベクトル算出部１３の動作を示すフローチャートである。
【図７】対応有領域内の対応画素の移動ベクトルを算出する方法を示す説明図である。
【図８】図１に示す合成部１４の動作を示すフローチャートである。
【図９】図１に示す画像合成装置１の動作を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明の一実施形態による画像合成装置を説明する。本発明は、画像の撮像位置と仮想視点とを結ぶ移動ベクトルを利用することで、距離情報やカメラのキャリブレーション誤りによる、仮想視点画像中の二重像の発生を解消することが可能になるものである。図１は同実施形態による画像合成装置の構成を示すブロック図である。画像合成装置１は、コンピュータ装置によって構成し、図１に示すように、入力部１１、平面領域選択部１２、平面領域移動ベクトル算出部１３及び合成部１４を備えている。
【００２２】
次に、図１に示す各構成の詳細について説明する。入力部１１は、視点と撮像時刻が同じカラー画像と距離画像との対を外部から少なくとも２対入力する。カラー画像及び距離画像は、距離センサ付きのカラーカメラによって撮像された画像である。図２は、カラー画像と距離画像とを同時に撮像する実カメラの配置の具体例を示す図である。図２に示すように、実カメラＡと、実カメラＢは距離センサを備え、被写体を撮像することにより、カラー画像と距離画像とを取得する。
【００２３】
また、カラー画像と距離画像の対は、それぞれ隣接した位置、もしくは、同位置で撮影される。また、すべての画像はほぼ同時刻で撮影されている。例えば、一般的な距離センサ付きのカラーカメラを用いることで、このような隣接した位置でのカラー画像と距離画像を取得することができる。
【００２４】
また、入力部１１は、使用する実カメラのカメラパラメータを同時に入力する。カラーカメラおよび距離センサそれぞれのカメラ内部パラメータと、カメラ外部パラメータの両方を、カメラパラメータと称する。カメラの内部パラメータとは、焦点距離、画像中心、アスペクト比などである。また、カメラの外部パラメータとは、回転の３自由度、平行移動の３自由度である。カメラパラメータについては、両画像を取得する前に、各カラーカメラ及び距離センサに対し、カメラキャリブレーションを行うことで取得することができる。
【００２５】
また、入力部１１には、実カメラＡ、Ｂそれぞれで撮像したカラー画像と距離画像とを一時保持する実カメラＡの入力データ保持部と実カメラＢのデータ保持部を備えている。
【００２６】
なお、入力部１１は、予め撮像された画像（カラー画像と距離画像）を録画したものを記憶媒体から読みだすことによって入力しても構わない。
【００２７】
次に、図１に示す平面領域選択部１２について説明する。図３は、平面領域選択部１２の構成を示すブロック図である。平面領域選択部１２は、２つの平面領域分割部１２１、１２２と、領域対応部１２３と、画素対応部１２４と、領域選択部１２５とを備える。平面領域分割部１２１、１２２は、入力部１１内の実カメラＡの入力データ保持部１１１と実カメラＢの入力データ保持部１１２にそれぞれ保持されている実カメラＡ、Ｂから入力したデータ（カラー画像と距離画像）から各カラー画像内に存在する被写体をそれぞれ平面領域に分割する。
【００２８】
領域対応部１２３は、平面領域分割部１２１、１２２それぞれにおいて分割された平面領域（距離がほぼ同じである画素集めた領域）内の画素に自然特徴点（景観中の特徴的な点；例えば、ＳＩＦＴ特徴量による特徴点）を付与する。そして、一方のカラー画像内のある領域がもう一方のカラー画像内のどの平面領域と対応するかを求める。画素対応部１２４は、求めた領域の対応関係から、各カラー画像内の領域内における各画素の対応関係を求める。領域選択部１２５は、対応関係を持つ領域のうち、いずれを画像合成に利用するかを選択する。領域選択部１２５は、対応領域の各画像内に占める画素の数に応じて使用する領域を選択する。
【００２９】
次に、図４を参照して、図３に示す平面領域選択部１２の動作を説明する。図４は、図３に示す平面領域選択部１２の動作を示すフローチャートである。まず、平面領域分割部１２１、１２２のそれぞれは、入力部１１から出力される２対のカラー画像・距離画像をそれぞれ入力する（ステップＳ１１）。そして、画像内に存在する被写体を平面領域に分割する（ステップＳ１２）。
【００３０】
平面領域に分割する処理については、どのような方法を用いても構わない。例えば、各距離画像と各カメラパラメータを用いることで算出される画素毎の３次元点座標を利用し、３次元平面の割り当てを行っても構わない。また、各カラー画像をその色情報に基づいて微小領域に分割し、その領域内で距離画像を用いた３次元平面割り当てを行っても構わない。
【００３１】
次に、領域対応部１２３は、各カラー画像内で分割された各平面領域に対して自然特徴点を付与する。そして、付与された特徴点とその特徴量の類似度に基づいて、一方のカラー画像上の特定平面領域がもう一方のカラー画像上のどの平面領域と対応するかを定める（ステップＳ１３）。この時、定めた類似度が一定以上であった場合、各カラー画像内のこの平面領域を、対応関係を持つ領域（以下、「対応有領域」という。）とし、領域間の対応関係を記録しておく。
【００３２】
類似度が一定値以下であった場合は、その領域を対応関係を持たない領域（以下、「対応無領域」という。）とする。図５は、対応無領域内の各画素の移動ベクトルを算出する方法を示す説明図である。例えば、図５に示すように一方のカメラにしか映っていない領域などが対応無領域となる。図５に示す例では、実カメラＡのみに存在する領域、実カメラＢのみに存在する領域が相当する。この閾値に関しては任意に定めてよい。この時、自然特徴点にはどのようなものを用いても構わなが、例えば、ＳＩＦＴ特徴量を用いることができる。
【００３３】
次に、画素対応部１２４は、一方のカラー画像内に存在する対応有領域の画素と、この対応有領域に対応する他方のカラー画像内に存在する対応有領域の領域内部の画素との対応関係を求めるために、両領域間のホモグラフィ行列Ｈを求める（ステップＳ１４）。行列Ｈは（１）式で表され、（２）式の値Ｅを最小化することで行列Ｈが求められる。
【数１】
2017142755.tif 000003
【数２】
2017142755.tif 000004
【００３４】
ここで、一方のカラー画像内に存在する対応有領内に存在するｉ番目の自然特徴点の座標を（ｘｉ，ｙｉ）、対応する自然特徴点の座標を（ｘｉ’，ｙｉ’）としている。一方のカラー画像内に存在する対応有領域のその他の画素の座標を（ｕ，ｖ）、対応する画素の座標を（ｕ’，ｖ’）とすると、以下の（３）式に従うことで、対応有領域間の全画素対応を求めることができる。
【数３】
2017142755.tif 000005
【００３５】
最後に、領域選択部１２５は、２対のカラー画像・距離画像に写る対応有領域のうちのどちらを、以降の合成部１４の処理において利用するかを選択する（ステップＳ１５）。その選択方法として、例えば、各カラー画像内で対象の対応有領域が占める画素の面積の大きい方を選択することができる。ただし、この選択方法にはどのような基準を用いても構わない。他にも、対象の対応有領域の３次元座標から法線を算出し、各カラー画像を撮影したカメラの向きとの内積を取り、値が大きい方を選択しても構わない。このようにすることで、合成部１４においてレンダリングされる際の解像度を最大に保つことができる。
【００３６】
次に、図１に示す平面領域移動ベクトル算出部１３について説明する。平面領域移動ベクトル算出部１３は、平面領域選択部１２で保存された画素の対応関係に基づき、各画素に加える移動ベクトルを算出し保存するものである。図６は、図１に示す平面領域移動ベクトル算出部１３の動作を示すフローチャートである。まず、平面領域移動ベクトル算出部１３は、仮想視点の位置を指定する（ステップＳ２１）。同時に、平面領域移動ベクトル算出部１３は、指定された仮想視点の位置（仮想カメラの位置）と、実際に入力カラー画像及び距離画像を撮影した２対のカメラとの位置関係ｌＶＡ及びｌＶＢ（図７参照）を算出する。図７は、対応有領域内の対応画素の移動ベクトルを算出する方法を示す説明図である。
【００３７】
次に、平面領域移動ベクトル算出部１３は、平面領域選択部１２で選択された対応有領域を一つ指定する（ステップＳ２２）。この領域内に存在する画素をＰＡ、その３次元座標をｐＡとし、他方のカラー画像に存在する画素ＰＡに対応する画素をＰＢ、その３次元座標をｐＢとする。各画素の移動先をｐＶとし、以下の（４）式で定める。
【数４】
2017142755.tif 000006
【００３８】
次に、平面領域移動ベクトル算出部１３は、仮想視点位置、実カメラの位置及び各領域内の画素の対応関係から各画素に加える移動ベクトルを求める（ステップＳ２３）。すなわち、画素ＰＡに加える３次元移動ベクトルをＶとし以下の（５）式で定める。
【数５】
2017142755.tif 000007
このように仮想視点位置を考慮することで、仮想視点と実視点の間を移動する際の合成画像間に、不連続性が発生せず、スムーズな視点移動を可能とする移動ベクトルの算出が可能となる。
【００３９】
次に、平面領域移動ベクトル算出部１３は、選択された領域内の画素に加える移動ベクトルを保存し、もう一方の対応領域内画素を削除する（ステップＳ２４）。すなわち、移動ベクトルＶを保存し、画素ＰＢを削除する。以上の処理を選択した対象の領域内のすべての画素に対して行った後、平面領域移動ベクトル算出部１３は、次の対応有領域を一つ指定し、同様の処理を行う。以上の処理を全ての対応有領域を指定するまで繰り返し行う（ステップＳ２５）。このように、対応する画素のうちの片方を削除することにより、合成画像上の二重像の発生を抑制することができる。
【００４０】
次に、平面領域移動ベクトル算出部１３は、一つの画像上にしか存在しない、対応関係を持たない領域を一つ指定し（ステップＳ２６）、近傍領域の移動ベクトルをコピーし領域内の画素に加える移動ベクトルとして保存する（ステップＳ２７）。すなわち、平面領域選択部１２で対応無領域と定められた領域内画素に加える移動ベクトル算出を行い、この領域内の画素に加える移動ベクトルは近傍領域の移動ベクトルと同じものを保存する（図５参照）。
【００４１】
この時、移動ベクトルは、最も近傍に存在する画素に加えられるものをそのまま用いても構わない。また、近傍領域内の移動ベクトルを平均したものを用いても構わない。以上の処理を選択した当該領域内のすべての画素に対して行った後、次の対応無領域を一つ指定し、同様の処理を行う。このようにすることで、対応関係を持たないために移動ベクトルを算出することができない領域に対しても、移動ベクトルを付与することができるため、画像内の全ての領域に対して処理を行うことが可能となる。さらに、隣接する領域から移動ベクトルを採用することで、領域間の移動ベクトルが不連続にならない。このため、領域間が断裂したような画像劣化を起こさず、より自然な映像合成が可能となる。以上の処理を全ての対応無領域を指定するまで繰り返し行う（ステップＳ２８）。
【００４２】
次に、図８を参照して、図１に示す合成部１４の動作を説明する。図８は、図１に示す合成部１４の動作を示すフローチャートである。まず、合成部１４は、全画素の３次元座標に対して保存した移動ベクトルの値を加える（ステップＳ３１）。続いて、合成部１４は、指定された仮想視点から画像平面上へのレンダリングを行う（ステップＳ３２）。そして、合成部１４は、合成画像を出力して記録媒体に保存する（ステップＳ３２）。
【００４３】
すなわち、合成部１４は、平面領域移動ベクトル算出部１３で保存された移動ベクトルに基づき、平面領域選択部１２で選択された対応有領域内の該当画素を移動させることで新たな３次元形状の復元を行う。そして、合成部１４は、指定された任意の位置の仮想視点から見た画像のレンダリングを行い、その画像を出力して保存する。
【００４４】
次に、図９を参照して、図１に示す画像合成装置１全体の動作を説明する。図２は、図１に示す画像合成装置１全体の動作を示すフローチャートである。入力部１１は、カラー画像及び距離画像を２対と、それぞれのカメラパラメータを入力する（ステップＳ４１）。次に、平面領域選択部１２は、入力情報（２対のカラー画像と距離画像）を複数の領域に分割し、画像間での対応関係を求める（ステップＳ４２）。
【００４５】
次に、平面領域移動ベクトル算出部１３は、各領域の対応関係に基づいて各領域を３次元空間上で移動させる（ステップＳ４３）。そして、合成部１４は、指定された仮想視点からの画像を公知の方法によってレンダリングする（ステップＳ４４）。最後に、合成部１４は、合成画像を出力し、保存する（ステップＳ４５）。
【００４６】
このような構成にすることで、入力される距離情報やカメラパラメータに誤差が含まれていて二重像が生じる場合であっても、画像対応に基づいて推定された移動ベクトルを用いて３次元形状を移動させることにより、二重像を根本的に解決することができる為、より主観品質の高い画像を合成することができる。
【００４７】
なお、前述した説明においては、カラー画像を例にして説明したが、入力する画像は必ずしもカラーである必要はなく、モノクロ画像であってもよい。
【００４８】
以上説明したように、主観品質の低下要因である二重像を解消することで、より主観的な品質の高い自由視点画像の合成が可能になるという効果が得られる。
【００４９】
前述した実施形態における画像処理装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００５０】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００５１】
仮想視点からの画像を合成する際に、主観品質の向上を図ることが不可欠な用途に適用できる。
【符号の説明】
【００５２】
１・・・画像処理装置、１１・・・入力部、１２・・・平面領域選択部、１３・・・平面領域移動ベクトル算出部、１４・・・合成部、１１１・・・実カメラＡの入力データ保持部、１１２・・・実カメラＢの入力データ保持部、１２１、１２２・・・平面領域分割部、１２３・・・領域対応部、１２４・・・画素対応部、１２５・・・領域選択部
【図１】
2017142755.tif 000008
【図２】
2017142755.tif 000009
【図３】
2017142755.tif 000010
【図４】
2017142755.tif 000011
【図５】
2017142755.tif 000012
【図６】
2017142755.tif 000013
【図７】
2017142755.tif 000014
【図８】
2017142755.tif 000015
【図９】
2017142755.tif 000016