(57)【要約】【課題】二重像の問題を軽減することで主観品質の向上を図るようにした画像合成装置を提供する。【解決手段】入力部１０１は、複数の地点からカラー画像と距離画像とからなる三次元画像を入力する。大域的領域分割部１０２は、三次元画像をオブジェクト毎に分割する。微小領域分割部１０３は、複数の三次元画像のうちの１つを基準画像として選択し、基準画像に存在する各オブジェクトを微小領域に分割する。重複領域検出部１０４は、基準画像の微小領域の画像とマッチングする領域を比較画像から探索し、重複して存在する画素とその画像間の対応関係を求める。形状結合部１０５は、重複領域内を通過するように基準画像及び比較画像に継ぎ目を設定し、継ぎ目部分の三次元座標が一致するように、基準画像の形状と比較画像の形状とを結合する。画像合成部１０６は、任意の視点からの三次元画像を合成する。【選択図】図１
2017215775.tif 000002
【特許請求の範囲】
【請求項１】
複数の地点から撮像されたカラー画像と距離画像とからなる三次元画像を入力する入力部と、
前記複数の三次元画像をオブジェクト毎に分割し、各オブジェクト毎にラベルを付与する大域的領域分割部と、
前記複数の三次元画像のうちの１つを基準画像として選択し、前記基準画像に存在する各オブジェクトを微小領域に分割する微小領域分割部と、
前記複数の三次元画像のうち前記基準画像とされたもの以外を比較画像とし、前記基準画像の微小領域とマッチングする領域を前記比較画像から探索し、前記基準画像及び前記比較画像の双方に重複して存在する重複領域の画素とその画像間の対応関係を求める重複領域検出部と、
前記重複領域内を通過するように前記基準画像及び前記比較画像に継ぎ目を設定し、前記継ぎ目の部分の三次元座標が一致するように、前記基準画像の形状と前記比較画像の形状とを結合する形状結合部と、
前記形状結合部で結合した形状を用いて任意の視点からの三次元画像を合成する画像合成部と
を備える画像合成装置。
【請求項２】
前記重複領域検出部は、前記基準画像の微小領域の画像とマッチングする領域を前記比較画像から探索する際に、三次元座標のユークリッド距離により探索範囲の制約を設ける請求項１に記載の画像合成装置。
【請求項３】
前記形状結合部は、前記重複領域検出部で求めた領域に対して、継ぎ目の間で輝度値の差が最も小さくなるように継ぎ目を設定する請求項１に記載の画像合成装置。
【請求項４】
前記形状結合部は、前記継ぎ目の部分の三次元座標が一致するような前記比較画像の形状の移動ベクトルを算出し、当該移動ベクトルに応じて、前記比較画像の形状を移動させる請求項１に記載の画像合成装置。
【請求項５】
前記画像合成部は、指定した任意視点からの画像をレンダリングするとともに、前記継ぎ目の位置を基に冗長部分を定め、前記冗長部分を破棄する請求項１に記載の画像合成装置。
【請求項６】
複数の地点から撮像されたカラー画像と距離画像とからなる三次元画像を入力する入力ステップと、
前記複数の三次元画像をオブジェクト毎に分割し、各オブジェクト毎にラベルを付与する大域的領域分割ステップと、
前記複数の三次元画像のうちの１つを基準画像として選択し、前記基準画像に存在する各オブジェクトを微小領域に分割する微小領域分割ステップと、
前記複数の三次元画像のうち前記基準画像とされたもの以外を比較画像とし、前記基準画像の微小領域とマッチングする領域を前記比較画像から探索し、前記基準画像及び前記比較画像の双方に重複して存在する重複領域の画素とその画像間の対応関係を求める重複領域検出ステップと、
前記重複領域内を通過するように前記基準画像及び前記比較画像に継ぎ目を設定し、前記継ぎ目の部分の三次元座標が一致するように、前記基準画像の形状と前記比較画像の形状とを結合する形状結合ステップと、
前記形状結合ステップで結合した形状を用いて任意の視点からの三次元画像を合成する画像合成ステップと
を有する画像合成方法。
【請求項７】
コンピュータを、請求項１から５にいずれか一項に記載の画像合成装置として機能させるための画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数視点の映像から自由視点映像を合成する画像合成装置、画像合成方法及び画像合成プログラムに関する。
【背景技術】
【０００２】
自由視点映像では、複数の視点から撮った映像を用いて任意の視点の映像を合成することで、あらゆる視点からの映像視聴が可能であり、次世代の映像メディアとして古くから映像合成のための研究が進められてきた。自由視点映像は，シーン中の被写体の三次元形状復元を行うことで、カメラがない視点からの映像を生成することを可能とする。
【０００３】
高品質な自由視点映像を実現することができる代表的な研究のひとつとして、非特許文献１に記載されているような研究が挙げられる。これは自由視点映像の撮影、合成、配信まで含めた一連のパイプラインを提案した研究であり、高品質な自由視点映像を合成可能である。しかしながら、非特許文献１に記載されているものは、大量のカメラ及び赤外線カメラを必要とする。これに加え、非特許文献１に記載されているものでは、被写体領域を抽出するために背景を均一色に限定する必要がある。また、これらの特殊な環境に特化したキャリブレーションを行う必要があるなど、撮影環境に対して非常に厳しい制約条件がある。そのため、実際のシーンでの利用は難しい。
【０００４】
一方で、非特許文献２に記載されているように、距離センサを用いることで比較的現実的な制約下での自由視点映像合成方法が提案されている。しかしながら、非特許文献２に記載されているような距離センサを用いるものでは、その合成品質は不十分である。合成品質を低下させる大きな要因の１つとして、二重像の発生が挙げられる。これは距離情報のノイズやカメラキャリブレーションの誤りによって、復元される被写体の三次元形状が誤ったものになることで生じる現象であり、視聴者が大きな違和感を覚える要因となる。厳密なカメラキャリブレーションや距離情報のフィルタリングを用いることで、幾何的に正確な形状を求め、二重像を解消しようとする試みは古くから行われてきた。しかし、それらの手法で幾何的に厳密な値を求めることは難しく、二重像及び自由視点映像視聴時の違和感の完全な解消は実現されていない。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】A. Collet, M. Chuang, P. Sweeney, D. Gillett, D. Evseev, D. Calabrese, H. Hoppe, A. Kirk, S. Sullivan, “High-quality streamable free-viewpoint video,” ACM Transactions on Graphics, 34(4), 2015.
【非特許文献２】D. Alexiadis, D. Zarpalas, P. Daras, “Fast and smooth 3D reconstruction using multiple RGB-Depth sensors,” in Visual Communications and Image Processing Conference 2014, pp.173-176.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のように、非特許文献１に記載されているような方法では、撮影環境に対して非常に厳しい制約条件がある。一方、非特許文献２に記載されているような方法では、撮影環境に対する制約条件は緩和されるが、二重像の発生等、合成画像の品質が不完全である。厳密なカメラキャリブレーションや距離情報のフィルタリングにより復元される形状を幾何的に正しい形状へ近づけることは可能であるが、二重像を完全に解消することは難しく、必ずしも合成画像の主観品質向上が実現可能であるとは言えない。
【０００７】
上述の課題を鑑み、本発明は、二重像の問題を軽減することで主観品質の向上を図るようにした画像合成装置、画像合成方法及び画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、複数の地点から撮像されたカラー画像と距離画像とからなる三次元画像を入力する入力部と、前記複数の三次元画像をオブジェクト毎に分割し、各オブジェクト毎にラベルを付与する大域的領域分割部と、前記複数の三次元画像のうちの１つを基準画像として選択し、前記基準画像に存在する各オブジェクトを微小領域に分割する微小領域分割部と、前記複数の三次元画像のうち前記基準画像とされたもの以外を比較画像とし、前記基準画像の微小領域とマッチングする領域を前記比較画像から探索し、前記基準画像及び前記比較画像の双方に重複して存在する重複領域の画素とその画像間の対応関係を求める重複領域検出部と、前記重複領域内を通過するように前記基準画像及び前記比較画像に継ぎ目を設定し、前記継ぎ目の部分の三次元座標が一致するように、前記基準画像の形状と前記比較画像の形状とを結合する形状結合部と、前記形状結合部で結合した形状を用いて任意の視点からの三次元画像を合成する画像合成部とを備える画像合成装置である。
【０００９】
本発明の一態様は、前記画像合成装置であって、前記重複領域検出部は、前記基準画像の微小領域の画像とマッチングする領域を前記比較画像から探索する際に、三次元座標のユークリッド距離により探索範囲の制約を設ける。
【００１０】
本発明の一態様は、前記画像合成装置であって、前記形状結合部は、前記重複領域検出部で求めた領域に対して、継ぎ目の間で輝度値の差が最も小さくなるように継ぎ目を設定する。
【００１１】
本発明の一態様は、前記画像合成装置であって、前記形状結合部は、前記継ぎ目の部分の三次元座標が一致するような前記比較画像の形状の移動ベクトルを算出し、当該移動ベクトルに応じて、前記比較画像の形状を移動させる。
【００１２】
本発明の一態様は、前記画像合成装置であって、前記画像合成部は、指定した任意視点からの画像をレンダリングするとともに、前記継ぎ目の位置を基に冗長部分を定め、前記冗長部分を破棄する。
【００１３】
本発明の一態様は、複数の地点から撮像されたカラー画像と距離画像とからなる三次元画像を入力する入力ステップと、前記複数の三次元画像をオブジェクト毎に分割し、各オブジェクト毎にラベルを付与する大域的領域分割ステップと、前記複数の三次元画像のうちの１つを基準画像として選択し、前記基準画像に存在する各オブジェクトを微小領域に分割する微小領域分割ステップと、前記複数の三次元画像のうち前記基準画像とされたもの以外を比較画像とし、前記基準画像の微小領域とマッチングする領域を前記比較画像から探索し、前記基準画像及び前記比較画像の双方に重複して存在する重複領域の画素とその画像間の対応関係を求める重複領域検出ステップと、前記重複領域内を通過するように前記基準画像及び前記比較画像に継ぎ目を設定し、前記継ぎ目の部分の三次元座標が一致するように、前記基準画像の形状と前記比較画像の形状とを結合する形状結合ステップと、前記形状結合部で結合した形状を用いて任意の視点からの三次元画像を合成する画像合成ステップとを有する画像合成方法である。
【００１４】
コンピュータを、前記画像合成装置として機能させるための画像合成プログラムである。
【発明の効果】
【００１５】
本発明によれば、複数視点の映像から自由視点映像を合成する際に、二重像の発生を軽減することで、主観品質の向上を図ることができるという効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る画像合成装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る画像合成装置の全体動作を示すフローチャートである。
【図３】本発明の実施形態に係る画像合成装置における入力部の概要の説明図である。
【図４】本発明の実施形態に係る画像合成装置における大域的領域分割部の詳細な構成を示すブロック図である。
【図５】本発明の実施形態に係る画像合成装置における大域的領域分割部の動作を示すフローチャートである。
【図６】本発明の実施形態に係る画像合成装置における微小領域分割部の詳細な構成を示すブロック図である。
【図７】本発明の実施形態に係る画像合成装置における微小領域分割部の動作を示すフローチャートである。
【図８】本発明の実施形態に係る画像合成装置における重複領域検出部の詳細な構成を示すブロック図である。
【図９】本発明の実施形態に係る画像合成装置における重複領域検出部の動作を示すフローチャートである。
【図１０】本発明の実施形態に係る画像合成装置における形状結合部の詳細な構成を示すブロック図である。
【図１１】本発明の実施形態に係る画像合成装置における形状結合部の動作を示すフローチャートである。
【図１２】本発明の実施形態に係る画像合成装置における合成部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の実施形態に係る画像合成装置１の構成を示すブロック図である。
【００１８】
図１に示すように、本発明の実施形態に係る画像合成装置１は、入力部１０１と、大域的領域分割部１０２と、微小領域分割部１０３と、重複領域検出部１０４と、形状結合部１０５と、画像合成部１０６とを備えている。なお、画像合成装置１は、入力部１０１と、大域的領域分割部１０２と、微小領域分割部１０３と、重複領域検出部１０４と、形状結合部１０５と、画像合成部１０６の機能を有するコンピュータ装置により実現できる。
【００１９】
入力部１０１は、複数の地点のセンサから、カラー画像と、距離画像と、カメラパラメータとを入力する。大域的領域分割部１０２は、入力部１０１から出力される複数（例えば２つ）のカラー画像に対し、画像内に存在する被写体をオブジェクト毎に分割し、分割されたオブジェクト毎に異なる値のラベルを付与する。微小領域分割部１０３は、２つの画像のうちの１つを選択し、選択された画像（以下、基準画像と称する）で大域的領域分割部１０２で分割されたオブジェクト領域毎に、画像を微小領域へと分割する処理を行う。重複領域検出部１０４は、微小領域分割部１０３で分割された基準画像のオブジェクトの微小領域の画素と、他の画像（以下、比較画像と称する）の画素との対応関係を取ることで、重複している領域の検出を行う。
【００２０】
形状結合部１０５は、重複領域検出部１０４で導出された重複領域内を通過するように、基準画像と比較画像との２つの画像内に画像の継ぎ目を設定する。そして、形状結合部１０５は、設定した画像の継ぎ目上の三次元座標値が基準画像と比較画像とで一致するように、比較画像の移動ベクトルを算出し、その移動ベクトルに基づいて、比較画像上の形状を移動させる処理を行い、結合形状を生成する。画像合成部１０６は、形状結合部１０５で作成された結合形状の不要な点を削除した後に、指定した任意の位置の仮想視点から見た画像のレンダリングを行い、その画像を出力又は保存する。
【００２１】
図２は、本発明の実施形態に係る画像合成装置１の全体動作の概要を示すフローチャートである。
【００２２】
入力部１０１は、２つの地点のセンサから、カラー画像と、距離画像と、カメラパラメータの入力を行う（ステップＳ１）。
【００２３】
大域的領域分割部１０２は、入力部１０１から入力される２つの画像に対し、画像内に存在するオブジェクトを単位として領域分割を行う（ステップＳ２）。
【００２４】
大域的領域分割部１０２は、２つのカラー画像に対して、分割されたオブジェクト毎に異なる値のラベルを付与する（ステップＳ３）。
【００２５】
微小領域分割部１０３は、２つのカラー画像のうちの一方を基準画像とし、大域的領域分割部１０２で分割されたオブジェクト領域毎に、基準画像を微小領域へと分割する処理を行う（ステップＳ４）。
【００２６】
重複領域検出部１０４は、微小領域分割部１０３で分割された一方の画像（基準画像）のオブジェクトの微小領域の画素と、他方の画像（比較画像）の画素との対応関係を取ることで、重複領域の検出を行う（ステップＳ５）。
【００２７】
形状結合部１０５は、重複領域検出部１０４で導出された重複領域内を通過するように、２つの画像内に画像の継ぎ目を設定する（ステップＳ６）。そして、形状結合部１０５は、設定した画像の継ぎ目上の三次元座標値が一致するように、移動ベクトルを算出し、その移動ベクトルに基づいて、比較画像の形状を三次元空間上で移動させ、結合形状を生成する。
【００２８】
画像合成部１０６は、結合形状の不要な点を削除した後に、入力された２つの三次元画像の形状と、形状結合部１０５で結合した形状とから視点された指定された仮想視点からの画像を合成し、レンダリングする（ステップＳ７）。
【００２９】
画像合成部１０６は、合成した画像を表示装置に出力し、又はＨＤＤ（Hard Disk Drive）等に保存する（ステップＳ８）。
【００３０】
本発明の実施形態に係る画像合成装置１では、重複領域検出部１０４で、視点の異なる２つの画像から重複領域を検出している。そして、形状結合部１０５で、重複領域内を通過するように２つの画像の継ぎ目を設定し、設定した画像の継ぎ目上の三次元座標値が一致するように形状を移動させて、結合形状を作成している。そして、画像を合成する際に、画像の継ぎ目に基づいて結合形状の不要な部分を破棄している。このため、画像合成部１０６で任意視点の三次元画像を合成する際に、２つの画像で同一であるとみなせる領域は一回のみレンダリングされることとなり、二重像の発生が原理的に抑制可能となる。
【００３１】
本発明の実施形態に係る画像合成装置１について、更に詳細に説明する。
【００３２】
図３は、本発明の実施形態に係る画像合成装置１における入力部１０１の概要を示す図である。図３に示すように、入力部１０１は、センサ２０１ａ及びセンサ２０１ｂを有している。センサ２０１ａ及びセンサ２０１ｂは、それぞれ、カラーカメラと距離センサとからなる。センサ２０１ａ及びセンサ２０１ｂは、異なる地点Ａと地点Ｂとに配置される。なお、この例では、地点Ａと地点Ｂとの２つの地点に２つのセンサ２０１ａ及び２０１ｂを配置しているが、センサの数はこれに限定されるものではない。
【００３３】
センサ２０１ａ及びセンサ２０１ｂは、それぞれ異なる地点Ａ及びＢから、被写体２０３を撮影する。センサ２０１ａからは、地点Ａの画像（地点Ａのカラー画像と、距離画像と、カメラパラメータ）が出力される。センサ２０１ｂからは、地点Ｂの画像（地点Ｂのカラー画像と、距離画像と、カメラパラメータ）とが取得される。
【００３４】
なお、この例では、カラー画像と距離画像は、センサ２０１ａ及びセンサ２０１ｂを構成するカラーカメラと距離センサから取得するものとしているが、これらはＨＤＤなどに録画したデータを読み出して、入力部１０１に入力してもよい。また、カラー画像と距離画像は、それぞれ隣接した位置又は同位置で撮影されるものとする。また、全ての画像は、ほぼ同時刻で撮影されている。例えば、センサ２０１ａ及びセンサ２０１ｂとして、一般的なカラーカメラ付きの距離センサを用いることで、このような隣接した位置で、カラー画像と距離画像を取得することができる。また、センサ２０１ａ及びセンサ２０１ｂを構成するカラーカメラ及び距離センサそれぞれのカメラ内部パラメータと、カメラ外部パラメータの両方を、カメラパラメータと称する。カメラパラメータについては、画像を取得する前に、センサ２０１ａ及び２０１ｂのカラーカメラ及び距離センサに対し、カメラキャリブレーションを行うことで取得することができる。
【００３５】
図１において、大域的領域分割部１０２は、入力部１０１から出力される地点Ａの画像及び地点Ｂの画像に対し、画像内に存在する被写体をオブジェクト毎に分割し、分割されたオブジェクト毎に異なる値のラベルを付与する。
【００３６】
図４は、大域的領域分割部１０２の詳細構成を示すブロック図である。図４に示すように、大域的領域分割部１０２は、オブジェクト検出部３０１ａ及び３０１ｂと、オブジェクトラベル付与部３０２とから構成される。オブジェクト検出部３０１ａには、センサ２０１ａから、地点Ａの画像（地点Ａのカラー画像及び距離画像）が入力される。オブジェクト検出部３０１ａは、地点Ａの画像内に存在する各物体をオブジェクト毎に分類する。オブジェクト検出部３０１ｂには、センサ２０１ｂから、地点Ｂの画像（地点Ｂのカラー画像及び距離画像）が入力される。オブジェクト検出部３０１ｂは、地点Ｂの画像内に存在する各物体をオブジェクト毎に分類する。オブジェクトラベル付与部３０２は、オブジェクト検出部３０１ａ及び３０１ｂで分類された地点Ａの画像及び地点Ｂの画像に対して、オブジェクトにラベルを付与し、画像間でラベルの対応関係を求める。オブジェクトラベル付与部３０２は、地点Ａのラベル付き画像（地点Ａのラベル付きカラー画像及び距離画像）と、地点Ｂのラベル付き画像（地点Ｂのラベル付きカラー画像及び距離画像）を出力する。
【００３７】
図５は、大域的領域分割部１０２での処理を示すフローチャートである。
オブジェクト検出部３０１ａ及び３０１ｂは、入力部１０１から、地点Ａの画像（カラー画像及び距離画像）と地点Ｂの画像（カラー画像及び距離画像）との２つの画像をそれぞれ入力する（ステップＳ１０１）。
【００３８】
オブジェクト検出部３０１ａ及び３０１ｂは、地点Ａのカラー画像と地点Ｂのカラー画像との各カラー画像に対し、画像内に存在する被写体をオブジェクト毎に分割する（ステップＳ１０２）。オブジェクト毎に分割する処理については、例えば画素情報や、同時に入力した距離情報を併用したグラフカットを用いることができるが、どのような手法を用いても構わない。
【００３９】
オブジェクトラベル付与部３０２は、オブジェクト検出部３０１ａで分割された地点Ａのカラー画像と、オブジェクト検出部３０１ｂで分割された地点Ｂのカラー画像に対して、オブジェクト毎に異なる値のラベルを付与する（ステップＳ１０３）。
【００４０】
オブジェクトラベル付与部３０２は、地点Ａのカラー画像と地点Ｂのカラー画像との間で、各ラベルの対応関係を求める（ステップＳ１０４）。対応関係を求める手法として、例えば、一方の画像のあるラベルが付与されたオブジェクト領域の自然特徴量と、もう一方の画像の各オブジェクトを比較し、最も類似したものを対応したラベルとみなすことができる。対応したラベルとみなせた場合、それらのラベルに同様の値を改めて付与しておく。このとき、あるオブジェクトについて類似度が任意の閾値を超えない場合、そのオブジェクトは対応関係を持たないと定める。この自然特徴量は、ＳＩＦＴ(Scale-Invariant Feature Transform)などを用いることができるが、どのような特徴量を用いても構わない。以降、各オブジェクト領域にラベルが付与され、画像間におけるラベルの対応関係を付与した画像（ラベルを付与したカラー画像及び距離画像）を、ラベル付き画像と呼称する。
【００４１】
図１において、微小領域分割部１０３は、地点Ａのラベル付き画像又は地点Ｂのラベル付き画像の何れかを基準画像として選択し、選択した基準画像に対して、大域的領域分割部１０２で分割されたオブジェクト領域毎に、画像を微小領域へと分割する処理を加える。
【００４２】
図６は、微小領域分割部１０３の詳細構成を示すブロック図である。図６に示すように、微小領域分割部１０３は、画像選択部４０１と、オブジェクト内領域分割部４０２とを備える。画像選択部４０１は、地点Ａのラベル付き画像と、地点Ｂのラベル付き画像のどちらを以降の処理対象とするか選択する。この例では、地点Ａのラベル付き画像を選択している。以降、画像選択部４０１で選択した側のラベル付き画像を基準画像とする。また、選択されなかった側のラベル付き画像を比較画像とする。オブジェクト内領域分割部４０２は、選択した基準画像において、オブジェクト領域毎に微小領域に領域分割を行う。
【００４３】
図７は、微小領域分割部１０３の動作を示すフローチャートである。
画像選択部４０１は、地点Ａの画像と地点Ｂの画像のどちらを基準画像とするかを選択する（ステップＳ２０１）。地点Ａの画像と、地点Ｂの画像のどちらを基準画像として選択しても構わない。画像の選択は、例えば、画像内に映るオブジェクトのラベル数などを基に決定しても良い。この例では、地点Ａの画像を基準画像として選択するものとする。
【００４４】
オブジェクト内領域分割部４０２は、基準画像内で微小領域分割処理が行われていないオブジェクト領域を指定する（ステップＳ２０２）。領域分割手法には、例えばｓｕｐｅｒｐｉｘｅｌを用いることができるが、どのような手法を用いても構わない。
【００４５】
オブジェクト内領域分割部４０２は、選択した基準画像において、オブジェクト領域毎に微小領域分割を行う（ステップＳ２０３）。
【００４６】
オブジェクト内領域分割部４０２は、選択した基準画像内で全てのオブジェクト領域で微小領域分割処理が行われたか否かを判定する（ステップＳ２０４）。オブジェクト内領域分割部４０２は、全てのオブジェクト領域について微小領域分割処理が行われていれば（ステップＳ２０４：Ｙｅｓ）、処理を終了し、微小領域分割処理が行われていないオブジェクト領域があれば（ステップＳ２０４：Ｎｏ）、処理をステップＳ２０２に戻す。
【００４７】
以上の処理により、地点Ａの画像又は地点Ｂの画像のどちらか一方の画像を基準画像として選択して、選択した基準画像に対して、オブジェクト領域毎に微小領域に分割する処理が行われる。
【００４８】
図１において、重複領域検出部１０４は、微小領域分割済み基準画像（地点Ａの微小領域分割済みのラベル付き画像）と、比較画像（地点Ｂのラベル付き画像）を入力する。そして、重複領域検出部１０４は、基準画像の微小領域の画素と、比較画像の画素との対応関係を取ることで、重複している領域の検出を行う。
【００４９】
図８は、重複領域検出部１０４の詳細構成を示すブロック図である。図８に示すように、重複領域検出部１０４は、微小領域特徴量算出部５０１と、オブジェクト領域特徴量算出部５０２と、画素対応関係情報取得部５０３とを備える。
【００５０】
微小領域特徴量算出部５０１は、微小領域分割済み基準画像（地点Ａの微小領域分割済みのラベル付き画像及び距離画像）から、基準画像の各微小領域の画像特徴量を算出する。オブジェクト領域特徴量算出部５０２は、比較画像（地点Ｂのラベル付き画像及び距離画像）から、比較画像の画像特徴量を算出する。画素対応関係情報取得部５０３は、基準画像の微小領域を１つ選択する。そして、画素対応関係情報取得部５０３は、選択した基準画像の微小領域の特徴量と比較画像の特徴量とのマッチングによる類似度の算出を探索範囲内で画素単位に行い、基準画像の微小領域と重複する比較画像の領域を画素単位で求める。そして、微小領域特徴量算出部５０１は、対応関係がある画素を重複領域とし、重複領域の対応関係を付与した基準画像（重複領域の対応関係を付与した地点Ａのラベル付きカラー画像及び距離画像）及び重複領域の対応関係を付与した比較画像（重複領域の対応関係を付与した地点Ｂのラベル付きカラー画像及び距離画像）を出力する。
【００５１】
図９は、重複領域検出部の動作を示すフローチャートである。
微小領域特徴量算出部５０１は、基準画像（地点Ａの微小領域分割済みのラベル付き画像）の各領域の画像特徴量を算出する（ステップＳ３０１）。オブジェクト領域特徴量算出部５０２は、探索範囲で比較画像（地点Ｂのラベル付き画像）の画像特徴量を算出する。
【００５２】
画素対応関係情報取得部５０３は、基準画像の中で未選択の微小領域を１つ選択する（ステップＳ３０２）。
【００５３】
画素対応関係情報取得部５０３は、選択された基準画像の微小領域と、探索範囲の比較画像とを画素毎にマッチング判定を行う（ステップＳ３０３）。このとき、画素対応関係情報取得部５０３は、基準画像と比較画像との２つの画像の画素における三次元座標を、対応する距離画像とカメラパラメータを用いて求める。画像マッチングの探索範囲は、求めた三次元座標のユークリッド距離が閾値以内であり、大域的領域分割部１０２内のオブジェクトラベル付与部３０２において付与されたラベルが対応している画素のみとする。この制約によって、マッチングの信頼度の向上及び、画素マッチングが取れないような平坦な画像に対しても一定の精度を得ることができるとともに、処理速度の向上を実現することができる。
【００５４】
画素対応関係情報取得部５０３は、選択された基準画像の微小領域との間に類似度が閾値以上である領域を比較画像の探索範囲から検出し、類似度が閾値以上であった場合、選択した基準画像の微小分割領域を、基準画像における重複領域として定める（ステップＳ３０４）。
【００５５】
画素対応関係情報取得部５０３は、基準画像における重複領域として定めた微小領域を比較画像へ射影する（ステップＳ３０５）。そして、画素対応関係情報取得部５０３は、比較画像へと射影した領域を、比較画像における重複領域と定める。そして、画素対応関係情報取得部５０３は、２つの画像の重複領域の画素間の対応関係を記録しておく。
【００５６】
微小領域特徴量算出部５０１は、基準画像の中の全ての微小領域を選択したか否かを判定する（ステップＳ３０６）。基準画像の微小量木の全ての領域を選択していなければ（ステップＳ３０６：Ｎｏ）、処理をステップＳ３０２に戻し、基準画像の全ての微小領域を全て選択するまで、繰り返し処理を行う。また、２回目以降の処理においては、選択画像において既に重複領域となった領域は、マッチングの探索範囲からは除外する。
【００５７】
以上の処理により、重複領域検出部１０４で、基準画像中の微小領域に対して重複関係となる比較画像の領域が判定できる。重複領域検出部１０４は、重複領域とその対応関係を付与した基準画像及び比較画像を出力する。
【００５８】
図１において、形状結合部１０５は、重複領域検出部１０４で導出された重複領域内を通過するように、基準画像と比較画像との２つの画像内に画像の継ぎ目を設定する。
【００５９】
図１０は、形状結合部１０５の構成を示すブロック図である。図１０に示すように、形状結合部１０５は、画像継ぎ目導出部６０１と、形状移動部６０２とを備える。画像継ぎ目導出部６０１には、重複領域の対応関係を付与した基準画像（重複領域の対応関係を付与した地点Ａのラベル付きカラー画像及び距離画像）及び重複領域の対応関係を付与した比較画像（重複領域の対応関係を付与した地点Ｂのラベル付きカラー画像及び距離画像）が送られる。画像継ぎ目導出部６０１は、重複領域検出部１０４で導出された重複領域内を通過するように、基準画像及び比較画像内に画像の継ぎ目を設定する。形状移動部６０２は、設定した画像の継ぎ目上の三次元座標値が一致するように、比較画像の形状を移動させる移動ベクトルを算出し、その移動ベクトルに基づいて比較画像の形状を移動させる処理を行い、基準画像と比較画像とから結合形状を生成する。
【００６０】
図１１は形状結合部の動作を示すフローチャートである。
画像継ぎ目導出部６０１は、対応関係を付与した基準画像及び比較画像に対して、重複領域内のみを通過するような、各オブジェクト領域を二分する画像の継ぎ目をそれぞれ設定する（ステップＳ４０１）。画像の継ぎ目の設定は、各オブジェクト領域で行う。
【００６１】
このとき、画像の継ぎ目は、ＳｅａｍＣａｒｖｉｎｇなどの手法を用いることで、被写体を構成する形状を跨いだり、映像を視聴する人物の注目が集まりやすい部分を通過したりすることのないように設定する。例えば、対象が人の顔であった場合、目などの画素領域が画像の継ぎ目として設定されることがないようにする。既存の手法では形状移動処理や形状結合を行うことで、継ぎ目部分に形状やテクスチャの不整合性が生じ、見た目に強い違和感を産んでいたが、この制約を加えることで、視聴する人物の注目が集まりにくい部分を継ぎ目部分として設定することが可能となるため、不整合性が知覚されづらく、結果として画像の違和感を抑制することが可能となる。画像継ぎ目導出部６０１は、基準画像の各オブジェクト領域に設定した画像の継ぎ目にあたる画素と対応する比較画像の各画素も同様に画像の継ぎ目であると定め、２つの対応関係付与画像間での画像の継ぎ目における対応を記録しておく。また、画像継ぎ目導出部６０１は、重複領域検出部１０４で求めた領域に対して、継ぎ目間で輝度値の差が最も小さくなるように継ぎ目を設定する。これにより、後に説明するように、形状結合部１０５で、２つのカラー画像及び２つの距離画像から求められる三次元形状を、継ぎ目同士が最も一致するように結合できる。
【００６２】
形状移動部６０２は、比較画像の形状を移動させるための移動ベクトルを算出する（ステップＳ４０２）。移動ベクトルの算出は各オブジェクト領域で行う。基準画像の当該オブジェクト領域の画像の継ぎ目の三次元座標に対して、比較画像の当該オブジェクト領域の画像の継ぎ目の三次元座標を一致させるように、移動ベクトルを定める。比較画像の当該オブジェクト領域の画像の継ぎ目以外の画素に対しては、画像の継ぎ目の三次元座標との相対距離を保つような移動ベクトルを定める。また、このとき、距離情報を持たない画素に対して、微小領域内で三次元座標を補完するような処理を行うことで、最終的にレンダリングされる画像に存在する欠損を抑制することができる。
【００６３】
形状移動部６０２は、比較画像の各画素に対して定めた移動ベクトルを、比較画像の各画素の三次元座標に加えることで、比較画像の形状を新たな三次元位置に再配置する（ステップＳ４０３）。これにより、地点Ａの画像の形状と地点Ｂの画像の形状は、新たな三次元位置に再配置されることになる。地点Ａの画像の形状と再配置された地点Ｂの画像の形状とから、結合形状が生成される。
【００６４】
図１において、画像合成部１０６は、形状結合部１０５で作成された結合形状の不要な点を削除した後に、指定した任意の位置の仮想視点から見た画像のレンダリングを行い、その画像を出力又は保存する。
【００６５】
図１２は画像合成部１０６の動作を示すフローチャートである。
画像合成部１０６は、画像の継ぎ目に基づいて結合形状の不要な部分を破棄する（ステップＳ５０１）。該当部分を冗長部分と呼称する。冗長部分の指定は、各対応関係付与画像内のオブジェクト領域毎に定めるものであり、画像の継ぎ目によって二分割されたオブジェクト領域の片方が対象となる。画像合成部１０６は、画像の継ぎ目によって二分割されたオブジェクト領域毎に、地点Ａの画像のオブジェクトの領域と地点Ｂの画像のオブジェクトの領域とのどちらを破棄するかを決定する。どちらの領域を破棄するかについては、領域内に占める重複領域の割合が大きい方を選択することができる。また、カメラの配置位置と各オブジェクトの三次元座標を基に、予め破棄するオブジェクト領域の傾向を定めておくこともできる。これにより、Ａ地点での画像とＢ地点での画像で同一であるとみなせる領域は一回のみレンダリングされることとなるため、二重像の発生を原理的に抑制可能となる。また、描画頂点数が削減されるため処理速度が向上する。
【００６６】
画像合成部１０６は、ステップＳ５０１で冗長部分が破棄された結合形状と、基準画像の形状（地点Ａの画像の形状）と、比較画像の形状（地点Ｂの画像の形状）とに基づいて、指定した任意の位置の仮想視点から見た三次元画像のレンダリングを行う（ステップＳ５０２）。
【００６７】
画像合成部１０６は、レンダリングした画像を出力又はＨＤＤに保存する（ステップＳ５０３）。
【００６８】
なお、画像合成装置１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６９】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００７０】
１：画像合成装置，１０１：入力部，１０２：大域的領域分割部，１０３：微小領域分割部，１０４：重複領域検出部，１０５：形状結合部，１０６：画像合成部，２０１ａ，２０１ｂ：センサ，３０１ａ，３０１ｂ：オブジェクト検出部，３０２：オブジェクトラベル付与部，４０１：画像選択部，４０２：オブジェクト内領域分割部，５０１：微小領域特徴量算出部，５０２：オブジェクト領域特徴量算出部，５０３：画素対応関係情報取得部，６０１：画像継ぎ目導出部，６０２：形状移動部
【図１】
2017215775.tif 000003
【図２】
2017215775.tif 000004
【図３】
2017215775.tif 000005
【図４】
2017215775.tif 000006
【図５】
2017215775.tif 000007
【図６】
2017215775.tif 000008
【図７】
2017215775.tif 000009
【図８】
2017215775.tif 000010
【図９】
2017215775.tif 000011
【図１０】
2017215775.tif 000012
【図１１】
2017215775.tif 000013
【図１２】
2017215775.tif 000014