(57)【要約】【課題】多視点画像と奥行き画像から任意視点画像を生成する。【解決手段】撮像画像の画素を、それぞれの奥行き画像の奥行き値から投影画と奥行投影画像を生成する手段と、任意視点画像の画素の輝度値の適合性を算出する手段と、信頼に足ると判定された画素については、所定の複数の投影画像の画素の輝度値から任意視点画像の画素の輝度値と、該画素の奥行き値を決定したレイヤ画像を記憶しておくレイヤ画像群記憶手段と、信頼に足らないと判定された画素については、奥行き値の修正を行って、同様処理繰り返す手段と、レイヤ画素を用いた穴埋めを行って、レイヤ画像上の合成領域を拡張する手段と、１つの任意視点画像平面に対してレイヤ画像それぞれを投影した後、奥行きが不連続な箇所にはマッチング処理を行って、画像を合成することにより任意視点画像を出力する手段とを備えた。【選択図】図１
2015087851.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点における撮像画像それぞれを小領域に分割する領域分割手段と、
前記撮像画像の画素を、それぞれの奥行き画像の奥行き値に従い、任意視点画像平面へと投影し、投影画像を生成するとともに、前記奥行き画像の画素を、前記任意視点画像平面へと投影し、奥行投影画像を生成する画素投影手段と、
前記任意視点画像上の画素ごとに、前記投影画像または前記奥行投影画像を用いて、前記任意視点画像の画素の輝度値の適合性を算出する信頼性測定手段と、
前記信頼性測定手段によって算出した前記適合性を用いて、前記任意視点画像上の画素の信頼性を判定する判定手段と、
前記判定手段によって、信頼に足ると判定された画素については、所定の複数の前記投影画像の画素の輝度値から前記任意視点画像の画素の輝度値と、該画素の奥行き値を決定したレイヤ画像を記憶しておくレイヤ画像群記憶手段と、
前記判定手段によって、信頼に足らないと判定された画素については、前記任意視点画像上の画素が所属する前記小領域内の他画素の信頼性と奥行き値を用いて、前記奥行き値の修正を行って、前記画素投影手段、前記信頼性測定手段、前記判定手段による処理を前記撮像画像のすべての領域が十分に投影されるまで繰り返す領域修正手段と、
複数の前記任意視点画像平面に対し、前記レイヤ画像群を投影した際に発生しうる遮蔽領域による隠れた領域や、信頼性が足らず埋めきれなかった領域に対し、既に合成されているレイヤ画素を用いた穴埋めを行って、前記レイヤ画像上の合成領域を拡張するレイヤ修正手段と、
１つの前記任意視点画像平面に対して前記レイヤ画像それぞれを投影した後、奥行きが不連続な箇所にはマッチング処理を行って、画像を合成することにより前記任意視点画像を出力する画像合成手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記信頼性測定手段は、前記投影画像どうしの前記任意視点画像上の画素における近傍の画素及び前記任意視点画像上の既知の画素と比べて大きく異なる奥行きでないかを示す奥行き連結性を算出することにより前記適合性を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記信頼性測定手段は、前記投影画像どうしの前記任意視点画像上の画素における近傍の画素及び前記任意視点画像上の既知の画素と比べて大きく異なる輝度でないかを示す輝度親和性を算出することにより前記適合性を算出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記信頼性測定手段は、前記撮像画像が時間的に連続した映像である際は、直前フレームに比べ前記任意視点画像上の画素と前記投影画像どうしの前記任意視点画像上の画素における輝度値と、前記任意視点画像上の画素の近傍画素との輝度値が大きく異なっていないかに基づいて前記適合性を算出することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
コンピュータを、請求項１から４のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点の映像と奥行き情報からシーンの奥行きを推定する画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
映像メディアの分野では、近年、高臨場化とパーソナライズ化の流れが急速に進んでいる。映像を立体的に視ることで高臨場な映像体験が可能な３Ｄ映像は映画・テレビ・ゲーム機等幅広く普及が進んできている。それに加え、解像度がフルＨＤの４倍ある４Ｋ映像や、現在開発を進めているスーパーハイビジョン映像など、映像の大画面化も高臨場化の流れを加速させる要因のひとつとして挙げられる。また、ネットワークを介したビデオオンデマンドサービスの普及は著しく、テレビやスマートフォンなどユーザが好みのデバイスで好みのコンテンツを視聴する映像のパーソナライズが進んでいることがわかる。
【０００３】
このような背景の中、高臨場化とパーソナライズ化を更に加速させる新しい映像メディアのひとつに、ユーザが見たい視点を動かしながら映像を楽しむことができる自由視点映像が挙げられる。自由視点映像は、多視点から撮影された映像を用いて、シーンの奥行きを推定することで、ユーザが見たい視点である任意の視点からの映像を合成するものである。多くの手法では、多視点映像の視差を利用したステレオマッチング等の画像処理や、レーザレンジセンサによる三次元形状計測等により、シーンの奥行きを求める。
【０００４】
しかし、欠損の無い奥行き画像を得ることは困難である。例えば、ステレオマッチングで推定される奥行き画像は高解像ではあるが、推定エラーを完全に防ぐことは難しい。一方で、レーザレンジセンサを用いた計測では、推定エラーは低く高精度な計測が可能ではあるが、低解像度であることが課題となる。高解像度で計測できるものは機器が大変高価である上に、大きな設備が必要となってしまうため、現実的な運用は厳しい。また、奥行き画像を符号化することによる符号化エラーも、奥行き画像の欠損原因の一つとなる。以上に加えて、任意視点から見たときに、どの観測カメラからも撮影されていない遮蔽された領域においても、奥行き画像を復元することは困難であり、奥行き画像の欠損の一つであるといえる。
【０００５】
奥行き画像の欠損を修繕する方法の一つとして、奥行き画像にフィルタリングを施す手法が挙げられる（例えば、非特許文献１参照）。奥行き画像における本来のエッジは残しつつノイズだけを取り除くためにバイラテラルフィルタ等が用いられるが、現実シーンの形状は複雑であるため、奥行き境界が混ざりあうことも発生し、二次元的なフィルタリングだけでは対処できない欠損が残されてしまう。また、カメラの色情報を用いて奥行き画像を修繕する手法も提案されている（例えば、非特許文献２参照）。
【０００６】
しかし各カメラの奥行き画像ごとに独立して行われるため、任意視点位置には依存しておらず、視点毎に互いに矛盾した奥行き画像を出力する可能性があり、現実シーンにおける自由視点映像への応用は困難である。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】T. Matsuo, N. Fukushima, Y. Ishibashi, "Weighted Joint Bilateral Filter with Slope Depth Compensation Filter for Depth Map Refinement," Proc. International Conference on Computer Vision Theory and Applications (VISAPP 2013), Feb. 2013
【非特許文献２】Color based depth up-sampling for depth compression M.O. Wildeboer, T. Yendo, M.P. Tehrani, T. Fujii, M. Tanimoto Proceeding of Picture Coding Symposium 2010(PCS)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
任意視点画像の映像品質は、奥行き画像の映像品質に大きく依存する。しかし実際にはステレオ視による奥行き推定誤り、レーザレンジセンサによる低解像な奥行き画像、奥行き画像符号化による符号化エラーなどにより奥行画像に欠損が生じるため、奥行き画像を正確に取得することは困難であり、奥行き画像の欠損により任意視点映像は劣化してしまうという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、多視点画像と奥行き画像から任意視点画像を生成する際に、奥行き画像の欠損箇所を検知・修繕しながら、任意視点を中心とする任意視点画像を生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、複数の視点における撮像画像それぞれを小領域に分割する領域分割手段と、前記撮像画像の画素を、それぞれの奥行き画像の奥行き値に従い、任意視点画像平面へと投影し、投影画像を生成するとともに、前記奥行き画像の画素を、前記任意視点画像平面へと投影し、奥行投影画像を生成する画素投影手段と、前記任意視点画像上の画素ごとに、前記投影画像または前記奥行投影画像を用いて、前記任意視点画像の画素の輝度値の適合性を算出する信頼性測定手段と、前記信頼性測定手段によって算出した前記適合性を用いて、前記任意視点画像上の画素の信頼性を判定する判定手段と、前記判定手段によって、信頼に足ると判定された画素については、所定の複数の前記投影画像の画素の輝度値から前記任意視点画像の画素の輝度値と、該画素の奥行き値を決定したレイヤ画像を記憶しておくレイヤ画像群記憶手段と、前記判定手段によって、信頼に足らないと判定された画素については、前記任意視点画像上の画素が所属する前記小領域内の他画素の信頼性と奥行き値を用いて、前記奥行き値の修正を行って、前記画素投影手段、前記信頼性測定手段、前記判定手段による処理を前記撮像画像のすべての領域が十分に投影されるまで繰り返す領域修正手段と、複数の前記任意視点画像平面に対し、前記レイヤ画像群を投影した際に発生しうる遮蔽領域による隠れた領域や、信頼性が足らず埋めきれなかった領域に対し、既に合成されているレイヤ画素を用いた穴埋めを行って、前記レイヤ画像上の合成領域を拡張するレイヤ修正手段と、１つの前記任意視点画像平面に対して前記レイヤ画像それぞれを投影した後、奥行きが不連続な箇所にはマッチング処理を行って、画像を合成することにより前記任意視点画像を出力する画像合成手段とを備えたことを特徴とする。
【００１１】
本発明は、前記信頼性測定手段は、前記投影画像どうしの前記任意視点画像上の画素における近傍の画素及び前記任意視点画像上の既知の画素と比べて大きく異なる奥行きでないかを示す奥行き連結性を算出することにより前記適合性を算出することを特徴とする。
【００１２】
本発明は、前記信頼性測定手段は、前記投影画像どうしの前記任意視点画像上の画素における近傍の画素及び前記任意視点画像上の既知の画素と比べて大きく異なる輝度でないかを示す輝度親和性を算出することにより前記適合性を算出することを特徴とする。
【００１３】
本発明は、前記信頼性測定手段は、前記撮像画像が時間的に連続した映像である際は、直前フレームに比べ前記任意視点画像上の画素と前記投影画像どうしの前記任意視点画像上の画素における輝度値と、前記任意視点画像上の画素の近傍画素との輝度値が大きく異なっていないかに基づいて前記適合性を算出することを特徴とする。
【００１４】
本発明は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。
【発明の効果】
【００１５】
本発明によれば、多視点画像と奥行き画像から任意視点画像を生成する際に、奥行き画像の欠損箇所を検知・修繕しながら、任意視点を中心とする任意視点画像を生成することができるという効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態の構成を示すブロック図である。
【図２】領域分割を行った結果を示す図である。
【図３】図１に示す画素投影部８が行う処理動作を示す説明図である。
【図４】図１に示す信頼性測定部１１の動作を示す説明図である。
【図５】本発明の第２実施形態の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、多視点画像を記憶する多視点画像記憶部である。符号２は、多視点奥行き画像を記憶する多視点奥行き画像記憶部である。符号３は、カメラパラメータを記憶するカメラパラメータ記憶部である。符号４は、任意の視点パラメータを記憶する任意視点パラメータ記憶部である。符号５は、レイヤ画像群を記憶するレイヤ画像群記憶部である。符号６は、任意の視点の画像を記憶する任意視点画像記憶部である。符号７は、画像に対して領域分割を行う領域分割部である。符号８は、画素の投影を行う画素投影部である。符号９は、奥行きの連結性を測定する奥行き連結性測定部である。符号１０は、輝度の親和性を測定する輝度親和性測定部である。奥行き連結性測定部９と輝度親和性測定部１０は、信頼性測定部１１を構成する。符号１２は、適合性を判定する適合性判定部である。符号１３は、領域の修正を行う領域修正部である、符号１４は、レイヤの修正を行うレイヤ修正部である。符号１５は、画像の合成を行う画像合成部である。
【００１８】
次に、図１に示す画像処理装置の動作を説明する。まず、入力要素は、それぞれの記憶部に記憶されたＮ枚の画像（多視点画像）Ｉｎ、多視点画像Ｉｎのそれぞれと同じ視点位置における奥行き画像、多視点画像を撮像した各カメラのカメラパラメータ（内部パラメータと外部パラメータ）、任意視点パラメータである。
【００１９】
はじめに、領域分割部７は、入力した各画像Ｉｎにおいて領域分割を行う。領域分割の手法は例えばＫ−ｍｅａｎｓによる輝度のクラスタリングを用いるが、他の領域分割手法を用いてもよい。領域分割を行った結果を図２に示す。図２は、領域分割を行った結果を示す図である（実際にはカラー画像）。分割時に用いるパラメータとして、輝度（色情報）（Ｒ，Ｇ，Ｂ）のみに依存したパラメータを用いているが、奥行き情報と色情報を合わせた（Ｒ，Ｇ，Ｂ，Ｄ）に依存したパラメータによる分割を行ってもよい。ここで、Ｄは、奥行き情報である。また、領域分割は、図２に示すように分割するのではなく、単なる矩形に分割するのでもよい。
【００２０】
輝度と奥行きの両方を用いた領域分割を用いた場合、各領域内に含まれる画素はすべて同一のオブジェクトで構成されている可能性が高くなるため、以降の処理動作において、より自然な映像合成を行うことができる。輝度のみを用いた領域分割の場合、似た色で構成される奥行きの異なる物体間の境界を跨ぐように領域が分割されている箇所が増えるため、前者よりも合成映像の精度は低下する。矩形を用いた場合は、領域形状が一切考慮されていないため、隣接領域からの影響を受けにくくなるため、さらに合成映像の精度は悪化する。しかし、領域分割にかかる処理時間が短縮できるため、高速な処理が可能になる。分割領域、矩形のサイズはシーンにより変化するが、できるだけ細かく分割し、１領域内が１種類のオブジェクトにより構成されていることが望ましい。実験による確認では被写体のフルＨＤサイズの画像に対して、約２０×２０画素程度の領域に分割した。
【００２１】
次に、画素投影部８は、多視点画像の各画像Ｉｎの各画素を、奥行き画像Ｄｎの同画素の奥行き値及びカメラｎ（ｎはカメラの識別番号）のカメラパラメータに従い三次元点へと変換し、任意視点パラメータにより任意視点画像平面に投影することで、投影画像Ｉ’ｎを得る。同時に、画素投影部８は、各奥行き画像Ｄｎも任意視点へと投影し、任意視点からの奥行き値へと変換した後、投影後の奥行き画像Ｄ’ｎとしてを得る。図３に示すように、Ｄの値（奥行き）に対応するレイヤｄに各カメラの画素を投影する。すなわち、任意視点がなすレイヤ空間に対し、各画素を各視点の奥行き値にしたがって投影していく。図３は、図１に示す画素投影部８が行う処理動作を示す説明図である。処理が完了しているか否かを画素毎に示すためのマスク画像に従い、上記の処理を行う。以下に示す処理が既にマスク画像の更新は適合性判定部１２の判定結果に基づいて行われる。
【００２２】
信頼性測定部１１は、任意視点画像平面に投影されたＩ’ｎどうしの輝度及び奥行き値を比較することで、画素ごとの信頼性を測定する（図４参照）。図４は、図１に示す信頼性測定部１１の動作を示す説明図である。図４に示すように、測定に用いるのは、図１に示す奥行き連結性測定部９、輝度親和性測定部１０にて測定される２つの指標とする。これらの指標に基づいて、対象範囲Ｗにおける対象画素ｐと投影画素に基づいて決定画素を決定する。なお、１つの指標のみを用いて処理することも可能である。１つの指標のみを用いる場合では、欠損のある奥行き画像に対して、どのような欠損が抑制されるかが変わってくることになる。
【００２３】
奥行き連結性測定部９は、撮影視点どうしの間に設置され、合成を行おうとする始点である任意視点の中心位置からの奥行きｄの位置に設定されたレイヤＬｄ上のカメラｎから投影されてきた画素ｐにおける奥行き連結性Ｅｄｅｐｔｈ（ｎ，ｄ，ｐ）を以下のように定義する。対象画素ｐの前後δの複数レイヤ内のうち、画像平面上での近傍範囲Ｗに含まれている複数の画素ｑの中でも、既にレイヤとして採用されている画素ｑの奥行き値と、対象画素ｐの奥行き値を用いる。ｆ（ｐ，ｑ）は、画像上の画素位置を示す２つのベクトルｐ，ｑ間の距離の逆数に比例する関数であり、ｐから離れる程、関数ｇによる影響を受けにくくしている。ｇ（ｑ，ｄ，ｌ）はレイヤＬｌの画素ｑが既に決定されている場合にのみ、対象画素ｐの任意視点における奥行きであるｄとの奥行き値としての距離の逆数を返す関数である。関数ｆ（ｐ，ｑ），ｇ（ｑ，ｄ，ｌ）共に、ゼロ割を防ぐために、微小値εを導入している。今回はこのような１、２次元ユークリッド距離を用いているが、別次元のユークリッド距離等の指標に置き換えても用いても良い。
【数１】
2015087851.tif 000003
【数２】
2015087851.tif 000004
【数３】
2015087851.tif 000005
【００２４】
輝度親和性測定部１０は、任意視点中心からの奥行きｄの位置に設定されたレイヤＬｄ上のカメラｎから投影されてきた画素ｐにおける輝度親和性Ｅｃｏｌｏｒ（ｎ，ｄ，ｐ）を以下のように定義する。対象画素ｐの前後δの複数レイヤ内のうちの画像平面上での近傍範囲Ｗに含まれている複数の画素を比較画素ｑとする。ｆ（ｐ，ｑ）は対象画素ｐと比較画素ｑとの間の画像平面上での２次ユークリッド距離の逆数に比例する関数で、ｐからｑが遠い程、他の関数値の影響を受けにくくしている。ｈ（Ｓ（ｐ），Ｔ（ｑ））は画像Ｓにおける画素ｐのＲＧＢ輝度値Ｓ（ｐ）と、画像Ｔにおける画素ｑのＲＧＢ輝度値Ｔ（ｑ）との輝度値の差分の逆数に比例する値を返す関数である、ゼロ割を防ぐために微小値εを導入している。ｈ（Ｉ’ｎ（ｐ），Ｌｌ（ｑ））は、投影画像上の画素の輝度値Ｉｎ’（ｐ）と、レイヤ画像中の既に採用されている画素の輝度値Ｌｌ（ｑ）との差分の逆数に比例し、Σｍｈ（Ｉ’ｎ（ｐ），Ｉ’ｍ（ｑ））は投影画像上の画素の輝度値Ｉ’ｎ（ｐ）と、自身以外の投影画像上の画素の輝度値Ｉ’ｍ（ｑ）との差分の逆数に比例する値をすべてのカメラに対して総和した値であり、重みづけのためにγを導入している。
【数４】
2015087851.tif 000006
【数５】
2015087851.tif 000007
【数６】
2015087851.tif 000008
【００２５】
適合性判定部１２は、各画素において、以下のＥ（ｎ，ｄ，ｐ）に対して閾値処理を施し、閾値以上であればレイヤ上の画素を決定する、そして、閾値以下の画素は領域修正部１３にて処理が行われる。
【数７】
2015087851.tif 000009
奥行きｄにおけるレイヤＬｄ上の画素ｐにおける輝度値Ｌｄ（ｐ）は以下の式により、輝度値を決定する。ここでδは奥行き画像間のサンプリング間隔が異なることにより生じる誤差を低減するための係数であり、一般的な奥行き画像の階調数として用いられる２５６階調であれば、δは２程度である。今回は定数を用いているが、関数値を用いてもよい。その際は、レイヤ間隔が等間隔でない場合には、奥行き方向に遠方に行くにしたがってδが小さくなるようにする必要がある。
【数８】
2015087851.tif 000010
【数９】
2015087851.tif 000011
【数１０】
2015087851.tif 000012
【００２６】
領域修正部１３は、適合性判定部にて、レイヤ上に採用されなかった画素の奥行きを、画素の所属する領域やその近接領域の自画素以外のメンバ画素の奥行き値を用いて変更する。各領域内のメンバ画素のうち、まだレイヤに採用されていない画素の奥行き値の集合の中間値を算出し、この中間値を新たな奥行き値として、未だレイヤに採用されていない画素に付与する。中間値の他、中間値の近傍奥行き値、平均値を用いてもよい。事前に設定した任意の閾値数以下の画素しか、メンバ画素として残っていない場合には、奥行き値不明の画素としてレイヤ修正部にて奥行き値を決定するため、処理を保留する。 
【００２７】
レイヤ修正部１４は、遮蔽や奥行き画像の欠損により、任意視点画像上に欠損が生じることがある為、レイヤ画像上での補間を行うことで、三次元的に整合性のとれた任意視点画像を合成する。物体どうしの遮蔽により、各画像Ｉ’ｎのいずれからも投影されて来ていない画素、及び、奥行き値不明のまま処理が保留されている画素のうち、レイヤを任意視点に投影した際になにも投影されないままの画素となってしまう画素に対して、輝度値の補間を行うため、レイヤの修正を行う。任意視点画像上で輝度値不明となっている画素ｐの近傍画素のうちで、既に輝度が決定している画素の中から、投影前の領域分割画像において境界領域に接していない画素であり、かつ、最も遠方の奥行き値を持つ画素ｑを選択し、画素ｑと同じ奥行きを画素ｐに与える。近傍画素のうち、すべての画素が投影前の領域分割画像において境界領域に接していた場合は、任意視点画像中で最も遠方にある画素の奥行き値を画素ｐの奥行きとして与える。画素ｐの輝度値は、画素ｑと同じ輝度を与える。今回は同じ輝度を与えているが、画素ｑが含まれる分割領域を用いたテクスチャ合成を行っても良い。また、Ｊｏｉｎｔ  Ｂｉｒａｔｅｒａｌ  Ｕｐｓａｍｐｌｉｎｇ等補間処理を用いてもよい。
【００２８】
画像合成部１５は、レイヤ画像群を遠方のレイヤから順に、任意視点画像平面へと投影していく。同じ画素に投影されてしまう複数の画素については、それぞれの奥行き値が事前に定めた範囲内であれば輝度の混合を行い、範囲外であれば、最も手前の奥行き値における画素の輝度値のみを採用する。任意視点画像の輝度値を決定していくと同時に、採用された画素の奥行き値を記録することで、任意視点における奥行き画像を生成していく。 最後に、物体間の奥行き不連続に基づく境界線上の不自然さをおさえるため、以下のマッチング処理を行う。まず、任意視点画像の奥行き画像に対して、Ｓｏｂｅｌフィルタをかけた画像をエッジ画像として保存する。エッジ検出は他の手法を用いても良い。エッジ画像のエッジの強度が強い所程、ぼかし具合が大きくなるようにローパスフィルタを任意視点画像に施すことで、被写体間の奥行き値が異なる箇所における、不自然な境界線を抑制する事が出来る。今回はこのようなマッチング手法を用いたが、これに類する別のマッチング手法を用いてもよい。
【００２９】
＜第２実施形態＞
次に、本発明の第２実施形態による画像処理装置を説明する。図５は、同実施形態の構成を示すブロック図である。図５において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図５に示す装置が図１装置と異なる点は、輝度連続性測定部１６が設けられている点である。入力が多視点画像ではなく、多視点映像（多視点画像の時間的に連続した一連の集合）である場合は、フレーム間の連続性を利用することで、任意視点映像の不連続な合成を避けるために、以下の処理を施すことが可能である。
【００３０】
信頼性測定部１１は、任意視点画像平面に投影されたＩ’ｎどうしの輝度及び奥行き値を比較する事で、画素ごとの信頼性を測定する。測定に用いるのは、奥行き連結性測定部９、輝度親和性測定部１０、輝度連続性測定部１６にて測定される３つの指標とする。 
【００３１】
輝度連続性測定部１６は、任意視点中心からの奥行きｄの位置に設定されたレイヤＬｄ上のカメラｎから投影されてきた画素ｐにおける輝度連続性Ｅｃｏｎｎｅｃｔｉｏｎ（ｎ，ｄ，ｐ）を以下のように定義する。処理フレームの１フレーム前に合成された奥行きｌにおけるレイヤ画像の画素ｑにおける輝度Ｌ”ｌ（ｑ）を用いる。対象画素ｐの近傍画素であるｑを前後フレームで比較することにより、できるだけ前フレームと輝度が近いほど、高い評価値を返す事とする。今回はシンプルな輝度変化値のみを用いているが、これに類するような時間方向の輝度値変化指標を用いてもよい。
【数１１】
2015087851.tif 000013
【００３２】
適合性判定部１２は、各画素において、以下のＥ（ｎ，ｄ，ｐ）に対して閾値処理を施し、閾値以上であればレイヤ上の画素は決定され、閾値以下の画素は領域修正部にて処理が行われる。
【数１２】
2015087851.tif 000014
【００３３】
以上説明したように、静止画のような１フレームのみを対象とした状況では、奥行き画像の欠損による劣化に対し、人が気づきにくい形で修繕することは可能であるが、映像の場合ではフレームごとに欠損と修繕結果が異なるため時間的な不連続さが目立ち、不自然な任意視点映像となってしまう。前述した構成によれば、時間的連続性を考慮した修繕により任意視点映像を連続的に合成することができる。また、遮蔽や奥行き値の欠損により、観測視点全てから映されていない領域が発生することで、任意視点画像上に輝度値不明の画素が発生する。近傍画素の輝度情報を用いて、任意視点画像の欠損を埋める手法は提案されているが、輝度情報のみに依存するため、視点変更時に不自然な三次元形状となり、任意視点画像の品質劣化につながるが、前述した構成によれば、このような問題も解決することができる。
【００３４】
前述した画像処理装置によれば、複数視点の欠損した奥行き画像に従った通常のレンダリングよりも、劣化の少ない自然な任意視点画像を合成することが可能となる。特に、奥行き境界に発生しやすい符号化エラーが原因で生じる任意視点画像上のノイズの低減や、各視点間の奥行きの矛盾によって生じる多重像の抑制が可能となる。また、任意視点映像上における修繕結果のばらつきによる時間方向のちらつき低減も可能となる。レイヤ構造での輝度と奥行きの補完を行うことにより、遮蔽や奥行き欠損のためがあっても、三次元的に整合のとれた自然な任意視点画像を合成することが可能となる。
【００３５】
前述した実施形態における画像処理装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００３６】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００３７】
多視点の映像と奥行き情報からシーンの奥行きを推定することが不可欠な用途に適用できる。
【符号の説明】
【００３８】
１・・・多視点画像記憶部、２・・・多視点奥行き画像記憶部、３・・・カメラパラメータ記憶部、４・・・任意視点パラメータ記憶部、５・・・レイヤ画像群記憶部、６・・・任意視点画像記憶部、７・・・領域分割部、８・・・画素投影部、９・・・奥行き連結性測定部、１０・・・輝度親和性測定部、１１・・・信頼性測定部、１２・・・適合性判定部、１３・・・領域修正部、１４・・・レイヤ修正部、１５・・・画像合成部、１６・・・輝度連続性測定部
【図１】
2015087851.tif 000015
【図３】
2015087851.tif 000016
【図４】
2015087851.tif 000017
【図５】
2015087851.tif 000018
【図２】
2015087851.tif 000019