(57)【要約】  【課題】  オクリュージョン領域がある場合でも、高品質な仮想視点画像を生成できる画像処理方法を提供する。  【解決手段】  カメラ１１ａ，１２ａの撮像画像を、その視差データを基に、順番対応画像データＰｅ１ａ，Ｐｅ２ａと非順番対応画像データＰｅ１ｂ，Ｐｅ２ｂとに分離する。そして、ＤＰマッチング処理部２９は、これらのデータを個別にＤＰマッチングする。各領域仮想視点画像生成部３０は、マッチング結果を基に、オクリュウージョン領域以外の画素値を用いて仮想画像の画素値を生成する。  【選択図】  図２
2006285415.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像の間で画素単位のマッチング処理を行う第１の工程と、
前記第１の工程のマッチング処理で対応付けられた複数の画素がオクリュージョン領域に存在するか否かを判断する第２の工程と、
前記第２の工程の判断結果を基に、前記対応付けられた複数の画素のうちオクリュージョン領域に存在しない画素の画素値を用いて、仮想視点画像内の前記複数の画素に対応した仮想画素値を生成する第３の工程と
を有する画像処理方法。
【請求項２】
前記第３工程は、
前記対応付けられた２つの画素の双方がオクリュージョン領域に存在しない場合に、前記２つの画素の画素値を用いて前記仮想画素値を生成し、
前記２つの画素の一方が前記オクリュージョン領域に存在し、他方が前記オクリュージョン領域に存在しない場合に、前記他方の画素の画素値を前記仮想画素値とする
請求項１に記載の画像処理方法。
【請求項３】
前記複数の画像の各々について、順番対応拘束のないマッチング手法で視差データを生成する第４の工程と、
前記第４の工程で生成した前記視差データを基に、前記複数の画像の各々について、当該画像を視差が基準以上の非順番対応画像と、それ以外の順番対応画像とに分離する第５の工程と
をさらに有し、
前記第１の工程は、
前記複数の画像の前記第５の工程で分離した前記順番対応画像と非順番対応画像とを、前記順番対応拘束があるマッチング手法で個別にマッチング処理を行い、
前記第３の工程は、
前記第５の工程で分離した前記順番対応画像と非順番対応画像との少なくとも一方について、前記第２の工程の判断結果を基に、前記対応付けられた２つの画素のうちオクリュージョン領域に存在しない画素の画素値を用いて、仮想視点画像内の前記２つの画素に対応した仮想画素値を生成する
請求項２に記載の画像処理方法。
【請求項４】
前記順番対応画像の前記仮想視点画像と、前記非順番対応画像の前記仮想視点画像とを合成する第６の工程
をさらに有する請求項３に記載の画像処理方法。
【請求項５】
前記第５の工程で分離した前記順番対応画像内の前記非順番対応画像に対応する部分を一定の画素値を示すラベル画像に書き換えるラベル処理を行う第７の工程
をさらに有し、
前記第１の工程は、
前記複数の画像のエピポーラ線上に沿った画素の順で、前記２つの画像の前記第７の工程で前記ラベル処理された前記順番対応画像について、その画素間の画素値の差分に応じたコストの累積値を最小にする前記画素間の対応付けを探索し、
前記対応付けの対象となる前記２つの画素のうち少なくとも一方がオクリュージョン領域に位置する場合に前記コストを一定値とし、そうでない場合に前記２つの画素の前記画素値の差分に応じて前記コストを算出する
請求項３に記載の画像処理方法。
【請求項６】
複数の画像の間で画素単位のマッチング処理を行うマッチング手段と、
前記マッチング手段のマッチング処理で対応付けられた複数の画素がオクリュージョン領域に存在するか否かを判断する判断手段と、
前記判断手段の判断結果を基に、前記対応付けられた複数の画素のうちオクリュージョン領域に存在しない画素の画素値を用いて、仮想視点画像内の前記複数の画素に対応した仮想画素値を生成する生成手段と
を有する画像処理装置。
【請求項７】
コンピュータが実行するプログラムであって、
複数の画像の間で画素単位のマッチング処理を行う第１の手順と、
前記第１の手順のマッチング処理で対応付けられた複数の画素がオクリュージョン領域に存在するか否かを判断する第２の手順と、
前記第２の手順の判断結果を基に、前記対応付けられた複数の画素のうちオクリュージョン領域に存在しない画素の画素値を用いて、仮想視点画像内の前記複数の画素に対応した仮想画素値を生成する第３の手順と
を前記コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像のマッチング処理を行う画像処理方法、その装置およびプログラムに関する。
【背景技術】
【０００２】
複数の撮像画像から実際に存在しない視点位置（仮想視点）での仮想カメラ視点映像を生成するために、画像間マッチング技術が不可欠である。このような画像間の対応付け技術は、「ステレオ視」における最も重要でかつ難しい問題の一つである。
例えば、その最も基本的な構成である２台のカメラによるステレオ視の対応付けを考える。一方の画像上にある点に対して、その対応点は、別の視点で観測された他方の画像内のある直線上に存在する。一般に、この直線L １’をエピポーラライン（Epipolar Line）と呼ぶ。従来、よく使われている「対応点付け」の手法としては、Pixel-based マッチング、Area-based マッチング、Feature-based マッチングがある。
Pixel-based マッチングでは一方の画像における点の対応を、他方の画像でそのまま探索する（非特許文献１）。Area-based マッチングでは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する（非特許文献２、３）。Feature-based マッチングでは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う（非特許文献４、５）。これらの手法は、基本的に基準カメラ画像上のある画素Pa(x,y)に対して、他方のカメラ画像に対応するエピポーラ線上を探索し、最も相似性の高い画素を対応点とする。
そして、仮想視点の位置に応じた割合で２つの対応点の画素の画素値を混合して仮想視点画像を生成する。
【非特許文献１】C.Lawrence Zitnick and Jon A. Webb: Multi-baseline Stereo Using Surface Extraction, Technical Report,CMU-CS-96-196, (1996)
【非特許文献２】Okutomi.M and Kanade.T: A locally adaptive window for signal matching, Int. Journal of Computer Vision,7(2), pp.143-162, (1992)
【非特許文献３】奥富、金出： 複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌D-II,Vol.J75-D-II,No.8, pp.1317-1327, (1992)
【非特許文献４】H.Baker and T.Binford: Depth from edge and intensity based stereo, In Proc. IJCAI'81, (1981)
【非特許文献５】W.E.L.Grimson: Computational experiments with a feature based stereo algorithm, IEEE Trans. PAMI, Vol.7,No.1, pp.17〜34, (1985)
【非特許文献６】Ohta.Y and Kanade.T.: Stereo by intra- and inter-scanline search using dynamic programming, IEEE  PAMI-7(2), 139-154, (1985)
【非特許文献７】Cox I.J. et al.：A Maximum likelihood stereo algorithm, Computer Vision and Image Understanding, 63(3),542-567,(1996)
【非特許文献８】Y.Liu et al.: Eye-Contact Visual Communication with Virtual View Synthesis, Proc. CCNC2005, (2005)
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、従来では、図２０に示すように、マッチング処理により対応付けられた対応点がオクリュージョン領域にある場合に、仮想視点画像が劣化してしまうという問題がある。
【０００４】
本発明は上述した従来技術の問題点に鑑みてなされ、オクリュージョン領域がある場合でも、高品質な仮想視点画像を生成できる画像処理方法、その装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、第１の観点の発明の画像処理方法は、複数の画像の間で画素単位のマッチング処理を行う第１の工程と、前記第１の工程のマッチング処理で対応付けられた複数の画素がオクリュージョン領域に存在するか否かを判断する第２の工程と、前記第２の工程の判断結果を基に、前記対応付けられた複数の画素のうちオクリュージョン領域に存在しない画素の画素値を用いて、仮想視点画像内の前記複数の画素に対応した仮想画素値を生成する第３の工程とを有する。
【０００６】
第２の観点の発明の画像処理装置は、複数の画像の間で画素単位のマッチング処理を行うマッチング手段と、前記マッチング手段のマッチング処理で対応付けられた複数の画素がオクリュージョン領域に存在するか否かを判断する判断手段と、前記判断手段の判断結果を基に、前記対応付けられた複数の画素のうちオクリュージョン領域に存在しない画素の画素値を用いて、仮想視点画像内の前記複数の画素に対応した仮想画素値を生成する生成手段とを有する。
【０００７】
第３の観点の発明のプログラムは、コンピュータが実行するプログラムであって、複数の画像の間で画素単位のマッチング処理を行う第１の手順と、前記第１の手順のマッチング処理で対応付けられた複数の画素がオクリュージョン領域に存在するか否かを判断する第２の手順と、前記第２の手順の判断結果を基に、前記対応付けられた複数の画素のうちオクリュージョン領域に存在しない画素の画素値を用いて、仮想視点画像内の前記複数の画素に対応した仮想画素値を生成する第３の手順とを前記コンピュータに実行させる。
【発明の効果】
【０００８】
本発明によれば、オクリュージョン領域がある場合でも、高品質な仮想視点画像を生成できる画像処理方法、その装置およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
先ず、本実施形態の構成と、本発明の構成との対応関係の例を説明する。
視差マップデータＤｍ１，Ｄｍ２が本発明の視差データの一例である。
非順番対応画像データＰｅ１ｂ，Ｐｅ２ｂが本発明の非順番対応画像データの一例である。
順番対応画像データＰｅ１ａ，Ｐｅ２ａ，Ｐｅ１ｃ，Ｐｅ２ｃが本発明の順番対応画像データの一例である。
【００１０】
図１８に示すステップＳＴ６，８が本発明の第１の工程の一例である。
図１８に示すステップＳＴ７，ＳＴ９が、本発明の第２および第３の工程に対応している。
ここで、図１５に示すステップＳＴ２１，ＳＴ２３が本発明の第２の工程の一例であり、ステップＳＴ２２，ＳＴ２４，ＳＴ２５が本発明の第３の工程の一例である。
図１８に示すステップＳＴ３が本発明の第４の工程の一例であり、ステップＳＴ４が第５の工程の一例である。
図１８に示すステップＳＴ１０が本発明のステップＳＴ６の一例である。
【００１１】
図２に示す画像並行化処理部２０が本発明の視差生成手段の一例であり、非順番対応領域分離部２８が本発明の分離手段の一例であり、ＤＰマッチング処理部２９が本発明のマッチング処理手段の一例である。
また、図１８に示すプログラムＰＲＧが本発明のプログラムの一例である。
【００１２】
本発明を適用した通信システム１は、例えば図１に示すように、Ａ地点のユーザａと、Ｂ地点のユーザｂとの間で、互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムである。
Ａ地点には、撮影対象としてのユーザａを互いに異なる視点から撮像するカメラ１１ａ、カメラ１２ａと、Ｂ地点側で撮像されたユーザｂの画像をユーザａに対して表示するためのディスプレイ５ａと、カメラ１１ａ,１２ａより撮像された各画像Ｐａ１,Ｐａ２に基づいて仮想視点画像Ｉｍａを生成し、これをネットワーク７を介してＢ地点へ送信する画像処理装置２ａが配設されている。
Ｂ地点には、撮影対象としてのユーザｂを互いに異なる視点から撮像するカメラ１１ｂ、カメラ１２ｂと、Ａ地点側で撮像されたユーザａの画像をユーザｂに対して表示するためのディスプレイ５ｂと、カメラ１１ｂ,１２ｂより撮像された各画像Ｐｂ１,Ｐｂ２に基づいて仮想視点画像Ｉｍｂを生成し、これをネットワーク７を介してＡ地点へ送信する画像処理装置２ｂが配設されている。
なお、この画像処理装置２ａ,２ｂにより生成される上記仮想視点画像Ｉｍａ,Ｉｍｂは、相手の表示像が写し出されるディスプレイ５ａ,５ｂの中心付近において仮想的に設置された仮想カメラにより撮像される画像に相当する。
カメラ１１ａ,１１ｂは、それぞれユーザａ,ｂ側から見てディスプレイ５ａ,５ｂの左側面に設置されてなり、カメラ１２a,１２ｂは、それぞれユーザａ,ｂ側から見てディスプレイの右側面に設置されてなる。このカメラ１１、１２は、撮影方向、撮影画角が固定された状態で設置されるが、各ユーザａ,ｂからの入力される情報に基づき、これらを自在に変更するようにしてもよい。ちなみに、この通信システム１では、ユーザの視線の高さに合わせて設置された２台のカメラにより撮影対象を撮像する場合を例に挙げて説明をする。
ディスプレイ５ａ,５ｂは、それぞれネットワーク７を介して相手側地点から供給される仮想視点画像Ｉｍｂ,Ｉｍａに基づく画像を、例えば液晶表示面を介して表示する。このディスプレイ５ａ,５ｂにおける液晶表示面は、多数の液晶表示素子等からなり、各仮想視点画像Ｉｍｂ,Ｉｍａに基づく出力信号に応じて液晶表示素子を光変調させてユーザに表示する画像を作り出す。
【００１３】
画像処理装置２ａ,２ｂは、通常、パーソナルコンピュータ（ＰＣ）等の電子機器で構成される。これらの画像処理装置２ａ,２ｂは、ネットワーク７を介して互いに通信するための機能を備え、相手側からの要求に応じて画像や音声を送信する。なお、画像処理装置２ａ,２ｂの構成については後において詳細に説明をする。
ネットワーク７は、例えば画像処理装置２と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの通信システム１を、一定の狭いエリア内で運用する場合には、このネットワーク７を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク７は、動画像を送信する場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある一つのチャネルから継続的に送信される。また静止画像を送信する場合には、動画像を送信するチャネルとは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク７には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、画像処理装置２による要求を受けて、自身に格納してある所定の情報を送信する。
【００１４】
以下、画像処理装置２ａについて説明する。
図２は、図１に示す画像処理装置２ａの構成図である。
画像処理装置２ｂは、画像処理装置２ａと同じ構成を有している。
以下、画像処理装置２ａの構成について説明する。
図２に示すように、画像処理装置２ａは、例えば、画像並行化処理部２０と、キャリブレーション部２６、非順番対応領域検出部２７、非順番対応領域分離部２８、ＤＰマッチング処理部２９、各領域仮想視点画像生成部３０および仮想視点画像生成部３１を有する。
【００１５】
画像処理装置２ａでは、上述のような順番対応拘束が満たせない領域を距離情報によって検出分離し、分離された各領域に対して、それぞれＤＰマッチング処理によって対応点を求めて、それらの対応点情報及び仮想カメラ視点位置情報に基づいて、各領域の仮想視点映像を生成し、最後にそれらの仮想視点映像を距離の近いものが前に位置するように一枚の仮想視点映像として合成する。
画像処理装置２ａでは、各領域仮想視点画像生成部３０において、ＤＰマッチング処理で対応付けられた２つの画素の画素値を基に、仮想視点の画素値（仮想画素値）を生成する。
【００１６】
［画像並行化処理部２０］
画像並行化処理部２０は、カメラ１１ａ,１２ａから入力した画像データＰａ１,Ｐａ２に対して、幾何学的な画像補正処理と正規化処理とを行う。
画像並行化処理部２０は、上記カメラ１１ａ,１２ａの幾何学的な位置関係を含む制御情報に基づいて、各画像データＰａ１,Ｐａ２を補正する。このカメラ１１ａ,１２ａの幾何学的な位置関係は、上述したカメラキャリブレーション部２６が生成した制御情報を基にパラメータ化されてもよい。
また、各カメラ１１ａ,１２ａの撮影方向や撮影画角などを変更しつつ撮像を実行する場合には、カメラキャリブレーション部においてこれらをパラメータ化し、画像を補正する際にこれらのパラメータを制御情報に含めるようにしてもよい。これにより、画像並行化処理部２０は、各カメラ１１ａ,１２ａの撮影方向及び／又は撮影画角に応じてリアルタイムに画像補正することができる。
なお、カメラキャリブレーション部２６は、同様にカメラ１１ａ,１２ａの各レンズにおける色収差や歪み、光軸のずれを、例えば特開２０００−３５０２３９号公報や、特開平１１−５３５４９号公報に示されているカメラキャリブレーション手法に基づいてパラメータ化し、これらを画像並行化処理部２０に出力してもよい。この場合において画像並行化処理部２０は、取得したパラメータに基づいて、カメラ１１ａ,１２ａからの画像を射影変換することにより基準となる画像へ合わせ込む。輝度成分等についても同様にカメラ１１ａ,１２ａからの画像間において輝度の誤差が最小となるような射影変換行列を用いることにより互いの調整を図る。
【００１７】
撮影対象としてのユーザａは、カメラ１１ａ,１２ａにより互いに異なる角度から撮影される。その結果、カメラ１１ａ,１２ａにより生成される画像データＰａ１,Ｐａ２上のユーザａの視線方向、顔の向き等は、互いに異なる状態となる。このような画像Ｐａ１,Ｐａ２は、それぞれ画像並行化処理部２０に供給され、カメラキャリブレーション部２６により予め求められた各カメラ１１ａ,１２ａのレンズ歪みや画像中心等のパラメータに基づき、画像の歪みや画像中心がずれないように補正を行う。
画像並行化処理部２０は、これら補正された各画像データＰａ１,Ｐａ２を以下に示すように正規化して正規化画像データＰｍ１,Ｐｍ２を生成し、これを非順番対応領域検出部２７に出力する。
図３は、各カメラ１１ａ,１２ａにより撮像した画像データＰａ１, Ｐａ２を正規化する場合につき示している。この図３に示されるように、各カメラ１１ａ,１２ａの光学中心Ｃ１,Ｃ２により互いに異なる視点から撮影対象のＭ点へ光軸を合わせて撮像を行うと、各カメラ１１ａ,１２ａの撮像面で得られる画像Ｐａ１,Ｐａ２の法線方向ｋ１,ｋ２は、互いに異なる方向を指している。すなわち、各カメラ１１ａ,１２ａとＭ点を結ぶ直線の方向は、各カメラにより撮像された各画像データＰａ１,Ｐａ２の法線方向ｋ１,ｋ２に一致するが、これらは互いに異なる方向を指している。これら各画像Ｐａ１,Ｐａ２に幾何学的正規化を行うことにより、法線方向ｋ１’,ｋ２’を同一方向とした画像面が互いに平行な正規化画像データＰｍ１,Ｐｍ２を生成する。
この幾何学的正規化は、カメラキャリブレーション部２６により予め求められた射影行列Ｐ１,Ｐ２を用いて、カメラ内部パラメータＡ１,Ａ２、回転行列Ｒ１,Ｒ２、転移行列Ｔ１,Ｔ２を推定することにより実現する。その結果、補正後の画像撮像面の法線方向ｋ１’,ｋ２’が平行化された正規化画像データＰｍ１,Ｐｍ２を生成することができる。
ちなみに、この幾何学的正規化を施す場合には、光学中心Ｃ１,Ｃ２を含む仮想平面πを設定しておき、この仮想平面πの法線方向に対して正規化画像Ｐｍ１,Ｐｍ２の法線方向が同一方向となるように、射影行列Ｐ１,Ｐ２を用いて正規化するようにしてもよい。
【００１８】
［非順番対応領域検出部２７］
非順番対応領域検出部２７は、画像並行化処理部２０から正規化画像データＰｍ１,Ｐｍ２を入力する。
非順番対応領域検出部２７は、図４に示すように、正規化画像データＰｍ１,Ｐｍ２から背景画像データＰｋ１、Ｐｋ２を除去して前景画像データＰｆ１、Ｐｆ２を生成する。
このように、背景画像を除去することで、背景画像の影響を軽減した効率的なマッチング処理を行うことができる。
【００１９】
非順番対応領域検出部２７は、順番対応拘束がないステレオマッチング手法により、前景画像データＰｆ１、Ｐｆ２を基に、視差マップデータＤｍ１，Ｄｍ２を生成（推定）する。
本実施形態では、順番対応拘束がないステレオマッチング手法として、エリアベースマッチング手法などが用いられる。
非順番対応領域検出部２７は、視差マップデータＤｍ１，Ｄｍ２の各々について、当該データを構成する画素データを、所定のしきい値以上の画素データ（手前の画素データ）と、上記しきい値未満の画素データとに分類する。
そして、非順番対応領域検出部２７は、上記しきい値以上の画素データによって構成される非順番対応領域視差データを生成する。
例えば、非順番対応領域検出部２７は、図５に示すように、視差マップデータＤｍ１，Ｄｍ２から、それぞれ非順番対応領域視差データＣＬ１、ＣＬ２を生成する。
非順番対応領域検出部２７は、前景画像データＰｆ１、Ｐｆ２と、非順番対応領域視差データＣＬ１、ＣＬ２とを非順番対応領域分離部２８に出力する。
【００２０】
［非順番対応領域分離部２８］
非順番対応領域分離部２８は、図５に示すように、非順番対応領域視差データＣＬ１、ＣＬ２を基に、前景画像データＰｆ１、Ｐｆ２から非順番対応画像データＰｅ１ｂ、Ｐｅ２ｂを抽出し、これをＤＰマッチング処理部２９に出力する。
また、非順番対応領域分離部２８は、非順番対応領域視差データＣＬ１、ＣＬ２を基に、前景画像データＰｆ１、Ｐｆ２から順番対応画像データを抽出する。
そして、非順番対応領域分離部２８は、図６に示すように、上記抽出した順番対応画像データ内の非順番対応画像データの部分をラベル画像（画素値が予め決められた一定の輝度および色差の画像）に置き換えた（ラベル付けした）順番対応画像データＰｅ１ａ、Ｐｅ２ａを生成し、これをＤＰマッチング処理部２９に出力する。
【００２１】
［ＤＰマッチング処理部２９］
ＤＰマッチング処理部２９は、順番対応画像データＰｅ１ａとＰｅ２ａとの間のＤＰマッチング処理を行う。
ＤＰマッチング処理部２９は、順番対応画像データＰｅ１ａ，Ｐｅ２ａをラベル修正して得た順番対応画像データＰｅ１ｃ，Ｐｅ２ｃと、そのＤＰマッチング処理結果ＤＰａとを各領域仮想視点画像生成部３０に出力する。
また、ＤＰマッチング処理部２９は、非順番対応画像データＰｅ１ｂとＰｅ２ｂの間のＤＰマッチング処理を行う。
ＤＰマッチング処理部２９は、非順番対応画像データＰｅ１ｂ，Ｐｅ２ｂと、そのＤＰマッチング処理結果ＤＰｂとを各領域仮想視点画像生成部３０に出力する。
【００２２】
先ず、順番対応画像データＰｅ１ａ，Ｐｅ２ａのＤＰマッチング処理を説明する。
ＤＰマッチング処理部２９は、上述したように、順番対応画像データＰｅ１ａとＰｅ２ａとの間のＤＰマッチング処理と、非順番対応画像データＰｅ１ｂとＰｅ２ｂとの間のＤＰマッチング処理とを個別に行う。
これにより、図７（ａ），（ｂ）に示すように、順番対応画像データ（身体領域）と、非順番対応画像データ（手領域）とについて、正しい対応付けが可能になる。
そのため、後段の仮想視点画像生成部３１において、図７（ｃ）に示す仮想視点画像が生成できる。
【００２３】
なお、従来では、図８に示すように、前景画像ｐｉｃ１，ｐｉｃ２につき、撮影対象と関連させつつ、画素位置毎に対応付けを行う。前景画像ｐｉｃ１，ｐｉｃ２につき、被写体としてのユーザａがそれぞれ写し出された前景画像ｐｉｃ１におけるスキャンラインＬ４上の画素と、前景画像ｐｉｃ２におけるスキャンラインＬ４’上の画素とを対応付けする場合に、スキャンラインＬ４上の特徴点の点列Ｒ１を左から順に｛ｃ１,ｃ２,ｃ３,ｃ４｝とし、またスキャンラインＬ４’の特徴点の点列Ｒ２を左から順に｛ｄ１,ｄ２,ｄ３,ｄ４｝とする。
ここで、互いのスキャンラインＬ４,Ｌ４’上にある特徴点Ｒ１,Ｒ２を被写体との関係において対応付けるとき、先ず、ｃ１に対してＬ４’上の特徴点はｄ１が該当し１：１で対応することとなるが、ユーザａの首を構成する特徴点ｃ２に対してＬ４’上の特徴点はｄ３が該当することとなる。同様に、ユーザａの手を構成する特徴点ｃ３,ｃ４に対してＬ４’上の特徴点はｄ２,ｄ４がそれぞれ該当することとなる。
このように、異なる視点から撮像することにより得られる前景画像ｐｉｃ１，ｐｉｃ２では、被写体からカメラに至るまでの距離に基づく視差が大きい画像領域間において特徴点の対応付けが互いに交差してしまう。その結果、後段の仮想視点画像生成部において作成される仮想視点画像につき、図９に示すような画像の乱れが生じてしまうことになる。
【００２４】
ところで、ＤＰマッチング処理部２９では、図７に示すように、順番対応画像データ（身体領域）と、非順番対応画像データ（手領域）とについて、正しい対応付けが可能になるが、図６に示すように、上記抽出した順番対応画像データ内の非順番対応画像データの部分をラベル画像に置き換えた（ラベル付けした）順番対応画像データＰｅ１ａ、Ｐｅ２ａについて、そのままＤＰマッチング処理すると、図７(a)では本来は左画像のL1 が右画像R1’に対応するはずであったのに、左画像のL1 が右画像R1 に対応してしまう。その結果、図７（ｃ）に示す仮想視点映像において、左画像のL1 と右画像のR1 の座標値を用いる仮想視点映像での顔の輪郭部の位置がずれることになり、違和感のある仮想視点映像になってしまう。
【００２５】
ＤＰマッチング処理部２９は、上記違和感を低減するために、特に顔や身体領域の輪郭周辺の画質を向上させるために、人物領域の対称性を用いてラベル付けされた順番対応画像データＰｅ１ａ，Ｐｅ２ａのラベル修正処理を行う。
具体的には、ＤＰマッチング処理部２９は、図６に示すように、順番対応画像データＰｅ１ａ，Ｐｅ２ａのラベル領域に対して、その反対方向にある輪郭を抽出し、それをマスクとして用いてラベル領域を修正して修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃを生成する。
図１０(a)は、その処理の一例である。実線はマスク領域の反対側領域の輪郭検出結果であり、点線はその反対側の輪郭線を用いて修正されたマスク領域を示す。
図１０(b)は、ラベル領域修正後の修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃであり、図１０(c)は、そのラベル領域修正後の映像を用いる対応付け結果、及びその結果を用いる仮想視点画像データＩｐｎａである。このように、ラベル領域を修正することで、仮想視点画像データＩｐｎａを、図７（ｃ）に示す場合に比べて本来の被写体の像に近づけることができる。
【００２６】
以下、ＤＰマッチング処理部２９によるＤＰマッチングについて説明する。
ＤＰマッチング処理部２９は、ＤＰマッチング対象の２つの画像領域を構成する各画素位置につき対応関係を求める。
この対応付けは、例えば、ユーザａの顔を構成する同一の箇所にある画素位置と輝度成分を修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃ間で抽出して対応をとるようにする。
例えば、図１１に示すように、修正順番対応画像データＰｅ１ｃのスキャンラインＬ１上にある画素Ｐ１１の対応点については、修正順番対応画像データＰｅ２ｃのスキャンラインＬ１’上に存在することとなり、そのＬ１’上を探索することにより、最も類似する画素位置Ｐ１１’を対応点として検出することができる。ちなみにマッチング部２９は、この対応付けにつき特徴抽出した箇所のみについて実行してもよいし、修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃを構成する全ての画素に対して実行してもよい。
【００２７】
本実施形態では、ＤＰマッチング処理部２９の前段の画像並行化処理部２０において、画像が予め正規化され、エピポーラ線が平行化されているため、画素探索のロバスト性を向上させることができる。
図１１に示す修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃにつき、スキャンラインＬ１上にある画素Ｐ１１の対応点については、スキャンラインＬ１’上に存在することとなり、そのＬ１’上を探索することにより、対応点としての画素Ｐ１１’を検出することができる。
【００２８】
例えば、図１２に示すように、被写体としてのユーザａがそれぞれ写し出された修正順番対応画像データＰｅ１ｃにおけるスキャンラインＬ１上の画素と、修正順番対応画像データＰｅ２ｃおけるスキャンラインＬ１’上の画素とを対応付けする場合に、スキャンラインＬ１上の特徴点の点列Ｒ１を左から順に｛ａ１,ａ２,ａ３,ａ４,ａ５｝とし、またスキャンラインＬ１’の特徴点の点列Ｒ２を左から順に｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とする。
ここで、互いのスキャンラインＬ１,Ｌ１’上にある特徴点Ｒ１,Ｒ２を被写体との関係において対応付けるとき、先ず、ａ１に対してＬ１’上の特徴点はｂ１が該当し１：１で対応することとなるが、ユーザａの右耳を構成する特徴点ａ２,ａ３に対してＬ１’上の特徴点はｂ２が該当し、２：１で対応することとなる。同様に、ユーザａの左耳を構成する特徴点ａ４に対してＬ１’上の特徴点はｂ３,ｂ４が該当し、１：２で対応することとなる。なお、ａ５に対してＬ１’上の特徴点はｂ５が該当し１：１で対応することとなる。
【００２９】
このように、異なる視点から撮像することにより得られる修正順番対応画像データＰｅ１ｃとＰｅ２ｃでは、被写体からカメラに至るまでの距離に基づく視差により、ユーザａの耳の部分等において表示される内容が異なってくる。以下、このような領域をオクリュージョン領域という。かかるオクリュージョン領域では、上記視差により、一方の修正順番対応画像データに表示されている被写体の対応点が他方の修正順番対応画像データにて隠れてしまうため、従来と同様に、｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けてしまうと、誤差が生じることになる。
このため、ＤＰマッチング処理部２９は、かかる視差を識別することにより、図１２(a)に示される修正順番対応画像データの特徴点の点列Ｒ１,Ｒ２を、結果的に図１２(b)に示されるように｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ２）、（ａ４, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けられるように制御する。
【００３０】
具体的には、ＤＰマッチング処理部２９は、各修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃにおけるスキャンライン上にある全ての画素につき、図１２(c)に示すようなDynamic Programming（ＤＰ：最短経路探索）を利用した動的な対応付けを行う。
この図１２(c)におけるｘ軸にスキャンラインＬ１上の特徴点の点列Ｒ１｛ａ１,ａ２,ａ３,ａ４,ａ５｝を配列し、またｙ軸をスキャンラインＬ１’上の特徴点の点列Ｒ２｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とするとき、図１２(b)に示される対応関係をこのグラフにあてはめると、図１２(c)に示される太線で示される経路をとることになる。以下、この太線で示される対応点を結ぶ直線を最適経路という。
【００３１】
この最適経路において右上に線形増加する場合には、スキャンラインＬ１,Ｌ１’上を左から右へシフトさせて対応付けする際に、互いの特徴点を１：１で順次シフトさせて対応させることを示している。ＤＰマッチング処理部２９は、右上に線形増加する最適経路の例として、スキャンラインＬ１,Ｌ１’上の特徴点（ａ１, ｂ１）から左から右へそれぞれ一つずつシフトさせることにより特徴点（ａ２, ｂ２）を正確に対応付けすることができる。
また、この最適経路において水平方向にシフトする場合には、修正順番対応画像データＰｅ１ｃとＰｅ２ｃとの間において視差が生じた結果、修正順番対応画像データＰｅ１ｃにおいて示されている特徴点が修正順番対応画像データＰｅ２ｃにおいて隠れてしまったことを示唆している。
かかる場合には、ＤＰマッチング処理部２９は、修正順番対応画像データＰｅ１ｃ上にある一つの特徴点に対して、修正順番対応画像データＰｅ２ｃ上にある複数の特徴点を対応付ける。この水平方向にシフトする最適経路の例として、スキャンラインＬ１,Ｌ１’上の特徴点（ａ２, ｂ２）においてユーザａの右耳を示すｂ２は、上述した視差により更にａ３とも対応するため、ｂ２をそのまま維持しつつこれにａ３を対応付ける。
【００３２】
また、この最適経路において垂直方向へシフトする場合には、修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃ間において視差が生じた結果、修正順番対応画像データＰｅ２ｃにおいて示されている特徴点が修正順番対応画像データＰｅ１ｃにおいて隠れてしまったことを示唆している。かかる場合には、ＤＰマッチング処理部２９は、修正順番対応画像データＰｅ１ｃ上にある１の特徴点に対して、修正順番対応画像データＰｅ２ｃ上にある複数の特徴点を対応付ける。この垂直方向にシフトする最適経路の例として、スキャンラインＬ１,Ｌ１’上の特徴点（ａ４, ｂ３）においてユーザａの左耳を示すａ４は、上述した視差により更にｂ４とも対応するため、ａ４をそのまま維持しつつこれにｂ４を対応付ける。
【００３３】
ＤＰマッチング処理部２９は、これら対応付けを、互いの順番対応画像データＰｅ１ａ,Ｐｅ２ａの全てを構成する、或いは一部を構成するスキャンラインＬ１,Ｌ１’間において実行する。そしてスキャンラインＬ１,Ｌ１’毎に上述した最適経路を求めることにより、特徴点の点列Ｒ１,Ｒ２間における対応付けを行う。
【００３４】
図１３は、スキャンラインＬ１,Ｌ１’上の任意の特徴点（ｘ1,ｙ）と（x2，y）との対応付け関係（x1，x2）を求める場合につき示している。
この点（ｘ1,x2）に至る最適経路は、点（ｘ1−１,x2−１）につき左から右へそれぞれ一つずつシフトさせることにより図１３に示されるグラフにおいて右上に線形増加し、或いは点（ｘ1−１,x2）においてx2をそのまま維持しつつ水平方向に１シフトさせることにより図１３に示されるグラフにおいて点（ｘ1−１,x2）から水平方向へ移動する。さらに、この点（ｘ1,x2）に至る最適経路は、点（ｘ1,x2−１）においてｘ1をそのまま維持しつつ垂直方向へ１シフトさせることにより図１３に示されるグラフにおいて点（ｘ1,x2−１）から垂直方向へ移動することになる。
【００３５】
即ち、点（ｘ1,x2）を通る最適経路は、図１３に示すグラフにおいて、その左,左下,下に位置する点（ｘ1−１,x2）,（ｘ1−１,x2−１）,（ｘ1,x2−１）の何れかを経ることになる。
ＤＰマッチング処理部２９は、何れの点（ｘ1−１,x2）,（ｘ1−１,x2−１）,（ｘ1,x2−１）を経て点（ｘ1,x2）へ至るのかにつき、以下に説明する関数を順次求めてゆくことにより決定する。
ＤＰマッチング処理部２９は、以下に示すマッチングコスト関数ｄ（ｘ1,x2）と、動的なオクリュージョンコスト関数ｄｘ1（ｘ1,x2）,ｄx2（ｘ1,x2）を求め、求めた各関数に応じて上述した最適経路を求める。
マッチングコスト関数ｄ（ｘ1,x2）は、対応関係を求める各画素位置間における輝度成分及び色成分の類似度を示す関数である。
また、オクリュージョンコスト関数ｄｘ1（ｘ1,x2）は、順番対応画像データＰｅ１ａの画像Ｐｅ２ａに対する被写体画像の隠れ度合いを示す関数である。
また、オクリュージョンコスト関数ｄx2（ｘ1,x2）は、画像Ｐｅ２ａの順番対応画像データＰｅ１ａに対する被写体画像の隠れ度合いを示す関数である。これらオクリュージョンコスト関数ｄｘ1（ｘ1,x2）,ｄx2（ｘ1,x2）は、被写体の各画像間における視差が反映される形となる。
【００３６】
先ず、マッチングコスト関数ｄ（ｘ1,x2）を求める方法につき説明をする。
ＤＰマッチング処理部２９は、ｄ（ｘ1,x2）につき、比較する輝度成分又は色成分のうち何れに重み付けをするか決定する。
この重み付けは、重み付け係数αを用いて、以下の式（１）に基づいて行う。
【００３７】
［数１］
ｄｋ（ｓ,ｔ）＝α×ｄＹｋ（ｓ,ｔ）＋（１−α）ｄＣｋ（ｓ,ｔ）
…（１）
【００３８】
ここで（ｓ,ｔ）は、点（ｘ1,x2）に対応する修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃにおける画素位置を表している。
また、ｋは、修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃの何行目に該当するかを示している（つまりｋ＝ｙ）。
上記式（１）においてｄＹｋ（ｓ,ｔ）は、修正順番対応画像データＰｅ１ｃとＰｅ２ｃとの間の座標（ｓ,ｔ）間における輝度成分の差分絶対値を表し、以下の式（２）で定義される。
【００３９】
［数２］
ｄＹｋ（ｓ,ｔ）＝｜Ｙ１ｋ（ｓ,ｔ）−Ｙ２ｋ（ｓ,ｔ）｜
…（２）
【００４０】
また、上記式（１）においてｄＣｋ（ｓ,ｔ）は、修正順番対応画像データＰｅ１ｃとＰｅ２ｃとの間における色成分の差分絶対値を表し、以下の式（３）で定義される。
【００４１】
［数３］
ｄＣｋ（ｓ,ｔ）＝｜Ｃ１ｋ（ｓ,ｔ）−Ｃ２ｋ（ｓ，ｔ）｜
…（３）
【００４２】
即ち、上記式（１）においてαをより高く設定することにより、求めるｄｋ（ｓ,ｔ）につき、輝度成分の差分絶対値ｄＹｋ（ｓ,ｔ）の成分をより反映させることができる。また上記式（１）においてαをより小さく設定することにより、求めるｄｋ（ｓ,ｔ）につき、色成分の差分絶対値ｄＣｋ（ｓ,ｔ）の成分をより反映させることができる。なお、ＤＰマッチング処理部２９は、αについては、色成分のマッチングコストと、輝度成分のマッチングコストとの平均値を割り当てるようにしてもよい。
【００４３】
ｄ（ｘ1,x2）は、上記式（１）により求められるｄｋ（ｓ,ｔ）に基づいて、更に以下の式（４）により求められる。
【００４４】
［数４］
ｄ（ｘ1,x2）＝（Σｄｋ（ｓ,ｔ））／２Ｋ      ｋ＝−Ｋ，・・，Ｋ−１
…（４）
【００４５】
上記式（４）は、スキャンラインの上下に位置する各画素との間で平均をとることにより、ｄ（ｘ,ｙ）を求めることができることを意味している。
上記式（４）式により、求めるｄ（ｘ1,x2）につきスキャンラインの上下に位置する各画素との相関関係を反映させることができる。これにより対応付け精度の向上を大幅に図ることが可能となる。
即ち、上述の方法により求められるマッチングコストｄ（ｘ1,x2）は、修正順番対応画像データＰｅ１ｃとＰｅ２ｃの画素位置（ｓ,ｔ）における輝度成分、或いは色成分の差分絶対値が大きくなるにつれて増加する。換言すれば、修正順番対応画像データＰｅ１ｃとＰｅ２ｃの画素位置（ｓ,ｔ）における輝度成分、或いは色成分の差異が大きくなるにつれて増加し、またこれらが類似するにつれて小さくなる。即ち、このマッチングコストｄ（ｘ1,x2）により、画像Ｐｅ１ａと画像Ｐｅ２ａの画素位置（ｓ,ｔ）における輝度成分、或いは色成分の類似度を識別することが可能となる。
【００４６】
次にオクリュージョンコスト関数ｄｘ1（ｘ1,x2）,ｄx2（ｘ1,x2）を求める方法につき説明をする。
これら各オクリュージョンコスト関数ｄｘ1（ｘ1,x2）,ｄx2（ｘ1,x2）は、視差情報に基づいて生成される。カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が小さくなるにつれて（視差が大きくなるにつれて）、オクリュージョン領域の発生する確率が高くなる。かかる場合において、マッチング部２９は、オクリュージョンコスト関数ｄｘ1（ｘ1,x2）,ｄx2（ｘ1,x2）を下げることにより対応する。一方、カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が長くなるにつれて（視差が小さくなるにつれて）、オクリュージョン領域の発生する確率が小さくなる。
かかる場合において、ＤＰマッチング処理部２９は、オクリュージョンコスト関数ｄｘ1（ｘ1,x2）,ｄx2（ｘ1,x2）を上げることにより対応する。
各オクリュージョンコスト関数ｄｘ1（ｘ1,x2）,ｄx2（ｘ1,x2）は、以下の式（５）、（６）に基づいて求めることができる。
【００４７】
［数５］
ｄｘ1（ｘ1,x2）＝β×ｄ（ｘ1,x2）＋Ｔ０
…（５）
【００４８】
［数６］
ｄx2（ｘ1,x2）＝γ×ｄ（ｘ1,x2）＋Ｔ１
…（６）
【００４９】
ここで、ｄ（ｘ1,x2）は、マッチングコストであり、左画像と右画像の輝度値、色合いのばらつきを解消させるべく、オクリュージョンコストを動的に調整するものである。β、γは、ｄｐ（ｘ1,x2）の変化率を表しており、予め実験的に求めることができる。またＴ０、Ｔ１は、初期オクリュージョンコスト定数であり、これについても予め実験的に求めることができる。
ＤＰマッチング処理部２９は、これら各関数ｄｘ1（ｘ1,x2）,ｄ（ｘ1,x2）,ｄx2（ｘ1,x2）を求めた後、それぞれ以下の式（７）〜式（９）に基づいて累積マッチングコストＣ（ｘ1−１,x2）,Ｃ（ｘ1−１,x2−１）,Ｃ（ｘ1,x2−１）を加算し、総コストｋ１,ｋ２,ｋ３を算出する。
【００５０】
［数７］
ｋ１＝Ｃ（ｘ1−１,x2）＋ｄｘ1（ｘ1,x2）
…（７）
【００５１】
［数８］
ｋ２＝Ｃ（ｘ1−１,x2−１）＋ｄ（ｘ1,x2）
…（８）
【００５２】
［数９］
ｋ３＝Ｃ（ｘ1,x2−１）＋ｄx2（ｘ1,x2）
…（９）
【００５３】
ここでＣ（ｘ1−１,x2）,Ｃ（ｘ1−１,x2−１）,Ｃ（ｘ1,x2−１）は、それぞれ点（ｘ1−１,x2）,（ｘ1−１,x2−１）,（ｘ1,x2−１）において求められた累積マッチングコストを示している。ちなみに、点（ｘ1,x2）における累積マッチングコストＣ（ｘ1,x2）は、以下の式（１０）に示すように、求めたｋ１,ｋ２,ｋ３の中から最小となるものが割り当てられる。
【００５４】
［数１０］
Ｃ（ｘ1,x2）＝ｍｉｎ｛ｋ１,ｋ２,ｋ３｝
…（１０）
【００５５】
ＤＰマッチング処理部２９は、求めた総コストｋ１,ｋ２,ｋ３の中から最小となるものを選択することにより最適経路を求め、その結果をＤＰマッチング処理結果ＤＰａとして各領域仮想視点画像生成部３０に出力する。
【００５６】
ここで、ｋ１が最小となる場合には、視差が大きくなることにより、修正順番対応画像データＰｅ１ｃにおいて示されている特徴点が修正順番対応画像データＰｅ２ｃにおいて遮蔽されたことを意味している。かかる場合には、図１３矢印Ｊ１に示すように点（ｘ1−１,x2）から水平方向にシフトさせることにより点（ｘ1,x2）に至るように最適経路が求められることになる。
またｋ３が最小となる場合には、視差が大きくなることにより、修正順番対応画像データＰｅ２ｃにおいて示されている特徴点が修正順番対応画像データＰｅ１ｃにおいて遮蔽されたことを意味している。かかる場合には、図１３矢印Ｊ３に示すように、点（ｘ1,x2−１）から垂直方向にシフトさせることにより点（ｘ1,x2）に至るように最適経路が求められることになる。
更に、ｋ２が最小となる場合には、修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃの画素位置（ｓ,ｔ）における輝度成分、或いは色成分の類似度が高いことを意味している。かかる場合には、図１３矢印Ｊ２に示すように点（ｘ1−１,x2−１）から水平、垂直方向に一つずつシフトさせることにより点（ｘ1,x2）に至るように最適経路が求められることになる。
【００５７】
ＤＰマッチング処理部２９は、図６に示す修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃ内の修正後のラベル領域Ｌ１ｃ，Ｌ２ｃについては、条件１「Ｙ１ｋ（ｓ，ｔ）とＹ２ｋ（ｓ，ｔ）との画素の双方がオクリュージョン領域内にない」を満たすと、下記式（１１）のマッチングコスト関数を用いる。
【００５８】
［数１１］
ｄｋ（ｓ，ｔ）＝αｄＹｋ（ｓ，ｔ）＋（１−α）・ｄＣｋ（ｓ，ｔ）
…（１１）
【００５９】
また、ＤＰマッチング処理部２９は、図６に示す修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃ内の修正後のラベル領域Ｌ１ｃ，Ｌ２ｃについて、条件２「Ｙ１ｋ（ｓ，ｔ）とＹ２ｋ（ｓ，ｔ）との画素の少なくとも一方がオクリュージョン領域内にある」を満たすと、下記式（１２）のマッチングコスト関数を用いる。
【００６０】
［数１２］
ｄｋ（ｓ，ｔ）＝Ｃｏｎｓｔ（一定値）
…（１２）
【００６１】
ＤＰマッチング処理部２９では、上述したように、修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃのマッチングコスト関数として、修正後のラベル領域Ｌ１ｃ，Ｌ２ｃとそれ以外の領域とで異なる関数を用いる。これにより、ラベル領域Ｌ１ｃ，Ｌ２について他の領域と同じ関数を用いた場合に比べて、修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃのマッチングを高精度に行うことができる。
【００６２】
次に、図５に示す非順番対応画像データＰｅ１ｂ，Ｐｅ２ｂのＤＰマッチング処理を説明する。
非順番対応画像データＰｅ１ｂ，Ｐｅ２ｂについては、上述した順番対応画像データＰｅ１ａ，Ｐｅ２ａとは異なり、ラベル領域は存在しない。
従って、ＤＰマッチング処理部２９は、ラベル領域についての上記式（１１），（１２）以外の上記式（１）〜（１０）を基にコストを算出して、ＤＰマッチング処理を行い、その結果であるＤＰマッチング処理結果ＤＰｂを各領域仮想視点画像生成部３０に出力する。
【００６３】
［各領域仮想視点画像生成部３０］
各領域仮想視点画像生成部３０は、ＤＰマッチング処理部２９から入力した順番対応画像データＰｅ１ｃ，Ｐｅ２ｃと、そのＤＰマッチング処理結果ＤＰａとを基に、仮想視点順番対応画像データＩｐｎａを生成し、これを仮想視点画像生成部３１に出力する。
また、各領域仮想視点画像生成部３０はＤＰマッチング処理部２９から入力した非順番対応画像データＰｅ１ｂ，Ｐｅ２ｂと、そのＤＰマッチング処理結果ＤＰｂとを基に、仮想視点非順番対応画像データＩｐｎｂを生成し、これを仮想視点画像生成部３１に出力する。
【００６４】
各領域仮想視点画像生成部３０は、例えば、図１４に示すように、順番対応画像データＰｅ１ｃにおける画素位置Ｐ１１に対して、順番対応画像データＰｅ２ｃにおける画素位置Ｐ１１’がその対応点としてＤＰマッチング処理結果ＤＰａによって特定されていた場合に、かかる画素位置Ｐ１１の座標を図１４に示すように（ｘ１,ｙ１）とし、また画素位置Ｐ１１’の座標を（ｘ２,ｙ２）とする。
仮想視点画像領域生成部３０は、かかる画素位置Ｐ１１、Ｐ１１’に対応する仮想視点画像データＩｐｎａ上の画素位置の座標（ｘｔ,ｙｔ）を、相対位置情報としてのｍ（≦１）に基づいて以下の式（１３）により決定することができる。
【００６５】
［数１３］
（ｘｔ,ｙｔ）＝ｍ×（ｘ１,ｙ１）＋（１−ｍ）×（ｘ２,ｙ２）
…（１３）
【００６６】
また画素位置Ｐ１１、Ｐ１１’における輝度成分をそれぞれＪ１１, Ｊ１１’としたときに、各領域仮想視点画像生成部３０は、かかる仮想視点画像データＩｐｎａ上の画素位置Ｐｈにおける輝度成分（仮想画素値）Ｐｔを図１５に示すように画像内挿(Interpolation)により決定することができる。
【００６７】
各領域仮想視点画像生成部３０は、例えば、図１５に示すように、図１４に示す順番対応画像データＰｅ１ｃ，Ｐｅ２ｃの画素位置Ｐ１１，Ｐ１１’がオクリュージョン領域にあるか否かを基に、仮想視点画像データＩｐｎａの画素位置Ｐｈの輝度成分（仮想画素値）Ｐｔの計算式を切り換える。
【００６８】
すなわち、図１５に示すように、各領域仮想視点画像生成部３０は、画素位置Ｐ１１，Ｐ１１’の双方がオクリュージョン領域にあるか否かを判断し（ステップＳＴ２１）、オクリュージョン領域にないと判断すると、下記式式（１４）により、輝度成分Ｐｔを算出する（ステップＳＴ２２）。
【００６９】
［数１４］
Ｐｔ＝ｍ×Ｊ１１＋（１−ｍ）×Ｊ１１’
…（１４）
【００７０】
なお、各領域仮想視点画像生成部３０は、図１８に示すステップＳＴ１７のステップＳＴ６（ＳＴ８）のＤＰマッチング処理の結果に基づいて、画素位置Ｐ１１，Ｐ１１’がオクリュージョン領域にあるか否かを判断する。
【００７１】
各領域仮想視点画像生成部３０は、ステップＳＴ２２で、画素位置Ｐ１１，Ｐ１１’のいずれか一方がオクリュージョン領域にあると判断すると、ステップＳＴ２３に進む。
そして、各領域仮想視点画像生成部３０は、画素位置Ｐ１１がオクリュージョン領域にあると判断すると、輝度成分Ｐｔとして、画素位置Ｐ１１’の輝度成分を用いる（ステップＳＴ２５）。
一方、各領域仮想視点画像生成部３０は、画素位置Ｐ１１がオクリュージョン領域にないと判断すると、輝度成分Ｐｔとして、画素位置Ｐ１１の輝度成分を用いる（ステップＳＴ２４）。
【００７２】
本実施形態によれば、図１５に示すように、画素位置Ｐ１１，Ｐ１１’の何れか一方がオクリュージョン領域にある場合には、仮想視点画像データＩｐｎａの輝度成分Ｐｔの算出に、そのオクリュージョン領域にある画素位置の輝度成分を用いずに、オクリュージョン領域にない画素位置の輝度成分のみを用いる。
これにより、高品質な仮想視点画像データＩｐｎａを生成できる。
なお、図１５に示す手法は、仮想視点画像データＩｐｎａの生成の他に、各領域仮想視点画像生成部３０において、非順番対応画像データＰｅ１ｂ，Ｐｅ２ｂを基に仮想視点画像データＩｐｎｂを生成する場合にも同様に適用できる。
【００７３】
仮想視点画像領域生成部３０は、上記式（１４）に示すように、仮想視点画像データＩｐｎａを構成する各画素の座標並びにその輝度成分につき、相対位置情報としてのｍに応じて決定することができる。
ここでｍは、仮想カメラにおける仮想視点がカメラ１１ａに近くなるにつれて小さくなり、また仮想視点がカメラ１２ａに近くなるにつれて大きくなる。
このため、図１７に示すように、上記式（１３）に基づいて決定される座標（ｘｔ,ｙｔ）は、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の座標（ｘ１,ｙ１）に近づき、また仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１２の座標（ｘ２,ｙ２）に近づくことになる。即ち、座標（ｘｔ,ｙｔ）を、仮想カメラの位置に応じて自在に決定することができるため、仮想視点画像データＩｐｎａ上に表示させるユーザａの位置を自在に変化させることができる。
【００７４】
また、上記式（１４）に基づいて決定される輝度成分Ｐｔは、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の輝度成分Ｊ１１に近づき、仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１１’の輝度成分Ｊ１１’に近づくことになる。即ち、仮想カメラの位置に応じて、仮想視点画像Ｉｐｎａ上のユーザａを構成する画素を輝度成分Ｊ１１、又は輝度成分Ｊ１１’に近づけることができる。
特に、カメラ１１ａとカメラ１２ａは互いに撮影方向が異なるため、順番対応画像データＰｅ１ｃ上にある画素位置Ｐ１１と、これに対応する順番対応画像データＰｅ２ｃ上にある画素位置Ｐ１１’との間では、輝度成分が互いに異なる。この互いに異なる輝度成分の何れか一方を最小値とし、他方が最大値となるようにして、相対位置情報としてのｍに応じて輝度成分Ｐｔを線形に増減させることにより、仮想カメラの位置に応じて仮想視点画像データＩｐｎａ上に表示させるユーザａを構成する画素の輝度成分を決定することが可能となる。また、この生成される仮想視点画像データＩｐｎａは、上述したマッチング部２９において対応付けられた関係に基づいて生成されるため、得られる画像の画質劣化をより減少させることができる。
【００７５】
上述のようにして画素位置Ｐｈにおける座標（ｘｔ,ｙｔ）並びにその輝度成分Ｐｔを順次決定することにより、生成した仮想視点画像データＩｐｎａは、表示されるユーザａの視線方向、顔の向き等は互いに異なっていた順番対応画像データＰｅ１ａ，Ｐｅ２ａに対して、常時正面を向いている状態となる。
このようにして生成された仮想視点画像データＩｐｎａは、仮想視点画像生成部３１へ送られていくことになる。
【００７６】
また、各領域仮想視点画像生成部３０は、ＤＰマッチング処理部２９から入力した非順番対応画像データＰｅ１ｂ，Ｐｅ２ｂと、そのＤＰマッチング処理結果ＤＰｂとを基に、上述した仮想視点画像データＩｐｎａの生成と同様に、仮想視点非順番対応画像データＩｐｎｂを生成し、これを仮想視点画像生成部３１に出力する。
【００７７】
［仮想視点画像生成部３１］
仮想視点画像生成部３１は、図１６に示すように、仮想視点画像データＩｐｎａとＩｐｎｂとを合成して仮想視点画像データＩｍａを生成する。
仮想視点画像生成部３１は、上記仮想視点画像データＩｍａをネットワーク７を介して、他の画像処理装置２ｂに出力する。
ここで、仮想視点画像データＩｍａは、あたかも画面中央付近に設置された仮想カメラで撮像されたような画像を表示するデータである。これにより、図１に示すユーザａとｂとが、視線を一致させた状態でディスプレイ５ａ，５ｂを介して対面しながら対話ができる。
【００７８】
［動作例］
以下、図１に示す画像処理装置２ａの動作例を説明する。
図１８は、図１に示す画像処理装置２ａの動作例を説明するためのフローチャートである。
ステップＳＴ１：
画像並行化処理部２０が、カメラ１１ａ、１２ａから入力した画像データＰａ１，Ｐａ２に画像補正処理および正規化処理を施して、正規化画像データＰｍ１，Ｐｍ２を生成し、非順番対応領域検出部２７に出力する。
このとき、画像並行化処理部２０は、キャリブレーション部２６から入力したカメラ１１ａ、１２ａのレンズ歪みや画像中心等のパラメータを基に上記画像補正処理を行う。
【００７９】
ステップＳＴ２：
非順番対応領域検出部２７は、図４に示すように、正規化画像データＰｍ１,Ｐｍ２から背景画像データＰｋ１、Ｐｋ２を除去して前景画像データＰｆ１、Ｐｆ２を生成する。
このように、背景画像を除去することで、背景画像の影響を軽減した効率的なマッチング処理を行うことができる。
【００８０】
ステップＳＴ３：
非順番対応領域検出部２７は、順番対応拘束がないステレオマッチング手法により、前景画像データＰｆ１、Ｐｆ２を基に、視差マップデータＤｍ１，Ｄｍ２を生成（推定）する。
本実施形態では、順番対応拘束がないステレオマッチング手法として、エリアベースマッチング手法などが用いられる。
【００８１】
ステップＳＴ４：
非順番対応領域検出部２７は、視差マップデータＤｍ１，Ｄｍ２の各々について、当該データを構成する画素データを、所定のしきい値以上の画素データ（手前の画素データ）と、上記しきい値未満の画素データとに分類する。
そして、非順番対応領域検出部２７は、上記しきい値以上の画素データによって構成される非順番対応領域視差データを生成する。
例えば、非順番対応領域検出部２７は、図５に示すように、視差マップデータＤｍ１，Ｄｍ２から、それぞれ非順番対応領域視差データＣＬ１、ＣＬ２を生成する。
非順番対応領域検出部２７は、前景画像データＰｆ１、Ｐｆ２と、非順番対応領域視差データＣＬ１、ＣＬ２とを非順番対応領域分離部２８に出力する。
非順番対応領域分離部２８は、図５に示すように、非順番対応領域視差データＣＬ１、ＣＬ２を基に、前景画像データＰｆ１、Ｐｆ２から非順番対応画像データＰｅ１ｂ、Ｐｅ２ｂを抽出し、これをＤＰマッチング処理部２９に出力する。
また、非順番対応領域分離部２８は、非順番対応領域視差データＣＬ１、ＣＬ２を基に、前景画像データＰｆ１、Ｐｆ２から順番対応画像データを抽出する。
そして、非順番対応領域分離部２８は、図６に示すように、上記抽出した順番対応画像データ内の非順番対応画像データの部分をラベル画像に置き換えた（ラベル付けした）順番対応画像データＰｅ１ａ、Ｐｅ２ａを生成し、これをＤＰマッチング処理部２９に出力する。
【００８２】
ステップＳＴ５：
ＤＰマッチング処理部２９では、図６および図１０に示すように、人物領域の対称性を用いてラベル付けされた順番対応画像データＰｅ１ａ，Ｐｅ２ａのラベル修正処理を行い、修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃを生成する。
【００８３】
ステップＳＴ６：
ＤＰマッチング処理部２９は、上記式（１）〜（１２）に示すコスト計算により、修正順番対応画像データＰｅ１ｃとＰｅ２ｃとの間のＤＰマッチング処理を行ってＤＰマッチング処理結果ＤＰａを生成し、これを各領域仮想視点画像生成部３０に出力する。
ここで、ＤＰマッチング処理部２９は、上記式（１１），（１２）により、ラベル領域について、それ以外の領域とは別のコスト計算を行う。すなわち、ＤＰマッチング処理部２９は、ラベル領域については、画像データＰｅ１ｃとＰｅ２ｃとの対応点の双方がオクリュージョン領域に存在しないことを条件に、その対応点の画素値を用いて、その他の領域と同様にマッチングコストを算出するが、上記条件を満たさない場合には、マッチングコストを予め決めた一定（固定）値とする。
また、ＤＰマッチング処理部２９は、修正順番対応画像データＰｅ１ｃ，Ｐｅ２ｃを各領域仮想視点画像生成部３０に出力する。
【００８４】
ステップＳＴ７：
各領域仮想視点画像生成部３０は、ＤＰマッチング処理部２９から入力した順番対応画像データＰｅ１ａ，Ｐｅ２ａと、そのＤＰマッチング処理結果ＤＰａとを基に、例えば、図１５に示す手順で、仮想視点順番対応画像データＩｐｎａを生成し、これを仮想視点画像生成部３１に出力する。
【００８５】
ステップＳＴ８：
ＤＰマッチング処理部２９は、上記式（１）〜（１０）に示すコスト計算により、修正順番対応画像データＰｅ１ｂとＰｅ２ｂとの間のＤＰマッチング処理を行ってＤＰマッチング処理結果ＤＰｂを生成し、これを各領域仮想視点画像生成部３０に出力する。
また、ＤＰマッチング処理部２９は、修正順番対応画像データＰｅ１ｂ，Ｐｅ２ｂを各領域仮想視点画像生成部３０に出力する。
【００８６】
ステップＳＴ９：
各領域仮想視点画像生成部３０は、ＤＰマッチング処理部２９から入力した順番対応画像データＰｅ１ｂ，Ｐｅ２ｂと、そのＤＰマッチング処理結果ＤＰｂとを基に、例えば、図１５に示す手順で、仮想視点順番対応画像データＩｐｎｂを生成し、これを仮想視点画像生成部３１に出力する。
【００８７】
仮想視点画像生成部３１は、図１６に示すように、各領域仮想視点画像生成部３０から入力した仮想視点画像データＩｐｎａとＩｐｎｂとを合成して仮想視点画像データＩｍａを生成する。
【００８８】
［効果］
以上説明したように、画像処理装置２ａでは、図１５に示すように、画素位置Ｐ１１，Ｐ１１’の何れか一方がオクリュージョン領域にある場合には、仮想視点画像データＩｐｎａの輝度成分Ｐｔの算出に、そのオクリュージョン領域にある画素位置の輝度成分を用いずに、オクリュージョン領域にない画素位置の輝度成分のみを用いる。
これにより、高品質な仮想視点画像データＩｐｎａを生成できる。
なお、図１５に示す手法は、仮想視点画像データＩｐｎａの生成の他に、各領域仮想視点画像生成部３０において、非順番対応画像データＰｅ１ｂ，Ｐｅ２ｂを基に仮想視点画像データＩｐｎｂを生成する場合にも同様に適用できる。
【００８９】
また、画像処理装置２ａでは、撮像画像を、順番対応拘束を満たす順番対応画像データＰｅ１ａ，Ｐｅ２ａと、満たさない非順番対応画像データＰｅ１ｂ，Ｐｅ２ｂとに分離してＤＰマッチングすることで、それぞれについて正確にマッチング処理を行うことができる。
また、画像処理装置２ａでは上記分離した順番対応画像データＰｅ１ａ，Ｐｅ２ａと非順番対応画像データＰｅ１ｂ，Ｐｅ２ｂとのそれぞれについて生成した仮想視点画像データＩｐｎａ，Ｉｐｎｂを合成することで、正確な仮想視点画像データＩｍａを生成できる。
【００９０】
また。画像処理装置２ａでは、非順番対応画像データの部分をラベル画像に置き換えた（ラベル付けした）順番対応画像データＰｅ１ａ、Ｐｅ２ａを生成し、これを用いて、ラベル画像部分について上記式（１１），（１２）の関数を用いてＤＰマッチング処理を行う。これにより、順番対応画像データについて正確なマッチング処理が可能になる。
【００９１】
特にこの通信システム１では、少なくとも２台のカメラ１１,１２をディスプレイ５の両側に配設すれば足り、また被写体の３次元情報をその都度抽出する必要もなくなるため、システム全体が複雑化することがなくなるという利点もある。
また、この通信システム１では、ハーフミラーやホログラムスクリーン、更にはプロジェクタ等のような特殊装置を用いる必要もなく、簡易で安価なシステムを構成することができる。
【００９２】
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、図２に示す画像処理装置２ａの全てあるいは一部の構成あるいはステップを、それを行う専用のハードウェアとして実現してもよい。
また、画像処理装置２ａは、例えば、図１９に示すように、バス１２０を介して、インタフェース１２１、メモリ１２２および処理回路１２３を接続した画像処理装置１０２として実現してもよい。
この場合には、処理回路１２３は、メモリ１２２からプログラムＰＲＧを読み出して、図１５および図１８に示す各ステップを実行する。
このとき、処理回路１２３は、図１５および図１８に示す各ステップの処理で得られる中間データを適宜メモリ１２２やその他のバッファメモリに記憶し、必要に応じて読み出して処理に用いる。
なお、メモリ１２２は、半導体メモリや、光ディスク、磁気ディスク、光磁気ディスクなどの記録媒体である。
【図面の簡単な説明】
【００９３】
【図１】図１は、本発明の第１実施形態の通信システムの概略を示す図である。
【図２】図２は、図１に示す画像処理装置の構成図である。
【図３】図３は、図１に示す各画像Ｐａ１,Ｐａ２の法線方向を合わせる正規化につき説明するための図である。
【図４】図４は、図１に示す非順番対応領域検出部が行う背景画像の削除を説明するための図である。
【図５】図５は、図２に示す画像処理装置における視差マップデータＤｍ１，Ｄｍ２の生成処理を説明するための図である。
【図６】図６は、図２に示す非順番対応領域分離部が行うラベル処理を説明するための図である。
【図７】図７は、図６に示すラベル処理の効果を説明するための図である。
【図８】図８は、本実施形態の関連技術の問題点を説明するための図である。
【図９】図９は、本実施形態の関連技術の問題点を説明するための図である。
【図１０】図１０は、順番対応画像データ内のラベルの修正処-理を説明するための図である。
【図１１】図１１は、ＤＰマッチング処理を説明するための図である。
【図１２】図１２は、ＤＰマッチング処理を説明するための図である。
【図１３】図１３は、ＤＰマッチング処理を説明するための図である。
【図１４】図１４は、図２に示す各領域仮想視点画像生成部が行う仮想視点画像データの生成処理を説明するための図である。
【図１５】図１５は、図２に示す各領域仮想視点画像生成部が行う仮想視点画像データの生成処理のフローチャートである。
【図１６】図１６は、図２に示す仮想視点画像生成部の処理を説明するための図である。
【図１７】図１７は、仮想視点に応じた仮想視点画像データを説明するための図である。
【図１８】図１８は、図２に示す画像処理装置の動作例を説明するためのフローチャートである。
【図１９】図１９は、図１に示す画像処理装置の変形例を説明するための図である。
【図２０】図２０は、ステレオ画像処理の問題点を説明するための図である。
【符号の説明】
【００９４】
１…通信システム、２ａ，２ｂ…画像処理装置、１１ａ，１１ｂ…カメラ、２０…画像並行化処理部、２６…キャリブレーション部、２７…非順番対応領域検出部、２８…非順番対応領域分離部、２９…ＤＰマッチング処理部、３０…各領域仮想視点画像生成部、３１…仮想視点画像生成部
【図１】
2006285415.tif 000003
【図２】
2006285415.tif 000004
【図３】
2006285415.tif 000005
【図４】
2006285415.tif 000006
【図５】
2006285415.tif 000007
【図６】
2006285415.tif 000008
【図７】
2006285415.tif 000009
【図８】
2006285415.tif 000010
【図９】
2006285415.tif 000011
【図１０】
2006285415.tif 000012
【図１１】
2006285415.tif 000013
【図１２】
2006285415.tif 000014
【図１３】
2006285415.tif 000015
【図１４】
2006285415.tif 000016
【図１５】
2006285415.tif 000017
【図１６】
2006285415.tif 000018
【図１７】
2006285415.tif 000019
【図１８】
2006285415.tif 000020
【図１９】
2006285415.tif 000021
【図２０】
2006285415.tif 000022