(57)【要約】【課題】  画像間の対応付けをよりロバストかつ高精度に行うことともに、かかる対応付けにおいて発生する視差に基づくミスマッチを極力低減させることが可能となる。【解決手段】  少なくとも２台のカメラ１１ａ,１２ａにより互いに異なる視点から被写体を撮像することにより得られた各画像間の視差を検出し、検出した視差に基づいて各画像をそれぞれ複数の画像領域に分離し、分離した画像領域につき被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求め、互いに対応付けした画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する。【選択図】図２
2006114023.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間の視差を検出する視差検出手段と、
上記視差検出手段により検出された視差に基づいて上記各画像をそれぞれ複数の画像領域に分離する画像分離手段と、
上記画像分離手段により分離された画像領域につき、上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチング手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備え、
上記マッチング手段は、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を計算するとともに、上記計算した類似度に応じて上記対応関係を求めて上記被写体の各画像間における視差を識別すること
を特徴とする画像処理装置。
【請求項２】
上記各カメラにより撮像された各画像を上記仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面の法線方向に合わせる画像並行化手段を備えること
を特徴とする請求項１記載の画像処理装置。
【請求項３】
上記視差検出手段は、上記被写体の上記カメラに対する距離を推定し、推定した距離に基づいて上記視差を検出すること
を特徴とする請求項１記載の画像処理装置。
【請求項４】
上記画像分離手段は、上記視差検出手段により推定された上記被写体の上記カメラに対する距離に基づいて上記各画像をそれぞれ複数の画像領域に分離すること
を特徴とする請求項３記載の画像処理装置。
【請求項５】
上記画像生成手段は、上記カメラに対してより近距離にある画像がより前方にくるように上記仮想視点画像を構成すること
を特徴とする請求項３記載の画像処理装置。
【請求項６】
上記仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段をさらに備え、
上記画像生成手段は、上記情報生成手段により生成された相対位置情報に基づいて、上記仮想視点画像を構成する画素位置並びにその輝度成分を求めること
を特徴とする請求項１記載の画像処理装置。
【請求項７】
上記マッチング手段は、上記各画像間における対応関係を求める際に、上記計算した類似度及び視差のうち何れを優先させるか決定し、類似度を優先させる場合には、上記水平ライン上にある同一画素位置間において対応付け、視差を優先させる場合には、一の画素位置に対し同一の水平ライン上にある複数の画素位置を対応付けること
を特徴とする請求項１記載の画像処理装置。
【請求項８】
上記マッチング手段は、上記類似度を計算する際に比較する輝度成分又は色成分のうち何れかに重み付けをすること
を特徴とする請求項１記載の画像処理装置。
【請求項９】
上記マッチング手段は、上記水平ラインの上下に位置する各画素位置における輝度成分及び色成分との相関関係を反映させつつ、上記類似度を計算すること
を特徴とする請求項１記載の画像処理装置。
【請求項１０】
少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間の視差を検出する視差検出ステップと、
上記視差検出ステップにおいて検出した視差に基づいて上記各画像をそれぞれ複数の画像領域に分離する画像分離ステップと、
上記画像分離ステップにおいて分離した画像領域につき、上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチングステップと、
上記マッチングステップにおいて互いに対応付けした画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップとを有し、
上記マッチングステップでは、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を計算するとともに、上記計算した類似度に応じて上記対応関係を求めて上記被写体の各画像間における視差を識別すること
を特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばテレビ会議システム或いはテレビ電話システム等に適用され、送受信する画像を撮像してこれをあたかも仮想カメラにより撮像した仮想視点画像に再構成する画像処理装置及び方法に関する。
【背景技術】
【０００２】
テレビ電話システムやテレビ会議システム等に代表されるように、複数のユーザが互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムが提案されている。このようなシステムでは、相手の表示像をディスプレイ上に表示するとともに、当該ディスプレイを視認するユーザを撮影対象として撮像し、得られた画像信号を公衆回線、専用回線等のネットワークを介して相手側の画像処理装置へ送信することにより、双方のユーザに対し臨場感を持たせることが可能となる。
【０００３】
従来におけるテレビ会議システムでは、ディスプレイの中心付近に写し出される相手の表示像を視認するユーザを、ディスプレイ上部にあるカメラにより撮像するため、ユーザが下を向いた状態の画像が相手側のディスプレイ上に表示されることになる。このため、実際にディスプレイを視認するユーザ間において視線が不一致の状態で対話がなされることになり、互いに違和感を与えてしまうという問題がある。
【０００４】
理想的には、相手の表示像が写し出されるディスプレイの中心付近にカメラを設置すれば、双方のユーザの視線を一致させた状態で対話を実現することができる。しかしながら、かかるディスプレイの中心付近にカメラを設置することは物理的に困難である。
【０００５】
このような視線不一致に関する問題点を解決すべく、従来において、ディスプレイの両側に配置された複数のカメラにより撮影された入力画像に基づいて被写体の３次元情報を抽出し、抽出した３次元情報と受信者の視点位置に関する情報に応じて被写体の出力画像を再構成し、これを相手側のディスプレイへ表示させる画像処理装置が提案されている（例えば、特許文献１参照。）。この画像処理装置では、一直線上に配置された複数のカメラ映像から生成されたエピポーラ平面画像を用いて画面中心の仮想視点カメラ映像を合成することにより、利用者の視線を一致させて臨場感の高いコミュニケーションを実現することができる。
【０００６】
また、ＴＶ会議で互いの視線を一致させるべく、画面の左右に設置された２台のカメラで撮影した画像に基づいて３次元位置情報を生成する画像通信装置（例えば、特許文献２参照。）も提案されている。
【０００７】
ところで、上述の如く被写体の出力画像を再構成する際には、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像につき、画素位置毎に対応関係を求める。これにより、被写体の形状や各カメラまでの距離を三角測量原理によって求めることが可能となり、ひいては、ディスプレイの中心付近に仮想的に設置した仮想カメラにより撮像された仮想視点画像を精度よく生成することが可能となるからである。
【０００８】
ここで基本的な構成として、画面の左右に設置された２台のカメラにより撮像された各画像間につきステレオ視における対応付けを行う場合について図１６を用いて説明をする。
【０００９】
各カメラの光学中心Ｃ１,Ｃ２により互いに異なる視点から撮影対象のＭ点へ光軸を合わせて撮像を行うと、各カメラの撮像面で得られる画像Ｐｓ１,Ｐｓ２の法線方向ｐ１,ｐ２は、互いに異なる方向を指している。すなわち、各カメラと、Ｍ点を結ぶ直線の方向は、各カメラにより撮像された各画像Ｐｓ１,Ｐｓ２の法線方向ｐ１,ｐ２に一致するが、これらは互いに異なる方向を指している。
【００１０】
ちなみに対応付けは、被写体としてのＰを構成する同一の箇所にある画素位置と輝度成分を画像Ｐｓ１,Ｐｓ２間で抽出して対応をとるようにする。例えば、画像Ｐｓ１のエピポーラ線Ｌ１上にある画素ｍ１の対応点については、画像Ｐｓ２のエピポーラ線Ｌ１’上に存在することとなり、そのＬ１’上を探索することにより、画素ｍ１に最も類似する画素ｍ１’を対応点として検出することができる。また、対応付けした画素ｍ１,画素ｍ１’を利用することにより三次元空間内の対象Ｐを容易に推定することができる。
【００１１】
具体的な対応付けの手法として、従来よりPixel-basedマッチング、Area-basedマッチング、Feature-basedマッチング等が提案されている。Pixel-basedマッチングは、一方の画像における画素の対応点を、他方の画像においてそのまま探索する方法である（例えば、非特許文献１参照。）。Area-basedマッチングは、一方の画像における画素の対応点を、他方の画像において探索する場合に、その対応点の周囲における局所的な画像パターンを参照しつつ実行する対応付けを行う（例えば、非特許文献２,３参照。）。またFeature-basedマッチングは、画像から濃淡エッジ等を抽出し、画像間の特徴部分のみを参照して対応付けを行う（例えば、非特許文献４,５参照。）。
【００１２】
しかしながら、これらの手法は、あくまでエピポーラ線上に位置する画素の中から類似度の高いものを対応点として特定するため、例えばユーザを被写体として撮像した場合に得られた画像Ｐｓ１,Ｐｓ２間において、図１７に示すように、繰り返しパターン（例えば、両目部分）や、輝度変化が殆ど生じないいわゆる非特徴点（例えば壁の部分）において対応付けが困難であった。
【００１３】
また、異なる視点から撮像することにより得られる画像Ｐｓ１,Ｐｓ２では、被写体からカメラに至るまでの距離に基づく視差により、例えば図１７に示す頬や耳の部分等において表示される内容が異なってくる。以下、このような領域をオクリュージョン領域という。かかるオクリュージョン領域では、上記視差により、一方の画像Ｐｓ１に表示されている対象物の対応点が他方の画像Ｐｓ２において隠れてしまい、対応付けを行う場合に不都合が生じる場合があった。
【００１４】
また、異なる視点から撮像することにより得られる画像Ｐｓ１,Ｐｓ２は、例えば窓の部分等のように見る方向によって明るさが異なる領域や、ユーザの鼻の部分等のように正反射が生じる領域において、輝度成分,色成分につき格差が生じ、対応付けが困難となる場合があった。
【００１５】
このため、これら画像間の対応付けをより柔軟かつロバスト的に求めるために、グローバル最適化という考えに基づいた手法が従来において提案されたおり、その中の手法の一つとして、動的な計画法による画像間マッチング方法が提案されている（例えば、非特許文献６、７参照。）。この画像間マッチング方法では、特徴点同士の対応付けや、その間の伸縮マッチングによって、テクスチャ変化の少ない被写体や、上述した繰り返しパターンの問題を解決できることが示されている。
【００１６】
【特許文献１】特開２００１−５２１７７号公報
【特許文献２】特開２００２−３００６０２号公報
【非特許文献１】C.Lawrence Zitnick and Jon A. Webb: Multi-baseline Stereo Using Surface Extraction, Technical Report, CMU-CS-96-196, (1996)
【非特許文献２】Okutomi.M and Kanade.T: A locally adaptive window for signal matching, Int. Journal of Computer Vision, 7(2), pp.143-162, (1992)
【非特許文献３】奥富、金出：複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌D-II,Vol.J75-D-II,No.8, pp.1317-1327, (1992)
【非特許文献４】H.Baker and T.Binford: Depth from edge and intensity based stereo, In Proc. IJCAI’81, (1981)
【非特許文献５】W.E.L.Grimson: Computational experiments with a feature based stereo algorithm, IEEE Trans. PAMI, Vol.7, No.1, pp.17〜34, (1985)
【非特許文献６】Ohta.Y and Kanade.T.: Stereo by intra- and inter-scanline search using dynamic programming, IEEE PAMI-7(2), 139-154, (1985)
【非特許文献７】Cox I.J. et al.：A Maximum likelihood stereo algorithm, Computer Vision and Image Understanding, 63(3), 542-567,(1996)
【発明の開示】
【発明が解決しようとする課題】
【００１７】
ところで、上述の如き画像間マッチング方法では、カメラの撮像面に対してユーザの顔の位置と手の位置が異なる場合がある。特にユーザによっては身振りや手振りを付け加えて対話を行うケースが多いことから、かかる場合においても対応付けの精度を向上させる必要がある。
【００１８】
しかしながら、異なる視点から撮像することにより得られる画像Ｐｓ１,Ｐｓ２において、かかるユーザの顔の位置と手の位置が視差として現れてしまうため、特に対応付けの精度の面において改善の余地があり、全てのパターンにおいて画像間のミスマッチの低減を図ることができなかった。
【００１９】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、各カメラから得られる画像におけるスキャンライン上にある全ての画素につき動的な対応付け（伸縮マッチング）として取り扱うことにより、画像間の対応付けをよりロバストかつ高精度に行うことともに、かかる対応付けにおいて発生する視差に基づくミスマッチを極力低減させることが可能な画像処理装置及び方法を提供することにある。
【課題を解決するための手段】
【００２０】
本発明に係る画像処理装置は、上述した課題を解決するために、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間の視差を検出する視差検出手段と、視差検出手段により検出された視差に基づいて各画像をそれぞれ複数の画像領域に分離する画像分離手段と、画像分離手段により分離された画像領域につき、被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチング手段と、マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備え、上記マッチング手段は、対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を計算するとともに、計算した類似度に応じて対応関係を求めて被写体の各画像間における視差を識別する。
【００２１】
本発明に係る画像処理方法は、上述した課題を解決するために、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像間の視差を検出する視差検出ステップと、視差検出ステップにおいて検出した視差に基づいて各画像をそれぞれ複数の画像領域に分離する画像分離ステップと、画像分離ステップにおいて分離した画像領域につき、被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチングステップと、マッチングステップにおいて互いに対応付けした画素位置並びにその輝度成分から、仮想的に設置される仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップとを有し、マッチングステップでは、対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を計算するとともに、計算した類似度に応じて対応関係を求めて被写体の各画像間における視差を識別する。
【発明の効果】
【００２２】
本発明では、各カメラから得られる画像におけるスキャンライン上にある全ての画素につき動的な対応付け（伸縮マッチング）として取り扱うことにより、画像間の対応付けをよりロバストかつ高精度に行うことともに、かかる対応付けにおいて発生する視差に基づくミスマッチを極力低減させることが可能となることから、これをテレビ会議システム等に適用することにより、より高画質な仮想視点画像を相手側に送信することが可能となる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
【００２４】
本発明を適用した通信システム１は、例えば図１に示すように、Ａ地点のユーザａと、Ｂ地点のユーザｂとの間で、互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムである。
【００２５】
Ａ地点には、撮影対象としてのユーザａを互いに異なる視点から撮像するカメラ１１ａ、カメラ１２ａと、Ｂ地点側で撮像されたユーザｂの画像をユーザａに対して表示するためのディスプレイ５ａと、カメラ１１ａ,１２ａより撮像された各画像Ｐａ１,Ｐａ２に基づいて仮想視点画像Ｉｍａを生成し、これをネットワーク７を介してＢ地点へ送信する画像処理装置２ａが配設されている。
【００２６】
Ｂ地点には、撮影対象としてのユーザｂを互いに異なる視点から撮像するカメラ１１ｂ、カメラ１２ｂと、Ａ地点側で撮像されたユーザａの画像をユーザｂに対して表示するためのディスプレイ５ｂと、カメラ１１ｂ,１２ｂより撮像された各画像Ｐｂ１,Ｐｂ２に基づいて仮想視点画像Ｉｍｂを生成し、これをネットワーク７を介してＡ地点へ送信する画像処理装置２ｂが配設されている。
【００２７】
なお、この画像処理装置２ａ,２ｂにより生成される上記仮想視点画像Ｉｍａ,Ｉｍｂは、相手の表示像が写し出されるディスプレイ５ａ,５ｂの中心付近において仮想的に設置された仮想カメラにより撮像される画像に相当する。
【００２８】
カメラ１１ａ,１１ｂは、それぞれユーザａ,ｂ側から見てディスプレイ５ａ,５ｂの左側面に設置されてなり、カメラ１２a,１２ｂは、それぞれユーザａ,ｂ側から見てディスプレイの右側面に設置されてなる。このカメラ１１、１２は、撮影方向、撮影画角が固定された状態で設置されるが、各ユーザａ,ｂからの入力される情報に基づき、これらを自在に変更するようにしてもよい。ちなみに、この通信システム１では、ユーザの視線の高さに合わせて設置された２台のカメラにより撮影対象を撮像する場合を例に挙げて説明をする。
【００２９】
ディスプレイ５ａ,５ｂは、それぞれネットワーク７を介して相手側地点から供給される仮想視点画像Ｉｍｂ,Ｉｍａに基づく画像を、例えば液晶表示面を介して表示する。このディスプレイ５ａ,５ｂにおける液晶表示面は、多数の液晶表示素子等からなり、各仮想視点画像Ｉｍｂ,Ｉｍａに基づく出力信号に応じて液晶表示素子を光変調させてユーザに表示する画像を作り出す。
【００３０】
画像処理装置２ａ,２ｂは、通常、パーソナルコンピュータ（ＰＣ）等の電子機器で構成される。これらの画像処理装置２ａ,２ｂは、ネットワーク７を介して互いに通信するための機能を備え、相手側からの要求に応じて画像や音声を送信する。なお、画像処理装置２ａ,２ｂの構成については後において詳細に説明をする。
【００３１】
ネットワーク７は、例えば画像処理装置２と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの通信システム１を、一定の狭いエリア内で運用する場合には、このネットワーク７を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク７は、動画像を送信する場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある一つのチャネルから継続的に送信される。また静止画像を送信する場合には、動画像を送信するチャネルとは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク７には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、画像処理装置２による要求を受けて、自身に格納してある所定の情報を送信する。
【００３２】
次に、画像処理装置２の構成について、画像処理装置２ａを例にとり説明をする。画像処理装置２ａは、図２に示すように、接続されたカメラ１１ａ,１２ａより画像Ｐａ１,Ｐａ２が供給される画像並行化処理部２０と、この画像並行化処理部２０にそれぞれ接続されるカメラキャリブレーション部２６並びに視差検出部２７と、視差検出部２７に接続される画像領域分離部２８と、画像領域分離部２８に接続されるマッチング部２９と、さらにこのマッチング部２９に接続される仮想視点画像領域生成部３０並びに情報生成部３３と、仮想視点画像領域生成部３０により生成された仮想視点画像領域Ｉｐｎが供給される仮想視点画像生成部３１と、仮想視点画像生成部３１により生成された仮想視点画像Ｉｍａを相手側の端末装置２ｂへ送信するための出力制御部３５とを備えている。
【００３３】
画像並行化処理部２０は、カメラ１１ａ,１２ａから送信される各画像Ｐａ１,Ｐａ２につき幾何学的な画像補正を施すための幾何学的画像補正部２１,２２と、これら幾何学的画像補正部２１,２２により画像補正が施された画像を正規化するための正規化処理部２４とを備えている。
【００３４】
幾何学的画像補正部２１,２２は、カメラキャリブレーション部２６から送信される、上記カメラ１１ａ,１２ａの幾何学的な位置関係を含む制御情報に基づいて、各画像Ｐａ１,Ｐａ２を補正する。このカメラ１１ａ,１２ａの幾何学的な位置関係は、上述したカメラキャリブレーション部２６から送信される制御情報においてパラメータ化されていてもよい。また、各カメラ１１ａ,１２ａの撮影方向及び／又は撮影画角を変更しつつ撮像を実行する場合には、カメラキャリブレーション部２６においてこれらをパラメータ化し、画像を補正する際にこれらのパラメータを制御情報に含めるようにしてもよい。これにより、幾何学的画像補正部２１,２２は、各カメラ１１ａ,１２ａの撮影方向及び／又は撮影画角に応じてリアルタイムに画像補正することができる。
【００３５】
なお、このカメラキャリブレーション部２６は、同様にカメラ１１ａ,１２ａの各レンズにおける色収差や歪み、光軸のずれを、例えば特開２０００−３５０２３９号公報や、特開平１１−５３５４９号公報に示されているカメラキャリブレーション手法に基づいてパラメータ化し、これらを画像並行化処理部２０へ送信するようにしてもよい。かかる場合において画像並行化処理部２０は、取得したパラメータに基づいて、カメラ１１ａ,１２ａからの画像を射影変換することにより基準となる画像へ合わせ込む。輝度成分等についても同様にカメラ１１ａ,１２ａからの画像間において輝度の誤差が最小となるような射影変換行列を用いることにより互いの調整を図る。
【００３６】
正規化処理部２４は、各幾何学的画像補正部２１,２２において補正された画像がそれぞれ供給され、これらにつき幾何学的正規化処理を施す。この正規化処理部２４は、各カメラにより撮像された各画像Ｐａ１,Ｐａ２の法線方向を合わせる。即ち、この正規化処理部２４は、各画像Ｐａ１,Ｐａ２の法線方向を仮想的に設定された仮想平面πの法線方向に合わせることによりこれを正規化し、それぞれ正規化画像Ｐｍ１,Ｐｍ２,を生成する。かかる場合において、正規化処理部２４は、各カメラ１１ａ,１２ａにより撮像された各画像Ｐａ１,Ｐａ２を上記仮想平面πへ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面πの法線方向に合わせる。
【００３７】
ちなみに、カメラキャリブレーション部２６は、カメラ１１ａ,１２ａとしていわゆる固定視点カメラを適用する場合には、予めカメラキャリブレーション部２６により画像Ｐａ１,Ｐａ２の法線方向を取得するようにしてもよい。また、各カメラ１１ａ,１２ａの撮影方向及び／又は撮影画角を変更しつつ撮像を実行する場合には、カメラキャリブレーション部２６においてこれらをパラメータ化し、画像を正規化する際にこれらのパラメータを制御情報に含めるようにしてもよい。これにより、ユーザａ,ｂの位置に応じて撮影方向等を順次変更しつつ撮像を行う場合においても柔軟に対応することができる。
【００３８】
また、このカメラキャリブレーション部２６において、これらのパラメータを図示しないＲＯＭやＲＡＭへ格納しておくことにより、画像並行化処理部２０は、状況に応じて随時これらを参照することができ、高速な補正処理を実現することができる。またカメラキャリブレーション部２６は、上記カメラ１１ａ,１２ａから画像Ｐａ１,Ｐａ２が供給される度にこれらのパラメータを求めることにより、幾何学的画像補正部２１,２２において精度の高い補正処理を実現することができる。
【００３９】
視差検出部２７は、正規化処理部２４において正規化された正規化画像Ｐｍ１,Ｐｍ２が供給される。この視差検出部２７は、供給された正規化画像Ｐｍ１,Ｐｍ２から視差の大きい領域を識別し、これを画像領域分離部２８へ通知する。
【００４０】
画像領域分離部２８は、正規化画像Ｐｍ１,Ｐｍ２につき、視差検出部２７から通知された視差の大きい領域をそれぞれ分離する。この画像領域分離部２８により分離された画像領域はそれぞれマッチング部２９へ送られる。
【００４１】
マッチング部２９は、画像領域分離部２８において分離された画像領域がそれぞれ供給される。このマッチング部２９は、これら供給された画像領域を構成する各画素位置につき対応関係を求める。
【００４２】
ちなみに、この対応付けは、ユーザａの顔を構成する同一の箇所にある画素位置と輝度成分を正規化画像Ｐｍ１,Ｐｍ２間で抽出して対応をとるようにする。例えば図３に示すように、正規化画像Ｐｍ１のスキャンラインＬ１上にある画素Ｐ１１の対応点については、正規化画像Ｐｍ２のスキャンラインＬ１’上に存在することとなり、そのＬ１’上を探索することにより、最も類似する画素位置Ｐ１１’を対応点として検出することができる。ちなみにマッチング部２９は、この対応付けにつき特徴抽出した箇所のみについて実行してもよいし、正規化画像Ｐｍ１,Ｐｍ２を構成する全ての画素に対して実行してもよい。
【００４３】
情報生成部３３は、画素位置毎に対応関係を求める際に必要な情報を生成し、これをマッチング部２９へ供給する。情報生成部３３は、この生成すべき相対位置情報をカメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離を識別し、これに基づく視差情報を生成するようにしてもよい。かかる距離の識別については、各カメラ１１ａ,１２ａにより生成された画像情報からDepth情報を取得することにより実行してもよい。
【００４４】
また、この情報生成部３３は、生成すべき相対位置情報をユーザａのディスプレイ５ａに対する視線方向に基づいて生成してもよい。かかる場合において情報生成部３０は、カメラ１１ａ,１２ａから供給される画像Ｐａ１,Ｐａ２からユーザａの視線方向を取得し、これに基づいて相対位置情報を生成する。これにより、いわば仮想カメラの撮影方向をユーザａの視線方向に合わせ込むことと同様の処理を実現することができる。
【００４５】
仮想視点画像領域生成部３０は、マッチング部２９においてマッチング処理された画像領域がそれぞれ供給される。この仮想視点画像領域生成部３０は、供給された画像領域に基づいてそれぞれ後述する仮想視点画像領域Ｉｐｎを生成し、これを仮想視点画像生成部３１へ送信する。
【００４６】
仮想視点画像生成部３１は、マッチング部２９により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また仮想視点画像生成部３１は、仮想視点画像領域生成部３０により生成された仮想視点画像領域Ｉｐｎを貼り合わせることにより、仮想視点画像Ｉｍａを作り出す。このとき、仮想視点画像生成部３１は、互いに対応付けされた画素位置並びにその輝度成分から、情報生成部３３より生成された相対位置情報に応じて、新たに生成すべき仮想視点画像Ｉｍａを構成する画素位置並びにその輝度成分を求める。仮想視点画像生成部３０は、求めた画素位置並びにその輝度成分により構成される仮想視点画像Ｉｍａを出力制御部３５へ送信する。
【００４７】
出力制御部３５は、送信された仮想視点画像Ｉｍａを、ネットワーク７を介して画像処理装置２ｂへ送信するように制御する。かかる場合において、この出力制御部３５は、カメラ１１ａ,１２ａにより生成された画像Ｐａ１,Ｐａ２を単独で画像処理装置２ｂへ送信するように制御してもよい。
【００４８】
次に、この画像処理装置２ａにおける具体的な動作につき説明をする。
【００４９】
撮影対象としてのユーザａは、カメラ１１ａ,１２ａにより互いに異なる角度から撮影される。その結果、カメラ１１ａ,１２ａにより生成される画像Ｐａ１,Ｐａ２上のユーザａの視線方向、顔の向き等は、互いに異なる状態となる。このような画像Ｐａ１,Ｐａ２は、それぞれ幾何学的画像補正部２１,２２に供給され、カメラキャリブレーション部２６により予め求められた各カメラ１１ａ,１２ａのレンズ歪みや画像中心等のパラメータに基づき、画像の歪みや画像中心がずれないように補正を行う。
【００５０】
これら幾何学的画像補正部２１,２２において補正された各画像Ｐａ１,Ｐａ２は、正規化処理部２４へ供給されると以下に示される方法に基づいて正規化されることになる。
【００５１】
図４は、各カメラ１１ａ,１２ａにより撮像した画像Ｐａ１, Ｐａ２を正規化する場合につき示している。この図４に示されるように、各カメラ１１ａ,１２ａの光学中心Ｃ１,Ｃ２により互いに異なる視点から撮影対象のＭ点へ光軸を合わせて撮像を行うと、各カメラ１１ａ,１２ａの撮像面で得られる画像Ｐａ１,Ｐａ２の法線方向ｋ１,ｋ２は、互いに異なる方向を指している。すなわち、各カメラ１１ａ,１２ａとＭ点を結ぶ直線の方向は、各カメラにより撮像された各画像Ｐａ１,Ｐａ２の法線方向ｋ１,ｋ２に一致するが、これらは互いに異なる方向を指している。これら各画像Ｐａ１,Ｐａ２に幾何学的正規化を行うことにより、法線方向ｋ１’,ｋ２’を同一方向とした画像面が互いに平行な正規化画像Ｐｍ１,Ｐｍ２を作り出す。
【００５２】
この幾何学的正規化は、カメラキャリブレーション部２６により予め求められた射影行列Ｐ１,Ｐ２を用いて、カメラ内部パラメータＡ１,Ａ２、回転行列Ｒ１,Ｒ２、転移行列Ｔ１,Ｔ２を推定することにより実現する。その結果、補正後の画像撮像面の法線方向ｋ１’,ｋ２’が平行化された正規化画像Ｐｍ１,Ｐｍ２を生成することができる。
【００５３】
ちなみに、この幾何学的正規化を施す場合には、光学中心Ｃ１,Ｃ２を含む仮想平面πを設定しておき、この仮想平面πの法線方向に対して正規化画像Ｐｍ１,Ｐｍ２の法線方向が同一方向となるように、射影行列Ｐ１,Ｐ２を用いて正規化するようにしてもよい。
【００５４】
正規化処理部２４において上述の如く射影変換された正規化画像Ｐｍ１,Ｐｍ２は、視差検出部２７へ送られる。視差検出部２７へかかる正規化画像Ｐｍ１,Ｐｍ２が送られると、図５に示すフローチャートに基づいて処理が進行することになる。
【００５５】
先ずステップＳＴ１において、かかる正規化画像Ｐｍ１,Ｐｍ２から背景画像が切り出される。図６に示すように、各正規化画像Ｐｍ１,Ｐｍ２からそれぞれ背景画像Ｐｋ１,Ｐｋ２を切り出した結果、ユーザａのみを示す画像領域が選択的に抽出された前景画像Ｐｆ１,Ｐｆ２を取得することができる。これらユーザａのみを示す画像領域間で後述するマッチング処理を行うことにより、背景画像による影響を軽減させた、より効率的なマッチング処理を行うことができる。
【００５６】
次にステップＳＴ２へ移行し、切り出した前景画像Ｐｆ１,Ｐｆ２に基づいて視差マップを推定する。この視差マップを推定する際には、例えばユーザａの領域のマスク及びシフトウィンドウを用いるエリアベースのマッチングを行うことにより、これを実行するようにしてもよい。その結果、例えば図６に示すように、ユーザａの顔を示す画像領域と手を示す画像領域につきそれぞれ異なる配色が施された視差マップＤｍ１,Ｄｍ２を生成することが可能となる。
【００５７】
図７は、前景画像Ｐｆに示されるユーザａの視差（Depth）に対する頻度の関係を示している。この図７に示すように、ユーザａの手と顔の部分において頻度が大きくなる傾向が示されており、これを抽出することにより、図６に示すような配色からなる視差マップＤｍ１,Ｄｍ２が生成されることになる。
【００５８】
このステップＳＴ２において視差マップが推定された後、ステップＳＴ３へ移行する。
【００５９】
ステップＳＴ３では、画像領域分離部２８において、以下に説明する方法に基づいて画像の分離を実行する。画像領域分離部２８は、図８に示すように、ステップＳＴ２において生成された視差マップＤｍ１,Ｄｍ２を参照し、ユーザａの手の部分を示す画像領域ＣＬ１,ＣＬ２を特定する。
【００６０】
次に、画像領域分離部２８は、前景画像Ｐｆ１,Ｐｆ２から、かかる画像領域ＣＬ１,ＣＬ２に基づく画像Ｐｅ１ｂ,Ｐｅ２ｂを切り出す。またかかる画像Ｐｅ１ｂ,Ｐｅ２ｂが切り出された結果、画像Ｐｅ１ａ,Ｐｅ２ａが新たに生成されることになる。
【００６１】
次にステップＳＴ４へ移行し、ステップＳＴ３において分離された画像Ｐｅ１ａ,Ｐｅ２ａにつき、マッチング部２９においてマッチング処理を行う。このマッチング処理において、画像Ｐｅ１ａ,Ｐｅ２ａは、マッチング部２９において撮影対象と関連させつつ、画素位置毎に対応付けされる。本発明においては、マッチング部２９の前段にある正規化処理部２４において予め正規化され、エピポーラ線が平行化されているため、画素探索のロバスト性を向上させることができる。
【００６２】
これら画像Ｐｅ１ａ,Ｐｅ２ａにつき、このマッチング部２９において対応付けを行う場合において、スキャンラインＬ１上にある画素Ｐ１１の対応点については、スキャンラインＬ１’上に存在することとなり、そのＬ１’上を探索することにより、対応点としての画素Ｐ１１’を検出することができる。
【００６３】
例えば図９(a)に示すように、被写体としてのユーザａがそれぞれ写し出された画像Ｐｅ１ａにおけるスキャンラインＬ１上の画素と、画像Ｐｅ２ａにおけるスキャンラインＬ１’上の画素とを対応付けする場合に、スキャンラインＬ１上の特徴点の点列Ｒ１を左から順に｛ａ１,ａ２,ａ３,ａ４,ａ５｝とし、またスキャンラインＬ１’の特徴点の点列Ｒ２を左から順に｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とする。ここで、互いのスキャンラインＬ１,Ｌ１’上にある特徴点Ｒ１,Ｒ２を被写体との関係において対応付けるとき、先ず、ａ１に対してＬ１’上の特徴点はｂ１が該当し１：１で対応することとなるが、ユーザａの右耳を構成する特徴点ａ２,ａ３に対してＬ１’上の特徴点はｂ２が該当し、２：１で対応することとなる。同様に、ユーザａの左耳を構成する特徴点ａ４に対してＬ１’上の特徴点はｂ３,ｂ４が該当し、１：２で対応することとなる。なお、ａ５に対してＬ１’上の特徴点はｂ５が該当し１：１で対応することとなる。
【００６４】
このように、異なる視点から撮像することにより得られる画像Ｐｅ１ａ,Ｐｅ２ａでは、被写体からカメラに至るまでの距離に基づく視差により、ユーザａの耳の部分等において表示される内容が異なってくる。以下、このような領域をオクリュージョン領域という。かかるオクリュージョン領域では、上記視差により、一方の正規化画像に表示されている被写体の対応点が他方の正規化画像にて隠れてしまうため、従来と同様に、｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けてしまうと、誤差が生じることになる。
【００６５】
このため、本発明を適用した画像処理装置２ａにおけるマッチング部２９では、かかる視差を識別することにより、図９(a)に示される正規化画像の特徴点の点列Ｒ１,Ｒ２を、結果的に図９(b)に示されるように｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ２）、（ａ４, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けられるように制御する。
【００６６】
具体的には、各画像Ｐｅ１ａ,Ｐｅ２ａにおけるスキャンライン上にある全ての画素につき、図９(c)に示すようなDynamic Programming（ＤＰ：最短経路探索）を利用した動的な対応付けを行う。
【００６７】
この図９(c)におけるｘ軸にスキャンラインＬ１上の特徴点の点列Ｒ１｛ａ１,ａ２,ａ３,ａ４,ａ５｝を配列し、またｙ軸をスキャンラインＬ１’上の特徴点の点列Ｒ２｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とするとき、図９(b)に示される対応関係をこのグラフにあてはめると、図９(c)に示される太線で示される経路をとることになる。以下、この太線で示される対応点を結ぶ直線を最適経路という。
【００６８】
この最適経路において右上に線形増加する場合には、スキャンラインＬ１,Ｌ１’上を左から右へシフトさせて対応付けする際に、互いの特徴点を１：１で順次シフトさせて対応させることを示している。右上に線形増加する最適経路の例として、スキャンラインＬ１,Ｌ１’上の特徴点（ａ１, ｂ１）から左から右へそれぞれ一つずつシフトさせることにより特徴点（ａ２, ｂ２）を正確に対応付けすることができる。
【００６９】
また、この最適経路において水平方向にシフトする場合には、画像Ｐｅ１ａ,Ｐｅ２ａ間において視差が生じた結果、画像Ｐｅ１ａにおいて示されている特徴点が画像Ｐｅ２ａにおいて隠れてしまったことを示唆している。かかる場合には、画像Ｐｅ１ａ上にある１の特徴点に対して、画像Ｐｅ２ａ上にある複数の特徴点を対応付ける。この水平方向にシフトする最適経路の例として、スキャンラインＬ１,Ｌ１’上の特徴点（ａ２, ｂ２）においてユーザａの右耳を示すｂ２は、上述した視差により更にａ３とも対応するため、ｂ２をそのまま維持しつつこれにａ３を対応付ける。
【００７０】
また、この最適経路において垂直方向へシフトする場合には、画像Ｐｅ１ａ,Ｐｅ２ａ間において視差が生じた結果、画像Ｐｅ２ａにおいて示されている特徴点が画像Ｐｅ１ａにおいて隠れてしまったことを示唆している。かかる場合には、画像Ｐｅ１ａ上にある１の特徴点に対して、画像Ｐｅ２ａ上にある複数の特徴点を対応付ける。この垂直方向にシフトする最適経路の例として、スキャンラインＬ１,Ｌ１’上の特徴点（ａ４, ｂ３）においてユーザａの左耳を示すａ４は、上述した視差により更にｂ４とも対応するため、ａ４をそのまま維持しつつこれにｂ４を対応付ける。
【００７１】
マッチング部２９は、これら対応付けを、互いの画像Ｐｅ１ａ,Ｐｅ２ａの全てを構成する、或いは一部を構成するスキャンラインＬ１,Ｌ１’間において実行する。そしてスキャンラインＬ１,Ｌ１’毎に上述した最適経路を求めることにより、特徴点の点列Ｒ１,Ｒ２間における対応付けを行う。
【００７２】
図１０は、スキャンラインＬ１,Ｌ１’上の任意の特徴点（x1、y）と（x2、y）に対して、対応付け位置（x1,x2）に至るまでの最適経路を求める場合につき示している。
【００７３】
この対応付け位置（x1,x2）に至る最適経路は、対応付け位置（x1−１,x2−１）につき左から右へそれぞれ一つずつシフトさせることにより図１０に示されるグラフにおいて右上に線形増加し、或いは対応付け位置（x1−１,x2）においてx2をそのまま維持しつつ水平方向に１シフトさせることにより図１０に示されるグラフにおいて対応付け位置（x1−１,x2）から水平方向へ移動する。さらに、この対応付け位置（x1,x2）に至る最適経路は、対応付け位置（x1,x2−１）においてx1をそのまま維持しつつ垂直方向へ１シフトさせることにより図１０に示されるグラフにおいて対応付け位置（x1,x2−１）から垂直方向へ移動することになる。
【００７４】
即ち、対応付け位置（x1,x2）を通る最適経路は、図１０に示すグラフにおいて、その左,左下,下に位置する対応付け位置（x1−１,x2）,（x1−１,x2−１）,（x1,x2−１）の何れかを経ることになる。本発明マッチング部２９は、何れの対応付け位置（x1−１,x2）,（x1−１,x2−１）,（x1,x2−１）を経て対応付け位置（x1,x2）へ至るのかにつき、以下に説明する関数を順次求めてゆくことにより決定する。
【００７５】
マッチング部２９は、以下に示すマッチングコスト関数ｄ（x1,x2）と、動的なオクリュージョンコスト関数ｄx1（x1,x2）,ｄx2（x1,x2）を求め、求めた各関数に応じて上述した最適経路を求める。マッチングコスト関数ｄ（x1,x2）は、対応関係を求める各画素位置間における輝度成分及び色成分の類似度を示す関数であり、またオクリュージョンコスト関数ｄx1（x1,x2）は、画像Ｐｅ１ａの画像Ｐｅ２ａに対する被写体画像の隠れ度合いを示す関数であり、またオクリュージョンコスト関数ｄx2（x1,x2）は、画像Ｐｅ２ａの画像Ｐｅ１ａに対する被写体画像の隠れ度合いを示す関数である。これらオクリュージョンコスト関数ｄx1（x1,x2）,ｄx2（x1,x2）は、被写体の各画像間における視差が反映される形となる。
【００７６】
先ず、マッチングコスト関数ｄ（x1,x2）を求める方法につき説明をする。
【００７７】
ｄ（x1,x2）につき、比較する輝度成分又は色成分のうち何れに重み付けをするか決定する。この重み付けは、重み付け係数αを用いて、以下の式（１）に基づいて行う。
ｄｋ（x1,x2）＝α×ｄYｋ（x1,x2）＋（１−α）ｄＣｋ（x1,x2）・・・・・（１）
ここで（x1,x2）は、画像Ｐｅ１ａ,画像Ｐｅ２ａにおける画素位置（x1,y）と（x2,y）との対応付け位置を表している。またｋは、画像Ｐｅ１ａ,画像Ｐｅ２ａの何行目に該当するかを示している（つまりｋ＝y）。この式（１）においてｄYｋ（x1,x2）は、画像Ｐｅ１ａと画像Ｐｅ２ａとの座標（x1,y）と（x2,y）との間における輝度成分の差分絶対値を表し、以下の（２）式で定義される。
ｄYｋ（x1,x2）＝｜Y１ｋ（x1,y）−Y２ｋ（x2,y）｜・・・・・（２）
【００７８】
また、この式（１）においてｄＣｋ（x1,x2）は、画像Ｐｅ１ａと画像Ｐｅ２ａとの間における色成分の差分絶対値を表し、以下の（３）式で定義される。
ｄＣｋ（x1,x2）＝｜Ｃ１ｋ（x1,y）−Ｃ２ｋ（x2,y）｜・・・・・（３）
【００７９】
即ち、上記式（１）においてαをより高く設定することにより、求めるｄｋ（x1,x2）につき、輝度成分の差分絶対値ｄYｋ（x1,x2）の成分をより反映させることができる。また上記式（１）においてαをより小さく設定することにより、求めるｄｋ（x1,x2）につき、色成分の差分絶対値ｄＣｋ（x1,x2）の成分をより反映させることができる。ちなみに、このαについては、色成分のマッチングコストと、輝度成分のマッチングコストとの平均値を割り当てるようにしてもよい。
【００８０】
ｄ（x1,x2）は、（１）式により求められるｄｋ（x1,x2）に基づいて、更に以下の（４）式により求められる。
ｄ（x1,x2）＝（Σｄｋ（x1,x2））／２Ｋ      ｋ＝−Ｋ，・・，Ｋ−１
・・・・・・・・・（４）
【００８１】
この（４）式は、スキャンラインの上下に位置する各画素との間で平均をとることにより、ｄ（x1,x2）を求めることができることを意味している。この（４）式により、求めるｄ（x1,x2）につきスキャンラインの上下に位置する各画素との相関関係を反映させることができる。これにより対応付け精度の向上を大幅に図ることが可能となる。
【００８２】
即ち、上述の方法により求められるマッチングコストｄ（x1,x2）は、画像Ｐｅ１ａと画像Ｐｅ２ａの画素位置（x1,y）と（x2,y）における輝度成分、或いは色成分の差分絶対値が大きくなるにつれて増加する。換言すれば、画像Ｐｅ１ａと画像Ｐｅ２ａの画素位置（x1,y）と（x2,y）における輝度成分、或いは色成分の差異が大きくなるにつれて増加し、またこれらが類似するにつれて小さくなる。即ち、このマッチングコストｄ（x1,x2）により、画像Ｐｅ１ａと画像Ｐｅ２ａの画素位置（x1,y）と（x2,y）における輝度成分、或いは色成分の類似度を識別することが可能となる。
【００８３】
次にオクリュージョンコスト関数ｄx1（x1,x2）,ｄx2（x1,x2）を求める方法につき説明をする。
【００８４】
これら各オクリュージョンコスト関数ｄx1（x1,x2）,ｄx2（x1,x2）は、情報生成部３３におより生成される視差情報に基づいて生成される。カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が小さくなるにつれて（視差が大きくなるにつれて）、オクリュージョン領域の発生する確率が高くなる。かかる場合において、マッチング部２９は、オクリュージョンコスト関数ｄx1（x1,x2）,ｄx2（x1,x2）を下げることにより対応する。一方、カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が長くなるにつれて（視差が小さくなるにつれて）、オクリュージョン領域の発生する確率が小さくなる。かかる場合において、マッチング部２９は、オクリュージョンコスト関数ｄx1（x1,x2）,ｄx2（x1,x2）を上げることにより対応する。
【００８５】
各オクリュージョンコスト関数ｄx1（x1,x2）,ｄx2（x1,x2）は、以下の式（５）、（６）に基づいて求めることができる。
ｄx1（x1,x2）＝β×ｄ（x1,x2）＋Ｔ０・・・・・・・・（５）
ｄx2（x1,x2）＝γ×ｄ（x1,x2）＋Ｔ１・・・・・・・・（６）
【００８６】
ここで、ｄ（x1,x2）は、マッチングコストであり、左画像と右画像の輝度値、色合いのばらつきを解消させるべく、オクリュージョンコストを動的に調整するものである。β、γは、ｄ（x1,x2）の変化率を表しており、予め実験的に求めることができる。またＴ０、Ｔ１は、初期オクリュージョンコスト定数であり、これについても予め実験的に求めることができる。
【００８７】
マッチング部２９は、これら各関数ｄx1（x1,x2）,ｄ（x1,x2）,ｄx2（x1,x2）を求めた後、それぞれ以下の式（７）〜式（９）に基づいて累積マッチングコストＣ（x1−１,x2）,Ｃ（x1−１,x2−１）,Ｃ（x1,x2−１）を加算し、総コストｋ１,ｋ２,ｋ３を算出する。
ｋ１＝Ｃ（x1−１,x2）＋ｄx1（x1,x2）・・・・・・・・（７）
ｋ２＝Ｃ（x1−１,x2−１）＋ｄ（x1,x2）・・・・・・・（８）
ｋ３＝Ｃ（x1,x2−１）＋ｄx2（x1,x2）・・・・・・・・（９）
【００８８】
ここでＣ（x1−１,x2）,Ｃ（x1−１,x2−１）,Ｃ（x1,x2−１）は、それぞれ対応付け位置（x1−１,x2）,（x1−１,x2−１）,（x1,x2−１）において求められた累積マッチングコストを示している。ちなみに、対応付け位置（x1,x2）における累積マッチングコストＣ（x1,x2）は、以下の式（１０）に示すように、求めたｋ１,ｋ２,ｋ３の中から最小となるものが割り当てられる。
Ｃ（x1,x2）＝ｍｉｎ｛ｋ１,ｋ２,ｋ３｝・・・・・・・（１０）
【００８９】
マッチング部２９は、求めた総コストｋ１,ｋ２,ｋ３の中から最小となるものを選択することにより最適経路を求める。
【００９０】
ここで、ｋ１が最小となる場合には、視差が大きくなることにより、画像Ｐｅ１ａにおいて示されている特徴点が画像Ｐｅ２ａにおいて遮蔽されたことを意味している。かかる場合には、図１０矢印Ｊ１に示すように対応付け位置（x1−１,x2）から水平方向にシフトさせることにより対応付け位置（x1,x2）に至るように最適経路が求められることになる。
【００９１】
またｋ３が最小となる場合には、視差が大きくなることにより、画像Ｐｅ２ａにおいて示されている特徴点が画像Ｐｅ１ａにおいて遮蔽されたことを意味している。かかる場合には、図７矢印Ｊ３に示すように、対応付け位置（x1,x2−１）から垂直方向にシフトさせることにより対応付け位置（x1,x2）に至るように最適経路が求められることになる。
【００９２】
更に、ｋ２が最小となる場合には、画像Ｐｅ１ａと画像Ｐｅ２ａの画素位置（ｓ,ｔ）における輝度成分、或いは色成分の類似度が高いことを意味している。かかる場合には、図１０矢印Ｊ２に示すように対応付け位置（x1−１,x2−１）から水平、垂直方向に一つずつシフトさせることにより対応付け位置（x1,x2）に至るように最適経路が求められることになる。
【００９３】
図１１(b)は、図１１(a)に示される画像Ｐｅ１ａと画像Ｐｅ２ａにおけるスキャンラインＬ１,Ｌ１’上にある各特徴点の画素成分（輝度又は色成分）の対応関係を示している。
【００９４】
この図１１(a)に示す画像Ｐｅ１ａにおいて、ユーザａの両側に示される壁の凹部Ｌ２,Ｌ３、並びに画像Ｐｅ２ａにおいて、ユーザａの両側に示される壁の凹部Ｌ２’,Ｌ３’は、図１１(b)において画素成分の差分としてライン状に明確に現れている。同様に、ユーザａを構成する画素成分については、図１１(b)の中心付近において画素成分の差分として明確に現れている。
【００９５】
この図１１(b)において、最適経路が、スキャンラインＬ１,Ｌ１’上にある各特徴点において同一の画素成分の交点を通過している場合には、ｋ２が最小となる結果、当該画素位置（x1,y）と(x2,y)における輝度成分、或いは色成分の類似度が高いことが優先されたことを意味している。これに対して、最適経路が、スキャンラインＬ１,Ｌ１’上にある各特徴点において同一の画素成分の交点以外を通過している場合には、ｋ１又はｋ３が最小となる結果、視差により何れかの画像Ｐｅ１ａ,Ｐｅ２ａが遮蔽されたことを意味している。
【００９６】
このようにして対応付け位置（x1−１,x2）,（ｘ1−１,x2−１）,（ｘ1,x2−１）の何れかから対応付け位置（ｘ1,x2）に至るまでの最適経路が求められることになる。この最適経路が求められるということは、輝度成分及び色成分の類似度と、画像Ｐｅ１ａ,Ｐｅ２ａ間の視差に応じて最適な対応関係が求められていることを意味しており、上記（１０）式より得られるＣ（ｘ1,x2）についても、画素位置毎に対応関係を求める上での最適な累積マッチングコストとして定義されることになる。これら累積マッチングコストＣ（ｘ1,x2）を、上記グラフにおいて上、右上、右に位置する特徴点に至るまでの最適経路を求める際に累積的に参酌することができるため、対応付けの精度をより向上させることができる。
【００９７】
また、マッチング部２９では、各関数ｄｘ1（ｘ1,x2）,ｄ（ｘ1,x2）,ｄx2（ｘ1,x2）を全く異なるコンセプトに基づいて算出するため、得られた総コストｋ１,ｋ２,ｋ３を式（１０）に基づいて単純に比較する場合に、撮影環境や被写体に応じて誤差が生じる場合もある。かかる場合には、式（５）,（６）におけるβ,γ,Ｔ０,Ｔ１を撮影環境や被写体に応じて予め最適化しておくことにより、各関数ｄｘ1（ｘ1,x2）,ｄ（ｘ1,x2）,ｄx2（ｘ1,x2）間の格差を解消することができる。
【００９８】
このように本発明を適用した画像処理装置２ａにおけるマッチング部２９では、上記各画像Ｐｅ１ａ,Ｐｅ２ａ間における対応関係を求める際に、識別した類似度及び視差のうち何れを優先させるか決定し、類似度を優先させる場合には、水平ライン上にある同一画素位置間において対応付け、視差を優先させる場合には、一の画素位置に対し同一の水平ライン上にある複数の画素位置を対応付ける。これにより、オクリュージョン領域が存在する場合においてもより正確な対応付けを行うことができる。また、上述の手法に基づいて対応付けを行うことにより、例えば両目部分等の繰り返しパターンや、輝度変化が殆ど生じないいわゆる非特徴点（例えば壁の部分）においても対応付けの精度を向上させることができる。更に、例えば窓の部分等のように見る方向によって明るさが異なる領域や、ユーザの鼻の部分等のように正反射が生じる領域においても、輝度成分,色成分の格差に支配されることが少なく、比較的に容易に対応付けを行うことができる。
【００９９】
なお、本発明を適用した画像処理装置２ａにおけるマッチング部２９では、あくまで上記類似度と上記視差を識別し、識別した類似度及び視差に応じて上記対応関係が求められていれば、上述の効果を得ることができることは勿論である。
【０１００】
なお、画像Ｐｅ１ｂ,Ｐｅ２ｂのマッチング処理も上述と同様の方法で実行する。先ずステップＳＴ５において、これら画像Ｐｅ１ｂ,Ｐｅ２の対応付けの反転調整を行い、次にステップＳＴ６において、ステップＳＴ４と同様の手法でマッチング処理を行う。
【０１０１】
このように画像Ｐｅ１ａ,Ｐｅ２ａにおけるマッチング処理と、画像Ｐｅ１ｂ,Ｐｅ２ｂのマッチング処理とをステップＳＴ４,ＳＴ６において別々に実行することにより、以下の作用効果が得られる。
【０１０２】
例えば、ステップＳＴ３における画像の分離操作を実行する前の前景画像Ｐｆ１,Ｐｆ２の状態において、マッチング部２９においてマッチング処理を行う場合につき考えてみる。先ず、図１２に示すように前景画像Ｐｆ１,Ｐｆ２につき、撮影対象と関連させつつ、画素位置毎に対応付けを行う。前景画像Ｐｆ１,Ｐｆ２につき、被写体としてのユーザａがそれぞれ写し出された前景画像Ｐｆ１におけるスキャンラインＬ４上の画素と、前景画像Ｐｆ２におけるスキャンラインＬ４’上の画素とを対応付けする場合に、スキャンラインＬ４上の特徴点の点列Ｒ１を左から順に｛ｃ１,ｃ２,ｃ３,ｃ４｝とし、またスキャンラインＬ４’の特徴点の点列Ｒ２を左から順に｛ｄ１,ｄ２,ｄ３,ｄ４｝とする。ここで、互いのスキャンラインＬ４,Ｌ４’上にある特徴点Ｒ１,Ｒ２を被写体との関係において対応付けるとき、先ず、ｃ１に対してＬ４’上の特徴点はｄ１が該当し１：１で対応することとなるが、ユーザａの首を構成する特徴点ｃ２に対してＬ４’上の特徴点はｄ３が該当することとなる。同様に、ユーザａの手を構成する特徴点ｃ３,ｃ４に対してＬ４’上の特徴点はｄ２,ｄ４がそれぞれ該当することとなる。
【０１０３】
このように、異なる視点から撮像することにより得られる前景画像Ｐｆ１,Ｐｆ２では、被写体からカメラに至るまでの距離に基づく視差が大きい画像領域間において特徴点の対応付けが互いに交差してしまう。その結果、後述の仮想視点画像生成部３１において作成される仮想視点画像につき、図１３に示すような画像の乱れが生じてしまうことになる。
【０１０４】
しかしながら、本発明を適用した画像処理装置２では、上述の如く画像Ｐｅ１ａ,Ｐｅ２ａと、画像Ｐｅ１ｂ,Ｐｅ２ｂとに画像領域を分離して、それぞれ個別にマッチング処理を行うことから、かかる視差の大きい画像領域間において特徴点の対応付けが互いに交差することがなくなり、これに伴う画像の乱れを抑えることが可能となる。
【０１０５】
ステップＳＴ７においては、かかるステップＳＴ３においてマッチング処理が施された画像Ｐｅ１ａ,Ｐｅ２ａ間で仮想視点画像領域Ｉｐ１を生成する。
【０１０６】
例えばマッチング部２９において、画像Ｐｅ１ａにおける画素位置Ｐ１１に対して、画像Ｐｅ２ａにおける画素位置Ｐ１１’がその対応点として特定されていた場合に、かかる画素位置Ｐ１１の座標を図１４に示すように（ｘ１,ｙ１）とし、また画素位置Ｐ１１’の座標を（ｘ２,ｙ２）とする。仮想視点画像領域生成部３０は、かかる画素位置Ｐ１１、Ｐ１１’に対応する仮想視点画像領域Ｉｐ１上の画素位置の座標（ｘｔ,ｙｔ）を、相対位置情報としてのｍ（≦１）に基づいて以下の式（１１）により決定することができる。
（ｘｔ,ｙｔ）＝（１−ｍ）×（ｘ１,ｙ１）＋ｍ×（ｘ２,ｙ２）・・・（１１）
【０１０７】
また画素位置Ｐ１１、Ｐ１１’における輝度成分をそれぞれＪ１１, Ｊ１１’としたときに、かかる仮想視点画像領域Ｉｐ１上の画素位置Ｐｈにおける輝度成分Ｐｔを以下の式（１２）により決定することができる。
【０１０８】
Ｐｔ＝（１−ｍ）×Ｊ１１＋ｍ×Ｊ１１’ ・・・（１２）
このように仮想視点画像領域生成部３０は、仮想視点画像領域Ｉｐ１を構成する各画素の座標並びにその輝度成分につき、相対位置情報としてのｍに応じて決定することができる。ここでｍは、仮想カメラにおける仮想視点がカメラ１１ａに近くなるにつれて小さくなり、また仮想視点がカメラ１２ａに近くなるにつれて大きくなる。
【０１０９】
このため、式（１１）に基づいて決定される座標（ｘｔ,ｙｔ）は、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の座標（ｘ１,ｙ１）に近づき、また仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１２の座標（ｘ２,ｙ２）に近づくことになる。即ち、座標（ｘｔ,ｙｔ）を、仮想カメラの位置に応じて自在に決定することができるため、仮想視点画像領域Ｉｐ１上に表示させるユーザａの位置を自在に変化させることができる。
【０１１０】
また、式（１２）に基づいて決定される輝度成分Ｐｔは、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の輝度成分Ｊ１１に近づき、仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１１’の輝度成分Ｊ１１’に近づくことになる。即ち、仮想カメラの位置に応じて、仮想視点画像Ｉｍａ上のユーザａを構成する画素を輝度成分Ｊ１１、又は輝度成分Ｊ１１’に近づけることができる。
【０１１１】
特に、カメラ１１ａとカメラ１２ａは互いに撮影方向が異なるため、画像Ｐｅ１ａ上にある画素位置Ｐ１１と、これに対応する画像Ｐｅ２ａ上にある画素位置Ｐ１１’との間では、輝度成分が互いに異なる。この互いに異なる輝度成分の何れか一方を最小値とし、他方が最大値となるようにして、相対位置情報としてのｍに応じて輝度成分Ｐｔを線形に増減させることにより、仮想カメラの位置に応じて仮想視点画像領域Ｉｐ１上に表示させるユーザａを構成する画素の輝度成分を決定することが可能となる。また、この生成される仮想視点画像領域Ｉｐ１は、上述したマッチング部２９において対応付けられた関係に基づいて生成されるため、得られる画像の画質劣化をより減少させることができる。
【０１１２】
上述のようにして画素位置Ｐｈにおける座標（ｘｔ,ｙｔ）並びにその輝度成分Ｐｔを順次決定することにより、生成した仮想視点画像Ｉｍａは、表示されるユーザａの視線方向、顔の向き等は互いに異なっていた画像Ｐｅ１ａ,Ｐｅ２ａに対して、常時正面を向いている状態となる。
【０１１３】
このようにして生成された仮想視点画像領域Ｉｐ１は、仮想視点画像生成部３１へ送られていくことになる。
【０１１４】
またステップＳＴ８においても、ステップＳＴ７と同様の方法に基づいて、図１５に示すように画像Ｐｅ１ｂ,Ｐｅ２ｂ間で仮想視点画像領域Ｉｐ２を生成する。
【０１１５】
次にステップＳＴ９へ移行し、仮想視点画像生成部３１において、仮想視点画像領域Ｉｐ１と仮想視点画像領域Ｉｐ２とを貼り合わせることにより、仮想視点画像Ｉｍａを生成する。この生成された仮想視点画像Ｉｍａは、出力制御部３５による制御の下、ネットワーク７へ送出される。そして相手側の画像処理装置２ｂへ送信された仮想視点画像Ｉｍａは、画像処理装置２ｂにおける制御の下、ディスプレイ５ｂ上へ表示されることになる。ユーザｂは、ディスプレイ５ｂに表示される仮想視点画像Ｉｍａ上のユーザａを視認しつつ対話をすることになるが、ユーザａの顔、視線方向は正面を向いている状態にあるため、あたかも画面中央付近に設置された仮想カメラで撮像されたような画像を視認しているような感覚を味わうことができる。ユーザａについても同様にディスプレイ５ａに表示される仮想視点画像Ｉｍｂ上のユーザｂを視認しつつ対話をすることになるが、正面を向いているユーザｂを視認することができる。即ち、この通信システム１では、いわば対話するユーザ間において常時視線を一致させたビジュアルコミュニケーションを実現することができ、よりリアルで臨場感のある遠隔対話を実現することができる。
【０１１６】
特にこの通信システム１では、少なくとも２台のカメラ１１,１２をディスプレイ５
の両側に配設すれば足り、また被写体の３次元情報をその都度抽出する必要もなくなるため、システム全体が複雑化することがなくなるという利点もある。
【０１１７】
また、この通信システム１では、ハーフミラーやホログラムスクリーン、更にはプロジェクタ等のような特殊装置を用いる必要もなく、簡易で安価なシステムを構成することができる。
【図面の簡単な説明】
【０１１８】
【図１】本発明を適用した通信システムの概略を示す図である。
【図２】画像処理装置の構成につき説明するための図である。
【図３】マッチング部における対応付けにつき説明するための図である。
【図４】各画像Ｐａ１,Ｐａ２の法線方向を合わせる正規化につき説明するための図である。
【図５】本発明を適用した画像処理装置の動作を示すフローチャートである。
【図６】視差マップを推定する手順を示す図である。
【図７】ユーザａにおけるDepth（視差）に対する頻度を示す図である。
【図８】画像を分離する方法につき説明するための図である。
【図９】ＤＰを利用した対応付けにつき説明するための図である。
【図１０】スキャンラインＬ１,Ｌ１’上の任意の特徴点（ｘ,ｙ）に至るまでの最適経路を求める場合につき示す図である。
【図１１】スキャンラインＬ１,Ｌ１’上にある各特徴点の画素成分（輝度又は色成分）の対応関係を示す図である。
【図１２】前景画像についてそのままマッチングを行う場合につき説明するための図である。
【図１３】画像の乱れにつき説明するための図である。
【図１４】仮想視点画像領域を作成する方法につき説明するための図である。
【図１５】仮想視点画像を生成する方法につき説明するための図である。
【図１６】画面の左右に設置された２台のカメラにより撮像された各画像間につきステレオ視における対応付けを行う場合について説明するための図である。
【図１７】従来技術の問題点について説明するための図である。
【符号の説明】
【０１１９】
１  通信システム、２  画像処理装置、５  ディスプレイ、７  ネットワーク、１１,１２  カメラ、２０  画像並行化処理部、２６  カメラキャリブレーション部、２７  視差検出部、２８  画像領域分離部、２９  マッチング部、３０  仮想視点画像領域生成部、３１  仮想視点画像生成部、３３  情報生成部、３５  出力制御部
【図１】
2006114023.tif 000003
【図２】
2006114023.tif 000004
【図３】
2006114023.tif 000005
【図４】
2006114023.tif 000006
【図５】
2006114023.tif 000007
【図６】
2006114023.tif 000008
【図７】
2006114023.tif 000009
【図８】
2006114023.tif 000010
【図９】
2006114023.tif 000011
【図１０】
2006114023.tif 000012
【図１１】
2006114023.tif 000013
【図１２】
2006114023.tif 000014
【図１３】
2006114023.tif 000015
【図１４】
2006114023.tif 000016
【図１５】
2006114023.tif 000017
【図１６】
2006114023.tif 000018
【図１７】
2006114023.tif 000019