(57)【要約】【課題】  各カメラから得られる画像におけるスキャンライン上にある全ての画素につき動的な対応付け（伸縮マッチング）として取り扱うことにより、画像間の対応付けをよりロバストかつ高精度に行う。【解決手段】  少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の法線方向を合わせ、これら補正した各画像間において上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求める際に、かかる各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、被写体の各画像間における視差を識別し、識別した類似度及び視差に応じて対応関係を求める。【選択図】図５
2005157921.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の法線方向を合わせる画像補正手段と、
上記画像補正手段により補正された各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチング手段とを備え、
上記マッチング手段は、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、上記被写体の各画像間における視差を識別し、上記識別した類似度及び視差に応じて上記対応関係を求めること
を特徴とする画像処理装置。
【請求項２】
上記マッチング手段は、上記各画像間における対応関係を求める際に、上記識別した類似度及び視差のうち何れを優先させるか決定し、類似度を優先させる場合には、上記水平ライン上にある同一画素位置間において対応付け、視差を優先させる場合には、一の画素位置に対し同一の水平ライン上にある複数の画素位置を対応付けること
を特徴とする請求項１記載の画像処理装置。
【請求項３】
上記マッチング手段は、上記類似度を識別する際に比較する輝度成分又は色成分のうち何れかに重み付けをすること
を特徴とする請求項１記載の画像処理装置。
【請求項４】
上記マッチング手段は、上記水平ラインの上下に位置する各画素位置における輝度成分及び色成分との相関関係を反映させつつ、上記類似度を識別すること
を特徴とする請求項１記載の画像処理装置。
【請求項５】
上記マッチング手段は、上記各カメラから上記被写体までの距離に基づいて上記視差を識別すること
を特徴とする請求項１記載の画像処理装置。
【請求項６】
上記画像補正手段は、上記各カメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面の法線方向に合わせること
を特徴とする請求項１記載の画像処理装置。
【請求項７】
上記画像補正手段は、上記各カメラにより撮像された各画像を上記仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面の法線方向に合わせること
を特徴とする請求項６記載の画像処理装置。
【請求項８】
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分、色成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とをさらに備えること
を特徴とする請求項１記載の画像処理装置。
【請求項９】
少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の法線方向を合わせる画像補正ステップと、
上記画像補正ステップにより補正した各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチングステップとを有し、
上記マッチングステップでは、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、上記被写体の各画像間における視差を識別し、上記識別した類似度及び視差に応じて上記対応関係を求めること
を特徴とする画像処理方法。
【請求項１０】
上記マッチングステップでは、上記各画像間における対応関係を求める際に、上記識別した類似度及び視差のうち何れを優先させるか決定し、類似度を優先させる場合には、上記水平ライン上にある同一画素位置間において対応付け、視差を優先させる場合には、一の画素位置に対し同一の水平ライン上にある複数の画素位置を対応付けること
を特徴とする請求項９記載の画像処理方法。
【請求項１１】
上記マッチングステップでは、上記類似度を識別する際に比較する輝度成分又は色成分のうち何れかに重み付けをすること
を特徴とする請求項９記載の画像処理方法。
【請求項１２】
上記マッチングステップでは、上記水平ラインの上下に位置する各画素位置における輝度成分及び色成分との相関関係を反映させつつ、上記類似度を識別すること
を特徴とする請求項９記載の画像処理方法。
【請求項１３】
上記マッチングステップでは、上記各カメラから上記被写体までの距離に基づいて上記視差を識別すること
を特徴とする請求項９記載の画像処理方法。
【請求項１４】
上記画像補正ステップでは、上記各カメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面の法線方向に合わせること
を特徴とする請求項９記載の画像処理方法。
【請求項１５】
上記画像補正ステップでは、上記各カメラにより撮像された各画像を上記仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面の法線方向に合わせること
を特徴とする請求項１４記載の画像処理方法。
【請求項１６】
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、
上記マッチングステップにより互いに対応付けした画素位置並びにその輝度成分、色成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップとをさらに有すること
を特徴とする請求項９記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばテレビ会議システム或いはテレビ電話システム等に適用され、送受信する画像を撮像してこれを仮想カメラにより撮像した結果得られる仮想視点画像に再構成する撮像装置及び方法、撮像システムに関する。
【背景技術】
【０００２】
テレビ電話システムやテレビ会議システム等に代表されるように、複数のユーザが互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムが提案されている。このようなシステムでは、相手の表示像をディスプレイ上に表示するとともに、当該ディスプレイを視認するユーザを撮影対象として撮像し、得られた画像信号を公衆回線、専用回線等のネットワークを介して相手側の画像処理装置へ送信することにより、双方のユーザに対し臨場感を持たせることが可能となる。
【０００３】
従来におけるテレビ会議システムでは、ディスプレイの中心付近に写し出される相手の表示像を視認するユーザを、ディスプレイ上部にあるカメラにより撮像するため、ユーザが下を向いた状態の画像が相手側のディスプレイ上に表示されることになる。このため、実際にディスプレイを視認するユーザ間において視線が不一致の状態で対話がなされることになり、互いに違和感を与えてしまうという問題がある。
【０００４】
理想的には、相手の表示像が写し出されるディスプレイの中心付近にカメラを設置すれば、双方のユーザの視線を一致させた状態で対話を実現することができる。しかしながら、かかるディスプレイの中心付近にカメラを設置することは物理的に困難である。
【０００５】
このような視線不一致に関する問題点を解決すべく、従来において、ディスプレイの両側に配置された複数のカメラにより撮影された入力画像に基づいて被写体の３次元情報を抽出し、抽出した３次元情報と受信者の視点位置に関する情報に応じて被写体の出力画像を再構成し、これを相手側のディスプレイへ表示させる画像処理装置が提案されている（例えば、特許文献１参照。）。この画像処理装置では、一直線上に配置された複数のカメラ映像から生成されたエピポーラ平面画像を用いて画面中心の仮想視点カメラ映像を合成することにより、利用者の視線を一致させて臨場感の高いコミュニケーションを実現することができる。
【０００６】
また、ＴＶ会議で互いの視線を一致させるべく、画面の左右に設置された２台のカメラで撮影した画像に基づいて３次元位置情報を生成する画像通信装置（例えば、特許文献２参照。）も提案されている。
【０００７】
ところで、上述の如く被写体の出力画像を再構成する際には、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像につき、画素位置毎に対応関係を求める。これにより、被写体の形状や各カメラまでの距離を三角測量原理によって求めることが可能となり、ひいては、ディスプレイの中心付近に仮想的に設置した仮想カメラにより撮像された仮想視点画像を精度よく生成することが可能となるからである。
【０００８】
ここで基本的な構成として、画面の左右に設置された２台のカメラにより撮像された各画像間につきステレオ視における対応付けを行う場合について図１３を用いて説明をする。
【０００９】
各カメラの光学中心Ｃ１,Ｃ２により互いに異なる視点から撮影対象のＭ点へ光軸を合わせて撮像を行うと、これにより生成される画像Ｐｓ１,Ｐｓ２は、各カメラの撮像面に対して平行となる。ここで各カメラと、Ｍ点を結ぶ直線の方向は、各カメラにより撮像された各画像Ｐｓ１,Ｐｓ２の法線方向ｐ１,ｐ２に一致するが、これらは互いに異なる方向を指している。
【００１０】
ちなみに対応付けは、被写体としてのＰを構成する同一の箇所にある画素位置と輝度成分を画像Ｐｓ１,Ｐｓ２間で抽出して対応をとるようにする。例えば、画像Ｐｓ１のエピポーラ線Ｌ１上にある画素ｍ１の対応点については、画像Ｐｓ２のエピポーラ線Ｌ１’上に存在することとなり、そのＬ１’上を探索することにより、画素ｍ１に最も類似する画素ｍ１’を対応点として検出することができる。また、対応付けした画素ｍ１,画素ｍ１’を利用することにより三次元空間内の対象Ｐを容易に推定することができる。
【００１１】
具体的な対応付けの手法として、従来よりPixel-basedマッチング、Area-basedマッチング、Feature-basedマッチング等が提案されている。Pixel-basedマッチングは、一方の画像における画素の対応点を、他方の画像においてそのまま探索する方法である（例えば、非特許文献１参照。）。Area-basedマッチングは、一方の画像における画素の対応点を、他方の画像において探索する場合に、その対応点の周囲における局所的な画像パターンを参照しつつ実行する対応付けを行う（例えば、非特許文献２,３参照。）。またFeature-basedマッチングは、画像から濃淡エッジ等を抽出し、画像間の特徴部分のみを参照して対応付けを行う（例えば、非特許文献４,５参照。）。
【００１２】
しかしながら、これらの手法は、あくまでエピポーラ線上に位置する画素の中から類似度の高いものを対応点として特定するため、例えばユーザを被写体として撮像した場合に得られた画像Ｐｓ１,Ｐｓ２間において、図１４に示すように、繰り返しパターン（例えば、両目部分）や、輝度変化が殆ど生じないいわゆる非特徴点（例えば壁の部分）において対応付けが困難であった。
【００１３】
また、異なる視点から撮像することにより得られる画像Ｐｓ１,Ｐｓ２では、被写体からカメラに至るまでの距離に基づく視差により、例えば図１４に示す頬や耳の部分等において表示される内容が異なってくる。以下、このような領域をオクリュージョン領域という。かかるオクリュージョン領域では、上記視差により、一方の画像Ｐｓ１に表示されている対象物の対応点が他方の画像Ｐｓ２において隠れてしまい、対応付けを行う場合に不都合が生じる場合があった。
【００１４】
また、異なる視点から撮像することにより得られる画像Ｐｓ１,Ｐｓ２は、例えば窓の部分等のように見る方向によって明るさが異なる領域や、ユーザの鼻の部分等のように正反射が生じる領域において、輝度成分,色成分につき格差が生じ、対応付けが困難となる場合があった。
【００１５】
【特許文献１】特開２００１−５２１７７号公報
【特許文献２】特開２００２−３００６０２号公報
【非特許文献１】C.Lawrence Zitnick and Jon A. Webb: Multi-baseline Stereo Using Surface Extraction, Technical Report, CMU-CS-96-196, (1996)
【非特許文献２】Okutomi.M and Kanade.T: A locally adaptive window for signal matching, Int. Journal of Computer Vision, 7(2), pp.143-162, (1992)
【非特許文献３】奥富、金出：複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌D-II,Vol.J75-D-II,No.8, pp.1317-1327, (1992)
【非特許文献４】H.Baker and T.Binford: Depth from edge and intensity based stereo, In Proc. IJCAI’81, (1981)
【非特許文献５】W.E.L.Grimson: Computational experiments with a feature based stereo algorithm, IEEE Trans. PAMI, Vol.7, No.1, pp.17〜34, (1985)
【発明の開示】
【発明が解決しようとする課題】
【００１６】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、各カメラから得られる画像におけるスキャンライン上にある全ての画素につき動的な対応付け（伸縮マッチング）として取り扱うことにより、画像間の対応付けをよりロバストかつ高精度に行う画像処理装置及び方法を提供することにある。
【課題を解決するための手段】
【００１７】
本発明を適用した画像処理装置及び方法では、上述した課題を解決するために、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の法線方向を合わせ、これら補正した各画像間において上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求める際に、かかる各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、被写体の各画像間における視差を識別し、識別した類似度及び視差に応じて対応関係を求める。
【００１８】
即ち、本発明を適用した画像処理装置は、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の法線方向を合わせる画像補正手段と、上記画像補正手段により補正された各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチング手段とを備え、上記マッチング手段は、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、上記被写体の各画像間における視差を識別し、上記識別した類似度及び視差に応じて上記対応関係を求める。
【００１９】
また、本発明を適用した画像処理方法は、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の法線方向を合わせる画像補正ステップと、上記画像補正ステップにより補正した各画像間において、上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求めるマッチングステップとを有し、上記マッチングステップでは、上記対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、上記被写体の各画像間における視差を識別し、上記識別した類似度及び視差に応じて上記対応関係を求める。
【発明の効果】
【００２０】
本発明を適用した画像処理装置及び方法では、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像することにより得られた各画像の法線方向を合わせ、これら補正した各画像間において上記被写体と関連させつつ互いに同一の水平ライン上にある画素位置毎に対応関係を求める際に、かかる対応関係を求める各画素位置につき輝度成分及び色成分を比較することによりその類似度を識別するとともに、被写体の各画像間における視差を識別し、識別した類似度及び視差に応じて対応関係を求める。
【００２１】
これにより、オクリュージョン領域が存在する場合においてもより正確な対応付けを行うことができ、また例えば両目部分等の繰り返しパターンや、輝度変化が殆ど生じないいわゆる非特徴点（例えば壁の部分）においても対応付けの精度を向上させることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
【００２３】
本発明を適用した通信システム１は、例えば図１に示すように、Ａ地点のユーザａと、Ｂ地点のユーザｂとの間で、互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムである。
【００２４】
Ａ地点には、撮影対象としてのユーザａを互いに異なる視点から撮像するカメラ１１ａ、カメラ１２ａと、Ｂ地点側で撮像されたユーザｂの画像をユーザａに対して表示するためのディスプレイ５ａと、カメラ１１ａ,１２ａより撮像された各画像Ｐａ１,Ｐａ２に基づいて仮想視点画像Ｉｍａを生成し、これをネットワーク７を介してＢ地点へ送信する画像処理装置２ａが配設されている。
【００２５】
Ｂ地点には、撮影対象としてのユーザｂを互いに異なる視点から撮像するカメラ１１ｂ、カメラ１２ｂと、Ａ地点側で撮像されたユーザａの画像をユーザｂに対して表示するためのディスプレイ５ｂと、カメラ１１ｂ,１２ｂより撮像された各画像Ｐｂ１,Ｐｂ２に基づいて仮想視点画像Ｉｍｂを生成し、これをネットワーク７を介してＡ地点へ送信する画像処理装置２ｂが配設されている。
【００２６】
なお、この画像処理装置２ａ,２ｂにより生成される上記仮想視点画像Ｉｍａ,Ｉｍｂは、相手の表示像が写し出されるディスプレイ５ａ,５ｂの中心付近において仮想的に設置された仮想カメラにより撮像される画像に相当する。
【００２７】
カメラ１１ａ,１１ｂは、それぞれユーザａ,ｂ側から見てディスプレイ５ａ,５ｂの左側面に設置されてなり、カメラ１２a,１２ｂは、それぞれユーザａ,ｂ側から見てディスプレイの右側面に設置されてなる。このカメラ１１、１２は、撮影方向、撮影画角が固定された状態で設置されるが、各ユーザａ,ｂからの入力される情報に基づき、これらを自在に変更するようにしてもよい。ちなみに、この通信システム１では、ユーザの視線の高さに合わせて設置された２台のカメラにより撮影対象を撮像する場合を例に挙げて説明をする。
【００２８】
ディスプレイ５ａ,５ｂは、それぞれネットワーク７を介して相手側地点から供給される仮想視点画像Ｉｍｂ,Ｉｍａに基づく画像を、例えば液晶表示面を介して表示する。このディスプレイ５ａ,５ｂにおける液晶表示面は、多数の液晶表示素子等からなり、各仮想視点画像Ｉｍｂ,Ｉｍａに基づく出力信号に応じて液晶表示素子を光変調させてユーザに表示する画像を作り出す。
【００２９】
画像処理装置２ａ,２ｂは、通常、パーソナルコンピュータ（ＰＣ）等の電子機器で構成される。これらの画像処理装置２ａ,２ｂは、ネットワーク７を介して互いに通信するための機能を備え、相手側からの要求に応じて画像や音声を送信する。なお、画像処理装置２ａ,２ｂの構成については後において詳細に説明をする。
【００３０】
ネットワーク７は、例えば画像処理装置２と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの通信システム１を、一定の狭いエリア内で運用する場合には、このネットワーク７を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク７は、動画像を送信する場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある一つのチャネルから継続的に送信される。また静止画像を送信する場合には、動画像を送信するチャネルとは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク７には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、画像処理装置２による要求を受けて、自身に格納してある所定の情報を送信する。
【００３１】
次に、画像処理装置２の構成について、画像処理装置２ａを例にとり説明をする。画像処理装置２ａは、図２に示すように、接続されたカメラ１１ａ,１２ａより画像Ｐａ１,Ｐａ２が供給される補正部２０と、この補正部２０に接続されるマッチング部２９と、さらにこのマッチング部２９に接続される仮想視点画像生成部３０と、仮想視点画像生成部３０により生成された仮想視点画像Ｉｍａを相手側の端末装置２ｂへ送信するための出力制御部３１と、各カメラ１１ａ,１２ａに対するユーザａの相対的な位置関係を示す相対位置情報を生成する情報生成部３３とを備えている。
【００３２】
補正部２０は、カメラ１１ａ,１２ａから送信される各画像Ｐａ１,Ｐａ２につき幾何学的な画像補正を施すための幾何学的画像補正部２１,２２と、これら幾何学的画像補正部２１,２２により画像補正が施された画像を正規化するための正規化処理部２４とを備えている。
【００３３】
幾何学的画像補正部２１,２２は、カメラキャリブレーション部２６から送信される、上記カメラ１１ａ,１２ａの幾何学的な位置関係を含む制御情報に基づいて、各画像Ｐａ１,Ｐａ２を補正する。このカメラ１１ａ,１２ａの幾何学的な位置関係は、上述したカメラキャリブレーション部２６から送信される制御情報においてパラメータ化されていてもよい。また、各カメラ１１ａ,１２ａの撮影方向及び／又は撮影画角を変更しつつ撮像を実行する場合には、カメラキャリブレーション部２６においてこれらをパラメータ化し、画像を補正する際にこれらのパラメータを制御情報に含めるようにしてもよい。これにより、幾何学的画像補正部２１,２２は、各カメラ１１ａ,１２ａの撮影方向及び／又は撮影画角に応じてリアルタイムに画像補正することができる。
【００３４】
なお、このカメラキャリブレーション部２６は、同様にカメラ１１ａ,１２ａの各レンズにおける色収差や歪み、光軸のずれを、例えば特開２０００−３５０２３９号公報や、特開平１１−５３５４９号公報に示されているカメラキャリブレーション手法に基づいてパラメータ化し、これらを各補正部２０へ送信するようにしてもよい。かかる場合において補正部２０は、取得したパラメータに基づいて、カメラ１１ａ,１２ａからの画像を射影変換することにより基準となる画像へ合わせ込む。輝度成分等についても同様にカメラ１１ａ,１２ａからの画像間において輝度の誤差が最小となるような射影変換行列を用いることにより互いの調整を図る。
【００３５】
正規化処理部２４は、各幾何学的画像補正部２１,２２において補正された画像がそれぞれ供給され、これらにつき幾何学的正規化処理を施す。この正規化処理部２４は、各カメラにより撮像された各画像Ｐａ１,Ｐａ２の法線方向を合わせる。即ち、この正規化処理部２４は、各画像Ｐａ１,Ｐａ２の法線方向を仮想的に設定された仮想平面πの法線方向に合わせることによりこれを正規化し、それぞれ正規化画像Ｐｍ１,Ｐｍ２,を生成する。かかる場合において、正規化処理部２４は、各カメラ１１ａ,１２ａにより撮像された各画像Ｐａ１,Ｐａ２を上記仮想平面πへ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面πの法線方向に合わせる。
【００３６】
ちなみに、カメラキャリブレーション部２６は、カメラ１１ａ,１２ａとしていわゆる固定視点カメラを適用する場合には、予めカメラキャリブレーション部２６により画像Ｐａ１,Ｐａ２の法線方向を取得するようにしてもよい。また、各カメラ１１ａ,１２ａの撮影方向及び／又は撮影画角を変更しつつ撮像を実行する場合には、カメラキャリブレーション部２６においてこれらをパラメータ化し、画像を正規化する際にこれらのパラメータを制御情報に含めるようにしてもよい。これにより、ユーザａ,ｂの位置に応じて撮影方向等を順次変更しつつ撮像を行う場合においても柔軟に対応することができる。
【００３７】
また、このカメラキャリブレーション部２６において、これらのパラメータを図示しないＲＯＭやＲＡＭへ格納しておくことにより、補正部２０は、状況に応じて随時これらを参照することができ、高速な補正処理を実現することができる。またカメラキャリブレーション部２６は、上記カメラ１１ａ,１２ａから画像Ｐａ１,Ｐａ２が供給される度にこれらのパラメータを求めることにより、幾何学的画像補正部２１,２２において精度の高い補正処理を実現することができる。
【００３８】
マッチング部２９は、正規化処理部２４において生成された正規化画像Ｐｍ１,Ｐｍ２がそれぞれ供給される。このマッチング部２９は、これら正規化画像Ｐｍ１,Ｐｍ２を構成する各画素位置につき対応関係を求める。
【００３９】
ちなみに、この対応付けは、ユーザａの顔を構成する同一の箇所にある画素位置と輝度成分を正規化画像Ｐｍ１,Ｐｍ２間で抽出して対応をとるようにする。例えば図３に示すように、正規化画像Ｐｍ１のエピポーラ線Ｌ１上にある画素Ｐ１１の対応点については、正規化画像Ｐｍ２のエピポーラ線Ｌ１’上に存在することとなり、そのＬ１’上を探索することにより、最も類似する画素位置Ｐ１１’を対応点として検出することができる。ちなみにマッチング部２９は、この対応付けにつき特徴抽出した箇所のみについて実行してもよいし、正規化画像Ｐｍ１,Ｐｍ２を構成する全ての画素に対して実行してもよい。
【００４０】
情報生成部３３は、画素位置毎に対応関係を求める際に必要な情報を生成し、これをマッチング部２９へ供給する。情報生成部３３は、この生成すべき相対位置情報をカメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離を識別し、これに基づく視差情報を生成するようにしてもよい。かかる距離の識別については、各カメラ１１ａ,１２ａにより生成された画像情報からDepth情報を取得することにより実行してもよい。
【００４１】
また、この情報生成部３３は、生成すべき相対位置情報をユーザａのディスプレイ５ａに対する視線方向に基づいて生成してもよい。かかる場合において情報生成部３０は、カメラ１１ａ,１２ａから供給される画像Ｐａ１,Ｐａ２からユーザａの視線方向を取得し、これに基づいて相対位置情報を生成する。これにより、いわば仮想カメラの撮影方向をユーザａの視線方向に合わせ込むことと同様の処理を実現することができる。
【００４２】
仮想視点画像生成部３０は、マッチング部２９により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また、仮想視点画像生成部３０は、互いに対応付けされた画素位置並びにその輝度成分から、情報生成部３３より生成された相対位置情報に応じて、新たに生成すべき仮想視点画像Ｉｍａを構成する画素位置並びにその輝度成分を求める。仮想視点画像生成部３０は、求めた画素位置並びにその輝度成分により構成される仮想視点画像Ｉｍａを出力制御部３１へ供給する。
【００４３】
出力制御部３１は、仮想視点画像生成部３０において生成された仮想視点画像Ｉｍａを、ネットワーク７を介して画像処理装置２ｂへ送信するように制御する。かかる場合において、この出力制御部３１は、カメラ１１ａ,１２ａにより生成された画像Ｐａ１,Ｐａ２を単独で画像処理装置２ｂへ送信するように制御してもよい。
【００４４】
次に、この画像処理装置２ａにおける具体的な動作につき説明をする。
【００４５】
撮影対象としてのユーザａは、カメラ１１ａ,１２ａにより互いに異なる角度から撮影される。その結果、カメラ１１ａ,１２ａにより生成される画像Ｐａ１,Ｐａ２上のユーザａの視線方向、顔の向き等は、互いに異なる状態となる。このような画像Ｐａ１,Ｐａ２は、それぞれ幾何学的画像補正部２１,２２に供給され、カメラキャリブレーション部２６により予め求められた各カメラ１１ａ,１２ａのレンズ歪みや画像中心等のパラメータに基づき、画像の歪みや画像中心がずれないように補正を行う。
【００４６】
これら幾何学的画像補正部２１,２２において補正された各画像Ｐａ１,Ｐａ２は、正規化処理部２４へ供給されると以下に示される方法に基づいて正規化されることになる。
【００４７】
図４は、各カメラ１１ａ,１２ａにより撮像した画像Ｐａ１, Ｐａ２を正規化する場合につき示している。この図４に示されるように、各カメラ１１ａ,１２ａの光学中心Ｃ１,Ｃ２により互いに異なる視点から撮影対象のＭ点へ光軸を合わせて撮像を行うと、これにより生成される画像Ｐａ１,Ｐａ２は、各カメラ１１ａ,１２ａの撮像面に対して平行となる。ここで各カメラ１１ａ,１２ａと、Ｍ点を結ぶ直線の方向は、各カメラにより撮像された各画像Ｐａ１,Ｐａ２の法線方向ｋ１,ｋ２に一致するが、これらは互いに異なる方向を指している。これら各画像Ｐａ１,Ｐａ２の法線方向ｋ１,ｋ２が同一方向となるように幾何学的正規化を行うことにより、画像面が互いに平行な正規化画像Ｐｍ１,Ｐｍ２を作り出す。
【００４８】
この幾何学的正規化は、カメラキャリブレーション部２６により予め求められた射影行列Ｐ１,Ｐ２を用いて、カメラ内部パラメータＡ１,Ａ２、回転行列Ｒ１,Ｒ２、転移行列Ｔ１,Ｔ２を推定することにより実現する。その結果、補正後の画像撮像面の法線方向ｋ１’,ｋ２’が平行化された正規化画像Ｐｍ１,Ｐｍ２を生成することができる。
【００４９】
ちなみに、この幾何学的正規化を施す場合には、光学中心Ｃ１,Ｃ２を含む仮想平面πを設定しておき、この仮想平面πの法線方向に対してこれら各画像Ｐａ１,Ｐａ２の法線方向が同一方向となるように、射影行列Ｐ１,Ｐ２を用いて正規化するようにしてもよい。
【００５０】
正規化処理部２４において上述の如く射影変換された正規化画像Ｐｍ１,Ｐｍ２は、マッチング部２９において撮影対象と関連させつつ、画素位置毎に対応付けされる。本発明においては、マッチング部２９の前段にある正規化処理部２４において予め正規化され、エピポーラ線が平行化されているため、画素探索のロバスト性を向上させることができる。
【００５１】
これら正規化画像Ｐｍ１とＰｍ２につき、このマッチング部２９において対応付けを行う場合において、図４に示すように正規化画像Ｐｍ１のエピポーラ線Ｌ１上にある画素Ｐ１１の対応点については、正規化画像Ｐｍ２のエピポーラ線Ｌ１’上に存在することとなり、そのＬ１’上を探索することにより、対応点としての画素Ｐ１１’を検出することができる。
【００５２】
例えば図５(a)に示すように、被写体としてのユーザａがそれぞれ写し出された正規化画像Ｐｍ１におけるエピポーラ線Ｌ１上の画素と、正規化画像Ｐｍ２におけるエピポーラ線Ｌ１’上の画素とを対応付けする場合に、エピポーラ線Ｌ１上の特徴点の点列Ｒ１を左から順に｛ａ１,ａ２,ａ３,ａ４,ａ５｝とし、またエピポーラ線Ｌ１’の特徴点の点列Ｒ２を左から順に｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とする。ここで、互いのエピポーラ線Ｌ１,Ｌ１’上にある特徴点Ｒ１,Ｒ２を被写体との関係において対応付けるとき、先ず、ａ１に対してＬ１’上の特徴点はｂ１が該当し１：１で対応することとなるが、ユーザａの右耳を構成する特徴点ａ２,ａ３に対してＬ１’上の特徴点はｂ２が該当し、２：１で対応することとなる。同様に、ユーザａの左耳を構成する特徴点ａ４に対してＬ１’上の特徴点はｂ３,ｂ４が該当し、１：２で対応することとなる。なお、ａ５に対してＬ１’上の特徴点はｂ５が該当し１：１で対応することとなる。
【００５３】
このように、異なる視点から撮像することにより得られる正規化画像Ｐｍ１,Ｐｍ２では、被写体からカメラに至るまでの距離に基づく視差により、ユーザａの耳の部分等において表示される内容が異なってくる。以下、このような領域をオクリュージョン領域という。かかるオクリュージョン領域では、上記視差により、一方の正規化画像に表示されている被写体の対応点が他方の正規化画像にて隠れてしまうため、従来と同様に、｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けてしまうと、誤差が生じることになる。
【００５４】
このため、本発明を適用した画像処理装置２ａにおけるマッチング部２９では、かかる視差を識別することにより、図５(a)に示される正規化画像の特徴点の点列Ｒ１,Ｒ２を、結果的に図５(b)に示されるように｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ２）、（ａ４, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けられるように制御する。
【００５５】
具体的には、各正規化画像Ｐｍ１,Ｐｍ２におけるエピポーラ線上にある全ての画素につき、図５(c)に示すようなDynamic Programming（ＤＰ：最短経路探索）を利用した動的な対応付けを行う。
【００５６】
この図５(c)におけるｘ軸にエピポーラ線Ｌ１上の特徴点の点列Ｒ１｛ａ１,ａ２,ａ３,ａ４,ａ５｝を配列し、またｙ軸をエピポーラ線Ｌ１’上の特徴点の点列Ｒ２｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とするとき、図５(b)に示される対応関係をこのグラフにあてはめると、図５(c)に示される太線で示される経路をとることになる。以下、この太線で示される対応点を結ぶ直線を最適経路という。
【００５７】
この最適経路において右上に線形増加する場合には、エピポーラ線Ｌ１,Ｌ１’上を左から右へシフトさせて対応付けする際に、互いの特徴点を１：１で順次シフトさせて対応させることを示している。右上に線形増加する最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ１, ｂ１）から左から右へそれぞれ一つずつシフトさせることにより特徴点（ａ２, ｂ２）を正確に対応付けすることができる。
【００５８】
また、この最適経路において水平方向にシフトする場合には、正規化画像Ｐｍ１,Ｐｍ２間において視差が生じた結果、正規化画像Ｐｍ１において示されている特徴点が正規化画像Ｐｍ２において隠れてしまったことを示唆している。かかる場合には、正規化画像Ｐｍ２上にある１の特徴点に対して、正規化画像Ｐｍ１上にある複数の特徴点を対応付ける。この水平方向にシフトする最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ２, ｂ２）においてユーザａの右耳を示すｂ２は、上述した視差により更にａ３とも対応するため、ｂ２をそのまま維持しつつこれにａ３を対応付ける。
【００５９】
また、この最適経路において垂直方向へシフトする場合には、正規化画像Ｐｍ１,Ｐｍ２間において視差が生じた結果、正規化画像Ｐｍ２において示されている特徴点が正規化画像Ｐｍ１において隠れてしまったことを示唆している。かかる場合には、正規化画像Ｐｍ１上にある１の特徴点に対して、正規化画像Ｐｍ２上にある複数の特徴点を対応付ける。この垂直方向にシフトする最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ４, ｂ３）においてユーザａの左耳を示すａ４は、上述した視差により更にｂ４とも対応するため、ａ４をそのまま維持しつつこれにｂ４を対応付ける。
【００６０】
マッチング部２９は、これら対応付けを、互いの正規化画像Ｐｍ１,Ｐｍ２を構成する全てを構成する、或いは一部を構成するエピポーラ線Ｌ１,Ｌ１’間において実行する。そしてエピポーラ線Ｌ１,Ｌ１’毎に上述した最適経路を求めることにより、特徴点の点列Ｒ１,Ｒ２間における対応付けを行う。
【００６１】
図６は、エピポーラ線Ｌ１,Ｌ１’上の任意の特徴点（ｘ,ｙ）に至るまでの最適経路を求める場合につき示している。
【００６２】
この特徴点（ｘ,ｙ）に至る最適経路は、特徴点（ｘ−１,ｙ−１）から左から右へそれぞれ一つずつシフトさせることにより図６に示されるグラフにおいて右上に線形増加し、或いは特徴点（ｘ−１,ｙ）においてｙをそのまま維持しつつ水平方向に１シフトさせることにより図６に示されるグラフにおいて特徴点（ｘ−１,ｙ）から水平方向へ移動する。さらに、この特徴点（ｘ,ｙ）に至る最適経路は、特徴点（ｘ,ｙ−１）においてｘをそのまま維持しつつ垂直方向へ１シフトさせることにより図６に示されるグラフにおいて特徴点（ｘ,ｙ−１）から垂直方向へ移動することになる。
【００６３】
即ち、特徴点（ｘ,ｙ）を通る最適経路は、図６に示すグラフにおいて、その左,左下,下に位置する特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）の何れかを経ることになる。本発明マッチング部２９は、何れの特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）を経て特徴点（ｘ,ｙ）へ至るのかにつき、以下に説明する関数を順次求めてゆくことにより決定する。
【００６４】
マッチング部２９は、以下に示すマッチングコスト関数ｄ（ｘ,ｙ）と、動的なオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求め、求めた各関数に応じて上述した最適経路を求める。マッチングコスト関数ｄ（ｘ,ｙ）は、対応関係を求める各画素位置間における輝度成分及び色成分の類似度を示す関数であり、またオクリュージョンコスト関数ｄｘ（ｘ,ｙ）は、正規化画像Ｐｍ１の正規化画像Ｐｍ２に対する被写体画像の隠れ度合いを示す関数であり、またオクリュージョンコスト関数ｄｙ（ｘ,ｙ）は、正規化画像Ｐｍ２の正規化画像Ｐｍ１に対する被写体画像の隠れ度合いを示す関数である。これらオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、被写体の各画像間における視差が反映される形となる。
【００６５】
先ず、マッチングコスト関数ｄ（ｘ,ｙ）を求める方法につき説明をする。
【００６６】
ｄ（ｘ,ｙ）につき、比較する輝度成分又は色成分のうち何れに重み付けをするか決定する。この重み付けは、重み付け係数αを用いて、以下の式（１）に基づいて行う。
ｄｋ（ｓ,ｔ）＝α×ｄＹｋ（ｓ,ｔ）＋（１−α）ｄＣｋ（ｓ,ｔ）・・・・・（１）
ここで（ｓ,ｔ）は、特徴点（ｘ,ｙ）に対応する正規化画像Ｐｍ１、正規化画像Ｐｍ２における画素位置を表している。またｋは、正規化画像Ｐｍ１、正規化画像Ｐｍ２の何行目に該当するかを示している（つまりｋ＝ｙ）。この式（１）においてｄＹｋ（ｓ,ｔ）は、正規化画像Ｐｍ１と正規化画像Ｐｍ２との座標（ｓ,ｔ）間における輝度成分の差分絶対値を表し、以下の（２）式で定義される。
ｄＹｋ（ｓ,ｔ）＝｜Ｙ１ｋ（ｓ,ｔ）−Ｙ２ｋ（ｓ,ｔ）｜・・・・・（２）
また、この式（１）においてｄＣｋ（ｓ,ｔ）は、正規化画像Ｐｍ１と正規化画像Ｐｍ２との間における色成分の差分絶対値を表し、以下の（３）式で定義される。
ｄＣｋ（ｓ,ｔ）＝｜Ｃ１ｋ（ｓ,ｔ）−Ｃ２ｋ（ｓ,ｔ）｜・・・・・（３）
即ち、上記式（１）においてαをより高く設定することにより、求めるｄｋ（ｓ,ｔ）につき、輝度成分の差分絶対値ｄＹｋ（ｓ,ｔ）の成分をより反映させることができる。また上記式（１）においてαをより小さく設定することにより、求めるｄｋ（ｓ,ｔ）につき、色成分の差分絶対値ｄＣｋ（ｓ,ｔ）の成分をより反映させることができる。ちなみに、このαについては、色成分のマッチングコストと、輝度成分のマッチングコストとの平均値を割り当てるようにしてもよい。
【００６７】
ｄ（ｘ,ｙ）は、（１）式により求められるｄｋ（ｓ,ｔ）に基づいて、更に以下の（４）式により求められる。
ｄ（ｘ,ｙ）＝（Σｄｋ（ｓ,ｔ））／２Ｋ      ｋ＝−Ｋ，・・，Ｋ−１
・・・・・・・・・（４）
この（４）式は、エピポーラ線の上下に位置する各画素との間で平均をとることにより、ｄ（ｘ,ｙ）を求めることができることを意味している。この（４）式により、求めるｄ（ｘ,ｙ）につきエピポーラ線の上下に位置する各画素との相関関係を反映させることができる。これにより対応付け精度の向上を大幅に図ることが可能となる。
【００６８】
即ち、上述の方法により求められるマッチングコストｄ（ｘ,ｙ）は、正規化画像Ｐｍ１と正規化画像Ｐｍ２の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の差分絶対値が大きくなるにつれて増加する。換言すれば、正規化画像Ｐｍ２と正規化画像Ｐｍ１の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の差異が大きくなるにつれて増加し、またこれらが類似するにつれて小さくなる。即ち、このマッチングコストｄ（ｘ,ｙ）により、正規化画像Ｐｍ１と正規化画像Ｐｍ２の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の類似度を識別することが可能となる。
【００６９】
次にオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求める方法につき説明をする。
【００７０】
これら各オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、情報生成部３３におより生成される視差情報に基づいて生成される。カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が小さくなるにつれて（視差が大きくなるにつれて）、オクリュージョン領域の発生する確率が高くなる。かかる場合において、マッチング部２９は、オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を下げることにより対応する。一方、カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が長くなるにつれて（視差が小さくなるにつれて）、オクリュージョン領域の発生する確率が小さくなる。かかる場合において、マッチング部２９は、オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を上げることにより対応する。
【００７１】
各オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、以下の式（５）、（６）に基づいて求めることができる。
ｄｘ（ｘ,ｙ）＝β×ｄｐ（ｘ,ｙ）＋Ｔ０・・・・・・・・（５）
ｄｙ（ｘ,ｙ）＝γ×ｄｐ（ｘ,ｙ）＋Ｔ１・・・・・・・・（６）
ここで、ｄｐ（ｘ,ｙ）は、上記取得される視差情報に支配され、視差がより大きくなるにつれて減少し、また視差がより小さくなるにつれて増加する。β、γは、ｄｐ（ｘ,ｙ）の変化率を表しており、予め実験的に求めることができる。またＴ０、Ｔ１は、初期オクリュージョンコスト定数であり、これについても予め実験的に求めることができる。
【００７２】
マッチング部２９は、これら各関数ｄｘ（ｘ,ｙ）,ｄ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求めた後、それぞれ以下の式（７）〜式（９）に基づいて累積マッチングコストＣ（ｘ−１,ｙ）,Ｃ（ｘ−１,ｙ−１）,Ｃ（ｘ,ｙ−１）を加算し、総コストｋ１,ｋ２,ｋ３を算出する。
ｋ１＝Ｃ（ｘ−１,ｙ）＋ｄｘ（ｘ,ｙ）・・・・・・・・（７）
ｋ２＝Ｃ（ｘ−１,ｙ−１）＋ｄ（ｘ,ｙ）・・・・・・・（８）
ｋ３＝Ｃ（ｘ,ｙ−１）＋ｄｙ（ｘ,ｙ）・・・・・・・・（９）
ここでＣ（ｘ−１,ｙ）,Ｃ（ｘ−１,ｙ−１）,Ｃ（ｘ,ｙ−１）は、それぞれ特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）において求められた累積マッチングコストを示している。ちなみに、特徴点（ｘ,ｙ）における累積マッチングコストＣ（ｘ,ｙ）は、以下の式（１０）に示すように、求めたｋ１,ｋ２,ｋ３の中から最小となるものが割り当てられる。
Ｃ（ｘ,ｙ）＝ｍｉｎ｛ｋ１,ｋ２,ｋ３｝・・・・・・・（１０）
マッチング部２９は、求めた総コストｋ１,ｋ２,ｋ３の中から最小となるものを選択することにより最適経路を求める。
【００７３】
ここで、ｋ１が最小となる場合には、視差が大きくなることにより、正規化画像Ｐｍ１において示されている特徴点が正規化画像Ｐｍ２において遮蔽されたことを意味している。かかる場合には、図６矢印Ｊ１に示すように特徴点（ｘ−１,ｙ）から水平方向にシフトさせることにより特徴点（ｘ,ｙ）に至るように最適経路が求められることになる。
【００７４】
またｋ３が最小となる場合には、視差が大きくなることにより、正規化画像Ｐｍ２において示されている特徴点が正規化画像Ｐｍ１において遮蔽されたことを意味している。かかる場合には、図６矢印Ｊ３に示すように、特徴点（ｘ,ｙ−１）から垂直方向にシフトさせることにより特徴点（ｘ,ｙ）に至るように最適経路が求められることになる。
【００７５】
更に、ｋ２が最小となる場合には、正規化画像Ｐｍ１と正規化画像Ｐｍ２の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の類似度が高いことを意味している。かかる場合には、図６矢印Ｊ２に示すように特徴点（ｘ−１,ｙ−１）から水平、垂直方向に一つずつシフトさせることにより特徴点（ｘ,ｙ）に至るように最適経路が求められることになる。
【００７６】
図７(b)は、図７(a)に示される正規化画像Ｐｍ１と正規化画像Ｐｍ２におけるエピポーラ線Ｌ１,Ｌ１’上にある各特徴点の画素成分（輝度又は色成分）の対応関係を示している。
【００７７】
この図７(a)に示す正規化画像Ｐｍ１において、ユーザａの両側に示される壁の凹部Ｌ２,Ｌ３、並びに正規化画像Ｐｍ２において、ユーザａの両側に示される壁の凹部Ｌ２’,Ｌ３’は、図７(b)において画素成分の差分としてライン状に明確に現れている。同様に、ユーザａを構成する画素成分については、図７(b)の中心付近において画素成分の差分として明確に現れている。
【００７８】
この図７(b)において、最適経路が、エピポーラ線Ｌ１,Ｌ１’上にある各特徴点において同一の画素成分の交点を通過している場合には、ｋ２が最小となる結果、当該画素位置（ｓ,ｔ）における輝度成分、或いは色成分の類似度が高いことが優先されたことを意味している。これに対して、最適経路が、エピポーラ線Ｌ１,Ｌ１’上にある各特徴点において同一の画素成分の交点以外を通過している場合には、ｋ１又はｋ３が最小となる結果、視差により何れかの画像Ｐｍ１,Ｐｍ２が遮蔽されたことを意味している。
【００７９】
このようにして特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）の何れかから特徴点（ｘ,ｙ）に至るまでの最適経路が求められることになる。この最適経路が求められるということは、輝度成分及び色成分の類似度と、正規化画像Ｐｍ１,Ｐｍ２間の視差に応じて最適な対応関係が求められていることを意味しており、上記（１０）式より得られるＣ（ｘ,ｙ）についても、画素位置毎に対応関係を求める上での最適な累積マッチングコストとして定義されることになる。これら累積マッチングコストＣ（ｘ,ｙ）を、上記グラフにおいて上、右上、右に位置する特徴点に至るまでの最適経路を求める際に累積的に参酌することができるため、対応付けの精度をより向上させることができる。
【００８０】
また、マッチング部２９では、各関数ｄｘ（ｘ,ｙ）,ｄ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を全く異なるコンセプトに基づいて算出するため、得られた総コストｋ１,ｋ２,ｋ３を式（１０）に基づいて単純に比較する場合に、撮影環境や被写体に応じて誤差が生じる場合もある。かかる場合には、式（５）,（６）におけるβ,γ,Ｔ０,Ｔ１を撮影環境や被写体に応じて予め最適化しておくことにより、各関数ｄｘ（ｘ,ｙ）,ｄ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）間の格差を解消することができる。
【００８１】
このように本発明を適用した画像処理装置２ａにおけるマッチング部２９では、上記各正規化画像Ｐｍ１,Ｐｍ２間における対応関係を求める際に、識別した類似度及び視差のうち何れを優先させるか決定し、類似度を優先させる場合には、水平ライン上にある同一画素位置間において対応付け、視差を優先させる場合には、一の画素位置に対し同一の水平ライン上にある複数の画素位置を対応付ける。これにより、オクリュージョン領域が存在する場合においてもより正確な対応付けを行うことができる。また、上述の手法に基づいて対応付けを行うことにより、例えば両目部分等の繰り返しパターンや、輝度変化が殆ど生じないいわゆる非特徴点（例えば壁の部分）においても対応付けの精度を向上させることができる。更に、例えば窓の部分等のように見る方向によって明るさが異なる領域や、ユーザの鼻の部分等のように正反射が生じる領域においても、輝度成分,色成分の格差に支配されることが少なく、比較的に容易に対応付けを行うことができる。
【００８２】
なお、本発明を適用した画像処理装置２ａにおけるマッチング部２９では、あくまで上記類似度と上記視差を識別し、識別した類似度及び視差に応じて上記対応関係が求められていれば、上述の効果を得ることができることは勿論である。
【００８３】
仮想視点画像生成部３０では、上述の如くマッチング部２９において求められた対応関係に基づいて、仮想視点画像Ｉｍａを生成する。例えばマッチング部２９において、正規化画像Ｐｍ１における画素位置Ｐ１１に対して、正規化画像Ｐｍ２における画素位置Ｐ１１’がその対応点として特定されていた場合に、かかる画素位置Ｐ１１の座標を図８に示すように（ｘ１,ｙ１）とし、また画素位置Ｐ１１’の座標を（ｘ２,ｙ２）とする。仮想視点画像生成部３１は、かかる画素位置Ｐ１１、Ｐ１１’に対応する仮想視点画像Ｉｍａ上の画素位置の座標（ｘｔ,ｙｔ）を、相対位置情報としてのｍに基づいて以下の式（１１）により決定することができる。
（ｘｔ,ｙｔ）＝（１−ｍ）×（ｘ１,ｙ１）＋ｍ×（ｘ２,ｙ２）・・・（１１）
また画素位置Ｐ１１、Ｐ１１’における輝度成分をそれぞれＪ１１, Ｊ１１’としたときに、かかる仮想視点画像Ｉｍａ上の画素位置Ｐｈにおける輝度成分Ｐｔを以下の式（１２）により決定することができる。
【００８４】
Ｐｔ＝（１−ｍ）×Ｊ１１＋ｍ×Ｊ１１’ ・・・（１２）
このように仮想視点画像生成部３１は、仮想視点画像Ｉｍａを構成する各画素の座標並びにその輝度成分につき、相対位置情報としてのｍに応じて決定することができる。
ここでｍは、仮想カメラにおける仮想視点がカメラ１１ａに近くなるにつれて小さくなり、また仮想視点がカメラ１２ａに近くなるにつれて大きくなる。
【００８５】
このため、式（１１）に基づいて決定される座標（ｘｔ,ｙｔ）は、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の座標（ｘ１,ｙ１）に近づき、また仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１２の座標（ｘ２,ｙ２）に近づくことになる。即ち、座標（ｘｔ,ｙｔ）を、仮想カメラの位置に応じて自在に決定することができるため、仮想視点画像Ｉｍａ上に表示させるユーザａの位置を自在に変化させることができる。
【００８６】
また、式（１２）に基づいて決定される輝度成分Ｐｔは、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の輝度成分Ｊ１１に近づき、仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１１’の輝度成分Ｊ１１’に近づくことになる。即ち、仮想カメラの位置に応じて、仮想視点画像Ｉｍａ上のユーザａを構成する画素を輝度成分Ｊ１１、又は輝度成分Ｊ１１’に近づけることができる。
【００８７】
特に、カメラ１１ａとカメラ１２ａは互いに撮影方向が異なるため、正規化画像Ｐｍ１上にある画素位置Ｐ１１と、これに対応する正規化画像Ｐｍ２上にある画素位置Ｐ１１’との間では、輝度成分が互いに異なる。この互いに異なる輝度成分の何れか一方を最小値とし、他方が最大値となるようにして、相対位置情報としてのｍに応じて輝度成分Ｐｔを線形に増減させることにより、仮想カメラの位置に応じて仮想視点画像Ｉｍａ上に表示させるユーザａを構成する画素の輝度成分を決定することが可能となる。また、この生成される仮想支点画像Ｉｍａは、上述したマッチング部２９において対応付けられた関係に基づいて生成されるため、得られる画像の画質劣化をより減少させることができる。
【００８８】
上述のようにして画素位置Ｐｈにおける座標（ｘｔ,ｙｔ）並びにその輝度成分Ｐｔを順次決定することにより、生成した仮想視点画像Ｉｍａは、表示されるユーザａの視線方向、顔の向き等は互いに異なっていた正規化画像Ｐｍ１,Ｐｍ２に対して、常時正面を向いている状態となる。
【００８９】
生成された仮想視点画像Ｉｍａは、出力制御部３１による制御の下、ネットワーク７へ送出される。そして相手側の画像処理装置２ｂへ送信された仮想視点画像Ｉｍａは、画像処理装置２ｂにおける制御の下、ディスプレイ５ｂ上へ表示されることになる。ユーザｂは、ディスプレイ５ｂに表示される仮想視点画像Ｉｍａ上のユーザａを視認しつつ対話をすることになるが、ユーザａの顔、視線方向は正面を向いている状態にあるため、あたかも画面中央付近に設置された仮想カメラで撮像されたような画像を視認しているような感覚を味わうことができる。ユーザａについても同様にディスプレイ５ａに表示される仮想視点画像Ｉｍｂ上のユーザｂを視認しつつ対話をすることになるが、正面を向いているユーザｂを視認することができる。即ち、この通信システム１では、いわば対話するユーザ間において常時視線を一致させたビジュアルコミュニケーションを実現することができ、よりリアルで臨場感のある遠隔対話を実現することができる。
【００９０】
特にこの通信システム１では、少なくとも２台のカメラ１１,１２をディスプレイ５
の両側に配設すれば足り、また被写体の３次元情報をその都度抽出する必要もなくなるため、システム全体が複雑化することがなくなるという利点もある。
【００９１】
また、この通信システム１では、ハーフミラーやホログラムスクリーン、更にはプロジェクタ等のような特殊装置を用いる必要もなく、簡易で安価なシステムを構成することができる。
【００９２】
なお、本発明を適用した通信システムは、上述した実施の形態に限定されるものではなく、例えば図９に示すように、得られた画像につき複眼立体視を可能とすべく処理を施すための撮像システム７に適用してもよい。この撮像システム７において上述した通信システム１と同一の構成については、当該同一の番号を付して説明を省略する。
【００９３】
この撮像システム７は、互いに異なる視点から同一の撮影対象５を撮像する８台のカメラ７１＿１〜７１＿８と、接続された各カメラ７１＿１〜７１＿８より撮像された画像が供給される画像補正部７２＿１〜７２＿８と、各画像補正部７２＿１〜７２＿８における画像補正に必要なパラメータを供給するためのカメラキャリブレーション部２６と、接続された各画像補正部７２＿１〜７２＿８から供給される各画像につき互いに対応付けをとるためのマッチング部２９と、立体視ディスプレイ８０を視認するユーザの頭部位置を検出し、これに基づいてユーザの相対的な視点位置を推定するための両眼位置推定部７５と、両眼位置推定部７５により推定されたユーザの視点位置に応じて、立体視ディスプレイ８０に対するユーザの視点位置における相対的な位置関係を示す相対位置情報を生成する情報生成部７６と、マッチング部２９並びに情報生成部７６にそれぞれ接続されてなり、ユーザの左眼により視認される左眼用視差画像と、ユーザの右眼により視認される右眼用視差画像とを生成する仮想視点画像生成部３０と、仮想視点画像生成部３０により生成された左眼用視差画像と右眼用視差画像とを、接続された立体視ディスプレイ８０上へ表示させるための表示制御部７９とを備えている。
【００９４】
カメラ７１＿１〜７１＿８は、撮像した撮影対象の光学像を、そのままＣＣＤへ入射させることにより、これを電気信号に変換する。このカメラ７１＿１〜７１＿８は、変換した電気信号により表される画像をそれぞれ画像補正部７２＿１〜７２＿８へ供給する。
【００９５】
画像補正部７２＿１〜７２＿８は、上記幾何学的画像補正部２１,２２と同様の役割を担う部分であり、カメラ７１＿１〜７１＿８間の幾何学的な位置関係を含む制御情報に基づいて、得られた画像を補正する。
【００９６】
マッチング部２９は、互いに隣接するカメラにより撮像された画像間において、上述した手法を利用することにより、撮影対象５と関連させつつ、画素位置毎に対応付けを行う。
【００９７】
両眼位置推定部７５は、立体視ディスプレイ８０を視認するユーザの頭部における３次元的な位置やサイズを、当該立体視ディスプレイ８０との間で相対的に検出する。この両眼位置推定部７５は、例えばステレオ視方式やレンジファインダ方式に基づいてリアルタイムな位置検出を行う距離計測装置等により適用される。この両眼位置推定部７５は、検出したユーザの頭部における３次元的な位置やサイズに基づき、三次元空間座標の下、ユーザの左眼位置並びに右眼位置を推定する。この両眼位置の推定については、例えば、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照しつつリアルタイムに実行するようにしてもよい。
【００９８】
情報生成部７６は、両眼位置推定部７５において推定された、ユーザの左眼位置並びに右眼位置をパラメータ化した相対位置情報を生成し、これを仮想視点画像生成部３０へ送信する。
【００９９】
仮想視点画像生成部３０は、マッチング部２９により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また、仮想視点画像生成部３０は、互いに対応付けされた画素位置並びにその輝度成分から、情報生成部７６より生成された相対位置情報に応じて、上記仮想視点画像Ｉｍａの代替として、左眼用視差画像並びに右眼用視差画像を生成する。
【０１００】
表示制御部７９は、仮想視点画像生成部３０により生成された左眼用視差画像と右眼用視差画像につき、立体視ディスプレイ８０における表示方法に応じて、各画素位置における輝度レベル（ＲＧＢ）を割り当てる。
【０１０１】
立体視ディスプレイ８０は、液晶パネル上に光学素子を組み合わせ、互いに異なる左眼用視差画像と右眼用視差画像を表示させる表示面であり、ユーザに対して専用眼鏡の着用を義務付ける必要がない点において優れている。
【０１０２】
図１０(a)は、点線で示される撮影対象５に対する各カメラ７１の相対的な位置関係を、実線で示される立体視ディスプレイ８０に対するユーザの視点の位置関係にそのまま重ね合わせて表示したものである。立体視ディスプレイ８０では、この撮影対象５に対する各カメラ７１の光学中心の相対的な位置関係が、立体視ディスプレイ８０を視認するユーザの左眼、右眼の視点位置の位置関係に合致する場合のみ立体視が実現されることになる。
【０１０３】
ここで、座標（０,０,０）上に位置する撮影対象５のＭ点へカメラ７１＿１〜７１＿８の光軸を合わせて撮像を行う場合に、これに立体視ディスプレイ８０の中心を重ね合わせることにより、その中心の座標が原点（０,０,０）に位置するように設定する。また両眼位置推定部７５により計測されたユーザの頭部位置の座標（ｘｎ,ｙｎ,ｚｎ）をこの原点座標（０,０,０）に基づき特定する。ちなみにユーザの頭部位置をいかに定義するかについては、撮像システム７側において任意に決定することができるが、例えば、ユーザの眉間中心を頭部位置として定義するようにしてもよい。
【０１０４】
仮にユーザの頭部が位置Ａにあるとき、両眼位置推定部７５はその座標（ｘａ,ｙａ,ｚａ）を特定する。またユーザの頭部が位置Ｂにあるとき、両眼位置推定部７５はその座標（ｘｂ,ｙｂ,ｚｂ）を特定する。またユーザの頭部が位置Ｃにあるとき、両眼位置推定部７５はその座標（ｘｃ,ｙｃ,ｚｃ）をそれぞれ特定する。ちなみに両眼位置推定部７５は、かかる座標の特定と同時に、ユーザの頭部のサイズを同時に識別する。
【０１０５】
両眼位置推定部７５は、これら特定したユーザの頭部位置（ｘｎ,ｙｎ,ｚｎ）の座標に基づき、ユーザの左眼位置並びに右眼位置を推定する。この推定は、例えば頭部位置Ａにつき特定した座標（ｘａ,ｙａ,ｚａ）と、識別したユーザ頭部のサイズに基づき、統計的な計測データを参照しつつ、図１０(b)に示すように、ユーザの左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）並びに右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）を推定する。これにより、立体視ディスプレイ２０の中心座標（０,０,０）に基づいた左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）並びに右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）を相対的に求めることが可能となる。
【０１０６】
ちなみに、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、それぞれ図１０(a)の点線で示されるカメラ７１＿１〜７１＿８の光学中心に位置している場合には、かかるカメラから取得される画像をそのまま左眼用視差画像と右眼用視差画像とすれば立体視が実現されることになる。しかし、それ以外の場合には、撮影対象５に対する各カメラ７１の相対的な位置関係から外れることになり、ユーザによる立体視の実現が困難となる。
【０１０７】
ここで、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、カメラ７１＿１〜７１＿８の光学中心以外に位置している場合であって、かつ図１０(a)に示すカメラ７１間の光学中心を結ぶラインＬｃ上に位置している場合には、左眼用視差画像（右眼用視差画像）を構成することのみで、かかる位置関係の調整を図る。
【０１０８】
例えば図１１に示すように、ユーザの頭部が位置Ｄにあり、また推定した左眼位置,右眼位置がそれぞれＶｃＬ１,ＶｃＲ１にあるとき、このＶｃＬ１,ＶｃＲ１に仮想的にカメラを設置して撮影対象５のＭ点（立体視ディスプレイ２０の中心座標（０,０,０）に相当する）を撮像した結果得られる画像が左眼用視差画像（右眼用視差画像）となるように調整する。
【０１０９】
かかる場合において、情報生成部７６は、上述の如く両眼位置推定部７５により推定された左眼位置ＶｃＬ１,右眼位置ＶｃＲ１をそれぞれ取得する。そして、この取得した左眼位置ＶｃＬ１を仮想的にカメラを設置する仮想位置ＷＬ１とし、これを実際に撮影対象５との間で相対的な位置関係を保ちつつ設置されているカメラ７１＿１〜カメラ７１＿８の位置関係に当てはめる。同様にして、取得した右眼位置ＶｃＲ１を仮想的にカメラを設置する仮想位置ＷＲ１とし、これを実際に撮影対象５との間で相対的な位置関係を保ちつつ設置されているカメラ７１＿１〜カメラ７１＿８の位置関係に当てはめる。
【０１１０】
例えば図１１に示すように、左眼位置ＶｃＬ１,右眼位置ＶｃＲ１の双方がカメラ７１＿４、７１＿５の間にある場合に、情報生成部７６は、カメラ７１＿４、７１＿５に対する左眼位置ＶｃＬ１並びに右眼位置ＶｃＲ１の位置関係を相対的に識別し、これに応じた相対位置情報としてｋＬ１、ｋＲ１をそれぞれ生成する。この相対位置情報としてのｋＬ１は、仮想位置ＷＬ１が、カメラ７１＿４から７１＿５にかけてｋＬ１：１−ｋＬ１の位置にあることを意味している。同様に、この相対位置情報としてのｋＲ１は、仮想位置ＷＲ１が、カメラ７１＿４から７１＿５にかけてｋＲ１：１−ｋＲ１の位置にあることを意味している。即ち、この相対位置情報としてのｋＬ１、ｋＲ１が小さくなるにつれて、仮想位置ＷＬ１,仮想位置ＷＲ１はカメラ７１＿４に近づき、またこの相対位置情報としてのｋＬ１、ｋＲ１が大きくなるにつれて仮想位置ＷＬ１,仮想位置ＷＲ１はカメラ７１＿５に近づくことになる。
【０１１１】
このため仮想視点画像生成部１８において、式（１１）に基づいて決定される左眼用視差画像（右眼用視差画像）上の画素ｍｖ’の座標（ｘｔ,ｙｔ）は、仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿４に近づくにつれて（ｘ１,ｙ１）に近づき、また仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿５に近づくにつれて（ｘ２,ｙ２）に近づくことになる。
【０１１２】
また、式（１２）に基づいて決定される左眼用視差画像（右眼用視差画像）上の画素ｍｖ’における輝度成分Ｐｔは、仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿４に近づくにつれてＪ１１’に近づき、また仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿５に近づくにつれてＪ１２’に近づくことになる。
【０１１３】
得られた左眼用視差画像（右眼用視差画像）は、ＶｃＬ１（ＶｃＲ１）に仮想的にカメラを設置した結果得られる画像に相当する。これらを表示制御部７９を介して立体視ディスプレイ８０へ表示させることにより、推定した左眼位置,右眼位置ＶｃＬ１,ＶｃＲ１にカメラを設置した結果得られる画像を左眼用視差画像,右眼用視差画像として出力することができる。
【０１１４】
図１２は、これら左眼用視差画像（右眼用視差画像）の構成例につき示している。仮に撮影対象５が人物の顔である場合において、カメラ７１＿４,７１＿５においてこれを撮影する。かかる場合にカメラ７１＿４は、撮影範囲の右端付近において捉えた撮影対象５としての人物を撮像し、またカメラ７１＿５は、撮影範囲の左端付近において捉えた撮影対象５としての人物を、カメラ７１＿４と異なる視点から撮像することになる。その結果、カメラ７１＿４により撮像される画像は、図１２に示すように右端付近において右側を向いている人物が示されている状態となり、またカメラ７１＿５により撮像される画像は、左端付近において左側を向いている人物が示されている状態となる。
【０１１５】
相対位置情報としてのｋが小さい場合（ｋ１の場合）において、仮想位置ＷＬ１a（仮想位置ＷＲ１a）は、カメラ７１＿４により近くなる。またこの仮想位置ＷＬ１aにつき、上記（１１）,（１２）式から求められる左眼用視差画像（右眼用視差画像）は、カメラ７１＿４に近い内容となる。
【０１１６】
また相対位置情報がｋ２からｋ４へと徐々に大きくなるにつれて、仮想位置は、ＷＬ１b（仮想位置ＷＲ１b）からＷＬ１d（仮想位置ＷＲ１d）へと、徐々にカメラ７１＿５へ近くなる。これに伴って、左眼用視差画像（右眼用視差画像）に示される画像は、右端付近から左端付近へ徐々に移り、また人物が向いている方向も右から左へ徐々に変化することになる。
【０１１７】
なお、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、ラインＬｃ上に位置していない場合には、構成した左眼用視差画像（右眼用視差画像）の視野を拡大又は縮小することにより位置関係の調整を図るようにしてもよい。
【０１１８】
このような立体視を実現する撮像システム７において、視差によるオクリュージョン領域が発生する場合であっても、マッチング部２９により精度良く対応付けを行うことができる。このため、立体視ディスプレイ８０を視認するユーザの視点位置に支配されることなく、視差のズレを高精度かつスムーズに解消することができ、ユーザに対してより自然な立体画像を常時提供することが可能となる。
【０１１９】
また、上述したカメラ中心を結ぶ線上での任意の仮想視点画像生成を利用することにより、視差のズレ等を解消させたホログラム立体写真を作成することも可能となる。
【図面の簡単な説明】
【０１２０】
【図１】本発明を適用した通信システムの概略を示す図である。
【図２】画像処理装置２の構成につき説明するための図である。
【図３】マッチング部における対応付けにつき説明するための図である。
【図４】各画像Ｐａ１,Ｐａ２の法線方向を合わせる正規化につき説明するための図である。
【図５】ＤＰを利用した対応付けにつき説明するための図である。
【図６】エピポーラ線Ｌ１,Ｌ１’上の任意の特徴点（ｘ,ｙ）に至るまでの最適経路を求める場合を示す図である。
【図７】正規化画像Ｐｍ１と正規化画像Ｐｍ２におけるエピポーラ線Ｌ１,Ｌ１’上にある各特徴点の画素成分（輝度又は色成分）の対応関係を示す図である。
【図８】仮想視点画像を作成する方法につき説明するための図である。
【図９】３Ｄ画像を生成する撮像システムにおける構成につき示す図である。
【図１０】立体視を実現する例につき説明するための図である。
【図１１】ユーザの視点位置に応じて仮想的にカメラを設置する例につき説明するための図である。
【図１２】左眼用視差画像（右眼用視差画像）の構成例につき説明するための図である。
【図１３】画面の左右に設置された２台のカメラにより撮像された各画像間につきステレオ視における対応付けを行う場合について説明するための図である。
【図１４】従来技術の問題点について説明するための図である。
【符号の説明】
【０１２１】
１  通信システム、２  画像処理装置、５  ディスプレイ、７  ネットワーク、１１,１２  カメラ、２０  補正部、２９  マッチング部、３０  仮想視点画像生成部、３１  出力制御部、３３  情報生成部
【図１】
2005157921.tif 000003
【図２】
2005157921.tif 000004
【図３】
2005157921.tif 000005
【図４】
2005157921.tif 000006
【図５】
2005157921.tif 000007
【図６】
2005157921.tif 000008
【図７】
2005157921.tif 000009
【図８】
2005157921.tif 000010
【図９】
2005157921.tif 000011
【図１０】
2005157921.tif 000012
【図１１】
2005157921.tif 000013
【図１２】
2005157921.tif 000014
【図１３】
2005157921.tif 000015
【図１４】
2005157921.tif 000016