"複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成方法であって、複数の視点に設置した複数の画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、前記基準画像取得工程において取得した前記基準画像中の形状情報を取得し、該取得した形状情報を、前記基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換工程と、前記仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得工程と、前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成工程と、前記基準画像取得工程で取得した前記基準画像、前記形状情報変換工程で変換した前記形状情報及び前記信頼性情報生成工程で生成した前記信頼性情報に基づいて、前記仮想視点情報取得工程で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成工程と、により、多視点画像を合成することを特徴とする多視点画像合成方法。請求項1に記載の多視点画像合成方法において、前記信頼性情報生成工程は、前記複数の画像取得手段で取得した前記基準画像を前記仮想視点情報取得工程で取得した前記仮想視点の位置にワープすることによって行う基準照合工程と、前記基準照合工程において生じる合成エラーを近似するエラー近似工程と、前記エラー近似工程において近似された合成エラーに基づいて信頼性を計算する信頼性計算工程と、により前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成方法。請求項1又は請求項2に記載の多視点画像合成方法において、前記画像合成工程は、前記信頼性情報生成工程において生成された信頼性に基づき、前記合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも1つをさらに行うことを特徴とする多視点画像合成方法。請求項3に記載の多視点画像合成方法において、前記画像の補間は、前記信頼性情報生成工程において生成された信頼性情報を前記基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を前記仮想視点にワープし、前記ワープした基準画像を重み付け補間することにより行うことを特徴とする多視点画像合成方法。請求項3又は請求項4に記載の多視点画像合成方法において、前記画像の正則化は、前記信頼性情報生成工程において生成した信頼性情報を用いて、前記仮想視点をワープした仮想画像に関する画像合成エネルギを定式化する定式化工程と、最適化手法を用いて前記定式化工程により定式化されたエネルギを最小化する最小化工程と、により前記画像を正則化することを特徴とする多視点画像合成方法。複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成システムであって、前記複数の視点に設置した画像取得手段と、前記画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得手段と、前記基準画像取得手段において取得した前記基準画像中の形状情報を取得し、該取得した形状情報を、前記基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換手段と、前記仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得手段と、前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成手段と、前記基準画像取得手段で取得した前記基準画像、前記形状情報変換手段で変換した前記形状情報及び前記信頼性情報生成手段で生成した前記信頼性情報に基づいて、前記仮想視点情報取得手段で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成手段と、を備えたことを特徴とする多視点画像合成システム。請求項6に記載の多視点画像合成システムにおいて、前記信頼性情報生成手段は、前記複数の画像取得手段で取得した前記基準画像を前記仮想視点情報取得手段で取得した前記仮想視点の位置にワープすることによって行う基準照合手段と、前記基準照合手段において生じる合成エラーを近似するエラー近似手段と、前記エラー近似手段において近似された合成エラーに基づいて信頼性を計算する信頼性計算手段と、により前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成システム。請求項6又は請求項7に記載の多視点画像合成システムにおいて、前記画像合成手段は、前記信頼性情報生成手段において生成された信頼性に基づき、前記合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも1つをさらに行うことを特徴とする多視点画像合成システム。請求項8に記載の多視点画像合成システムにおいて、前記画像の補間は、前記信頼性情報生成手段において生成された信頼性情報を前記基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を前記仮想視点にワープし、前記ワープした基準画像を重み付け補間することを特徴とする多視点画像合成システム。請求項8又は請求項9に記載の多視点画像合成システムにおいて、前記画像の正則化は、前記信頼性情報生成手段において生成した信頼性情報を用いて、前記仮想ビューに関するビュー合成エネルギを定式化する定式化手段と、最適化手法を用いて前記定式化手段により定式化されたエネルギを最小化する最小化手段と、により前記画像を正則化することを特徴とする多視点画像合成システム。ところが、上記従来型の多視点画像合成方法の問題として、不正確な形状及びレンダリングノイズによって生じるアーチファクトが対処されないこと、背景アーチファクトの低減が所定の境界に限定されること、及び前景のアーチファクトが排除されないことが挙げられる。本発明は、こうした問題に鑑みなされたもので、アーチファクトが少ない多視点画像合成技術を提供することを目的とする。上記発明が解決しようとする課題において述べた問題を解決するためになされた請求項1に記載の発明は、複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成方法であって、複数の視点に設置した複数の画像取得手段から、仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、基準画像取得工程において取得した基準画像中の形状情報を取得し、該取得した形状情報を、基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換工程と、仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得工程と、基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成工程と、基準画像取得工程で取得した基準画像、形状情報変換工程で変換した形状情報及び信頼性情報生成工程で生成した信頼性情報に基づいて、仮想視点情報取得工程で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成工程と、により、多視点画像を合成することを特徴とする多視点画像合成方法である。このような、多視点画像合成方法によれば、深度信頼性を考慮することによってビュー合成品質を向上させる。信頼性は、潜在的なビュー合成エラーに基づく。本発明の方法は、深度エラーによって生じる例えば、符号化又は送信エラーに起因する合成アーチファクトの低減に有効である。結果として、主観的及び客観的ビュー合成品質はいずれも向上し得る。請求項2に記載の発明は、請求項1に記載の多視点画像合成方法において、信頼性情報生成工程は、複数の画像取得手段で取得した基準画像を仮想視点情報取得工程で取得した仮想視点の位置にワープすることによって行う基準照合工程と、基準照合工程において生じる合成エラーを近似するエラー近似工程と、エラー近似工程において近似された合成エラーに基づいて信頼性を計算する信頼性計算工程と、により基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成方法。請求項3に記載の発明は、請求項1又は請求項2に記載の多視点画像合成方法において、画像合成工程は、信頼性情報生成工程において生成された信頼性に基づき、合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも1つをさらに行うことを特徴とする多視点画像合成方法である。請求項4に記載の発明は、請求項3に記載の多視点画像合成方法において、画像の補間は、信頼性情報生成工程において生成された信頼性情報を基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を仮想視点にワープし、ワープした基準画像を重み付け補間することにより行うことを特徴とする多視点画像合成方法である。請求項5に記載の発明は、請求項3又は請求項4に記載の多視点画像合成方法において、画像の正則化は、信頼性情報生成工程において生成した信頼性情報を用いて、仮想視点をワープした仮想画像に関する画像合成エネルギを定式化する定式化工程と、最適化手法を用いて定式化工程により定式化されたエネルギを最小化する最小化工程と、により画像を正則化することを特徴とする多視点画像合成方法である。請求項6に記載の発明は、複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成システムであって、複数の視点に設置した画像取得手段と、画像取得手段から、仮想視点画像の基準となる基準画像を取得する基準画像取得手段と、基準画像取得手段において取得した基準画像中の形状情報を取得し、該取得した形状情報を、基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換手段と、仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得手段と、基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成手段と、基準画像取得手段で取得した基準画像、形状情報変換手段で変換した形状情報及び信頼性情報生成手段で生成した信頼性情報に基づいて、仮想視点情報取得手段で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成手段と、を備えたことを特徴とする多視点画像合成システムである。このような、多視点画像合成システムによれば、請求項1に記載の多視点画像合成方法と同様な効果を得ることができる。請求項7に記載の発明は、請求項6に記載の多視点画像合成システムにおいて、信頼性情報生成手段は、複数の画像取得手段で取得した基準画像を仮想視点情報取得手段で取得した仮想視点の位置にワープすることによって行う基準照合手段と、基準照合手段において生じる合成エラーを近似するエラー近似手段と、エラー近似手段において近似された合成エラーに基づいて信頼性を計算する信頼性計算手段と、により基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成システムである。請求項8に記載の発明は、請求項6又は請求項7に記載の多視点画像合成システムにおいて、画像合成手段は、信頼性情報生成手段において生成された信頼性に基づき、合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも1つをさらに行うことを特徴とする多視点画像合成システムである。請求項9に記載の発明は、請求項8に記載の多視点画像合成システムにおいて、画像の補間は、信頼性情報生成手段において生成された信頼性情報を基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を仮想視点にワープし、ワープした基準画像を重み付け補間することを特徴とする多視点画像合成システムである。請求項10に記載の発明は、請求項8又は請求項9に記載の多視点画像合成システムにおいて、画像の正則化は、信頼性情報生成手段において生成した信頼性情報を用いて、仮想ビューに関するビュー合成エネルギを定式化する定式化手段と、最適化手法を用いて定式化手段により定式化されたエネルギを最小化する最小化手段と、により画像を正則化することを特徴とする多視点画像合成システムである。以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。図1は、多視点画像合成システム100の概略の構成を示すシステム図である。多視点画像合成システム100は、図1に示すように、多視点撮影サブシステム101、形状生成サブシステム102、送信/記憶サブシステム103及び仮想ビュー合成サブシステム104を備えている。多視点撮影サブシステム101は、図示しない複数のカメラにより静的又は動的のいずれかの画像を取得するマルチカメラ撮像システム10を含んでいる。このマルチカメラ撮像システム10を構成するカメラは、モノモーダル又はマルチモーダルのビデオ画像を撮像することができるものである。マルチカメラ撮像システム10で撮影されたビデオ画像は、較正又は修正によって前処理され、多視点画像105として、形状生成サブシステム102及び送信/記憶サブシステム103に出力される。なお、多視点撮影サブシステム101における較正又は修正の方法は、従来の技術によればよいため、説明を省略する。形状生成サブシステム102は、多視点画像105を用いて形状情報106を生成する。形状生成サブシステム102においては、曇り点形状情報pointcloudgeometryinformation又は3D形状情報がステレオ又は3D再構成によって推定される。なお、形状生成サブシステム102において生成される形状情報106は、不完全な形状生成によって生じるエラーを含んでいる可能性がある。送信/記憶サブシステム103は、多視点撮像サブシステム101において生成された多視点画像105及び形状生成サブシステム102において生成された形状情報106に対して、必要に応じて圧縮あるいは符号化を行い、基準画像107及び形状情報108として仮想ビュー合成サブシステム104に送信する。この際、圧縮または符号化は、送信ノイズの増加の原因となる。送信/記憶サブシステム103の出力として、送信された基準画像107及び形状情報108はいずれも、最初の多視点撮影サブシステム101による撮影、形状生成サブシステム102による形状抽出及び送信/記憶サブシステム103による送信に由来する不可避なエラーを含む。次に、図2に基づき、仮想ビュー合成サブシステム104の詳細について説明する。図2は、仮想ビュー合成サブシステム104の概略の構成を示すブロック図である。仮想ビュー合成サブシステム104は、ユーザインターフェースブロック1103、信頼性推論ブロック1101及びビュー合成ブロック1102の3つのサブブロックを備えている。ユーザインターフェースブロック1103は、実際のユーザ又は仮想プロキシのいずれかから予め定められた仮想視点命令を受け取る。仮想視点は、視点選択部1109によって選択される。仮想ビュー指定部1110では、相対的な仮想ビューが指定される。また、合成モード部1111は、視点選択部1109及び仮想ビュー指定部1110に関する事前情報を提供するアプリケーションの種類を表す。所要の仮想カメラ情報1112は、信頼性推論ブロック1101に送られる。基準照合部1104における基準照合は、仮想カメラ情報1112に近接した種々の基準視点に対して形状情報108を用いて基準画像107をワープすることによって実行される。ここで、図3に、基準照合のプロセスの例を示す。カメラ1201、カメラ1203及びアンカー基準カメラ1204は、基準画像107の基準カメラである。仮想カメラ1202及び仮想カメラ1205は、仮想カメラ情報1112図2参照によって決定される。カメラ1203を仮想カメラ1205に対して照合するために、カメラ1203は仮想カメラ1205に最も近接したカメラであるアンカー基準カメラ1204にワープされる。アンカー基準カメラ1204は、仮想カメラ1205の2番目に最も近接したカメラ1203によって照合される。他の照合1206は、各仮想ビューに対する各基準カメラに対して同様に行われる。3Dワーピングは、形状情報108図2参照を用いて基準ビューにおけるピクセルを3D空間に投影し、続いて、投影されたピクセルを目標カメラに投影することによって実行される。次に、図4に基づき、基準照合部1104で実行される基準照合処理について説明する。図4は、基準照合処理の流れを示すフローチャートである。基準照合処理では、S100にて、基準画像107、形状情報108及び仮想カメラ情報1112が入力される。続くS105では、S100において入力された基準画像107、形状情報108及び仮想カメラ情報1112に基づいて、相違計算が行われる。つまり、基準視点Rと仮想視点Vの相違SRVは、カメラパラメータ空間Cにおけるこれらの距離:SRV=||CR-CV||によって決定することができ、式中、CR及びCVはそれぞれR及びVのカメラパラメータである。||.||は任意のノルムであってよい。続くS110では、類似性分類処理が行われる。具体的には、S105において計算した基準視点Rと仮想視点Vの相違SRVに基づいて、類似性分類が行われる。つまり、最小のSRVを仮想ビューに最も近接した基準として有するアンカー基準1308が定義される。S115及びS120では、ワープ処理が行われる。S115及びS120のワーピング手順は、これらの形状情報106を有する基準画像107に基づく。S110に複数のアンカー基準が存在する場合、マルチワーピングがS115及びS120において採用され得る。続くS125では、ワープされた基準とアンカー基準の差分画像を生成する。続くS130では、S125において生成された差分画像が結合される。そして、続くS135において、各仮想視点に対する各基準に関する固有の照合エラーマップが計算される。S135において計算された照合エラーマップは、各入力基準画像107とその形状情報に対応する潜在的な合成エラーを近似するために使用され得る。合成エラー近似部1105図2参照は、基準照合部1104で得られた最初の照合エラーマップを仮想視点Vに投影することによって効率的に実行される。推定される潜在的な合成エラーは、基準視点Rと仮想視点Vの間のベースラインに基づいて調整される。ここで、図5及び図6に基づき、基準照合方法の詳細について説明する。図5は、種々の視点1401,1402,1403を対応するビュー1404,1405,1406及び形状情報1407,1408によってシミュレートしたときの図であり、図6は、種々の視点における境界領域に関するシミュレーションの結果を示す図である。視点1401,1403は、基準画像107から得られ、視点1402を生成するために選定される。形状情報1407,1408は、種々の視点におけるピクセル間の対応関係である。なお、最初の3D座標に基づく形状情報は対応情報に変換される。形状情報は、通常、不正な対応の原因となるエラーを境界付近に含む。対応関係は形状情報の表現である。ここで、図6に示すように、境界領域1501,1502は、2つの典型的な境界パターンである。境界領域1501では、背景が左側にあり、前景が右側にある。境界領域1502では、前景が左側にあり、背景が右側にある。ピクセル1503,1506は、視点1401基準視点における境界領域である。ピクセル1504,1507は、視点1402仮想視点における境界領域である。ピクセル1505,1508は、視点1403基準視点における境界領域である。なお、図6における形状情報は、各ピクセルの対応として表され、エラーのない完全なものであると見なされるが、実際には、図7に示されるように必ずしもエラーのない健全な対応付けができているとは限らない。図7は、合成エラー近似において、不完全な形状情報によって境界をシミュレートする場合の説明図である。境界領域1502は、一般性を失わずに、基準照合部1104によって照合されて不完全な形状情報1601によって生じる潜在的な合成エラーを推論する。合成エラー近似部1105では、仮想視点における潜在的な合成エラーは、基準照合部1104で実行される基準照合処理のS135において得られる照合エラー1307を仮想視点に正しく投影することによって近似されてよい。本明細書における潜在的な合成エラーは、効率的に近似されており、信頼性計算部1106において信頼性情報を計算するために利用されることになる。各仮想視点に対する各基準Rii=1、2...Nに対して、固有の近似エラーマップeiが合成エラー近似部1105において生成される。エラーマップeiにおける1つのピクセルpはeipである。この後、基準Riを有する仮想ピクセルpの信頼性ripがrip=feipと定義される。fはeipに関する減少関数である、つまり、信頼性は潜在的な合成エラーに逆比例する。関数fの形式は、潜在的な合成エラーの統計的分布に依存する。ワープされた基準RiがIiとして示される場合、明らかに、f、Ii、及びeiはf=Iieiという測定値関係を有する。eipがゼロ平均及び分散σip2を有するパーピクセルガウス分布である場合、信頼性は、下記式1に示すようにベーズ推論を用いてfの尤度を最大化することによって生成される。ここで、Pは画像全体のピクセルの集合であり、α、βはΓ分布のハイパーパラメータである。尤度確率を最大にすることは、確率が下記式2及び式3で表される場合に負の対数である尤度エネルギを最小にすることと同等である。なお、合成されたビューfに関する尤度エネルギは、基本的に下記式4で表される。それゆえ、信頼性は、下記式5で定義される。最終的な信頼性計算式は、rip=a/eipeipbであり、式中、a及びbは信頼性の影響を調整するために使用され得るユーザパラメータである。なお、非ガウス合成エラーを有する信頼性は同様に定義されてよい。上記の信頼性定義を使用すると、信頼性計算部1106は、仮想視点に対する各基準ピクセルに関して固有の信頼性数値ripを生成する。信頼性情報1113は、各仮想視点を有する各基準に対して空間的に変化している。2進信頼性は、rip=0eip>閾値、かつrip=1eip≦閾値と定式化することができる。合成エラーの閾値は、有意な強度差分値であるように設定される。ビュー合成ブロック1102は、基準画像107、形状情報108、仮想カメラ情報1112及び信頼性情報1113を用いて2種類の信頼性に基づくビュー合成ソリューションを提供する。ここで、図8に基づき、ビュー合成ブロック1102において実行されるビュー合成処理について説明する。図8は、ビュー合成処理の流れを示すフローチャートである。ビュー合成処理では、図8に示すように、まずS500において、基準画像107、形状情報108、仮想カメラ情報1112及び信頼性情報1113が取得される。続くS505において、S500において取得された基準画像107、形状情報108、仮想カメラ情報1112及び信頼性情報1113に基づいて、各基準画像107を仮想視点にワープさせる。つまり、S505において、各基準Riが、最終ビュー合成のためにIiとして仮想視点にワープされる。続くS510では、ユーザインターフェースブロック1103からスイッチ命令を取得する。続くS515では、S510において取得したユーザインターフェースブロック1103のスイッチ命令に応じて、処理の分岐が信頼性に基づく補間図2の信頼性に基づく補間部1197に相当か信頼性に基づく正則化信頼性に基づく正則化部1108に相当ユーザアプリケーション要件又は自動アプリケーション要件のいずれかによってが決定される。スイッチ命令が信頼性に基づく補間の場合S515:Yes、処理がS520へ移行され、信頼性に基づく正則化の場合S515:No、処理がS525へ移行される。S520における信頼性に基づく補間のソリューションは、前景アーチファクト及び背景アーチファクトの両方を効率的に低減し得る。主観的品質は著しく改善されるが、客観的品質も改善される。仮想視点におけるピクセルpの合成された色強度fpは、下記式6で表される。S525における信頼性に基づく正則化のソリューションは、マルコフ確率場によって残留合成ノイズを正則化し得る。仮想ビューの主観的品質及び客観的品質はいずれも著しく改善される。これは、極めて高い品質の仮想ビューfを生成する。合成されたfは下記式7及び式8によって生成される。ここで、Pは仮想ビューの全ピクセル集合である。qはpの隣接するピクセルである。この隣接に基づく正則化は、残留ノイズだけでなくアーチファクトも抑制する。正則化項は、任意の適切な先行する項priortermによってさらに置き換えられ得る。最近の最適化手法グラフカット法、信念伝播、ダイナミックプログラミングなどがエネルギ最小化を解決するために採用されてよい。S530では、後処理が行われる。後処理は、S520での信頼性に基づく補間及びS525での信頼性に基づく正則化における以前のソリューションの間にハイブリッドソリューションを組み入れることによって合成品質を効率的にさらに改善し得る。S530における後処理によって得られる出力が仮想ビュー109である。仮想ビュー109は、3DTV、自由視点TVFTV、多視点ビデオ符号化及び他の視覚アプリケーション仮想現実、仮想ナビゲーション、画像に基づくレンダリングなどに不可欠である。図9は、ビデオシーケンスChampagne_towerに関するPSNRを従来方法と本発明に係る方法とで比較した図である。図9において、黒点で従来のPSNRを示し、白抜きの点で本発明によるPSNRを示している。図9に示すように、本発明に係る方法によれば、従来の方法に比べ、PSNRが約31.25[dB]から約33[dB]へと1.75[dB]ほど改善されていることが分かる。[その他の実施形態]以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。1信頼性は、潜在的な合成エラーの関数として定義されるものであり、上記実施形態において定義した関数以外のものであってもよい。2信頼性に基づくビュー補間は正規化された空間的に変化する信頼性を用いて各ピクセルに重み付けすることによって仮想ビューを生成するものであればよい。3また、信頼性に基づく正則化は、様々な大域的最適化手法グラフカット法、信念伝播、ダイナミックプログラミングなどによって解かれ得るエネルギ関数に信頼性を組み入れ可能なものであればよい。"