(57)【要約】【課題】ある場面の新規視点を生成できるより頑強なシステムおよび方法を提供すること。【解決手段】新規視点内挿を生成するシステムおよび方法において、特徴符合および幾何学的コンテクストを用いて局所的な線形変換の仮定に基づき付加的符合を見出し、符合の合致の精度および数は反復的精緻化により高めることができる。符合のセットが得られると、新規視点画像を生成する。【選択図】図１
2011108231.tif 000002
【特許請求の範囲】
【請求項１】
1つ以上の命令シーケンスを記憶する少なくとも1つのコンピューター読み取り可能な媒
体を有してなるコンピュータープログラム製品であって、
前記1つ以上の命令シーケンスを1つ以上のプロセッサーで実行すると、前記1つ以上の
プロセッサーは、
一視点から撮られた場面の基準画像における特徴のセットと異なる視点から撮られた画
像のセットの少なくともいくつかとの間の符合のセットを形成するステップと、
前記基準画像においてエッジピクセルを検出するステップと、
前記基準画像において検出された前記エッジピクセルから取られたエッジピクセルのセ
ットからの各エッジピクセルについて、前記画像のセットの少なくともいくつか各々にお
いて合致するピクセルの選択を補助するために前記符合のセットから選択された局所符合
を用いるステップであって、前記エッジピクセルおよび合致するピクセルはピクセルの合
致グループを形成するステップと、
前記合致グループの少なくともいくつかを調べ、前記ピクセルのある合致グループが許
容できることに応答して前記合致グループを前記符合のセットに加え、前記符合のセット
を用いて前記場面の新規視点を生成するステップと、
を実施するコンピュータープログラム製品。
【請求項２】
前記基準画像において検出された前記エッジピクセルから取られたエッジピクセルのセ
ットからの各エッジピクセルについて、前記画像のセットの少なくともいくつか各々にお
いて合致するピクセルの選択を補助するために前記符合のセットから選択された局所符合
を用いるステップであって、前記エッジピクセルおよび合致するピクセルはピクセルの合
致グループを形成するステップは、前記エッジピクセルのセットからの各エッジピクセル
について、さらに、
前記基準画像において前記符合のセットから選択された最近傍ピクセルのセットを特定
するステップと、
前記画像のセットから選択された画像の少なくともいくつかの画像各々について、
前記選択された前記最近傍のセットおよび前記符合のセットから得られた画像における
それらの符合ピクセルを用いて前記基準画像と前記画像セットからの画像との間の変換を
演算するステップと、
前記変換を前記基準画像のエッジピクセルに適用して前記画像のセットからの画像にお
ける変換ピクセルを得るステップと、
前記基準画像においてエッジピクセルを含む局所窓を前記画像のセットからの前記画像
における変換ピクセルを含む局所窓にテンプレート的にマッチングし前記基準画像におけ
るエッジピクセルに対応する符合ピクセルを特定するステップであって、前記符合ピクセ
ルは合致ピクセルとみなされるステップとを有する請求項１に記載のコンピュータープロ
グラム製品。
【請求項３】
前記合致グループの少なくともいくつかを調べ、前記ピクセルのある合致グループが許
容できることに応答して前記合致グループを前記符合のセットに加えるステップは、
前記ピクセルの合致グループの少なくともいくつか各々について、
前記ピクセルの合致グループから少なくともいくつかのピクセルを用いて三次元の点を
演算するステップと、
前記三次元の点を前記基準画像および前記画像のセットを有してなるグループから選択
された少なくともいくつかの前記画像に投影するステップと、
前記投影された三次元の点のエラー値を演算するステップと、
前記エラー値が閾値未満であることに応答して、前記合致グループを符合のセットに加
えるステップとをさらに有する請求項１に記載のコンピュータープログラム製品。
【請求項４】
前記投影された三次元の点のエラー値を演算するステップは、
前記基準画像および前記画像のセットを有してなるグループから選択された少なくとも
いくつかの画像各々について、前記投影された三次元の点と前記ピクセルの合致グループ
からの画像における符合ピクセルとの間のオフセット値を演算するステップと、
前記オフセット値を平均化してエラー値を得るステップとを有する請求項３に記載のコ
ンピュータープログラム製品。
【請求項５】
前記カメラ視点のセットを較正するステップであって、前記カメラ視点のセットにおけ
る各カメラ視点は固有の位置を有し前記画像のセット向けに画像を生成するステップと、
前記カメラ視点を調整するステップとをさらに有する請求項１に記載のコンピューター
プログラム製品。
【請求項６】
前記符合のセットを用いて場面の新規視点を生成するステップは、
前記符合のセットから三次元の点を得るステップと、
前記三次元の点の三次元三角形分割メッシュを生成するステップと、
前記新規視点の各ピクセルについて、
前記場面の新規視点の投影行列が与えられると、前記ピクセルに対する三次元光線を演
算するステップと、
前記三次元の三角形分割メッシュ上で前記三次元光線が前記三次元三角形メッシュと交
差する交差点を特定するステップと、
前記基準画像および画像のセットを有してなるグループからの少なくともいくつかの画
像各々について、
前記交差点から前記画像へ光線を投影するステップと、
前記光線と前記画像の交差に基づき前記画像におけるピクセルを特定するステップと
前記光線と前記三次元光線との間の角度を特定するステップと、
前記角度を用いて特定されたピクセルのピクセル色を融合して新規視点のピクセルに対
し色値を得るステップとを有する請求項１に記載のコンピュータープログラム製品。
【請求項７】
前記角度を用いて特定されたピクセルのピクセル色を融合して新規視点のピクセルに対
し色値を得るステップは、
前記光線と前記三次元光線との間の最大角度を特定するステップと、
前記少なくともいくつかの画像の各画像について、前記画像への光線と前記三次元光線
との間の角度および前記最大角度を用いて加重係数を計算するステップと、
前記加重係数を正規化するステップと、
前記新規視点におけるピクセルに対する色値を、前記特定されたピクセルの色を各々の
正規化加重係数で掛けた和として計算するステップと有する請求項６に記載のコンピュー
タープログラム製品。
【請求項８】
前記三次元の三角形分割メッシュ上で前記三次元光線が前記三次元三角形メッシュと交
差する交差点は最前面の交差点である請求項６に記載のコンピュータープログラム製品。
【請求項９】
場面の新規視点を生成するシステムであって、
異なる視点で撮られた場面の画像のセットを受信する1つ以上のインターフェイスと、
前記画像のセットを記憶するデータ記憶装置と、
1つ以上のプロセッサーおよび1つ以上の命令シーケンスを記憶する少なくとも1つのコ
ンピューター読み取り可能な媒体とを有し、
前記1つ以上の命令シーケンスを前記1つ以上のプロセッサーで実行すると前記1つ以上
のプロセッサーは、
一視点から撮られた場面の基準画像における特徴のセットと異なる視点から撮られた画
像のセットの少なくともいくつかとの間の符合のセットを形成するステップと、
前記基準画像においてエッジピクセルを検出するステップと、
前記基準画像において検出された前記エッジピクセルから取られたエッジピクセルのセ
ットからの各エッジピクセルについて、前記画像のセットの少なくともいくつか各々にお
いて合致するピクセルの選択を補助するために前記符合のセットから選択された局所符合
を用いるステップであって、前記エッジピクセルおよび前記合致するピクセルはピクセル
の合致グループを形成するステップと、
前記合致グループの少なくともいくつかを調べ、前記ピクセルのある合致グループが許
容できることに応答して前記合致グループを前記符合のセットに加えるステップと、
前記符合のセットを用いて前記場面の新規視点を生成するステップとを有する場面の新
規視点を生成するシステム。
【請求項１０】
前記基準画像において検出された前記エッジピクセルから取られたエッジピクセルのセ
ットからの各エッジピクセルについて、前記画像のセットの少なくともいくつか各々にお
いて合致するピクセルの選択を補助するために前記符合のセットから選択された局所符合
を用いるステップであって、前記エッジピクセルおよび前記合致するピクセルはピクセル
の合致グループを形成するステップは、
前記エッジピクセルのセットからの各エッジピクセルについて、
前記基準画像において前記符合のセットから選択された最近傍ピクセルのセットを特定
するステップと、
前記画像のセットから選択された画像の少なくともいくつかの画像各々について、
前記選択された最近傍のセットおよび前記符合のセットから得られた画像におけるそれ
らの符合ピクセルを用いて前記基準画像と前記画像セットからの画像との間の変換を演算
するステップと、
前記変換を前記基準画像のエッジピクセルに適用して前記画像のセットからの前記画像
における変換ピクセルを得るステップと、
前記基準画像においてエッジピクセルを含む局所窓を前記画像のセットからの画像にお
いて前記変換ピクセルを含む局所窓にテンプレート的にマッチングし前記基準画像におけ
るエッジピクセルに対応する符合ピクセルを特定するステップであって、前記符合ピクセ
ルは合致ピクセルとみなされるステップとを有する請求項９に記載の場面の新規視点を生
成するシステム。
【請求項１１】
前記合致グループの少なくともいくつかを調べ、前記ピクセルのある合致グループが許
容できることに応答して前記合致グループを前記符合のセットに加えるステップは、前記
ピクセルの合致グループの少なくともいくつか各々について、
前記ピクセルの合致グループから少なくともいくつかのピクセルを用いて三次元の点を
演算するステップと、
前記三次元の点を前記基準画像および前記画像のセットを有してなるグループから選択
された少なくともいくつかの前記画像に投影するステップと、
前記投影された三次元の点のエラー値を演算するステップと、
前記エラー値が閾値未満であることに応答して、前記合致グループを前記符合のセット
に加えるステップとを有する請求項９に記載の場面の新規視点を生成するシステム。
【請求項１２】
前記投影された三次元の点のエラー値を演算するステップは、
前記基準画像および前記画像のセットを有してなるグループから選択された少なくとも
いくつかの前記画像各々について、前記投影された三次元の点と前記ピクセルの合致グル
ープからの前記画像における符合ピクセルとの間のオフセット値を演算するステップと、
前記オフセット値を平均化してエラー値を得るステップとを有する請求項１１に記載の
場面の新規視点を生成するシステム。
【請求項１３】
カメラ視点のセットを較正するステップであって、前記カメラ視点のセットにおける各
カメラ視点は固有の位置を有し前記画像のセット向けに画像を生成するステップと、
前記カメラ視点を調整するステップとをさらに有する請求項９に記載の場面の新規視点
を生成するシステム。
【請求項１４】
前記符合のセットを用いて前記場面の新規視点を生成するステップは、
前記符合のセットから三次元の点を得るステップと、
前記三次元の点の三次元三角形分割メッシュを生成するステップと、
前記新規視点の各ピクセルについて、
前記場面の新規視点の投影行列が与えられると、前記ピクセルに対する三次元光線を演
算するステップと、
前記三次元の三角形分割メッシュ上で前記三次元光線が前記三次元三角形メッシュと交
差する交差点を特定するステップと、
前記基準画像および前記画像のセットを有するグループからの少なくともいくつかの前
記画像各々について、
前記交差点から前記画像へ光線を投影するステップと、
前記光線と前記画像の交差に基づき前記画像におけるピクセルを特定するステップと、
前記光線と前記三次元光線との間の角度を特定するステップと、
前記角度を用いて特定されたピクセルのピクセル色を融合して新規視点のピクセルに対
し色値を得るステップとを有する請求項９に記載の場面の新規視点を生成するシステム。
【請求項１５】
前記角度を用いて特定されたピクセルのピクセル色を融合して新規視点のピクセルに対
し色値を得るステップはさらに、
前記光線と前記三次元光線との間の最大角度を特定するステップと、
少なくともいくつかの前記画像の各画像について、前記画像への光線と前記三次元光線
との間の角度および最大角度を用いて加重係数を計算するステップと、
前記加重係数を正規化するステップと、
前記新規視点におけるピクセルに対する色値を、前記特定されたピクセルの色を各々の
正規化加重係数で掛けた和として計算するステップとを有する請求項１４に記載の場面の
新規視点を生成するシステム。
【請求項１６】
前記インターフェイスは前記画像のセットを取り込むためのセンサーを有する請求項９
に記載の場面の新規視点を生成するシステム。
【請求項１７】
1つ以上の命令シーケンスを記憶する少なくとも1つのコンピューター読み取り可能な媒
体を有してなるコンピュータープログラム製品であって、
前記1つ以上の命令シーケンスを1つ以上のプロセッサーで実行すると前記1つ以上のプ
ロセッサーは場面の新規視点を生成する方法を実行するものであり、
前記方法は、
前記場面の1つの視点から撮った場面の基準画像と前記場面の別の視点から撮った第2画
像との間で符合のセットを得るステップと、
前記符合のセットおよび局所コンテクスト情報を用いて前記基準画像と前記第2画像と
の間で付加符合を特定するステップであって、前記付加符合は前記符合のセットに加えら
れるステップと、
前記符合のセットからの少なくともいくつかの符合から得られた三次元座標を用いて三
次元メッシュを構築するステップと、
新規視点のピクセルから前記三次元のメッシュへの投影を用いて前記場面の新規視点を
表現し前記基準画像および前記第2画像からピクセル色値を特定し、特定された前記ピク
セル色値を融合するための加重係数を特定するステップとを有するコンピュータープログ
ラム製品。
【請求項１８】
前記新規視点のピクセルから前記三次元のメッシュへの投影を用いて前記場面の新規視
点を表現し前記基準画像および前記第2画像からピクセル色値を特定し、特定された前記
ピクセル色値を融合するための加重係数を特定するステップはさらに、前記新規視点の各
ピクセルについて、
前記場面の前記新規視点に対する投影行列が与えられると、前記ピクセルの三次元光線
を演算するステップと、
前記三次元光線が前記三次元メッシュと交差する三次元メッシュ上の交差点を特定する
ステップと、
前記基準画像および前記第2画像の各々について、
前記交差点から前記画像のカメラ中心へ光線を投影するステップと、
前記光線が交差する前記画像におけるピクセルを特定するステップと、
前記光線と前記三次元光線との間の角度を判定するステップと、
前記角度を用いて前記新規視点におけるピクセルの色値を得、前記特定されたピクセル
の色を融合するための加重係数を生成するステップとを有する請求項１７に記載のコンピ
ュータープログラム製品。
【請求項１９】
前記角度を用いて前記新規視点におけるピクセルの色値を得、前記特定されたピクセル
の色を融合するための加重係数を生成するステップは、
前記基準画像および前記第2画像の各々に対し、より小さい角度にはより大きい角度よ
り高い加重係数が与えられるように各々の角度を用いて前記加重係数を生成するステップ
と、
前記新規視点における前記ピクセルに対する色値を、前記特定されたピクセルに各々の
加重係数を掛けた和として計算するステップとを有する請求項１８に記載のコンピュータ
ープログラム製品。
【請求項２０】
前記符合のセットおよび局所コンテクスト情報を用いて前記基準画像と前記第2画像と
の間で付加符合を特定するステップであって、前記付加符合は前記符合のセットに加えら
れるステップは、さらに、
前記基準画像におけるエッジピクセルを検出するステップと、
前記エッジピクセルのセットからの各エッジピクセルについて、
前記基準画像において前記符合のセットから選択された最近傍ピクセルのセットを特定
するステップと、
前記選択された最近傍ピクセルのセットおよび前記符合のセットから得られた前記第2
画像におけるそれらに符合するピクセルを用いて前記基準画像と前記第2画像との間の変
換を演算するステップと、
前記変換を前記基準画像におけるエッジピクセルに適用して前記第2画像における変換
ピクセルを得るステップと、
前記基準画像においてエッジピクセルを含む局所窓を前記第2画像において前記変換ピ
クセルを含む局所窓にマッチングし前記第2画像において前記基準画像におけるエッジピ
クセルに対応する符合ピクセルを特定するステップとを有する請求項１７に記載のコンピ
ュータープログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）
本出願は35 U．S．C． Section 119（e）に基づき2009年11月17日に申請され、チュン
ユガオおよびジンシャオを発明者として記載する、同時係属で本出願の譲受人に譲渡され
た「コンテクストで特化された新規視点内挿」（“Ｃｏｎｔｅｘｔ  Ｃｏｎｓｔｒａｉｎ
ｅｄ  Ｎｏｖｅｌ  Ｖｉｅｗ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ”）と題する米国特許出願番
号61／262，015の特典を主張し、引用により本明細書に組み入れられる。
【０００２】
（技術分野）
本発明は一般的にカメラまたは映像システムに関し、より具体的にはある場面の新規視
点を生成することに関する。
【背景技術】
【０００３】
新規視点内挿（NVI）は他の視点から新しい、または新規の画像視点を内挿または合成
することを扱う。新視点を合成するには広範な方法があり、幾何学的形状なしのNVI、明
示的な幾何学的形状を有するNVI、および黙示的な幾何学的形状を有するNVI、の3つの一
般的な部類に分類できる。
【０００４】
光線空間レンダリングは第1部類に属する。この方法は場面の幾何学的形状を仮定しな
いが、入力画像を取り込むために多数のカメラが使用されるため、用途が限定される。
第2部類における方法は基準画像すべてからピクセルを投影することにより仮想視点を
生成する。従って、この部類の方法は新規視点を合成するために正確な幾何学的形状を必
要とする。この部類の代表的な方法には視点依存のテクスチャーマッピング、3Dワープ、
階層化奥行き画像、およびワイドベースラインステレオが含まれる。これらの方法は正確
な幾何学的形状を得るために一般的に立体マッチングを採用しており、これは立体視の分
野においては相当な難題である。
【０００５】
黙示的な幾何学的形状を有するNVIは第1と第2部類との兼ね合いを見出そうとし、より
少ない数の画像を要し、幾何学的形状の正確さをそれほど必要としない。この部類におけ
る方法では新規視点とその奥行きが同時に推定される。この部類における方法は最尤見積
り（MLE）問題としてNVIをモデル化する。特化が不十分のために、良好な解を得るために
強力な事前分布を必要とする。例えば、マルコフ確率場（MRF）モデルにおける事前分布
としてテクスチャー辞書が用いられている。この研究は異なる事前分布、エキスパート場
、およびペア辞書を用いることにより拡張されている。これらの方法は観察データから独
立した仮定という不利な点を有する。この制約を取り除くために条件付確率場（CRF）に
基づくNVI方法が提案されている。これらの方法は良好な結果をもたらすようであるが、
入力画像は常に高画質である。この部類における現在のアルゴリズムは大きな視点変更の
NVIに与える効果にいくらか注目した上で閉塞問題に焦点を当てる傾向がある。例えば放
射性変形、テクスチャーなし、および非均等拡散面などの、他の複雑な場面についての研
究は探求されていない（例えば特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２００９／０２６２２０６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
新規視点を生成するために他の視点から情報を抽出しようとるすいくつかの新規視点内
挿アルゴリズムはいくつかあるが、複雑な場面が呈するいくつかの難題は従来良好な新規
視点内挿への障害となっている。これらの難題には不良な位置付けされたポーズ、場面内
の透明性、閉塞、変形、照明、および大きな視点変化が含まれるが、これらに限定されな
い。さらに、複雑な場面における新規視点内挿は他のいくつかの問題に悩まされ得、これ
には例えば放射性変形、テクスチャーなし、および非均等拡散面、ならびに複雑な構造（
例、髪、樹木、等々）が含まれる。これらの複雑なシナリオは点符合に対する信頼できる
情報を提供することができず、通常多数の偽陽性の合致を生成する。これらNVIに関する
特殊な方法を用いてこれらの難しいシナリオの1つや2つに対応することはできるものの、
それらの本質的な弱点により他のシナリオには不適当である。
【０００８】
場面はこれらの難題の1つ以上を含み、またはそれらに悩まされるので、ある場面の新
視点を正しく内挿するのは難しい。従って、場面の新規視点を生成できるより頑強なシス
テムが必要である。
【課題を解決するための手段】
【０００９】
本発明のコンピュータープログラム製品は、1つ以上の命令シーケンスを記憶する少な
くとも1つのコンピューター読み取り可能な媒体を有してなるコンピュータープログラム
製品であって、
前記1つ以上の命令シーケンスを1つ以上のプロセッサーで実行すると、前記1つ以上の
プロセッサーは、
一視点から撮られた場面の基準画像における特徴のセットと異なる視点から撮られた画
像のセットの少なくともいくつかとの間の符合のセットを形成するステップと、
前記基準画像においてエッジピクセルを検出するステップと、
前記基準画像において検出された前記エッジピクセルから取られたエッジピクセルのセ
ットからの各エッジピクセルについて、前記画像のセットの少なくともいくつか各々にお
いて合致するピクセルの選択を補助するために前記符合のセットから選択された局所符合
を用いるステップであって、前記エッジピクセルおよび合致するピクセルはピクセルの合
致グループを形成するステップと、
前記合致グループの少なくともいくつかを調べ、前記ピクセルのある合致グループが許
容できることに応答して前記合致グループを前記符合のセットに加え、前記符合のセット
を用いて前記場面の新規視点を生成するステップとを実施することを特徴とする。
【００１０】
また、本発明のコンピュータープログラム製品において、前記基準画像において検出さ
れた前記エッジピクセルから取られたエッジピクセルのセットからの各エッジピクセルに
ついて、前記画像のセットの少なくともいくつか各々において合致するピクセルの選択を
補助するために前記符合のセットから選択された局所符合を用いるステップであって、前
記エッジピクセルおよび合致するピクセルはピクセルの合致グループを形成するステップ
は、前記エッジピクセルのセットからの各エッジピクセルについて、さらに、
前記基準画像において前記符合のセットから選択された最近傍ピクセルのセットを特定
するステップと、
前記画像のセットから選択された画像の少なくともいくつかの画像各々について、
前記選択された前記最近傍のセットおよび前記符合のセットから得られた画像における
それらの符合ピクセルを用いて前記基準画像と前記画像セットからの画像との間の変換を
演算するステップと、
前記変換を前記基準画像のエッジピクセルに適用して前記画像のセットからの画像にお
ける変換ピクセルを得るステップと、
前記基準画像においてエッジピクセルを含む局所窓を前記画像のセットからの前記画像
における変換ピクセルを含む局所窓にテンプレート的にマッチングし前記基準画像におけ
るエッジピクセルに対応する符合ピクセルを特定するステップであって、前記符合ピクセ
ルは合致ピクセルとみなされるステップとを有することを特徴とする。
【００１１】
また、本発明のコンピュータープログラム製品において、前記合致グループの少なくと
もいくつかを調べ、前記ピクセルのある合致グループが許容できることに応答して前記合
致グループを前記符合のセットに加えるステップは、
前記ピクセルの合致グループの少なくともいくつか各々について、
前記ピクセルの合致グループから少なくともいくつかのピクセルを用いて三次元の点を
演算するステップと、
前記三次元の点を前記基準画像および前記画像のセットを有してなるグループから選択
された少なくともいくつかの前記画像に投影するステップと、
前記投影された三次元の点のエラー値を演算するステップと、
前記エラー値が閾値未満であることに応答して、前記合致グループを符合のセットに加
えるステップとをさらに有することを特徴とする。
【００１２】
また、本発明のコンピュータープログラム製品において、前記投影された三次元の点の
エラー値を演算するステップは、
前記基準画像および前記画像のセットを有してなるグループから選択された少なくとも
いくつかの画像各々について、前記投影された三次元の点と前記ピクセルの合致グループ
からの画像における符合ピクセルとの間のオフセット値を演算するステップと、
前記オフセット値を平均化してエラー値を得るステップとを有することを特徴とする。
【００１３】
また、本発明のコンピュータープログラム製品において、前記カメラ視点のセットを較
正するステップであって、前記カメラ視点のセットにおける各カメラ視点は固有の位置を
有し前記画像のセット向けに画像を生成するステップと、
前記カメラ視点を調整するステップとをさらに有することを特徴とする。
【００１４】
また、本発明のコンピュータープログラム製品において、前記符合のセットを用いて場
面の新規視点を生成するステップは、
前記符合のセットから三次元の点を得るステップと、
前記三次元の点の三次元三角形分割メッシュを生成するステップと、
前記新規視点の各ピクセルについて、
前記場面の新規視点の投影行列が与えられると、前記ピクセルに対する三次元光線を演
算するステップと、
前記三次元の三角形分割メッシュ上で前記三次元光線が前記三次元三角形メッシュと交
差する交差点を特定するステップと、
前記基準画像および画像のセットを有してなるグループからの少なくともいくつかの画
像各々について、
前記交差点から前記画像へ光線を投影するステップと、
前記光線と前記画像の交差に基づき前記画像におけるピクセルを特定するステップと
前記光線と前記三次元光線との間の角度を特定するステップと、
前記角度を用いて特定されたピクセルのピクセル色を融合して新規視点のピクセルに対
し色値を得るステップとを有することを特徴とする。
【００１５】
また、本発明のコンピュータープログラム製品において、前記角度を用いて特定された
ピクセルのピクセル色を融合して新規視点のピクセルに対し色値を得るステップは、
前記光線と前記三次元光線との間の最大角度を特定するステップと、
前記少なくともいくつかの画像の各画像について、前記画像への光線と前記三次元光線
との間の角度および前記最大角度を用いて加重係数を計算するステップと、
前記加重係数を正規化するステップと、
前記新規視点におけるピクセルに対する色値を、前記特定されたピクセルの色を各々の
正規化加重係数で掛けた和として計算するステップと有することを特徴とする。
【００１６】
また、本発明のコンピュータープログラム製品において、前記三次元の三角形分割メッ
シュ上で前記三次元光線が前記三次元三角形メッシュと交差する交差点は最前面の交差点
であることを特徴とする。
【００１７】
ここで、本発明の場面の新規視点を生成するシステムは、
異なる視点で撮られた場面の画像のセットを受信する1つ以上のインターフェイスと、
前記画像のセットを記憶するデータ記憶装置と、
1つ以上のプロセッサーおよび1つ以上の命令シーケンスを記憶する少なくとも1つのコ
ンピューター読み取り可能な媒体とを有し、
前記1つ以上の命令シーケンスを前記1つ以上のプロセッサーで実行すると前記1つ以上
のプロセッサーは、
一視点から撮られた場面の基準画像における特徴のセットと異なる視点から撮られた画
像のセットの少なくともいくつかとの間の符合のセットを形成するステップと、
前記基準画像においてエッジピクセルを検出するステップと、
前記基準画像において検出された前記エッジピクセルから取られたエッジピクセルのセ
ットからの各エッジピクセルについて、前記画像のセットの少なくともいくつか各々にお
いて合致するピクセルの選択を補助するために前記符合のセットから選択された局所符合
を用いるステップであって、前記エッジピクセルおよび前記合致するピクセルはピクセル
の合致グループを形成するステップと、
前記合致グループの少なくともいくつかを調べ、前記ピクセルのある合致グループが許
容できることに応答して前記合致グループを前記符合のセットに加えるステップと、
前記符合のセットを用いて前記場面の新規視点を生成するステップとを有することを特
徴とする。
【００１８】
また、本発明の場面の新規視点を生成するシステムにおいて、前記基準画像において検
出された前記エッジピクセルから取られたエッジピクセルのセットからの各エッジピクセ
ルについて、前記画像のセットの少なくともいくつか各々において合致するピクセルの選
択を補助するために前記符合のセットから選択された局所符合を用いるステップであって
、前記エッジピクセルおよび前記合致するピクセルはピクセルの合致グループを形成する
ステップは、
前記エッジピクセルのセットからの各エッジピクセルについて、
前記基準画像において前記符合のセットから選択された最近傍ピクセルのセットを特定
するステップと、
前記画像のセットから選択された画像の少なくともいくつかの画像各々について、
前記選択された最近傍のセットおよび前記符合のセットから得られた画像におけるそれ
らの符合ピクセルを用いて前記基準画像と前記画像セットからの画像との間の変換を演算
するステップと、
前記変換を前記基準画像のエッジピクセルに適用して前記画像のセットからの前記画像
における変換ピクセルを得るステップと、
前記基準画像においてエッジピクセルを含む局所窓を前記画像のセットからの画像にお
いて前記変換ピクセルを含む局所窓にテンプレート的にマッチングし前記基準画像におけ
るエッジピクセルに対応する符合ピクセルを特定するステップであって、前記符合ピクセ
ルは合致ピクセルとみなされるステップとを有することを特徴とする。
【００１９】
また、本発明の場面の新規視点を生成するシステムにおいて、前記合致グループの少な
くともいくつかを調べ、前記ピクセルのある合致グループが許容できることに応答して前
記合致グループを前記符合のセットに加えるステップは、前記ピクセルの合致グループの
少なくともいくつか各々について、
前記ピクセルの合致グループから少なくともいくつかのピクセルを用いて三次元の点を
演算するステップと、
前記三次元の点を前記基準画像および前記画像のセットを有してなるグループから選択
された少なくともいくつかの前記画像に投影するステップと、
前記投影された三次元の点のエラー値を演算するステップと、
前記エラー値が閾値未満であることに応答して、前記合致グループを前記符合のセット
に加えるステップとを有することを特徴とする。
【００２０】
また、本発明の場面の新規視点を生成するシステムにおいて、前記投影された三次元の
点のエラー値を演算するステップは、
前記基準画像および前記画像のセットを有してなるグループから選択された少なくとも
いくつかの前記画像各々について、前記投影された三次元の点と前記ピクセルの合致グル
ープからの前記画像における符合ピクセルとの間のオフセット値を演算するステップと、
前記オフセット値を平均化してエラー値を得るステップとを有することを特徴とする。
【００２１】
また、本発明の場面の新規視点を生成するシステムにおいて、カメラ視点のセットを較
正するステップであって、前記カメラ視点のセットにおける各カメラ視点は固有の位置を
有し前記画像のセット向けに画像を生成するステップと、
前記カメラ視点を調整するステップとをさらに有することを特徴とする。
【００２２】
また、本発明の場面の新規視点を生成するシステムにおいて、前記符合のセットを用い
て前記場面の新規視点を生成するステップは、
前記符合のセットから三次元の点を得るステップと、
前記三次元の点の三次元三角形分割メッシュを生成するステップと、
前記新規視点の各ピクセルについて、
前記場面の新規視点の投影行列が与えられると、前記ピクセルに対する三次元光線を演
算するステップと、
前記三次元の三角形分割メッシュ上で前記三次元光線が前記三次元三角形メッシュと交
差する交差点を特定するステップと、
前記基準画像および前記画像のセットを有するグループからの少なくともいくつかの前
記画像各々について、
前記交差点から前記画像へ光線を投影するステップと、
前記光線と前記画像の交差に基づき前記画像におけるピクセルを特定するステップと、
前記光線と前記三次元光線との間の角度を特定するステップと、
前記角度を用いて特定されたピクセルのピクセル色を融合して新規視点のピクセルに対
し色値を得るステップとを有することを特徴とする。
【００２３】
また、本発明の場面の新規視点を生成するシステムにおいて、前記角度を用いて特定さ
れたピクセルのピクセル色を融合して新規視点のピクセルに対し色値を得るステップはさ
らに、
前記光線と前記三次元光線との間の最大角度を特定するステップと、
少なくともいくつかの前記画像の各画像について、前記画像への光線と前記三次元光線
との間の角度および最大角度を用いて加重係数を計算するステップと、
前記加重係数を正規化するステップと、
前記新規視点におけるピクセルに対する色値を、前記特定されたピクセルの色を各々の
正規化加重係数で掛けた和として計算するステップとを有することを特徴とする。
【００２４】
また、本発明の場面の新規視点を生成するシステムにおいて、前記インターフェイスは
前記画像のセットを取り込むためのセンサーを有することを特徴とする。
【００２５】
ここで、本発明のコンピュータープログラム製品は、1つ以上の命令シーケンスを記憶
する少なくとも1つのコンピューター読み取り可能な媒体を有してなるコンピュータープ
ログラム製品であって、
前記1つ以上の命令シーケンスを1つ以上のプロセッサーで実行すると前記1つ以上のプ
ロセッサーは場面の新規視点を生成する方法を実行するものであり、
前記方法は、
前記場面の1つの視点から撮った場面の基準画像と前記場面の別の視点から撮った第2画
像との間で符合のセットを得るステップと、
前記符合のセットおよび局所コンテクスト情報を用いて前記基準画像と前記第2画像と
の間で付加符合を特定するステップであって、前記付加符合は前記符合のセットに加えら
れるステップと、
前記符合のセットからの少なくともいくつかの符合から得られた三次元座標を用いて三
次元メッシュを構築するステップと、
新規視点のピクセルから前記三次元のメッシュへの投影を用いて前記場面の新規視点を
表現し前記基準画像および前記第2画像からピクセル色値を特定し、特定された前記ピク
セル色値を融合するための加重係数を特定するステップとを有することを特徴とする。
【００２６】
また、本発明のコンピュータープログラム製品において、前記新規視点のピクセルから
前記三次元のメッシュへの投影を用いて前記場面の新規視点を表現し前記基準画像および
前記第2画像からピクセル色値を特定し、特定された前記ピクセル色値を融合するための
加重係数を特定するステップはさらに、前記新規視点の各ピクセルについて、
前記場面の前記新規視点に対する投影行列が与えられると、前記ピクセルの三次元光線
を演算するステップと、
前記三次元光線が前記三次元メッシュと交差する三次元メッシュ上の交差点を特定する
ステップと、
前記基準画像および前記第2画像の各々について、
前記交差点から前記画像のカメラ中心へ光線を投影するステップと、
前記光線が交差する前記画像におけるピクセルを特定するステップと、
前記光線と前記三次元光線との間の角度を判定するステップと、
前記角度を用いて前記新規視点におけるピクセルの色値を得、前記特定されたピクセル
の色を融合するための加重係数を生成するステップとを有することを特徴とする。
【００２７】
また、本発明のコンピュータープログラム製品において、前記角度を用いて前記新規視
点におけるピクセルの色値を得、前記特定されたピクセルの色を融合するための加重係数
を生成するステップは、
前記基準画像および前記第2画像の各々に対し、より小さい角度にはより大きい角度よ
り高い加重係数が与えられるように各々の角度を用いて前記加重係数を生成するステップ
と、
前記新規視点における前記ピクセルに対する色値を、前記特定されたピクセルに各々の
加重係数を掛けた和として計算するステップとを有することを特徴とする。
【００２８】
また、本発明のコンピュータープログラム製品において、前記符合のセットおよび局所
コンテクスト情報を用いて前記基準画像と前記第2画像との間で付加符合を特定するステ
ップであって、前記付加符合は前記符合のセットに加えられるステップは、さらに、
前記基準画像におけるエッジピクセルを検出するステップと、
前記エッジピクセルのセットからの各エッジピクセルについて、
前記基準画像において前記符合のセットから選択された最近傍ピクセルのセットを特定
するステップと、
前記選択された最近傍ピクセルのセットおよび前記符合のセットから得られた前記第2
画像におけるそれらに符合するピクセルを用いて前記基準画像と前記第2画像との間の変
換を演算するステップと、
前記変換を前記基準画像におけるエッジピクセルに適用して前記第2画像における変換
ピクセルを得るステップと、
前記基準画像においてエッジピクセルを含む局所窓を前記第2画像において前記変換ピ
クセルを含む局所窓にマッチングし前記第2画像において前記基準画像におけるエッジピ
クセルに対応する符合ピクセルを特定するステップとを有することを特徴とする。
【図面の簡単な説明】
【００２９】
【図１】本発明の各種実施形態による新規視点内挿用のカメラシステムの図である。
【図２】本発明の各種実施形態により1つ以上の新規視点を生成する応報を呈示する図である。
【図３】本発明の各種実施形態により1つの視点から撮られた場面の基準画像とその場面の異なる視点から撮られた1つ以上の画像との間の符合セットを得る方法を描く図である。
【図４】本発明の各種実施形態により1つの視点から撮られた場面の基準画像とその場面の異なる視点から撮られた1つ以上の画像との間の符合をさらに得る方法を描く図である。
【図５．Ａ】本発明の各種実施形態により1つの視点から撮られた場面の基準画像とその場面の異なる視点から撮られた1つ以上の画像との間の符合をさらに得る方法を描く図である。
【図５．Ｂ】本発明の各種実施形態により1つの視点から撮られた場面の基準画像とその場面の異なる視点から撮られた1つ以上の画像との間の符合をさらに得る方法を描く図である。
【図６】本発明の各種実施形態により三次元の点を2つのカメラ視点に投影することを図形的に描く図である。
【図７】本発明の各種実施形態により新規視点を表現する方法を描く図である。
【図８】本発明の各種実施形態によりピクセル色値を融合して新規視点画像のピクセル色値を得る方法を描く図である。
【図９】本発明の各種実施形態によりピクセル色値を融合するのに用いられる光線の角度を判定することを図示する図である。
【図１０】本発明の各種実施形態による新規視点画像の例の図である。
【図１１】本発明の各種実施形態による新規視点画像の例の図である。
【図１２】本発明の各種実施形態による新規視点画像の例の図である。
【図１３】本発明の各種実施形態による新規視点画像の例の図である。
【図１４】本発明の各種実施形態による新規視点画像の例の図である。
【図１５】本発明の各種実施形態による演算システムを描く図である。
【発明を実施するための形態】
【００３０】
実施形態において、1つの画像の1ピクセルのコンテクストはその空間的コンテクスト領
域で観察される近傍の特徴の位置に対する幾何学的制約により表される。局所区画におけ
る符合の位置間の変換という仮定に基づき、このピクセルの幾何学的制約を用いて他の視
点におけるその符合位置を推定することができる。
【００３１】
また実施形態において、符合は三次元復元を用いて検証される。三次元復元により認容
できるエラーを有する点が得られる場合、符合は特徴符合のセットに加えられる。
また実施形態において、さらに特徴符合を見つけるプロセスを反復して符合数と符合精
度を高めることができる。従って、実施形態において、粗細の機構を用いて密な符合を確
立し復元検証による視点間の立体マッチングの精度を向上させる。
【００３２】
符合セットが与えられると、新規視点を内挿することができる。実施形態において、新
規視点画像におけるピクセルから三次元メッシュ上の交差点に投射される光線と交差点か
ら起点画像に投射される光線との間で測定された角度を用いて、起点画像において特定さ
れたピクセルからピクセル色値を組み合わせるための加重係数を判定することができる。
【００３３】
本明細書において呈示される方法は1つ以上の命令シーケンスを記憶する少なくとも1つ
のコンピューター読み取り可能な媒体を有してなるコンピュータープログラム製品に含ま
れることができ、1つ以上のプロセッサーによる1つ以上の命令シーケンスの実行により1
つ以上のプロセッサーはプロジェクターシステムを較正するコンピューター実施の方法を
実行する。本発明の実施形態は新規視点画像を生成する1つまたは複数のコンピューター
システムを含む。
【００３４】
本要約部において発明の特徴および利点のいくつかが全般的に説明されたが、本明細書
においてさらなる特徴、利点、および実施形態が呈示され、または本出願の図面、明細書
およびクレームに照らし当業者であれば明らかになろう。従って、発明の範囲は本要約部
に開示された特定の実施形態により限定されないことが理解されよう。
【００３５】
（好ましい実施形態の詳細な説明）
以下の記述では説明の目的から、発明の理解を提供すべく具体的な詳細が述べられる。
しかし当業者であれば発明はこれらの詳細なしでも実施できることが明らかであろう。当
業者であれば以下にいくつか説明される本発明の実施形態は、例示としてカメラ（ビデオ
および／または静止画像）、マルチメディアシステム、劇場システム、テレビ会議システ
ム、映写システム、ゲームシステム、コンピューターシステム、映像システム等々を含む
がこれに限定されず、いくつかの異なるシステムおよび装置に組み入れられ得ることを理
解しよう。本発明の態様はソフトウェア、ハードウェア、ファームウェア、またはその組
み合わせにおいて実施することができる。
【００３６】
ブロック図に示される構成要素、またはモジュール、は発明の典型的な実施形態を図示
するもので、発明を分かりにくくすることを避けることが意図される。また、本考察を通
して構成要素はサブユニットを有してなり得る別個の機能ユニットとして説明され得るが
、当業者であれば各種構成要素、またはその部分は別個の構成要素に分割でき、または単
一システムまたは構成要素への統合を含みまとめて統合し得ることを理解しよう。
【００３７】
さらに、図面内の構成要素間の接続は直接接続に限定されることを意図していない。逆
に、これら構成要素間のデータは中間構成要素により修正、再フォーマット、または別途
変更され得る。さらに、付加的またはより少数の接続を用いることもできる。さらに「連
結される」または「通信上連結される」の用語は直接接続、1つ以上の中間装置を通した
間接接続、および無線接続を含むと理解されることが特筆される。
【００３８】
明細書において「一実施形態」、「ある実施形態」、または「実施形態」への言及はそ
の実施形態に関係して説明される特定の特徴、構造、特性、または機能は発明の少なくと
も1つの実施形態に含まれ、1つを超える実施形態に含まれ得ることを意味する。明細書の
さまざまな個所で「一実施形態において」、「ある実施形態において」、または「実施形
態において」の言い回しが現れる場合、必ずしも同じ実施形態を指しているわけではない
。
【００３９】
Ａ．概要
本明細書において、複雑な場面の入力画像の小セットから新規視点内挿（NVI）を行な
うシステムおよび方法が呈示される。本特許文書は視点内挿を特化するコンテクスト情報
を組み入れた枠組みを提供するシステムおよび方法の実施形態を呈示する。
【００４０】
コンテクストはこれまで新規視点内挿で活用されていないが、視覚的コンテクストはオ
ブジェクト認識、オブジェクト検出、セグメント化、追跡、および場面理解において重要
な役割を果たしている。空間的構造をモデル化するためのコンテクスト的方法は大まかに
：硬構造モデル、無構造モデル、および柔構造モデルに細かく分けられることが示されて
いる。
【００４１】
硬構造モデルは画像ピクセルまたは興味領域周囲の区画において例えば画像テンプレー
トなど厳密な空間構成を実施する。マッチングにおいて高い精度を有するものの、閉塞お
よび変形に対し非常に感度が低くなりがちである。
【００４２】
無構造モデルは例えば特徴の集合または特徴ヒストグラムなど、空間関係を無視する。
これらは複雑な場面をモデル化する柔軟性を有するが、偽陽性のマッチングおよびかく乱
をもたらし得る。柔構造モデルは場面の大雑把な幾何学的構造を捉えようとし、空間構成
において形状コンテクストおよびランダムグラフなど多少の変形を許す。コンテクストモ
デル化は歴史的に短所を有するが、本発明の一態様はコンテクストを活用して新規視点内
挿向けに情報の抽出を補助することにある。
【００４３】
新規視点内挿（NVI）は通常多視点画像／ビデオ圧縮、視線矯正、および多視点三次元
ディスプレイなどコンピューター視覚用途のアルゴリズム構成要素である。新規視点内挿
アルゴリズムは一般的にまず視点間の符合を確立し、次に符合強度に基づき新視点を合成
することができる。従って、立体マッチングは通常NVIにおいて重要な構成要素で、中核
的な課題である。マッチングコストの選択が立体アルゴリズムの性能を決定する。
【００４４】
さまざまなマッチングコストが以前に評価されている。テクスチャー画像が高画質であ
る場面についてはピクセル強度の差などの単純なマッチングコストまたは小さな窓上の相
関などが空間的一貫性を実施した復元において功を奏する。閉塞に対し効率的に対応する
一方、小型の区画を用いる方法は照明変動、反復的パターン、テクスチャーのない表面、
および不均等拡散面に悩まされ得る。他方、より大型の近傍に基づく方法は大きな視点変
更および部分的閉塞で苦労する。これらの変動は実世界の複雑な場面においてしばしば起
こり、立体マッチングアルゴリズムを無効にする。従って、NVIにおけるこれらの問題に
対処するために頑強な立体マッチング方法が必要である。
【００４５】
いずれのマッチングコストも強い局所的変動に対しあまり頑強でないことが示されてい
る。このような制限の根源は任意のピクセルはその近辺にあるピクセルと関係なく独立し
て検討されるという点にある。その結果、偽陽性の符合は有効な合致であるかも知れず、
有効な合致は必ずしも真の合致に相応しない。場面がどれだけ複雑であろうと、ピクセル
が隔離され全体の場面から独立していることは稀である。例えば、1つのピクセルは閉塞
または入力画像間の照明変化のために大きな変動を経るかもしれないが、そのコンテクス
ト（近傍の特徴など）はより安定していて重要な変化をはるかに少なく受けるかもしれな
い。従って、空間的コンテクストがさらなる確認を提供するので、効率的な形でコンテク
スト情報を有利に用いて符合を見出す頑強さを向上させることができる。
【００４６】
実施形態において、コンテクストで特化されたNVIシステムおよび方法が本明細書で呈
示される。実施形態において、1つの画像における1ピクセルのコンテクストはその空間的
コンテクスト領域で観察される近傍のアフィン特徴の位置に対する幾何学的制約により表
される。局所区画における符合位置間の変換という仮定に基づき、このピクセルの幾何学
的制約を用いて他の視点におけるその符合位置を推定することができる。実施形態におい
て、このピクセルに相関するアフィン特徴は非常に疎であり得、近傍窓のサイズを増大さ
せより多くの特徴を組み入れることができるが、これは局所の線形仮定と相反する。従っ
て実施形態において、粗細機構を用いて密な符合を確立し、復元検証による視点間の立体
マッチングの精度を向上させる。
【００４７】
本明細書に呈示されるシステムおよび方法の実施形態の利点は、（1）視点間において
点の密で正確な符合を確立する手法を提供すること、（2）局所の明るさをマッチングす
ることから幾何学的コンテクストをマッチングすることまで、NVI向けに特徴の符合を特
化するためにコンテクストを組み入れる方法を提供すること、および（3）より頑強な符
合を提供すること−コンテクストは局所の小さな外観変化に非常に鈍感なため、コンテク
ストのマッチングはより頑強な合致につながる；を含むがこれらに限定されない。従って
入力画像が複雑な場面のものでも新規視点内挿に本発明の実施形態を用いることができる
。
【００４８】
Ｂ．方法の実施形態
１．概要
図1は本発明の実施形態によるシステム100構成を描く。システム100は演算システム120
に連結されたカメラ110xのセットを有してなる。カメラ110xは異なる視点から場面130の
画像を取り込むよう位置される。本明細書においてカメラに関する説明は固有の位置にあ
る複数のカメラ、複数の視点画像を取り込むために異なる位置に動かされる1つ以上のカ
メラの双方、またはその組み合わせを対象とすると解釈されることが特筆される。またカ
メラに対する言及は文脈によりカメラ視点またはカメラ画像を対象とすると解釈されるこ
とも特筆される。さらに、カメラ位置は均等または直線的に位置される必要がないことが
特筆される。
【００４９】
図1に示すように、取り込まれたカメラ画像がない位置、140A‐x、がある。その視点か
らの画像が望まれる場合、本発明の実施形態はその視点画像を取り込むためにカメラが位
置付けされていたとしたらその位置からの取り込み画像がどのようであったかを近似する
新規視点画像を描くことができる。
【００５０】
実施形態において、演算システム120はカメラとインターフェイスを取りカメラからの
画像の取り込みおよび記憶を調整する。実施形態において、演算システムはさらに新規視
点画像を生成する。演算システムの実施形態はさらに詳細に後述される。
【００５１】
図2は発明の各種実施形態により1つ以上の新規視点を生成する方法を呈示する。実施形
態において、カメラのセットは較正され（205）固有パラメーター、焦点距離、画像中心
、および歪み情報が得られる。さらに実施形態において、立体較正が行なわれ（205）基
準カメラに対するカメラの外部パラメーターが得られる。カメラの較正は当業者に周知で
、カメラ較正をお子なる較正ツールまたはツールボックスは容易に入手可能である。
【００５２】
描かれた実施形態において、カメラのセットは調整され（210）、これは当業者には周
知である。実施形態において、カメラは立体ペアを異なる視点に拡張することにより調整
される。その結果、視点の各々について変換行列および投影行列がある。調整後、各視点
は同じ垂直座標、同じ回転行列、および同じ固有行列を有する。
以下の方程式のセットはカメラ視点2を基準カメラ視点として4台のカメラ視点の調整を
例示する目的で提供される。
【００５３】
2011108231.tif 000003
【００５４】
2011108231.tif 000004
【００５５】
コンテクストに基づくNVIの生成の図2において描かれた実施形態200の次の工程は異な
るカメラ視点間で点特徴の検出とマッチングを行なうことである（215）。図3は各種実施
形態により異なるカメラ視点間で点特徴の検出とマッチングを行なう方法を描き、以下に
呈示される。
前の工程（215）で基準画像と他の画像との間の符合セットが得られるが、特徴合致の
いくつかは新規視点画像を生成するのに役立たないかもしれず、また符合が足りないかも
しれない。従って、符合セットに加える付加的符合を得ることが有益である。
付加的符合はコンテクスト情報を用いることにより得られる。実施形態において、符合
の付加セットは基準画像にエッジ検出を行ないエッジおよび輪郭ピクセルを特定すること
により得られる（220）。
【００５６】
2011108231.tif 000005
【００５７】
最後に符合セットが与えられると、新規視点画像を生成することができる（230）。実
施形態において、非構造化ルミグラフレンダリングを用いて新規視点を内挿するが、当業
者であれば他のレンダリング方法を用い得ることを理解しよう。
【００５８】
２．特徴検出およびマッチング
図3は発明の各種実施形態により1つの視点から撮られた場面の基準画像と場面の異なる
視点から撮られた1つ以上の画像との間の符合セットを得る方法300を描く。実施形態にお
いて、アフィン−SIFT（スケール不変な特徴変換）検出が画像に適用される（305）。他
の特徴検出方法、例えば限定ではなく例として挙げるとSIFT（スケール不変な特徴変換）
、SURF（高速化頑強特徴）、GLOH（勾配位置および配向ヒストグラム）、またはPHOG（配
向勾配のピラミッド形ヒストグラム）など、を用い得ることが特筆される。
【００５９】
2011108231.tif 000006
【００６０】
実施形態において、マッチングアルゴリズムはDavid G．Lowe により“Distinctive Im
age Features from Scale‐Invariant Keypoints”（「スケール不変なキーポイントによ
る明確な画像特徴」）、Int．J．of Computer Vision， 60：91−110（2004）、において
呈示されるマッチングアルゴリズムを用いることができ、これは引用により全体として本
明細書に組み入れられる。しかし、当業者であれば他のマッチング方法を用いて基準視点
画像と他の視点画像の少なくともいくつかとの間で符合点のセットを見出せることを理解
しよう。
【００６１】
2011108231.tif 000007
【００６２】
2011108231.tif 000008
【００６３】
2011108231.tif 000009
【００６４】
これまでの研究のほとんどはペアの観点の幾何学的比較を用いて符合を見出している。
点の間の距離および距離と角度の組み合わせがこれまで用いられている。現在の研究では
より高位のモデルが調査されている。例えば、特徴の符合はハイパーグラフのマッチング
問題として式化されている。Duchenne他は引用により全体として本明細書に組み入れられ
るProc．of IEEE Conf．on Computer Vision and Pattern Recognition，1980―1987 （2
009）においてスペクトルマッチングの概念を一般化し、高位グラフのマッチングのテン
ソルに基づくアルゴリズムを用いており、これは次に示すように方程式5に高位項を加え
ることにより点のタプルを比較する。
【００６５】
2011108231.tif 000010
【００６６】
３．エッジ／輪郭検出および符合判定
図4は発明の各種実施形態により1つの視点から撮られた場面の基準画像とその場面の異
なる視点から撮られた1つ以上の画像との間の符合をさらに得る方法を描く。図4に描かれ
る方法は基準画像においてエッジ検出を行ないエッジ／輪郭ピクセルを特定することで始
まる（405）。
【００６７】
2011108231.tif 000011
【００６８】
2011108231.tif 000012
【００６９】
続く工程515‐530は他の1つの画像視点に関して説明されることが特筆される。しかし
、実施形態において、他の画像視点が複数ある場合、工程515‐530は他の画像視点各々に
対し行なうことができる。
【００７０】
2011108231.tif 000013
【００７１】
2011108231.tif 000014
【００７２】
合致した特徴は疎であるかもしれないので、推定符合は粗く、あまり正確でないかもし
れない。推定符合を向上させる一方法は基準画像においてエッジピクセルの局所窓を用い
ることにより（525）推定エッジピクセル符合の周囲に局所窓を用いて目標画像における
テンプレートの合致を見出すことである。
【００７３】
2011108231.tif 000015
【００７４】
描かれた実施形態において、工程505‐530は基準画像におけるすべてのエッジピクセル
が処理されるまで繰り返される（535）。しかし、以下に特筆するように、当業者であれ
ば他の構成も用いることもでき、それとして本開示の範囲内に入ることを理解しよう。
【００７５】
2011108231.tif 000016
【００７６】
2011108231.tif 000017
【００７７】
実施形態において、異なる視点間の符合数が増えているので、復元の精度は停止条件が
満足されるまで（565／575）図5．Aおよび5．Bに記述されるプロセスを反復することによ
り（565／570）高めることができる。停止条件は例えばエラーに殆どまたは全く改良がな
いこと、エラーが閾値未満であること、および／またはある反復数に到達したこと、であ
り得る。実施形態において、反復の際方程式（11）の線形変換をより小さい窓で推定して
その精度を高めることができ、これにより復元の精度が高まる。
【００７８】
当業者であれば上述の工程は順序を変え、整理し直し、および／または異なる反復、よ
り多い反復、もしくはより少ない反復で構成でき、それでも同じまたは類似した結果を達
成できることを理解しよう。例えば、限定ではなく例として、工程515‐530は基準画像の
各エッジピクセルについて他の1つの画像視点に対し行ない、次に別の画像に対し反復し
、他のすべての画像視点が処理されるまで続けることができる。あるいは、工程515‐530
は基準画像の各エッジピクセルについて他の画像視点の各々に対し行ない、次に別のエッ
ジピクセルについて反復し、すべてのエッジピクセルが処理されるまで続けても良い。当
業者であれば開示の精神から逸脱することなくプロセスをいくつかの形で構成でき、この
ような代わりの構成は本発明の範囲内であることを理解しようことが特筆される。
【００７９】
４．新規視点のレンダリング
復元点のセットが与えられると、視点内挿法を用いて新規視点を表現することができる
。実施形態において、視点内挿法は非構造化ルミグラフレンダリングであり得るが、他の
視点内挿法も用いることができる。実施形態において、新規視点内挿法は各加重入力画像
における対応ピクセルの加重平均により望まれる新規画像の各ピクセルを復元する。実施
形態において、加重は角度類似のペナルティに基づき演算される。実施形態において、加
重計算の解像度ペナルティおよび視野ペナルティは考慮されない。
【００８０】
図7は発明の各種実施形態により新規視点を表現する方法を描く。方法は新規視点画像
の1ピクセルに関して描かれ、新規画像における各ピクセルについて繰り返す（連続的、
同時、またはその組み合わせ）ことができる。復元点のセットが与えられると、ドロネー
三角形分割によりプロキシメッシュを作成することができる（705）。新規視点に対する
既知の投影行列が与えられると、望まれる新規視点の各ピクセルは三次元（3D）空間に投
影され（710）、それにより望まれる光線rdが生成され、これはある最前点pにおいてプロ
キシメッシュと交差する。最前交差点から各起点カメラCiの中心に光線、ri、が形成され
る（715）。光線riはあるピクセルにおいて起点視点画像を交差する。画像において特定
サレタピクセルの色値を用いて新規画像におけるピクセルに対する色を演算する（720）
。図8は発明の各種実施形態により他の画像に基づき新規画像ピクセルの色値を演算する
方法を描く。
【００８１】
図8は発明の各種実施形態によりピクセル色値を融合して新規視点画像のピクセル色値
を得る方法を描く。交差点、p、から起点カメラへの光線各々と新規画像からの光線との
間の角度、penaltyang（i）、が演算される（805）。角度、penaltyang（i）、は図9に示
すようにriとrdとの差と定義される。
【００８２】
図9は発明の各種実施形態によりピクセル色値を融合するのに用いられる光線の角度を
判定することを図示する。図9には復元された三次元の点から形成されたプロキシメッシ
ュ905の一部が描かれる。望まれる新規視点920におけるピクセルから投影された光線910
（rd）は点p 915においてメッシュ905と交差する。光線（例、r1 940）は点p 915から他
の画像視点の中心（C1‐Ck 925）に投影される。交差点、p、から起点カメラへの光線各
々と新規画像からの光線との間の角度、penaltyang（i）、が演算される。
【００８３】
2011108231.tif 000018
【００８４】
Ｃ．実験的結果
上述の方法がいくつかの課題に対処する能力を実証するために、これらの方法は異なる
種類の場面に適用された。これらの場面は均質に加えテクスチャーのあるオブジェクト、
大きな視点の変化、部分的閉塞、およびぼやけを含んでいた。実験により、コンテクスト
の手掛かりにより、これらの方法が手動の点符合の必要なしにこのような場面に対処でき
ることを示すことが意図であった。
【００８５】
図10はこれまでの研究ではなされていないテクスチャーのない、または透明な場面の新
規視点を示す。図10（Ａ）および10（Ｂ）は入力画像で図10（Ｃ）は本開示の教示により
表現された新規視点画像である。図11は部分的閉塞の場面に対し功を奏することを実証し
ている。図11（Ａ）および11（Ｂ）は入力画像で図11（Ｃ）は教示により表現された新規
視点画像である。本発明の適用は閉塞領域（例、指の間の衣服、および手の後ろの顔）に
おける色を復元できることが特筆される。
【００８６】
本開示の方法は図12の毛皮（ぬいぐるみの毛並み）や図14の花のように自然界の複雑な
構造から新規視点を合成できることが分かる。図14に示すように、本発明は入力画像（図
14（Ａ）および14（Ｂ））を用いて新規視点（図14（Ｃ））を内挿することができ、鋭い
エッジおよび細かい詳細の保存、ならびに小さな閉塞（図14（Ｄ）および14（Ｅ））の対
処に功を奏する。これまでの方法と対照的に、これまでの方法は前景のオブジェクトのエ
ッジ周囲に欠落した、ギザギザのアーティファクトのある結果をもたらした。
【００８７】
図13はワイドベースラインの視線矯正に適用できることを示している。これまでの方法
と対照的に、本開示の教示の適用はより写実的な視点を生成することができ、顔の境界に
ほとんどまたは全くアーティファクトを有しない。さらに、視線の交わりは本開示の教示
により表現された合成視点においてより明白である。
【００８８】
Ｄ．システムの実施形態
図1は本発明の各種実施形態による新規視点内挿システム100を図示する。1つ以上のカ
メラ110に通信上連結される演算システム120が描かれる。実施形態において、演算システ
ムは本明細書に呈示される1つ以上の方法を実施するよう構成され得る。実施形態におい
て、本明細書に説明される方法の少なくとも1つ以上を実施するシステムは1つまたは複数
の（静止画像および／またはビデオ）カメラおよび／または1つ以上のデータ記憶装置と
インターフェイスを取り、またはこれらからデータを（直接的および／または間接的に）
受信する演算システム上で実行される新規視点内挿アプリケーションを有してなることが
できる。演算システムは1つ以上のコンピューターを有してなることができ、1つ以上のデ
ータベースを含むことができる。
【００８９】
本発明は画像データを処理し得る任意の命令実行／演算装置またはシステムにおいて実
施できることが特筆され、これには汎用コンピューターおよびデータまたは画像処理用な
どの特定コンピューターが含まれるがこれらに限定されない。本発明の態様はカメラ、プ
ロジェクター、マルチメディア装置、および画像を投影、処理、取り込み、伝送、または
記憶する他の任意の装置を含むがこれらに限定されず、他の演算装置およびシステムに実
装されることができる。さらに、本発明の態様は任意の装置内でソフトウェア、ハードウ
ェア、ファームウェア、またはこれらの組み合わせを含み、広範囲な形で実施することが
できる。例えば、本発明の様々な態様を実施する機能は個々の論理部品、1つ以上の特定
用途向け集積回路（ASIC）、および／またはプログラム制御プロセッサーを含み広範囲な
形で実装される部品により実施することができる。これらの部品が実装される形は本発明
に肝要ではないことが特筆される。
【００９０】
図15は本発明の実施形態を実施または具現し得る命令実行／演算装置1500の実施形態の
機能的ブロック図を描く。図15に示すように、プロセッサー1502がソフトウェア命令を実
行し、他のシステムコンポーネントとやりとりする。一実施形態において、プロセッサー
1502は（限定ではなく例として）AMD（登録商標）プロセッサー、INTEL（登録商標）プロ
セッサー、SUN MICROSYSTEMS（登録商標）プロセッサー、またはPOWERPC（登録商標）対
応CPUなどの汎用プロセッサーであることができ、またはプロセッサーは特定用途向けの1
つまたは複数のプロセッサーであることができる。プロセッサー1502に連結された記憶装
置1504はデータおよびソフトウェアプログラムの長期的記憶を提供する。記憶装置1504は
ハードディスクドライブおよび／またはコンピューター読み取り可能な媒体（例、ディス
ケット、テープ、コンパクトディスク、DVD、等々）のドライブまたはソリッドステート
記憶装置などデータを記憶できる別の装置であって良い。
【００９１】
記憶装置1504はプロセッサー1502で使用するプログラム、命令、および／またはデータ
を収納することができる。一実施形態において、記憶装置1504に記憶されそこからロード
されるプログラムまたは命令はメモリー1506にロードされ、プロセッサー1502により実行
される。一実施形態において、記憶装置1504はプロセッサー1502でオペレーティングシス
テムを実施するプログラムまたは命令を収納する。一実施形態において、考えられるオペ
レーティングシステムはUNIX（登録商標）、AIX（登録商標）、LINUX（Linux（登録商標
））、Microsoft（登録商標）Windows（登録商標）、およびApple（登録商標）MAC（Maci
ntosh（登録商標））OSが含まれるが、これらに限定されない。実施形態において、オペ
レーティングシステムは演算システム1500上で実行し、システムの稼動を制御する。
【００９２】
プロセッサー1502に連結されるアドレス可能なメモリー1506はデータおよびプロセッサ
ー1502により実行されるソフトウェア命令を記憶するのに使用することができる。メモリ
ー1506は例えばファームウェア、読み取り専用メモリー（ROM）、フラッシュメモリー、
不揮発性ランダムアクセスメモリー（NVRAM）、ランダムアクセスメモリー（RAM）、また
はこれらの任意の組み合わせであって良い。一実施形態において、メモリー1506は別途サ
ービス、ユーティリティー、コンポーネント、またはモジュールとして知られるソフトウ
ェアオブジェクトをいくつか記憶している。当業者であれば、さらに記憶1504およびメモ
リー1506は同じ品目で双方の立場で機能し得ることを理解しよう。一実施形態において、
本明細書に描かれる方法の1つ以上はメモリー1504、1506などのコンピューター読み取り
可能な媒体に記憶される1つ以上のモジュールに具現されプロセッサー1502により実行さ
れ得る。
【００９３】
一実施形態において、演算システム1500は他の装置、他のネットワーク、または双方と
通信する能力を提供する。演算システム1500は1つ以上のネットワークインターフェイス
またはアダプター1512、1514を含み、演算システム1500を他のネットワークおよび装置と
通信上連結することができる。例えば、演算システム1500はネットワークインターフェイ
ス1512、通信ポート1514、または双方、を含むことができ、これらの各々はプロセッサー
1502に通信上連結され、演算システム1500を他のコンピューターシステム、ネットワーク
、および装置に連結するために使用することができる。
【００９４】
一実施形態において、演算システム1500はプロセッサー1502に連結されグラフィックス
およびテキストの表示を容易にする1つ以上の出力装置1508を含むことができる。出力装
置1508はディスプレイ、LCD画面、CRTモニター、プリンター、タッチ画面、または情報を
表示する他の装置を含むことができるが、これらに限定されない。
【００９５】
演算システム1500はさらに出力装置1508に情報または画像を表示するのを補助するグラ
フィックスアダプター（図示せず）を含むことができる。
プロセッサー1502に通信できるよう連結される1つ以上の入力装置1510を用いてユーザ
ー入力を円滑にすることができる。入力装置1510はマウス、トラックボール、またはタッ
チパッドなどのポインター装置を含むことができるが、これらに限定されず、さらにデー
タまたは命令を演算システム1500に入力するためにキーボードまたはキーパッドを含むこ
とができる。
【００９６】
一実施形態において、演算システム1500は通信ポート1514、ネットワークインターフェ
イス1512、メモリー1504／1506に記憶されるデータ、または入力装置1510を通して、スキ
ャナー、コピー機、ファクシミリ機、または他の演算装置から入力を受信することができ
る。
当業者であれば、本発明の実施にいずれの演算システムも肝要ではないことを理解しよ
う。当業者であればさらに上述の構成要素のいくつかはサブモジュールに物理的および／
または機能的に分けられ、または組み合わせられることを理解しよう。
【００９７】
本発明の実施形態はさらに各種コンピューター実施の操作を行なうためのコンピュータ
ーコードを有するコンピューター読み取り可能な媒体を有するコンピューター製品に関わ
ることができることが特筆される。媒体およびコンピューターコードは本発明の目的のた
めに特別に設計され構築されたものでも良く、または該当技術の当事者に知られ、利用可
能な種類のものであっても良い。コンピューター読み取り可能な媒体の例は：ハードディ
スク、フロッピー（登録商標）ディスク、および磁気テープなどの磁気媒体；CD‐ROMお
よびホログラフィー装置などの光媒体；光磁気媒体；ならびに特定用途向け集積回路（AS
IC）、プログラマブル論理装置（PLD）、フラッシュメモリー装置、およびROMやRAM装置
など、プログラムコードを記憶し、または記憶して実行するよう特別に構成されるハード
ウェア装置；を含むがこれらに限定されない。コンピューターコードの例はコンパイラー
により作成されるような機械コード、およびインタープリターを用いてコンピューターに
より実行されるより高位レベルのコードを含むファイルを含む。
【００９８】
本発明の実施形態は全体としてまたは一部コンピューターにより実行されるプログラム
モジュールにある機械実行可能な命令として実施することができる。プログラムモジュー
ルの例はライブラリー、プログラム、ルーチン、オブジェクト、コンポーネント、および
データ構造を含む。分散演算環境において、プログラムモジュールは物理的にローカル、
遠隔、または双方の環境に所在することができる。
【００９９】
当業者であれば前述の例および実施形態は例示的で、本発明の範囲を限定しないことを
理解しよう。明細書を読み、図面を調べることにより当業者に明らかになるこれらに対す
る置換、拡張、等価物、および改良は本発明の精神および範囲内に含まれる。従って続く
クレームは本発明の精神および範囲内に入るこのような修正、置換および等価物を含むこ
とが意図される。
【符号の説明】
【０１００】
１００    システム、１１０    カメラ、１２０    演算システム、１３０    場面、
６１０    カメラ、６２０    カメラ視点。
【図１】
2011108231.tif 000019
【図２】
2011108231.tif 000020
【図３】
2011108231.tif 000021
【図４】
2011108231.tif 000022
【図５．Ａ】
2011108231.tif 000023
【図５．Ｂ】
2011108231.tif 000024
【図６】
2011108231.tif 000025
【図７】
2011108231.tif 000026
【図８】
2011108231.tif 000027
【図９】
2011108231.tif 000028
【図１５】
2011108231.tif 000029
【図１０】
2011108231.tif 000030
【図１１】
2011108231.tif 000031
【図１２】
2011108231.tif 000032
【図１３】
2011108231.tif 000033
【図１４】
2011108231.tif 000034