(57)【要約】【課題】  ビュー・モーフィング法を改良する方法を提供する。【解決手段】  本発明による方法は、シーンの第１および第２の画像（３０ａ、３０ｂ）を提供し、第１の画像から第２の画像への対応する点の間をマップする第１の視差マップ（３２ａ、３２ｂ）を生成するために、第１および第２の画像にステレオマッチングアルゴリズム（３１）を適用し、第２の視差マップ（３３ａ、３３ｂ）を生成するために、第１の視差マップを第３の画像の座標の中に前方向マッピングする。さらに、第２の視差マップを使用し、第３の画像の少なくともいくつかのピクセルの各々にあり得る色値を取得するために、第３の画像の少なくともいくつかのピクセル位置を第１および第２の画像の対応する点に逆方向マッピングし、あり得る色値に基づいて第３の画像の少なくともいくつかのピクセルの各々に、最終的色値を指定し、シーンの新しいビュー（３４ａ、３４ｂ）を提供する。【選択図】  図６
2006065862.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する方法であって、
（ａ）シーンの第１および第２の画像（ＩＬ、ＩＲ）を提供する（３０ａ、３０ｂ）ステップと、
（ｂ）該第１および第２の画像（ＩＬ、ＩＲ）にステレオマッチングアルゴリズム（Ｍ）を適用すること（３１）により、該第１の画像から該第２の画像へ対応する点の間でマップする第１の視差マップ（ＤＬ、ＤＲ）を生成するステップと、
（ｃ）該第１の視差マップを第３の画像の座標の中に前方マッピングすることにより、第２の視差マップ（ＤＬ’、ＤＲ’）を生成するステップと、
（ｄ）該第２の視差マップを使用して、該第３の画像の中の少なくともいくつかのピクセル位置から該第１および第２の画像の中の対応する点に逆方向マップ（Ｂ）することによって、該第３の画像の中の少なくともいくつかの該ピクセルのそれぞれにあり得る色値を取得するステップと、
（ｅ）該あり得る色値に基づいて該第３の画像の中の少なくともいくつかの該ピクセルのそれぞれに対して最終的色値を指定することによって、該シーンの新しいビュー（ＩＬ’、ＩＲ’）を提供するステップと
を包含する、方法。
【請求項２】
前記第１および第２の画像（ＩＬ、ＩＲ）は、水平方向のオフセットのみによって関連づけられるように補正されていることを特徴とする、請求項１に記載の方法。
【請求項３】
前記第３の画像の位置は、利用者によって選択されることを特徴とする、請求項１または２に記載の方法。
【請求項４】
前記第３の画像の位置は、前記第１および第２の画像（ＩＬ、ＩＲ）の位置の間にあることを特徴とする、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記ステップ（ｃ）は、前記第２の視差マップ（ＤＬ’、ＤＲ’）のそれぞれのエントリーが前記第１および第２の画像のそれぞれの中に唯一の位置を識別するように、前記第１の視差マップ（ＤＬ、ＤＲ）を前方マップすることを包含することを特徴とする、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記ステップ（ｃ）は、前記第２の視差マップ（ＤＬ’、ＤＲ’）の中の隙間が満たされるように、前記前方マッピングを調整することを包含することを特徴とする、請求項５に記載の方法。
【請求項７】
前記第２の視差マップ（ＤＬ’、ＤＲ’）の中の隙間は、各隙間のそれぞれの端における前記第２の視差マップ（ＤＬ’、ＤＲ’）の値に基づいて埋められることを特徴とする、請求項６に記載の方法。
【請求項８】
前記ステップ（ｄ）において、前記第１および第２の画像（ＩＬ、ＩＲ）から前記第３の画像の中の対応するそれぞれのピクセル位置に対して取得される色値は、該第１および第２の画像（ＩＬ、ＩＲ）のそれぞれの中の隣接するピクセルの間の内挿法によって取得されることを特徴とする、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記内挿法は、一次近似法および三次近似法のいずれか一つによることを特徴とする、請求項８に記載の方法。
【請求項１０】
前記ステップ（ｅ）は、最終的色値を提供するためにあり得る色値を混合することを包含することを特徴とする、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記混合は、前記第１および第２の画像（ＩＬ、ＩＲ）の撮影位置に対する前記第３の画像の位置の近接度に従って行われることを特徴とする、請求項１０に記載の方法。
【請求項１２】
前記色の混合は、前記第１および第２の画像（ＩＬ、ＩＲ）のうち前記第３の画像により近い方が前記第３の画像の中のピクセルの色により大きな影響を有するように重み付けがなされることを特徴とする、請求項１１に記載の方法。
【請求項１３】
前記最終的な色値は、あり得る色値のうちの一つであることを特徴とする、請求項１から１０のいずれか一項に記載の方法。
【請求項１４】
前記ステップ（ｂ）のステレオマッチングアルゴリズム（Ｍ）は、単一の視差マップを作成するために単調的な制約を強制することを包含することを特徴とする、請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
該方法は、
前記第１および第２の画像（ＩＬ、ＩＲ）を入れ替えて前記ステップ（ｂ）を繰り返すことにより、前記第２の画像から前記第１の画像に対応する点の間でマップする異なる第１の視差マップを生成するステップと、
該異なる第１の視差マップに対して前記ステップ（ｃ）を繰り返すことにより異なる第２の視差マップを生成するステップとをさらに包含し、
あり得る色値を取得するために、二つの第２の視差マップ（ＤＬ’、ＤＲ’）のそれぞれに対して前記ステップ（ｄ）が実行されることを特徴とする、請求項１から１４のいずれか一項に記載の方法。
【請求項１６】
前記ステップ（ｄ）および（ｅ）に先立って、前記二つの第２の視差マップ（ＤＬ’、ＤＲ’）が前記第３の画像の座標の中に併合されることを特徴とする、請求項１５に記載の方法。
【請求項１７】
前記二つの第１の視差マップ（ＤＬ、ＤＲ）を比較し、全ての整合しないエントリーを削除することによって、単一の第１の視差マップを提供するさらなるステップを包含することを特徴とする、請求項１６に記載の方法。
【請求項１８】
異なる第３の画像位置に対して前記ステップ（ｃ）からステップ（ｅ）までを繰り返すことによって、前記シーンの新しい一対のステレオビューを形成する二つの第３の画像（ＩＬ’、ＩＲ’）を作成するさらなるステップを包含することを特徴とする、請求項１から１７のいずれか一項に記載の方法。
【請求項１９】
第１および第２の画像（ＩＬ、ＩＲ）を提供する画像取得手段（１、２）と、
該第１および第２の画像（ＩＬ、ＩＲ）に対してステレオマッチングアルゴリズムを適用し、第１の画像から第２の画像への対応する点の間をマップする第１の視差マップ（ＤＬ、ＤＲ）を生成する手段（４）と、
該第１の視差マップ（ＤＬ、ＤＲ）を第３の画像（ＩＬ’、ＩＲ’）の座標の中に前方マッピングすることによって、第２の視差マップ（ＤＬ’、ＤＲ’）を生成する手段（４）とを備えた、画像処理のための装置であって、該装置は、
該第２の視差マップ（ＤＬ’、ＤＲ’）を使用して該第３の画像（ＩＬ’、ＩＲ’）の中の少なくともいくつかのピクセル位置に対して該第１及び第２の画像（ＩＬ、ＩＲ）の中の対応する点への逆方向マッピングを実行することにより、該第３の画像（ＩＬ’、ＩＲ’）の中の少なくともいくつかのピクセルのそれぞれに対してあり得る色値を獲得する手段（４）と、
該あり得る色値に基づいて該第３の画像（ＩＬ’、ＩＲ’）の中の少なくともいくつかのピクセルのそれぞれに対して最終的色を指定することによって、該シーンの新しいビューを提供するための手段と
を備えたことを特徴とする、装置。
【請求項２０】
請求項１から１８のいずれか一項に記載する方法を実行するためのコンピュータ（４）を制御するためのプログラム。
【請求項２１】
記憶媒体（２１）に蓄えられる、請求項２０に記載のプログラム。
【請求項２２】
請求項２０に記載のプログラムの、通信ネットワーク（２７）を経由しての送信。
【請求項２３】
請求項１から１８のいずれか一項に記載する方法を実行するためにプログラムされたコンピュータ（４）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の方法は、画像処理法及び、特に、あるシーンの第１と第２の画像から、それと異なる視点からの該シーンの第３の画像を作成する処理法に関する。
【背景技術】
【０００２】
コンピュータ画像作成の分野では、あるシーンのある視点からのビューを、すでに利用可能ないくつかのそれを用いて作成することが、しばしば望まれる。このような手法の使用目的のひとつは、立体表示装置のためのコンテンツ作成である。立体表示装置では、同じシーンのわずかに異なった二つの画像が利用者に提示され、それぞれの眼に一つの画像が与えられ、利用者の知覚がそれを三次元シーンとする。二つの画像によって与えられる奥行きレンジ（ｄｅｐｔｈ  ｒａｎｇｅ）が、与えられた三次元表示装置の上の快適な眺めには大きすぎるということがありうる。このような場合には、立体画の奥行きレンジを変更することが望ましい。シーンに対する明白な三次元情報が得られないので、存在する画像のみに基づいてシーンの新しい画像を作成する方法のみが、利用者がより快適に眺めることができる新しい立体画の創造を可能とするであろう。
【０００３】
いくつかの既存の画面合成の手法が知られている。ＣｈｅｎおよびＷｉｌｌｉａｍｓによる「Ｖｉｅｗ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｆｏｒ  Ｉｍａｇｅ  Ｓｙｎｔｈｅｓｉｓ」、（Ｐｒｏｃ，ＡＣＭ  ＳＩＧＧＲＡＰＨ  １９９３，２７９〜２８８ページ）、ならびにＣｈｅｎおよびＷｉｌｌｉａｍｓによる「Ｔｈｒｅｅ−Ｄｉｍｅｎｔｉｏｎａｌ  Ｉｍａｇｅ  Ｓｙｎｔｈｅｓｉｓ  ｕｓｉｎｇ  Ｖｉｅｗ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ」（米国特許Ｎｏ．５，６１３，０４８）は、二つの二次元画像の集合により、いかに三次元シーンが表現できるかについて記述している。いくつかの「対応マップ」が利用できることを想定している。これらのマップはある与えられた特徴（ｆｅａｔｕｒｅ）の二次元画像の中の、視点の変更による位置を定義する。マップは、ソース画像（ｓｏｕｒｃｅ  ｉｍａｇｅ）の中の特徴を手動的にラベル付けする方法で、又はシーンの幾何学的モデルを参照する方法で得ることができることが示唆されている。ある与えられた特徴の位置の変更は、シーン内の位置の両眼視差（ｂｉｎｏｃｕｌａｒ  ｄｉｓｐａｒｉｔｉｅｓ）を定義する。
【０００４】
シーンの新しいビューを作るために、ソース画像からのピクセルが、対応マップに従って新しい画像の中に「前方マップ（ｆｏｒｗａｒｄ  ｍａｐｐｅｄ）」される。新しいビューの中の同じターゲット位置に、複数の特徴がマップされる場合、「前方に（ｉｎ  ｆｒｏｎｔ）」ある特徴が選択される。この手法は、新しいビューの画質を落とすことなく、保存スペースの量と処理時間の削減を可能とする。しかしながら、新しいビューが完全であることは保障されないであろう。新しいビューには前方マップの処理過程において、色値（ｃｏｌｏｕｒ  ｖａｌｕｅ）が与えられない領域が存在し得る。新しいビューは最初にある識別の容易な色で満たされ、後に前方マップされたピクセルの色値で置きかえられる方法が示唆されている。これにより新しいビューのいかなる隙間も容易に特定することができる。その後、隙間は周囲のピクセルの色からの内挿法または周囲の対応マップの情報にソース画像を参照した値からの内挿法により満たされる。これらの手法では何れも正確な表現を得ることはできない。周囲のピクセルの色からの内挿法は、隣接するピクセルとの間の滑らかな連続を作るものの、それは色値の欠けた領域に現れるはずのあらゆる画像構造の貧弱な近似値を提供する結果となる。新しいビューはそれ故に不鮮明に見え、この不具合は情報の欠けた領域のサイズと共に大きくなる。隙間に隣接する対応マップのデータからの単純な内挿法は、それが奥行きの不連続を考慮していない故に、通常適切ではない。
【０００５】
ビューの内挿法の理論的分析が、ＳｅｉｔｚおよびＤｙｅｒによる「Ｖｉｅｗ  Ｍｏｒｐｈｉｎｇ，Ｐｒｏｃ」、（ＡＣＭ  ＳＩＧＧＲＡＰＨ  １９９６、２１〜３０ページ）に提供されており、それはＣｈｅｎおよびＷｉｌｌｉａｍｓの方法を実際の画像に適用できるように改良している。この場合にも、対応マップは与えられた特徴の画像位置を定義することで得られる。対応マップを作成するために、ステレオマッチングアルゴリズムが、一対の画像に適用することが出来る。ＳｅｉｔｚおよびＤｙｅｒは、新しいビューを与えるために、ＣｈｅｎおよびＷｉｌｌｉａｍｓと同じ前方マッピングの手順を使用している。両方のソース画像からの色情報が新しいビューのピクセル値を作るために混合される。新しいビューの隙間は、近接するピクセル間の内挿法で埋められる。
【０００６】
ＳｅｉｔｚおよびＤｙｅｒの方法は、図１ａと図１ｂの流れ図に示されている。図１ａは、用いられている幾何学的形状の処理を示す。原画像（ｏｒｉｇｉｎａｌ  ｉｍａｇｅ）ＩＬおよびＩＲの中の位置（ｉ、ｊＬ）および（ｉ，ｊＲ）が、マッチングアルゴリズムＭによってマッチチングされ、視差マップ（ｄｉｓｐａｒｉｔｙ  ｍａｐ）ＤＬおよびＤＲが作られる。マッチ（ｍａｔｃｈｅ）は類似した画像の特徴を探すことで得られ、その結果ＩＬ（ｉ，ｊＬ）およびＩＲ（ｉ，ｊＲ）はシーンの同じ特徴を表すものであるから、概ね等しい。見方を変えると、ＩＬの中の位置（ｉ，ｊＬ）は、ＩＲの中の（ｉ，ｊＲ）＝（ｉ，ｊＬ−ＤＬ（ｉ，ｊＬ））に対応する位置を有すると考えることができる。同様にＩＲの中の位置（ｉ，ｊＲ）は、ＩＬの中の（ｉ，ｊＬ）＝（ｉ，ｊＲ＋ＤＲ（ｉ，ｊＲ））に対応する位置を有する。行インデクスｉは二つの画像の中で同じであるので、画像は補正されている（ｒｅｃｔｉｆｉｅｄ）と見なされ、従って共通の特徴は水平方向の変換のみに関連することが期待される。
【０００７】
図１ｂは画像の色処理を示す。原画像（ＩＬおよびＩＲ）からの色は、二つの新しい画像（ＩＬ’およびＩＲ’）の座標位置（ｊＬ’およびｊＲ’）に前方マップされる。それぞれの場合において、最終的な色は混合操作Ｂによって得られる。混合操作は新しい画像（ＩＬ’およびＩＲ’）の色値を、それぞれに対応する画像の特徴に対して作成する。
【０００８】
図２は、原画像（ＩＬおよびＩＲ）と結びつくカメラの位置を示す。二つの原画像の間の、新しい画像（ＩＬ’およびＩＲ’）の位置は、その値が両原画像の間で０と１の間で変化するパラメータｔを用いて定義される。二つの立体視画像の合成には、新しいビュー（ＩＬ’およびＩＲ’）に対してそれぞれｔＬおよびｔＲの、二つのパラメータが必要である。
【０００９】
図１ｂに示された処理手順は、特定のピクセルのルートをたどることにより理解される。例えば、図１ｂの最上位左の箱からスタートし、画像ＩＬの位置ｊＬからの色が選定される。この色を二つの新しい位置にマップするために、視差マップＤＬが使用される。第１の新しい位置は、画像ＩＬ’の中の位置ｊＬ’＝ｊＬ−ｔＬＤＬ（ｊＬ）である。第２の新しい位置は、画像ＩＲ’の中の位置ｊＲ’＝ｊＬ−ｔＲＤＬ（ｊＬ）である。同様に画像ＩＲの位置ｊＲからの色は、視差マップＤＲを用いて、画像ＩＬ’の中の位置ｊＬ’＝ｊＲ＋（１−ｔＬ）ＤＲ（ｊＲ）および画像ＩＲ’の中の位置ｊＲ’＝ｊＲ＋（１−ｔＲ）ＤＲ（ｊＲ）にマップされる。この結果、ＩＬ’およびＩＲ’の各位置に二個づつの色の組が与えられ，その組は前述の方法で混合される。
【００１０】
米国特許Ｎｏ．６，２１５，４９６は、修正された「スプライト（ｓｐｒｉｔｅ）」表現について記述し、その中で通常のスプライトがあるシーンの中の比較的平坦な、或いは遠距離の部分を与えるために使用できるとしている。ただ一つの入力画像が使用され、関連付けられる奥行きマップと共に採られる。奥行きの情報は出力位置に前方マップされ、色は一つの入力画像に逆方向マップされる（ｒｅｖｅｒｓｅ  ｍａｐｐｅｄ）。この表現は、各ピクセルがスプライトマッピングから独立にオフセットすることを許容することで、改良することができる。オフセットは、歪められた表面に対する、その位置のシーンの奥行きによって定められる。オフセットは表面の既存のモデルから得られるか、あるいは対応アルゴリズムによる計算によって得られると、想定されている。米国特許Ｎｏ．６，２１５，４９６の方法が図３ａおよび図３ｂに示され、幾何学的形状および色の処理方法が、それぞれ示されている。原画像（ＩＬおよびＩＲ）が、上述の方法でマッチングされる。次いで視差が前方マップされ、新しい画像の座標位置に新しい視差マップ（ＤＬ’およびＤＲ’）を与える。特に、視差ＤＬ（ｊＬ）は新しい視差マップＤＬ’の中の位置ｊＬ’＝ｊＬ−ｔＬＤＬ（ｊＬ）にマップされ、そして同様に視差ＤＲ（ｊＲ）は新しい視差マップＤＲ’の中の位置ｊＲ’＝ｊＲ＋（１−ｔＲ）ＤＲ（ｊＲ）にマップされる。
【００１１】
図３ｂに示される色の処理方法は、新しいビューの一つのある位置から始まり、対応する視差マップを用いて原画像の一つの中の色を見つける。この色は新しいビューの中に与えられる。例えば、画像ＩＬ’の中の位置ｊＬ’は、視差ＤＬ’（ｊＬ’）に対応する。これは、ｊＬ’は画像ＩＬの中の位置ｊＬ＝ｊＬ’＋ｔＬＤＬ’（ｊＬ’）にマップされることを意味する。よって、ＩＬ（ｊＬ）の色が、画像ＩＬ’の位置ｊＬ’に与えられる。
【００１２】
ＣｈｅｎおよびＷｉｌｌｉａｍｓの方法は、コンピュータで作成された画像を用いて作業するように設計されている。ＳｅｉｔｚおよびＤｙｅｒの方法は、前方マッピングを用いる。前述した米国特許の方法は、あるシーンの平坦なあるいは遠距離の部分の新しいビューが単一のソース画像に基づいて作成するように、設計されている。シーンの新しいビューを製作する方法を提供できることが望まれる。特に、あるシーンの明白な三次元情報が得られない時に、立体画の奥行きレンジを変更するために使用できる方法を提供することが望まれる。
【００１３】
ＵＳ５９１７９３７は、複数の入力画像から視差、色およびあいまいさ（ｏｐａｃｉｔｉｅｓ）を決定するためのステレオマッチングアルゴリズムを公開している。このアルゴリズムは一般的な視差スペースを作成し、ソース画像を視差スペースに前方マッピングすることにより、視差スペースの中の色とあいまいさの推測値を作成する。推測値を精密化するために、統計的方法が用いられる。
【発明の開示】
【課題を解決するための手段】
【００１４】
発明の第１の局面に従って、
（ａ）シーンの第１および第２の画像の提供するステップと、
（ｂ）ステレオマッチングアルゴリズムを第１および第２の画像に適用し、第１の画像から第２の画像への対応する点の間をマップする第１の視差マップの生成するステップと、
（ｃ）第１の視差マップの第３の画像の座標への前方マッピングによる、第２の視差マップの生成するステップと、
（ｄ）第２の視差マップを使用し、第３の画像の中の各ピクセル位置を第１および第２の画像の対応する位置に逆方向マッピングし、第３の画像の中の各ピクセルに対するあり得る色値の取得するステップと、
（ｅ）第３の画像の中の少なくともいくつかのピクセルのそれぞれに対して、あり得る色値に基づく最終的色値を指定し、およびその結果によるシーンの新しいビューの提供するステップとを包含する画像処理の方法が、提供される。
【００１５】
第１および第２の画像は、水平方向のオフセットのみによって関連づけられるように補正され得る。
【００１６】
第３の画像の位置は利用者によって選択され得る。第３の画像の位置は、第１と第２の画像の間に位置し得る。
【００１７】
ステップ（ｃ）は、第２の視差マップの各エントリーが第１および第２の画像のそれぞれの中に唯一の位置を識別するように、第１の視差マップの前方マッピングを包含し得る。ステップ（ｃ）は、第２の視差マップの中の隙間が満たされるように、前方マッピングの調整を包含し得る。第３の画像のピクセル位置の中の隙間は、それぞれの隙間のそれぞれの端における第２の視差マップの値に基づいて、満たされ得る。
【００１８】
ステップ（ｄ）の中で第３の画像の中の各ピクセル位置に対応する第１および第２の画像から得られる色値は、第１および第２の画像のそれぞれの中の隣接するピクセルの間の内挿法によって得られうる。内挿法は一次近似法および三次近似法の何れでもよい。
【００１９】
ステップ（ｅ）は色値を提供するために、あり得る色値の混合を包含し得る。混合は、第１および第２の画像の場所に対する第３の画像の場所の近接度に従って、実施され得る。色の混合は、第１および第２の画像のうち第３の画像により近い方が、第３の画像のピクセルの色により大きな影響を有するように、重み付けされ得る。
【００２０】
最終的な色値は、あり得る色値の一つであり得る。
【００２１】
ステップ（ｂ）のステレオマッチングアルゴリズムは、単一の視差マップを作るために、単調性（ｍｏｎｏｔｏｎｉｃｉｔｙ）の制限を強制することを包含し得る。
【００２２】
該方法は、第１および第２の画像を交換してステップ（ｂ）を繰り返すことにより、第２の画像から第１の画像の対応する位置にマップする、異なる第１の視差マップを生成するさらなるステップと、異なる第２の視差マップを生成するために、異なる第１の視差マップに対してステップ（ｃ）を繰り返すさらなるステップであって、あり得る色値を得るためにそれぞれの第２の視差マップに対してステップ（ｄ）が実行される、さらなるステップを包含し得る。
【００２３】
二つの第２の視差マップは、ステップ（ｄ）および（ｅ）に先立って、第３の画像の座標の中に併合され（ｍｅｒｇｅｄ）得る。該方法は、二つの第１の視差マップを比較し、全ての不整合なエントリーを削除し、その結果、単一の第１の視差マップを提供する、さらなるステップを包含し得る。
【００２４】
該方法は、異なる第３の画像に対してステップ（ｃ）および（ｅ）を繰り返し、その結果、シーンの新しい一対のステレオビューを形成する二つの第３の画像を作成する、さらなるステップを包含し得る。
【００２５】
該発明の第２の局面に従って、シーンの第１および第２の画像を提供する画像取得手段と、第１の画像から第２の画像に対応する点の間をマップする第１の視差マップを生成するために第１の画像および第２の画像に対してステレオマッチングアルゴリズムを適用するための手段と、第２の視差マップを生成するために第１の視差マップを第３の画像の座標の中に前方マッピングするための手段と、第３の画像のなかの少なくともいくつかのピクセルのそれぞれに対してあり得る色値を得るために、第２の視差マップを使用して第３の画像の中の少なくともいくつかのピクセル位置から第１および第２の画像の対応する点に逆方向マッピングを実行するための手段と、第３の画像の中の少なくともいくつかのピクセルのそれぞれにあり得る色値に基づいて最終的色を指定し、その結果、シーンの新しいビューを提供するための手段とを備える画像処理のための装置が、提供される。
【００２６】
該発明のさらなる局面に従って、発明の方法および第１の局面を実行するコンピュータを制御するプログラムが提供される。
【００２７】
該プログラムは記憶媒体に蓄えられ得る。プログラムは通信ネットワークを通じて送信され得る。
【００２８】
本発明の更にさらなる局面に応じて、発明の第１の局面の方法を実行するためにプログラムされたコンピュータが提供される。
【００２９】
本発明は、さらに以下の手段を提供する。
【００３０】
（項目１）  
画像を処理する方法であって、
（ａ）シーンの第１および第２の画像（ＩＬ、ＩＲ）を提供する（３０ａ、３０ｂ）ステップと、
（ｂ）該第１および第２の画像（ＩＬ、ＩＲ）にステレオマッチングアルゴリズム（Ｍ）を適用すること（３１）により、該第１の画像から該第２の画像へ対応する点の間でマップする第１の視差マップ（ＤＬ、ＤＲ）を生成するステップと、
（ｃ）該第１の視差マップを第３の画像の座標の中に前方マッピングすることにより、第２の視差マップ（ＤＬ’、ＤＲ’）を生成するステップと、
（ｄ）該第２の視差マップを使用して、該第３の画像の中の少なくともいくつかのピクセル位置から該第１および第２の画像の中の対応する点に逆方向マップ（Ｂ）することによって、該第３の画像の中の少なくともいくつかの該ピクセルのそれぞれにあり得る色値を取得するステップと、
（ｅ）該あり得る色値に基づいて該第３の画像の中の少なくともいくつかの該ピクセルのそれぞれに対して最終的色値を指定することによって、該シーンの新しいビュー（ＩＬ’、ＩＲ’）を提供するステップと
を包含する、方法。
【００３１】
（項目２）  
上記第１および第２の画像（ＩＬ、ＩＲ）は、水平方向のオフセットのみによって関連づけられるように補正されていることを特徴とする、項目１に記載の方法。
【００３２】
（項目３）  
上記第３の画像の位置は、利用者によって選択されることを特徴とする、項目１または２に記載の方法。
【００３３】
（項目４）  
上記第３の画像の位置は、上記第１および第２の画像（ＩＬ、ＩＲ）の位置の間にあることを特徴とする、項目１から３のいずれか一項に記載の方法。
【００３４】
（項目５）  
上記ステップ（ｃ）は、上記第２の視差マップ（ＤＬ’、ＤＲ’）のそれぞれのエントリーが上記第１および第２の画像のそれぞれの中に唯一の位置を識別するように、上記第１の視差マップ（ＤＬ、ＤＲ）を前方マップすることを包含することを特徴とする、項目１から４のいずれか一項に記載の方法。
【００３５】
（項目６）  
上記ステップ（ｃ）は、上記第２の視差マップ（ＤＬ’、ＤＲ’）の中の隙間が満たされるように、上記前方マッピングを調整することを包含することを特徴とする、項目５に記載の方法。
【００３６】
（項目７）  
上記第２の視差マップ（ＤＬ’、ＤＲ’）の中の隙間は、各隙間のそれぞれの端における上記第２の視差マップ（ＤＬ’、ＤＲ’）の値に基づいて埋められることを特徴とする、項目６に記載の方法。
【００３７】
（項目８）  
上記ステップ（ｄ）において、上記第１および第２の画像（ＩＬ、ＩＲ）から上記第３の画像の中の対応するそれぞれのピクセル位置に対して取得される色値は、該第１および第２の画像（ＩＬ、ＩＲ）のそれぞれの中の隣接するピクセルの間の内挿法によって取得されることを特徴とする、項目１から７のいずれか一項に記載の方法。
【００３８】
（項目９）  
上記内挿法は、一次近似法および三次近似法のいずれか一つによることを特徴とする、項目８に記載の方法。
【００３９】
（項目１０）
上記ステップ（ｅ）は、最終的色値を提供するためにあり得る色値を混合することを包含することを特徴とする、項目１から９のいずれか一項に記載の方法。
【００４０】
（項目１１）
上記混合は、上記第１および第２の画像（ＩＬ、ＩＲ）の撮影位置に対する上記第３の画像の位置の近接度に従って行われることを特徴とする、項目１０に記載の方法。
【００４１】
（項目１２）  
上記色の混合は、上記第１および第２の画像（ＩＬ、ＩＲ）のうち上記第３の画像により近い方が上記第３の画像の中のピクセルの色により大きな影響を有するように重み付けがなされることを特徴とする、項目１１に記載の方法。
【００４２】
（項目１３）  
上記最終的な色値は、あり得る色値のうちの一つであることを特徴とする、項目１から１０のいずれか一項に記載の方法。
【００４３】
（項目１４）
上記ステップ（ｂ）のステレオマッチングアルゴリズム（Ｍ）は、単一の視差マップを作成するために単調的な制約を強制することを包含することを特徴とする、項目１から１３のいずれか一項に記載の方法。
【００４４】
（項目１５）
該方法は、
上記第１および第２の画像（ＩＬ、ＩＲ）を入れ替えて上記ステップ（ｂ）を繰り返すことにより、上記第２の画像から上記第１の画像に対応する点の間でマップする異なる第１の視差マップを生成するステップと、
該異なる第１の視差マップに対して上記ステップ（ｃ）を繰り返すことにより異なる第２の視差マップを生成するステップとをさらに包含し、
あり得る色値を取得するために、二つの第２の視差マップ（ＤＬ’、ＤＲ’）のそれぞれに対して上記ステップ（ｄ）が実行されることを特徴とする、項目１から１４のいずれか一項に記載の方法。
【００４５】
（項目１６）
上記ステップ（ｄ）および（ｅ）に先立って、上記二つの第２の視差マップ（ＤＬ’、ＤＲ’）が上記第３の画像の座標の中に併合されることを特徴とする、項目１５に記載の方法。
【００４６】
（項目１７）
上記二つの第１の視差マップ（ＤＬ、ＤＲ）を比較し、全ての整合しないエントリーを削除することによって、単一の第１の視差マップを提供するさらなるステップを包含することを特徴とする、項目１６に記載の方法。
【００４７】
（項目１８）
異なる第３の画像位置に対して上記ステップ（ｃ）からステップ（ｅ）までを繰り返すことによって、上記シーンの新しい一対のステレオビューを形成する二つの第３の画像（ＩＬ’、ＩＲ’）を作成するさらなるステップを包含することを特徴とする、項目１から１７のいずれか一項に記載の方法。
【００４８】
（項目１９）
第１および第２の画像（ＩＬ、ＩＲ）を提供する画像取得手段（１、２）と、
該第１および第２の画像（ＩＬ、ＩＲ）に対してステレオマッチングアルゴリズムを適用し、第１の画像から第２の画像への対応する点の間をマップする第１の視差マップ（ＤＬ、ＤＲ）を生成する手段（４）と、
該第１の視差マップ（ＤＬ、ＤＲ）を第３の画像（ＩＬ’、ＩＲ’）の座標の中に前方マッピングすることによって、第２の視差マップ（ＤＬ’、ＤＲ’）を生成する手段（４）とを備えた、画像処理のための装置であって、該装置は、
該第２の視差マップ（ＤＬ’、ＤＲ’）を使用して該第３の画像（ＩＬ’、ＩＲ’）の中の少なくともいくつかのピクセル位置に対して該第１及び第２の画像（ＩＬ、ＩＲ）の中の対応する点への逆方向マッピングを実行することにより、該第３の画像（ＩＬ’、ＩＲ’）の中の少なくともいくつかのピクセルのそれぞれに対してあり得る色値を獲得する手段（４）と、
該あり得る色値に基づいて該第３の画像（ＩＬ’、ＩＲ’）の中の少なくともいくつかのピクセルのそれぞれに対して最終的色を指定することによって、該シーンの新しいビューを提供するための手段と
を備えたことを特徴とする、装置。
【００４９】
（項目２０）
項目１から１８のいずれか一項に記載する方法を実行するためのコンピュータ（４）を制御するためのプログラム。
【００５０】
（項目２１）  
記憶媒体（２１）に蓄えられる、項目２０に記載のプログラム。
【００５１】
（項目２２）  
項目２０に記載のプログラムの、通信ネットワーク（２７）を経由しての送信。
【００５２】
（項目２３）  
項目１から１８のいずれか一項に記載する方法を実行するためにプログラムされたコンピュータ（４）。
（摘要）
シーンの新しいビューを作成するための方法および装置を提供する。該方法は以下のステップ、
（ａ）シーンの第１および第２の画像（３０ａ、３０ｂ）を提供するステップ、
（ｂ）第１の画像から第２の画像への対応する点の間をマップする第１の視差マップ（３２ａ、３２ｂ）を生成するために、第１および第２の画像にステレオマッチングアルゴリズム（３１）を適用するステップ、
（ｃ）第２の視差マップ（３３ａ、３３ｂ）を生成するために、第１の視差マップを第３の画像の座標の中に前方向マッピングするステップ、
（ｄ）第２の視差マップを使用し、第３の画像の中の少なくともいくつかのピクセルのそれぞれにあり得る色値を取得するために、第３の画像の少なくともいくつかのピクセル位置を第１および第２の画像の中の対応する点に逆方向マッピングするステップ、
（ｅ）あり得る色値に基づいて第３の画像の中の少なくともいくつかのピクセルのそれぞれに、最終的色値を指定し、その結果としてシーンの新しいビュー（３４ａ、３４ｂ）を提供するステップを包含する。
【発明を実施するための最良の形態】
【００５３】
本発明をより良く理解するために、およびその同一物が有効にもたらされ得ることを示すために、添付図面が参照される。
【００５４】
以下に記述する実施形態は、あるシーンに対する二つの与えられたビューから、新しい画像を合成する方法を規定する。各々の新しいビューの部分的にさえぎられた（ｏｃｃｌｕｄｅｄ）およびあいまいな（ａｍｂｉｇｕｏｕｓ）領域は、適切に提供される。更に加えて、両方の入力画像からの色情報が、各々の新しいビューのピクセル値を決めるために用いられる。本発明の一実施形態が図４に示されている。カメラ１および２は、それぞれ入力画像ＩＬおよびＩＲを得るために用いられる．これらの画像はコンピュータ４に送られる。利用者は、入力装置６を介して、位置ｔで示す中間の視点位置を指定することができる。入力装置は、例えばキーボードまたはマウスが使用できる。コンピュータは以下に記述する方法で入力を処理し、中間のビューＩ’を作成する。出力画像はコンピュータに付属したディスプレイ５に現れる。新しいビューが作られる中間の位置は、カメラ１から距離ｂの位置にある仮想のカメラ３によりシーンの画像が得られる位置と等価である。新しいビューＩ’の位置は、カメラ１と２の間の全距離ａに対する距離ｂの割合によって定義される。
【００５５】
本発明の第１の実施形態の方法は、一つより多くの入力画像の間の視差マップを、例えばマッチングアルゴリズムを用いて、得ること、一つより多くの画像からの視差をそれぞれの所要の出力画像位置に前方マッピングすること、および一つより多くの入力画像に逆方向マッピングすることにより、新しいビューの色情報を得ること、を含む。本発明の実施形態は、一対の新しい合成ステレオを含む一対の新しいビューを作成するために利用し得る。本発明の実施形態は、ＳｅｉｔｚおよびＤｙｅｒにより記述された前方マッピングアルゴリズムよりも正確である。逆方向マッピングの手順は異常なピクセルをほとんど作らず、また偽の空白領域を作らない。よく知られるように、逆方向マッピングの手順はまた、より制御された方法でソース画像からのサンプル採取を可能にする。
【００５６】
以下に記述する逆方向マッピング処理の利点は、上記既存技術のいくつかで必要とされるように、シーンの新しく隠されたあるいは現された部分が、ピクセルの色の間でよりもむしろピクセルのオフセットの間で解像され得ることにある。このことが新しいビューをより完全にまたより正確にする。
【００５７】
実施形態のいくつかに従えば、二つのソース像の間に相互に不整合がないことを保証できる。この制約は、新しい画像が一対のステレオとして眺められたときに明らかとなる、奥行き人工物（ｄｅｐｔｈ  ａｒｔｅｆａｃｔｓ）の数を減らす。異なるソース画像からの色情報の結合の重要性が保持される。
【００５８】
以下に記述する方法は、同一のシーンあるいはオブジェクトの二つ以上の入力ビューを必要とする。最小のケースが図２に示されており、そこではカメラ１および２が、深度の異なる表面７および８を含む一つのシーンの、一対のステレオ画像ＩＬおよびＩＲを撮影する。二台のカメラが平行な光軸をもって並んでいない場合には、画像は最初に補正される必要がある。補正の処理は、二つの画像の中の対応する特徴が水平方向のオフセットのみに関係することを保証する。
【００５９】
図２の二台のカメラによって作られた二つの画像を図５に示す。二つの表面７および８はＦおよびＧの記号で記される。二つの画像を撮影した二台のカメラは平行であるので、水平方向の視差のみが存在する。二つの画像は端切され（ｃｒｏｐｐｅｄ）ているので、表面Ｇは視差を有しない。各画像の中心を通るピクセルの行が点線で記される。ピクセルの行および対応する視差が１０に示されている。例えば点ｆ１は、画像ＩＬのピクセル位置５にあり、画像ＩＲのピクセル位置５＋（−２）＝３にある。つまり、１１で示されたピクセルは画像の特徴ｆ１を所有し、また視差マップの対応するエントリー位置１２に−２を有する。このことは画像ＩＲの中に特徴ｆ１の対応する位置を得るためには、画像ＩＬの中のｆ１のピクセル位置から二つのピクセル位置を引き算し、１３で示すように画像ＩＲの中のピクセル位置３を得ることを示している。Ｘの記号が記された点は一つの画像のみに見られ、従ってマッチされることができない。
【００６０】
図６ａおよび６ｂは、本発明の実施形態における幾何学的形状の処理及び色の処理の局面を、それぞれ示す。ソース画像ＩＬおよびＩＲ（３０ａ、３０ｂ）から出発し、対応マップ（あるいは視差マップ）を計算するためにステレオマッチングアルゴリズムＭ（３１）が使用され、視差マップＤＬ（３２ａ）（画像ＩＬを画像ＩＲにマップする）およびＤＲ（３２ｂ）（画像ＩＲを画像ＩＬにマップする）を作成する。一般的に二つのマップは独立であり、その理由は画像ＩＬには画像ＩＲのビューから隠された特徴が存在し、またその逆もあるからである。視差マップが計算され、新しい視差マップＤＬ’およびＤＲ’（３３ａ、３３ｂ）を作るために前方マッピングされる。二つの新しいビューの一つの位置からスタートし、対応する視差マップを使用して、ソースビューの中に色を見つける。例えば画像ＩＬおよびＩＲの中のそれぞれｊＬおよびｊＲの位置の色を見つけるために、視差マップＤＬ’が使用される。画像ＩＬからの色は位置ｊＬ’と関連づけられ、同じく位置ｊＬ’と関連づけられる画像ＩＲからの色と混合される。その結果は、画像ＩＬ’の位置ｊＬ’に指定される。これと対応する一連の手順が、画像ＩＲ’の位置ｊＲ’の色を計算するために採られる。その結果、ソース画像のシーンの新しいビューを構成する二つの出力画像ＩＬ’およびＩＲ’（３４ａ、３４ｂ）が得られる。
【００６１】
アルゴリズムの個々のステージを以下に記述する。単独の画像Ｉ’の合成を考えることが、ステレオの一対の画像ＩＬ’およびＩＲ’を考えるよりも好都合である。以下の章を参照するときに、左手の新しい画像は対応する特徴に添字Ｌを付加することで得られ、右手の新しい画像に対しては添字Ｒを用いる。
【００６２】
図７は、表面７の上の点ｆ１からｆ４および表面８の上の点ｇ１からｇ１０を示す。二つの表面の形状はカメラ１および２によって撮影され、それぞれ画像ＩＬおよびＩＲを作る。
【００６３】
ｇ３およびｇ４はカメラ２から隠されており、ｇ７およびｇ８はカメラ１から隠されていることに注意する。画像ＩＬおよびＩＲからのピクセルの行が図９に示されており、ＩＬおよびＩＲの画像点間のマッチを示す。点のマッチは矢印で示され、矢印は視差のある場合は傾斜している。図７を参照し、表面Ｇは視差がゼロであるように画像は水平方向に整列されていることが、説明のために想定される。ＩＬのｇ３およびｇ４あるいはＩＲのｇ７およびｇ８には、これらの点が両方のカメラから見えないために、視差は与えられない。
【００６４】
画像Ｉ’は「ターゲット画像」であり、元のカメラの間の視点に対応する。特にｔを範囲０から１までの値をとるパラメータとし、ＣＬとＣＲをカメラの位置とすると、新しい視点は位置（１−ｔ）ＣＬ＋ｔＣＲに有効に置かれる。例えばｔ＝１/２とすると、画像Ｉ’はＣＬとＣＲとの間の中間点の視点に対応し、図８に示す仮想のカメラ３により撮影される。
【００６５】
逆方向マッピングを実行するために、図６ａおよび６ｂに示すように、Ｉ’の座標で記述された新しい視差マップＤ’が必要である。ＤＬとＤＲとをＤ’に前方マップすることができる。視差が非負の数で表されている場合は、それぞれの位置（ｉ，ｊ）に対して、
方程式は、
Ｄ’（ｉ，ｊ’）←ＤＬ（ｉ，ｊＬ），
ここで、  ｊ’＝ｊＬ−ｔＤＬ（ｉ，ｊＬ）  および
Ｄ’（ｉ，ｊ’）←ＤＲ（ｉ，ｊＲ），
ここで、  ｊ’＝ｊＲ＋（１−ｔ）ＤＲ（ｉ，ｊＲ）。        （１）
記号「ａ←ｂ」は、「値ｂをａに指定する」ことを意味する。これらの方程式は０≦ｔ≦１の範囲で与えられ、それぞれｊＲおよびｊＬに向けてのマッピングと解釈される。
【００６６】
前方マッピング処理が図６ａの下部に示されている。一般に方程式（１）の水平方向のターゲット座標は整数ではなく、そのためにソース視差は正確なピクセルの位置にマップしないであろう。更に、一つより多くのもとの値が（ほぼ）同一の位置にマップされ得る。各ピクセルに単一の推定値を作るために、下記の手順が使用できる。
【００６７】
前方マップされた各サンプルは、「適用範囲（ｃｏｖｅｒａｇｅ）」値０≦α≦１と関連づけられることができる．例えば、水平方向のターゲット位置が二つのピクセルｐおよびｑの間にあると仮定すれば、ｊｐ≦ｊ’≦ｊｑである。元の値が両方の位置、αｐ＝ｊｑ−ｊ’およびαｑ＝ｊ’−ｊｐにマップされる。その結果、各ターゲット位置の元の値と対応する「適用範囲」のリストが作られる。ターゲット視点に最も近い表面を表す最も外側の値は、各位置の他の値をふさぐ（ｏｃｃｌｕｄｅ）傾向にある。この原則は、各位置の単一のターゲット値を得るために使用することができる。その値は候補値のリストを視差の低い方から高い方にソーティングすることにより計算される。その後、リストは、ａ値（ａ  ｖａｌｕｅｓ）を重みとして、後ろから前へと合成される。
【００６８】
上述した手順は、Ｄ’の各位置に、複数の値を分析してその中から単一の推定値を得るために用いられる。Ｄ’の各エントリーは各ソース画像の中の唯一の位置を識別（ｉｄｅｎｔｉｆｙ）する。しかし一般に、値がマップされていないＤ’の領域が存在するであろう。これはシーンのふさいでいる表面の影響による。その結果生じる隙間は、以下に述べるように、視差アレイの各行に沿って、個々に埋めることができる。
【００６９】
一般に、ふさがれた表面の視差表面は、それがふさいでいる縁に達するまで延長されなければならない。そしてこれは以下の方法で達成可能である。それぞれの隙間の両端における視差が調査され、二つのうちの小さいほうが外挿されるべき側となる。次いで隙間の該当する側の隣接する視差に対して、一次元モデルが適合される。このモデルには、外挿された端が接触点においてふさいでいる端の前にくることはできない、という制約がある。この手順の便利な近似法として、二つの端の点の視差のうち小さいほうを単純に隙間の全ての位置に指定することができる。これは実質的に零次の外挿モデルである。
【００７０】
前方マッピングのステージを図１０に示す。視差が図９に示された対応に従って前方マップされる。この処理ではＩ’座標のｇ２とｆ１の間およびｆ４とｇ９の間に隙間が生じる。欠けている値は隙間の端の位置を比較することにより推定される。この例ではｇ２の視差はｆ１のそれよりも小さいので、ｇ２の値が隙間の中にコピーされる。同様にｇ９の視差がＩ’のｆ４からｇ９の隙間にコピーされる。図２および図７を参照し、図１１において表面Ｇがふさいでいる表面Ｆに出会うまで効果的に延長されていることが見られる。
【００７１】
新しいビューを提供するために、各ピクセルの位置がソースビューの中に、以下のように逆方向マップされなければならない：
【００７２】
【数１】
2006065862.tif 000003
ｔ＝０の場合、ｊＬ＝ｊ’であることに注意すれば、点はＩＬから直接導かれることができる。同様に、ｔ＝１の場合、ｊＲ＝ｊ’であり、点はＩＲから直接導かれることができる。一般に、ＩＬおよびＩＲのソース座標は、整数の位置にはないであろう。しかし、各ケースの色を、隣接するピクセル間の内挿法により求めることは簡明（ｓｔｒａｉｇｈｔｆｏｗａｒｄ）である。例えば三次式による内挿法などの、より精度の高いモデルも使用可能であるが、水平方向に隣り合う値の間の直線補間は適切な方法である。
【００７３】
方程式（２）によれば、後方マッピング（ｂａｃｋｗａｒｄ  ｍａｐｐｉｎｇ）と内挿法が、新しいビューの各ピクセルに対して、通常二つの可能な値を与える。新しい視点のソースカメラ位置に対する近接度に従って、これらの色を混合することは自然である。特に、Ｉ’がＩＬと一致するとき、ＩＲからの色は全く寄与しない。同様にＩ’がＩＲと一致するとき、ＩＬは寄与しない。新しいビューが元のビューの一つと一致するときは、新しい色は対応する元の色と等しく設定される。これらの考察から、色混合のスキーム
Ｉ’（ｉ，ｊ’）←（１−ｔ）ＩＬ（ｉ，ｊＬ）＋ｔＩＲ（ｉ，ｊＲ）            （３）
が、方程式（２）で定義されたｊＬとｊＲを用いて、導かれる。一方のビューのみに見える点（図１１のｇ３のような）は、混合される相手の色が存在しないので、直接に与えられる必要がある。この理由のために、ピクセルがマップされる前に、二つの原画像に対して包括的な色標準化を実施することが望ましいことがある。
【００７４】
上述された処理は、幾何学的に正確な内挿されたビューを、視差情報と外挿モデルとの精度に応じて、作成するであろう。例えば、図７に示されたシーンは、ここで記述された方法で正確に提供される。これは、例えばピクセルの色が前方マップされると仮定する、通常の前方マッピング方法では真実でない。図１０を参照し、以前のように、Ｉ’の座標の中で定義されずに残されているｇ２とｆ１との間のピクセルについて考察する。ＣｈｅｎおよびＷｉｌｌｉａｍｓ、ならびにＳｅｉｔｚおよびＤｙｅｒによって示されたように、隙間は既知の色ｇ２と色ｆ１との間の内挿法により埋められることができる。一般に、この方法は欠けている値の正確な推定値を与えないであろう。特に、図７に示すように表面ＦおよびＧが離れているときであり、それは目立つ色になりやすい。ｇ３の周辺の隙間が大きいときは、合成された範囲に正しくない色勾配が現れるであろう。隙間の何れの側からの色の外挿法も、一般にはまた人工物を作るであろうということに留意すべきである。これは、欠けた画像領域は複雑な画像の特徴を含んでいることがあり得るからである。画像の特徴を周辺のピクセルから外挿（または内挿）することは通常可能ではない。原則として、元の視差アレイの隙間は前方マッピング処理に先立って埋めることができる。しかし、これは、なお、Ｉ’の中の全てのピクセルが埋められることを保証することは無いであろう。それゆえに隙間充填の問題は残される。
【００７５】
ある場合には、以前には見ることが出来なかった画像のテクスチャが新しいビューの中で合成されなければならない。テクスチャ合成アルゴリズムと組み合わせたとき、上述した手順は、異なる視点からの新しい画像が相互に整合することを保証する。
【００７６】
上述のように、ここに記述される方法は、立体視的一対の画像の合成に特に良く適している。その理由は、同一のシーンの二つの内挿された画像が相互に整合するからである。この先の実施形態において、この方法が、非立体視的な使用目的に対して、個別的な画像の合成にもまた使用することが可能である。
【００７７】
視差マップＤＬおよびＤＲは、左の画像を右に、および右の画像を左に、それぞれマッチングすることにより、個々に独立に得ることができた。一般に二つの視差マップは、マッチング処理中のエラーにより、相互に整合するとは言えないであろう。しかし、下記の方法で整合を強制することができる。つまり，ＤＬを用いて、ＩＬの中の点（ｉ，ｊＬ）をＩＲの中の点（ｉ，ｊＲ）にマップする。他の視差マップＤＲは、次に（ｉ，ｊＲ）をＩＬに戻すマップのために用いられる。両方の視差マップの間に不整合がなければ、上記の処理は元の点（ｉ，ｊＬ）に帰ることになる。このテストが失敗する場合、視差ＤＬ（ｉ，ｊＬ）は廃棄可能である。添字ＬとＲとを入れ替えた場合にも、同様の結果が得られる。
【００７８】
視差マップが整合する場合、ＤＬはＤＲから計算でき、その逆も同じであるので、その両方を保存する必要はない。単調性は整合することの特別なケースであり、ＩＬとＩＲの中の同じ水平方向の並び順に対応する特徴が現れることを意味する。画像マッチングアルゴリズムの一部として、単調性を強制することはしばしば有用である。その結果、視差マップは一つになる。さらに、この場合には、視差の前方マッピング処理（方程式（１）のような）は単純化される。並び順に関する制約は、Ｄ’の与えられた位置に一つよりも多い視差がマップされることがあり得ないことを意味し、それ故に解決を要する不整合は生じない。
【００７９】
マッチングアルゴリズムの選択によっては、視差マップは不完全なものになり得る。
例えば、マッチングアルゴリズムはソース画像の空白領域において作動不良となる可能性があり、その場合マッチされるべき特徴が得られない。同じく、上述したとおり、ＤＲと整合しないＤＬの中の視差は、その逆も、全て削除されることが望まれ得る。その結果生じる隙間は、上述した方法で埋めることが可能である。
【００８０】
二つよりも多いソースビューがあるときは、いくつかの独立な視差マップを計算することが可能である。その理由は、そのシーンの視認できる領域が、対となるカメラの選択によって変わるからである。複数の推定値を組み合わせる、二つの方法がある。二つの視差マップのケースにおいて以前に述べたように、採りうる最大値（最も近い特徴を意味する）を常に選択することが可能である。他の方法としては上述したように、全ての視差マップの間に整合する関係を導入することが可能である。
【００８１】
奥行きレンジを増加するためには、より幅広く離れた位置からの新しいビューが得られなければならない。これは、新しいビューの部分が二つのソースカメラの何れからも隠されることを、より生じやすくさせる。隠された部分を正確に提供することは通常不可能であろうが、良好な予測を作成することは可能である。さらに、その予測はいくつかの合成ビューの間で整合して作成することが可能である。
【００８２】
見えない部分の外見は、しばしば周囲の領域の外見から良く予測可能である。例えば、Ｅｆｆｒｏｓおよび  Ｌｅｕｎｇによる「Ｔｅｘｔｕｒｅ  Ｓｙｎｔｈｅｓｉｓ  ｂｙ  Ｎｏｎ−Ｐａｒａｍｅｔｒｉｃ  Ｓａｍｐｌｉｎｇ」、（Ｐｒｏｃ，ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、１９９９、１０３３〜１０３８ページ）は、種々の画像テクスチャの合成が可能な簡単なアルゴリズムについて記述している。新しいピクセルの色が、近隣の水平方向および垂直方向の画像のサンプリングを含む手順により予測される。二つの新しいビューの各々に全く新しい画像領域を作らねばならないときは、テクスチャ合成アルゴリズムが、各ケースの欠落した領域に適用できる。しかしその結果は、整合したステレオ画像の対ではないであろう。
【００８３】
上述した逆方向マッピングの表現は、整合したテクスチャ合成を可能にする。その理由は、後方マッピング処理を通じてソース画像をサンプルすることが出来るからである。その結果得られたテクスチャモデルは、欠けているピクセルの値を与える。各新しい画像に対して同じテクスチャモデルが使用されるので、その結果得られる新しいビューは、相互に整合している。
【００８４】
図１２の概略図は、上述した画像処理を実行するコンピュータ４を示す。中央処理装置
（ＣＰＵ）２３は、読取り専用記憶装置（ＲＯＭ）２０およびランダムアクセス記憶装置（ＲＡＭ）２２に接続されている。ＣＰＵは、入力／出力装置２５を経由して、画像ソースから画像データ２４を供給される。ＣＰＵはつぎに、プログラム記憶装置２１（これはＲＯＭ２０の一部であり得る）によって供給される指示に従って、幾何学的形状と色の処理を実行し、新しい画像２６を提供する。プログラムそれ自身、あるいはシステムに対する全ての入力および／または出力は、通信ネットワーク２７、これは例えばインターネットであり得る、に／から供給または送信される。
【００８５】
上記の実施形態に対して、本発明の範囲から逸脱することなく、添付の請求項の中の形態として、様々な変更がなされることは、当業者によって認識されるであろう。
【図面の簡単な説明】
【００８６】
【図１】図１ａおよび図１ｂは、シーンの新しいビューを合成する従来技術による方法を示すデータフロー図である。
【図２】シーンの二つの異なるビューを取得する二つのカメラを示す。
【図３】図３ａおよび図３ｂは、シーンの新しいビューを合成する他の従来技術による方法を示すデータフロー図である。
【図４】本発明の一実施形態を示す。
【図５】本発明の一実施形態に従った視差マップの形成を示す。
【図６】図６ａおよび図６ｂは、本発明の実施形態に従った、シーンの新しいビューを合成する方法を示すデータフロー図である。
【図７】図２のシーンの平面図である。
【図８】図２のシーンの平面図である。
【図９】本発明の一実施形態に従った、前方および逆方向マッピングのステップを示す。
【図１０】本発明の一実施形態に従った、前方および逆方向マッピングのステップを示す。
【図１１】本発明の一実施形態に従った、前方および逆方向マッピングのステップを示す。
【図１２】本発明の一実施形態に従った、コンピュータの概略図である。
【符号の説明】
【００８７】
１、２  カメラ
４  コンピュータ
ＩＬ  第１の画像
ＩＲ  第２の画像
ＩＬ’、ＩＲ’  第３の画像
ＤＬ、ＤＲ  第１の視差マップ
ＤＬ’、ＤＲ’  第２の視差マップ
【図１】
2006065862.tif 000004
【図２】
2006065862.tif 000005
【図３】
2006065862.tif 000006
【図４】
2006065862.tif 000007
【図５】
2006065862.tif 000008
【図６】
2006065862.tif 000009
【図７】
2006065862.tif 000010
【図８】
2006065862.tif 000011
【図９】
2006065862.tif 000012
【図１０】
2006065862.tif 000013
【図１１】
2006065862.tif 000014
【図１２】
2006065862.tif 000015