【手続補正書】
【提出日】平成18年11月10日(2006.11.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
イメージおよび前記イメージの視差マップからディジタルイメージまたはディジタル化された前記イメージの２レイヤ表現を生成するコンピュータ実施される処理であって、
前記イメージの視差マップを使用して、前記イメージ内の深さ不連続の位置を識別する処理アクションと、
前記深さ不連続を囲む指定されたサイズの領域内で見つかる前記イメージのピクセルを識別し、これらのピクセルを、前記イメージの深さ不連続領域内にあるものとして指定する処理アクションと、
前記深さ不連続領域内のピクセルごとに、フォアグラウンドカラー、バックグラウンドカラー、およびアルファ値を推定する処理アクションと、
前記深さ不連続領域内のピクセルごとに、フォアグラウンド視差値およびバックグラウンド視差値を推定する処理アクションと、
前記深さ不連続領域のピクセルに対応する各めいめいの位置にあるピクセルを含む前記イメージの境界レイヤを確立する処理アクションであって、各境界レイヤピクセルは、前記深さ不連続領域の対応するピクセルに関連する前記フォアグラウンドカラー、前記フォアグラウンド視差、および前記アルファ値を割り当てられる、処理アクションと、
前記イメージのメインレイヤを確立する処理アクションであって、前記メインレイヤは、
前記深さ不連続領域のピクセルに対応する各めいめいの位置のピクセルであって、該ピクセルのそれぞれは、前記深さ不連続領域の対応するピクセルに関連する前記バックグラウンドカラーおよび前記バックグラウンド視差値を割り当てられる、ピクセルと、
前記深さ不連続領域のピクセルに対応しない各位置のピクセルであって、該ピクセルのそれぞれは、前記イメージの対応するピクセルに関連する前記カラーおよび前記視差値を割り当てられる、ピクセルと
を含む、処理アクションと
をコンピュータを使用して実行することを備えることを特徴とするコンピュータ実施される処理。
【請求項２】
前記イメージ内の深さ不連続の位置を識別する前記処理アクションは、視差レベルの指定された数を超える、隣接ピクセルの間の視差値の差を示す任意の位置を、深さ不連続として識別するアクションを含むことを特徴とする請求項１に記載の処理。
【請求項３】
視差レベルの前記指定された数が、４であることを特徴とする請求項２に記載の処理。
【請求項４】
前記深さ不連続を囲む前記指定されたサイズの領域は、識別された深さ不連続位置から各方向に３ピクセル拡張した領域として定義されることを特徴とする請求項１に記載の処理。
【請求項５】
前記深さ不連続領域内のピクセルごとにフォアグラウンドカラー、バックグラウンドカラー、およびアルファ値を推定する前記処理アクションは、前記カラーおよびアルファ値を推定するのにマッティング技法を使用するアクションを含むことを特徴とする請求項１に記載の処理。
【請求項６】
前記深さ不連続領域内のピクセルごとにフォアグラウンドおよびバックグラウンド視差値を推定する前記処理アクションは、前記フォアグラウンド視差値および前記バックグラウンド視差値を推定するのに前記イメージのフォアグラウンド部分およびバックグラウンド部分の近傍視差のアルファ加重平均を使用するアクションを含むことを特徴とする請求項１に記載の処理。
【請求項７】
前記フォアグラウンド視差値および前記バックグラウンド視差値を推定するのに前記イメージのフォアグラウンド部分およびバックグラウンド部分の近傍視差のアルファ加重平均を使用する処理アクションは、
検討中のピクセルに隣接する前記イメージのフォアグラウンド部分内の指定されたサイズのウィンドウ内の各ピクセルにそのアルファ値をそれぞれ乗じ、結果の積の平均をとることによって、各深さ不連続領域内の各ピクセルの前記フォアグラウンド視差値を計算するアクションと、
検討中のピクセルに隣接する前記イメージのバックグラウンド部分内の指定されたサイズのウィンドウ内の各ピクセルに１からそのアルファ値を減じたものをそれぞれ乗じ、結果の積の平均をとることによって、各深さ不連続領域内の各ピクセルの前記バックグラウンド視差値を計算するアクションと
を含むことを特徴とする請求項６に記載の処理。
【請求項８】
前記境界レイヤピクセルに対応する領域を指定された量だけ膨張させ、各追加されたピクセルに前記メインレイヤ内の対応するピクセルと同一のカラーおよび視差値と、１のアルファ値とを割り当てる処理アクションをさらに含むことを特徴とする請求項１に記載の処理。
【請求項９】
前記指定された膨張量は、１ピクセルであることを特徴とする請求項８に記載の処理。
【請求項１０】
前記イメージおよび前記イメージのピクセル深さマップからのディジタルイメージまたはディジタル化されたイメージの２レイヤ表現を生成するシステムであって、
汎用コンピューティングデバイスと、
前記コンピューティングデバイスによって実行可能なプログラムモジュールを含むコンピュータプログラムと
を備え、前記コンピューティングデバイスは、前記コンピュータプログラムの前記プログラムモジュールによって、
前記イメージの深さマップを使用して、前記イメージ内の深さ不連続の位置を識別し、
前記深さ不連続を囲む指定されたサイズの領域内で見つかる前記イメージのピクセルを識別し、これらのピクセルを、前記イメージの深さ不連続領域内にあるものとして指定し、
前記深さ不連続領域内のピクセルごとに、フォアグラウンドカラー、バックグラウンドカラー、およびアルファ値を推定し、
前記深さ不連続領域内のピクセルごとに、フォアグラウンド深さ値およびバックグラウンド深さ値を推定し、
前記深さ不連続領域の対応する位置のピクセルに関連する前記バックグラウンドカラーおよび前記バックグラウンド深さを示すピクセルと前記深さ不連続領域内にない前記イメージの対応する位置のピクセルに関連する前記カラーおよび前記深さを示すピクセルとを含む前記イメージのメインレイヤ、ならびに前記深さ不連続領域の対応する位置のピクセルに関連する前記フォアグラウンドカラー、前記フォアグラウンド深さ、および前記アルファ値を示すピクセルを含む前記イメージの境界レイヤを生成する
ように指示されることを特徴とするシステム。
【請求項１１】
前記イメージの深さ不連続の前記位置を識別する前記プログラムモジュールは、指定された量を超える、隣接ピクセルの間の深さ値の差を示すすべての位置を、深さ不連続として識別するサブモジュールを含むことを特徴とする請求項１０に記載のシステム。
【請求項１２】
イメージおよび前記イメージのピクセル視差マップからディジタルイメージまたはディジタル化された前記イメージの２レイヤ表現を生成するコンピュータ実行可能命令を有するコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、
前記イメージの視差マップを使用して、前記イメージ内の深さ不連続の位置を識別することと、
前記識別された深さ不連続を囲む指定されたサイズの深さ不連続領域を確立することと、
前記深さ不連続領域内のピクセルごとに、フォアグラウンドカラー、バックグラウンドカラー、およびアルファ値を推定することと、
前記深さ不連続領域内のピクセルごとに、フォアグラウンド視差値およびバックグラウンド視差値を推定することと、
前記深さ不連続領域の対応する位置のピクセルに関連する前記バックグラウンドカラーおよび前記バックグラウンド視差を示すピクセルと前記深さ不連続領域内にない前記イメージの対応する位置のピクセルに関連する前記カラーおよび前記視差を示すピクセルとを含む前記イメージのメインレイヤ、ならびに前記深さ不連続領域の対応する位置のピクセルに関連する前記フォアグラウンドカラー、前記フォアグラウンド視差、および前記アルファ値を示すピクセルを含む前記イメージの境界レイヤを生成することと
を含むことを特徴とするコンピュータ可読媒体。
【請求項１３】
ディジタルイメージまたはディジタル化されたイメージの２レイヤ表現であって、
深さ不連続領域の対応する位置のピクセルに関連するバックグラウンドカラーおよびバックグラウンド視差を示すピクセルと、前記深さ不連続領域内にない前記イメージの対応する位置のピクセルに関連するカラーおよび視差を示すピクセルとを含むメインレイヤと、
前記深さ不連続領域の対応する位置のピクセルに関連するフォアグラウンドカラー、フォアグラウンド視差、およびアルファ値を示すピクセルを含む境界レイヤとを備え、
前記深さ不連続領域が、前記イメージの視差マップを使用して前記イメージ内で見つかる深さ不連続を囲む指定されたサイズの領域に対応する
ことを特徴とする２レイヤ表現。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
はじめて現れた時に、その効果は、新鮮で華々しく見えたが、ほどなく、多数の作品でエミュレートされ、そのうちで最も有名なものが、多分、「マトリックス」という題名の映画で見られる「バレットタイム（ｂａｌｌｅｔ  ｔｉｍｅ）」効果である。残念ながら、この効果は、１回限りの事前に計画された仕事である。視点の軌跡が、事前に計画され、多数の人月（ｍａｎ  ｈｏｕｒｓ）が、所望の補間されたビューを作ることに費やされる。より新しいシステムは、ビデオカメラアレイに基づくが、それでも、ソフトウェアビュー補間を避けるために多数のカメラを備えることを当てにする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
ヤン（Ｙａｎｇ）他［１８］は、動的シーンをキャプチャするためにカメラ（各３２０×２４０）の８×８グリッドを設計した。データを記憶し、レンダリングするのではなく、これらは、所望の仮想ビューを構成するのに必要な光線だけを送信する。このシステムでは、カメラがゲンロック（ｇｅｎｌｏｃｋ）されず、６台のＰＣにまたがる内部クロックに依存する。カメラキャプチャレートは、１５ｆｐｓであり、対話型ビューイングレートは、１８ｆｐｓである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
前述のシステムに共通しているのが、シーンジオメトリが、未知であるか、おおまかにのみ既知であるのいずれかであることに部分的に起因して、現実的なレンダリングに大量のイメージが必要であることである。ジオメトリが正確に既知の場合には、イメージの要件を大幅に減らすことが可能である［７］。シーンジオメトリを抽出する１つの実用的な形が、立体視を介するものであり、多数の立体視アルゴリズムが、静的シーンについて提案されてきた［１３］。しかし、動的シーンに立体視技法を使用する試みはほとんど行われてこなかった。Ｖｉｒｔｕａｌｉｚｅｄ  Ｒｅａｌｉｔｙ作業［１０］の一部として、ベデュラ（Ｖｅｄｕｌａ）他［１７］は、２Ｄオプティカルフローおよび３Ｄシーン形状を使用して３Ｄ動きを抽出する（たとえば、経時的なシーン形状の間の対応）アルゴリズムを提案した。この手法では、ボクセルカラーリング［１４］に似た投票方式（ｖｏｔｉｎｇ  ｓｃｈｅｍｅ）が使用され、そこで使用される指標（ｍｅａｓｕｒｅ）は、仮定されたボクセル位置が３Ｄフロー式にどれほどよくあてはまるかである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
より野心的な努力で、カーセロニおよびクツラコス（Ｃａｒｃｅｒｏｎｉ  ａｎｄ  Ｋｕｔｕｌａｋｏｓ）［２］は、既知の照明位置を伴う非剛体運動の下で区分的に連続なジオメトリおよび反射率（フォンモデル）を正常な状態に戻した。彼らは、空間をサーフェス要素（「サーフェル（ｓｕｒｆｅｌ）」）に離散化し、位置、方位、および反射率パラメータに対する検索を実行して、観察されたイメージとの一致を最大にする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
しかし、立体視およびイメージベースレンダリングのすべての進展にかかわらず、動的シーンの高品質高解像度ビューをレンダリングすることは、まだ非常に困難である。ライトフィールドレンダリング論文［１１］で提案されているように、１つの手法は、入力カメラおよび仮想カメラの相対位置だけに基づいて単純に光線を再サンプリングすることである。ルミグラフ［７］および後続の研究で実証されているように、シーンジオメトリに３Ｄインポスタ（ｉｍｐｏｓｔｏｒ）またはプロキシを使用することによって、補間されたビューの品質を大きく高めることができる。もう１つの手法は、単純なテクスチャマッピングされた３Ｄモデル［１０］を作成することであるが、これは、一般に、複数の基準ビューの使用より劣る結果を作る。もう１つの手法が、３Ｄプロキシを必要とする、ジオメトリによって補助されたイメージベースレンダリング手法を使用することである。１つの可能性は、Ｌｕｍｉｇｒａｐｈ  ａｎｄ  Ｕｎｓｔｒｕｃｔｕｒｅｄ  Ｌｕｍｉｇｒａｐｈ論文［１］のように単一のグローバル多面体モデルを使用することである。もう１つの可能性は、Ｌａｙｅｒｅｄ  Ｄｅｐｔｈ  Ｉｍａｇｅｓ［１５］のようにピクセルごとの深さ、オフセット深さマップＦａｃａｄｅ［５］のように、または深さ付きスプライト［１５］を使用することである。一般に、基準ビュー［１２、６、９］ごとに異なるローカル幾何プロキシを使用することによって、より高い品質の結果が作られる。