(57)【要約】【課題】１つまたは複数の画像を湾曲した表示面上に投影する方法。【解決手段】まず、所定の構造化光パターンが表示面上に投影される。表示面上に投影された画像から、立体画像対が得られる。次に、表示面を介しての所定の画像と立体画像対の間の二次伝達関数が求められる。したがって、任意の出力画像を二次伝達関数に従ってワーピングすることができ、その出力画像は、表示面上に投影されるときに正しく表される。【選択図】図１
2005004201.tif 000002
【特許請求の範囲】
【請求項１】
所定の画像を表示面上に投影すること、
前記所定の画像の立体画像対を得ること、
前記表示面を介しての前記所定の画像と前記立体画像対の間の二次伝達関数を求めること、
前記二次伝達関数に従って出力画像をワーピングすること、
及び
前記ワーピングした出力画像を前記表示面上に投影すること
を含む画像を表示面上に投影する方法。
【請求項２】
前記表示面は二次曲面である
請求項１記載の画像を表示面上に投影する方法。
【請求項３】
前記表示面は、球面、半球面、回転楕円面、ドーム、柱面、錐面、放物面、双曲面、双曲放物面、及び楕円面からなる群から選択される
請求項２記載の画像を表示面上に投影する方法。
【請求項４】
前記二次曲面は、凹面形である
請求項２記載の画像を表示面上に投影する方法。
【請求項５】
前記二次曲面は、凸面形である
請求項２記載の画像を表示面上に投影する方法。
【請求項６】
複数の所定の画像を複数の視点から前記表示面上に投影すること、
前記複数の所定の画像の立体入力画像対を得ること、
前記表示面を介しての各所定の画像と前記立体入力画像対の間の二次伝達関数を求めること、
前記対応する二次伝達関数に従って複数の出力画像をワーピングすること、
及び
前記ワーピングされた複数の出力画像を前記複数の視点から前記表示面上に投影すること
をさらに含む請求項１記載の画像を表示面上に投影する方法。
【請求項７】
前記表示面は、二次曲面である
請求項６記載の画像を表示面上に投影する方法。
【請求項８】
前記ワーピングされた複数の出力画像は、重ねられ、１つのシームレスな画像として見える
請求項１記載の画像を表示面上に投影する方法。
【請求項９】
前記所定の画像の特徴と前記立体画像対の対応する特徴の間の三次元対応性を求めること、
前記三次元対応性に二次曲面を近似すること、
前記立体入力画像対に対する前記所定の画像のポーズを求めること、
及び
前記ポーズ及び前記対応性から前記二次伝達関数を求めること
をさらに含む請求項１記載の画像を表示面上に投影する方法。
【請求項１０】
投影前に、ブレンディングウェイトに従って前記ワーピングした複数の出力画像を減衰すること
をさらに含む請求項６記載の画像を表示面上に投影する方法。
【請求項１１】
前記所定の画像は、チェッカー盤パターンである
請求項１記載の画像を表示面上に投影する方法。
【請求項１２】
非線形最小化を目的関数に適用して前記二次伝達関数を得ること
をさらに含む請求項１記載の画像を表示面上に投影する方法。
【請求項１３】
前記目的関数は、所定の画像中のすべてのピクセルの総二乗伝達誤差を利用する
請求項１２記載の画像を表示面上に投影する方法。
【請求項１４】
前記出力画像は、任意の仮想視点に関してレンダリングされる
請求項１記載の画像を表示面上に投影する方法。
【請求項１５】
前記減衰されワーピングされた複数の出力画像を任意の視錐台へクロッピングすること
をさらに含む請求項１０記載の画像を表示面上に投影する方法。
【請求項１６】
前記二次伝達関数は、パラメトリック的に求められる
請求項１記載の画像を表示面上に投影する方法。
【請求項１７】
前記ワーピングは、グラフィック処理装置のバーテックスシェーダを使用して実施される
請求項１記載の画像を表示面上に投影する方法。
【請求項１８】
所定の画像を表示面上に投影するように構成されたプロジェクタと、
前記所定の画像の立体画像対を得るように構成されたカメラと、
前記表示面を介しての前記所定の画像と前記立体画像対の間の二次伝達関数を求める手段と、
前記二次伝達関数に従って出力画像をワーピングする手段と、
前記ワーピングされた出力画像を前記表示面上に投影する手段と
を備える画像を表示面上に投影するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的に画像の投影に関し、特に、画像の湾曲面への投影に関する。
【背景技術】
【０００２】
プロジェクタシステムは、大型の画像を表示面上にレンダリングする際に使用されてきた。複数のプロジェクタを使用すれば、さらに大きくシームレスな表示を生成することが可能である。このようなシステムは、エンターテイメント、教育、トレーニング、および科学的シミュレーション用に高解像度画像を提示することが可能な没入型視覚化環境を構築する際に特に有用である。既知のマルチプロジェクタ技術としては、Cruz-Neira他著「Surround-screen Projection-based Virtual Reality: The Design and Implementation of the CAVE」SIGGRAPH 93 Conference Proceedings, Vol. 27, pp. 135-142, 1993, Staadt他、「The blue-c: Integrating real humans into a networked immersive environment」 ACM Collaborative Virtual Environments, 2000が挙げられる。
【０００３】
電気光学技法を使用して位置決めし、ブレンディングパラメータを求める（Li他著「Optical Blending for Multi-Projector Display Wall System」Proceedings of the 12th Lasers and Electro-Optics Society, 1999参照）、またはループ中のカメラを使用する（Surati著「Scalable Self-Calibrating Display Technology for Seamless Large-Scale Displays」マサチューセッツ工科大学博士論文, 1999, Chen他著「Automatic Alignment of High-Resolution Multi-Projector Displays Using An Un-Calibrated Camera」IEEE Visualization, 2000, およびYang他著「PixelFlex: A Reconfigurable Multi-Projector Display System」IEEE Visualization, 2001, Brown他著「A Practical and Flexible Large Format Display system」Tenth Pacific Conference on Computer Graphics and Applications, pp. 178-183, 2002, Humphreys他著「A Distributed Graphics System for Large Tiled Displays」IEEE Visualization, 1999, およびHumphreys他著「WireGL: A Scalable Graphics System for Clusters」Proceedings of SIGGRAPH, 2001参照）、平坦な表面上にシームレスな画像を生成するいくつかの技法が知られている。
【０００４】
複数のプロジェクタが使用される場合、シームレスな表示を実現するために、重複する画像の幾何学的関係を正確に推定することが重要である。幾何学的関係は、レンダリングプロセスおよびソフトエッジブレンディングに影響を及ぼす。３×３行列によって表現されたホモグラフィを利用するカメラベースの方法は、面倒な手動での位置合わせをなくしながら不用意に設置されたプロジェクタを許容する。
【０００５】
二次式に従う表面の関係は、二次画像伝達関数を使用して定義することができる。Shashua他著「The quadric reference surface: Theory and applications」Tech. Rep. AIM-1448, 1994を参照のこと。
【０００６】
湾曲表面のマルチプロジェクタ位置合わせは、「ナビゲータ」パターンを投影し、それからプロジェクタの位置を手動で調整することによって補助することができる。ニューヨークのハイデンプラネタリウムで使用されるもの等、大規模なディスプレイの場合、技術者が重複する７台のプロジェクタを位置合わせするのに毎日数時間かかる。
【０００７】
１つの問題は、３Ｄ画像が湾曲表面上に表示されるとき、その画像は、空間中の１つのポイントでしか遠近的に正しくないことである。この３Ｄ位置は仮想視点、または「スイートスポット」として知られている。閲覧者がスイートスポットから遠ざかるにつれ、画像は歪んで見える。表示画面が非常に大きく、多くの視点がある場合、この歪みをなくすことは難しい。しかし、現実世界での用途では、閲覧者は、プロジェクタを理想的に配置する必要がある場所とまったく同じ場所にいたいと思う。さらに、プロジェクタをスイートスポットに配置するということは、非常に視野の広いプロジェクタを使用することを意味し、これは高価であるとともに、放射方向歪みまたは「魚眼」歪みが過度になりがちである。
【０００８】
別の方法では、非パラメトリックプロセスにより、カメラがスイートスポットに配置される。カメラは、プロジェクタによって投影された構造化光パターンの画像を取得する。次に、試行錯誤手法で、サンプルがとられて、補間によりカメラ入力画像と投影された出力画像の間の逆ワーピング関数を構築する。次に、ワーピング関数が出力画像を正しく表示するまで、この関数が適用されてリサンプリングされる。Jarvis著「Real Time 60Hz Distortion Correction on a Silicon Graphics IG」Real Time Graphics 5, pp.6-7, February 1997、およびRaskar他著「Seamless Projection Overlaps Using Image Warping and Intensity Blending」Fourth International Conference on Virtual Systems and Multimedia, 1998を参照のこと。
【０００９】
平坦な表面用のホモグラフィベースの手法を二次曲面に拡張する、複数のプロジェクタを位置合わせするパラメトリック的方法を提供することが望ましい。
【００１０】
コンピュータビジョンでは、画像伝達関数に二次式を使用することについて、いくらか研究が行われている。上記Shashua他、およびCross他著「Quadric Surface Reconstruction from Dual-Space Geometry」Proceedings of 6th International Conference on Computer Vision, pp.25-31, 1998を参照のこと。しかし、カメラを意図した線形的方法では、以下述べるように、カメラの代わりにプロジェクタと併せて使用される場合に大きな誤差が生じる。
【００１１】
マルチプロジェクタシステムでは、平坦なホモグラフィの関係を使用して平坦な表面上に画像をシームレスに位置合わせするいくつかの技法が知られている。しかし、より高次の表面上に表示された画像のパラメータ化ワーピングおよび自動位置合わせについての技法に対してはあまり研究されてこなかった。
【００１２】
二次曲面はプロジェクタベースのディスプレイでは多くの形状および形態で見えるため、これは深刻な手抜かりである。大型フライトシミュレータは従来から、円筒体形状またはドーム形状であり（Scott他著「Report of the IPS Technical Committee: Full-Dome Video Systems」The Planetarian, Vol. 28, p.25-33, 1999参照）、プラネタリウムおよびＯｍｎｉＭａｘシアターは半球形のスクリーンを使用しており（Albin著「Planetarium special effects: A classification of projection apparatus」The Planetarian, Vol. 23, pp.12-14, 1994)、多くの仮想現実システムが円筒形状のスクリーンを使用している。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
したがって、湾曲した表示面上に投影された画像の較正方法、二次伝達関数、およびパラメトリック輝度ブレンディングを提供することが望ましい。
【課題を解決するための手段】
【００１４】
湾曲した表示画面は、高解像度没入型視覚化環境にますます使用されるようになっている。本発明は、１台または複数の重複するプロジェクタを使用して、球面または柱面等二次曲面上にシームレスな画像を表示する方法およびシステムを提供する。二次元または三次元の画像を相互作用させて表示しながら、サブピクセル位置合わせを実現する新しい二次画像伝達関数が定義される。
【発明を実施するための最良の形態】
【００１５】
図３および図４は、１台または複数のプロジェクタ３０１および４０１を使用してシームレスな画像を凸形または凹形の湾曲表面、たとえば凹形ドーム３０２または凸形ドーム４０２上に表示する、本発明によるシステムの基本的なセットアップを示す。１台のプロジェクタが使用される場合、投影画像は表示面の大部分をカバーし（点線参照）、複数のプロジェクタが使用される場合、投影画像は破線で示すように部分的に重複する。図７は、３つの重複する複数の画像７０１でより大きな矩形画像７１０をどのように作り出すことができるかを示す。
【００１６】
二次伝達関数
３Ｄでの不透明な二次曲面Ｑの２つの任意の透視図の間の写像は、二次伝達関数Ψを使用して表現することができる。二次曲面は、球面、半球面、回転楕円面、ドーム、柱面、錐面、放物面、双曲面、双曲放物面、または楕円面であることができる。本発明による二次伝達関数は、二次曲面を介しての第１のビュー、たとえばプロジェクタ出力画像から第２のビュー、たとえばカメラ入力画像への画像伝達関数を意味する。平坦ホモグラフィ伝達関数は、４個以上のピクセルの対応性から求めることができるが、二次伝達関数では９個以上の対応性が必要である。二次伝達関数は、３Ｄ二次曲面Ｑ、および２つのビューの透視投影に関連するさらなるパラメータを使用して閉じた形で定義することができる。
【００１７】
二次曲面Ｑは、４×１ベクトルで表され、表面上にある３Ｄ同次ポイントＸが、二次制約ＸＴＱＸ＝０を満たすように、４×４対称行列で表される。二次曲面Ｑは、行列の独立要素に対応して自由度９を有する。この行列は対称であり、最大で全体規模まで定義される。
【００１８】
対応するピクセル：第１のビュー中のｘと第２のビュー中のｘ’の同次座標は、
【００１９】
【数１】
2005004201.tif 000003
【００２０】
によって関連する。
【００２１】
図６に示すように、Ｂは、ピクセル６０１が可視である、二次曲面６０５に接した平面６０４上のポイント６０３を介しての投影出力ピクセルｘ６０１と対応するカメラ入力ピクセルｘ’６０２の間の３×３ホモグラフィ行列である。
【００２２】
ピクセル対応性（ｘ，ｘ’）が与えられると、従来、この式を使用して２１個の未知数：未知の３Ｄ二次曲面Ｑ、３×３ホモグラフィ行列Ｂ、および同次座標におけるエピポールｅを算出する。エピポールｅは、第２のビューにおける第１のビューの投影中心である。記号≡は、同次座標のスケールまで等しいことを表す。行列Ｑは以下：
【００２３】
【数２】
2005004201.tif 000004
【００２４】
のように分解される。
【００２５】
したがって、Ｑ３３はＱの一番上の３×３対称部分行列であり、ｑは３ベクトルである。Ｑ（４，４）は、二次曲面が原点、すなわち第１のビューの投影中心を通過しない場合はゼロではない。それ故、大半の表示面に１．０を安全に割り当てることができる。同次ピクセルｘ’の最終的な２Ｄピクセル座標は（ｘ’（１）／ｘ’（３），ｘ’（２）／ｘ’（３））である。
【００２６】
単純化
上に述べた形態は、Shashua他、１９９４と、WexlerおよびShashua著「Q-Warping: Direct Computation of Quadratic Reference Surface」IEEE Conf. on Computer Vision and Pattern Recognition, CVPR, June, 1999により使用されている。この形態は２１個の変数を含み、これは必要な分よりも４個多い。本発明では、Ａ＝Ｂ−ｅｑＴ、Ｅ＝ｑｑＴ−Ｑ３３を定義することによってその曖昧さの一部を取り除き、本発明において使用する形態を得る。
【００２７】
【数３】
2005004201.tif 000005
【００２８】
ここで、ｘＴＥｘ＝０は、第１のビューにおける二次曲面の輪郭円錐曲線を画定する。輪郭円錐曲線は、ビューレイが局所的に表面に接する表面上のシルエットまたはポイントの画像、たとえば、球体外から見た球体の楕円形のシルエットの画像として幾何学的に視覚化することができる。
【００２９】
値Ａは、第１のビューと第２のビューの間の極平面を介してのホモグラフィである。この式は、全体規模から離れて、Ｅおよびｅの相対的なスケーリングに起因する１つの曖昧な自由度のみを含むことに留意する。この曖昧さは、Ｅ（３，３）＝１等、さらなる正規化制約を導入することによって取り除くことができる。
【００３０】
さらに、平方根の前にある符号は、画像中の輪郭円錐曲線内で固定である。この符号は、対応するピクセル対の座標を使用して上記式をテストすることによって容易に求められる。二次伝達関数のパラメータは、投影座標システムにおける９個以上のピクセル対応性から直接算出することができることに留意する。このため、ユークリッドパラメータをいずれも算出することなく、平坦なディスプレイの場合に平坦なホモグラフィを推定するのと同様の手法に従いたくなる。しかし、以下述べるように、実際には、多くの場合でエピポール関係を推定することは難しい。したがって、本発明では、以下述べるように擬似ユークリッド手法を使用する。
【００３１】
事前処理
すべての位置合わせ情報は、立体画像対に対して予め計算される。ここでは、立体カメラが３Ｄ表示面全体を見ているものと仮定する。カメラ画像の１つが、原点ｃｏを有するものとして任意に選択される。立体画像は、表示面上の３Ｄポイントのみを求めるために使用される。したがって、任意の適した３Ｄ取得システムを使用することができる。
【００３２】
図１に示すように、本発明の事前処理方法１００の基本ステップは以下のようなものである。これらステップの詳細について以下に述べる。各プロジェクタｉ毎に、所定の画像１０１、たとえば、チェッカー盤の形態の構造化パターンが二次曲面上に投影される（１１０）。
【００３３】
ステップ１２０において、立体カメラ１０２によって得られた所定の画像１０１の画像の特徴が検出され、３Ｄポイント、すなわち所定の画像の特徴に対応する二次曲面上の対応性１０３が再構築される。次に、二次曲面Ｑ１０４が検出された対応性に近似される（１３０）。
【００３４】
各プロジェクタｉ毎に、カメラに対するプロジェクタのポーズ（pose）１０５が、プロジェクタピクセルとピクセルによって照らされた表面上のポイントの３Ｄ座標との間の対応性を使用して求められる（１４０）。カメラｃ０とプロジェクタｉの間の二次伝達関数Ψｉおよび逆二次伝達関数ΨＩｉを求める（１５０）。次に、投影画像が重複する領域における輝度ブレンディングウェイトΦｉを求める（１６０）。この時点で、ワーピング、ブレンディング、および投影により、歪みのない出力画像１７１として見えるプロジェクタ画像を二次曲面上に投影することができる（２００）。
【００３５】
ランタイム処理
図２は、本発明のレンダリング方法２００の基本ステップを示す。まず、投影画像が生成される（２１０）。プロジェクタ画像は、三角形のテクスチャマッピングセットとして表される。この画像は、立体カメラまたはビデオカメラによって取得することもでき、または仮想視点から３Ｄシーンをコンピュータグラフィックレンダリングすることによって生成することもできる。プロジェクタ画像は、二次伝達関数Ψ０ｉに従ってプロジェクタのフレームの中にワーピングされる（２２０）。次に、ピクセル輝度がブレンディングウェイトΦｉで減衰され（２３０）、それから投影される（２４０）。
【００３６】
しかし、これらステップには、解決する必要のあるいくつかの問題が含まれる。二次伝達関数の推定は線形演算であるが、ピクセルの再投影誤差を低減するために非線形最適化を必要とする。さらに、二次曲面上に投影された３Ｄポイントは通常、略平坦であり、劣化条件につながるため、プロジェクタのポーズ、すなわち外部パラメータを推定することは難しい。これらおよび他の問題、ならびに実際の解決策について以下に述べる。
【００３７】
較正（calibration：キャリブレーション）
本発明では、投影出力画像が湾曲表面上で幾何学的に位置合わせされるような二次伝達関数Ψｏｉ＝｛Ａｉ，Ｅｉ，ｅｉ｝のパラメータを求める。カメラについて既知である従来技術の方法では、ピクセルの対応性から直接、二次伝達パラメータを求める。これは、対応するピクセルの三角形分解および線形的方法を使用して３Ｄにおける４×４二次行列Ｑを推定することを含む。２つのビューの内部パラメータがわかっていない場合、すべての計算は、エピポールジオメトリ、すなわちエピポールおよび基本行列を算出した後、投影空間において行われる。
【００３８】
しかし、カメラではなくプロジェクタが関わる場合、線形的方法では、３Ｄ二次曲面Ｑを推定するにあたり非常に大きな再投影誤差がもたらされる。この誤差は、従来のＸＧＡプロジェクタの場合に約３０ピクセルのオーダのものである。
【００３９】
これにはいくつかの理由がある。取得した画像から直接カメラを較正することは比較的単純なことである。しかし、プロジェクタの較正は、カメラによって得られた投影画像の画像を解析することによって間接的にしか行うことができない。これは誤差をもたらしうる。さらに、プロジェクタでは、内部光学系は通常、画像を上向きに投影する原則的なポイントからずれている。したがって、プロジェクタの内部パラメータは推定が難しく、カメラのものと異なる。さらに、１台のプロジェクタによって照られている二次曲面上の３Ｄポイントが、球面または柱面のセグメント等、表示設定にあまり深さのバリエーションを持たない場合、基本行列には本質的にノイズが多い。
【００４０】
したがって、本発明は、カメラおよびプロジェクタの内部パラメータおよび外部パラメータがおおよそわかっている擬似ユークリッド手法を使用する。これらパラメータは、厳格なユークリッド変換の推定に使用される。したがって、平坦な場合と異なり、湾曲した画面の場合の正確な画像伝達関数の算出には、三次元量が関わる。
【００４１】
二次曲面
本発明では、すべての幾何学的形状の関係を算出するベースとして、精密な立体カメラ対Ｃ０およびＣ’０を使用する。カメラの１つを任意に選択して、原点および座標系を定義する。チェッカー盤パターン１０１を使用して、ベースとなる立体カメラ対を較正する。本発明の較正では、カメラは必ずしもスイートスポットに配置する必要はなく、これは従来技術による非パラメトリック手法のいくつかに対する重要な相違である。
【００４２】
立体カメラ対１０２は、各プロジェクタによって投影された構造化パターンを観察する。三角形分解を利用して、パターン特徴に対応する、表示面上のＮ個の３Ｄポイントセット｛Ｘｊ｝が検出される。各Ｘｊを通過する二次曲面Ｑが、各３Ｄポイント毎に線形式のセットＸＴｊＱＸｊ＝０を解くことによって算出される。この式はｘｉＶ＝０の形態で書くことができ、式中、ｘｉはＸのみの関数である１×１０行列であり、Ｖは二次曲面Ｑの別個の独立した未知変数を含む同次ベクトルである。Ｎ≧９を使用して、Ｎ×１０行列Ｘを構築し、線形行列式ＸＶ＝０を解く。
【００４３】
一般的な位置にあるポイントの場合、ＶひいてはＱの要素は行列Ｘの一次元ヌル空間である。
【００４４】
プロジェクタビュー
二次曲面Ｑに加えて、本発明では、カメラの原点に対する各プロジェクタの内部パラメータおよび外部パラメータを知る必要がある。本発明では、プロジェクタピクセルと、プロジェクタピクセルが照らす３Ｄポイントの座標との間の対応性を用いて、ポーズおよび内部パラメータを算出する。
【００４５】
しかし、二次曲面上の既知の３Ｄポイントからプロジェクタのポーズを見つけることは、３Ｄポイントが通常、平面にかなり近く、解が不安定になることから誤差が出やすい。Faugeras, Three-dimensional computer vision: a geometric viewpoint, MIT Press, 1993、およびForsyth他著「Computer Vision, A Modern Approach」FUTURESLAB, 2002, ActiveMural, Argonne National Labs, 2002を参照のこと。
【００４６】
略平坦なポイントへの対処は難しい問題である。ポイントの深さが分散している場合、線形的方法を使用してプロジェクタの内部パラメータならびに外部パラメータを容易に推定することができる。一方、ポイントが平坦であるとわかっている場合、内部パラメータのいくつかがわかっているときに、外部パラメータを推定することができる。
【００４７】
略平坦な表面に対処するために、本発明では、反復手順を用いる。プロジェクタの内部パラメータがわかっている場合、まず、ホモグラフィに基づいて外部パラメータの初期推定を見つけ、それからLu他著「Fast and globally convergent pose estimation from video images」IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22:6, pp.610-622, 2000に基づいて反復手順を使用することができる。Powellの方法は、再投影誤差の非線形的改良に使用することができる。しかし、プロジェクタの内部パラメータを推定することも等しく難しい。上に述べたように、プロジェクタを容易に動かすことができない場合、プロジェクタの較正では通常、２つ以上の位置で照らされている大きな表面が必要である。
【００４８】
本発明の戦略は、おおよそわかっているプロジェクタの内部パラメータを使用するというものである。本発明では、１台のみのプロジェクタの内部パラメータを見つけ、これら内部パラメータをすべてのプロジェクタに対して使用する。後で、同じおよび他のプロジェクタはおそらく、異なるズーム設定を有し、また他の機械的または光学的偏差を有することになる。さらに、Lu他の反復方法によって算出される外部パラメータも近似にすぎない。
【００４９】
カメラからプロジェクタへの伝達
したがって、本発明では、プロジェクタのおおよその投影行列とともに、カメラの透視投影パラメータを使用し、線形的方法を使用してカメラからプロジェクタへの二次伝達を見つける。次に、非線形最適化を使用して解を改良する。
【００５０】
二次伝達パラメータΨｏｉ＝｛Ａｉ，Ｅｉ，ｅｉ｝は、二次曲面Ｑ、カメラ投影行列［Ｉ｜０］、およびプロジェクタ投影行列［Ｐｉ｜ｅｉ］から、
【００５１】
【数４】
2005004201.tif 000006
【００５２】
により容易に計算される。
【００５３】
上に述べたように、パラメータを見つける従来技術による線形的方法は、本目的には不正確すぎる。表示画面上での位置合わせずれはプロジェクタ１台あたり１５〜３０ピクセル程度になる恐れがあり、不快な視覚的アーチファクトになる。シームレスな表示にはサブピクセルの精度が必要である。したがって、本発明では、非線形最小化を適用して、線形的方法を介して得られた結果を改良する。これは、目的関数または「費用」関数を使用して行うことができる。
【００５４】
目的関数の場合、すべてのピクセルの総二次伝達誤差をとる。
【００５５】
【数５】
2005004201.tif 000007
【００５６】
式中、
【００５７】
【数６】
2005004201.tif 000008
【００５８】
は、既知の各投影ピクセルｘｊの伝達後のピクセル、すなわち、
【００５９】
【数７】
2005004201.tif 000009
【００６０】
と表されるパターン特徴ポイントである。
【００６１】
線形的方法を使用して見つけられる符号は、すべてのピクセルで同じであり、非線形最適化、たとえば、既知のネルダーミード（Nelder-Mead）シンプレックス中同じままであることに留意する。
【００６２】
部分的なユークリッド再構築
ユークリッド手法をすべて無視し、投影空間および非線形最適化に直接進んでもよい。正確なプロジェクタ内部パラメータを有する場合、非線形最適化段階を回避してもよい。しかし先に触れたように、ユークリッドビューパラメータを無視し、二次伝達関数を純粋にピクセルの対応性から解くと、不良な再投影誤差が生じる。さらに、推定された３Ｄ二次曲面Ｑは、解が収束しないため、それ以降の非線形最適化の推定として使用することができない。
【００６３】
正確な内部プロジェクタパラメータは、再投影誤差を低減するだけであり、誤差をなくしはしない。これは、三角形分解による表示面上の３Ｄポイントの推定、線形的方法を使用しての３Ｄ二次曲面の推定、およびプロジェクタのポーズの発見を含め、多くの種類の誤差が三次元ユークリッド計算において伝搬するためである。非線形最適化は、最も注意を払う物理量、すなわち、既知の対応するピクセルセットのカメラからプロジェクタへ伝達される画像中のピクセル再投影誤差、を最小化しようと試みるものである。
【００６４】
重複するプロジェクタピクセル間の対応性は、この画像伝達関数によって間接的に定義されるため、ピクセル再投影誤差を最小化することにより、表示されるプロジェクタのピクセル間の幾何学的位置合わせが確実にされる。
【００６５】
レンダリング
レンダリングは２パス手法を含む。２Ｄ画像データの場合、しかるべき入力画像を抽出する。３Ｄシーンの場合、まず、スイートスポットに従って３Ｄモデルをレンダリングする。第２のパスでは、結果得られた画像が次に、二次画像伝達関数を使用してプロジェクタ画像空間にワーピングされる。
【００６６】
仮想ビュー
３Ｄシーンが湾曲した画面上に表示されるとき、画像は、空間中の特定のポイントからしか遠近的に正しくない。このようなポイントは一般に、スイートスポットまたは仮想視点として知られている。凹形半球面の場合、スイートスポットは、球体を半分に切断する切断面に垂直な、球体の中心を通るライン上にある。凸形半球面の場合、スイートスポットは表面を通して鏡映することができる。柱面の場合、スイートスポットは、投影画像が表面全体に覆われていない限り同様に配置され、投影画像が表面全体に覆われている場合、スイートスポットはいずれの場所であってもよい。スイートスポットは、カメラの焦点距離と無関係であるが、湾曲したディスプレイの形状およびサイズ、ならびに周囲の視角に依存する。投影画像は、スイートスポットの場所、視覚カメラの焦点距離、または閲覧者に応じて表示面の前または後ろに現れうる。閲覧者がスイートスポットから離れるにつれ、画像は歪んで見える。さらに、視錐台、すなわち見ている方向または主軸、および視野範囲を指定する必要がある。
【００６７】
ディスプレイによっては、スイートスポットを自動的に決定することが可能である。たとえば、凹形半球形ドームの場合、ドームの中心を良好なスイートスポットとみなすことができる。スイートスポットは、二次曲面Ｑの式、すなわちＱ（１，１）ｑから直接求めることができる。円筒形の画面の場合、円筒体の広がりに沿って中間にある円筒体の軸上のポイントが良い選択である。時により、スイートスポットは、実際の考慮事項によって決まる。たとえば、画像が現実世界の水平軸および垂直軸に略常に位置合わせされているため、おおよそ目の高さにあるスポットが理想的であるとみなされる。
【００６８】
本発明の場合では、ディスプレイジオメトリを近似したユークリッド再構築であるため、仮想視点は相互作用的に固定または移動させることができる。ロケーションの３Ｄ座標はカメラ座標系においてわかっているため、カメラに対してスイートスポットを見つけるのは比較的単純である。
【００６９】
表面ポイントからのスイートスポット
レンダリングのために仮想視点のパラメータを求めることが難しい場合、一技法により、表示面の照明部分上で見つけられるポイントセットに最も近似した平面が見つけられる。有向バウンディングボックス（ＯＢＢ）を表示面上の３Ｄポイントセット｛Ｘｉ｝に近似する。このボックスの中心を通過し、最良近似平面に垂直なベクトルに沿って、画面の前からしかるべき距離にあるポイントをスイートスポットとして選択することができる。二次曲面上の３Ｄポイントはすべて３Ｄポイントの凹形外殻に存在するため、ＯＢＢは以下のように求めることができる。
【００７０】
Ｙが、
【００７１】
【数８】
2005004201.tif 000010
【００７２】
のＮ×３行列である場合（式中、
【００７３】
【数９】
2005004201.tif 000011
【００７４】
はＮ３Ｄポイントの中心である）、３×３行列ＹＴＹの最小固有値に対応する固有ベクトルにより、最良近似平面への法線、すなわち分散が最小の軸が与えられる。一方、ＯＢＢの最大辺、すなわち、最良近似平面に投影された３Ｄポイントの広がりにより、画面のおおよその「直径」が与えられる。画面前のスイートスポットの距離は、用途および所望の視野に応じて、この直径に比例するように選択することができる。
【００７５】
没入形用途の場合、広い視野が望ましい。したがって、この距離は直径の約半分であるべきである。グループ閲覧の場合、この距離は直径と同等であることができる。
【００７６】
本発明では、仮想ビュー画像空間と各プロジェクタ出力画像の間の二次伝達関数Ψｉを再計算する。このプロセスはΨｉΨ０ｉの算出に非常によく似ている。まず、二次曲面上の３Ｄポイントの仮想ビュー画像空間への投影を見つける。ここで、仮想ビューとプロジェクタ画像の間の対応性、ならびに仮想ビューおよびプロジェクタの内部パラメータおよび外部パラメータでΨｉを更新するのに十分である。
【００７７】
表示エリア
仮想ビューの視錐台は、スイートスポットおよびＯＢＢの広がりを使用して画定される。視点ベクトルは、仮想視点からＯＢＢの中心に向けられる。複数のプロジェクタからの重複画像の連合体は大きなエリアを照らしうるため、視錐台を矩形または円形等、見た目に美しい形状に「クロッピング」することができる。３Ｄ用途の場合、黒色の四辺形のセットをレンダリングして、所望の表示エリア外の領域をクロッピングする。たとえば、矩形ビューの場合、プロジェクタ画像中のビューポート外縁の付近の４つの大きな四辺形により、ビューポートが作成される。黒色四辺形は、３Ｄモデルの残りの部分とともに、以下のようにレンダリングされワーピングされる。２Ｄ用途の場合、表示すべき入力画像外のエリアは黒色であるとみなされる。
【００７８】
画像の伝達
レンダリングするシーン中の３Ｄ頂点Ｍが与えられる場合、仮想ビューにおけるその画面空間座標ｍを見つける。次に、二次伝達関数Ψｏｉ＝｛Ａｉ，Ｅｉ，ｅｉ｝を使用してプロジェクタｉの出力画像中の伝達後のピクセル座標ｍｉを見つける。次に、頂点Ｍが頂点ｍｉで置き換えられて、シーン中のポリゴンがレンダリングされる。したがって、各プロジェクタでのレンダリングプロセスは非常に似ている。各プロジェクタのフレームバッファが、仮想ビュー画像のしかるべき部分を自動的に格納し、プロジェクタの範囲を明示的に決定する必要はない。
【００７９】
したがって、レンダリングするには、各プロジェクタにおいて、各頂点Ｍ毎に、
仮想ビュー投影（Ｍ）を介してピクセルｍを求め、さらに
二次伝達関数Ψｉ（ｍ）を介してワーピングされたピクセルｍｉを求め、そして
頂点｛Ｍｊ｝を有する各三角形Ｔ毎に、
２Ｄ頂点｛ｍｊｉ｝を有する三角形をレンダリングする。
【００８０】
この手法には２つの問題がある。第１に、ポリゴン内部ではなく、シーン中の頂点のみが正確にワーピングされる。第２に、ポリゴンの可視性分類に特別な処理が必要である。二次伝達後、理論的に、ポリゴンの頂点間のエッジをプロジェクタ画像中の二次曲線に写像する必要がある。
【００８１】
しかし、走査変換により、曲線をワーピングされた頂点位置間の直線の線分に変換する。この問題は１台のプロジェクタの場合は認められない。しかし、重複するプロジェクタの場合、これは、元の曲線からの個々の異なる逸脱につながり、ひいては、エッジが表示画面上で位置合わせがずれて現れる。したがって、三角形の十分に細かいテッセレーション（tessellation）を用いる必要がある。
【００８２】
湾曲した画面上での遠近的に正しいレンダリングにおいて入力モデルが真っ直ぐに現れるように、入力モデルをオンザフライで分割し予め歪ませる市販のシステムをすでに利用することができる。参照により本明細書に援用される１９９７年２月２６日にIdaszak他に付与された米国特許第６，１０４，４０５号「Systems, methods and computer program products for converting image data to non-planar image data」、および１９９４年６月７日にKelly他に付与された米国特許第５，３１９，７４４号「Polygon fragmentation method of distortion correction in computer image generating systems」を参照のこと。本発明の方法は、このようなシステムによって提供される細かいテッセレーションと両立できる。市販のシステムにおけるシーンジオメトリの事前歪みは、第１のパスのテクスチャマッピング結果を含む２パスレンダリングを回避するために使用される。本発明の場合、ジオメトリを予め歪ませる代わりに、画像空間投影を予め歪ませる。利点として、本発明は、プログラマブルグラフィックスユニット（ＧＰＵ）のバーテックスシェーダを使用して一部実施することができる。
【００８３】
走査変換
三角形の投影におけるピクセル位置がワーピングされるとき、深度バッファがしかるべき可視性情報を生成するように、情報も共に渡す必要がある。さらに、遠近的に正しい色およびテクスチャ座標補間のために、しかるべき重み値「ｗ」を渡す必要がある。したがって、
ｍ（ｘ，ｙ，ｚ，ｗ）＝仮想視点投影（Ｍ（Ｘ））
ｍｉ（ｘ’ｉ，ｙ’ｉ，ｗ’ｉ）＝Ψｉ（ｍ（ｘ／ｗ，ｙ／ｗ），１）
ｍｉ（ｘｉ，ｙｉ，ｚｉ，ｗｉ）＝［ｗｘ’ｉ／ｗ’ｉ，ｗｙ’ｉ／ｗ’ｉ，ｚ，ｗ］
に従ってピクセル座標に「ｗ」を後ろから乗算する。
【００８４】
したがって、頂点ｍｉは、二次伝達関数とともに元の深度およびｗ値により、しかるべき最終ピクセル座標（ｘ’ｉ／ｗ’ｉ，ｙ’ｉ／ｗ’ｉ）を有する。
【００８５】
図５は、バーテックスシェーダのコード５００を示す。２Ｄ画像をレンダリングする場合、仮想ビュー画像空間を三角形に細かく分割し、画像をこれら三角形上のテクスチャとして写像する。各三角形の頂点ｍは、上記のように、二次伝達関数を使用して頂点（およびピクセル）ｍｉにワーピングされる。走査変換は、頂点ｍにおける色属性およびテクスチャ属性を頂点ｍｉに自動的に変換し、その間を補間する。同様にして３Ｄシーンをレンダリングすることが可能である。
【００８６】
本発明の二次伝達関数を使用してのプロジェクタ画像のワーピングは、平坦な表面上での二次曲線のレンダリングと異なることに留意する。Watson他著「A fast algorithm for rendering quadratic curves on raster displays」Proc. 27th Annual SE ACM Conference, 1989を参照のこと。
【００８７】
輝度ブレンディング
重複画像のエリアにおけるピクセル輝度は、グラフィックスハードウェアのアルファブレンディングを使用して減衰される。二次伝達関数の助変数方程式を使用して、アルファマップが以下のようにして求められる。
【００８８】
プロジェクタｉにおけるあらゆるプロジェクタピクセルｘｉ毎に、式：
【００８９】
【数１０】
2005004201.tif 000012
【００９０】
を使用してプロジェクタｊにおいて対応するピクセルを見つける。
【００９１】
クロスフェードの場合、プロジェクタ画像の境界にあるピクセルが減衰される。したがって、重みはフレーム境界からの最短距離に比例する。範囲［０，１］にある、正規化されたウィンドウピクセル座標（ｕｉ，ｖｉ）で表されるピクセルｘｉに割り当てられる重みは、
【００９２】
【数１１】
2005004201.tif 000013
【００９３】
である。式中、ｄ（ｘ）は、０≦ｕ、ｖ≦１の場合、ｍｉｎ（ｕ，ｖ，１−ｕ，１−ｖ）であり、その他の場合、ｄ（ｘ）＝０である。パラメトリック手法を使用するため、対応するプロジェクタピクセルおよびそれらの場所における重みをサブピクセル位置合わせ精度で算出することが可能である。対応するプロジェクタピクセルにおける重みの和は足して正確に１．０になる。
【００９４】
各プロジェクタにおいて、対応するアルファマップはテクスチャマップとして格納され、レンダリングの最後の段階で画面に位置合わせされた四辺形としてレンダリングされる。
【００９５】
本発明の方法は、凹形ドーム上への投影にも使用することができる。この投影は、ドームが半透明または透明な材料からできている場合に特に有用である。後ろから投影される場合、閲覧者は、プロジェクタをいずれも遮ることなく完全に没入型の体験を得ることができる。
【００９６】
発明の効果
本発明は、２Ｄまたは３Ｄ視覚化に湾曲した表示面を使用してプロジェクタシステムを構築することができる。本発明のシステムでは、高価なインフラストラクチャが必要なく、複数のプロジェクタと表示面との間の位置合わせが不用意な状態で動作することができる。本発明の自動位置合わせは、二次画像伝達関数を利用し、プロジェクタの面倒なセットアップおよびメンテナンスをなくし、したがってコストを低減する。本発明は、フライトシミュレータ、プラネタリウム、およびハイエンドビジュアリゼーションシアター等で使用されるなど、広く使用されている用途の構築、較正、およびレンダリングプロセスを単純化することができる。可能になる新しい用途としては、低コストで柔軟性のあるドームディスプレイ、ショッピングアーケード、および円柱または支柱への投影が挙げられる。
【００９７】
本発明は、これまで離散サンプリングによって解決されてきた問題に対する洗練された解決策を提供する。利点は、従来技術によるシステムと異なり、本発明のプロジェクタはスイートスポットに配置する必要がないことである。これは、スイートスポットが通常、閲覧者がいたいと思うその場所である現実世界で適用の際に重要である。
【００９８】
本発明について好ましい実施形態例として説明したが、他の様々な適合および変更を本発明の精神および範囲内で行いうることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内にあるこのような変形および変更をすべて保護範囲に包含することである。
【図面の簡単な説明】
【００９９】
【図１】本発明による、湾曲表面上に画像を投影する方法において使用される事前処理ステップの流れ図である。
【図２】本発明による、湾曲表面上に画像を投影する方法において使用されるレンダリングステップの流れ図である。
【図３】本発明によるマルチプロジェクタシステムの図である。
【図４】本発明によるマルチプロジェクタシステムの図である。
【図５】本発明による二次伝達関数のためのバーテックスシェーダのコードである。
【図６】本発明によるホモグラフィを示す図である。
【図７】複数の重複画像のブロック図である。
【図１】
2005004201.tif 000014
【図２】
2005004201.tif 000015
【図３】
2005004201.tif 000016
【図４】
2005004201.tif 000017
【図５】
2005004201.tif 000018
【図６】
2005004201.tif 000019
【図７】
2005004201.tif 000020
【外国語明細書】
2005004201.tif 000021
2005004201.tif 000022
2005004201.tif 000023
2005004201.tif 000024
2005004201.tif 000025
2005004201.tif 000026
2005004201.tif 000027
2005004201.tif 000028
2005004201.tif 000029
2005004201.tif 000030
2005004201.tif 000031
2005004201.tif 000032
2005004201.tif 000033
2005004201.tif 000034
2005004201.tif 000035
2005004201.tif 000036
2005004201.tif 000037
2005004201.tif 000038
2005004201.tif 000039
2005004201.tif 000040
2005004201.tif 000041
2005004201.tif 000042
2005004201.tif 000043
2005004201.tif 000044
2005004201.tif 000045
2005004201.tif 000046
2005004201.tif 000047
2005004201.tif 000048
2005004201.tif 000049
2005004201.tif 000050
2005004201.tif 000051
2005004201.tif 000052
2005004201.tif 000053
2005004201.tif 000054
2005004201.tif 000055
2005004201.tif 000056