(57)【要約】複数のプロジェクタを用いて表示表面上にモザイク画像を形成する方法。各プロジェクタのために順に、位置合わせ画像が表示表面上に投影され、投影された位置合わせ画像の結合体が多角形を形成するようにする。カメラを用いて、各位置合わせ画像のために順に、対応する入力画像が取得される。その後、多角形によって包囲される表示表面上の表示領域が特定され、各プロジェクタのために、表示領域と各入力画像との間の１つの投影行列が決定される。各プロジェクタのためのソース画像は、プロジェクタの対応するホモグラフィにしたがってワーピングされる。ワーピングされたソース画像の画素は、１つの投影行列にしたがって重み付けされ、その後、表示表面上に直接、ワーピングされ、重み付けされたソース画像が同時に投影されて、モザイク画像が形成される。【選択図】図１
2005500756.tif 000002
【特許請求の範囲】
【請求項１】
複数のプロジェクタを用いて表示表面上にモザイク画像を形成するための方法であって、
前記各プロジェクタのために順に、前記表示表面上に位置合わせ画像を投影し、前記投影された位置合わせ画像の結合体が多角形を形成するようにすることと、
前記各位置合わせ画像のために順に、カメラを用いて対応する入力画像を取得することと、
前記多角形によって包囲される前記表示表面上の表示領域を特定することと、
前記各プロジェクタのために、前記表示領域と前記各入力画像との間の１つの投影行列を決定することと、
前記各プロジェクタのために、前記対応する１つの投影行列にしたがってソース画像をワーピングすることと、
前記１つの投影行列にしたがって前記ワーピングされたソース画像の画素を重み付けすることと、
前記表示表面上に直接、前記ワーピングされ、重み付けされたソース画像を同時に投影し、前記モザイク画像を形成することと、
を含む方法。
【請求項２】
前記表示表面は、前記プロジェクタのうちの少なくとも１つの光学軸に対して斜めになる請求項１に記載の方法。
【請求項３】
１つの前記プロジェクタの光学軸は、少なくとも１つの他の前記プロジェクタの光学軸に対して斜めになる請求項１に記載の方法。
【請求項４】
前記各プロジェクタの光学軸は、全ての他の前記プロジェクタの光学軸に対して斜めになる請求項１に記載の方法。
【請求項５】
前記位置合わせ画像はチェッカー盤パターンを含む請求項１に記載の方法。
【請求項６】
前記表示領域は、前記多角形によって包囲される最も大きな長方形である請求項１に記載の方法。
【請求項７】
前記各プロジェクタのために、前記カメラと前記プロジェクタとの間の第１のホモグラフィを定義することと、
前記各プロジェクタのために、前記表示領域と前記カメラとの間の第２のホモグラフィを定義することと、
前記第１および前記第２のホモグラフィを組み合わせて、前記１つの投影行列を形成することと、
をさらに含む請求項１に記載の方法。
【請求項８】
前記第１のホモグラフィ
【数１】
2005500756.tif 000030
は最尤推定問題であり、
コスト関数
【数２】
2005500756.tif 000031
を最小にすることをさらに含み、ただしｎは、前記入力画像
【数３】
2005500756.tif 000032
と前記位置合わせ画像
【数４】
2005500756.tif 000033
との間の対応する特徴の数を示す請求項７に記載の方法。
【請求項９】
２つの任意のソース画像間の画素のマッピングは、
【数５】
2005500756.tif 000034
であり、ただし、
【数６】
2005500756.tif 000035
および
【数７】
2005500756.tif 000036
は前記ソース画像内の対応する画素を示し、
【数８】
2005500756.tif 000037
は前記第２のホモグラフィである請求項８に記載の方法。
【請求項１０】
特定の画素が前記表示領域の外側にある場合には、各ワーピングされた画像において前記特定の画素に０の重みを割り当てることと、
前記特定の画素が前記表示領域を照明する唯一の画素である場合には、前記特定の画素に１の重みを割り当てることと、
そうでない場合には、前記特定の画素に、範囲０＜Ｗ＜１の重みＷを割り当てることと、
をさらに含み、ただしＷは０の重みを有する最も近い画素への距離に比例する請求項１に記載の方法。
【請求項１１】
表示表面上にモザイク画像を形成するためのシステムであって、
複数のプロジェクタであって、前記各プロジェクタは前記表示表面上に位置合わせ画像を投影するように構成され、前記投影された位置合わせ画像の結合体が多角形を形成するようにする、前記プロジェクタと、
前記各位置合わせ画像のために順に、対応する入力画像を取得するように構成されるカメラと、
前記多角形によって包囲される前記表示表面上の表示領域を特定するための手段と、
前記各プロジェクタのために、前記表示領域と前記各入力画像との間の１つの投影行列を決定するための手段と、
前記各プロジェクタのために、前記対応する１つの投影画像にしたがってソース画像をワーピングするための手段と、
前記１つの投影行列にしたがって、ワーピングされた前記各ソース画像の画素を重み付けし、前記投影され、ワーピングされ、重み付けされたソース画像が前記表示表面上に前記モザイク画像を形成するようにするための手段と、
を含むシステム。
【発明の詳細な説明】
【０００１】
［技術分野］
この発明は包括的には、平坦な表面上に画像を投影する光学装置に関し、より詳細には、１つのモザイク表示画像を形成するために、任意の数の画像を投影することに関する。
【０００２】
［背景技術］
写真モザイクは、１枚の大きな視認される画像を形成するために互いに位置合わせされ、２Ｄに配列された画像である。これらの画像は、同じ観測点から種々の方向において撮影されるか、平面的なシーンの種々の観測点から撮影されるかのいずれかである。シュツェリスキ（Ｓｚｅｌｉｓｋｉ）等による論文「Ｃｒｅａｔｉｎｇ ｆｕｌｌ ｖｉｅｗ ｐａｎｏｒａｍｉｃ ｉｍａｇｅ ｍｏｓａｉｃｓ ａｎｄ ｔｅｘｔｕｒｅ−ｍａｐｐｅｄ ｍｏｄｅｌｓ」（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ （ＳＩＧＧＲＡＰＨ’ ９７））， 第２５１〜２５８頁， １９９７年）、チェン（Ｃｈｅｎ）等による論文「Ｑｕｉｃｋｔｉｍｅ） ＶＲ ａｎ ｉｍａｇｅ−ｂａｓｅｄ ａｐｐｒｏａｃｈ ｔｏ ｖｉｒｔｕａｌ ｅｎｖｉｒｏｎｍｅｎｔ ｎａｖｉｇａｔｉｏｎ」（Ｃｏｍｐ． Ｇｒａｐｈ． Ｐｒｏｃ．， Ａｎｎｕａｌ Ｃｏｎｆ． Ｓｅｒｉｅｓ （Ｓｉｇｇｒａｐｈ’ ９５））， 第２９〜３８頁， １９９５年）および１９９９年１１月１６日にシュツェリスキ（Ｓｚｅｌｉｓｋｉ）等に付与された「Ｄｅｇｈｏｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｉｍａｇｅ ｍｏｓａｉｃｓ」というタイトルの米国特許第５，９８６，６６８号を参照されたい。
【０００３】
高解像度で、高輝度の画像を生成する問題への実用的な解決手段を提供するので、大型プロジェクタアレイが数多く用いられている。ビデオウォールのような旧式のシステムは典型的にはリアプロジェクタのアレイを用いるが、隣接する画像エッジが、小さいが、常に視認可能な隙間あるいは重なりによって分離されている。新型のシステムは重なり合うプロジェクタを用いており、画像の位置合わせおよびブレンディングを行うために正確に手動で電気機械的に調整するための設備を備える。これらの表示装置の設定は依然として非常に単調であり、プロジェクタを正確に重ね合わせ、さらに、多くの場合には表示表面に対して概ね直交させる必要がある。すなわち、表示表面は、各プロジェクタの光学軸に垂直にならなければならない。これは、ほぼ間違いなく、大型の表示装置設計の最も大きな欠点である。
【０００４】
その画像投影プロセスが、既知のピンホールカメラモデルを用いて表現することができるという点で、プロジェクタはカメラに類似である。しかしながら、これまでプロジェクタはコンピュータビジョンの分野においてほとんど注目を集めて来なかった。
【０００５】
ラスカ（Ｒａｓｋｅｒ）等による論文「Ｍｕｌｔｉ−ｐｒｏｊｅｃｔｏｒ ｄｉｓｐｌａｙｓ ｕｓｉｎｇ ｃａｍｅｒａ−ｂａｓｅｄ ｒｅｇｉｓｔｒａｔｉｏｎ」（ＩＥＥＥ Ｖｉｓｕａｌｉｚａｔｉｏｎ， 第１６１〜１６８頁， １９９９年）は、マルチプロジェクタ表示システムを構築するための種々のアプローチを記載した。それらのアプローチは、ステレオカメラを用いて、共通の座標系において表示表面と、個々のプロジェクタの内部および外部パラメータとを全て決定するための、継ぎ目のない（ｓｅａｍｌｅｓｓ）表示の問題に対する全体的な解決手段を提供した。その結果は、表示環境全体の包括的な記述であった。しかしながら、そのアプローチは全体的な解決手段を考慮に入れていたが、そのアプローチを実施するためには計算上の負荷（ｅｆｆｏｒｔ）とリソースとを必要とし、それに特有のレベルの複雑さを持ち込んだ。
【０００６】
チェン（Ｃｈｅｎ）等による論文「Ａｕｔｏｍａｔｉｃ ａｌｉｇｎｍｅｎｔ ｏｆ ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ ｍｕｌｔｉ− ｐｒｏｊｅｃｔｏｒ ｄｉｓｐｌａｙｓ ｕｓｉｎｇ ａｎ ＵＮ−ｃａｌｉｂｒａｔｅｄ ｃａｍｅｒａ」（ＩＥＥＥ Ｖｉｓｕａｌｉｚａｔｉｏｎ ２０００， ２０００年）は、制御可能なズームおよび焦点を有し、パンチルトユニットに載置されるカメラを用いて、機械的な位置合わせの問題を低減するための機構を提供した。データの収集および計算には３０分以上を要した。シュアティ（Ｓｕｒｅｔｙ）による論文「Ｓｃａｌａｂｌｅ Ｓｅｌｆ−Ｃａｌｉｂｒａｔｉｏｎ Ｄｉｓｐｌａｙ Ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ Ｓｅａｍｌｅｓｓ ｌａｒｇｅ−ｓｃａｌｅ Ｄｉｓｐｌａｙｓ」（ｐＨ セシス（Ｔｈｅｓｉｓ）， Ｍａｓｓａｃｈｕｓｅｔｔｓ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， １９９９年）は、この場合もカメラを用いて複数のプロジェクタの相対的な幾何学的構造を確立する解決手段を提供した。そのカメラは、表示表面の正面に配置される、規則的な間隔で配置される格子が印刷された一枚の紙をイメージングすることにより較正された。その後、プロジェクタ画像が格子に位置合わせされた。
【０００７】
プロジェクタアレイのための支援およびコストを著しく低減することが望ましい。また、所与のプロジェクタアレイ構成に適合させることができる自由度の高い画像位置合わせおよびレンダリング技術を提供することが望ましい。さらに、完全に自動化し、複数のプロジェクタを設定し、位置合わせするために必要とされる時間を短縮することが望ましい。
【０００８】
［発明の開示］
発明の概要
この発明は、任意の数のプロジェクタを有するマルチプロジェクタ表示システムを提供する。プロジェクタアレイを位置合わせし、継ぎ目のない１つの長方形の表示画像を生成するために、自動化された方法が提供される。１台のカメラを用いて、投影される各画像の相対的な位置および向きから、プロジェクタの姿勢を判定する。プロジェクタの姿勢を用いて、平面的な表示表面に対してプロジェクタを位置合わせし、画像の位置合わせおよび濃度のブレンディングを達成する。動作中に、平面的な表示表面上に投影される際に、１つの画像として正確に現れるように、ソース画像がワーピングされる。その後、ワーピングされた画像は、重なりを相殺するように濃度補正される。その後、補正された画像を投影することができる。１つの利点として、表示表面は、プロジェクタの光学軸に対して斜めにすることができる。
【０００９】
より具体的には、この発明は、複数のプロジェクタを用いて表示表面上にモザイク画像を形成するための方法およびシステムを提供する。各プロジェクタのために順に、投影される位置合わせ画像の結合体が多角形を形成するように、位置合わせ画像が表示表面上に投影される。
【００１０】
カメラを用いて、各位置合わせ画像のために順に、対応する入力画像が取得される。その後、多角形によって包囲される表示表面の表示領域が特定され、各プロジェクタのために、表示領域と各入力画像との間の１つの投影行列が決定される。
【００１１】
各プロジェクタのためのソース画像は、プロジェクタの対応する１つの投影行列にしたがってワーピングされる。ワーピングされたソース画像の画素が、投影行列にしたがって重み付けされ、その後、ワーピングされ、重み付けされたソース画像が表示表面上に直接、同時に投影され、モザイク画像が形成される。
【００１２】
［発明を実施するための最良の形態］
定義
以下の説明において、後述のコンピュータ操作される画像が具体的に識別され、定義される。
位置合わせ画像：平面的な表示表面上に投影される、所定の構造と、幾何学的形状とを有する画像。プロジェクタのアレイ内の各プロジェクタに対して１つの、複数の位置合わせ画像が順に投影される。
カメラ画像：位置合わせ画像が投影される間に、表示表面のカメラによって取得される画像。プロジェクタの１つによって投影される各位置合わせ画像に対して、１つのカメラ画像が取得される。
ソース画像：モザイクを形成するために、表示表面上に投影されることになる画像。プロジェクタのアレイ内の各プロジェクタに対して１つの、複数のソース画像が同時に生成される。
投影（される）画像：ワーピングおよびブレンディング後のソース画像。
表示（される）画像：表示表面上の複数の投影される画像のうちのユーザによって視認される画像。
表示領域：表示される画像が現れる表示表面の領域。
【００１３】
マルチプロジェクタシステム概観
図１は、この発明による自己補正型マルチプロジェクタ表示システム１００を示す。システム１００は、プロジェクタ１０１〜１０４のアレイと、プロセッサ１２０に接続されるカメラ１１０とを備える。たとえば、この発明では、１０２４×７６８画素の解像度を有する４台の三菱電機製Ｘ−８０プロジェクタと、６４０×４８０画素の解像度を有する１台のＬｏｇｉｔｅｃｈ  Ｑｕｉｃｋｃａｍ  Ｐｒｏ  ＵＳＢカメラが用いられる。システム１００は、フロントあるいはリアプロジェクションモードにおいて用いることができる。
【００１４】
プロジェクタ１０１〜１０４は任意の数にすることができ、投影される画像１３１〜１３４がほぼ重なり合うように、任意に平面的な表示表面１３０に向けて設置される。画像１３１〜１３４は必ずしも、位置合わせするか、あるいは完全に重なり合う必要はないことに留意されたい。実際には投影される画像１３１〜１３４はキーストン効果が生じ、互いに対して回転あるいは傾斜されるようになり、画像間には隙間が存在する場合がある。さらに、プロジェクタの光学軸は、表示表面に対して、かつ互いに対して斜めになる可能性がある。
【００１５】
ここで、プロジェクタは２×２のアレイに積み重ねられるが、他の構成も可能である。たとえば、全てのプロジェクタが垂直方向に積み重ねられるか、あるいは水平方向に並べられることができる。必要とされるのは、プロジェクタが概ね表示表面１３０に向いており、全体としていくつかの表示領域１３５において重なり合う画像を有することだけである。同様に、カメラ１１０も、その視野が少なくとも画像１３１〜１３４の結合体に及ぶ（ｃｏｖｅｒ）ように向けられる。以下にさらに詳細に記載されるように、カメラは予備処理段階２００中にのみ用いられることに留意されたい。好ましい実施形態では、プロジェクタおよびカメラはデジタル装置である。
【００１６】
プロセッサ１２０は、ユーザとやりとりするための入力／出力（Ｉ／Ｏ）装置１２１を備える。これらは標準的なものである。またプロセッサは、動作中にシステム１００を制御する方法を実施する、メモリに格納される実行可能プログラムも含む。システムを動作させる方法は、予備処理段階２００と、レンダリング段階３００とを含む。これらは以下にさらに詳細に記載されるであろう。この発明の自己補正を用いると、プロジェクタのアレイは、アレイの個々のプロジェクタが任意の斜めの平面的な表面に向けられる場合であっても、既知の形状、たとえば、特定のアスペクト比を有する長方形の１つの表示画像として現れるモザイク画像を生成することができる。
【００１７】
位置合わせおよびモザイク方法
装置のタイプとその相対的な姿勢との両方のための固有パラメータを決定することのような、プロジェクタ−カメラシステム１００のための完全な位置合わせを実行するのではなく、この発明のマルチプロジェクタシステム１００は、１つのみの投影行列を用いて、各プロジェクタのためのソース画像をワーピングする。１つの投影行列は、以下のように予め決定される、カメラとプロジェクタとの間のホモグラフィと、表示領域とカメラとの間のホモグラフィとの組み合わせである。
【００１８】
予備処理
図２は予備処理２００中に実行されるステップを示す。位置合わせパターン、たとえばチェッカー盤１４０が、各プロジェクタ１０１〜１０４のために順に表示表面上に投影される（２１０）。位置合わせパターンの特徴、たとえば角あるいは線の対応（Ｃ）２２１が、入力画像１１１から抽出される。この発明は、４８個の対応を用いて、サブピクセルの位置合わせ精度を達成する。対応２１１は、カメラと各プロジェクタｉとの間のホモグラフィ
【数９】
2005500756.tif 000003
２３１を決定するために用いられる。
【００１９】
全てのプロジェクタのためのホモグラフィがわかった後、利用可能な表示領域１３５の寸法（Ｄ）２４１が決定される（２４０）。寸法２４１は、投影される全ての画像１３１〜１３４の結合体によって包囲される最も大きな長方形（あるいは任意の他の所定の形状）からなる。表示領域は、他の規則的あるいは不規則な予め決められた形状、たとえば円形、三角形、楕円形、菱形、面（ｆａｃｅ）等を有することができることに留意されたい。その形状は、パラメータによって、あるいは形状マスクによって画定されることができる。
【００２０】
利用可能な表示領域１３５の寸法がわかった後、表示領域の外側にあり、他の投影される画像と重なり合う、投影される画像の部分を特定することができる。これにより、表示座標とカメラ座標との間のホモグラフィ
【数１０】
2005500756.tif 000004
２５１と、レンダリング段階中に適用される必要がある濃度の重み（Ｗ）２６１とを決定できるようになる（２５０）。
【００２１】
表示領域の外側にある画素は０の重み（黒）を有し、重なり合う部分の画素は０＜Ｗ＜１の範囲内の重みを有し、全ての他の画素は１の重みを有する。以下に述べるように、ブレンディング中に、各画素はその対応する重みによって掛け合わされる。
【００２２】
レンダリング
図３に示されるようなレンダリング（３００）中に、投影されることになるソース画像（Ｉ）３０１が最初に、１つの投影行列Ｂｉ３０２にしたがってワーピングされる（３１０）。その後、ワーピングされた画像Ｉ３１１がＩ３２１へのブレンディング（３２０）中に濃度を重み付けされ、表示領域１３５上に投影される（３３０）。濃度の重み付けは画素毎に行われる。たとえば、重みは、従来のレンダリングエンジンによって用いられるような、αマップに格納される。
【００２３】
ホモグラフィ
レンダリング中に用いられる１つの投影行列Ｂｉ３０２を定義するために、２つのホモグラフィ２３１および２５１が如何に用いられるかが記載される。この発明は、ピンホールカメラモデルを想定する。２つのカメラが３Ｄ平面Πの２つの画像を取得する場合には、２つの画像は、スケールに応じて（〜＝）定義される、ホモグラフィＨによって関連付けられる。ｍ１およびｍ２が平面Π内の３Ｄ位置Ｍの投影である場合には、ｍ２〜＝Ｈｍ１である。ただし、ｍ１およびｍ２は同次座標であり、〜＝はスケールに応じて等しくなることを意味する。
【００２４】
この発明によるマルチプロジェクタシステム１００では、複数のプロジェクタＰｉ（ただしｉ＝１，・・・，Ｎ）からのＮ個のソース画像を、１つの表示される画像に継ぎ目なく縫い合わせることが望ましい。プロジェクタを互いに位置合わせするために、この発明は１つのカメラ１１０を用いて、個々の位置合わせ画像のＮ個全ての入力画像を取得する。その後、カメラに対するプロジェクタのマッピング、および相対的なプロジェクタ間のマッピングが、平面的な表示表面１３０を使用することに起因して、上記のホモグラフィによって記述される。
【００２５】
表記法として、この発明は、２Ｄカメラ座標
【数１１】
2005500756.tif 000005
の場合、および複数のプロジェクタからの２Ｄプロジェクタ座標
【数１２】
2005500756.tif 000006
の場合（ただし、ｉ＝１，・・・，Ｎ）の両方において同次座標を選択する。そのような場合において、Ｎ個の投影される画像は、以下の式を満たす既知のホモグラフィ
【数１３】
2005500756.tif 000007
を用いて、入力画像１３１にマッピングする。
【数１４】
2005500756.tif 000008
（ただし、ｉ＝１，・・・，Ｎ）
【００２６】
表示される画像では、投影される画像１３１〜１３４が既知の形状に切り取られる。投影される画像の座標に等価な、この形状の内部の表示される画像の座標は、
【数１５】
2005500756.tif 000009
によって示される。
【００２７】
表示座標とカメラ座標との間の関係は、第２の２Ｄ投影行列
【数１６】
2005500756.tif 000010
によって記述されることができる。それゆえ、以下の式が成り立つ。
【数１７】
2005500756.tif 000011
（ただし、ｉ＝１，・・・，Ｎ）
【００２８】
簡単に表示するために、１組のホモグラフィが定義される。
【数１８】
2005500756.tif 000012
（ただし、ｊ＝１，・・・，Ｎ）
【００２９】
上記の式は、各プロジェクタと表示される画像との間の幾何学的な関係を直接指定する。その際、２つの任意の投影される画像間の画素マッピングは以下のとおりである。
【００３０】
【数１９】
2005500756.tif 000013
【００３１】
ただし、
【数２０】
2005500756.tif 000014
および
【数２１】
2005500756.tif 000015
は、それぞれプロジェクタＰｉおよびＰｊのソース画像内の対応する画素を示す。
【００３２】
位置合わせ
継ぎ目のない表示画像を生成するために、投影される画像が互いに対して位置合わせされ、かつ重なり合う領域にわたる濃度がなだらかに移行するように見えるようにする。本明細書では最初に、複数のプロジェクタ１０１〜１０４と１つのカメラ１１０とを位置合わせするために用いられる技術が記載され、その後、なだらかな濃度のブレンディング（３２０）が記述される。
【００３３】
このサブセクションでは、投影される画像間の関係を決定するためのプロセスが記載される。この関係は、ソース画像３０１をワーピングすることにより、投影される画像が適当に位置合わせされることを確実にするために、レンダリング（３００）中に暗黙のうちに用いられる。投影されるモザイクのために、この発明は、投影される画像を継ぎ目なく縫い合わせるために、従来技術の場合のように、カメラあるいはプロジェクタのいずれかを明らかに較正することはない。代わりに、複数のプロジェクタと静止したカメラとの間のホモグラフィが、複数の投影される画像を十分正確に位置合わせする。言い換えると、この発明は、従来技術の場合のように、内部および外部パラメータを決定するために、光学系を較正する必要がない。代わりに、この発明は種々のホモグラフィにのみ依存する。
【００３４】
プロジェクタ１０１〜１０４とカメラ１１０とを位置合わせするために、この発明は最初に、各プロジェクタ１０１〜１０４で順に、表示表面１３０上に位置合わせパターン１４０を投影し（２１０）、対応する入力画像１１１を取得する。位置合わせパターン内の既知の２Ｄの特徴に対応する２Ｄ入力画像１１１から特徴を抽出することにより、この発明は、（１）に基づいて、カメラと各プロジェクタとの間のホモグラフィを決定することができる。
【００３５】
より形式的には、カメラ１１０と所与のプロジェクタとの間のホモグラフィ２３１は、最尤推定問題として定式化されることができる。入力画像ｘと位置合わせ画像ｕとの間にｎ個の対応する特徴を与えるとき、最尤推定値は、以下のコスト関数を最小にすることにより求めることができる。
【００３６】
【数２２】
2005500756.tif 000016
【００３７】
ただし、Ｈは、スケールに応じた、カメラからプロジェクタへのホモグラフィである。カメラ画像と位置合わせ画像との間に４つ以上の対応を用いる場合、Ｈの８つの未知のパラメータが、最小二乗法を用いて判定される。より複雑な技術によって、ノイズあるいは異常値への耐性を改善することができる。任意の場合に、自動的に位置合わせが行われる。さらに、上記のように、任意の２つのプロジェクタ間の相対的なマッピングは、式（３）と（４）とを組み合わせることによる決定することができる。再び、明らかな較正は必要とされないことに留意されたい。
【００３８】
表示される画像１３５を形成するために、この発明は、全てのプロジェクタによって同時に投影されることになる画像の結合体によって包囲される最大サイズの形状、たとえば長方形を見いだす。この問題は、制約された線形最適化問題として定式化されることができる。
【００３９】
照明される四辺形１３１〜１３４は、カメラ１１０の座標系において指定される。この発明では、たとえば、Ｎ個の四辺形の結合体によって包囲される所与のアスペクト比からなる、軸に位置合わせされた最も大きな四辺形を見つけることが望ましい。その結合体は、図１において太いエッジで示される多角形Ｌ１３６である。この発明では、最も大きな長方形の少なくとも１つの頂点が、多角形Ｌのエッジ上に存在するものと仮定される。アスペクト比が固定されているので、その長方形は、３つの自由度、２Ｄ内の頂点のうちの１つの位置、および長方形の縮尺を有する。それゆえ、この発明では、多角形Ｌ１３６のエッジを分離し、Ｌのエッジ上に存在する長方形の頂点のそれぞれ取り得る位置、およびそれぞれ取り得る縮尺を検査することにより、最も大きな長方形を求める。その検査により、長方形のエッジが多角形Ｌのエッジと交差するか否かを判定する。概ね最適な内接した長方形を見つけた後、式（２）を用いて表示座標系からプロジェクタ画素へのホモグラフィが更新される。
【００４０】
また、１つのカメラ１１０が全ての投影される画像を視認できない場合であっても、さらに多くのプロジェクタを追加することにより、拡張性のある（ｓｃａｌａｂｌｅ）マルチプロジェクタシステム１００を構築することができる。その場合の要件は、任意の１つのプロジェクタと、表示される画像１３５の対応する座標との間の関係を定義することだけである。好ましい実施形態では、視認しているカメラ内の内接した長方形がその関係を定義する。しかし、１つあるいは複数のカメラと表示座標との間の、ユークリッド構造における任意のマッピングを用いることができる。それゆえ、１つのカメラが全ての投影を視認しない場合であっても、任意の１つのカメラが両方の投影を視認することができる限り、隣接するプロジェクタｉとｊとの間の関係
【数２３】
2005500756.tif 000017
を広めるのは容易である。
【００４１】
レンダリング
表示される画像１３５は、個々のプロジェクタが大まかに設置されることに起因して斜めに投影される場合であっても、複数の投影される画像３２１のスケーリングされた、継ぎ目のない画像（ｖｉｓｉｏｎ）としてレンダリングされる（３００）。図３に示されるように、この発明は最初に、投影行列３０２にしたがって投影されることになる各ソース画像３０１をワーピングし、表示表面１３０上に投影される際に、ワーピングされた全ての画像が、表示領域１３５において位置合わせされて見えるようにする。ワーピングされた各画像３１１はその後、重み３６１によってブレンドされ、投影される画像３２１を生成し、その画像はプロジェクタ１０１〜１０４のうちの１つに給送される。
【００４２】
ホモグラフィを用いるワーピング
投影される画像のために必要とされるワーピングは、投影される画像の画素座標を、所望の表示される画像の画素座標に変換する投影行列によって定義される。上記のように、投影行列３０２は、予備処理中に決定される。各プロジェクタにおいて、レンダリングプロセスは、各ソース画像３０１を個別にワーピングする。
【００４３】
ソース画像３０１はプロジェクタのテクスチャメモリにロードされる。その後、ｘ−ｙ平面内、すなわち範囲［０：１，０：１］を有する単位長方形がテクスチャマッピングされる。プロジェクタｉの場合に、
【数２４】
2005500756.tif 000018
であるので、以下の１つの投影行列が用いられる。
【００４４】
【数２５】
2005500756.tif 000019
【００４５】
ただし、［１｜０］は、ゼロベクトルを充填された単位行列によって、３×３の行列を４×４の行列に変換する。以下の式（６）を参照されたい。
正確に言うと、この発明は、
【数２６】
2005500756.tif 000020
によって掛け合わされる正射影行列を用いる。表示座標［０：１，０：１］の外側の領域内の画素も、プロジェクタフレームバッファ内に現れる。これは、表示領域の外側であるが、多角形Ｌ１３６、すなわちＮ個の照明された四辺形の結合体によって包囲される領域に対応する。
【００４６】
背景色（０の重み）が黒に保持され、この領域に寄与するのが回避される。投影行列は、深度バッファを計算するために単に行および列を追加することにより、従来のグラフィックスパイプラインにおいて用いられるような４×４の行列に変換される。結果的な深度値は当然無視され、たとえば以下の式が成り立つ。
【００４７】
【数２７】
2005500756.tif 000021
【００４８】
画像濃度のブレンディング
複数のプロジェクタによって照明される表示領域１３５の領域は通常、際立って明るく見えるであろう。重なり合う領域が継ぎ目なく見える、すなわち、なだらかな濃度を有するようにするために、濃度ブレンディングプロセスが用いられる。この発明では、各プロジェクタのためのマスクが生成され、そのマスクによって、投影される画像内の全ての画素の場合に、範囲０．０から１．０の濃度の重みが割り当てられる。
【００４９】
ブレンディング中に、画素毎の濃度の重みを第２のテクスチャマップのαチャネルにロードする。しかしながら、色チャネルは黒である。同じ単位長方形が、濃度の重みを変更するこのテクスチャマップでレンダリングされる。αチャネルは透過関数として機能し、ワーピングされた画像３１１の根底にある濃度を掛け合わせる。こうして、両方の動作、すなわち投影行列を用いるワーピングおよび濃度補正はいずれも、３Ｄグラフィックスハードウエアを用いて効率的に達成される。
【００５０】
複数のプロジェクタが同じ照明される点において重なり合うことができることは理解されたい。たとえば、図１の表示領域１３５の中心において、４つのプロジェクタが丁度重なり合う場合がある。しかしながら、均一な濃度を得るために、同じ表示表面点を照明する全ての投影される画素の重みが、１まで加算されるようになされる。
【００５１】
簡単な解決手段は、１つのプロジェクタのみで所与の点を照明することであろう。別法では、各プロジェクタが等しい量を、たとえば２つのプロジェクタの場合には０．５、あるいは４つのプロジェクタの場合には０．２５を与えることができる。実際には、プロジェクタ位置合わせ、透視歪み、および非線形のバレル歪曲の小さな誤差に起因して、投影される画像は、その各エッジにおいて厳密には一致しないであろう。さらに、経時的には、電気機械的な振動がプロジェクタの位置を変動させる。これらの任意の問題の場合に、１つの画素の位置ずれであっても、表示される画像内に厄介な線が生じるようになる。それゆえ、重なりにおいて重みのなだらかな移行を達成する必要がある。結果として重ね合わされる画像内の濃度は、静的な位置合わせおよび動的な位置合わせの誤差から受ける影響を低減されなければならない。
【００５２】
この発明によるブレンディングアルゴリズムは、エッジ付近の画素に割り当てられる重みが概ね０である方式を用いる。重なり合わない領域内の画素のための重みは明らかに１であり、重なり合う領域内の隣接する画素は、以下のように重みを割り当てられる。
【００５３】
より具体的には、画素
【数２８】
2005500756.tif 000022
に関連付けられる重み
【数２９】
2005500756.tif 000023
を見いだすために、この発明はブレンディング技術を適用する。すなわち、この発明は、ワーピングされたソース画像３１１内の画素を、その画像のエッジまでの距離に比例して重み付けする。より厳密には、画素は、最も近い「不可視」の画素、すなわち０の重みを有する画素への距離に比例して重み付けされる。投影行列は、ｕおよびｖ座標が［０，１］間で変化するように、正規化されたプロジェクタ座標で計算される。それゆえ、ある画素の、プロジェクタＰｉ内の最も近いエッジへの距離は、以下の式によって記述される。
【００５４】
【数３０】
2005500756.tif 000024
【００５５】
ただし、
【数３１】
2005500756.tif 000025
の場合には、ｗ（ｕ，ｖ）＝１であり、
【数３２】
2005500756.tif 000026
の場合にはｗ（ｕ，ｖ）＝０である。
【００５６】
これは重み割当て問題を最小関数に低減する。さらに、複数のプロジェクタにわたる暗黙的な画素の対応に基づいて、この発明は、同じ表示表面を照明する画素の重みが確実に１まで加算されるようにする。プロジェクタＰｍの画素
【数３３】
2005500756.tif 000027
に関連付けられる画素の重み
【数３４】
2005500756.tif 000028
は以下のように計算される。
【数３５】
2005500756.tif 000029
（ただし、ｊ＝１，・・・，Ｎ）
【００５７】
このタイプの濃度のブレンディングは、投影される画像間の隙間、あるいは余分な重なりにおいて誤差が生じても生じなくても、小さい位置ずれ誤差の存在時に安定性が高くなる。以下に説明されるように、３Ｄグラフィックスハードウエアにおいて透明度を得るために共通に用いられるαマップを用いて、重みが導入される。最後に、ワーピングされ、濃度を重み付けされた画像３２１が各プロジェクタにおいて投影され（３３０）、表示される画像が生成される。
【００５８】
発明の効果
この発明は、組み合わせられる投影が、画像内に際立った重なりを生じることなく、１つの結合された画像として現れるように、複数のデジタルプロジェクタを短時間に設定するために有効である。プロジェクタは１つのプロセッサに接続される。ユーザは単に、表示表面の全方向にプロジェクタを向け、個々の投影される画像が、ある所定の形態、たとえば６台のプロジェクタの場合には２×３の行列で、重なり合うか、あるいは概ね重なり合うようにする。一旦、プロジェクタが大まかに配置されると、プロジェクタを互いに、かつプロジェクタと表示表面とを位置合わせするために、各プロジェクタによって位置合わせ画像が表示される。プロジェクタが位置合わせされるとすぐに、そのプロジェクタを用いて、継ぎ目のない画像のモザイクを表示することができる。そのプロセス全体には、２、３秒しかかからない。
【００５９】
この発明は、特定の用語および例を用いて記載される。この発明の精神および範囲内で、種々の他の適合形態および変更形態が実施される場合があることは理解されたい。それゆえ、添付の請求の範囲の目的は、この発明の真の精神および範囲内に入るような全てのそのような変形および変更を網羅することである。
【図面の簡単な説明】
【図１】この発明によるマルチプロジェクタ表示システムの図である。
【図２】図１の表示システムの予備処理段階の流れ図である。
【図３】図１の表示システムのレンダリング段階の流れ図である。
【図１】
2005500756.tif 000038
【図２】
2005500756.tif 000039
【図３】
2005500756.tif 000040
【国際公開パンフレット】
2005500756.tif 000041
2005500756.tif 000042
2005500756.tif 000043
2005500756.tif 000044
2005500756.tif 000045
2005500756.tif 000046
2005500756.tif 000047
2005500756.tif 000048
2005500756.tif 000049
2005500756.tif 000050
2005500756.tif 000051
2005500756.tif 000052
2005500756.tif 000053
2005500756.tif 000054
2005500756.tif 000055
2005500756.tif 000056
2005500756.tif 000057
2005500756.tif 000058
2005500756.tif 000059
2005500756.tif 000060
2005500756.tif 000061
2005500756.tif 000062
【国際調査報告】
2005500756.tif 000063
2005500756.tif 000064
2005500756.tif 000065