(57)【要約】【課題】方法は、表示面上に画像を表示する。【解決手段】まず、複数のプロジェクタＰｉにより、構造化パターンが表示面上に投影される。構造化パターンの入力画像が取得される。各入力画像は、プロジェクタのうちの対応する１台に対して固定の物理的関係にあるカメラＣｉによって取得される。対応が三角形分解されて、二次伝達ＴＰｉＣｋが決定される。二次伝達Ｔの二次伝達パラメータが決定される。プロジェクタからの出力画像が、二次伝達および二次伝達パラメータに従ってワーピングされる。【選択図】図１
2004287433.tif 000002
【特許請求の範囲】
【請求項１】
複数のプロジェクタＰｉにより複数の構造化パターンを表示面上に投影すること、
それぞれ、前記複数のプロジェクタのうちの対応する１台と固定の物理的関係にあるカメラＣｉによって取得される、前記構造化パターンの複数の入力画像を取得すること、
前記対応を三角形分解して二次伝達ＴＰｉＣｋを決定すること、
前記二次伝達Ｔの二次伝達パラメータを決定すること、及び
前記二次伝達及び前記二次伝達パラメータに従って、前記複数のプロジェクタの複数の入力画像をワーピングすること
を含む画像を表示面上に表示する方法。
【請求項２】
前記複数のプロジェクタは前記構造化パターンを順次投影し、
前記複数のカメラは、順次投影される構造化パターンそれぞれの前記入力画像を同時に取得する
請求項１記載の画像を表示面上に表示する方法。
【請求項３】
特定のプロジェクタＰｉと特定のカメラＣｋの間の剛体伝達変換ГＰｉＣｋ＝ГＰｉＣｋГＰｉＣｉを決定すること
をさらに含む請求項１記載の画像を表示面上に表示する方法。
【請求項４】
４×４行列Ｑによって前記表示面を表現すること、及び
ＸＴＱＸ＝０となるような４×１ベクトルＸによって前記表示面上のポイントを表現すること
をさらに含む請求項１記載の画像を表示面上に表示する方法。
【請求項５】
前記伝達パラメータを非線形的に改良すること
をさらに含む請求項１記載の画像を表示面上に表示する方法。
【請求項６】
前記表示面は二次表示面である
請求項１記載の画像を表示面上に表示する方法。
【請求項７】
前記二次表示面は、ドーム形状面、円筒形状面、楕円形状面、及び放物線状面からなる群から選択される
請求項６記載の画像を表示面上に表示する方法。
【請求項８】
前記ワーピングされた出力画像をレンダリングすること
をさらに含む請求項１記載の画像を表示面上に表示する方法。
【請求項９】
前記出力画像は、前記表示面の垂直軸及び水平軸に位置合わせされる
請求項７記載の画像を表示面上に表示する方法。
【請求項１０】
前記ドームはフライトシミュレータの構成要素である
請求項１記載の画像を表示面上に表示する方法。
【請求項１１】
前記ドームはエンターテイメントシステムの構成要素である
請求項１記載の画像を表示面上に表示する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはプロジェクタに関し、特に、表示面の様々な幾何学的形状に画像を適合させるプロジェクタに関する。
【背景技術】
【０００２】
プロジェクタの最も利用される特徴は、プロジェクタの同類装置であるＣＲＴおよびＬＣＤによって生成される画像よりも大きなサイズの画像を表示する能力、およびプロジェクタから離れたところにある任意の表面上に画像を配置する能力である。ＣＲＴおよびＬＣＤベースの装置のように、プロジェクタは通常、フラットな矩形画像を表示する。残念ながら、プロジェクタベースのディスプレイに固有の多くの特徴は大方利用されていない。
【０００３】
プロジェクタは、ＣＲＴ装置またはＬＣＤ装置の場合とは違い、表示面から切り離されているため、プロジェクタのサイズは、プロジェクタが生成する画像のサイズよりもはるかに小さくすることができる。複数のプロジェクタからの重複する画像を表示面上に効果的にスーパーインポーズすることが可能であり、仕様およびフォームファクタのかなり異なるプロジェクタからの画像をともに混合させることが可能である。加えて、表示面は平面または剛体である必要がないため、多くの種類の表面および併合された投影画像を使用して、物理的な環境を補強することができる。
【０００４】
プロジェクタの傾向
プロジェクタは、小型化、軽量化、鮮明化、かつ低価格化しつつある。装置が小型化されると、フォームファクタの柔軟性により新たな使用形態および新たな用途が生まれる。たとえば、将来のプロジェクタは、固定位置あるいはモバイルセットアップで使用することが可能であろう。
【０００５】
分散型共有コンピューティングの傾向
ますます、コンピュテーションは、よく組織されたメインフレームの集合ではなく、異種のそれ自体で完全なコンピューティングユニットのクラスタにわたって分散されるようになっている。より低価格でより強力なコンピュータの進歩により、この傾向は加速している。
【０００６】
同様にプロジェクタシステムでも、大型で同質の一体型システムから異種のそれ自体で完全なプロジェクタで構成されるネットワークへの移行が望まれている。このようなプロジェクタは、ＰＣまたはＰＤＡと同様にスタンドアロンモードで使用することが可能であるか、またはコンピューティンググリッド（computing grid）と同様にクラスタで協働することが可能であろう。
【０００７】
最近の数年で、プロジェクタはエンターテイメント用途、フライトシミュレータ用途、およびプレゼンテーション用途における従来の役割から脱した。その結果、プロジェクタベースのシステムの進歩が大きな関心を呼び、プロジェクタは非従来的な目的で使用され始めている。
【０００８】
プロジェクタベースの環境
近年、物理的な環境を補強する表示装置、たとえば固定設置用の大型モニタ、投影スクリーン、ＬＣＤ、またはプラズマスクリーン、およびモバイル用途のハンドヘルドＰＤＡがより人気となっている。はめ込み(immersion)は、こういったディスプレイの大半の必須目標ではない。
【０００９】
サイズおよびコストの縮小により、プロジェクタは従来の表示装置および媒体にますます取って代わっている。Raskar他著「Multiprojector Displays using Camera-based Registration」IEEE Visualization、1999、Underkoffler他著「Emancipated pixels:realworld graphics in the luminous room」SIGGRAPH 99 Conference Proceedings、pp385-392、1999、Pinhanez著「The Everywhere Displays Projector:A Device to Create Ubiquitous Graphical Interfaces」Ubiquitous Computing、Ubicomp ‘01、2001、Sukthankar他著「Scalable Alignment of Large-Format Multi-Projector Displays Using Camera Homography Trees」Proceedings of Visualization、2002、およびStork著「Projection-based Augmented Reality in Engineering Applications、2002を参照のこと。
【００１０】
幾何学的観点から、従来技術のプロジェクタシステムは、中央演算処理装置を支援する１つまたは複数の環境センサを使用する。処理装置は、プロジェクタと表示面との間のユークリッド関係またはアフィン関係を計算する。
【００１１】
これとは対照的に、個々が自己完結型のプロジェクタに基づいた分散型のプロジェクタシステムを提供することが望まれる。
【００１２】
従来技術によるプロジェクタシステムによっては、プロジェクタのクラスタを使用してシームレス表示への自動見当合わせを提供するものがある。Yang著「PixelFlex:A Reconfigurable Multi-Projector Display System」IEEE Visualization 01、2001、およびBrown他著「A Practical and Flexible Large Format Display system」The Tenth Pacific Conference on Computer Graphics and Applications、pp178-183、2002を参照のこと。しかし、こういったシステムは環境センサを必要とし、いずれか１つのセンサの範囲を越えてプロジェクタを認めず、一次の平面の表面でしか機能しない。
【００１３】
環境センサを使用することなく円筒体およびドーム等、より高次の表面上に画像を表示可能なプロジェクタを提供することが望まれる。
【００１４】
高度プロジェクタ
従来技術による表示システムによっては、高度センサおよびさらなる演算を用いるものがあり（上記Underkoffler他によって記された「Ｉ／Ｏ  ｂｕｌｂ」を参照のこと）、これは同じ場所にあるプロジェクタおよびカメラを使用する。傾斜センサを使用して、自動キーストン（keystone：台形歪み）補正を行うことができる。Raskar著「A Self Correcting Projector」IEEE Computer Vision and Pattern Recognition、2001を参照のこと。
【００１５】
プロジェクタが互いに通信することが可能であり、表示面および環境に存在する物体の物理的な形状を感知可能であるように、ネットワーク機能を備えたプロジェクタを提供すること、およびプロジェクタを幾何学的形状認識可能かつ自己構成可能にすることがさらに望まれる。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明は、幾何学的形状認識プロジェクタ、およびこういった幾何学的形状認識プロジェクタの１つまたは複数から構成される自己構成可能な表示システムを支援する新規の技法を提供する。
【００１７】
本発明は、他のプロジェクタが存在する中で、画像を異なる種類の表面および物体上に表示する較正技法およびレンダリング技法も提供する。
【００１８】
これら技法は従来のプロジェクタベースの環境に適用することが可能であり、新たな種類の用途および相互作用が可能になる。
【課題を解決するための手段】
【００１９】
したがって、本発明の目的は、形状適応式プロジェクタシステムを提供することにある。形状適応式、すなわち幾何学的形状認識プロジェクタは、最小の局所歪みで画像を平面の、または非平面の表面上に表示する。このシステムは、対応する正角図法の問題、および水平制約および垂直制約の変動に対処する。
【００２０】
本発明の目的はまた、環境センサを使用することなく、自己完結型プロジェクタによって投影される複数の画像から１つのシームレスな画像として見えるものをレンダリングすることができる自己構成式アドホックプロジェクタクラスタを提供することにもある。
【００２１】
本発明の目的は、シーンのマスタおよびユークリッド情報を用いて複数の画像を全体的に位置合わせする方法を提供することにある。これは、任意形状の多角形である、投影された四辺形画像の連合体内で最大の内接矩形画像を決定する方法を含む。
【００２２】
本発明の目的は、湾曲した表示面、特に二次面上に画像を表示するプロジェクタシステムを提供することにある。したがって、単純化したパラメータ化伝達方法が提供される。湾曲面に対処するため、本発明は、湾曲面上に投影画像の歪みによる対毎の関係にわずかな誤差が存在する中で、画像を全体的に位置合わせし、見当合わせする方法も提供する。
【発明を実施するための最良の形態】
【００２３】
幾何学的形状認識プロジェクタ
図１は、本発明による幾何学的形状認識プロジェクタ１００を示す。プロジェクタ１００は、前面投影モードおよび後面投影モードの両方で使用可能であり、また単体で使用しても、または他の同様のプロジェクタと組み合わせて共同して使用してもよいことに留意されたい。
【００２４】
本発明のプロジェクタ１００は、バス１４０によって接続されたマイクロプロセッサ１１０、メモリ１２０、およびＩ／Ｏインタフェース１３０、全体として処理装置、を備える。処理装置の電子構造は従来のものであるが、本明細書に述べる方法ステップを実行する際のその動作は非従来的なものである。
【００２５】
プロジェクタは、出力画像を表示するプロジェクタサブシステム１５０、および入力画像を取得するカメラサブシステム１６０も備える。
【００２６】
プロジェクタは、ネットワークサブシステム１７０により、他の同様の装置、または他のコンピューティング装置とローカルに、またはリモートに通信することができる。したがって、ネットワークシステムは、通信媒体に応じてアンテナすなわち赤外線送受信器１８０に接続することができる。
【００２７】
プロジェクタの動作に役立てるために、ユーザインタフェース１９０が入力データおよび出力データを提供することができる。内部センサ１９５、たとえば傾斜センサまたは加速度計で、プロジェクタの位置付けを決定することができる。センサは内部のみであり、プロジェクタ外部の環境を感知しないことに留意されたい。
【００２８】
プロジェクタの動作
プロジェクタ１００は、スマートキーストン補正、位置付けを補償した画像輝度、自動明度、ズーム、およびフォーカス、幾何学的形状およびテクスチャキャプチャのための３Ｄスキャン、およびカメラサブシステム１６０のためのスマートフラッシュを含む複数の機能を実行することができる。この最後の機能の場合、プロジェクタの機能はカメラ機能の補助である。この場合、プロジェクタは単に、カメラで観察しているシーンの特定エリアを照らすだけである。
【００２９】
複数のさらなる適応機能について、以下にさらに詳細に述べる。
【００３０】
本発明では、プロジェクタ外部のいずれのユークリッド情報、たとえば室内のアクティブビーコン、表示スクリーン上の境界または人的補助にも頼りたくないため、完全な自己較正式プロジェクタ−カメラステレオ対を使用して「プラグアンドディスプレイ」機能をサポートする。
【００３１】
プロジェクタ１００は、他の装置およびシーン中の物体と通信して、必要な幾何学的関係を「学習」することができる。プロジェクタが動作しているときにこういった関係を動的に学習する能力は、予め構成された幾何学的セットアップ、複雑な較正、通信、およびユーザ補助を必要とする従来技術によるプロジェクタとの大きな違いである。
【００３２】
単純な平面のホモグラフィを使用し、完全な較正を回避する従来技術によるプロジェクタシステムでは、表示面についてのいくらかのユークリッド情報、たとえばスクリーンエッジまたはマーカが必要であるか、またはプロジェクタが「理想的な」場所にある、すなわち投影中心（ＣｏＰ）が平面の表示面に対して実質的に直交するものと仮定される。
【００３３】
自己構成可能なアドホックプロジェクタクラスタ
図２Ａおよび図２Ｂに示すように、プロジェクタ１００は、単体で使用することもでき、または無線Ｅｔｈｅｒｎｅｔ(登録商標）、ＲＦ、または赤外線等のネットワーク２１０を介して互いに通信する、自己構成可能なアドホックネットワーク化プロジェクタクラスタ２００内で使用することもできる。クラスタ２００として構成された場合、プロジェクタ１００は、図２Ｂに点描で示される１つのシームレスな複合画像２０１として知覚されるものを表示する。複合画像２０１は実際には、表示面２３０または他の物理的な物体上の複数の投影画像２２０から構成される。表面２３０は二次面であってもよいことに留意する。この例では、２台のプロジェクタが下から投影し、逆になったキーストンから観察されるように、１台のプロジェクタが上から投影している。
【００３４】
以下に述べるように、プロジェクタの配置に明確な意図はない。すなわち、画像の境界を位置合わせする必要はない。必要なことは、投影画像の連合体がｎ辺の多角形を表示面上に形成し、１つの複合出力画像と知覚されるものが形成されることだけである。
【００３５】
形状適応式プロジェクタ
プロジェクタ１００が無計画に、おそらくモバイルセットアップで使用される場合、平面の表示面を常に利用できるとは限らない。実際には、部屋の隅、円柱、またはドーム形状の天井に画像を表示することが望まれることがある。したがって、歪みが最小化されるような出力画像の補正が必要になる。複数のプロジェクタが使用される場合は、おそらく一貫しない照明強度を有するプロジェクタによって生成される複数の出力画像をシームレスに併合することがさらに問題となる。これは、「理想的な」場所に配置された、すなわち投影中心（ＣｏＰ）が平面の表示面に対して実質的に直交する状態の１台のプロジェクタに関して出力画像がプレワーピング（is pre-warped）される従来技術の問題と異なることに留意する。
【００３６】
表面の形状に従って１つの出力画像に見えるものを生成したい。たとえば、一方の側から湾曲した壁にあるポスターを見るとき、または円筒形の物体のラベルを読むとき、または湾曲した建造物の壁画を見るとき、三次元の刺激は、人の視覚の不可欠な部分である(three dimension cues are...of human vision)。したがって、本発明は、通常の視覚経験に合致した出力画像を投影する。
【００３７】
正角図法
本発明の方法は、表示面の被照明領域にわたっての歪みが最小の画像を表示する。たとえば、映画スクリーンのような平面の表面上でのソリューションは、まるで観客が正面から平行して映画を見ているかのように画像を投影することである。プロジェクタがスキューしている場合は、キーストン補正が適用される。
【００３８】
湾曲した表面の場合、または概して非平面の表面の場合、表示面上の各ポイントが、表面法線に沿って見たときに局所的に歪まないように、画像を表示面上に「貼り付け」たい。
【００３９】
表面法線は変化しうるため、出力画像の面積と表示面上の対応する面積の比が固定される等角画像を求める。
【００４０】
無伸張ソリューション（zero-stretch solution)は、表面が展開可能な場合にのみ可能である。可展面の例は、隅で交わる２つの平面の壁、または直円柱の一部、すなわち平面に対して直角に突出する平面の湾曲である。２つの平面の壁と隅で交わる天井、または部分的な球体等、他の場合では、最小二乗法の意味で最小伸張問題（minimum stretch problem)を解消する。
【００４１】
本発明の方法では、入力画像のテクスチャのスクロールは、画像領域のサイズおよび形状を変更することなく、照明面上での滑らかなスクロールとして見える。本発明では、Levy他著「Least Squares Conformal Maps for Automatic Texture Atlas Generation」SIGGRAPH2002 Proceeding、2002に記載の最小二乗等角写像（ＬＳＣＭ）を採用することによって表示面の３Ｄ形状への写像を決定する。Levyは、フラットな画像をレンダリングする間のテクスチャマッピングトライアングルに関わるが、本発明では、画像を可展面上に投影する必要がある。
【００４２】
ＬＳＣＭは、３Ｄ表面上の対応する領域とその２Ｄパラメータ化空間の間の角の歪みおよび非均等なスケーリングを最小化する。可展面の場合、このソリューションで完全に等角になる。３Ｄメッシュ上の所与のポイントＸについて、２Ｄテクスチャ座標（ｕ，ｖ）が複素数（ｕ＋ｉｖ）で表され、表示面が局所直交（ｘ＋ｉｙ）ベースの座標を用いる場合、等角写像の目標は、Ｘを通るｕ等曲線およびｖ等曲線に対する接ベクトルが直交する、すなわち、
∂ｕ／∂ｘ＝∂ｖ／∂ｙ、かつ∂ｕ／∂ｙ＝−∂ｖ／∂ｘ
であることを確実にすることである。
【００４３】
Levy他はこの問題を三角形単位で解消し、表面位相同形をいずれも（ｕ，ｖ）パラメータ化を有する円盤に写像することによって歪みを最小化する。
【００４４】
平面伝達方法
図３は、本発明の等角投影方法３００のステップを示す。
【００４５】
この方法３００は、プロジェクタサブシステム１５０によって構造化パターン、たとえば均等なチェッカー盤または正方形格子を表示面上に投影すること（３１０）から始まる。構造化パターンの入力画像が、カメラサブシステム１６０によって取得される（３１５）。
【００４６】
入力画像のパターン形状から、３Ｄ多角形メッシュＤｐ、たとえば三角形から構成されるメッシュを生成する（３２０）。このメッシュは、プロジェクタの座標枠において生成される。このメッシュは、表示面の形状を反映しているため、可展面または湾曲面の場合に歪むことになる。
【００４７】
表示面の座標枠Ｄにおけるプロジェクタの位置付けが、内部センサ１９５を使用して感知され（３３０）、表示面の座標枠Ｄと位置合わせされた軸になるようにメッシュＤｐを回転させる（３３５）。
【００４８】
次に、ＬＳＣＭを使用してテクスチャ座標Ｕが決定され（３４０）、よってユークリッド平面の座標枠Ｄの二次元埋め込みＤПが見つけられる。
【００４９】
最大の領域が表示面上に投影されるときに、埋め込みＤПにおいて、表示可能な領域、たとえば表示面の座標枠Ｄ内で可能な限り大きく、かつ可能な限り「上向き」の矩形を特定し（３４５）、これに従って、表示領域に合うようにテクスチャ座標を更新する（３５０）。
【００５０】
次に、出力画像がテクスチャ座標Ｕを使用してメッシュＤｐ上にテクスチャマッピングされ（３５５）、このメッシュがプロジェクタの視点から表示面上にレンダリングされる（３６０）。従来のハードウェアまたはソフトウェアベースの技法を使用して、テクスチャ処理した三角形をレンダリングすることができる。
【００５１】
ステップ３４５において、（ｕ，ｖ）平面における出力画像の位置付けＲｔｅｘを見つけようとする。表示面が垂直な壁が交わるまたは角または支柱等、垂直な直円柱、すなわち水平面における曲線が垂直に突出したものであると仮定すると、本発明の目標は、表示面上に投影されたときに、出力画像の垂直軸を表示面の垂直軸と位置合わせすることである。
【００５２】
さらに、本発明では、表示面の座標枠におけるプロジェクタの位置付けを使用する。これが、内部センサ１９５を使用することの理由である。表面が垂直な直円柱ではない、たとえばドームである場合、本発明のソリューションは、最小二乗の意味で出力画像を位置合わせする。
【００５３】
位置付け方法
図４に示すように、２Ｄ位置付けＲｔｅｘを決定するステップは以下である。
【００５４】
３Ｄにおいて頂点ｐ１、ｐ２、ｐ３を有するメッシュ中の各三角形ｔｊ上で、まず、局所アフィン（２Ｄ）ｘ−ｙ座標系：
Ｘ＝ｐ１＋ｘ（ｐ２−ｐ１）＋ｙ（ｐ３−ｐ１）
を決定する（４１０）。
【００５５】
三角形ｔｊ上の表示面の垂直軸の投影に対応するベクトルを、最小二乗の意味で、
［０１０］Ｔ＝ｘｊ（ｐ２−ｐ１）＋ｙｊ（ｐ３−ｐ１）
を解くことによって見つける。
【００５６】
テクスチャ空間においてすべての［ｘｊ，ｙｊ］を［０，１］に位置合わせしたい。これには、２Ｄ回転および平行移動が伴う。したがって、ベクトル［ｘｊ，ｙｊ］を正規化した後、共分散行列：
【００５７】
【数１】
2004287433.tif 000003
【００５８】
を決定する（４２０）。
【００５９】
行列Ｍ＝ＵＳＶＴに特異値分解を適用して、所望の２Ｄ回転をＲｔ＝ＵＶＴとして取得する（４３０）。
【００６０】
最後に、Ｕｖｅｒｔｉｃａｌ＝ＲｔｅｘＵＴを使用してすべてのテクスチャ座標を回転させる（４４０）。
【００６１】
垂直面の照明
時により、一方の方向における画像特徴の形状を、他方の方向での歪みを犠牲にして維持することが望ましいことがある。たとえば、球面セグメント等、略垂直であるが非可展面上に投影されるバナーテキストでは、キャラクタが水平方向において歪んだとしても、すべてのテキストキャラクタが同じ高さに見えなくてはならない。
【００６２】
したがって、本発明では、この新たな制約を考慮に入れるようにＬＳＣＭ技法を変更する。垂直という表記はセンサ１９５による読み取りによる回転においてコード化されるため、最小二乗等角写像についての費用関数を変更することができる。追加の制約を、
重み・∂ｖ／∂ｙ−定数
の形の４つの偏導関数で表現する。
【００６３】
通常、このような制約の１つのみが使用される。たとえば、上記制約は、垂直方向に沿っての伸張を最小に保つ、すなわち、数式は、すべての三角形にわたって∂ｖ／∂ｙの分散にペナルティーを課し、最小化する。この場合、三角形上の局所直交ｘ，ｙベースは、ｘ軸が表示面上のあらゆる場所で水平沿いを指すようなものが選択されることに留意する。
【００６４】
上記等角投影方法は、２つおよび３つの平面部分が隅で交わるディスプレイ、「Ｗ」字形状の表面、および凹面状のドーム等の非可展面を含め、複数の表示面に使用することが可能である。
【００６５】
プロジェクタクラスタ
図５に示すように、本発明の幾何学的形状認識プロジェクタ１００のクラスタ２００を使用して、平面の湾曲した表示面５０１上にレンダリングすることができる。
【００６６】
プロジェクタのアドホッククラスタ２００は、いくつかの利点を有する。クラスタは中央管理なしで動作するため、個々のプロジェクタはクラスタに動的に入出することができる。クラスタは外部環境センサを必要とせず、内部センサの任意の１つの範囲を超えて画像を表示する。
【００６７】
平面の表示面という文脈の中でクラスタ２００の基本的な動作について述べる。二次面等より高次の表示面については、新規の二次伝達方法を提供する。
【００６８】
アドホッククラスタを使用しての平面表示
アドホッククラスタ２００を使用してのシームレスな複数プロジェクタによる重複表示は、多くの利点を提供する。クラスタにより、非常に広いアスペクト比が可能であり（図２Ａ、図２Ｂ参照）、また、プロジェクタと表示面の間の距離が短くてもよい。また、異種のプロジェクタおよびより高次の表面を使用することも可能である。本明細書では、異種のプロジェクタにより、異なる表示特徴、たとえば、光強度、アスペクト比、およびピクセル解像度を有するプロジェクタを意味する。クラスタにより、ピクセル解像度の増大および表示の明化が可能である。さらに、複数のクラスタを使用することも可能である。
【００６９】
カメラベースの見当合わせを利用する、無計画に位置合わせされたプロジェクタを利用する従来技術によるシステムは、表示平面により包含される異なるプロジェクタビューにおけるホモグラフィを用いる。あるユークリッド基準枠とともにホモグラフィ関係を用いて、表示される画像がディスプレイ上で幾何学的に見当合わせされ、歪んでいないように見えるように画像をプレワーピングする。
【００７０】
しかし、広いアスペクト比を有する投影画像は問題であった。本発明では、１台のプロジェクタのプロジェクタサブシステムと近傍のプロジェクタのカメラサブシステムの間の対毎のホモグラフィに依拠する新規の全体位置合わせ方法を使用することによってこの問題を克服する。
【００７１】
近い位置にあって投影画像を同様のピクセル解像度比で見る複数の分散したカメラにより、対毎のホモグラフィを計算することができる。対毎のホモグラフィは、数式の線形系を解くことによってクラスタの全体的に一貫したホモグラフィのセットを計算するために使用される。これにより、改良されたピクセル見当合わせがもたらされる。
【００７２】
全体的な位置合わせ動作は、事前計画またはプログラミングをあまり必要とすることなく行われる。これは、あらゆるプロジェクタが独立して動作し、各自の観察および計算を対称的に行うことから可能である。スクリーンの隅またはマスタカメラの位置合わせ等のユークリッド情報は必要ない。内部センサおよびカメラにより、各プロジェクタに幾何学的形状を認識させることができ、またプロジェクタはクラスタに動的に入出することができる。一方、従来技術による複数プロジェクタディスプレイシステムはセットアップおよび管理が困難である。
【００７３】
クラスタの形成
図６は、プロジェクタのクラスタ２００を形成する方法６００を示す。この方法は「較正（calibrate:キャリブレーション）メッセージの受信（６１０）に応答する。較正メッセージは、クラスタ２００に入りたいプロジェクタＵｋによって同報通信することができる。代替として、較正メッセージは、位置付けがセンサ１９５に従って変更されたときに、すでにクラスタに入っている任意のプロジェクタによって同報通信されてもよい。さらに、このメッセージは、環境中のある他の発信源によって、たとえば、表示面の形状または位置付けが変更されたことを示すために同報通信されてもよい。もちろん、ユーザがプロジェクタを無計画に配置した後で、最初の具体化でクラスタを形成する必要のあるときに、メッセージを同報通信することもできる。メッセージは、ｍ台のプロジェクタすべてが近傍にある無線Ｅｔｈｅｒｎｅｔ(登録商標）、ＲＦ、または赤外線等の近接ネットワーク２１０を介して受信される。
【００７４】
これにより、ｍ台のプロジェクタＵｉ、ｉ＝１，・・・，ｍすべてのカメラがアテンションモードになり、受信するすべてのプロジェクタが「準備完了」メッセージを同報通信することによって応答する（６２０）。
【００７５】
この時点で、プロジェクタは、クラスタ２００のプロジェクタに内蔵されたｍ台のカメラＣｉ、ｉ＝１，・・・，ｍのうちの１つまたは複数に可視の構造化パターンを順次投影する（６３０）。任意の数の通信プロトコル技法を使用して、構造化パターンの順次投影を同期させることができる。
【００７６】
既存のクラスタからのいずれか１つのカメラが投影パターンを取得する（６４０）と、クラスタ全体が、プロジェクタＵｋまたは他の任意のプロジェクタを含めるように全体的な位置合わせを行う（６５０）。この位置合わせは、以下に述べるように、クラスタ中のプロジェクタ間の対毎の幾何学的関係を決定することを含む。
【００７７】
特定のカメラがパターンを取得することができない場合、プロジェクタは近傍にあるが、その投影パターンがクラスタによって表示される画像の範囲に重複しないものと仮定する。しかし、この方法では、すべてのプロジェクタがすべてのパターンを見る必要はない。普遍性を失うことなく、クラスタはここでｎ台のプロジェクタを包含するものと仮定する。
【００７８】
対毎の幾何学的アフィン関係
図７に示すように、重複する画像の画像見当合わせを行う。画像間の関係はホモグラフィとして表現される。３Ｄの不透明な平面の表面の任意の２つの透視図間の写像は、規模に応じて定義される３×３行列として表現される平面投影伝達を用いて表現することができる。
【００７９】
自由度８を、２つのビューにおける４つ以上の対応から計算することができる。さらに、線形関係により、ホモグラフィ行列をカスケードして、画像伝達を伝搬することができる。
【００８０】
ネットワーク２１０を使用して、プロジェクタＰｋは、クラスタ中の各プロジェクタＰｉに、構造化パターン、たとえば均等なチェッカー盤を一度に１つずつ投影するように指示する。
【００８１】
投影画像は同時に、クラスタ中の各プロジェクタ内のカメラ１６０によって取得される。これにより、プロジェクタは、構造化パターンをプロジェクタＰｉからカメラＣｊにおける入力画像中に転送するための対毎のホモグラフィＨｐｉｃｊを決定することができる。信頼度Ｖもまた決定される（７４０）。
【００８２】
信頼度とともに各プロジェクタの対毎のホモグラフィＨｐｉ，ｐｊは、ＨｐｉｃｉＨ−１ｐｊｃｉとして間接的に計算される。簡単のために、これをＨｉｊと記す。信頼度Ｖは、表示面上で構造化パターンが重複するパーセンテージに関連する。信頼度は、全体的な位置合わせ中に使用される。
【００８３】
均等なチェッカー盤パターンを使用するため、信頼度の良好な近似は、（プロジェクタＰｊのパターン中の特徴の総数）に対する（カメラＣｉによって取得されたプロジェクタＰｊの構造化パターンの特徴数）の比率ｒｉｊである。本発明者らは座標ｈｉｊ＝ｒ４ｉｊが良好なメトリックであることを発見した。この値は、カメラＣｉがプロジェクタＰｊによって表示されるパターンを見なかった場合には自動的にゼロである。
【００８４】
全体的な位置合わせ
本発明では、環境センサがない状態で、表示スクリーンとすべてのプロジェクタの間の相対的な３Ｄ配置を計算して、シームレスな１つの表示画像にする。わかっている配置がない状態で、計算されるソリューションはホモグラフィによる変換まで正確であり、表示面上で歪んで見える。さらに、表面が垂直面である場合、本発明の手法は投影画像をそれぞれの垂直軸および水平軸に自動的に位置合わせする。
【００８５】
しかし、全体的な位置合わせ７５０のために３Ｄ配置を計算する際に、本発明では、プロジェクタのステレオ較正（ステレオキャリブレーション）および傾斜センサパラメータ等、信頼性の低い情報を避け、上記で決定されたホモグラフィ等、比較的頑健な画像空間計算を利用する。
【００８６】
したがって、本発明ではまず、全体的に一貫したホモグラフィを計算する。サイクル：
【００８７】
【数２】
2004287433.tif 000004
【００８８】
に沿ってカスケードされたホモグラフィ変換のセットの恒等式は等しいはずである。ここで、「％」記号はモジュロ演算子を示す。これは、特徴位置の不確実性によりまれなケースである。したがって、目標は、わずかな誤差が存在する有意なモザイクを生成することにある。
【００８９】
単純なソリューションは、表示領域を見ている１つのカメラを使用し、その空間において計算を行うことであろう。１つのカメラがディスプレイ全体を見ることができない場合は、最小全域木ベースの手法を用いることができる。この場合、プロジェクタは、グラフのエッジで重複するプロジェクタに接続されたノードであり、ホモグラフィの最小セットのみを保持する。表示の中央付近のプロジェクタをツリーのルートノードとして使用することにより、この手法はカスケードされるホモグラフィの数を低減し、それによって累積誤差を低減するにあたって有用である。
【００９０】
その代わりに、本発明の方法７００は、利用可能なすべてのホモグラフィからの情報を使用することによって、全体的に一貫した見当合わせを見つける。ホモグラフィのカスケードによる累積誤差も同時に、独立して計算された対毎のホモグラフィ行列から導出される数式の線形系を解くことによって、選択された基準枠または平面について低減する。本発明の方法は、Davis著「Mosaics of scenes with moving objects」IEEE Computer Vision and Pattern Recognition(CVPR)、pp354-360、1998によって記載される方法を改造している。
【００９１】
本発明では、測定された対毎のプロジェクタホモグラフィＨｉｊにおける信頼度ｈｉｊを考慮するようにその方法を変更する。全体ホモグラフィＧｉは、プロジェクタＰｉからの出力画像Ｉｉを全体基準枠中に伝達する。これは、全体ホモグラフィＧｉを有する全体枠に伝達した後のホモグラフィＨｉｊを、
【００９２】
【数３】
2004287433.tif 000005
【００９３】
として有する、画像Ｉｉの画像Ｉｊへの伝達として表現することもできる。
【００９４】
したがって、各ホモグラフィＨｉｊがわかっている場合、疎の数式線形系を構築して未知の全体伝達を計算する。
【００９５】
各ホモグラフィはスケール係数に応じて定義されるため、｜ＧｊＨｉｊ−Ｇｉ｜を直接最小化することができるように正規化することが重要である。正規化ホモグラフィの行列式は１、すなわち：
【００９６】
【数４】
2004287433.tif 000006
【００９７】
である。本明細書では、簡単のために「ハット」を省く。上記においてｈｉｊとして計算されたホモグラフィＨｉｊでの信頼度によって個々の線形式をさらにスケーリングする。したがって、各ｉ、ｊについての数式のセットは、
Ｈｉｊ（ＧｊＨｉｊ−Ｇｉ）＝０
である。
【００９８】
独立した対毎のホモグラフィの数がプロジェクタの台数よりも大きい場合、数式線形系は制約過多であり、最小二乗の意味でこれを解く。これにより、計算された対毎の投影のセットからの偏差が最小の全体見当合わせ行列のセットが生成される。
【００９９】
対毎のホモグラフィが交換された後、各プロジェクタは、それぞれの画像を基準面として取り扱うことによって全体位置合わせを別個に並行して行う（７５０）。この段階で、全体画像伝達およびスクリーン位置合わせ投影に対する解は、各プロジェクタＰｉと表示面の間の未知のホモグラフィＨｉ０までわかっている。
【０１００】
ユークリッド再構築
環境からのユークリッド情報がない状態で、スクリーンに対するプロジェクタＰｊの３Ｄ配置を計算することによってＨｉ０を見つける。３Ｄでの配置決定には雑音があるが、本発明のプロジェクタ間の画像伝達は、前と同じ、すなわちシームレスな１つの出力画像を確保した全体伝達に基づいたままである。ホモグラフィＨｉ０を決定する本発明の手法は、Raskar他著「A Self Correcting Projector」IEEE Computer Vision and Pattern Recognition(CVPR)、2001に記載の方法に基づいている。
【０１０１】
図８に示す再構築を実行する本発明の方法８００は、各プロジェクタＰｉによって並行して行われる。
【０１０２】
ステップは以下の通りである。プロジェクタＰｉ中およびカメラＣｉ画像空間中の対応するポイントを三角形分解して、３ＤポイントＸ＝｛ｘ１，ｘ２，・・・｝を生成する（８１０）。
【０１０３】
最良適合平面を特定し、局所座標間で回転ＲπだけＸを変換する（８２０）。但し、表示面はｚ＝０である。
【０１０４】
Ｘ０がここで位置合わせされるように、すなわちｚ座標が０であるように、傾きによる回転Ｘ０＝ＲｔｉｌｔＲπＸを適用する（８３０）。表示面の垂直面中のポイントは同じｘ座標を有し、水平面中のポイントは同じｙ座標を有する。
【０１０５】
ｚ値を無視して、プロジェクタＰｉ中のポイントＸの画像をＸ０中の対応するポイントに写像するホモグラフィＨｉ０を決定する（８４０）。
【０１０６】
最後に、他のすべてのプロジェクタについて、ホモグラフィＨｊ０＝Ｈｉ０Ｈｊｉを決定する（８５０）。但し、ＨｊｉはプロジェクタＰｉによって計算された全体ホモグラフィＧｊである。
【０１０７】
レンダリング
図９に示すように、レンダリングに適した投影行列をプロジェクタに見つけることは、まず、スクリーン上のプロジェクタの寄与領域を計算すること、そしてそれから完全な表示範囲をプロジェクタ画像中に再投影することを含む。
【０１０８】
最初のステップにおいて、クラスタ中のプロジェクタによって照明される四辺形の範囲を決定する（９１０）。この範囲は、スクリーン位置合わせ済み（Ｘ０）の座標である。したがって、正規化されたプロジェクタ画像平面［±１±１］の四つ角が、Ｈｊ０［±１±１  １］Ｔを使用して変換される。
【０１０９】
スクリーンＸ０空間に投影されたすべての四辺形の連合体は、おそらく、凹面状平面の多角形Ｌである。
【０１１０】
次に、以下に述べるように、多角形Ｌ内に収まる最大の矩形画像Ｓを特定する（９２０）。
【０１１１】
ｎ台のプロジェクタそれぞれが、Ｘ０のユークリッド再構築における誤差に応じてわずかに異なるＳｉを計算する。Ｓの全体的な合致のため、Ｓｉの４つの頂点それぞれについて加重平均をとる。重みは、その頂点からプロジェクタＰｉまでの距離である。
【０１１２】
第２のステップにおいて、Ｈ−１ｊ０を使用してプロジェクタ画像空間中の矩形Ｓの角の投影を特定する（９３０）。矩形Ｓの再投影された角は、プロジェクタの物理的な画像寸法を越えて延出する可能性が最も高いことに留意する。矩形Ｓは表示可能な領域を表すため、表示すべき入力画像の範囲Ｔを示す。したがって、この範囲を超える出力画像中のピクセルは照明されない。
【０１１３】
したがって、出力画像とその投影ＨＴｊの間のホモグラフィを特定する（９４０）。
【０１１４】
最後に、出力画像を正しいアスペクト比の単位矩形上にテクスチャマッピングし、ＨＴｊから導出される投影行列を使用してレンダリングする（９５０）。
【０１１５】
画像が重複するところでは、グラフィックスハードウェア中のアルファチャネルを使用して強度のブレンドが実施される。ブレンドの重みは、画像境界への距離に比例して割り振られる。すべてのステップは、すべてのプロジェクタにおいて対称的に行われる。
【０１１６】
多角形中の最大内接矩形画像
図１０は、おそらく凹面状の多角形Ｌ１００１内の、所定のアスペクト比ａを有する最大の軸位置合わせされた矩形Ｓを特定する方法を示す。多角形Ｌは、投影された四辺形の連合体によって形成される。３つの未知数：位置について２つ、および矩形Ｓのスケールについて１つ、に対しての解は、不等式を書くことによって得ることができる。数式は凹面上の多角形の場合はわずかに異なる。
【０１１７】
本発明では、この問題の単純な再パラメータ化を提供する。
【０１１８】
エッジに付けて示される多角形Ｌ１００１は、深度値ｚ＝１を有する第１の深度面１００２に描画され、アスペクト比ａの矩形Ｒ１００６はｚ＝０の第２の深度面１００３に描画される。ｚが範囲［０，１］で、矩形Ｒをｚ＝１平面における矩形Ｓ中に写像される投影の中心１００４、Ｗ＝（ｘ，ｙ，ｚ）は、矩形Ｓが完全に多角形Ｌ内に留まっている場合に有効であるとみなされる。深度面は深度バッファに格納することができる。
【０１１９】
最小深度ｚを有する投影中心（ＣｏＰ）を特定する。何故ならば、これが最大内接矩形Ｓを画定するからである。
【０１２０】
陰影を付けて示される禁止ゾーン１００５をＷについて考える。ベースとして矩形Ｒを有する多角形Ｌ上のポイントによって作成される角錐のセット内にあるＣｏＰはいずれも無効である。
【０１２１】
矩形Ｒのエッジを有する多角形Ｌのエッジを結ぶ角錐を構築する。平面ｚ＝０およびｚ＝１を結ぶ角錐の面はすべて三角形であるため、本発明の方法は各三角形三つ組みの交点を計算し、最小のｚ値を有する三角形を残す。
【０１２２】
考慮する必要があるのは、図１０に示すように、２種類の三角形：多角形Ｌの頂点を矩形Ｒのエッジに結び付ける三角形、および多角形Ｌのエッジを矩形Ｒの頂点に結び付ける三角形のみである。
【０１２３】
ｎ辺多角形Ｌ１００１、例えば図２Ｂではｎ＝１４、の場合、複雑度Ｏ（ｎ４）を有する８ｎ個の三角形がある。これは明らかにＯ（ｎ２）方法と比較して最適未満である。P. K.他P. K.著「Largest placements and motion planning of a convex polygon」2nd International Workshop on Algorithmic Foundation of Robotics、1996を参照のこと。しかし、本発明の方法は、数ラインのコードで比較的実施が容易である。ｎはＯ（プロジェクタの台数）であるため、本発明の実行時間はそれでもやはりごくわずかである。
【０１２４】
たとえば、プロジェクタが無計画に配置され、投影画像があるべき全体エリアに向けられる場合。プロジェクタあたり、対毎のホモグラフィを見つけるのに約５秒かかる。全体的な位置合わせ、内接矩形、およびブレンドの重みの計算に、さらに３秒かかる。６台の無計画に設置されたプロジェクタクラスタの場合、動作クラスタの形成に約３０秒かかる。
【０１２５】
アドホッククラスタを使用しての湾曲表示
このセクションでは、ドーム、円筒形のスクリーン、楕円体、または放物面等、二次面上で画像を自動的に見当合わせする方法について述べる。コンピュータビジョンでは、画像伝達に二次面を使用するいくつかの従来技術による方法が既知である。Shashua他著「The Quadric Reference Surface:Theory and Applications」International Journal of Computer Vision(IJCV)、23(2)、185-198、1997を参照のこと。
【０１２６】
複数プロジェクタシステムでは、平面伝達、すなわち平面ホモグラフィ、の関係に基づいたシームレスな複数プロジェクタ平面表示について、いくつかの方法が述べられてきた。Chen他著「Automatic Alignment of High-Resolution Multi-Projector Displays Using An Un-Calibrated Camera」IEEE Visualization、2000を参照のこと。また、上のYang他のＰｉｘｅｌＦｌｅｘシステムを参照のこと。
【０１２７】
しかし、より高次の表面のパラメータ化されたワーピングおよび自動見当合わせについての技法はいずれも認められない。これは、二次面は多くの形状およびプロジェクタベースの表示の形態で現れるため、省かれたようである。大型フライトシミュレータは従来から、円筒体形状またはドーム形状であり、プラネタリウムおよびＯｍｎｉＭａｘシアターは半球形のスクリーンを使用しており、多くの仮想現実システムが円筒形状のスクリーンを使用している。
【０１２８】
従来技術において、位置合わせは概して手動で行われる。時により、「ナビゲータ」パターンを投影することによって、手動でのプロセスが補助されることがある。Jarvis「Real Time 60Hz Distortion Correction on a Silicon Graphics IG」Real Time Graphics 5、7pp6-7、February 1997を参照のこと。湾曲した表示スクリーンを使用する複数プロジェクタシステムによっては、スクリーンセグメントを区分的に平面であるものとして取り扱うものがある。
【０１２９】
上に述べた平面の方法と同様の完全に自動的な方法を提供する。本発明のパラメトリック方法は、カメラ解像度に対する制約の低減、ピクセル局限化誤差に対する耐性の向上、較正の高速化、およびパラメータ化ワーピングプロセスのかなりの単純化をもたらす。
【０１３０】
本発明では、二次面問題を再公式化し、シームレスディスプレイへの適用におけるソリューションを用いる。
【０１３１】
二次伝達の単純化
３Ｄの不透明な二次面Ｑの任意の２つの透視図間の写像は、二次伝達を使用して表現することができる。平面伝達は、４つ以上のピクセルの対応から計算することができるが、二次伝達Ｔでは９つ以上の対応が必要である。
【０１３２】
３Ｄでの同種ポイントが４×１ベクトルとして表現され、ポイントＸが二次面Ｑ上にあり、これが対称な４×４行列として表現される場合、ＸＴＱＸ＝０であり、２つのビューの対応するピクセルｘおよびｘ’の同種の座標は、
【０１３３】
【数５】
2004287433.tif 000007
【０１３４】
によって関連する。
【０１３５】
ピクセルの対応（ｘ，ｘ’）が与えられる場合、この数式は従来通りに、未知数：３Ｄ二次Ｑ＝［Ｑ３３ｑ；ｑＴ１］、３×３ホモグラフィ行列Ｂおよび同種座標におけるエビポールｅの計算に使用される。Shashua他により、またさらに最近の研究に使用されるこの形は、２１の変数を含む。Wexler他著「Q-warping:Direct Computation of Quadratic Reference Surfaces」IEEE Conf. on Computer Vision and Pattern Recognition(CVPR)、June、1999を参照のこと。これは、実際に必要なものよりも４多い。
【０１３６】
本発明の方法は、単純な観察をベースとする。
Ａ＝Ｂ−ｅｑＴ
および
Ｅ＝ｑｑＴ−Ｑ３３
を定義することによって、不明確な部分を除去することができ、また、本発明で使用する
【０１３７】
【数６】
2004287433.tif 000008
【０１３８】
の形を得ることができる。
【０１３９】
ここで、ｘＴＥｘ＝０は、準備ができていない（ｘ）ビューおよびＡにおける二次面の輪郭円錐曲線を画定し、Ａは、準備ができた（ｘ’）ビューと準備ができていない（ｘ）ビューの間の極平面を介してのホモグラフィである。
【０１４０】
全体の規模から離れて、本発明の形態に含まれる、Ｅおよびｅの相対的なスケーリングに起因する不明確な自由度は１だけである。この不明確さは、Ｅ（３，３）＝１等、追加の正規化制約を導入することによって除去することができる。さらに、平方根の前にある符号は、画像中の輪郭円錐曲線内で固定である。
【０１４１】
カメラについて、二次面パラメータ、すなわちＡ、Ｅ、およびｅをポイントの対応から直接計算する従来技術による方法は、３Ｄで二次Ｑを推定することを含む。Shashua他を参照のこと。カメラのための別の線形方法は、対応するピクセルの三角形分解を用いる。Cross他著「Quadric Surface Reconstruction from Dual-Space Geometry」Proceedings of 6th International Conference on Computer Vision、pp25-31、1998を参照のこと。２つのビューの内部パラメータがわからない場合、計算はすべて、基本行列を計算した後に投影空間において行われる。
【０１４２】
しかし、本発明では、カメラではなくプロジェクタが関わる場合、従来技術による線形方法により、ＸＧＡプロジェクタの場合に２０または３０ピクセルのオーダで、非常に大きな再投影誤差がもたらされることを認めている。１台のプロジェクタが照明する二次面上のポイントが、大半の場合で有意な深度のばらつきを有さない場合、基本行列の計算には本来、不良条件が付いている。
【０１４３】
したがって、本発明では、既知の内部パラメータおよび推定されたユークリッド剛体変換を用いる。したがって、平面の場合と異なり、この場合における正確な画像伝達の計算には、計算の初期に三次元数量が関わる。
【０１４４】
二次伝達方法
図１１に示す本発明の方法１１００は、まず、カメラとプロジェクタの間の対応を決定する（１１１０）。次に、三角形分解し、３Ｄでの二次伝達式を生成する（１１２０）。次に、二次伝達パラメータを決定し、この二次伝達パラメータを使用して入力画像をワーピングする（１１４０）。
【０１４５】
平面のクラスタの場合のように、各プロジェクタＰｋ、ｋ＝１，・・・，ｎは、構造化パターンを二次面上に一度に１つずつ投影する。パターンはカメラＣｉ、ｉ＝１，・・・，ｎによって見られる。しかし、プロジェクタＰｉとカメラＣｋの間の剛体変換ГＰｉＣｋをまず見つけなくては、二次伝達ＴＰｉＣｋを直接見つけることはできない。
【０１４６】
図１２は、カメラＣｋのステップを示す。ГＰｉＣｋがわかっているため、プロジェクタＰｉおよびカメラＣｉにおける対応するポイントを三角形分解して（１２１０）、表示面上の３ＤポイントＤｉを取得し、このポイントをカメラのＣｉ座標系に格納する。
【０１４７】
プロジェクタＰｉによって投影されるポイントＤｉ、および近傍のプロジェクタのカメラＣｋによって観察される対応するポイントが与えられると、剛体変換ГＰｉＣｋ＝ГＰｉＣｋГＰｉＣｉを決定する（１２２０）。
【０１４８】
次に、３Ｄ二次伝達ＱｉをＣｉの座標系中のポイントＤｉに近似する（１２３０）。
【０１４９】
本発明の単純化した二次伝達式を使用して、Ｑｉ、投影行列ＭｃｋおよびＭｐｉ、ならびにピクセルの対応から伝達パラメータＡｉ、Ｅｉ、およびｅｉを決定する（１２４０）。
【０１５０】
最後に、伝達パラメータＡｉ、Ｅｉ、およびｅｉの非線形改良を行って（１２５０）、ピクセル再投影誤差を最小化する。
【０１５１】
二次面上の既知の３Ｄポイントからカメラの配置を見つけることは、３Ｄポイントは通常平面に極めて近いことから、誤差を受けやすいことに留意する。本発明では、カメラの内部パラメータがわかっているため、まず、ホモグラフィに基づいて外部パラメータの初期推定を行い、それから反復手順を用いて推定を修正する。Lu他著「Fast and globally convergent pose estimation from video images」IEEE Transactions on Pattern Analysis and Machine Intelligence 22、6、pp610-622、2000を参照のこと。
【０１５２】
レンダリング
レンダリングについて、二次伝達を極平面すなわちＡを介してのホモグラフィに、Ｅおよびｅによって定義されるピクセルあたりのシフトを加えたものとして取り扱う。平面表示の場合のクラスタと同様に、外部環境センサまたはシーンにおけるユークリッドマーカのいずれの助けもなく、このホモグラフィをプロジェクタＵｋにおける内部センサの示度とともに利用して、出力画像を表示面の水平軸および垂直軸に位置合わせする。
【０１５３】
カメラＣｋによって得られる出力画像と入力画像の間の関係、ならびにカメラＣｋとすべてのプロジェクタＰｉ、ｉ＝１，・・・，ｎの間の二次伝達が与えられると、各プロジェクタは出力画像をそれぞれの画像空間中にワーピングする。二次伝達を使用しての画像のワーピングは、従来技術において既知の従来技術の二次面のレンダリングと異なることに留意する。Watson他著「A fast algorithm for rendering quadratic curves on raster displays」Proc. 27th Annual SE ACM Conference、1989を参照のこと。
【０１５４】
単純なバーテックスシェーダ手順またはグラフィックスハードウェアを使用してレンダリングを行う。各プロジェクタ毎に、出力画像をテクスチャとして矩形形状の密な碁盤目状になった三角形メッシュ上に写像し、二次伝達を使用してメッシュの各頂点の投影を計算する。
【０１５５】
本発明のシステムおよび方法は、高価なインフラなしで１つまたは複数のプロジェクタによるシームレスな表示に理想的である。本発明によって可能になる新たな用途としては、低コストかつ柔軟なドームディスプレイ、ショッピングアーケード、および円柱または支柱へのディスプレイが挙げられる。本発明の手法は、平面から任意の自由形状のディスプレイの間の中間ステップとしても扱うことが可能である。
【０１５６】
本発明は好ましい実施形態の例として説明したが、本発明の精神および範囲内で他の様々な適合および変更を行いうることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内にあるこのような変形および変更をすべて保護範囲に含むことにある。
【図面の簡単な説明】
【０１５７】
【図１】本発明による幾何学的形状認識プロジェクタのブロック図である。
【図２Ａ】本発明による自己構成可能なアドホックプロジェクタクラスタのブロック図である。
【図２Ｂ】図２Ａのクラスタによって表示される複合画像のブロック図である。
【図３】図１のプロジェクタを使用して画像を適応的にレンダリングする方法の流れ図である。
【図４】投影する出力画像の位置付けを決定する方法の流れ図である。
【図５】プロジェクタのクラスタによって補強された円筒形物体のブロック図である。
【図６】図２Ａ及び図２Ｂのクラスタを形成する方法の流れ図である。
【図７】図２Ａ及び図２Ｂのクラスタによって投影された画像を全体的に位置合わせする方法の流れ図である。
【図８】図１のプロジェクタにおいてユークリッド的再構成を決定する方法の流れ図である。
【図９】図１のプロジェクタを使用してレンダリングする方法の流れ図である。
【図１０】照明された任意形状の多角形内での最大内接矩形画像を見つけるブロック図である。
【図１１】図１のプロジェクタの二次伝達を決定する方法の流れ図である。
【図１２】図１のプロジェクタの剛体変換を決定する方法の流れ図である。
【図１】
2004287433.tif 000009
【図２Ａ】
2004287433.tif 000010
【図２Ｂ】
2004287433.tif 000011
【図３】
2004287433.tif 000012
【図４】
2004287433.tif 000013
【図５】
2004287433.tif 000014
【図６】
2004287433.tif 000015
【図７】
2004287433.tif 000016
【図８】
2004287433.tif 000017
【図９】
2004287433.tif 000018
【図１０】
2004287433.tif 000019
【図１１】
2004287433.tif 000020
【図１２】
2004287433.tif 000021
【外国語明細書】
2004287433.tif 000022
2004287433.tif 000023
2004287433.tif 000024
2004287433.tif 000025
2004287433.tif 000026
2004287433.tif 000027
2004287433.tif 000028
2004287433.tif 000029
2004287433.tif 000030
2004287433.tif 000031
2004287433.tif 000032
2004287433.tif 000033
2004287433.tif 000034
2004287433.tif 000035
2004287433.tif 000036
2004287433.tif 000037
2004287433.tif 000038
2004287433.tif 000039
2004287433.tif 000040
2004287433.tif 000041
2004287433.tif 000042
2004287433.tif 000043
2004287433.tif 000044
2004287433.tif 000045
2004287433.tif 000046
2004287433.tif 000047
2004287433.tif 000048
2004287433.tif 000049
2004287433.tif 000050
2004287433.tif 000051
2004287433.tif 000052
2004287433.tif 000053
2004287433.tif 000054
2004287433.tif 000055
2004287433.tif 000056
2004287433.tif 000057
2004287433.tif 000058
2004287433.tif 000059
2004287433.tif 000060
2004287433.tif 000061
2004287433.tif 000062
2004287433.tif 000063
2004287433.tif 000064
2004287433.tif 000065
2004287433.tif 000066
2004287433.tif 000067
2004287433.tif 000068
2004287433.tif 000069
2004287433.tif 000070