(57)【要約】  システム及び方法は、パラメトリックな粗アライメントを各プロジェクタに対して個別に行うこと、並びにノンパラメトリックな微アライメントを各プロジェクタ及び隣接プロジェクタに対して合同で行うことによってプロジェクタアレイをアライメントする。ノンパラメトリックな微アライメントは、各プロジェクタに対して個別に行うこともできる。
2009521821.tif 000002
【特許請求の範囲】
【請求項１】
プロジェクタアレイをアライメントする方法であって、
パラメトリックな粗アライメントを各プロジェクタに対して個別に行うこと、
ノンパラメトリックな微アライメントを各プロジェクタ及び隣接プロジェクタに対して合同で行うこと
を含む、プロジェクタアレイをアライメントする方法。
【請求項２】
前記アライメントを行いながら各プロジェクタの画面にアライメントパターンを投影すること、
前記アライメントを行いながら前記アライメントパターンの画像を取得すること
をさらに含む、請求項１に記載の方法。
【請求項３】
前記画像から、前記プロジェクタの前記画面に関する各プロジェクタの現在の姿勢を求めること、
前記各プロジェクタの前記現在の姿勢と理想的な姿勢との間の差を求めること、
前記差に従って前記各プロジェクタの前記姿勢を調整すること
をさらに含む、請求項２に記載の方法。
【請求項４】
前記各プロジェクタに対して、
前記画面とカメラとの間のホモグラフィＨｃｓを求めること、
前記プロジェクタと前記カメラとの間のホモグラフィＨｐｃを求めること、
Ｈ−１ｐｃ．Ｈｓｃに従って前記画面と前記プロジェクタとの間のホモグラフィＨｓｐを求めること
をさらに含む、請求項２に記載の方法。
【請求項５】
前記各プロジェクタに対して、
前記ホモグラフィＨｓｐを前記プロジェクタの内部パラメータの逆行列Ａ−１ｐにより分解することにより、回転行列Ｒ及び平行移動行列Ｔを得ること、並びに
それに従い前記プロジェクタの前記姿勢を調整すること
をさらに含む、請求項４に記載の方法。
【請求項６】
前記プロジェクタはフロントプロジェクタである、請求項１に記載の方法。
【請求項７】
前記各プロジェクタはモータを有する６自由度プラットフォーム上に取り付けられ、該モータは該プロジェクタの前記姿勢をモータのステップ単位に従って調整する、請求項３に記載の方法。
【請求項８】
前記プロジェクタの前記内部パラメータは、該プロジェクタを前記画面に対して少なくとも３つの異なる姿勢に動かすことによって求められる、請求項５に記載の方法。
【請求項９】
前記画面に対する前記プロジェクタ姿勢の理想的な姿勢を、前記内部パラメータに基づいて求めることをさらに含む、請求項８に記載の方法。
【請求項１０】
前記プロジェクタの前記調整は同時に行われる、請求項３に記載の方法。
【請求項１１】
前記ステップ単位と前記画面上の画素との間の関係を求めることをさらに含む、請求項７に記載の方法。
【請求項１２】
前記アライメントを行いながら前記プロジェクタの非線形歪みを推定することをさらに含む、請求項１に記載の方法。
【請求項１３】
前記ノンパラメトリックな微アライメントを前記各プロジェクタに対して個別に行うことをさらに含む、請求項１に記載の方法。
【請求項１４】
プロジェクタアレイをアライメントするシステムであって、
パラメトリックな粗アライメントを各プロジェクタに対して個別に行う手段と、
ノンパラメトリックな微アライメントを各プロジェクタ及び隣接プロジェクタに対して合同で行う手段と
を備える、プロジェクタアレイをアライメントするシステム。
【請求項１５】
前記ノンパラメトリックな微アライメントを前記各プロジェクタに対して個別に行う手段をさらに備える、請求項１４に記載のシステム。
【請求項１６】
前記アライメントを行いながら前記各プロジェクタの画面にアライメントパターンが投影され、前記アライメントを行いながらカメラが前記アライメントパターンの入力画像を取得する請求項１４に記載のシステム。
【請求項１７】
前記プロジェクタの調整は同時に行われる、請求項１４に記載のシステム。
【請求項１８】
前記各プロジェクタ及び隣接プロジェクタに対するノンパラメトリックな微アライメントは重み付け方式により行われる、請求項１４に記載のシステム。
【請求項１９】
前記入力画像は複数のカメラにより取得される、請求項１６に記載のシステム。
【請求項２０】
前記取得されるアライメントパターンは、重み付け方式を決めるために用いられる、請求項１６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはリアプロジェクションディスプレイデバイスに関し、特に接するリアプロジェクションディスプレイデバイスのアレイのアライメントに関する。
【背景技術】
【０００２】
リアプロジェクションディスプレイデバイス（タイル）のアレイを指令環境及び制御環境において用いることは一般的である。大きなタイルアレイを用いることにより、大きな画像を単一の表示装置では達成できない高解像度で表示することが可能である。多くの場合、異なる画像が統合ハードウェアを用いて同時に表示される。例えば、監視用途では、映像、間取り図、及び環境データを様々なタイルにより同時に表示することができる。
【０００３】
典型的な表示機構では、タイルを高さ３行又は４行、多くの場合は幅数十列に積み上げる。複数のリアプロジェクションタイルを構成して１つのディスプレイにする場合、近傍タイル間に水平ギャップ及び垂直ギャップ（シーム）が生じる。これらのシームの幅及び高さを最小化するために、タイルは境界のないディスプレイ画面を持ち、各投影が全画面をカバーするように設計される。大型のタイルアレイの通常の視距離では、約１ｍｍの物理的なシームが必ずしもはっきり見て取れる訳ではない。
【０００４】
隣接タイルの投影はシームにより分離されているが、依然としてタイルを正確にアライメントする必要がある。投影及び画面が物理的に完全にアライメントされていれば、すなわち、投影の角が画面の角に正確に一致すれば、アライメントは自動的になされると考える人もいるかもしれない。しかしこれは、（ａ）タイル配置により画面が完全な直線を持つ格子を形成するようになっており、（ｂ）動かされている時にもアライメントを維持するタイルを構築することができ、（ｃ）各投影が完全に矩形で均一な間隔を有する場合にのみ当てはまる。このような配置でのタイル間のミスアライメントは、（ａ）、（ｂ）及び（ｃ）のいずれかの組み合わせが外れるために起こる。
【０００５】
ディスプレイ構成全体に対する視距離が比較的遠い場合でも、ほんの小さな切れ目が視聴者を不快にさせることがよく知られている。これは特に、表示内容が動的で、画面間の切れ目に平行な方向に動く場合に言える。
【０００６】
対照的に、表示面に投影を重ねることができるフロントプロジェクションシステム及びリアプロジェクションシステムの利点として、投影の寄与率を平均化して、重なり領域で滑らかな遷移を提供することができる。通常これは、投影画像の重なり部分における画像の事前ブレンド及びワーピングにより行われる（Raskar他著「Blending Multiple Views」（In the tenth Pacific conference on computer graphics and applications, pages 145-153, October 2002））。これは特に、アライメントが完全でない場合に言える。
【０００７】
しかし、小さなシームがある状態又はない状態でリアプロジェクタが当接する場合、ブレンド技法を活用することができないため、アライメント誤差は最小限でなければならない。さらに、リアルタイムのデータ及び画像用のタイルディスプレイでは、異なるソースからの出力画像を事前にブレンド及び／又はワーピングすることは現実的でない。
【０００８】
フロントプロジェクタシステムのアライメントにはカメラが用いられてきた。出力画像が投影される。カメラは、投影画像の入力画像を取得し、アライメント手順がミスアライメントを補正する。大部分の場合、アライメントは、表示前に出力信号のブレンド及びワーピングを伴う（Raskar他著「Multiprojector Displays using Camera-based Registration」（In IEEE Visualization, October 1999）、Raskar他著「A Low Cost Projector Mosaic with Fast Registration」（In Fifth Asian Conference on Computer Vision, pages 161-168, January 2002）、及びSukthankar他著「Smarter Presentations: Exploiting Homography in Camera-Projector Systems」（In International Conference on Computer Vision, 2001））。これらの場合、プロジェクタの姿勢を得るための分解は必要ない。代わりに、カメラとプロジェクタとの間のホモグラフィをプロジェクタ入力画像のワーピングに直接適用することができる。
【０００９】
大型のマルチプロジェクタディスプレイの場合、ディスプレイ全体を確実にアライメントするために、何らかの大域的位置合わせが必要である（Chen他著「Scalable Alignment of Large-Format Multi-Projector Displays Using Camera Homography Trees」（In IEEE Visualization, 2002）、及びRaskar他著「ilamps: geometrically aware and self-configuring projectors」（ACM Trans. Graph., 22(3):809-818, 2003））。
【００１０】
別のシステムは、画像のワーピングと、投影を異なる位置に向けるためのミラー調整との組み合わせである（Pinhanez他著「The Everywhere Displays Projector: A Device to Create Ubiquitous Graphical Interfaces」（In Ubiquitous Computing 2001 (Ubicomp''01), September 2001）、及びPinhanez他著「Using a Steerable Projector and a Camera to Transform Surfaces into Interactive Displays」（In ACM Conference on Human Factors in Computing Systems (CHI 2001), pages 369-370, March 2001））。表面への投影により導入される歪みは、カメラ画像から求めることができ、出力画像を事前にワーピングすることにより補償することができる。可動ミラーが投影を表示面の異なる領域に向ける。ミラーは、表面への投影から生じる歪みは補償しない。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
複数の接するリアプロジェクション装置を自動的にアライメントすることが望ましい。
【課題を解決するための手段】
【００１２】
システム及び方法は、パラメトリックな粗アライメントを各プロジェクタに対して個別に行うこと、並びにノンパラメトリックな微アライメントを各プロジェクタ及び隣接プロジェクタに対して合同で行うことによってプロジェクタアレイをアライメントする。ノンパラメトリックな微アライメントは、各プロジェクタに対して個別に行うこともできる。
【発明の効果】
【００１３】
本発明は、複数のリアプロジェクションタイルを自動的にアライメントするシステム及び方法を提供する。パラメトリックな粗アライメント段階を適用した後に、ノンパラメトリックな細かい精緻化段階を適用することによって、手動アライメントに極めて近い精度を達成することができる。自動アライメントは、手動アライメントに対していくつかの利点がある。第１に、自動アライメントは、アライメントの専門家がアライメントを行う必要がない。各タイルに６自由度の投影の調整があることを考えると、アライメントは、幅広い経験を持たない人にとって簡単ではない。
【００１４】
第２の利点は、自動アライメントは、リアプロジェクションタイルの同時更新機能を活用することができるという事実である。したがって、アライメントを行うために必要な時間が、手動アライメントに比べて大幅に削減される。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明によるリアプロジェクション装置（「タイル」）のアレイ１１０を示す。このアレイは、例えば４行１０列のタイル２００を有する。既知の特徴を有するアライメントパターンがタイルの画面に背面投影される。これらの特徴は画面の画素によるものである。本発明は、カメラ１２０により取得される入力画像１２１を用いてタイルをアライメントするシステム及び方法を提供する（図２Ａを参照）。本発明は、重ならないリアプロジェクタのアレイに関して説明されるが、本発明の実施の形態による方法は、重なり合うリアプロジェクタ、又は重ならない画像若しくは重なり合う画像を表示するフロントプロジェクタにも適用できることを理解すべきである。
【００１６】
図２Ａは、１つのタイル２００の側面図を示す。タイルは、ディスプレイ画面２１０、プロジェクタ２２０、ミラー２３０、及びプロジェクタが取り付けられる６自由度（６ＤｏＦ）、すなわち３平行移動及び３回転の調整が可能なプラットフォーム２４０を備える。光路２２１が４５度の角度で取り付けられるミラーにより「折り返される」。プロジェクタの姿勢は、プラットフォームの６つのステッピングモータにより調整することができる。これらのモータは、プロジェクタをモータのステップ単位で動かす。したがって、後述するように、モータのステップ単位と画面の画素との間の関係を求める。
【００１７】
カメラ１２０は、入力ポートを介して従来のコンピュータシステム１３０、例えばＰＣデバイス又はラップトップデバイスに接続される。コンピュータシステムは、マイクロプロセッサ、メモリ、バス、及び入出力装置を備える。コンピュータシステムは、出力ポートを介してプロジェクタにも接続される。
【００１８】
システムにはいくつかの歪みの原因が存在し得る。カメラレンズ及び／又はプロジェクタレンズには樽型歪みが存在し得る。ミラー２３０の湾曲による非線形歪み、及び画面２１０の湾曲による少量の歪みも存在し得る。これらの歪みはタイル間のミスアライメントの原因となる。したがって、コンピュータシステムは、図２Ｂに示すような、本発明の一実施の形態によるアライメント方法２５０を実施することができる。
【００１９】
方法はまず、パラメトリックな粗アライメント５００を各プロジェクタに対して個別に行う。次に、任意選択で、第１のノンパラメトリックな微アライメント６００を各プロジェクタに対して個別に行う。最後に、第２のノンパラメトリックなアライメント７００を各プロジェクタ及び隣接プロジェクタに対して合同で行う。パラメトリックアライメントは、或る方程式を解いて調整パラメータを直接計算する。ノンパラメトリックアライメントは、アライメント誤差を最小化しようとする反復手法である。第１のノンパラメトリックなアライメントは各プロジェクタに対して個別に行われ、第２のノンパラメトリックなアライメントは各プロジェクタ及び隣接プロジェクタに対して合同で行われる。
【００２０】
アライメント中、各プロジェクタは、既知の特徴を有するアライメントパターン（投影）を画面に表示する。図９Ａ及び図９Ｂは、本発明の実施の形態によるアライメント前及びアライメント後の、２×２のタイルアレイ用の特徴パターンを示す。本発明では、２Ｄ座標及び３Ｄ座標の両方に対して同次表現を用いる。本発明者らによる重要な観察として、光学的に言えば、プロジェクタは本質的にカメラに似ている。ここから、プロジェクタをピンホール装置としてモデル化することができる。リアプロジェクションタイルの画面２１０は、３Ｄ空間の平面として座標Ｘｓ＝（ｘ，ｙ，ｚ，１）Ｔにより定義することができ、ここで、Ｔは転置演算子である。画面は、カメラ１２０により観測することができる。画面の平面はＺ＝０の奥行き平面と一致すると仮定する。したがって、Ｘｓ＝（Ｘ，Ｙ，０，１）Ｔとなる。
【００２１】
カメラ像面の座標はＸｃ＝（Ｕ，Ｖ，１）Ｔにより表され、プロジェクタ像面の座標はＸｐ＝（Ｕ，Ｖ，１）Ｔであり、ここで、同次座標（ｕ，ｖ，ｗ）の場合
Ｕ＝ｕ／ｗ及びＶ＝ｖ／ｗ
である。カメラ（プロジェクタ）の投影行列
【００２２】
【数１】
2009521821.tif 000003
【００２３】
を用いて３Ｄの画面点を２Ｄの画面点に関係付けることができる。ここで、Ａはカメラ（プロジェクタ）の内部パラメータ行列であり、Ｒ，Ｔはワールド座標系に対する回転及び平行移動である。本発明の場合、ワールド座標系は、カメラから見て画面の左上の角に位置する原点を有する。
【００２４】
パラメトリックアライメント
上述のように、プロジェクタ２２０は６ＤｏＦ調整可能プラットフォーム２４０上に取り付けられる。６自由度は、回転の３自由度と、平行移動の３自由度とを含む。幾何学的アライメント方法２５０の目標は、
画面に対するプロジェクタの現在の姿勢（Ｒ，Ｔ）を求め、
現在の姿勢と理想的な姿勢との間の差を求め、
差に基づいてプラットフォームを調整する
ことである。
【００２５】
Ｒ及びＴへの分解
画面に対するプロジェクタの姿勢を求めるために、式（１）と、画面の角を表す３Ｄの点とから、以下を観測する。
【００２６】
【数２】
2009521821.tif 000004
【００２７】
ここで、Ａ［Ｒ１Ｒ２｜Ｔ］は３×３行列であり、実際には、画面平面により生じるホモグラフィである。行列Ａが既知である場合、ホモグラフィは、逆行列Ａ−１と事前に掛け合わせることによって、Ｒ１、Ｒ２、及びＴに分解することができる。
【００２８】
図５に示すように、本発明の目標は、プロジェクタのＲ及びＴを求めることである。これを達成するために、第１の粗アライメント段階５００の以下のステップを行う。プロジェクタの内部パラメータＡｐを求める（５１０）と共に、画面及びカメラの像面間のホモグラフィＨｃｓを求める（５２０）。これら２つのステップは一度に行う。プロジェクタ及びカメラの像面間のホモグラフィＨｐｃを求める（５３０）。Ｈ−１ｐｃ．ＨｓｃからホモグラフィＨｓｐを求める。結果が所望の精度を達成しているかを試験して確かめ（５５０）、結果を承認する（５９９）。達成していない場合、最大繰り返し数を行ったかを判定し（５６０）、行っていれば終了する。
【００２９】
行っていない場合、Ｈｓｐを逆行列Ａ−１ｐにより分解し（５７０）、回転行列Ｒ１、Ｒ２、及び平行移動行列Ｔを得ると共に、これらをモータ調整に変換し（５８０）、それに従ってプラットフォームを調整し（５９０）、繰り返す（５９５）。
【００３０】
回転行列Ｒの３列目を求めるために、Ｒが正規直交であるという特性を用いて、Ｒ３＝Ｒ１×Ｒ２を求める。
【００３１】
プロジェクタの内部パラメータ
ホモグラフィＨｓｐを分解するために（５７０）、プロジェクタの内部パラメータを用いる。この較正は、調整可能なプラットフォームを用いて、プロジェクタを画面に対して少なくとも３つの異なる姿勢に動かすことによって行われる。なお、このプロセスは、プロジェクタレンズの歪みパラメータの推定値も生成することができる。原則的に、幾何学的アライメントの前に各リアプロジェクションタイルの内部パラメータを別個に推定することができる。残念ながら、プラットフォームを機械的に調整してプロジェクタの姿勢を変えることにより導入される待ち時間のため、内部パラメータの推定には時間がかかる。したがって、本発明では、リアプロジェクションタイルの特定のモデルに対して内部パラメータを一度だけ推定する。モデルが同一である他のタイルも全て同様の内部パラメータを有すると仮定する。
【００３２】
理想的なプロジェクタ姿勢
プラットフォームの調整は、現在の姿勢と理想的な姿勢との間の差として計算される。本明細書中では、理想的な姿勢を、投影矩形の４つの角を画面の４つの角に正確に写像するプロジェクタの姿勢と定義する。理想的な姿勢には、回転がなく、Ｒｉｄｅａｌが恒等行列となるものと仮定する。次に、画面に対するプロジェクタの理想的な位置が、プロジェクタの内部パラメータ、及び画面の角と投影の角との４つの対応により求められる。式（２）を用いて、焦点距離ｆｘ及びｆｙ、主点（ｕ０，ｖ０）Ｔ、画面の角（Ｘ，Ｙ，０）Ｔ、並びにプロジェクタ画素（ｕ，ｖ）Ｔに関して、次のように書き表すことができる。
【００３３】
【数３】
2009521821.tif 000005
【００３４】
１０２４解像度の画像の場合、原点（０，０，０）Ｔにある画面の角が画素（０，０）Ｔに対応し、（１，０，０）Ｔが（１０２４，０）Ｔに対応するとする。
【００３５】
次のように書き表すことができる。
【００３６】
【数４】
2009521821.tif 000006
【００３７】
式（４）から、ｔを求めることができる。
【００３８】
【数５】
2009521821.tif 000007
【００３９】
また、Ｙ座標及びｖ座標、並びに焦点距離ｆｘに関して、式（４）及び式（５）を求めることができる。したがって、ｔｚを生じる２つの式が得られ、それらの値が類似するため、これらの値を平均化して最終的なｔｚを得る。ｔｚが与えられると、ｔｘ及びｔｙに関して解くことができ、Ｔｉｄｅａｌの値が得られる。
【００４０】
調整
プロジェクタの現在の姿勢が得られると、回転の３自由度を、回転行列Ｒから求められるオイラー角となるように取る。残りの平行移動の３自由度は、Ｔ−Ｔｉｄｅａｌから求められる。次に、６ＤｏＦプラットフォーム２４０のモータに調整（５９０）を適用する。
【００４１】
調整の第１の粗い段階５００を数回繰り返して行う。これは、残差にはいくつかの原因があるために必要である。まず、カメラの内部パラメータの残差がある。次に、プロジェクタ残差の内部パラメータの残差がある。残差の別の原因として、これらのパラメータを推定した場合にも、プロジェクタレンズの歪みがある。最後の残差の原因は、画面が完全な平面ではない場合があるということによるものである。
【００４２】
実際の投影の角は、十分な精度で直接推定することができないため、又は角が単に画面矩形の外側にあり直接推定できないため、角はホモグラフィから推定される。上述の残差のために、この外挿プロセス自体が、プロジェクタの角の位置に誤差を導入する。更新ステップを何度も繰り返し行っても、画面とのアライメントの最終的な精度は、上記の残差の大きさに制限される。したがって、本発明では、粗い調整を最大で２回だけ繰り返して行う。
【００４３】
本発明で用いる特定の種類のリアプロジェクションタイルにより、複数のタイルのプラットフォームを同時に調整することができる。これにより、各調整を順次行う場合と比べて高速化される。最初のミスアライメントは、１回目の繰り返しで比較的大きな更新を必要とする可能性があるため、高速化は、アライメントプロセス中に大幅な時間の削減となる。
【００４４】
ノンパラメトリックな精度の精緻化
アライメントプロセスの段階６００は、第１の粗アライメント段階５００後に得られる結果を精緻化する第１のノンパラメトリックな手法である。第１の段階中の最初のおそらくは大きなミスアライメントは、第２の段階までに低減されている。残りのミスアライメントは、数画素程度の大きさであり得る。プロジェクタが理想的なアライメントから数画素以内である場合、２つの仮定を行うことができる。
１．各自由度は他の自由度と独立しており、
２．各調整の性質は略線形である。
【００４５】
単一のリアプロジェクションタイル
図６に示すような第２の段階において、プロジェクタを画面の角及び画面全体にわたる特徴点とアライメントする。本明細書中では、画面座標のこれらの特徴点を理想的な点として示す（図３を参照）。図３は、理想的な点と現在の投影との間のｘデルタ、ｙデルタを示す。アライメントされた状態では、投影全体にわたる特徴が理想的な点とアライメントされる。上述のようにホモグラフィＨｃｐを求める（６１０）。
【００４６】
理想的な点と現在のプロジェクタ位置との間のデルタを６自由度に対する線形依存性として表すことができる。実際に、画面上の各特徴点はこのような１つの依存性を与え、この問題を線形連立方程式として次のように定式化することができる。
【００４７】
【数６】
2009521821.tif 000008
【００４８】
行列Ａのデルタは、６自由度の各々における小さなモータ移動に関して測定されるものである。ｂのデルタを図３に示す。カメラ座標を用いて全てのデルタを求める（６２０）。したがって、Ｈｓｃを用いて、理想的な点を画面座標からカメラ座標に変換する。Ａ．ｘ＝ｂを解き（６２０）、プラットフォームモータを調整する（６４０）。所望の結果を達成しているかを試験して確かめ（６５０）、達成していない場合、結果を確認し（６７０）、当てはまる場合は結果を承認する（６６０）。当てはまらない場合、繰り返す（６８０）。
【００４９】
式（６）は、行列Ａの疑似逆行列である２ｎ×６行列を計算することによって線形連立方程式を解くことができることを示す。疑似逆行列は、ＡＴＡの逆行列である６×６行列の計算を必要とする。ＡＴＡは正則行列でありフルランクであると仮定する。疑似逆行列は、代わりに特異値分解（ＳＶＤ）を用いてランク落ちに対処することにより計算することもできる。しかし、ＡＴＡが正則行列である状況に遭遇することは予期していない。解は、各６自由度モータを調節しなければならない単位ステップ数を直接指定する。
【００５０】
較正
原理的には、各リアプロジェクションタイルに対して別個に、第２の段階中に行列Ａのデルタを求めることができる。しかし実際には、特定モデルのリアプロジェクションタイル用のオフラインプロセスでこれらのデルタを「較正する」。次に、全ての他の同一モデルのリアプロジェクションタイルが略同様のデルタを有するものと仮定する。
【００５１】
較正ステップでは、プロセスの開始前に、リアプロジェクションタイルが画面に対して略アライメントされていることが必要となる。次に、この現在の略アライメントされた状態の特徴点、すなわち画面の画素の位置を求める。次に、単一の自由度モータを或る少数のステップ単位だけ動かし、特徴点の位置を再び求める。これにより、ステップ単位と画面上の画素との間の関係が得られる。
【００５２】
ｘ座標及びｙ座標間のデルタが格納される。次に、自由度モータの前の動きを元に戻し、特徴点の位置を再推定し、別の単一の自由度モータを動かし、６つ全ての自由度モータを較正するまで行う。元に戻す度に特徴点を再推定することは、モータの繰り返し性が不正確であるために必要である。ｘ座標及びｙ座標間のデルタをカメラ座標に格納する。
【００５３】
複数のリアプロジェクタ
式（６）は、単一のリアプロジェクションタイルにのみ適用される。本発明の目標は、図７に示すように、複数のリアプロジェクションタイルの構成をアライメントすることである。上記のように、ホモグラフィＨｃｐを求める（７１０）。次に、各タイルに対して、デルタを求め（７２０）、近傍とのデルタを求め（７３０）、Ａ．ｘ＝ｂを解き（７４０）、モータを調整する（７５０）。最大繰り返し数を確認し（７６０）、終了するか（７７０）、そうでなければ各タイルに関して繰り返す（７８０）。
【００５４】
複数のタイルのアライメントは、特徴パターンの投影を各タイルの画面及び当接画面の投影とアライメントしなければならないため、より難しい。このアライメントをより難しくする別の要因は、隣接投影間に重なりがないという事実である。理想的な場合、投影は、隣接画面のシームに沿って幾何学的に一致すべきである。
【００５５】
本発明のシステムでは、画面は約１ｍｍの間隔を置かれ、投影がこのギャップを補償しなければならない。このギャップを補償するために、画素の最外環では、画素の５０％が可視でなければならず、他の５０％は画面境界を越えて延びることが必要となる。
【００５６】
図８に示すように、この補償により、近傍投影は、１ｍｍギャップの中心線８００で当接しなければならない。投影の最外縁に沿った特徴点を定義する場合、理想的な場合では、特徴は１ｍｍギャップの中心線に沿ってアライメントされる。当然、これらの特徴点を直接、正確に測定することはできず、その代わりに、ホモグラフィを用いて外挿する。
【００５７】
特徴点は、実際の近傍がある場合、４連結の近傍シームに沿って外挿される。特徴点が分かったら、ミスアライメントを再びまた、図４に示すような特徴点間のデルタとして表すことができる。
【００５８】
式（７）は、式（６）を含み、左（ｌ）近傍、右（ｒ）近傍、上（ｔ）近傍及び下（ｂ）近傍の行が増えている。
【００５９】
【数７】
2009521821.tif 000009
【００６０】
この線形連立方程式の解６３０はＡ＋．ｂである。式（６）を式（７）に入れることによって、各リアプロジェクションタイルのその画面とのアライメントを確実に維持しつつ、近傍タイルにアライメントする。
【００６１】
式（７）の線形系として定式化される近傍タイル間のアライメント問題により、重み付け方式を適用することができる。重みは、線型方程式Ａ＋．ｂにより与えられる最小２乗解に影響を与える。この重み付け方式は、個別のタイルの特徴点により重点を置くか、１つ又は複数の近傍タイルとのシームに沿った特徴点により重点を置くことができる。個別のタイルの特徴点により重点を置いた場合、個別のタイルの画面とのアライメントは維持されるが、近傍タイルとのアライメントは必ずしも維持されない。１つ又は複数の近傍タイルのシームに沿った特徴により重点を置いた場合、近傍タイル間はアライメントされるが、個々のタイルの画面とのアライメントは必ずしも維持されない。式（７）は、個別のタイルの特徴及び近傍タイルとのシームに沿った特徴の両方に（値１で）等しく重みを付けた場合を示す。
【００６２】
非線形歪みの補償
上記計算は全て、システム内に非線形歪みが略ないか、又は全くない場合に正確となる。上述のように、これは当然ここでは当てはまらない。いくつかの異なる原因が全体的な非線形歪みに寄与する。非線形歪みの存在下でのホモグラフィを用いた特徴位置の外挿及び内挿は、大きな誤差につながり得る。画面全体にわたる理想的な点はホモグラフィＨｓｃに基づいて内挿され、近傍タイル間のシームに沿った特徴点はホモグラフィＨｃｐに基づいて外挿される。式（６）及び式（７）の解は最小二乗法で計算されるため、可能な最良のアライメントの精度が低下する。
【００６３】
非線形歪みはいくつかの異なる原因からの歪みの合成であり、それぞれを分離して観測することは不可能であるため、本発明では、合計の非線形歪みを推定しようとする。複雑な形式の歪みを取り込むために、以下のモデルを用いて２変量の３次多項式ｆｐｏｌｙを推定する。
【００６４】
【数８】
2009521821.tif 000010
【００６５】
ｙ’に関して同様の多項式を推定する。ここでもまた、多項式パラメータを最小二乗法で計算することができる。多項式が与えられると、理想的な点をカメラ座標で次のように計算することができる。
【００６６】
【数９】
2009521821.tif 000011
【００６７】
ここで、ρ（）は投影除算演算子である。ｆｐｏｌｙをｘ及びｙに対して一度だけ推定する代わりに、ｆｐｏｌｙを繰り返し毎に推定する。この理由は、理想的なアライメントに近づくほど、ｆｐｏｌｙの推定値が向上するからである。
【００６８】
調整
ノンパラメトリックな細かい精緻化段階は数回繰り返し行われる。アライメントは、絶対極小値に収束しないが、繰り返し試験は、８回繰り返すと、ＲＭＳ誤差はエラーフロアに達することを示す。したがって、ノンパラメトリックな精緻化ステップを最大８回繰り返して行い、より少ない繰り返し数でエラーフロアに達したら早期に終了する。
【００６９】
本発明を好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行ってもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入る変形及び変更を全て網羅することである。
【図面の簡単な説明】
【００７０】
【図１】本発明の一実施の形態によるリアプロジェクション装置アレイの前面図である。
【図２Ａ】本発明の一実施の形態によるリアプロジェクション装置の側面図である。
【図２Ｂ】本発明の一実施の形態によるアライメント方法のフロー図である。
【図３】理想的な点と現在の投影との間のｘデルタ及びｙデルタの図である。
【図４】隣接投影の特徴点の図である。
【図５】本発明の一実施の形態による個別のプロジェクタの第１段階のアライメントのフロー図である。
【図６】本発明の一実施の形態による個別のプロジェクタの第２段階のアライメントのフロー図である。
【図７】本発明の一実施の形態による複数のプロジェクタのアライメントのフロー図である。
【図８】理想的な特徴点アライメントの図である。
【図９Ａ】本発明の一実施の形態によるアライメント前の特徴パターンである。
【図９Ｂ】本発明の一実施の形態によるアライメント後の特徴パターンである。
【図１】
2009521821.tif 000012
【図２Ａ】
2009521821.tif 000013
【図２Ｂ】
2009521821.tif 000014
【図３】
2009521821.tif 000015
【図４】
2009521821.tif 000016
【図５】
2009521821.tif 000017
【図６】
2009521821.tif 000018
【図７】
2009521821.tif 000019
【図８】
2009521821.tif 000020
【図９Ａ】
2009521821.tif 000021
【図９Ｂ】
2009521821.tif 000022
【国際調査報告】
2009521821.tif 000023
2009521821.tif 000024
2009521821.tif 000025