(57)【要約】  この方法は、プロジェクタの姿勢を表示面に対して調整する。表示面とプロジェクタの間のホモグラフィＨＤ，Ｐが求められる。ホモグラフィＨＤ，Ｐは、プロジェクタの姿勢ＭＰを表す回転パラメータ及び平行移動パラメータに分解される。理想的なホモグラフィＨ０に対応するプロジェクタの理想的な姿勢Ｍ０が求められる。姿勢調整量ＭＡが、ＭＡ＝Ｍ０（ＭＰ）−１に従って求められる。姿勢調整量ＭＡは回転調整パラメータ及び平行移動調整パラメータに分解される。次に、プロジェクタが、回転調整パラメータ及び平行移動調整パラメータに従って理想的な姿勢Ｍ０に機械的に調整される。
2008533501.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ実施による、プロジェクタの姿勢を表示面に対して調整する方法であって、
表示面とプロジェクタの間のホモグラフィＨＤ，Ｐを求めること、
前記ホモグラフィＨＤ，Ｐを、前記プロジェクタの姿勢ＭＰを表す回転パラメータ及び平行移動パラメータに分解すること、
理想的なホモグラフィＨ０に対応する前記プロジェクタの理想的な姿勢Ｍ０を求めること、
姿勢調整量ＭＡをＭＡ＝Ｍ０（ＭＰ）−１に従って求めること、
前記姿勢調整量ＭＡを回転調整パラメータ及び平行移動調整パラメータに分解すること、及び
前記回転調整パラメータ及び前記平行移動調整パラメータに従って前記プロジェクタを前記理想的な姿勢Ｍ０に機械的に調整すること
を含む、コンピュータ実施による、プロジェクタの姿勢を表示面に対して調整する方法。
【請求項２】
前記プロジェクタは、電動ジョイントを含む６自由度プラットフォームに取り付けられ、
前記方法は、
前記回転調整パラメータ及び前記平行移動調整パラメータを前記電動ジョイントに提供して、前記プロジェクタを前記理想的な姿勢Ｍ０に調整すること
をさらに含む、請求項１に記載の方法。
【請求項３】
前記光学センサはカメラ内に取り付けられ、
前記方法は、
前記プロジェクタにより出力画像を表示面に表示することであって、該表示面は検出可能な特徴を既知の位置に有し、前記出力画像は所定のパターンを既知のロケーションに含む、表示すること、
前記表示面の入力画像及び前記出力画像を取得すること、
前記入力画像中の前記特徴及び前記ロケーションを検出すること、
前記特徴及び前記ロケーションから前記カメラと前記表示面の間の前記ホモグラフィＨＣ，Ｄ及び前記カメラと前記プロジェクタの間のホモグラフィＨＣ，Ｐを求めること、及び
前記ホモグラフィＨＣ，Ｄ及び前記ホモグラフィＨＣ，Ｐから前記ホモグラフィＨＤ，Ｐを求めること
をさらに含む、請求項１に記載の方法。
【請求項４】
前記光学センサは、前記表示面上の既知の位置に取り付けられる光センサであり、
前記方法は、
前記プロジェクタにより前記表示面に出力画像シーケンスを表示することであって、該出力画像シーケンスは所定のパターンを既知のロケーションに含む、表示すること、
前記光センサを用いて前記出力画像シーケンスから前記特徴及び前記ロケーションを検出すること、及び
前記光センサを用いて前記出力画像シーケンス中の前記特徴及び前記ロケーションから前記ホモグラフィＨＤ，Ｐを求めること
をさらに含む、請求項１に記載の方法。
【請求項５】
前記理想的な姿勢は、Ｍ０＝（ＡＰ）−１Ｈ０に従い、ここでＡＰは、前記プロジェクタの内部パラメータを含む行列である、請求項１に記載の方法。
【請求項６】
前記表示面は前面から観察される、請求項１に記載の方法。
【請求項７】
前記表示面は背面から観察される、請求項１に記載の方法。
【請求項８】
接合画像を表示する複数のプロジェクタがあり、各プロジェクタは個別に調整される、請求項１に記載の方法。
【請求項９】
前記表示面の座標（ｕ，ｖ）を前記プロジェクタ座標の座標（ｘ，ｙ）に、
【数１】
2008533501.tif 000010
に従って関係付けること
をさらに含み、ここで、ｗは投影座標の同次係数であり、Ｔは転置を示し、透視射影行列ＰＰが３Ｄの点を２Ｄの像平面上に
【数２】
2008533501.tif 000011
に従って射影し、ここで、ＡＰは、前記プロジェクタの内部パラメータ及び主点を含む３×３行列であり、Ｒ及びｔは前記プロジェクタの外部パラメータであり、前記行列Ｒは、前記回転パラメータとしての列ｒ１、ｒ２、及びｒ３を有する３×３回転行列であり、ｔは前記平行移動パラメータである、
請求項３及び４に記載の方法。
【請求項１０】
前記理想的な姿勢Ｍ０はＭ０＝（ＡＰ）−１Ｈ０であり、Ｍ０＝ＭＡＭＰであり、ＭＡ＝Ｍ０（ＭＰ）−１である、請求項９に記載の方法。
【請求項１１】
重なり合う画像を表示する複数のプロジェクタがあり、前記方法は、
重なり合う領域における輝度の増加を調整すること
をさらに含む、請求項１に記載の方法。
【請求項１２】
前記強度の調整は、前記プロジェクタのフレームバッファにおいてデジタルで行われる、請求項１１に記載の方法。
【請求項１３】
前記強度の調整は、減光フィルタにより光学的に行われる、請求項１１に記載の方法。
【請求項１４】
プロジェクタの姿勢を表示面に対して調整する装置であって、
電動ジョイントを含む６自由度プラットフォームと、
前記６自由度プラットフォーム上に取り付けられるプロジェクタと、
表示面と、
前記表示面と前記プロジェクタの間のホモグラフィＨＤ，Ｐを求める手段と、
前記ホモグラフィＨＤ，Ｐを、前記プロジェクタの姿勢ＭＰを表す回転パラメータ及び平行移動パラメータに分解する手段と、
理想的なホモグラフィＨ０に対応する前記プロジェクタの理想的な姿勢Ｍ０を求める手段と、
姿勢調整量ＭＡをＭＡ＝Ｍ０（ＭＰ）−１に従って求める手段と、
前記姿勢調整量ＭＡを回転調整パラメータ及び平行移動調整パラメータに分解する手段と、
前記回転調整パラメータ及び前記平行移動調整パラメータを前記モータに提供して、前記プロジェクタを前記理想的な姿勢Ｍ０に調整する手段と
を備える、プロジェクタの姿勢を表示面に対して調整する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には画像プロジェクタに関し、特に表示画像におけるキーストン（keystoning）問題の補正に関する。
【背景技術】
【０００２】
画像プロジェクタは普及している。これらのプロジェクタは、垂直な表示面に向けられて、「スライド」プレゼンテーション又はビデオを表示する。これらのプロジェクタの多くは透過型ＬＣＤを使用し、通常１枚のレンズを有する。これらのプロジェクタは、画像を１度に１枚ずつ、又は画像シーケンスとして表示することができる。
【０００３】
これらのプロジェクタは通常、プロジェクタの光軸が表示面の中心に対して垂直に位置合わせされたときにのみ、歪みのない画像が表示面に表示されるように設計されている。この仮定に反する場合、結果として生じる出力画像は矩形になり得ず、よくて台形、最悪の場合には任意の四辺形になる。この問題はキーストンと呼ばれる。
【０００４】
従来技術のプロジェクタでは、キーストンを補正する１つの方法として、矩形の画像が表示されるまでプロジェクタを平行移動及び回転させてあちこちに動かすことにより、プロジェクタの物理的な位置の退屈な調整を行うことがある。
【０００５】
Appel他に対して１９９８年８月１８日付で発行された米国特許第５，５４８，３５７号（特許文献１参照）「Keystoning and focus correction for an overhead projector」は、テストスライドを表示するシステムを記載している。ユーザが、互いに最も平行な線対を特定する。この線対の特定により、プロジェクタを通る水平面と画面の間の傾斜角を使用する歪み補正プログラムが起動される。
【０００６】
Wooに対して１９９８年８月付で発行された米国特許第５，７９５，０４６号（特許文献２参照）「Method for pre-compensating an asymmetrical picture in a projection system for displaying a picture」は、ユーザが位置情報をシステムにキーボード入力することによって投射角及び台形エラーを補正するシステムを記載している。
【０００７】
Raskarに対して２００３年２月１８日付で発行された米国特許第６，５２０，６４７号（特許文献３参照）「Automatic keystone correction for projectors with arbitrary orientation」は、表示面に対して任意の向きにあるプロジェクタにおいてキーストンを補正する方法を記載している。プロジェクタの光軸の仰角、ロール角、及び方位角が表示面に対して測定される。仰角、ロール角、及び方位角から平面射影変換行列が求められる。プロジェクタによって投影するソース画像が平面射影変換に従ってワーピングされ、表示面に投影される。
【０００８】
【特許文献１】米国特許第５，５４８，３５７号公報
【特許文献２】米国特許第５，７９５，０４６号公報
【特許文献３】米国特許第６，５２０，６４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、画像をデジタルワーピングすると、画素をリサンプリングしなければならず、一部の画素が廃棄されるため、画質が劣化する。
【課題を解決するための手段】
【００１０】
［発明の開示］
本発明は、プロジェクタの姿勢を表示面に対して調整する。表示面とプロジェクタの間のホモグラフィＨＤ，Ｐが求められる。ホモグラフィＨＤ，Ｐは、プロジェクタの姿勢ＭＰを表す回転パラメータ及び平行移動パラメータに分解される。理想的なホモグラフィＨ０に対応するプロジェクタの理想的な姿勢Ｍ０が求められる。姿勢調整量ＭＡが、ＭＡ＝Ｍ０（ＭＰ）−１に従って求められる。姿勢調整量ＭＡは回転調整パラメータ及び平行移動調整パラメータに分解される。次に、プロジェクタが、回転調整パラメータ及び平行移動調整パラメータに従って理想的な姿勢Ｍ０に機械的に調整される。
【発明を実施するための最良の形態】
【００１１】
図１に示すように、本発明によるプロジェクタディスプレイシステム１００は、実世界の（ｘ，ｙ，ｚ）座標において任意の姿勢ＭＰを有するプロジェクタ１１０と、（ｕ，ｖ）座標系を有する表示面１２０とを含む。座標系は、範囲［０，．．．，１］に標準化された値、又は実際の物理的な測定値を有することができる。プロジェクタ及び表示面のアスペクト比は実質的に一致する。姿勢とは、具体的には３つの軸を中心とした回転及び平行移動を意味する。表示面に対するプロジェクタの姿勢は任意且つ未知である。したがって、本発明が機械的に解決するキーストン問題が潜在的にある。
【００１２】
本システムは光学センサも含むことができ、例えば光学センサは、カメラ１４０内にＣＣＤ格子として取り付けられる。プロジェクタ及びカメラは、本発明による方法３００を実行するためにプロセッサ１５０に接続される。プロジェクタ（複数可）及びカメラの内部パラメータ及び放射方向歪みは既知である。
【００１３】
別法として、表示画面は、表示面上の既知の位置に取り付けられる光センサ１６０を含むことができる。光センサは、電線、光ファイバケーブル、又は無線リンクのいずれかによってプロセッサ１５０に接続される。
【００１４】
表示面は、前面又は背面から観察することができる。表示面は、隅１２１及び縁１２２等の既知の位置に区別可能な特徴を含む。プロジェクタは、出力画像１７０又は画像シーケンス、すなわちビデオを表示することができる。プロジェクタは、外部の６自由度を可能にし、その結果として表面１２０に対するプロジェクタの或る任意の姿勢をもたらすプラットフォーム１３０上に取り付けられる。ジョイント１３１はプロジェクタの姿勢ＭＰを変化させることができる。ジョイント１３１はモータにより駆動してもよい。
【００１５】
上記のように、出力画像１７０は或る任意の歪んだ四辺形であることができ、必ずしも表示面と位置合わせされていない。表示画像をデジタルワーピングすることなく、この歪みを補正し、表示画像が矩形となり、表示面の縁と位置合わせされるようにすることが望ましい。
【００１６】
プロジェクタ１１０は、出力画像を画像座標系に表示する。プロジェクタは、水平方向シフト、垂直方向シフト、ズーム及びスキューを行うために内部の４自由度を有する。画像のシフトは通常、レンズをシフトすることによって行われ、ズームは、レンズを内側又は外側にシフトすることによって達成され、スキューは、水平方向及び垂直方向に同時にシフトすることによって達成される。
【００１７】
図２に示すように、本発明は、マルチプロジェクタシステム２００とともに使用することもできる。複数のプロジェクタ１１０〜１１３によって表示される画像は、図２のように接合するか、又は図４のように重なり合うことができる。
【００１８】
カメラベースの技法
所望の表示矩形をＤとする。表示矩形Ｄは、表示面１２０の全体又は部分であることができる。プロジェクタの理想的な姿勢Ｍ０の場合、出力画像１７０は表示面１２０に実質的に一致し、プロジェクタの光軸は表示面の中心に対して垂直に位置合わせされる。
【００１９】
これは、理想的なホモグラフィＨ０に従ってプロジェクタをスケーリング、回転、及び平行移動させることによって行うことができる。プロジェクタ及び表示面が同じアスペクト比を有する場合、ｚ軸に沿ったスケーリングはズームによって行うことができる。平行移動はｘ軸及びｙ軸に沿って行う。回転はどの軸に沿っても行うことができる。
【００２０】
本発明による方法について図３に示すように、出力画像１７０を表示する際に表示面１２０の入力画像１８０を取得する３１０。出力画像は特殊なパターンを含む。
【００２１】
入力画像から、表示面の特徴、例えば四隅１２１又は縁１２２を検出する。出力画像１７０のパターン中の、４つのロケーション１７１〜１７４を含む特徴も入力画像１８０から検出する。特徴及びロケーションは３つで十分であるが、４つで精度が高まることを理解すべきである。
【００２２】
検出された特徴及びロケーションに基づき、従来の既知の技法を用いて、カメラと表示面の間のホモグラフィＨＣ，Ｄ３２１及びカメラとプロジェクタの間のホモグラフィＨＣ，Ｐ３２２を求める３２０。
【００２３】
ホモグラフィ３２１及び３２２を用いて、表示面の座標（ｕ，ｖ）を次式に従ってプロジェクタ座標（ｘ，ｙ）に関連付ける。
【００２４】
【数１】
2008533501.tif 000003
【００２５】
ここで、ｗは投影座標の同次（homogeneous）係数であり、Ｔは転置を示し、ＨＤ，Ｐは表示面とプロジェクタの間のホモグラフィである。
【００２６】
次に、ホモグラフィＨＤ，Ｐを次のように、プロジェクタ１１０の姿勢ＭＰ３３１を表す回転パラメータ及び平行移動パラメータに分解する。ピンホール装置の場合、透視射影行列ＰＰが、次式に従って３Ｄの点を２Ｄの像平面上に射影する。
【００２７】
【数２】
2008533501.tif 000004
【００２８】
ここで、ＡＰは、プロジェクタの内部パラメータ、すなわち焦点距離及び主点を含む３×３行列であり、Ｒ及びｔはプロジェクタの外部パラメータであり、ＭＰはプロジェクタの姿勢、すなわち回転及び平行移動を表す。行列Ｒは、回転パラメータとしての列ｒ１、ｒ２、及びｒ３を有する３×３回転行列であり、ｔは平行移動パラメータである。
【００２９】
表示面上の３Ｄの点がプロジェクタの座標系の形で表され、Ｒ及びｔがその座標系を基準として表される場合、その点のプロジェクタから像平面への投影は次のように表すことができる。
【００３０】
【数３】
2008533501.tif 000005
【００３１】
ここで、
【数４】
2008533501.tif 000006
はスケールによって決まる（defined up to scale）ことを意味し、Ｘ、Ｙ、及びＺは３Ｄ空間における点の座標である。
【００３２】
本発明では表示面を３Ｄ空間における平面として定義する。一般性を失うことなく、本発明ではこの３Ｄ平面がＺ＝０と同一平面にあると仮定する、すなわち、点は（Ｕ，Ｖ，０，１）Ｔとして表すことができる。上記の式にこれらの点を用いると、次式が得られる。
【００３３】
【数５】
2008533501.tif 000007
【００３４】
言い換えれば、ＨＤ，Ｐ＝ＡＰ［ｒ１  ｒ２  ｜ｔ］となる。行列ＡＰが分かれば、
【００３５】
【数６】
2008533501.tif 000008
【００３６】
となり、ｒ３はｒ１×ｒ２から求めることができる。
【００３７】
別法として、最良の直交行列を求めて、回転パラメータｒ１、ｒ２、ｒ３を見つけることができる。この情報があれば、プロジェクタの姿勢ＭＰ＝［ｒ１  ｒ２  ｒ３  ｜ｔ］３３１を回転パラメータ及び平行移動パラメータに関して求められる３３０。
【００３８】
理想的な姿勢Ｍ０に対するホモグラフィはＨ０である。プロジェクタの内部パラメータＡＰが分かれば、プロジェクタの理想的な姿勢Ｍ０を求めて、プロジェクタと表示面の間のホモグラフィがＨ０である矩形を表示することができる。理想的な姿勢は次のように表される。
【００３９】
【数７】
2008533501.tif 000009
【００４０】
任意の姿勢ＭＰが分かれば、回転及び平行移動の調整量ＭＡ３４１を求めて、任意の姿勢ＭＰを理想的な姿勢Ｍ０に変換する。Ｍ０＝ＭＡＭＰである、すなわち、ＭＡ＝Ｍ０（ＭＰ）−１を求める３４０。
【００４１】
ＭＡを電動ジョイント１３１の回転角及び平行移動パラメータに分解し、６自由度プラットフォーム１３０上に取り付けられたプロジェクタ１１０を、電動ジョイント１３１を用いて直接調整する３５０。
【００４２】
この時点で、もう１枚の入力画像を取得して調整精度を検証する３６０ことができ、所望の精度の結果を達成する３６１までステップ３１０、３２０、３３０、及び３４０を繰り返す３５５ことができる。
【００４３】
光センサベースの技法
カメラ１４０の代わりに、表示画面１２０上の既知の位置に取り付けられる光センサ１６０を用いることができる。
【００４４】
表示される出力画像１７０の範囲が全光センサをカバーする。ホモグラフィ３２１及び３２２を求めるには３つのセンサで十分であるが、本発明では４つのセンサを用いて結果の精度を高める。
【００４５】
上述のカメラベースの技法と同様に、センサ１６０を用いて出力画像１７０中の４つのロケーションを検出する（Lee他により２００３年８月６日付で出願された米国特許出願第１０／６３５，４０４号「Method and System for Calibrating Projectors to Arbitrarily Shaped Surfaces with Discrete Optical Sensors」（参照により本明細書中に援用される）を参照）。
【００４６】
すなわち、プロジェクタを用いていわゆる２進コードパターンシーケンスで光センサを照明する。この２進コードパターンは交互の白黒部分を含む。本発明では、水平方向シーケンスで一度、垂直方向シーケンスで一度照明する。投影シーケンス中、光センサは、白部分：ホワイトセグメント（高輝度）又は黒部分：ブラックセグメント（低輝度）のどちらを検出したのかを記録する。結果として、水平方向シーケンス及び垂直方向シーケンスについて２進数シーケンスを得る。この２進数シーケンスは、プロジェクタの画素のロケーションを符号化する。
【００４７】
次に、上述したような方法３００を適用してホモグラフィを求め、それに従って処理を行う。
【００４８】
マルチプロジェクタディスプレイ
マルチプロジェクタディスプレイシステムの場合、次の２つの場合、すなわち、図２に示すように出力画像が接合する場合と、図４に示すように出力画像が重なり合う場合とを区別する。
【００４９】
図２のように出力画像が接合する場合、各出力画像に関連する矩形を予め定義した上で、各プロジェクタに対して個別に方法３００を適用することができる。
【００５０】
図４のような重なり合う出力画像の場合、重なり合う領域４００における輝度の増加を調整する。これは２通りの方法で行うことができる。
【００５１】
第１に、プロジェクタのフレームバッファ１５１において画素強度をデジタル修正することができる（米国特許第６，６７７，９５６号及び同第６，７８１，５９１号（参照により本明細書中に援用される）を参照）。
【００５２】
第２に、減光フィルタ（intensity reducing filter）４１０〜４１３をそれぞれのカメラのレンズの前方の定位置に設けることができる。この第２の技法の場合、所望の表示矩形を事前に求めた上で、それに従ってフィルタを設計する。例えば、出力画像の一部の領域は１つの隣接画像のみと重なり合うのに対し、他の領域は複数の出力画像と重なり合う。
【００５３】
利点として、光学フィルタは、画素強度を修正し、重なり領域の黒レベルが、重なりのない領域の黒レベルと同じになるようにする。従来技術において、このようなフィルタは、マルチプロジェクタ飛行シミュレータシステムにおいて用いられている。これらのフィルタは、６自由度プラットフォーム上にも取り付け、フィルタを正確に位置合わせして所望の影を生成することができる。
【００５４】
本発明を、好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応形態及び修正形態を実施してもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形形態及び修正形態をすべて網羅することである。
【図面の簡単な説明】
【００５５】
【図１】本発明によるプロジェクタシステムのブロック図である。
【図２】本発明による、画像を接合するマルチプロジェクタシステムのブロック図である。
【図３】本発明による、プロジェクタの姿勢を調整する方法のフロー図である。
【図４】本発明による、画像を重ね合わせるマルチプロジェクタシステムのブロック図である。
【図１】
2008533501.tif 000012
【図２】
2008533501.tif 000013
【図３】
2008533501.tif 000014
【図４】
2008533501.tif 000015
【国際調査報告】
2008533501.tif 000016
2008533501.tif 000017
2008533501.tif 000018