(57)【要約】      （修正有）【課題】プロジェクタカメラシステムのキャリブレーションをレーザポインタを用いて容易にできるようにすることを目的とする。【解決手段】堅固に結合されたプロジェクタ−カメラシステムをレーザポインタで補う。プロジェクタ−カメラシステムおよびレーザをもちいることにより、プロジェクタと表示面の間のホモグラフィを求めることができようになり、それによって、表示面上に任意の所望の幾何学的形状の投影を行うことができる。【選択図】図１
2006018293.tif 000002
【特許請求の範囲】
【請求項１】
ピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法であって、
レーザポインタを用いて表示面上にレーザポイントを投影すること、
前記レーザポインタおよびプロジェクタに対して固定した関係にあるカメラにより前記レーザポイントを映すこと、
前記プロジェクタを用いて前記表示面上にプロジェクタポイントの組を投影すること、
前記カメラにより前記プロジェクタポイントの組を映すこと、
プロジェクタ画像平面における前記プロジェクタポイントと、カメラ画像平面における該プロジェクタポイントとの間の対応関係によって定義される前記カメラと前記プロジェクタの間の平面ホモグラフィを求めること、
該平面ホモグラフィを用いることによって、前記レーザポイントを前記カメラ画像平面から前記プロジェクタ画像平面へ、変換されたレーザポイントとして変換すること、
前記カメラ画像平面において、前記レーザポインタと前記表示面の間の距離が変化するにつれて取得される前記レーザポイントの組を通る第１のラインの位置を求めること、
前記プロジェクタ画像平面において、前記レーザポインタと前記表示面の間の距離が変化するにつれて取得される前記変換されたレーザポイントの組を通る第２のラインの位置を求めること、
前記レーザポイントおよび対応する前記変換されたレーザポイントを用いて前記第１のラインと前記第２のラインの間のラインホモグラフィを求めること、
前記カメラにより次のレーザポイントを映すこと、および
前記ラインホモグラフィを用いることによって、前記次のレーザポイントを前記プロジェクタ画像平面に変換し、ピンホール投影によって前記表示面上の前記次のレーザポイントに関連付けられる前記プロジェクタ画像平面上の画素の位置を求めること
を含む、ピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法。
【請求項２】
４つまたはそれ以上のレーザポインタからの４つまたはそれ以上のレーザポイントが前記カメラによって映され、前記プロジェクタ画像平面上の前記変換されたポイントは、前記４つまたはそれ以上のレーザポイントについて求められる４つまたはそれ以上のラインホモグラフィの各々によって求められ、前記４つまたはそれ以上のレーザポイントおよび対応する変換された４つまたはそれ以上のレーザポイントは、前記カメラと前記プロジェクタの間の平面ホモグラフィを求めるために用いられる
請求項１に記載の方法。
【請求項３】
前記カメラは、前記表示面上の４つの固定された物理的なポイントを検出し、前記平面ホモグラフィを用いて前記物理的なポイントを前記プロジェクタ画像平面に変換し、該変換されたポイントを用いて前記プロジェクタ画像平面上の座標系を定義し、該座標系に対する前記プロジェクタ画像平面上の他の画素の値を設定し、それによって、前記画素が前記座標系に対応するように前記プロジェクタによる前記表示面上の投影が前記物理的なポイントと対応するようにする
請求項２に記載の方法。
【請求項４】
前記画素は、前記プロジェクタが移動している間に前記表示面上に固定された投影をもたらすように設定される
請求項３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはプロジェクタに関し、特にカメラおよびレーザポインタを用いたプロジェクタのキャリブレーションに関する。
【背景技術】
【０００２】
カメラが堅固に取り付けられたプロジェクタをハンドヘルド投影システムとして用いることができる（Raskar他によって２００３年３月２１日付で出願された米国特許出願第１０／３９４，３１４号「Geometrically Aware Projector」、Raskar他によって２００１年１２月１０日付で出願された米国特許出願第１０／０１２，９３０号「Method for Calibrating a Projector with a Camera」、およびBeardsley他によって２００３年３月２１日付で出願された米国特許出願第１０／３９４，３１５号「Projector as an input and output device」（すべて参照により本明細書中に援用される）、ならびにRaskar他著「iLamps: Geometrically aware self-configuring projectors, SIGGRAPH Proceedings, 2003」）。
【０００３】
プロジェクタが出力画像を表示面上に投影する際に、カメラがこの出力画像の入力画像を取得する。この入力画像を用いて、表示面に対するプロジェクタの姿勢を求めることができる。次に、プロジェクタの姿勢に従って出力画像を表示面に適合させることができる。例えば、キーストーン（台形歪み）補正を行うことが可能である。
【０００４】
しかし、これらのプロジェクタ−カメラ装置では、キャリブレーションのために、カメラが投影画像全体を映し、出力画像中の４つの頂点を抽出する必要がある。より具体的には、カメラは、プロジェクタの画像平面上の既知の位置から投影される４つのポイント、例えば投影画像の４隅を映さなければならない。
【０００５】
これは投影画像の内容を制約する。投影画像は、キャリブレーション頂点の付近に、例えば画像の境界に沿って暗いエリアを有してはならない。この問題は、均質表面ではなくテクスチャ表面上に投影を行う場合にさらに難しくなる。
【０００６】
この問題は、プロジェクタに同じく４つのレーザポインタを取り付けることによって解決することができる。この場合、出力画像の内容を制約する必要はない。また、レーザ光は明るく所定の色を有するため、カメラによりキャリブレーション頂点を検出することが比較的容易である。
【０００７】
これは新たな問題を生じる。従来技術のキャリブレーション方法は、プロジェクタとカメラが「ピンホール」装置であることを前提にしている。しかし、レーザポインタが発生する光線は、必ずしもプロジェクタの焦点から発せられるとは限らない。したがって、レーザポインタ付き装置は、ピンホール投影として扱うことができない。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
したがって、レーザポインタを用いてプロジェクタをキャリブレーションする必要がある。
【課題を解決するための手段】
【０００９】
本発明は、堅固に結合されたプロジェクタ−カメラシステムをレーザポインタで増補すする。このプロジェクタ−カメラシステムは、表示面に対するプロジェクタの姿勢を求めるために使用することができ、それによって、表面上に任意の所望の幾何学的形状の投影を行うことができる。
【発明の効果】
【００１０】
プロジェクタ−カメラシステムは、システムに堅固に固定されたレーザポインタを用いて、表示面によりカメラとプロジェクタの間に生じるホモグラフィを求める。或る意味において、レーザポインタは冗長であるが、制約のない画像を用いて表示面上のレーザポイントを検出するほうが実用的である。
【発明を実施するための最良の形態】
【００１１】
システムの構造
図１は、本発明によるプロジェクタ−カメラシステム１００を示す。このシステム１００は、前面投影モードと背面投影モードの両方で、また、単独であるいは他の同様のプロジェクタと協働的に組み合わせて使用できることに留意すべきである。
【００１２】
本発明のシステム１００は、バス１４０によって接続されたマイクロプロセッサ１１０、メモリ１２０、およびＩ／Ｏインタフェース１３０を備え、これらが全体として処理装置を構成する。この処理装置の電気的構造は従来通りであるが、本明細書中で説明する方法ステップを行う際の動作は従来と異なる。
【００１３】
システム１００はまた、出力画像を表示するためのプロジェクタサブシステム１５０と、入力画像を取得するためのカメラサブシステム１６０とを備える。プロジェクタサブシステム１５０は、プロジェクタ焦点１５２を有するプロジェクタレンズ１５１を含み、カメラサブシステム１６０は、カメラレンズ１６１およびカメラ焦点１６２を含む。
【００１４】
図２に示すように、プロジェクタシステム１００にはレーザポインタ１１１も例えば４つ取り付けられる。レーザポインタは、表示面上の、出力画像と同じ大まかなエリアに向けられる。
【００１５】
ネットワークサブシステム１７０は、プロジェクタが他の同様の装置、またはローカルまたはリモートの他のコンピューティング装置と通信することを可能にする。したがって、ネットワークサブシステムは、通信媒体に応じてアンテナまたは赤外線トランシーバ１８０に接続されることができる。ネットワークを用いて、表示するための内容を伝送してもよい。
【００１６】
ユーザインタフェース１９０は、システムの操作を容易にするための入力および出力データを提供することができる。オプションの内部センサ１９５、例えば傾斜センサまたは加速度計により、現実世界に対するプロジェクタの向きを求めることができる。これらのセンサは内部専用であり、システム外部の環境は検知しないことに留意すべきである。
【００１７】
プロジェクタの動作
本発明によるプロジェクタ−カメラシステム１００は、スマートキーストーン補正、画像強度の向き補償、輝度、ズームおよびフォーカスの自動調節、幾何学的形状およびテクスチャを取り込むための３Ｄ走査を含むいくつかの機能を行うことができる。
【００１８】
システム１００は、他の装置およびシーン中の物体と通信して、必要な幾何学的形状の関係を「学習」することができる。システムの動作中にこれらの関係を動的に学習することができるこの能力は、事前に構成された幾何学的設定、複雑なキャリブレーション、通信およびユーザ補助を必要とする従来技術のプロジェクタと大きな対照を成す。
【００１９】
光学的には、堅固に結合されたプロジェクタ−カメラシステム１００は概念的に、一対のステレオカメラと同じである。或る意味において、２つのピンホール装置が隣り合っている。このため、ステレオキャリブレーション技法を適用することができる。実際に、プロジェクタ−カメラシステム１００は或る意味でキャリブレーションし易い。第１に、プロジェクタが有する半径方向の歪みは通常ごくわずかであるため、半径方向の歪みは無視することができる。第２に、一対のステレオ画像中に対応する特徴を見つけることを必要とせずに、プロジェクタが既知の位置に特徴を投影し、カメラがこれらの特徴を記録する。これにより、特徴の対応関係を求めることが遥かに容易になる。ステレオキャリブレーションは既知である。Faugeras著「Three-dimensional computer vision」（MIT Press, 1993）を参照のこと。
【００２０】
上記の理由から、レーザポインタ１１１を用いてシステム１００をキャリブレーションすることが望ましい。レーザポインタはピンホール装置として扱うことができないことを理解すべきである。本システムをキャリブレーションする方法を図７に示す。
【００２１】
カメラ画像平面におけるレーザライン
図３および図４に示すように、本発明では、各ポインタ１１１の各光線３０１は、プロジェクタ焦点１５２およびカメラ焦点１６２に対して或る任意の固定位置において発せられるものと仮定する。システム１００が移動する３００際の、レーザポインタ１１１と表示面３１０の間の距離に応じて、カメラ画像平面４１０上のレーザライン４０１にレーザポイント３０２が投影される。レーザポインタはカメラに対して固定した関係にあるため、ライン４０１の位置は固定されている。
【００２２】
カメラ画像平面上のライン４０１の位置は、レーザポインタを表示面上に投影し、次にレーザポイントのカメラ画像ｐｃを取得することによって求められる７０１。このステップは、表示面から２つまたはそれ以上の異なる距離にあるレーザポインタを用いて行われて、カメラ画像ポイントｐｃｉ（ｉ＝１，．．．，ｎ）の組が取得される。次に、これらのポイントｐｃｉを通るラインｌｃを見つける７０１。
【００２３】
プロジェクタ画像平面におけるレーザライン
光線３０１は、プロジェクタ画像平面上のラインにも投影される。このラインの位置は、レーザポインタを表示面上に同時に投影しながら、プロジェクタから表示面上に４つのポイントｘｐｉ（ｉ＝１，．．．，４）を投影することによって求めることができる７０２。対応するカメラ画像ポイントｘｃｉ（ｉ＝１，．．．，４）およびレーザポイントｐｃを取得する。次に、対応関係（ｘｃｉ，ｘｐｉ）を用いてカメラ−プロジェクタホモグラフィＨｃｐを求める。ポイントｐｐ＝Ｈｃｐｐｃを求める。このポイントｐｐは、レーザポイントをプロジェクタ画像平面上に投影したものである。このステップは、２つまたはそれ以上の異なる距離にある表示面を用いて行われて、プロジェクタポイントｐｐｉ（ｉ＝１，．．．，ｎ）の組が記録される。次に、これらのポイントｐｐｉを通るラインｌｐを見つける。
【００２４】
この場合、問題は、空間内のラインを効果的に観測する２つのピンホール装置に低減される。１つの平面を観測する２つのピンホール装置がポイントホモグラフィによって関連付けられるのと同様に、１本のラインを観測する２つのピンホール装置はラインホモグラフィによって関連付けられる。
【００２５】
図５に示すように、レーザ光線の投影は、プロジェクタ画像平面５１１上のラインｌｃ５１０と、カメラ画像平面５２１上のラインｌｐ５２０とによって求められる。ラインホモグラフィＧ５３０は、２つのライン５１０および５２０間のポイントの変換を記述する。
【００２６】
ラインホモグラフィ
図８により詳細に示すように、ラインホモグラフィＧは、レーザポインタを用いて表示面上にレーザポイントｐｃを投影することによって求められる７０３。レーザポイントｐｃは、カメラにより取得する８０２。
【００２７】
ラインｌｃの位置を求める８０３。各レーザポイントｐｃをラインｌｃ上のポイントｐｃ１ｄに投影する８０４。ここで、ｐｃ１Ｄはライン上の１次元（１Ｄ）座標系で表される。
【００２８】
上記のステップに従って、ホモグラフィＨｃｐを求め８０５、それによって、ｐｐ、すなわちプロジェクタ画像平面上の各レーザポイントの投影を求める８０６。ポイントｐｐをラインｌｐ上のポイントｐｐ１Ｄに投影する８０７。ここで、ｐｐ１Ｄも同じくライン上の１Ｄ座標系で表される。このステップを、レーザポインタと表示面の間の４つまたはそれ以上の異なる距離について行い、対応するポイントｐｃｉＤ、ｐｐｉＤ（ｉ＝１，．．．，ｎ）の組を取得する８０８。この対応関係を用いて、２本のライン５１０および５２０間のラインホモグラフィＧを求める８０９。これらのステップをレーザポインタ１１１毎に繰り返すことができる。
【００２９】
表示面上のレーザポイントの任意のカメラ観測値ｘｃ１ｄについてラインホモグラフィＧが得られると、ｘｐ１ｄ＝Ｇｘｃ１ｄ、すなわちプロジェクタ画像平面上のレーザポイントの投影を従来の技法を用いて求めることができる。
【００３０】
したがって、レーザポイントの観測値すなわちレーザラインを変換して、これらの観測値が事実上プロジェクタからのピンホール投影により生じるようにすることができる。本発明ではこの情報を、２つの堅固に取り付けられたピンホール装置に基づく従来技術のプロジェクタ−カメラシステムのキャリブレーション方法への入力として用いる。
【００３１】
本発明に従ってプロジェクタ−カメラをレーザポインタで補う主な目的は、投影画像に対する制約を回避し、カメラが検出し易いレーザスポットを表示面上に提供することである。しかし、レーザポインタの使用にはさらなる利点がある。
【００３２】
複数のプロジェクタ−カメラシステムを用いる場合、各システムに、異なる色、すなわち、赤色、青色、緑色等を有するレーザポインタの組を設けることができる。これにより、複数のプロジェクタが共通の表示面上に投影を行う場合に画像を区別することができる。
【００３３】
赤外線レーザポインタを用いて、カメラには可視であるがユーザには不可視であり、よって目立たない投影ポイントを提供することもできる。
【００３４】
図６に示すように、レーザポインタ６００が、センサ１９５を用い、かつミラー６０３を旋回させて表示面６０２上に垂直ライン６０１を「引く」こともできる。これは、プロジェクタ−カメラシステム１００を回転させたときに投影画像を実環境の垂直線に対して正確に位置合わせするのに有用である。
【００３５】
本発明を好適な実施形態の例として説明してきたが、本発明の精神および範囲内で様々な他の適用および変更を行うことができることを理解すべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入るかかる変形および変更をすべて網羅することである。
【図面の簡単な説明】
【００３６】
【図１】本発明によるプロジェクタ−カメラシステムのブロック図である。
【図２】図１のシステムの正面図である。
【図３】異なる距離にある表面に投影されるレーザ光線の概略図である。
【図４】カメラ画像における２つのレーザポイントを通るラインの概略図である。
【図５】本発明による、プロジェクタ画像およびカメラ画像におけるラインホモグラフィの概略図である。
【図６】垂直ラインを引くレーザポインタのブロック図である。
【図７】本発明による方法のフロー図である。
【図８】図７の方法の詳細なステップのフロー図である。
【図１】
2006018293.tif 000003
【図２】
2006018293.tif 000004
【図３】
2006018293.tif 000005
【図４】
2006018293.tif 000006
【図５】
2006018293.tif 000007
【図６】
2006018293.tif 000008
【図７】
2006018293.tif 000009
【図８】
2006018293.tif 000010
【外国語明細書】
2006018293.tif 000011
2006018293.tif 000012
2006018293.tif 000013
2006018293.tif 000014
2006018293.tif 000015
2006018293.tif 000016
2006018293.tif 000017
2006018293.tif 000018
2006018293.tif 000019
2006018293.tif 000020
2006018293.tif 000021
2006018293.tif 000022
2006018293.tif 000023
2006018293.tif 000024
2006018293.tif 000025
2006018293.tif 000026
2006018293.tif 000027
2006018293.tif 000028
2006018293.tif 000029