(57)【要約】      （修正有）【課題】ポイントを投影するのみならず、ユーザがプロジェクタを移動させるにつれて可視の軌跡も表示することが可能なハンドヘルドプロジェクタ。【解決手段】インタラクティブディスプレイシステムは、可動プロジェクタに固定された移動座標枠と現実世界中の静止表示面に固定された安定座標枠との間の関係を検知するセンサを備える。表示面に投影すべき出力画像は、移動座標枠に対して固定の関係を有するブラック画像部分、安定座標枠に対して固定の関係を有するブラック画像部分内の安定画像部分、および移動座標枠に対して固定の関係を有する安定画像部分内の移動画像部分に分割される。移動部分は、マウス−カーソルのような様式で安定部分内のポインタとして使用することができる。【選択図】図２
2005122696.tif 000002
【特許請求の範囲】
【請求項１】
移動座標枠と安定座標枠との間の関係を検知するように構成されたセンサと、
前記移動座標枠に対して固定の関係を有するブラック画像部分、前記安定座標枠に対して固定の関係を有する前記ブラック画像部分内の安定画像部分、および前記移動座標枠に対して固定の関係を有する前記安定画像部分内の移動画像部分に投影出力画像を分割する手段と
を備えたインタラクティブディスプレイシステム。
【請求項２】
前記移動座標枠に対して固定されたプロジェクタと、
前記安定座標枠に対して固定された現実世界での表示面と
をさらに備えた請求項１記載のインタラクティブディスプレイシステム。
【請求項３】
前記安定画像部分は、前記移動画像部分に直に隣接しているときに、前記移動画像部分として移動する
請求項１記載のインタラクティブディスプレイシステム。
【請求項４】
前記安定画像部分は、前記ブラック画像部分の外側境界に直に隣接しているときに、前記ブラック画像部分として移動する
請求項１記載のインタラクティブディスプレイシステム。
【請求項５】
前記プロジェクタを較正する手段をさらに備えた
請求項２記載のインタラクティブディスプレイシステム。
【請求項６】
前記プロジェクタは、前記出力画像が前記表示面上に投影されている間に移動する
請求項２記載のインタラクティブディスプレイシステム。
【請求項７】
前記移動画像部分はポインタである
請求項６記載のインタラクティブディスプレイシステム。
【請求項８】
前記安定画像部分は複数の構成要素を備え、
前記安定画像部分の前記構成要素の１つに対する前記移動画像部分の現在位置に従ってコンピュータ操作を開始する手段をさらに備えた
請求項７記載のインタラクティブディスプレイシステム。
【請求項９】
前記ポインタが前記安定画像部分内で移動しているとき、前記ポインタの軌跡を投影する手段をさらに備えた
請求項７記載のインタラクティブディスプレイシステム。
【請求項１０】
前記軌跡は所定の形状に従う
請求項９記載のインタラクティブディスプレイシステム。
【請求項１１】
前記安定画像部分は複数の構成要素を備え、
前記安定画像部分の前記構成要素の１つに対する前記軌跡の現在位置および形状に従ってコンピュータ操作を開始する手段をさらに備えた
請求項９記載のインタラクティブディスプレイシステム。
【請求項１２】
前記センサはカメラである
請求項１記載のインタラクティブディスプレイシステム。
【請求項１３】
前記移動画像部分はポインタであり、
前記ポインタが前記安定画像部分内で移動しているとき、前記ポインタの、表示面上の領域を画定する、軌跡を投影する手段と、
前記カメラにより取得された入力画像から前記領域を抽出する手段と
をさらに備えた請求項１２記載のインタラクティブディスプレイシステム。
【請求項１４】
前記抽出領域を任意の表示面上に投影する手段をさらに備えた
請求項１３記載のインタラクティブディスプレイシステム。
【請求項１５】
前記抽出領域に対するコンピュータ処理を開始する手段をさらに備えた
請求項１１記載のインタラクティブディスプレイシステム。
【請求項１６】
前記抽出領域は、前記表示面上で別個の外観の物理的マーカであり、
前記コンピュータ処理は、前記物理的マーカを識別し、該マーカの識別を用いてコンピュータ操作を開始する
請求項１５記載のインタラクティブディスプレイシステム。
【請求項１７】
前記センサは手により移動され、
前記安定座標枠に対して固定されたプロジェクタおよび表示面をさらに備えた
請求項１記載のインタラクティブディスプレイシステム。
【請求項１８】
前記センサは、移動している物体の画像を取得し、前記移動座標枠を決定するカメラであり、
前記安定座標枠に対して固定されたプロジェクタおよび表示面をさらに備えた
請求項１記載のインタラクティブディスプレイシステム。
【請求項１９】
前記ポインタは前記安定画像部分の形状の画定に使用される
請求項７記載のインタラクティブディスプレイシステム。
【請求項２０】
前記コンピュータ操作は、前記軌跡の現在位置および形状に従って前記安定画像に適用され、前記安定画像は現実世界シーンの取得画像を含む
請求項１１記載のインタラクティブディスプレイシステム。
【請求項２１】
移動座標枠と安定座標枠との間の関係を検知すること、
前記移動座標枠に対して固定の関係を有するブラック画像部分、前記安定座標枠に対して固定の関係を有する前記ブラック画像部分内の安定画像部分、および前記移動座標枠に対して固定の関係を有する前記安定画像部分内の移動画像部分に投影出力画像を分割すること
を含むインタラクティブディスプレイ方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はプロジェクタに関し、特に、入力装置および出力装置の両方として使用されるプロジェクタに関する。
【背景技術】
【０００２】
プロジェクタは、ポインティングデバイスとして使用することができ、一般的な例はレーザポインタである。これにより、ユーザはポイントを特定することができるが、表面上の領域を画定する円等、軌跡を示すことはできない。従来技術において軌跡を示す一方法は、環境中の固定カメラを使用してレーザポインタを拡大し、表示面を観察してレーザポインタの軌跡を復元し、固定プロジェクタが復元された軌跡のビューを投影するというものである。したがって、ハンドヘルドレーザポインタを、環境中の固定設備を使用して強化しなければならず、これは可搬性を低減させる。
【０００３】
この技術分野において既知のように、プロジェクタは、物理的な物体または表面上に拡大した情報を投影するためにも使用することができる。大半のシステムは、関心のある物体または表面を識別する機構、プロジェクタと物体または表面との間の相対位置を見つける機構を使用し、それから拡大された情報を表示してきた。ハンドヘルドプロジェクタを使用しての拡大に対する作業はわずかである。しかし、プロジェクタが小型化・可搬化されるにつれて、拡大の多くの使用は、固定設備ではなくハンドヘルドプロジェクタを利用する日々の環境の中で日和見的な状況で発生しがちである。さらに、拡大を真に柔軟性のあるものにすべき場合、拡大を制御する必要がある。たとえば、メンテナンスタスクについての情報を機械上に投影する場合に、異なる投影拡大をそれぞれ必要とする一連のステップがある場合があるため、ステップを通して移動する機構が必要であり、また、異なるステップの中から選択するにあたり、柔軟性が必要とされる場合がある。
【０００４】
したがって、ハンドヘルドプロジェクタから投影された拡大を制御し、これと対話する必要がある。馴染みのある対話モードを得るために、ユーザは、タッチパッドまたは指回し式円形板（thumbwheel）が取り付けられたプロジェクタを使用して、たとえば１Ｄ選択したり、また、拡大制御の一方法として、たとえばメニューを表示し、それからタッチパッドを使用してメニュー項目を選択したりすることができる。しかしこれにより、プロジェクタにタッチパッドを補わなければならないため、費用が追加される。また、サイズも追加される。また、小型のタッチパッドを有するハンドヘルド装置を使用して作業する場合、求められる精度のカーソルの位置を得ることは扱いにくく、または難しい場合がある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、従来技術によるシステムの制約および問題を有さないハンドヘルドプロジェクタを提供することが望ましい。ポイントを投影するのみならず、ユーザがプロジェクタを移動させるにつれて可視の軌跡も表示することが可能なハンドヘルドプロジェクタを有することが望ましい。また、ユーザが、マウス様式の対話により、片手で自然にハンドヘルドプロジェクタからの拡大情報と対話できることも望ましい。
【課題を解決するための手段】
【０００６】
インタラクティブディスプレイシステムは、可動プロジェクタに固定された移動座標枠と現実世界中の静止表示面に固定された安定座標枠との間の関係を検知するセンサを備える。
【０００７】
表示面に投影すべき出力画像は、移動座標枠に対して固定の関係を有するブラック画像部分、安定座標枠に対して固定の関係を有するブラック部分内の安定画像部分、および移動座標枠に対して固定の関係を有する安定部分内の移動画像部分に分割される。
【０００８】
ブラック部分は、プロジェクタ全表示エリアの境界と同じ外側境界を有する。安定部分は、表示面上に固定されて現れる。移動部分は、安定部分内の情報に対するポインタとして使用することができる。
【発明を実施するための最良の形態】
【０００９】
本発明による可搬式プロジェクタ１００は、固定された表示面に対する移動中のプロジェクタの位置を決定するために、動きセンサ１１０が備えられる。以下、「位置」は３Ｄ位置および３Ｄ向きである。プロジェクタ１００は軌跡１０１に沿って移動することができるため、出力画像１０２は不規則な四辺形として表示面上に現れることができる。動きセンサ１１０は、カメラ、傾斜センサ、または加速度計であることができる。
【００１０】
プロジェクタ１００は、動きセンサ１１０を使用して、出力画像１０２を新規の方法で投影する。４つのタイプの画像、すなわち出力画像１０２、ならびに出力画像から分割されたブラック画像部分１０３、安定画像部分１０４、および移動画像部分１０５が画定される。ブラック部分のピクセルは安定部分と相互排他的であり、移動部分のピクセルは安定部分の境界内にある。
【００１１】
出力画像１０２は、プロジェクタの画像バッファまたはフレームバッファに格納されているすべてのソースデータのすべてのピクセルを含む。出力画像のピクセルは、プロジェクタに対して固定の関係にある座標枠に従って表示画面上で移動する。これは従来通りのことである。
【００１２】
出力ピクセルによっては、図１には点描で示される「不可視」のブラック画像部分１０３を作るために「ブラック」、すなわちゼロピクセル強度値に設定することができるものがある。これらピクセルもまた、プロジェクタの座標枠に従って移動する。
【００１３】
安定画像部分１０４のピクセルは、現実世界の座標枠に固定される。これらピクセル１０４の、出力画像１０２内の位置は、動きセンサ１１０を使用して決定される。したがって、プロジェクタが別の位置に移動する（１０１）と、安定画像１０４は表示面上の固定位置に現れる。
【００１４】
プロジェクタが上向きのとき、たとえば、安定部分のピクセルを出力画像１０２内で下に移動させることによって動きの安定化が実行される。
【００１５】
動きの安定化を実行する特定の要件は、動きセンサにより提供される表示面に対するプロジェクタの相対位置、および平坦、二次曲面、または任意形状の物理的物体でありうる表示面の３Ｄ記述である。ユーザがプロジェクタの向きのみを変更する、すなわち回転だけさせるがその位置を変える、すなわち平行移動する特別な場合、動きの安定化を実行する要件は回転の動きであるが、表示面の３Ｄ記述は必要ない。
【００１６】
安定画像部分のサイズおよび形状は、所定の方法で、たとえば、最初に出力画像の中心にセンタリングされた、出力画像の寸法の半分の内部矩形に初期化することができる。動きの安定化は、プロジェクタが移動するとき、安定化窓が完全な出力画像内のどこかにあり続ける限り可能である。
【００１７】
移動画像部分１０５のピクセルは、プロジェクタの移動座標枠に従って移動する。たとえば、これらピクセル１０５はポインタ、カーソル、または他のあるアイコンとして現れることができる。したがって、プロジェクタが左から右に移動すると、ポインタが安定画像部分内で同じように移動して現れる。プロジェクタの上下の移動も同様にして模倣されるため、プロジェクタはレーザ型またはマウス型ポインタとして事実上振る舞う。
【００１８】
好ましい実施の形態では、移動部分の移動は、あたかも安定画像部分が従来の表示画面であり、移動画像部分が従来のカーソルである場合のように、安定部分内に制限される。
【００１９】
代替の実施の形態では、プロジェクタおよび動きセンサは別体である。たとえば、プロジェクタは環境に固定され、動きセンサは、ユーザが表示面に向けるハンドヘルド装置である。動作は上に述べた動作と同じであり、安定画像が表示面上に表示され、ハンドヘルドの動きにより、安定画像内でのカーソル等の移動部分の移動が決定される。
【００２０】
別の代替の実施の形態では、動きセンサは自己完結型装置でなくてもよい。動きセンサは、たとえば、ユーザの手の動きを観察し、これを使用して、表示面に対する手の位置および所望のポインティング方向を決定する、環境中の固定カメラであることができる。
【００２１】
プロジェクタの構造
図２は、動きセンササブシステム１１０と、バス２４０により接続されたマイクロプロセッサ２１５、メモリ２２０、およびＩ／Ｏインタフェース２３０、一般的な処理ユニットを含む他の構成要素とを備えたプロジェクタ１００を示す。処理ユニットは、電子的構造においては従来通りであるが、本明細書に述べる方法ステップを実行する際の動作において非従来的である。プロジェクタは、出力画像１０２を表示するプロジェクタサブシステム２５０も備える。ネットワークサブシステム１７０により、プロジェクタはローカルであれ、リモートであれ、他の同様の装置、または他の演算装置およびメモリと通信することができる。したがって、ネットワークシステムは通信媒体に応じてアンテナまたは赤外線トランシーバ２８０に接続することができる。ユーザインタフェース２９０は、プロジェクタの操作に役立つ入力データおよび出力データを提供することができる。ユーザインタフェースは、いくつかのボタンを備えることができる。動きセンサはプロジェクタの位置を決定し、これはカメラであることができる。さらなる詳細については、参照により本明細書に援用される２００３年３月１９日に出願されたBeardsley、Raskar、およびVan Baarによる米国特許出願第１０／３９４，３１４号「Geometrically Aware Projector」を参照のこと。
【００２２】
較正
プロジェクタは、プロジェクタ座標枠と動きセンサ座標枠の間の平行移動および回転と同様に、プロジェクタ１００の固有パラメータが分かるように予め較正される。動きセンサがカメラである場合、カメラの固有パラメータもまた較正される。参照により本明細書に援用される、２００３年３月４日に発行されたBeardsleyおよびRaskarによる米国特許第６，５２７，３９５号「Method for Calibrating a Projector with a Camera」を参照のこと。
【００２３】
既知の３Ｄ座標の表示面に対するプロジェクタ位置の復元は、動きセンサによるものである。動きセンサが較正カメラである場合、表示面に対するカメラの位置を決定する要件は、表面上の既知の３Ｄ位置に３つの別個の識別可能なポイントがあることである。カメラの位置を使用し、カメラに対するプロジェクタの較正された平行移動および回転を使用することによって、表示面に対するプロジェクタの位置を推測する。
【００２４】
既知の３Ｄ表面に対するプロジェクタの位置およびプロジェクタ固有のパラメータが与えられている場合、これが各プロジェクタピクセルと表示面上に投影される３Ｄポイントとの間の対応性を決定するために必要な情報のすべてをなす。したがって、表面上に必要な３Ｄポイントについて、現在の瞬間にそのポイントを照らすプロジェクタピクセルが常に分かるため、プロジェクタが移動するとき、動き安定化した画像を表示面上に表示することができる。
【００２５】
複雑な３Ｄ物体上に投影する場合、表面のある部分により他の部分が遮蔽されているときを決定することもできるため、これを考慮に入れることができる。
【００２６】
適用例−ポインティングおよびアウトライニング
単純な用途では、安定画像部分１０４のピクセルもまたブラックに設定され、移動画像部分は赤色ピクセルの点１０６である。実際、閲覧者に見えるのは赤色の点のみである。この場合、プロジェクタはレーザポインタと区別がつかず、同様のすべての機能に使用することができる。
【００２７】
本発明によるプロジェクタは、表示面を横切って移動するポインタの可視軌跡１０７も示すことができる。たとえば、移動データはカーソルであることができる。ユーザがプロジェクタを移動すると、カーソルも表示面上で移動して見える。ポインタの動きは時間とともに記録され、安定部分が軌跡１０７の表示に使用される。
【００２８】
ユーザの観点からの結果は、ハンドヘルドプロジェクタのいずれの動きも自然に追尾して移動するカーソル、ならびにカーソルが表示面を横切って移動するときに追跡される軌跡１０７の安定したビューである。
【００２９】
軌跡を表示する別の用途では、プロジェクタを使用して、表示面上に「書く」ことができ、文字、言葉、または形を作成することができる。
【００３０】
適用例−マウスインタラクション
本発明は、表示面に投影されたデータとの「マウス様式」のインタラクションに使用することも可能である。
【００３１】
この場合、移動部分は、おそらく、プロジェクタの出力画像の中央に固定されたカーソルである。安定画像部分は、いくつかの構成要素、たとえば、メニュー項目を含む。ユーザの観点からの結果は、所望のメニュー項目の上にくるまで、静止メニューを横切って追跡される、ハンドヘルドプロジェクタのいずれの動きも自然に追尾して移動するカーソルである。この時点で、次にボタン１１１の１つをクリックし、安定画像内のポインタの瞬間位置を検知することによりマウスのような様式で項目を選択することができる。
【００３２】
メニュー項目の選択は本発明の説明例であるが、従来のウィンドウ様式の演算環境において行われるマウスインタラクション―マウスを使用してのウィンドウの移動、アイコンの開閉、確認ボックスのクリック、ドラッグアンドドロップ、形状サイズ変更―をいずれも、本発明を使用して通常のプロジェクタで行うことができることは明らかである。従来のマウスのように、左／中央／右の「クリック」ボタンを設けることができる。
【００３３】
安定画像は、従来の様式で得られた現実世界シーンの画像も含み、ポイントアンドトラック操作を使用して、シーンの画像に対して写真編集操作を開始することができる。
【００３４】
適用例−特定領域の画像の捕捉
本発明は、動きセンサがカメラである場合に多くの機能を有する。表示面に対する位置を検知する他に、カメラは表示面の入力画像も取得する。ユーザは、「ポインタ」を採用して、表示面上の関心のある領域エリアを示す境界を描くことができる。
【００３５】
システムは、入力画像から関心領域を抽出し、その領域をメモリに格納することができる。プロジェクタは後に、この格納領域を新しい表示面に投影することができる。したがって、毎日のコンピュータインタラクションから馴染みのある切り取りおよび貼り付け操作は、現実世界の実際のテクスチャが、要求エリアを指定し、その画像を格納することにより切り取られ、格納データを新しい表示面に投影することにより貼り付けられるという点で類似したものである。
【００３６】
一例は、壁上の壁画に対する切り貼りおよび貼り付け操作である。ユーザは、カーソルを使用して壁画のおおよその境界の輪郭を描き、選択された境界の視覚的指示がユーザに提示される。ある機構、おそらく境界の完成、またはボタンを用いて、境界内の画像の部分の「切り取り」を開始する。追加ステップとして、指定された境界の周囲の画像に対してコンピュータ視覚処理を使用してよりぴったりと、画像中の壁画の実際の境界または標準形状のセット、たとえば円、矩形等の１つに「合う」ように、再画定することができる。壁画の画像エリアが格納される。その後、この画像エリアを他のある表示面に貼り付けたり、または格納画像およびドキュメント中に組み込んだりすることができる。
【００３７】
適用例−物理的マーカの処理
ここでも、プロジェクタが付属のカメラを有すると想定すると、本発明を使用して、表示面上のポイントまたはエリアを識別し、表面のその部分の画像において特別な視覚的処理を指示することができる。
【００３８】
一例として、物体上に拡大を投影する前に物体識別を行う一般的な方法は、バーコードまたは色分けされたマーカを使用して物体にラベルを付けるというものである。参照により本明細書に援用される、２００３年１月１７日に出願されたBeardsley他による米国特許出願第１０／３４６，４４２号「Position and Orientation Sensing with a Projector」を参照のこと。
【００３９】
これらマーカの検出により、必要な投影が開始される。しかし、乱雑なシーンの画像を取り込んでいるカメラは、マーカを切り離すことが難しい場合がある。本発明は、ユーザがシーン中の物理的マーカを指し示す、または円で囲めるようにし、それによってマーカ検出を画像の特定部分に指示するため、視覚処理は周囲の乱雑さにより劣化しない。
【００４０】
別の例では、ユーザはより単純なタイプの視覚マーカ、たとえば、「Ｘ」マークをシーン中に指示して、処理を中断することができる。対照的に、従来技術によるシステムは、処理に対する指示がなく、乱雑な画像全体を処理しているときに多くの偽陽性が発生しがちであるため、単純なアイコンを使用することができない。
【００４１】
ユーザは、「拡大投影開始」または「拡大投影停止」等、それぞれ異なる意味を有する、複数の別個の物理的マークを、同時に見えるようにシーン中に配置することができる。そして、本発明を使用して、必要なマーカの位置を指示することができ、視覚処理が、関心のあるそのエリアだけを処理することによりマーカを識別し、必要なアクションが実行される。したがって、従来技術によるシステムとは対照的に、ユーザが特定のマーカの識別を開始するため、カメラは、いかなる矛盾もなく、異なる意味を有する複数のマーカを同時に見ることができる。
【００４２】
安定投影の画定および移動
上に述べたように、投影の安定画像部分は、出力画像の中央の所定のエリアとして初期化することができる。別の用途では、ユーザが、カーソルのみを表示することによって開始し、カーソルを使用して、安定部分を表示すべき表示面上の位置を画定する。
【００４３】
また上に述べたように、安定部分は表示面に対して固定である。しかし、ユーザが時に安定部分を新しい位置に変位したい場合がある。これを実現するため、カーソルを安定部分の境界に「ぶつけ」て、安定部分を好きな方向に「ドラッグ」することができる。ぶつけるとは、直に隣接することを意味する。したがって、ユーザは安定部分を表示面上で平行移動させることができる。この操作モードは、ウィンドウが画面上に見られる安定した「デスクトップ」内で移動する従来のコンピュータでの「クリックアンドドラッグ」モードと区別されるべきである。その代わりに類似するのは、本発明がデスクトップ全体を別の位置に引きずった場合である。これは、ＣＲＴを持ち上げて別の机の上に置くようなものである。
【００４４】
したがって、カーソルが安定エリアの縁の上にあるとき、移動部分ならびに他のすべてのピクセルは、プロジェクタの座標枠に従って移動する。安定部分１０４を出力画像１０２内で再びセンタリングすることができ、それによってカーソルが縁を離れた後、移動部分の有効範囲が最大化され、安定画像部分の内部に再び入る。
【００４５】
別法では、プロジェクタが、出力画像の境界が安定部分の境界に接する−直に隣接することを意味する−ように移動した場合、安定部分は、出力画像内にあり続けるように表示面上で移動する。ユーザの観点から、効果は、ビューポート全体が再配置される上述と同じである。したがって、出力画像の境界が外側から安定画像部分に隣接するようになるとき、あるいは移動部分が内側から安定部分に隣接するようになるとき、いずれが最初に行われようとも、「デスクトップ」を再配置することができる。
【００４６】
本発明について好ましい実施の形態の例として説明したが、他の様々な適合および変更を本発明の精神および範囲内で行うことができることを理解されたい。したがって、添付の特許請求項の目的は、本発明の真の精神および範囲内にあるこのような変形および変更をすべて網羅することにある。
【図面の簡単な説明】
【００４７】
【図１】本発明によるプロジェクタの動作のブロック図である。
【図２】本発明によるプロジェクタのブロック図である。
【図１】
2005122696.tif 000003
【図２】
2005122696.tif 000004
【外国語明細書】
2005122696.tif 000005
2005122696.tif 000006
2005122696.tif 000007
2005122696.tif 000008
2005122696.tif 000009
2005122696.tif 000010
2005122696.tif 000011
2005122696.tif 000012
2005122696.tif 000013
2005122696.tif 000014
2005122696.tif 000015
2005122696.tif 000016
2005122696.tif 000017
2005122696.tif 000018
2005122696.tif 000019
2005122696.tif 000020