(57)【要約】【課題】無線探索および識別システムは、コントローラとタグとを含む。【解決手段】コントローラは、プロジェクタの出力画像におけるそれぞれの画素について一意の時間的に連続する光度を生成するよう構成されているプロジェクタと、出力信号を発し入力信号を受信するよう構成されている無線トランシーバとを有する。タグは、特定の画素の一意の時間的に連続する光度を検知するよう構成されている光センサと、トランシーバからの出力信号を受信するよう構成されているトランスデューサと、出力信号の受信および特定の画素の一意の時間的に連続する光度の検知に応答して、一意の時間的に連続する光度に従って、トランシーバ用の入力信号を変調して、タグの位置をコントローラに知らせる手段とを含む。
2008505374.tif 000002
【特許請求の範囲】
【請求項１】
コントローラと、
タグとを備える無線探索および識別システムであって、
前記コントローラは、
出力画像におけるそれぞれの画素について一意の時間的に連続する光度を生成するよう構成されているプロジェクタと、
出力信号を発し入力信号を受信するよう構成されている無線トランシーバとを有し、
前記タグは、
特定の画素の前記一意の時間的に連続する光度を検知するよう構成されている光センサと、
前記トランシーバからの前記出力信号を受信するよう構成されているトランスデューサと、
前記出力信号の受信および前記特定の画素の前記一意の時間的に連続する光度の検知に応答して、前記一意の時間的に連続する光度に従って、前記トランシーバ用の前記入力信号を変調して、前記タグの位置を前記コントローラに知らせる手段とを有する、
無線探索および識別システム。
【請求項２】
前記タグは、
前記タグの識別情報を記憶するメモリと、
前記出力信号の受信に応答して、前記識別情報に従って、前記トランシーバ用の前記入力信号を変調する手段とをさらに有する
請求項１記載のシステム。
【請求項３】
前記タグは、
前記トランスデューサと前記光センサとメモリとに接続されたマイクロコントローラをさらに有する
請求項１記載のシステム。
【請求項４】
前記タグは、
前記マイクロコントローラに接続された環境センサをさらに有する
請求項３記載のシステム。
【請求項５】
前記タグは、オブジェクト内に搭載され、
前記コントローラは、動作中手持ち式で移動可能である
請求項１記載のシステム。
【請求項６】
前記タグは、環境内に搭載され、
前記コントローラは、動作中手持ち式で移動可能である
請求項１記載のシステム。
【請求項７】
前記トランスデューサおよび光センサは、外側の物理的表面に近接する
請求項１記載のシステム。
【請求項８】
前記トランスデューサは、所定の無線周波数に調整したアンテナである
請求項１記載のシステム。
【請求項９】
前記タグは、寄生的に電力を得る
請求項１記載のシステム。
【請求項１０】
前記光センサは、逆バイアスで駆動して光を検知し、また順バイアスで駆動して前記一意の時間的に連続する光度の検知に応答して発光する
請求項１記載のシステム。
【請求項１１】
前記メモリは、前記位置を記憶する
請求項２記載のシステム。
【請求項１２】
前記コントローラは、
前記プロジェクタと前記トランシーバとカメラとに接続されたプロセッサをさらに有する
請求項１記載のシステム。
【請求項１３】
前記プロジェクタは、前記カメラに対して固定した物理的関係にある
請求項１２記載のシステム。
【請求項１４】
前記コントローラは、
６自由度の慣性センサをさらに有する
請求項１記載のシステム。
【請求項１５】
前記コントローラは、
複数のレーザポインタをさらに有する
請求項１記載のシステム。
【請求項１６】
前記コントローラは、
複数の制御ボタンをさらに有する
請求項１記載のシステム。
【請求項１７】
前記コントローラは、
前記プロジェクタの姿勢を判定する手段をさらに有する
請求項１記載のシステム。
【請求項１８】
前記光センサは、選択した周波数の光にのみ感応する
請求項１記載のシステム。
【請求項１９】
それぞれの画素についての前記連続する光度は、グレイコードの形である
請求項１記載のシステム。
【請求項２０】
複数のタグを含み、それぞれのタグの位置は前記コントローラによって判定される
請求項１記載のシステム。
【請求項２１】
前記位置は、前記連続する光度の前記カメラによって取得される入力画像から判定される
請求項１２記載のシステム。
【請求項２２】
前記コントローラは、
前記タグの位置の受信に応答して出力画像を生成する手段をさらに有する
請求項１記載のシステム。
【請求項２３】
前記コントローラは、手持ち式で動いており、前記出力画像は前記タグに関して安定化している
請求項２２記載のシステム。
【請求項２４】
前記出力画像は、前記コントローラの動きに相関して動くカーソルを含む
請求項２２記載のシステム。
【請求項２５】
前記カーソルは、前記出力画像において表示される項目を選択する
請求項２４記載のシステム。
【請求項２６】
前記タグは、表面上に搭載され、
前記コントローラは、
前記タグと前記表面とを含む入力画像を取得するカメラと、
前記入力画像の一部を前記出力画像に組み込む手段とをさらに有する
請求項２２記載のシステム。
【請求項２７】
前記メモリに記憶されるデータは、経時的に更新される
請求項２記載のシステム。
【請求項２８】
前記複数のタグは、表面上に搭載され、
前記コントローラは、
前記タグの位置に基づいて前記表面の形状を判定する手段をさらに有する
請求項２０記載のシステム。
【請求項２９】
前記複数のタグは、表面上に搭載され、
前記コントローラは、
前記タグの位置に基づいて前記表面の変形を判定する手段をさらに有する
請求項２０記載のシステム。
【請求項３０】
前記位置は、二次元である
請求項１記載のシステム。
【請求項３１】
前記位置は、三次元である
請求項１記載のシステム。
【請求項３２】
前記コントローラは、
前記光度を測光補償する手段をさらに有する
請求項１記載のシステム。
【請求項３３】
前記光度は、赤外線である
請求項１記載のシステム。
【請求項３４】
前記タグは、複数の光センサを含む
請求項１記載のシステム。
【請求項３５】
前記タグを照明する複数の光源をさらに備え、
前記タグは、
前記複数の光源のいずれかを検知する手段をさらに有する
請求項１記載のシステム。
【請求項３６】
コントローラから、無線出力信号と、出力画像におけるそれぞれの画素についての一意の時間的に連続する光度とを投影することと、
タグにおいて前記無線出力信号を検知することと、
前記タグにおいて、前記無線出力信号の検知に応答して、前記一意の時間的に連続する光度を検知することと、
前記タグにおいて、前記出力信号の受信および特定の画素の前記一意の時間的に連続する光度の検知に応答して、前記一意の時間的に連続する光度に従って、前記コントローラ用の入力信号を変調して、前記タグの位置を前記コントローラに知らせることと
を含む無線探索および識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は包括的には識別タグおよびリーダに関し、より詳細には選択的に探索および識別が可能なタグに関する。
【背景技術】
【０００２】
長年にわたって、コンピュータの用途は、高度に集中化したメインフレームからデスクトップへと移行しつつある。より最近には、携帯電話、携帯情報端末、ならびに、環境におよびその環境内に配置されたオブジェクトに邪魔にならないように埋め込んだセンサ等のモバイル機器に、計算処理能力が移行しつつある。
【０００３】
この用途の一例は、無線周波数識別（ＲＦＩＤ）タグを用いている（「RFID, A Key to Automating Everything」, Scientific American, vol. 290(1), 56-65, 2003を参照されたい）。ＲＦＩＤタグは、米粒ほど小型にすることができ、安価、例えば１ドルの数分の一であり、何メートルもの範囲にわたって一意の識別情報をタグリーダに送信することができる。
【０００４】
従来の無線周波数識別（ＲＦＩＤ）タグは、動物および人を含むオブジェクトを識別するのに用いられる。ＲＦＩＤタグは、購入製品の区別および記録を行うバーコードの代わりとなることができる。ＲＦＩＤタグは、結果として製造業者、卸売業者、および小売業者の労力節約をもたらすことができる。大規模な小売業者であれば、ＲＦＩＤタグを用いると、推定節約額は年間で数十億ドルにも達し得る。
【０００５】
通常の従来技術のＲＦＩＤシステムは、マイクロチップとアンテナとを含む。アンテナは、調整された誘導コイルの形態であってもよい。動作は基本的に簡単である。通常、マイクロチップが一意の識別コードを記憶しており、タグのアンテナがリーダのアンテナと誘導結合すると、この識別コードを検出することができる。この結合によってインピーダンスが変化し、したがって受信アンテナにおける負荷が変化する。負荷は、コイルを出し入れして切り替える（by switching the coil in and out）ことによって、記憶している識別コードに従って調整することができる。
【０００６】
従来のＲＦＩＤタグは、以下の基本属性に従って特徴付けることができる。アクティブＲＦＩＤタグは、マイクロチップを動作させ信号をリーダに「送信」する電源を含む。セミパッシブタグは、電池を用いてマイクロチップを動作させるが、送信機を動作させるのに誘導電流を用いる。このようなタイプのタグは、製造にかかるコストがより高いので、通常、より長距離において識別が必要な、高価なオブジェクトに用いられる。パッシブタグについては、電磁放射を放出することによってリーダがタグ内に電流を誘導する。このようなタグは比較的安価であり、送信ＲＦ信号の電力によって決まるが、約５０メートルの範囲まで有効である。
【０００７】
タグはリードオンリ型であってもよいし、リードライト型であってもよい。後者のタイプにおいては、メモリを用いてタグに情報を徐々に付け加えることができる。例えば、タグは読み取られた時、または読取り頻度を記憶することができる。
【０００８】
既存の商業用途には、非接触アクセス制御、家畜用耳タグ、および民生品が含まれる。より高性能のタグは、単なる識別情報の送信以上のことを行う。最新のタグは、かなりの計算処理能力およびデータを埋め込んでいる。これにより、ＲＦＩＤタグが提供するデータの検索および識別という問題が生じる。
【０００９】
実社会のオブジェクトおよび環境がデータおよび小型プロセッサでオーグメントされる（augmented：補われる）いくつかの用途が知られている。
【００１０】
オブジェクトに「インテリジェンス」を付け加える、および、場合によっては、インテリジェントオブジェクトの周りにヒューマンインタラクション（human interactiions）を構築する、いくつかの技法が知られている。センステーブル（Sensetable）システムは、プロジェクタを用いて卓上の検知タブレットの周りの区域を追跡しオーグメントする。Patten他著「SenseTable: A Wireless Object Tracking Platform for Tangible User Interfaces」, Conference on Human Factors in Computing Systems, ACM CHI, 2001。Omojola他著「An installation of interactive furniture」, IBM Systems Journal, Vol. 39(3,4), 2000は、インテリジェント家具を説明している。
【００１１】
レーザポインタに応答するアクティブＲＦタグを用いるシステムもある。ＦｉｎｄＩＴ  ｆｌａｓｈｌｉｇｈｔは、一方向インタラクション（one-way interaction）とタグ上のインジケータライトとを用いて、所望のオブジェクトが見つかったということを信号で伝える。Ma他著「The FindIT Flashlight: Responsive Tagging Based on Optically Triggered Microprocessor Wakeup」, Ubicomp, pp. 160-167, 2002を参照されたい。
【００１２】
ＩＥＥＥ８０２．１１またはＸ１０等の高性能で複雑な通信プロトコルを用いてタグがＰＤＡに返答する、双方向インタラクションを用いるシステムもある。Patel他著「A 2-Way Laser-Assisted Selection Scheme for Hand-helds in a Physical Environment」, Ubicomp, 2003およびRingwald著「Spontaneous Interaction with Everyday Devices Using a PDA」, UbiComp, 2002。
【００１３】
インタラクションおよびオーグメンテーション
大型のディスプレイスクリーン用の、レーザポインタでのインタラクションは一般的である。Hinckley他著「Sensing Techniques for Mobile Interaction」, ACM UIST CHI Letters, Vol. 2(2), pp. 91-100, 2000は、モバイル機器用の検知およびインタラクションの技法をいくつか説明している。
【００１４】
物理的世界のオブジェクトのオーグメンテーションは、最初、目に装着したまたは頭に搭載したディスプレイ（Azuma他著「Recent Advances in Augmented Reality」, IEEE Computer Graphics and Applications, vol. 21(6), pp. 34-47, 2001を参照されたい）すなわちハンドヘルドスクリーン（hand-held screens）によって達成された。Want他著「Bridging Physical and Virtual Worlds with Electronic Tags」, ACM SIGCHI, pp. 370-377, 1999およびRekimoto他著「Augmentable Reality: Situated Communication through Digital and Physical Spaces」, IEEE 2nd International Symposium on Wearable Computers（ISWC 98), pp. 68-75, 1998は、ＰＤＡ、カメラ、およびＲＦＩＤタグを用いるスクリーンをベースにしたオーグメンテーションを説明している。
【００１５】
Underkoffler他著「Emancipated pixels: Real-world graphics in the luminous room」, Proc. Siggraph 99,ACM Press, pp. 385-392、Pinhanez著「The Everywhere Displays Projector: A Device to Create Ubiquitous Graphical Interfaces」, Ubiquitous Computing, 2001、Raskar他著「Shader lamps: Animating real objects with image-based illumination」, Rendering Techniques 2001, Proceedings of the Eurographics Workshop, 2001、Bimber他著「The virtual showcase」, IEEE Comput. Graph. Appl. 21, 6, pp. 48-55, 2001、およびVerlinden他著「Development of a Flexible Augmented Prototyping System」, The 11th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision '2003, 2003は、プロジェクタをベースにしたオーグメンテーションを説明している。
【００１６】
Raskar他著「ilamps: geometrically aware and selfconfiguring projectors」, ACM Trans. Graph. 22, 3, pp. 809-818, 2003は、ハンドヘルドプロジェクタ用の、形状およびオブジェクトの適応投影をサポートする画像ワーピングを説明している。
【００１７】
追跡用に特徴的なビジュアルマーカを付け加えることは、常に実際的であるというわけではない。したがって、３Ｄコンテキスト（context：環境）を得る基本構造（infrastructure：インフラストラクチャ）を付け加えることなく環境およびオブジェクトをオーグメントすることが所望される。
【００１８】
オリベッティ社のアクティブバッジ（Want他著「The active badge location system」, ACM Trans. Inf. Syst. 10, 1, pp. 91-102, 1992を参照されたい）およびゼロックス社のＰＡＲＣｔａｂ（Want他著「An Overview of the ParcTab Ubiquitous Computing Experiment」, IEEE Personal Communications, pp. 28-43, 1995）等の位置検知システムは、位置を発見する（recover）が、通常インタラクティブシステムではなくパッシブ追跡に用いられてきている。
【００１９】
インタラクション（interacting）用のレーザポインタシステムでは、インタラクションを開始するのに、ユーザが目標オブジェクトを識別し、ポインタをそのオブジェクトに向ける必要がある。しかし、タグが目に見えなくなると正確に指し示すことは困難であり、タグが複数ある場合には順次処理することしかできない。
【発明の開示】
【発明が解決しようとする課題】
【００２０】
オブジェクト上および環境内に配置されたタグを探索し識別することができるシステムおよび方法を提供することが所望される。
【課題を解決するための手段】
【００２１】
本発明は、現実の物理的世界におけるオブジェクトおよび環境に機器を取り付ける（instrumenting）システムおよび方法を提供する。これによって、無線通信を用いてオブジェクトおよび環境とインタラクションして、履歴データを識別し、記述し、注釈をつけ、蓄積することが可能になる。
【００２２】
この実現技術は無線タグを用いる。タグは、要求に応じて位置および識別情報を無線通信する、小型デバイスである。タグは非常に小型で安価に製造でき内部電源が不要なので、有利である。したがって、タグはあらゆるものに取り付けることができ、長期間にわたって用いることができる。
【００２３】
従来のＲＦＩＤタグには制約がある。従来のＲＦＩＤタグは、自らの位置を通信することができない。本発明は、識別情報および３Ｄ位置を含むデータを通信することができるタグを提供する。したがって本発明では、全く新しい範囲の用途が可能になる。
【００２４】
本発明は、タグを選択し、タグを識別し、タグデータを収集し、タグに関係する情報を表示し、データとインタラクションする、多機能フレームワークを提供する。本発明は、投影照明（projected illumination）を用いてタグを選択する。３Ｄ座標系が生成されてタグを探索する。タグデータは、直接オブジェクトの表面上に投影して環境をオーグメントすることができる。
【発明を実施するための最良の形態】
【００２５】
システム構造
図１に示すように、本発明によるインタラクティブタグ探索および識別システム１００は、タグ１０１とコントローラ１０２とを含む。本発明者らは、システム１００が単にタグ１０１の識別情報を読み取る以外の機能を果たすことができるということを示すために、「コントローラ」という用語を用いている。本発明によるインタラクティブシステムの付加機能については、以下に詳細に説明する。利点として、このような付加機能によって、全く新しい１組のインタラクティブ用途が可能になる。
【００２６】
タグ
タグ１０１は、トランスデューサ１１１、光センサ１１２、メモリ１１３、およびオプションで環境センサ１１５に接続された、マイクロコントローラ１１０を含む。通常、感応部品、すなわちトランスデューサ１１１とセンサ１１２、１１５とが、商品が入った箱の表面や壁等、外側の物理的表面１４０またはその近くにあるよう、タグ１０１が搭載される。メモリは、タグの特徴を記述するデータと特定の環境におけるそのタグの使用法とを記憶する。
【００２７】
トランスデューサ１１１は、コイルの形態であってもよく、無線通信が無線周波数信号を用いる場合には、ダイポールであってもよい。トランスデューサはまた、無線通信を用いて寄生的に電力を得ることもできる、ということもまた留意されるべきである。この電力は、図示しないコンデンサに蓄えることができる。したがって、電池は不要である。他の形式の無線通信、例えば磁気信号、ソナー、超音波、可視光、および赤外線を用いてもよい、ということが理解されるべきである。
【００２８】
Dietz他によって２００２年４月１９日に出願され参照によりその全体が本明細書に援用される米国特許出願第１０／１２６，７６１号「Communication Using Bi-Directional LEDs」において説明されているように、光センサ１１２は、マイクロコントローラによって逆バイアスおよび順バイアスで駆動されるＬＥＤの形態で、光の検知と発光の両方を行うようになっていてもよい。したがってタグ１０１は、選択されアクティブ（active）である場合に視覚表示してもよい。
【００２９】
メモリは、タグ識別情報（ＩＤ）１５１等のデータおよびアプリケーション関連情報を記憶することができる。メモリはまた、位置（ＬＯＣ）情報１５２も記憶することができる。
【００３０】
環境センサは、温度、湿度、煙、ガス、音、加速度等を検知するよう構成してもよい。
【００３１】
コントローラ
タグコントローラ１０２は、プロジェクタ１２１とオプションのカメラ１２２とに接続されたプロセッサ１２０を含む。コントローラはまた、トランシーバ１２３およびアンテナ１２４も含む。プロジェクタ１２１は、カメラ１２２に対して固定した物理的関係にある。タグコントローラはまた、６自由度（ＤＯＦ）の慣性センサ１２５（例えばジャイロスコープおよび加速度計）と、例えば４つ以上のレーザポインタ１２６と、１つまたは複数の制御ボタン１２７とも含んでもよい。
【００３２】
プロセッサは、マイクロプロセッサと、メモリと、さまざまな接続部品と通信するＩ／Ｏインターフェースとを含む。メモリは、上述の機能を実施するプログラムおよびデータを記憶している。
【００３３】
プロジェクタ１２１とカメラ１２２とは、それぞれ関連する像平面１４１、１４２を有する。平面１４１と１４２とは、互いに平行である必要はない。実際には、コントローラ１０２がハンドヘルドでモバイル（手持ち式で移動可能）であることが意図されている。カメラ１２２を用いて、プロジェクタ１２１の姿勢、すなわち位置および向きを判定してユーザインタラクションをサポートし、或るシーン（scene）の表面テクスチャを画像の形態で獲得することができる。後述するように、画像は三角形メッシュ等のグラフィックスモデルに変換することができる。システム１００の動作中に、テクスチャ画像をさらに処理して他の画像とともに表面１４０上に投影することができる。
【００３４】
慣性センサ１２５はまた、コントローラ１０２の姿勢変化を高頻度、例えば１６０Ｈｚで推定（high-frequency estimates）することによって、姿勢判定にも用いることができる。
【００３５】
アンテナ１２４は、何らかの好適なネットワークを用いて他のコンピュータシステムとデータの通信を行うのに用いられる。
【００３６】
レーザポインタ１２６は、可視光または赤外線（ＩＲ）光を発することができ、表面１４０上に特徴点（distinctive points）１３４を投影して、プロジェクタの姿勢判定を支援する。
【００３７】
コントローラ１０２のすべての構成要素間の光学パラメータのユークリッドキャリブレーション（Euclidean calibration）がオフラインで行われる。残りの説明においては、本発明者らは、プロジェクタ１２１およびカメラ１２２のキャリブレーション後の内因性および外因性パラメータがわかっていると仮定する。
【００３８】
コントローラは、動作中持ち運びできモバイルである、ということが意図される。例えば、コントローラ１０２はハンドヘルドである。
【００３９】
インタラクティブ機能
タグ選択
従来のＲＦＩＤタグは、タグのすぐ近くに配置されたタグリーダから受信する短距離ＲＦ信号にのみ応答する。選択したタグに通信範囲を限定することは、そのタグにリーダを非常に接近して配置することによって通常行われる。この動作モードは、レジ清算およびセキュリティ機能に合わせた（for）小売り設定においては理想的である。小売り設定においては、近傍の表示領域にある商品上に配置されたタグ等、その環境における他のタグが応答しないことが望ましい。しかし、その動作モードは倉庫等の大規模環境には好適ではない。大規模環境においては、多数の商品が棚に保管されており、在庫管理機能を果たしている従業員には届かないことが多いか、あるいは、商品が別の位置へと自動的に移動する。さらに、その動作モードは、環境、例えば壁、天井、床およびその他の部分にタグを配置してその環境の構造を判定することが所望される用途においては好適ではない。
【００４０】
光作動タグ
したがって本発明者らは、従来技術における近接していなければならないという制約のない、インタラクション用タグを選択する。初期化およびキャリブレーションの一部として、光センサ１１２は、或る量の周囲光を記録して、次の照明読取り（illumination readings）の基準レベルとして用いる。
【００４１】
トランシーバ１２３は、出力信号１３１を発して範囲内のタグをすべて作動させる。タグ１０１が基準レベルの光読取値よりも実質的に大きい投影照明１３２を検知する場合には、タグは出力信号１３３で応答する。この応答は、タグのメモリ１１３に記憶されているいずれかのデータを送信するよう変調してもよい。タグが十分照明されていない場合には、出力信号１３１は無視され、タグ１０１は応答しない。タグを作動させる光源はいかなる数であってもよい、ということが理解されるべきである。
【００４２】
選択される領域の大きさは、光線１３２の大きさおよび形状を変化させることによって変えることができる。このように作動させると、光センサ１１２を、受取通知として発光するよう逆バイアスで駆動することができる。別の実施形態において、光センサは選択した周波数の光にのみ感応する。これは、センサでカラーフィルタを用いることによって、または光センサを特定の波長に合わせて調整することによって行うことができる。
【００４３】
タグにおける位置検知
従来のＲＦＩＤシステムは、どのタグが範囲内にあるかは判定することができるが、そのようなタグの位置は判定することができない。対照的に、本発明によるシステム１００は、範囲内のタグの位置を提供することができる。指向性ＲＦデバイスを用いてもよいが、そのようなデバイスは非常に大型のアンテナが必要であり、ハンドヘルドのモバイル動作には好適ではない。カメラ１２２は常に使えるわけではない。これは、カメラ１２２の視野はプロジェクタの視野と正確に一致しない場合があるからである。
【００４４】
図２に示すように、本発明の基本的な方法２００は以下のとおり動作する。上述のように、出力信号１３１がタグ１０１を作動させる２０１〜２０２。探索に関係する動作中、プロジェクタ１２１は、その出力画像におけるそれぞれの画素について、一意の時間的に連続する光度（temporal sequence of light intensities）、すなわち光線１３２を生成する。すべて参照により本明細書に援用される、Grayによる１９５３年３月１７日の米国特許第２，６３２，０５８号「Pulse Code Communication」、Lee他によって２００３年８月６日に出願された米国特許出願第１０／６３５，４０４号「Method and System for Calibrating Projectors to Arbitrarily Shaped Surfaces With Discrete Optical Sensors Mounted at the Surfaces」、およびDietz他によって２００３年１１月７日に出願された米国特許出願第１０／７０４，０９８号「Light Pen System for Pixel-Based Displays」を参照されたい。本質的に（In essence：要するに）、この時間的連続によって、プロジェクタの像平面１４１に関する画素の位置が符号化される。
【００４５】
光センサは、単一の投影画素１４４と略同じ大きさであるかまたはそれよりも小さいので、特定の画素１４４がプロジェクタによって照明されると、センサ１１２はその一意の時間的に連続する光度を検知する２０３。マイクロコントローラはこの連続する光度を処理し、従来のＤＳＰおよびパルス整形機能を用いて一連のバイナリビットに変換する。
【００４６】
次に、出力信号１３３の受信および特定の画素１４４の一意の時間的に連続する光度１３４の検知に応答して、トランスデューサ１１１によって生成された２０４、トランシーバ１２３用の入力信号１３３が、検知した一意の時間的に連続する光度に従って調整されて、タグの位置１５２をコントローラに知らせる。タグはまた、タグの識別情報１５１を［ｔａｇ−ｉｄ，（ｘ，ｙ）］としてトランシーバ１２３用の入力信号１３３に送り返してもよい。位置および識別情報は、タグ近傍のいかなる他の受信機が受信してもよい、ということが留意されるべきである。
【００４７】
プロジェクタとタグとの間の距離が非常に短い場合には、センサが複数の画素を検知する可能性がある、ということが留意されるべきである。これは位置精度を下げるだけであり、システムの機能性を妨げるものではない。
【００４８】
タグ１０１の幾何学的形状の２Ｄまたは３Ｄ座標をより正確に判定する方法の詳細は、次のとおりである。
【００４９】
タグがオブジェクト上または環境における実質的に既知の位置、例えばオブジェクトの頂点、に配置されていると仮定する。しかし、次のオーグメンテーションにはより正確な位置が必要である。上記の項で、コントローラ１０２に関する個々のタグの３Ｄ位置を判定することができる。しかしこの手法は、個々の計算における誤差のために、共通の座標系における複数のタグの位置を判定するには不適切になってしまう可能性がある。
【００５０】
したがって、本発明者らは、動画像からの三次元復元に基づいた方法のほうがよいと考える。このフレームワークの下では、出力画像１３１における２Ｄフィーチャ（features：特徴）の位置は、３Ｄ空間における座標、プロジェクタとタグとの３Ｄ相対運動、およびプロジェクタ内部の幾何学的形状によって決まる。本発明者らはまず、両方の視点を、或るワールド座標系に関してキャリブレーションし、系の基本行列を抽出することによって、いわゆるエピポーラ幾何を判定し、これから、撮像シーンの三次元ユークリッド構造を計算する。どちらの手法においても、基礎をなす両眼視の原理は三角分割の原理である。単眼視では、いかなる可視オブジェクト点の三次元位置も、投影の中心とその点の画像とを通る直線上にあるはずである。２つの互いに独立した視野（views：視点）から生成したそのような直線２つの交点の算出を、三角分割と呼ぶ。
【００５１】
タグ１０１に関するコントローラ１０２の所与の配置について、上述のグレイコード投影の方法を用いて、ｍ個のタグそれぞれを照明するプロジェクタ画素ｘｉ，ｉ＝１，・・・，ｍを決定したい。本発明者らは、ハンドヘルドコントローラ１０２のＮ個の別個の配置について、タグの照明を繰り返す。これが以下のコンピュータビジョン（computer vision：計算機視覚）の問題へと化す。本発明者らは、ｍ個のマッチする（matched）フィーチャのＮ個の視野から、構造を計算する。
【００５２】
本発明者らは、２つの視野の間の基本行列Ｅを決定する。この基本行列は、３Ｄにおける或る点と、この２つの視野についての投影の各中心との間の関係を表す。本発明者らは、ユークリッド座標系とタグの３Ｄ位置とを初期化する。次の視野がそれぞれカルマンフィルタを用いて処理され、タグの３Ｄ位置を更新する。次に、本発明者らはバンドル調整を適用して、最終結果を改良する。バンドル調整の主要目的は、二次元画像の測定値から各点の三次元座標を最適に判定するということである。
【００５３】
本発明者らは、慣性センサ１２５の傾斜を用いて、座標系をワールド座標系と垂直に整列した系（world vertically aligned system）に変換する。デローニー三角分割を用いて、タグ頂点の３Ｄメッシュ、したがって表面ファセット（facets）を構築する。計算した幾何学的形状および連結性（連結数、connectivity）はすべて、タグ１０１に記憶される。
【００５４】
プロジェクタは次に、次のようにオブジェクト座標系における自らの姿勢を発見する。本発明者らは、上述のように、タグを照明し、グレイコード投影法によってそれぞれのタグを照明するプロジェクタ画素ｘｉを発見する。本発明者らは、それぞれのタグに記憶されている３Ｄ座標Ｘｉを検索する。これがさらにまた、通常の（standard：標準の）コンピュータビジョンの問題へと化し、プロジェクタ１２１への修正が不要となり、プロジェクタ１２１はピンホール装置として扱われる。本発明者らは、２Ｄ−３Ｄ相関関係（correspondences）（ｘｉ，Ｘｉ）を与えられてプロジェクタの姿勢を判定する。本発明者らは、プロジェクタの内部パラメータを与えられて、４つの相関関係を用いてプロジェクタの姿勢を判定する。
【００５５】
プロジェクタにおける位置検知
カメラ１２２は、投影光パターン１３２の入力画像１３７を取得して、プロジェクタの像平面１４１における投影グレイコードとカメラの像平面１４２の座標との相関関係を見出すことができる。キャリブレーションされたプロジェクタ−カメラシステムを有し、プロジェクタの像平面１４１上およびカメラの像平面１４２上でのタグの画素位置を知ることによって、タグの３Ｄ位置を三角分割によって判定することができる。３Ｄ座標系におけるプロジェクタの姿勢は、キャリブレーション情報の必要不可欠な（integral）部分として利用できる。
【００５６】
安定した投影
プロジェクタおよびタグが３Ｄ座標系にある状態で、プロジェクタは画像を表面１４０上の指定位置に投影することができる。しかし、ハンドヘルドコントローラが手の動きで小刻みに動くことによって、投影も小刻みに動いてしまう可能性がある。したがって本発明は、投影を安定化させる手段を提供する。
【００５７】
本発明者らは、２００４年３月３日にRaskar他に対して発行された米国特許第６，７０９，１１６号「Shape-Adaptive Projector System」において説明されているスキューその他の表面形状を有する平面上への投影を可能にする。プロジェクタの姿勢を取得する方法は３つある。
【００５８】
第１の方法は、カメラ１２２によって取得される、テクスチャー加工していない（untextured）平面１４０の画像に基づく。これによって、その平面内での未知の平行移動およびその平面の垂線（plane normal）を中心とする未知の回転移動に添った（up to）、その平面に関する姿勢が提供される。
【００５９】
第２の方法は、いくらかの表面テクスチャを有する平面、例えば一般的な位置において４つ以上の点またはそれと同等のもの、を見るカメラに基づく。これによって、表面１４０に関するプロジェクタのフルの姿勢が提供される。
【００６０】
第３の方法は慣性センサ１２５を用い、これによって、連続する時間段階同士の間の推定（estimate）姿勢変化が提供される。
【００６１】
姿勢の判定後、投影光線１３２を安定化することができる。
【００６２】
擬似安定化投影
擬似安定化は、投影の形態、すなわち形状および向きは保存するが、プロジェクタの動きに従ってその平面内で平行移動できるようにする。
【００６３】
カメラ１２２が取得した４つのレーザポイント１３４の画像を用いて、その平面内での未知の平行移動およびその平面の垂線を中心とする未知の回転移動に添った、表示面１４０に関するプロジェクタの姿勢を判定する。入力画像１３７において検出されるレーザポイントにカルマンフィルタを適用することによって、平滑化を行うことができる。
【００６４】
慣性センサ１２５を用いて重力の方向を判定する。これは、水平でない平面について、鉛直平面の垂線を中心とする未知の回転移動を固定するのに役立つ。
【００６５】
その平面内での未知の平行移動に添ったプロジェクタの姿勢が与えられれば、これがその平面上での所望の大きさおよび向きの投影を生成するのに必要な情報のすべてである。
【００６６】
コントローラに組み込まれた慣性センサ１２５は、コントローラの姿勢変化を推定して、レーザポイント１３４についての新しい座標を推定し、次に上記のように続行する。
【００６７】
絶対安定化投影
絶対安定化によって、投影は表示面１４０上で静止状態に保たれ、プロジェクタの動きは完全に除外される。絶対安定化は、カメラ１２２が平面の表示面上の一般的な位置における投影表面上の４つ以上の固定点またはそれと同等のものを見ている場合に可能である。
【００６８】
目標は、プロジェクタの像平面と表面上の座標系との間のホモグラフィＨＰＳを見出すことである。ホモグラフィＨＰＳはプロジェクタの像平面１４１上のそれぞれの画素と表示面１４０上の既知の座標系との間のマッピングを指定しているので、生の画像データをプロジェクタの像平面にワーピングして表面１４０上に所望の投影を行うことは簡単である。
【００６９】
以下は、表面テクスチャを用いてカメラの像平面１４２と表示面１４０の座標系との間のホモグラフィＨＣＳを決定する各段階を説明する。まず、タグ−コントローラシステム１００によって投影される４つのレーザポイントのカメラビューを用いて、その表面によって誘導されるカメラの像平面とプロジェクタの像平面との間のホモグラフィＨＣＰを決定する。
【００７０】
プロジェクタの像平面１４１と表示面１４０上の座標系との間の必要なホモグラフィを、ＨＰＳ＝ＨＣＳＨ−１ＰＣと決定する。平滑化と慣性センサ測定値の組込みとは、上述の擬似安定化に関するものである。
【００７１】
インタラクティブ投影
「インタラクティブ投影」という用語は、投影画像データ１３２との「マウススタイル」のインタラクションを意味するのに用いる。投影に対してポインティングを行う（do pointing）機能は、ハンドヘルドプロジェクタシステム上のタッチパッドで、またはポインタ１２６とは別個のレーザポインタで実現することができる。しかしそのようなインタラクティブ形式は、小型コントローラや片手だけを使うインタラクティブ操作とは相反する。
【００７２】
その代わりに本発明者らは、コントローラ１０２を持っているほうの手の動きを用いて、安定化した投影全体にわたってカーソルを追跡する方法を説明する。コントローラ１０２は、マウスのように、表示されたカーソルが所望ポイントにあるときに選択するためのボタン１２７を２つ有する。
【００７３】
上述のようにインタラクティブ投影は絶対安定化を用い、したがって表面がいくらかテクスチャを有することが必要である。このインタラクティブ投影を説明するのに、概念上本発明者らは２つのタイプの投影を有する、ということにまず留意されたい。
【００７４】
第１のタイプの投影は、プロジェクタの像平面１４１上の静的データであり、プロジェクタが動くにつれて、表示面上の投影も直接相関して動くようになっている。絶対安定化について前項で導入した第２のタイプの投影は、プロジェクタの像平面１４１上のデータを継続的に更新することによって取得される、表示面上の静的データであり、プロジェクタの動きの影響は除外される。
【００７５】
ここで、両方のタイプの投影は同時に行うことができる、ということに留意されたい。本発明者らは、「デスクトップ」環境等のなんらかの必要な内容（content）に絶対安定化を適用する。この結果、プロジェクタの像平面上の内容が動的に更新される。しかし本発明者らはまた、常にカーソルアイコンをプロジェクタの像平面１４１の中心の同じ固定画素のところに設定する。したがって、プロジェクタが動くにつれて、ユーザには「デスクトップ」環境の静的投影が見え、カーソルがその全体にわたって追跡を行う。さらに、カーソルの動きはハンドヘルドコントローラの動きを追うので、ユーザにとって自然なインタラクションである。ポインティングを行う機能を有して、投影はインタラクティブ（interactive）になる。実際には、「ＷＩＭＰ」インターフェースからの標準のマウスインタラクションがすべて可能である。
【００７６】
本発明者らのシステムの相違点のひとつは、カーソルを用いて、投影内容において選択されたものと物理的世界における現実のテクスチャについて選択されたもののどちらかを示すことができる、ということである。これにより、新しいタイプのインタラクションの可能性がもたらされる。さらなる詳細については、参照により本明細書に援用される、Beardsley他によって２００３年８月７日に出願された米国特許出願第１０／６３６，３５６号「Projector as an Input and Output Device」を参照されたい。
【００７７】
投影内容とのインタラクション
オプションの選択
この用途において、ユーザは「在庫が耐用年数まであとどれくらいか」等の標準のクエリーの実行を所望する。これは、安定化した投影画像上にメニューまたはボタンを有して通常の方法でカーソルで選択することによって行うことができる。
【００７８】
タグ選択
プロジェクタ光線１３２におけるタグは、投影オーグメンテーションによって強調され、自らの位置をユーザに知らせる。オーグメンテーションは、それぞれのタグのすぐ隣に選択アイコンを示してもよい。カーソルは選択アイコンまで追跡され、ボタン１２７を押すことによってその項目の状態が切り替わる。
【００７９】
または、カーソルを用いてクリックアンドドラッグ操作によって長方形の対象領域（ＲＯＩ）を選択して、複数のタグを同時に選択してもよい。選択した長方形の安定した視野は、その選択についての視覚フィードバックを提供する。
【００８０】
オーグメンテーションの配置の制御
ユーザは、カーソルを用いて投影オーグメンテーションにおける個々の項目を「取り込み（grab）」、好ましいレイアウトになるよう動かすことができる。これは、そのシーンの入力画像をカメラ１２２で取得することによって行うことができる。
【００８１】
物理（Physical）テクスチャとのインタラクション
カーソルを用いて、カメラ１２２が見るシーンにおける物理テクスチャの１つの点または領域を示すことができる。テクスチャをカメラが取得しさらに処理することができる。本発明者らは、データ項目を環境にアタッチし選択したテクスチャをコピーペーストする「テクスチャキー」を以下で説明している。
【００８２】
倉庫の用途
倉庫管理者は、システム１００を用いて食品に注釈をつけことができ、それとは別の従業員が次にその注釈を検索することができる。より詳細には、管理者はまず出力信号１３１を用いて選択したタグを作動させ、次にコントローラ１０２を用いて、２日以内に期限切れになる食品を見つける「find-products」というクエリーを、出力信号１３１を用いて選択し送信する。上述のように、選択は投影メニューまたはボタンによって行われる。
【００８３】
プロジェクタ光線１３２内にあるタグは、自らの有効期限を調べ、自らの期限切れステータスの入力信号１３３をコントローラ１０２に送信し戻す。コントローラは上述のように照明されたタグすべての３Ｄ位置を判定し、例えば期限切れになろうとはしていないオブジェクトまたはタグ上には緑色の円を、それ以外の物の上には赤色の円を投影する。
【００８４】
次に管理者は、上述のように、個々のタグ選択または領域選択のいずれかによって赤色の丸で囲んだオブジェクトの部分集合を選択してもよく、円形の照明は青色に変わる。それ以外のタグ上の赤色および緑色の円は、ずっと物理的表面上で安定したままである。管理者は、削除するための「mark-selected-objects」という要求を選択し送信し、選択したタグがその要求を内部に記録する。次のユーザは、「show-items-requiring-action」というクエリーを選択し送信する。プロジェクタ１２１は、注釈をつけた項目すべてを色のついた円で照明し、投影オーグメンテーションは、実際の注釈をつけた指示を示す。
【００８５】
より高レベルの機能
単一のタグ
タグが単一であれば、まずタグを最初に光で照明してそのタグを選択することによって、特定のタグを検出することが可能である。次に、入力信号１３３を用いてそのタグを読み取ることができる。タグのメモリ１１３に記憶されているデータは更新することができる。コントローラ１０２はまた、タグを取り囲む環境の画像および幾何学的形状を記憶することによってタグのローカルコンテキストを記憶することができ、次にタグを追跡することができる。
【００８６】
単一の剛体上の複数のタグ
この機能によって、複数の方向からプロジェクタのインタラクションが可能になる。オブジェクト中心の系におけるタグの３Ｄ位置が判定される。寸法および向きのデータは、３Ｄタグデータに基づいてオブジェクトと関連づけられる。タグ隣接情報が記憶される。オブジェクト表面についての視野依存の画像テクスチャが記憶される。オブジェクト座標系においてタグを照明しているプロジェクタの姿勢が計算される。長時間尺度の非剛性、例えば成熟（growth）だけでなく、短時間尺度の非剛性、例えば在庫のつぶれも検出することができる。また、傾斜等の幾何学的形状の履歴も記憶することができる。
【００８７】
タグをつけたオブジェクト同士のインタラクション
この機能は、隣接するオブジェクト同士の中での配置の履歴を記録し、異なるオブジェクト上のタグ同士を区別し、または単一の論理的もしくは物理的グループにおけるタグとインタラクションすることができる。
【００８８】
配布タグ
本用途において、大型の壁、床、天井、およびオブジェクト等の環境においてタグが配布される。このようにして、タグはその場限りの（ad-hoc：アドホック型）マーカとして用いられて日々の変化を追跡し、環境の構造または空間配列（topology：トポロジー）を判定する。算出した構造は、環境における表面上に表示することができる。
【００８９】
幾何学的構成
本用途において、１つのオブジェクト上の１組のタグの３Ｄ座標が判定される。例えば、そのオブジェクトは新しく製造したオブジェクトであり、次のオーグメンテーションおよびインタラクションのためにはメモリ１１３のデータの初期化が必要である。タグの位置は三角分割によって判定することができるが、個々の計算における誤差のために、この手法は、共通の基準系における複数のタグの位置を判定するには不適切になってしまう。したがって本発明者らは、上述のようにこの手法を動画像からの三次元復元に基づいて用いる。
【００９０】
ローカルコンテキストの記憶
本発明者らは、コントローラ１０２を用いてタグの周りの領域について画像テクスチャのコンテキストを取得することができる。このコンテキストの、歪みのないバージョンをタグ１０１とともに（with）記憶し、次に何らかの任意の視点から用いるために検索することができる。別の例において、記憶している画像テクスチャを用いてローカルコンテキストにおける変化を検出する。
【００９１】
この機能を果たす各段階には、タグ近傍の画像テクスチャを収集すること、および画像テクスチャを正規化して（normalizing）遠近効果等の視点依存性を除去することが含まれる。画像テクスチャは必要に応じて処理することができ、テクスチャおよびメタデータはタグ１０１とともに記憶することができる。
【００９２】
取得したテクスチャは、タグの周りの大きさを固定した領域の領域についてであってもよく、デローニー三角分割を計算した、複数のタグのついたオブジェクトについてであってもよい。テクスチャは、個々のメッシュファセット（mesh facets）についてであってもよい。検索中、オブジェクトを任意の視点から見ることができ、テクスチャをその正確な位置に再投影することができる。タグの位置が変形している場合には、本明細書において説明するように変形量をはっきりと求めることができるか、または、下にある画像をワーピングしてタグ頂点とマッチさせてもよい。
【００９３】
幾何学的グループ分け（Grouping：グループ）
１組のタグは、その上にタグを配置したオブジェクトの固定したまたは変化する特性に従って、いくつかのグループのタグに分けることができる。タグの組には、例えば、連結したオブジェクト、例えば蝶番のついたパネルや脱着可能な部品を有するオブジェクトの上のタグ等、サブグループに再分類すると有用なものがある。そのようなグループが分かっていることによって、オーグメンテーションをオブジェクトの現在の状態、例えばドアが開いている、内部の引出しが少し引き出されている、等に正しく適合させることができる。互いに全く別個のオブジェクト上にある初期化していないタグをグループ分けすることは、より困難な問題である。本発明者らは、個々のオブジェクトを物理的に隔離することなく、統一性のある（coherent）剛体運動を観察することによってオブジェクト当たりのタグをクラスタリングする。
【００９４】
本発明者らは、２つのおそらく互いに異なる視野からの２つの互いに異なるインスタンス（instances）におけるタグの３Ｄ位置Ｘｉ、Ｘ’ｉを検出する。本発明者らは、類似性行列に基づく手法を用いて、この２つの視野におけるタグ変位（Ｘｉ−Ｘ’ｉ）を分割する。Weiss著「Segmentation using eigenvectors: a unifying view」, CVPR, pp. 975-982, 1999を参照されたい。類似性行列Ｗは、
【００９５】
【数１】
2008505374.tif 000003
【００９６】
によって与えられる対称行列である（ただしｄ（ｕ，ｖ）＝（｜Ｘｕ−Ｘ’ｕ｜−｜Ｘｖ−Ｘ’ｖ｜）２、ｓ＝ｍａｘ（｜Ｘｕ−Ｘ’ｕ｜）である）。Ｗの最大固有値に対応する固有ベクトルの大きな値によって、主要（dominant）グループについてのクラスタリングが行われる。
【００９７】
幾何学的変形
本発明者らはまた、１組のタグにおける非剛性変形（non-rigid deformation）も検出することができる。この方法で、タグを搭載したオブジェクトの表面における変化を検出することができる。これは、変化を検出し強調するのに有用になり得る。例示的用途としては、出荷中の圧力による損傷の検出、成熟の追跡、または湿気や熱による変形の監視が含まれる。
【００９８】
本明細書において説明するように、それぞれのタグは、自らの３Ｄ位置と取得した予備変形（pre-deformation：変形前状態）とを記憶している。歪みのない３Ｄ位置Ｘｉと現在見えているタグ（current view of the tags）との間の非剛性変化を検出する手続きは、以下の各段階を含む。
【００９９】
プロジェクタの像平面上のタグ位置ｘｉを求めて相関関係（ｘｉ，Ｘｉ）を得る。
【０１００】
ＲＡＮＳＡＣ法を用いて、このフルの組（ｘｉ，Ｘｉ）から４つの相関関係のサブサンプルを取る。Fischler他著「RANSAC: Random Sample Consensus: a paradigm for model fitting with application to image analysis and automated cartography」, Commun. Assoc. Comp. Mach., Vol 24, 1981を参照されたい。
【０１０１】
サブサンプルからプロジェクタの姿勢Ｇ’を推定する。この解、すなわちしきい値ｄよりも小さい再投影誤差｜ｘｉ−Ｇ’Ｘｉ｜を有する解、に至る内在する（inlying）相関関係を求める。
【０１０２】
内在する相関関係（inliers）が最大数の状態に姿勢Ｇを保持して、ｎ個のランダムサブサンプルについて続行する。姿勢Ｇと内在する相関関係とを求めた後、共分散マトリクスＢ＝（Ｘ’ｉ−（−）Ｘ’ｉ）（Ｘｉ−（−）Ｘｉ）を分解することによって２つの座標系の間の内在する相関関係の剛性変換（rigid transform）［Ｒ  Ｔ］を推定することにより、新しい３Ｄタグ位置Ｘｉ’が求められる。回転移動はＲ＝ＶＵＴであり、ｔ＝（−）Ｘｉ−（−）Ｘ’ｉである（ただし、特異値の分解はＢ＝ＵＤＶである）。Horn, Robot Vision, MIT Press, 1986を参照されたい。なお、（−）Ｘは、Ｘの上に−があることを表す。
【０１０３】
テクスチャキー
インタラクティブ投影は、電子データを環境における比較的任意の位置に添付し（attach）検索する簡単な方法をサポートする。ユーザが、ハンドヘルドシステム１００を用いて何らかのデータを例えば光スイッチ（light switch）に添付したいと思っていると仮定する。次の機会に、ユーザはハンドヘルドプロジェクタを光スイッチに向け、記憶データの投影を自動的に提供される。これは以下の方法で行われる。
【０１０４】
ユーザは、プロジェクタを光スイッチに向け、領域選択を用いてそのスイッチの長方形のＲＯＩの輪郭を描く。そのＲＯＩについてのカメラ画像データ、すなわち「テクスチャキー」が、データ項目とともに記憶される。次の訪問（visit）で、ユーザは再びその光スイッチの周りのＲＯＩを選択する。テンプレートマッチングによって、この新しいＲＯＩについての画像データが、記憶されているすべてのテクスチャキーとマッチングされ、ベストマッチに関連するデータ項目が表面上に投影される。インタラクティブ投影によって、ユーザは、データ項目の鍵として用いるのに必要な領域のテクスチャのみの輪郭を描くことができる。テンプレートマッチングは、基本的なマッチング技法であり、２Ｄテクスチャで最良に機能し、いくぶん視点依存である。実際には、選択した物理テクスチャだけでなく視点によっても電子項目（electronic items）を検索する意図であれば、視点依存技法でのマッチングは許容できる。いずれにせよ、他のマッチング技法を代用とする（substitute）のは簡単である。
【０１０５】
コピーペースト
環境において用いるインタラクティブ投影の別の例として、コピーアンドペーストがある。本発明者らは、カメラ１２２を用いてシーンテクスチャを取得し、これを正規化して視点依存性を除去して、このテクスチャを歪みなしで新しい表面上にペーストする。
【０１０６】
長方形のＲＯＩを選択する上述した方法を含む、コピーの対象物理領域を選択するための複数の方法がある。ここでは簡単な方法を説明する。平面の表面上の投影四辺形の内側の、最大の垂直整列内接長方形が、コピー領域を画定する。
【０１０７】
コピーアンドペーストの各段階には、表示面上の投影四辺形の頂点の３Ｄ座標を判定すること、慣性センサ１２５から取得したワールド座標系の縦軸（world vertical）に整列する、投影四辺形の内側の最大内接長方形Ｓを求めること、カメラの像平面へのＳの投影を求めることが含まれる。ワーピングを組み込んでＳについての画像テクスチャを記憶して、正しいアスペクト比の長方形を取得する。新しい位置におけるペーストについては、上述の表示面上の内接四角形を求める。この長方形を中心とする記憶テクスチャを投影する。
【０１０８】
測光補償（Photometric Compensation）
測光補償を用いて、「ペーストした」画像をコピーのテクスチャにできるだけ近くマッチさせることができる。関連する要因には、距離および向きに起因する減衰と、表面反射率の２つがある。特定の表面点におけるプロジェクタの照度は、光線に沿ったプロジェクタと表面との距離および投影光線の入射角の関数である。入射角の最も大きい表面点が、最も暗いプロジェクタ照度になる。これによって、投影についての輝度（brightness）限界が設定される。次に本発明者らは、画像の残りに画素当たりの減衰マップを適用して、均一な照明を行う。
【０１０９】
プロジェクタの姿勢Ｇ＝［ｒ１ｒ２ｒ３ｔ］について、プロジェクタの像平面と物理的表面との間のホモグラフィはＨＰ＝［ｒ１ｒ２ｔ］である。プロジェクタ画素ｘは、３Ｄ点Ｘ＝（Ｘ，Ｙ，０）にマッピングする（ただし、（Ｘ，Ｙ，１）〜＝（ＨＰ）−１ｘである）。プロジェクタの光線とＸにおける表面の垂線のなす角度は、
θ＝ｃｏｓ−１（Ｖ・（０，０，１））
である。ただし、プロジェクタの光線はＶ＝（−Ｒ’ｔ−Ｘ）／｜（−Ｒ’ｔ−Ｘ）｜である。最大入射角がθｍである場合には、あらゆるプロジェクタ画素ｘにおける減衰はｃｏｓ（θｍ）／Ｖｚである。ただし、Ｖｚは上式で与えられたベクトルＶのｚ番目の成分である。
【０１１０】
本発明者らは、この減衰を簡単なピクセルシェーダ手続きで行う。反射率の補償については、本発明者らは、ペースト操作後のコピーしたテクスチャと照明表面の視野とは両方とも同じカメラ１２２によって取得されるということに留意することによって、はっきりとしたアルベド計算を回避する。本発明者らは、プロジェクタ１２１によって２つの互いに異なる照度についてペースト表面の画像を取得する。この２つの照度Ｌ１、Ｌ２の下で所与のカメラ画素についてカメラの輝度（intensities）Ｉ１、Ｉ２および目標ペースト強度ＩＴが与えられたとすると、必要な線形内挿プロジェクタ照度はＬ＝Ｌ１＋ｋ（Ｌ２−Ｌ１）である（ただしｋ＝（ＩＴ−Ｉ１）／（Ｉ２−Ｉ１）である）。カラー画像については、本発明者らは、それぞれのカラーチャネルにおいて別個に補正を適用する。
【０１１１】
革新的な表示
さらに、タグ１０１に環境センサ１１５、例えば温度計、を備えてもよい。そのようなタグを次に環境内に配布してもよい。タグは選択的に読み取ることができ、さまざまなセンサにおける温度をその環境において表示し直すことができる。
【０１１２】
自動梱包
タグは、タグが取り付けられたオブジェクトの物理特性を記憶することができる。この場合、センサは慣性センサ１２５と同様であってもよい。この方法で、自動梱包システムはオブジェクトを選択しそのようなオブジェクトをその物理特性および向きに従って梱包することができる。
【０１１３】
製品のオーグメンテーション
インタラクティブ投影は、小売店において製品のオーグメンテーションを行って動的表示を提供することができる。プロジェクタは大型スクリーンよりも配置が容易であり、物理的製品の上に表示し物理的製品と交互に配置することができる。ユーザが配置するタグが投影領域の輪郭になり、プロジェクタは、タグをつけた製品の存在に従って投影をカスタマイズすることができる。例えば、スポーツシューズの陳列で個々の靴を強調し、タグをつけた製品がなくなったり位置が変わると動的に更新される。
【０１１４】
自律ロボティクス
例えば真空掃除機等の自律ロボットは、工場、機関（institutions）、および家庭においてより一般的になってきている。しかし自律ロボットは、任意環境において問題に直面している。本明細書において説明するタグを用いて、出入り口等の環境コンテキストとその他可動オブジェクトの両方の３Ｄコンテキストをロボットに知らせることができる。重要な補助（supplemental）タスクとして、ユーザは、ハンドヘルドシステム１００でタグをつけた領域に照会することによってタグをつけた領域を検証し、そのロボットについて設定が正しいということを保証することができ、タグ配置のいかなる必要な更新も簡単である。
【０１１５】
本発明を好ましい実施形態の例によって説明したが、本発明の精神および範囲内でさまざまな他の適合および変更を行ってもよい、ということが理解されなければならない。したがって、特許請求の範囲の目的は、本発明の真の精神および範囲内にあるそのような変形および変更をすべて包含するということである。
【図面の簡単な説明】
【０１１６】
【図１】本発明によるインタラクティブタグ探索および識別システムのブロック図である。
【図２】本発明によるタグデータを検知する方法のフロー図である。
【図１】
2008505374.tif 000004
【図２】
2008505374.tif 000005
【国際調査報告】
2008505374.tif 000006
2008505374.tif 000007
2008505374.tif 000008