(57)【特許請求の範囲】
【請求項１】
処理ユニットとメモリとプロジェクタとを備える計算処理システムが実行する方法であって、
ａ．前記処理ユニットが、ピクセル座標によって特徴づけられる複数の画像ピクセルの各画像ピクセルに対して、前記各画像ピクセルの色を表す色値を少なくとも１つ備える画像データを受信し、
ｂ．前記処理ユニットが、前記複数の画像ピクセルの各画像ピクセルに対して、時間的なプロジェクタ光信号であって、前記各画像ピクセルの前記ピクセル座標で符号化された時間的位置情報セグメントと、前記複数の画像ピクセルの前記各画像ピクセルの色を投影面上に再現するように構成された色補正セグメントとを備え、前記色補正セグメントは、複数の光の色に対応する、連続する複数の光パルスを備え、前記連続する複数の光パルス内の光パルスは、対応する前記画像ピクセルの前記色値に基づいて決定される幅を有する、時間的なプロジェクタ光信号を前記プロジェクタに投影させて、前記投影面上に画像の投影像を生成する、
方法。
【請求項２】
前記ピクセル座標は画像内のピクセル位置を記述する、請求項１に記載の方法。
【請求項３】
前記ピクセル座標は前記プロジェクタの座標系内でのピクセル位置を記述する、請求項１に記載の方法。
【請求項４】
前記時間的位置情報セグメントは、連続する複数の光パルスから成るシーケンシャルバイナリコードを利用して前記ピクセル座標で符号化される、請求項１から請求項３のいずれか一項に記載の方法。
【請求項５】
前記シーケンシャルバイナリコードにおいて、第１のビットは、第１の休止が後に続く、第１の光パルスによって表され、第２のビットは、第２の光パルスが後に続く、第２の休止によって表される、請求項４に記載の方法。
【請求項６】
前記時間的位置情報セグメントの前記連続する複数の光パルスは、白色光を利用して生成される、請求項４に記載の方法。
【請求項７】
前記色補正セグメントの前記連続する複数の光パルスは、赤色光パルスと緑色光パルスと青色光パルスとからなり、前記赤色光パルスと前記緑色光パルスと前記青色光パルスの幅は、対応する前記画像ピクセルのＲＧＢカラー空間における前記色値に基づいて決定される、請求項１から請求項６のいずれか一項に記載の方法。
【請求項８】
前記プロジェクタの照射領域内に配置されたモバイル装置を利用して前記時間的なプロジェクタ光信号を検出し、検出された前記時間的なプロジェクタ光信号の前記時間的位置情報セグメントに基づいて前記モバイル装置の位置を判定することを更に含む、請求項１から請求項７のいずれか一項に記載の方法。
【請求項９】
判定された前記モバイル装置の位置を利用して、前記計算処理システムまたは前記モバイル装置に所定の動作をさせることを更に含む、請求項８に記載の方法。
【請求項１０】
ａ．ピクセル座標によって特徴づけられる複数の画像ピクセルの各画像ピクセルに対して、前記各画像ピクセルの色を表す色値を少なくとも１つ備える画像データを受信し、
ｂ．前記複数の画像ピクセルの各画像ピクセルに対して、時間的なプロジェクタ光信号であって、前記各画像ピクセルの前記ピクセル座標で符号化された時間的位置情報セグメントと、前記複数の画像ピクセルの前記各画像ピクセルの色を投影面上に再現するように構成された色補正セグメントとを備え、前記色補正セグメントは、複数の光の色に対応する、連続する複数の光パルスを備え、前記連続する複数の光パルス内の光パルスは、対応する前記画像ピクセルの前記色値に基づいて決定される幅を有する、時間的なプロジェクタ光信号をプロジェクタに投影させて、前記投影面上に画像の投影像を生成する、
ことをコンピュータに実行させるプログラム。
【請求項１１】
前記時間的位置情報セグメントは、連続する複数の光パルスから成るシーケンシャルバイナリコードを利用して前記ピクセル座標で符号化される、請求項１０に記載のプログラム。
【請求項１２】
前記シーケンシャルバイナリコードにおいて、第１のビットは、第１の休止が後に続く、第１の光パルスによって表され、第２のビットは、第２の光パルスが後に続く、第２の休止によって表される、請求項１１に記載のプログラム。
【請求項１３】
前記時間的位置情報セグメントの前記連続する複数の光パルスは、白色光を利用して生成される、請求項１１に記載のプログラム。
【請求項１４】
前記色補正セグメントの前記連続する複数の光パルスは、赤色光パルスと緑色光パルスと青色光パルスとからなり、前記赤色光パルスと前記緑色光パルスと前記青色光パルスの幅は、対応する前記画像ピクセルのＲＧＢカラー空間における前記色値に基づいて決定される、請求項１０から請求項１３のいずれか一項に記載のプログラム。
【請求項１５】
処理ユニットとプロジェクタと命令セットを格納するメモリとを備えるシステムであって、
前記命令セットは、
ａ．ピクセル座標によって特徴づけられる複数の画像ピクセルの各画像ピクセルに対して、前記各画像ピクセルの色を表す色値を少なくとも１つ備える画像データを受信し、
ｂ．前記複数の画像ピクセルの各画像ピクセルに対して、時間的なプロジェクタ光信号であって、前記各画像ピクセルの前記ピクセル座標で符号化された時間的位置情報セグメントと、前記複数の画像ピクセルの前記各画像ピクセルの色を投影面上に再現するように構成された色補正セグメントとを備え、前記色補正セグメントは、複数の光の色に対応する、連続する複数の光パルスを備え、前記連続する複数の光パルス内の光パルスは、対応する前記画像ピクセルの前記色値に基づいて決定される幅を有する、時間的なプロジェクタ光信号を前記プロジェクタに投影させて、前記投影面上に画像の投影像を生成する、
ことを前記処理ユニットに実行させる命令を含む、システム。
【請求項１６】
前記時間的位置情報セグメントは、連続する複数の光パルスから成るシーケンシャルバイナリコードを利用して前記ピクセル座標で符号化される、請求項１５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にユーザとコンピュータシステムとのインタラクションのためのシステム、方法及びプログラムに関し、より具体的には、インタラクティブ投影のための時間的ピクセル位置データと通常の画像投影との時間多重のシステム、方法及びプログラムに関する。
【背景技術】
【０００２】
ユーザとコンピュータのインタラクションシステムのためのアプリケーションは、例えばユーザのスマートフォンのようなある物体の位置の追跡を必要とするものが多い。例えば、ユーザは自分のスマートフォンを博物館や店舗の物品の横において、その物品に関する追加情報を得ようとすることがある。システムはその物品の追加的な情報を読み出してユーザに提供するために、ユーザのスマートフォン位置を追跡し、判定された位置を利用してユーザが関心を示している物品を識別する。同様なシステムを使用して、投影された公共のディスプレイとのユーザのインタラクションを可能とすることもできる。この場合ユーザインタフェースが面上に投影される。ユーザは自分のスマートフォンを用いてジェスチャを行うことにより、そのようなディスプレイとインタラクトする。
【０００３】
上記のユーザ−コンピュータのインタラクションシステムにおいて、ユーザのスマートフォン位置は、プロジェクタが生成する符号化された光を利用して判定される。当業者であれば分かるように、そのようなシステムを正しく機能させるためには、プロジェクタを実在する物体、モニタカメラ又はその他の追跡システムに対して登録しなければならない。
【０００４】
投影された拡張現実と拡張ワークテーブルに関しては、実在する物体、モニタカメラ又はその他の追跡システムに対してプロジェクタを登録する多くの異なる方法が研究者によって探索されてきた。当業者には理解されるように、通常の画像投影システムと追跡システムとを完全に位置合わせするためには、位置追跡用の信号と通常の画像とを同一の光学装置を通過させることが有利である。この手法によって、現実のシステム展開時に遭遇する問題点を大幅に低減することが可能となる。
【０００５】
例えば、Ｌｅｅらは、投影システムに可視チャネルの他に赤外（ＩＲ）チャネルを導入することによる追跡と投影の一体化を提案した。（非特許文献１を参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ジョニー・リー、スコット・ハドソン、ポール・ディエツ（Ｊｏｈｎｎｙ  Ｌｅｅ、Ｓｃｏｔｔ  Ｈｕｄｓｏｎ、Ｐａｕｌ  Ｄｉｅｔｚ）、「位置追跡のための赤外光と可視光の混成投影（Ｈｙｂｒｉｄ  ｉｎｆｒａｒｅｄ  ａｎｄ  ｖｉｓｉｂｌｅ  ｌｉｇｈｔ  ｐｒｏｊｅｃｔｉｏｎ  ｆｏｒ  ｌｏｃａｔｉｏｎ  ｔｒａｃｋｉｎｇ）」、ＵＩＳＴ’０７抄録（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２０ｔｈ  ａｎｎｕａｌ  ＡＣＭ  ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ  ｓｏｆｔｗａｒｅ  ａｎｄ  ｔｅｃｈｎｏｌｏｇｙ）、米国、ＡＣＭ、Ｐ５７−６０
【非特許文献２】ジョニー・リー（Ｊｏｎｎｙ  Ｌｅｅ）ら、「プロジェクタベースの追跡を利用した可動でインタラクティブな投影ディスプレイ（Ｍｏｖｅａｂｌｅ  ｉｎｔｅｒａｔｉｖｅ  ｐｒｏｊｅｃｔｅｄ  ｄｉｓｐｌａｙｓ  ｕｓｉｎｇ  ｐｒｏｊｅｃｔｏｒ  ｂａｓｅｄ  ｔｒａｃｋｉｎｇ）」、ＵＩＳＴ’０５抄録（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２０ｔｈ  ａｎｎｕａｌ  ＡＣＭ  ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ  ｓｏｆｔｗａｒｅ  ａｎｄ  ｔｅｃｈｎｏｌｏｇｙ）、米国、ＡＣＭ、Ｐ６３−７２
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、位置追跡用の信号と通常の画像とを同一の光学装置を通過させるこれまでのシステムでは、プロジェクタ用の光学装置の改造が必要であり、これは市販のプロジェクタシステムでは高価につくことが多い。さらに、光学装置の製造過程においては、追加のＩＲチャネルを可視光チャネルに対して完全に位置合わせする必要がある。当業者には理解されるように、これらのすべての光学装置の物理的変更は、光学装置製造における大幅なコスト増大につながる。
【０００８】
したがって、位置情報を伝える光信号に整列した画像生成光信号を有するプロジェクタを用いて位置符号化された画像信号を提供できるシステム及び方法、プログラムが必要となる。
【課題を解決するための手段】
【０００９】
本明細書に記載の実施形態の一態様によれば、処理ユニットとメモリとプロジェクタとを備える計算処理システムが実行する方法が提供される。この方法は、処理ユニットが、ピクセル座標によって特徴づけられる複数の画像ピクセルの各画像ピクセルに対して、各画像ピクセルの色を表す色値を少なくとも１つ備える画像データを受信する。また、処理ユニットが、複数の画像ピクセルの各画像ピクセルに対して、時間的なプロジェクタ光信号であって、各画像ピクセルのピクセル座標で符号化された時間的位置情報セグメントと、複数の画像ピクセルの各画像ピクセルの色を投影面上に再現するように構成された色補正セグメントとを備える時間的なプロジェクタ光信号をプロジェクタに投影させて、投影面上に画像の投影像を生成する。
【００１０】
一つ又は複数の実施形態において、ピクセル座標は画像内のピクセル位置を表す。
【００１１】
一つ又は複数の実施形態において、ピクセル座標はプロジェクタの座標系内でのピクセル位置を表す。
【００１２】
一つ又は複数の実施形態において、時間的位置情報セグメントは連続する複数の光パルスから成るシーケンシャルバイナリコードを利用してピクセル座標で符号化される。
【００１３】
一つ又は複数の実施形態において、シーケンシャルバイナリコードでは、第１のビットは第１の休止が後に続く第１の光パルスによって表され、第２のビットは第２の光パルスが後に続く第２の休止によって表される。
【００１４】
一つ又は複数の実施形態において、時間的位置情報セグメントの連続する複数の光パルスは、白色光を利用して生成される。
【００１５】
一つ又は複数の実施形態において、色補正セグメントは、複数の光の色に対応する、連続する複数の光パルスを備える。
【００１６】
一つ又は複数の実施形態において、連続する複数の光パルス内の光パルスは、対応する画像ピクセルの色値に基づいて決定される幅を有する。
【００１７】
一つ又は複数の実施形態において、連続する複数の光パルスは、赤色光パルスと緑色光パルスと青色光パルスとからなり、赤色光パルスと緑色光パルスと青色光パルスの幅は、ＲＧＢカラー空間における対応する画像ピクセルの色値に基づいて決定される。
【００１８】
一つ又は複数の実施形態において、この方法は、プロジェクタの照射領域内に配置されたモバイル装置を利用して時間的なプロジェクタ光信号を検出し、検出された時間的なプロジェクタ光信号の時間的位置情報セグメントに基づいてモバイル装置の位置を判定することを更に含む。
【００１９】
一つ又は複数の実施形態において、この方法は、判定されたモバイル装置の位置を利用して計算処理システムまたはモバイル装置に所定の動作をさせることを更に含む。
【００２０】
本明細書に記載の実施形態の別の態様によれば、コンピュータにより実行されるプログラムが提供される。このプログラムは、ピクセル座標によって特徴づけられる複数の画像ピクセルの各画像ピクセルに対して、各画像ピクセルの色を表す色値を少なくとも１つ備える画像データを受信することをコンピュータに実行させる。また、このプログラムはコンピュータに、複数の画像ピクセルの各画像ピクセルに対して、時間的なプロジェクタ光信号であって、各画像ピクセルのピクセル座標で符号化された時間的位置情報セグメントと、複数の画像ピクセルの各画像ピクセルの色を投影面上に再現するように構成された色補正セグメントとを備える時間的なプロジェクタ光信号をプロジェクタに投影させて、投影面上に画像の投影像を生成することを実行させる。
【００２１】
一つ又は複数の実施形態において、時間的位置情報セグメントは連続する複数の光パルスから成るシーケンシャルバイナリコードを利用してピクセル座標で符号化される。
【００２２】
一つ又は複数の実施形態において、シーケンシャルバイナリコードでは、第１のビットは第１の休止が後に続く第１の光パルスによって表され、第２のビットは第２の光パルスが後に続く第２の休止によって表される。
【００２３】
一つ又は複数の実施形態において、時間的位置情報セグメントの連続する複数の光パルスは白色光を利用して生成される。
【００２４】
一つ又は複数の実施形態において、色補正セグメントは複数の光の色に対応する連続する複数の光パルスを備える。
【００２５】
一つ又は複数の実施形態において、連続する複数の光パルス内の光パルスは対応する画像ピクセルの色値に基づいて決定される幅を有する。
【００２６】
一つ又は複数の実施形態において、連続する複数の光パルスは赤色光パルスと緑色光パルスと青色光パルスとからなり、赤色光パルスと緑色光パルスと青色光パルスの幅はＲＧＢカラー空間における対応する画像ピクセルの色値に基づいて決定される。
【００２７】
本明細書に記載の実施形態の更に別の態様によれば、処理ユニットとプロジェクタと命令セットを格納するメモリとを備えるシステムが提供される。この命令セットは、ピクセル座標によって特徴づけられる複数の画像ピクセルの各画像ピクセルに対して、各画像ピクセルの色を表す色値を少なくとも１つ備える画像データを受信し、複数の画像ピクセルの各画像ピクセルに対して、時間的なプロジェクタ光信号であって、各画像ピクセルのピクセル座標で符号化された時間的位置情報セグメントと、複数の画像ピクセルの各画像ピクセルの色を投影面上に再現するように構成された色補正セグメントとを備える時間的なプロジェクタ光信号をプロジェクタに投影させて、投影面上に画像の投影像を生成する、ことを処理ユニットに実行させる命令を含む。
【００２８】
一つ又は複数の実施形態において、時間的位置情報セグメントは連続する複数の光パルスから成るシーケンシャルバイナリコードを利用してピクセル座標で符号化される。
【００２９】
本発明に関するさらなる態様は、以下の説明で部分的に説明され、また説明から部分的に明白であり、又は本発明の実行により習得することができる。本発明の態様は、以下の詳細な説明及び添付の特許請求の範囲において特に指摘された要素、及び種々の要素と態様との組合せによって実現及び達成することができる。
【００３０】
上記及び以下の記述はいずれも単に例示及び説明を目的とするものであり、特許請求の範囲に記載の発明もしくはその適用をいかなる形であれ限定することは全く意図されていないことを理解されたい。
【発明の効果】
【００３１】
本明細書に記載の実施形態の一態様に従って、位置情報で符号化された投影画像光信号を生成するためのシステム、方法及びプログラムが提供される。一つ又は複数の実施形態において、時間的なピクセル位置データが通常の画像投影用の可視光信号の中に隠されている。当業者には理解されるように、本手法を用いると通常の画像プロジェクタの光学装置を変更する必要がなく、また受光側で可視光をフィルタで除外する必要もない。本明細書に記述するシステム、方法及びプログラムの実施形態により、ユーザは一つ又は複数のリング形の光受信機を利用して、同一のプロジェクタからの光を用いて生成される通常の画像コンテンツ上に、タッチ機能またはマルチタッチ機能を実装することが可能となる。
【００３２】
一つ又は複数の実施形態において、プロジェクタによって生成される時間的光信号は複数の時間セグメントに分けられる。様々な実施形態において、上記のセグメントには２つの異なるタイプのセグメントが含まれる。第１のタイプのセグメントは、プロジェクタ信号中に各ピクセルの時間的位置信号を搬送するために利用される。他方、第２のタイプのセグメントは各ピクセルの色の調整に利用される。当業者には理解されるように、各画像へ色調整セグメントが投影されることで、位置符号化された信号セグメントの存在にもかかわらず、通常画像の意味のある可視コンテンツを表示することが可能である。
【図面の簡単な説明】
【００３３】
本明細書に組み込まれ本明細書の一部をなす添付図面は、本発明の実施形態を例示し、説明と相俟って本発明技術の原理の説明及び例示に供する。
【図１】本明細書に記載の一つ又は複数の実施形態による、時間的なプロジェクタ光信号の例示的実施形態を示す図である。
【図２】デジタル光処理（ＤＬＰ）プロジェクタの一例示的実施形態を示す図であり、これを利用して、位置情報で符号化された投影画像光信号を生成するための本明細書に記載のシステム、方法及びプログラムの一実施形態が実装される。
【図３】ＤＬＰプロジェクタの３つの光源に印加される電気駆動信号と、それによって得られる位置情報で符号化された時間的なプロジェクタ光信号の例的実施形態を示す図である。
【図４】（ａ）及び（ｂ）は、本明細書に記載の位置情報で符号化された投影画像光信号を生成するためのシステム、方法及びプログラムの一つ又は複数の実施形態による、ＤＬＰプロジェクタ等のデジタル光処理（ＤＬＰ）プロジェクタで生成された２つの時間的光信号を示す図である。
【図５】本明細書に記載の、位置情報で符号化された投影画像光信号を生成するためのシステム、方法及びプログラムの一つ又は複数の実施形態を利用して実装された、ユーザ−コンピュータインタラクションシステムの例示的実施形態を示す図である。
【図６】位置情報で符号化された投影画像光信号を生成するための計算処理システムの例示的実施形態を示す図である。
【発明を実施するための形態】
【００３４】
以下の詳細な記述においては添付図面を参照する。ここで、同一の機能的要素は同様の参照番号で示される。前述の添付図面は、本発明の原理に整合する特定の実施形態および実装を例示するものであり、それに限定するためのものではない。これらの実装形態は、当業者による本発明の実行を可能とすべく詳細に記述される。また、他の実装も利用可能であること、及び本発明の範囲及び精神から逸脱することなく様々な要素の構造上の変更及び／又は代替が行われてもよいことを理解されたい。従って、以下の詳細な記述は本発明を制限するものとして解釈されるべきではない。さらに、説明される本発明の様々な実施形態は、汎用コンピュータ上で実行されるソフトウェア、専用ハードウェア、あるいはソフトウェアとハードウェアの組合せ、のいずれの形態において実施されてもよい。
【００３５】
図１は本明細書に記載の一つ又は複数の実施形態による、時間的なプロジェクタ光信号１００の例示的実施形態を示す図である。図１に示すように、例示的な時間的プロジェクタ光信号１００は位置情報を持った第１の時間セグメント１０１と第２の色補正時間セグメント１０２とを含んでいる。すなわち、時間的なプロジェクタ光信号１００において、ピクセル位置情報と通常の画像投影が時間多重されている。
【００３６】
一つ又は複数の実施形態において、位置情報はシーケンシャルバイナリコードを利用して位置情報セグメント１０１内に符号化される。一実施形態において、上記のバイナリコードは、０を表すのに「０１」のシーケンスを使用し、１を表すのに「１０」のシーケンスを使用して、セグメント１０１に符号化された位置情報とは無関係に、位置情報セグメント１０１がすべてのピクセルにおいて一定の輝度をもたらすようになっている。一つ又は複数の実施形態において、各ピクセルの位置情報セグメント１０１は、プロジェクタの照射領域内のピクセルの水平位置と垂直位置との２値で符号化される。ピクセルの符号化された座標は、画像座標系、プロジェクタ座標系、又は他の任意の座標系の座標であってよい。さらに、画像は上記の画像ピクセル以外の画像要素に分割されてもよいし、そのような画像要素の座標は位置情報セグメント１０１内に符号化されてもよい。一実施形態において、画像要素内の複数のピクセルに対応する位置情報セグメント１０１は同一であるかあるいは少なくとも同一の符号化された座標を持っている。
【００３７】
一つ又は複数の実施形態において、ピクセルの水平と垂直の座標の他に、位置情報セグメント１０１には、システムの識別情報（ＩＤ）、システム時間、日付、プロジェクタ又はシステムの全地球測位システム（ＧＰＳ）座標や、住所等のその他の位置情報等の特定の追加情報が符号化されていてもよい。
【００３８】
一つ又は複数の実施形態において、色補正セグメント１０２には投影されたピクセルが持つ色を補正するための連続する色補正パルス１０３、１０４、１０５が含まれる。そのために、投影されたピクセルの色は当業者には周知のパルス幅変調技術を利用した、色補正パルス１０３、１０４、１０５の相対的な幅によって決定される。具体的には、特定の色に対応するパルスの幅が広いほど、投影されたピクセル中にこの色がより多く存在するようになる。
【００３９】
一つ又は複数の実施形態において、色はＲＧＢ又は他の既知又は最新開発のカラー符号化法を利用して符号化されてもよい。したがって、本明細書で説明する本発明の概念は特定のカラー符号化方式に限定されるものではない。図１に示す３つの連続した色補正パルス１０３、１０４、１０５は、前述したＲＧＢ法等の三原色符号化方式に対応することに留意されたい。他方、カラー符号化に異なる数の原色を使う場合、カラー符号化方式における原色の数に一致するように、連続する色パルスの数が変わる。
【００４０】
一つ又は複数の実施形態において、色補正パルス１０３、１０４、１０５の幅は、当業者に周知のＲＧＢカラー符号化のような投影画像のピクセルカラー符号化方式における対応する色値に比例してもよい。例えば、投影画像内の１つのピクセルの色補正パルス１０３の幅は、そのピクセルのＲＧＢカラーコードにおける赤の色値に比例していてもよい。
【００４１】
一つ又は複数の実施形態において、カラー画像のコントラスト要件と位置追跡速度要件とに依存して、手動又はシステムによる自動で、位置情報セグメント１０１と色補正セグメント１０２の継続時間の比が調整されてもよい。別の実施形態においては、それぞれの位置情報セグメント１０１の後に、位置追跡速度要件に応じて、２、３、４、又はそれより多い数の色補正セグメント１０２が続いてもよい。
【００４２】
図２はデジタル光処理（ＤＬＰ）プロジェクタ２００の一例示的実施形態を示す図であり、これを利用して、位置情報が符号化された投影画像光信号を生成するための上記のシステム、方法及びプログラムの一実施形態が実装される。図２に示すＤＬＰプロジェクタ２００の実施形態には、３つの光源２０１、２０３、２０６が含まれている。これらは当業者に周知の発光ダイオード（ＬＥＤ）であってもよい。一つ又は複数の実施形態において、３つの光源２０１、２０３、２０６は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のような各原色に対応する。
【００４３】
３つの光源２０１、２０３、２０６で生成された光線はそれぞれの集光レンズ２０２、２０４、２０７を通過する。これはＬＥＤ２０１、２０３、２０６で生成された光を撮像装置へ向かわせる。得られる３つの光線はダイクロイックミラー２０５、２０８を使って結合され、得られた結合光線はリレーレンズ２０９、２１０を通って、内部全反射（ＴＩＲ）プリズム２１１（２つのプリズムの組み合わせ）によりデジタルマイクロミラー装置（ＤＭＤ）２１２上へ向けられる。四角形のアレイ状に配置された数十万個の微小ミラーから成るＤＭＤ２１２は、光を選択的に反射させて投影レンズ２１３を介して遠隔の投影面（図示せず）上に結像させる。
【００４４】
ここで説明する本発明の概念は上記のＬＥＤベースのプロジェクタやＤＬＰプロジェクタに限定されるものではなく、その他の任意の好適なプロジェクタシステムが本実施形態の実装に使用され得ることに留意されたい。
【００４５】
図３は３つの光源２０１、２０３、２０６にそれぞれ印加された電気駆動信号３０１、３０２、３０３、並びにその結果得られる位置情報で符号化された時間的なプロジェクタ光信号１００の例示的実施形態を示す。図３に示すように、各電気駆動信号３０１、３０２、３０３は、同一の位置情報セグメント（図１のセグメント１０１を参照）と、幅が異なっている別々の色補正パルスとを含んでいる。電気駆動信号３０１、３０２、３０３に応答して光源２０１、２０３、２０６で生成された光信号を結合させると、時間的なプロジェクタ光信号１００となる。これは図１にも示されている。
【００４６】
図４（ａ）、４（ｂ）は本明細書に記載の位置情報で符号化された投影画像光信号を生成するためのシステム、方法及びプログラムの一つ又は複数の実施形態による、ＤＬＰプロジェクタ２００のようなデジタル光処理（ＤＬＰ）プロジェクタで生成された２つの時間的光信号を示す図である。図４（ａ）、４（ｂ）に示すように、プロジェクタ４０２は投影面４０１上に画像を生成する。図４（ａ）に示すように、光線４０３が投影面４０１上に画像ピクセル４０４を生成する。図符号４０７は画像ピクセル４０４に対応する時間的なプロジェクタ光信号１００を表す。この時間的なプロジェクタ光信号１００は画像ピクセル４０４の位置情報で符号化されており、更に前述した連続する色補正パルスを持っている。他方、図４（ｂ）に示すように、光線４０５が投影面４０１上に画像ピクセル４０６を生成する。図符号４０８は画像ピクセル４０６に対応する時間的なプロジェクタ光信号１００を表す。これは同様に画像ピクセル４０６の位置情報と連続する色補正パルスとを含んでいる。
【００４７】
図５は本明細書に記載の、位置情報で符号化された投影画像光信号を生成するためのシステム、方法及びプログラムの一つ又は複数の実施形態を利用して実装された、ユーザ−コンピュータインタラクションシステム５００の例示的実施形態を示す図である。図５に示す実施形態において、プロジェクタ５０１はその照射領域５０２内に配置された遠隔の投影面５０３上に画像を生成する。一つ又は複数の実施形態において、再生される画像はグラフィカルユーザインタフェースの画像であってもよい。プロジェクタ５０１により放出される光はプロジェクタの照射領域５０２内の対応するピクセル又はピクセル群の適切な座標情報で符号化されている。一つ又は複数の実施形態において、座標情報はプロジェクタ５０１の照射光内に符号化されて、それぞれのピクセル座標情報を持った同期された光パルスの形態となっている。一つ又は複数の実施形態において、システム５００には２つ以上のプロジェクタ５０１があってその照射領域５０２が繋ぎ合わされているか、又はそれらの符号化された光信号が時間多重化されている。
【００４８】
画面表示されたユーザインタフェース又はその他の投影された画像とインタラクトするために、ユーザはモバイル装置５０４を投影面５０３の前方に配置する。そのように配置されたモバイル装置５０４の光センサ（表示せず）は、プロジェクタ５０１からの符号化された光５０５を受信する。一つ又は複数の実施形態において、前述の光センサはモバイル装置５０４のカメラユニットであってもよい。別の実施形態においては専用の光センサが用いられてもよい。
【００４９】
一つ又は複数の実施形態において、プロジェクタ５０１から放出される光はプロジェクタ５０１の照射視野内の対応するピクセルの座標で符号化されている。ユーザのモバイル装置５０４の光センサがプロジェクタ５０１からの符号化された光５０５を検出し、その検出された光信号からそれぞれのピクセル座標が抽出される。一つ又は複数の実施形態において、符号化された光５０５はユーザのモバイル装置５０４の通常のカメラあるいは特化された光センサによって検出されてよい。一実施形態において、ユーザのモバイル装置５０４上で動作しているモバイルアプリケーションが、検出された光信号から抽出される座標情報を利用して、ユーザが関心のある投影画像の一部に対応する追加情報をサーバ５０６に要求してもよい。例えば、地図上の特定位置に対応する地理上の場所の動画を、対応する地図上の点の横にユーザのモバイル装置５０４を置くことで要求してもよい。モバイル装置５０４は符号化された光を利用してユーザが関心を持つ地図上の点の位置を判定し、検出された地図上の場所に対応する追加情報を要求する。
【００５０】
この目的のために一つ又は複数の実施形態では、モバイル装置５０４が、関連するデジタルコンテンツを検索するための位置情報が含まれたリクエスト５０８をサーバ５０６に送信してもよい。一つ又は複数の実施形態において、前述のリクエストはコンピュータネットワークを介して送信されるＨＴＴＰプロトコル要求である。
【００５１】
これに応答して、サーバ５０６が受信したリクエストに含まれる位置情報に基づいて、デジタルコンテンツストレージ５０７からユーザが関心を持つ点に関するデジタル情報を読み出す。一つ又は複数の実施形態において、デジタルコンテンツストレージ５０７は、既知又は最新開発された任意のリレーショナルデータベースのようなデータベースである。読み出されたデジタルコンテンツ５０９は次にネットワーク経由でユーザのモバイル装置５０４へ送信される。最後に、サーバ５０６に備えられたソフトウェアが制御信号及び／又は投影画像コンテンツ５１０をプロジェクタ５０１に送信してもよい。
【００５２】
別の実施形態において、モバイル装置５０４は検出された座標情報をサーバ５０６に送信する。サーバはこの情報を利用して、投影された画像に関連してユーザが実行するジェスチャを検出する。この検出されたジェスチャを利用して、ユーザとサーバシステム５０６とのインタラクションが可能となるようにしてもよい。
【００５３】
図６は位置情報で符号化された投影画像光信号を生成するための計算処理システム６００の例示的実施形態を示す。一つ又は複数の実施形態において、計算処理システム６００は、すべて市販品として入手可能であり当業者によく知られているスマートフォンやパーソナルデジタルアシスタント（ＰＤＡ）やタブレットコンピュータ等のモバイルコンピューティング装置のフォームファクタに収まるように実装されてもよい。代替実施形態では、計算処理システム６００は、ラップトップまたはノートブックコンピュータをベースとして実装されてもよい。更なる代替実施形態において、計算処理システム６００はＤＬＰプロジェクタ２００のような特定の専用機能を有する電子装置に組み込まれた、組み込みシステムであってもよい。
【００５４】
計算処理システム６００には、計算処理システム６００の様々なハードウェア部品の全体又は部品同士間での情報交換のための、データバス６０４又はその他の相互接続や通信機構と、そのデータバス６０４に連結されて情報の処理又はその他の計算や制御タスクを実行するための中央処理ユニット（ＣＰＵまたは単にプロセッサ）６０１とが含まれていてよい。また計算処理システム６００には、データバス６０４に連結されて様々な情報やプロセッサ６０１で実行される命令を格納するための、ランダムアクセスメモリ（ＲＡＭ）や他の動的記憶装置などのメモリ６１２も含まれる。メモリ６１２にはまた、磁気ディスク、光ディスク、固体フラッシュメモリ装置やその他の不揮発性固体記憶装置などの持続性記憶装置が含まれてもよい。
【００５５】
一つ又は複数の実施形態において、メモリ６１２は、プロセッサ６０１によって命令を実行しているときに、一時的な変数やその他の中間情報を格納するために利用されてもよい。任意選択により、計算処理システム６００には更に、データバス６０４に連結された読み出し専用メモリ（ＲＯＭまたはＥＰＲＯＭ）６０２やその他の静的記憶装置が含まれていて、計算処理システム６００の運転に必要なファームウェアや基本入出力システム（ＢＩＯＳ）、また計算処理システム６００の様々な設定パラメータ等の、プロセッサ６０１のための静的な情報や命令が格納されてもよい。
【００５６】
一つ又は複数の実施形態において計算処理システム６００にはディスプレイ装置６０９が組み込まれていてもよい。これはまたデータバス６０４に連結されて、計算処理システム６００のユーザへの様々な情報を表示してもよい。代替の実施形態において、ディスプレイ装置６０９はグラフィックコントローラ及び／又はグラフィックプロセッサ（図示せず）に関連付けられていてもよい。ディスプレイ装置６０９は、いずれも当業者にはよく知られている、例えば薄膜トランジスタ（ＴＦＴ）技術を利用して製造される液晶ディスプレイ（ＬＣＤ）や、有機発光ダイオード（ＯＬＥＤ）として実装されていてもよい。様々な実施形態において、ディスプレイ装置６０９は計算処理システム６００の他の部品とともに、同一の全体筐体の中に組み込まれてもよい。代替実施形態において、ディスプレイ装置６０９はそのような筐体の外側に配置されてもよい。
【００５７】
一つ又は複数の実施形態において、計算処理システム６００には更にデータバス６０４に接続された音声再生装置６２５が組み込まれていて、当業者にはよく知られたＭＰＥＧ−３ファイルや、ＭＰＥＧ−４ファイルのような様々な動画ファイルの音声トラック等の種々の音声ファイルやストリームを再生できるように構成されていてもよい。そのために、計算処理システム６００には波形または音声プロセッサ、あるいは類似の装置（表示せず）が組み込まれていてもよい。その特定の実施形態では、音声再生装置６２５がテレビ会議のライブの音声ストリームをユーザに対して再生するように構成されている。
【００５８】
一つ又は複数の実施形態において、計算処理システム６００には、ユーザからのコマンドを受信するためのマウス／ポインティング装置６１０や、様々な物体の静止画像並びに動画を取得するためのカメラ６１１や、キーボード６０６などの、一つ又は複数の入力装置が含まれていてもよい。これらはすべて前述のデータバス６０４に連結されていて、これに限定されるものではないが、画像や動画、並びにユーザのコマンド選択を含む情報をプロセッサ６０１へ通信してもよい。
【００５９】
一つ又は複数の実施形態において、計算処理システム６００には、位置情報で符号化された時間的なプロジェクタ光信号１００を投影するためのプロジェクタ６０３が含まれていてもよい。
【００６０】
一つ又は複数の実施形態において、計算処理システム６００はさらに、データバス６０４に連結されたネットワークインタフェース６０５のような通信インタフェースを追加的に含んでもよい。ネットワークインタフェース６０５は、ＷＩＦＩインタフェース６０７とセルラーネットワーク（ＧＳＭ（登録商標）またはＣＤＭＡ）アダプタ６０８の少なくとも１つを利用して、計算処理システム６００とインターネット６２４との間の接続を確立するように構成されていてもよい。ネットワークインタフェース６０５は計算処理システム６００とインターネット６２４の間の双方向データ通信を可能とするようになっていてもよい。ＷＩＦＩインタフェース６０７は、当業者には周知の、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ及び／又は８０２．１１ｎプロトコル並びにＢｌｕｅｔｏｏｔｈ（登録商標）プロトコルに準拠して動作してよい。例示的実施形態において、ＷＩＦＩインタフェース６０７とセルラーネットワーク（ＧＳＭ（登録商標）またはＣＤＭＡ）アダプタ６０８は、様々な種類の情報を表すデジタルデータストリームを搬送する電気信号または電磁信号を送受信する。
【００６１】
一つ又は複数の実施形態において、インターネット６２４は典型的には、一つ又は複数のサブネットワークを介して他のネットワークリソースへデータ通信を提供する。こうして、計算処理システム６００はインターネット６２４上の任意の場所にある種々のネットワークリソース、例えばリモートメディアサーバ、ウェブサーバ、他のコンテンツサーバ並びに他のネットワークデータストレージリソースなどへのアクセスが可能となる。一つ又は複数の実施形態において、計算処理システム６００は、ネットワークインタフェース６０５によってインターネット６２４を含む様々なネットワークを通じて、メッセージやメディアや、アプリケーションプログラムコードを含むその他のデータを送受信するように構成されている。インターネットの例では、計算処理システム６００がネットワークのクライアントとして動作する場合に、計算処理システム６００上で実行するアプリケーションプログラム用のコードやデータを要求してもよい。同様に、他のネットワークリソースへ様々なデータやコンピュータコードを送信してもよい。
【００６２】
一つ又は複数の実施形態において、本明細書で記述した機能は、メモリ６１２内に保持される一つ又は複数の命令の一つ又は複数のシーケンスを実行するプロセッサ６０１に応答して計算処理システム６００によって実装される。そのような命令は、別のコンピュータ可読媒体からメモリ６１２へ読み込まれてもよい。メモリ６１２に保持された命令のシーケンスを実行することにより、プロセッサ６０１に本明細書に記載の様々なプロセスステップを実行させる。代替の実施形態では、本発明の実施形態を実装するのに、ソフトウェアによる命令に代えて、あるいはソフトウェアによる命令と組み合わせて、配線による回路が使用されてもよい。従って、本発明の実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも限定されるものではない。
【００６３】
本明細書で用いられる「コンピュータ可読媒体」という用語は、プロセッサ６０１に実行命令を与えることに関与する任意の媒体を指す。コンピュータ可読媒体は、本明細書に記載の任意の方法及び／又は技術を実装するための命令を搬送し得るマシン可読媒体の単なる一例である。このような媒体は不揮発性媒体及び揮発性媒体を含む多様な形態を取るが、これに限定されるものではない。
【００６４】
非一時的なコンピュータ可読媒体の一般的形態には、例えば、フロッピディスク（登録商標）、フレキシブルディスク、ハードディスク、磁気テープ、又は他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光学媒体、パンチカード、紙テープ、その他の孔パターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、その他の任意のメモリチップ又はメモリカートリッジ、あるいはコンピュータが読み出し可能な他の任意の媒体、が含まれる。様々な形態のコンピュータ可読媒体が、プロセッサ６０１での実行のために、１つまたは複数の命令の１つまたは複数のシーケンスの搬送に関与し得る。例えば、最初は命令がリモートコンピュータから磁気ディスクで搬送されてもよい。又は、リモートコンピュータが命令をダイナミックメモリに書込み、インターネット６２４で命令を送信することもできる。具体的にはコンピュータ命令は、当分野で周知の様々なネットワークデータ通信プロトコルを利用して、インターネット６２４を介して前述のリモートコンピュータから計算処理システム６００のメモリ６１２へダウンロードされてもよい。
【００６５】
一つ又は複数の実施形態において、計算処理システム６００のメモリ６１２は、以下のソフトウェアプログラム、アプリケーション又はモジュールの任意のものを格納してもよい。
【００６６】
１．オペレーティングシステム（ＯＳ）６１３。これは基本システム業務を実装し、計算処理システム６００の様々なハードウェア部品を管理するオペレーティングシステムであってもよい。オペレーティングシステム６１３の例示的実施形態は当業者には周知であり、現在知られているか最新開発のモバイルオペレーティングシステムの任意のものを含んでよい。
【００６７】
２．アプリケーション６１４。これは例えば計算処理システム６００のプロセッサ６０１によって実行される一連のソフトウェアアプリケーションを含んでよい。これはプロジェクタ６０３に位置符号化された画像光信号を生成させるような、特定の所定の機能を計算処理システム６００に実行させる。一つ又は複数の実施形態において、アプリケーション６１４は以下に詳述する本発明のユーザインタラクションアプリケーション６１５並びに本発明のプロジェクタ制御アプリケーション６１６を含んでよい。
【００６８】
３．データストレージ６１９。これは例えば視覚コンテンツ６２０を格納するために使用されてもよい。
【００６９】
一つ又は複数の実施形態において、本発明のユーザインタラクションアプリケーション６１５は時間的なプロジェクタ光信号１００から抽出された位置情報を利用してユーザジェスチャを検出し、その検出されたジェスチャを利用して計算処理システム６００とのユーザインタラクションを可能とする。他方で、プロジェクタ制御アプリケーション６１６がプロジェクタ６０３に上記の時間的なプロジェクタ光信号１００を表示させる。様々な実施形態において、プロジェクタ制御アプリケーション６１６が、図１に関連して前に説明した位置情報セグメント１０１を生成するために、ピクセル座標を符号化するための位置符号化モジュール６１７を含んでいてもよい。さらに、プロジェクタ制御アプリケーション６１６が、図１に関連して前に説明した色補正セグメント１０２を生成するために、ピクセルの色情報を符号化するための色符号化モジュール６１８を含んでいてもよい。
【００７０】
これまでに説明した計算処理システム６００は単に例示のためのものであり、他の任意の好適な計算処理システムが上記の実施形態を実装するのに用いられてもよい。
【００７１】
最後に、本明細書中に記載されたプロセス及び技術は特定の装置に生得的に関係するものではなく、構成要素の任意の適切な組み合わせによって実装可能であることを理解されたい。さらに、種々のタイプの汎用デバイスを、本明細書に記載の教示にしたがって使用することが可能である。本明細書に記載された方法のステップを実行するための専用装置を構築することが有利であることも判明するであろう。本発明を特定の例に関連して記述したが、これらは全ての点において限定的ではなく説明的であることを意図している。ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組み合わせが本発明の実行に好適であることが、当業者には理解されるであろう。例えば、前述のソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、オブジェクティブＣ、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）などの広範なプログラム言語あるいはスクリプト言語、並びに、現在既知または最新開発のプログラム言語あるいはスクリプト言語によって実装することが可能である。
【００７２】
さらに、ここに開示した本発明の明細書を考察し、本発明を実施すれば、本発明の他の実装が当業者には明らかとなるであろう。記述された実施態様の各種態様及び／又は構成要素は、プロジェクタを使って位置符号化された画像信号を提供するためのシステム、方法及びプログラムに、単独もしくは任意の組み合わせで利用することが可能であろう。明細書及び実施例は例示としてのみ理解されるべきであり、本発明の真の範囲と精神は添付の特許請求の範囲によって示されるものとする。
【符号の説明】
【００７３】
１００ プロジェクタ光信号
１０１ 位置情報セグメント
１０２ 色補正セグメント
１０３、１０４、１０５        色補正パルス
２００ デジタル光処理プロジェクタ
２０１、２０３、２０６  光源
２０２ 集光レンズ
２０５ ダイクロイックミラー
２１１ ＴＩＲプリズム
２１２  デジタルマイクロミラー装置
２１３ 投影レンズ
３０１、３０２、３０３  電気駆動信号
４０１ 投影面
４０２ プロジェクタ
４０３、４０５  光線
４０４、４０６  画像ピクセル
４０７、４０８  プロジェクタ光信号
５００ ユーザ−コンピュータインタラクションシステム
５０１ プロジェクタ
５０２ 照射領域
５０３ 投影面
５０４ モバイル装置
５０５ 符号化された光
５０７ デジタルコンテンツストレージ
５０８ リクエスト
５０９ デジタルコンテンツ
５１０ 投影画像コンテンツ
【図１】
0006503681.tif 000002
【図２】
0006503681.tif 000003
【図３】
0006503681.tif 000004
【図４】
0006503681.tif 000005
【図５】
0006503681.tif 000006
【図６】
0006503681.tif 000007