(57)【要約】【課題】クライアントソフトウェアをインストールをしない場合であっても、モバイル機器を使用して、大型ディスプレイ上でのコンテンツの表示領域の操作と選択とを可能にする対話型の情報操作システム及びプログラムを提供する。【解決手段】システムは、情報を複数のユーザに同時に表示するように構成された共用ディスプレイと、ユーザの少なくとも１人によって共用ディスプレイの前で保持されたハンドヘルド光源により射出される光を直接検知し、検知された光を示す画像を生成するように構成されたカメラと、カメラから検知された光を示す画像を受け取り、受け取られた画像に基づいて共用ディスプレイ上に表示された情報を制御すると共に、ハンドヘルド光源により射出される光が必ず対話用に予め設定された表示色の１つになり且つ複数のユーザに対して共用ディスプレイに複数の色を表示させるように構成された処理モジュールと、を備える。【選択図】図２
2011054162.tif 000002
【特許請求の範囲】
【請求項１】
ａ．情報を複数のユーザに同時に表示するように構成された共用ディスプレイと、
ｂ．前記複数のユーザのうちの少なくとも１人によって前記共用ディスプレイの前で保持された少なくとも１つのハンドヘルド光源により射出される光を直接検知し、前記検知された光を示す画像を生成するように構成されたカメラと、
ｃ．前記共用ディスプレイ及び前記カメラに動作可能な状態で結合され、前記カメラから前記検知された光を示す前記画像を受け取り、前記受け取られた画像に基づいて前記共用ディスプレイ上に表示された前記情報を制御するように構成された処理モジュールであり、さらに、前記共用ディスプレイに、前記少なくとも１つのハンドヘルド光源により射出される前記光が必ず前記共用ディスプレイと対話するための複数の予め設定された表示色のうちの１つになるように、前記複数のユーザに対して前記複数の色を表示させるように構成されている前記処理モジュールと、
を備える対話型情報操作システム。
【請求項２】
前記処理モジュール及び前記カメラが、前記複数の表示色のうちの前記１つを検出し、前記複数の表示色のうちの前記検出された１つに基づいて、前記共用ディスプレイ上に表示された前記情報を制御するように構成されている請求項１に記載のシステム。
【請求項３】
前記ハンドヘルド光源が、前記ユーザが保持するモバイル機器と関連付けられたプロジェクタであり、
前記処理モジュールがさらに、前記共用ディスプレイに、前記複数のユーザに対して、前記表示された複数の色の画像を取り込み、前記少なくとも１つのプロジェクタを使用して前記取り込まれた画像を再表示するよう指示させるように構成されている請求項１に記載のシステム。
【請求項４】
前記処理モジュール及び前記カメラが、前記複数のユーザのうちの少なくとも１人が、前記少なくとも１つのハンドヘルド光源を、前記複数の色のうちの第１色から前記複数の色のうちの第２色に切り換えるイベントを検出し、前記イベントを検出すると、前記共用ディスプレイに対する動作を起動するように構成されている請求項１に記載のシステム。
【請求項５】
前記処理モジュール及び前記カメラが、前記少なくとも１つのハンドヘルド光源を使用して前記複数のユーザのうちの１人によって予め定めたジェスチャが行われるイベントを検出し、前記イベントを検出すると、前記共用ディスプレイに対する動作を起動するように構成されている請求項１に記載のシステム。
【請求項６】
前記処理モジュール及び前記カメラが、前記少なくとも１つのハンドヘルド光源の現在の場所を検出し、前記少なくとも１つのハンドヘルド光源の前記検出された現在の場所を前記共用ディスプレイ上の位置に変換するように構成されている請求項１に記載のシステム。
【請求項７】
選択イベントを検出すると、前記処理モジュールが、前記共用ディスプレイ上の前記位置に対応する、前記共用ディスプレイ上に表示された前記情報の少なくとも一部分を選択するように動作する請求項６に記載のシステム。
【請求項８】
前記カメラ及び前記処理モジュールがさらに全体として、
ａ．前記検知された光を示す前記画像の各画素を前記複数の色の目標色及び予め設定された輝度閾値と比較し、
ｂ．前記予め設定された閾値を超える輝度を有する前記検知された光を示す前記画像上の領域を識別する
ように構成されている請求項１に記載のシステム。
【請求項９】
前記処理モジュールがさらに、前記領域の位置に基づいて領域を消去することによって、前記検知された光を示す前記画像のセグメント化を行うように構成されている請求項１に記載のシステム。
【請求項１０】
前記処理モジュールがさらに、前記ハンドヘルド光源の画像を構成するには小さすぎる又は大きすぎる領域を消去することによって、前記検知された光を示す前記画像上のブロブをフィルタリングするように構成されている請求項１に記載のシステム。
【請求項１１】
前記処理モジュールがさらに、前記検知された光を示す前記画像の残りの領域において前記光源の位置及び色の最終的な評価を行うように構成されている請求項１に記載のシステム。
【請求項１２】
前記処理モジュール及び前記カメラがさらに全体として、前記複数のユーザのうちの少なくとも２人に、前記カメラの視野内の少なくとも２つの非オーバーラップ領域を割り当て、前記割り当てられた非オーバーラップ領域内のユーザのジェスチャを検出するように構成されている請求項１に記載のシステム。
【請求項１３】
前記処理モジュールがさらに、前記カメラの視野内の前記２つの各非オーバーラップ領域内の前記少なくとも１つのハンドヘルド光源の位置を、前記共用ディスプレイ全体の上の位置に変換するように動作する請求項１２に記載のシステム。
【請求項１４】
コンピュータに、
ａ．共用ディスプレイを使用して情報を複数のユーザに同時に表示するステップと、
ｂ．カメラを使用して、前記複数のユーザのうちの少なくとも１人によって前記共用ディスプレイの前で保持された少なくとも１つのハンドヘルド光源により射出される光を直接検知し、前記検知された光を示す画像を生成するステップと、
ｃ．プロセッサモジュールを使用し、前記受け取られた画像に基づいて前記共用ディスプレイ上に表示された情報を制御するステップと、
ｄ．前記少なくとも１つのハンドヘルド光源により射出される前記光が必ず前記共用ディスプレイと対話するための複数の予め設定された表示色のうちの１つになるように、前記複数のユーザに対して前記複数の色を表示するステップと
を実行させるためのプログラム。
【請求項１５】
前記複数のユーザに、前記表示された複数の色の画像を取り込み、前記少なくとも１つのプロジェクタを使用して前記取り込まれた画像を再表示するよう指示するステップをさらに実行させる請求項１４に記載のプログラム。
【請求項１６】
前記複数のユーザのうちの少なくとも１人が、前記少なくとも１つのハンドヘルド光源を、前記複数の色のうちの第１色から前記複数の色のうちの第２色に切り換えるイベントを検出し、前記イベントを検出すると、前記共用ディスプレイに対する動作を起動するステップをさらに実行させる請求項１４に記載のプログラム。
【請求項１７】
前記動作が、前記共用ディスプレイによって表示された前記情報の少なくとも一部分の選択である請求項１６に記載のプログラム。
【請求項１８】
前記少なくとも１つのハンドヘルド光源を使用して前記複数のユーザのうちの１人によって予め設定されたジェスチャが行われるイベントを検出し、前記イベントを検出すると、前記共用ディスプレイに対する動作を起動するステップをさらに実行させる請求項１４に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、パブリックディスプレイ等の共用の大型ディスプレイとの対話を可能にするシステム及びプログラムに関し、より詳細には、モバイル機器を使用して、大型ディスプレイ上でのコンテンツの表示領域の操作（パニング：panning）と選択とを可能にするシステム及びプログラムに関する。
【背景技術】
【０００２】
ユーザが自分のモバイル機器を使用して、個人専用のディスプレイではなく、通常大型の共用ディスプレイ（パブリックディスプレイ）と対話することを可能にするシステムは多数存在する。しかしながら、それらの手法の大部分では、大型ディスプレイに接続されたシステムと連携させるための専用のソフトウェアを自分のモバイル機器にインストールすることが必要である。このことは、多くの研究が示すように、実際には、技術普及率を低くすることにつながる。このようなシステムを用いたフィールド実験を行っている研究者の間で繰り返し言われるのは、「そのアプリケーションが十分な価値を提供することをユーザに納得させて、自分の電話機にそのアプリケーションをインストールさせることは非常に難しい」ということである。これは、例えば、Muller, J.らによる、「Experiences of Supporting Local and Remote Mobile Phone Interaction in Situated Public Display（据え置き型パブリックディスプレイにおけるローカルとリモートでの携帯電話による対話をサポートするという実験）」で報告されている。たとえユーザが専用ソフトウェアをインストールすることを選択したとしても、専用ソフトウェアの動作が信頼性の低いネットワーク接続に依存する可能性もあり、その場合は不十分な性能をもたらすことになる。
【０００３】
モバイル機器上に専用ソフトウェアがインストールされていることを要件として、モバイル機器がパブリックディスプレイと対話することを可能にする多数のプロジェクトがある。例えば、Ballagas, R.らによる、「The smart phone: a ubiquitous input device（スマートフォン：ユビキタスな入力装置）」、IEEE Pervasive Computing ‘06、70〜77頁を参照されたい。C-Blinkは、色相差による光信号手法であり、複数のユーザが、モバイル機器上にプリインストールされたアプリケーションを使用して、大型ディスプレイ上でカーソルの位置決めをすることを可能にする。C-Blinkは、例えば、Miyaoku, K.らによる、「C-blink: a hue-difference-based light signal marker for large screen interaction via any mobile terminal（C-blink：携帯端末による大画面対話用色相差光信号マーカ）」、UIST’04、147〜156頁に記載されている。C-Blinkでは、インストールされたソフトウェアが、モバイル機器のスクリーン上で時間変化する表示（色点滅信号）を生成し、次いでその表示（色点滅信号）がカメラシステムによって検出される。
【０００４】
付加的な連携用ソフトウェアを用いずにパブリックディスプレイとのリアルタイム対話を行う２つ手法としては、赤外線（ＩＲ）センサ及び電話通話時の押しボタン式ダイヤルを利用するものがある。ＩＲを利用する手法には以下に示す複数の問題がある。（１）一般には、ファイルを送信しようとするときに電話機だけがＩＲポートを作動するが、そうすると結局は時間切れになり、ユーザに、連続して偽のファイルを送信させ続けることが必要になる。（２）（パブリックディスプレイ上にビデオを表示させることはできるが）ユーザがデータを送信していることを視覚的に認識させること（視認可能なフィードバック）ができない。（３）ＩＲを利用する手法は、複数のユーザによる利用をサポートしない。（４）ジェスチャ（gestures）又は静止（dwell）を使用しないパニング以外の対話をサポートせず、ポインタを使用した静止は十分に機能しないことが示されている。Myers, B.らによる、「Interacting at a Distance: Measuring the Performance of Laser Pointers and Other Devices（離れた場所からの対話：レーザポインタ他の装置の性能の測定）」、CHI’02、33〜40頁を参照されたい。このため、ＩＲを利用する手法の大部分は、電話機上でソフトウェアを使用する。Bilgen, A.及びIzadi, S.による、「Using Cellphones to Interact with Public Displays from a Distance（携帯電話を使用した、離れた場所からのパブリックディスプレイとの対話）」、Pervasive Computing ‘07を参照されたい。
【０００５】
押しボタン式ダイヤルを利用する手法では、ユーザはパブリックディスプレイ上で番号をダイヤルし、接続された後で、電話機のタッチパッドを使用してイベントを送信する（Paek, T.らによる、「Toward universal mobile interaction for shared displays（共用ディスプレイのためのユニバーサルモバイル対話に向けて）」、CSCW’04、266〜269頁に簡単に言及されている）。この手法の根本的な問題は、この手法がセルラ接続を必要としていることである。セルラ接続は、モバイル機器がセルラ接続をサポートしていないために、又はモバイル機器が受信圏外（地下鉄内など）にあるために、利用できない場合がある。
【０００６】
別の関連する研究分野は、遠隔入力装置としてのレーザポインタの使用である。以下の文献に記載されているように、カメラを使用してスクリーン上のレーザポインタのドットの位置を追跡し、この情報をカーソル対話イベントに変換することができる。しかし、カメラはスクリーン上のレーザポインタのドットを検出するので、ユーザとディスプレイとの間の距離によって増幅される手ブレに起因して、システムにおける位置指示の安定性が低下するという問題がある。例えば、Lapointe, J. F.及びGodin, G.による、「On-Screen Laser Spot Detection for Large Display Interaction（大型ディスプレイ対話のための画面レーザスポット検出）」、Proceedings of the IEEE International Workshop on Haptic Audio Environments and their Applications(HAVE’2005)、加国オンタリオ州オタワ、2005年10月1〜2日、72〜76頁を参照されたい。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Ballagas, R.らによる、「The smart phone: a ubiquitous input device（スマートフォン：ユビキタスな入力装置）」、IEEE Pervasive Computing ‘06、70〜77頁
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従って、本発明の目的は、クライアントソフトウェアをインストールをしない場合であっても、モバイル機器を使用して、大型ディスプレイ上でのコンテンツの表示領域の操作と選択とを可能にする対話型の情報操作システム及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の方法論は、モバイル機器を使用してパブリックディスプレイとの対話を可能にする従来の手法と関連付けられる上記又はその他の問題の１つ又は複数を、実質的に回避する方法及びシステムを対象とする。
【００１０】
本発明の手法の一態様によれば、情報を複数のユーザに同時に表示するように構成された共用ディスプレイと、前記複数のユーザのうちの少なくとも１人によって前記共用ディスプレイの前で保持された少なくとも１つのハンドヘルド光源により射出される光を直接検知し、前記検知された光を示す画像を生成するように構成されたカメラと、前記共用ディスプレイ及び前記カメラに動作可能な状態で結合され、前記カメラから前記検知された光を示す前記画像を受け取り、前記受け取られた画像に基づいて前記共用ディスプレイ上に表示された前記情報を制御するように構成された処理モジュールと、を備える対話型情報操作システムが提供される。この本発明のシステムにおいて、処理モジュールはさらに、前記共用ディスプレイに、前記少なくとも１つのハンドヘルド光源により射出される前記光が必ず前記共用ディスプレイと対話するための複数の予め設定された表示色のうちの１つになるように、前記複数のユーザに対して前記複数の色を表示させるように構成されている。
【００１１】
本発明の手法の別の態様によれば、コンピュータに、共用ディスプレイを使用して情報を複数のユーザに同時に表示するステップと、カメラを使用して、前記複数のユーザのうちの少なくとも１人によって前記共用ディスプレイの前で保持された少なくとも１つのハンドヘルド光源により射出される光を直接検知し、前記検知された光を示す画像を生成するステップと、プロセッサモジュールを使用し、前記受け取られた画像に基づいて前記共用ディスプレイ上に表示された情報を制御するステップと、前記少なくとも１つのハンドヘルド光源により射出される前記光が必ず前記共用ディスプレイと対話するための複数の予め設定された表示色のうちの１つになるように、前記複数のユーザに対して前記複数の色を表示するステップと、を実行させるためのプログラムが提供される。
【００１２】
本発明に関連するその他の態様は、一部は以下の説明に明示され、また一部は以下の説明から自明であり、又は本発明を実施することによって知り得るものである。本発明の複数の態様は、以下の詳細な説明及び添付の特許請求の範囲において特に示されている種々の要素及び態様の、各要素及びこれらの組み合わせによって実現され、達成され得る。
【００１３】
以上の説明と以下の説明とはどちらも例示のための説明にすぎず、本発明又はその用途をいかなるやり方においても限定するものではないことを理解すべきである。
【００１４】
なお、本願の優先権主張の基礎となる米国出願１２／５８４１５７のファイルは、カラーで実施された少なくとも１つの図面を含む。カラー図面を含む公開公報の写しは、必要な手数料を支払って請求すれば、米国特許庁により提供される。
【００１５】
また、添付された図面は、本明細書に組み込まれて本明細書の一部を構成し、以下の説明と共に本発明の各実施形態を例示するものである。また、添付された図面は、本発明の手法の原理を説明し、例示するのに使用される。
【発明の効果】
【００１６】
本発明によれば、クライアントソフトウェアをインストールしない場合であっても、モバイル機器を使用して、大型ディスプレイ上でのコンテンツの表示領域の操作と選択とを可能にする対話型の情報操作システム及びプログラムが提供される。
【図面の簡単な説明】
【００１７】
【図１】本発明の概念によるシステムの例示的な実施形態を示す図である。
【図２】本発明の概念による動作の流れの例示的な実施形態を示す図である。
【図３】ハンドヘルドプロジェクタに対応するスポットの位置を検出することに伴う各ステップの例示的な実施形態を示す図である。
【図４】カメラ視野内のプロジェクタの検出位置が、例えば、ユーザの前方に在る仮想スクリーン上の各点からパブリックディスプレイ内の各点へのマッピングによって、どのようにしてパブリックディスプレイの座標空間に変換されるかを示す図である。
【図５】本発明のシステムが実施され得るコンピュータプラットフォームの例示的な実施形態を示す図である。
【発明を実施するための形態】
【００１８】
以下の詳細な説明では、添付された図面を参照する。図面において同一の機能要素は類似の番号を付して図示されている。前述の添付の図面は、本発明の原理と整合する具体的な実施形態及び実施方法を例示するものであり、限定するものではない。これらの実施方法は、当業者が本発明を実施することができるように十分に詳細に説明されており、本発明の範囲及び精神を逸脱することなく、他の実施方法も利用され得ること、及び種々の要素の構造的変更及び／又は置換が行われ得ることを理解すべきである。従って、以下の詳細な説明は、限定的な意味に解釈すべきではない。加えて、以下に説明する本発明の種々の実施形態は、汎用コンピュータ上で走るソフトウェアとしても、専用ハードウェアとしても、ソフトウェアとハードウェアの組み合わせとしても実施され得る。
【００１９】
本発明のシステムの一実施形態は、ユーザが、いかなる専用のクライアントソフトウェアをインストールする必要もなく、モバイル機器を使用して、大型パブリックディスプレイと対話することを可能にする。具体的には、本発明のシステムに係る本実施形態は、ユーザが、携帯電話やＰＤＡといったモバイル機器を使用して、コンテンツを選択すると共にパニング（表示領域の変更操作）を行うことを可能にする。本発明の一実施形態は、モバイル機器に接続されたプロジェクタによって射出される光を検知し、検知された光に基づいて前述の機能を実現する。
【００２０】
図１を参照すると、本発明の一実施形態に係るシステム１００は、１台のコンピュータ１０１と、コンピュータ１０１に接続された大型ディスプレイ１０２と、コンピュータ１０１に接続されたカメラ１０３とを備えている。カメラ１０３は、ディスプレイ１０２に又はその近くに取り付けられている。一実施形態において、本発明のシステムは、カメラ１０３を使用して、ユーザのモバイル機器と関連付けられたプロジェクタ（不図示）によって生成される光スポット（light spot）の位置及び色を追跡し、ユーザによりモバイル機器を使用して行われたジェスチャ及び／又はプロジェクタによって射出される光（以下、「プロジェクタ光」という。）のユーザ主導の色変更を判定する。そして、判定されたジェスチャ及び色変更を使用して、パブリックディスプレイ上のコンテンツを選択し、パニング操作を行う。本発明のシステムは、前述のパニング操作及び選択操作を行う場合だけに限定されないことに留意すべきである。プロジェクタ光とカメラ及び／又はプロジェクタ光の操作とを使用して、検出されたユーザのジェスチャに基づいて、他の適切な機能及び操作を行うこともできる。
【００２１】
ユーザのモバイル機器と関連付けられたプロジェクタ光のカメラによる追跡を円滑化するために、本発明の一実施形態に係る手法では、カメラの手動輝度制御を使用して、プロジェクタの光スポットなど、光の輝点（bright point of light）だけがカメラ撮像装置から見えるように、取り込まれた画像を暗くする。これにより、プロジェクタ光の検出及び追跡が簡単なハイコントラスト画像が生成される。当業者であれば理解するように、本発明はカメラの手動輝度制御を使ったハイコントラスト画像の生成だけに限定されるものではない。カメラ及びディスプレイに接続されたコンピュータ上にインストールされた専用のソフトウェアを使用して画像を処理することを含めて、他の適切な手法を使用することもできる。
【００２２】
本発明の概念に係る一実施形態では、ユーザのフィードバックが、光源から射出された光を検出するカメラ１０３を用いた本発明のシステムによって検知される。ユーザのフィードバックは、ジェスチャ及び／又はモバイル機器と関連付けられたプロジェクタ又は他の光源から射出された光の色変更とすることができる。カメラ１０３は、ビデオカメラ又はスチルカメラとすることができる。光源は、ユーザのモバイル機器に組み込むこともでき、別のやり方で接続し又は関連付けることもできる。本発明の概念の一実施形態では、前述の光源は、携帯電話などのユーザのモバイル機器に接続され又は組み込まれたプロジェクタである。他方、本発明の概念は、プロジェクタだけに限定されるものではない。モバイル機器によって制御され得る他の任意の光源を、同様の目的のために使用することもできる。
【００２３】
本発明のシステムの一実施形態では、カメラ１０３を使用して、（カメラ視野内の）位置及び光源により射出される光の色変更を検出する。この情報は、ユーザによって行われるジェスチャを判定し、モバイル機器の光源により射出される光の色変更を検出するのに使用される。ジェスチャ及び色変更の情報は、ディスプレイ１０２に接続されたコンピュータシステム１０１によって処理され、ディスプレイ１０２上の情報を操作するのに使用される。
【００２４】
単一ユーザの場合には、本発明の手法の一実施形態は以下の方法ステップを含む。これらのステップは、図２に示されている。
【００２５】
ステップ２０１で、ユーザがパブリックディスプレイ１０２に接近する。パブリックディスプレイ１０２は、例えば標準的なマシンビジョンの手法などを使用して、近くに居るユーザの存在を認識し、簡単で連続性を有する（simple connected）スケーラブルなパス（円など）を表示し、ディスプレイを使用するための指示を行う。即ち、ユーザが、ユーザのプロジェクタを点灯し、プロジェクタを表示されたパスとほぼ同じ形で動かすように指示する。ユーザがこれを行うと、カメラは、ユーザのジェスチャを認識し、ユーザがディスプレイと対話する用意が整ったという視覚的なフィードバックを提供する。ジェスチャの一例は、スケーラブルなパスが円の場合に、ユーザがモバイル機器を円を描くように回転させる動作である。可能な形の別の例は、数字の８の形や、ハンドジェスチャによって繰り返すことのできる連続性を有する他の任意の形である。ユーザが関連するハンドヘルド光源（プロジェクタ）を、表示されたパスとほぼ同じ形に動かすというイベントは、ユーザの光源がたどる軌跡を検出することによって判定される。その後、検出された軌跡と表示されたパスの類似度が、当分野で公知の任意の方法を使用して判定され得る。例えば、軌跡と表示されたパスとの間の距離が計算されると共に、前述の距離に基づいて類似度が計算される。その後、計算された類似度が予め設定された閾値と比較される。類似度が閾値を超える場合、光源がたどる軌跡は表示されたパスと類似しており、ユーザはディスプレイと対話する用意が整ったと判定される。
【００２６】
次にステップ２０２で、パブリックディスプレイは、相互に区別しやすい色で着色された２つの四角形を表示する。例えば、ディスプレイは、赤い四角形と青い四角形とを表示することができる。
【００２７】
次にステップ２０３で、ユーザは、それらの四角形の写真を撮影することもできるし、ユーザのモバイル機器上にすでにインストールされているアプリケーションを使用してそれらの四角形を速やかに生成することもできる。例えば、ユーザは、モバイル用のパワーポイント（PowerPoint：登録商標）を使用して、それぞれ独自のスライド上に２つの四角形を描き、それらを図示の色（赤と青）で着色することもできる。
【００２８】
次にステップ２０４で、ユーザは、ユーザのプロジェクタ上に２つの画像又はスライドのうちの１つを表示する。このときカメラは、その視野内の光スポットの位置（the location of the point of light）をその色と共に検知することができる。
【００２９】
ユーザがプロジェクタを動かすことで、プロジェクタ光の位置に関する情報が処理され、パブリックディスプレイ１０２は、処理された位置情報に従ってスクリーン上のカーソルの位置を更新する。
【００３０】
図３に、前述のプロセスに含まれるステップのシーケンスの例を示す。具体的には、図３には、ハンドヘルドプロジェクタに対応する光スポットの位置（the position of spot）を検出することに伴うステップのシーケンスが示されている。
【００３１】
具体的には、ステップ３０１で、光源の画像が生成される。このために、カメラ１０３によって取得された画像の各画素が目標色（図２のステップ２０２でユーザに表示された四角形の１つの色）及び予め設定された輝度閾値と比較される。ステップ３０２で、前述の画像が２値化される。２値化を行うために、前述の閾値を超える輝度を有する画像上の領域が識別され且つマークされる。
【００３２】
ステップ３０３で、位置に基づいて領域を消去することにより、画像がセグメント化される。
【００３３】
ステップ３０４で、ユーザの光源の画像とするには小さすぎる又は大きすぎる領域を消去することにより、画像上のブロブがフィルタリングされる。
【００３４】
ステップ３０５で、画像の残りの（ステップ３０３〜３０４で消去されなかった）領域において、光源の位置及び色の最終的な評価が行われる。
【００３５】
続いて、カメラ視野内のプロジェクタの検出位置が、例えば、図４に示すように、ユーザの前方に在る仮想スクリーン上の各点からパブリックディスプレイ４０２内の各点へのマッピングによって、パブリックディスプレイ４０２の座標空間に変換される。具体的には、図４に示すように、ユーザ４０１の前方にある仮想スクリーン領域４０６内のプロジェクタの物理位置４０５は、境界４０３を有するパブリックディスプレイ４０２上の座標４０４にマッピングされる。一実施形態では、マッピングは、カメラ画像の座標空間内の検出位置を直接使用し、遠近効果を無視する。別の実施形態では、マッピングは、遠近効果を補償し、プロジェクタの実際の物理位置のより忠実なマッピングを生成しようとする。
【００３６】
本発明の一実施形態では、ユーザが光源により射出される光を別の色に変更すると、カメラ１０３は前述の変更を認識する。例えば、あるボタンを押して携帯電話上のユーザの画像ギャラリに移動することによって、又はあるボタンを押して携帯電話のプロジェクタによって表示されたプレゼンテーション用のアプリケーション（PowerPoint（登録商標）など）内の次のスライドに移動することによって、光源により射出される光を別の色に変更することができる。カメラ１０３は、前述の変更を認識すると、検出された変更に関する情報を、現時点で現在のカーソルの下にあるインタラクタに伝える。検出された変更に関する情報は、それがクリック動作であるかのようにインタラクタに伝えられる。
【００３７】
本発明のシステムの一実施形態では、プロジェクタにより射出される光の色を検出することに直接依存するのではなく、追跡される光スポット（the tracked point）の色の変更を検出して、前述のクリック動作を起動（trigger）する。即ち、クリック動作は、光源の色変更の検出によって起動される。
【００３８】
このように、ユーザはディスプレイ上の任意の機能セットを選択することができる。例えば、ユーザは、ユーザのパーソナル文書ストアにアクセスするために、ソフトキーボード（ディスプレイ上に生成されたキーボード）を使用してログインすることもできる。次に、ユーザは、目的の文書を選択して印刷することもできるし、それを電子メール又はブルートゥース（BlueTooth：登録商標）を介して自分のモバイル機器に送信することもできる。また、他の任意の動作を行うこともできる。
【００３９】
複数ユーザのシナリオでは、各ユーザは一般に、カメラ視野内の相互に陰にならない位置（互いの前方に存在しない位置）に立つものと想定される。各ユーザの前方のアクティブ作業領域又は有効仮想スクリーンは、他のユーザの有効仮想スクリーンとオーバラップしないものと想定される。これら２つの特性があるために、同時に動作する複数のユーザに対しても、各ユーザを区別するのに使用される空間フィルタリングを用いて、同時に対応することができる。本発明の一実施形態では、各時点において、各ユーザと各光スポット（points）との連続した関連付けを維持するために、検出されたプロジェクタ位置（projector position）が直近のプロジェクタ位置と関連付けられる。加えて、プロジェクタの最大期待可動域も、ユーザの前方の仮想作業空間の領域だけに限定されている。この領域外の点（対応する光スポット）は考察対象から除外することができる。
【００４０】
空間フィルタリングが複数のユーザを区別するのに十分でない場合、ユーザ動作を区別しやすいようにユーザごとに異なる色対が割り当てられてもよい。例えば、あるユーザには赤とシアンが、別のユーザには緑とマゼンタが割り当てられる。
【００４１】
当業者には理解されるように、カメラ１０３は、投影された光スポット（the projected spot）ではなく、プロジェクタからの光を直接検知するので、ユーザとディスプレイ１０２の間に距離によって手ブレが増幅されることがないために、より高い位置指示の安定性が可能になる。加えて、本発明のプロジェクタベースの解決手段は、（色変更によって）「クリック」イベントを行う方法も含む。しかも、プロジェクタ搭載の携帯電話は、非常に用途の幅広いツールであり、ユーザは、当然ながら、レーザポインタよりも携帯電話を携帯する可能性が高い。
【００４２】
加えて、本明細書で説明する本発明のシステムの各実施形態は、ブルートゥース（登録商標）などのローカルファイル送信プロトコルと結合することもできる。これにより、ユーザがディスプレイとの間でファイルをやり取りすることが可能となり、きめ細かい選択及び注釈をサポートすることが可能となる。
【００４３】
本発明の手法の一実施形態によれば、カメラ付き携帯電話に組み込まれたプロジェクタなどの光源を利用して、ユーザにいかなる第三者ソフトウェアをインストールように要求することもなく、ユーザが大型ディスプレイ上の文書と対話することを可能にするシステム及び方法（プログラム）が提供される。この手法によれば、複数のユーザが、各ユーザのプロジェクタを介して異なる画像を表示させることによって、大型ディスプレイ上のインタラクタを選択することができる。
【００４４】
（コンピュータプラットフォームの例）
図５は、本発明の方法の一実施形態が実施され得るコンピュータ／サーバシステム５００の一実施形態を示すブロック図である。システム５００は、コンピュータ／サーバプラットフォーム５０１、周辺装置５０２及びネットワークリソース５０３を含む。
【００４５】
コンピュータプラットフォーム５０１は、コンピュータプラットフォーム５０１の様々な部分にまたがり、それらの間で情報をやり取りするデータバス５０４又はその他の通信機構と、情報を処理し、その他の計算及び制御タスクを実行するためにバス５０４と結合されたプロセッサ５０５とを含み得る。また、コンピュータプラットフォーム５０１は、様々な情報ならびにプロセッサ５０５によって実行されるべき命令を記憶するためにバス５０４に結合された、ランダム・アクセス・メモリ（ＲＡＭ）やその他の動的記憶装置といった揮発性記憶５０６も含む。また、揮発性記憶５０６は、プロセッサ５０５による命令実行時の一時変数又はその他の中間情報を記憶するのにも使用され得る。コンピュータプラットフォーム５０１はさらに、基本入出力システム（ＢＩＯＳ）などのプロセッサ５０５の静的情報及び命令や、様々なシステム構成パラメータを記憶するためにバス５０４に結合された読取り専用メモリ（ＲＯＭもしくはＥＰＲＯＭ）５０７又はその他の静的記憶装置も含み得る。情報及び命令を記憶するために、バス５０４には、磁気ディスク、光ディスク、半導体フラッシュ・メモリ・デバイスといった永続的記憶装置５０８が結合されている。
【００４６】
コンピュータプラットフォーム５０１は、コンピュータプラットフォーム５０１のシステム管理者又はユーザに情報を表示するために、バス５０４を介して、陰極線管（ＣＲＴ）、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）といったディスプレイ５０９に結合され得る。プロセッサ５０５に情報及びコマンド選択を伝達するために、バス５０４には、英数字その他のキーを含む入力装置５１０が結合されている。別の種類のユーザ入力装置が、プロセッサ５０５に方向情報及びコマンド選択を伝達し、ディスプレイ５０９上のカーソルの動きを制御するための、マウス、トラックボール、カーソル方向キーといったカーソル制御装置５１１である。この入力装置は、通常、装置が平面内の位置を指定することを可能にする、第１の軸（ｘなど）と第２の軸（ｙなど）の２つの軸として２自由度を有する。
【００４７】
コンピュータプラットフォーム５０１のための追加の、又は取り外し可能な記憶容量提供するために、バス５０４を介してコンピュータプラットフォーム５０１に外部記憶装置５１２が結合されていてもよい。コンピュータシステム５００の一実施形態では、他のコンピュータシステムとのデータのやり取りを円滑化するために外部着脱式記憶装置５１２が使用され得る。
【００４８】
本発明は、コンピュータシステム５００を使用した本明細書で説明する手法の実施に関連するものである。一実施形態では、本発明のシステムは、コンピュータプラットフォーム５０１などのマシン上に置かれ得る。本発明の一実施形態によれば、本明細書で説明する手法は、プロセッサ５０５による、揮発性メモリ５０６に含まれる１つ又は複数の命令の１つ又は複数のシーケンスの実行に応答してコンピュータシステム５００によって実行される。そのような命令は、永続的記憶装置５０８など、別のコンピュータ可読媒体から揮発性メモリ５０６に読み込まれてもよい。揮発性メモリ５０６に含まれる命令のシーケンスを実行すると、プロセッサ５０５は、本明細書で説明した各ステップを実行する。代替の実施形態では、本発明を実施するのに、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて配線回路が使用されてもよい。よって、本発明の実施形態はハードウェア回路とソフトウェアとのいかなる特定の組み合わせにも限定されるものではない。
【００４９】
本明細書で使用する場合の「コンピュータ可読媒体」という用語は、実行のためにプロセッサ５０５に命令を提供することに関与する任意の媒体をいう。コンピュータ可読媒体は、本明細書で説明した方法及び／又は手法のいずれかを実施する命令を保持し得る機械可読媒体の一例にすぎない。そのような媒体は、それだけに限らないが、不揮発性媒体及び揮発性媒体を含む多くの形態をとり得る。不揮発性媒体には、例えば、記憶装置５０８などの光ディスク又は磁気ディスクが含まれる。揮発性媒体には揮発性記憶５０６などの動的メモリが含まれる。
【００５０】
コンピュータ可読媒体の一般的な形態には、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光媒体、パンチカード、紙テープ、穴のパターンを有する他の任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、フラッシュドライブ、メモリカード、他の任意のメモリチップ又はカートリッジ、あるいはコンピュータが読み取ることのできる他の任意の媒体などが含まれる。
【００５１】
様々な形のコンピュータ可読媒体が、実行のためにプロセッサ５０５に１つ又は複数の命令の１つ又は複数のシーケンスを搬送することに関与し得る。例えば命令は、最初にリモートコンピュータから磁気ディスクに入れて運ばれてもよい。代替として、リモートコンピュータが命令をその動的メモリにロードし、モデムを使用し、電話回線を介してその命令を送信することもできる。コンピュータシステム５００のローカルのモデムは、そのデータを電話回線で受信し、赤外線送信機を使用してそのデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号で搬送されたデータを受信することができ、適切な回路がデータをデータバス５０４に載せることができる。バス５０４はデータを揮発性記憶５０６まで搬送し、プロセッサ５０５がそこから命令を取り出し、実行する。揮発性メモリ５０６によって受け取られた命令は、任意選択で、プロセッサ５０５による実行の前又は後に永続的記憶装置５０８上に記憶されてもよい。また命令は、当分野で周知の様々なネットワークデータ通信プロトコルを使用し、インターネットを介してコンピュータプラットフォーム５０１にダウンロードされてもよい。
【００５２】
また、コンピュータプラットフォーム５０１は、データバス５０４に結合されたネットワーク・インターフェース・カード５１３といった通信インターフェースも含む。通信インターフェース５１３は、ローカルネットワーク５１５に結合されているネットワークリンク５１４に結合する双方向データ通信を提供する。例えば、通信インターフェース５１３は、統合サービス・ディジタル・ネットワーク（ＩＳＤＮ）カード又は対応する種類の電話回線へのデータ通信接続を提供するモデムとすることもできる。別の例として、通信インターフェース５１３は、互換性を有するローカル・エリア・ネットワーク（ＬＡＮ）へのデータ通信接続を提供するＬＡＮインターフェースカード（ＬＡＮ  ＮＩＣ）とすることもできる。また、ネットワークを実施するのに、周知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、ブルートゥースといった無線リンクが使用されてもよい。そのようないずれかの実施方法において、通信インターフェース５１３は、多種多様な情報を表わすディジタル・データ・ストリームを搬送する電気信号、電磁信号又は光信号を送受信する。
【００５３】
ネットワークリンク５１４は、通常、１つ又は複数のネットワークを介して他のネットワークリソースにデータ通信を提供する。例えば、ネットワークリンク５１４は、ローカルネットワーク５１５を介したホストコンピュータ５１６や、ネットワーク記憶／サーバ５１７への接続を提供し得る。加えて、又は代替として、ネットワークリンク５１４は、ゲートウェイ／ファイアウォール５１７を介して、インターネットなどの広域ネットワーク又はグローバルネットワーク５１８に接続することもできる。よって、コンピュータプラットフォーム５０１は、リモートネットワーク記憶／サーバ５１９といった、インターネット５１８上のどこかに位置するネットワークリソースにアクセスすることができる。他方、コンピュータプラットフォーム５０１は、ローカル・エリア・ネットワーク５１５及び／又はインターネット５１８上のどこかに位置するクライアントによってアクセスされてもよい。ネットワーククライアント５２０及び５２１は、それ自体、プラットフォーム５０１と同様のコンピュータプラットフォームに基づいて実施されてもよい。
【００５４】
ローカルネットワーク５１５もインターネット５１８も、ディジタル・データ・ストリームを搬送する電気信号、電磁信号又は光信号を使用する。コンピュータプラットフォーム５０１との間でディジタルデータを搬送する、様々なネットワークを通る信号、及びネットワークリンク５１４上や通信インターフェース５１３を通る信号は、情報を搬送する搬送波の例示的形態である。
【００５５】
コンピュータプラットフォーム５０１は、インターネット５１８及びＬＡＮ５１５を含む様々なネットワーク、ネットワークリンク５１４及び通信インターフェース５１３を介して、メッセージを送り、プログラムコードを含むデータを受け取ることができる。インターネットの例では、システム５００は、ネットワークサーバとして機能するとき、インターネット５１８、ゲートウェイ／ファイアウォール５１７、ローカル・エリア・ネットワーク５１５及び通信インターフェース５１３を介して、クライアント５２０及び／又は５２１上で走るアプリケーションプログラムのために要求されたコード又はデータを送信することもできる。同様に、システム５００は、他のネットワークリソースからコードを受信してもよい。
【００５６】
受け取られたコードは、受け取られる際にプロセッサ５０５によって実行されてもよく、かつ／又は永続的記憶装置５０８又は揮発性記憶装置５０６にそれぞれ、あるいは後で実行するために他の非揮発性記憶に記憶されてもよい。このように、コンピュータシステム５００は、搬送波としてアプリケーションコードを獲得し得る。
【００５７】
本発明はどんな特定のファイアウォールシステムにも限定されないことに留意すべきである。本発明のポリシベースのコンテンツ処理システムは、３つのファイアウォール動作モードのいずれか、具体的には、ＮＡＴモード、ルートモード、及びトランスペアレントモードで使用され得る。
【００５８】
最後に、本明細書で説明したプロセス及び手法は、特定の装置だけに固有のものとして関連付けられるものではなく、任意の適切な構成要素の組み合わせによって実施され得ることを理解すべきである。さらに、本明細書で説明した教示に従って、多種多様な汎用機器が使用されてもよい。また、本明細書で説明した方法ステップを実行するための専用装置を構築することも有利となり得る。本発明は特定の例に関連して説明されているが、これらの例は、あらゆる点において、限定のためではなく、例示のためのものである。ハードウェア、ソフトウェア、及びファームウェアの多種多様な組み合わせが本発明を実施するのに適することを当業者は理解するであろう。例えば、前述のソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）などといった、多種多様なプログラミング又はスクリプティング言語で実施され得る。
【００５９】
さらに、本明細書に開示されている本発明の仕様及び実施を考察すれば、当業者には、本発明の他の実施方法が明らかになるであろう。前述の各実施形態の様々な態様及び／又は構成要素は、モバイル機器を使用した大型ディスプレイ上でのコンテンツのパニング及び選択を可能にするために、コンピュータ化階層記憶システムにおいて、単独でも、任意の組み合わせとしても使用され得る。仕様及び各例は例示にすぎず、本発明の真の範囲及び精神は添付の特許請求の範囲によって指示されるべきものである。
【図１】
2011054162.tif 000003
【図２】
2011054162.tif 000004
【図３】
2011054162.tif 000005
【図４】
2011054162.tif 000006
【図５】
2011054162.tif 000007