(57)【要約】カメラを含む無線ポインティング・デバイスまたは他のイメージ・キャプチャ・システムを含む対話型表示システムが提供される。ポインティング・デバイスのペアリングは、コンピュータによって処理される表示システムによって実行され、ポインティング・デバイスによるキャプチャのために、そのディスプレイにおいて視覚ペアリング・コードを表示する。ペアリング・コードは、人により読み取り可能、人により読み取り不能であるが人により感知可能、または人により感知不能な形態で表示してもよい。ペアリング・コードの検出に応答して、ポインティング・デバイスは、無線信号を、ペアリング・コードを含むコンピュータによって処理される表示システムに送信する。表示システムが受信したペアリング・コードが元に表示されたものと一致する場合には、コンピュータによって処理される表示システムはポインティング・デバイスをグラフィカル・ユーザ・インターフェイス方式で制御信号の供給源として認可する。視覚ペアリング手順と組み合わされる様々な追加のハンドシェーキング手法が開示される。【選択図】図４ａ
2014512590.tif 000002
【特許請求の範囲】
【請求項１】
表示システムの動作を対話型で制御するために遠隔のポインティング・デバイスを前記表示システムとペアリングするための方法であって、
グラフィック・ディスプレイにおいてペアリング・コード情報を表示するステップと、
前記ポインティング・デバイスにおいて、前記グラフィック・ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップであって、該キャプチャされたイメージ・データが前記ペアリング・コード情報を含む、ステップと、
前記キャプチャされたペアリング・コード情報に対応する無線ペアリング信号を前記ポインティング・デバイスから送信するステップと、
前記表示システムにおいて、前記無線ペアリング信号を受信するステップと、
前記受信した無線ペアリング信号が前記グラフィック・ディスプレイで表示された前記ペアリング・コード情報と一致することに応答して、前記表示システムの動作を制御するために、前記ポインティング・デバイスによって送信される無線制御信号を認可するステップと、
前記ポインティング・デバイスからの無線制御信号に応答して、前記グラフィック・ディスプレイで視覚情報を表示するために、前記表示システムを動作させるステップと、
を含む、方法。
【請求項２】
請求項１記載の方法であって、更に、無線ペアリング要求信号を前記ポインティング・デバイスから送信するステップを含み、
前記表示するステップが、前記無線ペアリング要求信号の受信に応答して、前記表示システムによって実行される、方法。
【請求項３】
請求項１記載の方法であって、更に、前記ペアリング・コード情報を表示する前記ステップの前に、無線ビーコン信号を前記表示システムから送信するステップを含み、
前記キャプチャするステップが、前記無線ビーコン信号の受信に応答して、前記ポインティング・デバイスによって実行される、方法。
【請求項４】
請求項１記載の方法であって、更に、
前記ペアリング・コード情報を表示する前記ステップの前に、無線ビーコン信号を前記表示システムから送信するステップと、
前記無線ビーコン信号の受信に応答して、無線ペアリング要求信号を前記ポインティング・デバイスから送信するステップと
を含み、
前記表示するステップが、前記無線ペアリング要求信号の受信に応答して、前記表示システムによって実行される、方法。
【請求項５】
請求項１記載の方法であって、更に、
遅くとも前記ペアリング・コード情報を表示する前記ステップまでには、ポインティング・デバイスとペアリングする前記表示システムの意思を示す符号化されたイメージを表示するステップを含む、方法。
【請求項６】
請求項５記載の方法であって、更に、
前記ポインティング・デバイスにおいて、前記グラフィック・ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップであって、該キャプチャされたイメージ・データが、ペアリングの意思を示す前記符号化されたイメージを含む、ステップと、
前記ディスプレイ・システムによるペアリングの意思を示す前記符号化されたイメージのキャプチャに応答して、無線ペアリング要求信号を前記ポインティング・デバイスから送信するステップと、を含み、
前記ペアリング・コード情報を表示する前記ステップが、前記無線ペアリング要求信号の受信に応答して、前記表示システムによって実行される、方法。
【請求項７】
請求項１記載の方法において、前記無線ペアリング信号が更に前記ポインティング・デバイスの識別子を含む、方法。
【請求項８】
請求項１記載の方法において、前記ペアリング・コード情報を表示する前記ステップが、
視覚ペイロード・イメージ・フレーム・データを生成するステップと、
連続フレームにおいて適用される、前記視覚ペイロード・イメージ・フレーム・データの１またはそれ以上の選択されたピクセル位置における強度変動補完(complementary intensity variances)に対応する少なくとも１つのペアリング・コード・パターンを前記視覚ペイロード・イメージ・フレーム・データと結合するステップと、
前記結合された視覚ペイロード・イメージ・フレーム・データおよびペアリング・コード・パターンを前記グラフィック・ディスプレイ上に表示するステップと、
を含む、方法。
【請求項９】
請求項１記載の方法であって、更に、
視覚ペイロード・イメージ・フレーム・データを生成するステップと、
少なくとも１つの位置決めターゲット・パターンを前記視覚ペイロード・イメージ・フレーム・データと結合するステップと、
前記結合された視覚ペイロード・イメージ・フレーム・データおよび位置決めターゲット・パターンを前記グラフィック・ディスプレイ上に表示するステップと、
前記ポインティング・デバイスにおいて、前記位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップと、
回復した位置決めターゲット・パターンに応じて、前記ディスプレイのポイント先の位置を決定するステップと、
前記ポインティング・デバイスにおけるユーザ入力の受け取りに応答して、前記ディスプレイのポイントされた位置に対応する前記ポインティング・デバイスからの無線制御信号を生成するステップと、
を含む、方法。
【請求項１０】
表示システムの動作を対話型で制御するために遠隔のポインティング・デバイスを前記表示システムとペアリングする方法であって、
グラフィック・ディスプレイにおいてペアリング・コード情報を表示するステップと、
前記ペアリング・コード情報を含む無線ビーコン信号を前記表示システムから送信するステップと、
前記ポインティング・デバイスにおいて、前記グラフィック・ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップであって、該キャプチャされたイメージ・データが前記ペアリング・コード情報を含むステップと、
前記ポインティング・デバイスで受信した前記無線ビーコン信号における前記ペアリング・コード情報が前記キャプチャされたイメージに含まれる前記ペアリング・コード情報に一致するのに応答して、無線ペアリング信号を前記ポインティング・デバイスから送信するステップと、
前記表示システムにおいて前記無線ペアリング信号を受信するステップと、
前記表示システムの動作を制御するために、前記ポインティング・デバイスによって送信された無線制御信号を認可するステップと、
前記ポインティング・デバイスからの無線制御信号に応答して、前記グラフィック・ディスプレイにおいて視覚情報を表示するために、前記表示システムを動作させるステップと、
を含む方法。
【請求項１１】
請求項１０記載の方法において、前記ペアリング・コード情報を表示する前記ステップおよび前記無線ビーコン信号を送信する前記ステップが前記表示システムによって繰り返し実行される、方法。
【請求項１２】
請求項１０記載の方法であって、更に、
無線ペアリング要求信号を前記ポインティング・デバイスから送信するステップを含み、
前記ペアリング・コード情報を表示する前記ステップおよび前記無線ビーコン信号を送信する前記ステップが、前記無線ペアリング要求信号の受信に応答して前記表示システムによって実行される、方法。
【請求項１３】
請求項１０記載の方法であって、更に、
前記表示システムにおいて、他の表示システムからのペアリング・コード情報を含む無線ビーコン信号を受信するステップと、
前記表示システムにおいて、前記他の表示システムから受信した前記ペアリング・コード情報とは異なるペアリング・コードを導出するステップと、を含み、
前記無線ビーコン信号を送信する前記ステップが、前記導出したペアリング・コードに対応するコード情報をペアリングすることを含む、方法。
【請求項１４】
請求項１０記載の方法において、前記無線ペアリング信号が更に、前記ポインティング・デバイスの識別子を含む、方法。
【請求項１５】
請求項１０記載の方法において、前記ペアリング・コード情報を表示する前記ステップが、
視覚ペイロード・イメージ・フレーム・データを生成するステップと、
連続フレームにおいて適用される、前記視覚ペイロード・イメージ・フレーム・データの１またはそれ以上の選択されたピクセル位置における強度変動補完に対応する少なくとも１つのペアリング・コード・パターンを前記視覚ペイロード・イメージ・フレーム・データと結合するステップと、
前記結合された視覚ペイロード・イメージ・フレーム・データおよびペアリング・コード・パターンを前記グラフィック・ディスプレイ上に表示するステップと、
を含む、方法。
【請求項１６】
請求項１０記載の方法であって、更に、
視覚ペイロード・イメージ・フレーム・データを生成するステップと、
少なくとも１つの位置決めターゲット・パターンを前記視覚ペイロード・イメージ・フレーム・データと結合するステップと、
前記結合された視覚ペイロード・イメージ・フレーム・データおよび位置決めターゲット・パターンを前記グラフィック・ディスプレイ上に表示するステップと、
前記ポインティング・デバイスにおいて、前記位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップと、
回復した位置決めターゲット・パターンに応じて、前記ディスプレイのポイント先の位置を決定するステップと、
前記ポインティング・デバイスにおけるユーザ入力の受け取りに応答して、前記ディスプレイのポイント先位置に対応する前記ポインティング・デバイスからの無線制御信号を生成するステップと、
を含む、方法。
【請求項１７】
対話型表示システムであって、
コンピュータにより処理される表示システムであって、
ディスプレイと、
前記ディスプレイ上に表示されることになるイメージ・データを生成するコンピュータであって、前記イメージ・データが視覚ペイロード・データおよびペアリング・コードを含むコンピュータと、
無線信号を受信するための受信機と、
を備える、コンピュータにより処理される表示システムと、
ポインティング・デバイスであって、
ハウジングと、
前記ハウジンに配置されたカメラと、
前記カメラによって取得されるイメージ・データをキャプチャするためのイメージ・キャプチャ回路と、
前記キャプチャされたイメージ・データ内で検出されるペアリング・コード情報を検出するために、前記イメージ・キャプチャ回路に結合されるペアリング回路と、
前記キャプチャされたイメージ・データ内で検出されるペアリング・コード情報を含む無線信号を送信するために、前記ペアリング回路に結合される送信機と、
を備えるポインティング・デバイスと、
を備え、前記コンピュータが、前記表示されたイメージ・データ内のペアリング・コードに一致するペアリング・コード情報を含んだ無線信号を前記ポインティング・デバイスから受信するのに応答して、前記ポインティング・デバイスによって送信された制御信号に応答するようにプログラムされたことを特徴とする、システム。
【請求項１８】
請求項１７記載のシステムにおいて、前記ポインティング・デバイスの送信機がまた、無線ペアリング要求信号を送信するためにあり、
前記コンピュータが、前記無線ペアリング要求信号の受信に応答して前記視覚ペアリング・コードを含むイメージ・データを生成するようにプログラムされたことを特徴とする、システム。
【請求項１９】
請求項１７記載のシステムにおいて、
前記表示システムが更に、無線ビーコン信号を送信するための送信機を備え、
前記ポインティング・デバイスが更に、無線信号を受信するための受信機を備え、
前記ポインティング・デバイスの送信機は、前記ポインティング・デバイスの受信機が前記無線ビーコン信号を受信したのに応答して、前記無線ペアリング要求信号を送信する、
システム。
【請求項２０】
請求項１８記載のシステムにおいて、前記コンピュータがまた、ポインティング・デバイスとペアリングするために、前記表示システムの意思を示す符号化されたイメージを含むイメージ・データを生成し、
前記ポインティング・デバイスの送信機は、前記ペアリング回路が前記キャプチャされたイメージ・データ内でペアリングする意思を示す前記符号化したイメージを検出するのに応答して、前記無線ペアリング信号要求を送信する、システム。
【請求項２１】
請求項１７記載のシステムにおいて、前記送信機がまた、ペアリング・コード情報を含んだ前記送信した無線信号内で前記ポインティング・デバイスの識別子を送信する、システム。
【請求項２２】
請求項１７記載のシステムにおいて、前記コンピュータが、前記ペアリング・コードを人により読み取り不可能なパターンの形態で生成する、システム。
【請求項２３】
請求項２２記載のシステムにおいて、前記コンピュータが、前記ペアリング・コードを、代替フレームにおいて変更した(alternating)偏光の光強度をパターン化して変調する形態で生成し、前記ペアリング回路は、前記ペアリング・コードを検出するために、キャプチャされたイメージ・データの連続フレームを差し引くためにある、システム。
【請求項２４】
請求項１７記載のシステムにおいて、前記コンピュータで処理される表示システムが更に、
少なくとも１つの位置決めターゲット・パターンを生成するためのターゲット生成回路であって、前記少なくとも１つの位置決めターゲット・パターンが、連続フレームにおいて前記ペイロード・イメージ・データの一部に適用されることになる強度変動補完に対応する、ターゲット生成回路と、
前記視覚ペイロード・データを前記少なくとも１つの位置決めターゲット・パターンに結合して表示に適した形態のグラフィック出力信号にするためのグラフィック出力回路と、
を備え、更に、
前記ターゲット・パターンを含むイメージ・データを回復するために、前記コンピュータに結合された表示から前記ポインティング・デバイスでキャプチャされた連続フレームを差し引くと共に、前記ポインティング・デバイスが照準を合わせた前記ディスプレイの位置を決定するためにある、位置決め回路を備える、
システム。
【請求項２５】
対話型表示システムであって、
コンピュータで処理される表示システムであって、
ディスプレイと、
前記ディスプレイ上に表示されることになるイメージ・データを生成するコンピュータであって、前記イメージ・データが視覚ペイロード・データおよびペアリング・コード情報を含む、コンピュータと、
無線信号を送信および受信するための無線回路であって、前記送信された無線信号の内少なくとも幾らかがペアリング・コード情報を含む、無線回路と、
を備えるコンピュータで処理される表示システムと、
ポインティング・デバイスであって、
ハウジングと、
該ハウジング内に配置されるカメラと、
該カメラによって取得されるイメージ・データをキャプチャするイメージ・キャプチャ回路と、
無線信号を受信および送信するための無線回路と、
前記キャプチャされたイメージ・データ内で検出されたペアリング・コード情報を、前記ポインティング・デバイスの無線回路が受信する無線信号内で検出されたペアリング・コード情報と比較するためのペアリング回路と、
を備えるポインティング・デバイスと、を備えており、
前記コンピュータは、前記ペアリング回路が、前記表示されたイメージ・データ内の前記ペアリング・コード情報と前記表示システムの前記無線回路が送信したペアリング・コード情報との間の一致を検出したことを示す、前記ポインティング・デバイスからの無線信号を受信したことに応答して、前記ポインティング・デバイスが送信した制御信号に応答するようにプログラムされたことを特徴とする、
システム。
【請求項２６】
請求項２５記載のシステムにおいて、前記表示システムの前記無線回路が、他の対話型表示システムが送信したペアリング・コードを含む無線信号を受信し、
前記コンピュータが前記他の対話型表示システムが送信した前記無線信号のペアリング・コードとは異なるペアリング・コードを導出するようにプログラムされたことを特徴とする、システム。
【請求項２７】
遠隔のデバイスを表示イステムとペアリングするための方法であって、
グラフィック・ディスプレイにおいてペアリング・コード情報を表示するステップと、
前記グラフィック・ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするために前記遠隔デバイスを動作させるステップであって、前記キャプチャされたイメージ・データが前記ペアリング・コード情報を含むステップと、
前記キャプチャされたペアリング・コード情報に対応するペアリング信号を前記遠隔デバイスから前記表示システムに伝達するステップと、
前記ペアリング信号が前記グラフィック・ディスプレイにおいて表示された前記ペアリング・コード情報に一致するのに応じて、前記遠隔デバイスが送信した追加信号の受信を認可するステップと、
を含む、方法。
【請求項２８】
遠隔のデバイスを表示イステムとペアリングするための方法であって、
グラフィック・ディスプレイにおいてペアリング・コード情報を表示するステップと、
前記グラフィック・ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするために前記遠隔デバイスを動作させるステップであって、前記キャプチャされたイメージ・データが前記ペアリング・コード情報を含むステップと、
前記遠隔デバイスにおいてペアリング・コード情報を含む無線信号を受信するステップと、
前記受信した無線信号内の前記ペアリング・コード情報が前記キャプチャされたイメージ・データ内の前記ペアリング・コード情報に一致するのに応じて、ペアリング信号を前記遠隔デバイスから前記表示システムに伝達するステップと、
前記ペアリング信号に応じて、前記遠隔デバイスが送信した追加信号の受信を認可するステップと、
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  本発明は、対話型表示システムの技術分野におけるものである。本発明の実施形態は、より詳細には、可視出力を表示しているコンピュータ・システムを用いた制御デバイスのペアリングに向けられる。
【０００２】
[0002]  話者がメッセージを聴衆に伝達できるのは、通常、視覚情報を話し言葉と組み合わせて用いることによって強化されるからである。現代において、例えば、マイクロソフト社から入手可能なパワーポイント・プレゼンテーション・ソフトウェア・プログラムのようなアプリケーションにより、視覚情報を聴衆向けに生成および表示する、コンピュータおよびこれに付随するディスプレイ・システムの使用は、通常行われていることである。例えばオーディトリアム環境のような大きな聴衆向けのディスプレイ・システムは、通常、投影システム（正面または背面投影のいずれか）である。近年、会議室または教室の環境といったより少ない聴衆用の、特に、フラット・パネル（例えば、液晶）ディスプレイについてのコストが下落すると共に、フラット・パネル・ディスプレイが普及してきた。例えば小型プロジェクタ（「ピコ(pico)・プロジェクタ」）といった、現在、特別なスクリーンを必要とすることのないより容易に開発される新しいディスプレイ技術が市場で浸透しつつある。非常に小規模の聴衆（例えば、１人か２人）に対するプレゼンテーション向けとしては、視覚情報を提示するのにラップトップ・コンピュータのグラフィックス・ディスプレイで十分である。いずれにしても、コンピュータ・パワーの増大と、より改良されより大きなディスプレイとを組み合わることで、数々の文脈（例えば、ビジネス、教育、法律、娯楽）において、より少ないコストでのコンピュータ・ベースのプレゼンテーション・システムの使用が増加してきている。
【０００３】
[0003]  典型的なコンピュータ・ベースのプレゼンテーションは、視覚情報について聴衆の視界を遮らないように、話者をディスプレイ・システムから離れて起立させる。視覚によるプレゼンテーションは、コンピュータによって生成され、且つコンピュータによって制御されるものであるため、プレゼンテーションは対話により制御されることができ、プレゼンテーションの間、視覚情報についての特定の聴衆、注釈または説明に対し、話者により、特に重要な視覚コンテンツの選択、および、ズーム、プレゼンテーションの他の情報へのリンクの選択（即ち、オンライン）、ならびに１つの表示位置から他の別ころまでの表示要素の移動などといった効果を施すことが必要になる。この対話性により、プレゼンテーションが非常に強化され、聴衆により興味深く関与させる。
【０００４】
[0004]  したがって、話者が、表示された視覚コンテンツと距離をおいて対話できることが望ましい。より具体的には、遠隔に位置する操作者が、表示される情報をポイント(point to)し、およびそれと対話するように使用することができるハンドヘルド・デバイスが、したがって望まれる。
【０００５】
[0005]  ２０１１年２月１０日に譲渡された同時係属特許出願第１３／０２５，０１５号に基づく、２０１１年９月２２日に発行された「Interactive Display System（対話型表示システム）」と称される米国特許出願公開ＵＳ２０１１／０２２７８２７は、参照により本願明細書に組み込まれるが、これには、カメラやその他の動画キャプチャ・システムを含む無線ポインティング・デバイスを含んだ対話型表示システムについて記載されている。ポインティング・デバイスは、コンピュータによって表示されるイメージをキャプチャし、このイメージは、人間には知覚できない１つ以上の位置決め(positioning)ターゲットを含む。回復した位置決めターゲットが有する位置、サイズ、および方向により、表示と関連した遠隔ポインティング・デバイスが照準を定めたポイントを識別する。ポインティング・デバイスを位置決め(position)するために、（人により認知可能かまたは人により認知不可能な）位置決めターゲットの時間的配列(temporal sequencing)がまた記載されている。
【０００６】
[0006]  公知なように、従来型の短距離の無線（例えば、「ブルートゥース」）チャネルを介するポイント・ツー・ポイント通信は、相互に通信することになる２つの装置を「ペアリング(pairing)」することを伴う。要約すると、従来型のペアリングは、各デバイスについて他のデバイスによる識別、および各デバイスが短距離無線チャネルを介して他方から受け取った通信を「信頼する」意味での認証を含む。このようなペアリングは、従来型の近距離無線デバイスが全方向的に送受信するという問題に対処する。このように、受信デバイスは、照準を定めた送信機以外のデバイスから無線信号を受信することもある。各デバイスがその照準を定めた送信機からのみの無線信号に応答し、且つ、その照準を定めた受信機によってのみに応答されるその送信信号を有することを可能にすることによって、ペアリングは混乱を回避する。
【０００７】
[0007]  勿論、特定の用途では、これらワイヤレス通信においてあるセキュリティ・レベルを必要とすることになる。それらのケースでは、ペアリングのプロセスはまた、暗号鍵の交換も含むことになり、その結果、ペアリングされたデバイスの各々はそのワイヤレス通信を暗号化および復号化することができる。
【０００８】
[0008]  コンピュータ・システムとの短距離無線通信のための従来型のペアリング技術は、しばしば、「帯域外」技術（すなわち、無線通信および無線以外の手段による通信の両方を使用する）を組み込んで、ペアリングされる関係を確立する。これら従来技術は、ペアリングされるデバイスの各々が、他方を認証することを必要とする。言い換えれば、ペアリングを開始するデバイスが応答デバイスを認証し、そして認証デバイスがまた開始デバイスを認証する。
【０００９】
[0009]  対話型表示システムの文脈では、上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７に記載されるように、ポインティング・デバイスとコンピュータ・システムまたは表示される出力を表示および制御するグラフィック・サブシステムとのペアリングは、従来型の短距離無線通信のペアリングとは異なる状況を呈する。より具体的には、所望の通信の表示システムが、例えば異なる会議室または教室において、他の表示システムにおける無線範囲内に配備されることもある。自身に可視な表示システムを制御することにのみプレゼンタが興味を示す一方で、彼のポインティング・デバイスによって送信される無線信号が無線信号範囲内にある他の部屋の表示システムに到達することもある。反対に、彼が制御を望む表示システムが、それらの近辺の部屋にあるポインティング・デバイスからの制御信号を受信していることもある。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
このように、あるレベルでのペアリングは、他のポインティング・デバイスからの所望の表示システムにおける干渉を回避することが必要となる。しかしながら、ポインティング・デバイスは名目上、特定の表示システムに割り当てられることがないものの、その代わりに、異なるシステムを用いて、異なる位置で、異なる時間にプレゼンタが所有することができると考えられる。例えば、ポインティング・デバイスは、さまざまな顧客でプレゼンテーションで用いるためにセールスマンが所有することもある。この文脈では、迅速且つ簡単にポインティング・デバイスを表示システムとペアリングする機能が有用である。更にまた、ポインティング・デバイスがその構造および動作の点で、比較的小さいフォーム・ファクタを達成するために（コンピュータのマウスと同様に）１つ２つのボタンを用い、且つバッテリ電力を節約する最小限のＲＦ伝送能力を有することでシンプルにすることが非常に望ましい。
【課題を解決するための手段】
【００１１】
[0010]  本発明の実施形態は、対話型表示システムを提供すると共に、それを動作させて無線および可視情報の双方を利用し、ポインティング・デバイスとディスプレイを制御しているコンピュータ・システムとの間に片方向のペアリングを確立する方法を提供する。
【００１２】
[0011]  本発明の実施形態は、ペアリングを確立するのに必要となるポインティング・デバイスの対話についてオーバーヘッドとなる機能を最小化するようなシステムおよび方法を提供する。
【００１３】
[0012]  本発明の実施形態は、表示された情報内に照準を定めるポイントを検出可能な対話側ポインティング・デバイスのペアリングに特に適切なシステムおよび方法を提供する。
【００１４】
[0013]  本発明の実施形態についての他の目的および利点は、当業者にとって、図面と共に以下の明細書を参照することで明らかになるであろう。
【００１５】
[0014]  本発明は、対話型表示システムおよびこれを動作させる方法に組み込むことができ、表示システムは、ポインティング・デバイスに可視方式で表示されるペアリング・コードによって、ポインティング・デバイスとペアリングする。表示されたペアリング・コードを受信すると、例えばカメラやポインティング・デバイス内のイメージ処理機能によって、ポインティング・デバイスは、無線または他の電気信号を表示システムに送信する。表示システムは、受信したペアリング・コードの指標(indication)を含む。ポインティング・デバイスから信号を受信することに応答して、表示システムは、ポインティング・デバイスにその機能性について制御を付与する。
【図面の簡単な説明】
【００１６】
【図１】[0015]  図１は、本発明の実施形態による対話型表示システムを使用して行われる話者のプレゼンテーションについての模式的な透視図である。
【図２ａ】[0016]  図２ａおよび２ｂは、それぞれ本発明の一実施形態による対話型表示システムを示すブロック形態の電気図である。
【図２ｂ】図２ａおよび２ｂは、それぞれ本発明の一実施形態による対話型表示システムを示すブロック形態の電気図である。
【図３】[0017]  図３は、本発明の実施形態が配備可能な対話型表示システムの全般的な動作について示すフロー図である。
【図４ａ】[0018]  図４ａ〜４ｅは、本発明のそれぞれの実施形態により、図１の対話型表示システムにおいて、ポインティング・デバイスの表示システムとのペアリングの動作について示すフロー図である。
【図４ｂ】図４ａ〜４ｅは、本発明のそれぞれの実施形態により、図１の対話型表示システムにおいて、ポインティング・デバイスの表示システムとのペアリングの動作について示すフロー図である。
【図４ｃ】図４ａ〜４ｅは、本発明のそれぞれの実施形態により、図１の対話型表示システムにおいて、ポインティング・デバイスの表示システムとのペアリングの動作について示すフロー図である。
【図４ｄ】図４ａ〜４ｅは、本発明のそれぞれの実施形態により、図１の対話型表示システムにおいて、ポインティング・デバイスの表示システムとのペアリングの動作について示すフロー図である。
【図４ｅ】図４ａ〜４ｅは、本発明のそれぞれの実施形態により、図１の対話型表示システムにおいて、ポインティング・デバイスの表示システムとのペアリングの動作について示すフロー図である。
【図５】[0019]  図５は、本発明の実施形態により構築および動作される対話型表示システムによって、ポインティング・デバイスに対し可視の方式で表示されるペアリング・コードの具体例を示す。
【発明の詳細な説明】
【００１７】
[0020]  本発明は、その実施形態、すなわち、聴衆による可視表示を含むコンピュータにより処理されるプレゼンテーション・システムで実施される１またはそれ以上の実施形態に関して説明される。何故ならば、本発明は、このようなシステムに適用されるときに特に有用であると考えられるからである。しかしながら、本発明はまた、例えば、ゲーム・システムのような他の適用、およびユーザによるコンピュータ・システムへの全般的な入力などに関しても有用なものとも考えることができる。したがって、以下の説明は例示のためだけに提供されるものであり、特許請求されるような本発明の本当の範囲を限定することを目的としないことが理解されるべきである。
【００１８】
[0021]  図１は、本発明の実施形態が有用となる環境について簡略化した例を示している。図１に示すように、話者ＳＰＫＲは、表示システム３０によって生成および提示される視覚的補助(visual aid)を用いて、聴衆Ａにライブでのプレゼンテーションを提供している。通例、これら視覚的補助は、コンピュータ２２によって生成され、聴衆Ａに可視なようにルームサイズのグラフィック・ディスプレイ２０上に表示された、コンピュータ・グラフィック・テキストの形態である。公知なように、このようなプレゼンテーションは、ビジネス、教育、娯楽および他の文脈において共通であり、特定の聴衆のサイズおよび大きく変更するシステム要素を有する。図１の簡略化された例は、ビジネス環境について示しており、聴衆Ａは、プレゼンテーションを視聴している数人またはそれ以上のメンバを含む。環境のサイズは、何百人もの聴衆メンバを着席させたオーディトリアムから、聴衆Ａが単一の人から構成される単一の机またはテーブルにいたるまで、変更することができる。
【００１９】
[0022]  視覚補助を聴衆Ａに提示するために使用されるタイプのディスプレイ２０は、本環境に応じて変更することもできる。大規模な聴衆に対し中間より前方で使用するためには、ディスプレイ２０は、投影による表示でもよく、または、プラズマ若しくは液晶（ＬＣＤ）といったタイプの外部フラット・パネル・ディスプレイとしてもよく、いずれにせよ、コンピュータ２２のグラフィックス・アダプタによって駆動される。１人か２人の聴衆メンバに対するプレゼンテーションでは、ラップトップまたはデスクトップ・コンピュータの形態のコンピュータ２２が、単にそれ自身のディスプレイ２０を使用して視覚情報を提示することができる。また、より少数の聴衆Ａのために、ハンドヘルド・プロジェクタ（例えば、「ポケット・プロジェクタ」または「ピコ(pico)・プロジェクタ」）がより一般的になりつつある。この場合には、表示スクリーンは壁またはホワイト・ボードとするとよい。
【００２０】
[0023]  プレゼンテーションは、マイクロソフト社から入手可能なＰＯＷＥＲＰＯＩＮＴソフトウエア・プログラムのような従来型のプレゼンテーション・ソフトウェアによって生成および提示することができ、コンピュータ２２によって実行される。あるいは、特定の視覚情報は、コンピュータ２２において実行する事前作成されたプレゼンテーションである必要がなく、代替として、コンピュータ２２を介してアクセスされるウェブ・ページや、アイコン、プログラム・ウインドウおよびアクション・ボタンを含むデスクトップ表示、コンピュータ２２によって読み出されるＤＶＤまたは他の記憶デバイスからのビデオ・コンテンツ若しくは動画コンテンツ、または、（話者ＳＰＫＲがポインティング・デバイス１０を用いて「描画(draw)」または「書き込む(write)」ことができる）「ホワイト・ボード」としてのブランク・スクリーンとしてもよい。本発明の実施形態の点で有用な他のタイプの視覚情報について、当業者は本明細書を参照することで明らかなものとなろう。
【００２１】
[0024]  図１に示されるように、また、例えば、上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７における例によって記載したように、スピーカＳＰＫＲは、ポインティング・デバイス１０により、プレゼンテーションの動作やそのほかの表示システム３０による可視出力を遠隔且つ対話型で制御する。ポインティング・デバイス１０は、ディスプレイ２０におけるイメージの全部または一部をキャプチャすることができ、そして、ポイント先の(pointed-to)（即ち、照準を定めた(aimed-at)）そのイメージのターゲット位置と相互作用することができる。この例でのポインティング・デバイス１０は、ディスプレイ２０においてこのポイントされた位置および話者ＳＰＫＲからの他のユーザ命令を、システム３０の受信機２４にワイヤレスで伝達し、そして次いでコンピュータ２２に伝達する。このように、本発明の実施形態によれば、表示されるコンテンツとの遠隔での対話（相互作用）性が実施される。
【００２２】
[0025]  図２ａは、ポインティング・デバイス１０および表示システム３０のその主要な構成要素によって、図１に示し、且つ上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７で説明したような環境での有用な対話式表示システムに関する構成の一般化された例を示す。この例では、表示システム３０はコンピュータ２２を含む。コンピュータ２２は、プロジェクタ２１によって表示スクリーン２０において表示される「ペイロード」イメージを生成するための適切な機能性を含む。このペイロード・イメージは聴衆による視聴が意図される。このペイロード・イメージ生成機能において、コンピュータ２２は、表示する視覚情報（すなわち視覚「ペイロード」イメージ）を生成し、この視覚情報にアクセスすることになる。それは、例えば、メモリ内に事前に生成したプレゼンテーション・ファイルの形態、または、コンピュータ２２がネットワークやインターネットを介して検索することができるアクティブ・コンテンツの形態である。加えて、上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７で説明したように、コンピュータ２２からのペイロード・イメージ・フレーム・データは、ターゲット生成機機能２３によって生成される位置決めターゲット・イメージ・コンテンツと共に結合される。ターゲット生成機機能２３は、グラフィックス・ディスプレイ２０において表示されるときに、ポインティング・デバイス１０がキャプチャし、また位置決め回路２５が使用することができ、その結果、ポインティング・デバイス１０によってポイントされる位置を推定する。グラフィック・アダプタ２７は、イメージ・データのフレームのシーケンスをプロジェクタ２１に提示するのに適した適切な機能を含む。このイメージ・データは、ペイロード・イメージ・データと位置決めターゲット・イメージ・コンテンツとの組合せを、適切な表示フォーマットで含んでいる。プロジェクタ２１は、次いで、この投影の例においては、表示スクリーン２０において対応するイメージＩを投影する。
【００２３】
[0026]  表示システム３０、並びにその構成要素であるコンピュータ２２、位置決め回路２５、ターゲット生成機回路２３、およびグラフィックス・アダプタ２７についての具体的な構成は、広く変更することができる。コンピュータ２２の例には、単一のパーソナル・コンピュータまたはワークステーション（デスクトップ、ラップトップまたは他の適切な形態）が含まれ、こららは、ペイロード・イメージを生成し、位置決めターゲットを生成し、そして、ポインティング・デバイス１０からデータを受信および処理して、表示されるイメージのポイント先位置を決定するための適切な処理回路を含む。代替としては、コンピュータ２２の外部の別個の機能システムがターゲット生成機２３、受信機２４、および位置決め回路２５、並びに恐らくはグラフィック・アダプタ２７それ自体の有する機能の内の１またはそれ以上を実行することができるものと考察される。これら機能についての他の様々な代替の実装についてもまた考察される。いかなる場合においても、コンピュータ２２、位置決め回路２５、ターゲット生成機２３、およびグラフィックス・ディスプレイ２０において表示されるイメージならびに位置決めターゲットの生成に伴う他の機能は、コンピュータ・プログラム命令を格納するコンピュータ可読媒体の形態で、適切なプログラム・メモリを含むことができるものと考察される。このコンピュータ・プログラム命令は、その処理回路によって実行されるときに、本明細書で説明する本発明の実施形態についての様々な機能や動作を実行することになる。本明細書を参照する当業者にとって、不当な実験をすることなく、本発明のこれら実施形態を実施するための適切なコンピュータ・ハードウェアおよび対応するコンピュータ・プログラムを容易に配置することが可能なものと考察される。
【００２４】
[0027]  この例では、ポインティング・デバイス１０は、光学システム１２およびイメージ・センサ１４からなるカメラ機能を含む。ディスプレイ２０に照準を定めるポインティング・デバイス１０を用い、ポインティング・デバイス１０とディスプレイ２０の間の距離、光学システム１２内のレンズの焦点距離などに従って、イメージ・センサ１４は、ディスプレイ２０でのイメージＩの全部または一部によって露出(expose)される。イメージ・キャプチャ機能１６は、ユーザによって選択される特定の時点でキャプチャされる、または、一連のサンプリング時間の各々でキャプチャされる、イメージのデジタル表現を取得および格納するための適切な従来技術の回路を含む。ポインティング・デバイス１０はまた、アクチュエータ１５を含む。このアクチュエータ１５は、従来型の押しボタンまたはその他のスイッチであり、それを通じて、ポインティング・デバイス１０のユーザは、イメージ・キャプチャを作動させるための、または、以下に説明するような当業者にとって明らかなような他の機能に対する、マウス・ボタンの性質を帯びているユーザ入力を提供することができる。この例では、１またはそれ以上の慣性センサがまた、ポインティング・デバイス１０内に含まれており、ディスプレイにおけるポイント先の位置の検出に関連するネゴシエーションを補助し、または表示されるコンテンツとのユーザ対話を強化する。このような慣性センサの実施例には、加速度計、磁気センサ（すなわち、地球の磁場に対する方向を検知するためのもの）、ジャイロスコープ、およびその他の慣性センサが含まれる。
【００２５】
[0028]  図２ａのこの例では、ポインティング・デバイス１０は、位置決め回路２５に、イメージ・キャプチャ機能１６によって取得されるキャプチャしたイメージに対応する信号を転送するように動作可能である。この伝達機能は、ポインティング・デバイス１０の無線送信機１８によってその内部アンテナＡと共に実行され、それを経由して、無線周波信号（例えば、ブルートゥースまたは適切なＩＥＥＥ８０２．１１規格といった従来規格による、または専用の(proprietary)無線プロトコルによるもの）が送信される。送信機１８は、キャプチャしたイメージ・データを、他のユーザ入力および適用可能な無線プロトコルを介した制御信号と共にコード化、変調、および送信するための従来の構成および動作を有するものと考察される。この例では、受信機２４は、そのアンテナＡを介してポインティング・デバイス１０からの送信信号を受信すること、および、復調し、復号化し、フィルタリングし、および、その他受信信号を位置決め回路２５による処理に適したベースバンドの形態に処理することができる。
【００２６】
[0029]  本発明の実施形態によれば、ポインティング・デバイス１０はまた、ペアリング回路１３を含む。ペアリング回路１３は、このようなプログラム可能な、またはプログラムされ若しくはその他動作可能なカスタム論理回路に対応し、場合によっては、コンピュータ２２と「ペアリング」したポインティング・デバイス１０で有用となるように、ディスプレイ２０でイメージＩ部分内に表示される特定の情報を検出し、復号化できる。このように、本発明の実施形態によれば、ペアリング回路１３は、イメージ・キャプチャ機能１６からイメージ・データを受け取り、それらイメージ・データに収容されるペアリング情報に対応する信号を送信機１８に送る。ハードウェアの観点からは、ペアリング回路１３は、イメージ・キャプチャ１６若しくは送信機１８（またはこれら両方とも）と同一の物理集積回路内で実装することができるか、あるいは、内部に設けられる一般的な制御および処理回路を含むポインティング・デバイス１０内で、他の回路により実現可能である。
加えて、後述するように、特定のペアリング回路２６は、ポインティング・デバイス１０からの無線信号に応答して表示システム３０によって実行されるペアリング機能および認可機能を管理するために、表示システム３０内において実装することができる。代替としては、表示システム３０内のコンピュータ２２または他のプログラム可能な機能がそれらペアリング機能および認可機能を管理できるものと考察される。
【００２７】
[0030]  図２ｂでは、本発明の実施形態による、対話式ディスプレイ・システム３０’に関する代替の一般化した配置について示す。このシステムは、既に説明したようなプロジェクタ２１およびディスプレイ２０を含み、このプロジェクタ２１は、先に説明したコンピュータ２２によって生成されるペイロード・イメージ・コンテンツおよび位置決めターゲット・イメージ・コンテンツを投影する。この例では、ポインティング・デバイス１０’は、現在ポイントしているディスプレイ２０における位置を決定することに伴う計算の一部または全部を実行する。このように、カメラ（レンズ１２、イメージ・センサ１４およびイメージ・キャプチャ１６）に加えて、ポインティング・デバイス１０’は、ペアリング回路１３および無線送信機１８と共に位置決め回路２５’を含む。既に説明したとおり、コンピュータ２２は受信機２４に結合される。ペアリング回路２６はまた、先に説明したように表示システム３０’内に実装することができ、ポインティング・デバイス１０’からの無線信号に応答して実行されるペアリング機能および認可機能を管理する。あるいは、これらペアリング機能および認可機能は、コンピュータ２２によって実行することができる。
【００２８】
[0031]  一般的な意味では、位置決め回路２５’は、次いで、イメージ・センサ１４およびイメージ・キャプチャ１６で取得されるキャプチャ・イメージＩ内に収容される位置決めターゲット・イメージ・コンテンツを、そのメモリに格納される位置決めターゲット・イメージ情報と比較することによって、照準が定められたディスプレイ２０における位置を決定する。例えば、推測的に、位置決め回路２５’は、ディスプレイ２０で表示される位置決めターゲットの名目上の形状およびサイズに対応するイメージ・データを格納することができ、その結果、キャプチャしたイメージをその位置決めターゲット・イメージと比較することができる。あるいは、送信機１８および受信機２４は、それぞれ、相互に無線通信の送信および受信の双方を行うことができる送受信機として実装することができ、その場合には、ディスプレイ２０で表示される位置決めターゲットのサイズ、形状および位置に対応するデータは、比較のために、ポインティング・デバイス１０’に送信することができる。いずれの場合でも、図２ｂのシステムは、上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７に記載されているように、ポインティング・デバイス１０’における位置決め回路２５’の少なくとも一部を分散させることにより、全動作がいくらか異なる結果となる。
【００２９】
[0032]  上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７では、本発明の実施形態による対話型表示システムの動作について詳細に記載している。図３を参照して簡単に要約すると、一端ポインティング・デバイス１０がコンピュータ２２、受信機２４および当該コンピュータに設けられた同様の付随回路を含む表示システム３０，３０’（本明細書の便宜上、選択的に表示システム３０と称する）とペアリングされて表示イメージを生成すると、ポインティング・デバイス１０はコンピュータ２２と通信することが可能になる。動作中、表示システム３０は、プロセス３１において、ディスプレイ２０での表示のために視覚ペイロード・イメージ・データを生成する。このようなペイロード・イメージ・データは、プレゼンテーションの視覚コンポーネントを構成する人により認知可能な(human-perceptible)コンテンツに相当する。この視覚ペイロード・イメージ・データに加えて、プロセス３２において、ターゲット生成機機能２３は、位置決めターゲット・イメージについても、視覚ペイロード・イメージ・データと共にディスプレイ２０に表示することになる。これら位置決めターゲット・イメージは、聴衆Ａにとって認知可能でもよく認知不可能でもよい。いずれにせよ、位置決めターゲットは、ポインティング・デバイス１０には認知可能である。コンピュータ２２またはグラフィック・アダプタ２７は、表示システム３０のアーキテクチャに応じて、プロセス３４において、視覚ペイロード・イメージ・データおよび位置決めターゲット・イメージ・データをディスプレイ２０での表示に適切な形態、例えば従来意味するところのグラフィック、即ちビデオ・データについて１つ以上の「フレーム」の形態に結合する。プロセス３６において、これら結合されたフレームは、利用される表示技術に従って、ディスプレイ２０での出力のためにプロジェクタ２１またはグラフィック・ディスプレイ２０それ自体に転送される。
【００３０】
[0033]  プロセス３８において、ポインティング・デバイス１０は、次いで、ディスプレイ２０で表示されているイメージの少なくとも一部をキャプチャすることによって、グラフィカル・ユーザ・インタフェース（ＧＵＩ）によるプレゼンテーションを制御することが可能になる。キャプチャされる表示イメージには位置決めターゲットの内１つ以上が含まれる。プロセス４０において、ポインティング・デバイス１０は、キャプチャされたイメージ内に収容される位置決めターゲット・イメージの属性を決定し、そして、プロセス４２において、これら属性から、ポインティング・デバイス１０がイメージ・キャプチャ時にポイントしていた表示イメージＩの位置を決定する。次いで、コンピュータ２２への伝達のために、その位置および如何なる付随の制御信号（即ち、アクチュエータ１５の押圧）もが、受信機２４に送信される。コンピュータ２２は、次いで、例えば、「選択」、クリック・アンド・ドラッグ、ダブル・クリック、右クリック、表示コンテンツへのズームインまたはこれからのズームアウト、ページめくりなどのようなユーザがポインティング・デバイス１０を介して与えるＧＵＩコマンドを復号化できる。これらのＧＵＩ命令についての他の例には、（例えばハイライトされ、若しくはそのコンテンツへのコメントに対する）表示コンテンツまたはブランクの「ホワイト・ボード」表示のいずれかに対する、ポインティング・デバイス１０の使用を通じたフリーハンド・イメージの図面、フリーハンド・テキストの書面が含まれることがある。プロセス４４において、この方法により表示システム３０がユーザ・コマンドを復号化すると、対話型表示システムは、プロセス３０において、例えば、受信したユーザ・コマンドに応答して表示されることになる新規の視覚ペイロード・イメージ・コンテンツを生成することによる動作を繰り返す。任意には、位置決めターゲットは、復号化したコマンドに適切に応答して生成され、そして次の表示イメージに組み込まれてもよい。プレゼンテーションは、このようにして進行する。
【００３１】
[0034]  上記要約を示したように、また上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７にて説明したように、対話型表示システムの動作は、そのポインティング・デバイス１０および表示システム３０，３０’（本明細書の便宜上、選択的に表示システム３０と称する）は、表示システム３０がポインティング・デバイス１０から受信する制御信号に応答するという意味で、相互にペアリングされる。本説明の便宜上、これら制御信号は無線通信であり、例えば図２ａに示したように、ポインティング・デバイスの送信機１８によって表示システム３０の受信機に送信される。他の通信設備がまた本発明の実施形態において用いることもできることは本明細書を参照した当業者にとって認識されるであろう。
【００３２】
[0035]  本発明の実施形態は、図１における対話型表示システムの環境に、その対話型表示システムが使用され動作される方法において用いられると特に良く適合する。多くの環境では、複数のプレゼンテーションが互いに幾分か近接して同時に進行となることがある。例えば、教室建物では、通例いくつかの教室が相互に近接する構造であり、より具体的には、相互に短距離無線信号の範囲内にある。同様に、カンファレンス・センタまたは他のエリアのオフィスビルは、しばしば相互に近接したいくつかの会議室を有する。これらの状況において、所与のポインティング・デバイスから送信される従来型の短距離無線信号は、複数の受信機が受信することができる。すなわち、同一の部屋にある表示システム内の受信機のみならず、他の部屋にある表示システムの受信機が受信することができる。勿論、１つの部屋にあるポインティング・デバイスが他の部屋のディスプレイを見る(view)ことはできないので、表示システムは、それ自体以外の部屋から発出している信号に応答すべきではない。更に、ポインティング・デバイスは、特定の表示システムに対し、厳しく「割り当てられる」ことはできないものと考察される。むしろ、ポインティング・デバイスは、個々のユーザにとって個人的としてもよいものと考察される。その結果、所与のユーザは、同一のポインティング・デバイスを多くの異なる位置において提示するために使用して、異なる表示システムで与えられるプレゼンテーションを制御することができる。
【００３３】
[0036]  本発明に関連して、表示システムのディスプレイを適任の属性として見る(view)ためにポインティング・デバイスの機能を用い、制御信号の適当な供給源として特定のポインティング・デバイスを表示システムのコンピュータに簡単に、迅速に、そして確実にペアリングする必要性が存在するものと考察されてきた。他方、表示システムは、正規の制御信号の供給源として、そのディスプレイを見ることができないそれらポインティング・デバイスを認可してはならない。本発明の実施形態は、以下に詳述するようなペアリング機能を提供するものである。
【００３４】
[0037]  本発明に関連して、更に、一旦ペアリングされたら、ポインティング・デバイスが、制御することになる表示システムを認可(authorize)し、さもなければ認証(authenticate)する特段の必要性がないことも分かっている。動作中に、ユーザは、グラフィカル・ユーザ・インタフェース（ＧＵＩ）の方法でプレゼンテーションを生成および提示しているコンピュータの動作を制御することになる。換言すれば、プレゼンテーションの制御は、ユーザが見ているような現在表示中のグラフィカル・エレメントに基づき、これによりユーザがポインティング・デバイスを用いて対話することができる。つまり、ポインティング・デバイスから発出された制御信号に応答するコンピュータが（表示された出力の変化から明らかなように）制御されることになるコンピュータであるというナレッジをユーザは有することになる。更に、本発明に関連して、ポインティング・デバイスにより送信されるＧＵＩ制御信号のセキュリティは、仮に必要であったとしてもほとんどが必要ではないことが分かっている。例えば、上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７における記載によれば、ポインティング・デバイス１０，１０’が送信する制御信号のコンテンツは、所望のアクションを伝えるために（恐らく「右クリック」等のような１つ以上のオプションといった）「クリック」を用いた実装に応じて、表示イメージの特定の位置（ｘ―ｙ座標）のような情報、または１つ以上の位置決めターゲットおよびその属性を有するデータに制限することができる。よって、これら無線制御信号における情報コンテンツは、全てに存在する場合に極めて限定される。したがって、対話型表示システムのユーザは、通例、これら無線制御信号が特定のプレゼンテーションの外側から何かしら「覗き見される(snooped)」か否かについてほとんど懸念を有することはない。その結果、これら制御信号は暗号化する必要はないし、また、それらの受信が特定宛先の表示システムに制限されることもない。
【００３５】
[0038]  本発明に関して実施したこれらの発見および考察の結果、本発明の実施形態は、対話型表示システムのような用途に対してペアリング機能を提供する。対話型表示システムは、最小限の計算および最小限のポインティング・デバイスにおいて展開されるその他の機能性と共に、また、そのポインティング・デバイス内の無線送信機への最低限の負荷と共に、ポインティング・デバイスに付加される（キーパッドのような）追加の入力機能を必要とすることなく、実現することができる。その結果、ポインティング・デバイスのコストは最小化することができ、バッテリ電力を節約することができ、そして、ポインティング・デバイスのフォーム・ファクタは最低限、且つ外観上心地よい形状に保つことができる。
【００３６】
[0039]  これより図４ａ〜４ｃを参照して、ポインティング・デバイス１０の動作、および本発明の実施形態による視覚上のペアリングを実行する表示システム３０について、更に詳細に説明する。先に説明したように、本明細書を参照した当業者にとって、これら回路内でのこれら処理ステップ、およびポインティング・デバイスおよび表示システムの計算機能は、特定のアプリケーションおよびアーキテクチャによる構成および配置として容易に実施されるものと考察される。このように、本発明の実施形態による図４ａから図４ｃの動作は、図２ａのポインティング・デバイス１０および表示システム３０に関連して、例示により説明される。勿論、類似の機能性は、図２ｂのポインティング・デバイス１０’および表示システム３０’に直接適用することになり、これはまた、本明細書を参照した当業者にとって、本発明の範囲内である代替および変形態様として配置された代替のアーキテクチャおよび実装に容易に適用可能であるものと考察される。
【００３７】
[0040]  図４ａに示す手順による図２ａの対話型表示システムの動作は、プロセス５０で開始される。ここでは、表示システム３０は、表示システム３０がその近傍で（すなわち、ディスプレイ２０の見通し線内で）ポインティング・デバイスとペアリング意思の指標(indication)を含み、且つ、そのペアリングで用いるためのペアリング・コードを含むイメージをディスプレイ２０で表示する。プロセス５０における表示システム３０で生成および表示されるイメージは、符号化されたイメージであり、ポインティング・デバイス１０のカメラ機能（例えば、光学システム１２、イメージ・センサ１４、およびイメージ・キャプチャ機能１６）でキャプチャされたイメージ・データが、ペアリング回路１３またはその他のポインティング・デバイス１０内の機能性によって復号化されることができ、ペア・メッセージおよびペアリング・コードを回復させる。必要に応じて、ペアリング・コードそれ自体は、ペアリング意思(intent-to-pair)コードとしてサービスすることもできる。この場合は、ペアリング・コードの表示は、表示システム３０がポインティング・デバイスとペアになることを意図するものと暗に意味する。しかしながら、このペアリング意思メッセージは、ペアリング・コードが表示システム３０により表示された他のイメージ・データとは十分には弁別的でないような実装において有用となることができる。この場合には、このペアリング意思メッセージは、ポインティング・デバイスを警告して、特定のイメージをペアリング・コードとみなすことができる。
【００３８】
[0041]  より具体的には、表示システム３０は、ペアリング意思およびペアリング・コードの表示において、数多くの様々な方法の内任意の１つの方法でプロセス３０を実行することができるものと考察される。これらメッセージを収容するイメージはポインティング・デバイス１０によって見られ(view)、応答されることのみが必要であるために、プロセス５０で生成および表示されるイメージは人により認知可能または人により読み取り可能（すなわち、英数字）であることは必須ではない。むしろ、多くの場合では、ポインティング・デバイス１０内のペアリング回路１３によって容易に解釈されるような方法で、プロセス５０のイメージが符号化されることが好ましい。ペアリング意思およびペアリング・コードとして（または、必要であれば両方のメッセージが単一のメッセージに結合されて）使用されるイメージの例には、周知のＵＰＣバーコード、「ＱＲ」コードのような２−Ｄマトリクス・バーコード等が含まれる。勿論、これらメッセージを符号化する専用(proprietary)または特定(specialized)のパターンもまた使用することができる。これらの機械読み取り可能コードは、聴衆Ａに可視なように従来方式のグラフィック・ディスプレイ２０で表示することができ、すなわち、人により感知可能な方法で、例えば交互のフレームにおける交互の偏光の光強度についてパターン化した変調により表示することができる。その結果、上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７に記載されるように、ポインティング・デバイス１０により感知可能となるが、聴衆Ａには感知不能となる。この例では、ペアリング回路１３は、キャプチャしたイメージ・データの連続するフレームを差し引く機能を含み、人により可視なコンテンツが相殺する間に交互の偏光変調におけるパターンを回復することができる。幾らかの実装および環境において、例えばそのイベントについてユーザや聴衆に警告すること（例えば、妨害その他の非認可のデバイスによって試行されている場合にペアリング・プロセスのキャンセルを可能にすること）は、ペアリングが生じていることを示す、グラフィック・ディスプレイ２０における人により感知可能な指標に対して有用となることもある。
【００３９】
[0042]  図５は、本発明の実施形態に関し、使用に適するグラフィカルな視覚ペアリング・コードの例を示す。この特定の視覚ペアリング・コードは、ポインティング・デバイス１０により認知可能であり、また、人により感知可能であるか（すなわち、ディスプレイ２０の可視イメージとして）、または上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７に記載したように人により感知不可能であるかのいずれかであるイメージＩの形態で表示システム３０に表示することができる。図５の視覚上のコードは、エレメント８０およびコード・ビット８２０から８２６を含む。エレメント８０は比較的大きく、つまり、容易に検出される。視覚上のエレメントは、ディスプレイ２０においてグラフィカルなペアリング・コードの存在、位置および方向を示すために有用である。この例では、図５からも明らかなように、エレメント８０は大きな黒い正方形である。コード・ビット８２０から８２６は、この例では付加的な７つのより小さいエレメントであり、エレメント８０の角の周辺に配列される。この例では、コード・ビット８２０から８２６の各々は、「０」値（白）または「１」値（黒）のいずれかを取ることができ、このように順番にみなされるときは２進数を構成することができる。「０」の白コード・ビット（例えば、図５のコード・ビット８２６，８２４，８２１）は、明視度を増加させて、またはそれらの位置において変調を欠如させて表現することもある（いずれにしても図５に示す可視境界を用い、またはこれを用いることなく表現される）。通例、このコードの解釈のために、ある慣例が確立される。例えば、コードは、コード・ワードの中央ビットである、エレメント８０のコーナーにおけるコード・ビット８２３を用いて、特定の方向で配列されたコード・ビット８２０から８２６の順序によりみなされる。エレメント８０の単一コーナー周辺に配置されるコード・ビット８２０から８２６により、コードがその回転方向から独立される。図５の例では、反時計回り方向で（ＭＳＢファースト）コード・ワードをみなす慣例の場合については、コード・ワードの値は、０１０１１０１２である。異なるサイズの視覚コードの複数のインスタンスは、イメージＩ内に同時または連続して表示されることもあり、ディスプレイ２０から広い範囲の距離にわたりポインティング・デバイス１０のペアリングを可能にする。
【００４０】
[0043]  図４ａを再度参照する。プロセス５０が実行されている時点では、表示システム３０はグラフィック・ディスプレイ２０に対するポインティング・デバイス１０の位置について、または如何なるポインティング・デバイスもがディスプレイ２０の近傍にあるかでさえも、必然的に認識していない。このように、プロセス５０のイメージが提示される方式では、ポインティング・デバイス１０とディスプレイ２０間の広範囲の距離にわたるポインティング・デバイス１０によるキャプチャに適するものと考察される。上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７に記載した対話型表示システムは、ディスプレイからこのような広範囲の距離にわたるそのポインティング・デバイスの動作を可能にし、よって特に本発明の実施形態に関して利用するのに良く適している。代替としては、プロセス５０は、ペアリングをサポートするために別の方法で実行することもある。例えば、プロセス５０のイメージを様々なサイズで表示することによって、ディスプレイ２０に対する広範囲の距離にわたるポインティング・デバイス１０によるキャプチャを容易にする。更に択一的には、本発明の実施形態の対話型表示システムにおけるユーザは、ペアリングの間ディスプレイ２０から特定の距離にポインティング・デバイス１０を位置決めするように命令されるか、またはディスプレイ２０の特定の位置（例えば、イメージＩの中心またはそのコーナーの１つ）に照準を合わせてペアリング・コードを首尾よくキャプチャするように命令されることもある。プロセス５０で実行されるイメージの表示における他の手法はまた、本明細書を参照した当業者にとって明らかであろう。
【００４１】
[0044]  いかなる場合でも、プロセス５０は、ポインティング・デバイス１０とペアリングするための表示システム３０の意思の搬送、およびこのようなペアリングについて視覚上表示されたペアリング・コードの運搬に対する任意の視覚出力手法によって実行することができる。
【００４２】
[0045]  プロセス５０におけるペアリング意思メッセージおよびペアリング・コードの視覚表示に続いて、またはこの間、ポインティング・デバイス１０は、プロセス５１においてグラフィック・ディスプレイ２０で表示したイメージをキャプチャする。ポインティング・デバイス１０が、これらイメージをキャプチャする方式は、ポインティング・デバイス１０の構成に依存する。上記の例において、また上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７において、光学システム１２、イメージ・センサ１４およびイメージ・キャプチャ回路機能１６を含んだカメラ機能は、ポインティング・デバイス１０に具備され、ディスプレイ２０において視覚イメージを感知すると共に、これらイメージに対応するデジタル・データを生成する。あるいは、ポインティング・デバイス１０は、プロセス５１において、フォト・レジスタその他光検出機（例えば、可視光、赤外線または他のスペクトルのフォト・ダイオード）などによって、イメージをキャプチャすることもある。プロセス５１のイメージ・キャプチャは、ユーザの押圧アクチュエータ１５に連続的にまたは自動的に応答して、ポインティング・デバイス１０によって実行することができる。
【００４３】
[0046]  また、プロセス５１において、上記説明したポインティング・デバイス１０，１０’の例について、ペアリング回路１３は、キャプチャしたイメージに対応するイメージ・キャプチャ回路機能１６が生成したデータを受け取り且つ解釈し、ペアリング意思メッセージおよびペアリング・コードの存在を検出する。このイメージ・データの解釈がペアリング回路で実行される方式は、勿論、この情報を搬送する表示イメージの性質(nature)に依存する。
【００４４】
[0047]  ペアリング・コードを検出すると、プロセス５３において、ペアリング回路１３は、検出したペアリング・コードを含むデータを送信機１８に転送する。この送信機１８は、当該データを無線信号によって表示システム３０に転送する。一般的な意味では、プロセス５３において送信される無線信号は、例えば無線周波信号のような電磁信号であり、通例は、情報信号によって変調されるキャリア波形を含む。この無線信号のための特定の変調および伝送手法の選択は、本発明の実施形態の目的では重要でないものと考察される。このように、送信機１８がペアリング・コードを含む無線信号を送信する特定の変調フォーマットは、実装に依存することになる。この送信された無線信号は、ペアリング・コードそれ自体を明示的に複製する必要がないものの、ディスプレイ２０においてポインティング・デバイス１０が検出するペアリング・コードがコンピュータ２２において少なくとも復号化または推測することができる情報を含まなければならない。また、この無線信号がポインティング・デバイス１０に関して幾らかの識別情報を含むことになるものと考察され、明示的にデバイス識別子を無線信号のヘッダ部分に含むか、または、無線信号を送信するのに用いる特定の周波数または変調コードによって特定のポインティング・デバイス１０を暗示的に識別するかのいずれかとなる。
【００４５】
[0048]  プロセス５２において、表示システム３０の受信機２４は、ポインティング・デバイス１０によって送信される無線信号を受信する。無線信号は、キャプチャ・イメージから解釈されるペアリング・コードに対応する情報を含む。判定５４において、表示システム３０内のペアリング回路２６（あるいはコンピュータ２２内の回路または機能性）は、プロセス５２で受信したペアリング・コードがプロセス５０で表示したペアリング・コードと一致するかどうかを判定する。そうでない（判定５４が「ｎｏ」）場合には、プロセス５２で受信した無線信号は、表示システム３０がペアリングを望まないポインティング・デバイス、例えば異な部屋にある（すなわちディスプレイ２０の見通し線の近傍にはない）ポインティング・デバイスに対応する。プロセス５２で受信したペアリング・コードがプロセス５０で表示したペアリング・コードと一致する（判定５４が「ｙｅｓ」）の場合には、表示システム３０は、ポインティング・デバイス１０を制御信号の正規の供給源として認可し、これに応答して、コンピュータ２２は従来型のＧＵＩの手法で動作することになる。例えば、ペアリング回路２６は、この認可を示すために、コンピュータ２２内にレジスタ値をセットすることができる。あるいは、他の認可技術を用いることができる。プロセス５２で受信される無線信号内における、ポインティング・デバイス１０の明示的なまたは暗示的な指標により、表示システム３０はどのポインティング・デバイス１０が認可されるかを識別する。その結果、表示システム３０は、他の無線送信機（すなわち、表示システム３０とペアリングされていないポインティング・デバイス１０）からの信号を除外することになり、ポインティング・デバイス１０からの制御信号を識別できることとなる。
【００４６】
[0049]  プロセス５８において、表示システム３０は、メッセージを、新たにペアリングされたポインティング・デバイス１０にまたはそのユーザに発出することができる。そのメッセージは、ポインティング・デバイス１０がこれより制御コンピュータ２２に認可されることを示している。この「ペアリング済」のメッセージについての特定の形態または方式は、無線信号（ポインティング・デバイス１０に無線受信機機能が備わっている場合）その他適切な技術について、ディスプレイ２０において人により感知可能なグラフィック警告から変更することができる。人により感知可能なグラフィック出力は、ユーザに別のポインティング・デバイスがまたプレゼンテーションの間に表示システム３０とペアリングされたかどうか（例えば、聴衆メンバＡもプレゼンテーションとの対話を望んだかどうか）の警告をすることになるために魅力的なものとなる。
【００４７】
[0050]  いずれにせよ、認可プロセス５６に続いて、ポインティング・デバイス１０が発行したＧＵＩコマンドの制御下における表示システム３０の対話動作がプロセス６０において実行される。この対話動作は、このＧＵＩの文脈で、ポインティング・デバイス１０によるポイント先のディスプレイ２０の位置について、他のアクション（例えば、アクチュエータ１５の「クリック」）、例えば上記組み込んだ米国特許出願公開ＵＳ２０１１／０２２７８２７に記載したような手法のもの、これらコマンドのコンピュータ２２による解釈、これらコマンドのへの結果応答と組み合わせた識別および決定を含む。
【００４８】
[0051]  この説明から明確なように、この対話型表示システムについてのペアリング処理は、ポインティング・デバイス１０が認可すること、または無線通信のための他の表示システム３０を必要としない。表示システム３０とペアリングするポインティング・デバイス１０にとって唯一必要な情報は、ディスプレイ２０において視覚情報を介すことで完全に伝達することができる。しかしながら、この対話型表示システムの環境では、ポインティング・デバイス１０は、その視界のディスプレイ２０でコンテンツを制御することのみに関心がある。このように、ディスプレイ２０におけるペアリング・コードの可視性は、ポインティング・デバイス１０が、表示システム３０を制御信号のその意図した宛先として選択するのに十分となる。従って、ポインティング・デバイス１０は、ワイヤレス受信機回路を必要とせず、また、受信した無線信号を復調し、復号化し、解釈する機能も必要とせず、そして、ペアリング・コードを表示システム３０に伝達するための補助入力デバイス（キーボードなど）も必要としない。このように、ポインティング・デバイスの複雑さ、つまりコストは、そのフォーム・ファクタおよびバッテリ電力要件と共に最低限のものに保つことができる。
【００４９】
[0052]  図４ｂは、図４ａに関連して上記説明したペアリング手順に関する変形例を示す。ここでは、表示システム３０はプロセス５０におけるペアリング意思メッセージおよびペアリング・コードを表示している。先に説明したように、これらメッセージは、同時に表示することができるか、またはペアリング・コードは、ペアリング意思メッセージに対して特定の一時的な間隔内で表示することができる。図４ｂでは、表示システム３０およびポインティング・デバイス１０は、ペアリング・コードの表示よりも前に、少なくとも幾らかの最低限の「ハンドシェーク(handshaking)」を実行する。
【００５０】
[0053]  図４ｂに示すように、ペアリング手順はプロセス５０ａで開始される。ここでは、表示システム３０はグラフィック・ディスプレイ２０においてペアリング意思メッセージを視覚的に表示する。先に説明したように、このペアリング意思メッセージは、人により読み取り可能、人により読み取り可能ではないが人により感知可能、または人により感知不可能であってよい。これに応答して、次いで、グラフィック・ディスプレイ２０でのペアリング意思メッセージの検出および、本質的にはペアリングのために表示システム３０の「確認応答」の意思としてペアリング・コードについての要求として符号化される無線信号の送信のために、プロセス５１ａがポインティング・デバイス１０において実行される。プロセス５１ａは、ポインティング・デバイス１０により、グラフィック・ディスプレイ２９でのパターンまたはイメージのイメージ・キャプチャ、並びにペアリング回路１３および送信機１８による適切な信号の生成を通じて、「自動」方式で（すなわち、ユーザの介入を必要とすることなく）実行することができる。代替として、プロセス５１ａは、ユーザ駆動とすることができ、ポインティング・デバイス１０を有するユーザは、ディスプレイ２０においてペアリング意思メッセージを見て、また、アクチュエータ１５を押圧またはポインティング・デバイス１０においてある他のコマンドを引き起こして、送信機１８に無線要求信号を送信させる。プロセス５１ａに対する他のアプローチもまた考察される。
【００５１】
[0054]  無線要求信号の受信に応答して、表示システム３０は、プロセス５０ｂにおいて、そのグラフィック・ディスプレイ２０でペアリング・コードを生成および表示する。ペアリング・コードは、図４ａに関連して先に説明した様々な手法のいずれかに従って表示することができる。また、プロセス５１ｂでは、ポインティング・デバイス１０内のカメラ機能がディスプレイ２０からイメージをキャプチャし、そしてペアリング回路１３がそれらキャプチャしたイメージからペアリング・コードを識別する。プロセス５３において、ポインティング・デバイス１０の送信機１８は、識別したペアリング・コードを含む無線信号を、表示システムによる受信（プロセス５２）、比較（プロセス５４）、およびプロセス５０ｂで表示されたペアリング・コードに一致する場合はポインティング・デバイス１０の認可（プロセス５６）のために送信する。
【００５２】
[0055]  本発明のこの実施形態は、付加的なハンドシェーク・ステップをペアリング手順に挿入する。このハンドシェークによって、表示システム３０は、必要とされる場合のみペアリング・コードを生成および表示することができ、そして、ペアリングに必要とされる関連の時間を除いて、繰り返しペアリング・コードを生成および表示することの負担からその計算およびグラフィック機能を解放する。
【００５３】
[0056]  先に説明したように、本発明の実施形態は、無線受信機回路がポインティング・デバイス１０内に実装される必要性を排除する。しかしながら、このような無線受信機機能がポインティング・デバイス１０内で提供される場合は、付加的なハンドシェークおよび通信は、ペアリング処理の間に実行することができる。その例について、これより図４ｃに関して説明する。
【００５４】
[0057]  この例では、ペアリング手順はプロセス６２で開始する。ここでは、表示システム３０は、無線「ビーコン」信号を送信する。無線「ビーコン」信号は、ディスプレイ２０の見通し線の近傍でポインティング・デバイスとペアリングするためのその利用可能性を示す。この無線ビーコンは、通例、同一の動作可能な周波数および変調方式上で通信する如何なるデバイスによっても受信およびアクションするための「オープンな」方式で全方向的に送信されることになる。プロセス６３において、ポインティング・デバイス１０は、無線ビーコン信号を受信し、これに応答して、無線ペアリング要求信号を送信する。この無線ペアリング要求信号は、ユーザ入力に応じて、例えば、ＬＥＤまたは無線ビーコン信号の受信に応答して照明されるポインティング・デバイス上の他の指標を見てユーザがアクチュエータ１５を押圧することによって送信される。代替として、表示システム３０は、無線ビーコン信号と結合されてディスプレイ２０において人により読み取り可能な「ペアリング利用可能性」のイメージを表示してもよく、それに応答して、ユーザは無線ペアリング要求信号を発出するためにアクチュエータ１５を押圧することになる。無線ビーコンへの自動応答以外のあるアクションは、無線ペアリング要求信号の発出より前にポインティング・デバイス１０で発行される。さもなければ、表示システム３０の無線信号範囲内の如何なるポインティング・デバイスは、ディスプレイ２０の視界にあるか否かを問わず、視覚ペアリング・コードを要求し、その結果、視覚ペアリング・コードを生成する表示システム３０のグラフィック回路への過度の負荷、およびこれらコード・イメージを有するディスプレイ２０の混乱(clutter)となるからである。
【００５５】
[0058]  無線ペアリング要求信号を受けると、次いで、表示システム３０は、先に説明したように、プロセス５０ｂにおいて、ディスプレイ２０で視覚ペアリング・コードを提示する。ペアリング手順は、次いで、図４ａおよび４ｂと関連して先に説明したように継続し、ポインティング・デバイス１０がペアリング・コードを含むイメージをキャプチャし（プロセス５１ｂ）、そして、表示されたペアリング・コードを用いた一致（決定５４）のために、そのペアリング・コードを含む無線信号を送信する（プロセス５１ｂ）。認可プロセス５６のために、ポインティング・デバイス１０の識別は、プロセス６３で送信される無線ペアリング要求信号で、またはプロセス５３でペアリング・コードを送信する無線信号でいずれかにおいて、またはその双方において、伝達することができる。ポインティング・デバイス１０が発行したコマンドに基づくシステム３０の対話型動作は、次いで、先に説明したとおりプロセス６０において開始および継続する。
【００５６】
[0059]  図４ｄは、本発明の別の代替実施形態について示す。ここでは、ポインティング・デバイス１０のペアリング回路１３は、無線でおよび視覚上の両方で受信したペアリング・コード情報の比較に基づいて、ペアリンングの決定をする。本発明のこの実施形態では、ポインティング・デバイス１０は、（例えば先に説明した図２ａおよび図２ｂの例で無線送信機を置き換えることによって、）無線信号を受信し、且つ、これら信号をペアリング回路１３で復調その他の処理に適したデータに復調するための無線受信機機能を有する。プロセス６４において、表示システム３０は、ペアリング・コードを含む無線ビーコン信号を送信する。無線ビーコン信号と同時に、またはこれと時間的に密接して、プロセス６６において、表示システム３０は、ディスプレイ２０で視覚ペアリング・コードを提示する。プロセス６４，６６において送信され提示されたペアリング・コードは、全く同一に、またはポインティング・デバイス１０内のペアリング回路１３が一致したものと推測できるある手法のいずれかで、相互に一致する。本発明のこの実施形態では、ペアリング・コードの送信プロセス６４，６６は、所望の実装にしたがって、周期的にまたはコンスタントに繰り返される。
【００５７】
[0060]  プロセス６５において、ポインティング・デバイス１０の送信機は、表示システム３０からの無線ビーコン信号とビーコンがペアリング回路１３によって復号化されたペアリング・コード情報とを受信および復調する。プロセス５１ｂにおいて先に説明したとおり、ポインティング・デバイス１０のカメラ機能がディスプレイ２０からのイメージをキャプチャする。そこから、ペアリング回路１３はそれらイメージに収容されたペアリング・コードを識別する。ペアリング回路は、次いで、受信した無線ビーコン信号から復号化したペアリング・コード情報を、ディスプレイ２０からキャプチャしたイメージから復号化したものと比較し、且つ、これらペアリング・コードが一致するか否かを判定するために、判定６７を実施する。そうでない（判定６７が「ｎｏ」である）場合には、ポインティング・デバイス１０は、受信およびキャプチャのプロセス６５，５１ｂを繰り返す。復号化した無線ペアリング・コードのおよび視覚ペアリング・コードが一致する（判定６７が「ｙｅｓ」である）場合には、ポインティング・デバイス１０は、プロセス６８において表示システム３０に無線信号を発出する。この無線信号は、ポインティング・デバイス１０が一致するペアリング・コードを無線および視覚の双方の形態で受信および検出し、また、有効な要求認可であることを示しており、次いで、ディスプレイ２０においてプレゼンテーションの制御するために表示システム３０に制御信号を発出する。先に説明したように、ポインティング・デバイス１０は、それ自体を、プロセス６８で送信された無線信号において明示的にまたは暗示的に識別する。プロセス７０において、表示システム３０は、ポインティング・デバイス１０からの無線信号を受信して、プロセス５６での制御信号の供給源として、ポインティング・デバイス１０を認可する。プロセス５８において、表示システム３０は、メッセージを（本発明のこの実施形態では無線または視覚的のいずれか）発出する。次いで、ディスプレイ２０における対象の対話型動作が始まり、ポインティング・デバイス１０のユーザによりＧＵＩ感知により制御される。
【００５８】
[0061]  本発明のこの実施形態によれば、表示システム３０により発出され、またポインティング・デバイス１０により受信および比較された、無線ペアリング・コードおよび視覚ペアリング・コードの結合は、ディスプレイ２０の視野内の（すなわち同一の部屋にある）これらポインティング・デバイスのみが表示システム３０の制御を認可されたことを確証する。他の部屋にある（そしてディスプレイ２０を見ることはできないが、表示システム３０の無線範囲内にある）ポインティング・デバイスは、無線ペアリング・コードおよび視覚ペアリング・コードを受信することはなく、すなわち、表示システム３０によって認可されることはない。
【００５９】
[0062]  図４ｅは、図４ｄの手順に対する代替の手法について示す。本発明のこの実施形態によれば、プロセス７４において、ポインティング・デバイス１０は、ペアリングを要求する無線信号を送信することによって、ペアリング・プロセスを開始する。この無線ペアリング要求信号は、ユーザによるアクチュエータ１５押圧に応答して、ユーザによって最近ピックアップされ、さもなければ移動されたことを検出するポインティング・デバイス１０内の慣性センサに応答して、ポインティング・デバイス１０が検出したディスプレイ２０でのイメージに応答して、または、幾らかの他の刺激に応答して、ポインティング・デバイス１０によって発出することができる。本発明のこの実施形態によれば、表示システム３０は、ポインティング・デバイス１０からペアリング要求を受信したことに応答して、プロセス６４’において、ペアリング・コードを含む無線ビーコンを送信する。同様に、表示システム３０は、ポインティング・デバイス１０からペアリング要求を受信したことにまた応答して、プロセス６６’において、ディスプレイ２０に視覚ペアリング・コードを提示する。このペアリング手順は、プロセス６５，５１ｂにおける、ポインティング・デバイス１０によるペアリング・コードを収容する無線ビーコンの受信、および視覚ペアリング・コードを含むイメージのキャプチャリングのそれぞれにより、次いで図４ｄに関連して先に説明した手法で継続することにより開始する。しかしながら、本発明のこの実施形態では、プロセス６４’での無線ビーコンのペアリング・コードの送信およびプロセス６６’での視覚ペアリング・コードの提示は、図４ｄに関連して先に説明したように、連続してまたは周期的な手法で、表示システム３０により繰り返される必要はないものと考察される。むしろ、ステップ６４’，６６’は、他の無線ペアリング要求、例えば、同一の部屋にある他のポインティング・デバイス１０によって発出されるものに応答して再度実行することのみを必要とする。勿論、先に説明したように、他の部屋のポインティング・デバイスは、表示システム３０の無線範囲内としてもよい。表示システム３０がそれらポインティング・デバイスからの要求に応答して、無線ペアリング・コードおよび視覚ペアリング・コードを発出する間、それらポインティング・デバイスは、表示システム３０から受信した無線ペアリング・コードに一致する視覚ペアリング・コードを受信することはせず、したがって、プレゼンテーションを制御するためにディスプレイ３０によって認可されることはない。
【００６０】
[0063]  図４ｅはまた、幾らかの対話型表示システムが、カンファレンス・センタまたは学校の環境におけるように、相互に無線信号範囲にある設備(installation)に対し、（混乱回避の意味での）追加のセキュリティを提供する任意のプロセスについても示す。このような複数の表示システム環境では、２つの表示システムが同一の視覚ペアリング・コードを発出しないことが勿論重要である。本願明細書で説明する本発明の実施形態のいずれかにおいて、近隣の表示システムが同一のペアリング・コードを発出すれば、表示システム３０が異なる部屋でポインティング・デバイス１０を認可する結果となる。それから、プレゼンテーションの制御での混乱の結果となる。
【００６１】
[0064]  任意のプロセス７２が提供され、例えば、図４ｅに示す手順において、表示システム３０が発出するペアリング・コードを判定することに起因するこの問題を回避する。本発明のこの実施形態によれば、プロセス７２において、表示システム３０は、無線範囲にある全ての表示システムが発出したビーコンの無線信号を走査し、これら無線ビーコン信号内に収容されたペアリング・コードを判定する。プロセス７２ではまた、表示システム３０は、近傍にある他の表示システム３０から最近受信した無線ビーコンのペアリング・コードから、一意のペアリング・コードを導出する。導出された一意のペアリング・コードは、次いで、プロセス６４’で送信される無線ビーコン内に、またはプロセス６６’で提示される視覚ペアリング・コード内に発出される。近くにはあるものの、別の部屋にあるポインティング・デバイスによる１つの表示システムでのプレゼンテーションの制御時における混乱は、このようにして回避される。
【００６２】
[0065]  任意のプロセス７２はまた、図４ｄや、本発明の実施形態のいずれかに関連して先に説明した手順に組み込むこともでき、近くにある別の部屋にあるシステムのペアリング・コードは、表示システム３０によって（表示システム、またはそれら部屋にあるポインティング・デバイスのいずれかから）取得することができる。
【００６３】
[0066]  これら実施形態およびそれらの変形形態の任意のものによれば、周期的にレフレッシュまたは終了させるための様々なオプションおよび代替は、場合によっては、ポインティング・デバイス１０および表示システム３０間でのペアリングされた関係が実施されることもあるものと考察される。例えば、表示システム３０は、新規のペアリング・コードとのペアリング手手順を周期的に開始することができ、もはやオン状態ではないまたは近傍にある以前にペアリングされたポインティング・デバイス１０がペアリングされたままにはないことを確実にする。加えて、このペアリング手順の周期的なリフレッシュはまた、２つ以上のプレゼンタ（例えば、１のプレゼンタおよび１つの協力者）が同時にペアリングされることができるように、別のポインティング・デバイスがまたペアリングされるのを可能にする。更に、択一的には、表示システム３０は、特定の時間期間にわたりペアリングされたポインティング・デバイス１０から無線信号を受信しなかったことに応答して、ペアリング手順を再度開始してもよい。本願明細書を参照した当業者は、対話型表示システムにおいてポインティング・デバイスを表示システムとペアリングするためのこのような追加的なリフレッシュおよびメンテナンスの手順を容易に識別することになるものと考察される。
【００６４】
[0067]  本発明の実施形態は、対話型表示システムの動作における重要な利益および利点を供する。遠隔のポインティング・デバイスの表示システムとのペアリングは、ポインティング・デバイスの計算量つまり製造コストは最小化できるような方法で、本発明のこれら実施形態により非常に容易なものとなる。加えて、このペアリングは、ペアリング・プロセスにおけるユーザの介入を最小化する方式を実現し、これを拡張して、ポインティング・デバイスでの入力機能がこのペアリングを達成するのに要求される。結果として、ペアリング手順は、近隣の対話型表示システムからの介入が最小化されることを十分に確保し続ける。何故ならば、動作中のディスプレイの視野内にあるこれらポインティング・デバイスがペアリング可能である一方で、双方向のペアリング（すなわち、表示システムのポインティング・デバイスとの認証）は必要としないからである。更にまた、動作中のポインティング・デバイスから伝達される情報は、ほとんど情報コンテンツを含まないために、暗号化および他の高オーバーヘッドとなるペアリング動作は必要とされない。
【００６５】
[0068]  更に、本発明の実施形態による視覚ペアリングは、他の用途、例えば有線通信リンクにも拡張することができ、ここでは、リンク認可について「帯域外(out-of-band)」のペアリング・コード通信が視覚ドメインで実行されるものと考察される。本発明の実施形態における、これらおよび他の用途は、本明細書の参照した当業者にとって明らかであろう。
【００６６】
[0069]  本発明について、その様々な実施形態に従って説明してきたが、これら実施形態に関し、本発明の利点および利益を享受する変更態様や代替例は、本明細書および図面を参照した当業者にとって無論明らかであるものと考察される。このような変更態様および代替例は、本願明細書の後に特許請求されるような、本発明の範囲内にあるものと考えられる。
【図１】
2014512590.tif 000003
【図２ａ】
2014512590.tif 000004
【図２ｂ】
2014512590.tif 000005
【図３】
2014512590.tif 000006
【図４ａ】
2014512590.tif 000007
【図４ｂ】
2014512590.tif 000008
【図４ｃ】
2014512590.tif 000009
【図４ｄ】
2014512590.tif 000010
【図４ｅ】
2014512590.tif 000011
【図５】
2014512590.tif 000012
【手続補正書】
【提出日】平成24年10月24日(2012.10.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
表示システムの動作を対話型で制御するために遠隔のポインティング・デバイスを前記表示システムとペアリングするための方法であって、
グラフィック・ディスプレイにおいてペアリング・コード情報を表示するステップと、
前記ポインティング・デバイスにおいて、前記グラフィック・ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップであって、該キャプチャされたイメージ・データが前記ペアリング・コード情報を含む、ステップと、
前記キャプチャされたペアリング・コード情報に対応する無線ペアリング信号を前記ポインティング・デバイスから送信するステップと、
前記表示システムにおいて、前記無線ペアリング信号を受信するステップと、
前記受信した無線ペアリング信号が前記グラフィック・ディスプレイで表示された前記ペアリング・コード情報と一致することに応答して、前記表示システムの動作を制御するために、前記ポインティング・デバイスによって送信される無線制御信号を認可するステップと、
前記ポインティング・デバイスからの無線制御信号に応答して、前記グラフィック・ディスプレイで視覚情報を表示するために、前記表示システムを動作させるステップと、
を含む、方法。
【請求項２】
請求項１記載の方法であって、更に、無線ペアリング要求信号を前記ポインティング・デバイスから送信するステップを含み、
前記表示するステップが、前記無線ペアリング要求信号の受信に応答して、前記表示システムによって実行される、方法。
【請求項３】
請求項１記載の方法であって、更に、前記ペアリング・コード情報を表示する前記ステップの前に、無線ビーコン信号を前記表示システムから送信するステップを含み、
前記キャプチャするステップが、前記無線ビーコン信号の受信に応答して、前記ポインティング・デバイスによって実行される、方法。
【請求項４】
請求項１記載の方法であって、更に、
前記ペアリング・コード情報を表示する前記ステップの前に、無線ビーコン信号を前記表示システムから送信するステップと、
前記無線ビーコン信号の受信に応答して、無線ペアリング要求信号を前記ポインティング・デバイスから送信するステップと
を含み、
前記表示するステップが、前記無線ペアリング要求信号の受信に応答して、前記表示システムによって実行される、方法。
【請求項５】
請求項１記載の方法であって、更に、
遅くとも前記ペアリング・コード情報を表示する前記ステップまでには、ポインティング・デバイスとペアリングする前記表示システムの意思を示す符号化されたイメージを表示するステップを含む、方法。
【請求項６】
請求項５記載の方法であって、更に、
前記ポインティング・デバイスにおいて、前記グラフィック・ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップであって、該キャプチャされたイメージ・データが、ペアリングの意思を示す前記符号化されたイメージを含む、ステップと、
前記ディスプレイ・システムによるペアリングの意思を示す前記符号化されたイメージのキャプチャに応答して、無線ペアリング要求信号を前記ポインティング・デバイスから送信するステップと、を含み、
前記ペアリング・コード情報を表示する前記ステップが、前記無線ペアリング要求信号の受信に応答して、前記表示システムによって実行される、方法。
【請求項７】
請求項１記載の方法において、前記無線ペアリング信号が更に前記ポインティング・デバイスの識別子を含む、方法。
【請求項８】
請求項１記載の方法において、前記ペアリング・コード情報を表示する前記ステップが、
視覚ペイロード・イメージ・フレーム・データを生成するステップと、
連続フレームにおいて適用される、前記視覚ペイロード・イメージ・フレーム・データの１またはそれ以上の選択されたピクセル位置における強度変動補完(complementary intensity variances)に対応する少なくとも１つのペアリング・コード・パターンを前記視覚ペイロード・イメージ・フレーム・データと結合するステップと、
前記結合された視覚ペイロード・イメージ・フレーム・データおよびペアリング・コード・パターンを前記グラフィック・ディスプレイ上に表示するステップと、
を含む、方法。
【請求項９】
請求項１記載の方法であって、更に、
視覚ペイロード・イメージ・フレーム・データを生成するステップと、
少なくとも１つの位置決めターゲット・パターンを前記視覚ペイロード・イメージ・フレーム・データと結合するステップと、
前記結合された視覚ペイロード・イメージ・フレーム・データおよび位置決めターゲット・パターンを前記グラフィック・ディスプレイ上に表示するステップと、
前記ポインティング・デバイスにおいて、前記位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップと、
回復した位置決めターゲット・パターンに応じて、前記ディスプレイのポイント先の位置を決定するステップと、
前記ポインティング・デバイスにおけるユーザ入力の受け取りに応答して、前記ディスプレイのポイントされた位置に対応する前記ポインティング・デバイスからの無線制御信号を生成するステップと、
を含む、方法。
【請求項１０】
表示システムの動作を対話型で制御するために遠隔のポインティング・デバイスを前記表示システムとペアリングする方法であって、
グラフィック・ディスプレイにおいてペアリング・コード情報を表示するステップと、
前記ペアリング・コード情報を含む無線ビーコン信号を前記表示システムから送信するステップと、
前記ポインティング・デバイスにおいて、前記グラフィック・ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップであって、該キャプチャされたイメージ・データが前記ペアリング・コード情報を含むステップと、
前記ポインティング・デバイスで受信した前記無線ビーコン信号における前記ペアリング・コード情報が前記キャプチャされたイメージに含まれる前記ペアリング・コード情報に一致するのに応答して、無線ペアリング信号を前記ポインティング・デバイスから送信するステップと、
前記表示システムにおいて前記無線ペアリング信号を受信するステップと、
前記表示システムの動作を制御するために、前記ポインティング・デバイスによって送信された無線制御信号を認可するステップと、
前記ポインティング・デバイスからの無線制御信号に応答して、前記グラフィック・ディスプレイにおいて視覚情報を表示するために、前記表示システムを動作させるステップと、
を含む方法。
【請求項１１】
請求項１０記載の方法において、前記ペアリング・コード情報を表示する前記ステップおよび前記無線ビーコン信号を送信する前記ステップが前記表示システムによって繰り返し実行される、方法。
【請求項１２】
請求項１０記載の方法であって、更に、
無線ペアリング要求信号を前記ポインティング・デバイスから送信するステップを含み、
前記ペアリング・コード情報を表示する前記ステップおよび前記無線ビーコン信号を送信する前記ステップが、前記無線ペアリング要求信号の受信に応答して前記表示システムによって実行される、方法。
【請求項１３】
請求項１０記載の方法であって、更に、
前記表示システムにおいて、他の表示システムからのペアリング・コード情報を含む無線ビーコン信号を受信するステップと、
前記表示システムにおいて、前記他の表示システムから受信した前記ペアリング・コード情報とは異なるペアリング・コードを導出するステップと、を含み、
前記無線ビーコン信号を送信する前記ステップが、前記導出したペアリング・コードに対応するコード情報をペアリングすることを含む、方法。
【請求項１４】
請求項１０記載の方法において、前記無線ペアリング信号が更に、前記ポインティング・デバイスの識別子を含む、方法。
【請求項１５】
請求項１０記載の方法において、前記ペアリング・コード情報を表示する前記ステップが、
視覚ペイロード・イメージ・フレーム・データを生成するステップと、
連続フレームにおいて適用される、前記視覚ペイロード・イメージ・フレーム・データの１またはそれ以上の選択されたピクセル位置における強度変動補完に対応する少なくとも１つのペアリング・コード・パターンを前記視覚ペイロード・イメージ・フレーム・データと結合するステップと、
前記結合された視覚ペイロード・イメージ・フレーム・データおよびペアリング・コード・パターンを前記グラフィック・ディスプレイ上に表示するステップと、
を含む、方法。
【請求項１６】
請求項１０記載の方法であって、更に、
視覚ペイロード・イメージ・フレーム・データを生成するステップと、
少なくとも１つの位置決めターゲット・パターンを前記視覚ペイロード・イメージ・フレーム・データと結合するステップと、
前記結合された視覚ペイロード・イメージ・フレーム・データおよび位置決めターゲット・パターンを前記グラフィック・ディスプレイ上に表示するステップと、
前記ポインティング・デバイスにおいて、前記位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップと、
回復した位置決めターゲット・パターンに応じて、前記ディスプレイのポイント先の位置を決定するステップと、
前記ポインティング・デバイスにおけるユーザ入力の受け取りに応答して、前記ディスプレイのポイント先位置に対応する前記ポインティング・デバイスからの無線制御信号を生成するステップと、
を含む、方法。
【請求項１７】
対話型表示システムであって、
コンピュータにより処理される表示システムであって、
ディスプレイと、
前記ディスプレイ上に表示されることになるイメージ・データを生成するコンピュータであって、前記イメージ・データが視覚ペイロード・データおよびペアリング・コードを含むコンピュータと、
無線信号を受信するための受信機と、
を備える、コンピュータにより処理される表示システムと、
ポインティング・デバイスであって、
ハウジングと、
前記ハウジンに配置されたカメラと、
前記カメラによって取得されるイメージ・データをキャプチャするためのイメージ・キャプチャ回路と、
前記キャプチャされたイメージ・データ内で検出されるペアリング・コード情報を検出するために、前記イメージ・キャプチャ回路に結合されるペアリング回路と、
前記キャプチャされたイメージ・データ内で検出されるペアリング・コード情報を含む無線信号を送信するために、前記ペアリング回路に結合される送信機と、
を備えるポインティング・デバイスと、
を備え、前記コンピュータが、前記表示されたイメージ・データ内のペアリング・コードに一致するペアリング・コード情報を含んだ無線信号を前記ポインティング・デバイスから受信するのに応答して、前記ポインティング・デバイスによって送信された制御信号に応答するようにプログラムされたことを特徴とする、システム。
【請求項１８】
請求項１７記載のシステムにおいて、前記ポインティング・デバイスの送信機がまた、無線ペアリング要求信号を送信するためにあり、
前記コンピュータが、前記無線ペアリング要求信号の受信に応答して前記視覚ペアリング・コードを含むイメージ・データを生成するようにプログラムされたことを特徴とする、システム。
【請求項１９】
請求項１７記載のシステムにおいて、
前記表示システムが更に、無線ビーコン信号を送信するための送信機を備え、
前記ポインティング・デバイスが更に、無線信号を受信するための受信機を備え、
前記ポインティング・デバイスの送信機は、前記ポインティング・デバイスの受信機が前記無線ビーコン信号を受信したのに応答して、前記無線ペアリング要求信号を送信する、
システム。
【請求項２０】
請求項１８記載のシステムにおいて、前記コンピュータがまた、ポインティング・デバイスとペアリングするために、前記表示システムの意思を示す符号化されたイメージを含むイメージ・データを生成し、
前記ポインティング・デバイスの送信機は、前記ペアリング回路が前記キャプチャされたイメージ・データ内でペアリングする意思を示す前記符号化したイメージを検出するのに応答して、前記無線ペアリング信号要求を送信する、システム。
【請求項２１】
請求項１７記載のシステムにおいて、前記送信機がまた、ペアリング・コード情報を含んだ前記送信した無線信号内で前記ポインティング・デバイスの識別子を送信する、システム。
【請求項２２】
請求項１７記載のシステムにおいて、前記コンピュータが、前記ペアリング・コードを人により読み取り不可能なパターンの形態で生成する、システム。
【請求項２３】
請求項２２記載のシステムにおいて、前記コンピュータが、前記ペアリング・コードを、交互のフレームにおける交互の偏光の光強度をパターン化して変調する形態で生成し、前記ペアリング回路は、前記ペアリング・コードを検出するために、キャプチャされたイメージ・データの連続フレームを差し引くためにある、システム。
【請求項２４】
請求項１７記載のシステムにおいて、前記コンピュータで処理される表示システムが更に、
少なくとも１つの位置決めターゲット・パターンを生成するためのターゲット生成回路であって、前記少なくとも１つの位置決めターゲット・パターンが、連続フレームにおいて前記ペイロード・イメージ・データの一部に適用されることになる強度変動補完に対応する、ターゲット生成回路と、
前記視覚ペイロード・データを前記少なくとも１つの位置決めターゲット・パターンに結合して表示に適した形態のグラフィック出力信号にするためのグラフィック出力回路と、
を備え、更に、
前記ターゲット・パターンを含むイメージ・データを回復するために、前記コンピュータに結合された表示から前記ポインティング・デバイスでキャプチャされた連続フレームを差し引くと共に、前記ポインティング・デバイスが照準を合わせた前記ディスプレイの位置を決定するためにある、位置決め回路を備える、
システム。
【請求項２５】
対話型表示システムであって、
コンピュータで処理される表示システムであって、
ディスプレイと、
前記ディスプレイ上に表示されることになるイメージ・データを生成するコンピュータであって、前記イメージ・データが視覚ペイロード・データおよびペアリング・コード情報を含む、コンピュータと、
無線信号を送信および受信するための無線回路であって、前記送信された無線信号の内少なくとも幾らかがペアリング・コード情報を含む、無線回路と、
を備えるコンピュータで処理される表示システムと、
ポインティング・デバイスであって、
ハウジングと、
該ハウジング内に配置されるカメラと、
該カメラによって取得されるイメージ・データをキャプチャするイメージ・キャプチャ回路と、
無線信号を受信および送信するための無線回路と、
前記キャプチャされたイメージ・データ内で検出されたペアリング・コード情報を、前記ポインティング・デバイスの無線回路が受信する無線信号内で検出されたペアリング・コード情報と比較するためのペアリング回路と、
を備えるポインティング・デバイスと、を備えており、
前記コンピュータは、前記ペアリング回路が、前記表示されたイメージ・データ内の前記ペアリング・コード情報と前記表示システムの前記無線回路が送信したペアリング・コード情報との間の一致を検出したことを示す、前記ポインティング・デバイスからの無線信号を受信したことに応答して、前記ポインティング・デバイスが送信した制御信号に応答するようにプログラムされたことを特徴とする、
システム。
【請求項２６】
請求項２５記載のシステムにおいて、前記表示システムの前記無線回路が、他の対話型表示システムが送信したペアリング・コードを含む無線信号を受信し、
前記コンピュータが前記他の対話型表示システムが送信した前記無線信号のペアリング・コードとは異なるペアリング・コードを導出するようにプログラムされたことを特徴とする、システム。
【国際調査報告】
2014512590.tif 000013
2014512590.tif 000014