(57)【要約】カメラ又は他のビデオ・キャプチャ・システムを含むワイヤレス・ポインティング・デバイスを含む対話式ディスプレイ・システムである。このポインティング・デバイスは、コンピュータによって表示されるイメージをキャプチャし、１またはそれ以上の人間に知覚不可能なポジショニング・ターゲットを含む。このポジショニング・ターゲットは、視覚上のペイロードの表示フレームにおける強度の変調をパターン化して提示され（例えば、ピクセル強度の変化）、これに連続フレームの逆変調が続く。少なくとも２つのキャプチャされたイメージ・フレームが各々差し引かれて、キャプチャされた視覚データのポジショニング・ターゲットを回復し、表示イメージ・ペイロードを削除する。回復したポジショニング・ターゲットの位置、サイズ、および方向により、ディスプレイに対する遠隔のポインティング・デバイスについて照準を定めたポイントを特定する。別の実施形態では、ポインティング・デバイスを位置決めするために、（人間により知覚可能または不能の）ポジショニング・ターゲットについての一時的なシーケンシングを用いる。【選択図】図３ａ
2013522766.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ・システムをインタラクティブに遠隔で動作させる方法であって、
視覚的なペイロード・イメージ・フレーム・データを生成するステップと、
少なくとも１つのポジショニング・ターゲット・パターンを前記視覚的なペイロード・イメージ・フレーム・データと組み合わせるステップであって、前記ポインティング・ターゲット・パターンが前記視覚的なペイロード・イメージ・フレーム・データの１又はそれ以上の選択されたピクセル位置における補完的な強度変動に対応し、連続するフレームに適用される、ステップと、
前記組み合わせた視覚的なペイロード・イメージ・フレーム・データを表示してディスプレイ上のターゲット・パターンの位置決めを行うステップと、
少なくとも２つのフレームを介して、前記ポインティング・ターゲットを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、
イメージ・データを処理して、前記キャプチャしたイメージ・データのフレームを相互に差し引いて、前記ポインティング・ターゲット・パターンを前記ディスプレイから遠隔で視聴されるものとして回復させるステップと、
前記回復したポインティング・ターゲット・パターンに応じて、前記ディスプレイのポイントされる位置を決定するステップと、
を含む、方法。
【請求項２】
請求項１に記載の方法において、前記結合するステップが、前記ポインティング・ターゲット・パターンが表示される各ピクセルについて
当該ピクセルにおける前記視覚的なペイロード・イメージ・フレーム・データの少なくとも１つの色成分について強度コンポーネント値を決定するステップと、
当該ピクセルにおける前記強度コンポーネント値に応じて、及び逆ガンマ補正関数に従って、少なくとも１つの変動値を計算するステップと、
第１のフレームにおいて、計算した変動値を、当該ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データに加算するステップと、
第２のフレームにおいて、計算した変動値を、当該ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
を含む、方法。
【請求項３】
請求項１に記載の方法であって、更に、
第１の２次元空間の周波数で前記ディスプレイの領域にわたるパターンを配置する、第１の大きさの強度変動の領域に対応する複数の第１のポジショニング・ターゲットを生成するステップと、
前記第１の２次元空間周波数よりも大きい第２の２次元空間周波数で前記ディスプレイの領域にわたるパターンを配置する、前記第１の大きさよりも少ない第２の大きさの強度変動の領域に対応する複数の第２のポジショニング・ターゲットを生成するステップと、
を含み、
前記結合するステップが、
前記複数の第１および第２のポジショニング・ターゲットを、第１のフレームにおける前記視覚上のペイロード・イメージ・フレーム・データと加算的に結合するステップと、
前記複数の第１および第２のポジショニング・ターゲットを、前記第１フレームに時間において隣接した第２のフレームにおける前記視覚上のペイロード・イメージ・フレーム・データと減算的に結合するステップと、
を含む、方法。
【請求項４】
前記ポジショニング・ターゲット・パターンが表示されるべき前記ディスプレイの位置を選択するステップを更に含む、請求項１に記載の方法。
【請求項５】
請求項４に記載の方法において、前記結合するステップが、
第１のフレームにおいて、
強度変動を、前記選択した位置内に各ピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
強度変動を、前記選択した位置内にないピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データに加算するステップと、
前記第１フレームに時間的に隣接する第２のフレームにおいて、
強度変動を、前記選択した位置内にあるピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データに加算するステップと、
強度変動を、前記選択した位置内にないピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
を含む、方法。
【請求項６】
請求項１に記載の方法において、前記結合するステップが、
パターン強度コントラスト値を決定するステップと、
ポジショニング・ターゲット内に位置するピクセルについて色成分について逆カラー加重を決定するステップであって、前記逆カラー加重が、前記色成分のそれぞれについて人間の眼による相対的な知覚性に反比例して対応する、ステップと、
第１のフレームにおいて表示されるべき前記ポジショニング・ターゲット・パターンにおける各ピクセルについて、
当該ピクセルでの是延期視覚上のペイロード・イメージ・フレーム・データの輝度知を決定するステップと、
当該ピクセルにおける前記パターン強度のコントラスト値および輝度値に応じて、前記ピクセルについての逆ガンマ・シフト値を計算するステップと、
前記ピクセルに対する前記逆ガンマ・シフト値および前記色成分ｎについての逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分ｎについて色重み付け変化係数を計算するステップと、
当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データへのその色重み付け変化係数を加算的に適用するステップと、
前記ポジショニング・ターゲット・パターンが前記第１フレームに時間において隣接した第２のフレームにおいて表示されるべきである各ピクセルについて、
当該ピクセルにおける前記視覚上のペイロード・イメージ・フレーム・データの輝度値を決定するステップと、
当該ピクセルにおける前記視覚上のペイロード・イメージ・フレーム・データが有する各色成分ｎの色重み付け変化係数を、前記ピクセルについての前記逆ガンマ・シフト値および前記色成分ｎの前記逆カラー加重に応じて、計算するステップと、
前記色重み付け変化係数を、当該ピクセルが有する前記視覚上のペイロード・イメージ・フレーム・データに減算的に適用するステップと、
を含む、方法。
【請求項７】
請求項１に記載の方法において、前記結合するステップが、
パターン強度コントラスト値を決定するステップと、
ポジショニング・ターゲット内に位置するピクセルについて色成分ｎの逆カラー加重を決定するステップであって、前記逆カラー加重が、前記色成分のそれぞれについて人間の目による相対的な認知可能性に反比例して対応する、ステップと、
前記ポジショニング・ターゲット・パターンが第１のフレームに表示されるべき各ピクセルについて、
前記パターン強度コントラスト値および前記ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての強度データに応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての逆ガンマ・シフト値を計算するステップと、
前記ピクセルについての逆ガンマ・シフト値および前記色成分の前記逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてのカラー加重変動係数を計算するステップと、
当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに対してそのカラー加重変動係数を加算的に適用するステップと、
前記ジショニング・ターゲット・パターンが前記第１フレームに時間的に隣接する第２のフレームにおいて表示されることになる各ピクセルについて、
前記パターン強度コントラスト値および前記ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての強度データに応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての逆ガンマ・シフト値を計算するステップと、
前記ピクセルについての逆ガンマ・シフト値および前記色成分の前記逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてのカラー加重変動係数を計算するステップと、
当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに対してそのカラー加重変動係数を減算的に適用するステップと、
を含む、方法。
【請求項８】
請求項１に記載の方法であって、さらに、
前記ポジショニング・ターゲットの強度変動値を選択するステップと、
前記補完的強度変動についての大きさを、前記ポジショニング・ターゲット形状のエッジからの境界領域内における前記ポジショニング・ターゲット形状のピクセルについての前記強度変調値で減算するステップと、
を含む、方法。
【請求項９】
請求項１に記載の方法において、前記表示するステップが、前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよびポジショニング・ターゲット・パターンを第１のフレーム・レートでディスプレイに表示し、
イメージ・データをキャプチャする前記ステップが、前記第１フレーム・レートの２倍の第２のフレーム・レートで実質的に実施され、
前記処理ステップが、キャプチャしたイメージ・データを、第１のキャプチャ・イメージ・フレーム、および該第１キャプチャ・イメージ・フレームとは前記第２フレーム・レートの２期間分異なる第２のキャプチャ・イメージ・フレームにおいて処理する、方法。
【請求項１０】
請求項１に記載の方法において前記ペイロード・イメージ・フレーム・データがコンピュータ・ゲームのグラフィクス・ディスプレイ出力に対応し、更に、
前記ポイントされた位置の決定に応答して、ユーザからのゲーム命令を解釈するステップと、
該ゲーム命令に応じて新たな視覚上のペイロード・イメージ・フレーム・データを生成するステップと、
を含む、方法。
【請求項１１】
請求項１に記載の方法であって、さらに、
前記ポイントされた位置の決定に応じて、新たな視覚上のペイロード・イメージ・フレーム・データを生成するステップと、
前記生成するステップ、前記結合するステップ、前記表示するステップ、前記キャプチャリングするステップ、前記処理するステップ、前記決定するステップを反復するステップと、
前記ポインティング・デバイスからのユーザ入力をユーザからのレコード命令に対応付けて受け取るステップと、
前記レコード命令に応じて、前記コンピュータ・システムのメモリ・リソースに、少なくとも複数のポイントされた位置および対応するユーザ入力を含むユーザのシーケンスに対応するデータを格納するステップと、
を含む、方法。
【請求項１２】
対話式ディスプレイ・システムであって、
ディスプレイに表示されることになる表示イメージ・データを生成するコンピュータと、
少なくとも１つのポジショニング・ターゲット・パターンを生成するターゲット生成回路であって、該少なくとも１つのポジショニング・ターゲット・パターンが、連続フレームにおける前記視覚上のペイロード・イメージ・データの一部に適用されることになる補完的な強度変動に対応する、ターゲット生成回路と、
前記視覚上のペイロード・データを、前記少なくとも１つのポジショニング・ターゲット・パターンと結合して、表示に適したフォーマットでグラフィクス出力信号にするグラフィクス出力回路と、
ポインティング・デバイスであって、
ハンドヘルド・ハウジング、
該ハウジング内に配置されるカメラ、および
該カメラによって取得するイメージ・データをキャプチャするビデオ・キャプチャ回路、
を備えるポインティング・デバイスと、
前記コンピュータに結合されたディスプレイから前記ポインティング・デバイスによってキャプチャされた連続フレームを差し引いて前記ターゲット・パターンを含むイメージ・データを回復させ、および前記ポインティング・デバイスが照準を定める前記ディスプレイの位置を決定する、ポジショニング回路と、
を備える、システム。
【請求項１３】
請求項１２に記載のシステムにおいて、前記コンピュータが、  
前記ペイロード・イメージ・データを生成する処理回路と、
前記ポジショニング回路の少なくとも一部と、
前記ポジショニング・デバイスからの信号を受信するワイヤレス受信機回路と、
前記キャプチャしたイメージ・データに対応する信号を前記コンピュータに送信するワイヤレス送信機回路と、
を備える、システム。
【請求項１４】
前記ポインティング・デバイスが、更に、前記ポジショニング回路の少なくとも一部を備える、請求項１２に記載のシステム。
【請求項１５】
前記ポインティング・デバイスが、更に、ユーザ入力を受信するための少なくとも１つのアクチュエータを備える、請求項１２に記載のシステム。
【請求項１６】
前記アクチュエータが、スイッチ、加速度計、磁気センサ、ジャイロスコープからなる群から選択されるタイプのものである、請求項１５に記載のシステム。
【請求項１７】
前記ポインティング・デバイスが、更に、少なくとも１つの慣性センサを備える、請求項１２に記載のシステム。
【請求項１８】
請求項２に記載のシステムにおいて、前記コンピュータが、複数のフレームに配置される視覚上のペイロード・イメージ・データを生成する処理回路を備えており、
前記グラフィクス出力回路が、連続フレームに適用される、前記視覚上のペイロード・イメージ・フレーム・データを、該視覚上のペイロード・イメージ・フレーム・データの１又はそれ以上の選択したピクセル位置での補完的な強度変動に対応する前記少なくとも１つのポジショニング・ターゲット・パターンと結合する、システム。
【請求項１９】
請求項１８に記載のシステムにおいて、ターゲット生成回路が、前記ポジショニング・ターゲット・パターンが表示されることになる選択した位置の各ピクセルに対し、複数の動作を実行し、該動作が、
当該ピクセルにおける前記視覚的なペイロード・イメージ・フレーム・データの少なくとも１つの色成分について強度コンポーネント値を決定するステップと、
当該ピクセルにおける前記強度コンポーネント値に応じて、及び逆ガンマ補正関数に従って、少なくとも１つの変動値を計算するステップと、
第１のフレームにおいて、計算した変動値を、当該ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データに加算するステップと、
第２のフレームにおいて、計算した変動値を、当該ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
を含む、システム。
【請求項２０】
請求項１８に記載のシステムにおいて、前記複数の動作が、更に、
第１の２次元空間の周波数で前記ディスプレイの領域にわたるパターンを配置する、第１の大きさの強度変動の領域に対応する複数の第１のポジショニング・ターゲットを生成するステップと、
前記第１の２次元空間周波数よりも大きい第２の２次元空間周波数で前記ディスプレイの領域にわたるパターンを配置する、前記第１の大きさよりも少ない第２の大きさの強度変動の領域に対応する複数の第２のポジショニング・ターゲットを生成するステップと、
を含み、
前記グラフィクス出力回路が、前記視覚上のペイロード・データを前記少なくとも１つのポジショニング・ターゲット・パターンと複数の動作を行うことにより結合し、該複数の動作が、
前記複数の第１および第２のポジショニング・ターゲットを、第１のフレームにおける前記視覚上のペイロード・イメージ・フレーム・データと加算的に結合するステップと、
前記複数の第１および第２のポジショニング・ターゲットを、前記第１フレームに時間において隣接した第２のフレームにおける前記視覚上のペイロード・イメージ・フレーム・データと減算的に結合するステップと、
を含む、システム。
【請求項２１】
請求項１８に記載のシステムにおいて、前記グラフィクス出力回路が、前記視覚上のペイロード・データを前記少なくとも１つのポジショニング・ターゲット・パターンと複数の動作を行うことにより結合し、該複数の動作が、
第１のフレームにおいて、
強度変動を、前記選択した位置内に各ピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
強度変動を、前記選択した位置内にないピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データに加算するステップと、
前記第１フレームに時間的に隣接する第２のフレームにおいて、
強度変動を、前記選択した位置内にあるピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データに加算するステップと、
強度変動を、前記選択した位置内にないピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
を含む、システム。
【請求項２２】
請求項１８に記載のシステムにおいて、前記ターゲット生成回路が複数の動作を実行し、該複数の動作が、
パターン強度コントラスト値を決定するステップと、
ポジショニング・ターゲット内に位置するピクセルについて色成分について逆カラー加重を決定するステップであって、前記逆カラー加重が、前記色成分のそれぞれについて人間の眼による相対的な知覚性に反比例して対応する、ステップと、を含み、
前記グラフィクス出力回路が、第１のフレームにおいて表示されるべき前記ポジショニング・ターゲット・パターンにおける各ピクセルについて、前記視覚上のペイロード・データを前記少なくとも１つのポジショニング・ターゲット・パターンと複数の動作を行うことにより結合し、該複数の動作が、
当該ピクセルでの是延期視覚上のペイロード・イメージ・フレーム・データの輝度知を決定するステップと、
当該ピクセルにおける前記パターン強度のコントラスト値および輝度値に応じて、前記ピクセルについての逆ガンマ・シフト値を計算するステップと、
前記ピクセルに対する前記逆ガンマ・シフト値および前記色成分ｎについての逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分ｎについて色重み付け変化係数を計算するステップと、
当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データへのその色重み付け変化係数を加算的に適用するステップと、
前記ポジショニング・ターゲット・パターンが前記第１フレームに時間において隣接した第２のフレームにおいて表示されるべきである各ピクセルについて、
当該ピクセルにおける前記視覚上のペイロード・イメージ・フレーム・データの輝度値を決定するステップと、
当該ピクセルにおける前記視覚上のペイロード・イメージ・フレーム・データが有する各色成分ｎの色重み付け変化係数を、前記ピクセルについての前記逆ガンマ・シフト値および前記色成分ｎの前記逆カラー加重に応じて、計算するステップと、
前記色重み付け変化係数を、当該ピクセルが有する前記視覚上のペイロード・イメージ・フレーム・データに減算的に適用するステップと、
を含む、システム。
【請求項２３】
請求項１８に記載のシステムにおいて、前記ターゲット生成回路が複数の動作を実行し、該複数の動作が、
パターン強度コントラスト値を決定するステップと、
ポジショニング・ターゲット内に位置するピクセルについて色成分ｎの逆カラー加重を決定するステップであって、前記逆カラー加重が、前記色成分のそれぞれについて人間の目による相対的な認知可能性に反比例して対応する、ステップと、
前記グラフィクス出力回路が、前記ポジショニング・ターゲット・パターンが第１のフレームに表示されるべき各ピクセルについて、前記視覚上のペイロード・データを前記少なくとも１つのポジショニング・ターゲット・パターンと複数の動作を行うことにより結合し、該複数の動作が、
前記パターン強度コントラスト値および前記ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての強度データに応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての逆ガンマ・シフト値を計算するステップと、
前記ピクセルについての逆ガンマ・シフト値および前記色成分の前記逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてのカラー加重変動係数を計算するステップと、
当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに対してそのカラー加重変動係数を加算的に適用するステップと、
前記ジショニング・ターゲット・パターンが前記第１フレームに時間的に隣接する第２のフレームにおいて表示されることになる各ピクセルについて、
前記パターン強度コントラスト値および前記ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての強度データに応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての逆ガンマ・シフト値を計算するステップと、
前記ピクセルについての逆ガンマ・シフト値および前記色成分の前記逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてのカラー加重変動係数を計算するステップと、
当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに対してそのカラー加重変動係数を減算的に適用するステップと、
を含む、システム。
【請求項２４】
請求項１８に記載のシステムにおいて、前記ターゲット生成回路が複数の動作を実行し、該複数の動作が、
前記ポジショニング・ターゲットの強度変動値を選択するステップと、
前記補完的強度変動についての大きさを、前記ポジショニング・ターゲット形状のエッジからの境界領域内における前記ポジショニング・ターゲット形状のピクセルについての前記強度変調値で減算するステップと、
を含む、システム。
【請求項２５】
請求項１２に記載のシステムにおいて、前記ビデオ・キャプチャ回路は、前記ディスプレイ・イメージ・データが生成されるフレーム・レートの実質的に２倍のフレーム・レートで、イメージ・データをキャプチャし、
前記ポジショニング回路が、第１のキャプチャ・イメージ・フレーム内でキャプチャしたイメージ・データを、前記ビデオ・キャプチャ・フレーム・レートの２期間分、時間的に前記第１キャプチャ・イメージ・フレームとは異なる第２のキャプチャ・イメージ・フレームから減算する、システム。
【請求項２６】
コンピュータ・システムをインタラクティブにかつ遠隔に動作させる方法であって、
視覚上のペイロード・イメージ・フレーム・データを生成するステップと、
表示されることになるイメージ内の第１の位置において、第１のポジショニング・ターゲット・パターンを前記視覚上のペイロード・イメージ・フレーム・データと組み合わせるステップと、
前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよび第１ポジショニング・ターゲット・パターンをディスプレイに表示するステップと、
第１のポインティング・デバイスにおいて、前記第１ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部を表現するイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データを処理して、前記ディスプレイからの前記第１ポインティング・デバイスの角度および距離を決定するステップと、
表示されることになる第２の位置において、第１のポジショニング・ターゲット・パターンを前記視覚上のペイロード・イメージ・フレーム・データと組み合わせるステップと、
前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよび第２ポジショニング・ターゲット・パターンをディスプレイに表示するステップと、
第１のポインティング・デバイスにおいて、前記第２ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部を表現するイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データを処理して、前記ディスプレイからの前記第１ポインティング・デバイスの角度および距離を決定するステップと、
前記第１および第２のポインティング・ターゲットに基づいて前記決定した角度および距離に応じて、前記ディスプレイにおけるポイントされる位置を決定するステップと、
を含む、方法。
【請求項２７】
請求項２６に記載の方法であって、更に、
前記ポイントされる位置の決定に応じて、新たな視覚上のペイロード・イメージ・フレーム・データを生成するステップと、
前記ディスプレイにおいて、前記新たな視覚上のペイロード・イメージ・フレーム・データを表示するステップと、
を含む、方法。
【請求項２８】
請求項２７に記載の方法において、前記新たな視覚上のペイロード・イメージ・フレーム・データを生成するステップが、また、前記受け取ったユーザ入力に応答して実施される、方法。
【請求項２９】
請求項２６に記載の方法において、前記第１ポジショニング・ターゲット・パターンを前記視覚上のペイロード・イメージ・フレーム・データに組み合わせるステップが、
連続したフレームに適用される、前記視覚上のペイロード・イメージ・フレーム・データの１またはそれ以上の選択したピクセル位置での補完的な強度変動に対応する少なくとも１つのポジショニング・ターゲット・パターンを、前記視覚的なペイロード・イメージ・フレーム・データと組み合わせるステップを含み、
前記第２ポジショニング・ターゲット・パターンを前記視覚的なペイロード・イメージ・フレーム・データと組み合わせるステップが、
連続したフレームに適用される、前記視覚上のペイロード・イメージ・フレーム・データの１またはそれ以上の選択したピクセル位置での補完的な強度変動に対応する少なくとも１つのポジショニング・ターゲット・パターンを、前記視覚的なペイロード・イメージ・フレーム・データと組み合わせるステップを含む、方法。
【請求項３０】
請求項２６に記載の方法であって、更に、前記キャプチャしたイメージ・データの前記第１ポジショニング・ターゲットの表現に応じた補償された属性を有するように、前記第２ポジショニング・ターゲット・パターンを生成するステップを含む、方法。
【請求項３１】
請求項２６に記載の方法であって、更に、
第２のポインティング・デバイスにおいて、前記第１ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部を表現するイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データを処理して、前記ディスプレイからの前記第２ポインティング・デバイスの角度および距離を決定するステップと、
前記第２ポインティング・デバイスにおいて、前記第２ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部を表現するイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データを処理して、前記ディスプレイからの前記第２ポインティング・デバイスの角度および距離を決定するステップと、を含み、
前記決定するステップが、また、前記第２ポインティング・デバイスについての決定した角度および距離に応じて、前記第２ポインティング・デバイスについて前記ディスプレイにおけるポイントされた位置を決定する、方法。
【請求項３２】
請求項２６に記載の方法において、前記第１ポジショニング・ターゲット・パターンが第１の色を用いて表示され、
第２の色を用いて、表示されたポジショニング・ターゲットについて、前記組み合わせるステップ及び前記表示するステップを反復するステップと、
第２のポインティング・デバイスにおいて、第２の色を用いて、前記表示されたポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部を表現するイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データを処理して、前記ディスプレイからの前記第２ポインティング・デバイスの角度および距離を決定するステップと、を含み、
前記決定するステップが、また、前記第２ポインティング・デバイスについての決定した角度および距離に応じて、前記第２ポインティング・デバイスについて前記ディスプレイにおけるポイントされた位置を決定する、方法。
【請求項３３】
コンピュータ・システムをインタラクティブにかつ遠隔に動作させる方法であって、
視覚上のペイロード・イメージ・フレーム・データを生成するステップと、
表示されることになるイメージ内の第１の位置において、第１のポジショニング・ターゲット・パターンを前記視覚上のペイロード・イメージ・フレーム・データと組み合わせるステップと、
前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよび第１ポジショニング・ターゲット・パターンをディスプレイに表示するステップと、
前記ディスプレイから離れて位置する第１のポインティング・デバイスにおいて、前記第１ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部を表現するイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データを処理して、前記ディスプレイからの前記第１ポインティング・デバイスの角度および距離を決定するステップと、
キャプチャしたイメージ・データにおいて前記第１ポジショニング・ターゲットの表現に応じて、補償される属性を有する第２のポジショニング・ターゲット・パターンを生成するステップと、
前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよび第２ポジショニング・ターゲット・パターンをディスプレイに表示するステップと、
第１のポインティング・デバイスにおいて、前記第２ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部を表現するイメージ・データをキャプチャするステップと、
前記第２ポジショニング・ターゲットの表現を含む前記キャプチャしたイメージ・データに応じて、前記ディスプレイにおけるポイントされる位置を決定するステップと、
を含む、方法。
【請求項３４】
前記補償された属性が前記第２ポジショニング・ターゲット・パターンのサイズである、請求項３３に記載の方法。
【請求項３５】
前記補償された属性が前記第２ポジショニング・ターゲット・パターンの回転方向である、請求項３３に記載の方法。
【請求項３６】
前記補償された属性が前記第２ポジショニング・ターゲット・パターンの形状である、請求項３３に記載の方法。
【請求項３７】
前記補償された属性が前記第２ポジショニング・ターゲット・パターンの位置である、請求項３３に記載の方法。
【請求項３８】
請求項３３に記載の方法であって、更に、
第２のポインティング・デバイスにおいて、前記第１ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部を表現するイメージ・データをキャプチャするステップと、
第２のポインティング・デバイスにおいて、前記第２ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部を表現するイメージ・データをキャプチャするステップと、を含み、
前記決定するステップが、また、前記第２ポインティング・デバイスについて前記ディスプレイにおけるポイントされた位置を決定する、方法。
【請求項３９】
請求項３３に記載の方法において、前記第１および第２ポジショニング・ターゲット・パターンが、第１の色を用いて表示され、更に、
第２の色を用いて、表示されたポジショニング・ターゲットについて、前記組み合わせるステップ及び前記表示するステップを反復するステップと、
第２のポインティング・デバイスにおいて、第２の色を用いて、前記表示されたポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部を表現するイメージ・データをキャプチャするステップと、を含み、
前記決定するステップが、また、前記第２ポインティング・デバイスについて前記ディスプレイにおけるポイントされた位置を決定する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]
本発明の技術分野は、対話型表示システムである。本発明の実施形態は、より詳細には、このような表示システム及びこれを動作させる方法に向けられており、ユーザは表示されたコンテンツと遠隔のハンドヘルド・デバイスを用いて対話する。
【０００２】
[0002]
話者がメッセージを視聴者に伝達できるのは、通常、視覚情報が話し言葉と組み合わせて用いることによって強化されるからである。現代において、例えば、マイクロソフト社から入手可能なパワーポイント・プレゼンテーション・ソフトウェア・プログラムのようなアプリケーションにより、視覚情報を視聴者向けに生成および表示する、コンピュータおよびこれに付随するディスプレイ・システムの使用は当たり前のことになってきている。例えばオーディトリアム環境のような大きな視聴者向けのディスプレイ・システムは、通常、投影システム（正面または背面投影のいずれか）である。会議室または教室の環境といったより少ない視聴者用の、特に、フラット・パネル（例えば、液晶）ディスプレイのコストが近年下落するにつれて、フラット・パネル・ディスプレイが普及してきた。例えば小型プロジェクタ（「ピコ(pico)・プロジェクタ」）といった、現在、特別なスクリーンを必要としない、より容易に開発される新しいディスプレイ技術が、市場に浸透しつつある。非常に小規模の視聴者（例えば、１人か２人）に対するプレゼンテーション向けには、視覚情報を呈示するのにラップトップ・コンピュータのグラフィックス・ディスプレイで十分である。いずれにしても、コンピュータ・パワーの増大と、より改良されより大きなディスプレイとを組み合わることで、数々の文脈（例えば、ビジネス、教育、法律、娯楽）において、より少ないコストでコンピュータ・ベースのプレゼンテーション・システムの使用が増加してきている。
【０００３】
[0003]
典型的なコンピュータ・ベースのプレゼンテーションには、視覚情報について視聴者の視界を遮らないように、話者をディスプレイ・システムから離れて立たせるものである。話者が、レーザ・ポインタまたは単純な木もしくは金属のポインタといったポインタを使用して、ディスプレイ上の視覚情報に非対話式にポイントすることがしばしばある。しかしながら、このタイプのプレゼンテーションでは、通例、話者は、シーケンシャルに（即ち、１つのスライドから次へと所与の順番で）表示されるように、生成したプレゼンテーション内に含まれる視覚情報に基本的に制限される。
【０００４】
[0004]
しかしながら、視覚によるプレゼンテーションは、コンピュータによって生成され、且つコンピュータによって制御されるものであるため、対話型のプレゼンテーションを実行されることができる。このような対話型プレゼンテーションは、プレゼンテーションの間、視覚情報についての特定の視聴者、注釈または説明に対し、話者により、特に重要な視覚コンテンツの選択、および、ズーム、プレゼンテーションの他の情報へのリンクの選択（即ち、オンライン）、ならびに１つの表示位置から他の別ころまでの表示要素の移動などといった効果を施すことが必要になる。この対話性により、プレゼンテーションが非常に強化され、視聴者により興味深く関与させる。
【０００５】
[0005]
しかしながら、視聴者の前で使用する従来の表示システムでは、コンピュータを操作することにより表示されるプレゼンテーションのコンテンツをインタラクティブに制御するためには、話者は、通常、コンピュータ自体が置かれた席に着かなければならない。この制限は、特に多い視聴者の文脈では、プレゼンテーションを損なうことになる。
【０００６】
[0006]
したがって、話者が、表示された視覚コンテンツと距離をおいて対話（相互作用;interaction)できることが望ましい。より具体的には、したがって、遠隔に位置する操作者が、表示される情報をポイント(point to)し、およびそれと相互作用するように使用することができるハンドヘルド・デバイスが望まれる。勿論、このようなデバイスがインタラクティブに機能するためには、コンピュータ・ベースの表示システムは、そのデバイスがポイントしているディスプレイ上の位置を識別し、それにより操作者の命令を理解しなければならない。
【０００７】
[0007]
公知のように、従来の「ライト・ペン(light pen)」は、少し離れているディスプレイとのハンドヘルドの相互作用を提供する。これらのデバイスでは、陰極線管ディスプレイ（ＣＲＴ）上にポイントされた位置は、ＣＲＴ電子銃によってリフレッシュされたディスプレイ上のピクセル位置にポイントする時間を検知することによって検出される。この検知された時間は、ＣＲＴディスプレイのラスタ走査シーケンスと相関して、ライト・ペン・センサが照準を定めたスクリーン位置を決定する。勿論、このライト・ペン技術は、ラスタ走査タイミングの検知に対する依存性のため、ＣＲＴディスプレイに制限されるものとなる。
【０００８】
[0008]
米国特許第５，９３３，１３５号は、他の従来型のハンドヘルド・ポインティング・デバイスについて記載しており、最新の液晶ディスプレイ（ＬＣＤ）および他の類似のフラット・パネル・ディスプレイ技術（例えば、プラズマ・ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイなど）に関して有用である。このペン・デバイスは、可視カーソルを含む表示スクリーンデ一部のイメージを捕捉（キャプチャ）する、カメラのような撮像装置(imager)を含む。検出されるカーソルの位置、サイズおよび向きは、ホスト・プロセッサに転送される。このホスト・プロセッサでは、検出されたカーソルを表示されたイメージと比較して、ディスプレイに対するペン・デバイスの相対的な方向および位置を推定する。このことによれば、そして、米国特許第７，５１３，７００号および米国特許第７，１６１，５９６号で記載される類似の手法によれば、このポインティング・デバイスは、必ずしもカーソル要素を含まない、表示されたイメージの一部または全部をキャプチャする。キャプチャされたイメージと表示されたイメージとの間を比較することにより、この表示されたイメージに対するカメラ・イメージの相対的な中央の位置の推定が可能となる。
【０００９】
[0009]
これらの従来のポインティング・デバイスは、表示されるイメージを必然的に制約するが、しかしながら、表示されるカーソル要素または知覚可能なイメージ・コンテンツのいずれかを、その表示されたイメージ内で変更することを要求し、その結果、このポジショニング・デバイスのポイントされた位置を決定する。いくらかの状況においては、カーソルの存在は、視聴している視聴者にとって気が散るもの、または余分なものであってよい。また、これらのデバイスは、例えば、ユーザが手書きまたは他のブランク表示フィールド上にイメージを描画したい場合には、「ホワイト・ボード」の文脈において、使用されることが排除されるであろう。更に、この手法は、キャプチャしたイメージを伝達して、表示されるイメージと比較するために、大量のデータ処理および帯域幅を伴うものとなる。
【００１０】
[0010]
米国特許第７，４２０，５４０号は、ディスプレイから相対的に離れたところにおり、且つ、位置決め(ポジショニング; pointing)のために表示されるイメージのコンテンツに必ずしも依存しないユーザにとって有用なポインティング・デバイスについて記載する。動作の際には、このポインティング・デバイスは、ディスプレイの１またはそれ以上のコーナーおよび恐らくそのディスプレイの中心を含むであろう距離からのイメージをキャプチャして、当該キャプチャしたイメージをコントローラに転送する。次いで、このコントローラは、ポインティング・デバイスについての位置決めおよび相対的な移動を、ポインティング・デバイスによってキャプチャしたイメージにおけるディスプレイ・コーナーの位置および方向から決定する。しかしながら、この手法では、ユーザは、ポインティング・デバイスの視野が１またはそれ以上のディスプレイ・コーナーを含むディスプレイから十分に離れている状況に限られることになり、より小規模な環境や、話者が大規模なディスプレイの近くにいる状況においては、上手く動作しないように思える。
【００１１】
[0011]
他の手法によれば、表示されるイメージは、ポインティング・デバイスに知覚可能であるが、人間の視聴者には直接は知覚できないポジショニング情報を含む。米国特許第７，５５３，２２９号は、ゲーム表示システムについて記載しており、クロスヘア（ｃｒｏｓｓｈａｉｒ）ナビゲーション・フレームが、表示されるイメージ・フレームのシーケンス間に交互配置される(interleave)。これらクロスヘア・ナビゲーション・フレームは、比較的高フレーム・レートでフレーム・イメージ・シーケンス内に交互配置されるナビゲーション・フレーム数が較的少ないために、人間の視聴者に直接的には知覚可能でないような比較的暗いイメージ・パターンを含むものとして記載されている。このシステムでは、ゲーム・デバイス（すなわち、ポインティング・デバイス）は、２又はそれ以上のナビゲーション・フレームを含むビデオ・シーケンスをキャプチャする。次いで、このシステムは、パターン認識によってナビゲーション・フレームを識別して、当該識別したフレームを相互に相関させて、ポインティング・デバイスが照準を定めたディスプレイにおける「クロスヘア」位置を決定する。このシステムにおけるデバイスの迅速な位置決めには、表示されるシーケンス内に高デューティ・サイクルのナビゲーション・フレームを必要とする。そして、この表示されるシーケンスは、人間のユーザに表示されるゲーム・イメージの明るさおよびコントラストを下げる。反対に、より人間に知覚可能ではないことの影響により、より長いポジショニング検出時間コストで達成され、つまり、ゲーム・パフォーマンスを低下させる。
【００１２】
[0012]
ポインティング・デバイスの位置について人間により知覚可能でないイメージ情報に伴う他の位置決め手法として、米国特許第７，４２１，１１１号に記載されている。ここに記載される１つの手法によれば、ポジショニング・パターン・フレームのシーケンスは、ピクセルまたは位置によってコード化され、表示されて、時間を掛けて検知される。次いで、ポイントされる位置が、この検知されたシーケンス・コードから推定される。これらのポジショニング・パターンにおける人間の知覚可能性は、パターンに対して赤外線を用いることにより、または、表示されたイメージ全体内の可視光のポジショニング・パターンを表示するために極めて高いフレーム・レートを用いることにより（高速の投影技術または別個のプロジェクタのいずれかを必要とする）、低減される。この特許に記載される他の別法では、複数のセンサがポインティング・デバイス内に設けられ、ディスプレイの検出される領域を拡張し、単一フレーム内で完全なコードをキャプチャする。この手法では、適当なコード化および位置決めのためには、ポジショニング・デバイスと表示されるイメージ間の距離が制限されるように思える。
【００１３】
[0013]
更なる背景技術によれば、拡張現実システム(augmented reality system)」が、ＡｄｖａｎｃｅｓｉｎＩｍａｇｅａｎｄＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ（２００６），ｐｐ．５８２―９０，Ｐａｒｋらによる「動的表面上でのひずみのない投射(Undistorted Projection onto Dynamic Surface)」に記載されている。ここで記載されるシステムでは、イメージは、実際の現実世界のオブジェクトおよび表面に対して投影され、平面からのオブジェクト表面の変化を捉えるために、表示されるイメージに適用される幾何学的((geometric)な補正(correction)を用いることで、視聴者の環境における彼／彼女の知覚を強化している。この幾何学的な補正について、表示されるイメージ・データを有するカメラがキャプチャしたイメージ・データとの比較に基づいて記載されている。この論文では、投影システムは、連続したフレームにおいて明るさまたは色のパターン・イメージ・バリエーションを用いて、表示されるイメージを覆う(overlay)。連続フレーム（すなわち、バリエーション）におけるパターン・イメージは、ゼロになるまで合計して(sum to zero)、つまり、人間の視聴者に知覚不能となる。連続フレームのカメラ・キャプチャ・イメージは、幾何学的な補正の目的で互いに差し引かれ(subtract)、表示されるイメージ・データをキャンセルするが、パターン・イメージを回復する。カメラにより視聴されるこの回復したパターン・イメージと、表示されることになるデータとを比較することにより、表示されるイメージの幾何学的な補正を可能にする。
【００１４】
[0014]
更なる背景技術によれば、デジタル・マイクロミラー・デバイス型の対話式投影デバイスが知られている。これらシステムにおいて、別々に高速調整された光源またはその代替として色相環セグメント(color wheel segment)が用いられ、人間の視聴者に不可視であるものの、カメラには検出可能であるディスプレイで位置決め（ポジショニング;positioning）情報を投影する。これらシステムは、勿論、ディジタル・マイクロミラー・ベースのモジュレータ投影ディスプレイ・システムに限られるものであり、通例は、合理的なパフォーマンスで動作する（追加モジュレータを含む）投影サブシステムを追加することが必要となる。
【発明の概要】
【課題を解決するための手段】
【００１５】
[0015]
本発明の実施形態において、対話式ディスプレイ・システム、ならびに、ハンドヘルド・ポインティング・デバイスが広範な距離および方向にわたり表示されたコンテンツと相互作用するディスプレイ・システムをインタラクティブに動作させる方法を提供する。
【００１６】
[0016]
本発明の実施形態において、人間に知覚可能なイメージのコンテンツに拘らず、ポインティング・デバイスにより照準を定めた位置が、視聴者に知覚不可能なように決定されるシステム及び方法を提供する。
【００１７】
[0017]
本発明の実施形態において、可視光を使用して表示される人間に知覚不可能なポジショニング情報を、ディスプレイの名目上(nominal)のフレーム・レートにおいて用い、ポインティング・デバイスの位置決めを迅速かつ効率的に実行することができるシステム及び方法を提供する。
【００１８】
[0018]
本発明の実施形態において、ポインティング・デバイスを介するユーザとの相互作用のタイプが、強調(highlighting)、クリック・アンド・ドラッグ、フリーハンドのテキストおよび図面、ディスプレイを駆動する基本的なコンピュータ・システム動作、表示されたイメージのズーム、手ジェスチャ識別などを含むシステム及び方法を提供する。
【００１９】
[0019]
本発明の実施形態において、ポインティング・デバイスが照準を定める位置の位置決めを効率的かつ迅速に実行するシステム及び方法を提供する。
【００２０】
[0020]
本発明の実施形態において、ポインティング・デバイスが、例えば加速度計ならびに他の物理的な位置決めセンサおよび移動センサといった、当該ポインティング・デバイスに含まれる他のセンサによって補助することができるシステム及び方法を提供する。
【００２１】
[0021]
本発明の実施形態において、ＣＲＴ、フラット・パネルおよび投影ディスプレイ（正面タイプまたは後部タイプのどちらか）を含む、広範なタイプのディスプレイと互換性を有するシステム及び方法を提供する。
【００２２】
[0022]
本発明の実施形態において、改造または置換を必要とせずに、既存のディスプレイ・システムと互換性を有するシステム及び方法を提供する。
【００２３】
[0023]
本発明の実施形態において、ポインティング・デバイスが、オーディトリアム・サイズの投影スクリーンからラップトップ・フラット・パネル・ディスプレイに至る広範なディスプレイ・サイズにわたり使用することができるシステム及び方法を提供する。
【００２４】
[0024]
本発明の実施形態において、タッチ検出およびタッチ・スクリーンの相互作用と互換性を有するシステム及び方法を提供する。
【００２５】
[0025]
本発明の実施形態は、計算リソースを所望のシステムを通じて分散することができるシステム及び方法を提供する。
【００２６】
[0026]
本発明の実施形態の他の目的および利点は、当業者がその図面と共に以下の明細書を参照することにより明らかなものとなる。
【００２７】
[0027]
本発明の一態様において、コンピュータ・ディスプレイ・システムに実施することができる。当該システムは、カメラまたは他のビデオ・キャプチャ（捕捉;capture）システムを含む遠隔の無線または有線ポインティング・デバイスを含む。このポインティング・デバイスはカメラを含み、表示されるイメージ(displayed image)を生成するコンピュータ・システムと通信する能力を含む。本発明の実施形態によれば、このコンピュータ・システムは、フラット・パネル・ディスプレイといった従来型のディスプレイ、または投影システムおよびスクリーン上にその意図する視覚上（グラフィクスまたはビデオ）の出力を表示する。１またはそれ以上のポジショニング・ターゲット(positioning target)は、視覚上のペイロードの表示フレームの強度（例えば、１またはそれ以上の表示した色についてのピクセル輝度の変化または強度）についてパターン化した変調の形態で、この意図する視覚上の出力に含まれ、これに対して連続フレームの逆変調が続く。人間の視聴者は、意図した視覚上の出力が視聴者の眼に見えている状態の間、視聴したフレームを自然と平均化する。このフレームは、時間とともにポジショニング・ターゲットの変調を相殺(cancelling out)する効果を有する。１またはそれ以上のポジショニング・ターゲットを含む表示イメージの少なくとも２つのフレームのうちの全部または一部が、ポインティング・デバイスによってキャプチャされる。このキャプチャされた連続フレームのフレーム・データは、相互に差し引かれ、キャプチャされた視覚データ内のポジショニング・ターゲットを回復（および表示イメージ・ペイロードを削除）する。この回復したポジショニング・ターゲットの位置、サイズおよび方向は、照準位置およびディスプレイに対するポインティング・デバイスの空間位置を識別する。
【００２８】
[0028]
本発明の他の態様によれば、このディスプレイ・システムは、ディスプレイにおいて、様々な時間に様々な位置にあるポジショニング・ターゲットを含む。１つの実施例では、このポジショニング・ターゲットは、要求に応じて表示され（例えば、ポインティング・デバイスのスイッチをユーザが作動させて）、ポインティング・デバイスによってキャプチャされる。ディスプレイ・システムは、次いで、ディスプレイの異なる位置において、表示イメージについての後のフレーム内に第２のターゲットを含む。キャプチャしたイメージにおいて表示したポジショニング・ターゲットの位置、サイズ、タイミングおよび方向を処理して、ディスプレイに対するポインティング・デバイスの照準を定めた位置を回復する。このポインティング・デバイスの移動を包含するために、この処理は時間とともに繰り返することができる。
【００２９】
[0029]
本発明の他の態様によれば、このディスプレイ・システムは、位置、サイズ、その他の属性において後のポジショニング・ターゲットを生成する。当該他の属性は、先行するフレームからキャプチャしたポジショニング・ターゲットのイメージに応じて選択される。ディスプレイにおいてポイントされた位置についての正確で迅速な決定は、ポジショニング・ターゲットが目立つ(prominent)表示イメージの一部分をキャプチャするポインティング・デバイスによって容易なものとされ、また生成したポジショニング・ターゲットに密接に一致させる。本発明のこの態様によれば、ポジショニング・ターゲットは変更され、ディスプレイからのポインティング・デバイスの距離、ポインティング・デバイスの回転、ディスプレイからのポインティング・デバイスの「軸外(off-axis)」の位置、および、ポインティング・デバイスによって生成されキャプチャされるポジショニング・ターゲット間の他の歪曲を補正する。
【００３０】
[0030]
本発明のその他の態様は、その様々な実施形態において理解されるように、当業者が、この明細書を参照を有することによって明らかなものとなる。
【図面の簡単な説明】
【００３１】
【図１】[0031]  図１は、本発明の実施形態による、対話式ディスプレイ・システムを用いて実行される話者のプレゼンテーションについての概略的な斜視図である。
【図２ａ】[0032]  図２ａは、本発明の一実施形態による、対話式ディスプレイ・システムをブロック形式で説明した電気図である。
【図２ｂ】図２ｂは、本発明の一実施形態による、対話式ディスプレイ・システムをブロック形式で説明した電気図である。
【図３ａ】[0033]  図３ａは、本発明の実施例による、対話式ディスプレイ・システムの動作を説明しているフロー図である。
【図３ｂ】[0034]  図３ｂは、本発明の実施形態による、対話式ディスプレイ・システムによって表示されるイメージに含まれるポジショニング・ターゲットの具体例である。
【図３ｃ】[0035]  図３ｃは、本発明の実施形態による、図２ａの対話式ディスプレイ・システムの動作を説明しているフロー図である。
【図３ｄ】[0036]  図３ｄは、本発明の実施形態による、図２ｂの対話式ディスプレイ・システムの動作を説明しているフロー図である。
【図４ａ】[0037]  図４ａは、本発明の実施形態による、１またはそれ以上のポジショニング・ターゲットを含むイメージを表示する方法についてのフロー図である。
【図４ｂ】[[0038]  図４ｂは、図４ａの方法の動作について実施例を説明しているフロー図である。
【図４ｃ】[[0039]  図４ｃは、本発明の実施形態による、表示イメージにおけるポジショニング・ターゲットを検出する方法についてのフロー図である。
【図５ａ】[0040]  図５ａは、本発明の実施形態による、ポインティング・デバイスにおける遠隔および至近距離からの位置決め(positioning)についての実施例を説明している。
【図５ｂ】図５ｂは、本発明の実施形態による、ポインティング・デバイスにおける遠隔および至近距離からの位置決めについての実施例を説明している。
【図６ａ】[0041]  図６ａは、ガンマ・カーブおよび逆ガンマ・カーブについてのプロットである。
【図６ｂ】図６ｂは、本発明の一実施例による、ポジショニング・ターゲットのディスプレイにおける逆ガンバ・カーブの適用を説明しているフロー図である。
【図７】[0042]  図７は、本発明の代替の実施形態による、ポジショニング・ターゲットの表示の実施例を説明しており、全表示されたイメージより少ないものがポジショニング・ターゲットに含まれる。
【図８】[0043]  図８は、本発明の代替の実施形態におけるフロー図および対応の実施例であり、ポジショニング・ターゲットの規則性が損なわれている。
【図９】[0044]  図９は、本発明の代替の実施形態におけるフロー図および対応の実施例であり、ポジショニング・ターゲットのコントラストが背景イメージを変調する(modulate)ことによって低減されている。
【図１０ａ】[0045]  図１０ａは、本発明の代替の実施形態を例示しているフロー図であり、ポジショニング・ターゲットが色加重され(color-weighted)、人間の知覚性を低減させる。
【図１０ｂ】図１０ｂは、本発明の代替の実施形態を例示しているフロー図であり、ポジショニング・ターゲットが色加重され、人間の知覚性を低減させる。
【図１１】[0046]  図１１は、本発明の代替の実施形態を例示しているフロー図であり、ポジショニング・ターゲットのエッジをぼかして人間の知覚性を更に低減させる。
【図１２】[0047]  図１２は、本発明の他の実施形態による、対話式ディスプレイ・システムを動作せる方法を説明しているフロー図であり、多数のポジショニング・ターゲットが時間とともに順序付け(sequence)される。
【図１３ａ】[0048]  図１３ａは、本発明の他の実施形態による、名目上(nominal)のポジショニング・ターゲット、ポインティング・デバイスの位置によりそのポジショニング・ターゲットの歪曲表現、および補償ポジショニング・ターゲットについて例示している。
【図１３ｂ】図１３ｂは、本発明の他の実施形態による、名目上のポジショニング・ターゲット、ポインティング・デバイスの位置によりそのポジショニング・ターゲットの歪曲表現、および補償ポジショニング・ターゲットについて例示している。
【図１３ｃ】図１３ｃは、本発明の他の実施形態による、名目上のポジショニング・ターゲット、ポインティング・デバイスの位置によりそのポジショニング・ターゲットの歪曲表現、および補償ポジショニング・ターゲットについて例示している。
【図１３ｄ】図１３ｄは、本発明の他の実施形態による、名目上のポジショニング・ターゲット、ポインティング・デバイスの位置によりそのポジショニング・ターゲットの歪曲表現、および補償ポジショニング・ターゲットについて例示している。
【図１３ｅ】図１３ｅは、本発明の他の実施形態による、名目上のポジショニング・ターゲット、ポインティング・デバイスの位置によりそのポジショニング・ターゲットの歪曲表現、および補償ポジショニング・ターゲットについて例示している。
【発明を実施するための形態】
【００３２】
[0049]
本発明は、その実施形態、すなわち、視聴者によって、可視表示を含むコンピュータ化されたプレゼンテーション・システムに実施される１またはそれ以上の実施形態に関して説明される。何故ならば、本発明は、このようなシステムに適用されるときに特に有用であると考えられるからである。しかしながら、本発明はまた、例えば、ゲーム・システムのような他の適用、およびユーザによるコンピュータ・システムへの全般的な入力などに関しても役立つものとすることができることも考えられる。したがって、以下の説明は例示のためだけに提供されるものであり、特許請求されるような本発明の本当の範囲を限定することを目的としないことが理解されるべきである。
【００３３】
[0050]
図１は、本発明の実施形態が役に立つ環境について簡略化した実施例について例示している。図１に示すように、話者ＳＰＫＲは、視覚的補助(visual aid)を用いて、視聴者Ａにライブ・プレゼンテーションを提供している。この場合、この視覚的補助は、コンピュータ２２によって生成され、視聴者Ａに見えるように部屋の大きさほどのグラフィック・ディスプレイ２０上に表示された、コンピュータ・グラフィックおよびテキストの形態である。公知なように、このようなプレゼンテーションは、ビジネス、教育、娯楽および他の文脈において共通であり、大きく変更する特定の視聴者サイズおよびシステム要素を有する。図１の簡略化された実施例では、視聴者Ａは数人またはそれ以上のメンバを含み、プレゼンテーションを視聴しているビジネス環境について説明している。勿論、環境のサイズは、何百人もの視聴者メンバを着席させたオーディトリアムから、視聴者Ａが単一の人から構成される単一の机またはテーブルにいたるまで、変更することができる。
【００３４】
[0051]
視覚補助を視聴者Ａに提示するために使用されるタイプのディスプレイ２０はまた、しばしばプレゼンテーション環境のサイズに応じて、変更することもできる。会議室から大規模なオーディトリアムまでの範囲にわたる部屋では、ディスプレイ２０は、投影による表示でもよく、表示スクリーンデ前後いずれかに配置されたプロジェクタを含む。この環境では、コンピュータ２２は、視覚補助のイメージ・データを生成し、それをプロジェクタに転送する。より小さい環境では、ディスプレイ２０は、プラズマまたは液晶（ＬＣＤ）といったタイプの外部フラット・パネル・ディスプレイとすることができ、コンピュータ２２のグラフィックス・アダプタによって直接駆動され。１人か２人の視聴メンバに対するプレゼンテーションでは、ラップトップまたはデスクトップ・コンピュータの形態のコンピュータ２２は、単にそれ自身のディスプレイ２０を使用して視覚情報を提示することができる。また、より少数の視聴者Ａのために、ハンドヘルド・プロジェクタ（例えば、「ポケット・プロジェクタ」または「ピコ(pico)・プロジェクタ」）がより一般的になりつつある。この場合には、表示スクリーンは壁またはホワイト・ボードとすることができる。
【００３５】
[0052]
プレゼンテーションの文脈において、グラフィックスおよびテキストを生成および提示するコンピュータ・プレゼンテーション・ソフトウェアの使用は、現在ありふれている。このようなプレゼンテーション・ソフトウェアの公知例は、マイクロソフト社から入手可能なＰＯＷＥＲＰＯＩＮＴソフトウエア・プログラムである。図１の環境では、この種のプレゼンテーションソフトは、この例で示すディスプレイ２０上に表示されるプレゼンテーションの各スライドを用いて、コンピュータ２２によって実行される。勿論、特定の視覚情報は、コンピュータ２２において実行している事前に生成されたプレゼンテーションである必要はない。しかし、その代わりとして、コンピュータ２２を介してアクセスされるウェブ・ページや、アイコン、プログラム・ウインドウおよびアクション・ボタンを含むデスクトップ表示、コンピュータ２２によって読み出されるＤＶＤまたは他の記憶デバイスからのビデオ・コンテンツまたは動画コンテンツ、または、（話者ＳＰＫＲがポインティング・デバイス１０を用いて「描画(draw)」または「書き込む(wirte)」ことができる）「ホワイト・ボード」としてブランク・スクリーンとすることができる。本発明の実施形態の点で有用な他のタイプの視覚情報について、当業者は本明細書を参照することで明らかなものとなろう。
【００３６】
[0053]
図１に示すように、話者ＳＰＫＲが、ディスプレイ２０から離れて立つことはしばしば有用であり、その結果、視聴者Ａの視聴を遮断せず、また、より良く視聴者Aとかみ合うことになる。本発明の実施形態によれば、話者ＳＰＫＲには、コンピュータ２２およびディスプレイ２０から離れて、ディスプレイ２０に表示される視覚情報と対話(相互作用;interact)する能力が備えられる。また、本発明の実施形態によれば、話者ＳＰＫＲは、ディスプレイ２０に接近して近づくことができ、例えば仮想ボタンまたはリンクで、ディスプレイ２０を仮想的に「押す」または「タッチする」することで、この方法で視覚コンテンツと相互作用することができる。ディスプレイ２０によって表示される視覚情報の相互作用的使用により、話者ＳＰＫＲに、特定の聴衆Aとの有用なプレゼンテーションを即興的に行う能力を提供し、アクティブ・コンテンツ（例えば、インターネット・リンク、アクティブ・アイコン、仮想ボタン、ストリーミング・ビデオなど）とインタフェースし、また、特定の視聴者Ａに、コンピュータ２２の席に着席するか、さもなければコンピュータ２２へ「押さえつけられる(pinned)」ことを要求することをせずに、プレゼンテーションの高度なグラフィックスおよび制御を作動させる。
【００３７】
[0054]
本発明の特定の実施形態に関し、さらに以下に詳述する。話者ＳＰＫＲはポインティング・デバイス１０でこの遠隔の相互作用を実施する。ポインティング・デバイス１０は、ディスプレイ２０におけるイメージの全部または一部をキャプチャすることができ、また、そのイメージについてポイントされた(pointed-to)（即ち、照準を定められた(aimed-at)）ターゲット位置と相互作用することができる。この例でのポインティング・デバイス１０は、ディスプレイ２０でこのポイントされた位置および話者ＳＰＫＲからの他のユーザ命令を、受信機２４つまりコンピュータ２２にワイヤレスで伝達する。このように、本発明の実施形態によれば、表示されるイメージとの遠隔の対話（相互作用）性が実施される。
対話式表示システムの全般的な構成および動作
[0055]
これから図２ａを参照する。図１に示したような環境で有用な対話式表示システムに関する構成の一般化された実施例を、本発明の実施形態にしたがってこれから説明する。図２ａに示すように、この対話式ディスプレイ・システムは、ポインティング・デバイス１０、プロジェクタ２１および表示スクリーン２０を含む。本発明のこの実施形態においては、コンピュータ２２は、プロジェクタ２１によって表示スクリーン２０において表示される「ペイロード」イメージを生成するための適切な機能性を含む。このペイロード・イメージは視聴者による視聴を意図する。本発明の実施形態によれば、これらペイロード・イメージのコンテンツは、ポインティング・デバイス１０を介して人間のユーザによる相互作用により制御される。そのために、コンピュータ２２はポジショニング回路２５と協働する。このポジショニング回路２５は、ポインティング・デバイス１０がポイントする表示スクリーン２０の位置を決定する。以下の説明から明らかなように、この位置決めの決定は、表示スクリーン２０で表示される１またはそれ以上のポジショニング・ターゲットを検出するポインティング・デバイス１０に基づく。
【００３８】
[0056]
このペイロード・イメージ生成機能において、コンピュータ２２は、表示する視覚情報（すなわち視覚「ペイロード」イメージ）を生成し、この視覚情報にアクセスすることになる。それは、例えば、メモリ内の以前に生成したプレゼンテーション・ファイルの形態、または、コンピュータ２２がネットワークやインターネットを介して検索することができるアクティブ・コンテンツの形態である。以下にさらに詳述するように、コンピュータ２２からのこの人間可視なペイロード・イメージ・フレーム・データは、ターゲット生成器機能２３によって生成されるポジショニング・ターゲット・イメージ・コンテンツと組み合わされる。ターゲット生成器機能２３は、グラフィックス・ディスプレイ２０において表示されるときに、ポインティング・デバイス１０がキャプチャし、ポジショニング回路２５が使用することができ、その結果、ポインティング・デバイス１０によってポイントされる位置を推定する。グラフィックス・アダプタ２７は、イメージ・データのフレームのシーケンスをプロジェクタ２１に提示するのに適した適切な機能を含む。このイメージ・データは、ペイロード・イメージ・データとポジショニング・ターゲットイメージ・コンテンツとの組合せを、適切な表示フォーマットで含んでいる。プロジェクタ２１は、この投影の実施例では、表示スクリーン２０において、対応するイメージＩを順に投影する。
【００３９】
[0057]
コンピュータ２２、ポジショニング回路２５、ターゲット生成器回路２３およびグラフィックス・アダプタ２７の特定の構成は、広く変更することができる。例えば、適切な処理回路（ＣＰＵまたはマイクロプロセッサ）およびメモリを含む、単一のパーソナル・コンピュータまたはワークステーション（デスクトップ、ラップトップまたは他の適切な形態）を構成およびプログラムすることができ、表示イメージのポイントされた位置を決定するためにポインティング・デバイス１０からデータを受信および処理する機能と同様に、ペイロード・イメージを生成およびポジショニング・ターゲットを生成し、ならびにこの２つをグラフィックス・アダプタ２７の前およびグラフィックス・アダプタ２７を経由して組み合わす機能を実行するものと考察される。あるいは、コンピュータ２２外部の別々の機能的なシステムがターゲット生成器２３、受信機２４およびポジショニング回路２５の機能のうち１またはそれ以上を実行することができ、その結果、コンピュータ２２は、修正(modification)することなく動作する従来のコンピュータとして実現することができるものと考察される。このイベントにおいては、グラフィックス・アダプタ２７は、それ自体で外部機能を構成することができ（即ち、コンピュータ２２の外部にある、ターゲット生成器２３、受信機２４およびポジショニング回路２５の他の機能のうち１またはそれ以上と組み合わすことができる）、または、その代替として、ターゲット生成器２３からの出力が提示されるコンピュータ２２内で実現することができる。これら機能についての他の様々な代わりの実装もまた考察される。いかなるイベントにおいても、コンピュータ２２、ポジショニング回路２５、ターゲット生成器２３、およびグラフィックス・ディスプレイ２０において表示されるイメージならびにポジショニング・ターゲットの生成に伴う他の機能は、コンピュータ・プログラム命令を格納するコンピュータ可読媒体の形態で、適切なプログラム・メモリを含むことができるものと考察される。このコンピュータ・プログラム命令は、その処理回路によって実行されるときに、この明細書で説明する本発明の実施形態についての様々な機能や動作を実行することになる。この明細書を参照する当業者にとって、不当な実験をすることなく、本発明のこれら実施形態を実施するための適切なコンピュータ・ハードウェアおよび対応するコンピュータ・プログラムを容易に配置することが可能なものと考察される。
【００４０】
[0058]
この例において、ポインティング・デバイス１０は、光学システム１２およびイメージ・センサ１４からなるカメラ機能を含む。ディスプレイ２０に照準を定めるポインティング・デバイス１０と共に、イメージ・センサ１４は、キャプチャしたイメージによって露出(expose)する。このキャプチャしたイメージは、ポインティング・デバイス１０とディスプレイ２０の間の距離、光学システム１２内のレンズの焦点距離などに依存して、ディスプレイ２０でのイメージＩの全部または一部に対応する。イメージ・キャプチャ機能１６は、ユーザによって選択される特定の時点でキャプチャされる、または、一連のサンプリング時間の各々でキャプチャされる、イメージのデジタル表現を獲得および格納するための適切な従来技術の回路を含む。ポインティング・デバイス１０はまた、アクチュエータ１５を含む。このアクチュエータ１５は、従来の押しボタンまたは他のスイッチであり、それを経由して、ポインティング・デバイス１０を有するユーザは、イメージ・キャプチャを作動させるための、または、以下に説明するような当業者に明らかなような他の機能に対する、マウス・ボタンの性質を帯びているユーザ入力を備えることができる。この例では、１またはそれ以上の慣性センサがまた、ポインティング・デバイス１０内に含まれており、表示されるコンテンツとのユーザ対話を補助しまたは強化する。このような慣性センサの実施例には、加速度計、磁気センサ（すなわち、地球の磁場に対する方向を検知するための）、ジャイロスコープ、および他の慣性センサが含まれる。
【００４１】
[0059]
図２ａのこの実施例において、ポインティング・デバイス１０は、ポジショニング回路２５に、イメージ・キャプチャ機能１６によって獲得するキャプチャされたイメージに対応する信号を転送するように動作可能である。この伝達機能は、ポインティング・デバイス１０の無線トランスミッタ１８によってその内部アンテナＡと共に実行され、それを経由して、無線周波信号（例えば、ブルートゥースまたは適切なＩＥＥＥ８０２．１１規格といった従来規格による）が送信される。送信機１８は、キャプチャしたイメージ・データを、他のユーザ入力および適用可能な無線プロトコルを介した制御信号と共にコード化、変調、および送信するための従来の構成および動作を有するものと考察される。この例では、受信機２４は、そのアンテナＡを介してポインティング・デバイス１０からの伝送信号を受信すること、および、復調し、デコードし、フィルタリングし、およびその他、受信信号をポジショニング回路２５による処理に適したベースバンドの形態に処理することができる。
【００４２】
[0060]
これより、本発明の実施形態による対話式ディスプレイ・システムの動作を、図３ａを参照して、一般的な意味において説明する。プロセス３０では、コンピュータ２２は、ディスプレイ２０で表示されることになる視覚上のペイロード・イメージ・データを生成する。これら視覚上のペイロード・イメージ・データは、図１の環境において視聴者Ａが視聴するために意図された人間により知覚可能なコンテンツに対応する。このコンテンツは、視覚補助（ＰＯＷＥＲＰＯＩＮＴのスライド、ウェブ・ページなど）に対応し、プレゼンテーションの視覚の構成要素を構成する。この視覚上のペイロード・イメージ・データに加えて、プロセス３２では、ターゲット生成器機能２３は、視覚上のペイロード・イメージ・データと共にディスプレイ２０にも表示されるポジショニング・ターゲット・イメージを生成する。本発明の実施形態によるこれらポジショニング・ターゲット・イメージの性質を以下に詳述する。本発明の実施形態において、プロセス３２で生成されるポジショニング・ターゲット・イメージは、視聴者Ａによって直接的には知覚可能である必要はないが、本システムの動作のためにポインティング・デバイス１０によってのみ知覚可能であることを必要とする。プロセス３４では、グラフィックス・アダプタ２７は、視覚上のペイロード・イメージ・データおよびポジショニング・ターゲット・イメージ・データを組み合わせて、ディスプレイ２０での表示に適した形態、例えば、従来の意味におけるグラフィックスまたはビデオ・データの１またはそれ以上の「フレーム」の形態にする。その代替としては、コンピュータ２２は、ターゲット生成器機能２３からポジショニング・ターゲットを受け取ることができ、また、それらポジショニング・ターゲットを、グラフィックス・アダプタ２７に組合せ結果を転送する前に、ペイロード・イメージ・データと組み合わせることができる。この場合、コンピュータ２２およびターゲット生成器機能２３の一方または両方は、それらのインスタンス、またはプロジェクタ２１へのグラフィックス出力を提示するグラフィックス・アダプタ２７としてサービス提供する代替のダウンストリームグラフィックス・アダプタ回路のいずれかを用いて、グラフィックス・アダプタ回路を含むことができる。しかしながら、プロセス３６では、組み合わされたこれらの組合せフレームは、従来方式ではディスプレイ２０で出力するためのプロジェクタ２１に転送される。あるいは、他のタイプのディスプレイ・システム（例えば、ＬＣＤ、ＬＥＤおよびその他の非投影ディスプレイ）について、プロジェクタ２１は使用されることはないが、むしろ、グラフィックス・ディスプレイ２０自体は組み合わされたペイロード・イメージおよびポジショニング・ターゲットを受信および表示するための適切な機能を含むことになる。
【００４３】
[0061]
図３ｂは、プロセス３６に続く、ディスプレイ２０上に表示されるイメージＩの一般的な実施例について例示している。この図３ｂに示すように、イメージＩは基本ポジショニング・ターゲットＰＴ１を含む。このＰＴ１は、ディスプレイ２０で表示されるイメージＩの上部左側の４分の１部分に配置される。ポジショニング・ターゲットＰＴ１が若干の非対称性を含むことは有用であり、その結果、ディスプレイ２０の軸に対するポインティング・デバイス１０の回転はポジショニング回路２５によってキャプチャ・イメージの分析から認識することができる。加速度計のような補助のモーション・センサが、ポインティング・デバイス１０内で実装され、この回転方向の決定を支援することができ、位置決めがより迅速に実行されることを可能にするものと考察される。
【００４４】
[0062]
この対話式表示動作は、プロセス３８では、ディスプレイ２０で表示されているイメージの少なくとも一部をキャプチャするポインティング・デバイス１０で継続する。上記のとおり、ポインティング・デバイス１０は、例えばアクチュエータ１５を経由して、ユーザ命令に対するこのイメージをキャプチャすることができる。あるいは、ポインティング・デバイス１０は、サンプルしたイメージのシーケンスの形態で、イメージを周期的にキャプチャすることができる。どちらの場合でも、本システムの相互作用動作を実現するために、ポインティング・デバイス１０によってキャプチャされるイメージ（１または複数）は、１またはそれ以上のポジショニング・ターゲットを、人間により知覚可能な視覚上のペイロード・イメージと共に、表示イメージに含む。図３ｂは、ポインティング・デバイス１０が視野ＦＯＶによって示された表示イメージＩで照準を定める場合における、キャプチャ・イメージＣＩの実施例について例示している。図３ｂに示すように、キャプチャ・イメージＣＩが獲得される視野ＦＯＶは、表示イメージＩの一部分のみを含む。また、視野ＦＯＶは、表示イメージＩの方向から回転される（例えば反時計回りに４５度）。キャプチャ・イメージＣＩは、この例では、キャプチャしたポジショニング・ターゲットＰＴ１Ｃを含む。
【００４５】
[0063]
ポインティング・デバイス１０が、少なくとも１つのポジショニング・ターゲットを含む少なくとも１つのイメージを獲得すると、プロセス４０では、対話式ディスプレイ・システムのポジショニング回路が、キャプチャ・イメージ内に含まれるポジショニング・ターゲット・イメージの属性を決定する。これらの属性は、ポインティング・デバイス１０によってビューされるようなキャプチャ・イメージにポジショニング・ターゲットの位置を含み、また、このような属性を、そのキャプチャ・イメージにポジショニング・ターゲットのサイズ（このサイズは、ディスプレイ２０からポインティング・デバイス１０の距離を示す）、キャプチャ・イメージのポジショニング・ターゲットの方向（ディスプレイに対するポインティング・デバイス１０の方向を示す）、キャプチャ・イメージのポジショニング・ターゲットの形状（ディスプレイ２０に対し通常の軸を外れてポインティング・デバイス１０の位置を示せる）などとして含むこともできる。図３ｂの基本的な実施例を参照する。キャプチャされたポジショニング・ターゲットＰＴ１Ｃの位置は、キャプチャ・イメージＣＩの（例えば、特定の座標を通る）下部左側部のものとして識別することができる。ポインティング・デバイス１０がキャプチャ時にディスプレイ２０にどれくらい接近するかについての指標を与えるために、キャプチャされたポジショニング・ターゲットＰＴ１Ｃの相対的なサイズを識別することができる。また、キャプチャされたポジショニング・ターゲットＰＴ１Ｃの方向は、キャプチャされたその形状の非対称性からも識別することができる。
【００４６】
[0064]
これら識別された属性に基づいて、プロセス４２では、図２ａのシステムのポジショニング回路２５は、イメージ・キャプチャ時に、ポインティング・デバイス１０がポイントされる表示イメージＩの位置を決定する。
一般的な意味では、プロセス４２のこの決定は、対応する時間にイメージＩを形成するビデオ・データ・に対し、キャプチャ・イメージＣＩを比較することによって達成される。この比較は、ビデオ・データの直接的な比較（すなわち、イメージＩ内の正しい位置で視野ＦＯＶを配置するためにキャプチャ・イメージＣＩのビットマップを表示イメージＩのビットマップと比較する）として実行することができる。あるいは、サイズ、方向、形状などといった識別属性は、また、表示されたポジショニング・ターゲットの類似属性に対して比較されることもでき、そこから、ディスプレイ２０に対するポインティング・デバイス１０の相対的な位置を計算することができる。この明細書を参照した当業者にとって、不当な実験をすることなく、ポイントされた位置、所与のキャプチャ・イメージＣＩおよび表示されたイメージＩを決定する適切なアルゴリズムおよび方法を直ちに開発することができるものと考察される。
【００４７】
[0065]
どのような場合でも、ポインティング・デバイス１０が照準を定めたディスプレイ２０における位置を決定すると、イメージ・キャプチャ時に、コンピュータ２２は、次いで、グラフィカル・ユーザ・インタフェースの方法で、ポインティング・デバイス１０を介してユーザによって与えられる命令をデコードすることができる。従来技術における基礎として、グラフィカル・ユーザ・インタフェース命令は、表示されたコンテンツのズーム・イン、ズーム・アウト、ページめくりなどを含むその他の命令と同様に、「選択」、クリック・アンド・ドラッグ、ダブル・クリック、および右クリックなどのような機能を含む。このような命令の他の実施例は、表示コンテンツ（例えばそのコンテンツに対するハイライトまたはコメント）、または、ブランクの「ホワイト・ボード」ディスプレイのどちらかに対して、ポインティング・デバイス１０を用いることにより、フリーハンドのイメージ描写またはフリーハンドのテキスト書き込みを含む。グラフィカル・ユーザ・インタフェースの文脈において、これら命令は、取られる特定のアクションだけはなく、表示イメージにおいて現在ポイントされている位置に依存する。このようにしてユーザ命令をデコードすると、プロセス３０では、対話式ディスプレイ・システムは、この処理を、例えば、受信したユーザ・コマンドに応答して表示される新たな視覚上のペイロード・イメージ・コンテンツを生成することによって繰り返す。オプションとして、ポジショニング・ターゲットは、生成されプロセス３２の次のインスタンスに表示されるイメージに組み合わせることができるが、これもまたデコード命令に応答する。例えば、次のポジショニング・ターゲットの位置は、（例えば、次のポジショニング・ターゲットがポインティング・デバイス１０の見える所にあることを確実にするために）現在のポイントされたディスプレイにおける位置に依存させることができる。次いで、このプロセスは反復する。
【００４８】
[0066]
本発明の実施形態における対話式ディスプレイ・システムのポジショニング回路２５の特定位置は、システムごとに変更することができるものと考察される。一般的な意味において、どのハードウェア・サブシステム（すなわち、ディスプレイを駆動しているコンピュータ、ポインティング・デバイス、ビデオ・データ・パスの別個のサブシステム、またはこれらの幾つかの組み合わせ）が、ポイントされるディスプレイ２０における位置の決定を実行するかについては、特に重要でない。図２ａに示される実施例において、上記のとおり、ポジショニング回路２５は、表示イメージＩを生成し、また、表示イメージＩの位置を決定する機能を組み合わせるシステムにおいて、コンピュータ２２およびターゲット生成器機能２３と組み合わせて配備され、表示イメージＩで、ポインティング・デバイス１０がシステムの同一要素に照準を定める（そして、それと関連付けられる命令をデコードする）。
【００４９】
[0067]
この点に関し、図３ｃは、図２ａのシステムへのより特定の適用を有することを除き、図３と関連して上記の全プロセスの一部について例示している。この場合、図３ｃにおける対話式の表示動作は、ポインティング・デバイス１０がディスプレイ２０で表示されるイメージＩを少なくとも部分的にキャプチャするプロセス３８を通じて、図３ａと関連して上記のとおりに進行する。プロセス３９（図３ｃ）では、ポインティング・デバイス１０は、キャプチャ・イメージＣＩに対応し、１またはそれ以上のポジショニング・ターゲットを有する信号を、送信機１８およびアンテナＡを介してポジショニング回路２５に送信する。受信機２４がそのキャプチャ・イメージ・データを受け取ると、ポジショニング回路２５はプロセス４０’を実行する。ここでは、ポジショニング回路２５は、キャプチャ・イメージＣＩデータ内における１またはそれ以上のポジショニング・ターゲットを識別する。それらポジショニング・ターゲットの位置を識別することに加えて、ポジショニング回路２５はまた、サイズおよび方向などといったポジショニング・ターゲットの他の属性を識別することもできる。
【００５０】
[0068]
ポイントされる位置の決定（図３ａのプロセス４２）は、プロセス４１を経由して、図２ａのシステムにおいてポジショニング回路２５によって実施される。ここでは、キャプチャ・イメージＣＩのポジショニング・ターゲット・イメージ・コンテンツの属性は、対応する表示イメージＩのポジショニング・ターゲット・イメージ・コンテンツと比較される。上記のとおり、プロセス４１では、ビデオ・イメージ・コンテンツの直接的な比較によって実行されることができ、またはその代替として、表示されたイメージＩの対応するポジショニング・ターゲットイメージコンテンツと比較して、特定の実装に応じた、特定の属性（イメージ・フィールドにおけるｘ―ｙ位置の比較など）に基づく計算によるものとしてもよい。プロセス４１で識別されるディスプレイ２０に対するポインティング・デバイス１０の相対的な位置決めは、次いで、プロセス４３では、ディスプレイ２０においてポイントされる位置を決定するためにコンピュータ２２によって用いられる。次いで、対話式表示プロセスは、上記のとおりプロセス４４を継続し、それを経由してコンピュータ２２は現在のユーザ命令をデコードおよび実行する。
【００５１】
[0069]
図２ｂでは、本発明の実施形態による、対話式ディスプレイ・システムの代替の一般化した配置について例示している。このシステムは、既に説明したようなプロジェクタ２１およびディスプレイ２０を含み、このプロジェクタ２１は、上記のコンピュータ２２によって生成されるペイロード・イメージ・コンテンツおよびポジショニング・ターゲット・イメージ・コンテンツを投影する。この例では、ポインティング・デバイス１０’は、現在ポイントしているディスプレイ２０における位置を決定することに伴う計算の一部または全部を実行する。このように、カメラ（レンズ１２、イメージ・センサ１４およびイメージ・キャプチャ１６）に加えて、ポジショニング・デバイス１０’は、無線送信機１８と共にポジショニング回路２５’を含む。反対に、既に説明したとおり、コンピュータ２２は受信機２４に組み合わされる。
【００５２】
[0070]
一般的な意味では、ポジショニング回路２５’は、次いで、イメージ・センサ１４およびイメージ・キャプチャ１６で獲得されるキャプチャ・イメージＩ内に含まれるポジショニング・ターゲット・イメージ・コンテンツを、そのメモリに格納されるポジショニング・ターゲット・イメージ情報と比較することによって、照準が定められたディスプレイ２０における位置を決定する。例えば、演繹的に、ポジショニング回路２５’は、ディスプレイ２０で表示されるポジショニング・ターゲットの名目上の形状およびサイズに対応するイメージ・データを格納することができ、その結果、キャプチャ・イメージをそのポジショニング・ターゲット・イメージと比較することができる。あるいは、送信機１８および受信機２４は、それぞれ、相互に無線通信の送信および受信の双方を行うことができる送受信機として実装することができ、その場合には、ディスプレイ２０で表示されるポジショニング・ターゲットのサイズ、形状および位置に対応するデータは、比較のために、ポインティング・デバイス１０’に送信することができる。いずれの場合でも、図２ｂのシステムは、図２ｂのシステムへの特定の適用を有する図３ｄに示されるプロセス・フロー全体のうちの一部に関してこれから説明するように、ポインティング・デバイス１０’での少なくとも一部のポジショニング回路２５’の分散と共に、全動作がいくらか異なる結果となる。
【００５３】
[0071]
ポジショニング回路２５’内に予め格納するか、または無線通信によって受信するかに拘らず、プロセス４６では、ポインティング・デバイス１０’は、ターゲット生成器２３によって生成され、表示されたイメージＩに含まれるポジショニング・ターゲット・イメージ・コンテンツに対応するデータにアクセスする。これらデータは、ポジショニング・ターゲット・イメージ・コンテンツ・データそのもの（例えば、図３ｂのポジショニング・ターゲットＰＴ１）とすることができ、または、代替として、あるタイプの表現(representational)データ（例えば、ｘ―ｙ位置、方向など）とすることができ、そこから、ポジショニング回路２５’は、ポジショニング・ターゲット・イメージ・コンテンツの位置および他の属性を決定することができる。プロセス４０’’では、ポインティング・デバイス１０のポジショニング回路２５’は、キャプチャ・イメージＣＩ内の１またはそれ以上のポジショニング・ターゲット（例えば、ポジショニング・ターゲットＰＴ１Ｃ）を識別し、所望のサイズ、方向などといったポジショニング・ターゲット属性を決定する。
【００５４】
[0072]
図２ｂのシステムにおいて、ポジショニング回路２５’は、ポインティング・デバイス１０内に設けられ、ポジショニング回路２５’は、プロセス４７を実行して、キャプチャ・イメージＣＩのポジショニング・ターゲットと（プロセス４６のコンピュータ２２から伝達されるような）表示されたイメージＩ内のポジショニング・ターゲットとの間の関係を識別する。この動作は、基本的に図３ｃのプロセス４１に対応するが、コンピュータ２２ではなくポインティング・デバイス１０’で実行される（図２ａ）。また、プロセス４８では、ポインティング・デバイス１０’のイメージ・キャプチャおよびポジショニング回路１６’は、、プロセス４７で導出される相対属性に基づいて、それ自体がイメージ・キャプチャ時にポイントするディスプレイ２０における位置を決定する。ディスプレイ２０においてポイントされた位置を決定すると、ポインティング・デバイス１０’は、次いで、送信機１８および受信機２４によって確立される無線リンクを介して、任意の命令または他のユーザー入力（例えば、アクチュエータ１５を経た入力）とともに、データをプロセス４９でポイントされた位置を識別するコンピュータ２２に送信する。次いで、コンピュータ２２は、上記のとおり、プロセス４４からの所望のインタラクティブな方法で、その動作のこれら命令およびイメージＩの表示に応答することができる。
【００５５】
[0073]
更に、代替においては、図２ｂによってまた提案されるとおり、ポインティング・デバイス１０、１０’が照準を定めるディスプレイ２０における位置を計算および決定するポジショニング回路２５、２５’は、ポインティング・デバイス１０、１０’両方における部分と共に、およびコンピュータ２２で、システムの全体にわたって分散させることができ、各々は位置決め機能のいくつかの部分を実行する。例えば、ポインティング・デバイス１０’のポジショニング回路２５’は、そのキャプチャ・イメージＣＩ内に含まれるポジショニング・ターゲット・イメージ・コンテンツの属性（例えば、ｘ―ｙ位置、ターゲット・サイズおよび方向など）を計算することができ、次いで、その情報を、コンピュータ２２の近くに配備したポジショニング回路２５に転送することができる。コンピュータ２２は、ディスプレイ２０においてポイントされた位置の決定を完了する。さまざまなシステム構成要素内での位置決め機能および計算リソースについての特定の分散は、本明細書を参照した当業者にとって、不当な実験をすること無く、特定の実装のために設計することができるものと考察される。
【００５６】
[0074]
所与の一般化された説明、ポジショニング・ターゲット情報が生成され、ディスプレイ２０で表示される手法に向けられた本願発明の様々な実施形態、および本発明のこれらの実施形態により享受される幾らかの利益について、これから説明する。
【００５７】
人間により知覚不可能なポジショニング・ターゲット(Human-imperceptible positioning targets)
[0075]
上記本発明の背景技術で検討したように、遠隔ポインティング・デバイスの位置決めに対する多くの従来のアプローチは、ポインティング・デバイスによってポイントされるディスプレイにおける位置を認識するために、表示されたイメージの人間により知覚可能なコンテンツ使用を含む。幾らか場合では、可視カーソルは、キャプチャ・イメージのカーソルの位置および属性を表示されるカーソルのそれと比較することによって決定されるポイントされる位置を用いて、ポジショニング・ターゲットを構成する。他の場合には、イメージの可視コンテンツまたは表示されたイメージ自体の実際のコーナーは、位置決めプロセスに必要とされる。しかしながら、提示者が視覚コンテンツを描写または書いている「ホワイト・ボード」として特にディスプレイ・システムが使用される場合には、さもなければ知覚可能なイメージまたは表示イメージのカーソルは、視聴者を混乱させることができる。それらの従来の可視ターゲットシステムは、「ホワイト・ボード」アプリケーションで厳格に機能することができない。何故ならば、その位置決め機能で用いることができる表示された可視コンテンツが勿論ないからである。また、本発明によれば、これら従来の手法は、表示スクリーンからの距離の点で、ポインティング・デバイスの使用可能な範囲を制限することが認められる。ポインティング・デバイスによってキャプチャされるターゲットは、そのポインティング・デバイスがディスプレイに接近しすぎている場合には、大きすぎて判別することができないことになり得るし、または、そのポインティング・デバイスがディスプレイから離れすぎている場合には、小さすぎて判別することができないことになり得る。
【００５８】
[0076]
本発明の実施形態によれば、ポインティング・デバイス１０の位置決め（すなわち、ポインティング・デバイス１０が、特定の時間に、照準を定める、またはポイントするディスプレイ２０における位置の決定）は、視聴者に直接知覚できないポジショニング・ターゲットを使用して実施される。また、本発明の実施形態は、人間により知覚不能であるターゲットを用いてこのような位置決めを実施する一方、このディスプレイ・システムの名目上のフレーム・レートで未だに動作しており、また、例えば追加プロジェクタ、特別なフレーム・レート・オーバレイ、ポジショニング・ターゲットに対し赤外線といった不可視線を用いた追加投影サブシステムなどのような、ディスプレイへのハードウェア修正を施す必要がない。
【００５９】
[0077]
図４ａから４ｃは、本発明の実施形態に従って、対話式ディスプレイ・システムにおけるポジショニング・ターゲットの生成、表示および検出の実施例について例示している。この点について本願明細書に説明される動作は、対話式ディスプレイ・システムの適切な構成要素によって、例えば、図２ａおよび２ｂと関連した上記システムのターゲット生成器機能２３およびグラフィックス・アダプタ２７を経由して実施および実行されるものと考察される。また、この生成および表示プロセスでは、例えば６０Ｈｚのオーダー上のさまざまなタイプにおける最新の従来ディスプレイによって現在用いられている名目上のフレーム・レートからのフレーム・レートの増加を必要とすることなく実施することができるものと考察される。この明細書を参照する当業者にとって、ターゲット生成器機能２３を含むこれらのさまざまな機能を容易に構成およびプログラムし、不当な実験をすることなく、本明細書に説明する動作を実施することができるものと考察される。
【００６０】
[0078]
図４ａのフロー図に示す通り、視覚上のペイロード・イメージ・コンテンツおよび人間により知覚不可能なポジショニング・ターゲットを含む表示されたイメージの生成および表示について記載しており、コンピュータ２２は、プロセス３０では、イメージ・データのフレームの形態で、ディスプレイ２０で表示される視覚上のペイロード・イメージ・データを生成する。これらの視覚上のペイロード・イメージ・データは、視聴者による視聴を意図した、人間により知覚可能なコンテンツに対応する。その一方で、または前もって、ターゲット生成器機能２３はプロセス３２を実行して、グラフィックス・アダプタ２７によって、またはその前に、プロセス３０で生成するフレーム・データ上を覆われる(overlaid)１またはそれ以上のポジショニング・ターゲットを生成する。プロセス５０では、ポジショニング・ターゲットについてのパターン形状または形状は、メモリから取り出されるか、またはターゲット生成器機能２３によって生成される。上記のとおり、複数のポジショニング・ターゲットが、異なるターゲット形状を使用して表示することができ、ポイントされた位置の位置決めを容易にする。プロセス５２では、ディスプレイ２０で表示されるイメージの１またはそれ以上の位置は、プロセス５０で導出したポジショニング・ターゲットが覆われる位置として選択される。この選択プロセス５２では、単に前もって決定した表示位置を取り出すだけかもしれず、または、代替として、位置決めプロセスの従来の繰り返し(iteration)に基づいて、インタラクティブに実行することができる。
【００６１】
[0079]
本発明の実施形態によれば、ポジショニング・ターゲットは、視覚上のペイロード・コンテンツと関連してピクセル強度値(pixel intensity value)からの偏差の形態で、プロセス３０で生成したイメージ・データに適用される。換言すれば、ポジショニング・ターゲットは、視覚上のペイロード・イメージ・データの強度の変調として適用され、ポジショニング・ターゲット領域内の各ピクセルは、そのピクセルについての視覚上のペイロード・イメージ・データによって示されるものから、増加される、または減少される強度を有する。図４ｂに示すように、プロセス５４では、ターゲット生成器機能２３は、これらのポジショニング・ターゲット・パターンに伴う変調に対応する強度Δの値ｐを選択する。
【００６２】
[0080]
本発明のこの実施形態によれば、ポジショニング・ターゲット・パターンについての強度Δ値は、代替として、イメージ・データ・フレームのシーケンスにわたる視覚上のペイロード・イメージ・データに加算され、およびこれから減算される。この説明から明らかなように、この手法は、実質的に人間により知覚不可能であるポジショニング・ターゲットの結果となるが、ポジショニング回路２５によって「機械知覚可能な(machine-perceptible)」なままである。このように、図３ａに関連して上に説明した、視覚上のペイロードをポジショニング・ターゲット（１または複数）と組み合わせるプロセス３４では、別個のイメージ・フレームについて別々に実行される。本発明の実施形態におけるこの実施例において、これから図４ａおよび４ｂを参照して説明するように、グラフィックス・アダプタ２７は、組合せプロセス３４を連続イメージ・データ・フレームについての連続組合せプロセス３４ａ、３４ｂとして実行する。上記のとおり、グラフィックス・アダプタ２７が、コンピュータ２２から、また、ターゲット生成器機能２３からの入力を受け取る単一のグラフィックス・アダプタとして実装することができ、またはその代替として、それら２つの機能の一方または両方において配備することができる。または、コンピュータ２２およびターゲット生成器機能２３のそれぞれにおけるグラフィックス・アダプタ回路による更なる代替は、プロジェクタ２１に、または、直接ディスプレイ２０にグラフィックス出力データを提示するダウンストリーム・グラフィックス・アダプタを供給する。
【００６３】
[0081]
プロセス５５ａから開始される組合せプロセス３４ａでは、フレームｊからの視覚上のペイロード・イメージ・データが受け取られる。図４ｂは、このイメージ・データ・フレームｊ用のフレーム・データＦＤ［ｊ］の単純な実施例を説明し、視聴者によって視聴を意図したビジュアル・コンテンツを示す。プロセス５６ａでは、フレーム・データＦＤ［ｊ］は、プロセス５４で決定した強度Δ値によって、プロセス５２で選択された位置で、ポジショニング・ターゲットの形状内でのそれらピクセル用の強度データを修正することによってポジショニング・ターゲットと組み合わされる。このプロセス５６ａでは、フレームｊについて、この強度Δ値がピクセル・ベースで、この選択された位置でのポジショニング・ターゲット形状内のピクセルごとの強度値に加算される。本発明のこの実施形態において、ポジショニング・ターゲットの外側のピクセルの強度値は、プロセス５６ａでは修正されることはない。換言すれば、表示位置（ｘ，ｙ）におけるピクセルがペイロード・イメージ・データの強度値Ｉｘ，ｙを有する場合、プロセス５６ａの結果は、以下のように修正されたピクセル強度値Ｉｍ＿ｘ，ｙを生み出す。
【００６４】
【数１】
2013522766.tif 000003
【００６５】
図４ｂは、修正したフレーム・データＦＤｍ［ｊ］による加算結果５６ａの簡略化した実施例について例示している。ここでは、十字形状のポジショニング・ターゲットＰＴ１が、表示イメージの下部側の４分の１部分において選択された位置におけるより明るい値として出現される。
プロセス３６ａでは、フレームｊ用のこれら修正したフレーム・データＦＤｍ［ｊ］は、表示のためにフォーマット化され、ディスプレイ２０での表示のためにプロジェクタ２１に転送される。
【００６６】
[0082]
視覚上のペイロード・イメージ・フレーム・データの次のフレームｊ＋１に対する組合せプロセス３６ｂでは、ポジショニング・ターゲット（１または複数）内のピクセルについて、強度Δ値をペイロード強度から減算する。プロセス５５ｂでは、視覚上のペイロード・イメージ・フレーム・データのフレームｊ＋１が受け取られる。図４ｂの簡略な実施例では、このペイロード・イメージ・データがフレームｊからフレームｊ＋１には実質的には変化しないと想定される（すなわち、ＦＤ［ｊ］＝ＦＤ［ｊ＋1］）。プロセス５６ｂでは、ポジショニング・ターゲット内のフレーム・データＦＤのピクセルについての強度値データは、強度Δ値をピクセル強度から減算することによって修正する。ポジショニング・ターゲットの外にあるピクセルの強度値は、プロセス５６ｂでは修正されない。上記と同様に、ペイロード・イメージ・データの強度値Ｉｘ，ｙを有する表示位置（ｘ，ｙ）のピクセルについて、プロセス５６ｂによる結果は、修正したピクセル強度値ｌｍ＿ｘ，ｙを生み出す。
【００６７】
【数２】
2013522766.tif 000004
【００６８】
図４ｂに示すように、修正されたフレーム・データＦＤｍ［ｊ＋１］は、表示イメージの下部右側の４分の１部分の同一の選択位置において、より暗い値とする十字形状のポジショニング・ターゲットＰＴ１を含む。プロセス３６ｂでは、フレームｊ＋１についてこれら修正したフレーム・データＦＤｍ［ｊ＋１］は、表示のためにフォーマット化され、ディスプレイ２０での表示のためのプロジェクタ２１に転送される。
【００６９】
[0083]
説明の便宜上、ポジショニング・ターゲットのために適用される強度修正は、ポジショニング・ターゲットでより明るくまたはより暗く変調されるような、説明した各ピクセルの強度全体を用いて、モノクロの意味で説明される。勿論、最新のディスプレイはカラー・ディスプレイであり、通例、色成分（例えば、赤、緑、青）ごとに異なる強度を有するフレーム・データに基づいて実現される。このように、本発明の若干の実施形態について、各構成要素カラーの強度が、ポジショニング・ターゲットの位置で±ｐによって変調されるであろうことが考察される。本発明の他の実施形態においては、下記に詳述するように、変調は色から色まで(from color to color)変化することになる。
【００７０】
[0084]
フレームｊおよびフレームｊ＋１からの組合せプロセス３４および転送プロセス３６の完了後、そのプロセスでは、次いで、ｊ＝ｊ＋２とインクリメントし、制御を次のフレームｊ＋２に対するプロセス５５ａに戻すことにより、図４ａに示されるように、当該次のフレームｊ＋２について反復される。その結果、イメージのシーケンスが、連続フレームに出現するものの、それらの連続フレームにおいてより明るいこととより暗いこととの間を行き来している１またはそれ以上のポジショニング・ターゲットと共に、ディスプレイ２０で表示される。しかしながら、人間の眼の反応は、一般的に、６０Ｈｚ以上のオーダーの最新フレーム・レートで（例えば、表示上のゆらぎは一般的に６０Ｈｚ以上の表示リフレッシュ・レートで人間可視ではない）、個々の表示フレームを知覚するにはあまりに時間が掛かり(slow)過ぎる。むしろ、人間の視聴者は、例えば数多くのシーケンスにわたり、知覚した表示イメージを平均化する傾向がある。図４ｂを参照すると、この平均化の結果は、連続フレームｊ，ｊ＋１を合計して（加算器６１）、次いで、時間とともにその強度を平均化することになろう。ポジショニング・ターゲット内のそれらピクセルについて、このような２つのフレームにわたる平均化は、次のようになる。
【００７１】
【数３】
2013522766.tif 000005
【００７２】
このように、人間の視聴者は、自然と視覚上のペイロード・イメージ・データのみを知覚し、ポジショニング・ターゲットまたは形状については直接的には知覚しない。
[0085]
本発明の実施形態によれば、しかしながら、対話式ディスプレイ・システムは、表示されたイメージＩ内に含まれるポジショニング・ターゲットを検出し、識別することができる。検出プロセス４０の実施例についてこれから図４ｃを参照して説明する。
【００７３】
[0086]
本発明のこの実施形態によれば、ポインティング・デバイス１０のカメラ機能およびイメージ・キャプチャ機能は、従来から商用利用可能な「ウェブカメラ」構成要素を用いて構成することができる。同期（即ち、より正確には非同期動作）を容易にするために、ポインティング・デバイス１０のイメージ・キャプチャ機能１６は、ディスプレイ２０のフレーム・レートの約２倍のフレーム・レート以上で動作することが望ましい。このイメージ・キャプチャ・フレーム・レートで、ポインティング・デバイス１０が動作して、プロセス６０では、イメージ・フレームｍ、次いで、プロセス６２のイメージ・フレームｍ＋２（イメージ・キャプチャ・フレーム・レートでの２フレーム後のもの）をキャプチャする。
２つのイメージ・キャプチャ・サンプル期間で分離されプロセス６０，６２のこの動作は、キャプチャされたイメージ・フレームｍ＋２が、キャプチャされたフレームｍ（例えば、図４ｂのフレーム・データＦＤｍ［ｊ＋１］およびフレーム・データＦＤｍ［ｊ］）の強度値とは反対の強度Δ値で覆われた(overlaid)ポジショニング・ターゲットを用いてイメージをキャプチャすることを確実にする。
【００７４】
[0087]
プロセス６４では、ポジショニング回路２５（図２ａのようにコンピュータ２２に位置するか、または図２ｂのようにポインティング・デバイス１０’内に位置するかに拘らず）は、ピクセル・ベースで、キャプチャ・イメージ・フレームｍからキャプチャ・イメージ・フレームｍ＋２のイメージ・データを減算する。図４ｂに示すとおり、減算６４は、結果として、視覚上のペイロード・イメージ・データが効果的に相殺し、そして、ポジショニング・ターゲットＰＴ１を強化することになる。理想的な場合では、減算プロセス６４は、結果として以下のような知覚強度値になる。
【００７５】
【数４】
2013522766.tif 000006
【００７６】
このように、減算プロセス６４の後に、ポインティング・デバイス１０は、このポジショニング・ターゲットまたは形状だけを知覚するが、視覚上のペイロード・イメージ・データは知覚しない。ノイズ除去について要求される場合には、２より多いフレームがキャプチャおよび減算することができ、その結果、ポジショニング・ターゲットを回復するものと更に考察される。例えば、フレームｍおよびｍ＋１は、一緒に合計されるフレームｍ＋２およびｍ＋３を用いて一緒に合計することができ、またポジショニング・ターゲットを回復するために合計フレームの差分を用いることができる。これらの、およびまた他の変形例は、本発明の実施形態の範囲内にあるものと考察される。
【００７７】
[0088]
次いで、従来型のキャプチャ・イメージ処理は、減算プロセス６４の結果に適用される。図４ｃに示される本発明の実施形態においては、プロセス６６で、ヒストグラム等化フィルタが使用される。公知なように、このヒストグラム等化は、減算プロセス６４に続く場合として、ピクセル強度の圧縮範囲でビデオ・データを補正する。ヒストグラム等化フィルタ・プロセス６６は、基本的にピクセル強度を再分散して、強度範囲全体のそれら分散を等化する。プロセス６８では、従来の同期適応は、電子透かし埋め込みおよび検出の技術分野では公知なように、フィルタリングされたポジショニング・ターゲット・イメージ・データに適用され、幾何学的な歪曲を補正する。他のイメージ処理技術もまた、要望どおりに適用することもできる。
【００７８】
[0089]
キャプチャされたイメージ・フレームｍ，ｍ＋２からのポジショニング・ターゲット・イメージ・データの回復および処理を行うと、プロセス７０は、次いで、ポジショニング回路２５によって実行されて、処理されたイメージ・データにポジショニング・ターゲット形状に特徴が存在する場合には、それを識別する。この識別は、データ分析によって実行することができ、既知のポジショニング・ターゲット形状に一致する形状が、処理されたキャプチャ・イメージ・データに存在するかどうかについて決定する。このようなポジショニング・ターゲットが識別される場合には、プロセス７０ではまた、キャプチャ・イメージのｘ―ｙ位置、ポジショニング・ターゲット形状特徴(feature)のサイズ、その回転方向、任意の形状歪曲（ある角度でディスプレイ２０を見ることを示すことができる）などを含む、キャプチャ・ポジショニング・ターゲットの様々な属性を決定することもできる。本発明のこの実施形態によれば、属性決定プロセス４０（図３ａ）は、これにより、完了する。検出された属性は、次いで、図３ａと関連して上記説明したとおり、位置決めおよびインタラクティブな命令の識別を完了するために用いる。
【００７９】
[0090]
したがって、本発明の実施形態によれば、ディスプレイ２０で表示されたイメージの１またはそれ以上のポジショニング・ターゲット形状特徴は、ポジショニング回路２５に知覚可能となるが、視聴者Ａには知覚不可能となるように生成および検出される。またこの動作は、従来の名目上の表示フレーム・レートで、プロジェクタまたは他のディスプレイ２０の修正を必要とせずに、実行される。このように、本発明の実施形態においては、さまざまなタイプのディスプレイの点で、広範にわたり設置された既存ディスプレイを有するディスプレイと共に使用することができる。更に、本発明の実施形態による、人間により知覚可能なポジショニング・ターゲットの欠如は、これより図５ａおよび５ｂを参照して説明するように、対話式ディスプレイ・システムを用いることができる距離のレンジを増大させることができる。
【００８０】
[0091]
図５ａに示すように、ポインティング・デバイス１０は、ディスプレイ２０に比較的近いところにある。このように、ポインティング・デバイス１０の視野ＦＯＶは、比較的小さく、単一のポジショニング・ターゲットＰＴを含む。このポジショニング・ターゲットＰＴは、ポインティング・デバイスによってキャプチャされるイメージ内において比較的大きく出現する。このように、ポジショニング回路２５は、ポインティング・デバイス１０が照準を定めるディスプレイ２０における位置を推定することができるだけではなく、ポインティング・デバイス１０によってキャプチャおよび回復されるイメージ内の単一のポジショニング・ターゲットＰＴのサイズから、ポインティング・デバイス１０がディスプレイ２０から近い距離のみにあるという指標を推定することもできる。反対に、ポインティング・デバイス１０は、図５ｂの実施例のディスプレイ２０から比較的遠いところにある。このように、ポインティング・デバイス１０のより広い視野ＦＯＶは、複数のポジショニング・ターゲット、この例ではＰＴ１，ＰＴ２を含み、各々が（図５のケースと関連して）、ポインティング・デバイス１０によってキャプチャされるイメージにおいて比較的小さく出現するであろう。ポジショニング・ターゲットＰＴ１〜ＰＴ６は、ポジショニング・プロセスで補助するために、互いに異なる形状または方向を有することもある（図示せず）。再度、ポジショニング回路２５は、ポイントされた位置（すなわち、視野ＦＯＶの中心）を決定することができるだけではなく、キャプチャし回復したイメージにおけるポジショニング・ターゲットＰＴ１，ＰＴ２の数およびサイズから決定することもできる。
【００８１】
[0092]
表示およびポジショニング・プロセスは、位置、サイズ、およびこのポジショニング・プロセスの以前の繰り返し(iteration)に依存する外観で、ポジショニング・ターゲットを生成するターゲット生成器機能２３を用いて、動的な方法で実施することができる。ポジショニング・ターゲットのこの動的な生成の実施例として、以下に図１３ａ〜１３ｅに関して説明する。
【００８２】
[0093]
本発明の実施形態によれば、対話式ディスプレイ・システムのユーザは、つまり、特定の仮想的な「ボタン」、リンク、その他のディスプレイ２０に表示されるコンテンツへのポイントに単に基づいて、ディスプレイ２０から長い距離離れているか、ディスプレイにタッチしているかに拘わることなく、ディスプレイ２０で表示される視覚コンテンツと相互作用することができる。このようにして、ユーザは、グラフィカル・ユーザ・インタフェース（「ＧＵＩ」）に対応する方法で、視覚コンテンツと対話（相互作用）を行うことができる。この相互作用のさまざまな用途について考察する。話者は、アクティブなコンテンツ（例えば、インターネット・リンク、アクティブ・アイコン、仮想ボタン、ストリーミング・ビデオなど）を選択することによって、高度なグラフィックスおよびプレゼンテーションの制御を作動させながら、ディスプレイ２０で表示されるプレゼンテーションと相互作用することができる。「選択」、クリック・アンド・ドラッグ、ダブル・クリック、右クリック、表示コンテンツのズーム・イン、ズーム・アウト、ページめくりなどといったグラフィカル・ユーザ・インタフェース命令は、ディスプレイ２０について決定されたポイント位置に基づいて、ポインティング・デバイス１０から伝達されるものと考察される。
【００８３】
[0094]
他の文脈において、ポインティング・デバイス１０は、ゲーム・コントローラとして使用することができ、ユーザに、コンピュータ２２によって実行されているコンピュータ・ゲームを操作およびプレイすることを可能にする。この点に関し、ポインティング・デバイス１０に含まれる加速度計などといった慣性センサを、ユーザからゲームへの入力を強化するために使用することができる。
【００８４】
[0095]
他の文脈において、ポインティング・デバイス１０を用いて、表示コンテンツ上（例えばそのコンテンツに対するハイライトまたはコメント）、または「ホワイト・ボード」ディスプレイ上のどちらかについてのフリーハンド・イメージの描画、およびフリーハンド・テキストの書き込みに関する命令を発行する。この用途では特に、ユーザが、「記録」命令（例えば、ポインティング・デバイス１０自体を用いることによりディスプレイ２０でアイコンをポイントする）を発行することができ、それに応答して、コンピュータ２２は、そのメモリ・リソースの１つにデータを格納するように動作するものと考察される。この格納データは、ポインティング・デバイス１０の後続の動作に対応し、ディスプレイ２０と関連してポインティング・デバイス１０によって作成される「仮想」の書き込みまたは描画をセーブすることを含む。また、ユーザによって、または、視聴者によって話される音声はまた、このセーブされた仮想の書き込みおよび描画に対応するために録音することもできるものと考察される。
【００８５】
[0096]
これらグラフィカル・ユーザ・インタフェースの任意の文脈において、ユーザがポインティング・デバイス１０を介して発行した命令は、一般的に、受信したユーザ・コマンドに応答して表示される新しい視覚上のペイロード・イメージ・コンテンツを生成することによって、コンピュータ２２に相互作用して応答することができる。上記のとおり、表示、位置決め、および応答プロセス全体は、次いで、反復される。
【００８６】
[0097]
本発明に関連して、上記のような本発明の実施形態に従ったとしてもなお、ポジショニング・ターゲット・イメージによる幾らかの以上が人間の視聴者により表示イメージに知覚することができることが認められてきた。本発明のさまざまな追加な実施形態によれば、ポジショニング・ターゲットを、これら可視異常を更に削減する方法で生成することができ、更に、視聴者に対するポジショニング・ターゲットの知覚不能性を改良する、つまり、視聴者経験を更に強化する。本発明のこれらのさまざまな追加の実施形態について、これより更に詳細にする。これら実施形態のそれぞれは、特許請求される本発明の範囲内において、別個に用いることができ、または、相互に組み合わせもしくは他の変形例と組み合わせることができることが理解されよう。
【００８７】
逆ガンマ・ポジショニング・ターゲットの生成
[0100] 
本発明によれば、上記の一般化した概念（すなわち、ポジショニング・ターゲットのピクセルごとに強度Ｄの値の単純な加算および減算）に従って生成されるポジショニング・ターゲットは、ポジショニング・ターゲットが比較的明るい領域において人間の視聴者に可視となり、また、それに反比例して、ペイロード・イメージのより暗い領域においてポジショニング・ターゲットについてポインティング・デバイスには可視性が低いものとなる結果とすることができる。これらの人工物は、表示プロセスでのガンマ補正に起因する。公知なように、表示される各ピクセルの強度は、グラフィックス・アダプタ２７の出力に線形的な反応に基づくものではない。むしろ、「ガンマ」補正関数が適用されて、その結果、あるピクセルについて表示された輝度Ｌ（Ｉ）は、（［０、１］の範囲に正規化された）デジタル強度値Ｉの関数である。
【００８８】
【数５】
2013522766.tif 000007
【００８９】
ここでは、Ｃはディスプレイ２０、ｂの最大の明瞭さに関連した定数であり、ｂはブラックレベルであり、γはディスプレイ２０の非線形性である（通例は、１．５から２．２の範囲になる）。このガンマ補正関数Ｌ（Ｉ）の実施例は、図６ａの曲線７１によって示される。このように、強度について強度Δ値ｐによる変調は、Ｉが１よりも０に近いときに、結果として生じる輝度Ｌ（Ｉ）への効果をあまり有さない。反対に、強度Ｉについて強度Δ値ｐによる変調は、Ｉが１に近いときに、結果として生じる輝度Ｌ（Ｉ）についてより大きな効果を有する。このことは、ポジショニング・ターゲットが、ペイロード・イメージの明るい領域において可視であること（Ｉは１に近い）か、または、ペイロード・イメージの暗い領域において復帰が難しいこと（Ｉはゼロに近い）のいずれかの結果となる。
【００９０】
[0101]
本発明のこの実施形態によれば、ポジショニング・ターゲットは、強度Δ値ｐをデジタル強度値Ｉの関数として、ガンマ補正関数を補償する関数ｐ（Ｉ）を用いて表現することによって、生成および適用される。この動作は図６ｂに示される。ここでは、プロセス３２（図４ａ）のポジショニング・ターゲットの生成は、前述したとおり、ポジショニング・ターゲット形状（プロセス５０）の取り出し、およびポジショニング・ターゲット（プロセス５２）の位置選択から開始される。プロセス５４’では、パターン強度Δベースの値ｐｒ，ｐｇ，ｐｂは、それぞれ赤、緑、青の色成分についてポジショニング・ターゲットに対して選択される。これらのベース値ｐｒ，ｐｇ，ｐｂは、ポジショニング・ターゲットの視覚上のペイロード・イメージ強度データに適用されることになる関数ｐ（Ｉ）を定義する。
【００９１】
[0102]
上記のとおり、プロセス５６ａでは、ポジショニング・ターゲット・オーバレイを視覚上のペイロード・イメージ・データのフレームｊに適用する。本発明のこの実施形態においては、このプロセス５６ａでは、ペイロード・イメージの各ピクセルについて、特に、ポジショニング・ターゲットの各ピクセルについての受信強度値Ｉｒ，ｇ，ｂに基づくものである。プロセス７２ａでは、ターゲット生成器機能２３は、以下のガンマ補正関数に従って、そのピクセルについての強度値Ｉｒに応じて、ポジショニング・ターゲット位置の赤色成分について強度Δ値ｐｒ’（Ｉｒ）を計算する。
【００９２】
【数６】
2013522766.tif 000008
【００９３】
この逆ガンマ補正関数の実施例は、図６ａの曲線７３によりプロットされる。緑色成分および青色成分について強度Δ値ｐｇ’（Ｉｇ），ｐｂ’（Ｉｂ）は、受け取った強度値Ｉｇ，Ｉｂに応じて、それぞれ同様に算出される。あるいは、ピクセルの明るさ値は、異なる色に対する異なる人間の感度を考慮した公式に基づいて、算出することができる、そして、逆のガンマ補正は、次いで、このピクセルの明るさ値に適用することができる。
【００９４】
[0103]
プロセス７４ａでは、プロセス７２の結果の強度Δ値ｐｇ’（Ｉｇ），Ｐｂ’（Ｉｂ）は、次いで、フレームｊのポジショニング・ターゲット位置の各ピクセルについての受信した強度値Ｉｇ，Ｉｂに加算される。同様に、プロセス７２ｂでは、次のフレームｊ＋１のポジショニング・ターゲット位置の各ピクセルについての強度Δ値ｐｒ’（Ｉｒ），ｐｇ’（Ｉｇ），ｐｂ’（Ｉｂ）を計算する。プロセス７４ｂでは、フレームｊ＋１のポジショニング・ターゲットの各ピクセルについての受信した強度値Ｉｒ，ｇ，ｂは、プロセス７２ｂで計算した強度Δ値ｐｒ’（Ｉｒ），ｐｇ’（Ｉｇ），ｐｂ’（Ｉｂ）を減算することにより修正される。いずれの場合においても、この修正したフレーム強度データは、グラフィックス・アダプタ２７（ディスプレイ２０のためのガンマ機能に従うことを含む）によって、適切にフォーマット化され、次いで、プロセス３６ａ，３６ｂでは、プロジェクタ２１に、または直接プレレゼンテーション用のディスプレイ２０に転送される（図４ａ）。
【００９５】
[0104]
本発明のこの実施態様によれば、従って、ポジショニング・ターゲットの人間による知覚性は、ペイロード・イメージ・データのより明るい領域において低減される一方で、そのイメージのより暗い領域におけるそれらポジショニング・ターゲットの検出可能性を維持する。本発明のこの実施形態による逆ガンマ補正はまた、より小さい強度Δ値ｐの使用も可能にするものと考察される。つまり、視聴者によって視聴されるイメージのポジショニング・ターゲットの人工物の存在を更に削減する。
ポジショニング・ターゲットのゆらぎにおける分散領域(Dispersed regions of flicker of positioning targes)
[0105] 
Ａｄｖａｎｃｅｓ  ｉｎ  Ｉｍａｇｅａｎｄ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ（２００６），ｐｐ．５８２―９０，Ｐａｒｋらによる「動的表面上でのひずみのない投射(Undistorted Projection onto Dynamic Surface)」には、ペイロード・イメージを実際の現実世界のオブジェクトおよび表面に投影するような応用において、パターン・イメージが、幾何学的補正を目的として表示されるイメージに組み込まれる。この論文に記載されるように、「拡張現実(augmented reality)」のために、パターン・イメージは、スクリーン全てを満たす。しかしながら、人の眼が、強度を変更しているより大きな表示領域のゆらぎの感知ついて、より影響されることは、Ｊ．Ｏｐｔ．Ｓｏc．Ａｍ．Ｎｏ.３（１９８６年３月）、ｐｐ．３００−０７、Ｗａｔｓｏｎその他による、「可視性ウインドウ：時間サンプルされた視覚上のモーション・ディスプレイの忠実度に関する心理物理的理論(Window of visibility: a psychophysical theory of fidelity in time-sampled visual motion displays)」に記載されるように公知である。
【００９６】
[0106]
本発明の他の実施形態によれば、従って、ポジショニング・ターゲットは、各表示されたイメージ・フレームについて、全てのイメージ・フレームではなく、部分的にのみカバーする。図７は、この減少した範囲の実施例について、ＰＴ６による基本ポジショニング・ターゲットＰＴ１として正方形を用いて例示している。勿論、上記のとおり、特定のポジショニング・ターゲットのＰＴ形状は、通常、正方形以外の何かであり、ポインティング・デバイス１０の方向の検出を容易にし、ＰＴ６により様々なポジショニング・ターゲットＰＴ１を相互に区別し、また、ポインティング・デバイス１０の軸から離れた(off-axis)位置を検出することになる。いずれにせよ、修正されたイメージ・フレーム・データＦＤｍ［ｊ］，ＦＤｍ［ｊ＋１］の実施例について図７から明らかなように、ＰＴ６によるポジショニング・ターゲットＰＴ１は、表示されたペイロード・イメージの全領域より実質的に小さくカバーする。より多いポジショニング・ターゲットＰＴを実装することができるものの、表示エリア全体についてより小さくカバーするものと考察される。
【００９７】
[0107]
その結果、表示領域全体の一部分のみが、変調した強度でフレーム間(from frame-to-frame)で表示されていることを考慮すれば、視聴者によって潜在的に知覚される表示上のゆらぎの検知は、本発明によれば、減少するものと考察される。ポジショニング・ターゲット・イメージの知覚不能性は、このようにして改良される。ポジショニング・ターゲットのパターンについての非パターン化(Un-patterning of the pattern of positioning targets)
[0108]
ネイチャー（Ｎａｔｕｒｅ）、３０２（５９０７）（１９８３）、ｐｐ．４１９―２２、Ｗａｔｓｏｎらによる、「眼は、何を最も見るか？(What does the eye see best?)」に記載されるように、人間の眼は、ある空間的周波数で発生するパターンを感知できる。本発明によれば、パターンが明らかに規則的である場合、さもなければ知覚不可能なパターンが知覚可能になるによって、この効果は認められてきた。本発明のこの実施形態によれば、ポジショニング・ターゲットのパターンの規則性は、異なる空間的な周波数でポジショニング・ターゲットにおけるよりぼんやりしたパターンを生成および覆うことによって、妨げられる。これから図８を参照すると、本発明のこの実施形態による、不規則な空間的周波数でポジショニング・ターゲットを生成することについて、これから説明する。特に、本発明のこの実施形態はプロセス３２（図３ａ）で実施される。ここにおいて、ポジショニング・ターゲットは上記のとおりに生成される。
【００９８】
[0109]
本発明のこの実施形態のポジショニング・ターゲットの生成は、プロセス５０ａから開始される。ここでは、ポジショニング・ターゲットの第１(primary)のパターンについてのパターン形状または形状は、メモリから取り出されるか、または、さもなければターゲット生成器機能２３によって生成される。プロセス５２ａでは、この第１ポジショニング・ターゲットが表示されることになるイメージの位置が選択される。本発明のこの実施形態においては、第１ポジショニング・ターゲット・パターンＰＴＰ１で示すように、このパターンは、空間的な意味において基本的に周期的である。また、上記のとおり、ターゲット生成器機能２３は、プロセス５４ａでは、この第１ポジショニング・ターゲット・パターンについての強度Δ値ｐ１を選択する。この強度Δ値ｐ１は、ポジショニング・ターゲットにおけるピクセル位置で、ペイロード・イメージ・データから強度の偏差（正あるいは負）に再度対応することになる。
【００９９】
[0110]
プロセス６０では、このケースにおいておそらく、第１ポジショニング・ターゲット・パターンについての二次元の空間的周波数ｆｘｙ１が決定または取り出される。この空間的周波数は、イメージ処理の用途についての従来の方法で決定することができるものと考察される。プロセス５０ｂでは、この第１ポジショニング・ターゲット・パターンおよび勿論ペイロード・イメージ・データを覆うことになるポジショニング・ターゲットの第２のパターンの生成を開始する。本発明のこの実施形態によれば、この第２パターンは、第１パターンの空間的周波数ｆｘｙ１より高い二次元の空間的周波数ｆｘｙ２を有する。例えば、
【０１００】
【数７】
2013522766.tif 000009
【０１０１】
勿論、９／４とは別の空間的周波数の倍数を大体的に用いることができる。プロセス５２ｂでは、この第２パターンは、次いで、表示イメージの境界が与えられ、また、個別の要素についての形状の選択に基づくことで、オーバレイとして生成される。図８に示すように、この実施例では、第２パターンＰＴＰ２のポジショニング・ターゲットはそれぞれ円形である一方で、第１パターンＰＴＰ１のポジショニング・ターゲットは正方形である。最後に、プロセス５４ｂでは、この第２パターンについての第２の強度Δ値ｐ２が選択される。この第２強度Δ値ｐ２は、大きさ(magnitude)の点で、第１強度Δ値ｐ１より小さいものと考察される。
【０１０２】
[0111]
あるいは、より複雑なポジショニング・ターゲット・パターンは、第２パターンＰＴＰ２として適用することができる。例えば、二次元のガウス曲線のパターンは、知覚不能性の観点から、有効なマスキング・パターンを生み出すことが認められてきた。しかしながら、このようなより高い複雑性を有する第２マスキング・パターンは、ポジショニング・ターゲットの検出を難しくすることができる。
【０１０３】
[0112]
図８はまた、組合せプロセス３４ａの結果の簡略化した実施例について示しており、ポジショニング・ターゲットについての第１(primary)および第２(secondary)のパターンＰＴＰ１，ＰＴＰ２は、フレームｊのペイロード・イメージ・データを覆う。この実施例では、第１の強度Δ値ｐ１および第２の強度Δ値ｐ２は、ペイロード・イメージ・データのピクセル・パターンに（強度の点で）加算される。いくつかのピクセルは、第１強度Δ値ｐ１の加算器および第２強度Δ値のｐ２加算器の両方を用いて受け取り、他のピクセルはこれらの加算器の１またはその他で受け取り、そして、他のピクセルは、ペイロード・イメージ・データによって決定されるそれらの強度（１または複数）を維持する。この実施例において結果として生じるフレーム・イメージ・データＦＤｍ［ｊ］について、図８に簡略化した形で図示する。
【０１０４】
[0113]
本発明のこの実施例によれば、ポジショニング・ターゲットの第２パターンＰＴＰ２によって強化(enforce)されるこの不規則性は、ポジショニング・ターゲットの第１パターンに存在することができる空間的な定期性を阻害することによって、視聴者に知覚不可能なポジショニング・ターゲットをレンダリングするのを補助する。また、第１および第２のポジショニング・ターゲットのオーバレイが、ポジショニング・ターゲットを互いに差別化(differentiate)することによって、ポジショニング・プロセスにおいて補助することができると認められてきた。図８の実施例において、第１パターンＰＴＰ１の２つの正方形が類似しないように、オーバレイはパターンをレンダリングすることができる。この情報は、イメージ・キャプチャでの個々のポジショニング・パターンの検出、およびポインティング・デバイス１０によるポイントされた位置の決定に適用することができる。
【０１０５】
背景フリップ(Background flip)
[0114]
図７に関連し上記のとおり、ディスプレイ２０全体を満たさない反復のパターンの形態におけるポジショニング・ターゲットＰＴは、人間の視聴者に対しポジショニング・ターゲットの知覚性を軽減することを支援する・これから図９を参照して説明する本発明の他の実施形態によれば、ポジショニング・ターゲットの知覚不能性は、ポジショニング・ターゲットＰＴの探知可能性を低減することなく、更に強化される。より具体的には、本発明のこの実施形態によれば、ポジショニング・ターゲットＰＴ内のピクセルについてのピクセル強度の変調に関する振幅は、反対方向のポジショニング・ターゲットの外側にあるピクセルについてのピクセル強度を変調することによっても、１／２程度低減させることができる。
【０１０６】
[0115]
ポジショニング・ターゲットＰＴを視覚上のペイロード・イメージ・データに適用するプロセス３４ａ，３４ｂでは、本発明のこの実施形態によれば、プロセス５５ａから開始され、表示したイメージのフレームｊについてのフレーム・データＦＤ［ｊ］が受け取られる。プロセス５６ａ’では、このフレームｊについて、より小さい強度Δ値は、ピクセルごとに基づいて、選択された位置でのポジショニング・ターゲット形状におけるピクセルについての強度値によって加算される。この実施例では、選択された変調強度Δ値ｐにとって、ポジショニング・ターゲット形状内での強度がｐ／２加算される。プロセス５７ａでは、ポジショニング・ターゲットの位置および形状の外部にあるピクセルについての強度値はまた、本発明のこの実施形態においてではあるが、減少した変調強度Δ値ｐ／２をそれらピクセル強度のから減算することによって、修正される。上記のとおり、プロセス５６ａ’，５７ａでは、必要であれば、各色成分についての強度値を、これらの量で変調することができる。その結果、ポジショニング・ターゲット内およびポジショニング・ターゲット外のピクセル間の強度の違いは、ｐのままであるが、ペイロード・データからの任意のピクセル強度の最大偏差はｐ／２に制限される。この実施例によるフレームｊでは、それ故、変調したピクセル強度は次のように表現される。
【０１０７】
【数８】
2013522766.tif 000010
【０１０８】
修正したフレーム・データＦＤｍ［ｊ］は、次いで、プロセス３６ａでは、フォーマット化されて、プレゼンテーションのためにディスプレイ２０に転送される。
[0116]
プロセス５５ｂでは、フレーム・データＦＤ［ｊ＋１］が、次のフレームｊ＋１について受け取られる。フレームｊに適用されたものとは正反対である点を除き、これらフレーム・データＦＤ［ｊ＋１］は同じように修正される。プロセス５６ｂ’では、減少した変調強度Δ値ｐ／２を、ポジショニング・ターゲット内の各ピクセルについての強度値から減算し、プロセス５７ｂでは、減少した変調強度Δ値ｐ／２を、ポジショニング・ターゲットの外側の各ピクセルについての強度値に加算する。このフレームｊ＋１については、従って、修正されたピクセル強度は次のように表される。
【０１０９】
【数９】
2013522766.tif 000011
【０１１０】
修正したフレーム・データＦＤｍ［ｊ＋１］は、次いで、プロセス３６ｂでフォーマット化され、プレゼンテーションのためにディスプレイ２０に転送される。
[0117]
この明細書を参照した当業者にとって、ポジショニング・ターゲットの検出における修正フレーム・データＦＤｍ［ｊ］と修正フレーム・データＦＤｍ［ｊ＋１］との差が、上述のとおり、ポジショニング・ターゲットを回復させ、ペイロード・イメージ・データが、この減算によって再度相殺することになることは容易に理解できるであろう。反対に、表示された変更フレーム・データＦＤｍ［ｊ］と変更フレーム・データＦＤｍ［ｊ＋１］を、視聴者が自然に平均化すると、ポジショニング・ターゲットの外にあるピクセルに適用される変調を含んで、プロセス３４ａ，３４ｂで適用した変調を相殺する。このように、ポジショニング・ターゲットは知覚不可能になり、本発明のこの実施形態においてさらにそのようになる。何故ならば、任意の１のピクセルに対する強度変調の大きさも１／２低減されるからである。
【０１１１】
単純化した色加重(Simplified color weighting)
[0118]
公知なように、人間の眼は、幾らかの色を他の色よりも感知できる。より具体的には、人の眼は赤よりも青を感知できないこと、および、緑よりも赤を検知できないことが示されている。例えば、コンピュータ・ディスプレイおよびテレビにおいて、典型的な人の眼による相対的な感度の加重（重み付け）は、赤に対して約０．２９、青に対して約０．１１、そして緑に対して約０．５９である。本発明のこの実施形態によれば、人の眼が最も感知できない色の組合せを選択することによって、ポジショニング・ターゲットの知覚不能性を強化する。ポインティング・デバイス１０が有するカメラ機能は、人の眼が有する色の相対感知性と同等のものを有することはなく（又はその必要がなく）、つまり、人の眼があまり容易に見ることができないポジショニング・ターゲットをより容易に「見る(see)」ことができる。
【０１１２】
[0119]
図１０ａは、本発明のこの実施例における１つの実施について例示している。ここでは、人の眼の相対的な色感受性は、図６ａおよび６ｂに関連して上述したとおり、逆ガンマ補償と組み合わせて、より知覚可能でないポジショニング・ターゲットをレンダリングするのに利用される。図１０ａにおいて、本発明の他の実施形態に関連して上述したものと類似のプロセスが、同一又は類似の参照符号によって参照される。
【０１１３】
[0120]
上記のとおり、ポジショニング・ターゲットは、ポジショニング・ターゲット形状の取り出し（プロセス５０）およびポジショニング・ターゲットの位置の選択（プロセス５２）から開始するターゲット生成器機能２３によって生成される。本発明のこの実施形態においては、しかしながら、パターン強度コントラスト比ｃがプロセス８０で選択される。このコントラスト比は、以下の説明から明らかになるとおり、人間の感度に反比例して個々の色成分に適用される。
【０１１４】
[0121]
プロセス８５では、逆カラー加重ｗ’ｒ，ｗ’ｇ，ｗ’ｂのセットが、メモリから取り出されるか、またはターゲット生成器機能２３によって計算される。これら逆カラー加重ｗ’ｒ，ｗ’ｇ，ｗ’ｂは、人の眼の相対的な感知性とは反対に対応する。例えば、それぞれ赤、緑、青に対する相対的な色感知度のセットをｗｒ，ｗｇ，ｗｂとすると、逆カラー加重ｗ’ｒ，ｗ’ｇ，ｗ’ｂは、本発明のこの実施形態にしたがって次のように計算される。
【０１１５】
【数１０】
2013522766.tif 000012
【０１１６】
例えば、赤、緑、青に対するこの相対的な色感知度ｗｒ，ｗｇ，ｗｂのセットが値（０．２９，０．５９，０．１１）を有する場合には、１組の逆カラー加重ｗ’ｒ，ｗ’ｇ，ｗ’ｂは、この実施に従えば、（０．２４，０．１２，０．６４）ということになる。この実施例からも明らかなように、人の眼が最も少なく感知を有する青の要素は、ポジショニング・ターゲット・イメージ変調、最も強く加重された色成分となり、またその逆も同様である。
【０１１７】
[0122]
ペイロード・イメージ・データでのピクセル強度の修正は、ポジショニング・ターゲット内のピクセルについて、再度プロセス５６ａで実行される。プロセス５６ａでは、この場合、プロセス８２ａでフレームｊについて開始する。ここでは、ポジショニング・ターゲット位置における所与のピクセルについての明るさｂが計算される。本発明のこの実施形態において、プロセス８２ａでは、人間のビューアによって知覚される相対的な色感知度ｗｒ，ｗｇ，ｗｂのセットを、そのピクセルに対しペイロード・イメージ・データの強度値Ｉｒ，Ｉｇ，Ｉｂに適用することによって、明るさｂを計算する。即ち、
【０１１８】
【数１１】
2013522766.tif 000013
【０１１９】
このように、このピクセルについて知覚された強度ｂは、ペイロード・イメージ・データの強度値についての各色成分の知覚された明るさに対応する。
[0123]
プロセス７２ａ’では、逆ガンマ・シフト値ｃ’が、この計算した明るさｂに基づいて、また、プロセス８０から選択したパターン強度コントラストｃに基づいて、ポジショニング・ターゲットの各ピクセルごとに計算される。本発明のこの実施形態においては、例えば、逆ガンマ・シフト値ｃ’は次のように計算することができる。
【０１２０】
【数１２】
2013522766.tif 000014
【０１２１】
プロセス７２ａ’のこの計算から明らかなように、ポジショニング・ターゲットについてのコントラスト値が、ペイロード・イメージのピクセルの明るさに基づいて、逆ガンマ補正を通じて適用される。
【０１２２】
[0124]
プロセス７４ａ’では、ペイロード・イメージ・データの修正された強度値Ｉ’ｒ，Ｉ’ｇ，Ｉ’ｂは、ポジショニング・ターゲットを表示する目的で適用される変調を組み込み、現在のピクセルについての色成分について、生成される。例えば、ポジショニング・ターゲット位置にあるフレームｊのピクセルの赤色成分について、強度値Ｉｒは、逆ガンマ補正シフトに従って、次のように変調される。
【０１２３】
【数１３】
2013522766.tif 000015
【０１２４】
ここで、ｗ’ｒは、プロセス８５で決定されたように、赤色成分に対する逆カラー加重である。同様に、緑色成分および青色成分についてのペイロード・イメージ・データの修正強度値Ｉ’ｇ，Ｉ’ｂも、受け取った強度値Ｉｇ，Ｉｂに応じて、プロセス７４ａ’でそれぞれ同様に計算される。これらのデータは、次いで、フォーマット化されて、上記のとおりディスプレイ２０に転送される。
【０１２５】
[0125]
変調プロセス７４ｂ’が加算ではなく減算であるということを除く、類似の変調プロセス５６ｂが、後続のフレームｊ＋１のピクセルについて実行される。つまり、プロセス８２ｂでは、そのピクセルに対するペイロード・イメージ・データの強度値Ｉｒ，Ｉｇ，Ｉｂに対して適用される相対的な色感知度ｗｒ，ｗｇ，ｗｂにしたがって、ポジショニング・ターゲット位置の所与のピクセルについての明るさｂを計算する。また、プロセス７２ｂ’では、逆ガンマ・シフト値ｃ’が、ポジショニング・ターゲットの各ピクセルについて、その計算した明るさｂおよびプロセス８０からの選択したパターン強度コントラストｃに基づいて計算される。プロセス７４ｂ’では、このフレームｊ＋１について、イメージ・データについて修正強度値Ｉ’ｒ，Ｉ’ｇ，Ｉ’ｂが赤、緑、青色成分に対して生成される。この変調は、加算ではなく、例えば以下のとおり減算によるものである。
【０１２６】
【数１４】
2013522766.tif 000016
【０１２７】
青色成分および緑色成分に対するペイロード・イメージ・データの修正強度値Ｉ’ｇ，Ｉ’ｂが、プロセス７４ｂ’では、このフレームｊ＋１の各ポジショニング・ターゲット・ピクセルについて同様に計算される。上記のとおり、データは、グラフィックス・ディスプレイ２７による表示のためにフォーマット化され、プロジェクタ２１に、または直接視聴者へのプレゼンテーションのためにディスプレイ２０に転送される。
【０１２８】
[0126]
本発明のこの実施形態においては、それ故、ポジショニング・ターゲット・ピクセルの修正強度値Ｉ’ｒ，Ｉ’ｇ，Ｉ’ｂは、逆ガンマ補正修正を含む方法で、および、人間の視聴者に対するより知覚可能ではない色成分に向けた変調をより強く加重する方法で、変調される。勿論、ポインティング・デバイス１０のカメラ機能は、そのイメージ・キャプチャに基づき、適切に変調を知覚する。
【０１２９】
[0127]
本発明のこの実施形態の変形例によれば、図１０ｂに示すように、明るさの計算は行われず、むしろ、逆ガンマ・シフトが各ピクセルについての色成分ごとに計算される。図１０ｂに示すとおり、プロセス５０、５２、８０、および８５が、前述のターゲット生成器機能２３によって実行され、前述のコントラストｃおよび逆カラー加重ｗ’ｒ，ｗ’ｇ，ｗ’ｂを決定する。フレームｊに対し、プロセス７２ａ’’を実行して、ポジショニング・ターゲット位置の各ピクセルごとに、赤、緑、青の個別の色成分について逆ガンマ・シフトｃｒ，ｃｇ，ｃｂを計算する。本発明のこの実施形態においては、個別の色成分の逆ガンマ・シフトｃｒ，ｃｇ，ｃｂの計算は、以下に対応する。即ち、
【０１３０】
【数１５】
2013522766.tif 000017
【０１３１】
[0128]
プロセス７２ａでのこれらの計算から明らかなように、各色成分に対するコントラスト・シフトは、色による人間の知覚に基づいた逆加重と同様に、上記のとおり逆ガンマ補正を含む。フレームｊのピクセルに対し、ポジショニング・ターゲット位置にあるフレームｊのピクセルについての強度値Ｉｒ，Ｉｇ，Ｉｂは、プロセス７４ａ’’において変調され、加算的に逆ガンマ・シフトを適用する。即ち、
【０１３２】
【数１６】
2013522766.tif 000018
【０１３３】
変調データは、次いで、上記のように、グラフィックス・アダプタ２７によってフォーマット化されて、プロジェクタ２１に、または直接ディスプレイ２０に転送される。
[0129]
後続のフレームｊ＋１のピクセルは、次いで、変調が加算的でなく減算的であることを除き、同様の方法で処理される。要約すると、プロセス７２ｂ’’では、プロセス７２ａ’に関連して上記と同じ方法で、ペイロード・イメージ・データのそのピクセルについての強度値にしたがって、ならびに、所望のコントラストｃおよび逆カラー加重ｗ’ｒ，ｗ’ｇ，ｗ’ｂに基づいて、変調されることになる各ピクセルの各色成分ごとに逆ガンマ・シフトｃｒ，ｃｇ，ｃｂを計算する。プロセス７４ｂ’’では、これら逆ガンマ・シフトｃｒ，ｃｇ，ｃｂは、それらのペイロード・イメージ・データに適用され、ポジショニング・ターゲット・イメージについてのペイロード・イメージ・データを、以下の要素に基づき減算的に変調する。
【０１３４】
【数１７】
2013522766.tif 000019
【０１３５】
調整されたデータは、次いで、フォーマット化されてディスプレイ２０に転送される。
[0130]
図１０ａに示される実施についても同様であり、ポジショニング・ターゲット・ピクセルの修正強度値Ｉ’ｒ，Ｉ’ｇ，Ｉ’ｂは、それぞれ付加変調を含み、逆ガンマ補正を含む方法で、また、人間の視聴者にとってより知覚可能性がない色成分に対し変調をより強く加重する方法で適用される。勿論、ポインティング・デバイス１０のカメラ機能は、そのイメージ・キャプチャに基づいて、適切に変調を知覚することになる。
【０１３６】
[0131]
本発明のこの実施形態においては、それ故、ポジショニング・ターゲット位置にあるピクセルは、フレームからフレームへの補完的な方法や、人間の視聴者にとって更に知覚不可能となる方法で、変調される。この追加の知覚不能性は、人間の視聴者にとってより知覚可能でない色成分に対する変調についての加重から、また、逆ガンマ補正を含むことによって生じる。また、本発明のこの実施形態によるポジショニング・ターゲット・ピクセルの変調は、その周囲の近隣に基づいて各ピクセルの強度を平均化するという野蛮な強制方法よりも、より計算効率が良い方法で実行することができる。
【０１３７】
エッジのぼかし(Edge blurring)
[0132]
本発明に関連して、人の眼は、可視パターンのシャープなエッジ、より具体的には、明るさまたは色の点で重大なコントラストが非常に短距離にわたり（即ち、隣接ピクセル間で）発生するようなシャープなエッジに、非常に感知性がある。本発明の他の実施形態によれば、表示イメージに含まれるポジショニング・ターゲットは、それらのポジショニング・ターゲットのエッジをぼかす方法で生成される。
【０１３８】
[0133]
図１１は、例えば本発明の各種実施形態に従って上記した実施例について、ペイロード・イメージ・データのフレームに適用される、ポジショニング・ターゲット形状のエッジをぼかす方法について例示している。本発明のこの実施形態においては、ペイロード・イメージ・フレーム・データに覆われる１またはそれ以上のポジショニング・ターゲットを生成するプロセス３２が実行される。上記のとおり、プロセス５０では、ポジショニング・ターゲットのパターン形状または形状が、メモリから取り出されるか、さもなければ、ターゲット生成器機能２３によって生成される。プロセス５２では、ポジショニング・ターゲットが出現することになるディスプレイ２０において表示されるイメージの位置（１または複数）が、前もって決定した表示位置を取り出すことによるか、または、ポジショニング処理の従来の繰り返しに基づく相互作用による方法によって選択される。また、プロセス５４では、前記のとおり、ポジショニング・ターゲットまたはターゲットについての強度Δ値ｐが選択される。
【０１３９】
[0134]
本発明のこの実施形態によれば、ぼかしプロセス９０を次いで適用して、ポジショニング・ターゲットのエッジをぼかし、つまり、それらの人間による知覚可能性を低減させる一方で、位置決めのための知覚可能性はなおも維持する。例えば、ポジショニング・ターゲットのエッジ領域を定めることができる。その領域にわたり、値ｐにおける勾配減少をエッジに到達するまで進歩的に適用し、またはその領域内で、それらエッジ領域の値ｐはその値すべて(full value)から単純に減少される。１つの実施例では、ぼかしプロセス９０では、ポジショニング・ターゲットの幅Ｐｗを識別し、その全体幅分の分数（例えば、Ｐｗ／１５）としてエッジ距離を識別し、そして、ポジショニング・ターゲットについてのエッジからのその距離の範囲内のピクセルについての値ｐにぼかし低減(blur reduction)を適用する。ぼかした値ｐ（ｘ，ｙ）は、ポジショニング・ターゲット内のピクセル位置についての関数としてパターン強度Δ値ｐによって構成され、次いで、上記のとおり、各フレームｊ，ｊ＋１のペイロード・イメージ・データの変調に用いられる。
【０１４０】
[0135]
このエッジをぼかすプロセスは、本発明の他の実施形態に適用することもできる。例えば、ぼかすことは、図１０ａおよび１０ｂと関連して上記説明したカラー加重のポジション・ターゲット生成でコントラスト値ｃを減らすことによって実施することができる。この実施形態および他の変形例は、当業者にとって本明細書を参照することで容易に実施することができるものと考察される。これらの変形例のいずれかでは、本発明のこの実施形態によれば、ポジショニング・ターゲットのエッジをぼかすことは、更に人間に知覚可能でないポジショニング・ターゲットをレンダリングするのに適用される。
シーケンシャルなポジショニング(Sequential positioning)
[0136]
本発明の上記実施形態のそれぞれにおいて、一般化したやり方で上記説明してきた。ここでは、１またはそれ以上のポジショニング・ターゲットがディスプレイ２０で提示されるイメージに含まれる換言すれば、これら上記説明した本発明の実施形態においては、静止したポジショニング・ターゲットに関連して動作可能なものである。ディスプレイ２０に関連した遠隔のポインティング・デバイス１０の位置決めに対するこれらのアプローチを想定すると、本発明の他の実施形態によれば、ポイントされた表示位置の位置決め(positioning)は、表示されたターゲットの時間シーケンスで効率的に実施することができるものと考察される。また、本発明のこれら他の実施形態においては、人間により可視なポジショニング・ターゲットの表示を含んだ、従来型の位置決め方法に適用することができる。
【０１４１】
[0137]
図１２は、本発明のこれら実施形態による経時的な位置決め(sequential positioning)の一般化した方法について例示している。特に、図２ｂと関連して上述したような対話式ディスプレイ・システムに適用される。ここでは、経時的な位置決めの一般的方法を説明する。そこにおいて、ポジショニング回路２５’は多くの位置決め計算を実施する。ポジショニング回路２５の幾らかの部分は、この実施例の場合、同様にコンピュータ２２に配備することができる。勿論、本発明のこの実施形態においては、図２ａに関連して上記説明したような対話式ディスプレイ・システムに容易に適用することができ、ポインティング・デバイス１０がイメージ情報をポジショニング回路２５に送信し、交替でこの位置決め計算を実施する。このように、また、上記のとおり、ポジショニング回路２５は、特別な実装について要望されるように、ポインティング・デバイス１０，１０’またはコンピュータ２２内に配備することができ、もしくは、これら両方で分散することができる。当業者にとって、図１２に示される方法をそのアーキテクチャに、または特定の設備で実現されるようなこれら２つの実施例に基づく変形例に容易に適応させることができるものと考察される。また、図２に示したような投影システムに関連して説明される図１２に例示している実施例について、当業者であれば、この実施例を直接、ディスプレイ（例えば、ＬＣＤ、ＬＥＤ、プラズマ・ディスプレイなど）のシステムに容易に適応させることができると理解されよう。
【０１４２】
[0138]
本発明のこの実施形態における経時的位置決めプロセスでは、プロセス１００から開始する。ここでは、ディスプレイ２０上のイメージをグラフィックス・アダプタ２７が生み出し、プロジェクタ２１がそれを投影する。ディスプレイ２０は、例えば図３ｂに示したような１又はそれ以上のポジショニング・ターゲットを含む。比較的近いか、比較的遠く離れているかにせよ、この初期の表示プロセス１００では、ディスプレイ２０から広範な距離にわたりポインティング・デバイス１０を認識することができるサイズを有するポジショニング・ターゲットを選択および表示する。図１３ａは、ポジショニング・ターゲット１５０の１つの実施例を説明し、距離、回転、スクリーンからの角度およびディスプレイ２０に対するポインティング・デバイス１０の位置に関する他の情報を搬送することが可能な利点を提供する。このことについて、以下に詳細に説明する。コンピュータ２２、ターゲット生成器機能２３およびグラフィックス・アダプタ２７は、周期的にポジショニング・ターゲットを有する、または各表示フレーム内に表示される、イメージを提示ことができるものと考察される。あるいは、ターゲット生成器機能２３およびグラフィックス・アダプタ２７は、ユーザの要求に応答して、例えばポインティング・デバイス１０のアクチュエータ１５をユーザが押すことによって、表示されるイメージ・データ内のポジショニング・ターゲットを提示することができるものと考察される。プロセス１０２では、ポインティング・デバイス１０は、表示されたイメージをキャプチャし、プロセス１００における（また、上述した、人間により検知不可能なポジショニング・ターゲットが表示されるような場合についての連続フレームにわたる）表示されたポジショニング・ターゲットを含む。この実施例では、ポジショニング回路２５’は、イメージ・キャプチャ機能１６からキャプチャ・イメージを受け取り、そのキャプチャ・イメージ内のポジショニング・ターゲットを識別し、そして、例えば図３ｂと関連して上記説明したような、そのイメージに基づきポジショニング情報を計算する。この例では、ポジショニング回路２５’が、ディスプレイ２０からのポインティング・デバイス１０の距離およびポインティング・デバイス１０がディスプレイ２０の通常の軸から外れて位置する角度を、サイズ、方向、形状などといった検出されるポジショニング・ターゲットの属性に基づいて、決定することができるものと考察される。プロセス１０４では、ポインティング・デバイス１０は、それらの距離および角度の結果に対応する情報を、トランシーバ１８およびワイヤレス・リンクを介して、コンピュータ２２に送信する。
【０１４３】
[0139]
プロセス１０６では、コンピュータ２２は、ディスプレイ２０でイメージを生成するプロセスを反復し、ターゲット生成器機能２３によって生成される１またはそれ以上のポジショニング・ターゲットを含む。この反復プロセスでは、しかし、ターゲット生成器機能２３は、プロセス１０４でのポインティング・デバイス１０によって送信される距離および角度結果に応答して、ポジショニング・ターゲットをプロセス１００のそれとは異なる位置に移動する。新しいポジショニング・ターゲットの位置および所望の他の属性は、送信機２４’，１８’を介して、ポインティング・デバイス１０のポジショニング回路２５’に伝達される。実質的には、プロセス１００，１０６間のポジショニング・ターゲット（１または複数）の移動は、ディスプレイ２０に対するポインティング・デバイス１０の位置の三角測量を可能にし、また、そのコンピュータ２２がそれぞれの繰り返しのポジショニング・ターゲットについて表示された位置および形状を認識していることを考慮して、高い精度の計算を提供する。ポジショニング回路２５’は、ディスプレイ２０からのポインティング・デバイス１０の距離、およびディスプレイ２０の通常の軸を外れたポインティング・デバイス１０の角度を計算して、その情報をプロセス１０８でコンピュータ２２に送信する。
【０１４４】
[0140]
ポインティング・デバイス１０からの距離および角度情報の両方のインスタンスを受け取ると、コンピュータ２２のポジショニング回路２５は、次いで、プロセス１１０で、ディスプレイ２０に対するポインティング・デバイス１０の方向およびポイントされた位置を導出する。この明細書を参照した当業者にとって、このプロセス１１０が実行されるコンピュータ・プログラム指令が、従来の基本ナビゲーション技術を使用して生成することができるものと考察される。このプロセス１１０の結果は、ポインティング・デバイス１０が照準を定める（すなわち、ポイントされる）位置でディスプレイ２０における位置を決定することである。グラフィカル・ユーザ・インタフェースについての従来方式では、コンピュータ２２によってポインティング・デバイス１０から受け取られるユーザ命令の決定に含まれるのは、このポイントされた位置である。
【０１４５】
[0141]
プロセス１１２では、ターゲット生成器機能２３は、方向および位置に応答してディスプレイ２０で表示されることになるイメージにおいて次のポジショニング・ターゲットを生成する。この場合、ターゲット生成器機能２３が、この次のポジショニング・ターゲットを、ポインティング・デバイス１０によってディスプレイ２０にポイント示された位置におけるより近い位置といった、表示されたイメージの異なる位置に配置することができるものと考察される。この次のポジショニング・ターゲットが有する他の属性は、距離および角度情報に応答してターゲット生成器機能２３によって変更することもでき、ポジショニング・ターゲットのサイズ（ポインティング・デバイス１０とディスプレイ２０の間の距離が短い場合にはより小さく、その距離が長い場合にはより大きい）を含む。また、ターゲット生成器機能２３は、ポインティング・デバイス１０によって、例えば、表示されるポジショニング・ターゲットを回転させることによって、さらに、軸を外れているポインティング・デバイス１０による歪曲のために補正する形状を変えることによって、検知を改善するために、表示されるポインティング・ターゲットの形状を変化させることができる。
【０１４６】
[0142]
図１３ａ〜１３ｅは、プロセス１１０で決定される距離および角度情報に応答して、プロセス１１２がどのように次のイメージ・フレームの表示されたポジショニング・ターゲットを変えることができるかという実施例について例示している。上記のとおり、ターゲット生成器機能２３によって生成するポジショニング・ターゲット１５０は、参照目的のために、名目上のサイズおよび方向で図１３ａに図示されている。仮にポインティング・デバイス１０によるキャプチャ・イメージＣＩが類似のサイズおよび方向でポジショニング・ターゲット１５０のビューを得ることになるとすれば、ポイントされた位置の決定は、高精度に実施することができよう。本発明のこの実施形態によれば、プロセス１１２は、ポジショニング回路２５，２５’によってディスプレイ２０においてポイントされた位置の決定を最適化するために、ポジショニング・ターゲットの属性を変更する。従来技術のキャプチャ・イメージの結果に応えるポジショニング・ターゲットについて、この修正は、図１２を参照して本明細書に説明する特定のナビゲーションの決定（すなわち、１１０によるプロセス１００）に関して実施される必要はないが、ディスプレイ２０においてポイントされた位置が計算または決定されるいかなる方法に関連して有用になるものと考察される。
【０１４７】
[0143]
図１３ｂは、ポインティング・デバイス１０がディスプレイ２０から相対的に離れている実施例についてのキャプチャ・イメージＣＩについて例示している。この例では、したがって、ポジショニング・ターゲット１５０は、キャプチャ・イメージＣＩでは比較的小さい。この実施例のプロセス１１２では、ターゲット生成器機能２３は表示されたイメージ上に覆われるポジショニング・ターゲット１５０のサイズを増加させることができ、つまり、ポインティング・デバイス１０により大きなターゲットを提供して、これにより、ポジショニング回路２５がより簡単に、かつ、より正確に表示されたイメージにおいてポイントされた位置を導出することを可能にする。図１３ｃにおいて、キャプチャ・イメージＣＩでのポジショニング・ターゲットのサイズは、最適であるが、ポジショニング・デバイス１０は、その名目上の方向からディスプレイ２０まで時計回りに９０度回転させ、そのイメージに反時計回りに９０度回転させて出現させる。ポジショニング回路２５は、この回転のために、ポイント位置を容易に識別することができないかもしれない。このように、プロセス１１２では、ターゲット生成器機能２３は、表示されたポジショニング・ターゲット１５０の方向を回転させることができ（例えば、時計回りに９０度）、その結果、キャプチャ・イメージＣＩは、図１３ａに示されたその名目上のビューにより近いポジショニング・ターゲット１５０のイメージを含むことになる。
【０１４８】
[0144]
図１３ｄは、ディスプレイ２０に対し通常の軸から厳格に外れた位置から、ポインティング・デバイス１０によって獲得されたキャプチャ・イメージＣＩの実施例について例示している。ディスプレイ２０のこの特定のビューは、ディスプレイ２０の下部の位置から、および右手側にあるように出現する。この例では、キャプチャ・イメージＣＩでのポジショニング・ターゲットは、ポインティング・デバイス１０の軸から外れた位置にあるために歪曲されている。このキャプチャ・ポジショニング・ターゲットについての名目上のポジショニング・ターゲット１５０とのオートメーション化したイメージ比較は、キャプチャ・イメージＣＩのひどい歪曲を想定すると比較的困難であり、つまり、この２つのイメージ間はマッティングするには貧弱である。本発明のこの実施形態による、図１３ｄに示される歪曲されたキャプチャ・イメージＣＩから決定された、ディスプレイ２０に対するポインティング・デバイス１０の位置についての凡その決定に基づいて、ターゲット生成器機能２３は、図１３ｅにおけるポジショニング・ターゲット１５０’を生成することによるその歪曲を補償することができる。その歪曲は、図１３ｄのキャプチャ・イメージＣＩにおける方法とは反対の方法で歪曲され回転されて、プロセス１１２で表示されている。図１３ｄのケースのような同一の位置からのキャプチャ・イメージは、図１３ａのそれに非常に近いポジショニング・ターゲットの表現という結果になり、ディスプレイ２０においてポイントされた位置を識別するためにポジショニング回路２５，２５’の能力を改良する。
【０１４９】
[0145]
上記のとおり、慣性センサ１７は、ポインティング・デバイス１０内に配備することができる。これらの慣性センサ１７の実施例は、加速度計、磁気センサ、ジャイロスコープなどを含む。本発明の他の実施形態において、１またはそれ以上のそれら慣性センサ１７から入力は、特に、キャプチャ・イメージＣＩがキャプチャされたポジショニング・ターゲットの重大な回転、変換または歪曲を含む場合、および、特に、ポインティング・デバイス１０が素早くディスプレイ２０を「横切る(across)」場合に、ディスプレイ２０に対するポインティング・デバイス１０の角度、回転および位置の決定を補助する。例えば、位置決め(positioning)が表示フレーム・レートの２倍（例えば、１２０Ｈｚ）で実行されている場合、ディスプレイ２０における実際にポイントされた位置は、２フレーム期間の８．３３ミリ秒以内に劇的に移動することができる。この場合、慣性センサ１７によって（絶対位置とは対照的の）相対的なモーションを検知することは、ポジショニング回路２５が決定する間において、ポインティング・デバイス１０の回転、角度または移動についての指標を時間に提供することができる。ポインティング・デバイス１０が照準を定めるディスプレイ２０における位置についてのよりスムーズでより正確な決定は、それ故、視覚および慣性のポジショニング・システムの組合せによって提供することができる。
【０１５０】
[0146]
プロセス１１２で表示されるポジショニング・ターゲットの次のインスタンスについての他の補正は、色歪曲を補償するために色の変更を含むことができる。これは、キャプチャ・イメージにおけるポジショニング・ターゲットの低品質なキャプチャに応えるポジショニング・ターゲットの鋭さ(sharpness)（例えば、上記のとおりポジショニング・ターゲットにおいてぼやけているエッジを除去する）、および、フレームからフレームまでの反対の方法によるポジショニング・ターゲットの配置を移動することを経たポインティング・デバイス１０の振れ(shaking)または振動(vibration)の補償について改善する。
【０１５１】
[0147]
これから図１２に戻って参照すると、プロセス１１４では、ディスプレイ２０においてポイントされた位置が決定されており、次いで、コンピュータ２２は、ポイントされた位置および任意の追加的なユーザ命令（例えば、ポインティング・デバイス１０でのアクチュエータ１５の「クリック」）によって作動する。このようなグラフィカル・ユーザ・インタフェースについて公知なように、このような命令は、コンテンツのクリック・アンド・ドラッグによる移動、有効な「リンク」、ボタン、プルダウンまたはその他のメニューの選択、（「ホワイト・ボード」アプリケーションの場合のような）描画もしくはフリーハンドのテキスト入力、表示されたイメージの一部のハンドライティングなどを含むことができる。また、例えば、ユーザがアクチュエータ１５をホールドダウンすると共にスクリーンを横切ってポインティング・デバイスの照準を一掃することにより入力されるページめくり命令といった、特定のユーザ命令は、正確な位置決めに必ずしも依存しなくてもよい。
【０１５２】
[0148]
複数のポインティング・デバイス１０が、話者により同時に使用されても存在してもよく、その結果、例えば、表示されたイメージをズームするために、「マルチ・タッチ」インタフェース命令が与えられ、そして解釈されることができるものとさらに考察される。例えば、異なる「色」を有するポジショニング・ターゲット（すなわち、異なる色成分で表示されたコンテンツからの変形）は、ポインティング・デバイス１０の異なるものが異なる色成分のポジショニング・ターゲットを追跡することにより、使用することができる。あるいは、ディスプレイ２０からの距離を変化させる上での迅速および正確な位置決めについて決定を可能にするために、複数の解像度特徴（例えば、フラクタルの意味で、自身に類似する形状特徴）を有する「スーパー・ターゲット」のポジショニング・ターゲットを使用することができる。
【０１５３】
[0149]
上記のとおり、コンピュータ２２がプロセス１１４で応答するユーザ命令に、ポインティング・デバイス１０内にも配備される、加速度計およびその他の慣性センサ１７といった他のアクチュエータまたはセンサは、また、ユーザ命令に必要となり、このユーザ命令に対してコンピュータ２２はプロセス１１４で応答する。
【０１５４】
[0150]
本発明のこの実施形態によれば、このような追加のナビゲーションは、コンピュータ２２またはディスプレイ２０に非常に近接したポインティング・デバイス１０によって検知することを含むことができ、例えば、仮想上の「タッチ・スクリーン」として対話式ディスプレイ・システムを動作することを可能にする。この点に関しては、タッチ・センサはまた、ポインティング・デバイス１０内で採用することもでき、これを介して、ユーザがポインティング・デバイス１０を有するディスプレイ２０に触れるかまたは近くに接近する場合にアクションを取ることができ、例えば表示イメージ上を「描写」する。他の実施では、ポインティング・デバイス１０内の慣性センサ１７としての加速度計は、ユーザによってポインティング・デバイス１０の突然の「ジャブ(jab)」を検知することができ、ディスプレイ２０でのイメージについてポインティング・デバイス１０によって「タップ(tap)」を示すのに使用することができ、たとえポインティング・デバイス１０がディスプレイ２０そのものから相対的に遠く離れていてもよい場合であってもタッチ・スクリーン動作をまねる(mimick)。この方法では、加速度計または他の慣性センサは、外部ボタンまたは他のスイッチを必要とすることなく、ポインティング・デバイス１０のアクチュエータ１５（図２ａおよび２ｂ）として動作することができる。これらおよびこのシステムの動作における他の変形例がこの明細書を参照した当業者にとって明らかであるものと考察される。
【０１５５】
[0151]
プロセス１１４で実行されるユーザ命令の結果として、コンピュータ２２は、次いで、ポインティング・デバイス１０を介したユーザの視聴および更なる対話のために、通例、ディスプレイ２０で新しいペイロード・イメージを投影する。本発明のこの実施形態の対話式ディスプレイ・システムの動作は、次いで、プロセス１００から再度開始する。
【０１５６】
[0152]
本発明のこの実施形態が対話式ディスプレイ・システムの動作において大きな利点を提供することができるものと考察される。特に、ポジショニング・ターゲットのインタラクティブな表示および検出は、ディスプレイからの距離、ディスプレイの通常の軸を離れたポインティング・デバイスの角度、システムのポジショニング回路によるポインティング・ターゲットの知覚可能性などといた変位性に従って、ポジショニング・ターゲットのサイズおよび属性の調整を可能にする。
【０１５７】
[0153]
本発明のこの実施形態によれば、それ故、複数のポジショニング・ターゲットは、人間により知覚可能であるかまたは人間により知覚不可能であるかのいずれかであり、ハンドヘルド・ポインティング・デバイスにおけるポイントされた位置の位置決めにおいて、また、対話式ディスプレイ・システムの動作において必要とされる。位置決めへのこの手法は、最新のコンピュータ回路の計算パワーおよび小型化の点で有利であり、広範な視聴者の前での提示システムの迅速、正確および想像力に富んだ動作を可能にする。
結論
[0154] 
本明細書にて説明したように、本発明の各種実施形態、および、その変形形態は、この明細書を参照した当業者にとって明らかであり、対話式ディスプレイ・システムの実施および動作において重要な進歩を供している。これらの進歩は、システム構成においてのみならず、さまざま規模の視聴者に対するプレゼンテーションを実施する際においても重要な利点を享受することになるものと更に考察される。要約すると、本発明のこれらの実施形態は、ディスプレイおよび表示イメージ内のポジショニング・ターゲットの検出に基づき、ポジショニング・デバイスが照準を定めるそのイメージの位置について位置決めを行うことによって、動作する。本発明のこれら実施形態の内のいくつかにおいては、ポジショニング・ターゲットは、特に人間の視聴者に知覚不可能であり、このようなターゲットによって引き起こされる阻害を低減する一方、ディスプレイの広範囲にわたるターゲット情報の配備を可能にすると共に、対話式ディスプレイ・システムを「ホワイト・ボード」として使用することを可能にする。また、本発明の実施形態は、継続的、且つシームレスに、表示スクリーン自体に接近またはタッチする距離を含んだ、ポジショニング・デバイスと表示スクリーンの間での広範囲な距離にわたり、この位置決め(positioning)を実現する。さらに、本発明の実施形態は、ディスプレイについて特別な投影もしくは表示の器材または改造を必要とすることなく、投影システム、フラット・パネル・ディスプレイなどを含む既存のディスプレイ・システムに容易に適応することができる。さらに、単一のポインティング・デバイスが（１つのタイプのディスプレイ専門ということではなく）あらゆるタイプのディスプレイに関して使用することができるものと考察される。
【０１５８】
[0155]
本発明について、その様々な実施形態に従って説明してきたと共に、これら実施形態に関し、本発明の利点および利益を享受する変更態様や代替例は、本明細書および図面を参照した当業者にとって無論明らかであろう。このような変更態様および代替例は、本願明細書の後に特許請求されるような、本発明の範囲内にあるものと考えられる。
【図１】
2013522766.tif 000020
【図２ａ】
2013522766.tif 000021
【図２ｂ】
2013522766.tif 000022
【図３ａ】
2013522766.tif 000023
【図３ｂ】
2013522766.tif 000024
【図３ｃ】
2013522766.tif 000025
【図３ｄ】
2013522766.tif 000026
【図４ａ】
2013522766.tif 000027
【図４ｂ】
2013522766.tif 000028
【図４ｃ】
2013522766.tif 000029
【図５ａ】
2013522766.tif 000030
【図５ｂ】
2013522766.tif 000031
【図６ａ】
2013522766.tif 000032
【図６ｂ】
2013522766.tif 000033
【図７】
2013522766.tif 000034
【図８】
2013522766.tif 000035
【図９】
2013522766.tif 000036
【図１０ａ】
2013522766.tif 000037
【図１０ｂ】
2013522766.tif 000038
【図１１】
2013522766.tif 000039
【図１２】
2013522766.tif 000040
【図１３ａ】
2013522766.tif 000041
【図１３ｂ】
2013522766.tif 000042
【図１３ｃ】
2013522766.tif 000043
【図１３ｄ】
2013522766.tif 000044
【図１３ｅ】
2013522766.tif 000045
【手続補正書】
【提出日】平成24年11月28日(2012.11.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータ・システムをインタラクティブに遠隔で動作させる方法であって、
視覚的なペイロード・イメージ・フレーム・データを生成するステップと、
少なくとも１つのポジショニング・ターゲット・パターンを前記視覚的なペイロード・イメージ・フレーム・データと組み合わせるステップであって、前記ポインティング・ターゲット・パターンが前記視覚的なペイロード・イメージ・フレーム・データの１又はそれ以上の選択されたピクセル位置における補完的な強度変動に対応し、連続するフレームに適用される、ステップと、
前記組み合わせた視覚的なペイロード・イメージ・フレーム・データを表示し、ディスプレイ上のターゲット・パターンの位置決めを行うステップと、
少なくとも２つのフレームを介して、前記ポインティング・ターゲットを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、
イメージ・データを処理して、前記キャプチャしたイメージ・データのフレームを相互に差し引いて、前記ポインティング・ターゲット・パターンを前記ディスプレイから遠隔で視聴されるものとして回復させるステップと、
前記回復したポインティング・ターゲット・パターンに応じて、前記ディスプレイにおいてポイントされる位置を決定するステップと、
を含む、方法。
【請求項２】
請求項１に記載の方法において、前記組み合わせるステップが、前記ポインティング・ターゲット・パターンが表示される各ピクセルについて、
当該ピクセルにおける前記視覚的なペイロード・イメージ・フレーム・データの少なくとも１つの色成分について強度コンポーネント値を決定するステップと、
当該ピクセルにおける前記強度コンポーネント値に応じて、及び逆ガンマ補正関数に従って、少なくとも１つの変動値を計算するステップと、
第１のフレームにおいて、計算した変動値を、当該ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データに加算するステップと、
第２のフレームにおいて、計算した変動値を、当該ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
を含む、方法。
【請求項３】
請求項１に記載の方法であって、更に、
第１の２次元空間の周波数で前記ディスプレイの領域にわたるパターンに配置される、第１の大きさの強度変動の領域に対応する複数の第１のポジショニング・ターゲットを生成するステップと、
前記第１の２次元空間の周波数よりも大きい第２の２次元空間の周波数で前記ディスプレイの領域にわたるパターンに配置される、前記第１の大きさよりも小さい第２の大きさの強度変動の領域に対応する複数の第２のポジショニング・ターゲットを生成するステップと、を含み、
前記組み合わせるステップが、
前記複数の第１および第２のポジショニング・ターゲットを、第１のフレームにおける前記視覚上のペイロード・イメージ・フレーム・データと加算的に組み合わせるステップと、
前記複数の第１および第２のポジショニング・ターゲットを、前記第１フレームに時間的に隣接した第２のフレームにおける前記視覚上のペイロード・イメージ・フレーム・データと減算的に組み合わせるステップと、
を含む、方法。
【請求項４】
前記ポジショニング・ターゲット・パターンが表示されることになる前記ディスプレイの位置を選択するステップを更に含む、請求項１に記載の方法。
【請求項５】
請求項４に記載の方法において、前記組み合わせるステップが、
第１のフレームにおいて、
強度変動を、前記選択した位置内にある各ピクセルで表示されることになる前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
強度変動を、前記選択した位置内にないピクセルで表示されることになる前記視覚上のペイロード・イメージ・フレーム・データに加算するステップと、
前記第１フレームに時間的に隣接する第２のフレームにおいて、
強度変動を、前記選択した位置内にあるピクセルで表示されることになる前記視覚上のペイロード・イメージ・フレーム・データに加算するステップと、
強度変動を、前記選択した位置内にないピクセルで表示されることになる前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
を含む、方法。
【請求項６】
請求項１に記載の方法において、前記組み合わせるステップが、
パターン強度コントラスト値を決定するステップと、
ポジショニング・ターゲット内に位置するピクセルごとに色成分について逆カラー加重を決定するステップであって、前記逆カラー加重が、前記色成分のそれぞれについて人間の眼による相対的な知覚性に反比例して対応する、ステップと、
第１のフレームにおいて表示されることになる前記ポジショニング・ターゲット・パターンにおける各ピクセルについて、
当該ピクセルでの前記視覚上のペイロード・イメージ・フレーム・データの輝度値を決定するステップと、
当該ピクセルにおける前記パターン強度のコントラスト値および輝度値に応じて、前記ピクセルについて逆ガンマ・シフト値を計算するステップと、
前記ピクセルに対する前記逆ガンマ・シフト値および前記色成分についての前記逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてカラー加重変動係数を計算するステップと、
当該カラー加重変動係数を、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに加算的に適用するステップと、
前記ポジショニング・ターゲット・パターンが前記第１フレームに時間的に隣接した第２のフレームにおいて表示されることになる各ピクセルについて、
当該ピクセルにおける前記視覚上のペイロード・イメージ・フレーム・データの輝度値を決定するステップと、
前記パターン輝度コントラスト値および当該ピクセスの輝度値に応じて、前記ピクセスについて逆ガンマ・シフト値を計算するステップと、
前記ピクセルについての前記逆ガンマ・シフト値および前記色成分の前記逆カラー加重に応じて、当該ピクセルにおける前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてのカラー加重変動係数を計算するステップと、
前記カラー加重変動係数を、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに減算的に適用するステップと、
を含む、方法。
【請求項７】
請求項１に記載の方法において、前記組み合わせるステップが、
パターン強度コントラスト値を決定するステップと、
ポジショニング・ターゲット内に位置するピクセルごとに色成分についての逆カラー加重を決定するステップであって、前記逆カラー加重が、前記色成分のそれぞれについて人間の目による相対的な認知可能性に反比例して対応する、ステップと、
前記ポジショニング・ターゲット・パターンが第１のフレームに表示されることになる各ピクセルについて、
前記パターン強度コントラスト値および前記ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての強度データに応じて、前記ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての逆ガンマ・シフト値を計算するステップと、
前記ピクセルについての逆ガンマ・シフト値および前記色成分の前記逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてのカラー加重変動係数を計算するステップと、
当該カラー加重変動係数を、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに加算的に適用するステップと、
前記ジショニング・ターゲット・パターンが前記第１フレームに時間的に隣接する第２のフレームにおいて表示されることになる各ピクセルについて、
前記パターン強度コントラスト値および前記ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての強度データに応じて、前記ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての逆ガンマ・シフト値を計算するステップと、
前記ピクセルについての逆ガンマ・シフト値および前記色成分の前記逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてのカラー加重変動係数を計算するステップと、
当該カラー加重変動係数を、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに対して減算的に適用するステップと、
を含む、方法。
【請求項８】
請求項１に記載の方法であって、さらに、
前記ポジショニング・ターゲットについての強度変動値を選択するステップと、
前記補完的な強度変動についての大きさを、前記ポジショニング・ターゲット形状のエッジからの境界領域内における前記ポジショニング・ターゲット形状のピクセルについて前記強度変動値を減算することによって決定するステップと、
を含む、方法。
【請求項９】
請求項１に記載の方法において、前記表示するステップが、前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよびポジショニング・ターゲット・パターンを第１のフレーム・レートでディスプレイに表示し、
イメージ・データをキャプチャする前記ステップが、前記第１フレーム・レートの実質的に２倍の第２のフレーム・レートで実施され、
前記処理ステップが、キャプチャしたイメージ・データを、第１のキャプチャ・イメージ・フレーム、および該第１キャプチャ・イメージ・フレームとは時間的に前記第２フレーム・レートの２期間分隔てた第２のキャプチャ・イメージ・フレームにおいて処理する、方法。
【請求項１０】
請求項１に記載の方法において前記ペイロード・イメージ・フレーム・データがコンピュータ・ゲームのグラフィクス・ディスプレイ出力に対応し、更に、
前記ポイントされた位置の決定に応答して、ユーザからのゲーム命令を解釈するステップと、
該ゲーム命令に応じて新たな視覚上のペイロード・イメージ・フレーム・データを生成するステップと、
を含む、方法。
【請求項１１】
請求項１に記載の方法であって、さらに、
前記ポイントされた位置の決定に応じて、新たな視覚上のペイロード・イメージ・フレーム・データを生成するステップと、
前記生成するステップ、前記組み合わせるステップ、前記表示するステップ、前記キャプチャするステップ、前記処理するステップ、および前記決定するステップを反復するステップと、
前記ポインティング・デバイスからのユーザ入力を受け取って、ユーザからのレコード命令に対応付けるステップと、
前記レコード命令に応じて、前記コンピュータ・システムのメモリ・リソースに、少なくとも複数のポイントされた位置および対応するユーザ入力を含むユーザ・アクションのシーケンスに対応するデータを格納するステップと、
を含む、方法。
【請求項１２】
対話型表示システムであって、
ディスプレイに表示されることになる表示イメージ・データを生成するコンピュータと、
少なくとも１つのポジショニング・ターゲット・パターンを生成するターゲット生成回路であって、該少なくとも１つのポジショニング・ターゲット・パターンが、連続したフレームにおける視覚上のペイロード・イメージ・データの一部に適用されることになる補完的な強度変動に対応する、ターゲット生成回路と、
前記視覚上のペイロード・データを、前記少なくとも１つのポジショニング・ターゲット・パターンと組み合わせて、表示に適したフォーマットでグラフィクス出力信号にするグラフィクス出力回路と、
ポインティング・デバイスであって、
ハンドヘルド・ハウジング、
該ハウジング内に配置されるカメラ、および
該カメラによって取得するイメージ・データをキャプチャするビデオ・キャプチャ回路、を備えるポインティング・デバイスと、
前記コンピュータに結合されたディスプレイから前記ポインティング・デバイスによってキャプチャされた連続したフレームを差し引いて前記ターゲット・パターンを含むイメージ・データを回復させ、および前記ポインティング・デバイスが照準を定める前記ディスプレイにおける位置を決定する、ポジショニング回路と、
を備える、システム。
【請求項１３】
請求項１２に記載のシステムにおいて、前記コンピュータが、
前記ペイロード・イメージ・データを生成する処理回路と、
前記ポジショニング回路の少なくとも一部分と、
前記ポインティング・デバイスからの信号を受信するワイヤレス受信機回路と、を備えており、
前記ポインティング・デバイスが、前記キャプチャしたイメージ・データに対応する信号を前記コンピュータに送信するワイヤレス送信機回路を備える、
システム。
【請求項１４】
前記ポインティング・デバイスが、更に、前記ポジショニング回路の少なくとも一部分を備える、請求項１２に記載のシステム。
【請求項１５】
前記ポインティング・デバイスが、更に、ユーザ入力を受信するための少なくとも１つのアクチュエータを備える、請求項１２に記載のシステム。
【請求項１６】
前記アクチュエータが、スイッチ、加速度計、磁気センサ、ジャイロスコープからなる群から選択されたタイプのものである、請求項１５に記載のシステム。
【請求項１７】
前記ポインティング・デバイスが、更に、少なくとも１つの慣性センサを備える、請求項１２に記載のシステム。
【請求項１８】
請求項１２に記載のシステムにおいて、前記コンピュータが、複数のフレームに配置される視覚上のペイロード・イメージ・データを生成する処理回路を備えており、
前記グラフィクス出力回路が、前記視覚上のペイロード・イメージ・フレーム・データを、該視覚上のペイロード・イメージ・フレーム・データの１又はそれ以上の選択したピクセル位置での補完的な強度変動に対応する前記少なくとも１つのポジショニング・ターゲット・パターンと組み合わせ、連続したフレームに適用される、システム。
【請求項１９】
請求項１８に記載のシステムにおいて、前記ターゲット生成回路が、前記ポジショニング・ターゲット・パターンが表示されることになる選択した位置の各ピクセルについて、複数の動作を実行し、該動作が、
当該ピクセルにおける前記視覚的なペイロード・イメージ・フレーム・データの少なくとも１つの色成分について強度コンポーネント値を決定するステップと、
当該ピクセルにおける前記強度コンポーネント値に応じて、及び逆ガンマ補正関数に従って、少なくとも１つの変動値を計算するステップと、
第１のフレームにおいて、計算した変動値を、当該ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データから加算するステップと、
第２のフレームにおいて、計算した変動値を、当該ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
を含む、システム。
【請求項２０】
請求項１８に記載のシステムにおいて、前記複数の動作が、更に、
第１の２次元空間の周波数で前記ディスプレイの領域にわたるパターンに配置される、第１の大きさの強度変動の領域に対応する複数の第１のポジショニング・ターゲットを生成するステップと、
前記第１の２次元空間周波数よりも大きい第２の２次元空間周波数で前記ディスプレイの領域にわたるパターンに配置される、前記第１の大きさよりも小さい第２の大きさの強度変動の領域に対応する複数の第２のポジショニング・ターゲットを生成するステップと、
を含み、
前記グラフィクス出力回路が、前記視覚上のペイロード・データを前記少なくとも１つのポジショニング・ターゲット・パターンと複数の動作を実行することにより組み合わせ、該複数の動作が、
前記複数の第１および第２のポジショニング・ターゲットを、第１のフレームにおける前記視覚上のペイロード・イメージ・フレーム・データと加算的に組み合わせるステップと、
前記複数の第１および第２のポジショニング・ターゲットを、前記第１フレームに時間的に隣接した第２のフレームにおける前記視覚上のペイロード・イメージ・フレーム・データと減算的に組み合わせるステップと、
を含む、システム。
【請求項２１】
請求項１８に記載のシステムにおいて、前記グラフィクス出力回路が、前記視覚上のペイロード・データを前記少なくとも１つのポジショニング・ターゲット・パターンと複数の動作を行うことにより組み合わせ、該複数の動作が、
第１のフレームにおいて、
強度変動を、前記選択した位置内にある各ピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
強度変動を、前記選択した位置内にないピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データに加算するステップと、
前記第１フレームに時間的に隣接する第２のフレームにおいて、
強度変動を、前記選択した位置内にある各ピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データに加算するステップと、
強度変動を、前記選択した位置内にないピクセルで表示される前記視覚上のペイロード・イメージ・フレーム・データから減算するステップと、
を含む、システム。
【請求項２２】
請求項１８に記載のシステムにおいて、前記ターゲット生成回路が複数の動作を実行し、該複数の動作が、
パターン強度コントラスト値を決定するステップと、
ポジショニング・ターゲット内に位置するピクセルについての色成分の逆カラー加重を決定するステップであって、前記逆カラー加重が、前記色成分のそれぞれについて人間の目による相対的な認知可能性に反比例して対応する、ステップと、を含み、
前記グラフィクス出力回路が、前記ポジショニング・ターゲット・パターンが第１のフレームに表示されることになる前記選択された位置の各ピクセルについて、前記視覚上のペイロード・データを前記少なくとも１つのポジショニング・ターゲット・パターンと複数の動作を実行することにより組み合わせ、該複数の動作が、
当該ピクセルにおける前記視覚上のペイロード・イメージ・フレーム・データの輝度値を決定するステップと、
前記パターン強度コントラスト値および当該ピクセルの輝度値に応じて、前記ピクセルについての逆ガンマ・シフト値を計算するステップと、
前記ピクセルについての逆ガンマ・シフト値および前記色成分の逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてのカラー加重変動係数を計算するステップと、
当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに当該カラー加重変動係数を加算的に適用するステップと、を含み、
前記ポジショニング・ターゲット・パターンが前記第１フレームに時間的に隣接する第２のフレームにおいて表示されることになる前記選択された位置の各ピクセルについて、
当該ピクセルにおける前記視覚上のペイロード・イメージ・フレーム・データの輝度値を決定するステップと、
前記パターン強度コントラスト値と当該ピクセルの輝度値に応じて、前記ピクセルについての逆ガンマ・シフト値を計算するステップと、
前記ピクセルについての前記逆ガンマ・シフト値および前記色成分の前記逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてのカラー加重変動係数を計算するステップと、
当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに当該カラー加重変動係数を減算的に適用するステップと、を含む、
システム。
【請求項２３】
請求項１８に記載のシステムにおいて、前記ターゲット生成回路が複数の動作を実行し、該複数の動作が、
パターン強度コントラスト値を決定するステップと、
ポジショニング・ターゲット内に位置するピクセルについての色成分の逆カラー加重を決定するステップであって、前記逆カラー加重が、前記色成分のそれぞれについて人間の目による相対的な認知可能性に反比例して対応する、ステップと、を含み、
前記グラフィクス出力回路が、前記ポジショニング・ターゲット・パターンが第１のフレームで表示されることになる前記選択された位置の各ピクセルについて、前記視覚上のペイロード・データを前記少なくとも１つのポジショニング・ターゲット・パターンと複数の動作を実行することにより組み合わせ、該複数の動作が、
前記パターン強度コントラスト値および前記ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての強度データに応じて、前記ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての逆ガンマ・シフト値を計算するステップと、
前記ピクセルについての前記逆ガンマ・シフト値および前記色成分の前記逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてのカラー加重変動係数を計算するステップと、
当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに当該カラー加重変動係数を加算的に適用するステップと、を含み、
前記ポジショニング・ターゲット・パターンが前記第１フレームに時間的に隣接する第２のフレームにおいて表示されることになる前記選択された位置の各ピクセルについて、
前記パターン強度コントラスト値および前記ピクセルについての前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての強度データに応じて、前記ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についての逆ガンマ・シフト値を計算するステップと、
前記ピクセルについての逆ガンマ・シフト値および前記色成分の前記逆カラー加重に応じて、当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データの各色成分についてのカラー加重変動係数を計算するステップと、
当該ピクセルの前記視覚上のペイロード・イメージ・フレーム・データに当該カラー加重変動係数を減算的に適用するステップと、
を含む、システム。
【請求項２４】
請求項１８に記載のシステムにおいて、前記ターゲット生成回路が複数の動作を実行し、該複数の動作が、
前記ポジショニング・ターゲットについての強度変調値を選択するステップと、
前記補完的な強度変動についての大きさを、前記ポジショニング・ターゲット形状のエッジからの境界領域内における前記ポジショニング・ターゲット形状のピクセルについての前記強度変調値で減算することにより決定するステップと、
を含む、システム。
【請求項２５】
請求項１２に記載のシステムにおいて、前記ビデオ・キャプチャ回路が、前記ディスプレイ・イメージ・データが生成されるフレーム・レートの実質的に２倍で、イメージ・データをキャプチャし、
前記ポジショニング回路が、第１のキャプチャ・イメージ・フレーム内でキャプチャしたイメージ・データを、前記第１キャプチャ・イメージ・フレームから時間的に前記ビデオ・キャプチャ・フレーム・レートの２期間分隔てた第２のキャプチャ・イメージ・フレームから減算する、システム。
【請求項２６】
コンピュータ・システムをインタラクティブにかつ遠隔に動作させる方法であって、
視覚上のペイロード・イメージ・フレーム・データを生成するステップと、
表示されることになるイメージ内の第１の位置において、第１のポジショニング・ターゲット・パターンを前記視覚上のペイロード・イメージ・フレーム・データと組み合わせるステップと、
前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよび第１ポジショニング・ターゲット・パターンをディスプレイ上に表示するステップと、
第１のポインティング・デバイスにおいて、前記第１ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データを処理して、前記ディスプレイからの前記第１ポインティング・デバイスの角度および距離を決定するステップと、
表示されることになるイメージ内の第２の位置における第２のポジショニング・ターゲット・パターンを前記視覚上のペイロード・イメージ・フレーム・データと組み合わせるステップと、
前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよび第２ポジショニング・ターゲット・パターンをディスプレイ上に表示するステップと、
第１のポインティング・デバイスにおいて、前記第２ポジショニング・ターゲットを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データを処理して、前記ディスプレイからの前記第１ポインティング・デバイスの角度および距離を決定するステップと、
前記第１および第２のポインティング・ターゲットに基づいて前記決定した角度および距離に応じて、前記ディスプレイにおけるポイントされる位置を決定するステップと、
を含む、方法。
【請求項２７】
請求項２６に記載の方法であって、更に、
前記ポイントされる位置の決定に応じて、新たな視覚上のペイロード・イメージ・フレーム・データを生成するステップと、
前記ディスプレイにおいて、前記新たな視覚上のペイロード・イメージ・フレーム・データを表示するステップと、
を含む、方法。
【請求項２８】
請求項２７に記載の方法であって、更に、前記ポインティング・デバイスからのユーザ入力を受け取るステップを含み、
前記新たな視覚上のペイロード・イメージ・フレーム・データを生成するステップが、また、前記受け取ったユーザ入力に応答して実行される、方法。
【請求項２９】
請求項２６に記載の方法において、前記第１ポジショニング・ターゲット・パターンを前記視覚上のペイロード・イメージ・フレーム・データと組み合わせるステップが、
前記視覚上のペイロード・イメージ・フレーム・データの１またはそれ以上の選択したピクセル位置での補完的な強度変動に対応する少なくとも１つのポジショニング・ターゲット・パターンを、前記視覚的なペイロード・イメージ・フレーム・データと組み合わせ、連続したフレームに適用される、ステップを含み、
前記第２ポジショニング・ターゲット・パターンを前記視覚的なペイロード・イメージ・フレーム・データと組み合わせるステップが、
前記視覚上のペイロード・イメージ・フレーム・データの１またはそれ以上の選択したピクセル位置での補完的な強度変動に対応する少なくとも１つのポジショニング・ターゲット・パターンを、前記視覚的なペイロード・イメージ・フレーム・データと組み合わせ、連続したフレームに適用される、ステップを含む、
方法。
【請求項３０】
請求項２６に記載の方法であって、更に、前記キャプチャしたイメージ・データにおいて前記第１ポジショニング・ターゲットを表わすことに応じて補償された属性を有するように、前記第２ポジショニング・ターゲット・パターンを生成するステップを含む、方法。
【請求項３１】
請求項２６に記載の方法であって、更に、
第２のポインティング・デバイスにおいて、前記第１ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データを処理して、前記ディスプレイからの前記第２ポインティング・デバイスの角度および距離を決定するステップと、
前記第２ポインティング・デバイスにおいて、前記第２ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データを処理して、前記ディスプレイからの前記第２ポインティング・デバイスの角度および距離を決定するステップと、を含み、
前記決定するステップが、また、前記第２ポインティング・デバイスについて前記決定した角度および距離に応じて、前記第２ポインティング・デバイスについて前記ディスプレイにおけるポイントされた位置を決定する、方法。
【請求項３２】
請求項２６に記載の方法において、前記第１ポジショニング・ターゲット・パターンが第１の色を用いて表示され、更に、
第２の色を用いて、表示されたポジショニング・ターゲットについて、前記組み合わせるステップ及び前記表示するステップを反復するステップと、
第２のポインティング・デバイスにおいて、第２の色を用いて表示された前記ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データを処理して、前記ディスプレイからの前記第２ポインティング・デバイスの角度および距離を決定するステップと、を含み、
前記決定するステップが、また、前記第２ポインティング・デバイスについて前記決定した角度および距離に応じて、前記第２ポインティング・デバイスについての前記ディスプレイにおけるポイントされた位置を決定する、方法。
【請求項３３】
コンピュータ・システムをインタラクティブにかつ遠隔に動作させる方法であって、
視覚上のペイロード・イメージ・フレーム・データを生成するステップと、
表示されることになるイメージの第１の位置において、第１のポジショニング・ターゲット・パターンを前記視覚上のペイロード・イメージ・フレーム・データと組み合わせるステップと、
前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよび第１ポジショニング・ターゲット・パターンをディスプレイ上に表示するステップと、
前記ディスプレイから離れて位置する第１のポインティング・デバイスにおいて、前記第１ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、
前記キャプチャしたイメージ・データで前記第１ポジショニング・ターゲットを表わすことに応じて、補償された属性を有する第２のポジショニング・ターゲット・パターンを生成するステップと、
前記視覚上のペイロード・イメージ・フレーム・データを前記第２ポジショニング・ターゲット・パターンと組み合わせるステップと、
前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよび第２ポジショニング・ターゲット・パターンをディスプレイ上に表示するステップと、
第１のポインティング・デバイスにおいて、前記第２ポジショニング・ターゲットを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、
前記第２ポジショニング・ターゲットを表わすことを含む前記キャプチャしたイメージ・データに応じて、前記ディスプレイにおけるポイントされる位置を決定するステップと、
を含む、方法。
【請求項３４】
前記補償された属性が前記第２ポジショニング・ターゲット・パターンのサイズである、請求項３３に記載の方法。
【請求項３５】
前記補償された属性が前記第２ポジショニング・ターゲット・パターンの回転方向である、請求項３３に記載の方法。
【請求項３６】
前記補償された属性が前記第２ポジショニング・ターゲット・パターンの形状である、請求項３３に記載の方法。
【請求項３７】
前記補償された属性が前記第２ポジショニング・ターゲット・パターンの位置である、請求項３３に記載の方法。
【請求項３８】
請求項３３に記載の方法であって、更に、
第２のポインティング・デバイスにおいて、前記第１ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、
第２のポインティング・デバイスにおいて、前記第２ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、を含み、
前記決定するステップが、また、前記第２ポインティング・デバイスについて前記ディスプレイにおけるポイントされた位置を決定する、方法。
【請求項３９】
請求項３３に記載の方法において、前記第１および第２ポジショニング・ターゲット・パターンが、第１の色を用いて表示され、更に、
第２の色を用いて、表示されたポジショニング・ターゲットについて、前記組み合わせるステップ及び前記表示するステップを反復するステップと、
第２のポインティング・デバイスにおいて、第２の色を用いて表示された前記ポジショニング・ターゲット・パターンを含む前記ディスプレイの少なくとも一部分を表わすイメージ・データをキャプチャするステップと、を含み、
前記決定するステップが、また、前記第２ポインティング・デバイスについて前記ディスプレイにおけるポイントされた位置を決定する、方法。
【国際調査報告】
2013522766.tif 000046
2013522766.tif 000047