(57)【要約】【課題】本発明は、出力画像内に表示されるポインタを安定化させるための方法を提供する。【解決手段】その方法によれば、ユーザは、出力画像内の選択されたエリアを拡大することができる。これにより、ユーザは、出力画像内の対象とするエリアにおいて「ズーミング」できるようになり、且つ安定化したポインタを用いて正確な選択を行うことができる。本発明の設計上の特徴によれば、大部分の従来の直接ポインティングデバイスでは不可能であった、ピクセル及びサブピクセルを正確にポインティングできるようになる。本発明は、２Ｄポインタ及び３Ｄポインタの場合に良好に機能することができる。【選択図】図１
2007052793.tif 000002
【特許請求の範囲】
【請求項１】
ポインティングデバイスによってディスプレイ表面上に表示される仮想ポインタの現在の仮想的な場所を判定すること、
前記ポインティングデバイスの姿勢に応じて、前記仮想ポインタの次の物理的な場所を判定すること、
前記現在の仮想的な場所と前記次の物理的な場所との間の距離を判定すること、
前記距離を複数の所定の閾値と比較すること、
及び
前記距離と前記所定の閾値との間の数値関係に基づいて前記仮想ポインタを動かすこと
を含む、ディスプレイ表面上にポインティングデバイスによって表示されるポインタの場所を制御するための方法。
【請求項２】
第２の閾値が第１の閾値よりも大きい場合に、前記距離が前記第１の閾値未満であるときには、前記仮想ポインタは前記現在の仮想的な場所に留まり、前記距離が前記第２の閾値よりも大きいときには、前記仮想ポインタは前記第２の閾値から前記距離を引いた値に等しい量だけ前記次の物理的な場所に向かって動き、そうでない場合には、前記仮想ポインタを或る動き量だけ前記次の物理的な場所に向かって動かす
請求項１記載の方法。
【請求項３】
前記動き量は、５ピクセル未満である
請求項２記載の方法。
【請求項４】
前記動き量は、１ピクセル未満である
請求項２記載の方法。
【請求項５】
前記ポインティングデバイスは、前記仮想ポインタを表示するように構成されるプロジェクタサブシステムを含む
請求項１記載の方法。
【請求項６】
前記ポインティングデバイスは、前記姿勢を判定するための姿勢サブシステムを含む
請求項５記載の方法。
【請求項７】
前記ポインティングデバイスは、直接ポインティングデバイスである
請求項１記載の方法。
【請求項８】
前記ポインティングデバイスは、前記ディスプレイ表面上に補正されていない出力画像を表示するように構成されるプロジェクタサブシステムを含み、前記出力画像は安定化した領域を含み、前記仮想ポインタは前記安定化した領域内に表示される
請求項１記載の方法。
【請求項９】
前記仮想ポインタは、前記ポインティングデバイスの動きに概ね追従する
請求項８記載の方法。
【請求項１０】
前記ディスプレイ表面上に出力画像を表示すること、
及び
前記出力画像の選択された領域を拡大することをさらに含む
請求項１記載の方法。
【請求項１１】
前記仮想ポインタが動くのに応じて、前記選択された領域は前記仮想ポインタを中心にして配置される
請求項１０記載の方法。
【請求項１２】
前記仮想ポインタを中心にして配置されるポインタスタビライザを表示することをさらに含む
請求項１記載の方法。
【請求項１３】
拡大の倍率は、前記ポインティングデバイスの光学軸を中心にして前記ポインティングデバイスを回転させることによって制御される
請求項１０記載の方法。
【請求項１４】
時計回りの回転は前記拡大の倍率を上げ、反時計回りの回転は前記拡大の倍率を下げる
請求項１３記載の方法。
【請求項１５】
拡大の倍率に利得係数が乗算される
請求項１０記載の方法。
【請求項１６】
前記ポインティングデバイスは、レーザポインタである
請求項１記載の方法。
【請求項１７】
前記ポインティングデバイスは、スタイラスである
請求項１記載の方法。
【請求項１８】
前記物理的な場所は３次元の場所であり、前記仮想ポインタは３次元仮想ポインタである
請求項１記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはポインティングデバイスに関し、より詳細にはハンドヘルド直接ポインティングデバイスに関する。
【背景技術】
【０００２】
ポインティングデバイス
インタラクティブアプリケーションのために、一般的に２つのタイプのポインティングデバイスが用いられる。マウス、タッチパッド及びジョイスティックのような間接ポインティングデバイスの場合、ディスプレイ表面上でのポインタの動きはポインティングデバイスの動きに対応しない。たとえば、マウスが水平方向に動くのに対して、ディスプレイ画面上のポインタ又はカーソルは垂直方向に動く。これにより、ユーザ、すなわちポインティングデバイスとアプリケーションとの間に知覚的な食い違いが生じる。レーザポインタ及びスタイラスのような直接ポインティングデバイスの場合、ポインタ、すなわち赤いドットの動きは、手の中にあるポインティングデバイスの動きに厳密に対応する。これにより、対話動作が大幅に高められる。しかしながら、直接ポインティングデバイスは手振れ（jitter）及び精度不足という問題を抱える。
【０００３】
投影デバイス
プロジェクタは、相対的に動きの少ない対象者に対して非対話形式でコンテンツを提供するための静止した出力専用デバイスとして従来から用いられてきた。しかしながら、最近になって投影技術が進歩した結果として、コスト、サイズ及び電力要件が大幅に緩和されてきた。この傾向は、今後も続くものと思われる。
【０００４】
今では、ユーザは、より対話性があり、且つ可動性のあるプロジェクタの用途を考えることができる。たとえば、プロジェクタが手持ちできるほど十分に小さく、且つ軽量であるときに生じる可能性について考える。この場合、いずれかの都合の良い表面を、コンピュータのように動作できるディスプレイとして用いることができる。携帯電話及び携帯情報端末（ＰＤＡ）等のポータブルコンピューティングデバイスで用いられる従来の小型のディスプレイ画面とは異なり、投影される画像は、２人以上が視認できるほど十分に大きい。
【０００５】
Raskar他は、プロジェクタを対話形式で使用することができる、ハンドヘルドプロジェクタのための複数のアプリケーション及び種々の興味深い方法を記述する。Raskar他著「iLamps: Geometrically Aware and Self-Configuring Projectors」（ACM Transactions on Graphics(TOG), ISSN: 0730-0301, vol. 22, issue 3, pp. 809-818, July 2003）及び（Mitsubishi Electric Research Laboratory(MERL) Technical Report, TR2003-023）、２００４年７月２０日にBeardsley他に対して発行された、「Projector as an input and output device」と題する米国特許第６，７６４，１８５号、及びRaskar他著「RFIG lamps: interacting with a self-describing world via photo-sensing wireless tags and projectors」（ACM Transactions on Graphics, 23(3), pp. 406-415, 2003）を参照されたい。
【０００６】
特に興味深いのは、キーストーン補正及び回転の問題に対する彼らの解決策である。ハンドヘルドプロジェクタとともにカメラを用いることによって、彼らはディスプレイ表面に対するプロジェクタの姿勢を判定し、その姿勢を用いて、歪み及び回転を補正し、さらにはプロジェクタの動きを抽出する。これにより、動的に更新される出力画像を、固定された場所及び向きにおいて安定して表示できるようになる。
【０００７】
ポインティングプロジェクタ
出力画像の中央にポインタ又はカーソルを表示することによって、プロジェクタを動かして、プロジェクタの出力画像内に描かれる安定化した領域にわたってポインタの動きを直に制御することができる。ポインタを直に制御し、且つプロジェクタ上のボタンを用いて、「ＷＩＭＰ」インターフェースの場合のように、全ての標準的な対話動作を実現することができる。この結果として、出力デバイス及び入力デバイスの役割を同時に果たすインタラクティブハンドヘルドプロジェクタが構成される。
【０００８】
さらに、ポインタが手の動きに直に追従するので、その対話動作は直にポインティングすることに似ており、マウス、タッチパッド、ローラボール又はジョイスティックを用いること等の他の間接ポインティングよりも間違いなく満足させることができる。
【０００９】
簡単であり、且つ直接ポインティングである点で訴えるものはあるが、この方式のインタラクティブハンドヘルドプロジェクタは、ポインタの動きの精度が不足していること、及び出力画像内の安定した画像の解像度が低いことに起因して、実用上の制約がある。
【００１０】
大画面の対話動作のための入力デバイスとしてレーザポインタを用いるいくつかの技法が知られている。C. Kirstein及びH. Muller著「Interaction with a projection screen using a camera tracked laser pointer」（Multimedia Modeling Conference., p. 191-192, 1998）、S. Matveyev及びM. Gobel著「The Optical Tweezers: multiple-point interaction technique」（Virtual Reality Software and Technology. p. 184-188, 2003）、S. Matveyev、M. Gobel及びP. Frolov著「Laser pointer interaction with hand tremor elimination」（HCI International, p. 376-740, 2003）、B. Myers、R. Bhatnagar、J. Nichols、C. H. Peck、D. Kong、R. Miller及びC. Long著「Interacting at a distance: measuring the performance of laser pointers and other devices」（ACM CHI Conference on Human Factors in Computing Systems, p. 33-40, 2002）、J.-Y. Oh及びW. Stuerzlinger著「Laser pointers as collaborative pointing devices」（Graphics Interface, p. 141-149, 2002）、D. R. Olsen及びT. Nielsen著「Laser pointer interaction」（ACM CHI Conference on Human Factors in Computing Systems, p. 17-22, 2001）、及びC. Peck著「Useful parameters for the design of laser pointer interaction techniques」（Extended Abstracts of the ACM CHI Conference on Human Factors in Computing Systems, p. 461-462, 2001）を参照されたい。
【００１１】
手振れ
レーザポインタによる対話動作は、インタラクティブハンドヘルドプロジェクションが直面するのと同じ手振れ（handheld jitter）問題によって妨げられる。Myers他は、ポインティング作業においてレーザポインタを他のデバイスと比較して、レーザポインタの動作が最低であり、予測フィルタリング後であっても、せいぜい４ピクセルの選択精度しかないという結果を得た。Oh他は、カルマンフィルタリングを用いるコンピュータ制御式レーザポインタを設計した。しかしながら、そのポインタでは、比較的大きな４０ピクセル径のターゲットを選択する際に、誤り率が依然として約４０％であった。Matveyev他は、手振れの影響を抑えるためのさらに複雑なモデルを記述するが、その手法の性能を測定するユーザデータを提供していない。Peckは、レーザポインタトラッキング偏差に対する著しい手振れの影響を記述する。Olsen他のレーザポインタ対話技法は、できる限り手振れを避けるように最適化される。
【００１２】
従来技術は、手振れの影響がデータフィルタリング技法によっては容易に解決されないことを示すように思われる。
【００１３】
遅延
さらに重要なのは、データフィルタリングを用いる技法が、目的通りに機能する場合であっても、著しい遅延を導入することである。遅延はユーザの対話動作を妨げる。すなわち、物理的なキューが知覚的なキューと一致しない。これは性能に悪影響を及ぼす。C. Ware及びR. Balakrishnan著「Reaching for objects in VR displays: Lag and frame rate」（ACM Transactions on Computer-Human Interaction, 1(4), pp. 331-356, 1994）を参照されたい。
【００１４】
ユーザ入力の速度に基づいてポインタの動き特性を変更する非線形伝達関数を用いること等の、標準的な遅延を引き起こすポインティング改善技法は、マウス、タッチパッド又はジョイスティックのような間接入力デバイスの場合には、それなりに良好に機能する。
【００１５】
しかしながら、それらの技法は、インタラクティブハンドヘルドプロジェクタ、スタイラス及びレーザポインタのような、デバイスの動きとポインタ制御とが一対一に直に対応する直接ポインティングデバイスには容易に適用することができない。それらのシナリオにおいて非線形伝達関数を用いると、デバイス位置とポインタ位置との間に動的に変化するオフセットが導入され、結果として、そのようなポインティング技法をそもそも非常に魅力のあるものにしている直接性そのものが失われる。さらに、オフセットがあまりにも大きくなる場合には、最終的には、ポインタがトラッキングエンベロープ（tracking envelope）から外れる可能性がある。
【００１６】
間接ポインティングを安定化させるために、ポインタ予測技法（pointer prediction technique）が巧みに利用されてきた。J. Baldwin、A. Basu及びH. Zhang著「Predictive windows for delay compensation in telepresence applications」（IEEE International Conference on Robotics & Automation, pp. 2884-2889, 1998）及びA. Murata著「Improvement of pointing time by predicting targets with a PC mouse」（International Journal of Human Computer Interaction, 10(1), pp. 23-32, 1998）を参照されたい。しかしながら、それらの技法は、実際のポインタ位置と、遅延が生じるときに予測されるポインタ位置との間に結果として生じる食い違いのために、直接絶対ポインティングに適用するのは難しい。
【００１７】
精度
画像内の対象とするエリアを探索するために、ズーミング技法及び拡大技法が用いられてきた。G. Furnas著「Generalized fisheye views」（ACM CHI Conference on Human Factors in Computing Systems. pp. 16-23, 1986）並びにM. Sarkar及びM. Brown著「Graphical fisheye views of graphs」（ACM CHI Conference on Human Factors in Computing Systems. pp. 83-91, 1992）を参照されたい。
【００１８】
種々のフォーカス・イン・コンテクスト（focus-in-context）技法も知られている。M. S. T. Carpendale及びC. A. Montagnese著「A framework for unifying presentation space」（ACM UIST Symposium on User Interface Software and Technology, pp. 61-70, 2001）、S. Carpendale著「A framework for elastic presentation space」（Department of Computer Science, Simon Fraser University, 1999）、J. Mackinlay、G, Robertson及びS. Card著「The perspective wall: Detail and context smoothly integrated」（ACM CHI Conference on Human Factors in Computing Systems. pp. 56-63, 1991）並びにC. Ware及びM. Lewis著「The DragMag image magnifier」（Extended Abstracts of the ACM CHI Conference on Human Factors in Computing Systems. pp. 407-408, 1995）を参照されたい。
【００１９】
別の技法はトラッキングメニューを利用する。G. Fitzmaurice、A. Khan、R. Pieke、B. Buxton及びG. Kurtenbach著「Tracking menus」（ACM UIST Symposium on User Interface Software and Technology, pp. 71-79, 2003）を参照されたい。その場合、ポインタは所定の領域内を自由に動くが、ポインタがその領域の境界を越えて動く際に、ポインタが動く方向に沿って、その領域がドラッグされる。
【００２０】
ハンドヘルドポインタの手振れ及び精度の問題を解決することが望ましい。
【発明の開示】
【発明が解決しようとする課題】
【００２１】
本発明の目的は、インタラクティブハンドヘルドポインティングデバイスで見られるいくつかの問題を解決することである。１つの問題は、画像及びポインタが、ハンドヘルドプロジェクタ、レーザポインタ又はスタイラスのような直接ポインティングデバイスによって表示されるときの手振れに起因する。この手振れによって、画像の細部を見ること、及び正確な入力を与えることが難しくなる。別の問題は、画像安定化及び画像ワーピング過程に起因して画像解像度が低下することである。
【課題を解決するための手段】
【００２２】
それゆえ、本発明は、出力画像内に表示されるポインタを安定化させるための方法を提供する。その方法によれば、ユーザは、出力画像内の選択されたエリアを拡大することもできる。これにより、ユーザは、出力画像内の対象とするエリアにおいて「ズーミング」できるようになり、且つ安定化したポインタを用いて正確な選択を行うことができる。
【００２３】
本発明の設計上の特徴によれば、大部分の従来の直接ポインティングデバイスでは不可能であった、ピクセル及びサブピクセルを正確にポインティングできるようになる。
【００２４】
本発明は、２Ｄポインタ及び３Ｄポインタの場合に良好に機能することができる。
【発明を実施するための最良の形態】
【００２５】
ポインタ用語
物理ポインタは、ディスプレイ表面において直接ポインティングデバイスによって直に投影される光による、ディスプレイ表面上で視認可能な表示物である。それゆえ、物理ポインタの物理的な場所は、直接ポインティングデバイスの姿勢に直に対応する。たとえば、レーザポインタは常に、そのポインタが向けられるスポットにおいて、物理ポインタとして赤い点を表示する。同様に、スタイラスは接触する点において入力する。
【００２６】
仮想ポインタは、直接ポインティングデバイスによってディスプレイ表面上に間接的に投影される光による、ディスプレイ表面上で視認可能な表示物である。仮想ポインタは、ポインティングデバイスの姿勢に対応しても、しなくてもよい。仮想ポインタは、プロジェクタによって生成される出力画像内の１組のピクセルである。
【００２７】
ディスプレイ表面上のポインタの物理的な場所は、ポインティングデバイスの姿勢に厳密に対応する。仮想ポインタは、その物理的な場所において表示することができる。しかしながら、これは必要条件ではない。物理ポインタは常に、その物理的な場所において表示される。
【００２８】
ディスプレイ表面上のポインタの仮想的な場所は、物理的な場所から判定することができる。仮想的な場所は、直接ポインティングデバイスの手振れ、速度及び加速度、並びにアプリケーションの制約等の他の要因を考慮することもできる。
【００２９】
マウス、タッチパッド又はジョイスティックのような間接ポインティングデバイスの場合、デバイスの姿勢及びデバイスの動きは、ディスプレイ表面上のポインタの場所に間接的にしか関連付けられない。たとえば、マウスは典型的には水平方向の平面内を動くのに対して、ポインタは垂直方向の平面内を動く。
【００３０】
直接ポインティングデバイス
図１は、本発明の一実施形態によるハンドヘルド直接ポインティングデバイス２００を示す。本発明は、プロジェクタサブシステム２５０、姿勢サブシステム２１０及びユーザ制御部２９０を含む。そのポインティングデバイスは、ディスプレイ表面１０２上に、補正されていない出力画像１０１を表示することができる。出力画像１０１は、補正され、且つ安定化した領域１０３を含む。安定化した領域内に仮想ポインタ１０４を表示することができる。仮想ポインタ１０４は、ポインティングデバイス２００の動きに概ね追従する。その動きは、手１０５又はいくつかの他の機械式プロジェクタプラットフォームによって制御することができる。
【００３１】
図２は、バス２４０によって接続される姿勢サブシステム２１０、プロジェクタサブシステム２５０、マイクロプロセッサ２１５、メモリ２２０及びＩ／Ｏインターフェース２３０を含み、全体として処理ユニットと呼ばれる、直接ポインティングデバイス２００の細部を示す。さらに細かい事柄は、参照によって本明細書に援用される米国特許第６，７６４，１８５号に記述される。
【００３２】
その処理ユニットは、その電子工学的な構造においては従来通りであるが、本明細書に記述される方法ステップを実行するときの動作に関しては従来とは異なる。ネットワークサブシステム２７０によって、そのプロジェクタは、他の類似のデバイス、若しくは他のコンピューティングデバイス及びメモリとローカル通信又はリモート通信できるようになる。それゆえ、そのネットワークシステムは、通信媒体に応じて、アンテナ又は赤外線トランシーバに接続することができる。ネットワーク接続は有線にすることもできる。制御部２９０を用いて、入力を与えることができる。
【００３３】
姿勢サブシステム２１０は、ディスプレイ表面１０２に対するプロジェクタの姿勢を判定する。さらに細かい事柄については、参照によって本明細書に援用される、２００４年１１月２日にRaskar他に対して発行された、「Geometrically Aware Projector」と題する米国特許第６，８１１，２６４号を参照されたい。姿勢は、３Ｄ位置及び３Ｄ向きを意味する。
【００３４】
姿勢サブシステムは、カメラサブシステム２０８、動き検出器、加速度計、傾斜センサ等２０９を含むことができる。
【００３５】
そのポインティングデバイスは、４つのレーザポインタ２１１も備えることができる。レーザポインタは、ディスプレイ表面上の実際の場所に、レーザドット１０７の形で物理ポインタを投影する。カメラサブシステム２０８は、ドット１０７の物理的な場所を観測し、ポインティングデバイスの姿勢を判定することができる。
【００３６】
別法では、ディスプレイ表面１０２は、参照によって本明細書に援用される、２００５年２月１０日にLee他によって出願された、「Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces」と題する米国特許出願第２００５／００３０４８６号に記述されるような機器を備えることができる。
【００３７】
別の方法では、ディスプレイ表面は、視角位置マーカ２１７を含む。上記の方法のいずれかを用いて、ディスプレイ表面に対するポインティングデバイスの３Ｄ姿勢、すなわち３Ｄ位置及び３Ｄ向きを判定することができる。その姿勢から、本方法は回転、動き及び歪みを補正して、安定した領域１０３を生成することができる。
【００３８】
ポインタに基づく対話動作は、補正されていない出力画像１０１の中央に仮想ポインタ１０４を投影することによって達成される。最終的に、出力画像内に安定した領域がもたらされ、ポインタが手１０５の動きに応じて動くようになる。
【００３９】
ポインタ手振れ
上記のような姿勢情報によって、手振れのある出力画像１０１内に安定した領域１０３を生成できるようになるが、出力画像の中央にマッピングされるポインタは、依然として手振れの影響を受けやすい。これにより、正確なポインティングが難しくなる。この問題は、物理ポインタを投影するにしても、仮想ポインタを投影するにしても、全ての直接フリーハンドポインティングデバイスに固有の問題である。
【００４０】
この問題は、従来技術のシステムに固有の遅延を生じることなく、ポインタ安定化方法を用いて補正される。
【００４１】
ピクセル損失
出力画像内に安定した領域を表示するための上記の技法は、補正されていない出力画像のいくつかのピクセルを無駄にする。図１に点描される、安定した領域１０３の外側にある全てのピクセルは基本的には無駄にされる。これは、歪んでいる可能性がある出力画像内に長方形の表示領域を描く必要があるという事実による。参照によって本明細書に援用される、２００４年５月４日にRaskar他に対して発行された、「Method for determining a largest inscribed rectangular image within a union of projected quadrilateral images」と題する米国特許第６，７２９，７３３号を参照されたい。
【００４２】
それに加えて、仮想ポインタ１０４の動きに対応するために、複数のピクセルが無駄にされる。たとえば、出力画像１０１の中央に表示される仮想ポインタが、最も直接的な一対一マッピングにおいて安定した画像１０３の全範囲を横断できるようにするためには、安定した領域１０３のピクセルの数は、出力画像１０１内のピクセルの数の約１／４未満でなければならない。安定した領域が含むピクセルが少ないので、安定した領域の解像度が低くなり、細部を視認し、ポインタを正確に位置付けることがさらに困難になる。
【００４３】
この問題は、画像拡大法で補正される。
【００４４】
ズーム・アンド・ピック（zoom-and-pick）
インタラクティブハンドヘルドプロジェクタの手振れ及び解像度の両方の制約を緩和するために、本発明は、遅延を導入することなく、ポインタの手振れを除去し、且つ出力の部分を選択的に拡大する方法を提供する。その方法によって、ユーザは、表示される画像内の対象とするエリアを拡大し、その後、高い精度で、且つ手振れを生じることなく対象とするエリア内のピクセルを指示できるようになる。
【００４５】
本方法は、インタラクティブハンドヘルドプロジェクタを参照しながら記述されるが、本方法は、直接レーザプロジェクタ、及び個別のポインティングデバイスとともに用いられる従来の静止したプロジェクタにも適用できることは理解されたい。
【００４６】
拡大
図３Ａは、チェッカーボードパターンとして安定した領域１０３のピクセル３００を概略的に示す。その概略図は、以下にさらに詳細に記述されるポインタスタビライザ（pointer stabilizer）４００も示す。その方法は、仮想ポインタ１０４を中心にして配置される、安定した画像１０３の第１の部分３０１を一様に拡大する。第２の部分３０２が徐々に拡大される。第２の部分の目的は、第１の拡大された部分と、出力画像の残りの拡大されていない部分との間の視覚的な連続性及びコンテクストを与えることである。
【００４７】
拡大のレベルは、以下に記述される「ズーム」機能を用いて調整することができる。拡大される部分３０１及び３０２は、仮想ポインタ１０４が動くときに、そのポインタに追従する。これにより、ポインタ付近の解像度を高めて表示することができ、正確に選択できるようになる。
【００４８】
図３Ｂは、１つの例示的なアプリケーションの部分的に拡大された出力画像を示す。
【００４９】
図４に示されるように、ポインタスタビライザ４００は、外側境界４１０及び内側境界４２０を含むように画定される。内側境界と外側境界との間のエリアは、ポインタスタビライザの縁４２５として示される。
【００５０】
黒色及び白色の「チェッカーボード」の桝目４４０はピクセルを表す。ポインタスタビライザの内側部分の差渡しは約５ピクセル又はそれ以下である。これは、避けられない手振れに起因するポインタ移動の典型的な量に相当する。
【００５１】
外側境界と内側境界との間の距離４３０は、ポインタのサンプリング速度に基づく。サンプリング速度が速い場合には、その距離は短くすることができ、サンプリング速度が遅い場合には、その距離は長くされる。ポインタスタビライザのためのサイズは個々のアプリケーションに合わせることができることに留意されたい。
【００５２】
ポインタスタビライザは表示される必要はないことに留意されたい。すなわち、ポインタスタビライザは、一定の特性を有する画定された領域として存在する。
【００５３】
ポインタスタビライザ
ポインタスタビライザ４００は、仮想ポインタ１０４を中心にして配置される。経路４５０は、本明細書において記述されるようにポインタが安定化していない場合の、ポインタの手振れによる動きを示す。その経路上の黒い点４５１は、手振れに起因するポインタの一連の瞬間的な実際の物理的位置を示すであろう。しかしながら、その経路が内側境界４２０内に留まる限り、仮想ポインタ１０４は、静止した仮想的な場所において、ポインタスタビライザ４００の中央に表示される。これにより、望ましくない短距離の手振れが除去される。すなわち、ポインティングデバイスの姿勢を反映するような物理ポインタの動きが第１の閾値、すなわち第１の境界までの距離より短い場合には、仮想ポインタ１０４は動かされることはなく、ポインタの仮想的な場所はポインタスタビライザの中央にある。
【００５４】
しかしながら、ユーザが内側境界及び外側境界を超えてプロジェクタを迅速に動かし、ポインタが物理的な場所４６０まで動くことになる場合には、ポインタスタビライザは、内側境界が物理的な場所４６０に接触するように、その動きの方向に動かされ、それに応じて、仮想ポインタ１０４の位置が、その新たな場所においてポインタスタビライザの中央に調整される。これにより、長距離の手振れの影響が除去される。
【００５５】
ユーザがポインタをゆっくり動かし、ポインタが外側境界と内側境界との間にある縁４２５上の或る場所４７０に存在することになる場合には、ポインタスタビライザは、ポインティングデバイスの方向の動き量だけ動かされる４７１。典型的には、その動き量はわずかな数のピクセルに等しいか、又はその量は１つのピクセルの数分の一である。たとえば、その動き量は約５ピクセル又はそれ以下である。これにより、ハンドヘルドポインタのためにピクセルレベルの精度を実現できるようになる。これは、マウスのような間接ポインティングデバイスの場合であっても達成するのが難しい。ポインタを位置付けるときにサブピクセルレベルの精度を実現できるようにするために、この動きをさらに小さくすることもできる。
【００５６】
実際の実施態様では、ポインタスタビライザは、ユーザに対して表示される必要はなく、意外なことに、それでもユーザは、ハンドヘルドプロジェクタを用いて、表示される画像とのより良好な対話動作を享受する。
【００５７】
ポインタスタビライザの内側境界と外側境界との間の距離は１ピクセルよりも大きいことが好ましいことに留意されたい。その距離が拡大の倍率（amount）及びポインタのサンプリング速度に比例する場合には、最良の結果が得られる。
【００５８】
ポインタの動き、すなわちハンドヘルドプロジェクタの揺れが個別にサンプリングされるので、本方法は良好に機能する。そのポインタは、ポインティングデバイスがサンプリング速度よりも速く動かされるときにのみ、ポインタスタビライザの外側境界を超えて動くことができる。
【００５９】
それゆえ、本発明は、拡大とともに、遅延を生じることなくポインタの細かい及び粗い位置付けを提供する。
【００６０】
ズーム
図５Ａに示されるように、ｘ方向５０１におけるポインタの動きは、プロジェクタを左右に動かすことによって、又は偏揺れさせることによって達成することができる。プロジェクタを上下に動かすこと、又は縦揺れさせることによって、ポインタはｙ方向５０２に沿って動かされる。光学軸又はｚ軸５１０を中心にしてプロジェクタを回転させること５０３（横揺れさせること）によって、拡大又はズームが制御される。その光学軸は、ディスプレイ表面１０２の平面に対して概ね垂直であるものと仮定される。従来のプロジェクタの場合、ズームは、レンズを回転させることだけによって制御される。対照的に、本発明の一実施形態によるポインティングデバイスは、デバイス全体を回転させることによって、ズーム又は拡大を制御する。その回転は、プロジェクタの姿勢から判定することができる。時計回りの回転は拡大の倍率を上げることができ、反時計回りの回転は、拡大の倍率を下げることができ、その逆も可能である。こうして、ユーザには、回転による拡大又はズームの効果が自然に見える。
【００６１】
図５Ｂに示されるように、この技法は、この技法を用いなければズーム機能を含まないデバイスの場合にも用いることができる。たとえば、本明細書において記述されるようにレーザ全体を回転させることによって、レーザポインタ５５０にズーム効果を与えることができる。
【００６２】
図５Ｃは、回転したポインティングデバイスの正面図である。
【００６３】
回転の角度量によって拡大効果をさらに助長することができる。ポインティングデバイス（プロジェクタ）がその標準的な向き、すなわち０°に保持される場合には、拡大されない。０°から５°まで回転する場合も、拡大への影響はない。拡大の全範囲は５°から約４５°まででもたらされる。手首は約１８０°まで難なく回転できることに留意されたい。最大の回転時には、倍率は約２５×の利得係数である。したがって、回転時の利得は、ユーザが扱いにくい位置にポインティングデバイスを保持することを要求しない。これは、最大の「ズーム」効果を得るために、何周も回転させることが必要な場合もある従来のズームレンズとは対照的である。
【００６４】
これは、ユーザが或る細部において迅速にズームし、ポインタで選択を行い、その後、ポインティングプロジェクタを標準的な位置に戻して、標準的な動作を再開するのに好都合である。
【００６５】
別の実施形態では、回転角を多数の区域に分割して、ズーミングに細かい粒状度及び粗い粒状度、並びに、おそらく無限のズーミング能力を与えることができ、表示される画像のサイズを、その標準的なフォームファクタをはるかに超えて増減することさえできるかもしれない。回転速度を用いて、ズーミングの量を制御することもできる。
【００６６】
別の実施形態では、「ラチェット」ズーミングが用いられる。たとえば、ポインティングデバイスを時計回りにゆっくり回転させ、その後、反時計回りにわずかな角度だけ迅速に反転させ、さらにその後、ゆっくりと時計回りに回転させることにより、ズーミング係数が実質的に連続して増加又は「クランクアップ」される。
【００６７】
図６に示されるように、ポインタスタビライザ領域の効果は精緻化することができる。代替の実施形態では、第１の境界と第２の境界との間の縁４２５が、異なる幅を有するセクタ６０１及び６０２に分割される。ポインタが太いセクタ６０１の中に動かされるとき、ポインタスタビライザ領域は、１ピクセルに相当する距離だけ動かされる。ポインタが広いセクタ６０２の中に動かされるとき、ポインタスタビライザ領域は「ドラッグ」される。
【００６８】
図７は代替の実施形態を示す。先に述べられたように、その縁は多数のセクタ、たとえばセクタ７１０及び７２０に分割される。各セクタはポインタに異なる作用を及ぼす。実際のポインタ７０１がセクタ７１０の中に動かされるとき、回転が拡大レベルの線形な位置制御にマッピングされる。セクタ７２０では、拡大の増加率が制御される。切り抜かれたセクタ７３０は「デッドゾーン」を指示しており、回転が何の作用も及ぼさない。したがって、ポインティングデバイスが概ね垂直な向きに保持される限り、拡大されない。回転範囲から外れたセクタ７４０も作用を及ぼさない。
【００６９】
ラチェット拡大が実施される場合には、点線７５０の方向に動かすことによりズームされ、破線７５１の方向に反転させることにより停止される（ratchet）。
【００７０】
安定化方法
図８は、本発明の一実施形態による安定化方法のステップを示す。最初に、仮想ポインタ１０４の現在の仮想的な場所と、姿勢サブシステム２１０によって判定されるような次の物理的な場所との間の距離ｄ１を判定する（８１０）。仮想ポインタはポインタスタビライザ４００の中央に表示される。次に、距離ｄ１が、内側境界４２０への径方向距離に等しい第１の閾値Ｔ１未満であるか否かを判定する。真である場合には、何も行わない（８３０）。すなわち、仮想ポインタ１０４は所定の位置に安定化したままであり、直接ポインティングデバイスの動きが手振れによるものと推定される。
【００７１】
そうではなく、偽である場合には、距離ｄ１が、外側境界４１０への径方向距離に等しい第２の閾値Ｔ２よりも大きいか否かを判定する（８４０）。真である場合には、仮想ポインタを物理的な場所に向かって量（ｄ１−Ｔ１）だけ動かす（８５０）。すなわち、仮想ポインタは、新たな仮想的な場所に動かされ、ポインタスタビライザが再び、その場所を中心にして配置される。
【００７２】
そうではなく、偽である場合には、仮想ポインタを物理的な場所に向かって動き量Ｍだけ動かす（８６０）。動き量Ｍは、所望の精度、たとえば１ピクセル、２ピクセル、又は１ピクセルの数分の一に等しい。この場合、ポインタは縁エリア４２５の中に動かされており、正確に動かすことが望ましい。これは、第２の閾値が第１の閾値よりも少なくとも量Ｍ、すなわちＴ２−Ｔ１＞Ｍだけ大きいことを意味する。
【００７３】
本発明の一実施形態では、上記の安定化方法は、３次元の位置入力を与える入力デバイスで用いるために拡張される。そのような３Ｄ入力デバイスは３Ｄディスプレイで用いることができ、たとえば、そのディスプレイ表面は曲面を成しており、すなわちドーム形である。別法では、ディスプレイ表面は依然として２次元であるが、バーチャルリアリティディスプレイの場合のように、その表面に表示される画像が３次元であるように見える。すなわち、それらの画像は遠近法に従う。こうして、ユーザは、ディスプレイ表面に対して前後にポインティングデバイスを動かすことによって、ポインタを深さ方向に位置付けることができる。
【００７４】
この実施形態では、ポインティングデバイスは、ディスプレイ表面上で３Ｄポインタの位置を制御し、ポインタスタビライザは２つの同心球、すなわち内側球及び外側球の形をとる。
【００７５】
この変形形態では、最初に、３Ｄ入力デバイスによって与えられる次の３Ｄの物理的な場所と、３Ｄポインタスタビライザの中央にある３Ｄポインタの現在の３Ｄの仮想的な場所との間の距離ｄ１が判定される。次に、距離ｄ１が、内側球の径方向距離に等しい第１の閾値Ｔ１未満であるか否かが判定される。真である場合には、何も行わない。すなわち、仮想３Ｄポインタは所定の位置に安定化したままであり、その動きは手振れによるものと推定される。
【００７６】
そうではなく、偽である場合には、距離ｄ１が、外側球への径方向距離に等しい第２の閾値Ｔ２よりも大きいか否かが判定される。真である場合には、仮想ポインタが物理的な場所に向かって量（ｄ１−Ｔ１）だけ動かされる。すなわち、仮想３Ｄポインタが新たな場所に動かされ、ポインタスタビライザが再び、その３Ｄの場所を中心にして配置される。
【００７７】
そうではなく、偽である場合には、仮想ポインタが物理的な場所に向かって動き量Ｍだけ動かされる。動き量Ｍは、所望の精度、たとえば１ピクセル、２ピクセル、又は１ピクセルの数分の一に等しい。この場合、ポインタは縁エリアの中に動かされており、正確に動かすことが望ましい。
【００７８】
本発明が好ましい実施形態を例示することにより記述されてきたが、種々の他の変形及び変更を本発明の精神及び範囲内で行うことができることは理解されたい。それゆえ、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入る、全てのそのような変形及び変更を網羅することである。
【図面の簡単な説明】
【００７９】
【図１】本発明の一実施形態によるハンドヘルド直接ポインティングプロジェクタの略図である。
【図２】図１のポインティングプロジェクタのブロック図である。
【図３Ａ】本発明の一実施形態による部分的に拡大された出力画像である。
【図３Ｂ】本発明の一実施形態による部分的に拡大されたアプリケーション画像である。
【図４】本発明の一実施形態によるポインタスタビライザの動きの略図である。
【図５Ａ】本発明の一実施形態による回転式ポインタプロジェクタのブロック図である。
【図５Ｂ】本発明の一実施形態による回転式ポインタのブロック図である。
【図５Ｃ】本発明の一実施形態による回転式ポインティングプロジェクタの正面図である。
【図６】本発明の一実施形態による、セグメント化されたポインタスタビライザの略図である。
【図７】本発明の一実施形態による、セグメント化されたポインタスタビライザの略図である。
【図８】本発明の一実施形態による方法の流れ図である。
【図１】
2007052793.tif 000003
【図２】
2007052793.tif 000004
【図３Ａ】
2007052793.tif 000005
【図３Ｂ】
2007052793.tif 000006
【図４】
2007052793.tif 000007
【図５Ａ】
2007052793.tif 000008
【図５Ｂ】
2007052793.tif 000009
【図５Ｃ】
2007052793.tif 000010
【図６】
2007052793.tif 000011
【図７】
2007052793.tif 000012
【図８】
2007052793.tif 000013
【外国語明細書】
2007052793.tif 000014
2007052793.tif 000015
2007052793.tif 000016
2007052793.tif 000017
2007052793.tif 000018
2007052793.tif 000019
2007052793.tif 000020
2007052793.tif 000021
2007052793.tif 000022
2007052793.tif 000023
2007052793.tif 000024
2007052793.tif 000025
2007052793.tif 000026
2007052793.tif 000027
2007052793.tif 000028
2007052793.tif 000029
2007052793.tif 000030
2007052793.tif 000031
2007052793.tif 000032
2007052793.tif 000033
2007052793.tif 000034
2007052793.tif 000035
2007052793.tif 000036
2007052793.tif 000037
2007052793.tif 000038
2007052793.tif 000039
2007052793.tif 000040
2007052793.tif 000041
2007052793.tif 000042
2007052793.tif 000043
2007052793.tif 000044
2007052793.tif 000045
2007052793.tif 000046
2007052793.tif 000047
2007052793.tif 000048
2007052793.tif 000049
2007052793.tif 000050