(57)【要約】【課題】  大画面化、高解像度の画面上および仮想空間内のＧＵＩ環境下において、マウス，３Ｄトラッカー等のポインティング操作の時間を短縮できるインターフェイスを提供する。【解決手段】  ポインティング操作において、ポインタ移動中のピーク速度とその時点でのターゲットまでの距離に相関があり、ピーク速度からターゲットまでの距離を求め、ポインタ位置、方向とからターゲット位置を予測することで、ポインティング操作時に、ユーザがポインタを移動させたいオブジェクト位置を、システム側が操作完了前に予測できることにより、その場所に存在するアイコンが示すアプリケーションを起動し始める等して、作業時間を短縮できるシステムを構築する。【選択図】図１
2005352738.tif 000002
【特許請求の範囲】
【請求項１】
情報端末装置の画面上でマウスなどのポインティングデバイスを操作してマウスカーソルなどのポインタを移動させる場合または仮想現実空間内で３次元トラッカーなどを操作してポインタを移動させる場合において、
前記ポインタ位置もしくはポインタ速度の情報を取り込み、
２）前記ポインタ速度が増加から減少に転じる点としてポインタ速度の極大値（ピーク速度）を検出し、
３）前記ピーク速度からターゲットまでの予測距離を１次相関関数によって算出し、
４）前記ターゲットまでの予測距離とピーク速度時のポインタ位置とポインタ移動方向からターゲット予測位置を算出し、
前記ターゲット予測位置から一定範囲に存在するオブジェクト（アイコンなど）のうち１のオブジェクトを選択できることを特徴とするポインティング操作システム。
【請求項２】
前記ポインタ速度の極大値（ピーク速度）が検出される度にターゲット位置を予測するが、前記ポインタ速度の極大値（ピーク速度）を検出する手段において、複数の極大値が検出された場合に、２回目以降に検出した極大値がそれ以前の極大値より小さかった場合には、その値をピーク速度として採用しないことを特徴とする前記請求項１記載のポインティング操作システム。
【請求項３】
前記ピーク速度の時のポインタの速度ベクトルを画面上若しくは空間内のＸ軸方向とＹ軸方向とＺ軸方向の成分にベクトル分解し、各方向毎にターゲットまでの距離を予測し、ターゲットの予測位置を算出することを特徴とする前記請求項１および２記載のポインティング操作システム。
【請求項４】
前記ターゲットの予測位置から一定範囲に存在するオブジェクトのうち１のオブジェクトを選択できた場合に、選択されたオブジェクトに応じたアプリケーションプログラムを自動的に起動することを特徴とする前記請求項１乃至３記載のポインティング操作システム。
【請求項５】
前記ターゲットの予測位置から一定範囲に存在するオブジェクトのうち１のオブジェクトを選択できた場合に、選択されたオブジェクトの位置にポインタを自動的に移動させることを特徴とする前記請求項１乃至３記載のポインティング操作システム。
【請求項６】
前記ターゲットの予測位置から一定範囲に存在するオブジェクトのうち１のオブジェクトを選択できた場合に、選択されたオブジェクトのアイコンの形態を変化させることを特徴とする前記請求項１乃至３記載のポインティング操作システム。
【請求項７】
前記ピーク速度からターゲットまでの距離を予測する場合において、個々のユーザ毎にピーク速度からターゲットまでの距離を求める換算式の係数を、予め数回の試行によって決定するキャリブレーション機能を有することを特徴とする前記請求項１記載のポインティング操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報端末装置の画面上または仮想現実空間内でのポインティング操作予測技術に関し、特にマウス、三次元トラッカー等のポインティングデバイスの操作に関するものである。
【背景技術】
【０００２】
近年、情報処理装置画面は大画面化、高解像度のディスプレイが採用されている。このようなＧＵＩ（Graphical User Interface）環境下では、ポインティング操作に必要な時間が増加する傾向にあり、今後この傾向は益々顕著になると推定される。このためマウス等のポインティング操作の時間を短縮できるインターフェイスが必要とされる。
【０００３】
従来、現在のポインタの位置を元にその近傍領域を検索領域とし、検索領域範囲内に操作対象となるオブジェクトが存在するかをチェックし、存在する場合に自動的にそのオブジェクトの位置にポインタを移動させるものがあった（特許文献１）。
【０００４】
また、画面上のポインタ移動方向を示す直線上に操作対象となるオブジェクトが存在するかをチェックし、存在する場合に自動的にそのオブジェクトの位置にポインタを移動させるものがあった（特許文献２）。
【０００５】
また、画面上でポインタを移動させる場合に、ポインタの位置、移動方向、および移動速度の情報に応じて、ポインタの移動先の検索範囲を想定し、検索範囲内から現在のポインタ位置に最も近い位置にあるオブジェクトを移動先オブジェクトと予測し、ポインタを自動的に移動させるものがあった（特許文献３）。
【０００６】
さらに、あらかじめマウスの速度プロファイル関数を準備し、マウスの動き出し速度の傾きから最も近似する速度プロファイル関数を抽出して、それに基づき移動先オブジェクトと予測し、ポインタを自動的に移動させるものがあった（特許文献４）。
【０００７】
【特許文献１】特開平８−７６９５６号公報
【特許文献２】特開平６−８３５４０号公報
【特許文献３】特開平１０−２２２３０７号公報
【特許文献４】特開平９−２４４８０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
第１の課題は、上記特許文献１に記載されている技術において、現在のポインタ位置の近傍を検索領域とする方法では、ユーザがポインタを移動させたいオブジェクトと現在のポインタ位置との距離が大きい場合、多くの回数のポインティングデバイス操作が必要となり、操作性が好ましくないことである。
【０００９】
第２の課題は、上記特許文献２に記載されている技術において、現在のポインタ移動方向の延長線上にオブジェクトを検索する方法では、ユーザがポインタを移動させたいオブジェクトと現在のポインタ位置との距離が小さい場合、ポインタを移動させたいオブジェクトが現在のポインタ位置の近くにあるにもかかわらずポインタを移動させる方向によっては全く目的としていない離れたオブジェクトへポインタが移動してしまう可能性があり、操作性が好ましくないことである。
【００１０】
第３の課題は、上記特許文献３に記載されている技術において、ポインタの移動速度の情報に応じてポインタの移動先の検索範囲を想定しオブジェクトを予測する方法では、移動速度に応じて検索範囲を広げ設定するため、ユーザがポインタを移動させたいオブジェクトと現在のポインタ位置との間に別のオブジェクトが存在すれば、オブジェクトの選択ができず、操作性が好ましくないことである。
また、特許文献３に開示されている方法では、移動速度が０になったとき、すなわち、速度プロファイルが完結したときに予測動作が行われるため、予測するためにはマウスなどのポインティングデバイス操作を必ず停止させる必要があった。
さらに、特許文献３に開示されている方法では、ポインタ移動方向がポインタの停止直前の移動方向の延長線上になるため、素早くポインティングデバイスを操作している場合には、停止直前の移動方向はノイズが多くなり、ターゲットオブジェクトの方向と一致しない場合が多い。
【００１１】
第４の課題は、上記特許文献４に記載されている技術において、速度プロファイルを使っているが、今の動きがどの速度プロファイルと似ているかを動き始めの移動速度の立ち上がりにより判断しているため、ブレや誤差が大きくなっていることである。最初の動きだしではノイジィであり、特に人のうごきはジャギーに動くため、最初の動きで判断する方法は好ましくない。
また、あらかじめ状況に応じた速度プロファイルの関数群を用意しておく必要があった。
【課題を解決するための手段】
【００１２】
本発明者はヒューマンインターフェイスについて鋭意に研究を行った結果、ポインティング操作時に、ユーザがポインタを移動させたいオブジェクト位置を、システム側が操作完了前に予測できることにより、その場所に存在するアイコンが示すアプリケーションを起動し始める等して、作業時間を短縮し、また、ユーザの作業負担を軽減できる可能性があり、非常に有効であることを知見した。
【００１３】
また、本発明者は、ポインティング操作において、ポインタ移動中のピーク速度とその時点でのターゲットまでの距離に相関があることに着目した。すなわち、下記式により、ポインタ移動中のピーク速度とその時点でのターゲットまでの距離を表すことができ、下記式を利用して、ピーク速度からターゲット位置を予測できることを知見し、本発明を完成するに至った。
【００１４】
（数１）
ターゲットまでの予測距離＝ａ×ピーク速度＋ｂ
【００１５】
ここで、ａ、ｂはキャリブレーションなどの試行により求まるパラメータ係数であり、ポインティング操作を行う個々の操作者によって異なる値をとる。
【００１６】
本発明に係るポインティング操作システムの第１の観点によれば、「情報端末装置の画面上でマウスなどのポインティングデバイスを操作してマウスカーソルなどのポインタを移動させる場合または仮想現実空間内で３次元トラッカーなどを操作してポインタを移動させる場合において、前記ポインタ位置もしくはポインタ速度の情報を取り込み、前記ポインタ速度が増加から減少に変化する点としてポインタ速度の極大値（ピーク速度）を検出し、前記ピーク速度からターゲットまでの予測距離を１次相関関数によって算出し、前記ターゲットまでの予測距離とピーク速度時のポインタ位置とポインタ移動方向からターゲット予測位置を算出し、前記ターゲット予測位置から一定範囲に存在するオブジェクト（アイコンなど）のうち１のオブジェクトを選択できる」機能が提供される。
【００１７】
ここで、１次相関関数とは上述の数１で示される数式である。ピーク速度を三次元ベクトルで示すことにより、二次元の情報端末画面上のみならず、三次元の仮想空間内でのポインティングデバイスに適用できる。
【００１８】
また、ターゲット予測位置から一定範囲に存在するオブジェクトとは、ターゲット予測位置から一定距離範囲内にあるアイコンなどのオブジェクトをいう。この一定距離を決定するパラメータは分解能に密接に影響するため可変パラメータとしている。
【００１９】
また、一定範囲に存在するオブジェクト（アイコンなど）のうち１のオブジェクトを選択する方法は、例えば、ターゲット予測位置から最も近いオブジェクトを選択したり、また、使用頻度の高いものを選択したり、その時の状況やコンテキストに合ったオブジェクトを選択したりするなどの方法が考えられる。
【００２０】
本発明に係るポインティング操作システムの第２の観点によれば、前記第１の観点において、「ポインタ速度の極大値（ピーク速度）が検出される度にターゲット位置を予測するが、ポインタ速度の極大値（ピーク速度）を検出する手段において、複数の極大値が検出された場合に、２回目以降に検出した極大値がそれ以前の極大値より小さかった場合には、その値をピーク速度として採用しない」機能が提供される。
【００２１】
操作途中の最加速や手の震えなどにより複数の極大値が検出されると考えられるためである。
【００２２】
本発明に係るポインティング操作システムの第３の観点によれば、前記第１および第２の観点において、「ピーク速度の時のポインタの速度ベクトルを画面上若しくは空間内のＸ軸方向とＹ軸方向とＺ軸方向の成分にベクトル分解し、各方向毎にターゲットまでの距離を予測し、ターゲットの予測位置を算出する」機能が提供される。
【００２３】
素早くポインティングデバイスを操作している場合には、停止直前の移動方向はノイズが多くなり、ターゲットオブジェクトの方向と一致しない場合が多いことを考慮して、軸方向にポインタ速度成分を分解し、ピーク速度時におけるポインタ軌道の接線方向を移動方向と認識することにより、ターゲット予測位置のブレを最小限に抑えることとするものである。
【００２４】
本発明に係るポインティング操作システムの第４の観点によれば、前記第１から第３の観点において、「ターゲットの予測位置から一定範囲に存在するオブジェクトのうち１のオブジェクトを選択できた場合に、選択されたオブジェクトに応じたアプリケーションプログラムを自動的に起動する」機能が提供される。
【００２５】
本発明に係るポインティング操作システムの第５の観点によれば、前記第１から第３の観点において、「ターゲットの予測位置から一定範囲に存在するオブジェクトのうち１のオブジェクトを選択できた場合に、選択されたオブジェクトの位置にポインタを自動的に移動させる」機能が提供される。
【００２６】
本発明に係るポインティング操作システムの第６の観点によれば、前記第１から第３の観点において、「ターゲットの予測位置から一定範囲に存在するオブジェクトのうち１のオブジェクトを選択できた場合に、選択されたオブジェクトのアイコンの形態を変化させる」機能が提供される。
【００２７】
本発明に係るポインティング操作システムの第７の観点によれば、前記第１の観点において、「ピーク速度からターゲットまでの距離を予測する際に、個々のユーザ毎にピーク速度からターゲットまでの距離を求める換算式の係数を、予め数回の試行によって決定する」キャリブレーション機能が提供される。
【発明の効果】
【００２８】
本発明に係るポインティング操作システムによれば、ユーザがポインタを移動させたいオブジェクトと現在のポインタ位置との距離が大きい場合においても、少ない回数のポインティングデバイス操作で十分であり、操作性が向上する。
【００２９】
また、本発明に係るポインティング操作システムによれば、ポインタを移動させたいオブジェクトが現在のポインタ位置の近くにある場合、通常、ポインティングデバイスを緩慢に操作することとなり、ピーク速度が小さくなり、ターゲット予測位置は近傍となるため、全く目的としていない離れたオブジェクトへポインタが移動してしまう可能性はなく、操作性が向上する。
【００３０】
また、本発明に係るポインティング操作システムによれば、ユーザがポインタを移動させたいオブジェクトと現在のポインタ位置との間に別のオブジェクトが存在しても、オブジェクトの選択ができないということはない。また、速度プロファイルが完結する前に予測が行えるため、より迅速なポインティング操作に対応できる。
【００３１】
さらに、ポインティング操作のピーク時速度から直接ポインティング予想位置を算出できるため、あらかじめ速度プロファイルの関数群を用意しておく必要はない。
【発明を実施するための最良の形態】
【００３２】
以下に本発明の実施形態を説明するが、本発明は特にこれらに限定されるものではない。
【実施例１】
【００３３】
以下、情報端末装置の画面上のターゲット位置予測を用いたポインティング操作に関して、処理フロー図を示しながら詳細に説明する。通常、情報端末装置のＧＵＩ環境下では、代表的にはマウスで、画面上のポインタ操作を行っている。操作者はポインタの行き先ターゲットを確認しながら、そのターゲット位置にポインタを近づけるように操作する。
【００３４】
本発明者は、ポインティング操作において、ポインタ移動中のピーク速度とその時点でのターゲットまでの距離に相関があることを知見し、ピーク速度からターゲット位置を予測することで、ポインティング操作時間やターゲットのオブジェクトに対するアクション時間（例えば、アプリケーション・プログラムの起動時間）を短縮できるポインティング操作システムを完成した。
【００３５】
本実施例に係るポインティング操作システムは、２つのプロセスから構成されている。１つは時々刻々と変化するポインタの変化を検知するプロセスで、具体的には、１０ｍｓで周期的にマウスの位置座標を読み取るプログラムである。また、もう１つは、周期的にターゲット位置予測アルゴリズム処理を行うプロセスで、具体的には、マウスの位置座標を読み取るプログラムより遅い周期、例えば、１００ｍｓでターゲット位置予測アルゴリズム処理を行うプログラムである。
【００３６】
図１にターゲット位置予測のアルゴリズムを示す。ターゲット位置予測アルゴリズムは、時々刻々と変化するマウスポインタの位置座標から、ポインタのピーク速度を算出して、そのピーク速度からターゲットまでの距離を相関関数により算出し、ピーク速度を検出したときのポインタの座標および進行ベクトルから、ターゲット位置を予測している。
【００３７】
ターゲット位置予測のアルゴリズムでは、初期化処理としてピーク速度を初期化して、図１の処理１〜４をポインティングタスク（ターゲット位置予測アルゴリズム処理を行うプログラム）が終了するまで周期的に繰り返す。ポインタのピーク速度検出処理１は、ピーク速度を検出し，ピーク速度，ピーク位置，ピーク方向を求めている。次に、ターゲット位置予測処理２は、求めたピーク速度，ピーク位置，ピーク方向からターゲット位置を予測している。そして、オブジェクト推定処理３は、ターゲット予測位置から一定範囲内の距離にあるオブジェクトの中でターゲット予測位置に最も近いオブジェクトをターゲットと推定している。また、オブジェクト選択処理４は、選択されたオブジェクトに対して、例えば、起動命令を実行する処理である。また、起動と同時に、若しくは起動は行わずに、選択されたオブジェクトのアイコンの形態を変化させることでもよい。
【００３８】
図２は、ポインティング操作システムのピーク速度検出処理のフローチャートを示している。以下、ピーク速度検出処理について説明する。ステップＳ２０１は、用いられる変数を初期化している。ステップＳ２０２は、マウス等のポインティングデバイスからのシグナルを検知することにより、ポインタが移動したか否かを判定している。ステップＳ２０３は、サブルーチン関数である現在位置（ ），現在時刻（ ）を用いて、ポインタの位置と時刻を求め、それぞれ位置Ｂ，時刻Ｂとしている。これら、現在位置（ ），現在時刻（ ）は、処理をおこなうコンピュータのＯＳ（オペレーティングシステム）等により提供されるものである。ステップＳ２０４は、位置Ａが初期値であれば、ステップＳ２０８により、位置Ｂ，時刻Ｂを位置Ａ，時刻Ａに代入する。そして、ステップＳ２０５で、位置Ａと位置Ｂの２点間の座標から、位置Ａを始点とし位置Ｂを終点とする局所方向を算出している。また、前回までのポインタの方向を平均方向とし、今回算出した局所方向とのベクトル和を算出して、それで平均方向の値を更新する。ステップＳ２０６では、位置Ａ，位置Ｂ，時刻Ａ，時刻Ｂからポインタの速度を算出し、それを速度Ｂに代入している。ステップＳ２０７では、この速度Ｂを、これまでに蓄えられているピーク速度の値（ピ速）と比較し、速度Ｂがピーク速度以上であれば、Ｓ２０９で速度Ｂ、位置Ｂ、平均方向をそれぞれ、ピーク速度（ピ速）、ピーク速度位置（ピ位）、ピーク速度方向（ピ方）に代入する。速度Ｂがこれまでに蓄えられているピーク速度の値（ピ速）よりも小さければ、このピーク速度検出処理を終了する。 
【００３９】
図３は、ターゲット位置を予測する処理のフローチャートを示している。ステップＳ３０１は、ピーク速度の大きさとその方向から、ピーク速度のＸ軸方向、Ｙ軸方向、Ｚ軸方向の各成分を算出している。ここで、コンピュータ情報端末の画面の場合は、二次元座標となるので、水平成分（Ｘ軸方向）と垂直成分（Ｙ軸方向）を求めることになる。次に、ピーク速度とターゲットまでの距離の相関式を用いて、速度からターゲットまでの予測距離を求める。ここで、マウスなどのポインティング操作を人が行う場合に、画面上で垂直方向にマウスを操作する場合と、水平方向にマウスを操作する場合とでは、相関式（ターゲットまでの距離＝ａ×ピーク速度＋ｂ）のパラメータ係数ａ，ｂの値が異なってくる。このため、相関式を用いて予測距離を求める場合に、ピーク速度のＸ軸方向成分とＹ軸方向成分とＺ軸方向成分の速度に分けて、各々異なるパラメータ係数ａ，ｂの相関式を用いることとしている。図３のステップＳ３０２は、ピーク速度のＸ軸方向成分を数１に代入して、Ｘ軸方向のターゲットまでの予測距離を算出している。また、同様に、ピーク速度のＹ軸方向成分を数１に代入して、Ｙ軸方向のターゲットまでの予測距離を算出し、ピーク速度のＺ軸方向成分を数１に代入して、Ｚ軸方向のターゲットまでの予測距離を算出している。そして、ステップＳ３０３で、ピーク速度を検出した時のポインタ座標と、ＸＹＺ軸方向のターゲットまでの予測距離からターゲット予測座標を算出するのである。
【００４０】
図４は、オブジェクト推定の処理のフローチャートを示している。先ず、ステップＳ４０１で２つの変数（最短距離、ターゲット）を初期化している。ここで、最短距離は、予測位置から範囲内にある最も近いオブジェクトまでの距離を求めるための変数であり、またターゲットは、ターゲットと予測したオブジェクトのIDを求めるための変数である。ステップＳ４０３は、ターゲット予測位置座標と各オブジェクトの位置座標とから、ターゲット予測位置からオブジェクトまでの距離を算出している。ステップＳ４０４は、ターゲット予測位置からオブジェクトまでの距離が最短がどうかを判定するものである。ステップＳ４０５では、オブジェクトまでの距離が最短であった場合に、２つの変数である最短距離とターゲットの値を更新している。ここで、ステップＳ４０３からステップＳ４０５までは、ターゲット予測位置座標から一定距離範囲内に存在する全てのオブジェクトに対して行うべく繰り返し処理としている。
【００４１】
次に、相関式（ターゲットまでの距離＝ａ×ピーク速度＋ｂ）のパラメータ係数ａ，ｂの値を求めるキャリブレーションについて説明する。図５は、キャリブレーションの処理のフローチャートを示している。パラメータ係数の値は、個人によっても操作環境によっても異なるものである。あらかじめターゲットを決めておき、そのターゲットを選択するつもりで操作者にマウスを操作してもらうことを数回繰り返して、各ピーク速度，各ピーク位置，各ピーク方向から回帰分析を行い，ピーク速度からターゲットまでの距離を予測する式を生成するものである。パラメータ係数ａ，ｂの決定に関しては、最小自乗法などを用いる。
【００４２】
下記の表１、表２には、図１〜図５の処理フローチャートの中で用いられている変数、サブルーチン関数をまとめている。
【００４３】
【表１】
2005352738.tif 000003
【００４４】
【表２】
2005352738.tif 000004
【産業上の利用可能性】
【００４５】
本発明は、ピーク速度からターゲット位置を予測することを利用するインタフェースを提供し、情報処理装置画面の大画面化に伴うマウス等のポインティング操作システムや、バーチャルリアリティ（ＶＲ）上の３次元内の物体を操作するデバイス，３次元トラッカー，アイソトニックなデバイスなどに利用できる。
【図面の簡単な説明】
【００４６】
【図１】本発明に係るポインティング操作システムのターゲット位置予測アルゴリズムを示している。
【図２】ピーク速度検出処理のフローチャートの一例を示す。
【図３】ターゲット位置予測処理のフローチャートの一例を示す。
【図４】オブジェクト推定処理のフローチャートの一例を示す。
【図５】ポインティング操作システムのキャリブレーション処理のフローチャートを示す。
【符号の説明】
【００４７】
１      ポインタのピーク速度検出処理
２      ターゲット位置予測処理
３      オブジェクト推定処理
４      オブジェクト選択処理
【図１】
2005352738.tif 000005
【図２】
2005352738.tif 000006
【図３】
2005352738.tif 000007
【図４】
2005352738.tif 000008
【図５】
2005352738.tif 000009