(57)【特許請求の範囲】
【請求項１】
表示部に表示される操作対象物の画像を操作するための信号であって、操作者の操作に基づいて生成された操作信号に基づいて、上記操作者の操作に対して遅れて表示される操作対象物の画像の運動についての情報である運動情報を計算する運動情報計算部と、
上記運動情報に基づいて、上記操作対象物の運動が開始される運動開始時刻又は上記操作対象物の運動が変化する運動変化時刻を検出する運動変化判断部と、
上記操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、上記操作対象物と衝突物との衝突が上記操作対象物の運動の開始または運動の変化を生じさせたと上記操作者に対して知覚させるための、上記操作対象物と衝突する上記衝突物の動作を決定する衝突物動作決定部と、
上記操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、上記動作が決定された衝突物を表示部に表示し、その表示された衝突物を上記決定された動作に従って動作させる映像を生成する映像調整部と、
を含む操作抵抗感軽減装置。
【請求項２】
表示部に表示される操作対象物の画像を操作するための信号であって、操作者の操作に基づいて生成された操作信号に基づいて、上記操作者の操作に対して遅れて表示される操作対象物の画像の運動についての情報である運動情報を計算する運動情報計算部と、
上記運動情報に基づいて、上記操作対象物の運動が開始される運動開始時刻又は上記操作対象物の運動が変化する運動変化時刻を検出する運動変化判断部と、
上記操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、上記衝突物が、上記運動開始時刻又は運動変化時刻よりも前の所定時刻に出現し、その後一定の速度で上記操作対象物の運動の方向に移動し、上記運動情報が示す上記運動開始時刻又は運動変化時刻における上記操作対象物の位置に隣接する位置に到達して静止するような、上記操作対象物と衝突する上記衝突物の動作を決定する衝突物動作決定部と、
上記操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、上記動作が決定された衝突物を表示部に表示し、その表示された衝突物を上記決定された動作に従って動作させる映像を生成する映像調整部と、
を含み、
上記衝突物の上記操作対象物の位置に隣接する位置とは、上記操作対象物の位置を基準とする上記操作対象物の運動の方向とは逆の方向の位置である、
操作抵抗感軽減装置。
【請求項３】
表示部に表示される操作対象物の画像を操作するための信号であって、操作者の操作に基づいて生成された操作信号に基づいて、上記操作者の操作に対して遅れて表示される操作対象物の画像の運動についての情報である運動情報を計算する運動情報計算部と、
上記運動情報に基づいて、上記操作対象物の運動が変化する運動変化時刻を検出する運動変化判断部と、
上記操作対象物の運動変化時刻が検出された場合には、上記衝突物が、上記運動開始時刻又は運動変化時刻を含む所定時間区間において、上記運動情報が示す上記運動変化時刻における上記操作対象物の位置に隣接する位置に表示されるように、上記衝突物の動作を決定する衝突物動作決定部と、
上記操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、上記動作が決定された衝突物を表示部に表示し、その表示された衝突物を上記決定された動作に従って動作させる映像を生成する映像調整部と、
を含み、
上記衝突物の上記操作対象物の位置に隣接する位置とは、上記操作対象物の位置を基準とする上記操作対象物の運動の方向とは逆の方向の位置である、
操作抵抗感軽減装置。
【請求項４】
請求項１から３の何れかの操作抵抗感軽減装置であって、
上記運動開始時刻は、上記操作者の操作に対応する時刻をｔとし、上記操作者の操作に対して遅れて上記操作対象物の画像が表示されるまでの遅延時間をΔＴとしたとき、時刻ｔから時刻t+ΔTまでの間で、上記操作対象物の速度の大きさが所定の閾値よりも大きくなる時刻である、
操作抵抗感軽減装置。
【請求項５】
請求項１から３の何れかの操作抵抗感軽減装置であって、
上記運動変化時刻は、上記操作者の操作に対応する時刻をｔとし、上記操作者の操作に対して遅れて上記操作対象物の画像が表示されるまでの遅延時間をΔＴとしたとき、時刻ｔから時刻t+ΔTまでの間で、単位処理時間Δtごとの上記操作対象物の速度の大きさが所定の閾値よりも大きくなる時刻である、
操作抵抗感軽減装置。
【請求項６】
請求項１から５の何れかの操作抵抗感軽減装置であって、
上記衝突物動作決定部は、上記衝突物が大きいほど上記衝突物が上記操作対象物に衝突する速さが小さくなるように上記衝突物の動作を決定する、
操作抵抗感軽減装置。
【請求項７】
操作者の操作に対応して画面上を移動する操作対象物の映像を表示する表示部と、
上記操作対象物の運動が開始される場合、もしくは、上記操作対象物の運動が変化する場合に、上記衝突物が、上記操作対象物の運動が開始される運動開始時刻もしくは上記操作対象物の運動が変化する運動変化時刻よりも前の所定時刻に出現し、その後一定の速度で上記操作対象物の運動の方向に移動し、上記運動開始時刻又は運動変化時刻における上記操作対象物の表示位置に隣接する位置に到達して静止するような、衝突物の映像を上記操作対象物の映像に重畳して表示部に表示させる映像調整部と、
を含む操作抵抗感軽減装置。
【請求項８】
操作者の操作に対応して画面上を移動する操作対象物の映像を表示する表示部と、
上記操作対象物の運動が変化する場合に、上記衝突物が、上記操作対象物の運動が変化する運動変化時刻を含む所定時間の間、上記運動変化時刻における上記操作対象物の表示位置に隣接する位置に静止するような、衝突物の映像を上記操作対象物の映像に重畳して表示部に表示させる映像調整部と、
を含む操作抵抗感軽減装置。
【請求項９】
運動情報計算部が、表示部に表示される操作対象物の画像を操作するための信号であって、操作者の操作に基づいて生成された操作信号に基づいて、上記操作者の操作に対して遅れて表示される操作対象物の画像の運動についての情報である運動情報を計算する運動情報計算ステップと、
運動変化判断部が、上記運動情報に基づいて、上記操作対象物の運動が開始される運動開始時刻又は上記操作対象物の運動が変化する運動変化時刻を検出する運動変化判断ステップと、
衝突物動作決定部が、上記操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、上記操作対象物と衝突物との衝突が上記操作対象物の運動の開始または運動の変化を生じさせたと上記操作者に対して知覚させるための、上記操作対象物と衝突する上記衝突物の動作を決定する衝突物動作決定ステップと、
映像調整部が、上記操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、上記動作が決定された衝突物を表示部に表示し、その表示された衝突物を上記決定された動作に従って動作させる映像を生成する映像調整ステップと、
を含む操作抵抗感軽減方法。
【請求項１０】
運動情報計算部が、表示部に表示される操作対象物の画像を操作するための信号であって、操作者の操作に基づいて生成された操作信号に基づいて、上記操作者の操作に対して遅れて表示される操作対象物の画像の運動についての情報である運動情報を計算する運動情報計算ステップと、
運動変化判断部が、上記運動情報に基づいて、上記操作対象物の運動が開始される運動開始時刻又は上記操作対象物の運動が変化する運動変化時刻を検出する運動変化判断ステップと、
衝突物動作決定部が、上記操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、上記衝突物が、上記運動開始時刻又は運動変化時刻よりも前の所定時刻に出現し、その後一定の速度で上記操作対象物の運動の方向に移動し、上記運動情報が示す上記運動開始時刻又は運動変化時刻における上記操作対象物の位置に隣接する位置に到達して静止するような、上記操作対象物と衝突する上記衝突物の動作を決定する衝突物動作決定ステップと、
映像調整部が、上記操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、上記動作が決定された衝突物を表示部に表示し、その表示された衝突物を上記決定された動作に従って動作させる映像を生成する映像調整ステップと、
を含み、
上記衝突物の上記操作対象物の位置に隣接する位置とは、上記操作対象物の位置を基準とする上記操作対象物の運動の方向とは逆の方向の位置である、
操作抵抗感軽減方法。
【請求項１１】
運動情報計算部が、表示部に表示される操作対象物の画像を操作するための信号であって、操作者の操作に基づいて生成された操作信号に基づいて、上記操作者の操作に対して遅れて表示される操作対象物の画像の運動についての情報である運動情報を計算する運動情報計算ステップと、
運動変化判断部が、上記運動情報に基づいて、上記操作対象物の運動が変化する運動変化時刻を検出する運動変化判断ステップと、
衝突物動作決定部が、上記操作対象物の運動変化時刻が検出された場合には、上記衝突物が、上記運動開始時刻又は運動変化時刻を含む所定時間区間において、上記運動情報が示す上記運動変化時刻における上記操作対象物の位置に隣接する位置に表示されるように、上記衝突物の動作を決定する衝突物動作決定ステップと、
映像調整部が、上記操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、上記動作が決定された衝突物を表示部に表示し、その表示された衝突物を上記決定された動作に従って動作させる映像を生成する映像調整ステップと、
を含み、
上記衝突物の上記操作対象物の位置に隣接する位置とは、上記操作対象物の位置を基準とする上記操作対象物の運動の方向とは逆の方向の位置である、
操作抵抗感軽減方法。
【請求項１２】
表示部が、操作者の操作に対応して画面上を移動する操作対象物の映像を表示する表示ステップと、
映像調整部が、上記操作対象物の運動が開始される場合、もしくは、上記操作対象物の運動が変化する場合に、上記衝突物が、上記操作対象物の運動が開始される運動開始時刻もしくは上記操作対象物の運動が変化する運動変化時刻よりも前の所定時刻に出現し、その後一定の速度で上記操作対象物の運動の方向に移動し、上記運動開始時刻又は運動変化時刻における上記操作対象物の表示位置に隣接する位置に到達して静止するような、衝突物の映像を上記操作対象物の映像に重畳して表示部に表示させる映像調整ステップと、
を含む操作抵抗感軽減方法。
【請求項１３】
表示部が、操作者の操作に対応して画面上を移動する操作対象物の映像を表示する表示ステップと、
映像調整部が、上記操作対象物の運動が変化する場合に、上記衝突物が、上記操作対象物の運動が変化する運動変化時刻を含む所定時間の間、上記運動変化時刻における上記操作対象物の表示位置に隣接する位置に静止するような、衝突物の映像を上記操作対象物の映像に重畳して表示部に表示させる映像調整ステップと、
を含む操作抵抗感軽減方法。
【請求項１４】
請求項１から８の何れかに記載された操作抵抗感軽減装置の各部としてコンピュータを機能させるための操作抵抗感軽減プログラム。
【請求項１５】
請求項１から８の何れかに記載された操作抵抗感軽減装置の各部としてコンピュータを機能させるための操作抵抗感軽減プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カーソル等の操作対象物の映像をマウス等の入力手段を用いて移動させるシステムにおいて、操作対象物の映像が操作に対して遅れる際に生じる抵抗感を軽減する技術に関する。
【背景技術】
【０００２】
視覚フィードバックの遅延を補償する手段として、遅延していない映像を予測的に生成してＣＧ映像として提示する予測ディスプレイの技術が提案されている（例えば、非特許文献１参照。）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Thomas B.Sheridan, “Space Teleoperation Through Time Delay: Review and Prognosis”, IEEE TRANSACTIONS ON ROBOTICS AND AUTOMATION, VOL.9, NO.5, OCTORBER 1993, P.592-606
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に記載された予測ディスプレイ装置は操作時の抵抗感を軽減するが、システムの挙動を予測する予測モデルとＣＧ映像を生成する映像生成部を実装せねばならず、実装時の負担が大きい。
【０００５】
この発明の目的は、従来よりも負担が小さい実装で抵抗感を軽減する操作抵抗感軽減装置、方法、プログラム及び記録媒体を提供することである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、この発明の一態様による操作抵抗感軽減装置は、表示部に表示される操作対象物の画像を操作するための信号であって、操作者の操作に基づいて生成された操作信号に基づいて、操作者の操作に対して遅れて表示される操作対象物の画像の運動についての情報である運動情報を計算する運動情報計算部と、運動情報に基づいて、操作対象物の運動が開始される運動開始時刻又は操作対象物の運動が変化する運動変化時刻を検出する運動変化判断部と、操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、操作対象物と衝突物との衝突が操作対象物の運動の開始または運動の変化を生じさせたと操作者に対して知覚させるための、操作対象物と衝突する衝突物の動作を決定する衝突物動作決定部と、操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、動作が決定された衝突物を表示部に表示し、その表示された衝突物を決定された動作に従って動作させる映像を生成する映像調整部と、を備えている。
【０００７】
この発明の他の態様による操作抵抗感軽減装置は、表示部に表示される操作対象物の画像を操作するための信号であって、操作者の操作に基づいて生成された操作信号に基づいて、操作者の操作に対して遅れて表示される操作対象物の画像の運動についての情報である運動情報を計算する運動情報計算部と、運動情報に基づいて、操作対象物の運動が開始される運動開始時刻又は操作対象物の運動が変化する運動変化時刻を検出する運動変化判断部と、操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、衝突物が、運動開始時刻又は運動変化時刻よりも前の所定時刻に出現し、その後一定の速度で操作対象物の運動の方向に移動し、運動情報が示す運動開始時刻又は運動変化時刻における操作対象物の位置に隣接する位置に到達して静止するような、操作対象物と衝突する衝突物の動作を決定する衝突物動作決定部と、操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、動作が決定された衝突物を表示部に表示し、その表示された衝突物を決定された動作に従って動作させる映像を生成する映像調整部と、を含み、衝突物の操作対象物の位置に隣接する位置とは、操作対象物の位置を基準とする操作対象物の運動の方向とは逆の方向の位置である。
【０００８】
この発明の他の態様による操作抵抗感軽減装置は、表示部に表示される操作対象物の画像を操作するための信号であって、操作者の操作に基づいて生成された操作信号に基づいて、操作者の操作に対して遅れて表示される操作対象物の画像の運動についての情報である運動情報を計算する運動情報計算部と、運動情報に基づいて、操作対象物の運動が変化する運動変化時刻を検出する運動変化判断部と、操作対象物の運動変化時刻が検出された場合には、衝突物が、運動開始時刻又は運動変化時刻を含む所定時間区間において、運動情報が示す運動変化時刻における操作対象物の位置に隣接する位置に表示されるように、衝突物の動作を決定する衝突物動作決定部と、操作対象物の運動開始時刻又は運動変化時刻が検出された場合には、動作が決定された衝突物を表示部に表示し、その表示された衝突物を決定された動作に従って動作させる映像を生成する映像調整部と、を含み、衝突物の操作対象物の位置に隣接する位置とは、操作対象物の位置を基準とする操作対象物の運動の方向とは逆の方向の位置である。
【発明の効果】
【０００９】
従来よりも負担が小さい実装で抵抗感を軽減することができる。
【図面の簡単な説明】
【００１０】
【図１】操作抵抗感軽減装置の例を示す機能ブロック図。
【図２】操作抵抗感軽減方法の例を示す流れ図。
【図３】操作対象物の位置^y(t), ^x(t)を説明するための図。
【図４】h(ts),h(t1),V,Δ^v(t1),^y(t1),^v(t1+Δt),^v(t1-Δt)等のパラメータの関係の例を説明するための図。
【図５】提案技術の有効性を示す実験結果の図。
【図６】具体例を説明するための図。
【図７】具体例を説明するための図。
【発明を実施するための形態】
【００１１】
以下、図面を参照してこの発明の実施形態を説明する。
【００１２】
操作抵抗感軽減装置は、操作部１、運動情報計算部２、映像調整部４、表示部５、表示信号生成部７、運動変化判断部８及び衝突物動作決定部９を例えば備えている。操作抵抗感軽減方法は、操作抵抗感軽減装置が、図２に例示するステップＳ１からステップＳ６の処理を行うものである。
【００１３】
＜ステップＳ１＞
操作部１には、操作者の操作に基づいて、操作対象物を操作するための操作信号を生成する（ステップＳ１）。生成された操作信号は、運動情報計算部２に提供される。時刻tにおける操作信号をs(t)と表記する。
【００１４】
操作部１は、マウス、トラックボール、タッチパネル、ジョイスティック、スタイラスペン、ポインティングスティック等の入力装置である。
【００１５】
操作信号は、操作対象物の位置を特定するための情報である。操作信号は、操作対象物の位置情報そのものでもあってもよいし、操作部１がポインティングスティック等の圧力センサーである場合には入力された圧力についての情報であってもよい。
【００１６】
操作対象物は、例えば、その操作者によって操作されるカーソルである。もちろん、操作対象物は、操作者によって操作され画面に表示されるものであればどのようなものであってもよい。操作対象物は、後述するように例えば円である。
【００１７】
＜ステップＳ２＞
運動情報計算部２は、操作信号に基づいて、操作に対して遅れて表示される操作対象物の運動についての情報である運動情報を計算する（ステップＳ２）。運動情報は、操作対象物の速度を少なくとも含んでいればよいが、この例では操作対象物の位置を更に含んでいるとする。なお、ここでの「操作対象物の位置」とは、表示部５における操作対象物の表示位置であり、例えば、表示部５に表示される画像平面における操作対象物の中心の画素の位置である。画素の位置は、例えば、画像を構成する縦方向と横方向の画素にそれぞれインデックスを割り当て、操作対象物の画像の中心に対応する画素の位置を、縦方向の画素のインデックスと横方向の画素のインデックスとの組により表現したものである。
【００１８】
まず、運動情報計算部２は、時刻tの操作信号s(t)及びシステム関数^M(s)を用いて、時刻tの操作対象物の位置^x(t)=^M(s(t))を計算し、その計算された値^x(t)を時刻t+ΔTにおける操作対象物の位置^y(t+ΔT)=^x(t)とする。^x(t)は遅延がなかった場合に時刻tにおいて操作対象物が位置すべき位置である。これに対して、^y(t)は時刻tにおける操作対象物の表示位置である。
【００１９】
システム関数^M(s)は、操作信号に基づいて操作対象物の位置を計算するための関数である。時刻tは、操作信号s(t)が生成された時刻である。ΔTは、システム遅延である。システム遅延がΔTである場合には、操作対象物は、図３に示すように、時刻tにおいて^y(t)=^x(t-ΔT)の位置に表示されており、時刻t+ΔTにおいて^y(t+ΔT)=^x(t)の位置に表示される。
【００２０】
^y(t+ΔT)=^x(t)の計算は、各時刻tの操作信号s(t)が入力される毎に行われる。単位処理時間をΔtとし、単位処理時間Δt毎に操作信号s(t)が入力されるとすると、図３に示すように、^yの系列^y(t+kΔt)が計算されることになる。kは、１以上の整数である。
【００２１】
つぎに、運動情報計算部２は、このように計算された^yの系列^y(t+kΔt)を用いて、操作対象物の速度^v(t)を計算する。運動情報計算部２は、例えば以下の式により定義される、時刻tの速度^v(t)を計算する。
【００２２】
【数１】
0005524391.tif 000002
【００２３】
ここで、速度^v(t)は、例えば、操作対象物の位置を表す二次元平面の座標系の各座標軸方向の速度のベクトル、すなわちｘ軸方向の速度とｙ軸方向の速度である。なお、速度は、座標軸の正の方向の速度の符号が正（＋）であり、座標軸の負の方向の速度の符号は負（−）であるものとする。Δtは前述のように単位処理時間である。^y(t+Δt)は時刻t+Δtにおける操作対象物の位置であり、^y(t-Δt)は時刻t-Δtにおける操作対象物の位置である。
【００２４】
このように^v(t)を定義すると、運動情報計算部２は、^y(t+ΔT)が更新されたタイミングで、時刻t+ΔT-Δtまでの各時刻tの速度^v(t)を得ることができる。
【００２５】
例えば、運動情報計算部２は、このように^y(t),^v(t)の系列を計算し、運動情報として運動変化判断部８に提供する。
【００２６】
＜ステップＳ３＞
運動変化判断部８は、運動情報に基づいて、運動開始又は運動変化が予測される時刻を検出する（ステップＳ３）。運動開始又は運動変化が予測される時刻が検出された場合は、運動開始または運動変化が検出されたことを示す情報と、運動開始時刻または運動変化時刻及び当該時刻に対応する運動情報を衝突物動作決定部９に出力する。運動開始又は運動変化が予測される時刻が検出されなかった場合は、運動開始または運動変化が検出されなかったことを示す情報を映像調整部４に出力する。
【００２７】
運動変化判断部８は、以下に述べるように、（Ａ）運動の開始が予測される時刻を検出してもよいし、（Ｂ）運動方向の急な変化が予測される時刻を検出してもよい。もちろん、（Ａ）（Ｂ）の両方を検出してもよい。
【００２８】
（Ａ）運動の開始が予測される時刻を検出する場合
運動変化判断部８は、例えば時刻tから時刻t+ΔT-Δtまでの各時刻tの速度^v(t)の大きさ（＝操作対象物の速さ）が所定の閾値Vlimよりも大きいか判断し、速度^v(t)の大きさが所定の閾値Vlimよりも大きくなる瞬間の時刻をt0とする。すなわち、^v(t0)>Vlimかつ^v(t0-Δt)≦ Vlimとなる時刻t0を検出する。t0を運動開始時刻と呼ぶ。
【００２９】
このように、この場合、操作対象物の運動の変化の量は、操作対象物の速さとなる。
【００３０】
所定の閾値Vlimは、静止状態と見なせる速度の大きさの上限値であり、適切な結果が得られるように適宜決定される。
【００３１】
この（Ａ）の場合、運動開始又は運動変化が検出されたことを示す情報と、t0,^y(t0-Δt),^y(t0),^y(t0+Δt),^v(t0-Δt),^v(t0),^v(t0+Δt)が判断結果として、衝突物動作決定部９に提供される。
【００３２】
（Ｂ）運動方向の急な変化が予測される時刻を検出する場合
運動変化判断部８は、例えば時刻tから時刻t+ΔT-Δtまでの各時刻tの速度^v(t)の方向の角度の変化の大きさ^θ(t)が所定の閾値θlimよりも大きく、かつ、^θ(t)が極大となる時刻を求め、t1とする。すなわち、^θ(t')>θlimを満たすt≦t'≦t+ΔT-Δtの時間区間の中で^θ(t')が極大の値をとる時刻t'を検出し、時刻t1とする。t1を運動変化時刻と呼ぶ。
【００３３】
このように、この場合、操作対象物の運動の変化の量は、速度方向の角度の変化の大きさとなる。
例えば、
【００３４】
【数２】
0005524391.tif 000003
【００３５】
とする。ただし，cos-1はコサインの逆関数，・は内積，|α|はαの絶対値をさす．
閾値θlimは、適切な結果が得られるように適宜決定される。
【００３６】
この（Ｂ）の場合、運動開始又は運動変化が検出されたことを示す情報と、t1,^y(t1-Δt), ^y (t1), ^y(t1+Δt),^v(t1-Δt),^v(t1),^v(t1+Δt)が判断結果として、衝突物動作決定部９に提供される。
【００３７】
＜ステップＳ４＞
衝突物動作決定部９は、運動変化判断部８において運動開始又は運動変化が検出された場合には、操作対象物と衝突する衝突物の動作を決定する（ステップＳ４）。決定された動作についての情報である動作情報は、映像調整部４に提供される。
【００３８】
言い換えれば、衝突物動作決定部９は、衝突物が、所定の時刻で出現し、その後、一定の速度で移動し、運動開始又は運動変化が検出された時刻で操作対象物に衝突して静止、一定時間twait経過後に消失するような、衝突物の動作を計算する。各々の場合の処理の例は以下の通りである。ここで、衝突物が出現する所定の時刻をtsとすると、tsは、運動開始時刻t0が運動変化判断部８により検出された時刻から時刻t0-Δtまでの間の所定の時刻、又は、運動変化時刻t1が運動変化判断部８により検出された時刻から時刻t1-Δtまでの間の所定の時刻である。また、出現する位置は、操作対象物に隣接するような衝突物の位置と一定の速度から逆算された位置である。
【００３９】
（Ａ）運動の開始を検出した場合
まず、衝突物動作決定部９は、まず、衝突物の終点h(t0)を計算する。具体的には、衝突物の終点h(t0)を、運動開始時刻t0の操作対象物の位置と隣り合うようにするために、以下のように計算する。
【００４０】
【数３】
0005524391.tif 000004
【００４１】
ここで、y^(t0)は運動開始時刻t0における操作対象物の位置であり、操作対象物及び衝突物が円である場合には、Ryは操作対象物の半径であり、Rhは衝突物の半径である。
【００４２】
操作対象物が円ではない場合には、操作対象物の中心を始点とする速度Vの方向の反対方向に延びる半直線が操作対象物と重なる部分の長さをRyとする。同様に、衝突物が円ではない場合には、衝突物の中心を始点とする速度Vの方向に延びる半直線が操作対象物と重なる部分の長さをRhとする。
【００４３】
Vは衝突物の速度であり、例えば以下のように決定される。
【００４４】
【数４】
0005524391.tif 000005
【００４５】
つぎに、衝突物動作決定部９は、その速度Vによる一定速度運動を仮定して、衝突物の終点h(t0)から逆算することにより衝突物の始点h(ts)を以下のように計算する。
【００４６】
【数５】
0005524391.tif 000006
【００４７】
以上により、衝突物動作決定部９は、h(ts)からh(t0)へ一定速度Vで移動し、衝突後、h(t0)の位置に所定時間（例えば、twait＞０として、時刻t0から時刻t0+twaitまでの間）静止する動作を衝突物の動作として決定する。
【００４８】
（Ｂ）運動方向の急な変化を検出した場合
まず、衝突物動作決定部９は、まず、衝突物の終点h(t1)を計算する。具体的には、衝突物の終点h(t1)を、運動変化時刻の操作対象物の位置と隣り合うようにするために、以下のように計算する。
【００４９】
【数６】
0005524391.tif 000007
【００５０】
ここで、y^(t1)は運動変化時刻t1における操作対象物の位置である。Ry,Rhについては、（Ａ）で述べたRy,Rhの定義と同様である。
【００５１】
Vは衝突物の速度であり、運動変化時刻t1の前後の時刻の速度の変化分として例えば以下のように計算する。
【００５２】
【数７】
0005524391.tif 000008
【００５３】
つぎに、衝突物動作決定部９は、その速度Vによる一定速度運動を仮定して、衝突物の終点h(t1)から逆算することにより衝突物の始点h(ts)を以下のように計算する。
【００５４】
【数８】
0005524391.tif 000009
【００５５】
以上により、衝突物動作決定部９は、h(ts)からh(t1)へ一定速度Vで移動し、衝突後、位置h(t1)に所定時間（例えば、時刻t1から時刻t1+twaitまでの間）静止する動作を衝突物の動作として決定する。
【００５６】
この（Ｂ）の場合のh(ts),h(t1),V,Δv^(t1),y^(t1),v^(t1+Δt),v^(t1-Δt)等のパラメータの関係の例を図４に示す。図４では、衝突物を四角で表している。
【００５７】
＜ステップＳ５＞
映像調整部４は、一定時間ごとに、表示部５に画像を表示させるための表示信号を生成する。
【００５８】
映像調整部４は、衝突物動作決定部９から衝突物の動作が入力された場合には、入力された衝突物の動作に従って動作する衝突物の映像が、表示信号生成部７の表示信号に従って生成される映像に重畳されるように調整を加えた映像を、表示部５に出力するための表示信号を生成する（ステップＳ５）。なお、衝突物動作決定部９から衝突物の動作が入力されなかった場合には、映像の調整は行わず、表示信号生成部７の表示信号に従って生成される映像を表示部５に出力するための表示信号を生成する（ステップＳ５）。
【００５９】
具体的には以下の処理により、表示部５に時刻tにおける画像を表示させるための表示信号を生成する。
（１）衝突物動作決定部９から衝突物の動作が入力された場合
時刻ｔが衝突物動作決定部９から入力された衝突物の動作における衝突物の始点h(ts)の時刻ｔsである場合には、衝突物が位置h(ts)に、操作対象物が位置y(ts)に、位置する画像を表示部５に表示するための表示信号を生成する。
【００６０】
時刻tがts<t<t0(またはt1)の場合には、衝突物が
【００６１】
【数９】
0005524391.tif 000010
【００６２】
となる位置h(t)に位置し、操作対象物が位置x(t)に位置するような画像を表示部５に表示するための表示信号を生成する。
【００６３】
時刻ｔがt0≦t≦t0＋ｔwait(またはt1≦t≦t1＋ｔwait)の場合には、衝突物は位置h(t0)(またはh(t1))に位置し、操作対象物が位置^y(t)に位置するような画像を表示部５に表示するための表示信号を生成する。
【００６４】
（２）衝突物動作決定部９から衝突物の動作が入力されない場合
表示信号生成部７から出力された表示信号、すなわち、操作対象物が位置^y(t)に位置するような画像を表示部５に表示するための表示信号をそのまま出力する。
映像調整部４は、このようにして得た表示信号を表示部５に出力する。
【００６５】
＜ステップＳ６＞
表示部５は、映像調整部４から出力された表示信号に従って映像を表示する（ステップＳ６）。表示部５は、ディスプレイ、プロジェクタースクリーン等の表示装置である。
【００６６】
このように、操作対象物に衝突物を衝突させることにより、操作対象物の抵抗感を軽減することができる。その理由については、［技術的意義］の欄で説明する。
【００６７】
なお、表示信号生成部７は、操作信号s(t)に基づいて操作対象物の表示信号を生成する処理を行う。ここでの表示信号とは、操作対象物を、操作信号s(t)により特定される位置x(t)に操作対象物表示させるための信号である。生成された表示信号は、映像調整部４を介して表示部５に提供される。遅延が生じていない通常時は、映像調整部４による調整は行われずに、表示信号生成部７により生成された表示信号がそのまま表示部５に提供される。遅延が生じている場合には、上記のように映像調整部４により調整された表示信号が表示部５に提供される。なお、表示信号生成部７では、アプリケーションに応じて操作対象物以外の背景等の映像を表示部５に表示するための表示信号も合わせて生成しても良い。
【００６８】
表示信号生成部７は、アプリケーションに応じて既に作成されているソフトウェアの処理そのものである。よって、操作対象物に衝突物を衝突させる処理は、既にあるソフトウェアに対して最小限の改良（運動情報計算部２、運動変化判断部８、衝突物動作決定部９、映像調整部４）を加えるだけで比較的容易に実装できる。このため、従来よりも負担が小さい実装で、抵抗感を軽減することができる。
【００６９】
［技術的意義］
本発明の衝突物動作決定部９において、上述のような衝突物の動作を決定し、それに基づく衝突物の映像を操作対象物の映像に重畳して表示することの技術的意義を説明する。
【００７０】
本発明は以下に記載する遅延感覚のバネ-マス-ダンパ仮説に基づいている。この仮説では、人の脳が、遅延して動作する操作対象物を、バネとダンパで手先につながっている重り（このような系をバネ-マス-ダンパ系と呼ぶ）として解釈していると仮定する。このような解釈の下では、操作対象物の加速度は、ニュートンの運動方程式によると、重りである操作対象物にかかっている力と相関し、その力は、作用反作用の法則によると、重りが操作者の手先に加えている力と等しいことになる。人の脳が、この仮想的なバネ-マス-ダンパ系の手先に加える力を操作対象の動きから計算し、それを映像遅延時の抵抗感として感じていると考えると、その感覚の強度が加速度に相関すると予想される。実際に、その傾向はカーソルの加速度と映像遅延による抵抗感の強度の関係を調べる実験において確認されている．
運動変化判断部８の説明で例示した（Ａ）（Ｂ）のような運動開始又は運動変化が検出されたタイミングでは、操作対象物の加速度が大きいため、操作者が感じる抵抗感が大きくなる。
【００７１】
ここで、運動開始又は運動変化が検出されたタイミングで衝突物を操作対象物に衝突させるような映像を重畳して表示すると、人間の脳では、上記の仮想的なバネ-マス-ダンパ系のモデルにおいて衝突物の衝突による運動変化も考慮されると考えられる。衝突による外力を考慮することで、上記の人間の脳で計算される「仮想的なバネ-マス-ダンパ系の手先に加える力」は外力の大きさ分だけ小さくなることにより、映像遅延時の抵抗感が小さくなったように知覚される（錯覚される）ことが期待される。すなわち、衝突物動作決定部９の衝突物の動作は、操作対象物と衝突物との衝突により、操作対象物の運動開始又は運動変化がもたらされたように操作者に知覚されることにより、操作者が感じる抵抗感が軽減されることを狙ったものである。
【００７２】
この手法の有効性は、以下に説明するように、衝突映像の力覚への影響を調べた実験により検証されている。この実験においては、力覚提示装置を図１の操作部１として利用し、机上に水平に設置された液晶ディスプレイを表示部５として利用した。被験者は机の前の椅子に着座し、机の下に設置された力覚提示装置のアームの先端を握り、その位置を操作した。その際、力覚提示装置のアームの先端の位置情報が操作信号として取得され、重力と水平な平面における位置が重なるように液晶ディスプレイ上にカーソルが提示された。この実験系において、被験者はカーソルを左の点から右の点へ向かって移動させる運動を行い、その運動中に、その運動方向と反対方向の力を手に対して提示した。そして、提示された力の感覚が、カーソル動作の遅延や衝突物映像の付与によってどのように変化するかを、心理物理計測の手法により計測した。実験の結果を図５に示す。カーソルの動作を操作に対して150 [ms]遅延させた際には、提示された力が実際よりも強く感じられることが確認された。実験では0.8 [N]の力を加えたが、カーソル動作が遅延していた際には、その力が平均すると0.944 [N]の力が加わった状況として知覚されていた。一方で、同じようにカーソルが遅延しているが、カーソルの運動開始の直前に、そのカーソルに、速度128 [mm/s] で左から当たって静止する、衝突物の映像を付与した場合には、0.855 [N]の力が加わった状況として知覚された。カーソル動作の遅延によって生じた力覚への影響は、衝突映像の付与により軽減される傾向がみられた。
【００７３】
［具体例］
図６に示すように、タブレットデバイスにおいて、スタイラスペンを用いて画面上の操作対象物であるカーソルを静止状態から一定距離右へ移動させる状況を想定する。このとき、カーソルの動作が液晶の遅れなどにより遅延していると、抵抗感が生じる。そこで、図６に示すように、衝突物をカーソルに衝突させることで抵抗感を軽減することができる。
【００７４】
図７に、この抵抗感を軽減するための本発明による処理の具体例を示す。この具体例では、まず、スタイラスペンの位置情報から、（１）カーソルの位置軌道^y(t)を予測する。そして、その予測軌道に基づいて、（２）カーソルの速度^v(t)を予測し、（３）^v(t)が所定の閾値Vlimを超えるタイミングt0を検出する。このタイミングt0が検出されたら、（４）そのときのカーソルの位置と速度から衝突物の動作を計算する。（５）この決定された動作で動作する衝突物の映像を生成し、それを表示映像に合成する。
【００７５】
（１）（２）の処理は運動情報計算部２により行われ、（３）の処理は運動変化判断部８により行われ、（４）の処理は衝突物動作決定部９により行われ、（５）の処理は映像調整部４により行われる。
【００７６】
［変形例等］
衝突物は、どのような形状、模様及び色彩をしていてもよいが、顕著性を低めるために背景に対して目立ちにくい表示にしてもよい。
【００７７】
また、衝突物の衝突が、操作対象物の運動開始又は運動変化をもたらしたと解釈しやすくなるように、衝突物の衝突面が衝突物の速度方向に対して垂直になるように、衝突物の形状を決定してもよい。
【００７８】
なお、上述の例では、衝突物の速度ベクトルの向き（衝突物の動作の軌道）が操作対象物の速度ベクトルの向きと並行になるように、衝突物の動作を求める具体処理を説明したが、必ずしも並行である必要はなく、衝突物の速度ベクトルの向きと操作対象物の速度ベクトルの向きが多少異なっていてもよい。例えば、衝突物の速度ベクトルと操作対象物の速度ベクトルのなす角度が所定の閾値（誤差）以下であればよい。
衝突物動作決定部８、衝突物が大きいほど衝突物が操作対象物に衝突する速さが小さくなるように衝突物の動作を決定してもよい。例えば、衝突物を操作対象物よりも大きくする場合はその速度を小さくすると、衝突物を操作対象物よりも小さくする場合はその速度を大きくすると、よい効果を得られる場合がある。
【００７９】
衝突物動作決定部８により決定される衝突物の動作は、衝突物の静的動作である静止であってもよい。衝突物動作決定部８は、例えば、運動変化時刻t1を含む所定の時間区間において、衝突物をh(t1)に表示し静止させるという静的な動作を決定する。この場合、操作者は、操作対象物が衝突物と衝突して跳ね返ったと知覚することになる。なお、運動変化時刻t1を含む所定の時間区間は、例えば１フレーム、16.6ms等の短い時間区間でもよい。
【００８０】
操作抵抗感軽減装置は、運動情報の計算に必要なシステム関数^M(s)及びシステム遅延ΔTが設計の時点で決定できない場合には、これらを動的に推定するシステム推定部６を備えていてもよい。
【００８１】
システム推定部６は、運動情報の計算に必要なシステム関数^M(s)及びシステム遅延ΔTが設計の時点で決定できない場合に、これらを動的に推定する。^M(s),ΔTの両方が未知の場合は、^M(s)のパラメータとΔTを未知数とするモデルを仮定し、s(t),y(t)の系列を最もよく近似する値をそれぞれの推定値とする。^M(s),ΔTの一方の変数のみが未知である場合は、その変数を未知数としてモデルを仮定し、同様にs(t),y(t)の系列を最もよく近似する値を推定値とする。システム推定部６はこのようにして計算したシステム関数^M(s)及びシステム遅延ΔTを運動情報計算部２に提供する。
【００８２】
上記の例では、運動情報計算部２は、システム関数^M(s)を用いて、操作対象物の位置^y(t)を計算したが、操作信号s(t)が位置情報^x(t)そのものである場合には、システム関数^M(s)を用いずに、位置情報^x(t)であるs(t)をそのまま^y(t+ΔT)とすればよい。
【００８３】
操作抵抗感軽減装置は、操作部１、表示部５及び表示信号生成部７を備えていなくてもよい。言い換えれば、操作抵抗感軽減装置は、運動情報計算部２及び映像調整部４を備えていればよい。
【００８４】
多くの場合、既存のＰＣ等のコンピュータは、操作部１、表示部５及び表示信号生成部７を備えている。この場合、このような既存のＰＣ等のコンピュータに、運動情報計算部２、映像調整部４、運動変化判断部８及び衝突物動作決定部９を備えた操作抵抗感軽減装置を設けるという比較的容易な手段により、抵抗感を軽減することができる。
【００８５】
操作抵抗感軽減装置は、コンピュータによって実現することができる。この場合、この装置の各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、この装置における各部がコンピュータ上で実現される。
【００８６】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００８７】
この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【符号の説明】
【００８８】
１  操作部
２  運動情報計算部
４  映像調整部
５  表示部
６  システム推定部
７  表示信号生成部
８  運動変化判断部
９  衝突物動作決定部
【要約】
【課題】従来よりも負担が小さい実装でカーソル等の操作対象物の操作抵抗感を軽減する技術を提供する。
【解決手段】運動情報計算部２が、表示部に表示される操作対象物の画像を操作するための信号であって、操作者の操作に基づいて生成された操作信号に基づいて、操作者の操作に対して遅れて表示される操作対象物の画像の運動についての情報である運動情報を計算する。運動変換判断部８が、運動情報に基づいて、操作対象物の運動が開始される運動開始時刻又は操作対象物の運動が変化する運動変化時刻を検出する。衝突物動作決定部９が、操作対象物と衝突物との衝突が操作対象物の運動の開始または運動の変化を生じさせたと操作者に対して知覚させるための、操作対象物と衝突する衝突物の動作を決定する。映像調整部４が、衝突物を決定された動作に従って動作させる映像を生成する。
【選択図】図１【図１】
0005524391.tif 000011
【図２】
0005524391.tif 000012
【図３】
0005524391.tif 000013
【図４】
0005524391.tif 000014
【図７】
0005524391.tif 000015
【図５】
0005524391.tif 000016
【図６】
0005524391.tif 000017