(57)【要約】【課題】  多層に配置されたオブジェクトの階層関係を単一の装置で、かつ階層の数を限定せずに操作者の触覚へフィードバックする。【解決手段】  画面上に表示される階層構造のオブジェクトにおける任意に選択された１つの階層オブジェクトの位置に対応付けられた画面領域内にカーソル４０の位置を移動させた場合に、１つの階層から上位又は下位の階層に遷移させるための方向に、駆動力発生手段を初期位置から所定の距離だけ躍度を生じさせて移動させる。【選択図】  図９
2007041649.tif 000002
【特許請求の範囲】
【請求項１】
画面上にグラフィカル・ユーザ・インタフェースで表示されるオブジェクトの位置に対応付けられた画面領域内に、操作部を有するポインティングデバイスにより指し示されるカーソルの位置を移動させた場合に、駆動力発生手段で発生させた駆動力を前記操作部に伝達して操作者に触覚刺激を呈示する触覚ユーザインタフェース装置において、
前記画面上に表示される階層構造のオブジェクトにおける任意に選択された１つの階層オブジェクトの位置に対応付けられた画面領域内に前記カーソルの位置を移動させた場合に、前記１つの階層から上位又は下位の階層に遷移させるための方向に、前記駆動力発生手段を初期位置から所定の距離だけ躍度を生じさせて移動させる移動手段を備えたことを特徴とする触覚ユーザインタフェース装置。
【請求項２】
前記移動手段が前記駆動力発生手段を前記所定の距離だけ移動させた後、前記駆動力発生手段を前記初期位置まで躍度を生じさせないで移動させる復帰手段を更に備えたことを特徴とする請求項１に記載の触覚ユーザインタフェース装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子計算機などの入出力装置として用いるための触覚ユーザインタフェース装置に関する。
【背景技術】
【０００２】
電子計算機などの電子制御機器における入出力装置として、従来からマウス型、ジョイスティック型、タッチパッド型などが多用されている。また、工業デザインなどの３次元グラフィックを扱う分野では、マニピュレータ型の入出力装置も採用されつつある。これらの入出力装置を付設した電子制御機器においては表示部上にカーソルが表示されるが、操作者はカーソル位置を目で見ることによってのみ知ることができ、そのため操作者は表示部を見ながら入出力装置を手で動かしてカーソルの位置決めをするのが一般的である。
【０００３】
しかしながら、これらの方法によると、所望の位置にカーソルが位置しているか否かを確認するために表示部を注視しなければならず、操作者の眼に負担が大きいばかりでなく、操作時に入出力装置からのフィードバックがないため、カーソルの位置決めに確実性が得られなかった。下記の特許文献１ではこの問題に着目し、マウスに物理的な刺激発生装置を付設し、アイコンなどのオブジェクトの上にカーソルが重なったときにパルス刺激を発生させ、操作者の触覚へフィードバックすることを行っている。
【０００４】
しかしながら、この方法によると、１つのオブジェクトの存在をパルス刺激によって操作者の触覚へ呈示することは可能であるが、多層に配置されたオブジェクトの階層関係を呈示することはできなかった。今日、電子計算機の多くはマルチウインドウ方式を採用し、オブジェクトが多層構造をとることがしばしばある。またメニューやツリービューなど、それ自体が階層関係をもって構成される機能もある。下記の特許文献２及び特許文献３では、この問題に着目し、オブジェクトの階層表現を実現しようと試み、いずれも２次元平面に可動スイッチ群を配置し、カーソルの位置を凸型により表現している。また、特許文献２ではスイッチの可動高さを３段階に設定可能とすることで実現している。特許文献３では上記可動スイッチ群の他に、階層制御スイッチ群を設けることで実現している。
【特許文献１】特開平１０−１９８５１３号公報（要約書）
【特許文献２】国際公開第００／１７７３９号パンフレット（要約書）
【特許文献３】特開２００２−３１２０９５号公報（要約書）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、触覚を呈示したいオブジェクトが多層に配置されている場合、特許文献１ではそれらの階層関係を単一の装置で呈示できないという課題があり、特許文献２では、呈示できる階層の数が限定されてしまうという課題があった。また、特許文献３では、マウスなどの単一の装置で触覚呈示することができないという課題がある。
【０００６】
本発明は上記従来技術の問題点に鑑み、多層に配置されたオブジェクトの階層関係を単一の装置で、かつ階層の数を限定せずに操作者の触覚へフィードバックすることができる触覚ユーザインタフェース装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するために、画面上にグラフィカル・ユーザ・インタフェースで表示されるオブジェクトの位置に対応付けられた画面領域内に、操作部を有するポインティングデバイスにより指し示されるカーソルの位置を移動させた場合に、駆動力発生手段で発生させた駆動力を前記操作部に伝達して操作者に触覚刺激を呈示する触覚ユーザインタフェース装置において、
前記画面上に表示される断層構造のオブジェクトにおける任意に選択された１つの階層オブジェクトの位置に対応付けられた画面領域内に前記カーソルの位置を移動させた場合に、前記１つの階層から上位又は下位の階層に遷移させるための方向に、前記駆動力発生手段を初期位置から所定の距離だけ躍度を生じさせて移動させる移動手段を備えたことを特徴とする。
【０００８】
本発明は上記目的を達成するために、前記移動手段が前記駆動力発生手段を前記所定の距離だけ移動させた後、前記駆動力発生手段を前記初期位置まで躍度を生じさせないで移動させる復帰手段を更に備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、表示部上に多層に配置されたウインドウやアイコンなどの階層関係や、メニューやツリービューなどの階層を、単一のポインティングデバイス装置でかつ階層の数を限定せずに操作者の触覚へフィードバックすることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る触覚ユーザインタフェース装置の一実施の形態を備えたシステムを示すブロック図、図２は図１の入出力装置の一例を示す構成図、図３は図１の入出力装置の他の例を示す構成図、図４は階層構造のオブジェクトを示す説明図、図５は触覚刺激呈示時の加速度、速度及び位置を示す説明図、図６は復帰時の加速度、速度及び位置を示す説明図、図７は復帰時の躍度を示す説明図、図８は触覚呈示動作と復帰動作を連続して行う場合の加速度、速度及び位置を示す説明図、図９は触覚呈示処理を説明するためのフローチャートである。
【００１１】
図１において、入出力装置１は本発明に係る触覚ユーザインタフェース装置の一実施の形態であり、電子制御機器２０の制御によってカーソルが表示部３０上の特定の位置にあるとき、あるいは特定の状態にあるときに、電子制御機器２０においてソフトウエアにより発生された作動信号に従って触刺激発生部１２が駆動し、ポインティングデバイス部１１へ力を伝達することで操作者に触覚刺激を呈示する。
【００１２】
図２に示す例の入出力装置１は、キーボードの一部に組み込まれており、電子計算機などの電子制御機器２０に接続される。入出力装置１は、表示部３０におけるカーソル位置を移動させるために使用するポインティングデバイス部１１、及び機械的な動作によりポインティングデバイス部１１に触覚刺激（触刺激とも言う）を与える触刺激発生部１２で構成され、ポインティングデバイス部１１は触刺激発生部１２の上に設置されている。触刺激発生部１２は、触覚呈示に必要な駆動力を発生する駆動力発生機構１２１、及び上記駆動力を伝える駆動力伝達機構１２２で構成される。駆動力発生機構１２１と駆動力伝達機構１２２は隣接させても離間設置してもよい。また駆動力発生機構１２１自体が駆動力を伝えるならば駆動力伝達機構１２２を省略してもよい。駆動力発生機構１２１で発生した駆動力は駆動力伝達機構１２２を介してポインティングデバイス部１１へ伝達され、ポインティングデバイス部１１を操作する操作者の触覚へ刺激を与えるようになっている。
【００１３】
触刺激発生部１２としては、ポインティングデバイス部１１へ推力などを発生、伝達できるものであればよく、直動モータ、回転モータ、ソレノイド、空気圧シリンダ、油圧シリンダなどの駆動力発生機構、及び駆動力を伝えるリンク、てこ、カムなどの伝達機構を利用することができる。図３は入出力装置１の他の例を示し、回転モータ１２１Ａがリンク１２２Ａを介し、ポインティングデバイスであるジョイスティック１１Ａと連結している。ジョイスティック１１Ａは、回転モータ１２１Ａの振動などの力を検出するための機構（図示省略）を内蔵している。
【００１４】
図４は、電子制御機器２０のＧＵＩ（グラフィカル・ユーザ・インタフェース）により表示部３０の画面に表示される階層構造のオブジェクトを模式的に示し、メニューのオブジェクト４１は項目Ａ、Ｂ、Ｃ、Ｄの各オブジェクトを含む。項目Ｃのオブジェクト４１１は下位の項目Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５の各オブジェクトを含み、項目Ｃのオブジェクト４１１がカーソル４０により指定されると、これらの各項目Ｃ１〜Ｃ５がポップアップウインドウ４２で表示される。項目Ｃ２のオブジェクト４２１はさらに下位の項目Ｃ２１、Ｃ２２、Ｃ２３、Ｃ２４、Ｃ２５の各オブジェクトを含み、項目Ｃ２のオブジェクト４２１がカーソル４０により指定されると、これらの各項目Ｃ２１〜Ｃ２５がポップアップウインドウ４３で表示される。カーソル４０はメニュー項目Ｃのオブジェクト４１１、ポップアップウインドウ４２内の項目Ｃ２のオブジェクト４２１、ポップアップウインドウ４３内の項目Ｃ２２のオブジェクト４３１へ到達でき、項目Ｃのオブジェクト４１１を選択するとポップアップウインドウ４２が新規に表示されるが、ポップアップウインドウ４２上にカーソル４０を移動させると同時に、触刺激発生部１２を駆動し一段上昇させる触覚呈示を行うことで、操作者は指し示す対象が変わり、一階層移動したカーソル４０の状態をより明確に確認可能になる。
【００１５】
一般的に、人は加速度又は加速度の時間変化（躍度又は加加速度と呼ぶ）が大きいときに運動を感じると言われる。つまり不連続な加速度を与えることで躍度を呈示すれば操作者は触覚を感じることができる。図５は上記触覚呈示を実現する加速度・速度・位置波形の一例である。不連続な加速度を与えることで触覚呈示を行いながら、触覚呈示部を原点から１．０ｃｍの位置へ移動させている。加速度波形５１を積分して得られる速度波形が５２、さらに積分して得られる位置波形が５３である。
【００１６】
ここで触刺激発生部１２の可動範囲が限定されているため、操作者に知覚されないように復帰動作を実行しておく。具体的には、躍度を生じさせないようにして復帰させる。こうすることで、次に項目Ｃ２の下位オブジェクト４２１を選択し、表示されるポップアップウインドウ４３へ移動する際にも、触刺激発生部１２を駆動して一段上昇させる触覚呈示が可能になる。このように加速度及び躍度をある値以下に抑えれば、人が知覚しない復帰動作を行うことができ、図６は上記復帰動作を実現する加速度・速度・位置波形の一例である。加速度波形６１は最大加速度を±０．１Ｇ（＝±０．１ｍ／ｓ2)以下に、かつ最大躍度を±０．１Ｇ／ｓ（＝±０．１ｍ／ｓ3)以下に抑え、触刺激発生部１２を１．０ｃｍの位置から原点へ移動する場合を表している。加速度波形６１を積分した速度波形が６２、さらに積分した位置波形が６３である。また、加速度波形６１を微分して得られる躍度波形６４を図７に示す。
【００１７】
図８は、これら触覚呈示動作と復帰動作を連続して行うことにより、多層に配置されたオブジェクトの階層情報あるいは上昇の運動感を操作者に与えるような加速度、速度及び位置波形の一例である。時間＝０sec より最初の触覚呈示、時間＝０．５sec より復帰動作、時間＝２．５sec より２回目の触覚呈示を行っている。
【００１８】
図９は、本発明の実施の形態における触覚動作の一例を表すフローチャートである。動作中は常に触刺激発生部１２に対する位置の制御を行うこととする。開始と同時に触刺激発生部１２を初期位置へ移動させるなどの初期化処理を行い（ステップＳ１）、待機動作（同じ位置で停止し続ける制御）を行う（ステップＳ２）。電子制御機器２０より触覚呈示の指令が与えられると（ステップＳ３でＹ）、指令内容に従って触刺激発生部１２を制御して触覚呈示を行う（ステップＳ４→Ｓ５でＹ→Ｓ６→Ｓ７）。その後次回の触覚呈示へ備えるため復帰動作を行うが（ステップＳ８、Ｓ９）、このとき、位置指令値は前記加速度パターン生成方法より操作者が運動を知覚しないように算出される。復帰動作が完了したら、次回の触覚呈示の指令あるいは終了の指令が与えられるまで待機動作を行う（ステップＳ２）。終了の指令が与えられると、終了位置へ移動させるなどの終了処理を行い（ステップＳ１０）、一連の動作が終了する。
【００１９】
以上のように触覚呈示後に復帰動作を行うことで、単一の装置で連続した触覚呈示が可能となる。これにより多層に配置されたオブジェクトの階層関係をマウスボタンの上昇／下降、ジョイスティックの前進／後退、若しくは上昇／下降、又は移動／停止などの運動感を操作者の触覚へフィードバックすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る触覚ユーザインタフェース装置の一実施の形態を備えたシステムを示すブロック図である。
【図２】図１の入出力装置の一例を示す構成図である。
【図３】図１の入出力装置の他の例を示す構成図である。
【図４】階層構造のオブジェクトを示す説明図である。
【図５】触覚刺激呈示時の加速度、速度及び位置を示す説明図である。
【図６】復帰時の加速度、速度及び位置を示す説明図である。
【図７】復帰時の躍度を示す説明図である。
【図８】触覚呈示動作と復帰動作を連続して行う場合の加速度、速度及び位置を示す説明図である。
【図９】触覚呈示処理を説明するためのフローチャートである。
【符号の説明】
【００２１】
１  入出力装置
１１  ポインティングデバイス部
１１Ａ、１２Ａ  ジョイスティック
１２  触刺激発生部
２０  電子制御機器
３０  表示部
４０  カーソル
４１、４１１、４２１、４３１  オブジェクト
４２、４３  ポップアップウインドウ
５１、６１  加速度波形
５２、６２  速度波形
５３、６３  位置波形
６４  躍度波形
１２１  駆動力発生機構
１２２  駆動力伝達機構
１２１Ａ  回転モータ
１２２Ａ  リンク
【図１】
2007041649.tif 000003
【図２】
2007041649.tif 000004
【図３】
2007041649.tif 000005
【図４】
2007041649.tif 000006
【図５】
2007041649.tif 000007
【図６】
2007041649.tif 000008
【図７】
2007041649.tif 000009
【図８】
2007041649.tif 000010
【図９】
2007041649.tif 000011