(57)【要約】【課題】３次元空間内の任意の点を自然な操作感で容易、且つ、精度高く指定する。【解決手段】２次元表示画面上に３次元空間を表示し、ユーザが指定した２次元表示画面内の点の座標値及び押圧値を検出し（ステップＳ１，Ｓ３）、座標値及び押圧値の大きさに従って３次元空間内の位置を特定する（ステップＳ４）ことにある。これにより、ユーザは、２次元表示画面上の点を指定することにより３次元空間内の任意の点の位置を簡単に指定することができるようになり、現実世界における動作に近い自然な操作感で、３次元空間内の任意の点を容易、且つ、精度高く指定することが可能となる。【選択図】　　　図５
2004070920.tif 000002
【特許請求の範囲】
【請求項１】
２次元表示画面上に３次元空間を表示するステップと、
ユーザが指定した上記２次元表示画面内の点の座標値及び奥行値を検出するステップと、
上記座標値及び上記奥行値の大きさに従ってユーザが指定する上記３次元空間内の位置を認識するステップと
をコンピュータに実行させる情報処理プログラム。
【請求項２】
請求項１に記載の情報処理プログラムであって、
上記ユーザが指定した２次元表示画面の点にカーソルを表示するステップと、
上記奥行値の大きさの変化に従って上記２次元表示画面の奥行方向に移動する上記カーソルを表示するステップと
を有することを特徴とする情報処理プログラム。
【請求項３】
請求項２に記載の情報処理プログラムであって、
上記カーソルが停止した位置をユーザが指定する上記３次元空間内の位置とするステップを有すること
を特徴とする情報処理プログラム。
【請求項４】
請求項２又は請求項３に記載の情報処理プログラムであって、
上記カーソルが移動するのに応じてカーソルの大きさ、色、及び輝度の少なくとも一つを変化させるステップを有すること
を特徴とする情報処理プログラム。
【請求項５】
請求項２から請求項４のうち、いずれか一項に記載の情報処理プログラムであって、
上記カーソルが上記３次元空間内にあるオブジェクトと接触するのに応じて所定の処理を実行するステップを有すること
を特徴とする情報処理プログラム。
【請求項６】
請求項５に記載の情報処理プログラムであって、
上記所定の処理は振動及び音声の少なくとも一方を生成する処理であること
を特徴とする情報処理プログラム。
【請求項７】
２次元表示画面上に少なくとも一つのオブジェクトを表示するステップと、
ユーザが指定した上記２次元表示画面上の点の座標値及び奥行値を検出するステップと、
上記座標値により指定される上記オブジェクトに対し上記奥行値の大きさに応じた処理を実行するステップと
をコンピュータに実行させる情報処理プログラム。
【請求項８】
請求項７に記載の情報処理プログラムであって、
上記奥行値が所定の閾値以上であるか否かを判別することにより上記実行する処理を選択するステップを有すること
を特徴とする情報処理プログラム。
【請求項９】
請求項７又は請求項８に記載の情報処理プログラムであって、
上記座標値及び上記奥行値の大きさの変化に応じて振動及び音声の少なくとも一方を生成するステップを有すること
を特徴とする情報処理プログラム。
【請求項１０】
２次元表示画面上に３次元空間を表示するステップと、
ユーザが指定した上記２次元表示画面内の点の座標値及び奥行値を検出するステップと、
上記座標値及び上記奥行値の大きさに従って上記３次元空間内の位置を認識するステップと
をコンピュータに実行させる情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
２次元表示画面上に少なくとも一つのオブジェクトを表示するステップと、
ユーザが指定した上記２次元表示画面上の点の座標値及び奥行値を検出するステップと、
上記座標値により指定される上記オブジェクトに対し上記奥行値の大きさに応じた処理を実行するステップと
をコンピュータに実行させる情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
２次元表示画面上に３次元空間を表示し、
ユーザが指定した上記２次元表示画面内の点の座標値及び奥行値を検出し、
上記座標値及び上記奥行値の大きさに従って上記３次元空間内の位置を認識する
情報処理方法。
【請求項１３】
２次元表示画面上に少なくとも一つのオブジェクトを表示し、
ユーザが指定した上記２次元表示画面上の点の座標値及び奥行値を検出し、
上記座標値により指定される上記オブジェクトに対し上記奥行値の大きさに応じた処理を実行する
情報処理方法。
【請求項１４】
２次元表示画面上に３次元空間を表示する表示部と、
ユーザが指定した上記２次元表示画面上の点の座標値を検出する座標値検出部と
上記２次元表面上の点における奥行値を検出する奥行値検出部と、
検出した上記座標値及び上記奥行値に従ってユーザが指定する上記３次元空間内の位置を認識する制御部と
を有する情報処理装置。
【請求項１５】
請求項１４に記載の情報処理装置であって、
上記制御部は、上記２次元画面上の点にカーソルを表示し、上記奥行値の大きさの変化に従って２次元表示画面の奥行方向にカーソルを移動表示すること
を特徴とする情報処理装置。
【請求項１６】
請求項１５に記載の情報処理装置であって、
上記制御部は、上記カーソルが停止した位置をユーザが指定する上記３次元空間内の位置とすること
を特徴とする情報処理装置。
【請求項１７】
請求項１５又は請求項１６に記載の情報処理装置であって、
上記制御部は、上記カーソルが移動するに応じて、カーソルの大きさ、色、及び輝度の少なくとも一つを変化させること
を特徴とする情報処理装置。
【請求項１８】
請求項１５から請求項１７のうち、いずれか一項に記載の情報処理装置であって、
上記制御部は、上記カーソルが上記３次元空間内にあるオブジェクトと接触するのに応じて所定の処理を実行すること
を特徴とする情報処理装置。
【請求項１９】
請求項１８に記載の情報処理装置であって、
上記所定の処理は振動及び音声の少なくとも一方を生成する処理であること
を特徴とする情報処理装置。
【請求項２０】
請求項１４から請求項１９のうち、いずれか一項に記載の情報処理装置であって、
上記座標値検出部及び上記奥行値検出部はそれぞれタッチパネル及び感圧素子であること
を特徴とする情報処理装置。
【請求項２１】
２次元表示画面上に少なくとも一つのオブジェクトを表示する表示部と、
ユーザが指定した２次元表示画面上の点の座標値を検出する座標値検出部と、
上記２次元表示画面上の点における奥行値を検出する奥行値検出部と、
上記座標値により指定される上記オブジェクトに対し上記奥行値の大きさに応じた処理を実行する制御部と
を備える情報処理装置。
【請求項２２】
請求項２１に記載の情報処理装置であって、
上記制御部は、上記奥行値が所定の閾値以上であるか否かを判別することにより実行する処理を選択すること
を特徴とする情報処理装置。
【請求項２３】
請求項２１又は請求項２２に記載の情報処理装置であって、
上記制御部は、上記座標値及び上記奥行値の大きさの変化に従って、振動及び音声の少なくとも一方を生成すること
を特徴とする情報処理装置。
【請求項２４】
請求項２１から請求項２３のうち、いずれか一項に記載の情報処理装置であって、
上記座標値検出部及び上記奥行値検出部はそれぞれタッチパネル及び感圧素子であること
を特徴とする情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば２次元表示画面上に表示されている３次元空間内の任意の点を指定する処理に適用して好適な、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置に関する。
【０００２】
【従来の技術】
従来、液晶ディスプレイ装置やＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）等の２次元表示画面上に表示されている画像の中の任意の点を指定する場合には、ユーザは、マウスポインタ，タブレット，タッチパネル等の入力装置や指で所望の点をシステムに対し指示していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、一般に、従来までのシステムは２次元表示画面の面内方向における点の位置しか指定することができない構成となっているために、例えば２次元表示画面上に表示されている３次元空間内の任意の点を指定することができない。なお、例えば、表示画面の面内方向における点の位置（ｘ，ｙ）を指定する入力装置に加えて、表示画面に対し垂直方向（ｚ）（奥行方向）の点の位置を指定する別の入力装置を利用する方法や、指定する点の３次元座標（ｘ，ｙ，ｚ）を直接入力する方法を用いることにより、３次元空間内の任意の点の位置を指定することも考えられるが、この方法を用いた場合には、ユーザの操作が非常に煩雑となり、点を簡単に指定することができなくなってしまう。また、例えば３次元マウスポインタを利用して３次元空間内の点の位置を指定する方法も考えられるが、一般的に、３次元マウスポインタは、ユーザが空中で操作する構成となっているために、点を指定する際にはユーザは多くの労力が必要となるばかりでなく、システムに対し点を正確に指定することが難しい。
【０００４】
本発明は、上記課題を解決するためになされたものであり、その目的は、２次元表示画面に表示されている３次元空間内の任意の点を自然な操作感で容易、且つ、精度高く指定することを可能にする、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置を提供することにある。
【０００５】
【課題を解決するための手段】
本発明の第１の特徴は、２次元表示画面上に３次元空間を表示し、ユーザが指定した２次元表示画面内の点の座標値及び奥行値を検出し、座標値及び奥行値の大きさに従って３次元空間内の位置を特定することにある。すなわち、この発明においては、ユーザが指定した２次元表示画面上の点の位置とその点における奥行値に基づいてユーザが指定する３次元空間内の位置を特定する。このような構成によれば、ユーザは、現実世界における動作に近い自然な操作感で、３次元空間内の点を容易、且つ、精度高く指定することができる。
【０００６】
また、本発明の第２の特徴は、２次元表示画面上に少なくとも一つのオブジェクトを表示し、ユーザが指定した２次元表示画面上の点の座標値及び奥行値を検出し、座標値により指定されるオブジェクトに対し奥行値の大きさに応じた処理を実行することにある。すなわち、この発明においては、奥行値の大きさに応じてユーザが指定した点にあるオブジェクトに対して所定の操作を実行する。このような構成によれば、装置の操作に不慣れなユーザであっても自然な操作感で簡単に２次元表示画面内に表示されているオブジェクトを操作することができる。
【０００７】
【発明の実施の形態】
本発明に係る情報処理装置は、２次元表示画面上に表示されている３次元空間内の任意の点を指定、操作することにより、装置に対し所定の処理を実行させる処理に適用することができる。以下、本発明の第１及び第２の実施の形態となる情報処理装置の構成及び動作について詳しく説明する。
【０００８】
［第１の実施形態］
〔情報処理装置の構成〕
本発明の第１の実施形態となる情報処理装置１は、図１に示すように、ＣＰＵ２、ＲＡＭ３、ＲＯＭ４、表示部５、及び操作入力部６を主な構成要素として備え、これらの構成要素はバス配線７を介して互いに電気的に接続されている。
【０００９】
上記ＣＰＵ２は、一般的なプロセッサ装置により構成され、ＲＯＭ４内に記憶されたコンピュータプログラムに従って情報処理装置の動作を制御する。
【００１０】
上記ＲＡＭ３は、揮発性の半導体メモリにより構成され、ＣＰＵ２が実行する処理を実現するコンピュータプログラムや処理用データを一時的に格納するワークエリアを提供する。
【００１１】
上記ＲＯＭ４は、不揮発性の半導体メモリにより構成され、情報処理装置の起動プログラム（図示せず）やインタフェイスプログラム８（詳しくは後述する）等のコンピュータプログラムを格納するプログラム部９と、コンピュータプログラムの実行に必要な処理用データを格納する処理用データ部１０とを備える。なお、コンピュータプログラムや処理用データは、その一部若しくは全部を電子ネットワークを介して受信するようにしてもよい。
【００１２】
上記表示部５は、液晶ディスプレイやＣＲＴ等の表示出力装置により構成され、ＣＰＵ２の指示に従って３次元オブジェクト等の様々な情報を２次元画面内に表示する。なお、その他の実施の形態として、表示部５としてプラスチックフィルム等の柔軟な基盤を用いたフレキシブルディスプレイ装置を利用してもよい。
【００１３】
上記操作入力部６は、ユーザが指や所定の入力装置により押下して指定した、２次元画面上の任意の点における座標値（ｘ，ｙ）及び押圧値Ｐを検出可能な装置により構成される。この第１の実施の形態においては、操作入力部６は、図２に示すように、表示部５に内蔵若しくは接着されたタッチパネル部１１と、タッチパネル部１１の背面に設置された感圧素子１２と、感圧素子１２を背面から支持する裏板１４を備える。
【００１４】
ここで、上記タッチパネル部１１は、赤外線式、圧力式、電磁式等の既存の検出方式によりユーザが押下した２次元画面上の点の座標値（ｘ，ｙ）を検出する。また、感圧素子１２はユーザが押下した２次元画面上の点における押圧値Ｐを検出し、押圧値Ｐの大きさを示す圧力検知信号をＣＰＵ２に出力する。また、上記裏板１４は、図２や図３に示すような形態で装置本体１３に固定されている。
【００１５】
上記のように、この実施の形態となる操作入力部６は、座標検出機構（タッチパネル部１１）と押圧値検知機構（感圧素子１２）がそれぞれ表示部５の前面及び背面に配置されているので、座標値検出機構と押圧値検知機構の両方の機能をまとめて表示部５の前面に配置した場合と比較して、表示部５部分の厚みを薄くすることが可能となり、この結果、ユーザが表示部５を斜め方向から見て点を指定した際に表示点と押下点との間に生じるずれを小さくすることができる。
【００１６】
また、感圧素子１２を表示部５の前面に配置する場合には、通常、表示部５部分の厚みを抑えるために、厚みの小さい感圧素子１２を利用するが、上記操作入力部６では、感圧素子１２は表示部５の背面に配置されているので、例えば、感圧素子１２にある程度の厚みを持たせて検出可能な押圧値Ｐの範囲を広くする、操作入力部６にある程度の弾力性を持たせる等、設計の自由度が増すことができる。また、感圧素子１２が透明である必要性がなくなるので、安価な感圧素子を利用して操作入力部の製造コストを削減することができる。
【００１７】
また、圧力検出機構を表示部５の前面に設置した場合には、通常、表示部５表面が軟らかくなり、ユーザが操作上違和感を感じることがあるが、このような構成によれば、表示部５表面は適度な軟らかさになるので、ユーザが操作上違和感を感じることがない。
【００１８】
さらに、裏板１４を装置本体１３に接続し、タッチパネル部１１自体は装置本体１３に固定しないように構成しているので、ユーザが押下した点の押圧値Ｐを正確に検出することができる。
【００１９】
なお、上記感圧素子１２は、例えば図４（ａ）に示すように電気配線１５を介して直列に接続し、タッチパネル部１１全体について押圧値Ｐを検出するようにしてもよい。また、例えば図４（ｂ）に示すように、感圧素子１２を電気配線１５を介して所望のブロック毎に接続し、ブロック領域毎に押圧値Ｐを検出してもよい。また、例えば図４（ｃ）に示すように、各感圧素子１２に電気配線１５を接続し、各感圧素子１２の押圧値Ｐを検出してもよい。
【００２０】
また、ユーザの押圧値Ｐと感圧素子１２の圧力検知信号の値とが異なる場合や、２次元平面内の位置によって押圧値Ｐの検出精度が異なる場合には、電子回路やソフトウェア的な処理により両者の値が同じになるように補正することが望ましい。また、ソフトウェア的な補正処理によれば、経年変化に伴う補正値の変化や、ユーザの個人差や年齢差に伴う平均押圧値の違いについても簡単に対応することができるので、上記補正処理はソフトウェア的な処理により行うとよい。
【００２１】
このように、この第１の実施の形態においては、情報処理装置１は、タッチパネル部１１と感圧素子１２によりユーザが指定した２次元表示画面上の任意の点における座標値（ｘ，ｙ）及び押圧値Ｐをそれぞれ独立して検出することができるように構成されている。
【００２２】
〔情報処理装置の動作〕
『３次元位置の指定，選択』
上記のような構成を有する情報処理装置１によれば、ユーザは表示部５に表示されている３次元空間内の任意の３次元位置を指定、選択することができる。以下、図５に示すフローチャートを参照して、ユーザが３次元空間内の任意の３次元位置を指定、選択する際の情報処理装置１の動作について詳しく説明する。
【００２３】
図５に示すフローチャートは、ユーザが、タッチパネル部１１を介して２次元表示画面に指や所定の入力装置で触れることでで開始となり、ＣＰＵ２がインタフェイスプログラム８に従って以下の処理を実行する。
【００２４】
ステップＳ１の処理では、ＣＰＵ２が、タッチパネル部１１を介してユーザが指定した２次元表示画面上の点１６（以下、指定点１６と表記する）の座標値（ｘ，ｙ）を検出する。これにより、このステップＳ１の処理は完了し、この指定処理はステップＳ１の処理からステップＳ２の処理に進む。
【００２５】
ステップＳ２の処理では、ＣＰＵ２が、表示部５を制御して、検出した座標位置（ｘ，ｙ）にカーソル１７を表示出力する。これにより、このステップＳ２の処理は完了し、この指定処理はステップＳ２の処理からステップＳ３の処理に進む。
【００２６】
ステップＳ３の処理では、ＣＰＵ２が、感圧素子１２から出力される圧力検知信号を参照して、指定点１６における押圧値Ｐを検出する。これにより、このステップＳ３の処理は完了し、この指定処理はステップＳ３の処理からステップＳ４の処理に進む。
【００２７】
ステップＳ４の処理では、ＣＰＵ２が、図６に示すように、ユーザの視線１８と平行な、指定点１６から３次元空間を構成する描画領域２０の奥行き（ｚ）方向に伸びる直線１９を規定する。そして、ＣＰＵ２は、この直線１９上に沿ってカーソル１７を押圧値Ｐの大きさに対応する距離だけ描画領域２０の奥行き（ｚ）方向に移動表示する。その後、ＣＰＵ２は、例えばカーソル１７が停止した位置にあるオブジェクトを選択状態にする等して、カーソル１７が停止した位置をユーザが指定した描画領域２０内の３次元位置と特定する。これにより、このステップＳ４の処理は完了し、一連の指定処理は終了する。
【００２８】
ここで、上記の処理では、ＣＰＵ２は、ユーザの視線１８と平行な直線１９を規定したが、例えば図７に示すように、ユーザの視線１８と平行でない直線２１を規定し、この直線２１に沿ってカーソル１７を移動表示してもよい。このような構成によれば、視線１８と平行な直線１９を用いた場合と比べ、ユーザはカーソル１７が描画領域２０の奥行き方向に移動する様子を把握することがより容易となる。なお、この時、ＣＰＵ２は、表示部５を制御して、カーソル１７と併せて直線１９も表示するようにして、カーソル１７の移動方向をユーザに認識させるようにしてもよい。
【００２９】
また、ＣＰＵ２は、例えば、カーソル１７の大きさ，色，輝度等をカーソル１７の奥行き（ｚ）方向の位置に応じて変化させる、描画領域２０内の３次元空間内のオブジェクトとカーソル１７が干渉する様子を表示する、グリッド線を表示する、描画領域２０を立体視により形成する等の描画処理を行うことにより、カーソル１７が描画領域２０の奥行き方向に移動する様子をユーザが簡単に把握することができるようにすることが望ましい。
【００３０】
なお、上記のような視覚的な処理以外にも、例えば、カーソル１７が描画領域２０内のオブジェクトと干渉するに応じて表示画面を振動させたり、音を発生する等の処理を実行することにより、カーソル１７が描画領域２０の奥行き方向に移動する様子をユーザが簡単に把握することができるようにしてもよい。
【００３１】
このように、上記情報処理装置１は、ユーザが指定した２次元表示画面上の点における押圧値Ｐを感圧素子１２により検出し、その大きさを描画領域２０の奥行き方向の座標値（ｚ）として認識する。このような情報処理装置１の処理動作によれば、ユーザはタッチパネル部１１を介して２次元表示画面上の点を指定することにより、３次元空間を構成する描画領域２０内の任意の点の３次元位置を簡単に指定することができる。また、この処理動作は現実世界における実際の３次元位置指示動作に近いものであるので、装置の操作に不慣れなユーザであっても教育やトレーニングを受けることなく簡単に描画領域２０内の任意の３次元位置を指定することが可能となる。
【００３２】
なお、上記のような３次元位置の指定動作は、具体的には以下に示すようなオブジェクトの操作に対し適用して好適である。例えば、図８（ａ）に示すような５層のオブジェクト要素が立体的に配置された構成のオブジェクト２２が表示部５に表示され、ユーザは、オブジェクト中に指定点２３を指定した後に（図８（ｂ））、この指定点２３を移動することにより（図８（ｃ））、図９に示すようにページをめくる感覚で指定点２３により選択されたオブジェクト要素を移動することができる場合、ユーザは、押圧値Ｐの大きさを調節することにより、図１０に示すように選択されるオブジェクト要素の数を直感的に変化させ、所望のオブジェクト要素を簡単に移動させることができる。
【００３３】
また、例えば図１１（ａ）〜（ｃ）に示すように、タッチパネル部１１上の２つの点２３ａ，２３ｂを指定し、この２点を移動することにより、テクスチャ２４上に配置されたオブジェクト２５を摘み取る操作を行う際に、押圧値Ｐの大きさに従って図１１（ｄ）や図１２に示すようにテクスチャ２４を変形させることにより、現実世界で実際にオブジェクト２５を摘み取っているような感覚をユーザに与えることができる。
【００３４】
『ダブルクリック無し操作』
上記のような構成を有する情報処理装置１によれば、ユーザは、一般的なコンピュータシステムにおいて採用されているシングルクリック操作やダブルクリック操作を行うことなく、表示部５に表示されているフォルダファイルやアプリケーションプログラムを表すアイコンを現実世界の操作に近い自然な操作感で操作し、各操作に対応する処理を装置に指示することができる。以下、図１３に示すフローチャートに従って、ユーザがアイコンを操作する際の上記情報処理装置１の処理動作について詳しく説明する。
【００３５】
図１３に示すフローチャートは、ＣＰＵ２が、ユーザが押下しているタッチパネル部１１上の指定点の座標値（ｘ，ｙ）及び押圧値Ｐの変化を検出（イベント検知）することで開始となり、ＣＰＵ２はインタフェイスプログラム８に従って以下の処理を実行する。
【００３６】
なお、以下の処理において、ＣＰＵ２は、インタフェイスプログラム８に従って、イベント検知前の指定点の座標値（ｘ，ｙ）及び押圧値Ｐに関する情報をＲＡＭ３内に記憶する。また、ユーザは、ＣＰＵ２がシングルクリック操作及びダブルクリック操作のどちらの操作が指示されたのかを判別する際に使用する第１及び第２設定値Ｐ１，Ｐ２（Ｐ１＜Ｐ２）を予め装置に入力しておく。そして、第１及び第２設定値Ｐ１，Ｐ２の入力に応じて、ＣＰＵ２は、入力された値をＲＯＭ４内に格納する。
【００３７】
ステップＳ１１，Ｓ１２の処理では、ＣＰＵ２が、検出した押圧値ＰとＲＯＭ４内に格納されている第１及び第２設定値Ｐ１，Ｐ２との大小関係を比較し、その大小関係に応じて以下のように場合分けをして処理を実行する。
【００３８】
以下、（ｉ）第２設定値Ｐ２＜押圧値Ｐである場合、（ｉｉ）第１設定値Ｐ１＜押圧値Ｐ＜第２設定値Ｐ２である場合、（ｉｉｉ）押圧値Ｐ＜第１設定値Ｐ１である場合の３つの場合に分けて情報処理装置の動作を説明する。
【００３９】
なお、以下の処理では、ＣＰＵ２は、例えばユーザが指定点を指で押圧している状態なのか、又は、指定点から指を離そうとしている状態なのか等、検出したイベントの内容を認識可能なように、直前のイベントの状態をＲＡＭ３内に記憶し、検出したイベントと直前のイベントの状態とを比較して状態の変化を認識することにより、検出したイベントの内容を判定する。具体的には、ＣＰＵ２は、シングルクリック操作に相当する第１設定値Ｐ１を指定点に与えた状態（ＰＲＥＳＳ１状態）、ダブルクリック操作に相当する第２設定値Ｐ２を指定点に与えた状態（ＰＲＥＳＳ２状態）、指定点から指が離れた状態（以下、ＲＥＬＥＡＳＥ状態と表記する）の３つの状態をステータスとしてＲＡＭ３内に格納する。
【００４０】
（ｉ）第２設定値Ｐ２＜押圧値Ｐの場合
第２設定値Ｐ２＜押圧値Ｐである場合、ＣＰＵ２は、操作処理をステップＳ１１，Ｓ１２の処理からステップＳ１３の処理に進め、ステップＳ１３の処理として、ＲＡＭ３内のデータを参照して、ステータスがＰＲＥＳＳ２状態であるか否かを判別する。
【００４１】
そして、ステップＳ１３の判別処理の結果、ステータスがＰＲＥＳＳ２状態である場合には、ＣＰＵ２は次のイベントが検知されるまで待機する。一方、判別の結果、ステータスがＰＲＥＳＳ２状態でない場合には、ＣＰＵ２はこの操作処理をステップＳ１４の処理に進める。
【００４２】
ステップＳ１４の処理では、ＣＰＵ２が、ステータスをＰＲＥＳＳ２状態に設定し、ＲＡＭ３内に記憶する。これにより、このステップＳ１４の処理は完了し、この操作処理はステップＳ１４の処理からステップＳ１５の処理に進む。
【００４３】
ステップＳ１５の処理では、ＣＰＵ２が、例えばアイコンが表すアプリケーションプログラムを起動する等のダブルクリック操作に対応する処理を行う。これにより、検知したイベントに対する操作処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。
【００４４】
（ｉｉ）第１設定値Ｐ１＜押圧値Ｐ＜第２設定値Ｐ２の場合
第１設定値Ｐ１＜押圧値Ｐ＜第２設定値Ｐ２である場合、ＣＰＵ２は、操作処理をステップＳ１１，Ｓ１２の処理からステップＳ１６の処理に進め、ステップＳ１６の処理として、ＲＡＭ３内のデータを参照して、ステータスがＰＲＥＳＳ２状態であるか否かを判別する。そして、判別の結果、ステータスがＰＲＥＳＳ２状態である場合、ＣＰＵ２は次のイベントが検知されるまで待機する。一方、判別の結果、ステータスがＰＲＥＳＳ２状態でない場合には、ＣＰＵ２はこの操作処理をステップＳ１７の処理に進める。
【００４５】
ステップＳ１７の処理では、ＣＰＵ２が、ＲＡＭ３内のデータを参照して、ステータスがＰＲＥＳＳ１状態であるか否かを判別する。そして、判別の結果、ステータスがＰＲＥＳＳ１状態でない場合には、ＣＰＵ２は、ステップＳ１８の処理においてステータスをＰＲＥＳＳ１状態に設定した後、ステップＳ１９の処理として、例えばアイコンが表すアプリケーションプログラムを選択状態にする等のシングルクリック操作に対応する処理を実行する。そして、ステップＳ１９の処理が完了すると、ＣＰＵ２はこの操作処理をステップＳ２２の処理に進める。
【００４６】
一方、ステップＳ１７の判別処理の結果、ステータスがＰＲＥＳＳ１状態である場合には、ＣＰＵ２は、ステップＳ２０の処理として、指定点（ｘ，ｙ）がＲＡＭ３内に記憶されている基準点（ｘ０，ｙ０）から所定の距離以上ＤＸ１，ＤＸ２離れているか否かを判別する。そして、判別の結果、指定点が基準点から所定の距離以上離れていない場合、ＣＰＵ２は次のイベントが検知されるまで待機する。一方、指定点が基準点から所定の距離以上離れている場合には、ＣＰＵ２は、検知したイベントはユーザがシングルクリック操作により指定したアイコンを移動するドラッグ操作であると判断し、ステップＳ２１の処理として、ドラッグ処理に対応する処理動作を実行する。これにより、このステップＳ２１の処理は完了し、この操作処理はステップＳ２１の処理からステップＳ２２の処理に進む。
【００４７】
ステップＳ２２の処理では、ＣＰＵ２が、現在の指定点の座標値（ｘ，ｙ）を、以後の処理に利用する座標値の基準点（ｘ０，ｙ０）としてＲＡＭ３内に格納する。これにより、検知したイベントに対する操作処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。
【００４８】
（ｉｉｉ）押圧値Ｐ＜第１設定値Ｐ１の場合
押圧値Ｐ＜第１設定値Ｐ１である場合、ＣＰＵ２は、操作処理をステップＳ１１の処理からステップＳ２３の処理に進め、ステップＳ２３の処理として、ＲＡＭ３内のデータを参照して、ステータスがＰＲＥＳＳ１状態である否かを判別する。そして、判別の結果、ステータスがＰＲＥＳＳ１状態である場合には、ＣＰＵ２は、検知したイベントはユーザがアイコンをシングルクリックした後に指の圧力を抜いていく段階の動作（以下、「シングルクリック操作後のリリース動作」と表記する）であると判断し、ステップＳ２４の処理においてステータスをＲＥＬＥＡＳＥ状態に設定した後、ステップＳ２５の処理として、例えばアイコンがフォルダであればフォルダを開く等の「シングルクリック操作後のリリース動作」に対応する処理を実行する。そして、ステップＳ２５の処理が完了すると、ＣＰＵ２はこの操作処理をステップＳ１１の処理に戻す。
【００４９】
一方、ステップＳ２３の判別処理の結果、ステータスがＰＲＥＳＳ１状態でない場合には、ＣＰＵ２は、ステップＳ２６の処理として、ＲＡＭ３内のデータを参照して、ステータスがＰＲＥＳＳ２状態であるか否かを判別する。そして、判別の結果、ステータスがＰＲＥＳＳ２状態である場合、ＣＰＵ２は、検知したイベントはユーザがアイコンをダブルクリックした後に指の圧力を抜いていく段階の動作（以下、「ダブルクリック操作後のリリース動作」と表記する）であると判断し、ステップＳ２７の処理においてステータスをＲＥＬＥＡＳＥ状態に設定した後、ステップＳ２８の処理において、「ダブルクリック操作後のリリース動作」に対応する処理を実行する。そして、ステップＳ２８の処理が完了すると、ＣＰＵ２は、この操作処理を上述のステップＳ１１の処理に戻す。一方、ステップＳ２６の処理において、ステータスがＰＲＥＳＳ２状態でないと判別された場合には、ＣＰＵ２はこの操作処理をステップＳ２６の処理からステップＳ１１の処理に戻す。
【００５０】
このように、この第１の実施の形態となる情報処理装置は、ユーザが指定した２次元表示画面上の点における押圧値の大きさを参照してシングルクリック操作及びダブルクリック操作のどちらを指示しているのかを判別し、その判別結果に応じて各操作に対応する処理を実行する。このような処理によれば、ユーザは、タッチパネル部１１から一旦指を離して再度同じ点を押すような面倒な操作を行うことなく、２次元表示画面上に表示されているアイコンを操作することができるようになるので、装置の操作に不慣れなユーザであっても自然な操作感で簡単にアイコンを操作することができる。また、ユーザはタッチパネル部１１から一旦指を離す必要がないために、ダブルクリック操作よりも速くアイコンを操作することが可能となる。
【００５１】
なお、上記の説明においては、操作処理対象をアイコンとしたが、例えば表示部５に表示されているスライド式のボリュームコントロール機能の操作についても上記処理を適用することができる。
【００５２】
［第２の実施形態］
本発明の第２の実施形態となる情報処理装置は、操作入力部６の構成及び動作が第１の実施形態のそれとは異なる。そこで、以下では、本発明の第２の実施形態となる情報処理装置における操作入力部６の構成及び動作についてのみ詳しく説明し、他の構成要素についての説明は上記と同様であるので省略する。
【００５３】
〔操作入力部の構成〕
本発明の第２の実施形態となる操作入力部６は、第１の実施の形態のそれとは異なり、図１４に示すように、感圧素子１２が接続されていないタッチパネル部１１表面に複数の振動素子２６を備える。この振動素子２６は、圧電素子やソレノイドにより構成され、ユーザがタッチパネル部１１を押下して操作した際にＣＰＵ２の制御に従って操作内容に対応する振動を発生する。
【００５４】
なお、図１４に示す振動素子２６はタッチパネル部１１表面に接続されているが、例えば図１５〜図１７に示すように、裏板１４の背面に振動素子２６を接続するようにしてもよい。また、ＣＰＵ２が複数の振動素子２６を個別に制御することにより、複数の異なる振動パターンを発生するようにしてもよい。
【００５５】
また、機械的なボタンを押した際に発生するクリック振動の振動パターンをＲＯＭ４内に格納し、ユーザが所定の処理を実行した際にこの振動パターンを再生することにより、あたかも機械式のボタンを押したかのようなクリック感をユーザに与えるようにしてもよい。
【００５６】
また、押圧値Ｐの変化に応じて生成する振動の大きさを変化させるようにしてもよい。さらに、この実施の形態においては、振動素子２６を複数設けることとしたが、ユーザはタッチパネル部１１表面の１点しか触れない場合には、１つの振動素子で振動を発生するようにしてもよい。
【００５７】
このように、この第２の実施の形態においては、操作入力部６は、第１の実施の形態の操作入力部６に振動素子２６を加えることにより、ユーザがタッチパネル部１１を押下して操作した際にＣＰＵ２の制御に従って操作内容に対応する振動を発生することが可能なように構成されている。
【００５８】
〔情報処理装置の動作〕
上記のような構成の情報処理装置によれば、例えば図１８に示すフローチャートの処理を実行することにより、ユーザが２次元表示画面に表示されているオブジェクトを自然な操作感で操作することが可能となる。
【００５９】
なお、以下に示す例においては、表示部５は、情報処理装置に対し所定の処理の実行を指示するボタンをオブジェクトとして２次元表示画面上に表示し、ユーザは、タッチパネル部１１を介して２次元表示画面上に表示されているボタンを押下し、ボタンをオン状態（選択状態）に設定することにより、例えば別のウィンドウ画面を開く等の各ボタンに割り当てられた処理を情報処理装置に対し指示する。
【００６０】
図１８に示すフローチャートは、ＣＰＵ２が、ユーザが押下しているタッチパネル部１１上の点の座標値（ｘ，ｙ）及び押圧値Ｐの変化を検出（イベント検知）することで開始となり、ＣＰＵ２がインタフェイスプログラム８に従って以下の処理を実行する。
【００６１】
ステップＳ３１の処理では、ＣＰＵ２が、押圧値Ｐが第１設定値Ｐ１以上であるか否かを判別する。この判別処理は、ユーザがタッチパネル部１１に触れているか否かを判別するための処理であり、この判別の結果、押圧値Ｐが第１設定値Ｐ１以上でない場合、ＣＰＵ２は、ステップＳ３２の処理として２次元表示画面上に表示しているボタンがオン状態にあるか否かを判別する。なお、上記第１設定値Ｐ１は、ユーザがタッチパネル部１１を指で軽く触れた時の押圧値に予め設定しておくものとする。
【００６２】
そして、ステップＳ３２の判別処理の結果、ボタンがオン状態にある場合、ＣＰＵ２は、検知したイベントは、ユーザがボタンに対応するタッチパネル部１１を押下した後、指の圧力を抜いていく段階の動作であると判断し、ステップＳ３３の処理として、振動素子２６を制御してボタンリリース時のクリック振動を発生する。その後、ＣＰＵ２は、ステップＳ３４の処理としてユーザが押下したボタンをオフ状態に設定した後、次のイベントが検知されるまで待機する。一方、ステップＳ３２の判別処理の結果、ボタンがオン状態にない場合には、検知したイベントに対する処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。
【００６３】
一方、ステップＳ３１の判別処理の結果、押圧値Ｐが第１の設定値Ｐ以上である場合、ＣＰＵ２はこの操作処理をステップＳ３１の処理からステップＳ３５の処理に進める。そして、ステップＳ３５の処理において、ＣＰＵ２は、押圧値Ｐが第２設定値Ｐ２（ここではＰ１＜Ｐ２とする）以上であるか否かを判別する。そして、ステップＳ３５の判別処理の結果、押圧値Ｐが第２設定値Ｐ１以上でない場合、ＣＰＵ２は、ステップＳ３６の処理として、移動した点が２次元表示画面に表示しているボタンの境界線に対応する位置を通ったか否かを判別する。なお、上記第２設定値Ｐ２は、ユーザがタッチパネル部１１を指で押し込んだ時の押圧値に予め設定しておくものとする。
【００６４】
そして、ステップＳ３６の判別処理の結果、移動した点が境界線に対応する位置を通った場合には、ＣＰＵ２は、移動した点が境界線に対応する位置を通った際に、ステップＳ３７の処理として振動素子２６を制御してボタンが表示されていない部分と表示されていない部分の段差に対応する振動を発生し、２次元表示画面に表示されているボタンの形状をユーザに認識させる。これにより、検知したイベントに対する処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。一方、ステップＳ３６の判別処理の結果、移動した点が境界線に対応する位置を通っていない場合には、検知したイベントに対する処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。
【００６５】
一方、ステップＳ３５の判別処理の結果、押圧値Ｐが第２設定値Ｐ２以上である場合、ＣＰＵ２はこの操作処理をステップＳ３５の処理からステップＳ３８の処理に進める。そして、ステップＳ３８の処理において、ＣＰＵ２は、移動した点が２次元表示画面上に表示しているボタンの表示領域内に対応する位置にあるか否かを判別する。そして、ステップＳ３８の判別処理の結果、移動した点がボタンの表示領域内に対応する位置にある場合、ＣＰＵ２は、検知したイベントはユーザがボタンに対応するタッチパネル部１１を押下した動作であると判断し、ステップＳ３９の処理として、振動素子２６を制御してボタンを押下した時に対応するクリック振動を発生し、ボタンが押されたことをユーザに認識させる。その後、ＣＰＵ２は、ステップＳ４０の処理としてユーザが押下したボタンをオン状態に設定した後、次のイベントが検知されるまで待機する。一方、ステップＳ３８の判別処理の結果、移動したボタンが表示領域内に対応する位置にない場合には、この検知したイベントに対する処理は完了し、ＣＰＵ２は次のイベントが検知されるまで待機する。
【００６６】
このように、この第２の実施の形態においては、情報処理装置は、ユーザがタッチパネル部１１を介して２次元表示画面上に表示されているオブジェクトを操作した際に、オブジェクトの位置や形状の触感や押し込み強さに応じたクリック感等、押下したタッチパネル部１１の点の位置や圧力に応じた触感をユーザにフィードバックするので、ユーザは自然な操作感でオブジェクトを操作することができると同時に、操作ミスの発生頻度を低減することが可能となる。
【００６７】
［その他の実施の形態］
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。
【００６８】
例えば、上記の実施の形態の情報処理装置においては、タッチパネル部１１が表示部５に内蔵若しくは接着されていたが、図１９に示すように、タッチパネル部１１を利用せずに、表示部５としてプラスチックフィルム等の柔軟な基盤を利用して形成されたフレキシブルディスプレイ２７を利用し、このフレキシブルディスプレイ２７の裏面に複数の感圧素子１２を設けるようにしてもよい。
【００６９】
このような構成によれば、ユーザが押下するに応じて表示部５の形状が柔軟に変化するので、表示部５として液晶ディスプレイ装置やＣＲＴ装置等の固い基盤を利用して形成された表示装置を利用した場合と比較して、ユーザが押下した任意の点における圧力値をより正確に検出することが可能となる。
【００７０】
また、上記のような構成によれば、ユーザが画面上の複数点を同時に押下した場合も各点の圧力値を正確に検出することが可能となる。なお、このとき、例えば図２０に示すようにフレキシブルディスプレイ２７の表面にタッチパネル部１１を接着する等して、ユーザが指定した点の座標値はタッチパネル部１１を利用して検出することにより、フレキシブルディスプレイ２７の背面に配置する感圧素子１２の数を減らすようにしてもよい。また、上述の実施の形態と同様、振動素子を設け、ユーザがフレキシブルディスプレイ２７に触れた際に操作内容に対応する触感をユーザにフィードバックしてもよい。
【００７１】
さらに、上記のような構成によれば、２次元表示画面上の複数点の押圧値をアナログ的に検出することができるので、例えばピアノ等の電子楽器の操作画面に適用することにより、複数の音程を入力し、高度な演奏処理が可能な電子楽器を実現することができる。また、例えば、ゲームの操作画面に適用すれば、両手を用いた操作や、複数の指による各種機能の同時動作等が可能なゲーム装置を実現することができる。
【００７２】
さらに、上記のような構成によれば、２次元表示画面に接触しているユーザの指や手の形、２次元表示画面への接触の仕方や動作を検出することができるので、例えば、これらの情報を所定の機能の呼出処理と関連付けさせることにより、手や指の形状や動作に基づいた、今までにない新しい操作方法を実現することができる。
【００７３】
さらに、上記のような構成によれば、ユーザが操作した際の圧力分布データを認識することができるので、例えば、２次元表示画面に接触している手や指の形状、圧力分布、動作特性等、ユーザ固有の特徴を抽出し、抽出した特徴に基づいて認証処理を行うことにより、今までにない認証処理を実現することができる。
【００７４】
一方、操作入力部６は例えば図２１（ａ）に示すようにマウスポインタ３０により構成してもよい。図２１（ａ）に示すマウスポインタ３０は、一般的なマウスポインタにより構成され、ユーザの操作に従ってオン／オフ状態を切り換えるボタン部３１と、ユーザが指定した画面上の位置を検出する検出部３２と、ボタン部３１下部に配置された感圧素子３３を備える。上記感圧素子３３は、ユーザがボタン部３１を操作した際の押圧値を検出し、押圧値の大きさを示す圧力検知信号をＣＰＵ２に出力する。一般に、マウスポインタ３０はボタン部３１のオン／オフ状態しか感知することができないが、上記図２１（ａ）に示す構成のマウスポインタ３０によれば、ユーザがボタン部３１を操作した際の押圧値の大きさに応じて上記実施の形態で説明した処理を実行することができるようになる。また、このマウスポインタ３０によれば、ユーザがボタン部３１を操作した際の押圧値をアナログ的に検出することにより、スクロール、移動、拡大縮小、カーソル位置の移動、音量調整等の様々な場面においてアナログ値を簡単に入力することができる。なお、図２１（ｂ）に示すように、マウスポインタ３０に振動素子２６を設けてもよく、このような構成によれば、操作内容に対応する触感をユーザにフィードバックすることができる。
【００７５】
また、３次元空間の奥行値の最大値及び最小値に対応する押圧値Ｐｍａｘ，Ｐｍｉｎを予め定義し、この押圧値Ｐｍａｘ，Ｐｍｉｎと指定点における押圧値Ｐとを比較することにより、ユーザが指定した３次元空間の奥行値を算出してもよい。
【００７６】
また、押圧値Ｐと３次元空間の奥行値との関係を予めテーブル化し、このテーブル内を用いて指定点における押圧値Ｐを検索することにより、ユーザが指定した３次元空間の奥行値を算出してもよい。なお、この場合、３次元空間内に配置されるオブジェクトの位置に応じて、一つの奥行値（例えばｚ＝１）に対応する押圧値Ｐに適当な幅（例えば、押圧値Ｐ＝１〜３）を定義してテーブルを作成してもよい。このような構成によれば、指定点における押圧値Ｐが定義された幅内にあれば、その押圧値Ｐに対応する奥行値が認識されるので、奥行値やオブジェクトの指定作業が容易になる。
【００７７】
なお、上記実施の形態では、情報処理装置１は、指定点の奥行値として指定点における押圧値Ｐの大きさを検出，利用したが、静電作用を利用して物体と入力装置との間の距離（＝奥行方向の距離）を検出する非接触型の入力装置や、表示装置の表示画面に対し垂直（奥行）方向のユーザの動きをパターンマッチング処理等の手法を利用して検出するカメラ装置（いわゆるステレオカメラ）等を利用して検出した値を指定点の奥行値として利用してもよい。また、この場合、情報処理装置１は、検出された値が変化するのに合わせて、指定点の奥行値も変化させるとよい。
【００７８】
このように、この実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。
【００７９】
【発明の効果】
本発明によれば、２次元表示画面上に表示されている３次元空間内の任意の点を自然な操作感で容易、且つ、精度高く指定することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態となる情報処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態となる操作入力部の構成を示す模式図である。
【図３】図２に示す操作入力部の応用例を示す模式図である。
【図４】図２に示す感圧素子と電気配線の接続関係を示す模式図である。
【図５】本発明の実施の形態となる３次元座標値の指定方法を示すフローチャート図である。
【図６】図５に示す３次元座標値の指定方法を説明するための模式図である。
【図７】図６に示す３次元座標値の指定方法の応用例を説明するための模式図である。
【図８】図５に示す３次元座標値の指定方法の利用例を説明するための模式図である。
【図９】図５に示す３次元座標値の指定方法の利用例を説明するための模式図である。
【図１０】図５に示す３次元座標値の指定方法の利用例を説明するための模式図である。
【図１１】図５に示す３次元座標値の指定方法の利用例を説明するための模式図である。
【図１２】図５に示す３次元座標値の指定方法の利用例を説明するための模式図である。
【図１３】本発明の実施の形態となるアイコンの操作方法を示すフローチャート図である。
【図１４】本発明の第２の実施の形態となる操作入力部の構成を示す模式図である。
【図１５】図１４に示す操作入力部の応用例を示す模式図である。
【図１６】図１４に示す操作入力部の応用例を示す模式図である。
【図１７】図１４に示す操作入力部の応用例を示す模式図である。
【図１８】本発明の第２の実施の形態となる情報処理装置の動作を説明するためのフローチャート図である。
【図１９】本発明の実施の形態となる操作入力部の応用例を示す模式図である。
【図２０】本発明の実施の形態となる操作入力部の応用例を示す模式図である。
【図２１】本発明の実施の形態となる操作入力部の応用例を示す模式図である。
【符号の説明】
１…情報処理装置、２…ＣＰＵ、３…ＲＡＭ、４…ＲＯＭ、５…表示部、６…操作入力部、７…バス配線、８…インタフェイスプログラム、９…プログラム部、１０…処理用データ部、１１…タッチパネル部、１２…感圧素子、１３…装置本体、１４…裏板、１５…電気配線、１６，２３，２３ａ，２３ｂ…指定点、１７…カーソル、１８…ユーザの視線、１９，２１…直線、２０…描画領域、２２，２５…オブジェクト、２４…テクスチャ、２６…振動素子
【図１】
2004070920.tif 000003
【図２】
2004070920.tif 000004
【図３】
2004070920.tif 000005
【図４】
2004070920.tif 000006
【図５】
2004070920.tif 000007
【図６】
2004070920.tif 000008
【図７】
2004070920.tif 000009
【図８】
2004070920.tif 000010
【図９】
2004070920.tif 000011
【図１０】
2004070920.tif 000012
【図１１】
2004070920.tif 000013
【図１２】
2004070920.tif 000014
【図１３】
2004070920.tif 000015
【図１４】
2004070920.tif 000016
【図１５】
2004070920.tif 000017
【図１６】
2004070920.tif 000018
【図１７】
2004070920.tif 000019
【図１８】
2004070920.tif 000020
【図１９】
2004070920.tif 000021
【図２０】
2004070920.tif 000022
【図２１】
2004070920.tif 000023