(57)【要約】【課題】操作者が３次元GUI上の３次元空間内の任意の位置にあるポインタやオブジェクトを、効率的に、かつ直感的に３次元操作することを可能とする。【解決手段】３次元ポインティング方法が開示される。本発明の３次元ポインティング方法では、あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、前記入力ペンのペン先にかかる圧力である筆圧もしくは指し示し続けた時間または前記入力ペンが備える操作手段の操作とに基づいて、表示装置に表現された３次元空間内の所望の点をポインティングする。また、本発明の３次元ポインティング方法では、前記入力ペンの筆圧もしくは指し示し続けた時間または前記入力ペンが備える操作手段の操作に応じて、前記３次元空間に表示させる３次元ポインタの奥行き方向の座標を変化させて表示装置に表示する。【選択図】図１
2010055627.tif 000002
【特許請求の範囲】
【請求項１】
３次元空間を表現可能な表示装置上に表現された３次元空間内にポインタおよび１つ以上のオブジェクトを表示しておき、入力装置からの入力情報に基づいて前記ポインタを３次元的に移動させて、前記３次元空間内の任意の一点をポインティングするときの前記ポインタおよび前記オブジェクトの表示状態を制御する３次元表示制御方法であって、
前記入力情報に基づいて前記ポインタの表示位置を算出するステップ１と、
前記ステップ１で算出した表示位置に前記ポインタを表示させるステップ２と、
前記ステップ１で算出した前記ポインタの表示位置に基づき、前記ポインタの奥行き位置よりも手前にオブジェクトがあるか否かを判定し、前記ポインタの奥行き位置よりも手前にあるオブジェクトを透明化して表示させるステップ３とを有することを特徴とする３次元表示制御方法。
【請求項２】
前記ステップ３は、前記ポインタの奥行き位置よりも手前にあるオブジェクトのうち、前記ポインタと重なるオブジェクトのみを透明化して表示させることを特徴とする請求項１に記載の３次元表示制御方法。
【請求項３】
前記ステップ３は、前記ポインタの奥行き位置よりも手前にあるオブジェクトのうち、前記入力装置からのあらかじめ定められた入力情報に基づいて特定もしくは選択されたオブジェクトを除く、他のオブジェクトを透明化して表示させることを特徴とする請求項１または請求項２に記載の３次元表示制御方法。
【請求項４】
前記ステップ３は、前記ポインタの奥行き位置よりも手前にあるオブジェクトと前記ポインタの奥行き方向の距離に応じて、前記オブジェクトの透明度を変化させ、前記オブジェクトと前記ポインタの奥行き方向の距離が大きいほど透明度を大きくして表示させることを特徴とする請求項１または請求項２に記載の３次元表示制御方法。
【請求項５】
前記ステップ３は、前記ポインタがポインティングしている点と重なるオブジェクト上の点を中心とした所定の形状の領域内のみを透明化して表示させることを特徴とする請求項１または請求項２に記載の３次元表示制御方法。
【請求項６】
前記透明化する所定の形状は、前記ポインタと前記オブジェクトの奥行き方向の距離の大きさに応じて変化し、前記奥行き方向の距離が大きいほど前記所定の形状が大きくなることを特徴とする請求項５に記載の３次元表示制御方法。
【請求項７】
前記ステップ３は、前記ポインタが所定時間の間静止している場合は、前記透明化したオブジェクトを透明化する前の不透明な状態に戻して表示させるステップを有することを特徴とする請求項１または請求項２に記載の３次元表示制御方法。
【請求項８】
３次元空間を表現可能な表示装置上に表現された３次元空間内にポインタおよび１つ以上のオブジェクトを表示させ、入力装置からの入力情報に基づいて前記ポインタを３次元的に移動させて、前記３次元空間内の任意の一点をポインティングするときの前記ポインタおよび前記オブジェクトの表示状態を制御する３次元表示制御装置であって、
前記入力装置からの入力情報を取得する入力情報取得手段と、
前記入力情報取得手段で取得した前記入力情報に基づいて前記ポインタの表示位置を算出するポインタ位置算出手段と、
前記ポインタ位置算出手段で算出された表示位置に表示するポインタを生成するポインタ生成手段と、
前記ポインタ位置算出手段で算出された前記ポインタの表示位置に基づき、前記ポインタの奥行き位置よりも手前にオブジェクトがあるか否かを判定するとともに、前記ポインタの奥行き位置よりも手前にあるオブジェクトを透明化するか否かを判定するオブジェクト変更判定手段と、
前記表示装置に表示させるオブジェクトの生成、およびオブジェクト変更判定手段で透明化すると判定されたオブジェクトの透明化を行うオブジェクト生成／透明化手段と、
前記ポインタ生成手段で生成されたポインタ、および前記オブジェクト生成／透明化手段で生成されたオブジェクトまたは透明化されたオブジェクトを前記表示装置に表示させる表示制御手段とを備えることを特徴とする３次元表示制御装置。
【請求項９】
前記オブジェクト変更判定手段は、前記ポインタの奥行き位置よりも手前にあるオブジェクトの中に、前記入力装置からのあらかじめ定められた入力情報に基づいて特定または選択されたオブジェクトがあるか否かを判定する手段を備え、
前記オブジェクト生成／透明化手段に、前記特定されたオブジェクトを除く、他のオブジェクトを透明化させることを特徴とする請求項８に記載の３次元表示制御装置。
【請求項１０】
前記オブジェクト生成／透明化手段は、前記ポインタと前記透明化するオブジェクトの奥行き方向の距離を算出する手段を備え、
前記透明化するオブジェクトの透明度を、前記算出した奥行き方向の距離の大きさに応じて変化させることを特徴とする請求項８または請求項９に記載の３次元表示制御装
置。
【請求項１１】
前記オブジェクト生成／透明化手段は、前記透明化するオブジェクト上の、前記ポインタがポインティングしている点と重なる点を算出する手段を備え、
前記算出した点を中心とした所定の形状の領域内のみを透明化することを特徴とする請求項８または請求項９に記載の３次元表示装置。
【請求項１２】
前記オブジェクト変更判定手段は、前記ポインタが所定時間の間静止しているか否かを判定する手段を備え、
前記ポインタが前記所定時間静止している場合は、前記オブジェクト生成／透明化手段に前記透明化したオブジェクトを透明化する前の不透明な状態に戻させることを特徴とする請求項８または請求項９に記載の３次元表示制御装置。
【請求項１３】
請求項８乃至請求項１２のいずれか１項に記載の３次元表示制御装置の各手段の処理を、コンピュータに実行させる３次元表示制御プログラム。
【請求項１４】
あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、指し示し続けた時間または前記入力ペンが備える操作手段の操作と、前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角と、前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とに基づいて、表示装置に表現された３次元空間内の所望の点をポインティングする３次元ポインティング方法であって、
前記入力ペンの傾き角および方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、
前記３次元空間における延長線上に３次元ポインタを表示させ、
前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの前記操作手段の操作に応じて、前記３次元ポインタの、前記３次元空間における延長線方向の座標を変化させて表示することを特徴とする３次元ポインティング方法。
【請求項１５】
あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、前記入力ペンのペン先にかかる圧力である筆圧とに基づいたポインタを生成し、表示装置に表現された３次元空間内の所望の点に前記生成したポインタを表示させてポインティングさせる３次元ポインティング装置であって、
前記入力ペンからの２次元的な座標および前記筆圧の情報を取得する入力情報取得手段と、
前記入力情報取得手段で取得した情報に基づいて、前記表示装置に表現された３次元空間内のポインタを表示させる位置および回転角度を算出するポインタ位置／回転角度算出手段と、
前記ポインタ位置／回転角度算出手段の算出結果に基づいたポインタを生成するポインタ生成手段と、
前記表示装置に表現された３次元空間内に、前記ポインタ生成手段で生成したポインタでポインティングされているオブジェクトがあるか否かを判定するポインティング判定手段と、
前記表示装置に表現された３次元空間内に表示するオブジェクトを生成するオブジェクト生成手段と、
前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成したオブジェクトを、前記表示装置に表現された３次元空間内に表示させる表示制御手段とを備え、
前記ポインタ位置／回転角度算出手段は、前記入力ペンの筆圧に応じて、前記３次元空間に表示させる３次元ポインタの奥行き方向の座標を変化させて算出する３次元ポインティング装置であり、
前記入力情報取得手段は、前記２次元的な座標および前記筆圧の情報に加え、前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角と前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とを取得し、
前記ポインタ位置／回転角度算出手段は、前記入力ペンの傾き角と前記入力ペンの方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上を３次元ポインタの位置とし、前記入力ペンの筆圧に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて算出することを特徴とする３次元ポインティング装置。
【請求項１６】
あらかじめ定められた検出面上を入力ペンのペン先で指し示した時の、指し示した位置の２次元的な座標と、入力ペンのペン先にかかる圧力である筆圧と、入力ペンの軸と前記検出面がなす角度である入力ペンの傾き角と、入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とに基づいて、表示装置に表現された３次元空間内の所望の点をポインティングする３次元ポインティング方法であって、
前記入力ペンの傾き角および方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、
前記３次元空間における延長線上に３次元ポインタを表示させ、
前記入力ペンの筆圧に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて表示することを特徴とする３次元ポインティング方法。
【請求項１７】
あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、指し示し続けた時間または前記入力ペンが備える操作手段の操作とに基づいたポインタを生成し、表示装置に表現された３次元空間内の所望の点にポインタを表示させてポインティングさせる３次元ポインティング装置であって、
前記入力ペンからの２次元的な座標と、前記入力ペンのペン先の接触の有無または前記入力ペンの操作手段の操作の情報を取得する入力情報取得手段と、
前記入力情報取得手段で取得した情報に基づいて、前記入力ペンのペン先で指し示し続けた時間、または前記操作手段が操作された量を算出する入力情報処理手段と、
前記入力情報取得手段で取得した情報に基づいて、前記表示装置に表現された３次元空間内のポインタを表示させる位置を算出するポインタ位置／回転角度算出手段と、
前記ポインタ位置／回転角度算出手段の算出結果に基づいたポインタを生成するポインタ生成手段と、
前記表示装置に表現された３次元空間内に、前記ポインタ生成手段で生成したポインタでポインティングされているオブジェクトがあるか否かを判定するポインティング判定手段と、
前記表示装置に表現された３次元空間内に表示するオブジェクトを生成するオブジェクト生成手段と、
前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成したオブジェクトを、前記表示装置に表現された３次元空間内に表示させる表示制御手段とを備え、
前記ポインタ位置／回転角度算出手段は、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの操作手段の操作に応じて、前記３次元空間に表示させる３次元ポインタの奥行き方向の座標を変化させて算出する３次元ポインティング装置であり、
前記入力情報取得手段は、さらに前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角の情報と、前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角の情報とを取得し、
前記ポインタ位置／回転角度算出手段は、前記入力ペンの傾き角および方位角に基づき、前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上を３次元ポインタの位置とし、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの操作手段の操作に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて算出することを特徴とする３次元ポインティング装置。
【請求項１８】
前記３次元ポインタがポインティングする点の３次元座標から所定の距離以内にオブジェクトが存在するときに、当該オブジェクトをポインティングしていると判定することを特徴とする請求項１４または請求項１６に記載の３次元ポインティング方法。
【請求項１９】
前記３次元ポインタで前記３次元空間に表示されたオブジェクトをポインティングしているときに、当該オブジェクトを選択または掴むための操作がなされると、
前記オブジェクトを選択または掴むための操作の後の、前記３次元ポインタの３次元位置の変化に応じて、前記オブジェクトの３次元位置を変化させて表示することを特徴とする請求項１４または請求項１６に記載の３次元ポインティング方法。
【請求項２０】
前記３次元空間に表示されたオブジェクトをポインティングしているときに、前記オブジェクトに対する操作または編集あるいは加工を開始するための操作がなされると、
前記ポインティングされたオブジェクトを、前記表示装置の、操作者から見て最も手前の面に２次元的に表示し、
前記２次元的に表示されたオブジェクトに対して、前記入力ペンによる２次元的な操作または編集あるいは加工を受け付けることを特徴とする請求項１４または請求項１６に記載の３次元ポインティング方法。
【請求項２１】
前記３次元ポインタがポインティングする点の２次元的な座標を、前記検出面上を前記入力ペンのペン先で指し示した位置の２次元的な座標とし、前記３次元ポインタがポインティングする点の前記２次元的な座標を一定として前記３次元ポインタの奥行き方向の座標を変化させる請求項１６に記載の３次元ポインティング方法。
【請求項２２】
前記ポインティング判定手段は、前記３次元ポインタがポインティングする点の３次元座標から所定の距離以内にオブジェクトが存在するときに、当該オブジェクトをポインティングしていると判定することを特徴とする請求項１５または請求項１７に記載の３次元ポインティング装置。
【請求項２３】
前記オブジェクト生成手段は、前記３次元ポインタの３次元位置の変化に応じて、前記オブジェクトの３次元位置を変化させて生成する手段を備え、
前記３次元空間内に表示された３次元ポインタで前記３次元空間内に表示されたオブジェクトをポインティングしているときに、前記オブジェクトを選択または掴むための操作がなされると、
前記オブジェクトを選択または掴むための操作の後の、前記３次元ポインタの３次元位置の変化に応じて、前記オブジェクトの３次元位置を変化させて表示させることを特徴とする請求項１５または請求項１７に記載の３次元ポインティング装置。
【請求項２４】
前記入力情報取得手段は、さらに前記検出面上を前記入力ペンのペン先で指し示したときの前記入力ペンの軸周りの回転角である入力ペンの回転角の情報を取得し、
前記ポインタ位置／回転角度算出手段は、前記入力ペンの回転角に応じて、前記３次元ポインタの軸周りの回転角を変化させて算出することを特徴とする請求項１５または請求項１７に記載の３次元ポインティング装置。
【請求項２５】
前記オブジェクト生成手段は、前記３次元空間内に表示されたオブジェクトをポインティングしているときに、前記オブジェクトに対する操作または編集あるいは加工を開始するための操作がなされると、前記ポインティングされたオブジェクトを、前記表示装置の、操作者から見て最も手前の面に２次元的に投影したオブジェクトを生成する手段を備えることを特徴とする請求項１５または請求項１７に記載の３次元ポインティング装置。
【請求項２６】
前記ポインタ位置／回転角度算出手段は、前記３次元ポインタがポインティングする点の２次元的な座標を、前記検出面上を前記入力ペンのペン先で指し示した位置の２次元的な座標とし、前記３次元ポインタがポインティングする点の前記２次元的な座標を一定として前記３次元ポインタの奥行き方向の座標を変化させる請求項１５または請求項１７に記載の３次元ポインティング装置。
【請求項２７】
前記オブジェクト生成手段は、前記最も手前の面に２次元的に表示されたオブジェクトに対して、前記入力ペンによる２次元的な操作または編集あるいは加工を受け付けた後、前記オブジェクトに対する操作または編集あるいは加工を終了するための操作がなされたときに、前記２次元的に表示されたオブジェクトを、前記操作または編集あるいは加工を開始するための操作がなされる直前の３次元的な表示状態に戻したオブジェクトを生成する手段を備えることを特徴とする請求項２５に記載の３次元ポインティング装置。
【請求項２８】
前記入力ペンは、ペン先で指し示し続けた時間、または操作手段の操作に応じてペン先の長さが短くなる構造を有し、
前記３次元ポインタは、前記入力ペンのペン先と同等の形状、またはペン先の一部と同等の形状を有することを特徴とする請求項１５に記載の３次元ポインティング装置。
【請求項２９】
前記入力ペンは、前記筆圧に応じてペン先の長さが短くなる構造を有し、
前記３次元ポインタは、前記入力ペンのペン先と同等の形状、またはペン先の一部と同等の形状を有することを特徴とする請求項１７に記載の３次元ポインティング装置。
【請求項３０】
請求項１５、請求項１７、または、請求項２２乃至請求項２９のいずれか１項に記載の３次元ポインティング装置における各手段での処理を、コンピュータに実行させる３次元ポインティングプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元ポインティングを行うための技術に関し、特に、ペン型の操作部を備える入力装置を用いて表示装置に表現された３次元空間内のポインティングを行う技術に関するものである。また、本発明は、表示装置に表現される３次元空間上に配置（表示）されたオブジェクトをポインタで３次元的にポインティングするための技術に関するものである。更に、本発明は、３次元空間に配置して表示したオブジェクトの選択あるいは３次元空間に配置して表示したオブジェクトをポインティングするための３次元表示の制御技術に関するものである。
【背景技術】
【０００２】
近年、PC（パーソナル・コンピュータ）の演算性能の著しい向上や処理速度の高速化、またグラフィック機能の強化などに伴い、GUI（グラフィカル・ユーザ・インタフェース）は、その表示、機能、操作のどれもがこれまで以上に複雑化し、操作者が目的の動作を実行させるにあたって、それらが足枷となって効率的な操作を妨げていることが多々ある。
【０００３】
そのような状態を改善するべく考え出されたのが、３次元空間を用いて情報を呈示、操作することである。これはしばしば３次元GUIなどと呼ばれ、３次元空間に３次元的にオブジェクトを配置し、それを所定の入力デバイスを用いて操作するという仕組みである。この３次元GUIの他にも３次元空間内で設計などを行うCADやCGなどにおいても同様の仕組みを用いることがあるが、同様の３次元のオブジェクトを操作、ポインティングするという観点から、ここからは３次元GUIを例にとって話を進めることにする。この３次元GUIを用いると、これまで２次元上に並べて、もしくは重ねて配置していたオブジェクトを３次元的に配置することが可能となり、作業スペースを効率的に使うことができる。また、われわれを取り巻いている実世界は３次元空間であるがゆえに、GUIを３次元化することで2次元のGUIよりも直感的に扱うことができるGUIとなる。
【０００４】
ここでこの３次元GUIを操作する過程において必要となってくる課題の１つに、様々な奥行き位置にあるオブジェクトのポインティングがある。これまでの技術では、２次元のGUIにおいて用いられてきたマウスやキーボード、ジョイスティックなどを用いて、ポインタの奥行き移動に必要な新たな機能を付加することで３次元空間内のポインティングを実現していた。しかし、これらは操作者が入力デバイスを用いて操作を行う空間と実際にポインタが表示されている空間が異なるため、操作者にそれらの空間の間の意識的な対応付けという余分な動作が必要な上、奥行き移動に対する機能付加などによって操作自体が複雑になってしまうなどの欠点があった。
【０００５】
さらに３次元GUIを操作する過程において必要となってくる課題の一つとして、３次元空間内にあるオブジェクトの操作がある。これまでは、PHANToM（SensAble Technologies, Inc.）やSPIDER（たとえば、非特許文献１を参照）といった３次元の入力デバイスを用いて３次元空間内のオブジェクト操作を行うこともあったが、先のポインティングの問題と同様に、操作者が入力デバイスを用いて操作を行う空間と実際にポインタが表示されている空間が異なるため、操作者にそれらの空間を意識的に対応付けなければならないという余分な作業が必要な上、アームや固定ワイヤーが存在するため操作者の操作できる空間には制限があり、空間を広げるためにはどうしても装置を大掛かりにせざるを得なかった。さらに、上記デバイスはデバイスとしてはまだまだ一般に普及しておらず、人々が使うには馴染み深いデバイスとはいえなかった。
【０００６】
一方、我々に馴染み深い形態を持つデバイスとして、ペン型の入力デバイスがある。近年、これまでの２次元のGUIなどのポインティングやオブジェクト操作によく用いられるものとして、ペンタブレットがある。なかでも電磁誘導方式のペンタブレット（たとえば、特許文献１を参照）は、その装置の簡易さゆえに携帯性があること、画面を直接ペンでポインティング可能なこと、取得できる情報（２次元位置や筆圧、ペンの筐体の角度、ペンが備えるボタン、ホイール等の状態など）の豊富さなどからマウスに変わる入力デバイスとして、PCやPDA（Personal Digital Assistant）、さらに近年では携帯電話などにも搭載されつつある。
【０００７】
しかし、２次元入力デバイスとして広く使われているペンタブレット（ペン型入力デバイス）が３次元の入力デバイスとして使われた例は多くない。１つの例として、ペンの傾きや３次元的な位置を取得可能なペン型デバイスを宙で手に持ち、ペンの先にある表示装置内に仮想的にペン先（ポインタ）を表示させ、仮想的に表示されたペン先をポインタとして使って３次元空間内のポインティングを実現する試みがあった（たとえば、特許文献２を参照）。この方法では、操作者が操作を行う空間と実際にポインタ表示がある空間は離れているものの、仮想的に表示されたペン先があたかも自分のペンの一部であるように感じられる点では従来の技術を凌駕している。しかし、操作者はペン型の入力デバイスを宙で手に持たなければならないため、疲労の観点から長時間のポインティング作業には適さない。また、手が宙に浮いているがゆえに手の位置が一点に定まりづらく、操作者の目的の位置にペン先を保持できないという大きな欠点があった。つまり、操作者が入力デバイスを用いて操作を行う空間と、実際にポインタやオブジェクトが表示されている空間が異なるため、操作者にそれらの空間を意識的に対応付けなければならないという余分な作業が必要であった。ゆえに、このシステムを用いてオブジェクトの細かい操作などをすることなどは実質的に困難であった。
【０００８】
以上のようなことから、これまでの２次元のGUIよりも実世界に近い３次元GUIを、実世界と同じような感覚でポインティングやオブジェクト操作ができ、装置構成も簡素で、さらに操作者が疲れることなく効率的に、正確に３次元空間をポインティングかつオブジェクト操作ができ、ポインティングしたオブジェクトの加工、編集なども容易にできるような３次元ポインティング方法および３次元オブジェクト操作方法が求められている。
【０００９】
次に、３次元空間におけるポインタの表示に関する背景技術を説明する。前述したように、これまでの技術では、２次元のGUIにおいて用いられてきたマウスやキーボード、ジョイスティック等での操作に、奥行き方向への移動に必要な新たな機能を付加することで、ポインタの３次元空間内の移動を実現している。また、ポインタの奥行き方向の位置は、たとえば、ポインタを拡大あるいは縮小させることで表現し、空間内の奥にあるオブジェクトのポインティングを行っていた（たとえば、非特許文献２を参照。）。つまり、３次元空間内でポインタが手前にあるときはポインタを大きく表示し、奥にあるときにはポインタを小さく表示する方法などが提案されていた。
【００１０】
しかしながら、これらの方法の多くは、３次元空間に表示されたポインタが空間内を奥行き方向に自由に動くことが可能なため、いくらポインタが表示装置上に表示されていても、それが一体どの奥行き位置にあり、どこをポインティングしているかを、操作者が知覚（認識）できなくなることがしばしばあった。
【００１１】
この問題を解決するために、たとえば、ポインタ付近に奥行き位置の変わらないｘｙｚ軸などを表すリファレンスなどを表示して奥行き位置を知覚しやすくする方法がある（たとえば、特許文献３を参照。）。しかしながら、表示面にリファレンスが現れることで操作者の視界をさえぎり、作業効率を下げてしまうこともある。また、リファレンスは、実世界のものをポインティングするときに現れることはない。そのため、リファレンスを表示するという方法は、実世界と同じような感覚でGUIを操作しようとする観点からみた場合、最適な方法とは言い難い。
【００１２】
以上のことから、３次元GUIを実世界と同じような感覚で操作するために、３次元GUIでのポインタを用いたポインティング作業において、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者がいち早く、しかも正確に認識できる効率的なポインティング方法が求められていた。
【００１３】
従来の３次元GUIでのポインタを用いたポインティング作業では、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者が直観的に、かつ正確に認識することが難しいという点に問題がある。
【００１４】
次に、３次元空間におけるポインタの表示に関する更なる背景技術を説明する。
【００１５】
コンピュータのGUIとして広く用いられている例として、机上のイメージをコンピュータの表示画面上に模したデスクトップメタファが知られている。現在、コンピュータの多くはこのデスクトップ画面を中核としたユーザインタフェースを用いている。デスクトップ画面は１９８０年代の後半から製品化されているが、コンピュータの処理能力や表示装置の高性能化により、２次元のデスクトップ画面は細かなグラフィック表現が採用されている、と同時に、高機能化し、見栄えも華やかになり、立体的な視覚効果も多様化してきている。さらに、最近ではデスクトップを３次元空間に広げ、アイコンやウィンドウなどのオブジェクトを３次元的に配置する試みも提案されている（たとえば、非特許文献３を参照。）。
【００１６】
３次元デスクトップでは、従来の２次元の平面的な空間に加え、奥行き方向の自由度が広がるため、アイコンやウィンドウの配列を機能的に行うことができる利点がある。しかし、デスクトップが３次元化されても、ポインタを用いたポインティングは依然、２次元の動きに制約されている。このため、奥行き方向の自由度を完全に利用することが困難となっている。
【００１７】
これに対して、ポインタを３次元的に動かす試みも考えられているが、３次元空間内にオブジェクトを配置した中でポインタが３次元的に動く場合、ポインタが手前にあるオブジェクトの陰に隠れてしまい、ポインタを見失ってしまう問題があった。
【００１８】
デスクトップインタフェースにおいては、利用者が常にポインタの位置を認識することが不可欠である。２次元GUIでは、ポインタが常に最前面に表示されるのが一般的であるが、ポインタの背後のオブジェクトの色が、ポインタ自身の色と同じ場合には、ポインタとオブジェクトを区別することが困難となり、ポインタがどこを指し示しているかを認識することが難しくなる。このような問題を回避するため、ポインタは、２種類以上の色を用いていることが一般的である。ポインタの色が、たとえば、白に縁取られた黒色である場合、背面の色が白色であれば黒色部分によりポインティング場所を明確に認識でき、背面の色が黒色の場合は縁取られた白色によりポインティング場所を明確に認識できる。このように、デスクトップインタフェースでは、ポインタがどこの場所を指し示しているかを、常に明確に操作者に認識させることが必要であり、従来のデスクトップでも上述のような工夫が施されていた。
【００１９】
そして、３次元デスクトップにおいても、ポインタの場所を常に操作者から明確に認識させることは必須であるが、３次元空間の性質上、操作者から見て、あるオブジェクトの裏（奥）側にあたる位置にポインタを移動させた場合、ポインタがそのオブジェクトに隠れてしまって、操作者がポインタの位置を見失うという問題が生じる。そのため、どこをポインティングしているかを認識することが困難であり、結果として、オブジェクトの選択ができないという、デスクトップインタフェースにおいて致命的な問題が起きている。このように、デスクトップを３次元化してもポインタの動きを３次元化することが難しく、デスクトップを３次元化する利点を十分に利用できていないという問題が３次元デスクトップにはあった。
【００２０】
つまり、従来の３次元デスクトップ等の表示装置上に表現された３次元空間では、３次元空間内でポインタを移動させたときに、ポインタがオブジェクトの裏側に隠れてしまい、操作者がポインタの位置を認識できなくなるという問題があった。
【００２１】
また、ポインタがあるオブジェクトの裏に隠れて認識できないのと同様に、従来の３次元デスクトップ等の表示装置上に表現された３次元空間では、あるオブジェクト（手前のオブジェクト）の裏に別のオブジェクト（奥のオブジェクト）がある場合、奥のオブジェクトを直接認識することができない。そのため、奥のオブジェクトの位置を認識したり、操作したりするときには、手前のオブジェクトを移動させる、あるいは表示領域を小さくしたり非表示の状態にしたりするという操作が必要である。また、手前のオブジェクトの表示領域を小さくしたり非表示の状態にしたりするという操作をした場合、手前のオブジェクトの表示内容を認識するためには、表示領域をもとの大きさに戻したり表示状態に復帰させたりするという操作が必要である。そのため、操作者の利便性が悪いという問題点もある。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開平５−０７３２０８号公報
【特許文献２】特開平６−７５６９３号公報
【特許文献３】特開平８−２４８９３８号公報
【非特許文献】
【００２３】
【非特許文献１】Y. Hirata and M. Sato, "3-Dimensional Interface Device for Virtual Work Space," Proc. of the 1992 IEEE/RSJ Int. Conf. on IROS, 2, pp.889-896, 1992.
【非特許文献２】渡邊恵太，安村通晃，「RUI: Realizable User Interface − カーソルを用いた情報リアライゼーション」，ヒューマンインタフェースシンポジウム２００３論文集，２００３年，ｐ．５４１−５４４
【非特許文献３】George Robertson, 他７名, "The Task Gallery: A 3D Window Manage", Proceedings of CHI2000, 1-6 APRIL 2000, pp.494-501
【発明の概要】
【発明が解決しようとする課題】
【００２４】
本発明の第１の目的は、操作者が３次元GUI上の３次元空間内の任意の位置にあるポインタやオブジェクトを、できるだけ小規模で、操作者が慣れ親しんだデバイスを用いて、疲れることなく効率的に、さらに直感的に３次元操作をすることが可能な３次元ポインティングの技術を提供することにある。
【００２５】
本発明の第２の目的は、３次元GUIでのポインタを用いたポインティングにおいて、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者が直観的に、かつ正確に認識することが可能なポインティングの技術を提供することにある。
【００２６】
本発明の第３の目的は、表示装置上に表現された３次元空間内のポインタを３次元的に動かした場合に、ポインタが他のオブジェクトの裏（奥）側にあたる位置に移動したときも、ポインタの位置を容易に認識することが可能な技術を提供することにある。また、本発明の第３の目的は、更に、表示装置上に表現された３次元空間内で、手前に表示されたオブジェクトの裏に隠れている別のオブジェクトの認識や操作を容易にし、操作者の利便性を向上させることが可能な技術を提供することにある。
【課題を解決するための手段】
【００２７】
上記第１の目的は、あらかじめ定められた検出面上を入力ペンのペン先で指し示した時の、指し示した位置の２次元的な座標と、入力ペンのペン先にかかる圧力である筆圧と、入力ペンの軸と前記検出面がなす角度である入力ペンの傾き角と、入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とに基づいて、表示装置に表現された３次元空間内の所望の点をポインティングする３次元ポインティング方法であって、前記入力ペンの傾き角および方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上に３次元ポインタを表示させ、前記入力ペンの筆圧に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて表示することを特徴とする３次元ポインティング方法によっても達成できる。
【００２８】
また、第１の目的は、あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、指し示し続けた時間または前記入力ペンが備える操作手段の操作と、前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角と、前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とに基づいて、表示装置に表現された３次元空間内の所望の点をポインティングする３次元ポインティング方法であって、前記入力ペンの傾き角および方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上に３次元ポインタを表示させ、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの前記操作手段の操作に応じて、前記３次元ポインタの、前記３次元空間における延長線方向の座標を変化させて表示することを特徴とする３次元ポインティング方法によっても達成できる。
【００２９】
上記の構成において、前記３次元ポインタがポインティングする点の３次元座標から所定の距離以内にオブジェクトが存在するときに、当該オブジェクトをポインティングしていると判定することができる。
【００３０】
また、前記３次元ポインタで前記３次元空間に表示されたオブジェクトをポインティングしているときに、当該オブジェクトを選択または掴むための操作がなされると、前記オブジェクトを選択または掴むための操作の後の、前記３次元ポインタの３次元位置の変化に応じて、前記オブジェクトの３次元位置を変化させて表示することとしてもよい。
【００３１】
また、前記３次元空間に表示されたオブジェクトをポインティングしているときに、前記オブジェクトに対する操作または編集あるいは加工を開始するための操作がなされると、前記ポインティングされたオブジェクトを、前記表示装置の、操作者から見て最も手前の面に２次元的に表示し、前記２次元的に表示されたオブジェクトに対して、前記入力ペンによる２次元的な操作または編集あるいは加工を受け付けるようにしてもよい。
【００３２】
また、前記３次元ポインタがポインティングする点の２次元的な座標を、前記検出面上を前記入力ペンのペン先で指し示した位置の２次元的な座標とし、前記３次元ポインタがポインティングする点の前記２次元的な座標を一定として前記３次元ポインタの奥行き方向の座標を変化させるようにしてもよい。
【００３３】
また、本発明は、あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、前記入力ペンのペン先にかかる圧力である筆圧とに基づいたポインタを生成し、表示装置に表現された３次元空間内の所望の点に前記生成したポインタを表示させてポインティングさせる３次元ポインティング装置であって、前記入力ペンからの２次元的な座標および前記筆圧の情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した情報に基づいて、前記表示装置に表現された３次元空間内のポインタを表示させる位置および回転角度を算出するポインタ位置／回転角度算出手段と、前記ポインタ位置／回転角度算出手段の算出結果に基づいたポインタを生成するポインタ生成手段と、前記表示装置に表現された３次元空間内に、前記ポインタ生成手段で生成したポインタでポインティングされているオブジェクトがあるか否かを判定するポインティング判定手段と、前記表示装置に表現された３次元空間内に表示するオブジェクトを生成するオブジェクト生成手段と、前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成したオブジェクトを、前記表示装置に表現された３次元空間内に表示させる表示制御手段とを備え、前記ポインタ位置／回転角度算出手段は、前記入力ペンの筆圧に応じて、前記３次元空間に表示させる３次元ポインタの奥行き方向の座標を変化させて算出する３次元ポインティング装置であり、前記入力情報取得手段は、前記２次元的な座標および前記筆圧の情報に加え、前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角と前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角とを取得し、前記ポインタ位置／回転角度算出手段は、前記入力ペンの傾き角と前記入力ペンの方位角に基づき前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上を３次元ポインタの位置とし、前記入力ペンの筆圧に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて算出することを特徴とする３次元ポインティング装置として構成することもできる。
【００３４】
前記入力ペンは、前記筆圧に応じてペン先の長さが短くなる構造を有し、前記３次元ポインタは、前記入力ペンのペン先と同等の形状、またはペン先の一部と同等の形状を有することとしてもよい。
【００３５】
更に本発明は、あらかじめ定められた検出面上を入力ペンのペン先で指し示したときの、指し示した位置の２次元的な座標と、指し示し続けた時間または前記入力ペンが備える操作手段の操作とに基づいたポインタを生成し、表示装置に表現された３次元空間内の所望の点にポインタを表示させてポインティングさせる３次元ポインティング装置であって、前記入力ペンからの２次元的な座標と、前記入力ペンのペン先の接触の有無または前記入力ペンの操作手段の操作の情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した情報に基づいて、前記入力ペンのペン先で指し示し続けた時間、または前記操作手段が操作された量を算出する入力情報処理手段と、前記入力情報取得手段で取得した情報に基づいて、前記表示装置に表現された３次元空間内のポインタを表示させる位置を算出するポインタ位置／回転角度算出手段と、前記ポインタ位置／回転角度算出手段の算出結果に基づいたポインタを生成するポインタ生成手段と、前記表示装置に表現された３次元空間内に、前記ポインタ生成手段で生成したポインタでポインティングされているオブジェクトがあるか否かを判定するポインティング判定手段と、前記表示装置に表現された３次元空間内に表示するオブジェクトを生成するオブジェクト生成手段と、前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成したオブジェクトを、前記表示装置に表現された３次元空間内に表示させる表示制御手段とを備え、前記ポインタ位置／回転角度算出手段は、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの操作手段の操作に応じて、前記３次元空間に表示させる３次元ポインタの奥行き方向の座標を変化させて算出する３次元ポインティング装置であり、前記入力情報取得手段は、さらに前記入力ペンの軸と前記検出面がなす角である入力ペンの傾き角の情報と、前記入力ペンの軸の前記検出面への射影と前記検出面上の所定の直線がなす角である入力ペンの方位角の情報とを取得し、前記ポインタ位置／回転角度算出手段は、前記入力ペンの傾き角および方位角に基づき、前記入力ペンの軸の前記３次元空間における延長線を求め、前記３次元空間における延長線上を３次元ポインタの位置とし、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの操作手段の操作に応じて、前記３次元ポインタの前記３次元空間における延長線方向の座標を変化させて算出することを特徴とする３次元ポインティング装置としても構成できる。
【００３６】
前記入力ペンは、ペン先で指し示し続けた時間、または操作手段の操作に応じてペン先の長さが短くなる構造を有し、前記３次元ポインタは、前記入力ペンのペン先と同等の形状、またはペン先の一部と同等の形状を有することとしてもよい。
【００３７】
また、本発明は、上記の各３次元ポインティング装置における各手段での処理を、コンピュータに実行させる３次元ポインティングプログラムとして構成することもできる。
【００３８】
第２の目的は、３次元空間を表現することが可能な表示装置の前記３次元空間内に表示されたポインタを、前記３次元空間内で移動させて、前記３次元空間内の所望の点をポインティングさせる３次元ポインティング方法であって、前記ポインタを、前記表示装置の３次元空間の奥行き方向に直交する２次元平面内で移動または回転させるとともに、前記奥行き方向に移動させるステップ１と、前記ポインタのポインティングを行う点およびその近傍であるポインティングを行う部分を除く前記ポインタ上のあらかじめ定められた１点の前記奥行き方向の位置、前記ポインタの形状、およびサイズを一定に保ったまま、前記ポインタのポインティングを行う部分を前記奥行き方向に移動させるステップ２と、前記ステップ１およびステップ２で移動させたポインタを、前記表示装置に表示させるステップ３とを有することを特徴とする３次元ポインティング方法により達成できる。
【００３９】
上記の３次元ポインティング方法において、前記ステップ２は、前記ポインタを、前記ポインタの表面上または内部の点を除く、あらかじめ定められた中心点または中心軸を中心として回転させることとしてもよい。
【００４０】
また、第２の目的は、３次元空間を表現することが可能な表示装置の前記３次元空間内に表示されたポインタを、前記３次元空間内で移動させて、前記３次元空間内の所望の点をポインティングさせる３次元ポインティング方法であって、前記ポインタを、前記表示装置の３次元空間の奥行き方向に直交する２次元平面内で移動または回転させるとともに、前記奥行き方向に移動させるステップ１と、前記ポインタのポインティングを行う部分を除く前記ポインタ上のあらかじめ定められた１点の前記奥行き方向の位置を一定に保ち、かつ、前記ポインタの形状、およびサイズを変形させながら、前記ポインタのポインティングを行う部分を前記奥行き方向に移動させるステップ４と、前記ステップ１およびステップ４で移動させたポインタを、前記表示装置に表示させるステップ３とを有することを特徴とする３次元ポインティング方法によっても達成できる。
【００４１】
上記の３次元ポインティング方法において、前記ステップ４は、前記ポインタを、前記ポインタの表面上または内部の点を除く、あらかじめ定められた中心点または中心軸を中心として回転させることとしてもよい。また、前記ポインタを回転させる前記中心点または中心軸が、前記ポインタが回転する際の回転角度に応じて移動することとしてもよい。
【００４２】
また、前記ポインタは、前記奥行き方向の位置、前記２次元平面内の位置、形状、およびサイズが一定である第１の部分と、少なくとも前記奥行き方向の位置が変化する第２の部分と、前記第１の部分と第２の部分とを連結する第３の部分からなり、前記ステップ４は、前記ポインタの、前記第２の部分を前記奥行き方向に移動させることとしてもよい。また、前記ステップ４は、前記３次元ポインタの、前記第２の部分の前記２次元平面内の位置、または形状、またはサイズを変化させつつ、前記第２の部分を前記奥行き方向に移動させることとしてもよい。
【００４３】
前記ポインタを奥行き方向に移動させたときに、前記ポインタの一部分が前記表示装置の表現可能な３次元空間の外にはみ出した場合は、前記表示装置の表現可能な前記２次元平面のうち、前記はみ出した部分に近接する２次元平面に、前記はみ出した部分を射影して、もしくは折り曲げて表示させることとしてもよい。
【００４４】
前記ステップ３は、前記ポインタとともに、前記奥行き方向の位置が一定である参照用ポインタを前記表示装置に表示させることとしてもよい。
【００４５】
また、本発明は、３次元空間を表現可能な表示装置上に表現された３次元空間内にポインタを表示させ、入力装置からの入力情報に基づいて前記ポインタを３次元的に移動させて、前記３次元空間内の任意の一点をポインティングさせる３次元ポインティング装置であって、前記入力装置からの入力情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した前記入力情報に基づいて前記ポインタの表示位置および変形量を算出するポインタ位置／変形量算出手段と、前記ポインタ位置／変形量算出手段で算出された表示位置に表示するポインタを生成するポインタ生成手段と、前記ポインタ位置／変形量算出手段で算出された前記ポインタの表示位置に基づき、前記ポインタがポインティングしている点にオブジェクトがあるか否かを判定するポインティング判定手段と、前記ポインティング判定手段でポインティングしているオブジェクトがあると判定された場合に、オブジェクトをポインティングされている状態に変化させるオブジェクト生成手段と、前記ポインタ生成手段で生成したポインタおよび前記オブジェクト生成手段で生成したオブジェクトを前記表示装置に表示させる表示制御手段とを備えることを特徴とする３次元ポインティング装置として構成することができる。また、本発明は、上記３次元ポインティング装置における各手段での処理を、コンピュータに実行させる３次元ポインティングプログラムとして構成することもできる。
【００４６】
第３の目的は、３次元空間を表現可能な表示装置上に表現された３次元空間内にポインタおよび１つ以上のオブジェクトを表示しておき、入力装置からの入力情報に基づいて前記ポインタを３次元的に移動させて、前記３次元空間内の任意の一点をポインティングするときの前記ポインタおよび前記オブジェクトの表示状態を制御する３次元表示制御方法であって、前記入力情報に基づいて前記ポインタの表示位置を算出するステップ１と、前記ステップ１で算出した表示位置に前記ポインタを表示させるステップ２と、前記ステップ１で算出した前記ポインタの表示位置に基づき、前記ポインタの奥行き位置よりも手前にオブジェクトがあるか否かを判定し、前記ポインタの奥行き位置よりも手前にあるオブジェクトを透明化して表示させるステップ３とを有することを特徴とする３次元表示制御方法により達成できる。
【００４７】
上記３次元表示制御方法のステップ３は、前記ポインタの奥行き位置よりも手前にあるオブジェクトのうち、前記ポインタと重なるオブジェクトのみを透明化して表示させることとしてもよい。
【００４８】
また、前記ステップ３は、前記ポインタの奥行き位置よりも手前にあるオブジェクトのうち、前記入力装置からのあらかじめ定められた入力情報に基づいて特定もしくは選択されたオブジェクトを除く、他のオブジェクトを透明化して表示させることとしてもよい。
【００４９】
また、前記ステップ３は、前記ポインタの奥行き位置よりも手前にあるオブジェクトと前記ポインタの奥行き方向の距離に応じて、前記オブジェクトの透明度を変化させ、前記オブジェクトと前記ポインタの奥行き方向の距離が大きいほど透明度を大きくして表示させることとしてもよい。
【００５０】
また、前記ステップ３は、前記ポインタがポインティングしている点と重なるオブジェクト上の点を中心とした任意の形状の領域内のみを透明化して表示させることとすることもできる。前記透明化する任意の形状は、前記ポインタと前記オブジェクトの奥行き方向の距離の大きさに応じて変化し、前記奥行き方向の距離が大きいほど前記任意の形状が大きくなることとしてもよい。
【００５１】
更に、前記ステップ３は、前記ポインタが一定時間の間静止している場合は、前記透明化したオブジェクトを透明化する前の不透明な状態に戻して表示させるステップを有することとしてもよい。
【００５２】
また、本発明は、３次元空間を表現可能な表示装置上に表現された３次元空間内にポインタおよび１つ以上のオブジェクトを表示させ、入力装置からの入力情報に基づいて前記ポインタを３次元的に移動させて、前記３次元空間内の任意の一点をポインティングするときの前記ポインタおよび前記オブジェクトの表示状態を制御する３次元表示制御装置であって、前記入力装置からの入力情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した前記入力情報に基づいて前記ポインタの表示位置を算出するポインタ位置算出手段と、前記ポインタ位置算出手段で算出された表示位置に表示するポインタを生成するポインタ生成手段と、前記ポインタ位置算出手段で算出された前記ポインタの表示位置に基づき、前記ポインタの奥行き位置よりも手前にオブジェクトがあるか否かを判定するとともに、前記ポインタの奥行き位置よりも手前にあるオブジェクトを透明化するか否かを判定するオブジェクト変更判定手段と、前記表示装置に表示させるオブジェクトの生成、およびオブジェクト変更判定手段で透明化すると判定されたオブジェクトの透明化を行うオブジェクト生成／透明化手段と、前記ポインタ生成手段で生成されたポインタ、および前記オブジェクト生成／透明化手段で生成されたオブジェクトまたは透明化されたオブジェクトを前記表示装置に表示させる表示制御手段とを備えることを特徴とする３次元表示制御装置として構成することもできる。また、本発明は、上記３次元表示制御装置の各手段の処理を、コンピュータに実行させる３次元表示制御プログラムとして構成することもできる。
【発明の効果】
【００５３】
第１の目的を達成するための発明によれば、入力ペンのペン先の位置と、筆圧もしくは前記入力ペンのペン先で指し示し続けた時間または前記入力ペンの操作手段（ボタン、ホイール、スライドバーなど）の操作によって得られた情報と、前記入力ペンの傾きや方位などの情報を反映させたポインタを生成し、前記表示装置に表示させることで、前記表示装置に表現された３次元空間内の任意の点をポインティングする。このとき、前記入力ペンは、たとえば、ペンタブレットの操作ペン（電子ペン）や、タッチパネルを操作するスタイラスなどのペンであり、ペン先をあらかじめ定められた検出面上に接触させた状態で操作することができる。そのため、正確なポインティング操作が容易であり、長時間のポインティング操作による疲労を軽減できる。
【００５４】
また、前記ペンタブレットの検出手段（デジタイザ）を前記表示装置の表示面と重ね合わせたり、前記タッチパネルを用いたりすることで、前記入力ペンを前記表示装置の表示面上に接触させてポインティング操作をすることができる。そのため、より正確で、直感的な３次元ポインティング操作が可能となる。
【００５５】
また、前記入力ペンの傾き角、方位角、軸周りの回転角の変化を反映させて位置、向きを変化させたポインタを生成するときに、前記ポインタの変化に合わせて前記オブジェクトの位置、向きを変化させたオブジェクトを生成し、表示させることで、前記オブジェクトの位置や向きを変化させるための特殊な操作を取得する必要がなく、操作者の利便性が向上する。
【００５６】
また、前記オブジェクトをポインティングしているときに、当該オブジェクトに対する操作または編集あるいは加工を開始するための操作をすることで、前記ポインティングされたオブジェクトの、２次元GUI的な操作、編集、加工といった処理が可能な状態、つまり、これまでの２次元GUI上のオブジェクトを、ペン型の入力装置を用いて操作可能な状態にすることができる。そのため、３次元オブジェクトの加工を、これまでの２次元GUIにおける操作と変わらない操作で実現可能である。ゆえに操作者は、オブジェクトを加工するための新たな３次元操作を習得する必要がない。さらに、２次元GUI的な操作、編集、加工などの処理が終了した後、オブジェクトを再度、３次元オブジェクトとして扱えるようにすることで、前記２次元GUIにおける操作（処理）が終了した後、前記オブジェクトを、再び操作者の望む３次元位置に容易に移動できる。
【００５７】
第２の目的を達成するための発明によれば、ポインタ上のある１点の奥行き位置を一定に保ちながら前記ポインタのポインティングを行う部分の奥行き位置を変えることで、前記ポインタがポインティングしている部分の奥行き方向の変化を認識させる。このとき、操作者は、前記ポインタの奥行き位置が一定に保たれた部分と前記ポインティングしている部分の状態からポインティングされている奥行き位置を正確に、かつ直感的に認識することができる。
【００５８】
また、前記ポインティングしている部分を奥行き方向に移動させる場合に、前記ポインタを回転させる方法によると、前記ポインタが回転するごとに前記ポインタの奥行き方向の傾きが変わり、ポインティングされている奥行き位置を容易に認識することができる。またこのとき、前記ポインタを回転させる前記中心点または中心軸は、固定されていてもよいし、前記ポインタが回転する際の回転角度に応じて移動するようにしていてもよい。
【００５９】
また、ポインタが前記第１の部分、第２の部分、第３の部分を備える構成では、前記ポインティングしている部分のみが奥行き方向に折れ曲がったポインタとなる。そのため、前記第１の部分、第２の部分、第３の部分の状態から、ポインティングされている奥行き位置を容易に認識することができる。またこのとき、前記第２の部分の前記２次元平面内の位置、または形状、またはサイズを変化させつつ、前記第２の部分を前記奥行き方向に移動させることで、奥行き位置の正確な認識が可能となる。
【００６０】
第３の目的を達成するための発明によれば、前記ポインタの奥行き位置よりも手前にあるオブジェクトを透明化して表示させる。そのため、前記ポインタを３次元的に移動させたときに、前記ポインタが、前記ポインタより手前にあるオブジェクトに隠れて見えなくなるということがない。そのため、前記ポインタが、あるオブジェクトの裏側にあたる位置に移動した場合でも前記ポインタの位置を容易に認識できる。また、前記ポインタよりも手前のオブジェクトを透明化することで、前記透明化されたオブジェクトの裏側に隠れている別のオブジェクトの位置を容易に認識でき、ポインティングすることができる。また、前記ポインタを手前に移動させることで透明化されていたオブジェクトがもとの不透明な状態の表示に戻るので、前記透明化されているオブジェクトの表示内容も容易に認識することができる。またさらに、このようなオブジェクトの透明化、不透明化を、前記ポインタの奥行き方向の移動によって制御することができるので、前記ポインタの操作者の利便性が向上する。
【００６１】
また、前記ポインタよりも手前であっても、選択された状態のオブジェクトは透明化しないようにすることで、選択されたオブジェクトの認識が容易になる。また、前記ポインタからの奥行き方向の距離が大きいオブジェクトほど透明度を大きくすることで、前記ポインタの奥行き位置や、前記ポインタの近傍にあるオブジェクトを容易に認識することができる。
【００６２】
また、前記ポインタがポインティングしている点と重なる点を中心として、円形または楕円形、あるいは多角形等の任意の形状の領域内のみを透明化することで、前記オブジェクト全体が透明化されることを防げ、透明化、不透明化の切り替えが連続的に行われる場合などの、視覚的な煩わしさを低減することができる。
【００６３】
更に、前記ポインタが静止して一定時間が経過した場合に、前記透明化したオブジェクトをもとの不透明な状態に戻して表示させることにより、前記ポインタを透明化したオブジェクトよりも手前まで移動させなくても、前記透明化したオブジェクトの表示内容を認識することができ、操作者の利便性がさらに向上する。
【図面の簡単な説明】
【００６４】
【図１】第１の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、第１の実施の形態のポインティング方法を実現するシステムの構成例を示す図である。
【図２】第１及び第２の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、第１及び第２の実施の形態の３次元ポインティング方法の原理を説明するための図である。
【図３】第１の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、第１の実施の形態の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。
【図４Ａ】実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図である。
【図４Ｂ】実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す鳥瞰図である。
【図５Ａ】実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図５Ｂ】実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図５Ｃ】実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図６Ａ】実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図６Ｂ】実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図６Ｃ】実施例１−１、２−１の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図７】実施例１−１の３次元ポインティング方法を説明するための模式図であり、本実施例１−１の３次元ポインティング方法の処理手順を示すフロー図である。
【図８Ａ】実施例１−１、２−１の３次元ポインティング方法の変形例を説明するための模式図であり、表示するポインタの形状を示す図である。
【図８Ｂ】実施例１−１、２−１の３次元ポインティング方法の変形例を説明するための模式図であり、表示するポインタの形状を示す図である。
【図８Ｃ】実施例１−１、２−１の３次元ポインティング方法の変形例を説明するための模式図であり、表示するポインタの形状を示す図である。
【図８Ｄ】実施例１−１、２−１の３次元ポインティング方法の変形例を説明するための模式図であり、表示するポインタの形状を示す図である。
【図９Ａ】実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図９Ｂ】実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図９Ｃ】実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図１０Ａ】実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図１０Ｂ】実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図１０Ｃ】実施例１−２、２−２の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図１１】実施例１−３、２−３の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図１２】実施例１−３、２−３の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図１３】本発明による実施例１−３の３次元ポインティング方法を説明するための模式図であり、本実施例１−３の３次元ポインティング方法の処理手順を示すフロー図である。
【図１４Ａ】実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図１４Ｂ】実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図１４Ｃ】実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図１５Ａ】実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図１５Ｂ】実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図１５Ｃ】実施例１−４、２−４の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図１６Ａ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、実施例１−５、２−５で用いる表示装置（DFD）の原理を説明する図である。
【図１６Ｂ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、実施例１−５、２−５で用いる表示装置（DFD）の原理を説明する図である。
【図１７Ａ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図である。
【図１７Ｂ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す鳥瞰図である。
【図１８Ａ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図１８Ｂ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図１８Ｃ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図１８Ｄ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図１９Ａ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図１９Ｂ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図１９Ｃ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図１９Ｄ】実施例１−５、２−５の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図２０】実施例１−５の３次元ポインティング方法を説明するための模式図であり、本実施例１−５の３次元ポインティング方法の処理手順を示すフロー図である。
【図２１Ａ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図である。
【図２１Ｂ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す鳥瞰図である。
【図２２Ａ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図２２Ｂ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図２２Ｃ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図２３Ａ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図２３Ｂ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図２３Ｃ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図２４Ａ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図２４Ｂ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図２４Ｃ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図２５Ａ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図２５Ｂ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図２５Ｃ】実施例１−６、２−６の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図２６】実施例１−６の３次元ポインティング方法を説明するための模式図であり、本実施例１−６の３次元ポインティング方法の処理手順を示すフロー図である。
【図２７】実施例１−６の３次元ポインティング方法を説明するための模式図であり、実施例１−６の３次元ポインティング方法の処理手順の変形例を示すフロー図である。
【図２８Ａ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図である。
【図２８Ｂ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、表示装置に表現される３次元空間の一例を示す鳥瞰図である。
【図２９Ａ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図２９Ｂ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３０Ａ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３０Ｂ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３０Ｃ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３１Ａ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図３１Ｂ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図３２Ａ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図３２Ｂ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図３２Ｃ】実施例１−６、２−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図３３】実施例１−７の３次元ポインティング方法を説明するための模式図であり、実施例１−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。
【図３４】実施例１−７の３次元ポインティング方法を説明するための模式図であり、実施例１−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。
【図３５Ａ】実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３５Ｂ】実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３５Ｃ】実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３６Ａ】実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図３６Ｂ】実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図３６Ｃ】実施例１−７、２−７の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。
【図３７Ａ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３７Ｂ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３７Ｃ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３８Ａ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３８Ｂ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３８Ｃ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図である。
【図３９Ａ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図３９Ｂ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図３９Ｃ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図４０Ａ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図４０Ｂ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図４０Ｃ】実施例１−８、２−８の３次元ポインティング方法を説明するための模式図であり、入力ペンで操作したときの３次元空間内の様子を示す正面図である。
【図４１】第２の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、第２の実施の形態のポインティング方法を実現するシステムの構成例を示す図である。
【図４２】第２の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、第２の実施の形態の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。
【図４３】実施例２−１の３次元ポインティング方法を説明するための模式図であり、実施例２−１の３次元ポインティング方法の処理手順を示すフロー図である。
【図４４】実施例２−２の３次元ポインティング方法を説明するための模式図であり、本実施例２−２の３次元ポインティング方法の処理手順を示すフロー図である。
【図４５】実施例２−３の３次元ポインティング方法を説明するための模式図であり、本実施例２−３の３次元ポインティング方法の処理手順を示すフロー図である。
【図４６】実施例２−５の３次元ポインティング方法を説明するための模式図であり、本実施例２−５の３次元ポインティング方法の処理手順を示すフロー図である。
【図４７】実施例２−６の３次元ポインティング方法を説明するための模式図であり、本実施例２−６の３次元ポインティング方法の処理手順を示すフロー図である。
【図４８】実施例２−７の３次元ポインティング方法を説明するための模式図であり、本実施例２−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。
【図４９】実施例２−７の３次元ポインティング方法を説明するための模式図であり、本実施例２−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。
【図５０】第３の実施の形態の３次元ポインティング方法を実現するためのシステムの構成例を示す模式図である。
【図５１】実施例３−１の３次元ポインティング方法を説明するための模式図であり、ポインタの操作方法を説明する図である。
【図５２】実施例３−１の３次元ポインティング方法を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。
【図５３】実施例３−１の３次元ポインティング方法を説明するための模式図であり、図５２の３次元空間内の変化の斜視図である。
【図５４】実施例３−１の３次元ポインティング方法を説明するための模式図であり、ポインタよりも手前にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。
【図５５】実施例３−１の３次元ポインティング方法を説明するための模式図であり、本実施例３−１の３次元ポインティング方法をシステム制御装置（ポインティング装置）で実行するときの処理手順を説明するためのフロー図である。
【図５６Ａ】ポインタの形状の変形例を示す模式図であり、三角形状のポインタを示す図である。
【図５６Ｂ】ポインタの形状の変形例を示す模式図であり、人の手の形状のポインタを示す図である。
【図５６Ｃ】ポインタの形状の変形例を示す模式図であり、雫形状のポインタを示す図である。
【図５６Ｄ】ポインタの形状の変形例を示す模式図であり、十字形状のポインタを示す図である。
【図５７】本実施例３−１の３次元ポインティング方法においてリファレンスを表示させる例を示す図である。
【図５８】本実施例３−１の３次元ポインティング方法の変形例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。
【図５９】本実施例３−１の３次元ポインティング方法の第１の応用例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。
【図６０】本実施例３−１の３次元ポインティング方法の第２の応用例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。
【図６１】本実施例３−１の３次元ポインティング方法の第３の応用例を説明するための模式図であり、システムの構成例を示す図である。
【図６２Ａ】本実施例３−１の３次元ポインティング方法の第３の応用例を説明するための模式図であり、DFDの動作原理を説明する図である。
【図６２Ｂ】本実施例３−１の３次元ポインティング方法の第３の応用例を説明するための模式図であり、DFDの動作原理を説明する図である。
【図６３Ａ】本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。
【図６３Ｂ】本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。
【図６４Ａ】本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。
【図６４Ｂ】本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、直線状の軌跡をたどる場合の応用例を示す図である。
【図６５Ａ】本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。
【図６５Ｂ】本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。
【図６６Ａ】本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。
【図６６Ｂ】本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、円弧状の軌跡をたどる場合の応用例を示す図である。
【図６７】実施例３−２の３次元ポインティング方法を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。
【図６８Ａ】実施例３−２の３次元ポインティング方法を説明するための模式図であり、本実施例３−２の３次元ポインティング方法で問題となる点を説明する図である。
【図６８Ｂ】実施例３−２の３次元ポインティング方法を説明するための模式図であり、図６８Ａに示した問題点を解決する方法の一例を説明する図である。
【図６９】実施例３−２の３次元ポインティング方法を説明するための模式図であり、図６８Ｂに示した解決方法の変形例を説明する図である。
【図７０Ａ】本実施例３−２の３次元ポインティング方法の応用例を説明するための模式図であり、回転の中心となる点が３次元空間内で固定されている場合の例を示す図である。
【図７０Ｂ】本実施例３−２の３次元ポインティング方法の応用例を説明するための模式図であり、回転の中心となる点が３次元空間内で移動する場合の例を示す図である。
【図７１】実施例３−３の３次元ポインティング方法を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。
【図７２】実施例３−３の３次元ポインティング方法を説明するための模式図であり、図７１の３次元空間内の変化の斜視図である。
【図７３】実施例３−３の３次元ポインティング方法を説明するための模式図であり、実施例３−３の３次元ポインティング方法をシステム制御装置（ポインティング装置）で実行するときの処理手順を説明するためのフロー図である。
【図７４Ａ】本実施例３の３次元ポインティング方法におけるポインタの連結方法を説明するための模式図であり、ＸＺ平面側から見たポインタの連結方法を示す図である。
【図７４Ｂ】本実施例３の３次元ポインティング方法におけるポインタの連結方法を説明するための模式図であり、ＸＺ平面側から見たポインタの連結方法を示す図である。
【図７４Ｃ】本実施例３の３次元ポインティング方法におけるポインタの連結方法を説明するための模式図であり、ＸＺ平面側から見たポインタの連結方法を示す図である。
【図７４Ｄ】本実施例３の３次元ポインティング方法におけるポインタの連結方法を説明するための模式図であり、ＸＺ平面側から見たポインタの連結方法を示す図である。
【図７５】本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、それぞれポインティングする部分の形状を保った状態で移動させる場合の応用例を示す図である。
【図７６Ａ】本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を保った状態で移動させる場合の応用例を示す図である。
【図７６Ｂ】本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を保った状態で移動させる場合の応用例を示す図である。
【図７７Ａ】本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である。
【図７７Ｂ】本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である。
【図７８Ａ】本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である。
【図７８Ｂ】本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、ポインティングする部分の形状を変化させる場合の応用例を示す図である。
【図７９Ａ】第１、第２の実施の形態と第３の実施の形態の組み合わせの一例を説明するための図である。
【図７９Ｂ】第１、第２の実施の形態と第３の実施の形態の組み合わせの一例を説明するための図である。
【図７９Ｃ】第１、第２の実施の形態と第３の実施の形態の組み合わせの一例を説明するための図である。
【図８０】第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、第４の実施の形態の３次元表示制御方法が適用されるコンピュータシステムの概略構成を示す図である。
【図８１】第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、３次元空間を表現できる表示装置（DFD）の動作原理を説明する図である。
【図８２】第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、表示装置上に表現された３次元空間の一例を示す正面図および右側面図である。
【図８３】第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、表示装置上に表現された３次元空間の一例を示す斜視図（鳥瞰図）である。
【図８４】第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、ポインタの操作方法の一例を示す図である。
【図８５】実施例４−１の３次元表示制御方法を説明するための模式図であり、本実施例４−１の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。
【図８６】実施例４−１の３次元表示制御方法を説明するための模式図であり、本実施例４−１の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。
【図８７】実施例４−１の３次元表示制御方法を説明するための模式図であり、本実施例４−１の表示制御方法と比較するための従来の表示制御方法を説明する３次元空間の様子を示す図である。
【図８８】本実施例４−１の３次元表示制御方法を実現するための装置における処理手順を示すフロー図である。
【図８９】本実施例４−１の３次元表示制御方法の応用例を説明するための模式図であり、応用例を適用した場合の３次元空間の変化の様子を示す図である。
【図９０】本実施例４−１の３次元表示制御方法の応用例を説明するための模式図であり、応用例を実現するための装置における処理手順を示すフロー図である。
【図９１】実施例４−２の３次元表示方法を説明するための模式図であり、本実施例４−２の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。
【図９２】４−２の３次元表示方法を説明するための模式図であり、透明度の決定方法の一例を示す図である。
【図９３】実施例４−２の３次元表示方法を説明するための模式図であり、本実施例４−２の３次元表示方法を実現するための装置における処理手順を示すフロー図である。
【図９４】実施例４−３の３次元表示制御方法を説明するための模式図であり、本実施例４−３の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。
【図９５Ａ】実施例４−３の３次元表示制御方法を説明するための模式図であり、透明度の決定方法の一例を示す図である。
【図９５Ｂ】実施例４−３の３次元表示制御方法を説明するための模式図であり、透明度の決定方法の一例を示す図である。
【図９６】実施例４−４の３次元表示制御方法を説明するための模式図であり、本実施例４−４の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。
【図９７】実施例４−４の３次元表示制御方法を説明するための模式図であり、本実施例４−４の３次元表示方法を実現するための装置における処理手順を示すフロー図である。
【図９８】実施例４−５の３次元表示制御方法を説明するための模式図であり、オブジェクトの選択方法を示す図である。
【図９９】実施例４−５の３次元表示制御方法を説明するための模式図であり、本実施例４−５の表示制御方法を適用した場合の３次元空間の変化の様子を示す図である。
【図１００】実施例４−５の３次元表示制御方法を説明するための模式図であり、本実施例４−５の３次元表示方法を実現するための装置における処理手順を示すフロー図である。
【発明を実施するための形態】
【００６５】
以下、本発明の第１〜第４の実施の形態を説明する。なお、特に断りのない限り、図面における符号は各実施の形態において独立に付されたものとする。
【００６６】
（第１の実施の形態）
まず、本発明の第１の実施の形態について説明する。第１の実施の形態は本発明の第１の目的に対応するものである。
【００６７】
本発明の第１の実施の形態の３次元ポインティング方法は、３次元表示が可能な表示装置に表現された３次元空間上のオブジェクトを、ペン形の入力装置を用いてポインティングしたり、前記ポインティングされたオブジェクトの操作をしたりする方法である。前記ペン形の入力装置は、たとえば、ペンタブレットのように、前記オブジェクトのポインティングや操作を行う操作者が持って操作をするペン形の操作手段（以下、入力ペンという）と、前記入力ペンのペン先の位置、筆圧、軸の向き等の情報を検出する検出手段からなる。そして、第１の実施の形態の３次元ポインティング方法では、前記検出手段で検出した情報に基づいて、ポインタの位置、形状、向き等を決定し、前記表示装置に表現された３次元空間上に前記ポインタを表示させる。このようにすることで、前記操作者は、前記検出手段の検出面上に前記入力ペンのペン先を接触させた状態で、前記表示装置に表現された３次元空間上の前記オブジェクトのポインティングや操作を行うことができ、長時間のポインティングやオブジェクト操作時の前記操作者の疲労を軽減できる。
【００６８】
また、第１の実施の形態の３次元ポインティング方法では、前記入力ペンの筆圧を、前記ポインタの奥行き方向の移動または変形と対応させることで、前記表示装置に表現された３次元空間内の一点をポインティングできるようにする。またこのとき、前記入力ペンの傾き、方位の情報を前記ポインタの傾き、方位に反映させることで、操作者は、前記表示装置に表現された３次元空間上に表示されたポインタがあたかも自身が持つ入力ペンのペン先の一部と感じることができ、３次元オブジェクトのポインティングを容易に、かつ直感的に行うことが可能となる。
【００６９】
また、第１の実施の形態の３次元ポインティング方法では、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを、２次元GUI的な編集、加工等の操作が可能な状態、言い換えると前記入力ペンの操作で前記２次元GUI上のオブジェクトを操作することが可能な状態にする。またこのとき、前記オブジェクト編集・加工といった操作が終了した後、前記オブジェクトを再度３次元オブジェクトとして扱い、操作者の望む３次元位置に移動できるようにする。このようにすることで、３次元オブジェクトの操作を、既存のペン形の入力装置を用いたこれまでの２次元GUIにおける操作と変わらない操作で実現でき、前記操作者は、オブジェクトの操作をするための、３次元的な入力ペンの操作を新たに習得しなくてもよい。
【００７０】
図１乃至図３は、第１の実施の形態の３次元ポインティング方法の概要を説明するための模式図であり、図１は第１の実施の形態の３次元ポインティング方法を実現するシステムの構成例を示す図、図２は第１の実施の形態の３次元ポインティング方法の原理を説明するための図、図３は第１の実施の形態の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。
図１において、１はシステム制御装置、１０１は入力情報取得手段、１０２はポインタ位置／回転角度算出手段、１０３はポインタ生成手段、１０４はポインティング判定手段、１０５はオブジェクト生成手段、１０６は表示制御手段、１０７は処理制御手段、１０８は記憶手段、２は入力装置、３は表示装置である。また、図２において、２０１Ｐは入力ペンのペン先、２０１Ｘは入力ペンの筐体の軸である。また、図３において、２０１は入力ペン、２０１Ａはコイル、２０１Ｂは回転角検出用のコイル、２０１Ｃは筆圧感知部である。
【００７１】
第１の実施の形態の３次元ポインティング方法は、たとえば、PC等のシステム制御装置に接続された前記ペン形の入力装置を用いて、前記システム制御装置に接続された表示装置に表現された３次元空間上にあるポインタやポインティングされたオブジェクトを３次元的に操作するときに適用して好ましいポインティング方法である。
【００７２】
システム制御装置１は、図１に示すように、前記入力装置２から入力された入力情報を取得する入力情報取得手段１０１と、前記入力情報取得手段１０１で取得した入力情報がポインタの制御に関する情報である場合に、前記入力情報に基づいてポインタの移動方向および移動量、回転方向および回転角度等を算出するポインタ位置／回転角度算出手段１０２と、前記ポインタ位置／回転角度算出手段１０２の算出結果に基づいたポインタを生成するポインタ生成手段１０３と、前記ポインタ生成手段１０３で生成するポインタにポインティングされているオブジェクトがあるか否かの判定をするポインティング判定手段１０４と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えたり、前記ポインタの移動や回転を追随させた位置や向きのオブジェクトを生成するオブジェクト生成手段１０５と、前記ポインタ生成手段１０３で生成されたポインタや、前記オブジェクト生成手段１０５で生成されたオブジェクトを前記表示装置３に表示させる表示制御手段１０６とを備える。
【００７３】
また、前記システム制御装置１は、たとえば、前記PCのように、前記入力装置２からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置であり、図１に示したように、前記各手段の他に、たとえば、ソフトウェアの起動等の処理を制御する処理制御手段１０７や、前記処理制御手段１０７による処理で用いるデータ等が記憶された記憶手段１０８を備える。そして、前記入力情報取得手段１０１で取得した情報が、前記ポインタの制御に関する情報とは異なる場合、前記入力情報取得手段１０１は、前記取得した情報を前記処理制御手段１０７に渡し、取得した情報に応じた処理を前記システム制御装置１に実行させる。そのため、前記表示制御手段１０６は、前記ポインタや前記オブジェクトのほかに、前記システム制御装置１（処理制御手段１０７）で実行中の処理の内容や、処理の結果を前記表示手段３に表示させることもできる手段である。
【００７４】
また、前記入力装置２は、図示は省略するが、たとえば、前記ポインタやオブジェクトの操作を行う操作者が持つペン形の操作手段（入力ペン）と、前記入力ペンのペン先の位置、ペン先にかかる圧力（筆圧）、前記入力ペンの傾き、方位、回転角等の情報を検出する検出面を持つ検出手段からなる。
【００７５】
図２に示すように、前記検出手段の検出面上に、前記表示装置３に表現される３次元空間と対応するデカルト座標系ＸＹＺをとり、前記デカルト座標系ＸＹＺのＸＹ平面が検出面とすると、前記検出手段は、前記検出面（ＸＹ平面）に前記入力ペンのペン先２０１Ｐが接触したときに、ペン先２０１Ｐの座標（ｘ，ｙ）、入力ペンの筐体の軸２０１Ｘの方位α（たとえば０度≦α＜３６０度），傾きβ（たとえば０度≦β≦９０度），軸周りの回転γ（たとえば０度≦γ＜３６０度）の各角度、ペンの筆圧等の情報を検出する。
【００７６】
前記ペン先２０１Ｐの座標、前記入力ペンの筐体の軸２０１Ｘの方位α，傾きβ，軸周りの回転γ，筆圧等の情報を検出することが可能な入力装置２の構成は、たとえば、参照文献１（三谷 雄二, "タッチパネルの基礎と応用," テクノタイムズ社, 2001.）や参照文献２（株式会社WACOM製intuos2のカタログ）等に記載された内容から、当業者であれば容易に推測でき、容易に実現することが可能である。ただし、前記入力ペンの筐体の軸２０１Ｘの軸周りの回転γの角度については、前記参照文献１や参照文献２に記載された構造では取得できない。しかしながら、前記軸周りの回転γの角度を検出するためには、たとえば、図３に示すように、前記入力ペン２０１の内部の、前記参照文献１に記載されている座標指示器のコイル２０１Ａと平行に、前記軸周りの回転γを検出するためのコイル２０１Ｂをもう一つ加え、筆圧感知部２０１Ｃにおいて両コイル２０１Ａ，２０１Ｂの鎖交する磁束の変化をそれぞれ取得し、回転量を計算すればよいことは、当業者であれば容易に想到でき、実現することは可能である。ただし、本実施形態の３次元ポインティング方法で使用する前記入力ペン２０１は、図３に示したような、前記軸周りの回転γの角度を検出する機構を備えた構成でなくともよい。
【００７７】
また、前記入力装置２は、ペンタブレットや、タッチパネルとスタイラスペンの組み合わせのように、前記入力ペンと前記検出手段が分離した装置に限らず、たとえば、ペン形マウスのように、前記入力ペンの筐体の内部に前記検出手段が組み込まれている入力装置であってもよい。
【００７８】
また、前記表示装置３は、３次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのように３次元オブジェクトを２次元平面に射影した形で表現して表示する２次元表示装置でもよく、HMD（Head Mount Display）やDFD（Depth Fused 3D）（DFDの詳細については後述する）のように３次元立体像を表現して表示することが可能な表示装置でもよい。つまり、前記表示装置３は、前記操作者が、表示されたポインタやオブジェクトを３次元的に知覚することが可能であればどのような表示装置でもよい。
【００７９】
また、前記入力装置２の検出手段と前記表示装置３は、一体型の形態を取ることも可能である（たとえば、特開平5-073208号公報を参照。）。前記入力装置２として、電磁誘導方式のペンタブレットを用いる場合、前記検出手段（デジタイザ）は、前記表示装置３の表示面と重ね合わせ、前記表示装置３と一体的にすることができる。また、同様の形態として、たとえば、タッチパネルとスタイラスペンを組み合わせた形態を適用することも可能である。このようにすれば、前記操作者は、液晶ディスプレイ等の前記表示装置３の表示面に前記入力ペンを接触させてポインティングすることが可能となり、前記検出手段と前記表示装置３が分離した状態で操作する場合に比べ、より直感的な操作が可能となる。ただし、本発明は、このような前記入力装置２の検出手段と前記表示装置３の構成を限定するものではなく、一般的なペンタブレットのように、前記検出手段と前記表示装置３が一体的になっていなくともよい。
【００８０】
［実施例１−１］
図４Ａ乃至図７は、本発明による実施例１−１の３次元ポインティング方法を説明するための模式図であり、図４Ａは表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図、図４Ｂは表示装置に表現される３次元空間の一例を示す鳥瞰図、図５Ａ，図５Ｂ，図５Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図６Ａ，図６Ｂ，図６Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図、図７は本実施例１−１の３次元ポインティング方法の処理手順を示すフロー図である。なお、図６Ａ，図６Ｂ，図６Ｃはそれぞれ、図５Ａ，図５Ｂ，図５Ｃと対応する図である。
【００８１】
本実施例１−１の３次元ポインティング方法は、前記入力ペン２０１の筆圧を変えることで３次元空間内の操作者からみて奥行き方向にあるオブジェクトをポインティングする方法である。
【００８２】
本実施例１−１では、前記入力装置２には電磁誘導方式のペンタブレット、前記３次元空間を表示できる表示装置３には液晶ディスプレイを用いることとする。また、前記入力装置２の検出手段（デジタイザ）は前記液晶ディスプレイ３の表示面と重ね合わせており、表示画面上で直接入力ペンを操作し、ポインティングが行えるものとする。また、前記入力装置２および前記表示装置３は、図１に示したような構成のシステム制御装置１に接続されているとする。
【００８３】
また、本実施例１−１では、図４Ａおよび図４Ｂに示すように、前記液晶ディスプレイ３に表現された３次元空間３０１の中に、図２で示した座標系ＸＹＺと対応させた座標系ＸＹＺを設定し、オブジェクト３０２が３次元空間３０１内のｚ＜０の位置に配置されているとする。また、前記入力装置２の入力ペン２０１を操作する操作者は、前記３次元空間３０１のＸＹ平面を、ｚ＞０の方向から観察しているとする。
【００８４】
また、本実施例１−１では、前記３次元空間３０１のｚ＝０のＸＹ平面、すなわち前記操作者から見て一番近い面が前記液晶ディスプレイの表示面であると同時に、前記入力装置２の検出手段の検出面であるとする。
【００８５】
このとき、前記操作者が、図５Ａおよび図６Ａに示すように、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３の表示面に接触させると、前記表示面に重ね合わされた前記検出手段が前記ペン先２０１Ｐの位置（座標）や筆圧等を検出する。このとき、前記システム制御装置１では、前記入力情報取得手段１０１により前記検出手段が検出した前記ペン先２０１Ｐの位置（座標）や筆圧等の情報を取得し、前記ポインタ位置／回転角度算出手段１０２および前記ポインタ生成手段１０３に、前記ペン先２０１Ｐが接触した位置に該当する前記３次元空間３０１上の位置（たとえば、入力ペンの軸の３次元空間における延長線上の位置）に表示させるポインタを生成させる。そして、前記ポインタが生成されると、前記表示制御手段１０６から前記表示装置３にポインタ表示用の信号が送られ、たとえば、図５Ａおよび図６Ａに示したように、前記表示装置３に表現された３次元空間３０１上に、前記ペン先２０１Ｐの位置および筆圧を反映したポインタ３０３が表示される。
【００８６】
また、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３の表示面に接触させた後、たとえば、図５Ｂおよび図６Ｂ、あるいは図５Ｃおよび図６Ｃに示すように、前記入力ペン２０１を前記液晶ディスプレイ３の表示面に押しつけるようにして筆圧を高くすると、前記システム制御装置１の前記ポインタ位置／回転角度算出手段１０２および前記ポインタ生成手段１０３では、前記筆圧の高さに応じた形状のポインタを生成させる。このとき、たとえば、前記筆圧の高さに応じて矢印形のポインタが長くなるようにしておけば、前記表示装置３に表現された３次元空間３０１上のポインタ３０３は、筆圧を高くすることにより、図５Ｂおよび図６Ｂに示したように、図５Ａおよび図６Ａに示したポインタよりも長くなる。また、さらに筆圧を高くすれば、図５Ｃおよび図６Ｃに示したように、前記ポインタ３０３がさらに長くなる。
【００８７】
このようなポインタ３０３の表示を、前記操作者が前記入力ペン２０１に筆圧を加える操作を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あたかも加えた筆圧によってポインタが３次元奥行き方向（ｚ＜０）に伸びていくように感じることが可能である。また、図示は省略するが、前記システム制御装置１のポインティング判定手段１０４により前記ポインタ３０３（ポインタの先）が目的のオブジェクト３０２をポインティングできたと判定されたときに、前記オブジェクト生成手段１０５でオブジェクト３０２の色を変え、前記３次元空間３０１上に表示されたオブジェクト３０２の表示を切り替える等の処理を行うことによって、前記操作者に、３次元奥行き方向（ｚ＜０）にあるオブジェクト３０２をポインティングできたことを知らせることが可能である。
【００８８】
また、たとえば、図５Ｂおよび図６Ｂ、あるいは図５Ｃおよび図６Ｃに示したように、一度筆圧を高くしてポインタ３０３を３次元奥行き方向（ｚ＜０）に傾けて表示させた後、筆圧を低くした場合、前記ポインタ３０３を、筆圧を反映させた奥行き位置まで戻してもよいし、低くする前の奥行き位置に固定させておいてもよい。
【００８９】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図７に示したような、ステップ４０１からステップ４０６の処理を実行すればよい。前記システム制御装置１では、まず、前記表示制御手段１０６により、前記表示装置（液晶ディスプレイ）３に表現された３次元空間３０１上にポインタ３０３およびオブジェクト３０２を表示させておく（ステップ４０１）。またこのとき、前記ポインタ３０３は、任意の位置に表示させておく。また、前記入力情報取得手段１０１は、前記入力装置２の検出手段で検出された情報を取得できる状態にしておく。
【００９０】
そして、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを検出手段の検出面に接触させると、前記検出手段が前記ペン先２０１Ｐの位置（座標）や筆圧等を検出するので、前記入力情報取得手段１０１は、前記検出された前記ペン先２０１Ｐの位置（座標）や筆圧等の情報を取得する（ステップ４０２）。本実施例１−１の３次元ポインティング方法では、前記ペン先２０１Ｐの位置（座標）と筆圧の情報が取得できればよいので、前記ステップ４０２では、前記ペン先２０１Ｐの位置（座標）と筆圧の情報のみを取得してもよいが、前記検出手段では、前記ペン先２０１Ｐの位置（座標）と筆圧のほかに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γ等も検出可能である。そのため、前記ペン先２０１Ｐの位置（座標）と筆圧の情報とともに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報を取得してもよい。
【００９１】
前記入力情報取得手段１０１で前記検出手段からの情報を取得したら、次に、前記ポインタ位置／回転角度算出手段１０２において、前記取得した情報のうち、前記ペン先２０１Ｐの位置（座標）と筆圧の情報を用いて、これらの情報を反映するポインタの位置、向き、長さ等を算出する（ステップ４０３）。本実施例１−１の３次元ポインティング方法の場合、前記ステップ４０３では、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）と、筆圧と比例する長さを算出する。
【００９２】
前記ステップ４０３の処理がすんだら、次に、前記ポインタ生成手段１０３において、前記ポインタ位置／回転角度算出手段１０２での算出結果に基づいた形状のポインタを生成し、前記表示制御手段１０６から生成したポインタに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０４）。
【００９３】
また、前記ステップ４０４の処理と並行して、前記ポインティング判定手段１０４において、前記ポインタ位置／回転角度算出手段１０２で算出した３次元空間のＸＹ平面上の位置（座標）および奥行き位置に該当する位置に、ポインティングしているオブジェクトがあるか否かの判定を行う（ステップ４０５）。このとき、ポインティングしているオブジェクトがなければ、前記ポインタ３０３の表示制御のみを行い、ステップ４０２に戻り、次の入力情報を取得するまで待機する。
【００９４】
一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段１０５において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェクトを生成し、前記表示制御手段１０６から生成したオブジェクトに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０６）。そしてその後、前記ステップ４０２に戻り、次の入力情報を取得するまで待機する。
【００９５】
前記システム制御装置１において、以上のような処理を行うことにより、図５Ａ，図５Ｂ，図５Ｃに示したようなポインタの表示制御が可能となる。
【００９６】
以上説明したように、本実施例１−１の３次元ポインティング方法によれば、前記入力ペン２０１のペン先２０１Ｐの位置（座標）および筆圧に関する情報を取得し、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）と、筆圧と対応する奥行き位置を算出し、算出した位置および奥行き位置を指し示すポインタを生成し、表示させることで、前記表示装置３に表現された３次元空間３０１上の任意の１点をポインティングすることができる。
【００９７】
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、前記ポインタ３０３の奥行き方向のポインティング位置を変えることができるので、操作者の疲労を軽減することができる。
【００９８】
また、本実施例１−１で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１の一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
【００９９】
また、本実施例１−１では、前記入力ペン２０１の筆圧の高さに応じて長さが変わる前記ポインタ３０３を表示させたが、これに限らず、たとえば、長さではなく形状が３次元奥行き方向（ｚ＜０）に何らかの変化をするポインタや、３次元奥行き方向（ｚ＜０）の傾きが変化するポインタのように、３次元奥行き方向（ｚ＜０）をポインティングできるのであれば、どのような変化であってもよい。また、前記ポインタの長さを変化させる場合、筆圧の高さに比例させてもよいし、筆圧の高さの累乗あるいは累乗根に比例させてもよい。
【０１００】
なお、本実施例１−１では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例１−１では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
【０１０１】
図８Ａ〜Ｄは、本実施例１−１の３次元ポインティング方法の変形例を説明するための模式図であり、図８Ａ，図８Ｂ，図８Ｃ，図８Ｄはそれぞれ表示するポインタの形状を示す図である。
【０１０２】
本実施例１−１では、前記ポインタ３０３として、たとえば、図８Ａに示すように、平板状の矢印型のポインタ３０３ａを用いたが、前記ポインタ３０３の形状は、これに限らず、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状であってもよい。そのようなポインタの形状としては、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄに示すような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄ等が考えられる。また、図示は省略するが、図８Ｃに示した円錐型のポインタ３０３ｃに類似した多角錘型のポインタであってもよい。
【０１０３】
また、本実施例１−１では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
【０１０４】
また、本実施例１−１では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
【０１０５】
また、本実施例１−１では、前記表示装置３に表現される３次元空間の座標系を図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
【０１０６】
また、本実施例１−１では、前記入力ペン２０１の筆圧に注目したが、これに後述する入力ペン２０１の傾きβと軸周りの回転γの要素も加え、ポインタの傾きや回転も操作できるようにしてもかまわない。
【０１０７】
［実施例１−２］
図９Ａ〜図１０Ｃは、本発明による実施例１−２の３次元ポインティング方法を説明するための模式図であり、図９Ａ，図９Ｂ，図９Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図１０Ａ，図１０Ｂ，図１０Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。なお、図１０Ａ，図１０Ｂ，図１０Ｃはそれぞれ、図９Ａ，図９Ｂ，図９Ｃと対応する図であるとする。
【０１０８】
本実施例１−２の３次元ポインティング方法は、前記入力ペン２０１の向きを変えることで３次元空間内の操作者からみて奥行き方向にあるオブジェクトをさまざまな方向からポインティングする方法である。
【０１０９】
本実施例１−２では、前記入力装置２および前記表示装置３はそれぞれ、前記実施例１−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。
【０１１０】
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例１−１で説明したとおりであるとする。また、前記ペンタブレット２および表示装置３は、図１に示したような構成のシステム制御装置１に接続されているとする。
【０１１１】
本実施例１−２の３次元ポインティング方法では、前記操作者が前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３に表現された３次元空間３０１のＸＹ平面（ｚ＝０）の任意の１点におくと、前記システム制御装置１は、前記入力情報手段１０１により、前記検出手段（デジタイザ）が検出した前記入力ペン２０１のペン先２０１の位置（座標）、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γ、筆圧等の情報を取得し、前記ポインタ位置／回転角度算出手段１０２および前記ポインタ生成手段１０３に、前記ペン先２０１Ｐが接触した位置に該当する前記３次元空間３０１上の位置（たとえば、入力ペンの軸の３次元空間における延長線上の位置）に表示させるポインタを生成させる。そして、前記ポインタが生成されると、前記表示制御手段１０６から前記表示装置３にポインタ表示用の信号が送られ、たとえば、図９Ａおよび図１０Ｂに示したようなポインタ３０３が表示される。
【０１１２】
また、前記操作者が、前記入力ペン２０１の向きを、たとえば、前記筆圧をほぼ一定の状態で、図９Ｂおよび図１０Ｂ、あるいは図１０Ｃおよび図１０Ｃに示したような向きに変えたとすると、前記ポインタ位置／回転角度算出手段１０２およびポインタ生成手段１０３では、前記入力ペン２０１の新たな方位α，傾きβ，軸周りの回転γから、新たなポインタの向きを算出し、算出結果に基づいたポインタを生成させる。そして、前記表示制御手段１０６から前記表示装置３に、新たに生成したポインタ表示用の信号を送ると、図９Ｂおよび図１０Ｂ、あるいは図９Ｃおよび図１０Ｃに示したようなポインタ３０３が表示される。
【０１１３】
このようなポインタ３０３の表示を、前記操作者が入力ペン２０１の向きを変える操作を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あたかもペンを傾けた方向のペン先２０１Ｐの延長線上にポインタ３０３が傾いて表示されるように感じることが可能である。また、図示は省略するが、前記ポインティング判定手段１０４により前記ポインタ３０３（ポインタの先）が目的のオブジェクトをポインティングできたときに、前記オブジェクト生成手段１０５でそのオブジェクトの色を変え、前記３次元空間３０１上に表示されたオブジェクト３０２の表示を切り替える等の処理を行うことによって、前記操作者に、３次元奥行き方向（ｚ＜０）にあるオブジェクトをポインティングできたことを知らせることが可能である。
【０１１４】
またさらに、図示は省略するが、前記操作者が、前記入力ペン２０１の向きを変えるとともに、筆圧を変えた場合は、前記ポインタ位置／回転角度算出手段１０２および前記ポインタ生成手段１０３において、たとえば、前記ポインタの向きに加え、前記実施例１−１で説明したような筆圧の高さに比例した長さを算出し、その算出結果を反映したポインタを生成することができる。
【０１１５】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置において、図７に示したような、ステップ４０１からステップ４０６の処理を実行すればよいので、詳細な説明は省略する。
【０１１６】
ただし、本実施例１−２のように、前記入力ペン２０１の向きを前記ポインタに反映させる場合、前記ステップ４０２では、前記ペン先２０１Ｐの位置（座標）と筆圧のほかに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報を取得する必要がある。
【０１１７】
また、前記ステップ４０３では、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）と、筆圧と比例する長さに加え、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γと対応する前記３次元空間３０１上のポインタの方位，傾き，軸周りの回転の角度を算出する必要がある。
【０１１８】
前記システム制御装置１において、以上のような処理を行うことにより、図９Ａ，図９Ｂ，図９Ｃに示したようなポインタの表示制御が可能となる。
【０１１９】
以上説明したように、本実施例１−２の３次元ポインティング方法によれば、前記入力ペン２０１のペン先２０１Ｐの位置（座標）および筆圧に加え、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γに関する情報を取得し、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）および筆圧と対応する奥行き位置、ならびに前記入力ペン２０１の方位α，傾きβ，軸周りの回転γと対応する前記３次元空間３０１上のポインタの方位，傾き，軸周りの回転の角度を算出し、算出した位置および奥行き位置を、算出した方向から指し示すポインタを生成し、表示させることで、前記表示装置３に表現された３次元空間３０１上の任意の１点をポインティングすることができる。
【０１２０】
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、前記ポインタ３０３の奥行き方向のポインティング位置を変えることができるので、操作者の疲労を軽減することができる。
【０１２１】
また、本実施例１−２で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１の一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
【０１２２】
また、本実施例１−２では、ポインタの傾き、方位、回転が前記入力ペン２０１の傾き、方位、回転にそれぞれ比例して変化する例を示したが、これに限らず、たとえば、回転角ではなく形状が３次元奥行き方向（ｚ＜０）に何らかの変化をしたり、ポインタの傾きが３次元奥行き方向（ｚ＜０）に変化したりすることで、３次元奥行き方向（ｚ＜０）をポインティングできるのであればどのような変化であってもよい。また、前記入力ペン２０１の傾き、方位、回転にそれぞれ比例してポインタの傾き、方位、回転を変化させる場合に限らず、たとえば、前記入力ペン２０１の傾き、方位、回転のいずれかが累乗あるいは累乗根に比例するようにしてもよい。
【０１２３】
なお、本実施例１−２では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例１−２では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
【０１２４】
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄに示すような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
【０１２５】
また、本実施例１−２では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
【０１２６】
また、本実施例１−２では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
【０１２７】
また、本実施例１−２では、前記表示装置３に表現される３次元空間の座標系は、前記実施例１−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
【０１２８】
また、本実施例１−２では、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γに注目したが、これに実施例１−１で説明した入力ペン２０１の筆圧の要素を加えることで、より直感的なポインティングが可能となる。
【０１２９】
［実施例１−３］
図１１乃至図１３は、本発明による実施例１−３の３次元ポインティング方法を説明するための模式図であり、図１１は入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図１２は入力ペンで操作したときの３次元空間内の様子を示す正面図、図１３は本実施例１−３の３次元ポインティング方法の処理手順を示すフロー図である。
【０１３０】
前記実施例１−１および実施例１−２では、前記入力装置２の入力ペン２０１の操作にあわせて、前記表示装置３に表現された３次元空間３０１上のポインタの表示制御およびポインティングされたオブジェクトの表示制御に関するポインティング方法について説明した。
【０１３１】
しかしながら、前記実施例１−１および実施例１−２のような方法で前記３次元空間３０１上のオブジェクトをポインティングした場合、ポインティング後に前記オブジェクトの移動、編集、加工といった操作が伴うことが多い。そこで、本実施例１−３では、前記３次元空間３０１上のオブジェクトをポインティングした後、前記入力ペン２０１を操作して前記ポインティングされたオブジェクトを移動させる方法について説明する。
【０１３２】
実施例１−３では、前記入力装置２および前記表示装置３はそれぞれ、前記実施例１−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。
【０１３３】
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例１−１で説明したとおりであるとする。また、前記ペンタブレット２および表示装置３は、図１に示したような構成のシステム制御装置１に接続されているとする。
【０１３４】
また、本実施例１−３では、前記３次元空間３０１上のオブジェクトをポインティングする方法については、前記実施例１−１や実施例１−２で説明したような方法でよいので、説明は省略する。
【０１３５】
このとき、たとえば、前記実施例１−１や実施例１−２と同様の方法によって、図１１および図１２に示したようにオブジェクト３０２をポインティングした後、前記オブジェクト３０２をポインティングしたことを確認した操作者は、たとえば、前記入力ペン２０１に設けられているボタン２０１Ｄを押す等の前記オブジェクト３０２をつかむ操作を行う。そして、前記入力ペン２０１のボタン２０１Ｄを押し、かつ、前記入力ペン２０１のペン先２０１Ｐを前記表示装置３の表示面（検出手段の検出面）に接触させた状態で前記入力ペン２０１を所望の位置に移動させた後、前記ボタン２０１Ｄを離す等の前記オブジェクト３０２を離す操作を行うと、図１１および図１２に示したように、前記入力ペン２０１の移動に追従して前記オブジェクト３０２が３次元空間３０１内を移動する。このようにするとオブジェクトを元の位置から３次元空間内の目的の位置にまで移動させることができる。このとき、前記システム制御装置１の前記入力情報取得手段１０１は、前記表示装置２の検出手段（デジタイザ）から、前記入力ペン２０１の位置（座標）、筆圧、入力ペン２０１の方位α、傾きβ、軸周りの回転γの検出情報とともに、ボタン２０１Ｄが押されていることを示す情報を取得する。そして、前記システム制御装置１は、前記ボタン２０１Ｄが押されていることから、前記操作者が、前記オブジェクト３０２を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段１０４およびオブジェクト生成手段１０５に、前記入力ペン２０１の移動に追随するオブジェクトを生成させ、前記表示装置３に表示させれば、上述のようなオブジェクト３０２の移動操作が可能となる。
【０１３６】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置において、図１３に示したような、ステップ４０１からステップ４１０の処理を実行すればよい。
【０１３７】
なお、図１３において、ステップ４０１からステップ４０６までの処理は、前記３次元空間３０１上のオブジェクト３０２をポインティングするまでの処理であり、図７に示した処理のステップ４０１からステップ４０６までの処理と同じである。このステップ４０１からステップ４０６までの処理は、前記実施例１−１または実施例１−２で説明した通りでよいので、詳細な説明は省略する。
【０１３８】
本実施例の３次元ポインティング方法では、前記システム制御装置１は、前記ステップ４０６でポインティングしているオブジェクトの色を変えて表示させた後、前記ステップ４０２に戻らず、図１３に示すように、オブジェクトがポインティングされた状態で前記入力ペン２０１のボタン２０１Ｄが押されているか否かの判定をする（ステップ４０７）。この判定は、たとえば、前記入力情報取得手段１０１において、前記ボタン２０１Ｄが押されていることを示す情報を取得したか否かで判定する。そして、前記ボタン２０１Ｄが押されていなければ、前記ステップ４０２に戻り、次の入力情報を取得するまで待機する。
【０１３９】
一方、前記ボタン２０１Ｄが押されていれば、前記入力情報取得手段１０１において、ポインタに関する情報を取得する（ステップ４０８）。このとき取得する情報は、前記実施例１−１や実施例１−２で説明した、前記入力ペン２０１のペン先２０１Ｐの位置（座標）、筆圧、入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報である。
【０１４０】
前記ステップ４０８で前記ポインタに関する情報を取得したら、前記ポインタ位置／回転角度算出手段１０２において、取得した情報に基づくポインタの位置、向き、長さ等を算出するとともに、前記オブジェクトの位置、向きを算出する（ステップ４０９）。前記ポインタの位置、向き、長さ等の算出は、前記実施例１−１や実施例１−２で説明した通りであるので、詳細な説明は省略する。また、前記オブジェクトの位置、向きは、たとえば、前記ポインティングされたときのオブジェクトの基準位置と前記ポインタでポインティングしている位置の相対的な位置関係が、前記ステップ４０９で算出したポインタの位置でも保存されるような位置、向きを算出する。
【０１４１】
そして、前記ステップ４０９でポインタの位置、向き、長さ等と前記オブジェクトの位置、向きを算出したら、前記ポインタ生成手段１０３で算出したポインタの位置、向き、長さに基づくポインタを生成するとともに、前記オブジェクト生成手段１０５で算出したオブジェクトの位置、向きに基づくオブジェクトを生成し、それらの表示信号を前記表示制御手段１０６から前記表示装置３に送り、ポインタおよびオブジェクトを表示させる（ステップ４１０）。
【０１４２】
前記ステップ４１０でポインタおよびオブジェクトを表示させたら、前記ステップ４０７に戻り、前記入力ペン２０１のボタン２０１Ｄが押された状態が続いていれば、前記ステップ４０８からステップ４１０までの処理を繰り返す。そして、前記操作者が前記ボタン２０１Ｄを離した時点で、前記ポインタおよびオブジェクトの移動操作が終了する。
【０１４３】
前記システム制御装置１において、以上のような処理を行うことにより、図１１および図１２に示したようなオブジェクトのポインティング操作および移動操作が可能となる。
【０１４４】
以上説明したように、本実施例１−３の３次元ポインティング方法によれば、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを、前記入力ペンの移動にあわせて、平行移動させることができる。
【０１４５】
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、オブジェクトをポインティングし、移動させることができるので、操作者の疲労を軽減することができる。
【０１４６】
また、本実施例１−３で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１の一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
【０１４７】
なお、本実施例１−３では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
【０１４８】
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄにしめすような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
【０１４９】
また、本実施例１−３では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
【０１５０】
また、本実施例１−３では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
【０１５１】
また、本実施例１−３では、前記表示装置３に表現される３次元空間の座標系は、前記実施例１−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
【０１５２】
また、本実施例１−３では、前記入力ペン２０１のボタン２０１Ｄを押しながら前記入力ペン２０１を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン２０１を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図１３に示したステップ４０７では、前記オブジェクトを移動させる操作に該当する入力情報を取得したか否かを判定すればよい。
【０１５３】
［実施例１−４］
図１４Ａ〜図１５Ｃは、本発明による実施例１−４の３次元ポインティング方法を説明するための模式図であり、図１４Ａ，図１４Ｂ，図１４Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図１５Ａ，図１５Ｂ，図１５Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。なお、図１５Ａ，図１５Ｂ，図１５Ｃはそれぞれ、図１４Ａ，図１４Ｂ，図１４Ｃと対応する図であるとする。
【０１５４】
前記実施例１−３では、前記表示装置３で表現された３次元空間３０１上のオブジェクト３０２をポインティングした後、前記ポインティングされたオブジェクト３０２を平行移動させることが可能な３次元ポインティング方法について説明した。
【０１５５】
しかしながら、前記表示装置３で表現された３次元空間３０１上では、前記実施例１−３で説明したような単純なオブジェクトの平行移動だけでなく、３次元空間３０１を有効に利用し、たとえば、前記ポインティングされたオブジェクトを、前記３次元空間内で奥行き方向に傾けることも想定される。そこで、本実施例１−４では、オブジェクトをポインティングした後、続けて前記ポインティングされたオブジェクトを、前記３次元空間内で奥行き方向に傾けるようなポインティング方法について説明する。
【０１５６】
本実施例１−４では、前記入力装置２および前記表示装置３はそれぞれ、前記実施例１−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。
【０１５７】
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例１−１で説明したとおりであるとする。また、前記ペンタブレット２および表示装置３は、図１に示したような構成のシステム制御装置１に接続されているとする。
【０１５８】
また、本実施例１−４では、前記３次元空間３０１上のオブジェクトをポインティングする方法については、前記実施例１−１や実施例１−２で説明したような方法でよいので、説明は省略する。
【０１５９】
このとき、前記実施例１−１や実施例１−２と同様の方法によって、たとえば、図１４Ａおよび図１５Ａに示したようにオブジェクト３０２をポインティングした後、前記オブジェクト３０２をポインティングしたことを確認した操作者は、たとえば、前記入力ペン２０１に設けられているボタン２０１Ｄを押す等の前記オブジェクト３０２を掴む操作をする。そして、前記入力ペン２０１のボタン２０１Ｄを押し、かつ、前記入力ペン２０１のペン先２０１Ｐを前記表示装置３の表示面（検出手段の検出面）に接触させた状態で前記入力ペン２０１を所望の向きにすると、図１４Ｂおよび図１５Ｂ、あるいは図１４Ｃおよび図１５Ｃに示したように、前記入力ペン２０１の向きの変化に追従して前記オブジェクト３０２が３次元空間３０１内で奥行き方向に傾く。このようにするとオブジェクト３０２を前記３次元空間３０１上で任意の向きに傾けることができる。このとき、前記システム制御装置１の前記入力情報取得手段１０１は、前記表示装置２の検出手段（デジタイザ）から、前記入力ペン２０１の位置（座標）、筆圧、入力ペン２０１の方位α、傾きβ、軸周りの回転γの検出情報とともに、ボタン２０１Ｄが押されていることを示す情報を取得する。そして、前記システム制御装置１は、前記ボタン２０１Ｄが押されていることから、前記操作者が、前記オブジェクト３０２を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段１０４およびオブジェクト生成手段１０５に、前記入力ペン２０１の向きの変化を追随するオブジェクトを生成させ、前記表示装置３に表示させれば、上述のようなオブジェクト３０２の移動操作が可能となる。
【０１６０】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、たとえば、図１３に示したような、ステップ４０１からステップ４１０の処理を実行すればよい。
【０１６１】
ただし、前記ステップ４０９で前記オブジェクトの位置、向きを算出するときには、たとえば、前記ポインティングされたときのオブジェクトと前記ポインタの相対的な位置関係が全て保存されるような位置、向きを算出する。
【０１６２】
前記システム制御装置１において、以上のような処理を行うことにより、図１４Ａ，図１４Ｂ，図１４Ｃに示したようなオブジェクトのポインティング操作および奥行き方向に傾ける操作が可能となる。
【０１６３】
以上説明したように、本実施例１−４の３次元ポインティング方法によれば、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを、前記入力ペン２０１の向きの変化に合わせて、同一ＸＹ平面内で回転させたり、奥行き方向に傾けることができる。
【０１６４】
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、オブジェクトをポインティングし、移動させることができるので、操作者の疲労を軽減することができる。
【０１６５】
また、本実施例１−４で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１の一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
【０１６６】
なお、本実施例１−４では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例１−４では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
【０１６７】
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄにしめすような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
【０１６８】
また、本実施例１−４では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
【０１６９】
また、本実施例１−４では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
【０１７０】
また、本実施例１−４では、前記表示装置３に表現される３次元空間の座標系は、前記実施例１−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
【０１７１】
また、本実施例１−４では、前記入力ペン２０１のボタン２０１Ｄを押しながら前記入力ペン２０１を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン２０１を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図１３に示したステップ４０７では、前記オブジェクトを移動させる操作に該当する入力情報を取得したか否かを判定すればよい。
【０１７２】
また、本実施例１−４では、前記ポインティングされたオブジェクト３０２を同一ＸＹ平面内で回転させたり、奥行き方向へ傾けさせたりする操作方法を説明したが、この操作方法に、前記実施例１−３で説明したような平行移動させる操作方法を加えることで、より多彩なオブジェクト操作を行うことが可能となる。
【０１７３】
［実施例１−５］
図１６Ａ乃至図２０は、本発明による実施例１−５の３次元ポインティング方法を説明するための模式図であり、図１６Ａ、Ｂは本実施例１−５で用いる表示装置（DFD）の原理を説明する図、図１７Ａは表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図、図１７Ｂは表示装置に表現される３次元空間の一例を示す鳥瞰図、図１８Ａ，図１８Ｂ，図１８Ｃ，図１８Ｄはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図１９Ａ，図１９Ｂ，図１９Ｃ，図１９Ｄはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図、図２０は本実施例１−５の３次元ポインティング方法の処理手順を示すフロー図である。なお、図１９Ａ，図１９Ｂ，図１９Ｃ，図１９Ｄはそれぞれ、図１８Ａ，図１８Ｂ，図１８Ｃ，図１８Ｄと対応する図であるとする。
【０１７４】
前記実施例１−３および実施例１−４では、前記実施例１−１や実施例１−２で説明した方法で前記表示装置３に表現された３次元空間３０１内にあるオブジェクト３０２をポインティングした後、前記ポインティングされたオブジェクト３０２をＸＹ平面内で移動または回転させたり、奥行き方向に傾けさせたりするという操作を行うことが可能な３次元ポインティング方法について説明した。しかしながら、前記３次元空間３０１内にあるオブジェクト３０２をポインティング後、前記操作者が続けて行いたい操作には、前記オブジェクト３０２の移動や回転だけでなく、編集や変形等の、これまでの２次元GUI的な操作もある。前記２次元GUI的な操作を行う場合、前記実施例１−３および実施例１−４で説明した方法では、たとえば、前記操作者から見て前記３次元空間３０１の奥（遠方）にあるオブジェクトをポインティングし、操作したい場合、前記オブジェクトがポインティングされた状態を維持するために、前記操作者は、筆圧を高くした状態で前記入力ペン２０１を操作しなければならない。そこで、本実施例１−５では、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを２次元GUI的な操作が適用できる位置に自動的に移動させ、操作者が目的の編集、変形等を行った後に、また操作者の望む３次元位置に戻すような操作が可能な３次元ポインティング方法について説明する。
【０１７５】
また、本実施例１−５では、前記入力装置２は前記各実施例と同様の電磁誘導方式のペンタブレットを用いるとし、前記３次元空間を表現可能な表示装置３としてDFDを用いた場合を例に挙げてポインティング方法およびそれに続くオブジェクトの操作方法について説明する。
【０１７６】
前記DFDは、たとえば、図１６Ａ、Ｂに示すように、２枚あるいはそれ以上の複数枚の表示面を、観察者（操作者）から見て重なるように配置した表示装置であり、表示方法により、通常、透過型と輝度変調型の２通りに分けられる。前記DFDの詳細な構成や動作原理については、たとえば、特許第3022558号明細書や特許第3460671号明細書等に記載されているので、詳細な説明は省略し、ここでは、DFDの簡単な動作原理のみを説明する。
【０１７７】
ここでは図１６Ａ，Ｂに示すように、２枚の表示面３Ａ，３Ｂが重ね合わさっているとする。このとき、前記ポインタ３０２およびオブジェクト３０３は、前記２枚の表示面３Ａ，３Ｂの間の３次元空間内に奥行き位置を反映して表示される。
【０１７８】
前記DFDに表示される前記ポインタ３０２やオブジェクト３０３は、たとえば、図１６Ａに示すように、操作者から見て手前の表示面３Ａおよび奥の表示面３Ｂの両方に表示される。そしてこのとき、前記DFDが輝度変調型であれば、前記手前の表示面３Ａのオブジェクト３０３Ａを輝度ＬＡ、前記奥の表示面３Ｂのオブジェクト３０３Ｂを輝度ＬＢで表示すると、前記３次元空間内の、前記手前の表示面３Ａからの距離と前記奥の表示面３Ｂからの距離の比がＬＢ：ＬＡの奥行き位置にオブジェクト３０３が表示されているように見える。
【０１７９】
また、たとえば、図１６Ｂに示すように、１つのオブジェクト３０３の表示領域の中で輝度を連続的に変化させることで、１つのオブジェクト３０３を奥行き方向に傾けて表示させることもできる。図１６Ｂに示した例では、前記手前の表示面３Ａのオブジェクト３０３Ａの輝度を紙面上から下に向かうにつれて大きくなるようにし、前記奥の表示面３Ｂのオブジェクト３０３Ｂの輝度を紙面下から上に向かうにつれて大きくなるようにしている。そのため、前記操作者は、紙面上方が奥、紙面下方が手前に傾いた立体的なオブジェクト３０３を観察することができる。
【０１８０】
また、詳細な説明は省略するが、前記DFDが透過型の場合、たとえば、手前の表示面３Ａのオブジェクト３０３Ａを表示している領域の各点（画素）の透過度を調節することで、前記輝度変調型のDFDと同様に、前記手前の表示面３Ａと奥の表示面３Ｂの間の任意の奥行き位置に前記ポインタ３０２やオブジェクト３０３の立体像を表示することができる。
【０１８１】
一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、前記表現する前記３次元空間を２次元平面に射影して表示する処理が必要であるが、前記DFDのような３次元表示装置の場合、前記３次元空間の奥行き方向の位置に応じて各表示面上の点（画素）の輝度の比率を設定すればよいだけなので、前記システム制御装置１にかかる負荷を低減できる。また、一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、前記表示する前記３次元空間を２次元平面に射影して表示するので、操作者によっては、実空間と同じ感覚でポインティング操作をすることは難しい場合があるが、前記DFDのような３次元表示装置を用いることで、より実空間に近い感覚でポインティング操作をすることができる。これらのことから、前記DFDのような３次元表示装置を用いることで、前記操作者は、一般的な２次元ディスプレイを用いてポインティング操作をする場合に比べて、よりよい精度と速さで３次元の奥行きをポインティング可能となる。
【０１８２】
また、前記表示装置３として前記DFDを用いた場合も、前記各実施例で説明したように、前記入力手段（ペンタブレット）２の検出手段（デジタイザ）を、前記DFDの表示面と重ね合わせることが可能である。また、前記電磁誘導方式のペンタブレットの場合、前記検出手段の検出面上にΔｚの検出可能範囲があるため、前記入力ペンのペン先が前記検出面に接触していなくても前記ペンの位置・傾き・方位などの情報を検出することができる。そのため、DFDのような表示面の間に空間がある場合でも、前記検出手段をDFD表示装置の裏側に配置しておけば前記ペンの位置・傾き・方位などの情報は取得可能であることは当業者であれば容易に推測でき、実現することが可能である。さらに、現在は前記検出手段を表示面の裏側に配置することが多いが、前記検出手段が透明電極であれば表示面の裏側でなく、表側に配置することも可能である。このように、前記検出手段をDFDの表示面と重ね合わせることで、前記DFDにおける手前側の表示面上で前記入力ペンを操作し、直接ポインティングが可能である。そこで、本実施例１−５でも電磁誘導方式のペンタブレット２の検出手段とDFDの表示面は重ね合わさっているとする。
【０１８３】
また、本実施例１−５では、前記DFD３の表示面は２枚であるとし、図１７Ａおよび図１７Ｂに示すように、前記DFD３に表現された３次元空間３０１の中に、図２で示した座標系ＸＹＺと対応させた座標系ＸＹＺを設定し、オブジェクト３０２を３次元空間３０１内のｚ＜０の位置に配置されているとする。また、前記入力装置２の入力ペン２０１を操作する操作者は、前記３次元空間３０１のＸＹ平面を、ｚ＞０の方向から観察しているとする。
【０１８４】
また、本実施例１−５では、前記操作者から見て手前にある表示面をｚ＝０とし、前記手前にある表示面が、前記入力装置２の検出手段の検出面であるとする。
【０１８５】
前記操作者が、たとえば、前記実施例１−１や実施例１−２で説明した方法で、図１８Ａおよび図１９Ａに示すように、前記３次元空間３０１上に立体的に表示されたオブジェクト３０２をポインティングしたとする。そして、前記操作者が、前記オブジェクト３０２の色の変化等で前記オブジェクト３０２がポインティングされていることを確認し、たとえば、前記入力ペン２０１に設けられたボタン２０１Ｄを１回押下すると、前記ポインティングされたオブジェクト３０２は、たとえば、図１８Ｂおよび図１９Ｂに示すように、前記DFDの手前の表示面に２次元物体として表示され、ポインタ３０３が消える。図１８Ａでは、前記オブジェクト３０２がｚ方向に厚みのないオブジェクトとして表示されているが、これがｚ方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた３次元立体表示は行わず、あくまで２次元としてDFDの手前の表示面に投影像として像を表示する。
【０１８６】
ここで操作者は、前記オブジェクト３０２上で、たとえば文字を書く等の目的の操作を、２次元GUIの操作として行う。そして、２次元GUIの操作が終了した後、再度入力ペン２０１についたボタン２０１Ｄを押下すと、ポインタ３０３が再び現れ、前記実施例１−３や実施例１−４で説明したような手順で、たとえば、図１８Ｃおよび図１９Ｃ、あるいは図１８Ｄおよび図１９Ｄに示すように、操作者の望む３次元位置にオブジェクト３０２を移動したり、奥行き方向に傾けさせたりできるようになる。
【０１８７】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図２０に示したような、ステップ４０１からステップ４１５の処理を実行すればよい。前記システム制御装置１では、まず、前記実施例１−１や実施例１−２で説明したステップ４０１からステップ４０６までの処理を行い、前記表示装置３に表現された３次元空間３０１上のオブジェクト３０２をポインティングする。そして、前記ステップ４０６でポインティングされたオブジェクト３０２の色を変えて表示させたら、次に、図２０に示したように、前記操作者が、前記入力ペン２０１のボタン２０１Ｄを押すなどの、前記ポインティングされたオブジェクト３０２を２次元GUI的な操作・編集・加工を開始するための操作を行ったか判定する（ステップ４１１）。そして、前記２次元GUI的な操作・編集・加工を開始するための操作を行わなかった場合は、ステップ４０２に戻り、次の入力情報を取得するまで待機する。
【０１８８】
一方、２次元GUI的な操作・編集・加工を開始するための操作が行われた場合、次に、たとえば、前記表示装置３に表現された３次元空間３０１上に表示されたポインタ３０３を非表示にし、前記ポインティングされたオブジェクト３０２の射影を操作者から見て一番近い表示面に表示する（ステップ４１２，ステップ４１３）。前記ステップ４１２およびステップ４１３の処理が実行されることで、前記オブジェクト３０２の２次元GUI的な操作・編集・加工が可能な状態になる。
【０１８９】
２次元GUI的な操作・編集・加工が可能な状態になった後は、前記入力ペン２０１からの２次元GUI的な操作を受け付け、実行する（ステップ４１４）。また、前記ステップ４１４の処理の後は、前記操作者が、前記入力ペン２０１のボタン２０１Ｄを再び押すなどの、２次元GUI的な操作・編集・加工を終了するための操作を行ったか判定する（ステップ４１５）。このとき、２次元GUI的な操作・編集・加工を終了するための操作を行っていない場合は、前記ステップ４１４に戻り、他の２次元GUI的な操作・編集・加工を受け付け、実行する。
【０１９０】
一方、２次元GUI的な操作・編集・加工を終了するための操作が行われた場合、２次元GUI的な操作を行うモードから、前記実施例１−１から実施例１−４で説明したような３次元的なポインティング操作を行うモードに戻る。そして、図２０に示したように、最初に行われるステップ４０１からステップ４０６までの処理と同等のステップ４０１'からステップ４０６'までの処理を行い、目的のオブジェクトをポインティングする。
【０１９１】
そして、前記ステップ４０６'でポインティングされたオブジェクトの色を変えて表示した後は、たとえば、前記入力ペン２０１のボタン２０１Ｄを押すなどの操作をして、前記実施例１−３や実施例１−４で説明したステップ４０７からステップ４１０の処理を行うことで、前記ポインティングされたオブジェクト３０２の３次元的な移動操作、回転操作、傾ける（変形させる）操作が可能となる。
【０１９２】
前記システム制御装置１において、以上のような処理を行うことにより、図１８Ａ，図１８Ｂ，図１８Ｃ，図１８Ｄのようなポインタの表示制御、オブジェクトの３次元的な移動等の操作、前記オブジェクトの２次元GUI的な操作が可能となる。
【０１９３】
以上説明したように、本実施例１−５の３次元ポインティング方法によれば、前記入力ペン２０１の操作だけで、前記実施例１−１から実施例１−４で説明したようなポインタの３次元的な表示制御およびオブジェクトの３次元的な移動等の操作に加え、前記オブジェクトの２次元GUI的な操作・編集・加工を行うことが可能である。そのため、操作者は、オブジェクトの２次元GUI的な操作・編集・加工を行うための新たな３次元操作を習得する必要がない。
【０１９４】
また、本実施例１−５の３次元ポインティング方法では、前記入力ペン２０１のボタン２０１Ｄを押すなどの特定の動作をすることで、３次元的なポインティング操作を行うモードからオブジェクトの２次元GUI的な操作・編集・加工を行うモードに切り替わる。このとき、前記システム制御装置１の前記入力情報取得手段１０１で取得した情報は、前記オブジェクトの２次元GUI的な操作・編集・加工を行うための情報として処理される。そのため、たとえば、操作者から見て奥にあるオブジェクトをポインティングして２次元GUI的な操作・編集・加工を行う場合に、前記入力ペン２０１の筆圧を高くした状態を維持しておく必要がない。その結果、前記操作者の疲労を軽減できる。
【０１９５】
また、本実施例１−５では、前記入力装置２である電磁誘導方式のペンタブレットの検出手段（デジタイザ）を３次元空間を表示できる表示装置３であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例１−５では、前記表示装置３としてDFDを用いたが、これに限らず、前記実施例１−１から実施例１−４で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
【０１９６】
また、本実施例１−５では、目的のオブジェクト３０２の例として２次元的な４角形のオブジェクトを挙げていたが、これに限らず、前記オブジェクト３０２の形状はどのような形状であってもよい。
【０１９７】
また、本実施例１−５では、前記表示装置３に表現される３次元空間の座標系は、前記実施例１−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
【０１９８】
また、本実施例１−５では、前記入力ペン２０１のボタン２０１Ｄを押しながら前記入力ペン２０１を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン２０１を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図２０に示したステップ４０７，ステップ４１１，ステップ４１５では、前記それぞれの操作に該当する入力情報を取得したか否かを判定すればよい。
【０１９９】
また、本実施例１−５では、前記オブジェクト３０２に直接編集を行う例として、たとえば、図１８Ｃに示したように「Ａ」という文字を記入する場合を挙げたが、前記オブジェクト３０２がファイルを表すオブジェクトで、それをポインティング後、２次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が２次元GUI上で編集し、ファイルを閉じた後に操作者の望む３次元位置に移動可能であるなどとしてもよい。
【０２００】
［実施例１−６］
図２１Ａ乃至図２７は、本発明による実施例１−６の３次元ポインティング方法を説明するための模式図であり、図２１Ａは表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図、図２１Ｂは表示装置に表現される３次元空間の一例を示す鳥瞰図、図２２Ａ，図２２Ｂ，図２２Ｃ，図２３Ａ，図２３Ｂ，図２３Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図２４Ａ，図２４Ｂ，図２４Ｃ，図２５Ａ，図２５Ｂ，図２５Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図、図２６は本実施例１−６の３次元ポインティング方法の処理手順を示すフロー図、図２７は本実施例１−６の３次元ポインティング方法の処理手順の変形例を示すフロー図である。なお、図２４Ａ，図２４Ｂ，図２４Ｃはそれぞれ、図２２Ａ，図２２Ｂ，図２２Ｃと対応する図であり、図２５Ａ，図２５Ｂ，図２５Ｃはそれぞれ、図２３Ａ，図２３Ｂ，図２３Ｃと対応する図である。
【０２０１】
本実施例１−６の３次元ポインティング方法は、前記実施例１−５で説明した３次元ポインティング方法の応用例の１つであり、３次元空間３０１内にあるオブジェクト３０２を前記実施例１−１や実施例１−２の方法でポインティングした後、前記ポインティングされたオブジェクト３０２を操作者が操作しやすい位置、すなわちこれまでの２次元GUI操作が適用できる位置に自動的に移動させ、操作者が目的の編集、加工等を行う。そして、目的の編集、加工が終了した後に、操作者が操作を行うと、前記オブジェクト３０２が操作者からみて３次元の奥行き方向に３次元奥行き方向にある他オブジェクトに干渉するまで移動し、他オブジェクトに干渉した後、前記他のオブジェクトの持つ属性によって移動してきたオブジェクトの状態を変化させるポインティング方法である。
【０２０２】
本実施例１−６では、前記実施例１−５と同様に、前記入力装置２として電磁誘導式のペンタブレットを用い、前記表示装置３としてDFDを用いた場合を例に挙げて、ポインティング方法およびオブジェクトの操作方法について説明する。
【０２０３】
また、前記入力装置（ペンタブレット）２の検出手段（デジタイザ）は、前記表示装置（DFD）３の表示面と重ね合わせ一体的に設けられているとする。
【０２０４】
また、本実施例１−６の３次元ポインティング方法を説明するに当たって、たとえば、図２１Ａおよび図２１Ｂに示すように、前記DFD３の２枚の表示面の間に表現された３次元空間３０１の中に、座標系ＸＹＺを設定し、オブジェクト３０２とウィンドウ３０４を３次元空間３０１内のｚ＜０の位置に配置した場合を例に挙げる。
【０２０５】
このとき、前記オブジェクト３０２の操作をしたい操作者は、まず、図２２Ａおよび図２４Ａに示すように、前記実施例１−１や実施例１−２で説明した方法で前記オブジェクト３０２をポインティングする。そして、前記オブジェクト３０２の色の変化等によりポインティングされたことを確認し、たとえば、前記入力ペン２０１に設けられたボタン２０１Ｄを１回押すと、図２２Ｂおよび図２４Ｂに示すように、前記ポインティングされたオブジェクト３０２が前記DFDの手前の表示面に２次元物体として表示され、ポインタ３０３が消える。本実施例１−６では、オブジェクト３０２がｚ方向に厚みのないオブジェクトであるが、これがｚ方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた３次元立体表示は行わず、あくまで２次元としてDFDの前面の表示装置に投影像として３次元像を表示する。
【０２０６】
このように前記オブジェクト３０２の表示方法が変わると、前記３次元空間３０１上で２次元GUIの操作を行うことが可能な状態になるので、前記操作者は、前記入力ペン２０１で、たとえば、図２２Ｃおよび図２４Ｃに示すように、前記オブジェクト３０２上に文字を書く等の目的の操作を２次元GUIの操作として行うことができる。そして、前記操作者が続けて、図２３Ａおよび図２５Ａに示すように、前記オブジェクト３０２を所望の位置まで２次元的な操作で移動させた後、たとえば、前記入力ペン２０１のボタン２０１を１回押すと、図２３Ｂおよび図２５Ｂに示すように、前記オブジェクト３０２は、前記操作者からみて３次元奥行き方向（ｚ＜０）に、ウィンドウ３０４と干渉するまで移動する。このとき、前記オブジェクト３０２の前記３次元奥行き方向のｚ座標が段階的に小さくなるようなアニメーションをつけると、前記操作者に移動の過程が伝わりやすい。そして、前記オブジェクト３０２が前記ウィンドウ３０４と干渉すると、前記オブジェクト３０２に対して、前記ウィンドウ３０４の持つ属性として、ウィンドウ上に移動する動作が実行される。
【０２０７】
また、図２３Ｂおよび図２５Ｂに示したように、前記オブジェクト３０２を自動的に３次元奥行き方向（ｚ＜０）に移動させる代わりに、たとえば、前記実施例１−５で説明したように、前記入力ペン２０１のボタン２０１Ｄを押しながら前記入力ペン２０１を操作することで、前記オブジェクト３０２を３次元奥行き方向（ｚ＜０）に移動させ、前記ウィンドウ３０４と干渉位置まで移動させることも可能である。
【０２０８】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図２６に示したような、ステップ４０１からステップ４０６，ステップ４１１からステップ４１９までの処理を実行すればよい。このとき、前記システム制御装置１では、まず、前記実施例１−１や実施例１−２で説明したステップ４０１からステップ４０６までの処理を行い、前記表示装置３に表現された３次元空間３０１上のオブジェクト３０２をポインティングする。そして、前記ステップ４０６でポインティングされたオブジェクト３０２の色を変えて表示させたら、次に、図２６に示したように、前記操作者が、前記入力ペン２０１のボタン２０１Ｄを押すなどの、前記ポインティングされたオブジェクト３０２を２次元GUI的な操作・編集・加工を開始するための操作を行ったか判定する（ステップ４１１）。そして、前記２次元GUI的な操作・編集・加工を開始するための操作を行わなかった場合は、ステップ４０２に戻り、次の入力情報を取得するまで待機する。
【０２０９】
一方、２次元GUI的な操作・編集・加工を開始するための操作が行われた場合、次に、たとえば、前記表示装置３に表現された３次元空間３０１上に表示されたポインタ３０３を非表示にし、前記ポインティングされたオブジェクト３０２の射影を操作者から見て一番近い表示面に表示する（ステップ４１２，ステップ４１３）。前記ステップ４１２およびステップ４１３の処理が実行されることで、前記オブジェクト３０２の２次元GUI的な操作・編集・加工が可能な状態になる。
【０２１０】
２次元GUI的な操作・編集・加工が可能な状態になった後は、前記入力ペン２０１からの２次元GUI的な操作を受け付け、実行する（ステップ４１４）。また、前記ステップ４１４の処理の後は、前記操作者が、前記入力ペン２０１のボタン２０１Ｄを再び押すなどの、２次元GUI的な操作・編集・加工を終了するための操作を行ったか判定する（ステップ４１５）。このとき、２次元GUI的な操作・編集・加工を終了するための操作を行っていない場合は、前記ステップ４１４に戻り、他の２次元GUI的な操作・編集・加工を受け付け、実行する。
【０２１１】
一方、２次元GUI的な操作・編集・加工を終了するための操作が行われた場合、２次元GUI的な操作を行うモードから、前記実施例１−１から実施例１−４で説明したような３次元的なポインティング操作を行うモードに戻る。そして、図２６に示したように、前記オブジェクト３０２を３次元奥行き方向（ｚ＜０）に移動させていく（ステップ４１６）。
【０２１２】
また、前記ステップ４１６により前記オブジェクト３０２を３次元奥行き方向に移動させている間、前記システム制御装置１では、たとえば、前記ウィンドウ３０４のような、前記オブジェクト３０２と干渉する他のオブジェクトがあるか否かの判定を行う（ステップ４１７）。そして、干渉するオブジェクトがある場合、干渉した時点で前記オブジェクト３０２の３次元奥行き方向への移動を止め、前記オブジェクト３０２に対して、前記干渉する他のオブジェクトの持つ属性を実行する（ステップ４１８）。
【０２１３】
一方、前記オブジェクト３０２と干渉する他のオブジェクトがない場合は、前記オブジェクト３０２をあらかじめ定められた奥行き位置、たとえば、前記ステップ４１１以降の処理を行う前と同じ奥行き位置まで移動させて表示する（ステップ４１９）。
【０２１４】
前記システム制御装置１において、図２６に示したような手順の処理を行うことにより、図２２Ａ，図２２Ｂ，図２２Ｃ，図２３Ａ，図２３Ｂのような一連のポインタの表示制御、オブジェクトの３次元的な移動等の操作、前記オブジェクトの２次元GUI的な操作が可能となる。
【０２１５】
また、図２６に示した処理手順では、前記ステップ４１５の後、すなわち前記２次元GUI操作が可能な状態から３次元的なポインティング操作が可能な状態に戻った後、ステップ４１６のように自動的に前記オブジェクト３０２を奥行き方向に移動させているが、これに限らず、前記操作者が、前記実施例１−３や実施例１−４で説明した方法で、前記入力ペン２０１を操作しながら前記オブジェクト３０２を奥行き方向に移動させるようにしてもよい。このようなポインティング方法の場合、前記システム制御装置１では、図２７に示したように、前記ステップ４０１からステップ４１５，ステップ４１７，ステップ４１８，ステップ４２０，ステップ４２１の処理を実行すればよい。
【０２１６】
前記DFD３に表現された３次元空間３０１上のオブジェクト３０２をポインティングし、２次元GUI的な操作を行うまでの処理（ステップ４０１からステップ４０６，ステップ４１１からステップ４１５）は、図２６に示した処理手順の処理と同じ処理を行えばよいので説明は省略する。
【０２１７】
そして、前記ステップ４１５で、たとえば、前記入力ペン２０１のボタン２０１Ｄを１回押すなどの２次元GUI操作が可能な状態から３次元ポインティング操作が可能な状態に戻る操作を確認した後は、前記実施例１−１や実施例１−２で説明したような手順（ステップ４０２'からステップ４０６'）で前記オブジェクト３０２をポインティングさせる。
【０２１８】
前記ステップ４０２'からステップ４０６'により目的のオブジェクト３０２をポインティングしたら、次に、前記入力ペン２０１のボタン２０１Ｄを押されているか否かを確認する（ステップ４０７）。そして、前記入力ペン２０１のボタン２０１Ｄが押されていることを確認したら、続けて、前記入力ペン２０１の操作に合わせ、前記実施例１−３や実施例１−４で説明したようなステップ４０８からステップ４１０の処理を行い、前記オブジェクト３０２を３次元的に移動させたり、回転あるいは変形させたりする。
【０２１９】
また、前記システム制御装置１では、前記ステップ４０８からステップ４１０の処理を行い、前記オブジェクト３０２を３次元的に移動させたり、回転あるいは変形させている間、前記オブジェクト３０２と干渉する他のオブジェクトがあるか否かを調べる（ステップ４１７）。そして、干渉する他のオブジェクトがある場合、たとえば、前記干渉する他のオブジェクトの色を変えて表示する（ステップ４２０）。またこのとき、同時に、前記干渉する他のオブジェクトの色を変えて表示するとともに、前記入力ペン２０１のボタン２０１Ｄが押された状態であるか確認する。そして、前記ボタン２０１Ｄが押されている状態であれば、前記ステップ４０８からの処理を続け、前記オブジェクト３０２の３次元的な移動、回転あるいは変形を続ける。
【０２２０】
一方、前記干渉する他のオブジェクトの色を変えて表示した時点で、前記ボタン２０１Ｄを離していれば、その時点で前記オブジェクト３０２の移動、回転あるいは変形を止め、前記オブジェクト３０２に対して、前記干渉する他のオブジェクトの持つ属性を実行する（ステップ４１８）。
【０２２１】
前記システム制御装置１において、図２７に示したような手順の処理を行うことにより、図２２Ａ，図２２Ｂ，図２２Ｃ，図２３Ａ，図２３Ｃのような一連のポインタの表示制御、オブジェクトの３次元的な移動等の操作、前記オブジェクトの２次元GUI的な操作が可能となる。
【０２２２】
以上説明したように、本実施例１−６の３次元ポインティング方法によれば、３次元空間３０１内にあるオブジェクト３０２をポインティングした後、前記ポインティングされたオブジェクト３０２を操作者が操作しやすい位置まで自動的に移動させ、これまでの２次元GUI操作により目的の編集、加工等を行うとともに、目的の編集、加工が終了した後に、前記オブジェクト３０２が操作者からみて３次元の奥行き方向に移動させるとともに、移動させたオブジェクト３０２と干渉する他のオブジェクトが存在する場合に、前記他のオブジェクトの持つ属性によって移動させた前記オブジェクト３０２の状態を変化させることができる。
【０２２３】
また、本実施例１−６の３次元ポインティング方法では、前記入力ペン２０１のボタン２０１Ｄを押すなどの特定の動作をすることで、３次元的なポインティング操作を行うモードからオブジェクトの２次元GUI的な操作・編集・加工を行うモードに切り替わる。このとき、前記システム制御装置１の前記入力情報取得手段１０１で取得した情報は、前記オブジェクトの２次元GUI的な操作・編集・加工を行うための情報として処理される。そのため、たとえば、操作者から見て奥にあるオブジェクトをポインティングして２次元GUI的な操作・編集・加工を行う場合に、前記入力ペン２０１の筆圧を高くした状態を維持しておく必要がない。その結果、前記操作者の疲労を軽減できる。
【０２２４】
また、本実施例１−６では、前記入力装置２である電磁誘導方式のペンタブレットの検出手段（デジタイザ）を３次元空間を表示できる表示装置３であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例１−６では、前記表示装置３としてDFDを用いたが、これに限らず、前記実施例１−１から実施例１−４で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
【０２２５】
また、本実施例１−６では、目的のオブジェクト３０２の例として２次元的な４角形のオブジェクトを挙げていたが、これに限らず、前記オブジェクト３０２の形状はどのような形状であってもよい。
【０２２６】
また、本実施例１−６では、前記表示装置３に表現される３次元空間の座標系は、前記実施例１−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
【０２２７】
また、本実施例１−６では、前記入力ペン２０１のボタン２０１Ｄを押しながら前記入力ペン２０１を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン２０１を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図２０に示したステップ４０７，ステップ４１１，ステップ４１５では、前記それぞれの操作に該当する入力情報を取得したか否かを判定すればよい。
【０２２８】
また、本実施例１−６では、前記オブジェクト３０２に直接編集を行う例として、たとえば、図２２Ｃに示したように「Ｂ」という文字を記入する場合を挙げたが、前記オブジェクト３０２がファイルを表すオブジェクトで、それをポインティング後、２次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が２次元GUI上で編集し、ファイルを閉じた後に操作者の望む３次元位置に移動可能であるなどとしてもよい。
【０２２９】
また、本実施例１−６では、前記他のオブジェクトの例としてウィンドウ３０４を挙げ、前記ウィンドウ３０４と干渉したときにファイルを移動するという属性を実行する場合について説明したが、これに限らず、たとえば、他のアプリケーション実行用のアイコンと干渉したときにファイルを実行するという属性を実行させることも可能である。またその他にも、たとえば、ゴミ箱オブジェクトと干渉したときにファイルを削除するという属性を実行させることも可能である。
【０２３０】
図２８Ａ乃至図３２Ｃは、本実施例１−６の３次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、図２８Ａは表示装置に表現される３次元空間の一例を示す正面図および右側面図ならびに下面図、図２８Ｂは表示装置に表現される３次元空間の一例を示す鳥瞰図、図２９Ａ，図２９Ｂ，図３０Ａ，図３０Ｂ，図３０Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図３１Ａ，図３１Ｂ，図３２Ａ，図３２Ｂ，図３２Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図である。なお、図３１Ａ，図３１Ｂはそれぞれ、図２９Ａ，図２９Ｂと対応する図であり、図３２Ａ，図３２Ｂ，図３２Ｃはそれぞれ、図３０Ａ，図３０Ｂ，図３０Ｃと対応する図であるとする。
【０２３１】
本実施例１−６の３次元ポインティング方法では、前述のように、オブジェクト３０２をウィンドウ３０４に移動させるだけでなく、たとえば、オブジェクト３０２をゴミ箱オブジェクトに移動させ、削除することもできる。そこで、図２８Ａおよび図２８Ｂに示すように、前記DFD３の２枚の表示面の間に表現された３次元空３０１間の中に、座標系ＸＹＺを設定し、オブジェクト３０２とゴミ箱３０５が３次元空間３０１内のｚ＜０の位置に配置された場合を例に挙げ、前記オブジェクト３０２の削除手順について説明する。
【０２３２】
前記オブジェクト３０２を削除したい操作者は、まず、図２９Ａおよび図３１Ａに示すように、前記入力ペン２０１を操作して削除したいオブジェクト３０２をポインティングする。そして、前記削除したいオブジェクト３０２をポインティングした状態で、たとえば、前記入力ペン２０１のボタン２０１Ｄを１回押すなどの特定の操作をすると、図２９Ｂおよび図３１Ｂに示すように、前記ポインティングされたオブジェクト３０２が、前記手前の表示面に移動し、２次元GUI操作が可能な状態に変わる。ここで、前記操作者が、たとえば、図３０Ａおよび図３２Ａに示したように、前記ポインティングしたオブジェクト３０２をゴミ箱３０５上まで移動させ、再び前記入力ペン２０１のボタン２０１Ｄを１回押すなどの特定の操作をすると、前記２次元GUI操作が可能な状態から、３次元ポインティングが可能な状態に戻る。そして、前記システム制御装置１で行われる処理が、図２６に示したような手順である場合は、３次元ポインティングが可能な状態に戻った後、前記オブジェクト３０２が自動的に３次元奥行き方向（ｚ＜０）に移動し、前記ゴミ箱３０５と干渉した時点で、図３０Ｂおよび図３２Ｂに示すように、前記オブジェクト３０２の表示が消え、前記ゴミ箱３０５がゴミ（オブジェクト）が入っている状態の表示に切り替わる。
【０２３３】
一方、前記システム制御装置１で行われる処理が、図２７に示したような手順である場合は、前記３次元ポインティングが可能な状態に戻った後、前記操作者が前記入力ペン２０１を操作して前記オブジェクト３０２を前記３次元奥行き方向に移動させる。そして、前記オブジェクト３０２が前記ゴミ箱と干渉した時点で、図３０Ｃおよび図３２Ｃに示すように、前記オブジェクト３０２の表示が消え、前記ゴミ箱３０５がゴミ（オブジェクト）が入っている状態の表示に切り替わる。
【０２３４】
このように、本実施例１−６の３次元ポインティング方法は、前記オブジェクト３０２と干渉したオブジェクトが、前記オブジェクト３０２に対して、属性を実行することが可能であれば、どのような属性を持つオブジェクトであってもよい。
【０２３５】
［実施例１−７］
図３３乃至図３６Ｃは、本発明による実施例１−７の３次元ポインティング方法を説明するための模式図であり、図３３および図３４は本実施例１−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図、図３５Ａ，図３５Ｂ，図３５Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図３６Ａ，図３６Ｂ，図３６Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図および右側面図である。なお、図３６Ａ，図３６Ｂ，図３６Ｃはそれぞれ、図３５Ａ，図３５Ｂ，図３５Ｃと対応する図であるとする。
【０２３６】
本実施例１−７では、前記実施例１−１から実施例１−６で説明したような３次元ポインティング方法を実施するときに用いる入力ペンとして、ペン先２０１Ｐが筆圧の高さに応じて入力ペン２０１の筐体内に押し込まれる構造の入力ペンを用いた場合のポインティング方法について説明する。
【０２３７】
本実施例１−７で用いる入力ペン２０１は、たとえば、図３３に示すように、筐体の内部にバネ２０１Ｅが入っており、操作者が前記入力ペン２０１に筆圧を加えた場合に、圧力検知手段２０１Ｆが、前記バネ２０１Ｅの反発力から圧力を感知する構造を持っているとする。なお、前記入力ペン２０１の構成は、図３３に示したような構成に限らず、たとえば、図３４に示すように、空気圧式のピストン２０１Ｇを用い、空気圧感知部２０１Ｈにおいて、加えられた圧力を感知する構造であってもよい。図３３または図３４に示したような構造の入力ペン２０１で感知された圧力は、前記システム制御装置１で演算処理され、たとえば、操作者が加えた圧力に比例した長さのポインタ３０３が表示装置３に表示される。
【０２３８】
本実施例１−７では、図３３または図３４に示したような構成の入力ペン２０１を用いて前記表示装置３に表現された３次元空間のポインティングを行う場合の例として、前記実施例１−１で説明したポインティング方法を実施する場合を挙げる。このとき、前記入力装置２および前記表示装置３はそれぞれ、前記実施例１−１と同様に電磁誘導方式のペンタブレットと液晶ディスプレイを用いるとする。また、前記入力装置２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせているとする。
【０２３９】
このとき、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３のＸＹ平面（ｚ＝０）の任意の１点におくと、たとえば、図３５Ａおよび図３６Ａに示すように、前記液晶ディスプレイ３の３次元空間３０１上に、円錐型等の前記入力ペン２０１のペン先２０１Ｐの形状を反映した形状のポインタが表示される。
【０２４０】
そして、前記操作者が、前記入力ペン２０１の筆圧を高くしていくと、たとえば、図３５Ｂおよび図３６Ｂ、あるいは図３５Ｃおよび図３６Ｄに示したように、前記入力ペン２０１の筆圧の高さに応じて表示される前記ポインタ３０３の大きさが変わる。この前記ポインタ３０３の大きさの制御は、前記実施例１−１で説明したような手順で行えばよいので、詳細な説明は省略する。
【０２４１】
このとき、たとえば、図３５Ｂおよび図３６Ｂ、あるいは図３５Ｃおよび図３６Ｄに示したように、円錐型の前記ポインタ３０３の大きさを、前記入力ペン２０１のペン先２０１Ｐの筐体に押し込まれる長さと比例させることで、たとえば、前記実施例１−１で説明したような方法と比べて、前記ポインタ３０３が前記ペン先２０１Ｐの一部であるという視覚的効果がさらに高くなると考えられる。
【０２４２】
また、本実施例１−７では、ペン先が凹む構造の入力ペン２０１の例として、図３３および図３４に示したように、バネと空気圧を用いた機構の入力ペンを挙げたが、同様の効果が得られるのであれば他の機構の入力ペンであってもよい。また、ペンの筐体の内部に圧力検知部２０１Ｆ、空気圧検知部２０１Ｈを設ける代わりに、たとえば、ペン先２０１Ｐが凹んだ移動量を測る機構を備えるなど、同様の効果が得られるのであれば、他の機構の入力ペンであってもよい。
【０２４３】
また、本実施例１−７では、前記実施例１−１で説明した３次元ポインティング方法を実施する場合を例に挙げたが、これに限らず、前記実施例１−２から実施例１−６で説明したようなポインティング方法を実施する場合にも、図３３および図３４に示したような構成の入力ペン２０１を用いることができるのは言うまでもない。
【０２４４】
［実施例１−８］
図３７Ａ乃至図４０Ｃは、本発明による実施例１−８の３次元ポインティング方法を説明するための模式図であり、図３７Ａ，図３７Ｂ，図３７Ｃ，図３８Ａ，図３８Ｂ，図３８Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す鳥瞰図、図３９Ａ，図３９Ｂ，図３９Ｃ，図４０Ａ，図４０Ｂ，図４０Ｃはそれぞれ入力ペンで操作したときの３次元空間内の様子を示す正面図である。なお、図３９Ａ，図３９Ｂ，図３９Ｃはそれぞれ、図３７Ａ，図３７Ｂ，図３７Ｃと対応する図であり、図４０Ａ，図４０Ｂ，図４０Ｃはそれぞれ、図３８Ａ，図３８Ｂ，図３８Ｃと対応する図であるとする。
【０２４５】
本実施例１−８では、前記実施例１−１から実施例１−６で説明したような３次元ポインティング方法の具体的な利用シーンとして、３次元表示が可能な表示画面と、ペンタブレットの検出手段を内蔵している、音楽再生機能を操作するためのリモコンを例に挙げる。本実施例１−８では、前記入力ペン２０１を操作したときのリモコンの表示画面上のポインタおよびオブジェクトの表示制御の手順は、前記実施例１−１から実施例１−７で説明した手順と同じでよいため、詳細な説明は省略する。
【０２４６】
このとき、前記操作者は、前記実施例１−７で説明したような、ペン先２０１Ｐが筐体内に押し込まれる入力ペン２０１を用い、たとえば、図３７Ａおよび図３９Ａに示したような、前記リモコンの３次元空間３０１に表示されたオブジェクトを操作する。まず、たとえば、図３７Ｂおよび図３９Ｂに示すように、前記操作者は、前記入力ペン２０１を操作して再生ボタン３０２ａをポインティングすると、前記再生ボタン３０２ａが押された状態の表示に切り替わり、音楽の生成が開始される。
【０２４７】
また、たとえば、図３７Ｃおよび図３９Ｃに示すように、前記入力ペン２０１を操作してボリュームのつまみ３０２ｂをポインティングし、たとえば、前記入力ペン２０１のボタン２０１Ｄを押しながら前記つまみ３０２ｂを回転させるように前記入力ペンを移動させると、再生中の音楽のボリュームを上げたり下げたりすることができる。
【０２４８】
また、ボリュームを上げたり下げたりする場合は、図３７Ｃおよび図３９Ｃに示したような操作に限らず、たとえば、図３８Ａおよび図４０Ａに示すように、前記つまみ３０２ｂの中心付近で前記つまみ３０２ｂをポインティングした後、前記入力ペン２０１を軸周りに回転させることで、前記つまみ３０２ｂを回転させ、ボリュームを上げたり下げたりすることもできる。
【０２４９】
また、たとえば、図３８Ｂおよび図４０Ｂに示すように、再生中の音楽に関する情報が表示されている領域３０２ｃを前記入力ペン２０１でポインティングしたときに、図３８Ｃおよび図４０Ｃに示すように、前記領域３０２ｃが２次元的な表示に切り替わり、２次元GUI操作が可能な状態にできるようにしておけば、たとえば、手書き文字の認識機能等と組み合わせて、前記領域３０２ｃに再生したい音楽のトラック番号を入力し、目的のトラック番号にスキップさせることができる。
【０２５０】
このように、前記実施例１−１から実施例１−６の３次元ポインティング方法を利用することで、３次元空間３０１の操作ボタン等のオブジェクトを容易に、かつ直感的に操作することができる。
【０２５１】
また、本実施例１−８では、リモコンを用いた音楽機器の操作例を示したが、これに限らず、たとえば、PDAであったり、携帯電話、また、キオスク端末やATMなどの同様の形態が取れる機器の操作に適用することもでき、それぞれの機器をより直感的に操作することが可能となる。また、操作においても、本実施例では、音楽を再生し、ボリュームを上げて、トラックを変えるという操作を行ったが、これに限らず、前記入力ペン２０１における操作と関連づけられる操作であれば、どのような操作でも可能である。
【０２５２】
また、本実施例においては、トラック番号の入力するのに手書き認識を用いるとしたが、2次元のGUIで実現可能なものであれば、どのような方法でもよく、たとえば、プルダウンメニューでトラック番号を表示し入力ペン２０１で選択するような入力方法でもよい。
【０２５３】
また、前記３次元ポインティング装置は、前記３次元ポインティング方法の実現に特化した専用の装置である必要はなく、たとえば、図１に示したように、PC等のコンピュータ（システム制御装置）と、前記コンピュータに前記各実施例で説明したような３次元ポインティング方法を実行させる３次元ポインティングプログラムによって実現することもできる。この場合、前記３次元ポインティングプログラムは、前記コンピュータで読み取りが可能な状態で記録されていれば、磁気的，電気的，光学的のいずれの記録媒体に記録されていてもよい。また、前記３次元ポインティングプログラムは、たとえば、前記記録媒体に記録して提供するだけでなく、インターネット等のネットワークを通して提供することも可能である。
【０２５４】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。第２の実施の形態は第１の実施の形態と同様に本発明の第１の目的に対応するものである。第１の実施の形態は、入力ペンの筆圧もしくは傾き等に応じてポインタを制御するものであるのに対し、第２の実施の形態は、入力ペンのペン先の接触時間もしくは入力ペンに取り付けられた操作手段の操作量等に応じてポインタを制御するものである。第１の実施の形態と第２の実施の形態とではポインタを制御するための入力ペンの操作内容が異なるが、実現しようとしていることは同一であるので、適宜第１の実施の形態の図面を参照して第２の実施の形態の説明を行う。
【０２５５】
第２の実施の形態の３次元ポインティング方法は、３次元表示が可能な表示装置に表現された３次元空間上のオブジェクトを、ペン型の入力装置（手段）を用いてポインティングしたり、ポインティングされたオブジェクトの操作をしたりする方法である。前記ペン型の入力装置は、たとえば、ペンタブレットのように、前記オブジェクトのポインティングや操作を行う操作者が持って操作をする入力ペン（電子ペン）と、前記入力ペンのペン先の接触の有無、位置、軸の向き、前記入力ペンが備える操作手段の操作情報などの情報を検出する検出手段からなる。そして、本実施形態の３次元ポインティング方法では、前記検出手段で検出した情報に基づいて、ポインタの位置、形状、向きなどを決定し、前記表示装置に表現された３次元空間に前記ポインタを表示させる。このようにすることで、前記操作者は、前記検出手段の検出面上に前記入力ペンのペン先を接触させた状態で、前記表示装置に表現された３次元空間上の前記オブジェクトのポインティングや操作を行うことができ、長時間のポインティングやオブジェクト操作時の前記操作者の疲労を軽減できる。
【０２５６】
また、本実施の形態の３次元ポインティング方法では、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの操作手段の操作の状況を、前記ポインタの奥行き方向の移動または変形と対応させることで、前記表示装置に表現された３次元空間内の一点をポインティングできるようにする。また、前記入力ペンの傾き、方位の情報を前記ポインタの傾き、方位に反映させることで、前記操作者は、前記表示装置に表現された３次元空間上に表示されたポインタが、あたかも自身が持つ入力ペンのペン先の一部と感じることができ、３次元オブジェクトのポインティングを容易に、かつ直感的に行うことが可能となる。
【０２５７】
また、本実施の形態の３次元ポインティング方法では、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを選択または掴む操作を行うことで、前記オブジェクトを２次元GUI的な編集、加工等の操作が可能な状態、言い換えると前記入力ペンの操作で前記２次元GUI上のオブジェクトを操作することが可能な状態にする。また、前記オブジェクトの編集、加工といった処理（操作）が終了した後、前記オブジェクトを再度３次元オブジェクトとして扱い、操作者の望む３次元位置に移動できるようにする。このようにすることで、３次元オブジェクトの操作を、既存のペン型の入力装置を用いたこれまでの２次元GUIにおける操作と変わらない操作で実現できる。そのため、前記操作者は、たとえば、前記オブジェクトを操作するための、前記３次元的な入力ペンの操作を新たに習得しなくてもよい。
図４１は本実施の形態の３次元ポインティング方法を実現するシステムの構成例を示す図である。図４１において、１はシステム制御装置、１０１は入力情報取得手段、１０２はポインタ位置／回転角度算出手段、１０３はポインタ生成手段、１０４はポインティング判定手段、１０５はオブジェクト生成手段、１０６は表示制御手段、１０７は処理制御手段、１０８は記憶手段、２は入力装置、３は表示装置である。また、図４２は本実施の形態の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。図４２において、２０１は入力ペン、２０１Ａはコイル、２０１Ｂは回転角検出用のコイル、２０１Ｄは操作手段（ボタン）、２０１Ｄ1，２０１Ｄ2はシーソー型ボタンまたはホイールあるいはスライド型のバー、２０１Ｄ3は押しボタンである。なお、以下の説明では、特に記述がない限り、２０１Ｄ1，２０１Ｄ2はシーソー型ボタン、２０１Ｄ3は押しボタンであるとする。また、当然ながら、前記入力ペン２０１は、同様の機能を果たすのであれば、前記の機構に限らない。
【０２５８】
本実施の形態の３次元ポインティング方法は、たとえば、PCなどのシステム制御装置に接続された前記ペン型の入力装置を用いて、前記システム制御装置に接続された表示装置に表現された３次元空間上にあるポインタや、前記ポインタでポインティングされたオブジェクトを３次元的に操作するときに適用して好ましいポインティング方法である。
【０２５９】
前記システム制御装置１は、たとえば、図４１に示すように、前記入力装置２から入力された入力情報を取得する入力情報取得手段１０１と、前記入力情報取得手段１０１で取得した入力情報がポインタの制御に関する情報である場合に、前記入力情報に基づいて入力装置２で指し示し続けた時間や、前記入力装置２が備える操作手段の操作情報（ボタンが押されている時間や回数）を算出する入力情報処理手段１０９と、前記入力情報に基づいてポインタの移動方向および移動量、回転方向および回転角度などを算出するポインタ位置／回転角度算出手段１０２と、前記ポインタ位置／回転角度算出手段１０２の算出結果に基づいたポインタを生成するポインタ生成手段１０３と、前記ポインタ生成手段１０３で生成するポインタにポインティングされているオブジェクトがあるか否かの判定をするポインティング判定手段１０４と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えたり、前記ポインタの移動や回転を追随させた位置や向きのオブジェクトを生成したりするオブジェクト生成手段１０５と、前記ポインタ生成手段１０３で生成したポインタや、前記オブジェクト生成手段１０５で生成したオブジェクトを前記表示装置３に表示させる表示制御手段１０６とを備える。
【０２６０】
また、前記システム制御装置１は、たとえば、前記PCのように、前記入力装置２からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置であり、図４１に示したように、前記各手段の他に、たとえば、ソフトウェアの起動等の処理を制御する処理制御手段１０７や、前記処理制御手段１０７による処理で用いるデータなどが記憶された記憶手段１０８を備える。そして、前記入力情報取得手段１０１で取得した情報が、前記ポインタの制御に関する情報とは異なる場合、前記入力情報取得手段１０１は、前記取得した情報を前記処理制御手段１０７に渡し、取得した情報に応じた処理を前記システム制御装置１に実行させる。そのため、前記表示制御手段１０６は、前記ポインタや前記オブジェクトの他に、前記システム制御装置１（処理制御手段１０７）で実行中の処理の内容や、処理の結果を前記表示装置３に表示させることもできる手段であるとする。
【０２６１】
また、前記入力装置２は、図示は省略するが、たとえば、前記ポインタやオブジェクトの操作を行う操作者が持つ入力ペン（電子ペン）と、前記入力ペンのペン先の接触の有無、位置、前記入力ペンが備えるボタンなどの操作手段の状態、前記入力ペンの傾き、方位、回転角などの情報を検出する検出面をもつ検出手段からなるとする。
【０２６２】
第１の実施の形態と同様に、前記検出手段の検出面上に図２に示すように、前記表示装置３に表現される３次元空間と対応するデカルト座標系ＸＹＺをとり、前記デカルト座標系ＸＹＺのＸＹ平面が検出面とすると、前記検出手段は、前記検出面（ＸＹ平面）に前記入力ペンのペン先２０１Ｐが接触したときに、ペン先２０１Ｐの接触の有無、接触位置の座標（ｘ，ｙ）、入力ペンの筐体の軸２０１Ｘの方位α（たとえば０度≦α＜３６０度），傾きβ（たとえば０度≦β≦９０度），軸周りの回転γ（たとえば０度≦γ＜３６０度）の各角度の情報を検出する。
【０２６３】
第１の実施の形態と同様に、前記入力ペンのペン先２０１Ｐの接触の有無、接触位置の座標（ｘ，ｙ）、前記入力ペンの筐体の軸２０１の方位α，傾きβ，軸周りの回転γなどの情報を検出することが可能な入力装置２の構成は、たとえば、参照文献１（三谷 雄二, "タッチパネルの基礎と応用," テクノタイムズ社, 2001.）や参照文献２（株式会社WACOM製intuos2のカタログ）等に記載された内容から、当業者であれば容易に推測でき、容易に実現することが可能である。ただし、前記入力ペンの筐体の軸２０１Ｘの軸周りの回転γの角度については、前記参照文献１や参照文献２に記載された構造では取得できない。しかしながら、前記軸周りの回転γの角度を検出するためには、たとえば、図４２に示すように、前記入力ペン２０１の内部の、前記参照文献１に記載されている座標指示器のコイル２０１Ａと平行に、前記軸周りの回転γを検出するためのコイル２０１Ｂをもう一つ加え、両コイル２０１Ａ，２０１Ｂの鎖交する磁束の変化をそれぞれ取得し、回転量を計算すればよいことは、当業者であれば容易に想像でき、実現することは可能である。ただし、本実施の形態の３次元ポインティング方法で使用する前記入力ペン２０１は、図４２に示したような、前記軸周りの回転γの角度を検出する機構を備えた構成でなくともよい。
【０２６４】
また、前記入力装置２は、たとえば、ペンタブレットや、タッチパネルとスタイラスペンの組み合わせのように、前記入力ペンと前記検出手段が分離した装置に限らず、たとえば、ペン形マウスのように、前記入力ペンの筐体の内部に前記検出手段が組み込まれている入力装置であってもよい。
【０２６５】
また、前記表示装置３は、３次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのように３次元オブジェクトを２次元平面に射影した形で表現して表示する２次元表示装置でもよく、HMD（Head Mount Display）やDFDのように３次元立体像を表現して表示することが可能な表示装置でもよい。つまり、前記表示装置３は、前記操作者が、表示されたポインタやオブジェクトを３次元的に知覚することが可能であればどのような表示装置でもよい。
【０２６６】
また、前記入力装置２の検出手段と前記表示装置３は、一体型の形態を取ることも可能である（たとえば、特開平5-073208号公報を参照。）。前記入力装置２として、たとえば、電磁誘導方式のペンタブレットを用いる場合、前記検出手段（デジタイザ）は、前記表示装置３の表示面と重ね合わせ、前記表示装置３と一体的にすることができる。また、同様の形態として、たとえば、タッチパネルとスタイラスペンを組み合わせた形態を適用することも可能である。このようにすれば、前記操作者は、液晶ディスプレイ等の前記表示装置３の表示面に前記入力ペンを接触させてポインティングすることが可能となり、前記検出手段と前記表示装置３が分離した状態で操作する場合に比べ、より直感的な操作が可能となる。ただし、本発明は、このような前記入力装置２の検出手段と前記表示装置３の構成を限定するものではなく、一般的なペンタブレットのように、前記検出手段と前記表示装置３が一体的になっていなくともよい。
【０２６７】
［実施例２−１］
次に、実施例２−１を説明する。実施例２−１は、実施例１−１と同様にオブジェクトを選択または掴む場合の実施例であり、実施例１−１の図４〜６を用いて説明する。また、図４３を参照して実施例２−１の処理手順を説明する。なお、図５Ｂ、図６Ｂ、Ｃにおいて入力ペンに圧力を加える方向の矢印が記載されているが、本実施例２−１ではこの矢印はないものとする。
【０２６８】
本実施例２−１の３次元ポインティング方法は、前記入力ペン２０１のペン先２０１Ｐを前記検出手段の検出面に接触させ、シーソー型ボタン２０１Ｄ1，２０１Ｄ2を用いて、３次元空間内の操作者から見て奥行き方向にあるオブジェクトをポインティングし、さらに押しボタン２０１Ｄ3を用いてオブジェクトを選択または掴む方法である。
本実施例２−１では、前記入力装置２には電磁誘導方式のペンタブレット、前記３次元空間を表示できる表示装置３には液晶ディスプレイを用いることとする。また、前記入力装置２の検出手段（デジタイザ）は前記液晶ディスプレイ３の表示面と重ね合わせており、表示画面上で直接入力ペンを操作してポインティング、さらに選択または掴む操作が行えるものとする。また、前記入力装置２および前記表示装置３は、図４１に示したような構成のシステム制御装置１に接続されているとする。
【０２６９】
また、本実施例２−１では、実施例１−１と同様に、図４Ａおよび図４Ｂに示すように、前記液晶ディスプレイ３に表現された３次元空間３０１の中に、図２で示した座標系ＸＹＺと対応させた座標系ＸＹＺを設定し、オブジェクト３０２が３次元空間３０１内のｚ＜０の位置に配置されているとする。またこのとき、前記入力装置２の入力ペン２０１を操作する操作者は、前記３次元空間３０１のＸＹ平面を、ｚ＞０の方向から観察しているとする。
【０２７０】
また、本実施例２−１では、前記３次元空間３０１のｚ＝０のＸＹ平面、すなわち前記操作者から見て一番近い面が前記液晶ディスプレイの表示面であると同時に、前記入力装置２の検出手段の検出面であるとする。
【０２７１】
前記操作者が、たとえば、図５Ａおよび図６Ａに示すように、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３の表示面に接触させると、前記表示面に重ね合わされた前記検出手段が前記ペン先２０１Ｐの位置（座標）を検出する。次に、前記システム制御装置１では、ペン先２０１Ｐが接触した状態でシーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかが押されたことを判定し、さらに、前記入力情報取得手段１０１により前記検出手段が検出した前記ペン先２０１Ｐの位置（座標）などの情報を取得し、前記ポインタ位置／回転角度算出手段１０２および前記ポインタ生成手段１０３に、前記ペン先２０１Ｐが接触した位置に該当する前記３次元空間３０１上の位置に表示させるポインタを生成させる。そして、前記ポインタが生成されると、前記表示制御手段１０６から前記表示装置３にポインタ表示用の信号が送られ、たとえば、図５Ａおよび図６Ａに示したように、前記表示装置３に表現された３次元空間３０１上に、前記ペン先２０１Ｐが接触した状態で前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかが押された時間（または回数）を反映したポインタ３０３が表示される。
【０２７２】
また、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３の表示面に接触させたままの状態で、さらに前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかを押すと、前記システム制御装置１の入力情報処理手段１０９および前記ポインタ位置／回転角度算出手段１０２、ならびに前記ポインタ生成手段１０３では、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかを押していた時間（または回数）に応じた形状のポインタを生成させる。このとき、たとえば、前記シーソー型ボタン２０１Ｄ1が押されていた時間（または回数）に比例して矢印形のポインタが長くなるようにしておけば、前記シーソー型ボタン２０１Ｄ1を押す時間（または回数）を長く（または多く）することにより、図５Ｂおよび図６Ｂに示したように、前記ポインタ３０３が図５Ａおよび図６Ａに示したポインタよりも長くなる。また、前記シーソー型ボタン２０１Ｄ1をさらに長時間押し続ける（または多数回押す）と、図５Ｃおよび図６Ｃに示したように、前記ポインタ３０３がさらに長くなる。  
一方、たとえば、前記シーソー型ボタン２０１Ｄ2が押された時間（または回数）に応じて前記矢印形のポインタが短くなるようにしておけば、前記シーソー型ボタン２０１Ｄ2を押す時間（または回数）を長く（または多く）することにより、図５Ｃおよび図６Ｃに示したような長いポインタが、図５Ｂおよび図６Ｂに示すように短くなる。また、前記シーソー型ボタン２０１Ｄ2をさらに長時間押し続ける（または多数回押す）と、図５Ａおよび図６Ａに示したように、前記ポインタ３０３がさらに短くなる。
【０２７３】
このようなポインタ３０３の表示を、前記操作者が前記入力ペン２０１を接触させ、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2を押すのとほぼ同時に連続的（または所定の段階的）に行われるようにすることで、前記操作者は、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2を押した時間（または回数）によって前記ポインタ３０３が３次元奥行き方向（ｚ＜０）に伸びていくように感じることが可能である。なお、前記ポインタ３０３の長さの最大値と最小値は、操作者が設定できるようにしておいてもよいし、あらかじめシステムで設定しておいてもよい。また、図示は省略するが、前記ポインタ３０３の先が目的のオブジェクト３０２の近辺（たとえば10ピクセルの範囲内）をポインティングしたところで、前記オブジェクト生成手段１０５によりオブジェクト３０２の色を変えるなどの処理を行うことによって、操作者にオブジェクト３０２をポインティングしていることを伝える。このときに、操作者が、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を押したとすると、前記システム制御装置１のポインティング判定手段１０４がオブジェクト３０２に対して選択または掴む操作がなされたと判定し、前記オブジェクトの色を変えた状態を維持する。また、前記入力ペン２０１のペン先２０１Ｐを前記検出面から離した（浮かせた）場合に、前記ペン先２０１Ｐを離した（浮かせた）時間に応じて、前記ポインタ３０３を、ペン先２０１Ｐを前記検出面から離す（浮かせる）直前の状態から一定の速度で短くしてもよいし、ペン先を前記検出面から離す（浮かせる）直前の状態に固定させておいてもよい。
【０２７４】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図４３に示したような、ステップ４０１からステップ４１０の処理を実行すればよい。つまり、前記システム制御装置１では、まず、前記表示制御手段１０６により、前記表示装置（液晶ディスプレイ）３に表現された３次元空間３０１上にオブジェクト３０２を表示させておく（ステップ４０１）。またこのとき、前記入力情報取得手段１０１は、前記入力装置２の検出手段で検出された情報を取得できる状態にしておく。
【０２７５】
そして、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを検出手段の検出面に接触させると、前記検出手段が前記ペン先２０１Ｐの位置（座標）等を検出するので、前記入力情報取得手段１０１は、前記検出された前記ペン先２０１Ｐの位置（座標）等の、前記入力ペン２０１の状態を表す情報を取得する（ステップ４０２）。本実施例２−１の３次元ポインティング方法では、前記ペン先２０１Ｐの位置（座標）の情報が取得できればよいので、前記ステップ４０２では、前記ペン先２０１Ｐの位置（座標）の情報のみを取得してもよいが、前記検出手段では、前記ペン先２０１Ｐの位置（座標）のほかに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γ等も検出可能である。そのため、前記ペン先２０１Ｐの位置（座標）の情報とともに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報を取得してもよい。
【０２７６】
次に、前記入力情報処理手段１０９により、前記入力ペン２０１のシーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかが押されているか否かを判定し、いずれかが押されているかの情報を出力する。この処理は、たとえば、図４３に示したように、まず、前記ボタン２０１Ｄ1が押されているか否かを判定し（ステップ４０３ａ）、押されている場合はその情報を前記ポインタ位置／回転角度算出手段１０２に出力する（ステップ４０４ａ）。また、前記ボタン２０１Ｄ1が押されていない場合は、前記ボタン２０１Ｄ2が押されているか否かを判定し（ステップ４０３ｂ）、押されている場合はその情報を前記ポインタ位置／回転角度算出手段１０２に出力する（ステップ４０４ｂ）。
【０２７７】
次に、前記ポインタ位置／回転角度算出手段１０２において、前記取得した情報のうち、前記ペン先２０１Ｐの位置（座標）と、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかが押されているか否かの情報を用いて、これらの情報を反映するポインタの位置、向き、長さ等を算出する（ステップ４０５）。本実施例２−１の３次元ポインティング方法の場合、前記ステップ４０５では、前記ペン先２０１Ｐの位置（座標）と対応する、前記表示装置３に表現された３次元空間３０１のＸＹ平面上の位置（座標）と、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2のいずれかが押されていた時間（または回数）に比例する長さを算出する。
【０２７８】
なお、本実施例２−１のように、前記入力ペン２０１のペン先２０１Ｐの位置（座標）の情報のみを用い、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報を利用しない場合には、前記ポインタの向きは常に一定としてポインタの表示を行う。そのため、前記ステップ４０５において、前記ポインタの向きを算出する必要はない。
【０２７９】
前記ステップ４０５の算出処理がすんだら、次に、前記ポインタ生成手段１０３において、前記ポインタ位置／回転角度算出手段１０２の算出結果に基づいた形状のポインタを生成し、前記表示制御手段１０６から前記生成したポインタに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０６）。
【０２８０】
また、前記システム制御装置１では、前記ステップ４０６の処理と並行して、前記ポインティング判定手段１０４において、前記ポインタ位置／回転角度算出手段１０２で算出した３次元空間のＸＹ平面上の位置（座標）および奥行き位置に該当する位置に、ポインティングしているオブジェクトがあるか否かの判定を行う（ステップ４０７）。前記ステップ４０７の判定は、たとえば、図４３に示すように、前記ポインタの先、言い換えると前記ポインタがポインティングしている位置から10ピクセル以内にオブジェクトがあるか否かで判定する。なお、図４３では10ピクセル以内としているが、これに限らず、他の条件で判定してもよい。ポインティングしているオブジェクトがあるか否かの判定は、第１の実施の形態でもここで説明した方法で行うことが可能である。そして、ポインティングしているオブジェクトがなければ、前記ポインタ３０３の表示制御のみを行い、ステップ４０２に戻り、次の入力情報を取得する。
【０２８１】
一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段１０５において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェクトを生成し、前記表示制御手段１０６から前記生成したオブジェクトに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０８）。またさらに、前記ポインティング判定手段１０４において、前記入力ペン２０１の押しボタン２０１Ｄ3が押されたかどうかの判定を行う（ステップ４０９）。そして、前記押しボタン２０１Ｄ3が押された場合には、前記ポインティングしているオブジェクト３０２を選択、または掴むことができる（ステップ４１０）。また、前記押しボタン２０１Ｄ3が押されていない場合は、前記ステップ４０２に戻り、次の入力情報を取得する。
【０２８２】
前記システム制御装置１において、以上のような処理を行うことにより、図５Ａ，図５Ｂ，図５Ｃに示したようなポインタ３０３の表示制御が可能となる。
【０２８３】
なお、前記ステップ４０１からステップ４０６の処理がすでに行われた状態、すなわち前記ポインタが前記表示装置３に表示された状態で、前記ステップ４０５により前記ポインタの長さを算出する場合、たとえば、前記入力情報処理手段１０９から前記ボタン２０１Ｄ1が押されていることを示す情報が入力されたときには、前記ポインタ位置／回転角度算出手段１０２は、前記ポインタの長さを所定の長さだけ長くするようにする。また、前記入力情報処理手段１０９から前記ボタン２０１Ｄ2が押されていることを示す情報が入力されたときには、前記ポインタ位置／回転角度算出手段１０２は、前記ポインタの長さを所定の長さだけ短くするようにする。このような処理ループを繰り返し実行することによって、前記シーソー型ボタン２０１Ｄ1，２０１Ｄ2が押された時間（または回数）に対応する長さのポインタを表示することが可能となる。
【０２８４】
以上説明したように、本実施例２−１の３次元ポインティング方法によれば、前記入力ペン２０１のペン先２０１Ｐの位置（座標）および検出手段の検出面に関する情報を取得し、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）と、前記入力ペン２０１のシーソー型ボタン２０１Ｄ1，２０１Ｄ2が押された時間（または回数）と対応する奥行き位置を算出し、算出した位置および奥行き位置を指し示すポインタを生成し、表示させることで、前記表示装置３に表現された３次元空間３０１上の任意の１点をポインティングすることができる。またさらに、前記入力ペン２０１の押しボタン２０１Ｄ3が押されているか否かを判定することで、前記ポインタでポインティングしたオブジェクトを選択または掴むこともできる。
【０２８５】
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、前記ポインタ３０３の奥行き方向のポインティング位置を変えることができるので、操作者の疲労を軽減することができる。
【０２８６】
また、本実施例２−１で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペン２０１の操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１Ｐの一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
【０２８７】
また、本実施例２−１では、前記入力ペン２０１のシーソー型ボタン２０１Ｄ1，２０１Ｄ2が押された時間（または回数）に応じて長さが変わるポインタ３０３を表示させたが、これに限らず、たとえば、長さではなく形状が３次元奥行き方向（ｚ＜０）に何らかの変化をするポインタや、３次元奥行き方向（ｚ＜０）の傾きが変化するポインタのように、３次元奥行き方向（ｚ＜０）をポインティングできるのであれば、どのような変化であってもよい。また、前記ポインタの長さを変化させる場合、シーソー型ボタン２０１Ｄ1，２０１Ｄ2が押された時間（または回数）に比例させてもよいし、押された時間（または回数）の累乗あるいは累乗根などに比例させてもよい。
【０２８８】
なお、本実施例２−１では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−１では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
【０２８９】
また、本実施例２−１では、前記ポインタ３０３の先が目的のオブジェクト３０２の近辺にあるかどうかの判定を、前記ポインタ３０３の先から10ピクセルの範囲内であるかどうかで判定したが、この範囲は、システムの管理者や操作者が任意に設定、変更することが可能である。
【０２９０】
本実施例２−１においても、実施例１−１と同様に、ポインタの形状を図８Ａ，図８Ｂ，図８Ｃ，図８Ｄに示すように様々な形状のポインタを採用することができる。
【０２９１】
本実施例２−１では、前記ポインタ３０３として、たとえば、図８Ａに示すように、平板状の矢印型のポインタ３０３ａを生成し、表示させているが、前記ポインタ３０３の形状は、これに限らず、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状であってもよい。そのようなポインタの形状としては、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄにしめすような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄ等が考えられる。また、図示は省略するが、図８Ｃに示した円錐型のポインタ３０３ｃに類似した多角錘型のポインタであってもよい。
【０２９２】
また、本実施例２−１では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これに限らず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
【０２９３】
また、本実施例２−１では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
【０２９４】
また、本実施例２−１では、前記表示装置３に表現される３次元空間の座標系を、図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元空間が表現できるのであれば３次元の原点はどこにとってもよい。また、座標系もデカルト座標系である必要はなく、たとえば円柱座標系や球座標系などでもよい。
【０２９５】
また、本実施例２−１では、前記入力ペン２０１のシーソー型ボタン２０１Ｄ1，２０１Ｄ2が押された時間（または回数）に注目したが、これに前記入力ペン２０１の方位α、傾きβ、軸周りの回転γの要素も加え、ポインタの方位や傾き、回転も操作できるようにしても構わない。
【０２９６】
［実施例２−２］
次に、実施例２−２の３次元ポインティング方法を説明する。本実施例２−２では、実施例１−２と同様に、前記入力ペン２０１の向きを変えることで、３次元空間内の操作者からみて奥行き方向にあるオブジェクトを、さまざまな方向からポインティングする方法について、図９Ａ〜図１０Ｃを参照して説明する。また、本実施例の処理手順を図４４を参照して説明する
本実施例２−２においても、前記入力装置２および前記表示装置３はそれぞれ、前記実施例２−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。また、前記ペンタブレット２および表示装置３は、図４１に示したような構成のシステム制御装置１に接続されているとする。
【０２９７】
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例２−１で説明したとおりであるとする。ただし、本実施例２−２では、入力方法の別の形態として、前記実施例２−１で用いた前記入力ペン２０１のシーソー型ボタン２０１Ｄ1，２０１Ｄ2や押しボタン２０１Ｄ3を利用せず、前記入力ペン２０１のペン先２０１Ｐを前記検出面から離したか否かの操作に基づき前記オブジェクトをポインティングし、さらにポインティングしたオブジェクトを選択または掴むことのできる入力方法を用いる。
【０２９８】
本実施例２−２の３次元ポインティング方法では、前記操作者が前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３に表現された３次元空間３０１のＸＹ平面（ｚ＝０）の任意の１点におくと、前記システム制御装置１は、前記入力情報取得手段１０１により、前記検出手段（デジタイザ）が検出した前記入力ペン２０１のペン先２０１Ｐの位置（座標）、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γ等の情報を取得する。またこのとき、前記入力情報処理手段１０９が、前記入力ペン２０１のペン先２０１Ｐが前記検出面に接触している時間を算出する。またさらに、前記入力情報処理手段１０９および前記ポインタ位置／回転角度算出手段１０２、ならびに前記ポインタ生成手段１０３が、前記ペン先２０１Ｐが接触した位置に該当する前記３次元空間３０１上の位置に表示させるポインタを生成する。そして、前記ポインタが生成されると、前記表示制御手段１０６から前記表示装置３にポインタ表示用の信号が送られ、たとえば、図９Ａおよび図１０Ｂに示したようなポインタ３０３が表示される。
【０２９９】
また、前記操作者が、前記入力ペン２０１の向きを、たとえば、図９Ｂおよび図１０Ｂ、あるいは図９Ｃおよび図１０Ｃに示したような向きに変えたとすると、前記ポインタ位置／回転角度算出手段１０２およびポインタ生成手段１０３では、前記入力ペン２０１の新たな方位α，傾きβ，軸周りの回転γから、新たなポインタの向きを算出し、算出結果に基づいたポインタを生成する。そして、前記表示制御手段１０６から前記表示装置３に、新たに生成したポインタ表示用の信号を送ると、図９Ｂおよび図１０Ｂ、あるいは図９Ｃおよび図１０Ｃに示したようなポインタ３０３が表示される。
【０３００】
このようなポインタ３０３の表示を、前記操作者が入力ペン２０１の向きを変える操作を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あたかもペンを傾けた方向のペン先２０１Ｐの延長線上にポインタ３０３が傾いて表示されるように感じることが可能である。
【０３０１】
また、このようなポインタ３０３の表示方法では、たとえば、前記入力ペン２０１のペン先２０１Ｐと前記検出面との接触の有無と、接触時間によって、前記ポインタ３０３の長さを調節できる。たとえば、前記操作者が前記入力ペン２０１のペン先２０１Ｐを前記検出面に接触させ、操作者がある時間内（たとえば、0.5秒以内）にペン先２０１Ｐを前記検出面から離して再度接触させる操作（タップ操作）を行うと、前記ポインタ３０３の長さが伸び始める。そして、前記前記ポインタ３０３の長さが伸びている間にタップ操作を再び行うと、前記ポインタ３０３の伸びが止まり、その時点での長さのポインタとして操作者が扱うことができる。また、前記ポインタ３０３の長さが変化していないときに前記タップ操作を行うと、さらに前記ポインタ３０３を伸ばすことが可能となる。また、前記操作者が前記タップ操作を２回連続して行う操作（ダブルタップ操作）を行うと、前記ポインタ３０３の長さが縮み始める。そして、前記ポインタ３０３の長さが縮んでいる間にタップ操作を行うと、前記ポインタ３０３の縮みが止まり、その時点での長さのポインタとして操作者が扱うことができる。また、前記ポインタ３０３の長さが変化していないときに前記ダブルタップ操作を行うと、さらに前記ポインタ３０３を縮めることが可能となる。
【０３０２】
この一連の前記ポインタ３０３の伸縮操作中に、前記ポインタ３０３（ポインタの先）がオブジェクト３０２の近辺（たとえば、10ピクセルの範囲内）に到達したときに、前記システム制御装置１のオブジェクト生成手段１０５で当該オブジェクトの色を変え、前記表示装置３に表示されたオブジェクト３０２の表示を切り替える等の処理を行うことによって、前記ポインタ３０３の長さが変化していない状態で、かつ、オブジェクト３０２を選択またはつかめる状態であることを、前記操作者に知らせることができる。そして、前記オブジェクト３０２の色が変化して選択または掴める状態が、たとえば、0.5秒以上続けば、前記操作者は、前記オブジェクト３０２を選択、または掴むことができる。
【０３０３】
またさらに、図示は省略するが、前記操作者が、前記操作中に前記入力ペン２０１の向きを変えた場合は、前記入力情報処理手段１０９および前記ポインタ位置／回転角度算出手段１０２、ならびに前記ポインタ生成手段１０３において、たとえば、前記ポインタの向きに加え、前記入力ペン２０１の向きを変える直前のポインタの長さを反映したポインタを生成することができる。
【０３０４】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図４４に示したような処理を実行すればよい。このとき、前記システム制御装置１では、まず、前記表示制御手段１０６により、前記表示装置（液晶ディスプレイ）３に表現された３次元空間３０１上にオブジェクト３０２を表示させるとともに、ポインタの状態を表す変数ｓをｓ＝０に設定する（ステップ４０１）。前記ポインタの状態を表す変数ｓは、たとえば、ｓ＝０はポインタの長さが変化していない状態または表示されていない状態を表し、ｓ＝１はポインタの長さが伸びつつある状態を表し、ｓ＝−１はポインタの長さが縮みつつある状態を表すものとする。またこのとき、前記入力情報取得手段１０１は、前記入力装置２の検出手段で検出された情報を取得できる状態にしておく。
【０３０５】
そして、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを検出手段の検出面に接触させると、前記検出手段が前記ペン先２０１Ｐの位置（座標）等を検出するので、前記入力情報取得手段１０１は、前記検出された前記ペン先２０１Ｐの位置（座標）等の、前記入力ペン２０１の状態を表す情報を取得する（ステップ４０２）。なお、本実施例２−２の場合、前記ステップ２では、前記ペン先２０１Ｐの位置（座標）の情報とともに、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報などの前記入力ペンの向きを示す情報を取得する。
【０３０６】
次に、前記入力情報処理手段１０９により、前記ポインタの状態を表す変数ｓおよび前記入力ペン２０１のペン先２０１Ｐと前記検出面との接触状況から、前記ポインタの長さを変化させるか否かを判定し、その情報を出力する。この処理は、たとえば、図４４に示したように、まず、前記変数ｓがｓ＝０であり、かつ、前記タップ操作が行われたか確認し（ステップ４０３ｃ）、ｓ＝０で前記タップ操作が行われた場合は、前記変数ｓをｓ＝１に設定し、その情報を前記ポインタ位置／回転角度算出手段に出力する（ステップ４０４ｃ）。また、ｓ≠０またはタップ操作を行っていない場合は、前記変数ｓがｓ＝０であり、かつ、前記ダブルタップ操作が行われたか確認し（ステップ４０３ｄ）、ｓ＝０で前記ダブルタップ操作が行われた場合は、前記変数ｓをｓ＝−１に設定し、その情報を前記ポインタ位置／回転角度算出手段に出力する（ステップ４０４ｄ）。また、ｓ≠０またはダブルタップ操作を行っていない場合は、前記タップ操作が行われたか確認し（ステップ４０３ｅ）、ｓ≠０で前記タップ操作が行われた場合は、前記変数ｓをｓ＝０に設定し、その情報を前記ポインタ位置／回転角度算出手段に出力する（ステップ４０４ｅ）。
【０３０７】
次に、前記ポインタ位置／回転角度算出手段１０２において、前記取得した情報のうち、前記ペン先２０１Ｐの位置（座標）と、前記ポインタの状態を表す変数ｓの値を用いて、これらの情報を反映するポインタの位置、向き、長さ等を算出し（ステップ４０５）、前記ポインタ生成手段１０３において、前記ポインタ位置／回転角度算出手段１０２の算出結果に基づいた形状のポインタを生成し、前記表示制御手段１０６から前記生成したポインタに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０６）。本実施例２−２の場合、前記ステップ４０５では、前記ペン先２０１Ｐの位置（座標）と対応する、前記表示装置３に表現された３次元空間３０１のＸＹ平面上の位置（座標）と、前記タップ操作またはダブルタップ操作を行った後の、前記ペン先２０１Ｐを前記検出面に接触させている時間に比例する長さを算出する。またこのとき、前記ポインタの長さは、たとえば、前記変数ｓがｓ＝１に設定されている場合は、前記ペン先２０１Ｐを前記検出面に接触させている時間に比例して長くなるように算出し、前記変数ｓがｓ＝−１に設定されている場合は、前記ペン先２０１Ｐを前記検出面に接触させている時間に比例して短くなるように算出する。また、前記変数ｓがｓ＝０の場合は、前記タップ操作またはダブルタップ操作が行われる直前の長さとする。
【０３０８】
またこのとき、前記システム制御装置１では、前記ステップ４０６の処理と並行して、前記実施例２−１で説明したステップ４０７およびステップ４０８の処理を行う。前記ステップ４０７は、たとえば、図４４に示すように、前記ポインタの先、言い換えると前記ポインタがポインティングしている位置から10ピクセル以内にオブジェクトがあるか否かを判定する。なお、図４４では10ピクセル以内としているが、これに限らず、他の条件で判定してもよい。そして、ポインティングしているオブジェクトがなければ、前記ポインタ３０３の表示制御のみを行い、ステップ４０２に戻り、次の入力情報を取得する。
【０３０９】
一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段１０５において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェクトを生成し、前記表示制御手段１０６から前記生成したオブジェクトに関する情報を前記表示装置３に送り、前記３次元空間３０１上に表示させる（ステップ４０８）。またさらに、前記ポインティング判定手段１０４において、たとえば、前記変数ｓがｓ＝０であり、かつ、前記オブジェクトをポインティングしている状態が0.5秒以上続いたかどうかの判定を行う（ステップ４０９'）。そして、ｓ＝０でポインティングしている状態が0.5秒以上続いている場合には、前記ポインティングしているオブジェクト３０２を選択、または掴むことができる（ステップ４１０）。また、前記ｓ≠０またはポインティングしている時間が0.5秒未満の場合は、前記ステップ４０２に戻り、次の入力情報を取得する。なお、前記オブジェクトをポインティングしている状態の持続時間に関しては、0.5秒以上に限らず、他の時間であってもよい。
【０３１０】
前記システム制御装置１において、以上のような処理を行うことにより、図９Ａ，図９Ｂ，図９Ｃに示したようなポインタの表示制御が可能となる。
【０３１１】
なお、図４３、図４４に示した処理手順は、第１の実施の形態における図７で示した処理手順に対応するものである。図４３、図４４では処理内容をより詳細に記載している。
【０３１２】
以上説明したように、本実施例２−２の３次元ポインティング方法によれば、前記入力ペン２０１のペン先２０１Ｐの位置（座標）および前記検出面との接触の有無に加え、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γに関する情報を取得し、前記ペン先２０１Ｐの位置（座標）と対応する前記表示装置３に表現された３次元空間のＸＹ平面上の位置（座標）および前記入力ペン２０１のペン先と前記検出面の接触時間と対応する奥行き位置、ならびに前記入力ペン２０１の方位α，傾きβ，軸周りの回転γと対応する前記３次元空間３０１上のポインタの方位，傾き，軸周りの回転の角度を算出し、算出した位置および奥行き位置、ならびに算出した方向から指し示すポインタを生成し、表示させることで、前記表示装置３に表現された３次元空間３０１上の任意の１点をポインティングすることができ、さらにポインティングしたオブジェクトを選択、または掴むことが可能となる。
【０３１３】
また、前記入力ペン２０１に、前記ポインタの奥行き位置を変える操作、あるいは指し示す方向を変える操作を行うためのボタン等の操作手段を設ける必要が無いため、前記入力装置２として、従来の一般的なペンタブレットと入力ペンを流用することが可能である。さらに、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、前記ポインタ３０３の奥行き方向のポインティング位置を変えることができ、操作者の疲労を軽減することができる。
【０３１４】
また、本実施例２−２で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１Ｐの一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
【０３１５】
また、本実施例２−２では、ポインタの方位、傾き、軸周りの回転が前記入力ペン２０１の方位α、傾きβ、軸周りの回転γにそれぞれ比例して変化する例を示したが、これに限らず、たとえば、回転角ではなく形状が３次元奥行き方向（ｚ＜０）に何らかの変化をしたり、ポインタの傾きが３次元奥行き方向（ｚ＜０）に変化したりすることで、３次元奥行き方向（ｚ＜０）をポインティングできるのであればどのような変化であってもよい。また、前記入力ペン２０１の傾き、方位、回転にそれぞれ比例してポインタの傾き、方位、回転を変化させる場合に限らず、たとえば、前記入力ペン２０１の傾き、方位、回転のいずれかが累乗あるいは累乗根等に比例するようにしてもよい。
【０３１６】
なお、本実施例２−２では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−２では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
【０３１７】
また、本実施例２−２では、前記入力ペン２０１の操作の一例として前記ペン先２０１Ｐと検出面の接触の有無を挙げたが、同様の効果が得られるのであればこの限りではない。たとえば、前記入力ペン２０１が備えるボタンが押された時間（または回数）、ホイールの回転量や回転方向、スライドバーの移動量や移動方向によって前記ポインタ３０３の長さを変化させてもよい。また、前記ポインタ３０３の長さの最大値と最小値は、操作者が設定できるようにしてもよいし、あらかじめシステム制御装置１で設定しておいてもよい。
【０３１８】
また、本実施例２−２では、前記ポインタ３０３（ポインタの先）が目的のオブジェクト３０２の近辺にあるかどうかの判定を10ピクセルの範囲内であるかどうかで判定したが、この範囲は、システムの管理者や操作者が任意に設定、変更することが可能である。同様に、前記ステップ４０９'におけるポインティングしている時間の長さに関しても、システムの管理者や操作者が任意に設定、変更することが可能である。
【０３１９】
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄに示すような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
【０３２０】
また、本実施例２−２では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
【０３２１】
また、本実施例２−２では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
【０３２２】
また、本実施例２−２では、前記表示装置３に表現される３次元空間の座標系は、前記実施例２−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
【０３２３】
また、本実施例２−２では、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γに注目したが、前記実施例２−１と同様、必ずしもそれらの要素をすべて用いる必要はなく、たとえば、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γは利用せず、単に奥行き位置を変えるだけであってもよいし、前記入力ペン２０１の方位αおよび傾きβだけを用いてもよい。
【０３２４】
［実施例２−３］
次に、実施例２−３について説明する。
【０３２５】
前記実施例２−１および実施例２−２では、前記入力装置２の入力ペン２０１の操作にあわせて、前記表示装置３に表現された３次元空間３０１上のポインタの表示制御およびポインティングされたオブジェクトの表示制御に関するポインティング方法について説明した。
【０３２６】
しかしながら、前記実施例２−１および実施例２−２のような方法で前記３次元空間３０１上のオブジェクトをポインティングした場合、ポインティング後に前記オブジェクトの移動、編集、加工といった操作が伴うことが多い。そこで、本実施例２−３では、前記３次元空間３０１上のオブジェクトをポインティングした後、前記オブジェクトを選択または掴み、さらに、前記入力ペン２０１を操作して前記ポインティングされたオブジェクトを移動させる方法について説明する。ここでは、実施例１−３で用いた図１１、１２を参照して説明する。また、本実施例の処理手順を図４５を参照して説明する。なお、図４５に示す処理手順は、第１の実施の形態における図１３に示す処理手順に対応するものである。
【０３２７】
本実施例２−３では、前記入力装置２および前記表示装置３はそれぞれ、前記実施例２−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。
【０３２８】
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例２−１で説明したとおりであるとする。また、前記ペンタブレット２および表示装置３は、図４１に示したような構成のシステム制御装置１に接続されているとする。
【０３２９】
また、本実施例２−３では、前記３次元空間３０１上のオブジェクトをポインティングした後、選択または掴む方法については、前記実施例２−１や実施例２−２で説明したような方法でよいので、説明は省略する。
【０３３０】
前記実施例２−１や実施例２−２と同様の方法によって、たとえば、図１１および図１２に示したようにオブジェクト３０２をポインティングした後、前記オブジェクト３０２の色の変化などで前記オブジェクト３０２をポインティングしたことを確認した操作者は、たとえば、前記実施例２−１や実施例２−２の方法を用いて前記ポインティングしているオブジェクト３０２を選択、または掴む操作を行う。そして、前記オブジェクト３０２を選択または掴んだ状態であり、かつ、前記入力ペン２０１のペン先２０１Ｐを前記表示装置３の表示面（検出手段の検出面）に接触させた状態で、前記入力ペン２０１を所望の位置に移動させると、図１１および図１２に示すように、前記入力ペン２０１の移動に追従して前記オブジェクト３０２が３次元空間３０１内を移動する。そして、図示は省略するが、前記入力ペン２０１を所望の位置に移動させた後、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を１回押すなどの所定の操作を行うと、前記オブジェクト３０２の位置が確定し、前記入力ペン２０１を移動させたりペン先２０１Ｐを検出面から離したりした後も、その位置にオブジェクト３０２が表示される。このようにすると、前記オブジェクト３０２を元の位置から３次元空間内の目的の位置にまで移動させることができる。
【０３３１】
このとき、前記システム制御装置１の前記入力情報取得手段１０１は、前記表示装置２の検出手段（デジタイザ）から、前記実施例２−１や実施例２−２で説明した前記オブジェクトを選択または掴む操作に必要な情報とともに、たとえば、前記押しボタン２０１Ｄ3が押されているという情報を取得する。そして、前記システム制御装置１は、前記オブジェクトを選択または掴む操作が行われていることから、前記操作者が、前記オブジェクト３０２を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段１０４およびオブジェクト生成手段１０５に、前記入力ペン２０１の移動に追随するオブジェクトを生成させ、前記表示装置３に表示させれば、上述のようなオブジェクト３０２の移動操作が可能となる。
【０３３２】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図４５に示したような処理を実行すればよい。なお、図４５における最初の処理（ステップ４２０）は、前記３次元空間３０１上のオブジェクト３０２を選択、または掴むまでの処理であり、前記実施例２−１または実施例２−２で説明したとおりでよいので、詳細な説明は省略する。
【０３３３】
本実施例２−３の３次元ポインティング方法では、前記システム制御装置１は、前記実施例２−１または実施例２−２で説明した手順によりオブジェクト３０２を選択、または掴む処理（ステップ４２０）を行った後、前記入力情報取得手段１０１で前記ポインタに関する情報を取得する（ステップ４２１）。前記ステップ４２１で取得する情報は、前記入力ペン２０１のペン先２０１Ｐの位置（座標）、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γなどの情報である。
【０３３４】
前記ステップ４２１で前記入力ペン２０１の状態を表す情報を取得したら、次に、前記入力情報処理手段１０９および前記ポインタ位置／回転角度算出手段１０２において、取得した情報に基づくポインタ３０３の位置、向き、長さ等を算出するとともに、前記オブジェクト３０２の位置、向きを算出する（ステップ４２２）。前記ポインタの位置、向き、長さ等の算出は、前記実施例２−１や実施例２−２で説明したとおりであるので、詳細な説明は省略する。また、前記オブジェクトの位置、向きは、たとえば、前記ポインティングされたときのオブジェクトの基準位置と、前記ポインタでポインティングしている位置の相対的な位置関係が、前記ステップ４２２で算出したポインタの位置でも保存されるような位置、向きを算出する。
【０３３５】
なお、前記実施例２−１のように、前記入力ペン２０１のペン先２０１Ｐの位置（座標）の情報のみを用い、前記入力ペン２０１の方位α，傾きβ，軸周りの回転γの情報を利用しない場合には、前記ポインタの向きは常に一定としてポインタの表示を行う。そのため、前記ステップ４２２において、前記ポインタの向きを算出する必要はない。また、本実施例２−３のように、前記オブジェクト３０２の移動が平行移動のみである場合、前記オブジェクトの向きは常に一定としてオブジェクトの表示を行うため、前記ステップ４２２において前記オブジェクトの向きを算出する必要はない。
【０３３６】
そして、前記ステップ４２２で前記ポインタ３０３の位置、向き、長さ等と、前記オブジェクト３０２の位置、向きを算出したら、前記ポインタ生成手段１０３で前記算出したポインタの位置、向き、長さに基づくポインタを生成するとともに、前記オブジェクト生成手段１０５で前記算出したオブジェクトの位置、向きに基づくオブジェクトを生成し、それらの表示信号を前記表示制御手段１０６から前記表示装置３に送り、前記ポインタおよびオブジェクトを表示させる（ステップ４２３）。
【０３３７】
前記ステップ４２３で前記ポインタおよびオブジェクトを表示させたら、たとえば、前記入力情報処理手段１０９において、前記入力ペン２０１の押しボタン２０１Ｄ3が押されたか否かを判定し（ステップ４２４）、押されていない場合は、再び前記入力ペンの状態を取得し（ステップ４２１）、前記ステップ４２２およびステップ４２３の処理を続行する。一方、前記押しボタン２０１Ｄ3が１回押された場合は、前記オブジェクトの選択または掴んだ状態を解除するとともに、前記オブジェクト３０２の表示状態を、前記押しボタン２０１Ｄ3が押される直前の位置、向きに固定する（ステップ４２５）。そして、前記ポインタおよびオブジェクトの移動操作を終了する。
【０３３８】
前記システム制御装置１において、以上のような処理を行うことにより、図１１および図１２に示したようなオブジェクトのポインティング操作および移動操作が可能となる。
【０３３９】
以上説明したように、本実施例２−３の３次元ポインティング方法によれば、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを選択または掴み、前記入力ペンの移動にあわせて、前記オブジェクトを平行移動させることができる。
【０３４０】
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、オブジェクトをポインティングした後、選択または掴み、さらに移動させることができるので、操作者の疲労を軽減することができる。
【０３４１】
また、本実施例２−３で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１Ｐの一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングおよび移動が容易になり、かつ直感的なポインティングおよび移動が可能となる。
【０３４２】
なお、本実施例２−３では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−３では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
【０３４３】
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄに示すような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
【０３４４】
また、本実施例２−３では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これに限らず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
【０３４５】
また、本実施例２−３では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
【０３４６】
また、本実施例２−３では、前記表示装置３に表現される３次元空間の座標系は、前記実施例２−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
【０３４７】
また、本実施例２−３では、選択または掴んだオブジェクト３０２を、所望の位置まで移動させた後、前記入力ペン２０１の押しボタン２０１Ｄ3を１回押すことで、前記オブジェクトの移動操作を終了させたが、これに限らず、たとえば、前記押しボタン２０１Ｄ3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で移動操作を終了させてもよい。
【０３４８】
[実施例２−４]
次に、実施例２−４について説明する。
【０３４９】
前記実施例２−３では、前記表示装置３で表現された３次元空間３０１上のオブジェクト３０２をポインティングした後、前記ポインティングされたオブジェクト３０２を選択、または掴み、前記オブジェクト３０２を平行移動させることが可能な３次元ポインティング方法について説明した。
【０３５０】
しかしながら、前記表示装置３で表現された３次元空間３０１上では、前記実施例２−３で説明したような単純なオブジェクトの平行移動だけでなく、３次元空間３０１を有効に利用し、たとえば、前記ポインティングされたオブジェクトを、前記３次元空間内で奥行き方向に傾けることも想定される。そこで、本実施例２−４では、実施例１−４と同様に、オブジェクトをポインティングし、選択または掴んだ後、続けて前記ポインティングされたオブジェクトを、前記３次元空間内で奥行き方向に傾けるようなポインティング方法について説明する。ここでは、実施例１−４で用いた図１４Ａ〜１５Ｃを参照して説明を行う。
【０３５１】
本実施例２−４では、前記入力装置２および前記表示装置３はそれぞれ、前記実施例２−１と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせてあるとする。
【０３５２】
また、前記液晶ディスプレイ３に表現される３次元空間の座標系の取り方、前記ペンタブレット２の入力ペン２０１の操作方法等は、前記実施例２−２で説明したとおりであるとする。また、前記ペンタブレット２および表示装置３は、図４１に示したような構成のシステム制御装置１に接続されているとする。
【０３５３】
また、本実施例２−４では、前記３次元空間３０１上のオブジェクトをポインティングした後、選択または掴む方法については、前記実施例２−１や実施例２−２で説明したような方法でよいので、説明は省略する。
【０３５４】
前記実施例２−１や実施例２−２と同様の方法によって、たとえば、図１４Ａおよび図１５Ａに示すように、オブジェクト３０２をポインティングした後、前記オブジェクト３０２を選択または掴む。そして、前記オブジェクト３０２を選択または掴んだ状態で前記入力ペン２０１を所望の向きにすると、図１４Ｂおよび図１５Ｂ、あるいは図１４Ｃおよび図１５Ｃに示したように、前記入力ペン２０１の向きの変化に追従して前記オブジェクト３０２が３次元空間３０１内で奥行き方向に傾く。このようにするとオブジェクト３０２を前記３次元空間３０１上で任意の向きに傾けることができる。このとき、前記システム制御装置１の前記入力情報取得手段１０１は、前記実施例２−１や実施例２−２におけるオブジェクトの選択または掴む操作に必要な情報を取得する。そして、前記システム制御装置１は、前記実施例２−１や実施例２−２におけるオブジェクトの選択または掴む操作が行われていることから、前記操作者が、前記オブジェクト３０２を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段１０４およびオブジェクト生成手段１０５に、前記入力ペン２０１の向きの変化を追随するオブジェクトを生成させ、前記表示装置３に表示させれば、上述のようなオブジェクト３０２の移動操作が可能となる。
【０３５５】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、たとえば、図４５に示したような処理を実行すればよい。
【０３５６】
ただし、本実施例２−４において、図１４Ａ〜Ｃに示したような操作を実行する場合、前記ステップ４２２で前記オブジェクトの位置、向きを算出するときには、たとえば、前記ポインティングされたときのオブジェクトと前記ポインタの相対的な位置関係が全て保存されるような位置、向きを算出する。
【０３５７】
前記システム制御装置１において、以上のような処理を行うことにより、図１４Ａ，図１４Ｂ，図１４Ｃに示したようなオブジェクトのポインティング操作および奥行き方向に傾ける操作が可能となる。
【０３５８】
以上説明したように、本実施例２−４の３次元ポインティング方法によれば、前記オブジェクトをポインティングし、選択または掴んだ後、前記オブジェクトを、前記入力ペン２０１の向きの変化に合わせて、３次元空間内で回転させたり、奥行き方向に傾けたりすることができる。
【０３５９】
また、前記入力装置２として、一般的なペンタブレットを用い、前記入力ペン２０１のペン先２０１Ｐを前記検出手段に接触させた状態で、オブジェクトをポインティングし、移動させることができるので、操作者の疲労を軽減することができる。
【０３６０】
また、本実施例２−４で説明したように、前記入力装置２の検出手段を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ３０３が前記入力ペン２０１のペン先２０１Ｐの一部であるかのような視覚効果が得られ、前記オブジェクト３０２の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
【０３６１】
なお、本実施例２−４では、前記入力装置２として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段（デジタイザ）を、前記表示装置（液晶ディスプレイ）３の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−４では、前記入力装置２と表示装置３の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
【０３６２】
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図８Ａに示した平板状の矢印型のポインタ３０３ａに限らず、たとえば、図８Ｂに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ３０３ｂ、図８Ｃに示すような円錐型のポインタ３０３ｃ、図８Ｄに示すような人差し指でオブジェクトを指し示している人の手型のポインタ３０３ｄであってもよい。
【０３６３】
また、本実施例２−４では、前記ポインタ３０３がポインティングしている点は矢印型ポインタの先（矢印の先端）としたが、これに限らず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
【０３６４】
また、本実施例２−４では、前記オブジェクト３０２の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト３０２はどのような形状であってもよい。
【０３６５】
また、本実施例２−４では、前記表示装置３に表現される３次元空間の座標系は、前記実施例２−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
【０３６６】
また、本実施例２−４では、前記実施例２−１または実施例２−２の方法により前記オブジェクト３０２を選択または掴み、移動させた後、たとえば、実施例２−３で説明したように前記入力ペン２０１の押しボタン２０１Ｄ3を押すことで前記オブジェクト３０２の移動操作を終了させるが、これに限らず、たとえば、前記押しボタン２０１Ｄ3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で移動操作を終了させてもよい。
【０３６７】
また、本実施例２−４では、前記ポインティングされたオブジェクト３０２を３次元空間内で回転させたり、奥行き方向へ傾けさせたりする操作方法を説明したが、この操作方法に、前記実施例２−３で説明したような平行移動させる操作方法を加えることで、より多彩なオブジェクト操作を行うことが可能となる。
【０３６８】
[実施例２−５]
次に、実施例２−５を説明する。
【０３６９】
前記実施例２−３および実施例２−４では、前記実施例２−１や実施例２−２で説明した方法で前記表示装置３に表現された３次元空間３０１内にあるオブジェクト３０２をポインティングし、選択または掴んだ後、前記ポインティングされたオブジェクト３０２を平行移動または回転させたり、奥行き方向に傾けさせたりするという操作を行うことが可能な３次元ポインティング方法について説明した。しかしながら、前記３次元空間３０１内にあるオブジェクト３０２をポインティングし、選択または掴んだ後、前記操作者が続けて行いたい操作には、前記オブジェクト３０２の移動や回転だけでなく、編集や変形等の、これまでの２次元GUI的な操作もある。そこで、本実施例２−５では、実施例１−５と同様に、前記オブジェクトを選択または掴んだ後、前記オブジェクトを２次元GUI的な操作が適用できる位置に自動的に移動させ、操作者が目的の編集、変形等を行った後に、また操作者の望む３次元位置に戻すような操作が可能な３次元ポインティング方法について説明する。ここでは、実施例１−５で用いた図１６Ａ〜１９Ｄを参照して説明を行う。また、図４６を参照して本実施例２−５の処理手順を説明する。図４６に示す処理手順は、第１の実施の形態における図２０で示した処理手順に対応するものである。
【０３７０】
また、本実施例２−５では、前記入力装置２は前記各実施例と同様の電磁誘導方式のペンタブレットを用いるとし、前記３次元空間を表現可能な表示装置３としてDFDを用いた場合を例に挙げてポインティング方法およびそれに続くオブジェクトの操作方法について説明する。
【０３７１】
前記DFDの原理は、図１６Ａ、Ｂを参照して実施例１−５で説明した通りである。本実施例においても、前記表示装置３として前記DFDを用いた場合も、前記各実施例で説明したように、前記入力装置（ペンタブレット）２の検出手段（デジタイザ）を、前記DFDの表示面と重ね合わせることが可能である。また、前記電磁誘導方式のペンタブレットの場合、前記検出手段の検出面上にΔｚの検出可能範囲があるため、前記入力ペンのペン先が前記検出面に接触していなくても前記入力ペンの位置、傾き、方位などの情報を検出することができる。そのため、DFDのような表示面の間に空間がある場合でも、前記検出手段をDFD表示装置の裏側に配置しておけば前記ペンの位置、傾き、方位などの情報は取得可能であることは当業者であれば容易に推測でき、実現することが可能である。さらに、現在は前記検出手段を表示面の裏側に配置することが多いが、前記検出手段が透明電極であれば表示面の裏側でなく、表側に配置することも可能である。このように、前記検出手段をDFDの表示面と重ね合わせることで、前記DFDにおける手前側の表示面上で前記入力ペンを操作し、直接ポインティングが可能である。そこで、本実施例２−５でも電磁誘導方式のペンタブレット２の検出手段とDFDの表示面は重ね合わさっているとする。
【０３７２】
また、本実施例２−５では、前記DFD３の表示面は２枚であるとし、図１７Ａおよび図１７Ｂに示すように、前記DFD３に表現された３次元空間３０１の中に、図２で示した座標系ＸＹＺと対応させた座標系ＸＹＺを設定し、オブジェクト３０２を３次元空間３０１内のｚ＜０の位置に配置されているとする。またこのとき、前記入力装置２の入力ペン２０１を操作する操作者は、前記３次元空間３０１のＸＹ平面を、ｚ＞０の方向から観察しているとする。
【０３７３】
また、本実施例２−５では、前記操作者から見て手前にある表示面３Ａをｚ＝０とし、前記手前にある表示面３Ａが、前記入力装置２の検出手段の検出面であるとする。
【０３７４】
前記操作者が、たとえば、前記実施例２−１や実施例２−２で説明した方法で、図１８Ａおよび図１９Ａに示すように、前記３次元空間３０１上に立体的に表示されたオブジェクト３０２をポインティングしたとする。そして、前記オブジェクト３０２の色などが変化することにより前記オブジェクト３０２がポインティングされていることを確認した操作者は、たとえば、前記実施例２−１や実施例２−２の方法を用いて前記オブジェクト３０２を選択、または掴む操作を行う。これにより、前記ポインティングされたオブジェクト３０２は、たとえば、図１８Ｂおよび図１９Ｂに示すように、前記DFDの手前の表示面３Ａに２次元物体として表示され、ポインタ３０３が消える。図１８Ａでは、前記オブジェクト３０２がｚ方向に厚みのないオブジェクトとして表示されているが、これがｚ方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた３次元立体表示は行わず、あくまで２次元としてDFDの手前の表示面３Ａに投影像として像を表示する。
【０３７５】
ここで操作者は、前記オブジェクト３０２上で、たとえば文字を書く等の目的の操作を、２次元GUIの操作として行う。そして、２次元GUIの操作が終了した後、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を押すと、ポインタ３０３が再び現れ、前記実施例２−３や実施例２−４で説明したような手順で、たとえば、図１８Ｃおよび図１９Ｃ、あるいは図１８Ｄおよび図１９Ｄに示すように、操作者の望む３次元位置にオブジェクト３０２を移動したり、奥行き方向に傾けさせたりできるようになる。
【０３７６】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図４６に示したような処理を実行すればよい。なお、図４６における最初の処理（ステップ４２０）は、前記３次元空間３０１上のオブジェクト３０２を選択、または掴むまでの処理であり、前記実施例２−１または実施例２−２で説明したとおりでよいので、詳細な説明は省略する。
【０３７７】
本実施例２−５の３次元ポインティング方法では、前記実施例２−１または実施例２−２で説明した手順によりオブジェクト３０２を選択、または掴む処理（ステップ４２０）が行われると、前記システム制御装置１は、２次元GUI的な操作、編集、加工を開始するための操作が行われたと判定する。そのため、次に、たとえば、前記表示装置３に表示しているポインタ３０３を非表示にし（ステップ４２６）、前記選択または掴んだオブジェクト３０２の射影を前記操作者から見て一番近い表示面３Ａに表示する（ステップ４２７）。これにより、前記オブジェクト３０２の２次元GUI的な操作、編集、加工が可能な状態になる。
【０３７８】
前記オブジェクト３０２の２次元GUI的な操作、編集、加工が可能な状態になった後は、前記入力ペン２０１からの２次元GUI的な操作を受け付け、実行する（ステップ４２８）。また、前記操作者が、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を１回押すなどの、２次元GUI的な操作、編集、加工を終了するための操作を行ったか否かを判定する（ステップ４２９）。このとき、前記２次元GUI的な操作、編集、加工を終了するための操作を行っていなければ、さらに他の２次元GUI的な操作、編集、加工を受け付け、実行する。一方、２次元GUI的な操作、編集、加工を終了するための操作を行った場合は、２次元GUI的な操作を行うモードから、前記実施例２−３または実施例２−４で説明したような処理を行うモードに戻り、前記実施例２−３または実施例２−４で説明したような手順で前記オブジェクトを平行移動、回転、傾けるといった操作を行うことができる（ステップ４３０）。前記ステップ４３０は、前記実施例２−３または実施例２−４で説明した手順で処理を行えばよいので、詳細な説明は省略する。
【０３７９】
前記システム制御装置１において、以上のような処理を行うことにより、図１８Ａ，図１８Ｂ，図１８Ｃ，図１８Ｄのようなポインタの表示制御、オブジェクトの３次元的な移動等の操作、前記オブジェクトの２次元GUI的な操作が可能となる。
【０３８０】
以上説明したように、本実施例２−５の３次元ポインティング方法によれば、前記入力ペン２０１の操作だけで、前記実施例２−１から実施例２−４で説明したようなポインタの３次元的な表示制御およびオブジェクトの３次元的な移動等の操作に加え、前記オブジェクトの２次元GUI的な操作、編集、加工を行うことが可能である。そのため、操作者は、オブジェクトの２次元GUI的な操作、編集、加工を行うための新たな３次元操作を習得する必要がない。
【０３８１】
また、本実施例２−５の３次元ポインティング方法では、前記実施例２−１または実施例２−２の方法により前記オブジェクトを選択、または掴むことで、３次元的なポインティングを行うモードから、前記オブジェクトの２次元GUI的な操作、編集、加工を行うモードに切り替え、前記システム制御装置１の前記入力情報取得手段１０１で取得した情報を、前記オブジェクトの２次元GUI的な操作、編集、加工を行うための情報として処理するようにしたが、前記オブジェクトをポインティングする操作の後に、キーボードの特定のキーや他のスイッチを操作することで前記オブジェクトの２次元GUI的な操作、編集、加工を行うモードに切り替えるようにしてもよい。
【０３８２】
また、本実施例２−５では、前記入力装置２である電磁誘導方式のペンタブレットの検出手段（デジタイザ）を、３次元空間を表示できる表示装置３であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−５では、前記表示装置３としてDFDを用いたが、これに限らず、前記実施例２−１から実施例２−４で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
【０３８３】
また、本実施例２−５では、目的のオブジェクト３０２の例として２次元的な４角形のオブジェクトを挙げているが、これに限らず、前記オブジェクト３０２の形状はどのような形状であってもよい。
【０３８４】
また、本実施例２−５では、前記表示装置３に表現される３次元空間の座標系は、前記実施例２−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
【０３８５】
また、本実施例２−５では、前記入力ペン２０１の押しボタン２０１Ｄ3の操作で、前記２次元GUI的な操作、編集、加工を行うモードを終了させたが、これに限らず、たとえば、前記押しボタン２０１Ｄ3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で終了させてもよい。
【０３８６】
また、本実施例２−５では、前記オブジェクト３０２に２次元GUI的な編集を行う例として、たとえば、図１８Ｃに示したように「Ａ」という文字を記入する場合を挙げたが、前記オブジェクト３０２がファイルを表すオブジェクトで、それをポインティング後、２次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が２次元GUI上で編集し、ファイルを閉じた後に操作者の望む３次元位置に移動可能であるなどとしてもよい。
【０３８７】
[実施例２−６]
本実施例２−６の３次元ポインティング方法は、前記実施例２−５で説明した３次元ポインティング方法の応用例の１つであり、３次元空間３０１内にあるオブジェクト３０２を前記実施例２−１や実施例２−２の方法でポインティングし、選択または掴んだ後、前記オブジェクト３０２を操作者が操作しやすい位置、すなわちこれまでの２次元GUI操作が適用できる位置に自動的に移動させ、操作者が目的の編集、加工等を行う。そして、目的の編集、加工が終了した後に、操作者が諸操作を行うと、前記オブジェクト３０２が操作者からみて３次元奥行き方向にある他のオブジェクトに干渉するまで移動し、前記他のオブジェクトに干渉した後、前記他のオブジェクトの持つ属性によって移動してきたオブジェクトの状態を変化させるポインティング方法である。本実施例２−６では実施例１−６で用いた図２１Ａ〜２５Ｃを参照して説明を行う。また、本実施例２−６の処理手順を図４７を参照して説明する。図４７に示す処理手順は、第１の実施の形態における図２６で示した処理手順に対応するものである。
【０３８８】
本実施例２−６では、前記実施例２−５と同様に、前記入力装置２として電磁誘導式のペンタブレットを用い、前記表示装置３としてDFDを用いた場合を例に挙げて、ポインティング方法およびオブジェクトの操作方法について説明する。
【０３８９】
また、前記入力装置（ペンタブレット）２の検出手段（デジタイザ）は、前記表示装置（DFD）３の表示面と重ね合わせ一体的に設けられているとする。
【０３９０】
また、本実施例２−６の３次元ポインティング方法を説明するにあたって、たとえば、図２１Ａおよび図２１Ｂに示すように、前記DFD３の２枚の表示面３Ａ，３Ｂの間に表現された３次元空間３０１の中に、座標系ＸＹＺを設定し、オブジェクト３０２とウィンドウ３０４を３次元空間３０１内のｚ＜０の位置に配置した場合を例に挙げる。
【０３９１】
前記オブジェクト３０２の操作をしたい操作者は、まず、図２２Ａおよび図２４Ａに示すように、前記実施例２−１や実施例２−２で説明した方法で前記オブジェクト３０２をポインティングし、選択または掴む操作を行う。これにより、前記選択または掴んだオブジェクト３０２は、前記DFDの手前の表示面３Ａに２次元物体として表示され、前記ポインタ３０３が消える。本実施例２−６では、前記オブジェクト３０２がｚ方向に厚みのないオブジェクトであるが、これがｚ方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた３次元立体表示は行わず、あくまで２次元としてDFDの前面の表示面３Ａに投影像として表示する。
【０３９２】
このように、前記オブジェクト３０２の表示方法が変わると、前記３次元空間３０１上で２次元GUIの操作を行うことが可能な状態になるので、前記操作者は、前記入力ペン２０１で、たとえば、図２２Ｃおよび図２４Ｃに示すように、前記オブジェクト３０２上に文字を書く等の目的の操作を２次元GUIの操作として行うことができる。そして、前記操作者が続けて、図２３Ａおよび図２５Ａに示すように、前記オブジェクト３０２を所望の位置まで２次元的な操作で移動させた後、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を１回押すと、図２３Ｂおよび図２５Ｂに示すように、前記オブジェクト３０２は、前記操作者からみて３次元奥行き方向（ｚ＜０）に、ウィンドウ３０４と干渉するまで移動する。このとき、前記オブジェクト３０２の前記３次元奥行き方向のｚ座標が段階的に小さくなるようなアニメーションをつけると、前記操作者に移動の過程が伝わりやすい。そして、前記オブジェクト３０２が前記ウィンドウ３０４と干渉すると、前記オブジェクト３０２に対して、前記ウィンドウ３０４の持つ属性として、ウィンドウ上に移動する動作が実行される。
【０３９３】
またこのとき、図２３Ｂおよび図２５Ｂに示したように、前記オブジェクト３０２を自動的に３次元奥行き方向（ｚ＜０）に移動させる代わりに、たとえば、前記実施例２−５で説明したように、前記入力ペン２０１の押しボタン２０１Ｄ3を押してから３次元的なオブジェクト操作モードに切り替えた上で、前記オブジェクト３０２を３次元奥行き方向（ｚ＜０）に移動させ、前記ウィンドウ３０４と干渉する位置まで移動させることも可能である。
【０３９４】
このような３次元ポインティング方法を実現させるためには、前記システム制御装置１において、図４７に示したような処理を実行すればよい。なお、図４７における最初の処理（ステップ４２０）は、前記３次元空間３０１上のオブジェクト３０２を選択、または掴むまでの処理であり、前記実施例２−１または実施例２−２で説明したとおりでよいので、詳細な説明は省略する。
【０３９５】
本実施例２−６の３次元ポインティング方法では、前記実施例２−１または実施例２−２で説明した手順によりオブジェクト３０２を選択、または掴む処理（ステップ４２０）が行われると、前記システム制御装置１は、２次元GUI的な操作、編集、加工を開始するための操作が行われたと判定する。そのため、次に、たとえば、前記表示装置３に表示しているポインタ３０３を非表示にし（ステップ４２６）、前記選択または掴んだオブジェクト３０２の射影を前記操作者から見て一番近い表示面３Ａに表示する（ステップ４２７）。これにより、前記オブジェクト３０２の２次元GUI的な操作、編集、加工が可能な状態になる。
【０３９６】
前記オブジェクト３０２の２次元GUI的な操作、編集、加工が可能な状態になった後は、前記入力ペン２０１からの２次元GUI的な操作を受け付け、実行する（ステップ４２８）。また、前記操作者が、たとえば、前記入力ペン２０１の押しボタン２０１Ｄ3を１回押すなどの、２次元GUI的な操作、編集、加工を終了するための操作を行ったか否かを判定する（ステップ４２９）。このとき、前記２次元GUI的な操作、編集、加工を終了するための操作を行っていなければ、さらに他の２次元GUI的な操作、編集、加工を受け付け、実行する。一方、２次元GUI的な操作、編集、加工を終了するための操作を行った場合は、２次元GUI的な操作を行うモードから、前記実施例２−１から実施例２−４で説明したような３次元的なポインティング操作を行うモードに戻る。これにより、前記システム制御装置１では、前記オブジェクト３０２の奥行き方向に、前記ウィンドウ３０４のような前記オブジェクト３０２と干渉する他のオブジェクトがあるか否かの判定を行う（ステップ４３１）。そして、干渉する他のオブジェクトがある場合は、たとえば、図２３Ｂおよび図２５Ｂに示したように、前記他のオブジェクト（ウィンドウ３０４）に干渉するまで、前記オブジェクト３０２を３次元奥行き方向（ｚ＜０）に移動させて表示する（ステップ４３２）。そして、前記他のオブジェクトと干渉した時点で前記オブジェクト３０２の３次元奥行き方向への移動を止め、前記オブジェクト３０２に対して、前記干渉する他のオブジェクトの持つ属性を実行する（ステップ４３３）。
【０３９７】
一方、前記オブジェクト３０２と干渉する他のオブジェクトがない場合は、前記オブジェクト３０２をあらかじめ定められた奥行き位置、たとえば、前記ステップ４２６以降の処理を行う直前と同じ奥行き位置まで移動させて表示する（ステップ４３４）。
【０３９８】
前記システム制御装置１において、図４７に示したような手順の処理を行うことにより、図２２Ａ，図２２Ｂ，図２３Ｃ，図２３Ａ，図２３Ｂ，図２３Ｃのような一連のポインタの表示制御、オブジェクトの３次元的な移動等の操作、前記オブジェクトの２次元GUI的な操作が可能となる。
【０３９９】
以上説明したように、本実施例２−６の３次元ポインティング方法によれば、３次元空間３０１内にあるオブジェクト３０２をポインティングし、選択または掴むことで、前記オブジェクト３０２を操作者が操作しやすい位置まで自動的に移動させ、これまでの２次元GUI操作により目的の操作、編集、加工等を行うとともに、前記目的の操作、編集、加工が終了した後に、前記オブジェクト３０２を操作者からみて３次元の奥行き方向に移動させるとともに、移動させたオブジェクト３０２と干渉する他のオブジェクトが存在する場合に、前記他のオブジェクトの持つ属性によって移動させた前記オブジェクト３０２の状態を変化させることができる。
【０４００】
また、本実施例２−６の３次元ポインティング方法では、前記オブジェクトを選択、または掴むことで、３次元的なポインティング操作を行うモードからオブジェクトの２次元GUI的な操作、編集、加工を行うモードに切り替え、前記システム制御装置１の前記入力情報取得手段１０１で取得した情報を、前記オブジェクトの２次元GUI的な操作、編集、加工を行うための情報として処理するようにしたが、前記オブジェクトをポインティングする操作の後に、キーボードの特定のキーや他のスイッチを操作することで前記オブジェクトの２次元GUI的な操作、編集、加工を行うモードに切り替えるようにしてもよい。
【０４０１】
また、本実施例２−６では、前記入力装置２である電磁誘導方式のペンタブレットの検出手段（デジタイザ）を、３次元空間を表示できる表示装置３であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例２−６では、前記表示装置３としてDFDを用いたが、これに限らず、前記実施例２−１から実施例２−４で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
【０４０２】
また、本実施例２−６では、目的のオブジェクト３０２の例として２次元的な４角形のオブジェクトを挙げていたが、これに限らず、前記オブジェクト３０２の形状はどのような形状であってもよい。
【０４０３】
また、本実施例２−６では、前記表示装置３に表現される３次元空間の座標系は、前記実施例２−１と同様、すなわち図４Ａに示したように、表示面がｚ＝０となるように設定したが、３次元が表現できるのであれば３次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
【０４０４】
また、本実施例２−６では、前記入力ペン２０１の押しボタン２０１Ｄ3の操作で、前記２次元GUI的な操作、編集、加工を行うモードを終了させたが、これに限らず、たとえば、前記押しボタン２０１Ｄ3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で終了させてもよい。
【０４０５】
また、本実施例２−６では、前記オブジェクト３０２に２次元GUI的な編集を行う例として、たとえば、図２２Ｃに示したように「Ｂ」という文字を記入する場合を挙げたが、前記オブジェクト３０２がファイルを表すオブジェクトで、それをポインティング後、２次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が２次元GUI上で編集し、ファイルを閉じた後に操作者の望む３次元位置に移動可能であるなどとしてもよい。
【０４０６】
また、本実施例２−６では、前記他のオブジェクトの例としてウィンドウ３０４を挙げ、前記ウィンドウ３０４と干渉したときにファイルを移動するという属性を実行する場合について説明したが、これに限らず、たとえば、他のアプリケーション実行用のアイコンと干渉したときにファイルを実行するという属性を実行させることも可能である。またその他にも、実施例１−６と同様に、ゴミ箱オブジェクトと干渉したときにファイルを削除するという属性を実行させることも可能である。
【０４０７】
以下、実施例１−６で用いた図２８Ａ〜図３２Ｃを参照して本実施例２−６の３次元ポインティング方法でオブジェクトを削除する方法について説明する。
【０４０８】
本実施例２−６の３次元ポインティング方法では、前述のように、オブジェクト３０２をウィンドウ３０４に移動させるだけでなく、たとえば、オブジェクト３０２をゴミ箱オブジェクトに移動させ、削除することもできる。そこで、図２８Ａおよび図２８Ｂに示すように、前記DFD３の２枚の表示面の間に表現された３次元空３０１間の中に、座標系ＸＹＺを設定し、オブジェクト３０２とゴミ箱オブジェクト３０５が３次元空間３０１内のｚ＜０の位置に配置されて場合を例に挙げ、前記オブジェクト３０２の削除手順について説明する。
【０４０９】
このとき、前記オブジェクト３０２を削除したい操作者は、まず、図２９Ａおよび図３１Ａに示すように、前記入力ペン２０１を操作して削除したいオブジェクト３０２をポインティングし、選択または掴む操作を行う。これにより、図２９Ｂおよび図３１Ｂに示すように、前記ポインティングされたオブジェクト３０２が、前記手前の表示面３Ａに移動し、２次元GUI操作が可能な状態に変わる。ここで、前記操作者が、たとえば、図３０Ａおよび図３２Ａに示したように、前記ポインティングしたオブジェクト３０２をゴミ箱オブジェクト３０５上まで移動させ、たとえば、前記入力ペン２０１のボタン２０１Ｄ3を１回押すなどの特定の操作をすると、前記２次元GUI操作が可能な状態から、３次元ポインティングが可能な状態に戻る。そして、前記システム制御装置１で行われる処理が、図４７に示したような手順である場合は、３次元ポインティングが可能な状態に戻った後、前記オブジェクト３０２が自動的に３次元奥行き方向（ｚ＜０）に移動し、前記ゴミ箱オブジェクト３０５と干渉した時点で、図３０Ｂおよび図３２Ｂに示すように、前記オブジェクト３０２の表示が消え、前記ゴミ箱３０５がゴミ（オブジェクト）が入っている状態の表示に切り替わる。
【０４１０】
このように、本実施例２−６の３次元ポインティング方法は、前記オブジェクト３０２と干渉したオブジェクトが、前記オブジェクト３０２に対して、属性を実行することが可能であれば、どのような属性を持つオブジェクトであってもよい。
【０４１１】
[実施例２−７]
次に、実施例２−７について説明する。図４８および図４９は本実施例２−７の３次元ポインティング方法で用いる入力ペンの構成例を示す図である。
【０４１２】
本実施例２−７では、前記実施例２−１から実施例２−６で説明したような３次元ポインティング方法を実施するときに用いる入力ペン２０１として、前記入力ペン２０１が備えるホイールの回転量、またはスライドバーの移動量に応じて、ペン先２０１Ｐが入力ペン２０１の筐体内に出入りする構造の入力ペンを用いた場合のポインティング方法について説明する。
【０４１３】
本実施例２−７で用いる入力ペン２０１は、たとえば、図４８に示すように、筐体２０１Ｅに付属したホイール２０１Ｄが、ペン先２０１Ｐの内部に設けられたギア（またはネジ）部２０１Ｆと直結しており、前記ホイール２０１Ｄを回転させると、前記ペン先２０１Ｐが筐体２０１Ｅ内に入り込むようになっている。また、図４８に示したような構成に限らず、たとえば、図４９に示すように、前記スライドバー２０１Ｄが、ペン先２０１Ｐの内部に設けられたギア（またはネジ）部２０１Ｆと内部ギア（またはネジ）を介してつながっており、前記スライドバー２０１Ｄを移動させると、前記ペン先２０１Ｐが筐体２０１Ｅ内に入り込むようになっていてもよい。なお、図４８および図４９は前記入力ペン２０１の構成例であり、図４８および図４９に示した入力ペンのように、前記ホイールまたはスライドバー２０１Ｄを回転または移動させることで、前記ペン先２０１Ｐが筐体２０１Ｅ内に入り込むような構成であれば、どのような構造であってもよい。
【０４１４】
以下、本実施例２−７におけるポインティング方法を実施例１−７で用いた図３５Ａ〜図３６Ｃを参照して説明する。
【０４１５】
本実施例２−７では、図４８または図４９に示したような構成の入力ペン２０１を用いて前記表示装置３に表現された３次元空間のポインティングを行う場合の例として、前記実施例２−１で説明したポインティング方法を実施する場合を挙げる。このとき、前記入力装置２および前記表示装置３はそれぞれ、前記実施例２−１と同様に電磁誘導方式のペンタブレットと液晶ディスプレイを用いるとする。また、前記入力装置２の検出手段（デジタイザ）は、前記液晶ディスプレイ３の表示面と重ね合わせているとする。
【０４１６】
このとき、前記操作者が、前記入力ペン２０１のペン先２０１Ｐを前記液晶ディスプレイ３のＸＹ平面（ｚ＝０）の任意の１点におくと、たとえば、図３５Ａおよび図３６Ａに示すように、前記液晶ディスプレイ３の３次元空間３０１上に、円錐型等の前記入力ペン２０１のペン先２０１Ｐの形状を反映した形状のポインタ３０３が表示される。
【０４１７】
そして、前記操作者が、前記入力ペン２０１のホイール２０１Ｄを回転させる（またはスライドバー２０１Ｄを移動させる）と、たとえば、図３５Ｂおよび図３６Ｂ、あるいは図３５Ｃおよび図３６Ｃに示したように、前記入力ペン２０１のホイール２０１Ｄの回転量（またはスライドバー２０１Ｄの移動量）に応じて、表示される前記ポインタ３０３の長さが変わる。
【０４１８】
このとき、たとえば、図３５Ｂおよび図３６Ｂ、あるいは図３５Ｃおよび図３６Ｃに示したように、円錐型の前記ポインタ３０３の大きさを、前記入力ペン２０１のペン先２０１Ｐの筐体に押し込まれる量と比例させることで、たとえば、前記実施例２−１で説明したような方法と比べて、前記ポインタ３０３が前記ペン先２０１Ｐの一部であるという視覚的効果がさらに高くなる。
【０４１９】
また、本実施例２−７では、前記実施例２−１で説明した３次元ポインティング方法を実施する場合を例に挙げたが、たとえば、ペン先２０１Ｐの検出面との接触の有無を検出し、電動機構によって、前記ペン先２０１Ｐの筐体２０１Ｅ内への出入りを制御する構成の入力ペンを用いれば、前記実施例２−２で説明したように、前記ペン先２０１Ｐの検出面との接触の有無によってポインティングを行うことも可能であることはもちろんである。
【０４２０】
[実施例２−８]
次に、実施例２−８について説明する。実施例２−８では、実施例１−８と同様の具体的利用シーンについて説明する。ここでは、実施例１−８で用いた図３７Ａ〜図４０Ｃを参照して説明を行う。
【０４２１】
本実施例２−８では、前記実施例２−１から実施例２−７で説明したような３次元ポインティング方法の具体的な利用シーンとして、３次元表示が可能な表示画面と、ペンタブレットの検出手段とを内蔵している、音楽再生機能を操作するためのリモコンを例に挙げる。このとき、前記入力ペン２０１を操作したときのリモコンの表示画面上のポインタおよびオブジェクトの表示制御の手順は、前記実施例２−１から実施例２−７で説明した手順と同じでよいため、詳細な説明は省略する。
【０４２２】
本実施例２−８では、前記操作者は、前記実施例２−７で説明したような、ペン先２０１Ｐが筐体内に押し込まれる入力ペン２０１を用い、たとえば、図３７Ａおよび図３９Ａに示したような、前記リモコンの３次元空間３０１に表示されたオブジェクトを操作する。まず、たとえば、図３７Ｂおよび図３９Ｂに示すように、前記操作者は、前記入力ペン２０１を操作して再生ボタン３０２ａをポインティングすると、前記再生ボタン３０２ａが押された状態の表示に切り替わり、音楽の再生が開始される。
【０４２３】
また、たとえば、図３７Ｃおよび図３９Ｃに示すように、前記入力ペン２０１を操作してボリュームのつまみ３０２ｂをポインティングし、たとえば、前記入力ペン２０１のボタン２０１Ｄを押しながら前記つまみ３０２ｂを回転させるように前記入力ペンを移動させると、再生中の音楽のボリュームを上げたり下げたりすることができる。
【０４２４】
また、ボリュームを上げたり下げたりする場合は、図３７Ｃおよび図３９Ｃに示したような操作に限らず、たとえば、図３８Ａおよび図４０Ａに示すように、前記つまみ３０２ｂの中心付近で前記つまみ３０２ｂをポインティングした後、前記入力ペン２０１を軸周りに回転させることで、前記つまみ３０２ｂを回転させ、ボリュームを上げたり下げたりすることもできる。
【０４２５】
また、たとえば、図３８Ｂおよび図４０Ｂに示すように、再生中の音楽に関する情報が表示されている領域３０２ｃを前記入力ペン２０１でポインティングしたときに、図３８Ｃおよび図４０Ｃに示すように、前記領域３０２ｃが２次元的な表示に切り替わり、２次元GUI操作が可能な状態にできるようにしておけば、たとえば、手書き文字の認識機能等と組み合わせて、前記領域３０２ｃに再生したい音楽のトラック番号を入力し、目的のトラック番号にスキップさせることができる。
【０４２６】
このように、前記実施例２−１から実施例２−７の３次元ポインティング方法を利用することで、３次元空間３０１の操作ボタン等のオブジェクトを容易に、かつ直感的に操作することができる。
【０４２７】
また、本実施例２−８では、リモコンを用いた音楽機器の操作例を示したが、これに限らず、たとえば、PDAであったり、携帯電話、また、キオスク端末やATMなどの同様の形態が取れる機器の操作に適用することもでき、それぞれの機器をより直感的に操作することが可能となる。また、操作においても、本実施例では、音楽を再生し、ボリュームを上げて、トラックを変えるという操作を行ったが、これに限らず、前記入力ペン２０１における操作と関連づけられる操作であれば、どのような操作でも可能である。
【０４２８】
また、本実施例２−８においては、トラック番号を入力するのに手書き認識を用いるとしたが、2次元のGUIで実現可能なものであれば、どのような方法でもよく、たとえば、プルダウンメニューでトラック番号を表示し入力ペン２０１で選択するような入力方法でもよい。
【０４２９】
また、前記各実施例で説明した３次元ポインティングを実現する３次元ポインティング装置は、前記３次元ポインティング方法の実現に特化した専用の装置である必要はなく、たとえば、図４１に示したように、PC等のコンピュータ（システム制御装置１）と、前記コンピュータに前記各実施例で説明したような３次元ポインティング方法を実行させる３次元ポインティングプログラムによって実現することもできる。この場合、前記３次元ポインティングプログラムは、前記コンピュータで読み取りが可能な状態で記録されていれば、磁気的，電気的，光学的のいずれの記録媒体に記録されていてもよい。また、前記３次元ポインティングプログラムは、たとえば、前記記録媒体に記録して提供するだけでなく、インターネット等のネットワークを通して提供することも可能である。
【０４３０】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。第３の実施の形態は本発明の第２の目的に対応するものである。
【０４３１】
第３の実施の形態の３次元ポインティング方法は、表示装置に表現された３次元空間内にポインタおよびオブジェクトを表示しておき、前記ポインタで３次元空間内の任意の一点をポインティングするために前記ポインタを奥行き方向に移動させる操作が行われた場合、前記ポインタの、ポインティングを行う部分とは異なる部分の奥行き位置、形状、サイズを一定に保った状態で、前記ポインティングを行う部分を奥行き方向に移動させる。そして、ポインティングを行う部分がポインティングしている３次元空間位置にオブジェクトがある場合、そのオブジェクトをポインティングされていることを示す状態に変えて表示させる。このようにすることで、前記ポインタの操作者が、ポインタの奥行き位置および前記ポインタがポインティングしている位置を容易に、かつ正確に認識できるようにした。
【０４３２】
図５０は、本発明の３次元ポインティング方法を実現するためのシステムの構成例を示す模式図である。
図５０において、１はポインティング装置（システム制御装置）、１０１は入力情報取得手段、１０２はポインティング位置／変形量算出手段、１０３はポインタ生成手段、１０４は表示制御手段、１０５はポインティング判定手段、１０６はオブジェクト生成手段、１０７は処理制御手段、１０８は記憶手段、２は入力装置、３は表示装置である。
【０４３３】
第３の実施の形態の３次元ポインティング方法は、たとえば、前記PCのようなシステム制御装置に接続された表示装置に表現された３次元空間上にあるポインタを、前記システム制御装置に接続された入力装置を用いて３次元的に操作し、前記３次元空間上の任意の位置をポインティングするときに適用して好ましい３次元ポインティング方法である。
【０４３４】
前記システム制御装置１は、たとえば、図５０に示すように、前記入力装置２から入力された入力情報を取得する入力情報取得手段１０１と、前記入力情報取得手段１０１で取得した入力情報がポインタの操作に関する情報（ポインタ操作情報）である場合に、前記入力情報に基づいてポインティングしている点の移動方向および移動量を算出した後ポインティング位置およびポインタの変形量を算出するポインティング位置／変形量算出手段１０２と、前記ポインティング位置／変形量算出手段１０２の算出結果に基づいてポインタを生成するポインタ生成手段１０３と、前記ポインタ生成手段１０３で生成されたポインタを前記表示装置３に表示させる表示制御手段１０４とを備える。また、前記システム制御装置１は、前記各手段に加え、たとえば、図５０に示したように、前記ポインティング位置／変形量算出手段１０２の算出結果に基づいて生成するポインタにポインティングされているオブジェクトがあるか否か、すなわち、ポインタがポインティングしている点のｘｙｚ座標にオブジェクトがあるか否かの判定をするポインティング判定手段１０５と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えるオブジェクト生成手段１０６とを備える。
【０４３５】
また、前記システム制御装置１は、たとえば、前記PCのように、前記入力装置２からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置であり、図５０に示したように、前記各手段の他に、たとえば、処理制御手段１０７や記憶手段１０８を備えている。そして、前記入力情報取得手段１０１で取得した情報が、前記ポインタ操作情報とは異なる場合、前記処理制御手段１０７は取得した情報に応じた処理を実行する。
【０４３６】
つまり、本実施の形態の３次元ポインティング方法は、特殊な３次元ポインティング装置を用いる必要はなく、図５０に示したような既存のシステム制御装置１を用いて実現することができる。
【０４３７】
また、前記入力装置２は、たとえば、キーボードやマウスのように前記システム制御装置１（PC）に一般的に接続されている入力デバイスに限らず、ペンタブレットやジョイスティック（ジョイパッド）等の入力デバイスであってもよい。また、前記入力装置２で前記ポインタの操作をするときには、たとえば、マウス、あるいはキーボード等の１種類の入力デバイスで行ってもよいし、マウス操作とキーボード上の特定のキーの押下を組み合わせる等、２種類以上の入力デバイスで行ってもよい。またさらに、前記入力装置２は、たとえば、タッチパネルやペンタブレットのように前記表示装置３の表示面と一体化されていてもよい（たとえば、特開平5-73208号公報を参照。）。このような入力装置２の場合、ペンや指先などで前記表示装置３の表示画面に触れることで前記ポインタ操作情報を入力できる。
【０４３８】
また、前記表示装置３は、３次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのような３次元オブジェクトを２次元平面に射影した形で表示する２次元表示装置でも、DFD（たとえば、特許第3022558号明細書や特許第3460671号明細書を参照）のような３次元立体像を表示することが可能な表示装置でもよい。つまり、前記表示装置３は、操作者（観察者）が、表示されたポインタやオブジェクトの位置や形状を３次元的に認識（知覚）することが可能であれば、どのような表示装置であってもよい。
【０４３９】
[実施例３−１]
図５１乃至図５５は、本発明による実施例３−１の３次元ポインティング方法を説明するための模式図であり、図５１はポインタの操作方法を説明する図、図５２はポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図、図５３は図５２の３次元空間内の変化の斜視図、図５４はポインタよりも手前にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図、図５５は本実施例３−１の３次元ポインティング方法をシステム制御装置（ポインティング装置）で実行するときの処理手順を説明するためのフロー図である。なお、図５２は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。また、図５３も上段、中段、下段に３通りの状態を示しており、それぞれ、図５２の上段、中段、下段の各状態の３次元空間内の様子を斜視図で示している。また、図５４も同様に、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
図５１において、１はシステム制御装置、２０１はキーボード、２０２はマウス、３は表示装置（２次元表示装置）、３０１は表示面、４はポインタである。
【０４４０】
本実施例３−１では、図５１に示すように、前記入力装置２としてキーボード２０１とマウス２０２を用い、前記表示装置３として液晶ディスプレイ等の２次元表示装置を用いた場合を例に挙げ、３次元ポインティング方法を説明する。
【０４４１】
また、前記表示装置３に表現される３次元空間上で、たとえば、図５１に示すように、表示面３０１をＺ＝０とし、前記表示面３０１がＸＹ平面となり、かつ、操作者から見て表示面３０１から奥に向かう方向をＺ軸の正の方向とする３次元座標系ＸＹＺをとっているとする。このとき、前記３次元空間内に表示されたポインタ４をＸＹ平面内での移動方向および移動距離は、前記マウス２０２本体を机上等の平面上で２次元的に動かしたときの移動方向および移動距離に基づいて算出（決定）する。
【０４４２】
また、奥行き方向（Ｚ方向）の移動方向および移動距離は、たとえば、図５１に示したように、前記キーボード２０１のコントロールキー（Ctrlキー）等のあらかじめ定められたキー２０１Ａを押しながら前記マウス２０２のホイール２０２Ａを回転させたときの回転方向と回転角度に基づいて算出（決定）する。このとき、たとえば、図５１に示したように、前記マウスのホイール２０２Ａを＋Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の＋Ｚ方向、すなわち操作者から見て奥に向かう方向に移動させる。そして、前記マウスのホイール２０２Ａを−Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の−Ｚ方向、すなわち操作者から見て手前に向かう方向に移動させる。
【０４４３】
また、本実施例３−１の３次元ポインティング方法では、前記ポインタ４の形状は矢印形とし、矢の先端部分がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を表しているとする。そして、前記矢印形のポインタ４でポインティングを行う部分を奥行き方向に移動させるときには、前記矢の先端の反対側の端の奥行き位置を一定に保ちながら前記矢の部分を奥行き方向に移動させて、前記ポインタ４を傾ける。
【０４４４】
このような３次元ポインティング方法の一例として、図５２の上段および図５３の上段に示すように、３次元空間内の異なる奥行き位置にポインタ４およびオブジェクト５が表示されている場合のポインティング方法を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト５上に前記ポインタ４が重なって見えるが、前記ポインタ４がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５は奥行き位置が異なるので、前記オブジェクト５はポインティングされていない。
【０４４５】
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図５２の中段および図５３の中段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が＋Ｚ方向に移動し、矢の部分が操作者から見て奥の方向に傾く。なお、図５２の中段および図５３の中段では、前記ポインタのポインティングしている点のＸＹ座標（ｘｐ，ｙｐ）を一定に保ち、かつ、前記ポインタ４の形状、サイズも一定に保った状態で傾ける例を示している。そのため、前記矢の先端の反対側の端は、奥行き位置を一定に保つために、図５２の中段および図５３の中段に示したように、＋Ｘ方向に移動している。
【０４４６】
このように、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すことにより、前記ポインタ４は、ポインティングしている点（矢印の矢の部分）側が操作者から見て遠くなるように傾く。またこのとき、前記ポインタ４の形状およびサイズを保ちながら回転させれば、前記ポインタ４の矢の部分の幅が狭く表示される。この結果、前記操作者は、ポインタ４が奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりも奥をポインティングしていることも認識できる。
【０４４７】
ただし、本実施例３−１の３次元ポインティング方法は、図５２の中段および図５３の中段に示したようなポインタ４の傾けかたを特定するものではなく、後述のように、前記矢の先端の反対側の端の奥行き位置が一定に保たれていれば、どのような傾けかたでもよい。
【０４４８】
そして、図５２の中段および図５３の中段に示したような状態から、さらにもう一度、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウス２０２のホイール２０２Ａを＋Ｚ方向に回したとする。このときも、前記ポインタ４は、たとえば、図５２の下段および図５３の下段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が＋Ｚ方向に移動し、矢の部分が操作者から見てさらに奥の方向に傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅がさらに狭く表示される。この結果、前記操作者は、ポインタ４がさらに奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりもさらに奥をポインティングしていることも認識できる。
【０４４９】
またこのとき、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すという操作を続けた結果、図５２の下段および図５３の下段に示したように、前記ポインタ４のポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が前記オブジェクト５と同じ奥行き位置に到達し、前記ポインタ４の先端のｘｙｚ座標（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５の表面上または内部の任意の点のｘｙｚ座標が一致すると、前記オブジェクト５は、前記ポインタ４によってポインティングされた状態になる。そのため、たとえば、図５２の下段および図５３の下段に示したように、前記オブジェクト５の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ４の形状からポインタ４の奥行き方向の位置、およびポインタ４がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ４によってポインティングされたときにオブジェクト５の色を変えることで、前記オブジェクト５と重なっているポインタ４が前記オブジェクト５をポインティングしているか否かが直観的、かつ、正確に認識できる。
【０４５０】
また、図５２および図５３では、前記操作者から見て、前記オブジェクト５の奥行き位置よりも手前に前記ポインタ４があり、前記ポインタ４を奥（＋Ｚ方向）に傾ける場合の操作を説明したが、本実施例３−１の３次元ポインティング方法では、前記ポインタ４を手前（−Ｚ方向）に傾けることもできる。
【０４５１】
前記ポインタ４を手前（−Ｚ方向）に傾ける場合の一例として、図５４の上段に示すように、前記オブジェクト５の奥行き位置よりも奥に前記ポインタ４がある場合を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記ポインタの矢の先端部分が前記オブジェクトと重なって隠れているように見えるが、前記ポインタがポインティングしている点（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクトは奥行き位置が異なるので、前記オブジェクトはポインティングされていない。
【０４５２】
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを−Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図５４の中段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が−Ｚの方向に移動し、矢の部分が操作者から見て手前の方向に傾く。なお、図５４の中段では、前記ポインタ４のポインティングしている点のＸＹ座標（ｘｐ，ｙｐ）を一定に保ち、かつ、前記ポインタ４の形状、サイズも一定に保った状態で傾ける例を示している。そのため、前記矢の先端の反対側の端は、奥行き位置を一定に保つために、図５４の中段に示したように、＋Ｘ方向に移動している。
【０４５３】
このように、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを−Ｚ方向に回すことにより、前記ポインタ４は、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が操作者から見て近くなるように傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が広く表示される。この結果、前記操作者は、ポインタ４が奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりも手前をポインティングしていることも認識できる。
【０４５４】
そして、図５４の中段に示したような状態から、さらにもう一度、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを−Ｚ方向に回したとする。このときも、前記ポインタ４は、たとえば、図５４の下段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が−Ｚ方向に移動し、矢の部分が操作者から見てさらに手前の方向に傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅がさらに広く表示される。この結果、前記操作者は、ポインタ４がさらに奥行き方向（−Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりもさらに手前をポインティングしていることも認識できる。
【０４５５】
またこのとき、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを−Ｚ方向に回すという操作を続けた結果、図５４の下段に示したように、前記ポインタのポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が前記オブジェクトと同じ奥行き位置に到達し、前記ポインタ４の先端のｘｙｚ座標（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５の表面上または内部の任意の点のｘｙｚ座標が一致すると、前記オブジェクト５は、前記ポインタ４によってポインティングされた状態になる。そのため、たとえば、図５４の下段に示したように、前記オブジェクト５の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ４の形状からポインタ４の奥行き方向の位置、およびポインタ４がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ４によってポインティングされたときにオブジェクト５の色を変えることで、前記オブジェクト５と重なっているポインタ４が前記オブジェクト５をポインティングしているか否かが直観的、かつ、正確に認識できる。
【０４５６】
なお、前記マウスのホイール２０２Ａの回転に合わせて前記ポインタ４を奥行き方向（＋Ｚ方向または−Ｚ方向）に傾けて表示させるときには、たとえば、前記ホイール２０２Ａのトータルの回転角度に合わせて、前記ポインタ４が連続的に傾くように表示させてもよいし、前記ホイール２０２Ａの回転ステップと同期させて、前記ホイール２０２Ａを１ステップ回転させる毎に前記ポインタ４をあらかじめ定めた角度ずつ段階的に傾くように表示させてもよい。
【０４５７】
このような本実施例３−１の３次元ポインティング方法を、前記システム制御装置１（ポインティング装置）に実行させるときには、図５５に示したような、ステップ６０１からステップ６０８の処理を実行させればよい。このとき、前記システム制御装置１では、図５５に示すように、まず、前記表示制御手段１０４を用いて、前記表示装置３にオブジェクト５およびポインタ４を表示させる（ステップ６０１）。このとき、前記オブジェクト５は複数個表示されていてもよい。また、前記オブジェクト５およびポインタ４は、前記表示装置３で表現されている３次元空間内であれば、どの位置に表示されていてもよいとする。
【０４５８】
次に、前記操作者が前記キーボード２０１やマウス２０２等の入力装置２を用いて入力した情報を前記入力情報取得手段１０１で取得する（ステップ６０２）。このとき、前記入力情報取得手段１０１で取得する入力情報は、前記ポインタ４の操作に関する情報（ポインタ操作情報）の他に、アプリケーション・ソフトの起動等の入力情報も取得するが、ここでは、前記ポインタ４の操作に関する情報を取得したとする。前記入力情報取得手段１０１で取得した入力情報は、前記ポインタ操作情報であるか否かの判定が行われ、前記入力情報が、たとえば、マウス２０２の移動情報（操作情報）や、ホイール２０２Ａの回転操作情報等の前記ポインタ操作情報である場合、前記入力情報取得手段１０１は、前記入力情報（ポインタ操作情報）を前記ポインティング位置／変形量算出手段１０２に渡し、ポインティング位置およびポインタの変形量を算出させる。
【０４５９】
このとき、前記ポインティング位置／変形量算出手段１０２では、たとえば、まず、図５５に示したように、前記ポインタ操作情報に基づいて前記ポインタの移動方向、移動量等を算出する（ステップ６０３）。前記ステップ６０３では、たとえば、マウス本体の２次元的な移動方向や移動量の情報から、表示装置で表現する３次元空間のＸＹ平面内での前記ポインタ４の移動方向や移動量、あるいは回転角度等を算出する。
【０４６０】
前記ステップ６０３において前記ポインタ４の移動方向、移動量等を算出したら、次に、算出結果に基づいて前記表示装置３に表示されたポインタ４を移動させて表示させる（ステップ６０４）。前記ステップ６０４は、たとえば、前記ポインタ４のＸＹ平面内での移動方向、移動量等に基づいて前記ポインタ生成手段１０３で移動先のポインタ４を生成した後、前記表示制御手段１０４を利用して前記生成したポインタ４を前記表示装置３に表示させる。なお、前記ポインタ操作情報のなかに前記ポインタ４をＸＹ平面内で移動または回転させる情報が含まれていない場合、前記ステップ６０４の操作は省略され、次のステップ６０５の処理が行われる。
【０４６１】
前記ポインティング位置／変形量算出手段１０２は、前記ステップ６０３の処理が終わると、前記ポインタ生成手段１０３および前記表示制御手段１０４に前記ステップ６０４の処理を行わせる一方で、前記ポインタ操作情報に基づいて前記ポインタ４の傾ける方向および傾ける量を算出する（ステップ６０５）。前記ステップ６０５において、前記傾ける方向は、たとえば、前記マウス２０２のホイール２０２Ａの回転方向の情報から決定する。また、傾ける量は、たとえば、前記マウス２０２のホイール２０２Ａの回転量から算出する。
【０４６２】
前記ステップ６０５において前記ポインタ４の傾く方向および傾く量を算出したら、次に、算出結果に基づいて前記表示装置３に表示されたポインタ４を傾けて表示する（ステップ６０６）。前記ステップ６０６は、たとえば、前記ポインタ４の傾ける量に基づいて前記ポインタ生成手段１０３でポインタ４を傾けさせた後、前記表示制御手段１０４を利用して、たとえば、図５２の中段および図５３の中段等に示したように傾けたポインタ４を前記表示装置３に表示させる。また、前記ポインタ操作情報のなかに前記ポインタ４をＺ軸方向に傾ける情報が含まれていない場合、前記ステップ６０６の操作は省略され、次のステップ６０７の処理が行われる。
【０４６３】
また、前記ポインティング位置／変形量算出手段１０２は、前記ステップ６０３および前記ステップ６０６の処理を行った後、算出結果を前記ポインタ生成手段１０３に渡してポインタを生成させるとともに、前記ポインティング判定手段１０５にも算出結果を渡す。このとき、前記ポインティング判定手段１０５は、受け取った算出結果から、操作後のポインタ４がポインティングしているオブジェクトがあるか否か、すなわち、ポインタ４がポインティングしている点のｘｙｚ座標が、オブジェクトの表面上または内部の任意の点のｘｙｚ座標から予め定められた範囲内にあるか否かの判定をする（ステップ６０７）。このとき、ポインティングしているオブジェクトがなければ、ステップ６０２に戻り、次の入力情報（ポインタ操作情報）を取得するまで待機する。
【０４６４】
また、ポインティングしているオブジェクトがある場合、前記ポインティング判定手段１０５は、前記オブジェクト生成手段１０６に、ポインティングされているオブジェクトの色を変えたオブジェクトを生成させ、前記表示制御手段１０４を利用して前記表示装置３に表示させる（ステップ６０８）。そして、色を変えたオブジェクトを表示させた後は、ステップ６０２に戻り、次の入力情報（ポインタ操作情報）を取得するまで待機する。
【０４６５】
また、前述のような手順で前記ポインタ４を傾けて表示させた後、前記入力装置２から前記ポインタ４の操作に関する情報を取得し、たとえば、ＸＹ平面内で移動させる場合、前記ポインタ４の傾きを元に戻してから移動させてもよいし、前記ポインタ４を傾けたまま移動させてもよい。
【０４６６】
また、図５５では省略しているが、前記入力情報取得手段１０１で前記ポインタ操作情報以外の入力情報を取得した場合、前記処理制御手段１０７は、取得した入力情報に応じた処理を実行する。このとき、前記ポインタ操作情報以外の入力情報としては、たとえば、前記ポインタ４でポインティングしたオブジェクト５と関連づけられたソフトウェアの起動や、数値あるいは文字列の入力情報等が挙げられる。この場合、前記処理制御手段１０７は、前記入力情報に基づいて、前記オブジェクト５と関連づけられたソフトウェアの起動等の処理を行い、たとえば、前記オブジェクト生成手段１０５に、処理結果に関するオブジェクトを生成させ、前記表示制御手段１０４を用いて前記処理結果のオブジェクトを前記表示装置３に表示させる。
【０４６７】
以上説明したように、本実施例３−１の３次元ポインティング方法によれば、前記ポインタ４の、ポインティングしている点（矢の先端）と反対側の端の奥行き位置を一定に保ちながら、前記ポインティングしている点を奥行き方向に傾けて前記表示装置３に表示させることにより、前記ポインタ４を見た操作者が前記ポインタ４の奥行き位置および前記ポインタ４がポインティングしている奥行き位置を直観的、かつ、正確に認識できる。
【０４６８】
また、前記ポインタ４の矢の先端の反対側の端の奥行き位置を保つとともに、前記ポインタ４全体の長さを保った状態で前記ポインタ４を奥行き方向に傾けてオブジェクト５のポインティングを行う方法では、前記ポインタ４の３次元的な長さが変化しないため、操作者に対して、より実物体に近い、自然なオブジェクト表示を呈示できる。
【０４６９】
また、本実施例３−１の３次元ポインティング方法では、前記キーボードのコントロールキー２０１Ａとマウスのホイール２０２Ａの回転操作を組み合わせることで、前記ポインタ４を奥行き方向に傾ける例を示したが、これに限らず、キーボード２０１の他のキーとホイール２０２Ａの組み合わせであってもよいし、ホイール２０２Ａの代わりにキーボード２０１のカーソルキー（方向キー）と組み合わせてもよい。また、その他にも、たとえば、ペンタブレットやタッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに傾くようにしてもよい。
【０４７０】
また、本実施例３−１の３次元ポインティング方法では、前記ポインタ４として、矢印形状のポインタを例に挙げたが、これに限らず、奥行き方向へ傾けて表示させたときの傾きの方向およびポインティングしている点（位置）が視覚的に認識できる形状であれば、どのような形状であってもよい。
【０４７１】
図５６Ａ〜Ｄは、ポインタの形状の変形例を示す模式図であり、図５６Ａは三角形状のポインタを示す図、図５６Ｂは人の手の形状のポインタを示す図、図５６Ｃは雫形状のポインタを示す図、図５６Ｄは十字形状のポインタを示す図である。
【０４７２】
本実施例３−１のような３次元ポインティング方法では、前記ポインタを奥行き方向に傾けたときの視覚的な形状の変化から、前記ポインタがポインティングしている点の奥行き位置を認識する。そのため、図５２の上段に示したような矢印形状のポインタ４に限らず、たとえば、図５６Ａに示すような三角形状のポインタ４Ａであってもよい。前記三角形状のポインタの場合、前記ポインタ４Ａの頂角をポインティングしている点（ｘｐ，ｙｐ，ｚｐ）とし、底辺の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。
【０４７３】
また、そのほかにも、たとえば、図５６Ｂに示すような人差し指でオブジェクトを指し示している人の手の形状のポインタ４Ｂ、図５６Ｃに示すような雫形状のポインタ、図５６Ｄに示すような十字形状のポインタ４Ｄであってもよい。前記人の手の形状のポインタ４Ｂの場合、たとえば、人差し指の先端をポインティングしている点（ｘｐ，ｙｐ，ｚｐ）とし、反対側（手首）の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。また、前記雫形状のポインタ４Ｃの場合、たとえば、頂角をポインティングしている点（ｘｐ，ｙｐ，ｚｐ）とし、反対側（円弧部）の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。また、前記十字形状のポインタ４Ｄの場合、たとえば、交点をポインティングしている点（ｘｐ，ｙｐ，ｚｐ）とし、交点から延びる４本の軸の１つの軸の端の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。
【０４７４】
また、前記オブジェクトも、本実施例３−１では、図５１等に示したようなフォルダアイコン型のオブジェクトを例に挙げたが、これに限らず、データファイルや実行ファイルのアイコン（ショートカット）やウィンドウ等、前記ポインタでポインティング可能な形状であれば、どのような形状のオブジェクトでもよい。
【０４７５】
また、本実施例３−１のポインティング方法では、たとえば、前記ポインタ４の視覚的な形状の変化から前記ポインタ４の奥行き方向のポインティング位置を認識できるが、たとえば、前記３次元空間内に、前記ポインタ４がどれくらい傾いたかを操作者に認識させる指標となるリファレンスを前記表示装置３に表示させてもよい。
【０４７６】
図５７は、本実施例３−１の３次元ポインティング方法においてリファレンスを表示させる例を示す図である。
【０４７７】
本実施例３−１のポインティング方法では、前記ポインタ４を奥行き方向に傾けたときの視覚的な形状の変化によって、前記ポインタ４の奥行き方向のポインティング位置を操作者に認識させる。しかしながら、同じ奥行き位置をポインティングした状態が長時間続くと、視覚的な形状の変化がないので、前記ポインタ４の奥行き方向のポインティング位置の認識が曖昧になる可能性がある。
【０４７８】
そこで、たとえば、図５７に示したように、前記表示装置３に表示された３次元空間内に、前記３次元空間に設定するＸＹＺ座標系を反映したｘｙｚ座標軸（リファレンス）７を表示しておけば、前記ポインタ４の奥行き位置の変化がないときでも、前記ｘｙｚ座標軸を参照することで前記ポインタ４の奥行き方向の傾きの認識が容易になる。このとき、前記リファレンス７は、前記３次元空間上の特定の位置に固定しておいてもよいし、ポインタ４の移動にともなって移動し、ポインタ４が傾くときはその場で固定されていてもよい。また、前記リファレンス７は、前記表示装置３に表現されている３次元空間内であればどの位置に配置してもよく、前記操作者が配置位置を設定することも可能である。また、図５７では、リファレンス７としてｘｙｚ座標軸を表すような表示物を用いたが、これに限らず、前記操作者にポインタ４の傾きの度合いを認識させる指標となる表示物であればどのようなものであってもよく、たとえば、傾きが０（ＸＹ平面と平行）で、前記ポインタと相似形の半透明な表示物のようなものでもよい。
【０４７９】
また、本実施例３−１の３次元ポインティング方法では、前記ポインタ４を奥行き方向に傾けるときに、たとえば、図５２の中段および図５３の中段に示したように、前記ポインタ４の矢の先端の反対側の端の奥行き位置を一定に保つとともに、前記ポインタ４の全体の長さ（形状、サイズ）を一定に保った状態で傾ける例を挙げたが、これに限らず、ポインタ全体の長さを変化させながら奥行き方向に傾けてオブジェクトのポインティングを行うようにすることも可能である。
【０４８０】
図５８は、本実施例３−１の３次元ポインティング方法の変形例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。なお、図５８は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
【０４８１】
本実施例３−１の３次元ポインティング方法では、たとえば、図５２の下段に示したように、前記ポインタ４の全体の長さ、形状等も一定に保った状態で奥行き方向に傾けて表示させている。そのため、ある奥行き位置にあるポインタ４でポインティングできるのは、前記ポインタ４の長さよりも奥行き方向の距離が近いオブジェクトに限られる。
【０４８２】
本実施例３−１の３次元ポインティング方法は、たとえば、図５２の下段に示したようなポインタの傾けかたを限定するものではなく、前記ポインタの一端（矢の先端の反対側の端）の奥行き位置とポインタの先（矢の先端）の奥行き位置を比較することで、操作者がポインタの傾きを認識し、ポインティング位置を認識できるようにする方法である。つまり、ポインティングする部分とは異なる部分の奥行き位置が一定に保たれていれば、どのような傾けかたでもよい。
【０４８３】
本実施例３−１の３次元ポインティング方法において実現可能な、図５２の下段に示したようなポインタの傾けかたとは異なる傾けかたの一例として、図５８の上段に示すように、操作者の視点から見て、３次元空間内の異なる奥行き位置にポインタおよびオブジェクトが表示されている場合を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト上に前記ポインタが重なって見えるが、前記ポインタがポインティングしている点と前記オブジェクトは奥行き位置が異なるので、前記オブジェクトはポインティングされていない。
【０４８４】
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図５８の中段および図５８の下段に示したように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が＋Ｚ方向に移動し、矢の部分が操作者から見て奥の方向に傾く。またこのとき、前記矢の先端の反対側の端は、図５８の中段および図５８の下段に示したように、操作前の矢の先端の反対側の端と同じ３次元空間位置に固定されている。そして、たとえば、前記ポインタ４のポインティングしている点を＋Ｚ方向に移動させるときに、ＸＹ座標（ｘｐ，ｙｐ）を一定に保ったまま移動させるとすれば、前記ポインタ４は、ポインタ全体の長さを変化させながら奥行き方向に傾くことになる。
【０４８５】
このような３次元ポインティング方法でも、前記ポインタ４の傾きを認識することは可能であり、図５２の下段に示したようなポインタの長さが変化しないポインティング方法の場合と同様の効果が得られる。またこの場合、ポインタ全体の長さが奥行き方向に傾くにつれて変化するため、前記ポインタとの奥行き方向の距離が大きいオブジェクトでもポインティングが可能である。なお、図５８の中段および図５８の下段に示したような場合、前記ポインタ４は、奥行き方向の傾きが変わるにつれて、長さ（サイズ）が変化するが、このような長さ（サイズ）の変更は、前記表示装置３に表現された３次元空間内にポインタ４を表示させる場合における、操作者に３次元的な立体感を提示するための心理的な描画手法として用いられるサイズの変更、すなわち操作者から見て奥にあるポインタを小さく表示したり、操作者から見て操作者に近い位置にあるポインタを大きく表示したりするような「表示上のサイズの変更」とは異なる。
【０４８６】
また、本実施例３−１の３次元ポインティング方法では、図５２および図５３に示したように、前記ポインタ４を傾けて奥行き位置が異なるオブジェクトをポインティングする方法について説明したが、このとき、前記ポインタ４を傾けるだけでなく、図５９に示すように、前記ポインタ４の形状を保ったまま奥行き方向に並進移動させる操作が加わっていてもよい。
【０４８７】
図５９は、本実施例３−１の３次元ポインティング方法の第１の応用例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。なお、図５９は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
【０４８８】
本実施例３−１の３次元ポインティング方法の場合、たとえば、図５８に示したような方法にすることで、ポインタ全体の長さが奥行き方向に傾くにつれて変化するため、前記ポインタとの奥行き方向の距離が大きいオブジェクトでもポインティングが可能である。しかしながら、図５２の下段に示したようなポインタの傾けかたでも、たとえば、前記ポインタ４を、形状を保ったままＺ軸方向に並進移動させることで、前記ポインタ４とオブジェクト５の奥行き方向の距離を、ポインタ全体の長さより近づければ、前記表示装置３に表現された３次元空間内の全てのオブジェクトをポインティングすることが可能である。このとき、前記ポインタ４のＺ軸方向の並進移動は、前記キーボードのコントロールキー（Ctrlキー）２０１Ａとは別のキー、たとえば、シフトキー（Shiftキー）を押しながら前記マウスのホイール２０２Ａを＋Ｚ方向に回した場合は前記ポインタ４を３次元空間の＋Ｚ方向に並進移動させ、前記シフトキー（Shiftキー）を押しながら前記マウスのホイール２０２Ａを−Ｚ方向に回した場合は前記ポインタ４を３次元空間の−Ｚ方向に並進移動させるようにすればよい。
【０４８９】
このようなポインティング方法の一例として、図５９の上段に示すように、操作者の視点から見て、３次元空間内の異なる奥行き位置にポインタ４およびオブジェクト５が表示されている場合を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト５上に前記ポインタ４が重なって見えるが、前記ポインタ４がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５は奥行き位置が異なるので、前記オブジェクト５はポインティングされていない。
【０４９０】
この状態から、前記操作者が、たとえば、前記キーボード２０１のシフトキー（Shiftキー）を押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図５９の中段に示すように、前記ポインタ４の形状、サイズを一定に保った状態で、＋Ｚ方向に並進移動し、前記ポインタ４とオブジェクト５の奥行き方向の距離が近くなる。
【０４９１】
そして、図５９の中段に示したような状態のときに、前記操作者が、たとえば、前記キーボード２０１のコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すと、前記ポインタ４は、たとえば、図５９の下段に示すように、矢の先端の反対側の端の奥行き位置を一定に保った状態で前記矢の先端が奥に傾く。
【０４９２】
このようにすれば、たとえば、前記表示装置３で表現されている３次元空間のＺ軸方向、すなわち奥行きが大きく（広く）、前記ポインタ４を傾けるだけではポインティングできないオブジェクトがある場合でも、図５９の中段に示したように、前記ポインタ４を奥行き方向に並進移動させることで、前記オブジェクト５をポインティングすることが可能になる。なお、図５９では、操作者から見て奥（＋Ｚ方向）に並進移動させる例を示したが、手前（−Ｚ方向）に並進移動させることもできることは言うまでもない。
【０４９３】
なお、前記マウスのホイール２０２Ａの回転に合わせて前記ポインタ４をＺ軸方向に並進移動させるときには、たとえば、前記ホイール２０２Ａのトータルの回転角度に合わせて、前記ポインタ４が連続的に移動するように表示させてもよいし、前記ホイール２０２Ａの回転ステップと同期させて、前記ホイール２０２Ａを１ステップ回転させる毎に前記ポインタ４をあらかじめ定めた距離ずつ段階的に移動するように表示させてもよい。
【０４９４】
また、本実施例３−１の３次元ポインティング方法では、前記マウス２０２本体の２次元的な移動をＸＹ平面内でのポインタ４の移動に反映させ、前記キーボード２０１のコントロールキー（Ctrlキー）２０１Ａとマウス２０２のホイール２０２Ａの回転操作の組み合わせを前記ポインタ４の奥行き方向の傾きに反映させている。また、図５９に示したポインティング方法では、前記キーボード２０１のシフトキー（Shiftキー）とマウス２０２のホイール２０１Ａの回転操作の組み合わせを前記ポインタ４の奥行き方向の並進移動に反映させている。このように、本実施例３−１の３次元ポインティング方法では、前記マウス２０２本体、およびキーボード２０１のキーとマウスのホイール２０２Ａの回転操作の組み合わせで前記３次元空間内のあらゆる点をポインティングすることが可能である。またさらに、たとえば、前記キーボード２０１のコントロールキー（Ctrlキー）２０１Ａやシフトキー（Shiftキー）以外のキーとマウスのホイール２０１Ａの回転操作の組み合わせることで、前記ポインタ４をＸＹ平面内で回転させることも可能である。このとき、前記ポインタ４のＸＹ平面内での回転は、前記キーボード２０１のコントロールキー（Ctrlキー）やシフトキー（Shiftキー）とは別のキー、たとえば、オルトキー（Altキー）を押しながら前記マウスのホイール２０２Ａを＋Ｚ方向に回した場合は前記ポインタ４を時計回りに回転させ、前記オルトキー（Altキー）を押しながら前記マウスのホイール２０２Ａを−Ｚ方向に回した場合は前記ポインタ４を反時計回りに回転させるようにすればよい。
【０４９５】
図６０は、本実施例３−１の３次元ポインティング方法の第２の応用例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図である。なお、図６０は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
【０４９６】
前記ポインタをＸＹ平面内で回転させるポインティング方法の一例として、図６０の上段に示すように、操作者の視点から見て、３次元空間内の異なる奥行き位置にポインタ４およびオブジェクト５が表示されている場合を挙げる。
【０４９７】
この状態から、前記操作者が、たとえば、前記キーボード２０１のオルトキー（Altキー）を押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図６０の中段に示すように、前記ポインタ４の形状を保った状態で、時計回りに９０度回転する。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト上に前記ポインタの矢の先端が重なって見えるが、前記ポインタがポインティングしている点と前記オブジェクトは奥行き位置が異なるので、前記オブジェクトはポインティングされていない。
【０４９８】
そして、図６０の中段に示したような状態のときに、前記操作者が、たとえば、前記キーボード２０１のコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すと、前記ポインタ４は、たとえば、図６０の下段に示すように、矢の先端の反対側の端の奥行き位置を一定に保った状態で前記矢の先端が奥に傾く。また、図示は省略するが、図６０の下段に示したような状態から、前記キーボードのコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すと、前記ポインタ４の傾きが大きくなり、前記ポインタ４の矢の先端（ｘｐ，ｙｐ，ｚｐ）が前記オブジェクト５と同じ奥行き位置に到達すると、前記オブジェクト５の色が変わり、ポインティングされていることが認識できる。
【０４９９】
このように、前記ポインタ４のＸＹ平面内での回転操作も加わることで、前記オブジェクトを、あらゆる方向からポインティングすることが可能となり、より実空間に近い操作感で前記ポインタ４を操作することができるようになる。
【０５００】
なお、前記マウスのホイール２０２Ａの回転に合わせて前記ポインタ４をＸＹ平面内で回転させて表示させるときには、たとえば、前記ホイール２０２Ａのトータルの回転角度に合わせて、前記ポインタ４が連続的に回転するように表示させてもよいし、前記ホイール２０２Ａの回転ステップと同期させて、前記ホイール２０２Ａを１ステップ回転させる毎に前記ポインタ４をあらかじめ定めた角度ずつ段階的に回転ように表示させてもよい。
【０５０１】
また、本実施例３−１では、図５１に示したように、前記表示装置３として液晶ディスプレイ等の２次元表示装置を用いた場合を例に挙げたが、前記表示装置３としてDFDのような立体表示が可能な３次元表示装置を用いることで、より正確に、かつ直感的にポインタの奥行き位置を認識することが可能である。
【０５０２】
図６１および図６２Ａ、Ｂは、本実施例３−１の３次元ポインティング方法の第３の応用例を説明するための模式図であり、図６１はシステムの構成例を示す図、図６２Ａおよび図６２ＢはDFDの動作原理を説明する図である。
【０５０３】
本実施例３−１の３次元ポインティング方法では、前記表示装置３は、３次元空間を表現することが可能であれば、どのような表示装置であっても構わないが、特に、DFDのような３次元表示装置（ディスプレイ）を用いることが好ましい。第１の実施の形態でも説明したように、前記DFDは、前記操作者（観察者）の視点から見て奥行き方向に重なる複数枚の表示面を備える表示装置である（たとえば特許第3022558号明細書や特許第3460671号明細書を参照）。
【０５０４】
前記DFDの動作原理については第１の実施の形態で説明したとおりであるが、ここで再度説明する。説明を簡単にするために、図６１に示すように、２枚の表示面３０１Ａ，３０１Ｂが重ね合わさっているとする。このとき、前記ポインタ４およびオブジェクト５は、前記２枚の表示面３０１Ａ，３０１Ｂの間の３次元空間内に奥行き位置を反映して表示される。
【０５０５】
前記DFDに表示される前記ポインタ４やオブジェクト５は、たとえば、図６２Ａに示すように、操作者から見て手前の表示面３０１Ａおよび奥の表示面３０１Ｂの両方に表示される。そしてこのとき、前記DFDが輝度変調型であれば、前記手前の表示面３０１Ａのオブジェクト５Ａを輝度ＬＡ、前記奥の表示面３０１Ｂのオブジェクト５Ｂを輝度ＬＢで表示すると、前記３次元空間内の、前記手前の表示面３０１Ａからの距離と前記奥の表示面３０１Ｂからの距離の比がＬＢ：ＬＡの奥行き位置にオブジェクト５が表示されているように見える。
【０５０６】
また、たとえば、図６２Ｂに示すように、１つのオブジェクト５の表示領域の中で輝度を連続的に変化させることで、１つのオブジェクト５を奥行き方向に傾けて表示させることもできる。図６２Ｂに示した例では、前記手前の表示面３０１Ａのオブジェクト５Ａの輝度を紙面上から下に向かうにつれて大きくなるようにし、前記奥の表示面３０１Ｂのオブジェクト５Ｂの輝度を紙面下から上に向かうにつれて大きくなるようにしている。そのため、前記操作者は、紙面上方が奥、紙面下方が手前に傾いた立体的なオブジェクト５を観察することができる。
【０５０７】
また、詳細な説明は省略するが、前記DFDが透過型の場合、たとえば、手前の表示面３０１Ａのオブジェクト５Ａを表示している領域の各点（画素）の透過度を調節することで、前記輝度変調型のDFDと同様に、前記手前の表示面３０１Ａと奥の表示面３０１Ｂの間の任意の奥行き位置に前記ポインタ４やオブジェクト５の立体像を表示することができる。
【０５０８】
表示装置としてDFDを用いている場合は、前記表示装置３に表示されるポインタ４の幅によって奥行きを認識するだけでなく、ポインタ４の奥行きが変わらない一端とポインタ４の先がある奥行き位置を比較することで、直感的、かつ、正確にポインタ４の奥行き位置が認識できる。また、DFDを用いる場合、DFDの手前の表示面、もしくは奥の表示面をポインタ４の奥行きが変わらない一端のある奥行き位置とすると、操作者は、より正確、かつ直感的にポインタ４の奥行き位置が認識できるという大きな効果がある。
【０５０９】
また、一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、前記表現する前記３次元空間を２次元平面に射影して表示する処理が必要であるが、前記DFDのような３次元表示装置の場合、前記３次元空間の奥行き方向の位置に応じて各表示面上の点（画素）の輝度の比率を設定すればよいだけなので、前記ポインティング装置（システム制御装置１）にかかる負荷を低減できる。また、一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、前記表示する前記３次元空間を２次元平面に射影して表示するので、操作者によっては、実空間と同じ感覚でポインティング操作をすることは難しい場合があるが、前記DFDのような３次元表示装置を用いることで、より実空間に近い感覚でポインティング操作をすることができる。これらのことから、前記DFDのような３次元表示装置を用いることで、前記操作者は、一般的な２次元ディスプレイを用いてポインティング操作をする場合に比べて、よりよい精度と速さで３次元の奥行きをポインティング可能となる。
【０５１０】
また、図６１では、前記入力装置２としてキーボード２０１とペンタブレットを組み合わせて用いる場合を示しており、第１の実施の形態の技術を適用できる。すなわち、前記ペンタブレットは、検出手段（デジタイザ）２０３Ａ上で入力ペン（電子ペン）２０３Ｂを操作することにより、前記入力ペン２０３Ｂのペン先の動き、筆圧等を検出する入力デバイスである。そのため、たとえば、前記入力ペン２０３Ｂのペン先の動きをＸＩＹＩ平面内でのポインタ４の移動量、前記キーボード２０１のコントロールキー（Ctrlキー）を押しているときの筆圧の大きさを＋Ｚ方向の移動量、前記キーボード２０１のシフトキー（Shiftキー）を押しているときの筆圧の大きさを−Ｚ方向の移動量に反映させれば、前記マウス２０２を用いたときと同様の操作感で前記ポインタ４によるポインティングが可能となる。
【０５１１】
また、第２の実施の形態の技術を適用することもできる。この場合、前記入力ペン２０３Ｂの筆圧の大きさの代わりに、たとえば、前記入力ペン２０３ｂで前記検出手段２０３Ａを押した回数に応じて前記ポインタ４の傾く量を決定する。
【０５１２】
また、前記ペンタブレットの検出手段（デジタイザ）２０３Ａを前記表示装置３（DFD）の表示面３０１Ａ，３０１Ｂと重ね合わせれば、前記操作者は、前記表示面３０１Ａ，３０１Ｂ上で前記入力ペン２０３Ｂを操作し、ポインティングをすることができるので、操作者は、さらに正確、かつ直感的にポインタ４の奥行き位置を認識できる。
【０５１３】
また、本実施例３−１の３次元ポインティング方法は、前記ペンタブレットの代わりに、たとえば、タッチパネルのように、前記表示装置３と一体化可能な入力装置を用いてポインティングする場合にも適している。前記タッチパネルの場合、たとえば、前記入力ペン２０３Ｂの代わりに操作者の指で前記表示装置３の画面に触れることで前記ポインタ４を操作することもできるので、前記入力ペン２０３Ｂを用いるペンタブレットよりも、より直感的に前記ポインタ４を操作することができる。
【０５１４】
また、本実施例３−１の３次元ポインティング方法では、たとえば、図５２の下段等に示したように、前記ポインタ４を傾けるときに、ポインティングしている点のＸＹ座標（ｘｐ，ｙｐ）を一定に保ち、前記ポインティングしている点が奥行き方向に延びる直線状の軌跡をたどる例を挙げて説明したが、これに限らず、前記ポインティングしている点が種々の軌跡をたどるように傾けてもよい。
【０５１５】
図６３Ａ乃至図６６Ｂは、本実施例３−１の３次元ポインティング方法の第４の応用例を説明するための模式図であり、図６３Ａ，図６３Ｂ，図６４Ａ，図６４Ｂはそれぞれ直線状の軌跡をたどる場合の応用例を示す図、図６５Ａ，図６５Ｂ，図６６Ａ，図６６Ｂはそれぞれ円弧状の軌跡をたどる場合の応用例を示す図である。
なお、図６３Ａ，図６３Ｂ，図６４Ａ，図６４Ｂ，図６５Ａ，図６５Ｂ，図６６Ａ，図６６Ｂの各図は、軌跡をわかりやすくするために、３次元空間をＸＺ平面側から見た図（右側面図）を示している。
【０５１６】
前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を奥行き方向に移動させるときには、図５２の下段等に示したようなＸＹ座標（ｘｐ，ｙｐ）を一定に保った移動に限らず、たとえば、図６３Ａに示すように、前記ポインティングしている点が＋Ｚ方向への移動に比例して＋Ｘ方向にも移動するような軌跡をたどるようにしてもよい。また逆に、図６３Ｂに示すように、前記ポインティングしている点が＋Ｚ方向への移動に比例して−Ｘ方向に移動するような軌跡をたどるようにしてもよい。また、図６３Ａおよび図６３Ｂでは、前記ポインタ全体の長さを保った状態で傾ける場合を示しているが、これに限らず、図６４Ａおよび図６４Ｂに示すように、前記ポインタの一端の３次元的な位置を固定した状態で前記ポインティングしている点を奥行き方向に移動させ、ポインタ全体の長さを変化させながら奥行き方向に傾けることも可能である。
【０５１７】
また、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を奥行き方向に移動させるときの軌跡は、前記直線状の軌跡に限らず、たとえば、図６５Ａおよび図６５Ｂに示すように、３次元空間上のある点（ｘｐ，ｙｃ，ｚｃ）からｙ＝ｙｐのＸＺ平面内に半径ｒで描かれる円弧状の軌跡をたどるようにしてもよい。また、図６５Ａおよび図６５Ｂでは、前記ポインタ全体の長さを保った状態で傾ける場合を示しているが、これに限らず、図６６Ａおよび図６６Ｂに示すように、前記ポインタの一端の３次元的な位置を固定した状態で前記ポインティングしている点を奥行き方向に移動させ、ポインタ全体の長さを変化させながら奥行き方向に傾けることも可能である。
【０５１８】
また、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を奥行き方向に移動させるときの軌跡は、前記各図で示したような軌跡に限らず、どのような軌跡であってもよい。
【０５１９】
[実施例３−２]
図６７乃至図６９は、本発明による実施例３−２の３次元ポインティング方法を説明するための模式図であり、図６７はポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図、図６８Ａは本実施例３−２の３次元ポインティング方法で問題となる点を説明する図、図６８Ｂは図６８Ａに示した問題点を解決する方法の一例を説明する図、図６９は図６８Ｂに示した解決方法の変形例を説明する図である。なお、図６７は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。なお、図６８Ａ，図６８Ｂ，図６９の各図は、本実施例３−２の特徴をわかりやすくするために、３次元空間をＸＺ平面側から見た図（右側面図）のみを示している。
【０５２０】
前記実施例３−１では、前記ポインタ４のポインティングしている点（ｘｐ，ｙｐ，ｚｐ）とは異なる部分の奥行き位置を一定に保った状態で、前記ポインティングしている点があらかじめ定められた軌跡をたどるように、前記ポインタ４を奥行き方向に傾ける３次元ポインティング方法について説明した。そこで、本実施例３−２では、前記実施例３−１とは異なる傾けかたの例として、前記ポインタ４を３次元空間上のある点（ｘｃ，ｙｃ，ｚｃ）を中心とし、かつ、前記ポインタ４上の各点と前記中心の距離を一定に保った状態で回転させることで、前記ポインタ４の傾きを認識させ、かつ、ポインティングしている位置を認識させる３次元ポインティング方法について説明する。
【０５２１】
なお、本実施例３−２の場合も、３次元ポインティング方法を実現させるシステム構成において、前記入力装置２には、キーボードやマウス、ペンタブレット、タッチパネル、ジョイスティック等既存の種々の入力デバイスを用いることが可能であるが、図５１に示したように、キーボード２０１とマウス２０２を用いているとする。また、前記表示装置３も同様に、CRTや液晶ディスプレイ等の２次元表示装置、DFD等の３次元表示装置等の表示装置を用いることが可能であるが、図５１に示したように液晶ディスプレイ（２次元表示装置）を用いているとする。
【０５２２】
また、前記表示装置３に表現される３次元空間上で、たとえば、図５１に示すように、表示面３０１をＺ＝０とし、前記表示面３０１がＸＹ平面となり、かつ、操作者から見て表示面から奥に向かう方向をＺ軸の正の方向とする３次元座標系ＸＹＺをとっているとする。このとき、前記３次元空間内に表示されたポインタ４をＸＹ平面内での移動方向および移動距離は、前記マウス２０２本体を机上等の平面上で２次元的に動かしたときの移動方向および移動距離に基づいて算出（決定）する。
【０５２３】
また、奥行き方向（Ｚ方向）の移動方向および移動距離は、たとえば、図５１に示したように、前記キーボード２０１のコントロールキー（Ctrlキー）等のあらかじめ定められたキー２０１Ａを押しながら前記マウス２０２のホイール２０２Ａを回転させたときの回転方向と回転角度に基づいて算出（決定）する。このとき、たとえば、図５１に示したように、前記マウスのホイール２０２Ａを＋Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の＋Ｚ方向、すなわち操作者から見て奥に向かう方向に移動させる。そして、前記マウスのホイール２０２Ａを−Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の−Ｚ方向、すなわち操作者から見て手前に向かう方向に移動させる。
【０５２４】
また、本実施例３−２の３次元ポインティング方法では、前記ポインタの形状は矢印形とし、矢の先端部分がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を表しているとする。
【０５２５】
本実施例３−２における３次元ポインティング方法の一例として、図６７の上段に示すように、３次元空間内の異なる奥行き位置にポインタ４およびオブジェクト５が表示されている場合のポインティング方法を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト５上に前記ポインタ４が重なって見えるが、前記ポインタ４がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５は奥行き位置が異なるので、前記オブジェクト５はポインティングされていない。
【０５２６】
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー（Ctrlキー）２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図６７の中段に示したように、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円周上を、前記ポインタ４の各点と前記点（ｘｃ，ｙｃ，ｚｃ）との距離を保った状態で、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が奥（＋Ｚ方向）に移動するように回転する。
【０５２７】
このように、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すことにより、前記ポインタ４は、ポインティングしている点（矢印の矢の部分）側が操作者から見て遠くなるように傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が狭く表示される。この結果、前記操作者は、ポインタ４が奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりも奥をポインティングしていることも認識できる。
【０５２８】
そして、図６７の中段に示したような状態から、さらにもう一度、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このときも、前記ポインタは、たとえば、図６７の下段に示したように、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円周上を、前記ポインタ４の各点と前記点（ｘｃ，ｙｃ，ｚｃ）との距離を保った状態で、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が奥（＋Ｚ方向）に移動するように回転する。この結果、前記操作者は、ポインタ４がさらに奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりもさらに奥をポインティングしていることも認識できる。
【０５２９】
またこのとき、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すという操作を続けた結果、図６７の下段に示したように、前記ポインタ４のポインティングしている点（矢の先端）が前記オブジェクト５と同じ奥行き位置に到達し、前記ポインタ４の先端のｘｙｚ座標と前記オブジェクト５の表面上または内部の任意の点のｘｙｚ座標が一致すると、前記オブジェクト５は、前記ポインタ４によってポインティングされた状態になる。そのため、たとえば、図６７の下段に示したように、前記オブジェクト５の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ４の形状からポインタの奥行き方向の位置、およびポインタ４がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ４によってポインティングされたときにオブジェクト５の色を変えることで、前記オブジェクト５と重なっているポインタ４が前記オブジェクト５をポインティングしているか否かが直観的、かつ、正確に認識できる。
【０５３０】
しかしながら、本実施例３−２の３次元ポインティング方法の場合、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円周上を、前記ポインタ４の各点と前記点（ｘｃ，ｙｃ，ｚｃ）との距離を保った状態で、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が奥（＋Ｚ方向）または手前（−Ｚ方向）に移動するように前記ポインタ４を角度θだけ回転させている。そのため、図６７の中段に示したように、前記ポインタ４を奥に傾けたときに、傾けた後のポインタ４の一部（矢の先端の反対側部分）の奥行き位置が、傾ける前の奥行き位置よりも手前になってしまう。このとき、前記ポインタの奥行き位置が十分に大きければ、傾けた後の前記ポインタの矢の先端の反対側の部分が前記表示装置３に表現された３次元空間内に存在し、表示させることができる。しかしながら、たとえば、図６８Ａに示すように、前記ポインタ４が表示面３０１上、言い換えると前記表示装置で表現されている３次元空間と前記操作者がいる実空間の境界面上またはその近傍に表示されていると、前記ポインタ４が回転して傾いたときに、前記ポインタ４の矢の先端の反対側の部分が前記表示装置３に表現された３次元空間の外側に出てしまい、表示することができない。そのため、前記ポインタ４の形状が、矢の先端の反対側の部分が欠けた形状になってしまうという問題がある。
【０５３１】
そこで、本実施例３−２の３次元ポインティング方法では、前記ポインタ４を回転させて奥行き方向に傾けた結果、ポインティングを行わない一端が表示装置で表現できない空間にはみ出してしまう場合、図６８Ｂに示すように、ポインタ４のはみ出した部分を前記３次元空間のＸＹ平面に射影したポインタを生成し、表示させる。このようにすることで、前記３次元空間からはみ出した部分が欠けるのを防ぎ、ポインタの形状を保つことができる。
【０５３２】
また、図６８Ｂに示したようにポインタ４のはみ出した部分を前記３次元空間のＸＹ平面に射影する代わりに、図６９に示すように、前記ポインタ４上の前記３次元空間の境界面３０１上の点を支点として、前記はみ出した部分を、前記３次元空間の境界面（ＸＹ平面）に折り曲げたポインタを生成し、表示させてもよい。
【０５３３】
また、本実施例３−２の３次元ポインティング方法を、前記システム制御装置１（ポインティング装置）に実行させるときには、図５５に示したような、ステップ６０１からステップ６０８の処理を実行させればよい。ただし、本実施例３−２の３次元ポインティング方法の場合、前記ポインタを傾けて表示させるステップ６０６では、前記ステップ６０５の算出結果に基づいてポインタを傾けたときに、前記３次元空間からはみ出す部分があるか否かを判定し、はみ出す部分がある場合は、はみ出した部分をＸＹ平面（境界面）に射影するか折り曲げるかの操作をしたポインタを生成し、前記表示装置３に表示させる。
【０５３４】
また、図６７では、前記操作者から見て、前記オブジェクト５の奥行き位置よりも手前に前記ポインタ４があり、前記ポインタ４を奥（＋Ｚ方向）に傾ける場合の操作を説明したが、本実施例３−２の３次元ポインティング方法では、前記ポインタ４を手前（−Ｚ方向）に傾けることもできる。
【０５３５】
以上説明したように、本実施例３−２の３次元ポインティング方法によれば、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円周上を、前記ポインタ４の各点と前記点（ｘｃ，ｙｃ，ｚｃ）との距離を保った状態で、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が奥（＋Ｚ方向）または手前（−Ｚ方向）に移動するように前記ポインタ４を回転させて前記表示装置３に表示させることにより、前記ポインタ４を見た操作者が前記ポインタ４の奥行き位置および前記ポインタ４がポインティングしている奥行き位置を直観的、かつ、正確に認識できる。
【０５３６】
また、このようなポインタの傾けかたの場合、前記ポインタ４の３次元的な長さが変化しないため、操作者に対して、より実物体に近い、自然なオブジェクト表示を呈示できる。
【０５３７】
また、本実施例３−２の３次元ポインティング方法では、前記入力装置２としてキーボード２０１とマウス２０２を用い、前記キーボードのコントロールキー２０１Ａとマウスのホイール２０２Ａの回転操作を組み合わせることで、前記ポインタ４を奥行き方向に傾ける例を示したが、これに限らず、キーボード２０１の他のキーとホイール２０２Ａの組み合わせであってもよいし、ホイール２０２Ａの代わりにキーボード２０１のカーソルキー（方向キー）と組み合わせてもよい。また、その他にも、たとえば、ペンタブレットやタッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに傾くようにしてもよい。また、前記表示装置３も、液晶ディスプレイ等の２次元表示装置に限らず、DFDのような３次元表示装置であっても構わない。
【０５３８】
また、本実施例３−２の３次元ポインティング方法では、前記ポインタ４として、矢印形状のポインタを例に挙げたが、これに限らず、奥行き方向へ傾けて表示させたときの傾きの方向およびポインティングしている点（位置）が視覚的に認識できる形状であれば、どのような形状であってもよい。
【０５３９】
また、前記オブジェクト５も、本実施例３−２では、図５１等に示したようなフォルダアイコン型のオブジェクトを例に挙げたが、これに限らず、データファイルや実行ファイルのアイコン（ショートカット）やウィンドウ等、前記ポインタでポインティング可能な形状であれば、どのような形状のオブジェクトでもよい。
【０５４０】
また、本実施例３−２のポインティング方法では、たとえば、前記ポインタ４の視覚的な形状の変化から前記ポインタ４の奥行き方向のポインティング位置を認識できるが、たとえば、前記３次元空間内に、前記ポインタ４がどれくらい傾いたかを操作者に認識させる指標となるリファレンスを前記表示装置３に表示させてもよい。
【０５４１】
なお、本実施例において、回転の中心は本実施例に示した位置にあるとは限らず、表現されている３次元空間の内外であってもかまわないものとする。
【０５４２】
また、本実施例３−２の３次元ポインティング方法の場合も、図６７に示したように、前記ポインタ４を回転させて傾けるだけでなく、図５９に示したように前記ポインタ４の形状を保ったまま奥行き方向に並進移動させる操作が加わっていてもよいし、図６０に示したように前記ポインタ４をＸＹ平面内で回転させる操作が加わっていてもよい。
【０５４３】
また、本実施例３−２の３次元表示方法では、前記ポインタを回転させる前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）は、図６７に示したような位置に限らず、任意の位置にとることができる。またこのとき、前記点（ｘｃ，ｙｃ，ｚｃ）の位置は、前記表示装置３に表現されている３次元空間内、あるいは３次元空間外のどちらであっても構わない。またさらに、前記点（ｘｃ，ｙｃ，ｚｃ）の位置は、固定しておく必要はなく、ポインタ４の回転に合わせて３次元空間内を移動させても構わない。
【０５４４】
図７０Ａ、Ｂは、本実施例３−２の３次元ポインティング方法の応用例を説明するための模式図であり、図７０Ａは回転の中心となる点が３次元空間内で固定されている場合の例を示す図、図７０Ｂは回転の中心となる点が３次元空間内で移動する場合の例を示す図である。
【０５４５】
本実施例３−２の３次元ポインティング方法は、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円周上を、前記ポインタ４の各点と前記点（ｘｃ，ｙｃ，ｚｃ）との距離を保った状態で、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が奥（＋Ｚ方向）または手前（−Ｚ方向）に移動するように前記ポインタ４を回転させることで、前記ポインタ４を奥または手前に傾けて表示する。そのため、前記ポインタ４が奥または手前に傾いていることや、ポインティングしている奥行き位置が認識できれば、どのような回転のさせかたでもよい。
【０５４６】
最もシンプルな回転方法は、図７０Ａに示したように、ある奥行き位置に表示されたポインタを回転させるために、中心となる点（ｘｃ，ｙｃ，ｚｃ）を設定したときに、その位置を固定した状態で前記ポインタを回転させる方法である。
【０５４７】
しかしながら、本実施例３−２の３次元ポインティング方法は、このようなポインタの回転方法に限定されるものではなく、たとえば、図７０Ｂに示したように、ある奥行き位置に表示されたポインタ４を回転させるために、中心となる点（ｘｃ，ｙｃ，ｚｃ）を設定したときに、前記ポインタ４の回転にあわせて、前記点（ｘｃ，ｙｃ，ｚｃ）を＋Ｘ方向にΔｘずつ移動させてもよい。また、図示は省略するが、前記ポインタ４の回転にあわせて、前記点（ｘｃ，ｙｃ，ｚｃ）を−Ｘ方向に移動させてもよい。
【０５４８】
[実施例３−３]
図７１乃至図７３は、本発明による実施例３−３の３次元ポインティング方法を説明するための模式図であり、図７１はポインタよりも奥にあるオブジェクトをポインティングするときの３次元空間内の変化を示す正面図および右側面図、図７２は図７１の３次元空間内の変化の斜視図、図７３は本実施例３−３の３次元ポインティング方法をシステム制御装置（ポインティング装置）で実行するときの処理手順を説明するためのフロー図である。なお、図７１は、上段、中段、下段に３次元空間の３通りの状態を示しており、各段の間に示したような操作を行うことで、３次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。また、図７２も上段、中段、下段に３通りの状態を示しており、それぞれ、図７１の上段、中段、下段の各状態の３次元空間内の様子を斜視図で示している。
【０５４９】
前記実施例３−１や実施例３−２では、前記ポインタ４を奥行き方向に傾けることで、前記ポインタ４の、ポインティングしている点がある部分と、前記ポインティングしている点と反対側の端部の奥行き位置を変え、ポインティングしている奥行き位置の認識を容易、かつ正確にしている。このとき、前記ポインタ４のポインティングしている点がある部分と、前記ポインティングしている点と反対側の端部の奥行き位置を変えることで、ポインティングしている奥行き位置を認識するという観点で考えれば、前記実施例３−１や実施例３−２で説明したように、前記ポインタの全体の長さや形状を一定に保った状態で奥行き方向に傾けるだけでなく、前記ポインティングしている点の周辺のみを奥行き方向（＋Ｚ方向または−Ｚ方向）に移動させることでも、ポインティングしている奥行き位置の認識することは可能である。そこで、本実施例３−３ではポインティングしている点の周辺のみを奥行き方向（＋Ｚ方向または−Ｚ方向）に移動させる３次元ポインティング方法について説明する。
【０５５０】
なお、本実施例３−３の場合も、３次元ポインティング方法を実現させるシステム構成において、前記入力装置２には、キーボードやマウス、ペンタブレット、タッチパネル、ジョイスティック等既存の種々の入力デバイスを用いることが可能であるが、図５１に示したように、キーボード２０１とマウス２０２を用いているとする。また、前記表示装置３も同様に、CRTや液晶ディスプレイ等の２次元表示装置、DFD等の３次元表示装置等の表示装置を用いることが可能であるが、図５１に示したように液晶ディスプレイ（２次元表示装置）を用いているとする。
【０５５１】
またこのとき、前記表示装置３に表現される３次元空間上で、たとえば、図５１に示すように、表示面３０１をＺ＝０とし、前記表示面３０１がＸＹ平面となり、かつ、操作者から見て表示面３０１から奥に向かう方向をＺ軸の正の方向とする３次元座標系ＸＹＺをとっているとする。このとき、前記３次元空間内に表示されたポインタ４のＸＹ平面内での移動方向および移動距離は、前記マウス２０２本体を机上等の平面上で２次元的に動かしたときの移動方向および移動距離に基づいて算出（決定）する。
【０５５２】
また、奥行き方向（Ｚ方向）の移動方向および移動距離は、たとえば、図５１に示したように、前記キーボード２０１のコントロールキー（Ctrlキー）等のあらかじめ定められたキー２０１Ａを押しながら前記マウス２０２のホイール２０２Ａを回転させたときの回転方向と回転角度に基づいて算出（決定）する。このとき、たとえば、図５１に示したように、前記マウスのホイール２０２Ａを＋Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の＋Ｚ方向、すなわち操作者から見て奥に向かう方向に移動させる。そして、前記マウスのホイール２０２Ａを−Ｚ方向に回した場合は前記ポインタのポインティングを行う部分を３次元空間の−Ｚ方向、すなわち操作者から見て手前に向かう方向に移動させる。
【０５５３】
また、本実施例３−３の３次元ポインティング方法では、前記ポインタ４の形状は矢印形とし、矢の先端部分がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を表しているとする。そして、奥行き方向のポインティングをするときには、前記矢の部分のみが奥行き方向（＋Ｚ方向または−Ｚ方向）に移動し、矢の先端の反対側の部分は奥行き位置を変えないようにする。また、前記矢の部分が奥行き方向に移動した場合、前記矢の部分と矢の先端の反対側の部分を接続して一体化することで、１つのポインタとして認識できるようにする。
【０５５４】
本実施例３−３における３次元ポインティング方法の一例として、図７１の上段および図７２の上段に示すように、３次元空間内の異なる奥行き位置にポインタ４およびオブジェクト５が表示されている場合のポインティング方法を挙げる。このとき、−Ｚ方向から前記３次元空間を見ている操作者の視点からは、前記オブジェクト５上に前記ポインタ４が重なって見えるが、前記ポインタ４がポインティングしている点（ｘｐ，ｙｐ，ｚｐ）と前記オブジェクト５は奥行き位置が異なるので、前記オブジェクト５はポインティングされていない。
【０５５５】
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回したとする。このとき、前記ポインタ４は、たとえば、図７１の中段および図７２の中段、図７１の下段および図７２の下段に示すように、ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）のある矢の部分のみが奥（＋Ｚ方向）に並進移動する。またこのとき、前記ポインタ４は、前記矢の部分と、奥行き位置が変わらない矢の先端の反対側の部分は、図７１の中段および図７２の中段に示したように接続されており、矢の部分と矢の先端の反対側の部分の間の軸部分が延びて折れ曲がったような形状になる。
【０５５６】
このように、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すことにより、前記ポインタ４は、ポインティングしている点（矢の部分）側が操作者から見て遠くなるように傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が狭く表示される。この結果、前記操作者は、ポインタ４が奥行き方向（＋Ｚ方向）に傾いたことを認識できると同時に、前記ポインタ４の形状から、前記ポインタ４が操作前の位置よりも奥をポインティングしていることも認識できる。
【０５５７】
また、前記キーボードのコントロールキー２０１Ａを押しながら、前記マウスのホイール２０２Ａを＋Ｚ方向に回すという操作を続けた結果、図７１の下段および図７２の下段に示すように、前記ポインタ４のポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が前記オブジェクト５と同じ奥行き位置に到達し、前記ポインタ４の先端のｘｙｚ座標と前記オブジェクト５の表面上または内部の任意の点のｘｙｚ座標が一致すると、前記オブジェクト５は、前記ポインタ４によってポインティングされた状態になる。そのため、たとえば、図７１の下段に示したように、前記オブジェクト５の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ４の形状からポインタの奥行き方向の位置、およびポインタ４がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ４によってポインティングされたときにオブジェクト５の色を変えることで、前記オブジェクト５と重なっているポインタ４が前記オブジェクト５をポインティングしているか否かが直観的、かつ、正確に認識できる。
【０５５８】
このような本実施例３−３の３次元ポインティング方法を、前記システム制御装置１（ポインティング装置）に実行させるときには、図７３に示したような、ステップ６０１からステップ６０４、ステップ６０７からステップ６０８、ステップ６０９からステップ６１０の処理を実行させればよい。なお、図７３に示したステップ６０１からステップ６０４、ステップ６０７からステップ６０８は、図５５に示した処理のステップ６０１からステップ６０４、ステップ６０７からステップ６０８と同じ処理でよいので、詳細な説明は省略する。
【０５５９】
また、図７３に示したステップ６０９は、図５５に示した処理のステップ６０５に相当する処理を行うステップであり、本実施例３−３の３次元ポインティング方法の場合、前記ポインタ４のポインティングを行う部分（ポインティング部）の奥行き方向の移動方向（＋Ｚ方向または−Ｚ方向）、および移動量を算出する。
【０５６０】
また、図７３に示したステップ６１０は、図５５に示した処理のステップ６０６に相当する処理を行うステップであり、本実施例３−３の３次元ポインティング方法の場合、前記ポインタ生成手段１０３には、前記ポインタ４をポインティングしている部分としていない部分に分割し、前記ポインティングしている部分のみ奥行き方向の位置を変え、ポインティングしている部分としていない部分を連結したポインタ４を生成させ、前記表示装置３に表示させる。
【０５６１】
以上説明したように、本実施例３−３の３次元ポインティング方法によれば、前記ポインタをポインティングしている部分としていない部分に分割し、前記ポインティングしている部分のみ奥行き方向の位置を変え、ポインティングしている部分としていない部分を連結したポインタを表示させることで、前記ポインタの奥行き位置を正確に、かつ直感的に認識することができる。
【０５６２】
また、本実施例３−３の３次元ポインティング方法を前記システム制御装置１（ポインティング装置）に実行させる場合、前記ポインタ生成手段１０３では、前記ポインタをポインティングしている部分としていない部分に分割する、前記ポインティングしている部分のみ奥行き方向の位置を変える、ポインティングしている部分としていない部分を連結して１つのポインタにするという、比較的単純な計算処理によりポインタを生成することができる。そのため、前記実施例３−１や実施例３−２のようにポインタ上の各点の座標を３次元的に変換するポインタの生成方法に比べ、ポインタ生成処理の負荷が低減し、高速かつなめらかに変化するポインタ表示が容易になる。
【０５６３】
また、図７１では、前記操作者から見て、前記オブジェクト５の奥行き位置よりも手前に前記ポインタ４があり、前記ポインタ４を奥（＋Ｚ方向）に傾ける場合の操作を説明したが、本実施例３−３の３次元ポインティング方法では、前記ポインタ４を手前（−Ｚ方向）に傾けることもできる。
【０５６４】
図７４Ａ〜Ｄは、本実施例３−３の３次元ポインティング方法におけるポインタの連結方法を説明するための模式図であり、図７４Ａ，図７４Ｂ，図７４Ｃ，図７４ＤはそれぞれＹＺ平面側から見たポインタの連結方法を示す図である。
【０５６５】
本実施例３−３の３次元ポインティング方法のように、奥行き位置が異なるポインティングしている部分としていない部分を連結して、１つのポインタ４にするときには、たとえば、図７１の下段や図７４Ａに示したように、平面で連結すると、前記システム制御装置１におけるポインタ生成処理が楽になる。しかしながら、本実施例３−３の３次元ポインティング方法は、このようなポインタの連結方法を限定するものではなく、図７４Ｂに示すように、連結部（折れ曲がり部）が曲面になっていてもよい。
【０５６６】
また、ポインティングしている部分と連結部の接続のしかた、およびポインティングしていない部分と連結部の接続のしかたも、たとえば、図７４Ｃに示すように、ポインティングしている部分と連結部の接続はなめらかな接続にし、ポインティングしていない部分と連結部の接続は折り曲げた接続にしてもよい。また逆に、図７４Ｄに示すように、ポインティングしている部分と連結部の接続は折り曲げた接続にし、ポインティングしていない部分と連結部の接続はなめらかな接続にしてもよい。
【０５６７】
また、本実施例３−３の３次元ポインティング方法では、前記ポインタ４をポインティングしている部分としていない部分に分割し、前記ポインティングしている部分のみ奥行き方向の位置を変え、ポインティングしている部分としていない部分を連結したポインタを生成し、表示させればよいので、前記各図に示したような連結方法に限らず、種々の連結方法を適用することが可能である。
【０５６８】
図７５乃至図７８Ｂは、本実施例３−３の３次元ポインティング方法の応用例を説明するための模式図であり、図７５，図７６Ａ，図７６Ｂはそれぞれポインティングする部分の形状を保った状態で移動させる場合の応用例を示す図、図７７Ａ，図７７Ｂ，図７８Ａ，図７８Ｂはそれぞれポインティングする部分の形状を変化させる場合の応用例を示す図である。なお、図７５，図７６Ａ，図７６Ｂ，図７７Ａ，図７７Ｂ，図７８Ａ，図７８Ｂの各図は、軌跡をわかりやすくするために、３次元空間をＸＺ平面側から見た図（右側面図）を示している。
【０５６９】
前記ポインティングしている部分を奥行き方向に移動させるときには、図７１の下段等に示したような、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が＋Ｚ方向への移動に比例して＋Ｘ方向に移動するような軌跡をたどるように移動させる移動に限らず、たとえば、図７５に示すように、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）が＋Ｚ方向への移動に比例して−Ｘ方向に移動するような軌跡をたどるように移動させてもよい。
【０５７０】
また、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を奥行き方向に移動させるときの軌跡は、直線状の軌跡に限らず、たとえば、図７６Ａおよび図７６Ｂに示したように、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を、前記３次元空間内のある点（ｘｃ，ｙｃ，ｚｃ）を中心とする半径ｒの円弧状の軌跡をたどるように移動させてもよい。
【０５７１】
また、図７１，図７５，図７６Ａおよび図７６Ｂでは、前記ポインティングしている部分を奥行き方向に移動させるときに、前記ポインティングしている部分の形状を一定に保ったまま移動させ、そのときのポインティングしている部分としていない部分の奥行き位置に応じて連結しているが、これに限らず、図７７Ａ，図７７Ｂ，図７８Ａ，および図７８Ｂに示すように、前記ポインティングしている部分としていない部分をＹＺ平面に平行な面で連結し、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を移動させるときの軌跡に応じて、前記ポインティングしている部分を拡大あるいは縮小したり、長さを変えたりしてもよい。
【０５７２】
また、前記ポインティングしている点（ｘｐ，ｙｐ，ｚｐ）を奥行き方向に移動させるときの軌跡は、前記各図で示したような軌跡に限らず、どのような軌跡であってもよい。
【０５７３】
また、本実施例３−３の３次元ポインティング方法では、前記入力装置２としてキーボード２０１とマウス２０２を用い、前記キーボード２０１のコントロールキー２０１Ａとマウス２０２のホイール２０２Ａの回転操作を組み合わせることで、前記ポインタ４を奥行き方向に傾ける例を示したが、これに限らず、キーボード２０１の他のキーとホイール２０２Ａの組み合わせであってもよいし、ホイール２０２Ａの代わりにキーボード２０１のカーソルキー（方向キー）と組み合わせてもよい。また、その他にも、たとえば、ペンタブレットやタッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに傾くようにしてもよい。また、前記表示装置３も、液晶ディスプレイ等の２次元表示装置に限らず、DFDのような３次元表示装置であっても構わない。
【０５７４】
また、本実施例３−３の３次元ポインティング方法では、前記ポインタ４として、矢印形状のポインタを例に挙げたが、これに限らず、ポインティング部分を奥行き方向に移動させたときの移動方向およびポインティングしている点（位置）が視覚的に認識できる形状であれば、どのような形状であってもよい。
【０５７５】
また、前記オブジェクトも、本実施例３−３では、図５１等に示したようなフォルダアイコン型のオブジェクトを例に挙げたが、これに限らず、データファイル矢実行ファイルのアイコン（ショートカット）やウィンドウ等、前記ポインタでポインティング可能な形状であれば、どのような形状のオブジェクトでもよい。
【０５７６】
また、本実施例３−３のポインティング方法では、たとえば、前記ポインタ４の視覚的な形状の変化から前記ポインタ４の奥行き方向のポインティング位置を認識できるが、たとえば、前記３次元空間内に、前記ポインタ４のポインティングを行う部分がどれくらい奥行き方向に移動したかを操作者に認識させる指標となるリファレンスを前記表示装置３に表示させてもよい。
【０５７７】
また、本実施例３−３の３次元ポインティング方法の場合も、図７１に示したように、前記ポインタ４のポインティングを行う部分のみを奥行き方向に並進移動させる操作の他に、図５９に示したように前記ポインタ４の形状を保ったまま奥行き方向に並進移動させる操作が加わっていてもよいし、図６０に示したように前記ポインタ４をＸＹ平面内で回転させる操作が加わっていてもよい。
【０５７８】
また、前記各実施例で説明した３次元ポインティング方法を実行するポインティング装置は、前述のように、特殊な装置である必要はなく、たとえば、コンピュータとプログラムによって実現することができる。このとき、前記プログラムは、前記各実施例で説明した処理をコンピュータに実行させる命令が記述されていればよく、磁気的または電気的、あるいは光学的のいずれの記録媒体に記録されていてもよい。また、前記プログラムは、各種記録媒体に記録して提供することも可能であるし、インターネット等のネットワークを通して提供することも可能である。
【０５７９】
本第３の実施の形態で説明したポインティング技術と第１、第２の実施の形態における入力ペンを用いたポインタの制御技術とを組み合わせて実施することが可能である。図６１にはその一例が示されている。
【０５８０】
また、第１、第２の実施の形態において図５Ａ〜図６Ｃを参照して説明した実施例では、ポインタの一部の奥行き位置を固定して奥行き方向にあるオブジェクトをポインティングするという本第３の実施の形態で説明したポインティング技術が適用されている。
【０５８１】
第１、第２の実施の形態と第３の実施の形態とを組み合わせた更なる実施例を次に説明する。この実施例は、第１、第２の実施の形態において図５Ａ〜図６Ｃを参照して説明した実施例１−１、２−１の技術に、第３の実施の形態において図５２〜図６０を参照して説明したポインティングを行う点のｘ、ｙ座標を一定としてポインティングを行う技術を組み合わせた例である。
【０５８２】
この例において、入力ペンを用いてポインタ操作を行う場合の３次元空間内のポインタの変化を示す正面図および右側面図を図７９Ａ〜Ｃに示す。図７９Ａ〜Ｃの座標のとり方、符号の付け方は第１、第２の実施の形態と同じである。また、使用する装置等の基本的な条件は実施例１−１、２−１と同じである。また、入力ペンの操作内容は第１、第２の実施の形態で説明した通りであり、入力ペンの筆圧、ペン先の接触時間、入力ペンに取り付けられた操作手段の操作量、入力ペンの傾き等によりポインタの制御が行われる。
【０５８３】
ただし、本例では、第１、第２の実施の形態におけるポインタ位置／回転角度算出手段が、第３の実施の形態におけるポインティング位置／変形量算出手段での処理と同様にして、ポインティングを行う点のｘ、ｙ座標を一定としてポインタの位置、回転角度等を算出する。次に、図７９Ａ〜Ｃを参照して本例でのポインティング動作を説明する。
【０５８４】
操作者が入力ペン２０１のペン先２０１Ｐを表示面に接触させ、ポインタが表示された後、図７９Ａに示す状態から、操作者がたとえば入力ペン２０１の操作を行う（筆圧を高くする、傾きを変える、入力ペン２０１に取り付けられた操作手段を操作する等）。この操作により、図７９Ｂ，図７９Ｃに示すように、ポインタ３０３の矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、矢の先端部分が−Ｚ方向に移動し、矢の部分が操作者から見て奥の方向に傾く。ただし、矢の先端部分のＸＹ座標はペン先２０１ＰのＸＹ座標と同一であり一定である。
【０５８５】
実施例１−１、２−１（図５Ａ〜６Ｃ）では、ペン先２０１Ｐの延長にポインタ３０３が存在するが、この場合、ペン先２０１Ｐの位置が変わらない場合でも、入力ペンを傾けることにより、ポインティングする位置（矢の先端部分）のｘ、ｙ座標が変更される。一方、第３の実施の形態を適用した図７９Ａ〜Ｃの例では、ポインティングする位置のｘ、ｙ座標は常にペン先２０１Ｐのｘ、ｙ座標と同じであり、奥行きだけが変化する。このとき、入力ペンの傾きに応じてポインタも回転するが、ポインティングする位置は変わらない。これにより、ポインティングする位置のｘ、ｙ座標をペン先の位置で決定し、奥行き位置を入力ペンの操作で制御することが可能となる。
【０５８６】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。第４の実施の形態は本発明の第３の目的に対応するものである。
【０５８７】
第４の実施の形態の３次元表示制御方法では、表示装置上に表現された３次元空間内に表示されたポインタの位置を３次元的に変化させたときに、前記３次元空間の観察者から見て、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化させて表示する。このようにすることで前記観察者から見て、前記ポインタがあるオブジェクトの裏側にあたる移動した場合でも、前記ポインタの位置を認識できるようにした。また、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化することで、前記観察者から見て、あるオブジェクトの裏側に隠れている別のオブジェクトをポインティングするときに、手前のオブジェクトを移動させたり、非表示の状態にさせたりする操作をすることなしにポインティングできるようになり、前記観察者（前記ポインタの操作者）のポインティング操作が簡便になり、操作者の利便性が向上する。
【０５８８】
また、第４の実施の形態の３次元表示制御方法では、前記観察者から見て、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化させて表示するときに、前記観察者から見て前記ポインタのポインティング位置と重なる前記オブジェクト上の点を中心とするあらかじめ定められた領域のみを透明化することで、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトの種類や状態を認識しながら、前記ポインタの位置を認識することができるようにした。
【０５８９】
また、前記観察者から見て前記ポインタのポインティング位置と重なる前記オブジェクト上の点を中心とするあらかじめ定められた領域のみを透明化する代わりに、前記ポインタの操作に関する入力情報が一定時間入力されなかった場合に、透明化されたオブジェクトを透明化する前の不透明な状態の表示に戻すことで、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトの種類や状態を認識しながら、前記ポインタの位置を認識することができるようにした。
【０５９０】
またさらに、第４の実施の形態のの３次元表示方法では、移動等の操作を行うために選択されたオブジェクトに関しては、前記ポインタの奥行き位置よりも手前に配置されていても、透明化しないことで、前記オブジェクトが選択された状態であることを認識できるようにした。
【０５９１】
図８０乃至図８４は、本発明の第４の実施の形態の３次元表示制御方法の概要を説明するための模式図であり、図８０は第４の実施の形態の３次元表示制御方法が適用されるコンピュータシステムの概略構成を示す図、図８１は３次元空間を表現できる表示装置（DFD）の動作原理を説明する図、図８２は表示装置上に表現された３次元空間の一例を示す正面図および右側面図、図８３は表示装置上に表現された３次元空間の一例を示す斜視図（鳥瞰図）、図８４はポインタの操作方法の一例を示す図である。
図８０において、１はシステム制御装置、１０１は入力情報取得手段、１０２はポインタ位置算出手段、１０３はポインタ生成手段、１０４はオブジェクト変更判定手段、１０５はオブジェクト生成／透明化手段、１０６は表示制御手段、１０７は処理制御手段、１０８は記憶手段、２は入力装置、３は表示装置である。また、図８１において、３０１Ａは観察者から見て手前の表示面、３０１Ｂは観察者から見て奥の表示面、４は観察者が認識するオブジェクト、４Ａは手前の表示面に表示されるオブジェクト、４Ｂは奥の表示面に表示されるオブジェクト、Ｐは観察者の視点である。また、図８２および図８３において、４０１はポインタ、４０２ａから４０２ｇはフォルダアイコン（オブジェクト）、４０３ａから４０３ｃはウィンドウ（オブジェクト）である。また、図８４において、２０１はマウス、２０１Ａはマウスのホイールである。
【０５９２】
第４の実施の形態の３次元表示制御方法は、たとえば、PC等のシステム制御装置に接続された表示装置上に表現された３次元空間内に表示されたポインタをマウス等の入力装置で操作し、前記３次元空間内に表示されたオブジェクトのポインティング（選択）、移動、加工等の処理を行う場合の、前記ポインタおよびオブジェクトの表示を制御する方法である。なお、前記ポインタも前記オブジェクトの１種と考えることができるが、本明細書では、前記３次元空間内の任意の一点を指し示すためのオブジェクトをポインタとし、その他の、たとえば、アイコン、ウィンドウ、プルダウンメニュー等のオブジェクトと区別する。
【０５９３】
このとき、前記システム制御装置１は、たとえば、図８０に示すように、前記入力装置２からの入力情報を取得する入力情報取得手段１０１と、前記入力情報取得手段１０１で取得した情報がポインタの操作に関する情報（ポインタ操作情報）である場合に、前記ポインタ操作情報に基づいてポインタの表示位置を算出するポインタ位置算出手段１０２と、前記ポインタ位置算出手段１０２で算出された位置に表示するポインタを生成するポインタ生成手段１０３と、前記ポインタ位置算出手段１０２で算出された位置に基づいてオブジェクトの表示方法を変更するか否かを判定するオブジェクト変更判定手段１０４と、新たなオブジェクトの生成、またはすでに生成されているオブジェクトの透明化もしくは不透明化を行うオブジェクト生成／透明化手段１０５と、前記ポインタ生成手段１０３で生成されたポインタや、前記オブジェクト生成／透明化手段１０５で生成、または透明化もしくは不透明化されたオブジェクトを前記表示装置３に表示させる表示制御手段１０６とを備える。
【０５９４】
また、前記システム制御装置１では、前記ポインタの生成や、前記オブジェクトの生成、または透明化もしくは不透明化といった処理の他に、アプリケーションソフトの起動、操作といった処理も行うことができる。そのため、前記システム制御装置１には、図８０に示したように、前記入力装置２からの入力情報等に基づいて各処理を制御する処理制御手段１０７を備える。またさらに、前記システム制御装置１には、図８０に示したように、前記システム制御装置１の制御プログラム（OS）、前記アプリケーションソフトの実行プログラム、前記アプリケーションソフトを用いて処理をするデータ等を記憶保持する記憶手段１０８を備える。このとき、前記システム制御装置１では、前記入力情報取得手段１０１で取得した入力情報の内容を判別し、前記ポインタ操作情報である場合は、その情報を前記ポインタ位置算出手段１０３に渡し、ポインタの表示位置を算出する。一方、前記ポインタ操作情報以外の情報である場合はその情報を前記処理制御手段１０７に渡し、前記アプリケーションソフトの実行等の処理を行わせる。
【０５９５】
また、前記表示装置３は、３次元空間を表現することが可能な表示装置（ディスプレイ）であれば、どのような装置でもよい。すなわち、前記表示装置は、たとえば、DFDのように立体映像を表示することが可能な３次元表示装置に限らず、一般的なCRTや液晶ディスプレイのような２次元表示装置でもよい。前記表示装置が前記DFDの場合、前記ポインタやオブジェクトを、それぞれの３次元位置に対応する奥行き位置に表示させることで前記ポインタやオブジェクトの配置を３次元的に知覚することができる。
【０５９６】
前記DFDは、これまでにも説明したとおり、複数枚の表示面が、前記観察者の視点から見て奥行き方向に重なるように配置されている表示装置である。このとき、説明を簡単にするために、図８１に示すように、２枚の表示面３０１Ａ，３０１Ｂが重なっているとすると、前記ポインタやオブジェクトの像は、両方の表示面３０１Ａ，３０１Ｂに、前記観察者の視点Ｐから見て重なるように表示される。またこのとき、前記DFDが、たとえば、輝度変調型であれば、前記観察者の視点Ｐから見て手前の表示面３０１Ａに表示されているオブジェクト４Ａの輝度をＬＡ、奥の表示面３０１Ｂに表示されているオブジェクト４Ｂの輝度をＬＢとすると、前記観察者には、前記各表示面３０１Ａ，３０１Ｂの間であり、かつ前記手前の表示面３０１Ａからの距離と前記奥の表示面３０１Ｂからの距離の比がＬＢ：ＬＡとなるような奥行き位置に前記オブジェクト４が表示されているように見える。そのため、前記手前の表示面３０１Ａに表示されているオブジェクト４Ａの輝度ＬＡと、奥の表示面３０１Ｂに表示されているオブジェクト４Ｂの輝度ＬＢの比を変えることで、前記各表示面３０１Ａ，３０１Ｂの間の任意の奥行き位置にオブジェクト４を表示させることができる。また、図示は省略するが、前記手前の表示面３０１Ａに表示されているオブジェクト４Ａの輝度を、たとえば、図８１の紙面上方から紙面下方に向かうにつれて輝度が大きくなるように表示し、前記奥の表示面３０１Ｂに表示されているオブジェクト４Ｂの輝度を、たとえば、図８１の紙面下方から紙面上方に向かうにつれて輝度が大きくなるように表示すれば、前記オブジェクト４の上方が奥に傾いているように見える。
【０５９７】
また、図示は省略するが、前記DFDが透過型の場合は、たとえば、前記手前の表示面３０１Ａで前記オブジェクト４Ａを表示している各画素の透過度を大きくすれば、前記オブジェクト４が前記奥の表示面３０１Ｂの近傍に表示され、前記手前の表示面３０１Ａで前記オブジェクト４Ａを表示している各画素の透過度を小さくすれば、前記オブジェクト４が前記手前の表示面３０１Ａの近傍に表示されているように見える。そのため、前記手前の表示面３０１Ａで前記オブジェクト４Ａを表示している各画素の透過度を変えることで、前記各表示面３０１Ａ，３０１Ｂの間の任意の奥行き位置にオブジェクト４を表示させることができる。
【０５９８】
また、前記表示装置３が前記液晶ディスプレイ等の２次元表示装置の場合は、たとえば、前記システム制御装置１内に設定された仮想３次元空間上で前記ポインタやオブジェクトを３次元的に配置した後、その状態を２次元の表示面に投影した画像を生成し、表示させることで、前記ポインタやオブジェクトの配置を３次元的に知覚することができる。
【０５９９】
このような３次元空間を表現することが可能な表示装置３が接続されている前記システム制御装置１の場合、前記表示装置３上に、たとえば、図８２および図８３に示すように、ポインタ４０１や、フォルダアイコン４０２ａから４０２ｇ，ウィンドウ４０３ａから４０３ｃ等のオブジェクトを３次元的に配置（表示）した３次元デスクトップを表示することができる。このとき、前記観察者（操作者）は、前記３次元デスクトップをGUIとして、前記システム制御装置１で実行可能なアプリケーションソフトを利用することができる。
【０６００】
このとき、前記手前の表示面３０１Ａと奥の表示面３０１Ｂの間の空間を３次元デスクトップ空間とし、たとえば、図８２および図８３に示したように、前記手前の表示面３０１Ａの奥行き位置がｚ＝０、表示面３０１Ａ，３０１ＢがＸＹ平面と平行であり、かつ、手前の表示面３０１Ａから奥の表示面３０１Ｂに向かう方向をＺ軸の正の方向とする３次元座標系ＸＹＺをとると、前記ポインタ４０１が指し示している位置は座標（ｘｐ，ｙｐ，ｚｐ）で特定される。そのため、前記入力装置２を用いて、前記ポインタ４０１が指し示している位置の座標（ｘｐ，ｙｐ，ｚｐ）を決定することで、前記ポインタ４０１を前記３次元デスクトップ空間内の任意の一点に移動させることができ、前記３次元デスクトップ空間内に配置されたフォルダアイコン４０２ａから４０２ｇ，ウィンドウ４０３ａから４０３ｃ等のオブジェクトをポインティングできる。
【０６０１】
また、前記ポインタを３次元的に移動させるため入力装置２には、たとえば、ホイール機能付きマウス（以下、マウスという）等の既存の入力装置を用いることができる。前記マウスを用いて前記ポインタを３次元的に移動させる場合、図８４に示すように、たとえば、机上等の平面上で前記マウス本体を動かしたときのＸＩ軸方向の移動量（＋ｘＩまたは−ｘＩ）を前記ポインタ４０１のＸ軸方向の移動量に反映させ、ＹＩ軸方向の移動量（＋ｙＩまたは−ｙＩ）を前記ポインタ４０１のＹ軸方向の移動量に反映させれば、前記ポインタ４０１のＸＹ座標（ｘｐ，ｙｐ）を決定することができる。そして、たとえば、前記マウス２０１のホイール２０１Ａの回転方向（＋ｚＩまたは−ｚＩ）と回転量を前記ポインタ４０１のＺ軸方向の移動量に反映させれば、前記ポインタ４０１の奥行き位置（Ｚ座標）ｚｐを決定することができる。
【０６０２】
また、前記入力装置２は、前記マウスに限らず、たとえば、キーボードやペンタブレット等の入力装置を用いることも可能である。また、前記マウスとキーボードを組み合わせ、たとえば、前記キーボード上の特定のキーを押しながら前記ホイール２０１Ａを回転させたときの回転方向と移動量を前記ポインタ４０１のＺ軸方向の移動量に反映させてもよい。
【０６０３】
なお、ポインタの３次元的位置に応じて他のオブジェクトの表示を制御するという本実施の形態は、第１〜第３の実施の形態にも適用できる。つまり、第１、第２の実施の形態であれば、入力ペンの操作によりポインタを移動させたときに、第４の実施の形態の技術を適用して他のオブジェクトの表示を制御する。また、第３の実施の形態であれば、ポインタで奥行き方向のポインティングを行う際に、ポインタの変形や移動に応じて他のオブジェクトの表示を制御する。
【０６０４】
以下、前記入力装置として前記マウスを用い、前記表示装置としてDFDを用いた場合を例に挙げ、前記表示装置上に表現された３次元空間（３次元デスクトップ）内のポインタおよびオブジェクトの表示の制御方法について説明する。
【０６０５】
[実施例４−１]
図８５乃至図８７は、実施例４−１の３次元表示制御方法を説明するための模式図であり、図８５および図８６は本実施例４−１の表示制御方法を適用した場合の３次元空間の変化の様子を示す図、図８７は本実施例４−１の表示制御方法と比較するための従来の表示制御方法を説明する３次元空間の様子を示す図である。なお、図８５および図８６はそれぞれ、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
【０６０６】
本実施例４−１では、たとえば、図８２および図８３に示したような３次元デスクトップ空間内に表示されたポインタ４０１を、図８４に示したような操作で３次元的に移動させ、前記３次元デスクトップ空間内の任意の一点をポインティングするときに、前記観察者（操作者）から見て、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化する表示制御方法について説明する。
【０６０７】
また、本実施例４−１では、説明を簡単にするために、たとえば、図８５の上段に示したように、前記３次元デスクトップ空間にポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトの位置関係は、最初、図８５の上段に示したような位置関係であり、前記ポインタ４０１は、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン４０２ｂは、前記観察者から見て前記ウィンドウ４０３の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
【０６０８】
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させると、図８５の中段に示したように、前記ポインタ４０１が前記ウィンドウ４０３に近づく。そして、前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置に前記ポインタ４０１が到達すると、前記ウィンドウ４０３がポインティングされた状態になり、たとえば、図８５の中段に示したように、前記ウィンドウ４０３の色を変える等、ポインティングされていることを示すような表示に変える。
【０６０９】
そして、前記操作者が、この状態からさらに、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させると、図８５の下段に示したように、前記ポインタ４０１が前記ウィンドウ４０３をすり抜け、前記奥の表示面３０１Ｂに向かって移動を続ける。このとき、前記ウィンドウ４０３をすり抜けたポインタ４０１が、前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置よりも離れると、前記ウィンドウはポインティングされた状態からもとのポインティングされていない状態に戻り、たとえば、ウィンドウの色がもとの色に戻る。
【０６１０】
ただし、前記ポインタ４０１が前記ウィンドウ４０３をすり抜けると同時に、前記ポインタ４０１がすり抜けたウィンドウ４０３は、前記観察者から見て、前記ポインタ４０１の奥行き位置よりも手前に表示されることになる。そこで、前記システム制御装置１は、図８５の下段に示したように、前記ポインタ４０１の奥行き位置よりも手前に表示されるようになったウィンドウ４０３を透明化して表示させる。この結果、前記観察者（操作者）は、前記ポインタ４０１がウィンドウ４０３の裏側にあたる位置に移動したときも、前記ポインタ４０１の位置を容易に認識することができる。また、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン４０２ｂの位置を認識することができる。
【０６１１】
また、図８５の下段に示したように、前記ポインタ４０１の奥行き位置よりも手前のウィンドウ４０３が透明化されている状態で、たとえば、前記マウスのホイールを逆方向に回転させると、前記ポインタ４０１が前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置に到達した時点で、図８５の中段に示したように、前記ウィンドウ４０３の表示がポインティングされていることを示すような表示に変わる。そして、前記ポインタ４０１をさらに前記手前の表示面３０１Ａ側に移動させ、前記ポインタ４０１が前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置よりも手前に離れると、図８５の上段に示したように、前記ウィンドウ４０３の表示がもとの標準的な表示に戻る。この結果、前記観察者（操作者）は、前記ポインタ４０１を−ｚ（ｚ＜０）方向に移動させるだけで、透明化されている前記ウィンドウ４０３をもとの不透明な表示に戻すことができる。
【０６１２】
また、図８５に示した例では、前記ポインタ４０１が前記ウィンドウ４０３と重なっており、前記ポインタ４０１が前記ウィンドウ４０３をすり抜け、前記ウィンドウ４０３の裏側にあたる位置に移動したときに前記ウィンドウ４０３が透明化されているが、これに限らず、たとえば、図８６の上段に示すように、前記ウィンドウ４０３等のオブジェクトと重なっていない位置で前記ポインタ４０１の奥行き位置を変えたときにも、前記ウィンドウ４０３を透明化できるようにすることもできる。この場合、図８６の上段に示したような状態で前記ポインタ４０１を奥の表示面３０１Ｂ側に移動させたときに、前記ポインタの奥行き位置ｚｐと前記ウィンドウ４０３の奥行き位置ｚｏの関係がｚｐ＞ｚｏになったら、図８６の中段に示すように、前記ウィンドウ４０３を透明化して表示させればよい。この結果、前記観察者（操作者）は、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に隠れているフォルダアイコン４０２ｂの位置を認識することができ、前記ポインタ４０１で前記フォルダアイコン４０２ｂを容易にポインティングすることができる。また、このようにすれば、たとえば、図８６の中段に示したような状態からさらに、前記ポインタ４０１を奥の表示面３０１Ｂ側に移動させたときに、前記ポインタ４０１の奥行き位置ｚｐと前記フォルダアイコン４０２ａの奥行き位置ｚｆの関係がｚｐ＞ｚｆになった時点で、図８６の下段に示すように、前記フォルダアイコン４０２ａが透明化される。そして、図８６の下段に示したような状態から、逆に、前記ポインタ４０１を手前の表示面３０１Ａ側に移動させれば、図８６の中段に示したような状態を経て、図８６の上段に示したような、もとの不透明なフォルダアイコン４０２ａおよびウィンドウ４０３が表示された状態に戻る。この結果、前記観察者（操作者）は、前記ポインタ４０１が前記ウィンドウ４０３の裏側にあたる位置に移動したときも前記ポインタ４０１の位置を認識することができる。また、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン４０２ｂの位置を認識することができる。
【０６１３】
従来の３次元デスクトップ空間の表示制御方法では、たとえば、図８７に示すように、前記ポインタ４０１が前記観察者から見て前記ウィンドウ４０３の裏側にあたる位置に移動させると、前記ポインタ４０１は前記ウィンドウ４０３に隠れてしまい、前記観察者は前記ポインタ４０１の位置を認識することができない。そのため、従来の表示制御方法で、たとえば、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているオブジェクトの位置の認識、選択といった操作をするときには、前記ウィンドウ４０３を移動させる、または表示領域を小さくするあるいは非表示の状態にするといった操作を行わなければならなかった。そして、これらの操作を行った後、前記ウィンドウ４０３に表示されている内容を確認する場合は、前記ウィンドウ４０３をもとの位置に戻す、または表示領域を大きくするあるいは表示状態に戻すといった操作を行わなければならなかった。その結果、たとえば、図８２および図８３に示したような、フォルダアイコン４０２ａから４０２ｇ，ウィンドウ４０３ａから４０３ｃ等の多数のオブジェクトが表示されている３次元デスクトップ空間で、前記観察者から見て奥に表示されているオブジェクトを選択する場合などには操作が煩雑になり、前記観察者（操作者）の利便性が悪い。
【０６１４】
一方、本実施例４−１の表示制御方法では、前記ポインタ４０１を前記観察者から見て奥に向かう方向に移動させるだけで、前記ポインタ４０１の奥行き位置よりも手前のオブジェクトが透明化される。そのため、前記ポインタ４０１が透明化されたオブジェクトの裏側にあたる位置に移動したときも前記ポインタ４０１の位置を容易に認識することができる。また、前記ポインタを前記観察者から見て奥に向かう方向に移動させるだけで、前記ポインタ４０１の奥行き位置よりも手前のオブジェクトが透明化され、オブジェクトの裏側の状態を認識することができる。そのため、前記あるオブジェクトの裏側に隠れている別のオブジェクトを容易にポインティングすることができる。そして、前記ポインタ４０１を前記観察者から見て手前に向かう方向に移動させるだけで、前記ポインタ４０１の奥行き位置よりも奥になったオブジェクトが不透明な状態に戻り、透明化されているオブジェクトの表示内容を認識することができる。
【０６１５】
このような本実施例４−１の３次元表示制御方法を、図８０に示した前記システム制御装置１等で実現するためには、前記システム制御装置１において、図８８に示したステップ５０１からステップ５１０の処理を実行すればよい。
【０６１６】
図８８は、本実施例４−１の３次元表示制御方法を実現するための装置における処理手順を示すフロー図である。
【０６１７】
図８０に示したような構成の前記システム制御装置１において、図８５または図８６に示したようなポインタ４０１およびオブジェクト４０２ａ，４０２ｂ，４０３の表示の制御をするときには、まず、図８８に示したように、前記表示装置３にポインタ４０１とオブジェクトを表示させておく（ステップ５０１）。そして、前記観察者（操作者）が前記マウス等の入力装置２を操作すると、前記入力情報取得手段１０１が前記入力装置２からの入力情報（操作情報）を取得する（ステップ５０２）。このとき、前記入力情報取得手段１０１で入力情報を取得すると、たとえば、前記入力情報取得手段１０１において、前記入力情報がポインタの操作に関する情報（ポインタ操作情報）であるか否かを判別（ステップ５０３）され、前記ポインタ操作情報でない場合は、前記処理制御手段１０７において、前記入力情報に応じた別の処理を実行する（ステップ５０４）。
【０６１８】
一方、前記入力情報が前記ポインタ操作情報である場合、前記入力情報取得手段１０１は、前記入力情報を前記ポインタ位置算出手段１０２に渡し、ポインタの移動量を算出させ、前記ポインタの新たな表示位置（ｘｐ，ｙｐ，ｚｐ）を算出させる（ステップ５０５）。
【０６１９】
そして、前記ポインタ位置算出手段１０２は、前記ポインタの新たな表示位置（ｘｐ，ｙｐ，ｚｐ）を算出したら、まず、前記ポインタ生成手段１０３に、前記新たな表示位置に表示させるポインタを生成させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５０６）。
【０６２０】
また、前記ポインタ位置算出手段１０２は、前記ポインタの新たな表示位置（ｘｐ，ｙｐ，ｚｐ）を算出したら、前記オブジェクト変更判定手段１０４に、ポインティングしているオブジェクトがあるか否か、すなわち、ポインタがポインティングしている点のｘｙｚ座標がオブジェクトの表面上または内部の任意の点のｘｙｚ座標から予め定められた範囲内にあるか否かと、ポインタの奥行き位置より手前にオブジェクトがあるか否か、すなわち、ポインタがポインティングしている点のｚ座標より小さいｚ座標の点を表面上または内部に含むオブジェクトがあるか否かとを判定させる（ステップ５０７，ステップ５０９）。そして、前記ポインティングしているオブジェクトがある場合は、前記オブジェクト生成／透明化手段１０５でそのオブジェクトをポインティングされている状態に変更させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５０８）。また、前記ポインタの奥行き位置より手前にオブジェクトがある場合は、前記オブジェクト生成／透明化手段１０５で前記手前のオブジェクトをあらかじめ定められた透明度αに変更させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５１０）。
【０６２１】
なお、図８８に示した例では、先にポインティングしているオブジェクトがあるか否かを判定しているが、これに限らず、先にポインタの奥行き位置より手前にオブジェクトがあるか否かを判定してもよい。
【０６２２】
前記システム制御装置１において、このような処理を実行することで、図８５または図８７に示したようなポインタ４０１およびオブジェクト４０２ａ，４０２ｂ，４０３の表示の制御が可能となる。
【０６２３】
以上説明したように、本実施例４−１の３次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置（表示）されたオブジェクトを透明化することで、前記ポインタ４０１が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ４０１の位置を見失うことがなく、容易に認識することができる。
【０６２４】
また、前記ポインタ４０１を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ４０１を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例４−１の３次元表示制御方法を適用することで、前記観察者（操作者）の利便性が向上する。
【０６２５】
また、本実施例４−１の３次元表示制御方法では、たとえば、図８６に示したように、前記観察者から見て前記ポインタと重なるか否かにかかわらず、前記ポインタの奥行き位置よりも手前に配置（表示）されるオブジェクトを透明化しているが、これに限らず、たとえば、前記観察者から見て前記ポインタの奥行き位置よりも手前であり、かつ、前記ポインタと重なるオブジェクトのみを透明化してもよい。
【０６２６】
図８９および図９０は、本実施例４−１の３次元表示制御方法の応用例を説明するための模式図であり、図８９は応用例を適用した場合の３次元空間の変化の様子を示す図、図９０は応用例を実現するための装置における処理手順を示すフロー図である。なお、図８９は、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
【０６２７】
前記観察者から見て前記ポインタの奥行き位置よりも手前であり、かつ、前記ポインタと重なるオブジェクトのみを透明化する場合を説明するにあたって、まず、前記３次元デスクトップの表示状態が、図８９の上段に示すように、前記観察者から見て、前記ポインタ４０１が、前記ウィンドウ４０３の奥行き位置よりも手前にあるが、前記ウィンドウ４０３とは重なっていない状態になっているとする。この状態で、たとえば、前記ポインタ４０１を、前記観察者から見て奥の方向に移動させ、図８９の中段に示すように、前記ウィンドウ４０３の奥行き位置が前記ポインタ４０１の奥行き位置よりも手前になったとする。このとき、本実施例４−１の３次元表示制御方法では、図８６の中段に示したように、前記観察者から見て前記ポインタ４０１と前記ウィンドウ４０３が重なっているか否かにかかわらず、前記ウィンドウ４０３が透明化される。
【０６２８】
しかしながら、図８９の中段に示したような表示状態の場合、前記ウィンドウ４０３を透明化しなくても、前記観察者は前記ポインタ４０１の位置を認識することができるので、前記ウィンドウ４０３を透明化する必要はない。
【０６２９】
ただし、図８９の中段に示したような表示状態のときに、たとえば、前記ポインタ４０１を前記ウィンドウ４０３の裏側にあたる位置に移動させると、前記ウィンドウ４０３は通常の不透明な表示であるため、そのままでは、図８７に示したように、前記ポインタ４０１が前記ウィンドウ４０３の裏に隠れた状態になり、前記ポインタ４０１の位置を認識できなくなる。
【０６３０】
そこで、図８９の下段に示したように、前記ポインタ４０１を移動させたときに、前記ポインタ４０１の奥行き位置よりも手前にあり、かつ、前記観察者から見て前記ポインタ４０１と重なるウィンドウ４０３がある場合は、そのウィンドウ４０３を透明化させる。このようにすることで、本実施例４−１の３次元表示制御方法と同様に、あるオブジェクトの裏側にあたる位置に移動したポインタを容易に認識できる。また、前記あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいは前記あるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等を容易にすることができる。
【０６３１】
このような３次元表示制御方法を、図８０に示した前記システム制御装置１等で実現するためには、図８８に示した処理手順におけるステップ５１０で、図９０に示したステップ５１０ａからステップ５１０ｃの処理を行えばよい。
【０６３２】
つまり、前記オブジェクト変更手段１０４における、図８８に示したステップ５０９の判定で、前記ポインタ４０１の奥行き位置よりも手前にオブジェクトがあると判定された場合、前記オブジェクト生成／透明化手段１０５でオブジェクトを透明化させる前に、まず、前記手前にあるオブジェクトの表示領域を確認する（ステップ５１０ａ）。
【０６３３】
そして次に、前記手前にあるオブジェクトの中に、前記観察者から見てポインタ４０１と重なるオブジェクトがあるか否かを判定する（ステップ５１０ｂ）。前記ステップ５１０ｂは、たとえば、前記観察者から見て前記ポインタの表示位置（ｘｐ，ｙｐ）と重なる前記オブジェクトの奥行き位置でのＸＹ位置に、オブジェクトの一部（一点）が表示されているか否かを調べればよい。そして、重なっているオブジェクトがあると判定された場合は、そのオブジェクトを透明度αで前記表示装置３に表示させる（ステップ５１０ｃ）。
【０６３４】
このようにすれば、前記ポインタ４０１の奥行き位置よりも手前にあっても、前記ポインタ４０１と重なっていないオブジェクトは通常の不透明な表示の状態を保つことができる。
【０６３５】
本実施例４−１の３次元表示制御方法では、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトは全て透明化されるので、透明化する必要がないオブジェクトも透明化されることがある。そして、透明化されているオブジェクトの表示内容を確認するときには、前記ポインタ４０１を観察者から見て手前の方向に移動させ、透明化されているオブジェクトを不透明な表示に戻さなければならない。
【０６３６】
一方、図８９に示したような３次元表示制御方法では、前記ポインタ４０１が前記オブジェクトの裏側にあたる位置に移動したときに、前記ポインタ４０１を隠しているオブジェクトのみを透明化する。そのため、前記ポインタ４０１をオブジェクトと重ならない位置に表示させておけば、全てのオブジェクトが通常の不透明な表示であり、透明化する必要のあるオブジェクトのみを透明化することができる。このようにすると、透明化されているオブジェクトを不透明な表示に戻すときの操作がＸＹ平面内での２次元的な操作になり、本実施例４−１の３次元表示制御方法と比べ、操作の利便性が向上すると考えられる。
【０６３７】
[実施例４−２]
図９１乃至図９３は、本発明による実施例４−２の３次元表示方法を説明するための模式図であり、図９１は本実施例４−２の表示制御方法を適用した場合の３次元空間の変化の様子を示す図、図９２は透明度の決定方法の一例を示す図、図９３は本実施例４−２の３次元表示方法を実現するための装置における処理手順を示すフロー図である。なお、図９１は、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
【０６３８】
本実施例４−２では、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記ポインタからの距離に応じて透明度を変え、前記ポインタ４０１の奥行き位置や、前記ポインタ４０１の奥行き位置よりも手前であるが奥行き位置が近いオブジェクトの認識度を高くする表示制御方法について説明する。
【０６３９】
また、本実施例４−２では、説明を簡単にするために、たとえば、図９１の上段に示したように、前記３次元デスクトップ空間にポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトの位置関係は、最初、図９１の上段に示したような位置関係であり、前記ポインタ４０１は、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン４０２ｂは、前記観察者から見て前記ウィンドウ４０３の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
【０６４０】
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させ、前記ポインタ４０１の奥行き位置が、図９１の中段に示したように、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも奥になった場合、前記ウィンドウ４０３は透明化される。ただし、本実施例４−２の表示制御方法では、図９１の中段に示したように、前記ポインタ４０１の奥行き位置と前記ウィンドウ４０３の奥行き位置の距離（差）が小さいときには、前記ウィンドウ４０３を完全に透明にするのではなく、前記ウィンドウ４０３の裏側の状態が認識できる程度の透明度で前記ウィンドウ４０３を表示させる。
【０６４１】
そして、前記操作者が、この状態からさらに、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させ、図９１の下段に示したように、前記ポインタ４０１の奥行き位置と前記ウィンドウ４０３の奥行き位置の距離（差）が大きくなると、徐々に前記ウィンドウ４０３の透明度が高くなり、最終的には前記ウィンドウが完全に透明化される。このとき、前記ポインタ４０１の移動に合わせ、たとえば、図９１の下段に示したように、前記フォルダアイコン４０２ａも透明化するが、このとき、前記ポインタ４０１の奥行き位置と前記フォルダアイコン４０２ａの奥行き位置の距離は、前記ポインタ４０１の奥行き位置と前記ウィンドウ４０３の奥行き位置の距離に比べて小さいので、前記フォルダアイコン４０２ａは、前記ウィンドウ４０３の透明度よりも小さい透明度で表示される。
【０６４２】
この結果、前記観察者（操作者）は、前記ポインタ４０１がウィンドウ４０３の裏側にあたる位置に移動したときも、前記ポインタ４０１の位置を容易に認識することができる。また、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン４０２ｂの位置を認識することができる。またさらに、前記透明化されているオブジェクトの透明度から、前記ポインタ４０１の奥行き位置や、前記ポインタ４０１の奥行き位置よりも手前にあるが奥行き位置の近いオブジェクトを容易に認識することができる。
【０６４３】
また、図９１の下段に示したように、前記ポインタ４０１の奥行き位置よりも手前のウィンドウ４０３およびフォルダアイコン４０２ａが透明化されている状態で、たとえば、前記マウスのホイールを逆方向に回転させると、前記ポインタ４０１が前記フォルダアイコン４０２ａの奥行き位置に到達した時点で、図９１の中段に示したように、前記フォルダアイコン４０２ａの表示がもとの不透明な表示に変わる。このとき、前記ポインタ４０１と前記ウィンドウ４０３の奥行き方向の距離も小さくなるので、前記ウィンドウ４０３の透明度も小さくなる。そして、前記ポインタ４０１をさらに前記手前の表示面３０１Ａ側に移動させ、前記ポインタ４０１が前記ウィンドウ４０３の奥行き位置に到達すると、図９１の上段に示したように、前記ウィンドウ４０３の表示がもとの不透明な表示に戻る。この結果、前記観察者（操作者）は、前記ポインタ４０１を−ｚ（ｚ＜０）方向に移動させるだけで、透明化されている前記ウィンドウ４０３をもとの不透明な表示に戻すことができる。
【０６４４】
また、前記オブジェクトの透明度αに関して、α＝０のとき完全に透明、α＝１のとき完全に不透明とすると、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化するときには、たとえば、図９２に実線で示したように、前記ポインタ４０１と前記手前にあるオブジェクトの奥行き方向の距離に比例してαが１から０の間を連続的に変化し、距離が最大、すなわち前記オブジェクトがDFDの手前の表示面３０１Ａに表示され、前記ポインタ４０１が奥の表示面３０１Ｂに表示されているような状態のときに完全に透明（α＝０）になるようにすればよい。また、図９２に波線で示したように、前記最大の距離よりも小さい距離Ｚｃでα＝０となるようにしておいてもよい。また、図示は省略するが、前記透明度αは、たとえば、距離の２乗に反比例して小さくなるようにしてもよい。
【０６４５】
このような３次元表示制御方法を、図８０に示したシステム制御装置１等で実現するためには、前記システム制御装置１において、図８８に示したステップ５０１からステップ５１０の処理を実行すればよい。ただし、本実施例４−２の３次元表示制御方法の場合、図８８に示した処理手順におけるステップ５１０では、図９３に示したステップ５１０ｄからステップ５１０ｈの処理を行う。
【０６４６】
つまり、本実施例４−２の３次元表示制御方法を実現するためには、前記オブジェクト変更判定手段１０４における、図８８に示したステップ５０９の判定で、前記ポインタ４０１の奥行き位置よりも手前にオブジェクトがあると判定された場合、前記オブジェクト生成／透明化手段１０５でオブジェクトを透明化させる前に、まず、前記透明化するオブジェクトを１つ選択する（ステップ５１０ｄ）。
【０６４７】
次に、前記選択したオブジェクトと前記ポインタ４０１の奥行き方向の距離を算出する（ステップ５１０ｅ）。そして、前記算出した奥行き方向の距離に基づいて前記選択したオブジェクトの透明度αを算出する（ステップ５１０ｆ）。
【０６４８】
前記ステップ５１０ｆで前記選択したオブジェクトの透明度αを算出したら、前記オブジェクト生成／透明化手段１０５で算出した透明度のオブジェクトを生成させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５１０ｇ）。
【０６４９】
こうして、選択したオブジェクトを距離に応じた透明度αで表示させたら、他に透明化するオブジェクトあるいは透明度を変えるオブジェクトがあるか否かを判定（ステップ５１０ｈ）し、ある場合はステップ５１０ｄに戻ってステップ５１０ｄからステップ５１０ｇの処理を繰り返す。
【０６５０】
前記システム制御装置１において、このような処理を実行することで、図９１に示したようなポインタ４０１およびオブジェクト４０２ａ，４０２ｂ，４０３の表示の制御が可能となる。
【０６５１】
以上説明したように、本実施例４−２の３次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置（表示）されたオブジェクトを透明化することで、前記ポインタ４０１が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ４０１の位置を見失うことがなく、容易に認識することができる。
【０６５２】
また、前記ポインタ４０１を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ４０１を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の３次元表示制御方法を適用することで、前記観察者（操作者）の利便性が向上する。
【０６５３】
また、本実施例４−２のように、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記ポインタ４０１と前記手前にあるオブジェクトの奥行き方向の距離の大きさに応じて、前記手前にあるオブジェクトの透明度を変えることで、前記ポインタ４０１の奥行き位置、あるいは前記ポインタ４０１の奥行き位置と近い奥行き位置にあるオブジェクトの認識が容易になる。
【０６５４】
[実施例４−３]
図９４および図９５Ａ、Ｂは、本発明による実施例４−３の３次元表示制御方法を説明するための模式図であり、図９４は本実施例４−３の表示制御方法を適用した場合の３次元空間の変化の様子を示す図、図９５Ａおよび図９５Ｂは透明度の決定方法の一例を示す図である。なお、図９４は、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
【０６５５】
本実施例４−３では、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記観察者から見て前記ポインタ４０１のポインティング位置（ｘｐ，ｙｐ，ｚｐ）を中心としたある範囲の内側のみを透明化し、オブジェクトの透明化、不透明化による視覚的な煩わしさを低減する表示制御方法について説明する。
【０６５６】
また、本実施例４−３では、説明を簡単にするために、たとえば、図９４の上段に示したように、前記３次元デスクトップ空間にポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトの位置関係は、最初、図９４の上段に示したような位置関係であり、前記ポインタ４０１は、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン４０２ｂは、前記観察者から見て前記ウィンドウ４０３の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
【０６５７】
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させると、図９４の中段に示したように、前記ポインタ４０１が前記ウィンドウ４０３に近づく。そして、前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置に前記ポインタ４０１が到達すると、前記ウィンドウ４０３がポインティングされた状態になり、たとえば、図９４の中段に示したように、前記ウィンドウ４０３の色を変える等、ポインティングされていることを示すような表示に変える。
【０６５８】
そして、前記操作者が、この状態からさらに、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させると、図９４の下段に示したように、前記ポインタ４０１が前記ウィンドウ４０３をすり抜け、前記奥の表示面３０１Ｂに向かって移動を続ける。このとき、前記ウィンドウ４０３をすり抜けたポインタ４０１が、前記ウィンドウ４０３の奥行き位置からあらかじめ定められた範囲の奥行き位置よりも離れると、前記ウィンドウはポインティングされた状態からもとのポインティングされていない状態に戻り、たとえば、ウィンドウの色がもとの色に戻る。
【０６５９】
ただし、前記ポインタ４０１が前記ウィンドウ４０３をすり抜けると同時に、前記ポインタ４０１がすり抜けたウィンドウ４０３は、前記観察者から見て、前記ポインタ４０１の奥行き位置よりも手前に表示されることになる。そこで、前記システム制御装置１は、図９４の下段に示したように、前記ポインタ４０１の奥行き位置よりも手前に表示されるようになったウィンドウ４０３を透明化して表示させる。またこのとき、前記ウィンドウ４０３は、前記実施例４−１で説明したように前記ウィンドウ４０３全体を透明化するのではなく、たとえば、図９４の下段に示したように、前記ポインタ４０１のポインティング位置（たとえば矢印の先端）と重なる位置を中心とした半径ａの円内のみを透明化する。この結果、前記観察者（操作者）は、前記ポインタ４０１がウィンドウ４０３の裏側にあたる位置に移動したときも、前記ポインタ４０１の位置を容易に認識することができる。また、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン４０２ｂの位置を認識することができる。また、図９４の下段に示したように、前記ウィンドウ４０３のうち透明化、不透明化されるのは、前記ポインタ４０１と重なる領域の近傍のみである。そのため、たとえば、前記ポインタ４０１を奥行き方向に激しく移動させたときなどに、前記ウィンドウ４０３の一部だけが透明化、不透明化され、視覚的な煩わしさを低減することができる。
【０６６０】
また、前記観察者から見て前記ポインタ４０１のポインティング位置（ｘｐ，ｙｐ，ｚｐ）と重なる点を中心とした半径ａの円内のみを透明化する場合、たとえば、半径ａの円内は透明度α＝０（完全に透明）とし、半径ａの円の外側は透明度α＝１（完全に不透明）というようにデルタ関数的に透明度を変化させてもよいし、たとえば、図９５Ａに示すように、半径ａの円内は透明度α＝０（完全に透明）とし、半径ａの円の外側は距離に比例して徐々に透明度α＝１（完全に不透明）になるように変化させてもよい。また、そのほかにも、たとえば、図９５Ｂに示すように、前記観察者から見て前記ポインタ４０１のポインティング位置（ｘｐ，ｙｐ，ｚｐ）と重なる点（中心）を透明度α＝０（完全に透明）とし、中心からの距離の２乗に比例して透明度が透明度α＝１（完全に不透明）になるように変化させてもよい。また、図示は省略するが、前記中心からの距離に応じてステップ関数的に透明度αが０から１になるように変化させてもよい。
【０６６１】
また、前記半径ａが、前記ポインタ４０１とオブジェクトの奥行き方向の距離の大きさに比例して大きくなるようにしてもよい。このようにすれば、前記オブジェクト上で透明化されている領域の大きさによって、前記ポインタ４０１とオブジェクトの奥行き方向の距離を容易に推測することができる。
【０６６２】
またさらに、前記オブジェクト上で透明化する領域は、図９４の下段に示したような半径ａの円領域に限らず、楕円（長円）領域、あるいは多角形領域など、予め定められた任意の形状であってもよい。
【０６６３】
このような３次元表示制御方法を、図８０に示した前記システム制御装置１等で実現するためには、前記システム制御装置１において、図８８に示したステップ５０１からステップ５１０の処理を実行すればよい。ただし、本実施例４−３の３次元表示制御方法の場合、図８８に示した処理手順におけるステップ５１０では、図８９に示したステップ５１０ａから５１０ｃのような処理を行う。またさらに、図８９に示した処理手順におけるステップ５１０ｃでは、前記ポインタ４０１の奥行き位置よりも手前にあり、かつ、前記ポインタ４０１と重なるオブジェクト全体を透明化する代わりに、前述のように、前記ポインタ４０１の指し示しているＸＹ位置（ｘｐ，ｙｐ）と重なる点を中心とした円領域、または楕円領域、あるいは多角形領域など、前記予め定められた形状の領域のみを透明化する。
【０６６４】
以上説明したように、本実施例４−３の３次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置（表示）されたオブジェクトを透明化することで、前記ポインタ４０１が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ４０１の位置を見失うことがなく、容易に認識することができる。
【０６６５】
また、前記ポインタ４０１を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ４０１を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の３次元表示制御方法を適用することで、前記観察者（操作者）の利便性が向上する。
【０６６６】
また、本実施例４−３のように、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記ポインタ４０１の指し示している位置と重なる点を中心として部分的にオブジェクトを透明化させるので、たとえば、オブジェクトの透明化、不透明化の連続的な変化による視覚的な煩わしさを低減することができる。
【０６６７】
[実施例４−４]
図９６および図９７は、実施例４−４の３次元表示制御方法を説明するための模式図であり、図９６は本実施例４−４の表示制御方法を適用した場合の３次元空間の変化の様子を示す図、図９７は本実施例４−４の３次元表示方法を実現するための装置における処理手順を示すフロー図である。なお、図９６は、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで下の段の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
【０６６８】
本実施例４−４では、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化した後、ポインタが一定時間静止している場合は、透明化されたオブジェクトをもとの不透明な状態に戻し、透明化されたオブジェクトの表示内容を容易に認識することができるようにする表示制御方法について説明する。
【０６６９】
また、本実施例４−４では、説明を簡単にするために、たとえば、図９６の上段に示したように、前記３次元デスクトップ空間にポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトの位置関係は、最初、図９６の上段に示したような位置関係であり、前記ポインタ４０１は、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン４０２ｂは、前記観察者から見て前記ウィンドウ４０３の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
【０６７０】
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるように回転させ、前記ポインタ４０１の奥行き位置が、図９６の中段に示したように、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも奥になった場合、前記ウィンドウ４０３は透明化される。この結果、前記観察者（操作者）は、前記ポインタ４０１がウィンドウ４０３の裏側にあたる位置に移動したときも、前記ポインタ４０１の位置を容易に認識することができる。また、前記ポインタ４０１を＋ｚ（ｚ＞０）方向に移動させるだけで、前記ウィンドウ４０３の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン４０２ｂの位置を認識することができる。
【０６７１】
そして、前記操作者が、この状態においてマウスの操作を中断し、前記マウス本体およびホイールを動かさない状態が、たとえば、１秒間続いたとすると、図９６の下段に示すように、透明化されていた前記ウィンドウ４０３が、もとの不透明な状態の表示に戻る。この結果、前記観察者（操作者）は、たとえば、前記実施例４−１乃至実施例４−３で説明したように、前記ポインタ４０１を前記ウィンドウ４０３の奥行き位置よりも手前に移動させる操作をしなくても、前記ウィンドウ４０３の表示内容を認識することができるようになる。
【０６７２】
また、図９６の下段に示したような状態で、前記マウスの操作を再開すれば、前記ポインタ４０１の奥行き位置よりも手前にあるウィンドウ４０３は再度透明化され、図９６の中段に示したように、前記ウィンドウ４０３の裏側に隠れていたポインタ４０１およびフォルダアイコン４０２ｂを認識できるようになる。
【０６７３】
このような本実施例４−４の３次元表示制御方法を、図８０に示した前記システム制御装置１等で実現するためには、前記システム制御装置１において、図９７に示したステップ５０１からステップ５１３の処理を実行すればよい。
【０６７４】
なお、図９７に示した処理手順におけるステップ５０１からステップ５１０は、図８８に示した処理手順のステップ５０１からステップ５１０の処理と同じ処理でよいので、詳細な説明は省略する。また、前記オブジェクトを透明化するときに、前記実施例４−２や実施例４−３で説明したような方法で透明化する場合は、前記ステップ５１０において、たとえば、図９３に示したステップ５１０ｄからステップ５１０ｈの処理、あるいは図９０に示した５１０ａからステップ５１０ｃのような処理を行えばよいので、この説明も省略する。
【０６７５】
図８０に示したような構成の前記システム制御装置１において、本実施例４−４の３次元表示方法を実現するためには、図９７に示したステップ５１０の処理、すなわち、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクトを透明化して表示させる処理がすんだ後、前記ポインタの操作に関する情報（ポインタ操作情報）の取得が継続しているか確認する（ステップ５１１）。そして、前記ポインタ操作情報の取得が継続している場合は、図９７に示したように、前記ステップ５０５からステップ５１０の処理を繰り返し、ポインタの表示位置の移動、ポインティングされているオブジェクトの表示の変更、ポインタの奥行き位置よりも手前にあるオブジェクトの透明化を続ける。
【０６７６】
一方、前記ステップ５１１において、前記ポインタ操作情報の取得が中断していると判定した場合は、前記ポインタ操作情報の取得を中断してから一定の時間が経過したか確認する（ステップ５１２）。このとき、一定の時間が経過していなければ、ステップ５１１に戻り、再度確認を行う。
【０６７７】
そして、前記ステップ５１１およびステップ５１２で、前記ポインタ操作情報の取得が中断し、かつ、中断してから一定の時間が経過していると判定した場合、前記オブジェクト生成／透明化手段１０５は、現在透明化されているオブジェクトを、もとの不透明な状態に戻し、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５１３）。
【０６７８】
前記システム制御装置１において、このような処理を実行することで、図９６に示したようなポインタ４０１およびオブジェクト４０２ａ，４０２ｂ，４０３の表示の制御が可能となる。
【０６７９】
以上説明したように、本実施例４−４の３次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置（表示）されたオブジェクトを透明化することで、前記ポインタ４０１が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ４０１の位置を見失うことがなく、容易に認識することができる。
【０６８０】
また、前記ポインタ４０１を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ４０１を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の３次元表示制御方法を適用することで、前記観察者（操作者）の利便性が向上する。
【０６８１】
また、本実施例４−４のように、前記ポインタ操作情報の取得が中断してから一定時間が経過した場合、透明化されているオブジェクトをもとの不透明な状態に戻して表示させることで、たとえば、実施例４−１乃至実施例４−３で説明したような、ポインタ４０１を観察者から見て手前の方向に移動させるという操作を行わなくても、前記ポインタ４０１より手前に表示されているオブジェクトの表示内容を認識することができる。
【０６８２】
また、前記透明化されているオブジェクトの奥行き位置よりも奥に前記ポインタ４０１が表示されている状態のまま透明化されているオブジェクトを不透明化し、さらに、前記ポインタ操作情報の取得が再開した時点で前記不透明化されたオブジェクトを再度透明化するので、前記透明化されているオブジェクトの表示内容を確認するためにポインタを奥行き方向に移動させるという操作を省くことができ、前記観察者（操作者）の利便性がさらに向上する。
【０６８３】
[実施例４−５]
図９８〜図１００は、実施例４−５の３次元表示制御方法を説明するための模式図であり、図９８はオブジェクトの選択方法を示す図、図９９は本実施例４−５の表示制御方法を適用した場合の３次元空間の変化の様子を示す図、図１００は本実施例４−５の３次元表示方法を実現するための装置における処理手順を示すフロー図である。なお、図９８および図９９は、上段、中段、下段に３通りの状態を示しており、各状態は、図中に示した操作をすることで下の段の状態に変化する。また、各状態は、前記観察者から前記３次元空間を見たときの正面図と右側面図で示している。
【０６８４】
本実施例４−５では、前記３次元空間内に表示されたオブジェクトを選択している状態で前記ポインタを移動させときに、前記ポインタの奥行き位置よりも手前にあるオブジェクトのうち、前記選択しているオブジェクトは透明化せず、選択されていることを認識できるようにする表示制御方法について説明する。
【０６８５】
前記表示装置３上の３次元空間内でポインタ４０１を操作するときには、前記実施例４−１乃至実施例４−４で説明したように、前記ポインタ４０１を３次元空間内で移動させてオブジェクトをポインティングする操作の他に、たとえば、１つ以上のオブジェクトを選択し、前記選択したオブジェクトを前記３次元空間内で移動させるといった操作を行うこともできる。
【０６８６】
そこで、本実施例４−５では、まず、たとえば、図９８の上段に示したように、前記３次元デスクトップ空間にポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトが表示されている場合を例に挙げて前記オブジェクトを３次元空間内で移動させる動作について説明する。このとき、ポインタ４０１と、フォルダアイコン４０２ａ，４０２ｂおよびウィンドウ４０３の３つのオブジェクトの位置関係は、最初、図９８の上段に示したような位置関係であり、前記ポインタ４０１は、前記観察者から見て前記ウィンドウ４０３の奥行き位置よりも奥に表示されているとする。すなわち、前記ウィンドウ４０３は、前記ポインタ４０１の奥行き位置よりも手前にあるので、透明化されているとする。
【０６８７】
このとき、前記操作者が、たとえば、前記マウスの左ボタンを押しながら、前記マウス本体およびホイールを操作すると、図９８の中段に示したように、フォルダアイコン４０２ａ，４０２ｂを選択することができる。またこのとき、前記フォルダアイコン４０２ａ，４０２ｂは、通常の表示から、選択されていることを示す表示に切り替わる。そして、マウスの左ボタンを押すのをやめ、たとえば、前記ポインタ４０１で前記フォルダアイコン４０２ａをポインティングした後、再び前記マウスの左ボタンを押しながらホイールを回転させると、図９８の下段に示したように前記選択したフォルダアイコン４０２ａ，４０２ｂを、相対的な位置関係を保ちながら前記観察者から見て手前の方向に移動させることができる。
【０６８８】
そして、前記操作者が、たとえば、図９８の下段または図９９の上段に示したように、前記フォルダアイコン４０２ａ，４０２ｂを移動させた後、前記選択した状態のまま、図９９の中段に示すように、前記ポインタ４０１を前記フォルダアイコン４０２ｂの方向に移動させたとする。このとき、図９９の中段に示したように、前記ポインタ４０１の奥行き位置が、前記フォルダアイコン４０２ｂよりも奥にあるとすると、前記実施例４−１乃至実施例４−４の表示制御方法では、前記フォルダアイコン４０２ｂは透明化されてしまう。しかしながら、前記フォルダアイコン４０２ｂが透明化されてしまうと、前記観察者は、前記フォルダアイコン４０２ｂが選択された状態であることを認識できなくなる。またさらに、図９９の中段に示したように、２つの選択されたフォルダアイコン４０２ａ，４０２ｂの各奥行き位置の間に前記ポインタ４０１があると、前記フォルダアイコン４０２ｂが透明化され、前記フォルダアイコン４０２ａが不透明な状態で表示されているため、前記フォルダアイコン４０２ａのみが選択されているのか、他のオブジェクトも一緒に選択されているのかが認識できない。
【０６８９】
そこで、本実施例４−５では、図９９の中段に示したように、前記ポインタ４０１の奥行き位置よりも手前にあるオブジェクト（フォルダアイコン４０２ｂ）であっても、選択された状態であれば、透明化せず、不透明な状態で表示する。この結果、前記観察者は、フォルダアイコン４０２ａ，４０２ｂが選択されている状態であることを容易に認識することができる。
【０６９０】
そして、前記操作者が、たとえば、オブジェクトをポインティングしていない状態でマウスの左ボタンを押す等の操作をして、選択を解除すると、図９９の下段に示したように、前記フォルダアイコン４０２ａ，４０２ｂは、選択されていることを示す表示から通常の表示に戻る。そして、前記ポインタ４０１の奥行き位置よりも手前にあるフォルダアイコン４０２ｂは通常の表示に戻ると同時に、透明化される。
【０６９１】
このような本実施例４−５の３次元表示制御方法を、図８０に示した前記システム制御装置１等で実現するためには、前記システム制御装置１において、図１００に示したステップ５０１からステップ５０６，ステップ５１４からステップ５１７の処理を実行すればよい。
【０６９２】
なお、図１００に示した処理手順におけるステップ５０１からステップ５０６は、図８８に示した処理手順のステップ５０１からステップ５０６の処理と同じ処理でよいので、詳細な説明は省略する。
【０６９３】
図８０に示したような構成の前記システム制御装置１において、本実施例４−５の３次元表示方法を実現するためには、図１００に示したステップ５０６の処理、すなわち、前記ポインタ４０１を新たな表示位置に表示させる処理がすんだ後、前記ポインタ位置算出手段１０２は、前記オブジェクト変更判定手段１０４に前記ポインタ４０１の奥行き位置よりも手前に透明化候補のオブジェクトがあるか否かを判定させる（ステップ５１４）。このとき、透明化候補のオブジェクトがなければ、ステップ５０２に戻り、次の入力情報を取得するまで待機する。
【０６９４】
一方、透明化候補のオブジェクトがある場合、前記オブジェクト変更判定手段１０４は、次に、前記透明化候補のオブジェクトの中に、選択されている状態のオブジェクトがあるか否かを判定する（ステップ５１５）。そして、選択されている状態のオブジェクトがなければ、前記オブジェクト生成／透明化手段１０５に、前記透明化候補となっている全てのオブジェクトを透明化させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５１６）。このとき、前記ステップ５１６では、前記実施例４−１乃至実施例４−３で説明したような透明化方法のいずれかを選択して前記オブジェクトを透明化する。
【０６９５】
また、前記透明化候補となっているオブジェクトの中に、選択されている状態のオブジェクトがある場合は、前記オブジェクト生成／透明化手段１０５に、前記選択されているオブジェクトを除く、非選択状態のオブジェクトのみを透明化させ、前記表示制御手段１０６を介して前記表示装置３に表示させる（ステップ５１７）。このとき、前記ステップ５１７では、前記実施例４−１乃至実施例４−３で説明したような透明化方法のいずれかを選択して前記オブジェクトを透明化する。
【０６９６】
前記システム制御装置１において、このような処理を実行することで、図１００に示したようなポインタ４０１およびオブジェクト４０２ａ，４０２ｂ，４０３の表示の制御が可能となる。
【０６９７】
なお、図１００に示した処理手順では、図８８に示した処理手順のステップ５０７およびステップ５０８を省略しているが、これらの処理が組み込まれていてもよい。また、前記オブジェクトを透明化するときに、前記実施例４−２や実施例４−３で説明したような方法で透明化する場合は、前記ステップ５１０において、たとえば、図９３に示したステップ５１０ｄからステップ５１０ｈの処理、あるいは図９０に示した５１０ａからステップ５１０ｃのような処理を行えばよい。
【０６９８】
以上説明したように、本実施例４−５の３次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置（表示）されたオブジェクトを透明化することで、前記ポインタ４０１が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ４０１の位置を見失うことがなく、容易に認識することができる。
【０６９９】
また、前記ポインタ４０１を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ４０１を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の３次元表示制御方法を適用することで、前記観察者（操作者）の利便性が向上する。
【０７００】
また、前記オブジェクトを透明化するときに、透明化の候補であるオブジェクト、すなわち、前記ポインタの奥行き位置よりも手前にあるオブジェクトの中に、選択されている状態のオブジェクトがある場合、前記選択されているオブジェクトは透明化しないことで、前記オブジェクトが選択された状態であることを容易に認識することができる。
【０７０１】
また、前記各実施例では、前記入力装置２としてホイール機能付きマウスを用い、前記表示装置３としてDFDを用いた場合を例に挙げて、前記ポインタおよびオブジェクトの表示の制御方法を説明したが、前記入力装置２および前記表示装置３は、既存の種々の装置を用いることができることは言うまでもない。このとき、前記入力装置２としては、たとえば、キーボードやペンタブレット、あるいはゲームパッド等の装置を用いることができる。また、前記入力装置２は１種類に限らず、たとえば、キーボードとマウスを組み合わせ、前記キーボードの特定のキーを押しながらマウスを操作することで、前記ポインタの３次元的な移動操作や選択操作等を行うこともできる。また、前記表示装置３も、前記DFDのようなオブジェクトの立体表示が可能な３次元ディスプレイに限らず、既存のCRTや液晶ディスプレイ、プラズマディスプレイ等の２次元ディスプレイを用いることも可能である。前記表示装置３として前記２次元ディスプレイを用いた場合は、前記システム制御装置１の表示制御手段１０６において、３次元仮想空間を設定して前記３次元空間内に前記ポインタやオブジェクトを配置した後、前記３次元空間を前記２次元ディスプレイの表示面に投影した画像を生成し、前記２次元ディスプレイに表示させればよい。
【０７０２】
また、本発明の３次元表示制御方法は、特殊な入力装置、制御装置、表示装置を用いることなく、既存の入力装置、制御装置、表示装置を組み合わせることで容易に実現することができる。また、本発明の３次元表示制御方法を適用した制御装置は、コンピュータとプログラムによって実現することができる。このとき、前記プログラムは、たとえば、前記実施例４−１乃至実施例４−５で説明したような表示制御方法をコンピュータに実行させる命令が記述されていればよく、磁気的または電気的、あるいは光学的のいずれかの記録媒体に記録して提供することができる。また、前記記録媒体に記録して提供する代わりに、たとえば、インターネット等のネットワークを介して提供することもできる。
【０７０３】
以上、本発明を、各実施の形態に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【符号の説明】
【０７０４】
（第１の実施の形態）
１…システム制御装置
１０１…入力情報取得手段
１０２…ポインタ位置／回転角度算出手段
１０３…ポインタ生成手段
１０４…ポインティング判定手段
１０５…オブジェクト生成手段
１０６…表示制御手段
２…入力装置
２０１…入力ペン
２０１Ｄ…入力ペンのボタン
２０１Ｐ…入力ペンのペン先
２０１Ｘ…入力ペンの筐体の軸
３…表示装置
３０１…表示装置に表現された３次元空間
３０２…オブジェクト
３０３…ポインタ
３０４…ウィンドウ
３０５…ゴミ箱オブジェクト
（第２の実施の形態）
１…システム制御装置
１０１…入力情報取得手段
１０２…ポインタ位置／回転角度算出手段
１０３…ポインタ生成手段
１０４…ポインティング判定手段
１０５…オブジェクト生成手段
１０６…表示制御手段
１０９…入力情報処理手段
２…入力装置
２０１…入力ペン
２０１Ｄ…操作手段（ボタン、ホイール、スライドバー）
２０１Ｐ…入力ペンのペン先
２０１Ｘ…入力ペンの筐体の軸
３…表示装置
３０１…表示装置に表現された３次元空間
３０２…オブジェクト
３０３…ポインタ
３０４…ウィンドウ
３０５…ゴミ箱オブジェクト
（第３の実施の形態）
１…システム制御装置（ポインティング装置）
１０１…入力情報取得手段
１０２…ポインタ位置／変形量算出手段
１０３…ポインタ生成手段
１０４…表示制御手段
１０５…ポインティング判定手段
１０６…オブジェクト生成手段
１０７…処理制御手段
１０８…記憶手段
２…入力装置
２０１…キーボード
２０２…マウス
３…表示装置
３０１，３０１Ａ，３０１Ｂ…表示面
４…ポインタ
５…オブジェクト
（第４の実施の形態）
１…システム制御装置
１０１…入力情報取得手段
１０２…ポインタ位置算出手段
１０３…ポインタ生成手段
１０４…オブジェクト変更判定手段
１０５…オブジェクト生成／透明化手段
１０６…表示制御手段
２…入力装置
２０１…ホイール機能付きマウス（マウス）
２０１Ａ…マウスのホイール
３…表示装置
３０１Ａ…手前の表示面
３０１Ｂ…奥の表示面
４…オブジェクト
４Ａ…手前の表示面に表示されたオブジェクト
４Ｂ…奥の表示面に表示されたオブジェクト
４０１…ポインタ
４０２ａ〜４０２ｇ…フォルダアイコン
４０３，４０３ａ〜４０３ｃ…ウィンドウ
【図１】
2010055627.tif 000003
【図２】
2010055627.tif 000004
【図３】
2010055627.tif 000005
【図４Ａ】
2010055627.tif 000006
【図４Ｂ】
2010055627.tif 000007
【図５Ａ】
2010055627.tif 000008
【図５Ｂ】
2010055627.tif 000009
【図５Ｃ】
2010055627.tif 000010
【図６Ａ】
2010055627.tif 000011
【図６Ｂ】
2010055627.tif 000012
【図６Ｃ】
2010055627.tif 000013
【図７】
2010055627.tif 000014
【図８Ａ】
2010055627.tif 000015
【図８Ｂ】
2010055627.tif 000016
【図８Ｃ】
2010055627.tif 000017
【図８Ｄ】
2010055627.tif 000018
【図９Ａ】
2010055627.tif 000019
【図９Ｂ】
2010055627.tif 000020
【図９Ｃ】
2010055627.tif 000021
【図１０Ａ】
2010055627.tif 000022
【図１０Ｂ】
2010055627.tif 000023
【図１０Ｃ】
2010055627.tif 000024
【図１１】
2010055627.tif 000025
【図１２】
2010055627.tif 000026
【図１３】
2010055627.tif 000027
【図１４Ａ】
2010055627.tif 000028
【図１４Ｂ】
2010055627.tif 000029
【図１４Ｃ】
2010055627.tif 000030
【図１５Ａ】
2010055627.tif 000031
【図１５Ｂ】
2010055627.tif 000032
【図１５Ｃ】
2010055627.tif 000033
【図１６Ａ】
2010055627.tif 000034
【図１６Ｂ】
2010055627.tif 000035
【図１７Ａ】
2010055627.tif 000036
【図１７Ｂ】
2010055627.tif 000037
【図１８Ａ】
2010055627.tif 000038
【図１８Ｂ】
2010055627.tif 000039
【図１８Ｃ】
2010055627.tif 000040
【図１８Ｄ】
2010055627.tif 000041
【図１９Ａ】
2010055627.tif 000042
【図１９Ｂ】
2010055627.tif 000043
【図１９Ｃ】
2010055627.tif 000044
【図１９Ｄ】
2010055627.tif 000045
【図２０】
2010055627.tif 000046
【図２１Ａ】
2010055627.tif 000047
【図２１Ｂ】
2010055627.tif 000048
【図２２Ａ】
2010055627.tif 000049
【図２２Ｂ】
2010055627.tif 000050
【図２２Ｃ】
2010055627.tif 000051
【図２３Ａ】
2010055627.tif 000052
【図２３Ｂ】
2010055627.tif 000053
【図２３Ｃ】
2010055627.tif 000054
【図２４Ａ】
2010055627.tif 000055
【図２４Ｂ】
2010055627.tif 000056
【図２４Ｃ】
2010055627.tif 000057
【図２５Ａ】
2010055627.tif 000058
【図２５Ｂ】
2010055627.tif 000059
【図２５Ｃ】
2010055627.tif 000060
【図２６】
2010055627.tif 000061
【図２７】
2010055627.tif 000062
【図２８Ａ】
2010055627.tif 000063
【図２８Ｂ】
2010055627.tif 000064
【図２９Ａ】
2010055627.tif 000065
【図２９Ｂ】
2010055627.tif 000066
【図３０Ａ】
2010055627.tif 000067
【図３０Ｂ】
2010055627.tif 000068
【図３０Ｃ】
2010055627.tif 000069
【図３１Ａ】
2010055627.tif 000070
【図３１Ｂ】
2010055627.tif 000071
【図３２Ａ】
2010055627.tif 000072
【図３２Ｂ】
2010055627.tif 000073
【図３２Ｃ】
2010055627.tif 000074
【図３３】
2010055627.tif 000075
【図３４】
2010055627.tif 000076
【図３５Ａ】
2010055627.tif 000077
【図３５Ｂ】
2010055627.tif 000078
【図３５Ｃ】
2010055627.tif 000079
【図３６Ａ】
2010055627.tif 000080
【図３６Ｂ】
2010055627.tif 000081
【図３６Ｃ】
2010055627.tif 000082
【図３７Ａ】
2010055627.tif 000083
【図３７Ｂ】
2010055627.tif 000084
【図３７Ｃ】
2010055627.tif 000085
【図３８Ａ】
2010055627.tif 000086
【図３８Ｂ】
2010055627.tif 000087
【図３８Ｃ】
2010055627.tif 000088
【図３９Ａ】
2010055627.tif 000089
【図３９Ｂ】
2010055627.tif 000090
【図３９Ｃ】
2010055627.tif 000091
【図４０Ａ】
2010055627.tif 000092
【図４０Ｂ】
2010055627.tif 000093
【図４０Ｃ】
2010055627.tif 000094
【図４１】
2010055627.tif 000095
【図４２】
2010055627.tif 000096
【図４３】
2010055627.tif 000097
【図４４】
2010055627.tif 000098
【図４５】
2010055627.tif 000099
【図４６】
2010055627.tif 000100
【図４７】
2010055627.tif 000101
【図４８】
2010055627.tif 000102
【図４９】
2010055627.tif 000103
【図５０】
2010055627.tif 000104
【図５１】
2010055627.tif 000105
【図５２】
2010055627.tif 000106
【図５３】
2010055627.tif 000107
【図５４】
2010055627.tif 000108
【図５５】
2010055627.tif 000109
【図５６Ａ】
2010055627.tif 000110
【図５６Ｂ】
2010055627.tif 000111
【図５６Ｃ】
2010055627.tif 000112
【図５６Ｄ】
2010055627.tif 000113
【図５７】
2010055627.tif 000114
【図５８】
2010055627.tif 000115
【図５９】
2010055627.tif 000116
【図６０】
2010055627.tif 000117
【図６１】
2010055627.tif 000118
【図６２Ａ】
2010055627.tif 000119
【図６２Ｂ】
2010055627.tif 000120
【図６３Ａ】
2010055627.tif 000121
【図６３Ｂ】
2010055627.tif 000122
【図６４Ａ】
2010055627.tif 000123
【図６４Ｂ】
2010055627.tif 000124
【図６５Ａ】
2010055627.tif 000125
【図６５Ｂ】
2010055627.tif 000126
【図６６Ａ】
2010055627.tif 000127
【図６６Ｂ】
2010055627.tif 000128
【図６７】
2010055627.tif 000129
【図６８Ａ】
2010055627.tif 000130
【図６８Ｂ】
2010055627.tif 000131
【図６９】
2010055627.tif 000132
【図７０Ａ】
2010055627.tif 000133
【図７０Ｂ】
2010055627.tif 000134
【図７１】
2010055627.tif 000135
【図７２】
2010055627.tif 000136
【図７３】
2010055627.tif 000137
【図７４Ａ】
2010055627.tif 000138
【図７４Ｂ】
2010055627.tif 000139
【図７４Ｃ】
2010055627.tif 000140
【図７４Ｄ】
2010055627.tif 000141
【図７５】
2010055627.tif 000142
【図７６Ａ】
2010055627.tif 000143
【図７６Ｂ】
2010055627.tif 000144
【図７７Ａ】
2010055627.tif 000145
【図７７Ｂ】
2010055627.tif 000146
【図７８Ａ】
2010055627.tif 000147
【図７８Ｂ】
2010055627.tif 000148
【図７９Ａ】
2010055627.tif 000149
【図７９Ｂ】
2010055627.tif 000150
【図７９Ｃ】
2010055627.tif 000151
【図８０】
2010055627.tif 000152
【図８１】
2010055627.tif 000153
【図８２】
2010055627.tif 000154
【図８３】
2010055627.tif 000155
【図８４】
2010055627.tif 000156
【図８５】
2010055627.tif 000157
【図８６】
2010055627.tif 000158
【図８７】
2010055627.tif 000159
【図８８】
2010055627.tif 000160
【図８９】
2010055627.tif 000161
【図９０】
2010055627.tif 000162
【図９１】
2010055627.tif 000163
【図９２】
2010055627.tif 000164
【図９３】
2010055627.tif 000165
【図９４】
2010055627.tif 000166
【図９５Ａ】
2010055627.tif 000167
【図９５Ｂ】
2010055627.tif 000168
【図９６】
2010055627.tif 000169
【図９７】
2010055627.tif 000170
【図９８】
2010055627.tif 000171
【図９９】
2010055627.tif 000172
【図１００】
2010055627.tif 000173