(57)【要約】【課題】  前記３次元GUIでのポインタを用いたポインティングにおいて、前記ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者が直観的に、かつ正確に知覚する。【解決手段】  ３次元空間を表現することが可能な表示装置に表示されたポインタを、２次元平面内で移動または回転させるとともに、前記２次元平面の法線方向（以下、奥行き方向という）に移動させて前記表示装置上に表現された３次元空間の任意の位置をポインティングするポインティング方法であって、前記ポインタを前記２次元平面内で移動または回転させて前記表示装置に表示させるステップ１と、前記ポインタを前記奥行き方向に移動させて前記表示装置に表示させるステップ２とを有し、ステップ２は、前記ポインタの一部の奥行き位置を保ったまま、前記ポインタの一端の前記奥行き位置を変えて前記表示装置に表示させるステップ３を有するポインティング方法である。【選択図】        図２
2005332231.tif 000002
【特許請求の範囲】
【請求項１】
３次元空間を表現することが可能な表示装置に表示されたポインタを、２次元平面内で移動または回転させるとともに、前記２次元平面の法線方向（以下、奥行き方向という）に移動させて前記表示装置上に表現された３次元空間の任意の位置をポインティングするポインティング方法であって、
前記ポインタを前記２次元平面内で移動または回転させて前記表示装置に表示させるステップ１と、前記ポインタを前記奥行き方向に移動させて前記表示装置に表示させるステップ２とを有し、
ステップ２は、前記ポインタの一部の奥行き位置を保ったまま、前記ポインタの一端の前記奥行き位置を変えて前記表示装置に表示させるステップ３を有することを特徴とするポインティング方法。
【請求項２】
前記ステップ２は、前記ステップ３に加え、前記ポインタの形状を保ったまま奥行き方向に並進移動させて前記表示装置に表示させるステップ４を有することを特徴とする請求項１に記載のポインティング方法。
【請求項３】
前記ステップ３は、前記ポインタを、前記２次元平面と平行な軸まわりにあらかじめ定められた角度だけ回転させて前記表示装置に表示させることを特徴とする請求項１または請求項２に記載のポインティング方法。
【請求項４】
前記ステップ３は、前記ポインタを、前記複数本の軸のうちの１本の軸まわりあるいは２本以上軸まわりで回転させて前記表示装置に表示させることを特徴とする請求項３に記載のポインティング方法。
【請求項５】
前記ステップ３は、前記ポインタの一部分のみが前記奥行き方向に移動した形状に変形させて前記表示装置に表示させることを特徴とする請求項１または請求項２に記載のポインティング方法。
【請求項６】
前記ステップ３は、入力装置から入力された操作情報に基づいて、前記ポインタを段階的に回転または変形させて前記表示装置に表示させることを特徴とする請求項３乃至請求項５のいずれか１項に記載のポインティング方法。
【請求項７】
前記ポインタとともに、前記奥行き方向の位置を変化させない参照用ポインタを前記表示装置に表示させることを特徴とする請求項１乃至請求項６のいずれか１項に記載のポインティング方法。
【請求項８】
前記ポインタは、操作者から見て奥行き方向に重なった複数枚の表示面に、前記操作者の視点から射影し、かつ、前記視点から見て重なる前記各表示面上の点の輝度の比率を変えて表示させることを特徴とする請求項１乃至請求項７のいずれか１項に記載のポインティング方法。
【請求項９】
３次元空間を表現することが可能な表示装置に表示されたポインタを、２次元平面内で移動または回転させるとともに、前記２次元平面の法線方向（以下、奥行き方向という）に移動させて前記表示装置上に表現された３次元空間の任意の位置をポインティングさせるポインティング装置であって、
入力装置から入力された前記ポインタの操作情報を取得する入力情報取得手段と、
前記入力情報取得手段で取得した前記操作情報に基づいて、前記２次元平面内での前記ポインタの移動量または回転角度を算出するとともに、前記奥行き方向への前記ポインタの移動量を算出するポインタ位置／変形量算出手段と、
前記ポインタ位置／変形量算出手段で算出した前記２次元平面内での前記ポインタの移動量または回転角度に基づいて前記ポインタを並進または回転させる手段、および前記算出した奥行き方向への前記ポインタの移動量に基づいて、前記ポインタの一部の奥行き位置を保ったまま、前記ポインタの一端の前記奥行き位置を変えたポインタを生成する手段を備えるポインタ生成手段と、
前記ポインタ生成手段で生成したポインタを前記表示装置に表示させる表示制御手段とを備えることを特徴とするポインティング装置。
【請求項１０】
前記ポインタ生成手段は、前記各手段に加え、前記ポインタの形状を保ったまま前記ポインタを拡大または縮小させる手段を備えることを特徴とする請求項９に記載のポインティング装置。
【請求項１１】
前記ポインタの一部の奥行き位置を保ったまま、前記ポインタの一端の前記奥行き位置を変えたポインタを生成する手段は、前記ポインタを、前記２次元平面と平行な軸まわりにあらかじめ定められた角度だけ回転させることを特徴とする請求項９または請求項１０に記載のポインティング装置。
【請求項１２】
前記ポインタの一部の奥行き位置を保ったまま、前記ポインタの一端の前記奥行き位置を変えたポインタを生成する手段は、前記ポインタを、前記２次元平面と平行な複数本の軸のうちの１本の軸まわりあるいは２本以上軸まわりで回転させることを特徴とする請求項１１に記載のポインティング装置。
【請求項１３】
前記ポインタの一部の奥行き位置を保ったまま、前記ポインタの一端の前記奥行き位置を変えたポインタを生成する手段は、前記ポインタの一部分のみが前記奥行き方向に移動した形状に変形させることを特徴とする請求項９または請求項１０に記載のポインティング装置。
【請求項１４】
前記ポインタの一部の奥行き位置を保ったまま、前記ポインタの一端の前記奥行き位置を変えたポインタを生成する手段は、入力装置から入力された操作情報に基づいて、前記ポインタを段階的に回転または変形させることを特徴とする請求項１１乃至請求項１３のいずれか１項に記載のポインティング装置。
【請求項１５】
前記表示制御手段は、前記ポインタとともに、前記奥行き方向の位置を変化させない参照用ポインタを前記表示装置に表示させることを特徴とする請求項９乃至請求項１４のいずれか１項に記載のポインティング装置。
【請求項１６】
前記表示制御手段は、操作者から見て奥行き方向に重なった複数枚の表示面に、前記操作者の視点から射影したポインタを表示させ、かつ、前記視点から見て重なる前記各表示面上の点の輝度の比率を変えて表示させることを特徴とする請求項９乃至請求項１５のいずれか１項に記載のポインティング装置。
【請求項１７】
前記各手段に加え、前記ポインタ位置／変形量算出手段で算出された前記２次元平面内での前記ポインタの移動量または回転角度、および前記奥行き方向への前記ポインタの移動量に基づいて前記ポインタを移動させたときに、前記ポインタでポインティングされているオブジェクトがあるか否かの判定をするポインティング判定手段と、前記ポインティングされているオブジェクトがある場合にポインティングされた状態に変化させたオブジェクトを生成するオブジェクト生成手段とを備えることを特徴とする請求項９乃至請求項１５のいずれか１項に記載のポインティング装置。
【請求項１８】
請求項１乃至請求項８のいずれかに記載のポインティング方法をコンピュータに実行させるポインティングプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポインティング方法およびポインティング装置、ならびにポインティングプログラムに関し、特に、３次元表示が可能な表示装置に表示されたポインタを操作してポインティングする方法および装置に適用して有効な技術に関するものである。
【背景技術】
【０００２】
従来、PC(Personal Computer)の演算性能の著しい向上や処理速度の高速化、グラフィック機能の強化等にともない、GUI(Graphical User Interface)は、その表示・機能・操作のどれもがこれまで以上に複雑化し、操作者が目的の動作を遂行するに当たって、それらが足枷となって効率的な操作を防げていることが多々ある。
【０００３】
そのような状態を改善するために、近年、３次元空間を用いて情報を呈示・操作することが提案されている。これはしばしば３次元GUI等と呼ばれ、３次元空間に３次元的にオブジェクトを配置し、所定の入力デバイスを用いて前記オブジェクトを操作するという仕組みである。前記３次元GUIの他にも、たとえば、３次元空間内で設計などを行うCAD(Computer Aided (or Assisted) Design)やCG(Computer Graphics)などにおいても同様の仕組みを用いることがあるが、３次元のオブジェクトを操作・ポインティングするという観点から、ここからは３次元GUIを例にとって話を進めることにする。前記３次元GUIを用いると、これまで２次元上に並べて、もしくは重ねて配置していたオブジェクトを３次元的に配置することが可能となり、作業スペースを効率的に扱うことができる。また、われわれを取り巻いている実世界は３次元空間であるがゆえに、GUIを３次元化することで２次元のGUIよりも直感的に扱うことができるGUIとなる。
【０００４】
ここで前記３次元GUIを操作する過程において必要となってくる課題の一つに、様々な奥行き位置にあるオブジェクトのポインティング方法がある。これまでの技術では、２次元のGUIにおいて用いられてきたマウスやキーボード、ジョイスティック等での操作に、奥行き方向への移動に必要な新たな機能を付加することで、ポインタの３次元空間内の移動を実現している。また、前記ポインタの奥行き方向の位置は、たとえば、前記ポインタを拡大あるいは縮小させることで表現し、空間内の奥にあるオブジェクトのポインティングを行っていた（たとえば、非特許文献１を参照。）。つまり、３次元空間内でポインタが手前にあるときはポインタを大きく表示し、奥にあるときにはポインタを小さく表示する方法などが提案されていた。
【０００５】
しかしながら、これらの方法の多くは、３次元空間に表示されたポインタが空間内を奥行き方向に自由に動くことが可能なため、いくらポインタが表示装置上に表示されていても、それが一体どの奥行き位置にあり、どこをポインティングしているかを、操作者が知覚できなくなることがしばしばあった。
【０００６】
この問題を解決するために、たとえば、ポインタ付近に奥行き位置の変わらないｘｙｚ軸などを表すリファレンスなどを表示して奥行き位置を知覚しやすくする方法がある（たとえば、特許文献１を参照。）。しかしながら、表示面にリファレンスが現れることで操作者の視界をさえぎり、作業効率を下げてしまうこともある。また、前記リファレンスは、実世界のものをポインティングするときに現れることはない。そのため、前記リファレンスを表示するという方法は、実世界と同じような感覚でGUIを操作しようとする観点からみた場合、最適な方法とは言い難い。
【０００７】
以上のことから、３次元GUIを実世界と同じような感覚で操作するために、３次元GUIでのポインタを用いたポインティング作業において、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者がいち早く、しかも正確に知覚できる効率的なポインティング方法が求められていた。
【非特許文献１】渡邊 恵太, 安村 通晃, "RUI: Realizable User Interface," ヒューマンインタフェースシンポジウム2003論文集, pp.541-544, 2003
【特許文献１】特開平８−２４８９３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする問題点は、前記背景技術で説明したように、従来の前記３次元GUIでのポインタを用いたポインティング作業では、前記ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者が直観的に、かつ正確に知覚することが難しいという点である。
【０００９】
本発明の目的は、前記３次元GUIでのポインタを用いたポインティングにおいて、前記ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者が直観的に、かつ正確に知覚することが可能なポインティング方法およびポインティング装置を提供することにある。
【００１０】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【課題を解決するための手段】
【００１１】
本願において開示される発明の概略を説明すれば、以下の通りである。
【００１２】
（１）  ３次元空間を表現することが可能な表示装置に表示されたポインタを、２次元平面内で移動または回転させるとともに、前記２次元平面の法線方向（以下、奥行き方向という）に移動させて前記表示装置上に表現された３次元空間の任意の位置をポインティングするポインティング方法であって、前記ポインタを前記２次元平面内で移動または回転させて前記表示装置に表示させるステップ１と、前記ポインタを前記奥行き方向に移動させて前記表示装置に表示させるステップ２とを有し、ステップ２は、前記ポインタの一部の奥行き位置を保ったまま、前記ポインタの一端の前記奥行き位置を変えて前記表示装置に表示させるステップ３を有するポインティング方法である。
【００１３】
（２）  ３次元空間を表現することが可能な表示装置に表示されたポインタを、２次元平面内で移動または回転させるとともに、前記２次元平面の法線方向（以下、奥行き方向という）に移動させて前記表示装置上に表現された３次元空間の任意の位置をポインティングさせるポインティング装置であって、入力装置から入力された前記ポインタの操作情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した前記操作情報に基づいて、前記２次元平面内での前記ポインタの移動量または回転角度を算出するとともに、前記奥行き方向への前記ポインタの移動量を算出するポインタ位置／変形量算出手段と、前記ポインタ位置／変形量算出手段で算出した前記２次元平面内での前記ポインタの移動量または回転角度に基づいて前記ポインタを並進または回転させる手段、および前記算出した奥行き方向への前記ポインタの移動量に基づいて、前記ポインタの一部の奥行き位置を保ったまま、前記ポインタの一端の前記奥行き位置を変えたポインタを生成する手段を備えるポインタ生成手段と、前記ポインタ生成手段で生成したポインタを前記表示装置に表示させる表示制御手段とを備えるポインティング装置である。
【発明の効果】
【００１４】
本発明のポインティング方法は、前記（１）の手段に記載したように、前記ポインタを奥行き方向に移動させるときに、前記ポインタの一部分のみの位置が変わるように表示させる。そのため、操作者は、前記ポインタの奥行き位置およびポインティングしている位置を直観的に、かつ正確に知覚することができる。このとき、前記（１）の手段において、前記ステップ２は、たとえば、前記ステップ３に加え、前記ポインタの形状を保ったまま奥行き方向に並進移動させて前記表示装置に表示させるステップ４を有してもよい。
【００１５】
また、前記（１）の手段において、前記ステップ３は、たとえば、前記ポインタを、前記２次元平面と平行な軸まわりにあらかじめ定められた角度だけ回転させて前記表示装置に表示させる方法が考えられる。このような方法では、たとえば、前記ポインタの先、すなわちオブジェクトをポインティングする部分を前記操作者からみて奥になる方向に回転させればよい。こうすると、前記操作者が見るポインタは、前記ポインタの先端の幅が狭くなる。そのため、前記操作者は前記ポインタでポインティングしている位置が、操作前に前記ポインタがあった奥行き位置よりも奥をポインティングしていることが直観的にわかる。
【００１６】
またこのとき、前記ポインタを回転させる軸を複数本設定しておき、前記複数本のうちの１本の軸まわり、あるいは２本以上の軸まわりで回転させて前記表示装置に表示させてもよい。このようにすると、たとえば、第１の軸と第２の軸の２本の軸が設定されており、前記ポインタを第１の軸まわりあるいは第２の軸まわりのいずれかで回転させて表示させるようにすれば、前記ポインタを４通りの傾け方で表示させることができる。そのため、ある位置に表示されているポインタを移動させなくても、たとえば、前記ポインタの上下左右にあるオブジェクトをポインティングすることができる。
【００１７】
また、前記ステップ３は、これらの方法の他に、たとえば、前記ポインタの一部分のみが前記奥行き方向に移動した形状に変形させて前記表示装置に表示させてもよい。この場合、前記ポインタは、たとえば、移動する部分が奥行き方向に並進移動したような階段状に変形させても良いし、前記移動する部分が奥行き方向に湾曲した形状であっても良い。またさらに、前記移動する部分のみが奥行き方向に傾斜しているような形状であっても良い。
【００１８】
また、前記ステップ３は、入力装置から入力された操作情報に基づいて、前記ポインタを段階的に回転または変形させて前記表示装置に表示させてもよい。このようにすることで、前記操作者から見た前記ポインタの形状が段階的に変化し、どの奥行き位置をポインティングしているかを知覚しやすくなる。
【００１９】
また、前記（１）の手段に記載したポインティング方法では、たとえば、前記ポインタとともに、前記奥行き方向の位置を変化させない参照用ポインタを前記表示装置に表示させてもよい。このようにすることで、前記操作者は前記ポインタがどの奥行き位置にあるかを直観的に、かつ、正確に知覚することができる。
【００２０】
また、前記（１）の手段に記載したポインティング方法は、前記表示装置として、たとえば、CRTディスプレイや液晶ディスプレイのような一般的な２次元表示装置を用いている場合、DFD(Depth Fusion Display)のような３次元立体像の表示が可能な表示装置（ディスプレイ）を用いている場合のいずれの場合にも適用できるが、特に、前記DFDのような３次元表示装置を用いる場合に適用して好ましい。前記DFDで前記ポインタを表示する場合、前記ポインタは、操作者から見て奥行き方向に重なった複数枚の表示面に、前記操作者の視点から射影し、かつ、前記視点から見て重なる前記各表示面上の点の輝度の比率を変えて表示させればよい。このようにすることで、操作者から見たポインタは、前記操作者から見て手前の表示面の輝度が高い部分は近く（手前）に見え、奥にある表示面の輝度が高い部分は遠く（奥）に見える。
【００２１】
また、前記（１）の手段に記載したポインティング方法は、たとえば、前記（２）の手段に記載したポインティング装置を用いることで実現できる。このとき、前記ポインタ生成手段は、前記各手段に加え、前記ポインタの形状を保ったまま前記ポインタを拡大または縮小させる手段を備えていてもよい。
【００２２】
また、前記ポインティング装置のポインティング生成手段において、前記前記ポインタの一部の奥行き位置を保ったまま、前記ポインタの一端の前記奥行き位置を変えたポインタを生成する手段は、前記ポインタを、前記２次元平面と平行な軸まわりにあらかじめ定められた角度だけ回転させればよい。また、その他にも、たとえば、前記ポインタを、前記２次元平面と平行な第１の軸または第２の軸まわりにあらかじめ定められた角度だけ回転させてもよい。またさらに、前記ポインタの一部のみが前記奥行き方向に並進移動したように変形させてもよい。
【００２３】
またこのとき、前記ポインタの一部の奥行き位置を保ったまま、前記ポインタの一端の前記奥行き位置を変えたポインタを生成する手段は、入力装置から入力された操作情報に基づいて、前記ポインタを段階的に回転または変形させてもよい。
【００２４】
また、前記表示制御手段は、前記ポインタとともに、前記奥行き方向の位置を変化させない参照用ポインタを前記表示装置に表示させてもよい。
【００２５】
また、前記表示装置が前記DFDの場合、前記表示制御手段は、たとえば、操作者から見て奥行き方向に重なった複数枚の表示面に、前記操作者の視点から射影したポインタを表示させ、かつ、前記視点から見て重なる前記各表示面上の点の輝度の比率を変えて表示させればよい。
【００２６】
また、前記ポインティング装置は、前記各手段に加え、前記ポインタ位置／変形量算出手段で算出された前記２次元平面内での前記ポインタの移動量または回転角度、および前記奥行き方向への前記ポインタの移動量に基づいて前記ポインタを移動させたときに、前記ポインタでポインティングされているオブジェクトがあるか否かの判定をするポインティング判定手段と、前記ポインティングされているオブジェクトがある場合にポインティングされた状態に変化させたオブジェクトを生成するオブジェクト生成手段とを備えてもよい。このようにすれば、前記ポインタでポインティングされているオブジェクトを直観的に、かつ、正確に知覚することができる。
【００２７】
また、前記（２）に記載したポインティング装置は、たとえば、前記PCのような計算機あるいは情報処理システム等に組み込まれた１つの手段（構成要素）であってもよい。この場合、前記（１）に記載したようなポインティング方法を前記コンピュータに実行させるプログラムを作成し、前記コンピュータにインストールすればよい。
【００２８】
以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【発明を実施するための最良の形態】
【００２９】
本発明のポインティング方法では、前記ポインタを奥行き方向に移動させて表示するときに、前記ポインタを回転させる、あるいはポインタの一部分のみを移動させることで、操作者が前記ポインタの奥行き位置、ポインティングしている位置を直観的に、かつ、正確に知覚できるようにする。
【００３０】
図１は、本発明のポインティング方法を実現するためのシステムの構成例を示す模式図である。
図１において、１はポインティング装置、１０１は入力情報取得手段、１０２はポインタ位置／変形量算出手段、１０３はポインタ生成手段、１０４は表示制御手段、１０５はポインティング判定手段、１０６はオブジェクト生成手段、１０７は処理制御手段、１０８は記憶手段、２は入力装置、３は表示装置である。
【００３１】
本発明のポインティング方法は、たとえば、前記PCのようなシステム制御装置に接続された表示装置に表現された３次元空間上にあるポインタを、前記システム制御装置に接続された入力装置を用いて３次元的に操作し、前記３次元空間上の任意の位置をポインティングするときに適用して好ましいポインティング方法である。
【００３２】
このとき、前記システム制御装置１は、たとえば、図１に示すように、前記入力装置２から入力された入力情報を取得する入力情報取得手段１０１と、前記入力情報取得手段１０１で取得した入力情報がポインタの制御に関する情報である場合に、前記入力情報に基づいてポインタの移動方向および移動量、回転方向および回転量等を算出するポインタ位置／変形量算出手段１０２と、前記ポインタ位置／変形量算出手段１０２の算出結果に基づいてポインタを生成するポインタ生成手段１０３と、前記ポインタ生成手段１０３で生成されたポインタを前記表示装置３に表示させる表示制御手段１０４とを備える。また、前記システム制御装置１は、前記各手段に加え、たとえば、図１に示したように、前記ポインタ位置／変形量算出手段１０２の算出結果に基づいて生成するポインタにポインティングされているオブジェクトがあるか否かの判定をするポインティング判定手段１０５と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えるオブジェクト生成手段１０６とを備える。
【００３３】
また、前記システム制御装置１は、たとえば、前記PCのように、前記入力装置２からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置であり、図１に示したように、前記各手段の他に、たとえば、処理制御手段１０７や記憶手段１０８を備えている。そして、前記入力情報取得手段１０１で取得した情報が、前記ポインタの制御に関する情報とは異なる場合、前記入力情報取得手段１０１は、前記取得した情報を前記処理制御手段１０７に渡し、取得した情報に応じた処理を前記システム制御装置１に実行させる。
【００３４】
また、前記表示装置３は、３次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイ、HMD(Head Mount Display)のような既存の２次元表示装置でも、DFDのような３次元立体像を表示することが可能な表示装置でもよい。つまり、操作者（観察者）が、表示されたポインタやオブジェクトを３次元的に知覚することが可能な表示装置であればどのような表示装置であってもよい。
【００３５】
また、前記入力装置２は、キーボードやマウスのように前記PCに一般的に接続されている入力デバイスの他、たとえば、ペンタブレットやジョイスティック（ジョイパッド）であってもよい。またさらに、前記入力装置２は、たとえば、タッチパネルやタブレットを前記表示装置３と一体化し、ペンや指先などで前記表示装置３の表示画面に触れることで情報を入力できるようにしてもよい。
【実施例１】
【００３６】
図２乃至図５は、本発明による実施例１のポインティング方法を説明するための模式図であり、図２は原理を説明するための図、図３はポインタより奥にあるオブジェクトのポインティング方法を説明するための図、図４はポインタより手前にあるオブジェクトのポインティング方法を説明するための図、図５は前記システム制御装置における処理手順を説明するためのフロー図である。また、図３において、紙面水平方向の長い矢印の下にある９つの図のうち、紙面左端に示した３つの図はそれぞれ、ポインティング前のポインタとオブジェクトを操作者の視点から見た図、斜め上方から見た図、右側面から見た図であり、紙面中央に示した３つの図はそれぞれ、ポインタを操作したときのポインタとオブジェクトを操作者の視点から見た図、斜め上方から見た図、右側面から見た図であり、紙面右端に示した３つの図はそれぞれ、オブジェクトがポインティングされたときのポインタとオブジェクトを操作者の視点から見た図、斜め上方から見た図、右側面から見た図である。また、図４において、紙面水平方向の長い矢印の下にある４つの図のうち、紙面左側に示した２つの図はそれぞれ、ポインティング前のポインタとオブジェクトを操作者の視点から見た図、右側面から見た図であり、紙面右側に示した２つの図はそれぞれ、オブジェクトがポインティングされたときのポインタとオブジェクトを操作者の視点から見た図、右側面から見た図である。
【００３７】
本実施例１のポインティング方法は、図２に示すように、前記入力装置２として、たとえば、キーボード２０１とマウス２０２を用いる。そして、たとえば、図２に示したように、前記キーボード２０１のコントロールキー（Ｃｔｒｌキー）２０１Ａ等のあらかじめ定められたキーを押しながら前記マウス２０２のホイール２０２Ａを回転させると、前記ホイール２０２Ａの回転方向および回転数に応じて、前記表示装置３に表示されたポインタ４が回転して傾く。このとき、前記表示装置３上に、図２に示したようなｘｙｚの３次元座標を取っているとし、操作者（観察者）は−ｚ方向から前記表示装置３を見ているとする。またこのとき、前記ポインタ４は、たとえば、ｙ軸に平行な回転軸まわりに回転し、たとえば、前記ホイール２０２Ａの回転方向にあわせて、前記操作者から見て奥の方向（＋ｚ方向）または手前の方向（−ｚ方向）のいずれかに傾くようになっている。
【００３８】
本実施例１のポインティング方法では、前記表示装置３上で、たとえば、図３の左側に示したように、前記操作者の視点から見て前記ポインタ４とオブジェクト５が重なっていても、奥行き位置が異なる場合、前記オブジェクト５はポインティングされていない。このような状態で、たとえば、図３の左端に示したように、前記キーボード２０１のコントロールキー２０１Ａを押しながら、前記マウス２０２のホイール２０２Ａを前記測定者から見て奥になる方向に回転させると、図３の中央に示したように、前記ポインタ４が、前記オブジェクト５の方向（＋ｚ方向）に傾く。このとき、前記操作者には、前記ポインタ４の先、言い換えると矢の部分の幅が矢尻側の幅より狭くなって見える。そのため、前記操作者は、前記ポインタ４の形状から、前記ポインタ４が、操作前の位置よりも奥をポインティングしていることが知覚できる。ここで、さらにもう一度、前記キーボード２０１のコントロールキー２０１Ａを押しながら、前記マウス２０２のホイール２０２Ａを前記測定者から見て奥になる方向に回転させると、図３の右端に示したように、前記ポインタ４が、前記オブジェクト５の方向（＋ｚ方向）にさらに傾く。このとき、前記操作者には、前記ポインタ４の先の幅がさらに狭くなって見える。またこのとき、図３に示したように、前記ポインタ４の先が前記オブジェクト５と接触すると、前記オブジェクト５は、前記ポインタ４によってポインティングされた状態になる。そのため、たとえば、前記オブジェクト５の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ４の形状からポインタの奥行き方向の位置、およびポインタ４がポインティングしている奥行き方向の位置を直観的、かつ、正確に知覚できる。また、前記ポインタ４によってポインティングされたときにオブジェクト５の色を変えることで、前記オブジェクト５と重なっているポインタ４が前記オブジェクト５をポインティングしているか否かが直観的、かつ、正確に知覚できる。
【００３９】
また、図３では、前記操作者から見て、前記オブジェクト５が前記ポインタ４よりも奥（遠く）にあり、前記ポインタ４を奥（＋ｚ方向）に傾ける場合の操作を説明したが、本実施例１のポインティング方法では、前記ポインタ４を手前（−ｚ方向）に傾けることもできる。ここで、たとえば、図４の左側に示したように、前記操作者から見て、前記ポインタ４が前記オブジェクト５よりも奥（遠く）に表示されている場合を考える。このとき、図３に示した操作方法とは逆に、たとえば、前記キーボード２０１のコントロールキー２０１Ａを押しながら前記マウス２０２のホイール２０２Ａを手前側に回転させると、図４の右側に示したように、前記ポインタ４が手前（−ｚ方向）に傾く。このとき、前記ポインタ４は、矢の部分の幅が矢尻側の幅よりも広がってみえるので、前記操作者はポインタ４が手前に傾いたことを知覚できる。そして、手前に傾いたポインタ４の先がオブジェクト５がある位置に達したときに前記オブジェクト５の色を変えれば、前記操作者は前記オブジェクト５がポインティングされていることを知覚できる。
【００４０】
またこのとき、前記ポインタ４は、たとえば、前記マウス２０２のホイール２０２Ａのトータルの回転角度に合わせて連続的に傾くように表示させてもよいし、前記ホイール２０２Ａの回転ステップと同期させて、１ステップ回転させる毎に前記ポインタ４を角度θだけ傾くように表示させてもよい。
【００４１】
なお、図３では、前記オブジェクト５のポインティングに矢印型のポインタ４を用いたが、前記操作者が傾きを知覚でき、かつ、前記オブジェクト５をポインティング可能な形状であれば、どのような形状であってもよい。また、前記オブジェクト５についても、図３ではフォルダ型のオブジェクトを示したが、前記ポインタ４によってポインティング可能なものであれば、どのような形状であってもよい。
【００４２】
以下、図１に示したような構成のシステム制御装置１を用いて、本実施例１のポインティング方法を説明する。このとき、前記システム制御装置１は、まず、図５に示すように、前記表示制御手段１０４を用いて、前記表示装置３にオブジェクト５およびポインタ４を表示させる（ステップ６０１）。このとき、前記オブジェクト５は複数個表示されていてもよく、前記表示装置３で表現されている３次元空間上であれば、どの位置に表示されていてもよいとする。
【００４３】
次に、前記操作者が前記キーボード２０１およびマウス２０２を用いて入力した情報を前記入力情報取得手段１０１で取得する（ステップ６０２）。このとき、前記入力情報取得手段１０１で取得する入力情報は、前記ポインタ４の操作に関する情報の他に、前記処理制御手段１０７に処理をさせる入力情報も取得するが、ここでは、前記ポインタ４の操作に関する情報を取得したとする。前記入力情報取得手段１０１は、前記ポインタ４の操作に関する入力情報を取得した場合、その入力情報を前記ポインタ位置／変形量算出手段１０２に渡す。
【００４４】
前記ポインタ位置／変形量算出手段１０２は、前記入力情報を受け取ると、図５に示したように、まず、前記入力情報に基づいて前記ポインタの移動方向、移動量等を算出する（ステップ６０３）。前記ステップ６０３では、たとえば、図２に示したｘｙ平面内での前記ポインタ４の移動方向や移動量、あるいは回転角度等を算出する。
【００４５】
前記ステップ６０３において前記ポインタ４の移動方向、移動量等を算出したら、次に、算出結果に基づいて前記３次元表示装置３に表示されたポインタ４を移動させて表示する（ステップ６０４）。前記ステップ６０４は、たとえば、前記ポインタ４のｘｙ平面内での移動方向、移動量等に基づいて前記ポインタ生成手段１０３で移動先のポインタ４を生成した後、前記表示制御手段１０４を利用して前記生成したポインタ４を前記３次元表示装置３に表示させる。なお、前記入力情報中に前記ポインタ４をｘｙ平面内で移動または回転させる情報が含まれていない場合、前記ステップ６０４の操作は省略され、次のステップ６０５の処理が行われる。
【００４６】
前記ポインタ位置／変形量算出手段１０３は、前記ステップ６０３の処理が終わると、次に、前記入力情報に基づいて前記ポインタ４の回転方向および回転角度を算出する（ステップ６０５）。前記ステップ６０５において、前記回転方向は、たとえば、前記マウス２０２のホイール２０２Ａの回転方向から決定する。また、回転角度は、たとえば、前記マウス２０２のホイール２０２Ａの回転角度から算出する。
【００４７】
前記ステップ６０５において前記ポインタ４の回転方向および回転角度を算出したら、次に、算出結果に基づいて前記３次元表示装置３に表示されたポインタ４を回転させて表示する（ステップ６０６）。前記ステップ６０６は、たとえば、前記ポインタ４の回転角度に基づいて前記ポインタ生成手段１０３でポインタ４を傾けた後、前記表示制御手段１０４を利用して、図３および図４に示したように前記傾けたポインタ４を前記表示装置３に表示させる。また、前記入力情報中に前記ポインタ４をｚ軸方向に回転させる情報が含まれていない場合、前記ステップ６０６の操作は省略され、次のステップ６０７の処理が行われる。
【００４８】
前記ポインタ位置／変形量算出手段１０２は、前記ステップ６０３および前記ステップ６０６の処理を行うと、算出結果を前記ポインタ生成手段１０３に渡すとともに、前記ポインティング判定手段１０５にも渡す。このとき、前記ポインティング判定手段１０５は、受け取った算出結果から、操作後の前記ポインタ４がポインティングしているオブジェクト５があるか否かの判定をする（ステップ６０７）。このとき、ポインティングしているオブジェクト５がなければ、ステップ６０２に戻り、次の入力情報を取得するまで待機する。
【００４９】
また、ポインティングしているオブジェクト５がある場合、前記オブジェクト生成手段１０６において、ポインティングされているオブジェクトの色を変えたオブジェクトを生成し、前記表示装置３に表示させる（ステップ６０８）。そして、色を変えたオブジェクト５を表示した後は、ステップ６０２に戻り、次の入力情報を取得するまで待機する。
【００５０】
また、前述のような手順で前記ポインタ４を傾けて表示させた後、前記入力装置から前記ポインタ４の操作に関する情報を取得し、たとえば、ｘｙ平面内で移動させる場合、前記ポインタ４の傾きを元に戻してから移動させてもよいし、前記ポインタ４を傾けたまま移動させてもよい。
【００５１】
また、図示は省略するが、前記ステップ６０２において、前記ポインタ４の操作に関する情報以外の入力情報を取得した場合、前記入力情報取得手段１０１は、取得した入力情報を前記処理制御手段１０７に渡す。このとき、前記ポインタ４の操作に関する情報以外の入力情報としては、たとえば、前記ポインタ４でポインティングしたオブジェクト５と関連づけられたソフトウェアの起動や、数値あるいは文字列の入力情報等が挙げられる。この場合、前記処理制御手段１０７は、前記入力情報に基づいて、前記オブジェクト５と関連づけられたソフトウェアの起動等の処理を行い、前記表示制御手段１０４を用いて処理結果を前記表示装置３に表示させる。
【００５２】
以上説明したように、本実施例１のポインティング方法によれば、前記ポインタ４を奥行き方向に傾けて前記表示装置３に表示させることにより、前記ポインタ４を見た操作者が前記ポインタ４の奥行き位置および前記ポインタ４がポインティングしている奥行き位置を直観的、かつ、正確に知覚できる。
【００５３】
また、本実施例１では、前記ポインタ４を矢印型とし、矢尻側の端に前記回転軸を設けて回転させたが、これに限らず、前記ポインタ４の中央付近に回転軸を設けて回転させてもよい。
【００５４】
また、本実施例１のポインティング方法では、前記キーボード２０１のコントロールキー２０１Ａとマウス２０２のホイール２０２Ａを組み合わせることで、前記ポインタ４を奥行き方向に傾ける例を示したが、これに限らず、他のキーとホイール２０２Ａの組み合わせであってもよいし、ホイール２０２Ａの代わりにカーソルキーと組み合わせてもよい。また、その他にも、たとえば、ペンタブレットやタッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに傾くようにしてもよい。
【００５５】
図６乃至図８は、本実施例１の応用例を説明するための模式図であり、図６はリファレンスを表示する例を示す図、図７は奥行き方向に並進移動をさせる例を示す図、図８はｘｙ平面内で回転させる例を示す図である。
【００５６】
本実施例１のポインティング方法では、たとえば、前記ポインタ４の形状を見ることで前記ポインタ４の奥行き方向のポインティング位置を知覚できるが、たとえば、図６に示すように、前記ポインタ４が傾くときに、どれくらい傾いたかを操作者に知覚させる指標となるリファレンス７を前記表示装置３に表示させてもよい。前記リファレンス７は固定しておいてもよいし、ポインタ４が移動するに伴って動き、ポインタ４が傾くときはその場で固定されていてもよい。また、前記リファレンス７は、前記表示装置３に表現されている３次元空間上であればどの位置に配置してもよく、前記操作者が配置位置を設定することも可能である。また、図６では、リファレンス７としてｘｙｚ軸を表すような表示物を用いたが、操作者にポインタ４の傾きの度合いを知覚させる指標となるのであればこの限りではない。
【００５７】
また、本実施例１のポインティング方法では、図３および図４に示したように、前記ポインタ４を傾けて奥行き位置が異なるオブジェクトをポインティングする方法について説明したが、このとき、前記ポインタ４を傾けるだけでなく、図７に示すように、前記ポインタ４の形状を保ったまま奥行き方向に並進移動させる操作が加わっていてもよい。このようにすれば、たとえば、前記表示装置３で表現されている３次元空間のｚ軸方向、すなわち奥行きが大きく（広く）、前記ポインタ４を傾けるだけではオブジェクト５をポインティングできない場合に、図７に示したように、前記ポインタ４を奥行き方向に並進移動させることで、前記オブジェクト５をポインティングすることが可能になる。なお、図７では、操作者から見て奥（＋ｚ方向）に並進移動させる例を示したが、手前（−ｚ方向）に並進移動させることもできる。このような並進移動を加える場合、たとえば、図７に示したように、キーボード２０１のコントロールキー２０１Ａとは別のキー、たとえばシフトキー２０１Ｂを押しながら前記マウス２０２のホイール２０２Ａを回転させることで、前記ポインタ４を奥（＋ｚ方向）または手前（−ｚ方向）に移動するようにすればよい。
【００５８】
また、本実施例１のポインティング方法では、たとえば、図８に示すように、前記ポインタ４をｘｙ平面内で回転させることも可能である。この場合、たとえば、前記ポインタ４を奥行き方向に傾ける操作や並進移動させる操作とは異なる操作、たとえば、図７に示したように、前記キーボード２０１のオルトキー（Ａｌｔキー）２０１Ｃを押しながら前記マウス２０２のホイール２０２Ａを回転させることで、前記ポインタ４をｘｙ平面内で回転させるようにすればよい。
【実施例２】
【００５９】
図９および図１０は、本発明による実施例２のポインティング方法を説明するための模式図であり、図８は原理を説明するための図、図９はポインティング方法を説明するための図である。また、図１０において、紙面水平方向の長い矢印の下にある４つの図のうち、紙面左側に示した２つの図はそれぞれ、ポインティング前のポインタとオブジェクトを操作者の視点から見た図、斜め下方から見た図であり、紙面右側に示した２つの図はそれぞれ、オブジェクトがポインティングされたときのポインタとオブジェクトを操作者の視点から見た図、斜め下方から見た図である。
【００６０】
本実施例２のポインティング方法は、図９に示すように、前記入力装置２として、たとえば、キーボード２０１を用いる。そして、たとえば、図９に示したように、前記キーボード２０１のコントロールキー（Ｃｔｒｌキー）２０１Ａ等のあらかじめ定められたキーを押しながら前記カーソルキー２０１Ｄのいずれかを押すと、前記押したカーソルキー２０１Ｄに応じて、前記表示装置３に表示されたポインタ４が回転して傾く。このとき、前記表示装置３上に、図２に示したようなｘｙｚの３次元座標を取っているとし、操作者（観察者）は−ｚ方向から前記表示装置３を見ているとする。またこのとき、前記ポインタ４は、たとえば、図９に示したように、ｘ軸に平行な回転軸あるいはｙ軸に平行な回転軸まわりに回転し、たとえば、前記カーソルキー２０１Ｄのうち、左方向への移動キーを押したときに、前記ポインタ４が、ｘ軸に平行な回転軸まわりに、操作者から見て左側の端が奥の方向（＋ｚ方向）になるように傾くとする。同様に、右方向への移動キーを押した場合は前記ポインタ４がｘ軸に平行な回転軸まわりに、操作者から見て右側の端が奥の方向（＋ｚ方向）に傾き、上方向への移動キーを押した場合は前記ポインタ４がｙ軸と平行な回転軸まわりに、操作者から見て上側の端が奥の方向（＋ｚ方向）に傾き、下方向への移動キーを押した場合は前記ポインタ４がｙ軸に平行な回転軸周りに、操作者から見て下側の端が奥の方向（＋ｚ方向）に傾くとする。
【００６１】
本実施例２のポインティング方法は、前記表示装置３上で、たとえば、図１０の左側に示したように、前記操作者の視点から見て前記ポインタ４の周囲にＯｂｊＡ，ＯｂｊＢ，ＯｂｊＣ，ＯｂｊＤの４つのオブジェクト５が表示されているような場合のポインティングに適している。このような状態で、たとえば、図１０の紙面上方に示したように、前記キーボード２０１のコントロールキー２０１Ａを押しながら、前記カーソルキー２０１Ｄの右方向への移動キーを押すと、図１０の右側に示したように、前記ポインタ４の右端が、前記ＯｂｊＢの方向を向くように傾く。このとき、図示は省略するが、前記ポインタ４が、奥行き方向に厚みのある３次元形状のポインタであれば、前記ポインタ４の左側に、前記ポインタ４の側面が見える。そのため、前記操作者は、前記ポインタ４の形状から、前記ポインタ４が、右端が奥になるように傾いていることが知覚できる。またこのとき、図９に示したように、前記ポインタ４の先が近づいた前記ＯｂｊＢの色を変えれば、前記ＯｂｊＢがポインティングされている状態であることも容易に知覚できる。またこのとき、前記ポインタ４は、前記実施例１と同様に、連続的に傾くように表示させても良いし、前記カーソルキー２０１Ｄを押す毎に角度Δθずつ傾くように表示させても良い。
【００６２】
なお、図１０では、前記オブジェクトのポインティングにひし形のポインタ４を用いたが、前記操作者が傾きを知覚でき、かつ、前記オブジェクト５をポインティング可能な形状であれば、どのような形状であってもよい。また、前記オブジェクト５についても、図１０ではボタン型のオブジェクトを示したが、前記ポインタ４によってポインティング可能なものであれば、どのような形状であってもよい。
【００６３】
以下、図１に示したような構成のシステム制御装置１を用いて、本実施例２のポインティング方法を説明するが、基本的な処理手順は前記実施例１で説明した手順、つまり図５に示した処理手順である。そのため、実施例１で説明した処理と同じ処理を行うステップについては詳細な説明を省略する。まず、前記システム制御装置１は、まず、前記表示制御手段１０４を用いて、前記表示装置３にオブジェクト５およびポインタ４を表示させる（ステップ６０１）。
【００６４】
次に、前記操作者が前記キーボード２０１およびマウス２０２を用いて入力した情報を前記入力情報取得手段１０１で取得する（ステップ６０２）。このとき、前記入力情報取得手段１０１で取得する入力情報が、前記ポインタ４の操作に関する情報であれば、前記入力情報取得手段１０１は、取得した入力情報を前記ポインタ位置／変形量算出手段１０２に渡す。
【００６５】
前記ポインタ位置／変形量算出手段１０２は、前記入力情報を受け取ると、図４に示したように、まず、前記入力情報に基づいて前記ポインタの移動方向、移動量等を算出し（ステップ６０３）、前記算出結果に基づいて前記表示装置３に表示されたポインタ４を移動させて表示する（ステップ６０４）。なお、前記入力情報中に前記ポインタ４をｘｙ平面内で移動または回転させる情報が含まれていない場合、前記ステップ６０４の操作は省略され、次のステップ６０５の処理が行われる。
【００６６】
前記ポインタ位置／変形量算出手段１０２は、前記ステップ６０３の処理が終わると、次に、前記入力情報に基づいて前記ポインタ４の回転方向および回転角度を算出する（ステップ６０５）。本実施例２のポインティング方法の場合、前記ポインタ４の回転方向を算出する際に、複数本の軸のうちどの軸のまわりで回転させるか、たとえば、ｘ軸に平行な軸とｙ軸に平行な軸のどちらの軸のまわりで回転させるかもあわせて決定する。また、前記回転角度は、たとえば、前記カーソルキー２０２Ｂのうちの押されたキーの押された回数あるいは押していた時間から算出する。
【００６７】
前記ステップ６０５において前記ポインタ４の回転軸、回転方向および回転角度を算出したら、次に、算出結果に基づいて前記表示装置３に表示されたポインタ４を回転させて表示する（ステップ６０６）。前記ステップ６０６は、たとえば、前記ポインタ４の回転角度に基づいて前記ポインタ生成手段１０３でポインタ４を傾けた後、前記表示制御手段１０４を利用して前記傾けたポインタ４を前記表示装置３に表示させる。また、前記入力情報中に前記ポインタ４をｚ軸方向に回転させる情報が含まれていない場合、前記ステップ６０６の操作は省略され、次のステップ６０７の処理が行われる。
【００６８】
前記ポインタ位置／変形量算出手段１０２は、前記ステップ６０３および前記ステップ６０６の処理を行うと、算出結果を前記ポインタ生成手段１０３に渡すとともに、前記ポインティング判定手段１０５にも渡す。このとき、前記ポインティング判定手段１０５は、受け取った算出結果から、操作後の前記ポインタ４がポインティングしているオブジェクト５があるか否かの判定をし（ステップ６０７）、ポインティングしているオブジェクト５がある場合、前記オブジェクト生成手段１０６において、ポインティングされているオブジェクトの色を変えたオブジェクトを生成し、前記表示装置３に表示させる（ステップ６０８）。
【００６９】
また、前述のような手順で前記ポインタ４を傾けて表示させた後、前記入力装置から前記ポインタ４の操作に関する情報を取得し、たとえば、ｘｙ平面内で移動させる場合、前記ポインタ４の傾きを元に戻してから移動させてもよいし、前記ポインタ４を傾けたまま移動させてもよい。
【００７０】
また、図示は省略するが、前記ステップ６０２において、前記ポインタ４の操作に関する情報以外の入力情報を取得した場合、前記入力情報取得手段１０１は、取得した入力情報を前記処理制御手段１０７に渡す。このとき、前記ポインタ４の操作に関する情報以外の入力情報としては、たとえば、前記ポインタ４でポインティングしたオブジェクト５と関連づけられたソフトウェアの起動や、数値あるいは文字列の入力情報等が挙げられる。この場合、前記処理制御手段１０７は、前記入力情報に基づいて、前記オブジェクト５と関連づけられたソフトウェアの起動等の処理を行い、前記表示制御手段１０４を用いて処理結果を前記表示装置３に表示させる。
【００７１】
以上説明したように、本実施例２のポインティング方法によれば、前記ポインタ４を奥行き方向に傾けて前記３次元表示装置に表示させることにより、前記ポインタ４を見た操作者が前記ポインタ４の奥行き位置および前記ポインタ４がポインティングしている奥行き位置を直観的、かつ、正確に知覚できる。
【００７２】
また、本実施例２のポインティング方法では、たとえば、図９に示したようなひし形のポインタ４を表示させ、ｘ軸に平行な軸、あるいはｙ軸に平行な軸のまわりに回転させて前記ポインタ４の各頂点のいずれかが操作者から見て奥（＋ｚ方向）に傾くような例を示したが、前記ポインタ４の形状は、たとえば、６角形や８角形等であってもよい。また、前記ポインタ４を回転させる軸は３本以上設定されていても良く、たとえば、前記ポインタが６角形の場合は３本の軸、８角形の場合は４本の軸を設定して、各頂点のいずれかが奥に傾くようにすることもできる。また、前記ポインタ４の形状は、前述のようなひし形、６角形、８角形等の多角形に限らず、前記操作者が、前記ポインタ４でポインティングしている位置や傾きを知覚でき、かつ、前記オブジェクト５をポインティングすることが可能な形状であれば、どのような形状であっても良い。
【００７３】
また、本実施例２のポインティング方法では、前記キーボード２０１のコントロールキー２０１Ａとカーソルキー２０１Ｄを組み合わせることで、前記ポインタ４を奥行き方向に傾ける例を示したが、これに限らず、他のキーの組み合わせであってもよい。
【００７４】
また、本実施例２のポインティング方法では、前記実施例１と同様に、前記ポインタ４をｘｙ平面内で移動させることもできる方法を説明したが、これに限らず、前記ｘｙ平面内ではある点に固定しておき、前記ポインタ４の周囲にある４つのボタンのみをポインティングするようなポインタ４であってもよい。その場合、図５に示したフローにおいて、前記ステップ６０３およびステップ６０４の処理は不要である。
【００７５】
図１１は、本実施例２の応用例を説明するための模式図であり、入力装置の応用例を示す図である。
【００７６】
本実施例２のポインティング方法では、前記キーボード２０１のコントロールキー２０１Ａとカーソルキー２０１Ｄを組み合わせることで、前記ポインタ４を奥行き方向に傾ける例を示したが、これに限らず、たとえば、図１１に示すように、４方向への移動操作が可能なジョイスティック２０３Ａを備えるジョイパッド２０３を入力装置として用いてもよい。この場合、たとえば、前記ポインタ４の４隅のうち、前記ジョイスティック２０３Ａを倒した方向の端部が奥（＋ｚ方向）に傾くようにすればよい。また、前記ジョイパッド２０３に設けられたあるボタン２０３Ｂを押しながらジョイスティック２０３Ａを倒すことにより前記ポインタ４が傾くようにしてもよい。また、前記ジョイスティック２０３Ａの代わりに十字キー等を備えるゲームパッドのような入力装置を用いることもできる。
【００７７】
また、本実施例２のポインティング方法では、前記キーボード２０１やジョイパッド２０３に限らず、たとえば、ペンタブレットやタッチパネル等であらかじめ定められた操作をしたときに傾くようにすることもできる。
【００７８】
また、詳細な説明は省略するが、本実施例２のポインティング方法でも、前記ポインタ４を奥行き方向に回転させて傾けるだけでなく、たとえば、図７に示したような奥行き方向に並進移動させる操作を行えるようにしてもよい。
【実施例３】
【００７９】
図１２乃至図１５は、本発明による実施例３のポインティング方法を説明するための模式図であり、図１２は原理を説明するための図、図１３はポインティング方法を説明するための図、図１４（ａ）および図１４（ｂ）はポインタの変形方法の他の例を説明する図、図１５は前記システム制御装置における処理手順を説明するためのフロー図である。また、図１３において、紙面水平方向の長い矢印の下にある９つの図のうち、紙面左端に示した３つの図はそれぞれ、ポインティング前のポインタとオブジェクトを操作者の視点から見た図、斜め上方から見た図、右側面から見た図であり、紙面中央に示した３つの図はそれぞれ、ポインタを操作したときのポインタとオブジェクトを操作者の視点から見た図、斜め上方から見た図、右側面から見た図であり、紙面右端に示した３つの図はそれぞれ、オブジェクトがポインティングされたときのポインタとオブジェクトを操作者の視点から見た図、斜め上方から見た図、右側面から見た図である。
【００８０】
本実施例３のポインティング方法は、図１２に示すように、前記入力装置２として、たとえば、キーボード２０１とマウス２０２を用いる。そして、たとえば、図１２に示したように、前記キーボード２０１のコントロールキー（Ｃｔｒｌキー）等のあらかじめ定められたキー２０１Ａを押しながら前記マウス２０２のホイール２０２Ａを回転させると、前記ホイール２０２Ａの回転方向および回転数に応じて、前記表示装置３に表示されたポインタ４は、一部分だけが奥行き方向に並進移動したような形状に変形する。このとき、前記表示装置３上に、図１２に示したようなｘｙｚの３次元座標を取っているとし、操作者（観察者）は−ｚ方向から前記表示装置３を見ているとする。またこのとき、前記ポインタ４の変形する部分は、たとえば、前記ホイール２０２Ａの回転方向にあわせて、前記操作者から見て奥の方向（＋ｚ方向）または手前の方向（−ｚ方向）のいずれかに移動するようになっている。
【００８１】
本実施例３のポインティング方法では、前記表示装置３上で、たとえば、図１３の左端に示したように、前記操作者の視点から見て前記ポインタ４とオブジェクト５が重なっていても、奥行き位置が異なる場合、前記オブジェクト５はポインティングされていない。このような状態で、たとえば、前記キーボード２０１のコントロールキー２０１Ａを押しながら、前記マウス２０２のホイール２０２Ａを前記測定者から見て奥になる方向に回転させると、前記ポインタ４は、図１３の中央に示したように、矢の部分が、前記オブジェクト５の方向（＋ｚ方向）に並進移動したような階段状の形状に変化する。このとき、前記操作者には、前記ポインタ４の先、言い換えると矢の部分の幅が矢尻側の幅より狭くなって見える。そのため、前記操作者は、前記ポインタ４の形状から、前記ポインタ４が、操作前の位置よりも奥をポインティングしていることが知覚できる。ここで、さらにもう一度、前記キーボード２０１のコントロールキー２０１Ａを押しながら、前記マウス２０２のホイール２０２Ａを前記測定者から見て奥になる方向に回転させると、図１３の右端に示したように、前記ポインタ４の矢の部分が、前記オブジェクト５の方向にさらに並進移動したような形状になる。このとき、前記操作者には、前記ポインタ４の先の幅がさらに狭くなって見える。またこのとき、図１３に示したように、前記ポインタ４の先が前記オブジェクト５と接触すると、前記オブジェクト５は、前記ポインタ４によってポインティングされた状態になる。そのため、たとえば、前記オブジェクト５の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ４の形状からポインタの奥行き方向の位置、およびポインタ４がポインティングしている奥行き方向の位置を直観的、かつ、正確に知覚できる。また、前記ポインタ４によってポインティングされたときにオブジェクト５の色を変えることで、前記オブジェクト５と重なっているポインタ４が前記オブジェクト５をポインティングしているか否かが直観的、かつ、正確に知覚できる。また、詳細な説明は省略するが、本実施例３のポインティング方法の場合も、前記実施例１で説明したように、たとえば、前記コントロールキー２０１Ａを押しながら前記ホイール２０２Ａを逆向きに回転させると、前記ポインタ４は、矢の部分が手前（−ｚ方向）に並進移動したような階段状の形状に変形する。
【００８２】
またこのとき、前記ポインタ４は、たとえば、前記マウス２０２のホイール２０２Ａのトータルの回転角度に合わせて連続的に移動するように表示させてもよいし、前記ホイール２０２Ａの回転ステップと同期させて、１ステップ回転させる毎に前記ポインタ４を奥行き方向にΔｚだけ移動するように表示させてもよい。
【００８３】
なお、図１３では、前記オブジェクト５のポインティングに矢印型のポインタ４を用いたが、前記操作者が傾きを知覚でき、かつ、前記オブジェクト５をポインティング可能な形状であれば、どのような形状であってもよい。また、前記オブジェクト５についても、図１３ではフォルダ型のオブジェクトを示したが、前記ポインタ４によってポインティング可能なものであれば、どのような形状であってもよい。
【００８４】
また、図１３では、前記ポインタ４を側面側から見たときに、階段状になるように変形させているが、これに限らず、たとえば、図１４（ａ）に示すように、前記ポインタ４の矢の部分が湾曲したように変形させても良いし、図１４（ｂ）に示すように、前記ポインタ４の矢の部分だけが奥（＋ｚ方向）または手前（−ｚ方向）に傾いたような形状に変形させても良い。
【００８５】
以下、図１に示したような構成のシステム制御装置１を用いて、本実施例１のポインティング方法を説明する。このとき、前記システム制御装置１は、まず、図１５に示すように、前記表示制御手段１０４を用いて、前記３次元表示装置３にオブジェクト５およびポインタ４を表示させる（ステップ６０１）。このとき、前記オブジェクト５は複数個表示されていてもよく、前記表示装置３で表現されている３次元空間上であれば、どの位置に表示されていてもよいとする。
【００８６】
次に、前記操作者が前記キーボード２０１およびマウス２０２を用いて入力した情報を前記入力情報取得手段１０１で取得する（ステップ６０２）。このとき、前記入力情報取得手段１０１で取得する入力情報は、前記ポインタ４の操作に関する情報の他に、前記処理制御手段１０７に処理をさせる入力情報も取得するが、ここでは、前記ポインタ４の操作に関する情報を取得したとする。前記入力情報取得手段１０１は、前記ポインタ４の操作に関する入力情報を取得した場合、その入力情報を前記ポインタ位置／変形量算出手段１０２に渡す。
【００８７】
前記ポインタ位置／変形量算出手段１０１は、前記入力情報を受け取ると、図１４に示したように、まず、前記入力情報に基づいて前記ポインタの移動方向、移動量等を算出する（ステップ６０３）。前記ステップ６０３では、たとえば、図１２に示したｘｙ平面内での前記ポインタ４の移動方向や移動量、あるいは回転角度等を算出する。
【００８８】
前記ステップ６０３において前記ポインタ４の移動方向、移動量等を算出したら、次に、算出結果に基づいて前記３次元表示装置３に表示されたポインタ４を移動させて表示する（ステップ６０４）。前記ステップ６０４は、たとえば、前記ポインタ４のｘｙ平面内での移動方向、移動量等に基づいて前記ポインタ生成手段１０３で移動先のポインタ４を生成した後、前記表示制御手段１０４を利用して前記生成したポインタ４を前記表示装置３に表示させる。なお、前記入力情報中に前記ポインタ４をｘｙ平面内で移動または回転させる情報が含まれていない場合、前記ステップ６０４の操作は省略され、次のステップ６０５の処理が行われる。
【００８９】
前記ポインタ位置／変形量算出手段１０３は、前記ステップ６０３の処理が終わると、次に、前記入力情報に基づいて前記ポインタ４の変形量、すなわちポインタ４の先の移動方向および移動量を算出する（ステップ６０９）。前記ステップ６０９において、前記移動方向は、たとえば、前記マウス２０２のホイール２０２Ａの回転方向から決定する。また、移動量は、たとえば、前記マウス２０２のホイール２０２Ａの回転角度から算出する。
【００９０】
前記ステップ６０９において前記ポインタ４の変形量を算出したら、次に、算出結果に基づいて前記表示装置３に表示されたポインタ４を変形させて表示する（ステップ６１０）。前記ステップ６１０は、たとえば、前記ポインタ４の移動方向および移動量に基づき前記ポインタ生成手段１０３において、ポインタ４の先端部分のみを奥行き方向に移動させたポインタを生成した後、前記表示制御手段１０４を利用して前記生成したポインタ４を前記表示装置３に表示させる。また、前記入力情報中に前記ポインタ４をｚ軸方向に移動させる情報が含まれていない場合、前記ステップ６１０の操作は省略され、次のステップ６０７の処理が行われる。
【００９１】
前記ポインタ位置／変形量算出手段１０２は、前記ステップ６０３および前記ステップ６０６の処理を行うと、算出結果を前記ポインタ生成手段１０３に渡すとともに、前記ポインティング判定手段１０５にも渡す。このとき、前記ポインティング判定手段１０５は、受け取った算出結果から、操作後の前記ポインタ４がポインティングしているオブジェクト５があるか否かの判定をする（ステップ６０７）。このとき、ポインティングしているオブジェクト５がなければ、ステップ６０２に戻り、次の入力情報を取得するまで待機する。
【００９２】
また、ポインティングしているオブジェクト５がある場合、前記オブジェクト生成手段１０６において、ポインティングされているオブジェクトの色を変えたオブジェクトを生成し、前記表示装置３に表示させる（ステップ６０８）。そして、色を変えたオブジェクト５を表示した後は、ステップ６０２に戻り、次の入力情報を取得するまで待機する。
【００９３】
また、前述のような手順で前記ポインタ４の一部分を奥行き方向に変形させて表示させた後、前記入力装置から前記ポインタ４の操作に関する情報を取得し、たとえば、ｘｙ平面内で移動させる場合、前記ポインタ４を元の形状に戻してから移動させてもよいし、前記ポインタ４を変形させたまま移動させてもよい。
【００９４】
また、図示は省略するが、前記ステップ６０２において、前記ポインタ４の操作に関する情報以外の入力情報を取得した場合、前記入力情報取得手段１０１は、取得した入力情報を前記処理制御手段１０７に渡す。このとき、前記ポインタ４の操作に関する情報以外の入力情報としては、たとえば、前記ポインタ４でポインティングしたオブジェクト５と関連づけられたソフトウェアの起動や、数値あるいは文字列の入力情報等が挙げられる。この場合、前記処理制御手段１０７は、前記入力情報に基づいて、前記オブジェクト５と関連づけられたソフトウェアの起動等の処理を行い、前記表示制御手段１０４を用いて処理結果を前記表示装置３に表示させる。
【００９５】
以上説明したように、本実施例３のポインティング方法によれば、前記ポインタ４の一部分のみを奥行き方向に変形させて前記表示装置３に表示させることにより、前記ポインタ４を見た操作者が前記ポインタ４の奥行き位置および前記ポインタ４がポインティングしている奥行き位置を直観的、かつ、正確に知覚できる。
【００９６】
また、本実施例３のポインティング方法では、前記キーボード２０１のコントロールキー２０１Ａとマウス２０２のホイール２０２Ａを組み合わせることで、前記ポインタ４を奥行き方向に傾ける例を示したが、これに限らず、他のキーとホイール２０２Ａの組み合わせであってもよいし、ホイール２０２Ａの代わりにカーソルキーと組み合わせてもよい。
【００９７】
図１６は、本実施例３の応用例を説明するための模式図であり、入力装置の応用例を示す図である。
【００９８】
本実施例３のポインティング方法では、前記キーボード２０１のコントロールキー２０１Ａとマウス２０２のホイール２０２Ａを組み合わせることで、前記ポインタ４を奥行き方向に変形させる例を示したが、これに限らず、前記マウス２０２の代わりに、たとえば、図１６に示すように、タブレット２０４Ａと入力ペン２０４Ｂからなるペンタブレットを入力装置として用いてもよい。前記ペンタブレットを用いた場合、たとえば、前記タブレット２０４Ａ上で前記入力ペン２０４Ｂを滑らせたときの、前記入力ペン２０４ＢのＸ軸方向の移動量およびＹ軸方向の移動量に応じて、前記ポインタ４を、前記表示装置３に表現された３次元空間上のｘｙ平面内で移動させる。また、前記ペンタブレットは、一般に、電磁誘導方式で前記入力ペン２０４Ｂの動きを感知しており、前記入力ペン２０４Ｂの位置や移動量の他、圧力（筆圧）を検知することができる。そのため、たとえば、前記入力ペン２０４Ｂを前記タブレット２０４Ａに押しつけたときの圧力の大きさに応じて、前記ポインタ４の変形量を制御することができる。またこのとき、たとえば、前記キーボード２０１のコントロールキー２０１Ａを押しながら前記入力ペン２０４Ｂをタブレット２０４Ａで押すと前記ポインタ４の矢の部分が奥に変形するようにし、前記コントロールキー２０１Ａとは別のキーを押しながら前記入力ペン２０４Ｂをタブレット２０４Ａで押すと前記ポインタ４の矢の部分が手前に変形するようにすれば、前記ポインタ４の奥にあるオブジェクトおよび手前にあるオブジェクトのどちらもポインティングすることができる。また、前記ペンタブレットを用いる場合、たとえば、前記入力ペン２０４Ｂの圧力（筆圧）の大きさの代わりに、たとえば、前記入力ペン２０４Ｂで前記タブレット２０４Ａを押した回数に応じて前記ポインタの変形量を決定してもよい。
【００９９】
また、本実施例３のポインティング方法において、前記ペンタブレットを用いる場合、たとえば、図１６に示したような外付け型のペンタブレットに限らず、たとえば、前記タブレット２０４Ａが前記表示装置３と一体的に設けられていても良い。前記タブレット２０４Ａが前記表示装置３と一体的になっていれば、たとえば、前記表示装置３の表示画面上を前記入力ペン２０４Ｂで触れることで前記ポインタ４を操作することができるので、前記操作者は実空間に近い操作感覚で前記ポインタ４を操作することができる。
【０１００】
また、本実施例３のポインティング方法は、前記ペンタブレットの代わりに、たとえば、タッチパネルのように、前記表示装置３と一体化可能な入力装置を用いてポインティングする場合にも適している。前記タッチパネルの場合、たとえば、前記入力ペン２０４Ｂの代わりに操作者の指で前記表示装置３の画面に触れることで前記ポインタ４を操作することができるので、前記入力ペン２０４Ｂを用いるペンタブレットよりも、より実空間に近い操作感覚で前記ポインタ４を操作することができる。
【０１０１】
また、前記入力装置２は、前記キーボード２０１とマウス２０２やペンタブレットの組み合わせに限らず、たとえば、ジョイパッドあるいはゲームパッド等を用いることもできる。
【０１０２】
また、詳細な説明は省略するが、本実施例３のポインティング方法でも、前記ポインタ４の一部分のみを奥行き方向に変形させるだけでなく、たとえば、図７に示したように形状を保ったまま前記奥行き方向に並進移動させる操作を行えるようにしてもよい。
【実施例４】
【０１０３】
図１７は、本発明による実施例４のポインティング方法を説明するための模式図であり、表示装置としてDFDを用いた場合のポインタの表示方法の原理を説明する模式図である。
【０１０４】
前記実施例１から実施例３で説明したポインティング方法は、３次元空間を表現することが可能な表示装置であれば、どのような表示装置であっても構わないが、特に、DFDのような３次元表示装置（ディスプレイ）を用いることが好ましい。前記DFDは、たとえば、図１７に示すように、前記操作者（観察者）の視点から見て奥行き方向に重なる複数枚の表示面を備える表示装置である（たとえば、特許第３０２２５５８号明細書や特許第３４６０６７１号明細書を参照）。前記DFDでは、前記ポインタ４は、たとえば、図１７に示したように、前記操作者の視点から各表示面３Ａ，３Ｂに射影した２次元像４Ａ，４Ｂとして表示される。そして、前記操作者の視点から見て重なる各表示面３Ａ，３Ｂ上の点（画素）の輝度の比率を変えることで、立体的な視覚効果を得る。このとき、たとえば、図１７に示したように、前記操作者から見て手前にある表示面３Ａで表示されている２次元ポインタ像４Ａは、紙面上から下に向かって輝度が大きくなるように表示されており、奥にある表示面３Ｂで表示されている２次元ポインタ像４Ｂは、紙面下から上に向かって輝度が大きくなるように表示されているとする。また、前記操作者の視点から見て重なる点については、紙面上方側では前記奥の表示面３Ｂの輝度の方が大きく、紙面下方側では手前の表示面３Ａの輝度の方が大きいとする。前記表示制御手段１０４を用いてこのように表示させると、前記操作者には、図１７に示すように、紙面上方側が奥に傾いているポインタ４が見える。そのため、前記操作者は前記ポインタ４の立体像を知覚しながらオブジェクトのポインティング操作をすることが可能となる。
【０１０５】
また、前記DFDを用いる場合、前記各表示面３Ａ，３Ｂ上の点（画素）の輝度を制御する代わりに、たとえば、各点の透過度を制御することもできる。この場合、たとえば、図１７に示したように、手前の表示面３Ａは紙面上から下に向かって透過度が小さくなり、奥の表示面３Ｂは紙面下から上に向かって透過度が小さくなるようにすると、前記手前の表示面３Ａの紙面下方側は奥の表示面３Ｂの点（画素）の色を透過しなくなる。そのため、前記操作者には紙面上方側が奥に傾いているポインタ４が見える。
【０１０６】
また、一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、前記表現する前記３次元空間を２次元的に変換する処理が必要であるが、前記DFDのような３次元表示装置の場合、前記３次元空間の奥行き方向の位置に応じて各表示面上の点（画素）の輝度の比率を設定すればよいだけなので、前記ポインティング装置（システム制御装置１）にかかる負荷を低減できる。また、一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、前記表示する前記３次元空間を２次元的に変換するので、操作者によっては、実空間と同じ感覚でポインティング操作をすることは難しい場合があるが、前記DFDのような３次元表示装置を用いることで、より実空間に近い感覚でポインティング操作をすることができる。これらのことから、前記DFDのような３次元表示装置を用いることで、前記操作者は、一般的な２次元ディスプレイを用いてポインティング操作をする場合に比べて、よりよい精度と速さで３次元の奥行きをポインティング可能となる。
【０１０７】
また、本実施例４では、前記表示装置３として３次元立体表示が可能なDFD型表示装置を例に挙げたが、前記操作者が３次元立体を知覚できるのであれば、他の表示装置であってもよい。
【０１０８】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【０１０９】
たとえば、前記実施例１乃至前記実施例３で説明したようなポインティング方法を、前記コンピュータに実行させるようなプログラムとして記述して前記コンピュータにインストールし、実行させることで、一般的なパーソナルコンピュータでも本発明のポインティング方法を実現することができる。またこのとき、前記プログラムは、たとえば、磁気的、電気的、もしくは光学的な記録媒体に記録して提供することもできるし、インターネット等のネットワークを介して提供することもできる。
【図面の簡単な説明】
【０１１０】
【図１】本発明のポインティング方法を実現するためのシステムの構成例を示す模式図である。
【図２】本発明による実施例１のポインティング方法を説明するための模式図であり、原理を説明するための図である。
【図３】本発明による実施例１のポインティング方法を説明するための模式図であり、ポインタより奥にあるオブジェクトのポインティング方法を説明するための図である。
【図４】本発明による実施例１のポインティング方法を説明するための模式図であり、ポインタより手前にあるオブジェクトのポインティング方法を説明するための図である。
【図５】本発明による実施例１のポインティング方法を説明するための模式図であり、は前記システム制御装置における処理手順を説明するためのフロー図である。
【図６】本実施例１の応用例を説明するための模式図であり、リファレンスを表示する例を示す図である。
【図７】本実施例１の応用例を説明するための模式図であり、奥行き方向に並進移動をさせる例を示す図である。
【図８】本実施例１の応用例を説明するための模式図であり、ｘｙ平面内で回転させる例を示す図である。
【図９】本発明による実施例２のポインティング方法を説明するための模式図であり、原理を説明するための図である。
【図１０】本発明による実施例２のポインティング方法を説明するための模式図であり、ポインティング方法を説明するための図である。
【図１１】本実施例２の応用例を説明するための模式図であり、入力装置の応用例を示す図である。
【図１２】本発明による実施例３のポインティング方法を説明するための模式図であり、原理を説明するための図である。
【図１３】本発明による実施例３のポインティング方法を説明するための模式図であり、ポインティング方法を説明するための図である。
【図１４】本発明による実施例３のポインティング方法を説明するための模式図であり、図１４（ａ）および図１４（ｂ）はそれぞれポインタの形状の変形例を説明するための図である。
【図１５】本発明による実施例３のポインティング方法を説明するための模式図であり、前記システム制御装置における処理手順を説明するためのフロー図である。
【図１６】本実施例３の応用例を説明するための模式図であり、入力装置の応用例を示す図である。
【図１７】本発明による実施例４のポインティング方法を説明するための模式図であり、表示装置としてDFDを用いた場合のポインタの表示方法の原理を説明する模式図である。
【符号の説明】
【０１１１】
１…システム制御装置（ポインティング装置）
１０１…入力情報取得手段
１０２…ポインタ位置／変形量算出手段
１０３…ポインタ生成手段
１０４…表示制御手段
１０５…ポインティング判定手段
１０６…オブジェクト生成手段
１０７…処理制御手段
１０８…記憶手段
２…入力装置
２０１…キーボード
２０２…マウス
２０３…ジョイパッド
２０４Ａ…タブレット
３…表示装置
３Ａ，３Ｂ…表示面
４，４Ａ，４Ｂ…ポインタ
５…オブジェクト
【図１】
2005332231.tif 000003
【図２】
2005332231.tif 000004
【図３】
2005332231.tif 000005
【図４】
2005332231.tif 000006
【図５】
2005332231.tif 000007
【図６】
2005332231.tif 000008
【図７】
2005332231.tif 000009
【図８】
2005332231.tif 000010
【図９】
2005332231.tif 000011
【図１０】
2005332231.tif 000012
【図１１】
2005332231.tif 000013
【図１２】
2005332231.tif 000014
【図１３】
2005332231.tif 000015
【図１４】
2005332231.tif 000016
【図１５】
2005332231.tif 000017
【図１６】
2005332231.tif 000018
【図１７】
2005332231.tif 000019