(57)【要約】【課題】三次元ＣＧオブジェクトを画面に表示し、その操作をメニューによって行うシステムにおいて、ユーザがメニューに妨げられることなく操作対象のオブジェクトを視認できるようにする。【解決手段】コンピュータグラフィックス（１０１ＬＡら１０３）及びポインタ（１０４）を表示させた画面上において、ユーザからの所定の操作入力に応じて、ポインタ（１０４）の表示位置近傍に操作メニュー（８０１）を表示する。そして、この操作メニュー（８０１）より所望の項目を指示することにより、操作指示が行なわれる。ここで、操作メニュー（８０１）は、項目を表示するための複数の項目領域をポインタ（１０４）の指示位置を取り巻くように該表示位置の周囲に配置し、複数の項目領域とポインタ（１０４）の表示位置の間が空洞になっている、環形状を有する。【選択図】  図９
2005107963.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置による操作指示方法であって、
コンピュータグラフィックス及びポインタを表示画面上に表示させる第１表示制御工程と、
ユーザからの所定の操作入力に応じて操作メニューを表示する第２表示制御工程と、
前記第２表示制御工程によって表示された操作メニューより所望の項目を指示する指示工程とを備え、
前記操作メニューは、項目を表示するための複数の項目領域を、所定領域を取り巻くように該所定領域の周囲に配置し、該所定領域が空洞な領域を構成することを特徴とする操作指示方法。
【請求項２】
前記第２表示工程は、ユーザからの所定の操作入力に応じて、前記ポインタの指示位置が前記所定領域内に含まれるように前記走査メニューを表示することを特徴とする請求項１に記載の操作指示方法。
【請求項３】
前記複数の項目領域が円周状に配置されていることを特徴とする請求項１に記載の操作指示方法。
【請求項４】
前記走査メニューは環形状を有することを特徴とする請求項３に記載の操作指示方法。
【請求項５】
前記複数の項目領域において選択状態とする項目領域を、前記ポインタを移動するための操作とは異なる操作入力信号に応じて切り換える切り換え工程を更に備えることを特徴とする請求項１に記載の操作指示方法。
【請求項６】
自身の位置及び姿勢を検出するセンサを有し、前記ポインタの移動及び前記複数の項目領域における選択状態の切り換えを指示する操作ユニットを更に備え、
前記ポインタの移動は前記センサよりの位置情報に基づいて、前記選択状態の切り換えは前記センサよりの姿勢情報に基づいて制御することを特徴とする請求項５に記載の操作指示方法。
【請求項７】
コンピュータグラフィックス及びポインタを表示画面上に表示させる第１表示制御手段と、
ユーザからの所定の操作入力に応じて操作メニューを表示する第２表示制御手段と、
前記第２表示制御手段によって表示された操作メニューより所望の項目を指示する指示手段とを備え、
前記操作メニューは、項目を表示するための複数の項目領域を、所定領域を取り巻くように該所定領域の周囲に配置し、該所定領域が空洞な領域を構成することを特徴とする操作指示装置。
【請求項８】
請求項１乃至６のいずれかに記載の操作指示方法をコンピュータに実行させるための制御プログラム。
【請求項９】
請求項１乃至６のいずれかに記載の操作指示方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元ＣＧ画像を操作する方法および装置に関する。
【背景技術】
【０００２】
バーチャルリアリティ（ＶＲ）システムは、コンピュータの作り出す三次元のコンピュータグラフィックス（ＣＧ）をユーザに提示することで、仮想の空間をあたかも現実であるかのように感じさせるシステムである。また、近年、現実世界の映像に三次元ＣＧを合成することで現実世界にはない情報をユーザに提示する技術の開発もなされており、それらはＡＲ（Augumented Reality, 拡張現実感）システムやＭＲ（Mixed Reality, 複合現実感）システムと呼ばれている。
【０００３】
こうしたＶＲシステムやＡＲシステムにおいて、三次元ＣＧの操作を行う際には、メニューと呼ばれる操作補助のための図形を画面に表示し、メニューに対して入力を行うことで操作を指示することが一般的である。こうしたメニューには複数の方式があり、メニューを選択することによって更にその下位にあるメニューが表示されるプルダウンメニューや、ボタン等を押すことによってメニューが表示されるポップアップメニュー、メニュー項目が円状に表示されるパイメニュー等がある（例えば、特許文献１参照）。
【０００４】
今、図１のような画面を表示しているＶＲシステムがあるものとする。図１において、１０１，１０２，１０３は操作対象となる三次元ＣＧオブジェクト、１０４はユーザが操作する三次元ポインタを表す。三次元ポインタ１０４はユーザの操作によって三次元空間中を自由に移動することが可能である。
【０００５】
ここで、ユーザが三次元ＣＧオブジェクト１０２に対して回転という操作を行う場合を考える。まず、ユーザは三次元ポインタ１０４を三次元ＣＧオブジェクト１０２の上に動かし、その後、ボタン等を操作することによって図２の（ａ）に示すごとくポップアップメニュー１０５を表示させる。ポップアップメニュー１０５には図２の（ｂ）に示すようにユーザの行うことのできる操作項目の一覧が示されており、ユーザは所望の操作をメニュー１０５より選択、指示することができる。ここでは、ユーザはメニューから回転という項目を選択するために、図３に示すように三次元ポインタ１０４をポップアップメニュー１０５の一番上の項目領域に移動し、項目の選択を指示することになる。
【特許文献１】特許第３４２０５３８号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した一連の操作には、次のような課題がある。まず、一般に、メニュー表示は、ポインタで操作対象の三次元ＣＧオブジェクトを指示した状態でなされ、その表示位置はポインタの付近である。このため、メニューそれ自体によって操作対象である三次元ＣＧオブジェクトが隠されてしまい、ユーザの操作の妨げになってしまう。たとえば図２の（ａ）において操作対象の三次元ＣＧオブジェクト１０２はポップアップメニュー１０５によってその一部が隠されている。このため、ユーザは三次元ＣＧオブジェクト１０２の全体を見ながら操作を行うことができなくなる。なお、ポインタの位置から離れた位置にメニューを表示することも考えられるが、ユーザの視線移動量が増え、操作性が低下してしまう。
【０００７】
また、もう一つの課題として、ユーザがポップアップメニュー１０５中の項目を選択するために、三次元ポインタ１０４を三次元空間中で移動させなければならないということがあげられる。ポップアップメニュー１０５中の項目のうちどの項目を選択するかは図３に示したように三次元ポインタ１０４の三次元位置によって決定される。また、操作対象となる三次元ＣＧオブジェクトの選択も図２の（ａ）に示したように三次元ポインタ１０４の三次元位置によって決定される。そのため、三次元ポインタ１０４の三次元位置の変化が選択対象の変更を意味するのか、選択項目の変更を意味するのかはユーザにとってもシステムにとっても不明確である。
【０００８】
たとえば図３のようにポップアップメニュー１０５中の項目を選ぶために三次元ポインタ１０４を移動させた場合、結果として三次元ポインタ１０４が三次元ＣＧオブジェクト１０３の近辺にまで移動することとなる。このため、ユーザが三次元ＣＧオブジェクト１０２を操作対象とするのか、三次元ＣＧオブジェクト１０３を操作対象とするのかが不明確になってしまう。
【０００９】
本発明は、上記課題に鑑みてなされたものであって、例えば三次元ＣＧオブジェクトを画面に表示し、その操作指示をメニュー表示より選択するような構成において、メニュー表示による操作対象オブジェクトの視認性低下を防止することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明による操作指示方法は、
情報処理装置による操作指示方法であって、
コンピュータグラフィックス及びポインタを表示画面上に表示させる第１表示制御工程と、
ユーザからの所定の操作入力に応じて操作メニューを表示する第２表示制御工程と、
前記第２表示制御工程によって表示された操作メニューより所望の項目を指示する指示工程とを備え、
前記操作メニューは、項目を表示するための複数の項目領域を、所定領域を取り巻くように該所定領域の周囲に配置し、該所定領域が空洞な領域を構成する。
【００１１】
また、上記の目的を達成するための本発明による操作指示装置は以下の構成を備える。すなわち、
コンピュータグラフィックス及びポインタを表示画面上に表示させる第１表示制御手段と、
ユーザからの所定の操作入力に応じて操作メニューを表示する第２表示制御手段と、
前記第２表示制御手段によって表示された操作メニューより所望の項目を指示する指示手段とを備え、
前記操作メニューは、項目を表示するための複数の項目領域を、所定領域を取り巻くように該所定領域の周囲に配置し、該所定領域が空洞な領域を構成する。
【発明の効果】
【００１２】
上記の構成によれば、例えば、三次元ＣＧオブジェクトを画面に表示し、その操作指示をメニュー表示より選択するような構成において、メニュー表示による操作対象オブジェクトの視認性低下が防止される。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しながら、本発明の好適な実施形態について説明する。
【００１４】
本実施形態のＶＲシステムでは、ユーザが装着した頭部搭載型ディスプレイに図１のような三次元ＣＧが表示される。そして、手持ちの操作装置によって表示された三次元ＣＧに操作を加えると、操作後の三次元ＣＧが頭部搭載型ディスプレイに表示される。ここで、図１において、１０１，１０２，１０３は操作対象となる三次元ＣＧオブジェクト、１０４はユーザが操作する三次元ポインタを表し、三次元ポインタ１０４はユーザの手持ちの入力装置によって操作される。
【００１５】
図４は本実施形態によるＡＲシステムの構成を示すブロック図である。図４において、５１０は頭部搭載型ディスプレイ（Head Mount Display:以下、ＨＭＤと記す）であり、位置姿勢センサ５１１、カメラ５１２、表示部５１３を有する。位置姿勢センサ５１１はカメラ５１２の視線方向及び位置を検出し、その位置姿勢情報をＣＧ生成部５２２及び画像合成部５２３に送る。カメラ５１２は現実空間を撮影し、その撮影情報を画像合成部５２３へ送る。表示部５１３は画像合成部５２３で生成された、ＣＧ画像と現実画像との合成画像を表示する。
【００１６】
ＣＧ生成部５２２は、ＣＧデータ格納部５２１よりＣＧデータを取得し、位置姿勢センサ５１１からの位置姿勢情報に基づいてＣＧ画像を生成する。画像合成部５２３はカメラ５１２からの撮影情報に基づく現実画像に、ＣＧ生成部５２２で生成されたＣＧ画像を位置姿勢情報に基づいて合成する。なお、ＣＧデータ格納部５２１、ＣＧ生成部５２２、画像合成部５２３は、不図示のＣＰＵ及びメモリ等を備えたコンピュータ装置により実現され得る。
【００１７】
操作装置５３０は位置姿勢センサ５３１、決定ボタン５３２、キャンセルボタン５３３を有する。本実施形態では、位置姿勢センサ５３１からの位置姿勢情報によって三次元ポインタ１０４の移動操作が制御される。
【００１８】
図５は、上述したＣＧ生成部５２２の詳細構成を示したブロック図である。５０１は入力部であり、ユーザからの入力情報を受け付ける。ここで、ユーザからの入力情報とは、ユーザの装着したＨＭＤ５１０に備えられた位置姿勢センサ５１１からの位置姿勢情報、ユーザの手持ちの操作装置５３０に備えられた位置姿勢センサ５３１からの位置姿勢情報、及び操作装置５３０に備えられた決定ボタン５３２とキャンセルボタン５３３の２つのボタンの押下情報を含む。入力部５０１が受け取った入力情報は入力判定部５０３に送られる。
【００１９】
５０２はデータ管理部であり、ＣＧデータ格納部５２１に格納されたＣＧデータを管理する。ＣＧデータは、シーン情報、すなわち仮想の三次元空間中に存在する三次元ＣＧオブジェクトの情報である。データ管理部５０２が管理する情報としては、例えば三次元ＣＧオブジェクトの形状、色、模様（テクスチャ）などがある。また、データ管理部５０２は、位置姿勢センサ５３１からの位置姿勢情報に基づいて生成される三次元ポインタ１０４の位置および姿勢の情報、また、位置姿勢センサ５１１からの位置姿勢情報に基づいてい生成される、シーン描画のための視点の位置および姿勢を格納する。また、データ管理部５０２は外部からの要求に応じて保持する情報の出力や変更を行う。
【００２０】
５０３は入力判定部であり、入力部５０１から受け取った入力情報をデータ管理部５０２から受け取ったシーンの情報を元に解釈し、シーンに対する操作情報として出力する。入力判定部５０３は、たとえば、位置姿勢センサ５１１から得られるユーザ頭部の位置姿勢情報を入力部５０１より受け取り、その情報をシーンに対する視点に関する操作情報として出力する。また、操作装置５３０に備えられた位置姿勢センサ５３１からの位置姿勢情報やボタン（５３２、５３３）の押下情報を受け取り、例えばメニューが表示されているか否かに応じて、シーンの三次元ＣＧオブジェクトに対する操作情報を生成し、出力する（図６により後述する）。
【００２１】
５０４は操作処理部であり、入力判定部５０３から受け取った操作情報に基づいてデータ管理部５０２に対してシーンの変更を要求する。５０５は画像生成部であり、データ管理部５０２に格納されたシーン情報を元にＣＧ画像を生成し、画像合成部５２３（図４）へ出力する。
【００２２】
図６は、上述のＣＧ生成部５２２の動作を説明するフローチャートである。ＣＧデータに基づくＣＧ画像の生成が開始されると、ステップＳ６０１において入力部５０１が入力情報を受けとる。上述したように、入力情報はユーザの装着するＨＭＤ５１０に備えられた位置姿勢センサ５１１の位置姿勢情報、操作装置５３０に備えられた位置姿勢センサ５３１からの位置姿勢情報、及び操作装置５３０に備えられたボタン（５３２、５３３）の押下情報を含む。入力部５０１で受け取った入力情報は入力判定部５０３に送られる。ステップＳ６０２において、入力判定部５０３は、ボタンの押下情報の有無を判定する。ボタンの押下情報がある場合、すなわちユーザが何らかのボタンを押したと判定された場合はステップＳ６０３へ、押下情報がない場合にはステップＳ６４０へに進む。
【００２３】
ステップＳ６０３においては、入力判定部５０３により押下されたボタンの種類が判定される。押下情報が決定ボタン５３２のものである場合、すなわちユーザが決定ボタン５３２を押したと判定される場合にはステップＳ６０４へ進む。また、ユーザがキャンセルボタン５３３を押したと判定される場合にはステップＳ６３０に進む。ステップＳ６０４においては、シーン中にメニューが存在するかどうか、すなわちデータ管理部５０２が管理する三次元ＣＧオブジェクトの情報中にメニューを表すＣＧオブジェクトが含まれるかどうかが判定される。メニューが存在する場合にはステップＳ６０５へ、存在しない場合にはステップＳ６２０へそれぞれ進む。
【００２４】
データ管理部５０２が管理する三次元ＣＧオブジェクトにメニューが存在する場合、ステップＳ６０５において、そのメニュー中のいずれかの項目が選択されているかどうかが入力判定部５０３によって判定される。この判定はどのような方法でなされてもよいが、たとえばメニューの選択項目を示す情報をデータ管理部５０２に記録するようにしておき、その選択項目情報を入力判定部５０３が参照することで実現可能である。なお、選択項目の決定は後述のステップＳ６４１で行なわれる。メニュー中の項目のいずれかが選択されている場合、すなわち選択項目が存在する場合にはステップＳ６０６へ、選択がなされていない場合にはステップＳ６５０へ進む。
【００２５】
ステップＳ６０６においては、入力判定部５０３でメニューの選択項目に応じた機能が決定される。決定された機能の情報は操作情報として操作処理部５０４に渡される。
【００２６】
一方、メニューが存在しない場合は、ステップＳ６２０において、三次元ポインタ１０４の近辺に三次元ＣＧオブジェクトが存在するかどうかが入力判定部５０３により判定される。三次元ポインタ１０４の近辺にオブジェクトが存在する場合には、そのオブジェクトが操作の対象として選択されたものと判定されステップＳ６２１に進む。また、そのようなオブジェクトが存在しない場合には操作の対象が指定されていないものと判定され、ステップＳ６５０に進む。
【００２７】
三次元ポインタ１０４の近辺にオブジェクトが存在した場合、ステップＳ６２１において、データ管理部５０２においてメニューオブジェクトの生成が行われる。ここで、メニューは図７に示すような、中央がくり抜かれた円盤形状（環状）の三次元ＣＧオブジェクトである。環は等分に分割されて項目領域が規定され、各項目領域の上にはユーザによって指定が可能な操作項目が一つずつ記されている。以下、図７に示すメニューを環メニュー８０１という。環メニュー８０１は図８に示したように三次元ポインタ１０４の周りを囲むような位置に生成され、その情報はデータ管理部５０２に格納される。ここで、環メニュー８０１を表す情報にはその位置、姿勢、半径、項目、選択されている項目などの情報が含まれる。
【００２８】
なお、ここでメニューは図７のような中央がくり抜かれた円盤状のものとしたが、メニューは項目が放射状に表示され、なおかつ中央部分が空洞になっているものであればどのようなものでもよく、たとえば図１０の（ａ）のような扇状のものや、図１０の（ｂ）のような項目を表すオブジェクト（項目領域）が放射状に配置されるものでもよい。また、円形の環に限らず、中央がくり貫かれた矩形状の環としてもよい。
【００２９】
なお、本実施形態ではメニューを図８に示しように３Ｄ表示するが、もちろん２Ｄでメニューを表示してもよい。但し、ＨＭＤをかぶって体験するような没入型の環境では、２Ｄのメニューも３Ｄで表現して描画する方が容易である、また、メニューを３Ｄにすると、図９（ｂ）で後述するように、視点によってメニューの大きさを変えるという機能が容易に実現できるという利点がある。
【００３０】
また、メニューを３Ｄで表現する場合の表示位置は例えば以下のようにして決定することができる。まず、三次元ポインタ１０４の位置を中心とし、三次元ポインタ１０４の姿勢に対して垂直な環状体の三次元ＣＧオブジェクトをデータ管理部５０２に生成する。この環状体の三次元ＣＧオブジェクトの画像を生成する（後述のステップＳ６５１参照）ことで、環メニュー８０１の表示位置が決定される。更に、環メニューを２Ｄで表現する場合の表示位置は、例えば以下のようにして決定することができる。すなわち、三次元ポインタ１０４が画面上のどの位置に投影されるかを求め、その位置を中心とする環状形を描画する（後述のステップＳ６５１において実行すればよい）。
【００３１】
また、２Ｄ、３Ｄのいずれの場合においても、環状形の画面上での半径は、例えば視点位置から三次元ポインタ１０４までの距離によって決定すればよい。半径はどのような式によって決定されてもよいが、たとえば半径をｒ、視点から三次元ポインタ１０４までの距離をｄとして、
ｒ＝Ｒ×arctan（Ｃ／ｄ）
ただしＲ，Ｃは任意の定数
などとして定められる。
【００３２】
キャンセルボタン５３３が押下された場合は、ステップＳ６３０において、シーン内のメニューの情報がデータ管理部５０２から取り除かれる。但し、この際、シーン内にメニューが存在しなければ何も起こらない。
【００３３】
ステップＳ６０２において、ボタン押下情報がない場合、ステップＳ６４０において、シーン中にメニューが存在するかどうか、すなわちデータ管理部５０２が管理する三次元ＣＧオブジェクトの情報中にメニューを表すＣＧオブジェクトが含まれるかどうかが判定される。メニューが存在する場合にはステップＳ６４１へ、存在しない場合にはステップＳ６５０に進む。ステップＳ６４１においては、選択項目の決定がなされる。
【００３４】
選択項目の決定は操作装置５３０に備えられた位置姿勢センサ５３１からの位置姿勢情報と、データ管理部５０２に格納されているメニューの情報とを比較することによってなされる。なお、この選択項目の決定はセンサの位置および姿勢を用いる方法であればどのような方法でなされてもよい。たとえば三次元ポインタ１０４が環メニュー８０１上にある場合には、その三次元ポインタ１０４が存在する部分の項目を選択したものとして決定する。また、三次元ポインタ１０４が環メニュー８０１上のいずれの項目領域にも存在しない場合には、どの項目も選択されないものとする。この場合、後述のステップＳ６５０において、環メニュー８０１の位置は固定されたままである。
【００３５】
なお、選択項目の決定における項目指定の方法としては、三次元ポインタによって直接的に指定する方法以外にも以下のような方法が挙げられる。すなわち、ステップ６２１においてメニューを生成される際に、図８の（ａ）に示すようにインジケータ８０２を生成し、その情報をデータ管理部５０２に格納する。なお、メニュー生成時において、インジケータ８０２は所定（デフォルト）の選択項目を指示するようにし、インジケータ８０２で指示された選択項目８０３の部分は表示形態を変化させて選択されていることを明示するようにする。
【００３６】
インジケータ８０２は、図８の（ｂ）に示すように、操作装置５３０に備えられた位置姿勢センサ５３１からの姿勢情報から導かれる三次元ポインタ１０４の軸まわりの回転角に応じて環メニュー８０１の内周に沿って移動する。この、インジケータの移動により所望のメニュー項目を選択することができる。この場合、ユーザは操作装置５３０に対してダイヤルをまわすようなひねりの操作を行うことで、三次元ポインタ１０４を移動させることなく選択項目を変更することができる。更に、このようなインジケータによるメニュー選択によれば、メニュー８０１の表示位置を三次元ポインタ１０４の位置に応じて移動させる（例えば、三次元ポインタ１０４が常に環の中心に位置するように環メニュー８０１を移動する）ことにより、環メニュー８０１を常に三次元ポインタ１０４の周囲に表示させることができる。
【００３７】
ステップＳ６５０では、操作処理部５０４による操作情報の処理が実行される。ここでは、ユーザの装着したＨＭＤ５１０に備えられた位置姿勢センサ５１１からの位置姿勢情報に応じてデータ管理部５０２に格納される視点の位置姿勢情報が更新される。また、操作装置５３０に備えられた位置姿勢センサ５３１の位置姿勢情報に応じてデータ管理部５０２に格納される三次元ポインタ１０４の位置および姿勢の情報を更新する。また、ステップＳ６０６において機能が決定されている場合には、その機能に応じてあらかじめ定められた処理を、ステップＳ６２０において操作対象として選択されている三次元ＣＧオブジェクトに対して実行する。また、シーン中にメニュー８０１が存在する場合には、操作装置５３０に備えられた位置姿勢センサ５３１からの位置情報に応じてメニュー８０１を移動させる。また、インジケータ８０２が存在する場合には、位置姿勢センサ５３１からの姿勢情報に応じてインジケータ８０２を移動させたりする。
【００３８】
ステップＳ６５１においては、画像生成部５０５でＣＧ画像の生成が行われ、生成されたＣＧ画像は画像合成部５２３へ出力される。画像生成部５０５はデータ管理部５０２に保持されている視点の位置および姿勢、三次元ポインタ１０４の位置および姿勢、メニュー８０１の情報、三次元ＣＧオブジェクトの情報を取得し、図９の（ａ）のような三次元ＣＧを生成する。図９の（ａ）においては三次元ＣＧオブジェクト１０２の一部がメニュー８０１によって隠されているが、視点の位置および姿勢を三次元ＣＧオブジェクト１０２により近づけた場合には図９の（ｂ）のように見かけ上メニュー８０１の半径が大きくなり、三次元ＣＧオブジェクト１０２の全体を観察することができるようになる。なお、視点の位置および姿勢を三次元ＣＧオブジェクト１０２に近づけた場合は、三次元ＣＧオブジェクト１０２の見かけ上の大きさも大きくなるが、その拡大率は視点からオブジェクトまでの距離が近ければ近いほど大きいので、相対的にメニュー８０１の方が大きく表示されることになる。従って、図９（ｂ）のような表示状態が得られることになる。ステップＳ６５２においては、処理を終了するかどうかの判定が行われ、あらかじめ定められた終了条件を満たす場合には終了し、満たさない場合にはステップＳ６０１に戻る。
【００３９】
なお、上記実施形態では、位置姿勢センサ３５１からの位置姿勢情報により三次元ポインタ１０４の位置やインジケータ８０２を制御したが、ジョイスティック等を用いてもよいことは明らかである。この場合、スティックを傾斜させることにより三次元ポインタを移動し、スティックを回転させることによりインジケータ８０２を移動させるように構成すればよい。また、上記の変形に限らず、種々の機構を適用できることは明らかである。また、上記実施形態では、ＡＲシステムを示したが、ＶＲシステムであってもかまわないことは明らかである。
【００４０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４１】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００４３】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４４】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４５】
以上説明したように、本実施形態によれば、三次元ＣＧオブジェクトを画面に表示し、その操作指示をメニューによって行うシステムにおいて、ユーザがメニューに妨げられることなく操作対象のオブジェクトを視認することが可能となる。また、ユーザの入力において、選択対象の決定にセンサからの位置情報を、選択項目の決定にセンサからの姿勢情報を用いることで、操作対象の選択と操作項目の選択の区別を明確に行うことが可能となる。
【図面の簡単な説明】
【００４６】
【図１】一般的なＶＲシステムに表示される画面を説明する図である。
【図２】ＶＲシステムに表示される一般的なメニューを説明する図である。
【図３】従来手法のメニューにおいて項目を選択する方法を説明する図である。
【図４】実施形態によるＶＲシステムの構成を説明するブロック図である。
【図５】図４のＣＧ生成部５２２の詳細構成を示すブロック図である。
【図６】実施形態によるＣＧ生成部５２２の制御方法を説明するフローチャートである。
【図７】実施形態による操作メニューを説明する図である。
【図８】実施形態による操作メニューによる項目選択方法を説明する図である。
【図９】実施形態において生成されるＣＧ画像を説明する図である。
【図１０】実施形態によるメニュー表示の他の形態を示す図である。
【図１】
2005107963.tif 000003
【図２】
2005107963.tif 000004
【図３】
2005107963.tif 000005
【図４】
2005107963.tif 000006
【図５】
2005107963.tif 000007
【図６】
2005107963.tif 000008
【図７】
2005107963.tif 000009
【図８】
2005107963.tif 000010
【図９】
2005107963.tif 000011
【図１０】
2005107963.tif 000012