(57)【特許請求の範囲】
【請求項１】
複数の情報処理装置上で動作する関連する複数の情報処理アプリケーションが作成する複数の情報処理用画面ウィンドウを、１つの仮想現実感生成装置が生成する複数の３次元ＣＧ像として１つの３次元ＣＧ像表示装置に表示するように構成した仮想現実感マルチウィンドウシステムにおいて、
前記情報処理装置は、
情報処理用画面ウィンドウの表示内容から３次元ＣＧのＶＲオブジェクトである、該情報処理装置のマシンＩＤと情報処理用画面ウィンドウを生成したプロセスのＩＤと該プロセス内で生成された情報処理用ウィンドウの通し番号とによって特定されるウィンドウオブジェクトを生成して、前記仮想現実感生成装置に送付するウィンドウオブジェクト生成手段を有し、
前記仮想現実感生成装置は、
前記情報処理装置から送られた複数のウィンドウオブジェクトを、モード切替ボタンかつ／またはアイコン化ボタンかつ／またはウィンドウ化ボタンかつ／または視線入力切替ボタンかつ／または原画面挿入ボタンを有する１つの３次元空間内に配置する仮想現実空間制御手段と、
配置された前記３次元空間を前記３次元ＣＧ像表示装置に出力する３次元ＣＧ像表示手段を有し、
前記３次元ＣＧ像表示装置は、前記３次元ＣＧ像表示手段の出力を画像化し、光学系によって操作者の網膜上に前記３次元空間の虚像を結ぶ手段を有し、
前記仮想現実空間制御手段は、前記モード切替ボタンが押下されることによって視点入力モードと配置変更モードとを切り替え、前記アイコン化ボタンが押下されることによってウィンドウオブジェクトをアイコン化し、前記ウィンドウ化ボタンが押下されることによってアイコン化されたウィンドウオブジェクトを元の３次元空間に表示し、前記視線入力切替ボタンが押下されることによって視線の移動に対応したカーソル移動を行い、前記原画面挿入ボタンが押下されることによってウィンドウオブジェクトに対応する画面を前記３次元ＣＧ像表示装置に合成表示する手段を有する
ことを特徴とする仮想現実感マルチウィンドウシステム。
【請求項２】
前記３次元ＣＧ像表示装置と、操作者の視線の位置を検出する視線検出手段とを操作者の頭部に装着し、
前記仮想現実空間制御手段は、前記視線検出手段から視線情報を受けて、これをもとに前記３次元空間内の視点を決定することを特徴とする請求項１記載の仮想現実感マルチウィンドウシステム。
【請求項３】
複数の前記情報処理装置から送られる前記情報処理用画面ウィンドウを与えるビデオディスプレイ信号と前記３次元ＣＧ像表示手段が３次元像として出力するビデオディスプレイ信号とを少なくとも部分的に切り換えて出力する表示切り換え手段を有することを特徴とする請求項１または２記載の仮想現実感マルチウィンドウシステム。
【請求項４】
複数の情報処理装置上で動作する関連する複数の情報処理アプリケーションが作成する複数の情報処理用画面ウィンドウを、１つの仮想現実感生成装置が生成する複数の３次元ＣＧ像として１つの３次元ＣＧ像表示装置に表示するように構成した仮想現実感マルチウィンドウシステム用のプログラムを格納したコンピュータ読み取り可能な記録媒体において、
前記情報処理装置を、
情報処理用画面ウィンドウの表示内容から３次元ＣＧのＶＲオブジェクトである、該情報処理装置のマシンＩＤと情報処理用画面ウィンドウを生成したプロセスのＩＤと該プロセス内で生成された情報処理用ウィンドウの通し番号とによって特定されるウィンドウオブジェクトを生成して、前記仮想現実感生成装置に送付するウィンドウオブジェクト生成手段として機能させ、
前記仮想現実感生成装置を、
前記情報処理装置から送られた複数のウィンドウオブジェクトを、モード切替ボタンかつ／またはアイコン化ボタンかつ／またはウィンドウ化ボタンかつ／または視線入力切替ボタンかつ／または原画面挿入ボタンを有する１つの３次元空間内に配置する仮想現実空間制御手段と、
配置された前記３次元空間を前記３次元ＣＧ像表示装置に出力する３次元ＣＧ像表示手段として機能させ、
前記３次元ＣＧ像表示装置は、前記３次元ＣＧ像表示手段の出力を画像化し、光学系によって操作者の網膜上に前記３次元空間の虚像を結ぶ手段として機能させ、
前記仮想現実空間制御手段を、前記モード切替ボタンが押下されることによって視点入力モードと配置変更モードとを切り替え、前記アイコン化ボタンが押下されることによってウィンドウオブジェクトをアイコン化し、前記ウィンドウ化ボタンが押下されることによってアイコン化されたウィンドウオブジェクトを元の３次元空間に表示し、前記視線入力切替ボタンが押下されることによって視線の移動に対応したカーソル移動を行い、前記原画面挿入ボタンが押下されることによってウィンドウオブジェクトに対応する画面を前記３次元ＣＧ像表示装置に合成表示する手段として更に機能させる
ことを特徴とする仮想現実感マルチウィンドウシステム用のプログラムを格納したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はパーソナルコンピュータやワークステーションなど、関連するアプリケーションソフトウェアの画面ウィンドウを多重に使用するマルチウィンドウシステムまたはマルチコンピュータシステムのウィンドウ表示技術にかかわる。
【０００２】
【従来の技術】
情報処理技術の進歩によって、小型ながら高速処理性能をもつ大容量のパーソナルコンピュータやワークステーションおよびそのソフトウェアによって、オフィスの情報処理環境は大きく改善されてきた。現在ではオフィス業務やシステム開発業務で、一台のコンピュータ上で複数の関連するアプリケーションソフトウェアを多重に使用するほか、机上に複数台のパソコンを置いたり、回線などによって結ばれた複数台のコンピュータによって、複数の関連する画面ウィンドウを見ながら作業を進めることも多くなった。
【０００３】
一方、通常のコンピュータディスプレイ画面は人間の注視視野角（３°程度と言われる）に楽な視線移動角１０°程度を勘案して画面サイズが決められている。具体的には対角１０〜２０インチの画面が多用されている。そして、画面解像度仕様としてＸＧＡ（１０２４×７６８画素）ないしＳＸＧＡ（１２８０×１０２４画素）が多用されている。人間が快く見られる文字サイズおよび行あたりの文字数を確保したウィンドウをこの画面上に配すると、一つのウィンドウが画面全体を使ってしまい、マルチウィンドウシステムであっても、アクティブな１ウィンドウのみが前面に出て、アクティブでないウィンドウは後ろに隠されることが多い。また、複数台のコンピュータで関連し合う業務を行う場合は、複数台の画面表示装置を並べて見ることになるので、画面を見比べるときの視線の移動が大きく、業務効率を悪くしている。
【０００４】
他方、ＬＣＤ（液晶）やプラズマディスプレイを用いたパネルディスプレイ技術の進歩は著しく、現在では一例として、ＱＳＸＧＡと呼ばれる２５６０×２０４８画素で１６インチ型の高精細ＬＣＤパネルが試作されている（日経マイクロデバイス別冊「フラットパネル・ディスプレイ」ｐ１９０−１９１，  １９９９、日経ＢＰ社参照）。このような高精細画面は、その中に複数ウィンドウを重ならずに表示して十分視認性のある作業環境を提供する能力をもっている。しかし、複数のコンピュータ出力をこの一つの高精細画面に導いて一覧表示させることはできていない。また、単一のコンピュータの表計算アプリケーションソフトウェアのマルチウィンドウ画面として、このような高精細パネルに表計算の複数シートを重なり合わない複数ウィンドウに一覧表示させることはできていない。
【０００５】
また、３次元コンピュータグラフィックス（以下ＣＧと呼ぶ）技術を駆使した仮想現実感（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  以下ＶＲと呼ぶ）技術により、広い視野の仮想空間の虚像を体験できる装置が開発されている。このようなＶＲ技術によって作成されたＶＲオブジェクトをＨＴＭＬの拡張言語で記述して複数コンピュータ間で交換しあうＶＲＭＬ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｍｏｄｅｌｉｎｇ  Ｌａｎｇｕａｇｅ  ）を用いたＶＲオブジェクト描画技術は公知である（例えば、書籍「ＶＲＭＬ  ２：  動く３Ｄグラフィックス」中山茂著、１９９７年  ８月発行、技報堂出版ＩＳＢＮ４−７６５５−３３１９−０  を参照）。しかしながら、複数のコンピュータの情報処理用画面ウィンドウをＶＲオブジェクトとして同一ＶＲ空間内に配置する技術は未だ開示されていない。
【０００６】
【発明が解決しようとする課題】
上述のように、従来の情報処理環境では、関連する複数の情報処理用画面ウィンドウを一台の画面表示装置上に一覧表示させつつ、そのうちの任意のウィンドウでその固有の情報処理操作を行うことができない、という課題があった。
【０００７】
【課題を解決するための手段】
上記課題は、図１に示す如く、情報処理用画面ウィンドウの表示内容から３次元ＣＧウィンドウオブジェクトを生成するウィンドウオブジェクト生成手段１と、前記ウィンドウオブジェクトを３次元空間内に配置する仮想現実空間制御手段２と、前記３次元空間内ウィンドウオブジェクトを与えられた視点から表示する３次元ＣＧ像表示手段３と、によって解決される。
【０００８】
すなわち、ウィンドウオブジェクト生成手段１は情報処理アプリケーションソフトウェア１０１１が動作する情報処理装置１０内に配置されたソフトウェアであって、情報処理アプリケーションソフトウェア１０１１が作成する情報処理用画面ウィンドウをフレームメモリ１０３  から読み出し、これを３次元ＣＧ像を与える３次元ＣＧウィンドウオブジェクトとして生成し、このオブジェクトを仮想現実感生成装置２０に送り込む。
【０００９】
一方、仮想現実感生成装置２０内には仮想現実空間制御手段２が動作して、前記ウィンドウオブジェクト生成手段１より送られた３次元空間内ウィンドウオブジェクトを表示する３次元空間と視点を定める。また、仮想現実感生成装置２０内の３次元ＣＧ像表示手段３は、前記３次元空間内ウィンドウオブジェクトを読み、これを表示用メモリ２００  に展開し、別に与えられた視点パラメータＥ  を参照して、この視点からみた３次元ＣＧ像を生成し、これをビデオディスプレイ信号Ｖ１として３次元ＣＧ像表示装置２３に送り出す。
【００１０】
情報処理装置１０の情報処理アプリケーションソフトウェア１０１１がつくり出す複数の情報処理用画面ウィンドウに応じて、上記の作用を繰り返すことにより、情報処理アプリケーションソフトウェア１０１１の作る複数の情報処理用画面ウィンドウを重ならずに配置された３次元ＣＧ像を３次元ＣＧ像表示装置２３に与えることが可能である。操作者は３次元ＣＧ像表示装置２３の３次元ＣＧ像を見ながら、その中の一つの情報処理用画面ウィンドウに情報を書き込むには情報処理装置１０の情報処理用キーボードマウス装置１２を用いる。
【００１１】
本発明請求項２の仮想現実感マルチウィンドウシステムでは、操作者は３次元ＣＧ像表示装置２３を頭部に装着する形状とし、この３次元ＣＧ像表示装置２３と位置関係が連動する視線検出手段２２を設け、仮想現実感生成装置２０内の仮想現実空間制御手段２がこの視線検出手段２２からの視線情報Ｓ  を受けて、これから前記３次元空間内の視点パラメータＥ  を算出するので、３次元ＣＧ像表示手段３は常に操作者の視線に連動した３次元ＣＧ像を与えることができる。
【００１２】
また、本発明請求項１〜２の仮想現実感マルチウィンドウシステムでは、情報処理用キーボードマウス装置１２による画面入力の割り込みの都度、ウィンドウオブジェクト生成手段１が働いて３次元空間内ウィンドウオブジェクトに変更を加えて仮想現実感生成装置２０に送り終わったのち情報処理アプリケーションソフトウェア１０１１に制御を返すので、３次元ＣＧ像表示装置２３上の３次元ＣＧ像への入力の反映には若干の時間がかかり、レスポンスが悪い印象を与える恐れがある。
【００１３】
これを改善するために、本発明請求項３の仮想現実感マルチウィンドウシステムでは、仮想現実感生成装置２０内に表示切り換え手段４を設け、情報処理装置１０の情報処理用画面ウィンドウを与えるビデオディスプレイ信号Ｖ２をも３次元ＣＧ像表示装置２３に与えられるようにした。すなわち、表示切り換え手段４は操作者が表示制御入力部２１または視線検出手段２２を通じて、注視する３次元空間内ウィンドウオブジェクトを指定することを仮想現実空間制御手段２から切り換え信号Ｘ  として受け取り、これによって３次元ＣＧ像表示装置２３に送出するビデオディスプレイ信号Ｖ０を３次元ＣＧ像表示手段３が３次元像として出力するビデオディスプレイ信号Ｖ１の少なくとも一部を情報処理用画面ウィンドウを与えるビデオディスプレイ信号Ｖ２に切り換えて、情報処理用表示装置１１相当の画面をも表示させる。以上の作用によって３次元ＣＧ像表示装置２３は情報処理装置１０の専用のディスプレイ装置相当となり、画面入力更新作業が快適なレスポンスで行われる。また、３次元ＣＧ像表示手段３が３次元像として出力するもとのビデオディスプレイ信号Ｖ１に戻したい場合には、再び操作者は表示制御入力部２１または視線検出手段２２を用いて指示すればよい。
【００１４】
本発明請求項４の表計算アプリケーションソフトウェアは上記と異なり、第２図に示す如く、単一の情報処理装置１０に配置される情報処理アプリケーションソフトウェア１０１１と同位置にある表計算アプリケーションソフトウェア６であってシートウィンドウ生成手段６１によって生成されたシートウィンドウ６１１  を、情報処理用表示装置１１にオペレータの指定する位置に表示させる。オペレータはシートウィンドウのサイズおよび位置を適当に配置することにより、複数のシートを重なることなく情報処理用表示装置１１上に一覧表示させることができる。
【００１５】
【発明の実施の形態】
仮想現実感マルチウィンドウシステムの実施例を図１および図３〜図１０により説明する。また、表計算アプリケーションソフトウェアの実施例を図２により説明する。なお、本発明におけるコンピュータ処理は、コンピュータプログラムにより当該コンピュータの主記憶装置上で実行されるが、このコンピュータプログラムの提供形態は、当該コンピュータに接続された補助記憶装置をはじめ、フロッピーディスクやＣＤ−ＲＯＭ等の可搬型記憶装置やネットワーク接続された他のコンピュータの主記憶装置及び補助記憶装置等の各記録媒体に格納されて提供されるもので、このコンピュータプログラムの実行に際しては、当該コンピュータの主記憶装置上にローディングされ実行されるものである。
【００１６】
図１は仮想現実感マルチウィンドウシステムの実施例の構成を示す。本発明請求項１〜３の仮想現実感マルチウィンドウシステムは情報処理装置１０が一台である場合も複数台である場合も含んでいるが、本実施例では複数台の場合を示す。複数の情報処理装置１０上では、情報処理アプリケーションソフトウェア１０１１例えば、マイクロソフト社のＥｘｃｅｌ，Ｗｏｒｄ，Ｖｉｓｕａｌ  Ｂａｓｉｃ  などが動作している。これらの画面が同一の業務に関連する場合など、従来はこれら情報処理アプリケーションソフトウェア１０１１はそのウィンドウ画面をそれぞれの情報処理用表示装置１１に表示し、オペレータはそれぞれの情報処理用キーボードマウス装置１２を用いて業務を行っていた。本発明では、それらのウィンドウ画面を単一の３次元ＣＧ像表示装置２３に表示し、オペレータはこれを見ながら、それぞれのウィンドウに対応するそれぞれの情報処理用キーボードマウス装置１２を用いて業務を行うものである。
【００１７】
本発明のウィンドウオブジェクト生成手段１は各々の情報処理装置１０上のＯＳの中に位置し、各情報処理アプリケーションソフトウェア１０１１の画面ウィンドウの生成更新に連動して、そのウィンドウに対応する３次元空間内ウィンドウオブジェクトを生成更新する。本実施例ではマイクロソフト社のＷｉｎｄｏｗｓ９５  をＯＳとしてもつ一つの情報処理装置１０について、そのウィンドウオブジェクト生成手段１の構成および動作を説明する。
【００１８】
ここに３次元空間内ウィンドウオブジェクトとは、図３に示す如く、情報処理用表示装置１１上に表示される一般の画面ウィンドウを３次元ＣＧ像として表示するための平板状のオブジェクトである。各情報処理用表示装置１１上で生成されて消滅していないすべてのウィンドウ（すなわち、アクティブウィンドウの他、インアクティブなウィンドウも含む）に対応してウィンドウオブジェクト生成手段１は３次元空間内ウィンドウオブジェクトを生成する。
【００１９】
このオブジェクトの名称は情報処理装置１０のマシンｉｄ（ｍｉｄ  ）、ウィンドウを生成したプロセスのプロセスｉｄ（ｐｉｄ  ）、このプロセス内で生成されたウィンドウの通し番号であるウィンドウｉｄ（ｗｉｄ  ）、によってＷ−ｍｉｄ−ｐｉｄ−ｗｉｄ  と命名されている。したがって、仮想現実感生成装置２０が管理する全ウィンドウに対してユニークに識別可能である。
【００２０】
このオブジェクトが配置される３次元空間は固有の単位ベクトル長ｅ  の座標系を持ち、他方、各オブジェクトはオブジェクト内座標系を持つ。ここでは、各３次元空間内ウィンドウオブジェクトは厚さｅ  の平板としており、またウィンドウサイズはもとの画面サイズのｅ  倍としているので、図３に示す如く、ウィンドウはウィンドウサイズ  ｗｗ＊ｅ    ×  ｗｈ＊ｅ  、ウィンドウ厚さｅ  の平板（ＶＲＭＬのｇｅｏｍｅｔｒｙフィールドではＢｏｘ  ノードで表現）  となる。そしてこの平板面にはフレームメモリ１０３  の内容に対応するイメージ（ファイル名Ｗ−ｍｉｄ−ｐｉｄ−ｗｉｄ．ｇｉｆ  ）が張り付けられる。
【００２１】
以上の３次元空間内ウィンドウオブジェクトをＶＲＭＬコードで記述した例を図４に示す。ウィンドウオブジェクト生成手段１はこのような３次元空間内ウィンドウオブジェクトを３次元ＣＧ像表示手段３に送出する。以下にはその方法について説明する。
【００２２】
まず図５で本発明の仮想現実感マルチウィンドウシステムの全体動作の概要を示す。図５（ａ）  は全体動作フローである。電源投入により仮想現実感生成装置２０は初期設定として、デフォルトの３次元空間を設定して３次元ＣＧ像表示装置２３上に表示する（ステップＳ５０１）。この場合、視点位置は初期設定値がとられ、また情報処理装置１０の画面は一切表示されていない。３次元ＣＧ像表示装置２３の画面下部には図５（ｂ）  のように、仮想現実感生成装置２０が生成した対話用ボタンが表示されているだけである。
【００２３】
仮想現実感生成装置２０はステップＳ５０２、ステップＳ５０４に示すように、『情報処理装置１０でのウィンドウの変更があったか？』、『対話画面による空間および表示の変更があったか？』を待ち受けており、これらのイベントによってステップＳ５０３、ステップＳ５０５の対処を行う。
【００２４】
情報処理装置１０のウィンドウ画面の変更は情報処理用キーボードマウス装置１２を用いたユーザの操作によってもたらされるもので、情報処理装置１０上のＯＳ（本実施例ではＷｉｎｄｏｗｓ９５  ）のウィンドウ制御機能からウィンドウオブジェクト生成手段１に知らされ、これをもとにウィンドウオブジェクト生成手段１が仮想現実感生成装置２０に伝えるものである。ステップＳ５０３はそのようなウィンドウオブジェクト生成手段１の動作を示したもので、その詳細については、後に図６によって説明する。
【００２５】
一方、３次元ＣＧ像表示装置２３上のマルチウィンドウ像を見ながら、ユーザは図５（ｂ）  に示す画面下部の対話用ボタンを用いて、３次元空間、視点、ウィンドウオブジェクトなどに変更を加えることができる。図５（ｂ）  で■の部分が以下のような変更要求用のボタンでありかつ現在モードを着色によって示す。
【００２６】
ｌｏｏｋ：  視点入力モード／配置変更モード切り換え
このボタンをクリックにより点灯させると視点入力モードとなり、カーソルドラッグにより視点移動を入力できる。このボタンをクリックにより消灯すると配置変更モードとなり、オブジェクト上にカーソルを置きドラッグすることにより、オブジェクトの空間内配置を変更できる。
【００２７】
ｉｃｏｎ：  アイコン化
このボタンをクリックにより点灯させるとアイコン化モードとなり、オブジェクトをクリックするとアイコン化され所定のアイコン領域に移動する。
【００２８】
ｗｉｎｄｏｗ：  ウィンドウ化
このボタンをクリックにより点灯させるとウィンドウ化モードとなり、アイコン領域のアイコンをクリックすると元のウィンドウとなり元の配置場所に表示される。
【００２９】
ＨＭＤ：視線入力の有効／無効切り換え
このボタンをクリックにより点灯させると視線検出手段２２からの視線入力モードとなり、視線の移動に対応したカーソル移動ができる。この時、表示制御入力部２１のマウスはボタンのみ有効となり、カーソル移動は視線で行われる。
【００３０】
ＴＶｉｎＴＶ：  原画面挿入モード
このボタンをクリックにより点灯させると原画面挿入モードとなり、クリックされたオブジェクトに対応するもとの情報処理用表示装置１１画面が３次元ＣＧ像表示装置２３上の所定領域に合成表示される。
【００３１】
以上のステップＳ５０５の動作は仮想現実感生成装置２０内の仮想現実空間制御手段２、３次元ＣＧ像表示手段３、表示切り換え手段４の連動動作によって実現する。その詳細は図７によって後に詳細に説明する。
【００３２】
情報処理装置１０における情報処理アプリケーションソフトウェア１０１１は多くのウィンドウを使用するが、これらはアプリケーションがＯＳに依頼することで、その生成／消滅／更新がなされている。Ｗｉｎｄｏｗｓ９５  ではアプリケーションはマルチプロセス、マルチスレッド処理がなされる。アプリケーションはＣｒｅａｔｅＰｒｏｃｅｓｓ（）  によってプロセスをアクチベートすることをＯＳに依頼する。プロセスは複数のスレッドに分割され、その主スレッドがまず起動される。ＯＳはスレッド毎にスレッド情報、仮想入力キュー、ウィンドウを割り当てたＣＯＮＴＥＸＴ  構造体を生成する。そして、ＫＢマウス入力を現在のアクティブウィンドウ（アクティブスレッド）に伝えるためのスレッドＲＩＴ（Ｒａｗ  Ｉｎｐｕｔ  Ｔｈｒｅａｄ）を用いてウィンドウ制御を行う。
【００３３】
図６（ａ）  においてＯＳの動作とウィンドウオブジェクト生成手段１との関係を説明する。情報処理用キーボードマウス装置１２を用いてＫＢマウス入力を行うと、デバイスドライバはまず、ＲＩＴキューにその入力をわたし、Ｚオーダ（画面の深さ）、アクティブ状態、マウスキャプチャ状態、マウスカーソル形、マウスカーソルの表示／非表示などが判定される。ウィンドウオブジェクト生成手段１はこの時点ごとにハードイベントとして起動される。これはアクティブウィンドウに対してその都度文字入力やカーソル位置変化によってウィンドウの表示内容が変わっていることをウィンドウオブジェクト生成手段１に伝えるためである。
【００３４】
このようにしてウィンドウオブジェクト生成手段１のリフレッシュ部が起動され、図６（ｂ）  のごとく、フレームメモリ１０３  から当該アクティブウィンドウのビットマップイメージを、対応する３次元空間内ウィンドウオブジェクトに張り付けるテキスチャファイルＷ−ｍｉｄ−ｐｉｄ−ｗｉｄ．ｇｉｆ  にコピーする。そしてウィンドウオブジェクト生成手段１のウィンドウイベント送出部はテキスチャファイルのリフレッシュがあったことを仮想現実感生成装置２０に伝えるためにウィンドウイベントを発行し、当該ファイル名（ＵＲＬ）を仮想現実感生成装置２０に送出する。
【００３５】
ＫＢマウス入力の値によっては、ウィンドウの新たな生成、消滅、既存ウィンドウのサイズ変更、その他、ウィンドウの表示を変更する指示である場合がある。ＲＩＴではこれらを判断して、ウィンドウ更新が必要であった場合には、その更新指示をＳｅｎｄＭｅｓｓａｇｅ（）  によってウィンドウプロシジャーに伝える。ウィンドウオブジェクト生成手段１のウィンドウオブジェクト生成部はこのタイミングで起動され、この情報を用いて図６（ｃ）  の如く、対応する３次元空間内ウィンドウオブジェクトの生成または更新を行う。図４に生成された３次元空間内ウィンドウオブジェクトの記述例を示す。本記述はＶＲＭＬ  ２．０に従っているが、※の部分は本発明のために新たに拡張したフィールドおよびルート制御である。これらについては図９の３次元ＣＧ像表示手段の動作フローによって後に説明する。図４で◎印を付した部分が情報処理用表示装置１１画面との対応を伝える部分であって、以下に説明する。
【００３６】
◎１はＴｒａｎｓｆｏｒｍ  ノードのｔｒａｎｓｌａｔｉｏｎ  フィールドで、３次元空間内のこのオブジェクトの配置（平行移動量）を指定している。ｘｐ  ｙｐ  Ｚ  は元の画面のウィンドウ座標および深さをウィンドウ生成時の初期値として与えている。この値を非常に大きくするとウィンドウは視野からはずれ、消滅した効果を与える。
【００３７】
◎２はＩｍａｇｅＴｅｘｔｕｒｅノードのｕｒｌ  フィールドでテキスチャ画像の画像ファイル名Ｗ−ｍｉｄ−ｐｉｄ−ｗｉｄ．ｇｉｆ  を指定している。これは元の画面のウィンドウイメージに対応するもので、その内容は図６（ｂ）  で述べたように変更のある毎にリフレッシュされている。
【００３８】
◎３はＢｏｘ  ノードのｓｉｚｅフィールドでこの平板オブジェクトの幅、高さ、厚みをｗｗ＊ｅ  ｗｈ＊ｅ  ｅ  で指定している。これは元の画面のウィンドウサイズｗｗ×ｗｈに対応するものである。
【００３９】
また△で示したルート制御の部分は、ユーザによるオブジェクト配置変更を実現する部分で、該当ウィンドウオブジェクトがドラッグされた場合に３次元空間内での平行移動を生じさせている（図５ステップＳ５０５の（ａ）  の実現）。
【００４０】
次に図７によって仮想現実感生成装置２０の構成例を示す。仮想現実感生成装置２０は仮想現実空間制御手段２、３次元ＣＧ像表示手段３および表示切り換え手段４から構成されている。図５ステップＳ５０５の（ｂ）  から（ｆ）  は仮想現実空間制御手段２が図８の動作によって制御している。先に説明した図５（ｂ）  の対話画面がステップＳ８０１で表示される。同時に図５ステップＳ５０１の空間設定がなされている。図７に示す仮想現実空間制御手段２のモード設定部２０２  は表示制御入力部２１からのクリックイベント、ドラッグイベントを監視している。ステップＳ８０２ではｌｏｏｋボタン位置でのクリックイベントがあったかを検査し、あった場合（ステップＳ８０３）、モードを視点入力モードまたは配置変更モードに切り換え、対応する点灯／消灯をおこなう。
【００４１】
視点入力モードでは入力切り換え部２０３  は表示制御入力部２１のドラッグイベントを専ら視点移動量算出部２０４  に導き、視点パラメータＥ  が３次元ＣＧ像表示手段３に送られるモードとなる。一方、配置変更モードではモード設定部２０２  はドラッグイベントを専ら３次元ＣＧ像表示手段３のイベント管理部３０３  に導き、先に説明した図４△印のオブジェクト移動が実行される環境モードとする。
【００４２】
ステップＳ８０４ではｉｃｏｎボタン位置でのクリックイベントがあったかを検査し、あった場合（ステップＳ８０５）、オブジェクトに対するクリックの処理変更を行う。すなわち、アイコン化モードではモード設定部２０２  はオブジェクト上のクリックイベントを受けて、アイコン化処理部２０５  に指示Ｉ  を送りアイコン化処理部２０５  は当該３次元空間内ウィンドウオブジェクトをアイコン化する変更Ｉｘを３次元ＣＧ像表示手段３に送る。３次元空間内ウィンドウオブジェクトの場合、アイコン化は単にサイズ変更と位置変更であり、先に説明したｔｒａｎｓｌａｔｉｏｎ  フィールド、ｓｉｚｅフィールドの数値を変更するだけでよい。本実施例ではこれらの値はシステムで固定のものとする。
【００４３】
ステップＳ８０６ではｗｉｎｄｏｗボタン位置でのクリックイベントがあったかを検査し、あった場合（ステップＳ８０７）、アイコン領域クリックの処理変更を行う。すなわち、ウィンドウ化モードではモード設定部２０２  はアイコン領域のクリックイベントを受けて、ウィンドウ化処理部２０６  に指示Ｗ  を送りウィンドウ化処理部２０６  は当該アイコンを元の３次元空間内ウィンドウオブジェクトに戻す変更Ｗｘを３次元ＣＧ像表示手段３に送る。この処理も同様に単にサイズ変更と位置変更であり、先に説明したｔｒａｎｓｌａｔｉｏｎ  フィールド、ｓｉｚｅフィールドの数値を元に戻すだけである。
【００４４】
ステップＳ８０８ではＨＭＤボタン位置でのクリックイベントがあったかを検査し、あった場合（ステップＳ８０９）、モード設定部２０２  は入力切り換え部２０３  に切り換え指示を行う。すなわち、３次元空間の視点移動を表示制御入力部２１のドラッグイベントで行う通常モードか、視線検出手段２２からの視線情報Ｓ  で行う視線モードかの切り換えである。入力切り換え部２０３  は通常モード／視線モードの切り換えに応じて、これらの入力を選択し、先に述べた視点入力モードの場合のみ、視点移動量算出部２０４  にこの入力を伝える。視線検出手段２２の構成および動作は図１０により後に説明する。
【００４５】
最後にステップＳ８１０ではＴＶｉｎＴＶボタン位置でのクリックイベントがあったかを検査し、あった場合（ステップＳ８１１）、モード設定部２０２  は表示切り換え手段４に切り換え指示を行う。すなわち、原画面挿入モードではモード設定部２０２  は３次元空間内ウィンドウオブジェクト上のクリックから該当の情報処理装置１０を指定するマシンｉｄを得て、表示切り換え手段４に切り換え信号Ｘ  として伝える。この信号により表示切り換え手段４は当該の情報処理装置１０からのビデオディスプレイ  信号Ｖ２を得て、これを３次元ＣＧ像表示手段３からのビデオディスプレイ  信号Ｖ１の所定の一部に合成したビデオディスプレイ  信号Ｖ０を３次元ＣＧ像表示装置２３に出力する。この合成により３次元ＣＧ像表示装置２３内には情報処理用表示装置１１相当の画面が作られる。一方、通常モードに切り換えられた場合は表示切り換え手段４はビデオディスプレイ  信号Ｖ１をビデオディスプレイ  信号Ｖ０として３次元ＣＧ像表示装置２３に供給する。
【００４６】
次に３次元ＣＧ像表示手段３の動作を図９によって説明する。３次元ＣＧ像表示手段３の構成は図７に示す。３次元ＣＧ像表示手段３の描画部３０４  はＶＲＭＬブラウザの実行機能をもち、表示用メモリ２００  により供給される３次元空間内ウィンドウオブジェクトを視点パラメータＥ  で３次元空間内に表示するビデオディスプレイ  信号Ｖ１を生成する。
【００４７】
図９ステップＳ９０１では初期の３次元空間のみを描画する。先に述べた如く、情報処理装置１０が起動されると情報処理アプリケーションソフトウェア１０１１は種々のウィンドウを作るが、その都度ウィンドウオブジェクト生成手段１はこれに対応する３次元空間内ウィンドウオブジェクトを生成し、３次元ＣＧ像表示手段３に送出する。このとき、ＳｅｎｄＭｅｓｓａｇｅ（）  に同期するウィンドウイベントは３次元ＣＧ像表示手段３の表示用一時メモリ生成部３０１  に受け取られ、図９のステップＳ９０２またはステップＳ９０４で判定される。
【００４８】
ＶＲＭＬコードファイルを指定されたウィンドウイベントの場合（ステップＳ９０３）、表示用一時メモリ生成部３０１  は指定のファイルを読み、表示用メモリ２００  上にこの３次元空間内ウィンドウオブジェクトを生成する。既存コードの変更（ｔｒａｎｓｌａｔｉｏｎ，ｓｉｚｅフィールド値の変更）を指定したウィンドウイベントの場合（ステップＳ９０５）、表示用一時メモリ生成部３０１  は表示用メモリ２００  内の当該のフィールド値を変更する。描画部３０４  はこの変更を反映した描画を行うので、３次元ＣＧ像表示装置２３上には対応するウィンドウの生成、消滅、サイズ変更がなされる。
【００４９】
情報処理用キーボードマウス装置１２からの入力に対応するハードイベントは３次元ＣＧ像表示手段３のルート制御部３０２  を起動する（ステップＳ９０７）。ルート制御部３０２  は特にハードイベント専用に作成された高速ルーチンで、ウィンドウオブジェクト生成手段１の提供するイメージファイルを表示用メモリ２００  に転送する。図４の※１、２、３、はこのルート制御部３０２  を指定するルート制御コードであり、通常のＶＲＭＬ  ２．０ではインプリメントされていない。
【００５０】
※１はＩｍａｇｅＴｅｘｔｕｒｅノードにｒｅｆｒｅｓｈ  フィールドを付加し、このフィールド値がＴＲＵＥになる毎にルート制御部３０２  にｕｒｌ  フィールドで示すファイルを読み直すことを指示している。※２はウィンドウイベント、ハードイベントをオブジェクトに関連付けて受け取るセンサーノード  ＷｉｎＩＲＴＳｅｎｓｏｒ  を新設したもので、本ノードのイベントアウトとして、割り込み発生毎に値がＴＲＵＥとなるｓｅｎｓｅｄフィールドを定義する。※３はｓｅｎｓｅｄの値をｒｅｆｒｅｓｈ  にイベントインするルート制御で、ルート制御部３０２  はこの指定を受けて表示用メモリ２００  のテキスチャをリフレッシュする。
【００５１】
ステップＳ９０８は仮想現実感生成装置２０の内蔵タイマからのタイマイベントをセンスするもので、イベント管理部３０３  はタイマイベントによって、図４※１、４で指定されるリフレッシュ動作をして表示用メモリ２００  のテキスチャをリフレッシュする（ステップＳ９０９）。ステップＳ９１０は、先に図８ステップＳ８０３で述べた配置変更モードがＯＮの場合に、表示制御入力部２１のドラッグイベントがイベント管理部３０３  に割り込むことを検査する。この動作は図４△印で示す通常のＶＲＭＬルート制御機能によって実行される（ステップＳ９１１）。
【００５２】
最後に視線検出手段２２の構成および動作について図１０によって説明する。視線検出手段２２はユーザの頭部に装着され、頭部の向きを検出するためのヘッドトラッカー２２０１、および眼球の向きを検出するためのアイトラッカー２２０２を有している。ヘッドトラッカー２２０１は、直交する３軸についての回転の角速度を検出する３つの角速度センサーより成り、これらのセンサーの出力を積分して回転量を求め、頭部の向きを検出する。この出力はマウス出力のように相対移動量として（ｘｈ，ｙｈ，ｚｈ）というベクトル量で得られる。一方、アイトラッカー２２０２は、人の眼が感知し得ない波長の光を発する発光部とその受光部より成り、眼球によって反射された発光部からの光を受光部で受けて、その像に現れる瞳孔の位置から眼球の向きを検出する。この出力は頭部に固定した座標系上で相対移動量として（ｘｅ，ｙｅ  ）というベクトル量で得られる。従って、視線検出手段２２の出力はこれらを合成した（ｘｈ＋ｘｅ，ｙｈ＋ｙｅ，ｚｈ）として得られる。視線検出手段２２では視線情報Ｓ  として（ｘｈ＋ｘｅ，ｙｈ＋ｙｅ，ｚｈ）を出力する。これは表示制御入力部２１のマウスによる視点移動量の入力形式（例えば、横ドラッグ、縦ドラッグ、斜めドラッグ）を一動作で送出することになり、視点移動の操作性が格段と向上する。
【００５３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、関連する複数の情報処理用画面ウィンドウを一台のマルチウィンドウ画面表示装置に一覧表示させつつ、そのうちの任意のウィンドウでその固有の情報処理操作を行うことができる、という効果がある。すなわち、第一の解決法である仮想現実空間制御手段を用いる方法では、複数の３次元空間内ウィンドウオブジェクトとして一台の３次元ＣＧ像表示装置上で関連する複数の情報処理用画面ウィンドウを一覧表示させつつ、そのうちの任意のウィンドウでその固有の情報処理操作を行うことができる。また、第二の解決法として、表計算アプリケーションソフトウェアにシートウィンドウ生成手段を設けることにより、複数の表計算シートを重なり合わないウィンドウでマルチウィンドウ画面に一覧表示させつつ、そのうちの任意のウィンドウでその固有の情報処理操作を行うことができる。
【図面の簡単な説明】
【図１】仮想現実感マルチウィンドウシステムの実施例
【図２】本発明の表計算アプリケーションソフトウェア構成例
【図３】３次元空間内ウィンドウオブジェクトの構成要素
【図４】３次元空間内ウィンドウオブジェクトの記述例
【図５】仮想現実感マルチウィンドウシステムの全体動作
【図６】ウィンドウオブジェクト生成手段の構成例と動作例
【図７】仮想現実感生成装置の実施例
【図８】仮想現実空間制御手段の動作フロー
【図９】３次元ＣＧ像表示手段の動作フロー
【図１０】視線検出手段の構成例
【符号の説明】
１  ウィンドウオブジェクト生成手段
２  仮想現実空間制御手段
３  ３次元ＣＧ像表示手段
４  表示切り換え手段
６  表計算アプリケーションソフトウェア
２１    表示制御入力部
２２    視線検出手段
２３    ３次元ＣＧ像表示装置
６１    シートウィンドウ生成手段
２０１  対話画面表示部
２０２  モード設定部
２０３  入力切り換え部
２０４  視点移動量算出部
３０１  表示用一時メモリ生成部
３０２  ルート制御部
３０３  イベント管理部
３０４  描画部
６１１  シートウィンドウ
【図１】
0003603669.tif 000002
【図２】
0003603669.tif 000003
【図３】
0003603669.tif 000004
【図４】
0003603669.tif 000005
【図５】
0003603669.tif 000006
【図６】
0003603669.tif 000007
【図７】
0003603669.tif 000008
【図８】
0003603669.tif 000009
【図９】
0003603669.tif 000010
【図１０】
0003603669.tif 000011