(57)【特許請求の範囲】
【請求項１】
端末装置における操作結果を示す操作情報を定期的に送信する該端末装置が複数台接続されたネットワークに接続されている情報処理装置であって、
それぞれの端末装置から送信された操作情報を一定の期間毎に受け付ける受信手段と、
前記受信手段が同一期間内に受け付けた操作情報を反映させた表示情報を生成する生成手段と、
前記生成手段が生成した表示情報を、それぞれの端末装置に送信する手段と
を備え、
前記生成手段は、
前記受信手段が受信した操作情報を、メモリに登録する登録手段と、
前記受信手段が着目期間内で受信動作を開始するのに先立って、該着目期間内で前記受信手段が受信すべき操作情報の送信元を特定する処理を、前記着目期間よりも前の期間で前記受信手段が受信した操作情報を用いて行う特定手段と、
前記着目期間内で、前記特定手段が特定した全ての送信元から操作情報を前記受信手段が受信した場合、前記着目期間内で前記受信手段が受信した操作情報を反映させた表示情報の生成を開始する手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記特定手段は、
前記受信手段が着目期間内で受信動作を開始するのに先立って、該着目期間よりも前の期間で前記受信手段が受信した操作情報を参照し、前記着目期間において操作入力が行われている端末装置を予測することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記操作情報は、ユーザが手に把持する物体と、該物体で指し示す対象物との間の距離であることを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
端末装置における操作結果を示す操作情報を定期的に送信する該端末装置が複数台接続されたネットワークに接続されている情報処理装置が行う情報処理方法であって、
前記情報処理装置の受信手段が、それぞれの端末装置から送信された操作情報を一定の期間毎に受け付ける受信工程と、
前記情報処理装置の生成手段が、前記受信工程で同一期間内に受け付けた操作情報を反映させた表示情報を生成する生成工程と、
前記情報処理装置の送信手段が、前記生成工程で生成した表示情報を、それぞれの端末装置に送信する工程と
を備え、
前記生成工程は、
前記受信工程で受信した操作情報を、メモリに登録する登録工程と、
前記受信工程で着目期間内で受信動作を開始するのに先立って、該着目期間内で前記受信工程で受信すべき操作情報の送信元を特定する処理を、前記着目期間よりも前の期間で前記受信工程で受信した操作情報を用いて行う特定工程と、
前記着目期間内で、前記特定工程で特定した全ての送信元から操作情報を前記受信工程で受信した場合、前記着目期間内で前記受信工程で受信した操作情報を反映させた表示情報の生成を開始する工程と
を備えることを特徴とする情報処理方法。
【請求項５】
コンピュータに請求項１乃至３の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項６】
請求項５に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報の送受信技術に関するものである。
【背景技術】
【０００２】
近年、複数のディスプレイ端末や共用大型ディスプレイが有線および無線の通信ネットワークを介して接続されており、互いに離れている端末間で仮想空間を共有し、端末間で協調しながら操作するテレビ会議やネットワークゲームの形態が普及してきている。
【０００３】
このような協調作業装置においては、各端末に設けられているタッチペンやリモコン、タッチパネルなどを使用してユーザが入力する操作情報が、端末およびサーバなどに送信される。その後、係る操作情報を仮想空間に反映させる処理を経て、全ての端末およびサーバなどにも処理結果が送信される。ユーザはそれらの処理情報に基づいて、新たな操作を実施し、仮想空間上の協調作業を進めていく。
【０００４】
このとき、サーバは一定の処理時間間隔で各端末から受信した同一の操作時間における操作情報を受信し、同時に処理し、処理結果を各端末へ送信することによって、各端末間で同一の共同作業を同時に進行させるのが一般的である（特許文献１）。
【特許文献１】特開平１１−３４７２５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
互いに離れた端末をインターネットなどのネットワークを介して接続する場合、操作の集中によるネットワークの輻輳などで発生する通信の遅延が問題になる。
【０００６】
上述の通り、各端末におけるユーザの操作内容を示す操作情報はサーバに送信され、サーバはこれらの操作情報を反映させた結果を各端末に返信するので、サーバは、１つの操作情報だけではなく全ての操作情報を反映させた結果を生成しなければならない。
【０００７】
しかしネットワークの遅延が発生すると、ある端末の操作情報は瞬時にサーバに送信されるのであるが、ある端末からは一定時間を経た後に操作情報がサーバに送信される、といったケースも生じうる。前者の端末における操作内容はサーバによる処理結果に瞬時に反映させることができるのであるが、後者の端末における操作内容はサーバによる処理結果に瞬時には反映させることはできない。
【０００８】
このように、ネットワークに遅延が発生し、各端末間で操作情報の送信時間にばらつきが生じると、仮想空間での協調操作が同時に進行しない。従来では、予め各端末間の遅延時間を求め、最大となる遅延時間後にサーバが端末間の同期をとる、若しくは、全ての端末の操作情報を受信するかタイムアウトが発生するまで同期をとらずに待機する方法がとられていた。
【０００９】
しかし従来では、ネットワークに遅延が発生し、各端末における操作情報の送信時間にばらつきが生じると、最長の遅延時間が経過するまで待機する、または全ての端末からの操作情報を待つかタイムアウトになるまで待機するので、長い待機時間が生じていた。特に、最も遅延している端末からの操作がなかった場合やタイムアウトになるまで操作情報を受信できなかった場合には、それまでの待機時間が無駄に消費されていた。
【００１０】
本発明は以上の問題に鑑みて成されたものであり、サーバ装置がそれぞれの端末装置からの操作情報を受け付ける為に待機する時間をより縮小させるための技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。
【００１２】
即ち、端末装置における操作結果を示す操作情報を定期的に送信する該端末装置が複数台接続されたネットワークに接続されている情報処理装置であって、
それぞれの端末装置から送信された操作情報を一定の期間毎に受け付ける受信手段と、
前記受信手段が同一期間内に受け付けた操作情報を反映させた表示情報を生成する生成手段と、
前記生成手段が生成した表示情報を、それぞれの端末装置に送信する手段と
を備え、
前記生成手段は、
前記受信手段が受信した操作情報を、メモリに登録する登録手段と、
前記受信手段が着目期間内で受信動作を開始するのに先立って、該着目期間内で前記受信手段が受信すべき操作情報の送信元を特定する処理を、前記着目期間よりも前の期間で前記受信手段が受信した操作情報を用いて行う特定手段と、
前記着目期間内で、前記特定手段が特定した全ての送信元から操作情報を前記受信手段が受信した場合、前記着目期間内で前記受信手段が受信した操作情報を反映させた表示情報の生成を開始する手段と
を備えることを特徴とする。
【発明の効果】
【００１５】
本発明の構成により、サーバ装置がそれぞれの端末装置からの操作情報を受け付ける為に待機する時間をより縮小させることができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１７】
［第１の実施形態］
図１は、本実施形態に係るシステムの機能構成例を示すブロック図である。図１に示す如く、本実施形態に係るシステムは、端末装置１０１、１１３を含むｎ（ｎ≧２）台の端末装置と、１台の仮想空間操作制御サーバ装置１２１と、で構成されている。即ち、端末装置が複数台接続されたネットワークに仮想空間操作制御サーバ装置１２１（情報処理装置）が接続されている。
【００１８】
また、仮想空間操作制御サーバ装置１２１とそれぞれの端末装置とはＬＡＮやインターネット等のネットワークを介して接続されている。なお、係るネットワークは、有線、無線の何れであっても良い。また、図１では、全ての端末装置は図示していないが、端末装置１０１は１台目の端末装置であり、端末装置１１３はｎ台目の端末装置であるとする。即ち、図１では、２台目の端末装置から（ｎ−１）台目の端末装置までの図示を省略している。
【００１９】
仮想空間操作制御サーバ装置１２１は、それぞれの端末装置で共有される仮想空間を管理しており、係る仮想空間に対するそれぞれの端末装置からの操作情報を、一定期間毎に受け付けている。例えば、端末装置１０１において係る仮想空間に対して行った操作内容を示す操作情報は、仮想空間操作制御サーバ装置１２１に送信される。また、端末装置１１３において係る仮想空間に対して行った操作内容を示す操作情報も、仮想空間操作制御サーバ装置１２１に送信される。
【００２０】
仮想空間操作制御サーバ装置１２１は、同一期間内に受け付けた操作情報を、仮想空間に対して同時刻に行われた操作内容であると判断し、同一期間内に受け付けた操作情報を現在の仮想空間に反映させることで、仮想空間を更新する。そして、仮想空間操作制御サーバ装置１２１は、更新後の仮想空間の表示情報を生成し、生成した表示情報を、それぞれの端末装置に対して送信する。
【００２１】
それぞれの端末装置は、仮想空間操作制御サーバ装置１２１から送信された表示情報を表示することで、自身が行った操作、他人が行った操作が反映された仮想空間の状態を確認することができる。これにより、それぞれの端末装置同士で、共有の仮想空間に対する協調作業を進めることができる。
【００２２】
以下に、端末装置、仮想空間操作制御サーバ装置１２１のそれぞれについてより詳細に説明する。
【００２３】
先ず、端末装置について説明する。以下では、端末装置として、図１に示した端末装置１０１を例にとり説明するが、同様の説明は、他の端末装置（例えば端末装置１１３）についても同様に適用することができる。
【００２４】
端末装置１０１は、操作入力部１０２、操作情報送信部１０３、表示情報受信部１０４、表示部１０５、により構成されている。上述のように、端末装置１１３についての説明は、端末装置１０１についての説明と同様である。従って、端末装置１１３を構成する操作入力部１１４、操作情報送信部１１５、表示情報受信部１１６、表示部１１７についての説明はそれぞれ、操作入力部１０２、操作情報送信部１０３、表示情報受信部１０４、表示部１０５についての説明と同様である。
【００２５】
図５は、端末装置１０１が行う処理のフローチャートである。
【００２６】
先ず、ステップＳ５０１では、操作入力部１０２は、ユーザによる操作に応じて、仮想空間操作情報と、入力状態情報とを取得する。
【００２７】
図２は、操作入力部１０２の機能構成例を示すブロック図である。図２に示す如く、操作入力部１０２は、操作指示部２０１と操作受付部２０２とで構成されている。
【００２８】
操作指示部２０１は、ユーザが手で把持して操作する物体である。係る物体としては、例えば、タッチペンやマウスなどが挙げられる。
【００２９】
操作受付部２０２は、例えば操作指示部２０１がタッチペンである場合には、タッチペンで指示する対象のパネル（対象物）である。本実施形態では、操作指示部２０１がタッチペンである場合について説明するので、本実施形態では、操作受付部２０２は、タッチペンで指示する対象としてのパネルである。また、操作受付部２０２は、タッチペンとパネルとの間の距離を計測する為の構成を有し、計測した距離を示す情報を入力状態情報１０７として操作情報送信部１０３に送出する。タッチペンと操作受付部２０２との間の距離を計測するための構成については様々なものが考えられ、特に限定するものではない。また、操作受付部２０２は、例えばタッチペンに備わっているボタンがクリックされたなどの操作内容を示す情報を、仮想空間操作情報１０６として操作情報送信部１０３に送出する。なお、操作受付部２０２は、一定時間ユーザによる操作実行が無かった場合はそのことを明示する目的で、「操作入力無し」を示す情報を仮想空間操作情報１０６として操作情報送信部１０３に送出する。
【００３０】
即ち、操作入力部１０２は常に、仮想空間操作情報１０６と、入力状態情報１０７とを生成（取得）し、操作情報送信部１０３に対して送出している。
【００３１】
次に、ステップＳ５０２では、操作情報送信部１０３は、操作入力部１０２から送出された仮想空間操作情報１０６、入力状態情報１０７を受け、これらを仮想空間操作制御サーバ装置１２１に対して送信する。
【００３２】
なお、入力状態情報１０７としてはこれ以外にも考えられ、例えば、リモコンとユーザの手との間の距離や接触具合であったり、ＧＵＩ上のマウスポインタとスイッチとの間の距離などが考えられる。もちろん、仮想空間操作情報についても同様で、様々な情報が考えられる。
【００３３】
図４（ａ）は、端末装置１０１から定期的に送信される入力状態情報１０７を時系列に並べたグラフの一例である。図４（ｂ）は、端末装置１１３から定期的に送信される入力状態情報１１９を時系列に並べたグラフの一例である。何れのグラフも、縦軸は入力状態情報１０７（１１９）が示す距離を示し、横軸は入力状態情報１０７（１１９）を仮想空間操作制御サーバ装置１２１が受けた時刻（同期時刻）を示している。
【００３４】
例えば、ユーザがタッチペンを手に把持し、パネル上に文字を書く操作を行う場合、文字入力中はタッチペンとパネルとが接触状態にあるので、時刻７０ミリ秒で示されているように、入力状態情報１０７が示す距離は０ミリメートルとなる。逆に、文字入力中で無い場合は、時刻１０ミリ秒で示されているように、入力状態情報１０７が示す距離は０ミリメートルよりも大きな値となる。
【００３５】
このように、入力状態情報１０７が示す距離を参照することで、現在端末装置１０１側では操作入力中であるのか否かを知ることができる。
【００３６】
ステップＳ５０３では、仮想空間操作制御サーバ装置１２１から表示情報が送信されるまで、待機処理を行う。待機処理でどのような処理を行うのかについては特に限定するものではない。
【００３７】
次に、表示情報受信部１０４は、仮想空間操作制御サーバ装置１２１から送信された表示情報を受信した場合には処理をステップＳ５０４を介してステップＳ５０５に進め、受信した表示情報に基づいた表示を表示部１０５に行わせる。一方、表示情報受信部１０４は、仮想空間操作制御サーバ装置１２１から送信された表示情報を未だ受信していない場合には、処理をステップＳ５０３に戻す。
【００３８】
次に、本処理を終了するための条件が満たされたり、本処理を終了させるための指示が操作入力部１０２によって入力される等、何らかの終了条件が満たされた場合には、ステップＳ５０６を介して本処理を終了する。一方、終了条件が満たされていない場合には、ステップＳ５０６を介してステップＳ５０１に処理を戻し、以降の処理を繰り返す。
【００３９】
以上説明した処理を、各端末装置が行うことで、各端末装置からは、入力状態情報、仮想空間操作情報が、定期的に仮想空間操作制御サーバ装置１２１に対して送信されることになる。
【００４０】
次に、仮想空間操作制御サーバ装置１２１について説明する。図１に示す如く、仮想空間操作制御サーバ装置１２１は、操作情報受信部１０９、入力状態情報ＤＢ（データベース）１１０、操作実施予測部１１１、仮想空間演算送信部１１２、により構成されている。
【００４１】
図６は、仮想空間操作制御サーバ装置１２１が行う処理のフローチャートである。上述の通り、仮想空間操作制御サーバ装置１２１は、一定期間毎に各端末装置からの送信情報を受け付け、同一期間内で受け付けた送信情報に基づいて表示情報を生成する。図６に示したフローチャートは、期間毎に仮想空間操作制御サーバ装置１２１が行う処理動作を示したものである。以下の説明では、現在の期間（着目期間）内における仮想空間操作制御サーバ装置１２１の動作について説明する。
【００４２】
図３は、入力状態情報ＤＢ１１０が記憶保持する情報の構成例を示す図である。
【００４３】
図３に示す如く、入力状態情報ＤＢ１１０には、各端末装置（図３では端末０〜端末ｎ）から受信した入力状態情報が、受信時刻（同期時刻）と共に登録されている。
【００４４】
ここで上述の通り、仮想空間操作制御サーバ装置１２１は、同一期間内に受け付けた情報を、仮想空間に対して同時刻に行われた操作内容であると判断する。従って、例えば、最初の期間内に各端末装置から受け付けた入力状態情報を、１０ミリ秒における入力状態情報として、入力状態情報ＤＢ１１０に登録する。そして次の期間内に各端末装置から受け付けた入力状態情報を、２０ミリ秒における入力状態情報として、入力状態情報ＤＢ１１０に登録する。このようにして、各期間毎に各端末装置から入力状態情報を受け付け、入力状態情報ＤＢ１１０に登録する。
【００４５】
ステップＳ６０１では、操作実施予測部１１１は、着目期間内における受信動作に先立って、着目期間よりも前の期間で仮想空間操作制御サーバ装置１２１が各端末装置から受け付けた入力状態情報を、入力状態情報ＤＢ１１０から読み出す。
【００４６】
次に、ステップＳ６０２では、操作実施予測部１１１は、読み出したそれぞれの端末装置の入力状態情報に基づいて、着目期間において、少なくとも入力状態情報を受け付けるべき端末装置（送信元）を特定する処理を行う。
【００４７】
ここで、ステップＳ６０２において操作実施予測部１１１が行う処理についてより詳細に説明する。
【００４８】
操作実施予測部１１１は、端末装置１０１が、着目期間において少なくとも入力状態情報を受け付けるべき端末装置であるのかを判断するためには、着目期間よりも１つ前の期間において端末装置１０１から受信した入力状態情報が示す距離を参照する。そして、係る距離が規定の閾値以下、即ち、タッチペンとパネルとの間の距離が閾値以下であれば、少なくとも着目期間よりも１つ前の期間では端末装置１０１側では操作入力中であろうと判断する。本実施形態ではこの場合、着目期間でも端末装置１０１側では操作入力中であろうと推定する。
【００４９】
もちろん、着目期間中に端末装置１０１側では操作入力中であるか否かを推定するための処理については係る処理に限定するものではない。例えば、着目期間よりも１つ前の期間、２つ前の期間、３つ前の期間、のそれぞれの期間において端末装置１０１から受信した入力状態情報が示す距離を用いて、着目期間における距離を推定する。過去の複数の距離を用いて現在の距離を推定する方法については、データ予測処理など、様々なものがある。そして、推定した距離が閾値以下であるか否かを判断する。そして、閾値以下であれば、着目期間では端末装置１０１側では操作入力中であろうと判断する。
【００５０】
このように、着目期間よりも前の期間の入力状態情報を用いて、端末装置側で操作入力中であるのか否かを判断するための処理については、様々なものが考え得る。
【００５１】
そして、着目期間において操作入力中であろうと推定した端末装置を、着目期間において、少なくとも入力状態情報を受け付けるべき端末装置として特定する。
【００５２】
次に、ステップＳ６０３では、操作情報受信部１０９は、着目期間内における受信動作を開始する。即ち、操作情報受信部１０９は、各端末装置から送信された仮想空間操作情報、入力状態情報を受信する。
【００５３】
次に、ステップＳ６０４では、操作情報受信部１０９は、ステップＳ６０３において受信した入力状態情報を入力状態情報ＤＢ１１０に登録する。
【００５４】
例えば、端末装置１０１の操作情報送信部１０３によって送信された仮想空間操作情報１０６、入力状態情報１０７を受信すると、受信した入力状態情報１０７を入力状態情報ＤＢ１１０に登録する。また、端末装置１１３の操作情報送信部１１５によって送信された仮想空間操作情報１１８、入力状態情報１１９を受信すると、受信した入力状態情報１１９を入力状態情報ＤＢ１１０に登録する。
【００５５】
次に、ステップＳ６０５では、操作実施予測部１１１は、少なくとも、ステップＳ６０２で特定した全ての端末装置から入力状態情報、仮想空間操作情報を受信したか否かを判断する。係る判断の結果、ステップＳ６０２で特定した端末装置のうち、入力状態情報、仮想空間操作情報を受信していない端末装置が未だある場合には、処理をステップＳ６０６に進める。一方、少なくとも、ステップＳ６０２で特定した全ての端末装置から入力状態情報、仮想空間操作情報を受信した場合には、処理をステップＳ６０７に進める。
【００５６】
ステップＳ６０６では、仮想空間演算送信部１１２は、操作情報受信部１０９による受信動作が、予め設定されたタイムアウト時間だけ成されたか否かを判断する。係るタイムアウト時間は、例えば、着目期間の長さを示す。そして、操作情報受信部１０９による受信動作が、予め設定されたタイムアウト時間だけ成された場合には、処理をステップＳ６０７に進める。一方、操作情報受信部１０９による受信動作が、予め設定されたタイムアウト時間だけ成されていない場合には、処理をステップＳ６０３に戻し、操作情報受信部１０９は受信動作を継続する。
【００５７】
ステップＳ６０７では、仮想空間演算送信部１１２は、着目期間内で受信した入力状態情報、仮想空間操作情報、を反映させた仮想空間の様子を示す表示情報１０８を生成する。それぞれの端末装置間で共有されている仮想空間に対してそれぞれの端末装置から成された操作内容が反映された仮想空間の様子を示す表示情報を生成するための技術については周知であるので、これについての説明は省略する。
【００５８】
なお、ステップＳ６０７で生成する表示情報１０８については、仮想空間の様子を示すものに限定するものではなく、それぞれの端末間で共有される対象を示すものであれば、その他のものを指し示す表示情報をステップＳ６０７で生成するようにしても良い。
【００５９】
そしてステップＳ６０８では、仮想空間演算送信部１１２は、ステップＳ６０７において生成した表示情報１０８を、それぞれの端末装置に送信する。
【００６０】
そして、本処理を終了させるための条件が満たされた場合、例えば、本処理の終了指示が入力された場合には、ステップＳ６０９を介して本処理を終了する。一方、本処理を終了させるための条件は満たされていない場合には、ステップＳ６０９を介してステップＳ６０１に処理を戻し、着目期間の次の期間について以降の処理を行う。
【００６１】
以上の説明により、本実施形態によれば、サーバ装置がそれぞれの端末装置からの操作情報を受け付ける為には、全ての端末装置からの送信を待機する必要はなく、操作入力が成されているであろう端末装置からの送信についてのみ待機する。これにより、従来よりも受信を待機する時間をより縮小させることができる。
【００６２】
なお、本実施形態では、着目期間において操作入力が成されているであろう端末装置を特定するために、それぞれの端末装置から過去に送信された入力状態情報のみを用いていたが、入力状態情報以外を用いても当然良い。例えば、着目期間よりも前に端末装置１０１から送信された入力状態情報が示す距離は閾値以上であるものの、係る入力状態情報と共に送信された仮想空間操作情報が、何らかの操作内容を示すのであれば、端末装置１０１については、送信情報の受信を待機する。
【００６３】
［第２の実施形態］
端末装置１０１、１１３や仮想空間操作制御サーバ装置１２１には、一般のＰＣ（パーソナルコンピュータ）を適用させても良い。
【００６４】
図７は、端末装置１０１、１１３や仮想空間操作制御サーバ装置１２１に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
【００６５】
ＣＰＵ７０１は、ＲＡＭ７０２やＲＯＭ７０３に格納されているプログラムやデータを用いてコンピュータ全体の制御を行う。更に、ＣＰＵ７０１は、ＲＡＭ７０２やＲＯＭ７０３に格納されているプログラムやデータを用いて、コンピュータを適用する装置（端末装置１０１，１１３や仮想空間操作制御サーバ装置１２１）が行うものとして上述した各処理を実行する。
【００６６】
ＲＡＭ７０２は、外部記憶装置７０６からロードされたプログラムやデータ、Ｉ／Ｆ（インターフェース）７０７を介して外部から受信したデータ等を一時的に記憶するためのエリアを有する。更に、ＲＡＭ７０２は、ＣＰＵ７０１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ７０２は、各種のエリアを適宜提供することができる。
【００６７】
ＲＯＭ７０３には、コンピュータの設定データや、ブートプログラムなどが格納されている。
【００６８】
操作部７０４は、キーボードやマウスなどのデバイスであって、コンピュータの操作者が操作することで、ＣＰＵ７０１に対して各種の指示を入力することができる。なお、本コンピュータを端末装置１０１（１１３）に適用した場合には、操作部７０４は、操作入力部１０２（１１４）を含むものとなる。
【００６９】
表示部７０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ７０１による処理結果を画像や文字などでもって表示することができる。なお、本コンピュータを端末装置１０１（１１３）に適用した場合には、表示部７０５は、表示部１０５（１１７）に相当する。
【００７０】
外部記憶装置７０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置７０６には、ＯＳ（オペレーティングデバイス）や、本コンピュータを適用した装置が行うものとして説明した上述の各処理をＣＰＵ７０１に実行させるためのプログラムやデータなどが格納されている。本コンピュータを端末装置１０１（１１３）に適用した場合、係るプログラムには、操作情報送信部１０３（１１５）、表示情報受信部１０４（１１６）の機能をＣＰＵ７０１に実行させるためのプログラムが含まれていることになる。また、本コンピュータを仮想空間操作制御サーバ装置１２１に適用した場合、係るプログラムには、操作情報受信部１０９、操作実施予測部１１１、仮想空間演算送信部１１２、の機能をＣＰＵ７０１に実行させるためのプログラムが含まれていることになる。また、本コンピュータを仮想空間操作制御サーバ装置１２１に適用した場合、外部記憶装置７０６は、入力状態情報ＤＢ１１０としても機能する。
【００７１】
外部記憶装置７０６に格納されているプログラムやデータは、ＣＰＵ７０１による制御に従って適宜ＲＡＭ７０２にロードされ、ＣＰＵ７０１による処理対象となる。
【００７２】
Ｉ／Ｆ７０７は、外部とのデータの送受信を行うためのものであり、本コンピュータを端末装置１０１（１１３）に適用した場合、操作情報送信部１０３（１１５）、表示情報受信部１０４（１１６）における実際の送受信に使用される。また、本コンピュータを仮想空間操作制御サーバ装置１２１に適用した場合、操作情報受信部１０９、仮想空間演算送信部１１２における実際の送受信に使用される。
【００７３】
７０８は上述の各部を繋ぐバスである。
【００７４】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００７５】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７６】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７７】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施形態に係るシステムの機能構成例を示すブロック図である。
【図２】操作入力部１０２の機能構成例を示すブロック図である。
【図３】入力状態情報ＤＢ１１０が記憶保持する情報の構成例を示す図である。
【図４】（ａ）は、端末装置１０１から定期的に送信される入力状態情報１０７を時系列に並べたグラフの一例、（ｂ）は、端末装置１１３から定期的に送信される入力状態情報１１９を時系列に並べたグラフの一例である。
【図５】端末装置１０１が行う処理のフローチャートである。
【図６】仮想空間操作制御サーバ装置１２１が行う処理のフローチャートである。
【図７】端末装置１０１、１１３や仮想空間操作制御サーバ装置１２１に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
【図１】
0005049856.tif 000002
【図２】
0005049856.tif 000003
【図３】
0005049856.tif 000004
【図４】
0005049856.tif 000005
【図５】
0005049856.tif 000006
【図６】
0005049856.tif 000007
【図７】
0005049856.tif 000008