(57)【要約】【課題】クライアント装置における操作に対するサーバ装置からのレスポンス遅延がどの程度発生しているかを示す情報を画面表示することを可能とする。【解決手段】クライアント装置１がマウス操作情報をサーバ装置３に送信すると，サーバ装置３は，クライアント装置１から受信したマウス操作情報に基づいて画像処理を行い，マウスポインタを含む画像データを作成し，その画像データをクライアント装置１に送信する。クライアント装置１は，サーバ装置３から送信されたマウスポインタを含む画像データに，さらに現時点における最新位置のマウスポインタを付け加え，サーバ装置３が作成したマウスポインタとクライアント装置１が作成したマウスポインタとを一緒に画面出力する。【選択図】図１
2006236046.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介してサーバ装置と接続されたクライアント装置であって，
ユーザによる入力装置の操作情報を入力する操作情報入力手段と，
前記入力された入力装置の操作情報を前記サーバ装置に対して送信する操作情報送信手段と，
前記サーバ装置から前記サーバ装置において前記入力装置の操作情報に基づいて作成されたカーソルの画像情報を受信する画像情報受信手段と，
前記操作情報入力手段によって入力された入力装置の操作情報に基づいてカーソルの画像情報を作成するカーソル作成手段と，
前記サーバ装置において作成されたカーソルの画像情報と前記カーソル作成手段によって作成された現時点におけるカーソルの画像情報とを一緒に画面出力する画面出力手段とを備える
ことを特徴とするクライアント装置。
【請求項２】
請求項１に記載のクライアント装置において，
前記サーバ装置からのレスポンスの遅延時間を検出する遅延時間検出手段を備え，
前記画面出力手段は，前記遅延時間検出手段によって検出されたレスポンスの遅延時間が予め決められた閾値を越える場合に，前記サーバ装置において作成されたカーソルの画像情報と前記カーソル作成手段によって作成された現時点におけるカーソルの画像情報とを一緒に画面出力する
ことを特徴とするクライアント装置。
【請求項３】
ネットワークを介してサーバ装置と接続されたクライアント装置であって，
キーボードの入力情報を入力するキーボード入力手段と，
前記入力されたキーボードの入力情報を前記サーバ装置に対して送信するキーボード入力情報送信手段と，
前記サーバ装置から前記サーバ装置において作成された，前記キーボードの入力情報に対する処理結果を示す画像情報を受信する画像情報受信手段と，
前記キーボード入力手段によって入力されたキーボードの入力情報に基づいて文字画像を作成する文字画像作成手段と，
前記サーバ装置において作成された画像情報と前記文字画像作成手段によって作成された現時点における文字画像とを一緒に画面出力する画面出力手段とを備える
ことを特徴とするクライアント装置。
【請求項４】
ネットワークを介してクライアント装置と接続されたサーバ装置であって，
前記クライアント装置において入力されたユーザによる入力装置の操作情報を前記クライアント装置から受信し，受信した前記入力装置の操作情報中から，前記クライアント装置において前記サーバ装置から前記クライアント装置へのレスポンスの遅延時間を検出するための番号である遅延確認番号を抽出する操作情報受信手段と，
前記クライアント装置から受信した入力装置の操作情報に基づいて，前記サーバ装置におけるカーソルの画像情報を含む画像情報であって，前記クライアント装置において前記クライアント装置が作成したカーソルの画像情報と一緒に画面表示させるための画像情報を作成する画像情報作成手段と，
前記クライアント装置に対して前記画像情報作成手段によって作成された画像情報を送信する画像情報送信手段とを備え，
前記画像情報作成手段は，作成する前記画像情報中に，前記操作情報受信手段によって抽出された遅延確認番号を格納する
ことを特徴とするサーバ装置。
【請求項５】
クライアント装置と，前記クライアント装置とネットワークを介して接続されたサーバ装置とから構成されるシステムにおける画面表示方法であって，
前記クライアント装置が，ユーザによる入力装置の操作情報を入力するステップと，
前記クライアント装置が，前記入力された入力装置の操作情報を前記サーバ装置に対して送信するステップと，
前記サーバ装置が，前記クライアント装置から入力装置の操作情報を受信するステップと，
前記サーバ装置が，前記クライアント装置から受信した入力装置の操作情報に基づいて，前記サーバ装置におけるカーソルの画像情報を作成するステップと，
前記サーバ装置が，前記サーバ装置におけるカーソルの画像情報を前記クライアント装置に対して送信するステップと，
前記クライアント装置が，前記サーバ装置によって作成されたカーソルの画像情報を前記サーバ装置から受信するステップと，
前記クライアント装置が，前記入力された入力装置の操作情報に基づいて現時点におけるカーソルの画像情報を作成するステップと，
前記クライアント装置が，前記サーバ装置によって作成されたカーソルの画像情報と前記クライアント装置によって作成された現時点におけるカーソルの画像情報とを一緒に画面出力するステップとを有する
ことを特徴とする画面表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画面表示技術に関し，特に，クライアント装置の処理状態を示す情報とサーバ装置の処理状態を示す情報とを一緒に画面表示することを可能とするクライアント装置，サーバ装置および画面表示方法に関する。
【背景技術】
【０００２】
ネットワークが発達するにつれ，ユーザが利用するクライアント装置は，最低限の機能のみを備え，処理の大半をサーバ装置で行なうことがより多くなると考えられる。
【０００３】
クライアント装置がネットワークを通じて操作情報をサーバ装置に送信して，サーバ装置から送信された処理画像を画面出力するシステムは，従来から存在する。このようなシステムにおいては，ネットワーク上で遅延が発生すると，クライアント装置では画面出力のレスポンスが悪化することになる。また，サーバ装置において，ＣＰＵパワーの不足が発生した場合にも，クライアント装置における画面出力のレスポンスが低下する。
【０００４】
例えば，以下に説明するような，マウス操作に対する画面出力レスポンスの悪化やキーボード入力に対する画面出力レスポンスの悪化が生じ，クライアント装置のユーザは，不快に感じることとなる。
【０００５】
（マウス操作に対する画面出力レスポンスの悪化）
クライアント装置におけるマウス操作に対する画面出力レスポンスが悪化すると，例えば，パソコンの処理が重くなった場合と同様に，マウスポインタ（カーソル）が固まったり，動きが飛び飛びになったりし，ユーザがマウスを操作してもマウスポインタが操作通りに動かなくなったり，マウスポインタがどこに行ったか分からなくなったりする。
【０００６】
（キーボード入力に対する画面出力レスポンスの悪化）
クライアント装置におけるキーボード入力に対する画面出力レスポンスが悪化すると，例えば，性能の低いＣＰＵやメモリ資源の少ないパソコンで重たい辞書ソフトを利用した場合と同様に，キーボード入力した文字がなかなか表示されないという状況が生じる。
【０００７】
上述した従来のクライアント装置と同様の機能を持つ仕組みとして，例えばWindows （登録商標）terminalサーバ，Metaflame （登録商標），Xwindows，Live Help （登録商標）などの仕組みが挙げられる。これらの仕組みでは，例えば，クライアント装置において，サーバ装置で作成された画像とクライアント装置における処理状態を示すマウスポインタとを一緒に画面表示する。
【０００８】
従来技術における画面表示の一例を図１７を用いて説明する。クライアント装置がマウスのクリック操作情報をサーバ装置に送信すると，サーバ装置は，例えば図１７（Ａ）に示すような画像を作成し，クライアント装置に送信する。
【０００９】
クライアント装置では，図１７（Ｂ）に示すように，サーバ装置から送信された画像をウィンドウ表示するとともに，クライアント装置が作成したマウスポインタ２００を一緒に画面表示する。なお，図１７（Ｂ）に示す点線は，マウス操作に伴うマウスポインタ２００の移動経路を示している。図１７に示す従来技術の例では，サーバ装置は，マウスポインタを作成しない。
【００１０】
また，例えば，Live Help では，クライアント装置において，サーバ装置で作成された画像が表示されたウィンドウ内にマウスポインタ２００を移動させると，図１８に示すように，マウスポインタ２００の形が十字形に変わるといった特徴がある。
【００１１】
なお，画面をいくつかの入力エリアに分け，各入力エリア毎にホスト計算機への報告方式（ローカルエコー／ホストエコー／セミローカルエコー）を設定可能とする技術が，下記の特許文献１に記載されている。しかし，特許文献１に記載された技術は，クライアント装置における処理状態を示す情報とサーバ装置における処理状態を示す情報とを一緒に画面表示することはしていない。
【特許文献１】特開平５−５３７０４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
従来技術では，サーバ装置の処理遅延やネットワークの遅延などにより処理応答時間が通常よりも長くなっても，クライアント装置のユーザは，どこに問題があってレスポンスが遅延しているのかがわからなかった。即ち，ユーザの入力内容自体に問題があったのか，クライアント装置もしくはサーバ装置もしくはネットワークに問題があるのかがわからなかった。
【００１３】
従来技術の問題点の具体例として，以下に示すような，マウス操作に対するレスポンス問題，キーボード入力に対するレスポンス問題，レスポンス遅延の発生を検知できない問題が挙げられる。
【００１４】
（マウス操作に対するレスポンス問題）
従来の技術では，クライアント装置におけるマウスの操作情報が，どれくらいのレスポンスでサーバ装置に対して伝わっているのか不明確である。そして，マウス操作に対するレスポンスに遅延があった場合に，クライアント装置のユーザに対して，マウスの操作情報の入力に失敗したのか，クライアント装置自身に問題が発生しているのか，もしくはサーバ装置またはネットワークの状態によりレスポンスが遅れているだけなのか分からないという不安感を与えていた。
【００１５】
（キーボード入力に対するレスポンス問題）
従来の技術では，キーボードを用いたテキスト入力に対するレスポンスが遅い場合，上記マウス操作に対する問題と同様に，クライアント装置のユーザに対して，テキスト入力を間違ったのか，クライアント装置自身に問題が発生しているのか，もしくはサーバ装置またはネットワークの状態により単にレスポンスが遅いだけなのか分からないという不安感を与えていた。
【００１６】
（レスポンス遅延の発生を検知できない問題）
従来のシステムでは，どの程度のレスポンス遅延が発生しているかを検知する方式が存在しない。そのため，レスポンス遅延をシステムとして検知できない。従って，従来技術では，レスポンス遅延が発生した場合に，適切な対処をすることができない。
【００１７】
本発明は，上記従来技術の問題点を解決し，クライアント装置における操作に対するサーバ装置からのレスポンス遅延がどの程度発生しているかを示す情報を画面表示することを可能とするクライアント装置，サーバ装置および画面表示方法の提供を目的とする。
【課題を解決するための手段】
【００１８】
上記課題を解決するため，本発明は，クライアント装置が，例えばマウスの操作情報やキーボードの入力情報などユーザによる入力装置の操作情報をネットワークを通じてサーバ装置に送信する。サーバ装置は，クライアント装置から操作情報を受信して，画像作成処理を行う。
【００１９】
サーバ装置は，サーバ装置の処理状態を示す情報（例えば，マウスポインタやキーボード入力に対する処理結果）を含む画像データを作成し，クライアント装置に対して送信する。
【００２０】
クライアント装置は，クライアント装置の処理状態を示す情報（例えば，マウスポインタやキーボードの入力情報）を，サーバ装置から受信した画像データと一緒に画面表示する。
【００２１】
その結果，クライアント装置においては，例えば，クライアント装置の処理状態を示すマウスポインタと，サーバ装置の処理状態を示すマウスポインタとが一緒に画面表示される。
【００２２】
また，クライアント装置においては，例えば，クライアント装置が入力したキーボード入力情報と，キーボード入力に対するサーバ装置における処理結果とが一緒に画面表示される。
【００２３】
上記のように，本発明は，クライアント装置の処理状態を示す情報とサーバ装置の処理状態を示す情報とを一緒に画面表示する。従って，本発明によれば，サーバ装置またはネットワークに問題があるのか，クライアント装置のユーザの操作自体に問題があるのかを容易に判断することができる。
【００２４】
また，本発明は，クライアント装置において，クライアント装置からサーバ装置に送信した操作情報に対するレスポンスの遅延を検知し，レスポンス遅延の程度が所定の閾値を越える場合に，クライアント装置の処理状態を示す情報とサーバ装置の処理状態を示す情報とを一緒に画面表示する。
【００２５】
本発明によれば，レスポンス遅延がある程度大きくなった時点で，レスポンス遅延がどの程度かを示す情報を画面表示することができる。
【００２６】
すなわち，本発明は，ネットワークを介してサーバ装置と接続されたクライアント装置であって，ユーザによる入力装置の操作情報を入力する操作情報入力手段と，前記入力された入力装置の操作情報を前記サーバ装置に対して送信する操作情報送信手段と，前記サーバ装置から前記サーバ装置において前記入力装置の操作情報に基づいて作成されたカーソルの画像情報を受信する画像情報受信手段と，前記操作情報入力手段によって入力された入力装置の操作情報に基づいてカーソルの画像情報を作成するカーソル作成手段と，前記サーバ装置において作成されたカーソルの画像情報と前記カーソル作成手段によって作成された現時点におけるカーソルの画像情報とを一緒に画面出力する画面出力手段とを備えることを特徴とするクライアント装置である。
【００２７】
また，本発明は，前記のクライアント装置において，前記サーバ装置からのレスポンスの遅延時間を検出する遅延時間検出手段を備え，前記画面出力手段は，前記遅延時間検出手段によって検出されたレスポンスの遅延時間が予め決められた閾値を越える場合に，前記サーバ装置において作成されたカーソルの画像情報と前記カーソル作成手段によって作成された現時点におけるカーソルの画像情報とを一緒に画面出力することを特徴とするクライアント装置である。
【００２８】
また，本発明は，ネットワークを介してサーバ装置と接続されたクライアント装置であって，キーボードの入力情報を入力するキーボード入力手段と，前記入力されたキーボードの入力情報を前記サーバ装置に対して送信するキーボード入力情報送信手段と，前記サーバ装置から前記サーバ装置において作成された，前記キーボードの入力情報に対する処理結果を示す画像情報を受信する画像情報受信手段と，前記キーボード入力手段によって入力されたキーボードの入力情報に基づいて文字画像を作成する文字画像作成手段と，前記サーバ装置において作成された画像情報と前記文字画像作成手段によって作成された現時点における文字画像とを一緒に画面出力する画面出力手段とを備えることを特徴とするクライアント装置である。
【００２９】
また，本発明は，ネットワークを介してクライアント装置と接続されたサーバ装置であって，前記クライアント装置において入力されたユーザによる入力装置の操作情報を前記クライアント装置から受信し，受信した前記入力装置の操作情報中から，前記クライアント装置において前記サーバ装置から前記クライアント装置へのレスポンスの遅延時間を検出するための番号である遅延確認番号を抽出する操作情報受信手段と，前記クライアント装置から受信した入力装置の操作情報に基づいて，前記サーバ装置におけるカーソルの画像情報を含む画像情報であって，前記クライアント装置において前記クライアント装置が作成したカーソルの画像情報と一緒に画面表示させるための画像情報を作成する画像情報作成手段と，前記クライアント装置に対して前記画像情報作成手段によって作成された画像情報を送信する画像情報送信手段とを備え，前記画像情報作成手段は，作成する前記画像情報中に，前記操作情報受信手段によって抽出された遅延確認番号を格納することを特徴とするサーバ装置である。
【００３０】
また，本発明は，クライアント装置と，前記クライアント装置とネットワークを介して接続されたサーバ装置とから構成されるシステムにおける画面表示方法であって，前記クライアント装置が，ユーザによる入力装置の操作情報を入力するステップと，前記クライアント装置が，前記入力された入力装置の操作情報を前記サーバ装置に対して送信するステップと，前記サーバ装置が，前記クライアント装置から入力装置の操作情報を受信するステップと，前記サーバ装置が，前記クライアント装置から受信した入力装置の操作情報に基づいて，前記サーバ装置におけるカーソルの画像情報を作成するステップと，前記サーバ装置が，前記サーバ装置におけるカーソルの画像情報を前記クライアント装置に対して送信するステップと，前記クライアント装置が，前記サーバ装置によって作成されたカーソルの画像情報を前記サーバ装置から受信するステップと，前記クライアント装置が，前記入力された入力装置の操作情報に基づいて現時点におけるカーソルの画像情報を作成するステップと，前記クライアント装置が，前記サーバ装置によって作成されたカーソルの画像情報と前記クライアント装置によって作成された現時点におけるカーソルの画像情報とを一緒に画面出力するステップとを有することを特徴とする画面表示方法である。
【発明の効果】
【００３１】
本発明は，クライアント装置の処理状態を示す情報とサーバ装置の処理状態を示す情報とを一緒に画面表示する。従って，本発明によれば，サーバ装置またはネットワークに問題があるのか，クライアント装置またはクライアント装置に対するユーザの操作自体に問題があるのかを容易に判断することができる。
【００３２】
例えば，本発明は，クライアント装置において，サーバ装置が作成したマウスポインタとクライアント装置が作成したマウスポインタとを一緒に画面表示する。
【００３３】
本発明によれば，クライアント装置におけるマウス操作に対するレスポンスがどの程度遅れているのかをクライアント装置のユーザに対して示すことができる。
【００３４】
従って，本発明によれば，ユーザのイライラを解消し，レスポンス悪化の影響を軽減することができる。すなわち，ユーザの体感レスポンスを改善することが可能となる。
【００３５】
また，例えば，本発明は，クライアント装置において，クライアント装置が入力したキーボード入力情報と，キーボード入力に対するサーバ装置における処理結果とを一緒に画面表示する。
【００３６】
本発明によれば，クライアント装置におけるキーボード入力に対するレスポンスがどの程度遅れているのかをクライアント装置のユーザに対して示すことができる。また，クライアント装置のユーザは，キーボード入力が間違っていないことを確認できる，従って，本発明によれば，ユーザのイライラを解消し，レスポンス悪化の影響を軽減することができる。すなわち，ユーザの体感レスポンスを改善することが可能となる。
【００３７】
また，本発明は，クライアント装置において，レスポンスの遅延を検知し，レスポンス遅延の程度が所定の閾値を越える場合に，サーバ装置が作成したマウスポインタとクライアント装置が作成したマウスポインタとを一緒に画面表示したり，クライアント装置が入力したキーボード入力情報と，キーボード入力に対するサーバ装置における処理結果とを一緒に表示したりする。従って，本発明によれば，レスポンスの遅延がある程度大きくなった時点で，ユーザのイライラを解消し，レスポンス悪化の影響を軽減する対処をとることができる。
【発明を実施するための最良の形態】
【００３８】
図１は，本発明のシステム構成の一例を示す図である。クライアント装置１は，ネットワーク２を通じてサーバ装置３と接続される。クライアント装置１とサーバ装置３は，ともにＣＰＵとメモリというハードウェアにより実現される。
【００３９】
クライアント装置１には，スピーカ１００，モニタ１０１などの出力装置や，マウス１０２，キーボード１０３などの入力装置が接続されている。クライアント装置１は，マウス１０２やキーボード１０３を用いてデータの入力操作を行い，操作情報をネットワーク２を通じてサーバ装置３に送信する。
【００４０】
サーバ装置３は，クライアント装置１から送信された操作情報を受信して，サーバ装置３の処理状態を示す情報（例えば，マウスポインタやキーボード入力に対する処理結果）を含む画像データを作成し，クライアント装置１に対して送信する。
【００４１】
クライアント装置１は，クライアント装置１の処理状態を示す情報（例えば，マウスポインタやキーボードの入力情報）を，サーバ装置から受信した画像データと一緒にモニタ１０１に画面表示する。
【００４２】
クライアント装置１において，マウス入力部１１は，マウス１０２の操作情報（マウス操作情報）を入力する。キーボード入力部１２は，キーボード１０３の入力情報（キーボード入力情報）を入力する。マウス操作情報送信部１３は，入力されたマウス操作情報をサーバ装置３に送信する。キーボード入力情報送信部１４は，入力されたキーボード入力情報をサーバ装置３に送信する。
【００４３】
画像データ受信部１５は，サーバ装置３が作成した画像データを受信する。マウス操作情報表示画像作成部１６は，マウス入力部１１によって入力されたマウス操作情報に基づいてマウスポインタを作成する。
【００４４】
キーボード入力情報表示画像作成部１７は，キーボード入力部１２によって入力されたキーボード入力情報に基づいて文字画像を作成する。
【００４５】
画像出力部１８は，画像データ受信部１５から送信されたサーバ装置３が作成した画像データとマウス操作情報表示画像作成部１６が作成したマウスポインタとをモニタ１０１に一緒に画面出力する。また，画像出力部１８は，画像データ受信部１５から送信されたサーバ装置３が作成した画像データとキーボード入力情報表示画像作成部１７が作成した文字画像とをモニタ１０１に一緒に画面出力する。
【００４６】
遅延確認パケット作成・送信部１９は，サーバ装置３からクライアント装置１へのレスポンス遅延を検知するためのパケットである遅延確認パケットを作成し，サーバ装置３に対して送信する。遅延確認パケット作成・送信部１９は，遅延確認パケットに，遅延確認パケットを一意に識別する遅延確認番号を記述する。
【００４７】
レスポンスパケット受信部２０は，サーバ装置３から送信されたレスポンスパケットを受信する。レスポンスパケットには，クライアント装置１からサーバ装置３に対して送信した遅延確認パケットの遅延確認番号が記述されている。
【００４８】
音声データ受信部２１は，サーバ装置３から送信された音声データを受信する。音声出力部２２は，音声データをスピーカ１００に出力する。
【００４９】
遅延解析部２３は，レスポンスパケット受信部２０が受信したレスポンスパケットに記述されている遅延確認番号に基づいて，サーバ装置３からのレスポンスの遅延を解析する。遅延解析部２３は，画像データ受信部１５が受信した画像データ中に遅延確認番号が記述されている場合には，その遅延確認番号に基づいてレスポンスの遅延を解析する。
【００５０】
また，遅延解析部２３は，音声データ受信部２１が受信した音声データ中に遅延確認番号が記述されている場合には，その遅延確認番号に基づいてレスポンスの遅延を解析する。なお，２４は内部時計である。
【００５１】
サーバ装置３において，マウス操作情報受信部３０は，クライアント装置１からマウス操作情報を受信する。キーボード入力情報受信部３１は，クライアント装置１からキーボード入力情報を受信する。
【００５２】
画像データ作成部３２は，クライアント装置１から受信したマウス操作情報またはキーボード入力情報に基づいて画像処理を行い，作成した画像データを画像データ送信部３４に送信する。
【００５３】
操作・入力情報表示画像作成部３３は，マウス操作情報またはキーボード入力情報に基づいて，マウスポインタまたはキーボード入力に対する処理結果を示す画像を作成し，画像データ送信部３４に送信する。
【００５４】
操作・入力情報表示画像作成部３３は，必要に応じて，キーボード入力情報に基づき，入力情報変換辞書４１を用いて，日本語かな漢字の文字画像データを作成する。
【００５５】
入力情報変換辞書４１には，キーボード入力情報を変換して文字データを作成するソフトウェアが使用する辞書データが格納されている。
【００５６】
画像データ送信部３４は，画像データ作成部３２が作成した画像データと，操作・入力情報表示画像作成部３３が作成したマウスポインタまたはキーボード入力に対する処理結果を示す画像とをクライアント装置１に送信する。
【００５７】
遅延確認パケット受信部３５は，クライアント装置１から遅延確認パケットを受信する。遅延確認パケット解析部３６は，遅延確認パケットを解析して遅延確認番号を抽出する。レスポンスパケット作成・送信部３７は，遅延確認パケット解析部３６が抽出した遅延確認番号が埋め込まれたレスポンスパケットを作成し，クライアント装置１に対して送信する。
【００５８】
音声データ作成部３８は，音声データを作成する。遅延確認番号埋め込み部３９は，クライアント装置１から受信したマウス操作情報中またはキーボード入力情報中または遅延確認パケット中の遅延確認番号を，画像データ作成部３２によって作成される画像データ中に埋め込む。
【００５９】
また，遅延確認番号埋め込み部３９は，クライアント装置１から受信したマウス操作情報中またはキーボード入力情報中または遅延確認パケット中の遅延確認番号を，音声データ作成部３８によって作成される音声データ中に埋め込む。
【００６０】
音声データ送信部４０は，音声データ作成部３８によって作成された音声データをクライアント装置１に対して送信する。
【００６１】
以下に，本発明の第１の実施の形態について説明する。本発明の第１の実施の形態では，クライアント装置１は，クライアント装置１の処理状態を示すマウスポインタとサーバ装置３の処理状態を示すマウスポインタとを一緒に画面出力する。
【００６２】
マウス入力部１１によってマウス操作情報が入力されると，マウス操作情報送信部１３は，サーバ装置３に対してマウス操作情報を送信する。マウス操作情報送信部１３は，例えば，「縦軸が２００から２１１へ，横軸が１００から１３４へ」といった絶対座標情報を送信する。
【００６３】
サーバ装置３のマウス操作情報受信部３０は，クライアント装置１からマウス操作情報を受信する。画像データ作成部３２は，マウス操作情報受信部３０が受信したマウス操作情報に基づいて画像処理を行う。画像データ作成部３２は，例えば，丸，三角，平行四辺形等の図形データの作成処理を行う。
【００６４】
また，操作・入力情報表示画像作成部３３は，マウス操作情報に基づいて，サーバ装置３の処理状態を示すマウスポインタを作成する。
【００６５】
画像データ送信部３４は，画像データ作成部３２が作成した画像データと操作・入力情報表示画像作成部３３が作成したマウスポインタとをクライアント装置１に対して送信する。
【００６６】
画像データ送信部３４は，例えば，図２に示すように，画像データ作成部３２が作成した画像データである平行四辺形と，操作・入力情報表示画像作成部３３が作成したマウスポインタ２０１とが一緒に表示される画像データをクライアント装置１に対して送信する。
【００６７】
クライアント装置１の画像データ受信部１５は，サーバ装置３から送信された画像データを画像出力部１８に送信する。
【００６８】
クライアント装置１のマウス操作情報表示画像作成部１６は，クライアント装置１の処理状態を示すマウスポインタを作成する。
【００６９】
画像出力部１８は，サーバ装置３から受信した画像データとマウス操作情報表示画像作成部１６が作成したマウスポインタとを一緒に画面出力する。
【００７０】
画像出力部１８は，例えば，図３（Ａ）に示すように，サーバ装置３から受信した図２に示す画像データとマウス操作情報表示画像作成部１６が作成したマウスポインタ２００とを一緒に画面出力する。
【００７１】
例えばクライアント装置１において作成されるマウスポインタ２００が図３（Ｂ）中の点線で示す経路上を移動していくと，サーバ装置３の処理状態を示すマウスポインタ２０１は，レスポンスの遅延があればその遅延分だけマウスポインタ２００より遅れてついてくる。
【００７２】
従って，本発明の第１の実施の形態によれば，クライアント装置１のユーザは，マウス操作に対するレスポンスがどの程度遅れているのかを知ることができる。
【００７３】
図４は，パケットロスが発生した場合のクライアント装置における画面表示の一例を示す図である。パケットロスが発生して，サーバ装置３までマウスの操作情報が伝わらないと，図４に示すように，サーバ装置３が作成したマウスポインタ２０１が動かない時間帯が発生する。
【００７４】
従って，本発明の第１の実施の形態によれば，クライアント装置１のユーザは，マウス操作情報の入力に失敗したのか，あるいは単にレスポンス遅延が発生しているのか，即ち，画面上の操作レスポンスの悪化の原因が自分にあるのか，それともコンピュータシステム側にあるのかを知ることができる。
【００７５】
次に，本発明の第２の実施の形態について説明する。本発明の第２の実施の形態では，クライアント装置１は，クライアント装置１が入力したキーボード入力情報と，キーボード入力に対するサーバ装置３における処理結果とを一緒に画面出力する。
【００７６】
キーボード入力部１２によってキーボード入力情報が入力されると，キーボード入力情報送信部１４は，サーバ装置３に対してキーボード入力情報を送信する。キーボード入力情報送信部１４は，例えば，「kyoha ［変換］haretemasune［変換］」というキーボード入力情報を送信する。
【００７７】
また，キーボード入力情報表示画像作成部１７は，キーボード入力情報に基づいて文字画像を作成する。キーボード入力情報表示画像作成部１７は，例えば，図５（Ａ）に示すような画像データを作成する。
【００７８】
サーバ装置３のキーボード入力情報受信部３１は，クライアント装置１からキーボード入力情報を受信する。画像データ作成部３２は，キーボード入力情報受信部３１が受信したキーボード入力情報に基づいて画像処理を行う。画像データ作成部３２は，例えば，図５（Ｂ）に示すような画像データを作成する。
【００７９】
また，操作・入力情報表示画像作成部３３は，キーボード入力情報に基づいて，文字画像データを作成する。操作・入力情報表示画像作成部３３は，例えば，「kyoha ［変換］haretemasune［変換］」というキーボード入力情報に基づいて，入力情報変換辞書４１を用いて，「今日ははれて」という文字画像データを作成する。
【００８０】
画像データ送信部３４は，画像データ作成部３２が作成した画像データと操作・入力情報表示画像作成部３３が作成した文字画像データとをクライアント装置１に対して送信する。
【００８１】
画像データ送信部３４は，例えば，図５（Ｃ）に示すような，「今日ははれて」という文字が表示される画像データをクライアント装置１に対して送信する。なおこの図５（Ｃ）の例では，本来ならば「今日は晴れて」とされるべきところを，「はれて」の部分についてはまだサーバ装置３で文字変換処理中であるため漢字変換せずにひらがなに下線をつけた状態で表示している。
【００８２】
クライアント装置１の画像データ受信部１５が，サーバ装置３から送信された画像データを受信すると，画像出力部１８は，サーバ装置３が作成した画像データとキーボード入力情報表示画像作成部１７が作成した文字画像とを一緒にモニタ１０１に出力する。
【００８３】
画像出力部１８は，例えば，図５（Ｄ）に示すように，サーバ装置３が作成した，「今日ははれて」という文字が表示された画像と，クライアント装置１が作成した，「kyoha ［変換］haretemasune［変換］」という文字画像とを一緒に画面出力する。
【００８４】
図５（Ｄ）に示す例では，サーバ装置３からのレスポンス遅延があるために，「kyoha ［変換］haretemasune［変換］」の途中まで日本語かな漢字変換されて画面表示されていることがわかる。
【００８５】
従って，本発明の第２の実施の形態によれば，クライアント装置１のユーザは，キーボード入力に対するレスポンスがどの程度遅れているのかを知ることができる。
【００８６】
例えば，パケットロスが発生して，サーバ装置３までキーボード入力情報が伝わらないと，クライアント装置１が表示する画面において，キーボード入力に対するサーバ装置３による処理結果を示す画像が動かない時間帯が発生する。
【００８７】
従って，本発明の第２の実施の形態によれば，クライアント装置１のユーザは，キーボード入力情報がサーバ装置３に伝わっていないのか，あるいはレスポンス遅延が発生しているのかを知ることができる。
【００８８】
次に，本発明の第３の実施の形態について説明する。本発明の第３の実施の形態では，クライアント装置１は，クライアント装置１からサーバ装置３に送信した操作情報に対するレスポンスの遅延を検知し，レスポンス遅延の程度が所定の閾値を越える場合に，クライアント装置１の処理状態を示す情報とサーバ装置３の処理状態を示す情報とを一緒に画面表示する。
【００８９】
第３の実施の形態においては，クライアント装置１の遅延確認パケット作成・送信部１９が，サーバ装置３からのレスポンスの遅延を検知するためのパケットである遅延確認パケットを作成する。遅延確認パケット作成・送信部１９は，遅延確認パケットに，遅延確認パケットを一意に識別する番号である遅延確認番号を記述する。
【００９０】
そして，遅延確認パケット作成・送信部１９は，一定の時間間隔で遅延確認パケットをサーバ装置３に対して送信する。例えば，遅延確認パケット作成・送信部１９は，遅延確認パケットを時刻ａにサーバ装置３に対して送信する。
【００９１】
サーバ装置３の遅延確認パケット受信部３５が遅延確認パケットを受信し，遅延確認パケット解析部３６が，受信された遅延確認パケットから遅延確認番号を抽出する。
【００９２】
そして，レスポンスパケット作成・送信部３７が，抽出された遅延確認番号が記述されたレスポンスパケットを作成し，クライアント装置１に対して送信する。
【００９３】
クライアント装置のレスポンスパケット受信部２０がレスポンスパケットを受信すると，遅延解析部２３が，レスポンスパケット中の遅延確認番号を確認する。
【００９４】
例えば，時刻ｂにサーバ装置３から受信したレスポンスパケット中の遅延確認番号が，時刻ａにサーバ装置３に対して送信した遅延確認パケットに埋め込んだ遅延確認番号と同じ番号である場合，遅延解析部２３は，時刻ｂ−時刻ａをレスポンスの遅延時間として算出する。
【００９５】
レスポンスの遅延時間の算出について，図６を用いて具体的に説明する。例えば，クライアント装置１は，遅延確認番号００１が埋め込まれた遅延確認パケット，遅延確認番号００２が埋め込まれた遅延確認パケット，遅延確認番号００３が埋め込まれた遅延確認パケット，遅延確認番号００４が埋め込まれた遅延確認パケットの順に一定の時間間隔でサーバ装置３に送信する。図６中に示す時刻に付けられた括弧内の数字は，遅延確認番号を示す。
【００９６】
クライアント装置１は，例えば，遅延確認番号００１が埋め込まれた遅延確認パケットを時刻ａ［００１］にサーバ装置３に送信し，サーバ装置３から遅延確認番号００１が埋め込まれたレスポンスパケットを時刻ｂ［００１］に受信すると，時刻ｂ［００１］−時刻ａ［００１］を遅延パケット００１番に対するレスポンスの遅延時間として算出する。
【００９７】
図７は，遅延時間算出処理の一例を説明する図である。図７（Ａ）はクライアント装置１における動作処理フローの一例であり，図７（Ｂ）はサーバ装置３における動作処理フローの一例である。
【００９８】
図７（Ａ）に示すように，クライアント装置１は，遅延確認パケットに遅延確認番号Ｃを記述して，サーバ装置３に対して送信する（ステップＳ１）。また，クライアント装置１は，遅延確認パケットを送信した時刻ａ［Ｃ］を記録する（ステップＳ２）。
【００９９】
クライアント装置１は，サーバ装置３からレスポンスパケットを受信して，受信時刻ｂ［Ｃ］を記録する（ステップＳ３）。そして，クライアント装置１は，ｂ［Ｃ］−ａ［Ｃ］を計算して，遅延時間を算出する（ステップＳ４）。
【０１００】
また，図７（Ｂ）に示すように，サーバ装置３は，クライアント装置１から遅延確認パケットを受信して，遅延確認番号Ｃを抽出する（ステップＳ１１）。サーバ装置３は，遅延確認番号Ｃが記述されたレスポンスパケットを作成し，クライアント装置１に対して送信する（ステップＳ１２）。
【０１０１】
第３の実施の形態によれば，例えば，図８に示す矢印で結んだ処理経路の遅延時間が算出される。このとき，レスポンス遅延の検知のための処理（遅延確認パケット作成・送信部１９，遅延確認パケット受信部３５，遅延確認パケット解析部３６，レスポンスパケット作成・送信部３７，レスポンスパケット受信部２０，遅延解析部２３による処理）による遅延時間は，計測することに大きな意味はない。
【０１０２】
第３の実施の形態により得られる主な作用効果は，ネットワーク２における遅延が加味された遅延時間が算出される点である。
【０１０３】
クライアント装置１の遅延解析部２３は，算出した遅延時間が所定の閾値を越えると，マウス操作情報表示画像作成部１６またはキーボード入力情報表示画像作成部１７に対して制御信号を送信し，マウスポインタまたは文字画像を画像出力部１８に送出させる。
【０１０４】
第３の実施の形態によれば，遅延時間が閾値以下の場合は，クライアント装置１において作成されるマウスポインタ２００と，サーバ装置３の処理状態を示すマウスポインタ２０１のいずれか一方のみを表示しておき，ネットワーク２における遅延がある程度大きくなった段階で，クライアント装置１の処理状態を示す情報とサーバ装置３の処理状態を示す情報とを一緒に画面表示することができる。また，第３の実施の形態によれば，サーバ装置３とクライアント装置１との間で時刻が同期されていなくても，レスポンスの遅延時間を正確に測定することができる。
【０１０５】
次に，本発明の第４の実施の形態について説明する。第４の実施の形態が第３の実施の形態と異なるのは，サーバ装置３が，クライアント装置１から受信した遅延確認パケット中の遅延確認番号を画像データまたは音声データに埋め込んでクライアント装置１に送信する点である。また，第４の実施の形態においては，画像データ受信部１５および音声データ受信部２１は，サーバ装置３から送信されたデータ中の遅延確認番号を抽出する機能を備えている。
【０１０６】
第４の実施の形態においては，クライアント装置１の遅延確認パケット作成・送信部１９が遅延確認パケットを作成し，一定の時間間隔でサーバ装置３に対して送信する。
【０１０７】
サーバ装置３の遅延確認パケット受信部３５が遅延確認パケットを受信し，遅延確認パケット解析部３６が，遅延確認パケットから遅延確認番号を抽出する。
【０１０８】
遅延確認番号埋め込み部３９は，抽出された遅延確認番号を，画像データ作成部３２が作成する画像データまたは音声データ作成部３８が作成する音声データ中に埋め込む。
【０１０９】
遅延確認番号の埋め込み方については，クライアント装置１に送信するデータの特定個所に埋め込む方法や，各種電子透かし技術を利用するなど様々な方式を採ることができる。
【０１１０】
画像データ送信部３４または音声データ送信部４０は，遅延確認番号が埋め込まれた画像データまたは音声データをクライアント装置１に対して送信する。クライアント装置１の画像データ受信部１５または音声データ受信部２１は，サーバ装置３から受信した画像データ中または音声データ中の遅延確認番号を抽出する。
【０１１１】
そして，遅延解析部２３が，遅延確認パケットをクライアント装置１に対して送信した時刻と，その遅延確認パケット中の遅延確認番号と同じ遅延確認番号が画像データ受信部１５または音声データ受信部２１によって抽出された時刻とに基づいて，レスポンスの遅延時間を算出する。
【０１１２】
遅延解析部２３は，算出した遅延時間が所定の閾値を越えると，マウス操作情報表示画像作成部１６またはキーボード入力情報表示画像作成部１７に対して制御信号を送信し，マウスポインタまたは文字画像を画像出力部１８に送出させる。
【０１１３】
図９は，遅延時間算出処理の一例を説明する図である。図９（Ａ）はクライアント装置１における動作処理フローの一例であり，図９（Ｂ）はサーバ装置３における動作処理フローの一例である。
【０１１４】
図９（Ａ）に示すように，クライアント装置１は，遅延確認パケットに遅延確認番号Ｃを記述して，サーバ装置３に対して送信する（ステップＳ２１）。また，クライアント装置１は，遅延確認パケットを送信した時刻ａ［Ｃ］を記録する（ステップＳ２２）。
【０１１５】
クライアント装置１は，サーバ装置３から遅延確認番号Ｃが埋め込まれた画像データを受信して，受信時刻ｂ［Ｃ］を記録する（ステップＳ２３）。そして，クライアント装置１は，ｂ［Ｃ］−ａ［Ｃ］を計算して，遅延時間を算出する（ステップＳ２４）。
【０１１６】
また，図９（Ｂ）に示すように，サーバ装置３は，クライアント装置１から遅延確認パケットを受信して，遅延確認番号Ｃを抽出する（ステップＳ３１）。サーバ装置３は，遅延確認番号Ｃが埋め込まれた画像データを作成し（ステップＳ３２），作成した画像データをクライアント装置１に対して送信する（ステップＳ３３）。
【０１１７】
第４の実施の形態によれば，例えばサーバ装置３において遅延確認番号を画像データに埋め込めば，ネットワークの遅延とサーバ装置３における画像処理の遅延を含めた遅延時間を算出できる。また，例えばサーバ装置３において遅延確認番号を音声データに埋め込めば，ネットワークの遅延とサーバ装置３における音声処理の遅延を含めた遅延時間を算出できる。
【０１１８】
第４の実施の形態によれば，例えば，図１０に示す矢印で結んだ処理経路の遅延時間が算出される。このとき，レスポンス遅延の検知のための処理（遅延確認パケット作成・送信部１９，遅延確認パケット受信部３５，遅延確認パケット解析部３６，遅延確認番号埋め込み部３９，画像データ受信部１５，遅延解析部２３による処理）による遅延時間は，計測することに大きな意味はない。
【０１１９】
第４の実施の形態により得られる主な作用効果は，例えば，ネットワーク２における遅延と，画像データ作成部３２の処理の遅延と，操作・入力情報表示画像作成部３３の処理の遅延と，画像データ送信部３４の処理の遅延が加味された遅延時間が算出される点である。
【０１２０】
次に，本発明の第５の実施の形態について説明する。第５の実施の形態では，クライアント装置１が，マウス操作情報中またはキーボード入力情報中に遅延確認番号を埋め込んでサーバ装置３に送信する。
【０１２１】
第５の実施の形態においては，クライアント装置１のマウス操作情報送信部１３およびキーボード入力情報送信部１４は，サーバ装置３に対して送信するデータ中に遅延確認番号を埋め込む機能を備えている。また，サーバ装置３のマウス操作情報受信部３０およびキーボード入力情報受信部３１は，クライアント装置１から送信されたデータ中の遅延確認番号を抽出する機能を備えている。
【０１２２】
第５の実施の形態においては，例えば，クライアント装置１のマウス操作情報送信部１３が遅延確認番号をマウス操作情報に埋め込んでサーバ装置３に送信する。サーバ装置３のマウス操作情報受信部３０は，クライアント装置１から受信したマウス操作情報中の遅延確認番号を抽出し，遅延確認番号埋め込み部３９に送信する。
【０１２３】
遅延確認番号埋め込み部３９は，抽出された遅延確認番号を，画像データ作成部３２が作成する画像データまたは音声データ作成部３８が作成する音声データ中に埋め込む。
【０１２４】
画像データ送信部３４または音声データ送信部４０は，遅延確認番号が埋め込まれた画像データまたは音声データをクライアント装置１に対して送信する。
【０１２５】
クライアント装置１がサーバ装置３から画像データまたは音声データを受信した後の，レスポンスの遅延時間の算出処理は，上述した第４の実施の形態と同様である。
【０１２６】
図１１は，遅延時間算出処理の一例を説明する図である。図１１（Ａ）はクライアント装置１における動作処理フローの一例であり，図１１（Ｂ）はサーバ装置３における動作処理フローの一例である。
【０１２７】
図１１（Ａ）に示すように，クライアント装置１は，マウス操作情報に遅延確認番号Ｃを埋め込んで，サーバ装置３に対して送信する（ステップＳ４１）。また，クライアント装置１は，マウス操作情報を送信した時刻ａ［Ｃ］を記録する（ステップＳ４２）。
【０１２８】
クライアント装置１は，サーバ装置３から遅延確認番号Ｃが埋め込まれた画像データを受信して，受信時刻ｂ［Ｃ］を記録する（ステップＳ４３）。そして，クライアント装置１は，ｂ［Ｃ］−ａ［Ｃ］を計算して，遅延時間を算出する（ステップＳ４４）。
【０１２９】
また，図１１（Ｂ）に示すように，サーバ装置３は，クライアント装置１からマウス操作情報を受信して，遅延確認番号Ｃを抽出する（ステップＳ５１）。サーバ装置３は，遅延確認番号Ｃが埋め込まれた画像データを作成し（ステップＳ５２），作成した画像データをクライアント装置１に対して送信する（ステップＳ５３）。
【０１３０】
第５の実施の形態によれば，例えば，図１２に示す矢印で結んだ処理経路の遅延時間が算出される。このとき，マウス操作情報受信部３０，遅延確認番号埋め込み部３９，画像データ受信部１５，遅延解析部２３による処理の遅延時間は，計測することに大きな意味はない。
【０１３１】
第５の実施の形態により得られる主な作用効果は，例えば，マウス操作情報送信部１３による処理の遅延と，ネットワーク２における遅延と，画像データ作成部３２の処理の遅延と，操作・入力情報表示画像作成部３３の処理の遅延と，画像データ送信部３４の処理の遅延とが加味された遅延時間が算出される点である。
【０１３２】
従って，第５の実施の形態によれば，サーバ装置３における処理の遅延を加味した遅延時間を検知できる。
【０１３３】
図１３および図１４は，クライアント装置１においてマウス操作が行われたときの処理の一例を説明する図である。図１３はクライアント装置１における動作処理フローの一例であり，図１４はサーバ装置３における動作処理フローの一例である。
【０１３４】
図１３に示すように，クライアント装置１は，マウス操作情報を入力し（ステップＳ１００），マウス操作情報を一定の時間間隔でサーバ装置３に対して送信する（ステップＳ１０１）。クライアント装置１は，サーバ装置３から画像データを受信すると（ステップＳ１０２），遅延時間が閾値を越えているかを判断する（ステップＳ１０３）。遅延時間が閾値を越えている場合は，クライアント装置１はマウスポインタを作成し（ステップＳ１０４），サーバ装置３から受信した画像データと作成したマウスポインタとを一緒に画面出力する（ステップＳ１０５）。遅延時間が閾値を越えていない場合は，クライアント装置１はサーバ装置３から受信した画像データだけを画面出力する（ステップＳ１０６）。
【０１３５】
なお，ステップＳ１０６の代わりに，クライアント装置１でマウスポインタを作成し（ステップＳ１０４），作成したマウスポインタだけを画面出力してもよい。
【０１３６】
また，図１４に示すように，サーバ装置３は，クライアント装置１からマウス操作情報を受信して（ステップＳ１１０），マウスポインタを作成する（ステップＳ１１１）。そして，サーバ装置３は，作成したマウスポインタを含む画像データをクライアント装置１に対して送信する（ステップＳ１１２）。
【０１３７】
図１５および図１６は，クライアント装置１においてキーボード入力が行われたときの処理の一例を説明する図である。図１５はクライアント装置１における動作処理フローの一例であり，図１６はサーバ装置３における動作処理フローの一例である。
【０１３８】
図１５に示すように，クライアント装置１は，キーボード入力情報を入力し（ステップＳ１２０），キーボード入力情報をサーバ装置３に対して送信する（ステップＳ１２１）。クライアント装置１は，サーバ装置３から画像データを受信すると（ステップＳ１２２），遅延時間が閾値を越えているかを判断する（ステップＳ１２３）。遅延時間が閾値を越えている場合は，クライアント装置１はキーボード入力情報に基づいて文字画像を作成し（ステップＳ１２４），サーバ装置３から受信した画像データと作成した文字画像とを一緒に画面出力する（ステップＳ１２５）。遅延時間が閾値を越えていない場合は，クライアント装置１はサーバ装置３から受信した画像データだけを画面出力する（ステップＳ１２６）。
【０１３９】
なお，ステップＳ１２６の代わりに，クライアント装置１でキーボード入力情報に基づいて文字画像を作成し（ステップＳ１２４），作成した文字画像だけを画面出力してもよい。
【０１４０】
また，図１６に示すように，サーバ装置３は，クライアント装置１からキーボード入力情報を受信して（ステップＳ１３０），キーボード入力に対する処理結果が表示される画像データを作成する（ステップＳ１３１）。そして，サーバ装置３は，作成した画像データをクライアント装置１に対して送信する（ステップＳ１３２）。
【０１４１】
以上の実施の形態において，クライアント装置１における入力装置の一例としてマウス１０２の例を説明したが，タブレットやタッチパネルなどのポインティングデバイスについても同様に本発明を適用できることは明らかである。
【０１４２】
なお，本発明は，コンピュータにより読み取られ実行されるプログラムとして実施することもできる。本発明を実現するプログラムは，コンピュータが読み取り可能な，可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができ，これらの記録媒体に記録して提供され，または，通信インタフェースを介してネットワークを利用した送受信により提供されるものである。
【０１４３】
以上から把握できるように，本発明の実施形態の特徴を述べると，以下のとおりである。
【０１４４】
（付記１）  ネットワークを介してサーバ装置と接続されたクライアント装置であって，
ユーザによる入力装置の操作情報を入力する操作情報入力手段と，
前記入力された入力装置の操作情報を前記サーバ装置に対して送信する操作情報送信手段と，
前記サーバ装置から前記サーバ装置において前記入力装置の操作情報に基づいて作成されたカーソルの画像情報を受信する画像情報受信手段と，
前記操作情報入力手段によって入力された入力装置の操作情報に基づいてカーソルの画像情報を作成するカーソル作成手段と，
前記サーバ装置において作成されたカーソルの画像情報と前記カーソル作成手段によって作成された現時点におけるカーソルの画像情報とを一緒に画面出力する画面出力手段とを備える
ことを特徴とするクライアント装置。
【０１４５】
（付記２）  付記１に記載のクライアント装置において，
前記サーバ装置からのレスポンスの遅延時間を検出する遅延時間検出手段を備え，
前記画面出力手段は，前記遅延時間検出手段によって検出されたレスポンスの遅延時間が予め決められた閾値を越える場合に，前記サーバ装置において作成されたカーソルの画像情報と前記カーソル作成手段によって作成された現時点におけるカーソルの画像情報とを一緒に画面出力する
ことを特徴とするクライアント装置。
【０１４６】
（付記３）  付記２に記載のクライアント装置において，
前記遅延時間検出手段は，
前記サーバ装置からのレスポンスの遅延時間を検出するための番号である遅延確認番号が格納された遅延確認パケットを作成し，前記サーバ装置に対して送信する遅延確認パケット作成・送信手段と，
前記サーバ装置から前記遅延確認パケットに格納された遅延確認番号と同一の遅延確認番号が格納された応答データを受信し，前記遅延確認パケットを前記サーバ装置に対して送信した時刻と前記サーバ装置から前記応答データを受信した時刻との差に基づいて，前記サーバ装置からのレスポンスの遅延時間を算出する遅延時間算出手段とを備える
ことを特徴とするクライアント装置。
【０１４７】
（付記４）  付記２に記載のクライアント装置において，
前記操作情報送信手段は，前記操作情報入力手段により入力されたユーザによる入力装置の操作情報に前記サーバ装置からのレスポンスの遅延時間を検出するための番号である遅延確認番号を格納して前記サーバ装置に対して送信し，
前記画像情報受信手段は，前記サーバ装置から前記サーバ装置において前記入力装置の操作情報に基づいて作成され，かつ，遅延確認番号が格納されたカーソルの画像情報を受信し，
前記遅延時間検出手段は，
前記入力装置の操作情報を前記サーバ装置に対して送信した時刻と前記サーバ装置から前記入力装置の操作情報中の遅延確認番号と同一の遅延確認番号が格納されたカーソルの画像情報を受信した時刻との差に基づいて，前記サーバ装置からのレスポンスの遅延時間を算出する遅延時間算出手段とを備える
ことを特徴とするクライアント装置。
【０１４８】
（付記５）  ネットワークを介してサーバ装置と接続されたクライアント装置であって，
キーボードの入力情報を入力するキーボード入力手段と，
前記入力されたキーボードの入力情報を前記サーバ装置に対して送信するキーボード入力情報送信手段と，
前記サーバ装置から前記サーバ装置において作成された，前記キーボードの入力情報に対する処理結果を示す画像情報を受信する画像情報受信手段と，
前記キーボード入力手段によって入力されたキーボードの入力情報に基づいて文字画像を作成する文字画像作成手段と，
前記サーバ装置において作成された画像情報と前記文字画像作成手段によって作成された現時点における文字画像とを一緒に画面出力する画面出力手段とを備える
ことを特徴とするクライアント装置。
【０１４９】
（付記６）  ネットワークを介してクライアント装置と接続されたサーバ装置であって，
前記クライアント装置において入力されたユーザによる入力装置の操作情報を前記クライアント装置から受信する操作情報受信手段と，
前記クライアント装置から受信した入力装置の操作情報に基づいて，前記サーバ装置におけるカーソルの画像情報を含む画像情報であって，前記クライアント装置において前記クライアント装置が作成したカーソルの画像情報と一緒に画面表示させるための画像情報を作成する画像情報作成手段と，
前記クライアント装置に対して前記画像情報作成手段によって作成された画像情報を送信する画像情報送信手段と，
前記クライアント装置から送信された，レスポンスの遅延時間を検出するための番号である遅延確認番号が格納された遅延確認パケットを受信する遅延確認パケット受信手段と，
前記遅延確認パケットに格納された遅延確認番号と同一の遅延確認番号が格納された応答データを作成して前記クライアント装置に対して送信する応答データ作成・送信手段とを備える
ことを特徴とするサーバ装置。
【０１５０】
（付記７）  ネットワークを介してクライアント装置と接続されたサーバ装置であって，
前記クライアント装置において入力されたユーザによる入力装置の操作情報を前記クライアント装置から受信し，受信した前記入力装置の操作情報中から，前記クライアント装置において前記サーバ装置から前記クライアント装置へのレスポンスの遅延時間を検出するための番号である遅延確認番号を抽出する操作情報受信手段と，
前記クライアント装置から受信した入力装置の操作情報に基づいて，前記サーバ装置におけるカーソルの画像情報を含む画像情報であって，前記クライアント装置において前記クライアント装置が作成したカーソルの画像情報と一緒に画面表示させるための画像情報を作成する画像情報作成手段と，
前記クライアント装置に対して前記画像情報作成手段によって作成された画像情報を送信する画像情報送信手段とを備え，
前記画像情報作成手段は，作成する前記画像情報中に，前記操作情報受信手段によって抽出された遅延確認番号を格納する
ことを特徴とするサーバ装置。
【０１５１】
（付記８）  クライアント装置と，前記クライアント装置とネットワークを介して接続されたサーバ装置とから構成されるシステムにおける画面表示方法であって，
前記クライアント装置が，ユーザによる入力装置の操作情報を入力するステップと，
前記クライアント装置が，前記入力された入力装置の操作情報を前記サーバ装置に対して送信するステップと，
前記サーバ装置が，前記クライアント装置から入力装置の操作情報を受信するステップと，
前記サーバ装置が，前記クライアント装置から受信した入力装置の操作情報に基づいて，前記サーバ装置におけるカーソルの画像情報を作成するステップと，
前記サーバ装置が，前記サーバ装置におけるカーソルの画像情報を前記クライアント装置に対して送信するステップと，
前記クライアント装置が，前記サーバ装置によって作成されたカーソルの画像情報を前記サーバ装置から受信するステップと，
前記クライアント装置が，前記入力された入力装置の操作情報に基づいて現時点におけるカーソルの画像情報を作成するステップと，
前記クライアント装置が，前記サーバ装置によって作成されたカーソルの画像情報と前記クライアント装置によって作成された現時点におけるカーソルの画像情報とを一緒に画面出力するステップとを有する
ことを特徴とする画面表示方法。
【０１５２】
（付記９）  クライアント装置と，前記クライアント装置とネットワークを介して接続されたサーバ装置とから構成されるシステムにおける画面表示方法であって，
前記クライアント装置が，キーボードの入力情報を入力するステップと，
前記クライアント装置が，前記入力されたキーボードの入力情報に基づいて文字画像を作成するステップと，
前記クライアント装置が，前記入力されたキーボードの入力情報を前記サーバ装置に対して送信するステップと，
前記サーバ装置が，前記クライアント装置からキーボードの入力情報を受信するステップと，
前記サーバ装置が，前記キーボードの入力情報に対する処理結果を示す画像情報を作成するステップと，
前記サーバ装置が，前記サーバ装置によって作成された画像情報を前記クライアント装置に対して送信するステップと，
前記クライアント装置が，前記サーバ装置によって作成された画像情報を前記サーバ装置から受信するステップと，
前記クライアント装置が，前記サーバ装置によって作成された画像情報と前記クライアント装置によって作成された文字画像とを一緒に画面出力するステップとを有する
ことを特徴とする画面表示方法。
【０１５３】
（付記１０）  ネットワークを介してサーバ装置と接続されたクライアント装置が備えるコンピュータに実行させるためのプログラムであって，
前記コンピュータを，
ユーザによる入力装置の操作情報を入力する操作情報入力手段と，
前記入力された入力装置の操作情報を前記サーバ装置に対して送信する操作情報送信手段と，
前記サーバ装置から前記サーバ装置において前記入力装置の操作情報に基づいて作成されたカーソルの画像情報を受信する画像情報受信手段と，
前記操作情報入力手段によって入力された入力装置の操作情報に基づいてカーソルの画像情報を作成するカーソル作成手段と，
前記サーバ装置において作成されたカーソルの画像情報と前記カーソル作成手段によって作成された現時点におけるカーソルの画像情報とを一緒に画面出力する画面出力手段として機能させるためのクライアント装置用プログラム。
【０１５４】
（付記１１）  ネットワークを介してクライアント装置と接続されたサーバ装置が備えるコンピュータに実行させるためのプログラムであって，
前記コンピュータを，
前記クライアント装置において入力されたユーザによる入力装置の操作情報を前記クライアント装置から受信し，受信した前記入力装置の操作情報中から，前記クライアント装置において前記サーバ装置から前記クライアント装置へのレスポンスの遅延時間を検出するための番号である遅延確認番号を抽出する操作情報受信手段と，
前記クライアント装置から受信した入力装置の操作情報に基づいて，前記サーバ装置におけるカーソルの画像情報を含む画像情報であって，前記クライアント装置において前記クライアント装置が作成したカーソルの画像情報と一緒に画面表示させるための画像情報を作成する画像情報作成手段と，
前記クライアント装置に対して前記画像情報作成手段によって作成された画像情報を送信する画像情報送信手段として機能させるためのプログラムであって，
前記画像情報作成手段は，作成する前記画像情報中に，前記操作情報受信手段によって抽出された遅延確認番号を格納する
ことを特徴とするサーバ装置用プログラム。
【０１５５】
（付記１２）  ネットワークを介してサーバ装置と接続されたクライアント装置が備えるコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって，
前記コンピュータを，
ユーザによる入力装置の操作情報を入力する操作情報入力手段と，
前記入力された入力装置の操作情報を前記サーバ装置に対して送信する操作情報送信手段と，
前記サーバ装置から前記サーバ装置において前記入力装置の操作情報に基づいて作成されたカーソルの画像情報を受信する画像情報受信手段と，
前記操作情報入力手段によって入力された入力装置の操作情報に基づいてカーソルの画像情報を作成するカーソル作成手段と，
前記サーバ装置において作成されたカーソルの画像情報と前記カーソル作成手段によって作成された現時点におけるカーソルの画像情報とを一緒に画面出力する画面出力手段として機能させるためのクライアント装置用プログラムを記録した記録媒体。
【０１５６】
（付記１３）  ネットワークを介してクライアント装置と接続されたサーバ装置が備えるコンピュータに実行させるためのプログラムを記録した記録媒体であって，
前記コンピュータを，
前記クライアント装置において入力されたユーザによる入力装置の操作情報を前記クライアント装置から受信し，受信した前記入力装置の操作情報中から，前記クライアント装置において前記サーバ装置から前記クライアント装置へのレスポンスの遅延時間を検出するための番号である遅延確認番号を抽出する操作情報受信手段と，
前記クライアント装置から受信した入力装置の操作情報に基づいて，前記サーバ装置におけるカーソルの画像情報を含む画像情報であって，前記クライアント装置において前記クライアント装置が作成したカーソルの画像情報と一緒に画面表示させるための画像情報を作成する画像情報作成手段と，
前記クライアント装置に対して前記画像情報作成手段によって作成された画像情報を送信する画像情報送信手段として機能させるためのプログラムであって，
前記画像情報作成手段は，作成する前記画像情報中に，前記操作情報受信手段によって抽出された遅延確認番号を格納する
ことを特徴とするサーバ装置用プログラムを記録した記録媒体。
【図面の簡単な説明】
【０１５７】
【図１】本発明のシステム構成の一例を示す図である。
【図２】サーバ装置から送信される画像データの一例である。
【図３】クライアント装置における画面表示の一例である。
【図４】クライアント装置における画面表示の一例である。
【図５】クライアント装置が作成する画像データ，サーバ装置が作成する画像データ，クライアント装置が画面出力する画像データを示す図である。
【図６】レスポンスの遅延時間の算出を説明する図である。
【図７】遅延時間算出処理の一例を説明する図である。
【図８】第３の実施の形態における処理経路を示す図である。
【図９】遅延時間算出処理の一例を説明する図である。
【図１０】第４の実施の形態における処理経路を示す図である。
【図１１】遅延時間算出処理の一例を説明する図である。
【図１２】第５の実施の形態における処理経路を示す図である。
【図１３】マウス操作が行われたときの処理の一例を説明する図である。
【図１４】マウス操作が行われたときの処理の一例を説明する図である。
【図１５】キーボード入力が行われたときの処理の一例を説明する図である。
【図１６】キーボード入力が行われたときの処理の一例を説明する図である。
【図１７】従来技術における画面表示の一例を説明する図である。
【図１８】従来技術における画面表示の一例を説明する図である。
【符号の説明】
【０１５８】
１  クライアント装置
２  ネットワーク
３  サーバ装置
１１  マウス入力部
１２  キーボード入力部
１３  マウス操作情報送信部
１４  キーボード入力情報送信部
１５  画像データ受信部
１６  マウス操作情報表示画像作成部
１７  キーボード入力情報表示画像作成部
１８  画像出力部
１９  遅延確認パケット作成・送信部
２０  レスポンスパケット受信部
２１  音声データ受信部
２２  音声出力部
２３  遅延解析部
２４  内部時計
３０  マウス操作情報受信部
３１  キーボード入力情報受信部
３２  画像データ作成部
３３  操作・入力情報表示画像作成部
３４  画像データ送信部
３５  遅延確認パケット受信部
３６  遅延確認パケット解析部
３７  レスポンスパケット作成・送信部
３８  音声データ作成部
３９  遅延確認番号埋め込み部
４０  音声データ送信部
４１  入力情報変換辞書
１００  スピーカ
１０１  モニタ
１０２  マウス
１０３  キーボード
２００，２０１  マウスポインタ
【図１】
2006236046.tif 000003
【図２】
2006236046.tif 000004
【図３】
2006236046.tif 000005
【図４】
2006236046.tif 000006
【図５】
2006236046.tif 000007
【図６】
2006236046.tif 000008
【図７】
2006236046.tif 000009
【図８】
2006236046.tif 000010
【図９】
2006236046.tif 000011
【図１０】
2006236046.tif 000012
【図１１】
2006236046.tif 000013
【図１２】
2006236046.tif 000014
【図１３】
2006236046.tif 000015
【図１４】
2006236046.tif 000016
【図１５】
2006236046.tif 000017
【図１６】
2006236046.tif 000018
【図１７】
2006236046.tif 000019
【図１８】
2006236046.tif 000020