(57)【要約】【課題】  データの送信中にネットワークの通信品質が変動した場合における体感品質の低下を抑制する。【解決手段】  他の装置から受信する画像データに基づく画像を表示画面に表示する通信装置は、表示画面に画像を表示するための画像データを他の装置から受ける通信部と、表示画面に画像を表示するための処理を画像データに対して実行する画像処理部と、画像データに基づく画像を表示画面に表示する際のフレームレートである描画フレームレートに基づいて閾値時間を決定する閾値時間決定部と、画像データを受信し始めてから閾値時間以内に受信した画像データに基づく画像を表示画面に表示する表示制御部とを有する。【選択図】  図１
2018078509.tif 000002
【特許請求の範囲】
【請求項１】
他の装置から受信する画像データに基づく画像を表示画面に表示する通信装置において、
前記表示画面に画像を表示するための画像データを前記他の装置から受ける通信部と、
前記表示画面に画像を表示するための処理を前記画像データに対して実行する画像処理部と、
前記画像データに基づく画像を前記表示画面に表示する際のフレームレートである描画フレームレートに基づいて閾値時間を決定する閾値時間決定部と、
前記画像データを受信し始めてから前記閾値時間以内に受信した画像データに基づく画像を前記表示画面に表示する表示制御部とを有する
ことを特徴とする通信装置。
【請求項２】
請求項１に記載の通信装置において、
利用者による操作を受け付ける入力装置から操作に関する操作情報を取得する操作情報取得部と、
前記操作情報に基づいて操作速度を算出する操作速度算出部とをさらに有し、
前記閾値時間決定部は、前記描画フレームレートと前記操作速度とに基づいて、前記閾値時間を決定する
ことを特徴とする通信装置。
【請求項３】
請求項２に記載の通信装置において、
前記閾値時間決定部は、前記操作速度が所定値以下の場合、前記閾値時間として、第１の閾値時間を算出し、前記操作速度が前記所定値を超えている場合、前記閾値時間として、前記第１の閾値時間より小さい第２の閾値時間を算出する
ことを特徴とする通信装置。
【請求項４】
請求項３に記載の通信装置において、
前記閾値時間決定部は、前記操作速度が前記所定値以下で、前記描画フレームレートの平均が予め決められた基準値以下の場合、前記閾値時間を所定のフレーム数をかけて徐々に大きくする
ことを特徴とする通信装置。
【請求項５】
他の装置から受信する画像データに基づく画像を表示画面に表示する通信装置による通信方法において、
前記通信装置は、
前記表示画面に画像を表示するための画像データを前記他の装置から受け、
前記表示画面に画像を表示するための処理を前記画像データに対して実行し、
前記画像データに基づく画像を前記表示画面に表示する際のフレームレートである描画フレームレートに基づいて閾値時間を決定し、
前記画像データを受信し始めてから前記閾値時間以内に受信した画像データに基づく画像を前記表示画面に表示する
ことを特徴とする通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信装置および通信方法に関する。
【背景技術】
【０００２】
近年、事業継続性、セキュリティ等の観点からシンクライアントシステムが普及している。シンクライアントシステムでは、例えば、シンクライアント装置等の通信装置は、サーバ上の仮想マシーンに構築された仮想的なデスクトップ環境を、ネットワークを介して利用する。例えば、通信装置は、ネットワークを介してサーバから受信したデスクトップ画面を、ディスプレイ等に表示する。このため、ネットワークのデータ転送速度等の通信品質が低下した場合、サーバから送信されたデータが通信装置に到達するまでに掛かる時間が増加し、通信装置の表示画面の更新等の応答が遅くなる。
【０００３】
なお、複数のクライアント装置がサーバに接続されるサーバーベースコンピューティングシステムでは、ネットワークのトラフィック量に応じて画像データの符号化手法を切り替えるサーバが提案されている（例えば、特許文献１参照）。この種のサーバは、例えば、画像データの符号化手法を、ネットワークのトラフィック量が大の場合、データ量を削減するための符号化手法に切り替え、ネットワークのトラフィック量が小の場合、画質を優先する符号化手法に切り替える。
【０００４】
また、サーバーベースコンピューティングシステムでは、Ｗｅｂページ等の画像データをスクロールの単位に分割してクライアント装置に送信するサーバが提案されている（例えば、特許文献２参照）。この種のサーバは、例えば、分割した画像データのうち、スクロールの移動先となる可能性が最も高い領域の画像データを、Ｗｅｂページのロード開始直後のタイミングで、クライアント装置に送信する。そして、サーバは、スクロールの移動先となる可能性が次に高い領域の画像データを、Ｗｅｂページのロード終了直後のタイミングで、クライアント装置に送信する。残りの画像データは、例えば、サーバの負荷の軽いタイミングでクライアント装置に送信される。
【０００５】
また、クライアント装置に送信するデータの転送量と、クライアント装置との間のデータ転送速度とに基づいて、クライアント装置に送信する画像を分割する際の分割単位を決定するサーバが提案されている（例えば、特許文献３参照）。クライアント装置に送信するデータの転送量は、例えば、クライアント装置の表示画面に表示する画像の画像データの量と、画像データの圧縮率とに基づいて算出される。
【０００６】
また、通信端末装置に通信ネットワークを介してデータを配信する配信制御システムでは、配信制御システムから通信端末装置までのデータの送信遅延時間に基づいて、データの再生品質のパラメータを変更する方法が提案されている（例えば、特許文献４参照）。再生品質のパラメータは、例えば、画像の解像度、フレームレート等である。
【０００７】
また、携帯電話等の端末装置に画像を送信する画像サーバでは、端末装置からの表示要求時に端末装置の再生能力に関する情報を受け、端末装置の再生能力に応じた画素数等を有する画像を端末装置に送信する方法が提案されている（例えば、特許文献５参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１３−１７６０９３号公報
【特許文献２】特開２０１３−１７５２０６号公報
【特許文献３】国際公開ＷＯ２０１４／０４９７６１号公報
【特許文献４】特開２０１６−４８８９８号公報
【特許文献５】特開２００３−３１９３６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
サーバから通信装置にデータを送信中にネットワークの通信品質が変動する場合がある。すなわち、サーバが通信装置に送信する画像データのデータ量等をネットワークの通信品質に基づいて決定した後に、ネットワークの通信品質が変動する場合がある。この場合、通信装置が表示画面に画像を表示する際のフレームレートが変動し、通信装置を使用する利用者が体感する品質である体感品質が低下する。
【００１０】
１つの側面では、本発明は、データの送信中にネットワークの通信品質が変動した場合における体感品質の低下を抑制することを目的とする。
【課題を解決するための手段】
【００１１】
１つの実施態様では、他の装置から受信する画像データに基づく画像を表示画面に表示する通信装置は、表示画面に画像を表示するための画像データを他の装置から受ける通信部と、表示画面に画像を表示するための処理を画像データに対して実行する画像処理部と、画像データに基づく画像を表示画面に表示する際のフレームレートである描画フレームレートに基づいて閾値時間を決定する閾値時間決定部と、画像データを受信し始めてから閾値時間以内に受信した画像データに基づく画像を表示画面に表示する表示制御部とを有する。
【００１２】
方法の一観点によれば、他の装置から受信する画像データに基づく画像を表示画面に表示する通信装置が、表示画面に画像を表示するための画像データを他の装置から受け、表示画面に画像を表示するための処理を画像データに対して実行し、画像データに基づく画像を表示画面に表示する際のフレームレートである描画フレームレートに基づいて閾値時間を決定し、画像データを受信し始めてから閾値時間以内に受信した画像データに基づく画像を表示画面に表示する通信方法が提供される。
【発明の効果】
【００１３】
１つの側面では、本発明は、データの送信中にネットワークの通信品質が変動した場合における体感品質の低下を抑制できる。
【図面の簡単な説明】
【００１４】
【図１】通信装置および通信方法の一実施形態を示す図である。
【図２】通信装置および通信方法の別の実施形態を示す図である。
【図３】図２に示したサーバの一例を示す図である。
【図４】図２に示したシンクライアントシステムの処理の概要を示す図である。
【図５】図２に示した通信装置の動作の一例を示す図である。
【図６】図３に示したサーバの動作の一例を示す図である。
【図７】通信装置および通信方法の別の実施形態を示す図である。
【図８】図７に示した通信装置の動作の一例を示す図である。
【図９】図３に示したサーバの変形例を示す図である。
【図１０】図９に示した優先度テーブルの一例を示す図である。
【図１１】図９に示したサーバの動作の一例を示す図である。
【図１２】通信装置を実現するハードウェアの一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、実施形態について、図面を用いて説明する。画像の画像データには、画像と同じ符号を使用する。
【００１６】
図１は、通信装置および通信方法の一実施形態を示す。図１に示す通信装置ＣＯＭＥａは、例えば、ネットワークを介して接続されたサーバＳＥＲＶで生成される画像ＩＭＧを表示画面ＤＩＳに表示するクライアント装置である。例えば、通信装置ＣＯＭＥａは、シンクライアントシステムＴＣＳに用いられるシンクライアント装置等の端末装置である。なお、シンクライアントシステムＴＣＳは、通信システムの一例であり、サーバＳＥＲＶは、他の装置および情報処理装置の一例である。
【００１７】
シンクライアントシステムＴＣＳは、例えば、通信装置ＣＯＭＥａと、通信装置ＣＯＭＥａにネットワークを介して接続されるサーバＳＥＲＶとを有する。なお、通信装置ＣＯＭＥａは、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、通信プログラム等のソフトウェアで制御されるコンピュータが通信装置ＣＯＭＥａの処理を実行してもよい。
【００１８】
図１に示す画像ＩＭＧｓは、例えば、サーバＳＥＲＶ上の仮想マシーンに構築された仮想的なデスクトップ環境のデスクトップ画面の画像ＩＭＧであり、サーバＳＥＲＶで生成される。また、図１に示す画像ＩＭＧｃは、通信装置ＣＯＭＥａの表示画面ＤＩＳに表示される画像ＩＭＧである。図１の括弧内に、通信装置ＣＯＭＥａが画像ＩＭＧｃを表示画面ＤＩＳに表示する際の表示タイミングの一例を示す。図１の括弧内に示すグラフの横軸は、タイマ部ＴＭで計測した経過時間を示し、縦軸は、通信装置ＣＯＭＥａとサーバＳＥＲＶとの間のネットワークの帯域を示す。
【００１９】
通信装置ＣＯＭＥａは、通信部ＣＭｃｌ、画像処理部ＩＰ、閾値時間決定部ＴＨＤａ、タイマ部ＴＭおよび表示制御部ＩＤＣを有する。また、通信装置ＣＯＭＥａは、ディスプレイ等の表示装置に接続される。さらに、通信装置ＣＯＭＥａは、サーバＳＥＲＶにネットワークを介して接続される。そして、通信装置ＣＯＭＥａは、サーバＳＥＲＶから受信する画像データＩＭＧに基づく画像ＩＭＧをディスプレイの表示画面ＤＩＳに表示する。なお、通信装置ＣＯＭＥａは、表示装置を有してもよい。
【００２０】
通信部ＣＭｃｌは、表示画面ＤＩＳに画像を表示するための画像データをサーバＳＥＲＶから受ける。例えば、通信部ＣＭｃｌは、表示画面ＤＩＳのうちの表示内容が更新される更新領域ＵＡ（ＵＡ１、ＵＡ２、ＵＡ３）の画像データをサーバＳＥＲＶから受ける。なお、更新領域ＵＡの画像データは、表示画面ＤＩＳに画像を表示するための画像データの一例である。以下、更新領域ＵＡの画像データは、更新データとも称される。また、更新領域ＵＡの画像データ、すなわち、更新データは、更新領域ＵＡと同じ符号を使用する。また、更新領域ＵＡの画像、すなわち、更新データＵＡに基づく画像は、画像ＵＡとも称され、更新領域ＵＡは、領域ＵＡとも称される。更新領域ＵＡは、例えば、表示内容が更新された画素を含む矩形の領域である。なお、更新領域ＵＡは、矩形に限定されない。
【００２１】
図１に示す例では、利用者による画像の左右反転操作等により、表示画面ＤＩＳのうち、互いに離れた領域ＵＡ１、ＵＡ２、ＵＡ３の表示内容が更新され、領域ＡＲ０の表示内容は変化しない。例えば、サーバＳＥＲＶは、更新データＵＡ１、ＵＡ２、ＵＡ３を、ＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ（Moving Picture Experts Group）等の所定の符号化方式で圧縮する。そして、サーバＳＥＲＶは、圧縮後の更新データＵＡ１、ＵＡ２、ＵＡ３を通信装置ＣＯＭＥａに順次送信する。この場合、通信部ＣＭｃｌは、更新データＵＡ１、ＵＡ２、ＵＡ３の順に、サーバＳＥＲＶから更新データＵＡを受ける。なお、サーバＳＥＲＶは、１つの更新領域ＵＡ（例えば、更新領域ＵＡ３）を複数の領域に分割し、１つの更新領域ＵＡを分割した複数の領域の更新データＵＡを通信装置ＣＯＭＥａに順次送信してもよい。
【００２２】
画像処理部ＩＰは、サーバＳＥＲＶから通信装置ＣＯＭＥａにネットワークを介して送信された更新データＵＡを、通信部ＣＭｃｌから受ける。そして、画像処理部ＩＰは、表示画面ＤＩＳに画像ＩＭＧｃを表示するための処理を、通信部ＣＭｃｌから受けた更新データＵＡに対して実行する。例えば、画像処理部ＩＰは、符号化されたデータを復号する復号処理を、通信部ＣＭｃｌから受けた更新データＵＡに対して実行する。そして、画像処理部ＩＰは、復号後の更新データＵＡを表示制御部ＩＤＣに出力する。
【００２３】
閾値時間決定部ＴＨＤａは、画像データＵＡに基づく画像を表示画面ＤＩＳに表示する際のフレームレートである描画フレームレートに基づいて閾値時間Ｔｔｈを決定する。例えば、閾値時間決定部ＴＨＤａは、１フレーム分の更新データＵＡに基づく画像を表示画面ＤＩＳに表示する際のフレームレートである描画フレームレートに基づいて、表示画面ＤＩＳに画像ＩＭＧｃを表示する間隔の閾値時間Ｔｔｈを決定する。閾値時間Ｔｔｈは、例えば、現在のフレームの更新データＵＡに対する処理を開始してから、現在のフレームの更新データＵＡに基づく画像を表示画面ＤＩＳに表示するまでの待機時間の上限値である。例えば、閾値時間決定部ＴＨＤａは、描画フレームレートの平均を算出する。そして、閾値時間決定部ＴＨＤａは、描画フレームレートの平均から１を減算した値の逆数を、閾値時間Ｔｔｈに決定する。この場合、閾値時間Ｔｔｈは、描画フレームレートの平均Ｆａｖｅを用いて、式（１）で表される。
【００２４】
Ｔｔｈ＝１／（Ｆａｖｅ−１）  ‥‥（１）
なお、閾値時間Ｔｔｈの算出方法は、式（１）に限定されない。例えば、閾値時間決定部ＴＨＤａは、０より大きく１以下の定数と描画フレームレートの平均Ｆａｖｅとの乗算結果の逆数を、閾値時間Ｔｔｈに決定してもよい。あるいは、閾値時間決定部ＴＨＤａは、描画フレームレートの逆数で表される描画フレーム期間の平均を算出し、１以上の定数と描画フレーム期間の平均との乗算結果を閾値時間Ｔｔｈに決定してもよい。また、閾値時間決定部ＴＨＤａは、描画フレーム期間の平均から所定の定数を加算した結果を、閾値時間Ｔｔｈに決定してもよい。また、閾値時間決定部ＴＨＤａは、図示しないキーボード、マウス等の入力装置の操作に関する操作情報からカーソルの移動速度等の操作速度を算出し、操作速度と描画フレームレートとに基づいて閾値時間Ｔｔｈを決定してもよい。
【００２５】
タイマ部ＴＭは、１フレーム分の更新データＵＡ（ＵＡ１、ＵＡ２、ＵＡ３）のうちの最初の更新データＵＡ１の受信に応答して、経過時間の計測を開始する。例えば、通信部ＣＭｃｌは、タイマ部ＴＭのタイマを開始させる制御信号を、更新データＵＡ１の受信に応答して、タイマ部ＴＭに出力する。これにより、タイマ部ＴＭは、経過時間の計測を開始する。なお、タイマ部ＴＭは、タイマ部ＴＭのタイマを開始させる制御信号を、通信部ＣＭｃｌ以外のモジュールから受けてもよい。例えば、画像処理部ＩＰが、更新データＵＡ１に対する復号処理の開始に応答して、タイマ部ＴＭのタイマを開始させる制御信号をタイマ部ＴＭに出力してもよい。
【００２６】
表示制御部ＩＤＣは、画像データＵＡを受信し始めてから閾値時間Ｔｔｈ以内に受信した画像データＵＡに基づく画像を表示画面ＤＩＳに表示する。例えば、表示制御部ＩＤＣは、タイマ部ＴＭで計測した経過時間に関する経過情報を、タイマ部ＴＭから受け、閾値時間Ｔｔｈに関する閾値時間情報を閾値時間決定部ＴＨＤａから受ける。タイマ部ＴＭで計測する経過時間は、例えば、上述したように、通信部ＣＭｃｌが更新データＵＡ１を受信してからの経過時間である。
【００２７】
また、表示制御部ＩＤＣは、復号後の更新データＵＡを画像処理部ＩＰから受ける。そして、表示制御部ＩＤＣは、１フレーム分の更新データＵＡ（ＵＡ１、ＵＡ２、ＵＡ３）のうちの最後の更新データＵＡ３に対する処理（例えば、復号処理）の終了に応答して、１フレーム分の更新データＵＡに基づく画像ＩＭＧｃを表示画面ＤＩＳに表示する。なお、表示制御部ＩＤＣは、タイマ部ＴＭで計測した経過時間が閾値時間Ｔｔｈに達するまでに、最後の更新データＵＡ３に対する処理が終了しない場合、閾値時間Ｔｔｈ毎に、処理が終了した更新データＵＡに基づく画像ＵＡを表示画面ＤＩＳに表示する。
【００２８】
例えば、図１に示すケースＡでは、通信部ＣＭｃｌが更新データＵＡ１を受信してからの経過時間が閾値時間Ｔｔｈに達するまでに、１フレーム分の全ての更新データＵＡ１、ＵＡ２、ＵＡ３に対する復号処理は、終了する。この場合、表示制御部ＩＤＣは、最後の更新データＵＡ３に対する復号処理の終了に応答して、１フレーム分の全ての更新データＵＡ１、ＵＡ２、ＵＡ３に基づく画像ＵＡ１、ＵＡ２、ＵＡ３を表示画面ＤＩＳの更新領域ＵＡ１、ＵＡ２、ＵＡ３に表示する。これにより、表示画面ＤＩＳに表示される画像ＩＭＧｃは、画像ＩＭＧｃ０から画像ＩＭＧｃ２に更新される。なお、図１の括弧内に示す画像ＩＭＧｃ０は、更新前の表示画面ＤＩＳに表示されている画像であり、画像ＩＭＧｃ２は、更新後の表示画面ＤＩＳに表示されている画像である。
【００２９】
これに対し、図１に示すケースＢでは、通信装置ＣＯＭＥａとサーバＳＥＲＶとの間のネットワークの帯域がケースＡに比べて低下し、サーバＳＥＲＶから送信された各更新データＵＡが通信装置ＣＯＭＥａに到達するまでに掛かる時間がケースＡに比べて増加する。
【００３０】
このため、図１に示すケースＢでは、通信部ＣＭｃｌが更新データＵＡ１を受信してからの経過時間が閾値時間Ｔｔｈに達するまでに、更新データＵＡ１、ＵＡ２に対する復号処理は終了しているが、更新データＵＡ３に対する復号処理は、終了していない。この場合、表示制御部ＩＤＣは、経過時間が閾値時間Ｔｔｈに達した時点で、復号処理が終了した更新データＵＡ１、ＵＡ２に基づく画像ＵＡ１、ＵＡ２を表示画面ＤＩＳの更新領域ＵＡ１、ＵＡ２に表示する。これにより、表示画面ＤＩＳに表示される画像ＩＭＧｃは、画像ＩＭＧｃ０から画像ＩＭＧｃ１に更新される。図１の括弧内に示す画像ＩＭＧｃ１は、更新領域ＵＡ１、ＵＡ２、ＵＡ３のうちの更新領域ＵＡ１、ＵＡ２のみが更新された画像であり、更新途中に表示画面ＤＩＳに表示されている画像である。
【００３１】
なお、更新データＵＡ３に対する復号処理は、経過時間が閾値時間Ｔｔｈに達した後も、画像処理部ＩＰにより継続して実行される。そして、表示制御部ＩＤＣは、最後の更新データＵＡ３に対する復号処理の終了に応答して、表示画面ＤＩＳの更新領域ＵＡ１、ＵＡ２、ＵＡ３のうちの未更新の更新領域ＵＡ３に、更新データＵＡ３に基づく画像ＵＡ３を表示する。これにより、表示画面ＤＩＳに表示される画像ＩＭＧｃは、画像ＩＭＧｃ１から画像ＩＭＧｃ２に更新される。すなわち、１フレーム分の画像ＩＭＧｃの更新が終了する。
【００３２】
ここで、例えば、閾値時間Ｔｔｈを用いない従来の手法では、ネットワークのデータ転送速度等の通信品質が低下した場合（図１のケースＢ）、更新途中の画像ＩＭＧｃ１が表示画面ＤＩＳに表示されない。このため、従来の手法では、更新データＵＡの送信中にネットワークの通信品質が低下した場合、表示画面ＤＩＳに画像ＩＭＧｃを表示する間隔が増加し、通信装置を使用する利用者が体感する品質である体感品質が低下する。
【００３３】
これに対し、通信装置ＣＯＭＥａでは、上述したように、経過時間が閾値時間Ｔｔｈに達した時点で、復号処理が終了した更新データＵＡに基づく画像ＵＡを表示画面ＤＩＳに表示する。このため、通信装置ＣＯＭＥａは、サーバＳＥＲＶから通信装置ＣＯＭＥａへの更新データＵＡの送信中にネットワークの通信品質が低下した場合でも、表示画面ＤＩＳに画像ＩＭＧｃを表示する間隔が増加することを抑制でき、体感品質の低下を抑制できる。
【００３４】
なお、通信装置ＣＯＭＥａの構成および動作は、図１に示す例に限定されない。例えば、画像データＵＡを受信し始めてからの経過時間を表示制御部ＩＤＣが計測してもよい。この場合、タイマ部ＴＭは省かれてもよい。
【００３５】
以上、図１に示す実施形態では、通信装置ＣＯＭＥａは、表示画面ＤＩＳに画像を表示するための画像データＵＡを他の装置（例えば、サーバＳＥＲＶ）から受ける。そして、通信装置ＣＯＭＥａは、表示画面ＤＩＳに画像ＩＭＧｃを表示するための処理を画像データＵＡに対して実行する。また、通信装置ＣＯＭＥａは、画像データＵＡに基づく画像を表示画面ＤＩＳに表示する際のフレームレートである描画フレームレートに基づいて閾値時間を決定する。そして、通信装置ＣＯＭＥａは、画像データＵＡを受信し始めてから閾値時間Ｔｔｈ以内に受信した画像データＵＡに基づく画像ＵＡを表示画面ＤＩＳに表示する。
【００３６】
これにより、例えば、サーバＳＥＲＶ等の他の装置から通信装置ＣＯＭＥａに画像データＵＡを送信している最中にネットワークの通信品質が低下した場合でも、表示画面ＤＩＳに画像ＩＭＧｃを表示する間隔の増加を抑制することができる。この結果、データの送信中にネットワークの通信品質が変動した場合における体感品質の低下を抑制することができる。
【００３７】
図２は、通信装置および通信方法の別の実施形態を示す。図１で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図２に示す通信装置ＣＯＭＥｂでは、転送速度推定部ＴＳＥｃｌ、操作情報取得部ＨＩＡｃｌおよび操作速度算出部ＨＳＣが図１に示した通信装置ＣＯＭＥａに追加される。また、通信装置ＣＯＭＥｂは、図１に示した閾値時間決定部ＴＨＤａの代わりに閾値時間決定部ＴＨＤｂを有する。通信装置ＣＯＭＥｂのその他の構成は、図１に示した通信装置ＣＯＭＥａと同一または同様である。
【００３８】
例えば、通信装置ＣＯＭＥｂは、シンクライアントシステムＴＣＳに用いられるシンクライアント装置等の端末装置である。シンクライアントシステムＴＣＳは、図１に示した通信装置ＣＯＭＥａの代わりに通信装置ＣＯＭＥｂを有することを除いて、図１に示したシンクライアントシステムＴＣＳと同一または同様である。なお、通信装置ＣＯＭＥｂは、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、通信プログラム等のソフトウェアで制御されるコンピュータが通信装置ＣＯＭＥｂの処理を実行してもよい。
【００３９】
通信装置ＣＯＭＥｂは、転送速度推定部ＴＳＥｃｌ、操作情報取得部ＨＩＡｃｌ、操作速度算出部ＨＳＣ、通信部ＣＭｃｌ、画像処理部ＩＰ、閾値時間決定部ＴＨＤｂ、タイマ部ＴＭおよび表示制御部ＩＤＣを有する。また、通信装置ＣＯＭＥｂは、キーボード、マウス等の入力装置ＩＮＤと、ディスプレイ等の表示装置とに接続される。さらに、通信装置ＣＯＭＥｂは、サーバＳＥＲＶにネットワークを介して接続される。なお、通信装置ＣＯＭＥｂは、表示装置および入力装置ＩＮＤを有してもよい。
【００４０】
転送速度推定部ＴＳＥｃｌは、通信部ＣＭｃｌで受信したデータのサイズ、受信時間等から受信時のネットワークのデータ転送速度を推定する。操作情報取得部ＨＩＡｃｌは、利用者による操作を受け付けるキーボード、マウス等の入力装置ＩＮＤから操作に関する操作情報ＨＩＮＦを取得する。
【００４１】
操作速度算出部ＨＳＣは、操作情報取得部ＨＩＡｃｌで取得した操作情報ＨＩＮＦを継続的に計測し、キーをタッチする頻度（キー入力頻度）、マウスをクリックする時間間隔、カーソルの移動速度等の操作速度を算出する。このように、操作速度算出部ＨＳＣは、操作情報取得部ＨＩＡｃｌで取得した操作情報ＨＩＮＦに基づいて操作速度を算出する。
【００４２】
通信部ＣＭｃｌは、図１に示した通信部ＣＭｃｌと同一または同様である。例えば、通信部ＣＭｃｌは、サーバＳＥＲＶから更新データＵＡを受信する。また、通信部ＣＭｃｌは、操作情報取得部ＨＩＡｃｌで取得した操作情報ＨＩＮＦをサーバＳＥＲＶに送信する。
【００４３】
画像処理部ＩＰは、図１に示した画像処理部ＩＰと同一または同様である。例えば、画像処理部ＩＰは、通信部ＣＭｃｌで受信した更新データＵＡを取得し、復号処理等を更新データＵＡに対して実行する。
【００４４】
閾値時間決定部ＴＨＤｂは、操作速度算出部ＨＳＣで算出した操作速度を閾値時間Ｔｔｈの決定に用いることを除いて、図１に示した閾値時間決定部ＴＨＤａと同一または同様である。例えば、閾値時間決定部ＴＨＤｂは、操作速度算出部ＨＳＣで算出した操作速度に関する操作速度情報を取得する。そして、閾値時間決定部ＴＨＤｂは、描画フレームレートと操作速度算出部ＨＳＣで算出した操作速度とに基づいて、閾値時間Ｔｔｈを決定する。
【００４５】
例えば、閾値時間決定部ＴＨＤｂは、操作速度が所定値以下の場合、閾値時間Ｔｔｈとして、第１の閾値時間Ｔｔｈを算出する。第１の閾値時間Ｔｔｈは、例えば、図５で説明する式（５）等を用いて、算出される。また、閾値時間決定部ＴＨＤｂは、操作速度が所定値を超えている場合、閾値時間Ｔｔｈとして、第１の閾値時間Ｔｔｈより小さい第２の閾値時間Ｔｔｈを算出する。閾値時間Ｔｔｈの算出方法の詳細は、図５で説明する。
【００４６】
なお、所定値は、操作速度の種類（例えば、キー入力頻度、マウスをクリックする時間間隔、カーソルの移動速度等）毎に予め決められてもよいし、操作速度の複数の種類で共通の値に予め設定されてもよい。所定値が操作速度の複数の種類で共通の値に予め設定される場合、例えば、操作速度算出部ＨＳＣは、操作速度の複数の種類で正規化して基準を統一した操作速度を算出する。
【００４７】
タイマ部ＴＭは、図１に示したタイマ部ＴＭと同一または同様である。例えば、タイマ部ＴＭは、現在のフレームの処理開始時点からの経過時間を計測する。現在のフレームの処理開始時点は、例えば、現在のフレームの最初の更新データＵＡを通信部ＣＭｃｌが受信した時点でもよいし、現在のフレームの最初の更新データＵＡに対する復号処理を画像処理部ＩＰが開始した時点でもよい。
【００４８】
表示制御部ＩＤＣは、図１に示した表示制御部ＩＤＣと同一または同様である。例えば、表示制御部ＩＤＣは、タイマ部ＴＭで計測した現在のフレームの経過時間（処理時間の合計値）が閾値時間Ｔｔｈより大きいが否かを判定する。そして、表示制御部ＩＤＣは、経過時間が閾値時間Ｔｔｈより大きい場合、現時点までの更新データＵＡに対する処理結果（復号後の更新データＵＡ）を利用して、画面表示内容を部分的に更新する。なお、処理中の更新データＵＡおよび未処理の更新データＵＡ等の残りの更新データＵＡに対する処理は、経過時間が閾値時間Ｔｔｈを超えた後も継続して実行される。したがって、表示制御部ＩＤＣは、残りの更新データＵＡに基づく画像ＵＡを、経過時間が再び閾値時間Ｔｔｈを超えた場合、または、最後の更新データＵＡに対する処理が終了した場合に、表示画面ＤＩＳに表示する。
【００４９】
なお、通信装置ＣＯＭＥｂの構成は、図２に示す例に限定されない。例えば、転送速度推定部ＴＳＥｃｌは、通信装置ＣＯＭＥｂから省かれてもよい。あるいは、閾値時間決定部ＴＨＤｂは、ネットワークのデータ転送速度の変化の傾向も考慮して、閾値時間Ｔｔｈを算出してもよい。
【００５０】
図３は、図２に示したサーバＳＥＲＶの一例を示す。サーバＳＥＲＶは、例えば、仮想マシーンを生成し、仮想的なデスクトップ環境を仮想マシーン上に構築する。例えば、サーバＳＥＲＶは、実行部ＯＳＥ、表示画面生成部ＤＳＧ、フレームバッファＦＢＵＦ、画面更新通知部ＤＵＡ、更新データ生成部ＵＤＧ、画像種別判定部ＩＴＤａ、送信時間推定部ＳＴＥ、分割部ＤＩＶおよび送信順序決定部ＳＯＤを有する。さらに、サーバＳＥＲＶは、圧縮部ＣＯＭＰ、通信部ＣＭｓｖ、操作情報取得部ＨＩＡｓｖおよび転送速度推定部ＴＳＥｓｖを有する。
【００５１】
実行部ＯＳＥは、仮想的なデスクトップ環境上で利用されるオペレーティングシステムを実行し、デスクトップ画面の表示内容を生成する。そして、実行部ＯＳＥは、デスクトップ画面の表示内容に関する画像情報である画像データＩＭＧｓを表示画面生成部ＤＳＧに出力する。
【００５２】
表示画面生成部ＤＳＧは、通信装置ＣＯＭＥｂからサーバＳＥＲＶに送信された操作情報ＨＩＮＦを操作情報取得部ＨＩＡｓｖから取得し、操作情報取得部ＨＩＡｓｖから取得した操作情報ＨＩＮＦを実行部ＯＳＥに出力する。これにより、操作情報ＨＩＮＦに基づく処理が実行部ＯＳＥで実行される。そして、表示画面生成部ＤＳＧは、実行部ＯＳＥで実行した処理により生成されるデスクトップ画面の画像データＩＭＧｓを、実行部ＯＳＥから取得する。また、表示画面生成部ＤＳＧは、実行部ＯＳＥから取得したデスクトップ画面の画像データＩＭＧｓを、フレームバッファＦＢＵＦに書き込む。
【００５３】
フレームバッファＦＢＵＦは、表示画面生成部ＤＳＧから受けるデスクトップ画面の画像データＩＭＧｓを保持する。画面更新通知部ＤＵＡは、デスクトップ画面の現在のフレームの画像データＩＭＧｓを直前のフレームの画像データＩＭＧｓと比較し、更新領域ＵＡの有無を判定する。そして、画面更新通知部ＤＵＡは、更新領域ＵＡの有無を示す情報を更新データ生成部ＵＤＧに通知する。
【００５４】
更新データ生成部ＵＤＧは、通信装置ＣＯＭＥｂ側の表示画面ＤＩＳに画像を表示するための画像データＵＡを生成する画像データ生成部の一例である。例えば、更新データ生成部ＵＤＧは、更新領域ＵＡが存在することを示す情報を画面更新通知部ＤＵＡから受けた場合、デスクトップ画面の表示領域から更新領域ＵＡを特定し、更新領域ＵＡの画像データである更新データＵＡを生成する。すなわち、更新データ生成部ＵＤＧは、通信装置ＣＯＭＥｂ側の表示画面ＤＩＳのうちの表示内容が更新される更新領域ＵＡの画像データである更新データＵＡを生成する。
【００５５】
画像種別判定部ＩＴＤａは、更新データ生成部ＵＤＧが更新データＵＡを生成した場合、更新データＵＡの画像種別を判定する。画像種別は、例えば、動画、静止画等である。例えば、画像種別判定部ＩＴＤａは、更新データＵＡが動画の場合、更新データＵＡを圧縮部ＣＯＭＰに転送し、更新データＵＡが静止画の場合、更新データＵＡを分割部ＤＩＶに転送する。
【００５６】
送信時間推定部ＳＴＥは、更新データ生成部ＵＤＧで生成した更新領域ＵＡのデータ量と、画像の圧縮率と、転送速度推定部ＴＳＥｓｖで推定したデータ転送速度とに基づいて、現在のフレームの更新データＵＡの送信が終了するまでに掛かる送信時間を推定する。
【００５７】
分割部ＤＩＶは、送信時間推定部ＳＴＥで推定した送信時間が予め決められた閾値よりも大きい場合、閾値以内に送信が完了するようなデータ量に更新データＵＡを分割する。そして、分割部ＤＩＶは、分割した更新データＵＡを、送信順序決定部ＳＯＤを介して圧縮部ＣＯＭＰに出力する。なお、分割部ＤＩＶは、送信時間推定部ＳＴＥで推定した送信時間が閾値以下の場合、更新データ生成部ＵＤＧで生成した更新データＵＡを分割せずに圧縮部ＣＯＭＰに出力する。
【００５８】
送信順序決定部ＳＯＤは、分割部ＤＩＶで分割した各更新領域ＵＡの更新データＵＡを送信する順序を決定する。圧縮部ＣＯＭＰは、ＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ（Moving Picture Experts Group）等の所定の符号化方式で更新データＵＡを圧縮し、圧縮後の更新データＵＡを通信部ＣＭｓｖに出力する。例えば、圧縮部ＣＯＭＰは、分割部ＤＩＶから受ける静止画の更新データＵＡをＪＰＥＧ方式で圧縮し、画像種別判定部ＩＴＤａから受ける動画の更新データＵＡをＭＰＥＧ方式で圧縮する。
【００５９】
通信部ＣＭｓｖは、各更新領域ＵＡの圧縮後の更新データＵＡを通信装置ＣＯＭＥｂにネットワークを介して送信する。また、通信部ＣＭｓｖは、通信装置ＣＯＭＥｂからネットワークを介して操作情報ＨＩＮＦを受信し、受信した操作情報ＨＩＮＦを操作情報取得部ＨＩＡｓｖに出力する。操作情報取得部ＨＩＡｓｖは、通信部ＣＭｓｖから受けた操作情報ＨＩＮＦを表示画面生成部ＤＳＧに出力する。転送速度推定部ＴＳＥｓｖは、通信部ＣＭｓｖが通信装置ＣＯＭＥｂに送信したデータのサイズ、送信時間等からネットワークのデータ転送速度を推定する。なお、サーバＳＥＲＶの構成は、図３に示す例に限定されない。
【００６０】
図４は、図２に示したシンクライアントシステムＴＣＳの処理の概要を示す。すなわち、図４は、図２に示した通信装置ＣＯＭＥｂおよびサーバＳＥＲＶの処理の概要を示す。なお、図４に示す処理は、ハードウェアのみで実現されてもよく、ハードウェアを通信プログラム等のソフトウェアで制御することにより実現されてもよい。すなわち、通信プログラムで制御されるコンピュータが図４に示す処理を実行してもよい。
【００６１】
先ず、処理Ｐ１０において、通信装置ＣＯＭＥｂは、目標描画フレームレートＦｔａｒを予め設定し、処理Ｐ２０において、サーバＳＥＲＶは、最大送信フレームレートＦｍａｘを予め設定する。
【００６２】
次に、サーバＳＥＲＶは、処理Ｐ２１において、最大送信フレームレートＦｍａｘに対応する時間間隔で、デスクトップ画面の１フレーム分の更新データＵＡを生成し、生成した１フレーム分の更新データＵＡを通信装置ＣＯＭＥｂに送信する。例えば、サーバＳＥＲＶは、最大送信フレームレートＦｍａｘの逆数で表される最大フレーム期間が経過する度に、フレームバッファＦＢＵＦに保持された現在のフレームの画像データＩＭＧｓと直前のフレームの画像データＩＭＧｓとを比較する。そして、サーバＳＥＲＶは、比較結果に基づいて更新データＵＡを生成する。また、サーバＳＥＲＶは、更新データＵＡを生成した場合、すなわち、デスクトップ画面に更新領域ＵＡが存在する場合、更新データＵＡを通信装置ＣＯＭＥｂに送信する。
【００６３】
一方、通信装置ＣＯＭＥｂは、処理Ｐ１１において、利用者による操作を受け付けるキーボード、マウス等の入力装置ＩＮＤから操作に関する操作情報ＨＩＮＦを取得し、入力装置ＩＮＤから取得した操作情報ＨＩＮＦをサーバＳＥＲＶに送信する。また、通信装置ＣＯＭＥｂは、処理Ｐ１２において、操作情報ＨＩＮＦを継続的に計測し、キーをタッチする頻度（キー入力頻度）、マウスをクリックする時間間隔、カーソルの移動速度等の操作速度を算出する。なお、処理Ｐ１１、Ｐ１２を含む入力イベント処理は、例えば、入力装置ＩＮＤが操作される度に実行される。
【００６４】
通信装置ＣＯＭＥｂが処理Ｐ１１を実行することより、サーバＳＥＲＶは、処理Ｐ２２において、操作情報ＨＩＮＦを通信装置ＣＯＭＥｂから受信する。そして、サーバＳＥＲＶは、処理Ｐ２３において、操作情報ＨＩＮＦに基づく処理を実行してデスクトップ画面の画像データＩＭＧｓを生成する。また、サーバＳＥＲＶは、処理Ｐ２４において、デスクトップ画面の画像データＩＭＧｓをフレームバッファＦＢＵＦに格納する。処理Ｐ２４によりフレームバッファＦＢＵＦに保持された画像データＩＭＧｓは、上述した処理Ｐ１２で、参照される。したがって、操作情報ＨＩＮＦに基づく処理により生成されたデスクトップ画面のうちの更新領域ＵＡの画像データ（更新データＵＡ）は、処理Ｐ２１で、通信装置ＣＯＭＥｂに送信される。
【００６５】
通信装置ＣＯＭＥｂは、処理Ｐ１３において、１フレーム分の更新データＵＡをサーバＳＥＲＶから更新データＵＡ毎に受信して処理するとともに、現在のフレームの処理開始時点からの経過時間を計測する。
【００６６】
また、通信装置ＣＯＭＥｂは、処理Ｐ１４において、描画フレームレートの平均Ｆａｖｅと操作速度とに基づいて閾値時間Ｔｔｈを算出する。例えば、通信装置ＣＯＭＥｂは、処理Ｐ１２で算出した最新の操作速度が所定値以下の場合、図５で説明する式（５）等を用いて、閾値時間Ｔｔｈを算出する。また、通信装置ＣＯＭＥｂは、操作速度が所定値を超えている場合、例えば、図５で説明する式（５）から算出される値に比べて、所定値に対する操作速度の超過分に応じた値だけ小さくなるように、閾値時間Ｔｔｈを算出する。なお、閾値時間Ｔｔｈの算出方法の詳細は、図５で説明する。
【００６７】
そして、通信装置ＣＯＭＥｂは、処理Ｐ１５において、更新データＵＡを用いて、表示画面ＤＩＳの表示内容を更新する。例えば、通信装置ＣＯＭＥｂは、経過時間が閾値時間Ｔｔｈに達するまでに、１フレーム分の全ての更新データＵＡの処理が終了する場合、最後の更新データＵＡの処理が終了した時点で、全ての更新領域ＵＡの画像ＵＡをまとめて表示画面ＤＩＳに表示する。また、通信装置ＣＯＭＥｂは、経過時間が閾値時間Ｔｔｈに達するまでに、１フレーム分の更新データＵＡの処理が終了しない場合、閾値時間Ｔｔｈまでに処理が終了した更新データＵＡを利用して、表示画面ＤＩＳを部分的に更新する。そして、通信装置ＣＯＭＥｂは、表示画面ＤＩＳを部分的に更新してからの経過時間が閾値時間Ｔｔｈに達する度に表示画面ＤＩＳを部分的に更新し、表示画面ＤＩＳを部分的に更新する処理を現在のフレームの更新領域ＵＡを全て更新するまで繰り返す。
【００６８】
なお、通信装置ＣＯＭＥｂ側では、処理Ｐ１３、Ｐ１４、Ｐ１５を含む画面表示処理は、処理Ｐ１１、Ｐ１２を含む入力イベント処理と並列に実行される。また、サーバＳＥＲＶ側では、処理Ｐ２１を含む画面送信処理は、処理Ｐ２２、Ｐ２３、Ｐ２４を含む入力イベント処理と並列に実行される。
【００６９】
図５は、図２に示した通信装置ＣＯＭＥｂの動作の一例を示す。なお、図５は、表示画面ＤＩＳの表示内容を前回のフレームの表示内容から現在のフレームの表示内容に更新する際の通信装置ＣＯＭＥｂの動作の一例を示す。例えば、図５に示す動作は、図４に示した処理Ｐ１３、Ｐ１４、Ｐ１５を含む画面表示処理を実行する際の通信装置ＣＯＭＥｂの動作に対応する。図５に示す動作は、通信装置による通信方法の一態様である。例えば、図５に示す動作は、ハードウェアのみで実現されてもよく、ハードウェアを通信プログラム等のソフトウェアで制御することにより実現されてもよい。すなわち、通信プログラムで制御されるコンピュータが図５に示す動作を実行してもよい。なお、図４で説明したように、操作速度を算出する処理は、図５に示す動作とは別に実行される。
【００７０】
ステップＳ１００では、通信部ＣＭｃｌは、サーバＳＥＲＶから更新データＵＡを受信したか否かを判定する。サーバＳＥＲＶから更新データＵＡを受信した場合、通信装置ＣＯＭＥｂの動作は、ステップＳ２００に移る。一方、サーバＳＥＲＶから更新データＵＡを受信していない場合、通信装置ＣＯＭＥｂの動作は、ステップＳ１００に戻る。すなわち、通信装置ＣＯＭＥｂは、１フレーム分の最初の更新データＵＡを受信するまで、ステップＳ２００の処理の実行を待機する。
【００７１】
ステップＳ２００では、タイマ部ＴＭは、経過時間の計測を開始する。これにより、現在のフレームの処理開始時点からの経過時間が計測される。
【００７２】
次に、ステップＳ３００では、閾値時間決定部ＴＨＤｂは、操作速度が所定値を超えているか否かを判定する。操作速度が所定値を超えている場合、通信装置ＣＯＭＥｂの動作は、ステップＳ３１０に移る。一方、操作速度が所定値以下の場合、通信装置ＣＯＭＥｂの動作は、ステップＳ３３０に移る。
【００７３】
ステップＳ３１０では、閾値時間決定部ＴＨＤｂは、描画フレームレートの平均Ｆａｖｅと目標描画フレームレートＦｔａｒとのうちの大きい方を、閾値時間Ｔｔｈの算出に使用するフレームレートＦｓｔｄに決定する。例えば、閾値時間決定部ＴＨＤｂは、描画フレームレートの平均Ｆａｖｅが２１ｆｐｓ（frame per second）で、目標描画フレームレートＦｔａｒが２０ｆｐｓの場合、閾値時間Ｔｔｈの算出に使用するフレームレートＦｓｔｄを２１ｆｐｓに決定する。
【００７４】
次に、ステップＳ３２０では、閾値時間決定部ＴＨＤｂは、以下に示す式（２）を満たすように、閾値時間Ｔｔｈを算出する。すなわち、閾値時間決定部ＴＨＤｂは、操作速度が所定値以下の場合にステップＳ３４０で算出する閾値時間Ｔｔｈより小さくなるように、閾値時間Ｔｔｈを算出する。
【００７５】
Ｔｔｈ＜１／（Ｆｓｔｄ−１）  ‥‥（２）
例えば、閾値時間決定部ＴＨＤｂは、以下に示す式（３）を用いて、閾値時間Ｔｔｈを算出する。
【００７６】
Ｔｔｈ＝１／（Ｆｓｔｄ＋１）  ‥‥（３）
例えば、フレームレートＦｓｔｄが２１ｆｐｓの場合、式（３）から算出される閾値時間Ｔｔｈは、約４５ミリ秒であり、５０ミリ秒（＝１／（Ｆｓｔｄ−１））より小さい。
【００７７】
あるいは、閾値時間決定部ＴＨＤｂは、所定値に対する操作速度の比率と所定の定数との乗算結果に応じて、閾値時間Ｔｔｈを算出してもよい。この場合、例えば、閾値時間Ｔｔｈは、所定値に対する操作速度の比率αおよび所定の定数βを用いて、式（４）で表される。
【００７８】
Ｔｔｈ＝１／（（１＋α・β）・Ｆｓｔｄ）  ‥‥（４）
例えば、マウスによるカーソルの操作速度が２００ピクセル／秒で、所定値が１００ピクセル／秒で、所定の定数βが０．１の場合、比率αと所定の定数βとの積は、０．２である。したがって、フレームレートＦｓｔｄが２１ｆｐｓの場合、式（４）から算出される閾値時間Ｔｔｈは、約４０ミリ秒であり、５０ミリ秒（＝１／（Ｆｓｔｄ−１））より小さい。
【００７９】
なお、操作速度が所定値を超えている場合の閾値時間Ｔｔｈの算出方法は、式（３）および式（４）に限定されない。例えば、閾値時間決定部ＴＨＤｂは、描画フレームレートの逆数で表される描画フレーム期間の平均と目標描画フレームレートＦｔａｒの逆数とのうちの小さい方を、算出用フレーム期間に決定する。そして、閾値時間決定部ＴＨＤｂは、算出用フレーム期間と０より大きく１以下の定数との乗算結果を閾値時間Ｔｔｈに決定してもよい。また、閾値時間決定部ＴＨＤｂは、算出用フレーム期間から所定の定数を減算した結果を、閾値時間Ｔｔｈに決定してもよい。
【００８０】
ステップＳ３２０の処理が実行された後、通信装置ＣＯＭＥｂの動作は、ステップＳ４００およびステップＳ５００に移る。すなわち、ステップＳ３２０の処理が実行された後、ステップＳ４００からステップＳ４５０までの一連の処理である復号処理と、ステップＳ５００からステップＳ５２０までの一連の処理である途中画面表示処理とが並列に実行される。
【００８１】
ステップＳ３３０では、閾値時間決定部ＴＨＤｂは、ステップＳ３１０と同様に、描画フレームレートの平均Ｆａｖｅと目標描画フレームレートＦｔａｒとのうちの大きい方を、閾値時間Ｔｔｈの算出に使用するフレームレートＦｓｔｄに決定する。
【００８２】
次に、ステップＳ３４０では、閾値時間決定部ＴＨＤｂは、以下に示す式（５）を用いて、閾値時間Ｔｔｈを算出する。
【００８３】
Ｔｔｈ＝１／（Ｆｓｔｄ−１）  ‥‥（５）
例えば、フレームレートＦｓｔｄが２１ｆｐｓの場合、式（５）から算出される閾値時間Ｔｔｈは、５０ミリ秒である。なお、操作速度が所定値以下の場合の閾値時間Ｔｔｈの算出方法は、式（５）に限定されない。例えば、閾値時間決定部ＴＨＤｂは、算出用フレーム期間と１以上の定数との乗算結果を閾値時間Ｔｔｈに決定してもよいし、算出用フレーム期間から所定の定数を加算した結果を閾値時間Ｔｔｈに決定してもよい。
【００８４】
ここで、ステップＳ３４０で算出される閾値時間Ｔｔｈは、第１の閾値時間の一例であり、ステップＳ３２０で算出される閾値時間Ｔｔｈは、第１の閾値時間より小さい第２の閾値時間の一例である。
【００８５】
ステップＳ３４０の処理が実行された後、通信装置ＣＯＭＥｂの動作は、ステップＳ４００およびステップＳ５００に移る。すなわち、閾値時間Ｔｔｈが決定した後、ステップＳ４００からステップＳ４５０までの復号処理と、ステップＳ５００からステップＳ５２０までの途中画面表示処理とが並列に実行される。
【００８６】
ステップＳ４００では、画像処理部ＩＰは、サーバＳＥＲＶから受信した更新データＵＡが動画か否かを判定する。更新データＵＡが動画である場合、通信装置ＣＯＭＥｂの動作は、ステップＳ４１０に移る。一方、更新データＵＡが動画でない場合、すなわち、更新データＵＡが静止画である場合、通信装置ＣＯＭＥｂの動作は、ステップＳ４２０に移る。
【００８７】
ステップＳ４１０では、画像処理部ＩＰは、更新データＵＡに対して、動画の復号処理を実行する。これにより、動画の更新データＵＡが復号される。ステップＳ４１０の処理が実行された後、通信装置ＣＯＭＥｂの動作は、ステップＳ４３０に移る。
【００８８】
ステップＳ４２０では、画像処理部ＩＰは、更新データＵＡに対して、静止画の復号処理を実行する。これにより、静止画の更新データＵＡが復号される。ステップＳ４２０の処理が実行された後、通信装置ＣＯＭＥｂの動作は、ステップＳ４３０に移る。
【００８９】
ステップＳ４３０では、画像処理部ＩＰは、復号後の更新データＵＡを保持する。例えば、画像処理部ＩＰは、復号後の更新データＵＡをメモリ等の記憶部に格納する。
【００９０】
次に、ステップＳ４４０では、画像処理部ＩＰは、１フレーム分の最後の更新データＵＡを復号したか否かを判定する。１フレーム分の最後の更新データＵＡが復号された場合、通信装置ＣＯＭＥｂの動作は、ステップＳ６００に移る。一方、１フレーム分の最後の更新データＵＡが復号されていない場合、通信装置ＣＯＭＥｂの動作は、ステップＳ４５０に移る。
【００９１】
ステップＳ４５０では、通信部ＣＭｃｌは、次の更新データＵＡをサーバＳＥＲＶから受信したか否かを判定する。例えば、図１に示した１フレーム分の更新データＵＡ１、ＵＡ２、ＵＡ３のうち、更新データＵＡ２に対する復号処理が終了した後に実行されるステップＳ４５０では、通信部ＣＭｃｌは、更新データＵＡ３をサーバＳＥＲＶから受信したか否かを判定する。次の更新データＵＡをサーバＳＥＲＶから受信した場合、通信装置ＣＯＭＥｂの動作は、ステップＳ４００に戻る。一方、次の更新データＵＡをサーバＳＥＲＶから受信していない場合、通信装置ＣＯＭＥｂの動作は、ステップＳ４５０に戻る。
【００９２】
ステップＳ５００では、表示制御部ＩＤＣは、タイマ部ＴＭにより計測される経過時間が閾値時間Ｔｔｈ以上か否かを判定する。タイマ部ＴＭにより計測される経過時間が閾値時間Ｔｔｈ以上である場合、通信装置ＣＯＭＥｂの動作は、ステップＳ５１０に移る。すなわち、現在のフレームの処理開始時点（ステップＳ２００の処理の開始時点）からの経過時間が閾値時間Ｔｔｈに達するまでに、最後の更新データＵＡが復号されない場合、ステップＳ５１０の処理が実行される。
【００９３】
一方、タイマ部ＴＭにより計測される経過時間が閾値時間Ｔｔｈ未満である場合、通信装置ＣＯＭＥｂの動作は、ステップＳ５００に戻る。すなわち、現在のフレームの処理開始時点からの経過時間が閾値時間Ｔｔｈに達するまでに、最後の更新データＵＡが復号された場合、ステップＳ５１０の処理が実行される前に、後述するステップＳ６００の処理が実行される。この場合、通信装置ＣＯＭＥｂは、ステップＳ５１０、Ｓ５２０の処理を実行せずに、表示画面ＤＩＳの表示内容を現在のフレームの表示内容に更新する処理を終了する。
【００９４】
ステップＳ５１０では、表示制御部ＩＤＣは、現在のフレームの復号後の更新データＵＡのうち、未表示の更新データＵＡを表示画面ＤＩＳに表示する。未表示の更新データＵＡは、表示画面ＤＩＳに表示していない更新領域ＵＡの画像データである。ステップＳ５１０の処理により、現時点までに復号された更新データＵＡに基づく画像ＵＡが表示画面ＤＩＳに表示される。このように、通信装置ＣＯＭＥｂは、サーバＳＥＲＶから通信装置ＣＯＭＥｂへの更新データＵＡの送信中にネットワークの通信品質が低下した場合でも、表示画面ＤＩＳに画像ＩＭＧｃを表示する間隔が増加することを抑制でき、体感品質の低下を抑制できる。ステップＳ５１０の処理が実行された後、通信装置ＣＯＭＥｂの動作は、ステップＳ５２０に移る。
【００９５】
ステップＳ５２０では、タイマ部ＴＭは、計測時間をリセットして経過時間の計測を継続する。これにより、１フレーム分の更新データＵＡのうちの一部の更新データＵＡに基づく画像ＵＡを表示画面ＤＩＳに表示してからの経過時間が計測される。ステップＳ５２０の処理が実行された後、通信装置ＣＯＭＥｂの動作は、ステップＳ５００に戻る。
【００９６】
すなわち、ステップＳ５００で判定する経過時間は、ステップＳ５２０の処理が実行される前では、現在のフレームの処理開始時点（ステップＳ２００の処理の開始時点）からの経過時間である。また、ステップＳ５２０の処理が実行された後では、ステップＳ５００で判定する経過時間は、１フレーム分の更新データＵＡのうちの一部の更新データＵＡに基づく画像ＵＡを表示画面ＤＩＳに表示してからの経過時間である。
【００９７】
したがって、ステップＳ５１０の未表示の更新データＵＡを表示画面ＤＩＳに表示する処理は、最後の更新データＵＡに基づく画像ＵＡが表示画面ＤＩＳに表示されるまで、閾値時間Ｔｔｈが経過する度に繰り返される。
【００９８】
ステップＳ６００では、表示制御部ＩＤＣは、現在のフレームの復号後の更新データＵＡのうち、未表示の更新データＵＡを表示画面ＤＩＳに表示する。例えば、現在のフレームの処理開始時点（ステップＳ２００の処理の開始時点）からの経過時間が閾値時間Ｔｔｈに達するまでに、最後の更新データＵＡが復号された場合、未表示の更新データＵＡは、１フレーム分の全ての更新データＵＡである。この場合、表示制御部ＩＤＣは、１フレーム分の全ての更新領域ＵＡの画像ＵＡをまとめて表示画面ＤＩＳに表示する。
【００９９】
なお、現在のフレームの処理開始時点から閾値時間Ｔｔｈを経過した後に、最後の更新データＵＡが復号された場合、未表示の更新データＵＡは、１フレーム分の更新データＵＡのうち、ステップＳ５１０で表示した更新データＵＡを除く更新データＵＡである。この場合、表示制御部ＩＤＣは、１フレーム分の更新領域ＵＡのうち、ステップＳ５１０で表示画面ＤＩＳに表示した更新領域ＵＡを除く更新領域ＵＡの画像ＵＡを、表示画面ＤＩＳに表示する。ステップＳ６００の処理の終了により、表示画面ＤＩＳの表示内容を現在のフレームの表示内容に更新する処理は、終了する。
【０１００】
このように、通信装置ＣＯＭＥｂは、閾値時間Ｔｔｈが経過するまでに、最後の更新データＵＡが復号されない場合、表示画面ＤＩＳを部分的に更新する処理を、最後の更新領域ＵＡを更新するまで、閾値時間Ｔｔｈが経過する度に繰り返す。
【０１０１】
また、図５に示す動作では、操作速度が所定値を超えている場合と操作速度が所定値以下の場合とで閾値時間Ｔｔｈの算出方法を変更して、操作速度が所定値を超えている場合の閾値時間Ｔｔｈを操作速度が所定値以下の場合の閾値時間Ｔｔｈより小さくする。これにより、例えば、利用者の作業が速い場合に、利用者の作業が遅い場合に比べて、表示画面ＤＩＳに画像ＩＭＧｃを表示する間隔を短くすることができ、体感品質を向上させることができる。
【０１０２】
なお、通信装置ＣＯＭＥｂの動作は、図５に示す例に限定されない。例えば、経過時間の計測を開始する処理（ステップＳ２００）は、ステップＳ３２０の後とステップＳ３４０の後にそれぞれ実行されてもよい。この場合、経過時間の計測を開始する処理が実行された後、ステップＳ４００からステップＳ４５０までの復号処理と、ステップＳ５００からステップＳ５２０までの途中画面表示処理とが並列に実行される。
【０１０３】
図６は、図３に示したサーバＳＥＲＶの動作の一例を示す。なお、図６は、図４に示した処理Ｐ２１を含む画面送信処理を実行する際のサーバＳＥＲＶの動作の一例を示す。例えば、図６に示す動作は、ハードウェアのみで実現されてもよく、ハードウェアを通信プログラム等のソフトウェアで制御することにより実現されてもよい。すなわち、通信プログラムで制御されるコンピュータが図６に示す動作を実行してもよい。なお、図４で説明したように、フレームバッファＦＢＵＦにデスクトップ画面の画像データＩＭＧｓを格納する処理は、図６に示す動作とは別に実行される。例えば、図６に示す動作は、最大送信フレームレートＦｍａｘの逆数で表される時間間隔で実行される。
【０１０４】
ステップＳ７００では、画面更新通知部ＤＵＡは、デスクトップ画面の画像データＩＭＧｓをフレームバッファＦＢＵＦから取得する。
【０１０５】
次に、ステップＳ７１０では、画面更新通知部ＤＵＡは、ステップＳ７００で取得したデスクトップ画面に、表示内容が更新された更新領域ＵＡが存在するか否かを判定する。例えば、画面更新通知部ＤＵＡは、ステップＳ７００で取得したデスクトップ画面の画像データＩＭＧｓ（現在のフレームの画像データＩＭＧｓ）を直前のフレームの画像データＩＭＧｓと比較し、更新領域ＵＡの有無を判定する。更新領域ＵＡが存在する場合、サーバＳＥＲＶの動作は、ステップＳ７２０に移る。一方、更新領域ＵＡが存在しない場合、現在のフレームの画面送信処理は、終了する。
【０１０６】
ステップＳ７２０では、更新データ生成部ＵＤＧは、デスクトップ画面の表示領域から更新領域ＵＡを特定する。これにより、現在のフレームの更新領域ＵＡ、すなわち、１フレーム分の更新領域ＵＡが特定される。なお、更新領域ＵＡの特定は、画面更新通知部ＤＵＡにより実行されてもよい。
【０１０７】
次に、ステップＳ７３０では、更新データ生成部ＵＤＧは、ステップＳ７２０で特定した更新領域ＵＡから、処理対象の更新領域ＵＡを選択する。これにより、通信装置ＣＯＭＥｂに送信する更新データＵＡが選択される。
【０１０８】
次に、ステップＳ７４０では、画像種別判定部ＩＴＤａは、ステップＳ７３０で選択した更新領域ＵＡが動画か否かを判定する。更新領域ＵＡが動画の場合、サーバＳＥＲＶの動作は、ステップＳ７５０に移る。一方、更新領域ＵＡが動画でない場合、すなわち、更新領域ＵＡが静止画の場合、サーバＳＥＲＶの動作は、ステップＳ７６０に移る。
【０１０９】
ステップＳ７５０では、サーバＳＥＲＶは、ステップＳ７３０で選択した更新領域ＵＡを、動画データとして通信装置ＣＯＭＥｂに送信する。例えば、圧縮部ＣＯＭＰは、ステップＳ７３０で選択された更新データＵＡをＭＰＥＧ等の所定の動画圧縮方式で圧縮する。そして、通信部ＣＭｓｖは、ＭＰＥＧ等の動画圧縮方式で圧縮された更新データＵＡを、通信装置ＣＯＭＥｂに送信する。ステップＳ７５０の処理が実行された後、サーバＳＥＲＶの動作は、ステップＳ８３０に移る。
【０１１０】
ステップＳ７６０では、転送速度推定部ＴＳＥｓｖは、通信部ＣＭｓｖが通信装置ＣＯＭＥｂに送信したデータのサイズ、送信時間等に基づいてネットワークのデータ転送速度を算出する。
【０１１１】
次に、ステップＳ７７０では、送信時間推定部ＳＴＥは、ステップＳ７３０で選択された更新領域ＵＡの面積と画像の圧縮率とに基づいて、圧縮後の更新データＵＡのデータ量である転送データ量を算出する。なお、更新領域ＵＡの面積は、圧縮前の更新データＵＡのデータ量に対応する。
【０１１２】
次に、ステップＳ７８０では、送信時間推定部ＳＴＥは、ステップＳ７６０で算出されたデータ転送速度と、ステップＳ７７０で算出した転送データ量とに基づいて、更新データＵＡの転送時間を算出する。更新データＵＡの転送時間は、送信対象の更新データＵＡの通信装置ＣＯＭＥｂへの送信を開始してから終了するまでに掛かる送信時間である。
【０１１３】
次に、ステップＳ７９０では、分割部ＤＩＶは、ステップＳ７８０で算出された転送時間が予め決められた閾値より大きいか否かを判定する。転送時間が閾値より大きい場合、サーバＳＥＲＶの動作は、ステップＳ８００に移る。一方、転送時間が閾値以下の場合、サーバＳＥＲＶの動作は、ステップＳ８２０に移る。
【０１１４】
ステップＳ８００では、分割部ＤＩＶは、閾値以内に送信が完了するようなデータ量に更新データＵＡを分割する。すなわち、分割部ＤＩＶは、ステップＳ７３０で選択された更新領域ＵＡを複数の更新領域ＵＡに分割し、分割後の複数の更新領域ＵＡの各々の転送時間が閾値に収まるようにする。
【０１１５】
次に、ステップＳ８１０では、送信順序決定部ＳＯＤは、ステップＳ８００で分割された複数の更新データＵＡを通信装置ＣＯＭＥｂに送信する際の順序（送信順）を決定する。ステップＳ８１０の処理が実行された後、サーバＳＥＲＶの動作は、ステップＳ８２０に移る。
【０１１６】
ステップＳ８２０では、サーバＳＥＲＶは、ステップＳ７３０で選択した更新領域ＵＡを、静止画データとして通信装置ＣＯＭＥｂに送信する。例えば、サーバＳＥＲＶは、ステップＳ８００で分割した複数の更新データＵＡを静止画データとして、ステップＳ８１０で決定した送信順で通信装置ＣＯＭＥｂに送信する。この場合、例えば、圧縮部ＣＯＭＰは、ステップＳ８００で分割された各更新データＵＡをＪＰＥＧ等の所定の静止画圧縮方式で圧縮する処理を、ステップＳ８１０で決定された送信順に実行する。そして、通信部ＣＭｓｖは、ＪＰＥＧ等の静止画圧縮方式で圧縮された更新データＵＡを、ステップＳ８１０で決定された送信順で通信装置ＣＯＭＥｂに送信する。ステップＳ８２０の処理が実行された後、サーバＳＥＲＶの動作は、ステップＳ８３０に移る。
【０１１７】
ステップＳ８３０では、サーバＳＥＲＶは、ステップＳ７２０で特定した更新領域ＵＡに、未処理の更新領域ＵＡが存在するか否かを判定する。すなわち、サーバＳＥＲＶは、１フレーム分の全ての更新領域ＵＡの更新データＵＡを通信装置ＣＯＭＥｂに送信したか否かを判定する。未処理の更新領域ＵＡが存在する場合、すなわち、通信装置ＣＯＭＥｂに送信されていない更新領域ＵＡの更新データＵＡが存在する場合、サーバＳＥＲＶの動作は、ステップＳ７３０に戻る。一方、未処理の更新領域ＵＡが存在しない場合、すなわち、１フレーム分の全ての更新領域ＵＡの更新データＵＡが通信装置ＣＯＭＥｂに送信された場合、現在のフレームの画面送信処理は、終了する。なお、サーバＳＥＲＶの動作は、図６に示す例に限定されない。
【０１１８】
以上、図２から図６に示す実施形態においても、図１に示した実施形態と同様の効果を得ることができる。例えば、通信装置ＣＯＭＥｂは、タイマ部ＴＭで計測した経過時間が閾値時間Ｔｔｈに達するまでに、最後の更新データＵＡに対する処理が終了しない場合、閾値時間Ｔｔｈ毎に、処理が終了した更新データＵＡに基づく画像ＵＡを表示画面ＤＩＳに表示する。これにより、例えば、サーバＳＥＲＶ等の他の装置から通信装置ＣＯＭＥｂに更新データＵＡを送信している最中にネットワークの通信品質が低下した場合でも、表示画面ＤＩＳに画像ＩＭＧｃを表示する間隔の増加を抑制することができる。この結果、データの送信中にネットワークの通信品質が変動した場合における体感品質の低下を抑制することができる。
【０１１９】
さらに、通信装置ＣＯＭＥｂは、利用者による操作を受け付ける入力装置ＩＮＤから操作に関する操作情報を取得し、操作情報に基づいて操作速度を算出する。そして、通信装置ＣＯＭＥｂは、描画フレームレートと操作速度とに基づいて、閾値時間Ｔｔｈを決定する。例えば、通信装置ＣＯＭＥｂは、操作速度が所定値以下の場合、閾値時間Ｔｔｈとして、例えば、図５で説明した式（５）で表される第１の閾値時間を算出する。また、通信装置ＣＯＭＥｂは、操作速度が所定値を超えている場合、閾値時間Ｔｔｈとして、第１の閾値時間より小さい第２の閾値時間を算出する。これにより、例えば、利用者の作業が速い場合に、利用者の作業が遅い場合に比べて、表示画面ＤＩＳに画像ＩＭＧｃを表示する間隔を短くすることができ、体感品質を向上させることができる。
【０１２０】
図７は、通信装置および通信方法の別の実施形態を示す。図１から図６で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図７に示す通信装置ＣＯＭＥｃは、図２に示した閾値時間決定部ＴＨＤｂの代わりに閾値時間決定部ＴＨＤｃを有することを除いて、図２に示した通信装置ＣＯＭＥｂと同一または同様である。
【０１２１】
例えば、通信装置ＣＯＭＥｃは、シンクライアントシステムＴＣＳに用いられるシンクライアント装置等の端末装置である。シンクライアントシステムＴＣＳは、図２に示した通信装置ＣＯＭＥｂの代わりに通信装置ＣＯＭＥｃを有することを除いて、図２に示したシンクライアントシステムＴＣＳと同一または同様である。なお、通信装置ＣＯＭＥｃは、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、通信プログラム等のソフトウェアで制御されるコンピュータが通信装置ＣＯＭＥｃの処理を実行してもよい。
【０１２２】
通信装置ＣＯＭＥｃは、転送速度推定部ＴＳＥｃｌ、操作情報取得部ＨＩＡｃｌ、操作速度算出部ＨＳＣ、通信部ＣＭｃｌ、画像処理部ＩＰ、閾値時間決定部ＴＨＤｃ、タイマ部ＴＭおよび表示制御部ＩＤＣを有する。また、通信装置ＣＯＭＥｃは、入力装置ＩＮＤおよび表示装置に接続される。さらに、通信装置ＣＯＭＥｃは、サーバＳＥＲＶにネットワークを介して接続される。なお、通信装置ＣＯＭＥｃは、表示装置および入力装置ＩＮＤを有してもよい。
【０１２３】
転送速度推定部ＴＳＥｃｌ、操作情報取得部ＨＩＡｃｌおよび操作速度算出部ＨＳＣは、図２に示した転送速度推定部ＴＳＥｃｌ、操作情報取得部ＨＩＡｃｌおよび操作速度算出部ＨＳＣと同一または同様である。また、通信部ＣＭｃｌ、画像処理部ＩＰ、タイマ部ＴＭおよび表示制御部ＩＤＣは、図２に示した通信部ＣＭｃｌ、画像処理部ＩＰ、タイマ部ＴＭおよび表示制御部ＩＤＣと同一または同様である。
【０１２４】
閾値時間決定部ＴＨＤｃは、操作速度算出部ＨＳＣで算出した操作速度が所定値以下の場合における閾値時間Ｔｔｈの算出方法が図２に示した閾値時間決定部ＴＨＤｂと相違することを除いて、図２に示した閾値時間決定部ＴＨＤｂと同一または同様である。
【０１２５】
例えば、閾値時間決定部ＴＨＤｃは、操作速度が所定値以下で、描画フレームレートの平均Ｆａｖｅが目標描画フレームレートＦｔａｒ以下の場合、閾値時間Ｔｔｈを所定のフレーム数をかけて徐々に大きくする。なお、目標描画フレームレートＦｔａｒは、予め決められた基準値の一例である。操作速度が所定値以下の場合の閾値時間Ｔｔｈの算出方法の詳細は、図８で説明する。
【０１２６】
なお、通信装置ＣＯＭＥｃの構成は、図７に示す例に限定されない。例えば、転送速度推定部ＴＳＥｃｌは、通信装置ＣＯＭＥｃから省かれてもよい。あるいは、閾値時間決定部ＴＨＤｃは、ネットワークのデータ転送速度の変化の傾向も考慮して、閾値時間Ｔｔｈを算出してもよい。また、例えば、操作速度算出部ＨＳＣは、通信装置ＣＯＭＥｃから省かれてもよい。すなわち、閾値時間決定部ＴＨＤｃは、描画フレームレートの平均Ｆａｖｅが目標描画フレームレートＦｔａｒ以下の場合、操作速度に拘わらず、閾値時間Ｔｔｈを所定のフレーム数をかけて徐々に大きくしてもよい。
【０１２７】
図８は、図７に示した通信装置ＣＯＭＥｃの動作の一例を示す。なお、図８は、表示画面ＤＩＳの表示内容を前回のフレームの表示内容から現在のフレームの表示内容に更新する際の通信装置ＣＯＭＥｃの動作の一例を示す。例えば、図８に示す動作は、図４に示した処理Ｐ１３、Ｐ１４、Ｐ１５を含む画面表示処理を実行する際の通信装置ＣＯＭＥｃの動作に対応する。図８に示す動作は、通信装置による通信方法の一態様である。例えば、図８に示す動作は、ハードウェアのみで実現されてもよく、ハードウェアを通信プログラム等のソフトウェアで制御することにより実現されてもよい。すなわち、通信プログラムで制御されるコンピュータが図８に示す動作を実行してもよい。なお、図４で説明したように、操作速度を算出する処理は、図８に示す動作とは別に実行される。
【０１２８】
図８に示す動作は、図５に示したステップＳ３３０の代わりに、ステップＳ３３２、Ｓ３３４、Ｓ３３６、Ｓ３３８が実行される。図８に示す動作のその他のステップは、図５に示した動作と同一または同様である。図５で説明したステップと同一または同様のステップについては、同一または同様の符号を付し、これ等については、詳細な説明を省略する。
【０１２９】
例えば、ステップＳ３００では、図５のステップＳ３００と同様に、閾値時間決定部ＴＨＤｃは、操作速度が所定値を超えているか否かを判定する。操作速度が所定値を超えている場合、通信装置ＣＯＭＥｃの動作は、ステップＳ３１０に移る。一方、操作速度が所定値以下の場合、通信装置ＣＯＭＥｃの動作は、ステップＳ３３２に移る。
【０１３０】
ステップＳ３３２では、閾値時間決定部ＴＨＤｃは、描画フレームレートの平均Ｆａｖｅが目標描画フレームレートＦｔａｒより大きいか否かを判定する。描画フレームレートの平均Ｆａｖｅが目標描画フレームレートＦｔａｒより大きい場合、通信装置ＣＯＭＥｃの動作は、ステップＳ３３８に移る。一方、描画フレームレートの平均Ｆａｖｅが目標描画フレームレートＦｔａｒ以下の場合、通信装置ＣＯＭＥｃの動作は、ステップＳ３３４に移る。
【０１３１】
ステップＳ３３４では、閾値時間決定部ＴＨＤｃは、閾値時間Ｔｔｈを変更するタイミングか否かを判定する。例えば、閾値時間決定部ＴＨＤｃは、操作速度が所定値以下で、描画フレームレートの平均Ｆａｖｅが目標描画フレームレートＦｔａｒ以下の場合、所定のフレーム間隔で閾値時間Ｔｔｈを変更する。したがって、閾値時間決定部ＴＨＤｃは、現在のフレームが、前回の閾値時間Ｔｔｈを算出した際のフレームから所定のフレーム数だけ経過したフレームである場合、閾値時間Ｔｔｈを変更するタイミングと判定する。なお、閾値時間Ｔｔｈを初めて算出する場合、閾値時間Ｔｔｈを変更するタイミングと判定される。
【０１３２】
例えば、閾値時間決定部ＴＨＤｃは、所定のフレーム間隔が５フレームで、前回の閾値時間Ｔｔｈを算出した際のフレームがｎ番目のフレームである場合、現在のフレームが（ｎ＋５）番目のフレームか否かを判定する。そして、閾値時間決定部ＴＨＤｃは、現在のフレームが（ｎ＋５）番目のフレームの場合、閾値時間Ｔｔｈを変更するタイミングと判定する。なお、所定のフレーム間隔は５フレームに限定されない。例えば、閾値時間決定部ＴＨＤｃは、１フレーム毎に閾値時間Ｔｔｈを変更してもよい。
【０１３３】
現在のフレームが閾値時間Ｔｔｈを変更するタイミングである場合、通信装置ＣＯＭＥｃの動作は、ステップＳ３３６に移る。一方、現在のフレームが閾値時間Ｔｔｈを変更するタイミングでない場合、通信装置ＣＯＭＥｃの動作は、ステップＳ４００およびステップＳ５００に移る。
【０１３４】
ステップＳ３３６では、閾値時間決定部ＴＨＤｃは、前回に算出した閾値時間Ｔｔｈの逆数と、最低描画フレームレートＦｍｉｎに１を加算した値とのうち、大きい方を閾値時間Ｔｔｈの算出に使用するフレームレートＦｓｔｄに決定する。なお、最低描画フレームレートＦｍｉｎは、例えば、目標描画フレームレートＦｔａｒの設定と同様に、予め設定される。
【０１３５】
例えば、最低描画フレームレートＦｍｉｎが１５ｆｐｓで、目標描画フレームレートＦｔａｒが２０ｆｐｓで、描画フレームレートの平均Ｆａｖｅが前回の２１ｆｐｓから２０ｆｐｓ以下に低下した場合、フレームレートＦｓｔｄは、２０ｆｐｓである。さらに、描画フレームレートの平均Ｆａｖｅが２０ｆｐｓから１４ｆｐｓに低下し、１４ｆｐｓで維持される場合、フレームレートＦｓｔｄは、１９ｆｐｓから１６ｆｐｓまで、所定のフレーム数（例えば、５フレーム）が経過する毎に１ｆｐｓずつ低下する。ステップＳ３３６の処理が実行された後、通信装置ＣＯＭＥｃの動作は、ステップＳ３４０に移る。
【０１３６】
ステップＳ３３８では、閾値時間決定部ＴＨＤｃは、目標描画フレームレートＦｔａｒを、閾値時間Ｔｔｈの算出に使用するフレームレートＦｓｔｄに決定する。ステップＳ３３８の処理が実行された後、通信装置ＣＯＭＥｃの動作は、ステップＳ３４０に移る。
【０１３７】
ステップＳ３４０では、図５のステップＳ３４０と同様に、閾値時間決定部ＴＨＤｃは、図５で説明した式（５）（“Ｔｔｈ＝１／（Ｆｓｔｄ−１）”）を用いて、閾値時間Ｔｔｈを算出する。ステップＳ３４０の処理が実行された後、通信装置ＣＯＭＥｃの動作は、ステップＳ４００およびステップＳ５００に移る。
【０１３８】
このように、通信装置ＣＯＭＥｃは、描画フレームレートの平均Ｆａｖｅが目標描画フレームレートＦｔａｒ以下に低下する場合、表示画面ＤＩＳに画像ＩＭＧｃを表示する間隔を徐々に増加させる。このため、表示画面ＤＩＳに画像ＩＭＧｃを表示する際の画面表示の更新頻度が急激に低下することを抑制することができる。この結果、表示画面ＤＩＳに画像ＩＭＧｃを表示する際の画面表示の更新頻度が急激に低下することに伴う体感品質の急激な低下（例えば、画面表示の更新頻度が急激に低下することによる操作性の急激な低下等）を抑制することができる。
【０１３９】
なお、通信装置ＣＯＭＥｃの動作は、図８に示す例に限定されない。例えば、ステップＳ３００、Ｓ３１０、Ｓ３２０は、図８に示す動作から省かれてもよい。この場合、ステップＳ２００の処理が実行された後、通信装置ＣＯＭＥｃの動作は、ステップＳ３３２に移る。
【０１４０】
以上、図７から図８に示す実施形態においても、図２から図６に示した実施形態と同様の効果を得ることができる。例えば、通信装置ＣＯＭＥｃは、タイマ部ＴＭで計測した経過時間が閾値時間Ｔｔｈに達するまでに、最後の更新データＵＡに対する処理が終了しない場合、閾値時間Ｔｔｈ毎に、処理が終了した更新データＵＡに基づく画像ＵＡを表示画面ＤＩＳに表示する。これにより、データの送信中にネットワークの通信品質が変動した場合における体感品質の低下を抑制することができる。
【０１４１】
さらに、通信装置ＣＯＭＥｃは、描画フレームレートの平均Ｆａｖｅが基準値（目標描画フレームレートＦｔａｒ）以下の場合、閾値時間Ｔｔｈを所定のフレーム数をかけて徐々に大きくする。これにより、表示画面ＤＩＳに画像ＩＭＧｃを表示する際の画面表示の更新頻度を描画フレームレートの急激な低下に合わせて急激に低下させる場合に比べて、画面表示の更新頻度が急激に低下することに伴う体感品質の急激な低下を抑制することができる。
【０１４２】
図９は、図３に示したサーバＳＥＲＶの変形例を示す。図３で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図９に示すサーバＳＥＲＶでは、処理順序決定部ＰＯＤが図３に示したサーバＳＥＲＶに追加される。また、サーバＳＥＲＶは、図３に示した画像種別判定部ＩＴＤａの代わりに画像種別判定部ＩＴＤｂを有する。サーバＳＥＲＶのその他の構成は、図３に示したサーバＳＥＲＶと同一または同様である。
【０１４３】
サーバＳＥＲＶは、例えば、実行部ＯＳＥ、表示画面生成部ＤＳＧ、フレームバッファＦＢＵＦ、画面更新通知部ＤＵＡ、更新データ生成部ＵＤＧ、画像種別判定部ＩＴＤｂ、送信時間推定部ＳＴＥ、分割部ＤＩＶおよび送信順序決定部ＳＯＤを有する。さらに、サーバＳＥＲＶは、圧縮部ＣＯＭＰ、通信部ＣＭｓｖ、操作情報取得部ＨＩＡｓｖ、転送速度推定部ＴＳＥｓｖおよび処理順序決定部ＰＯＤを有する。
【０１４４】
実行部ＯＳＥ、表示画面生成部ＤＳＧ、フレームバッファＦＢＵＦおよび画面更新通知部ＤＵＡは、図３に示した実行部ＯＳＥ、表示画面生成部ＤＳＧ、フレームバッファＦＢＵＦおよび画面更新通知部ＤＵＡと同一または同様である。更新データ生成部ＵＤＧ、送信時間推定部ＳＴＥ、分割部ＤＩＶおよび送信順序決定部ＳＯＤは、図３に示した更新データ生成部ＵＤＧ、送信時間推定部ＳＴＥ、分割部ＤＩＶおよび送信順序決定部ＳＯＤと同一または同様である。圧縮部ＣＯＭＰ、通信部ＣＭｓｖ、操作情報取得部ＨＩＡｓｖ、転送速度推定部ＴＳＥｓｖは、図３に示した圧縮部ＣＯＭＰ、通信部ＣＭｓｖ、操作情報取得部ＨＩＡｓｖ、転送速度推定部ＴＳＥｓｖと同一または同様である。
【０１４５】
画像種別判定部ＩＴＤｂは、更新データ生成部ＵＤＧが更新データＵＡを生成した場合、更新データＵＡの画像種別を判定し、判定結果に関する情報を処理順序決定部ＰＯＤに出力する。画像種別は、例えば、動画、静止画の一種であるテキスト、静止画の一種である自然画等である。また、画像種別判定部ＩＴＤｂは、更新データＵＡを処理順序決定部ＰＯＤに転送する。このように、画像種別判定部ＩＴＤｂは、更新領域ＵＡの表示内容の種別を判定する。
【０１４６】
処理順序決定部ＰＯＤは、画像種別判定部ＩＴＤｂで判定した種別に基づいて、更新データＵＡを通信装置ＣＯＭＥｂに送信する際の順序を決定する順序決定部の一例である。また、通信部ＣＭｓｖは、順序決定部で決定された順序で、更新データＵＡを通信装置ＣＯＭＥｂに送信する第１の通信部の一例である。
【０１４７】
例えば、処理順序決定部ＰＯＤは、更新データ生成部ＵＤＧから画像種別判定部ＩＴＤｂを介して受けた更新データＵＡの処理順序を、画像種別判定部ＩＴＤｂで判定した画像種別に基づいて決定する。処理順序決定部ＰＯＤは、例えば、更新データＵＡの画像種別毎に予め設定された送信の優先順位（以下、送信優先順位とも称する）を示す情報を格納する優先度テーブルＴＢＬを有する。
【０１４８】
処理順序決定部ＰＯＤは、更新データ生成部ＵＤＧから画像種別判定部ＩＴＤｂを介して受けた更新データＵＡの処理順序を、画像種別判定部ＩＴＤｂで判定した画像種別と優先度テーブルＴＢＬとに基づいて決定する。そして、処理順序決定部ＰＯＤは、更新データ生成部ＵＤＧから画像種別判定部ＩＴＤｂを介して受けた更新データＵＡを、優先度テーブルＴＢＬ等に基づいて決定した処理順序で、圧縮部ＣＯＭＰまたは分割部ＤＩＶに転送する。例えば、画像種別判定部ＩＴＤｂは、更新データＵＡが動画の場合、更新データＵＡを圧縮部ＣＯＭＰに転送し、更新データＵＡがテキスト、自然画等の静止画の場合、更新データＵＡを分割部ＤＩＶに転送する。
【０１４９】
なお、サーバＳＥＲＶの構成は、図９に示す例に限定されない。例えば、処理順序決定部ＰＯＤは、画像種別判定部ＩＴＤｂを介さずに、更新データ生成部ＵＤＧから更新データＵＡを受けてもよい。
【０１５０】
図１０は、図９に示した優先度テーブルＴＢＬの一例を示す。また、図１０の括弧内に、サーバＳＥＲＶ上の仮想マシーンに構築された仮想的なデスクトップ環境のデスクトップ画面の画像ＩＭＧｓの一例を示す。
【０１５１】
優先度テーブルＴＢＬは、例えば、動画、テキスト、自然画の３つの画像種別毎に予め設定された送信優先順位を示す情報を保持する。図１０に示す例では、動画の送信優先順位が最も高く、自然画の送信優先順位が最も低い。また、テキストの送信優先順位は、動画の送信優先順位より低く、自然画の送信優先順位より高い。
【０１５２】
図１０に示すデスクトップ画面の画像ＩＭＧｓでは、３つの更新領域ＵＡ（ＵＡｔｘ、ＵＡｎａ、ＵＡｍｖ）が存在する。更新領域ＵＡｔｘは、テキストの画像であり、更新領域ＵＡｎａは、自然画である。また、更新領域ＵＡｍｖは、動画である。この場合、処理順序決定部ＰＯＤは、優先度テーブルＴＢＬと画像種別判定部ＩＴＤｂにより判定される各更新領域ＵＡの画像種別とに基づいて、更新領域ＵＡｍｖ、ＵＡｔｘ、ＵＡｎａの順に、更新領域ＵＡを圧縮部ＣＯＭＰまたは分割部ＤＩＶに転送する。なお、画像種別の送信優先順位は、図１０に示す例に限定されない。
【０１５３】
図１１は、図９に示したサーバＳＥＲＶの動作の一例を示す。なお、図１１は、図４に示した処理Ｐ２１を含む画面送信処理を実行する際のサーバＳＥＲＶの動作の一例を示す。例えば、図１１に示す動作は、ハードウェアのみで実現されてもよく、ハードウェアを通信プログラム等のソフトウェアで制御することにより実現されてもよい。すなわち、通信プログラムで制御されるコンピュータが図１１に示す動作を実行してもよい。なお、図４で説明したように、フレームバッファＦＢＵＦにデスクトップ画面の画像データＩＭＧｓを格納する処理は、図１１に示す動作とは別に実行される。例えば、図１１に示す動作は、最大送信フレームレートＦｍａｘの逆数で表される時間間隔で実行される。
【０１５４】
図１１に示す動作では、ステップＳ７２２、Ｓ７２４がステップＳ７２０とステップＳ７３０との間に追加される。図１１に示す動作のその他のステップは、図６に示した動作と同一または同様である。図６で説明したステップと同一または同様のステップについては、同一または同様の符号を付し、これ等については、詳細な説明を省略する。例えば、サーバＳＥＲＶは、ステップＳ７２０において、デスクトップ画面の表示領域から更新領域ＵＡを特定した後、動作をステップＳ７２２に移す。
【０１５５】
ステップＳ７２２では、図９および図１０で説明したように、画像種別判定部ＩＴＤｂは、ステップＳ７２０で特定された各更新データＵＡの画像種別を判定する。これにより、ステップＳ７２０で特定された各更新データＵＡは、例えば、動画、テキスト、自然画等に分類される。ステップＳ７２２の処理が実行された後、サーバＳＥＲＶの動作は、ステップＳ７２４に移る。
【０１５６】
ステップＳ７２４では、図９および図１０で説明したように、処理順序決定部ＰＯＤは、優先度テーブルＴＢＬとステップＳ７２２で判定された各更新領域ＵＡの画像種別とに基づいて、各更新データＵＡの処理順序を決定する。ステップＳ７２４の処理が実行された後、サーバＳＥＲＶの動作は、ステップＳ７３０に移る。
【０１５７】
ステップＳ７３０では、更新データ生成部ＵＤＧは、ステップＳ７２０で特定した更新領域ＵＡから、ステップＳ７２４で決定した処理順序にしたがって更新領域ＵＡを選択する。これにより、通信装置ＣＯＭＥｂに送信する更新データＵＡが、送信優先順位に基づく順序で選択される。
【０１５８】
この結果、サーバＳＥＲＶは、例えば、体感品質に与える影響が他の更新領域ＵＡより大きい更新領域ＵＡ（例えば、動画の更新領域ＵＡ）を通信装置ＣＯＭＥｂに送信するタイミングが遅延することを抑制できる。すなわち、図９に示したサーバＳＥＲＶを使用するシンクライアントシステムＴＣＳは、図３に示したサーバＳＥＲＶを使用するシンクライアントシステムＴＣＳに比べて、体感品質を向上させることができる。なお、サーバＳＥＲＶの動作は、図１１に示す例に限定されない。
【０１５９】
図１２は、通信装置ＣＯＭＥ（ＣＯＭＥａ、ＣＯＭＥｂ、ＣＯＭＥｃ）を実現するハードウェアの一例を示す。なお、図１から図１１で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。例えば、通信プログラムは、図１、図２および図７に示した通信装置ＣＯＭＥ（ＣＯＭＥａ、ＣＯＭＥｂ、ＣＯＭＥｃ）の機能をコンピュータＣＰで実現する。
【０１６０】
例えば、コンピュータＣＰは、プロセッサＰＵ、メモリＭＥＭ、ハードディスク装置ＨＤＤ、入力インタフェースＩＩＦ、出力インタフェースＯＩＦ、通信インタフェースＣＩＦおよび光学ドライブ装置ＯＤＲを有する。プロセッサＰＵ、メモリＭＥＭ、ハードディスク装置ＨＤＤ、入力インタフェースＩＩＦ、出力インタフェースＯＩＦ、通信インタフェースＣＩＦおよび光学ドライブ装置ＯＤＲは、バスＢＵＳに接続される。通信装置ＣＯＭＥの機能は、例えば、プロセッサＰＵ、メモリＭＥＭ、ハードディスク装置ＨＤＤ、入力インタフェースＩＩＦ、出力インタフェースＯＩＦおよび通信インタフェースＣＩＦにより実現される。
【０１６１】
光学ドライブ装置ＯＤＲは、光ディスク等のリムーバブルディスクＲＤを装着可能であり、装着したリムーバブルディスクＲＤに記録された情報の読み出しおよび記録を実行する。また、コンピュータＣＰは、入力インタフェースＩＩＦ、出力インタフェースＯＩＦおよび通信インタフェースＣＩＦを介してコンピュータＣＰの外部と通信する。例えば、入力インタフェースＩＩＦは、キーボード、マウス等の入力装置ＩＮＤから操作情報ＨＩＮＦを受け、入力装置ＩＮＤから受けた操作情報ＨＩＮＦをプロセッサＰＵ等に転送する。また、出力インタフェースＯＩＦは、例えば、表示画面ＤＩＳを有するディスプレイ等の表示装置に更新データＵＡを出力する。また、通信インタフェースＣＩＦは、例えば、ネットワークを介してサーバＳＥＲＶと通信する。
【０１６２】
メモリＭＥＭは、例えば、コンピュータＣＰのオペレーティングシステムを格納する。また、メモリＭＥＭは、通信装置ＣＯＭＥの動作をプロセッサＰＵが実行するための通信プログラム等のアプリケーションプログラムを格納する。また、メモリＭＥＭは、操作速度に関する情報、優先度テーブルＴＢＬ、復号後の更新データＵＡ等を保持してもよい。なお、操作速度に関する情報、優先度テーブルＴＢＬ、復号後の更新データＵＡ等は、ハードディスク装置ＨＤＤに保持されてもよい。
【０１６３】
通信プログラム等のアプリケーションプログラムは、光ディスク等のリムーバブルディスクＲＤに記録して頒布することができる。例えば、コンピュータＣＰは、通信プログラム等のアプリケーションプログラムを、リムーバブルディスクＲＤから光学ドライブ装置ＯＤＲを介して読み出し、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。また、コンピュータＣＰは、通信プログラム等のアプリケーションプログラムを、インターネット等のネットワークに接続する通信インタフェースＣＩＦを介してダウンロードし、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。
【０１６４】
なお、通信装置ＣＯＭＥを実現するハードウェアは、図１２に示す例に限定されない。例えば、コンピュータＣＰは、光学ドライブ装置ＯＤＲが省かれてもよい。また、例えば、コンピュータＣＰは、ハードディスク装置ＨＤＤの代わりにＳＳＤ（Solid State Drive）等を有してもよい。あるいは、コンピュータＣＰは、入力装置ＩＮＤおよび表示画面ＤＩＳを有してもよい。例えば、コンピュータＣＰが、タブレット型のコンピュータ、ノート型のコンピュータ等である場合、入力装置ＩＮＤおよび表示画面ＤＩＳは、コンピュータＣＰに搭載される。
【０１６５】
以上の実施形態において説明した発明を整理して、付記として以下の通り開示する。
（付記１）
他の装置から受信する画像データに基づく画像を表示画面に表示する通信装置において、
前記表示画面に画像を表示するための画像データを前記他の装置から受ける通信部と、
前記表示画面に画像を表示するための処理を前記画像データに対して実行する画像処理部と、
前記画像データに基づく画像を前記表示画面に表示する際のフレームレートである描画フレームレートに基づいて閾値時間を決定する閾値時間決定部と、
前記画像データを受信し始めてから前記閾値時間以内に受信した画像データに基づく画像を前記表示画面に表示する表示制御部とを有する
ことを特徴とする通信装置。
（付記２）
付記１に記載の通信装置において、
利用者による操作を受け付ける入力装置から操作に関する操作情報を取得する操作情報取得部と、
前記操作情報に基づいて操作速度を算出する操作速度算出部とをさらに有し、
前記閾値時間決定部は、前記描画フレームレートと前記操作速度とに基づいて、前記閾値時間を決定する
ことを特徴とする通信装置。
（付記３）
付記２に記載の通信装置において、
前記閾値時間決定部は、前記操作速度が所定値以下の場合、前記閾値時間として、第１の閾値時間を算出し、前記操作速度が前記所定値を超えている場合、前記閾値時間として、前記第１の閾値時間より小さい第２の閾値時間を算出する
ことを特徴とする通信装置。
（付記４）
付記３に記載の通信装置において、
前記閾値時間決定部は、前記操作速度が前記所定値以下で、前記描画フレームレートの平均が予め決められた基準値以下の場合、前記閾値時間を所定のフレーム数をかけて徐々に大きくする
ことを特徴とする通信装置。
（付記５）
付記１または付記２に記載の通信装置において、
前記閾値時間決定部は、前記描画フレームレートの平均が予め決められた基準値以下の場合、前記閾値時間を所定のフレーム数をかけて徐々に大きくする
ことを特徴とする通信装置。
（付記６）
他の装置から受信する画像データに基づく画像を表示画面に表示する通信装置による通信方法において、
前記通信装置は、
前記表示画面に画像を表示するための画像データを前記他の装置から受け、
前記表示画面に画像を表示するための処理を前記画像データに対して実行し、
前記画像データに基づく画像を前記表示画面に表示する際のフレームレートである描画フレームレートに基づいて閾値時間を決定し、
前記画像データを受信し始めてから前記閾値時間以内に受信した画像データに基づく画像を前記表示画面に表示する
ことを特徴とする通信方法。
（付記７）
付記６に記載の通信方法において、
前記通信装置は、
利用者による操作を受け付ける入力装置から操作に関する操作情報を取得し、
前記操作情報に基づいて操作速度を算出し、
前記描画フレームレートと前記操作速度とに基づいて、前記閾値時間を決定する
ことを特徴とする通信方法。
（付記８）
付記７に記載の通信方法において、
前記通信装置は、
前記操作速度が所定値以下の場合、前記閾値時間として、第１の閾値時間を算出し、前記操作速度が前記所定値を超えている場合、前記閾値時間として、前記第１の閾値時間より小さい第２の閾値時間を算出する
ことを特徴とする通信方法。
（付記９）
付記８に記載の通信方法において、
前記通信装置は、
前記操作速度が前記所定値以下で、前記描画フレームレートの平均が予め決められた基準値以下の場合、前記閾値時間を所定のフレーム数をかけて徐々に大きくする
ことを特徴とする通信方法。
（付記１０）
付記６または付記７に記載の通信方法において、
前記通信装置は、
前記描画フレームレートの平均が予め決められた基準値以下の場合、前記閾値時間を所定のフレーム数をかけて徐々に大きくする
ことを特徴とする通信方法。
（付記１１）
情報処理装置と、前記情報処理装置から受信する画像データに基づく画像を表示画面に表示する通信装置とを有する通信システムにおいて、
前記情報処理装置は、
前記通信装置側の前記表示画面に画像を表示するための画像データを生成する画像データ生成部と、
前記画像データの種別を判定する画像種別判定部と、
前記種別に基づいて、前記画像データを前記通信装置に送信する際の順序を決定する順序決定部と、
前記順序決定部で決定された順序で、前記画像データを前記通信装置に送信する第１の通信部とを有し、
前記通信装置は、
前記画像データを前記情報処理装置から受ける第２の通信部と、
前記表示画面に画像を表示するための処理を前記画像データに対して実行する画像処理部と、
前記画像データに基づく画像を前記表示画面に表示する際のフレームレートである描画フレームレートに基づいて閾値時間を決定する閾値時間決定部と、
前記画像データを受信し始めてから前記閾値時間以内に受信した画像データに基づく画像を前記表示画面に表示する表示制御部とを有する
ことを特徴とする通信システム。
（付記１２）
情報処理装置と、前記情報処理装置から受信する画像データに基づく画像を表示画面に表示する通信装置とによる通信方法において、
前記情報処理装置は、
前記通信装置側の前記表示画面に画像を表示するための画像データを生成し、
前記画像データの種別を判定し、
前記種別に基づいて、前記画像データを前記通信装置に送信する際の順序を決定し、
前記種別に基づいて決定した順序で、前記画像データを前記通信装置に送信し、
前記通信装置は、
前記画像データを前記情報処理装置から受け、
前記表示画面に画像を表示するための処理を前記画像データに対して実行し、
前記画像データに基づく画像を前記表示画面に表示する際のフレームレートである描画フレームレートに基づいて閾値時間を決定し、
前記画像データを受信し始めてから前記閾値時間以内に受信した画像データに基づく画像を前記表示画面に表示する
ことを特徴とする通信方法。
【０１６６】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０１６７】
ＣＩＦ‥通信インタフェース；ＣＭｃｌ‥通信部；ＣＭｓｖ‥通信部；ＣＯＭＥａ、ＣＯＭＥｂ、ＣＯＭＥｃ‥通信装置；ＣＯＭＰ‥圧縮部；ＣＰ‥コンピュータ；ＤＩＳ‥表示画面；ＤＩＶ‥分割部；ＤＳＧ‥表示画面生成部；ＤＵＡ‥画面更新通知部；ＦＢＵＦ‥フレームバッファ；ＨＤＤ‥ハードディスク装置；ＨＩＡｃｌ‥操作情報取得部；ＨＩＡｓｖ‥操作情報取得部；ＨＳＣ‥操作速度算出部；ＩＤＣ‥表示制御部；ＩＩＦ‥入力インタフェース；ＩＮＤ‥入力装置；ＩＰ‥画像処理部；ＩＴＤａ、ＩＴＤｂ‥画像種別判定部；ＭＥＭ‥メモリ；ＯＤＲ‥光学ドライブ装置；ＯＩＦ‥出力インタフェース；ＯＳＥ‥実行部；ＰＯＤ‥処理順序決定部；ＰＵ‥プロセッサ；ＳＥＲＶ‥サーバ；ＳＯＤ‥送信順序決定部；ＳＴＥ‥送信時間推定部；ＴＢＬ‥優先度テーブル；ＴＣＳ‥シンクライアントシステム；ＴＨＤａ、ＴＨＤｂ、ＴＨＤｃ‥閾値時間決定部；ＴＭ‥タイマ部；ＴＳＥｃｌ‥転送速度推定部；ＴＳＥｓｖ‥転送速度推定部；ＵＤＧ‥更新データ生成部
【図１】
2018078509.tif 000003
【図２】
2018078509.tif 000004
【図３】
2018078509.tif 000005
【図４】
2018078509.tif 000006
【図５】
2018078509.tif 000007
【図６】
2018078509.tif 000008
【図７】
2018078509.tif 000009
【図８】
2018078509.tif 000010
【図９】
2018078509.tif 000011
【図１０】
2018078509.tif 000012
【図１１】
2018078509.tif 000013
【図１２】
2018078509.tif 000014