(57)【要約】【課題】情報処理装置から画像を受信する端末装置における描画遅延を適切に制御する。【解決手段】生成部１１１は、画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データを生成するとともに、動画データに対応する静止画データを生成する。通信部１１２は、動画データと静止画データとを端末装置１０２へ送信する。通信部１２１は、動画データと静止画データとを情報処理装置１０１から受信する。デコーダ部１２２は、動画データと静止画データとをデコードする。描画部１２３は、動画データのデコード処理が描画タイミングに間に合わない場合、静止画データのデコード結果を描画する。そして、描画部１２３は、動画データのデコード処理が描画タイミングに追いついた場合、静止画データのデコード結果の描画を動画データのデコード結果の描画に切り替える。【選択図】図１
2016012797.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置と端末装置とを備える描画システムであって、
前記情報処理装置は、
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データを生成するとともに、前記動画データに対応する静止画データを生成する生成部と、
前記動画データと前記静止画データとを前記端末装置へ送信する第１の通信部とを含み、
前記端末装置は、
前記動画データと前記静止画データとを前記情報処理装置から受信する第２の通信部と、
前記動画データと前記静止画データとをデコードするデコーダ部と、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画し、前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える描画部とを含む、
ことを特徴とする描画システム。
【請求項２】
前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記描画部は、前記静止画データの送信の終了を前記情報処理装置へ指示し、前記生成部は、前記静止画データの生成を終了し、前記第１の通信部は、前記静止画データの送信を終了することを特徴とする請求項１記載の描画システム。
【請求項３】
前記描画部は、前記動画データの前記デコード処理が所定時間内に終了しない場合、前記静止画データのデコード結果を描画し、前記動画データの前記デコード処理が前記所定時間内に終了した場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替えることを特徴とする請求項１又は２記載の描画システム。
【請求項４】
前記描画部は、前記静止画データがデコードされると直ちに前記静止画データのデコード結果を描画し、前記動画データの前記デコード処理が所定時間内に終了した場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替えることを特徴とする請求項１又は２記載の描画システム。
【請求項５】
前記生成部は、前記動画データにイントラ符号化ピクチャが含まれる場合に前記静止画データを生成し、前記静止画データは、前記イントラ符号化ピクチャに対応する符号化画像と、前記イントラ符号化ピクチャに続く１つ以上の予測符号化ピクチャに対応する１つ以上の符号化画像とを含むことを特徴とする請求項１乃至４のいずれか１項に記載の描画システム。
【請求項６】
前記生成部は、前記変更頻度が前記所定閾値を超えない低頻度変更領域に対応する第１の画質の静止画データを生成し、前記第１の通信部は、前記第１の画質の静止画データを前記端末装置へ送信し、前記動画データに対応する前記静止画データは、前記第１の画質よりも低い第２の画質の静止画データであることを特徴とする請求項１乃至５のいずれか１項に記載の描画システム。
【請求項７】
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データを生成するとともに、前記動画データに対応する静止画データを生成する生成部と、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画するとともに、前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える端末装置に対して、前記動画データと前記静止画データとを送信する通信部と、
を備えることを特徴とする情報処理装置。
【請求項８】
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データと、前記動画データに対応する静止画データとを受信する通信部と、
前記動画データと前記静止画データとをデコードするデコーダ部と、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画し、前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える描画部と、
を備えることを特徴とする端末装置。
【請求項９】
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データを生成するとともに、前記動画データに対応する静止画データを生成し、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画するとともに、前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える端末装置に対して、前記動画データと前記静止画データとを送信する通信部へ、前記動画データと前記静止画データとを出力する、
処理をコンピュータに実行させる描画制御プログラム。
【請求項１０】
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データと、前記動画データに対応する静止画データとを受信した場合、前記動画データと前記静止画データとをデコードし、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画し、
前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える、
処理をコンピュータに実行させる描画プログラム。
【請求項１１】
情報処理装置が、
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データを生成するとともに、前記動画データに対応する静止画データを生成し、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画するとともに、前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える端末装置に対して、前記動画データと前記静止画データとを送信する、
ことを特徴とする描画制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、描画システム、情報処理装置、端末装置、描画制御プログラム、描画プログラム、及び描画制御方法に関する。
【背景技術】
【０００２】
シンクライアントシステムと呼ばれる情報処理システムでは、サーバがアプリケーションプログラムやファイル等のリソースを管理し、クライアント端末は、それらのリソースを利用するための最低限の機能を有する。以下では、アプリケーションプログラムを単に「アプリケーション」と記載することがある。
【０００３】
このようなシンクライアントシステムは、サーバが実行した処理の結果やサーバが保持するデータをクライアント端末の画面上に表示させつつ、あたかもクライアント端末が主体となって処理を実行しデータを保持しているかのように振る舞う。
【０００４】
例えば、シンクライアントシステムのサーバは、資料作成や電子メール等の業務に関する業務アプリケーションを実行し、そのアプリケーションの処理結果をクライアント端末に表示させることができる。このような業務アプリケーションの他にも、Computer Aided Design（ＣＡＤ）等のように精細な画像を扱うアプリケーション、さらには、動画を扱うアプリケーション等が、シンクライアントシステムの適用範囲として拡充されることが望ましい。
【０００５】
シンクライアントシステムにおける通信プロトコルとしては、例えば、Remote Desktop Protocol（ＲＤＰ）、remote framebuffer（ＲＦＢ）プロトコル等が知られている。ＲＦＢプロトコルは、Virtual Network Computing（ＶＮＣ）で用いられるプロトコルである（例えば、非特許文献１を参照）。
【０００６】
これらの通信プロトコルにより画像や動画等の大容量のデータを扱う場合、クライアント端末で実行される操作に対するレスポンスが悪化するという問題がある。かかる問題は、画像や動画を扱う場合に限らず、シンクライアントシステムにおける画面更新時等にサーバとクライアント端末との間で大容量のデータ送信が発生する場合に共通する問題である。
【０００７】
そこで、画面データに対して圧縮率の異なる画像圧縮アルゴリズムを適用することで、サーバとクライアント端末との間におけるデータ転送量が最適化されることがある。例えば、画面データを不可逆圧縮アルゴリズムにより圧縮することで、画像品質（画質）の低下と引き替えにデータ転送量を大きく削減することができ、操作に対するレスポンスが改善される。
【０００８】
端末装置の表示部にコンピュータの実行結果を表示するための画像を複数の領域に分割し、高頻度変更領域の画像を、動画の圧縮処理を行って送信する情報処理装置も知られている（例えば、特許文献１を参照）。
【０００９】
画像符号化伝送装置から動画像データを、画像サーバを介してクライアント端末にリアルタイムに配信する動画像リアルタイム配信システムも知られている（例えば、特許文献２を参照）。この動画像リアルタイム配信システムは、画像サーバにおける画像データの滞留量が一定値以上になる毎に、画像サーバとクライアント端末との間の切断及び再接続を行う。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１１−２３８０１４号公報
【特許文献２】特開２００３−２０９８２８号公報
【非特許文献】
【００１１】
【非特許文献１】“Welcome to TigerVNC”、［online］、［平成２６年６月４日検索］、インターネット＜ＵＲＬ：http://sourceforge.net/apps/mediawiki/tigervnc/index.php?title=Welcome_to_TigerVNC＞
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来のシンクライアントシステムには、以下のような問題がある。
シンクライアントシステムにおいて、サーバが動画データを利用して画面データをクライアント端末へ送信する場合、クライアント端末における描画遅延を適切に制御することは困難である。
【００１３】
なお、かかる問題は、シンクライアントシステムにおいてサーバからクライアント端末へ画面データを送信する場合に限らず、他の情報処理システムにおいて情報処理装置から端末装置へ画像を送信する場合においても生ずるものである。
【００１４】
１つの側面において、本発明は、情報処理装置から画像を受信する端末装置における描画遅延を適切に制御することを目的とする。
【課題を解決するための手段】
【００１５】
１つの案では、描画システムは、情報処理装置及び端末装置を含む。情報処理装置は、生成部及び第１の通信部を含み、端末装置は、第２の通信部、デコーダ部、及び描画部を含む。
【００１６】
生成部は、画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データを生成するとともに、動画データに対応する静止画データを生成する。第１の通信部は、動画データと静止画データとを端末装置へ送信する。
【００１７】
第２の通信部は、動画データと静止画データとを情報処理装置から受信する。デコーダ部は、動画データと静止画データとをデコードする。描画部は、動画データのデコード処理が描画タイミングに間に合わない場合、静止画データのデコード結果を描画する。そして、描画部は、動画データのデコード処理が描画タイミングに追いついた場合、静止画データのデコード結果の描画を動画データのデコード結果の描画に切り替える。
【発明の効果】
【００１８】
実施形態によれば、情報処理装置から画像を受信する端末装置における描画遅延を適切に制御することができる。
【図面の簡単な説明】
【００１９】
【図１】描画システムの構成図である。
【図２】描画制御処理のフローチャートである。
【図３】描画処理のフローチャートである。
【図４】描画システムの具体例を示す図である。
【図５】描画制御処理の具体例を示すフローチャートである。
【図６】描画処理の具体例を示すフローチャートである。
【図７】情報処理装置の制御処理のフローチャートである。
【図８】受信時刻管理処理のフローチャートである。
【図９】端末装置の制御処理のフローチャートである。
【図１０】描画処理のタイミングチャートである。
【図１１】動画データの描画データを待ち合わせない制御処理のフローチャートである。
【図１２】動画データの描画データを待ち合わせない描画処理のタイミングチャートである。
【図１３】情報処理装置の構成図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、実施形態を詳細に説明する。
シンクライアントシステムでは、サーバがネットワーク帯域やユーザによる画質設定に対応するコーデックを用いて画面データをエンコードし、クライアント端末へ送信することができる。クライアント端末は、受信した画面データをリアルタイムにデコードして画面上に表示することで、スムーズな操作性を実現できる。画面データをエンコード又はデコードするためのコーデックは、静止画用コーデックと動画用コーデックの２種類に大別することができる。
【００２１】
静止画用コーデックとしては、例えば、Joint Photographic Experts Group（ＪＰＥＧ）やPortable Network Graphics（ＰＮＧ）、ＷｅｂＰ等を用いることができる。これらの静止画用コーデックでは、利用している圧縮アルゴリズムと圧縮対象となる画面領域のサイズとに応じて、デコード処理にかかる時間が決定される。
【００２２】
一方、動画用コーデックとしては、例えば、Moving Picture Experts Group phase 4（ＭＰＥＧ４）、Ｈ．２６４等を用いることができる。これらの動画用コーデックでは、圧縮アルゴリズム及び画面領域のサイズだけでなく、その画面領域がどのタイミングのフレームに含まれているかによって、デコード処理にかかる時間が変化する。特に、動画の最初のフレームをデコードする場合、通常のデコード処理に加えてデコーダ自体の初期化処理が発生するため、結果としてデコード処理にかかる時間が増加してしまう。
【００２３】
サーバは、画面領域の変更頻度に応じて、高頻度変更領域を動画データにエンコードしてクライアント端末へ送信し、低頻度変更領域を静止画データにエンコードして送信することができる。この場合、高頻度変更領域の動画データは、低頻度変更領域の静止画データと比較してデータ転送量が小さいため、高速に送信することが可能である。しかしながら、クライアント端末における動画データの処理負荷は、静止画データの処理負荷よりも高いため、フレームの更新が間に合わず、画面上に画面データを描画する際に描画遅延が発生することがある。描画遅延が発生すると、クライアント端末における操作性が悪化する。
【００２４】
特に、動画データの最初のフレームのデコード処理には、他のフレームよりも時間がかかるため、初動のフレームレートが低下して描画遅延が発生すると考えられる。
【００２５】
図１は、実施形態の描画システムの構成例を示している。図１の描画システムは、情報処理装置１０１及び端末装置１０２を含む。情報処理装置１０１と端末装置１０２は、無線又は有線の通信ネットワーク１０３により接続されている。情報処理装置１０１は、生成部１１１及び通信部１１２を含み、端末装置１０２は、通信部１２１、デコーダ部１２２、及び描画部１２３を含む。
【００２６】
図２は、図１の情報処理装置１０１が行う描画制御処理の例を示すフローチャートである。まず、生成部１１１は、画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データを生成するとともに、動画データに対応する静止画データを生成する（ステップ２０１）。次に、通信部１１２は、動画データと静止画データとを端末装置１０２へ送信する（ステップ２０２）。
【００２７】
図３は、図１の端末装置１０２が行う描画処理の例を示すフローチャートである。まず、通信部１２１は、動画データと静止画データとを情報処理装置１０１から受信する（ステップ３０１）。次に、デコーダ部１２２は、動画データと静止画データとをデコードする（ステップ３０２）。次に、描画部１２３は、動画データのデコード処理が描画タイミングに間に合わない場合、静止画データのデコード結果を描画する（ステップ３０３）。そして、描画部１２３は、動画データのデコード処理が描画タイミングに追いついた場合、静止画データのデコード結果の描画を動画データのデコード結果の描画に切り替える（ステップ３０４）。
【００２８】
このような描画システムによれば、情報処理装置１０１から画像を受信する端末装置１０２における描画遅延を適切に制御することができる。
【００２９】
図４は、図１の描画システムの具体例を示している。図４の情報処理装置１０１は、生成部１１１、通信部１１２、実行部４０１、画面生成部４０２、フレームバッファ４０３、及び転送部４１０を含む。生成部１１１は、領域生成部４０４、領域判定部４０５、制御部４０６、動画エンコーダ４０７、静止画エンコーダ４０８、及び更新情報生成部４０９を含む。
【００３０】
情報処理装置１０１は、シンクライアントシステムにおけるサーバであってもよく、他の情報処理システムにおいて端末装置１０２へ画像を送信する送信装置であってもよい。
【００３１】
通信部１１２は、端末装置１０２との間で１つのコネクションを維持することができ、生成部１１１により生成される更新情報を端末装置１０２へ送信するとともに、端末装置１０２から操作情報を受信する。転送部４１０は、通信部１１２が受信した操作情報を実行部４０１へ転送する。
【００３２】
実行部４０１は、転送部４１０から転送される操作情報に基づいて、オペレーティングシステムや各種アプリケーションを実行し、実行結果に基づいて画面生成部４０２へ描画命令を発行する。描画命令としては、例えば、Graphic Device Interface（ＧＤＩ）命令を用いることができる。画面生成部４０２は、描画命令に基づいて、端末装置１０２の画面上に表示される画像を生成し、フレームバッファ４０３に格納する。
【００３３】
領域生成部４０４は、フレームバッファ４０３内の画像を定期的にチェックし、前回のチェック時とは異なる領域を変更領域と判定し、変更領域を示す変更領域情報を領域判定部４０５へ転送する。領域判定部４０５は、変更領域情報を制御部４０６へ転送するとともに、一定期間内の各フレームの画像に基づいて、変更頻度が所定閾値を超える高頻度変更領域を動画化領域と判定し、動画化領域を示す動画化領域情報を制御部４０６へ転送する。高頻度変更領域を特定する方法としては、例えば、特許文献１に記載された方法を用いることができる。
【００３４】
制御部４０６は、領域判定部４０５から転送される変更領域情報を静止画エンコーダ４０８へ転送する。端末装置１０２において動画データの描画遅延が発生している場合、制御部４０６は、領域判定部４０５から転送される動画化領域情報を動画エンコーダ４０７へ転送するとともに、動画化領域情報を変更領域情報に変換して静止画エンコーダ４０８へ転送する。端末装置１０２における描画遅延が解消した場合、制御部４０６は、動画化領域情報を動画エンコーダ４０７のみへ転送する。端末装置１０２における描画遅延の有無は、端末装置１０２から通信部１１２を介して制御部４０６へ通知される。
【００３５】
動画エンコーダ４０７は、動画化領域情報に基づいて、動画用コーデックにより動画化領域の画像をエンコードし、動画データを生成する。そして、動画エンコーダ４０７は、動画データを更新情報生成部４０９へ転送する。動画データは、複数のフレームの同じ変更領域に対応する複数の符号化ピクチャを含むことができる。
【００３６】
静止画エンコーダ４０８は、変更領域情報に基づいて、静止画用コーデックにより変更領域の画像をエンコードし、静止画データを生成する。そして、静止画エンコーダ４０８は、静止画データを更新情報生成部４０９へ転送する。静止画データは、１つ又は複数のフレームの変更領域に対応する１つ又は複数の符号化画像である。
【００３７】
更新情報生成部４０９は、動画データ又は静止画データを含む更新情報を生成して通信部１１２へ転送し、通信部１１２は、更新情報を端末装置１０２へ送信する。
【００３８】
図４の端末装置１０２は、通信部１２１、デコーダ部１２２、描画部１２３、表示部４２１、フレームバッファ４２２、データ抽出部４２７、記憶部４２８、及び検出部４２９を含む。デコーダ部１２２は、動画デコーダ４２５及び静止画デコーダ４２６を含み、描画部１２３は、画面生成部４２３及び制御部４２４を含む。
【００３９】
端末装置１０２は、シンクライアントシステムにおけるクライアント端末であってもよく、他の情報処理システムにおいて情報処理装置１０１から画像を受信する受信装置であってもよい。端末装置１０２としては、デスクトップパーソナルコンピュータ（デスクトップＰＣ）、ノート型ＰＣ、Personal Digital Assistant（ＰＤＡ）、スマートフォン、タブレット、携帯ゲーム機、携帯音楽プレイヤー等を用いることができる。
【００４０】
検出部４２９は、端末装置１０２におけるユーザの操作情報を検出し、通信部１２１へ転送する。通信部１２１は、情報処理装置１０１との間で１つのコネクションを維持することができ、操作情報を情報処理装置１０１へ送信するとともに、情報処理装置１０１から更新情報を受信する。
【００４１】
データ抽出部４２７は、通信部１２１が受信した更新情報から動画データを抽出した場合、抽出した動画データを動画デコーダ４２５へ転送し、更新情報から静止画データを抽出した場合、抽出した静止画データを静止画デコーダ４２６へ転送する。このとき、データ抽出部４２７は、更新情報を受信した時刻を記憶部４２８に記録する。
【００４２】
動画デコーダ４２５は、動画用コーデックにより動画データをデコードし、デコード結果である描画データを生成する。そして、動画デコーダ４２５は、動画データの描画データを制御部４２４へ転送する。このとき、動画データに含まれる複数の符号化ピクチャから複数のフレームの描画データが生成される。
【００４３】
静止画デコーダ４２６は、静止画用コーデックにより静止画データをデコードし、デコード結果である描画データを生成する。そして、静止画デコーダ４２６は、静止画データの描画データを制御部４２４へ転送する。このとき、静止画データに含まれる１つ又は複数の符号化画像から１つ又は複数のフレームの描画データが生成される。
【００４４】
制御部４２４は、記憶部４２８に記録された受信時刻に基づいて、動画データのデコード処理が描画タイミングに間に合うか否かをチェックする。動画データの描画タイミングは、動画データから生成される描画データに基づく描画が行われる時刻を表し、動画データの複数のフレームに対応する複数の描画時刻を含むことができる。
【００４５】
動画データのデコード処理が描画タイミングに間に合わない場合、制御部４２４は、静止画データの描画データを画面生成部４２３へ転送し、通信部１２１を介して描画遅延の発生を情報処理装置１０１へ通知する。そして、制御部４２４は、動画データのデコード処理が描画タイミングに追いついた場合、動画データの描画データを画面生成部４２３へ転送し、通信部１２１を介して描画遅延の解消を情報処理装置１０１へ通知する。
【００４６】
画面生成部４２３は、静止画データの描画データ又は動画データの描画データを展開して、端末装置１０２の画面上に表示される画像を生成し、フレームバッファ４２２に格納する。表示部４２１は、フレームバッファ４２２から画像を読み出して画面上に表示する。
【００４７】
このように、情報処理装置１０１が動画データとともに静止画データを生成して端末装置１０２へ送信することで、端末装置１０２は、動画データのデコード処理が間に合わない場合でも、静止画データのデコード結果を用いて描画を行うことができる。これにより、端末装置１０２におけるフレームレートを維持して描画遅延を抑制し、スムーズな操作性を実現できる。特に、動画データの最初のフレームをデコードする際、代わりに静止画データのデコード結果を描画することで、フレームレートの低下を防止できる。
【００４８】
なお、情報処理装置１０１の制御部４０６は、端末装置１０２から描画遅延の解消を通知されるまでは描画遅延が発生しているものとみなして、動画化領域情報を動画エンコーダ４０７及び静止画エンコーダ４０８へ転送してもよい。この場合、端末装置１０２の制御部４２４は、描画遅延の発生を情報処理装置１０１へ通知する必要はなく、描画遅延の解消のみを通知すればよい。
【００４９】
端末装置１０２は、描画遅延の解消を情報処理装置１０１へ通知することで、動画化領域に対応する静止画データの送信の終了を情報処理装置１０１へ指示する。この指示に従って、情報処理装置１０１の生成部１１１は、動画化領域に対応する静止画データの生成を終了し、通信部１１２は、動画化領域に対応する静止画データの送信を終了する。これにより、不要な静止画データの生成及び送信が抑止され、情報処理装置１０１及び端末装置１０２の処理負荷を軽減できるとともに、データ転送量の増加を抑制することができる。
【００５０】
図５は、図４の情報処理装置１０１が行う描画制御処理の具体例を示すフローチャートである。情報処理装置１０１は、図５の描画制御処理を所定のタイミングで開始する。情報処理装置１０１は、一定時間が経過する毎に描画制御処理を開始してもよい。
【００５１】
まず、領域生成部４０４は、フレームバッファ４０３内の画像が更新されたか否かをチェックし（ステップ５０１）、画像が更新された場合（ステップ５０１，ＹＥＳ）、変更領域を特定して変更領域情報を生成する（ステップ５０２）。
【００５２】
変更領域は、例えば、フレームバッファ４０３内に格納された１フレーム前のフレームと最新のフレームとの間で変更があった領域であり、変更領域情報は、変更領域の位置及び大きさを示す領域情報を含むことができる。例えば、変更領域を矩形で表す場合、領域情報は、フレームバッファ４０３内の画像上における矩形の位置を示すｘ座標及びｙ座標と、その矩形の高さｗ及び幅ｈとを含むことができる。この場合、領域情報は、（ｘ，ｙ，ｗ，ｈ）＝（１０，１０，１２０，２４０）のように記述できる。
【００５３】
変更領域情報は、さらに、変更領域の静止画データの画質を示す画質情報を含むこともできる。この画質情報が示す画質としては、変更頻度が所定閾値を超えない低頻度変更領域に対応する画質を用いることができる。
【００５４】
次に、領域判定部４０５は、変更領域情報が示す変更領域が高頻度変更領域であるか否かをチェックし、高頻度変更領域を動画化領域と判定して、動画化領域を示す動画化領域情報を生成する（ステップ５０３）。動画化領域情報も、変更領域情報と同様に、動画化領域の位置及び大きさを示す領域情報を含むことができる。
【００５５】
次に、制御部４０６は、変更領域情報、動画化領域情報、及び描画遅延の有無に基づいて、動画データ及び静止画データの両方を生成するか否かを判定する（ステップ５０４）。動画データ及び静止画データの両方を生成する場合（ステップ５０４，ＹＥＳ）、制御部４０６は、動画化領域情報を動画エンコーダ４０７へ転送するとともに、動画化領域情報を変更領域情報に変換して静止画エンコーダ４０８へ転送する。そして、動画エンコーダ４０７は、動画データを生成し、静止画エンコーダ４０８は、静止画データを生成する（ステップ５０５）。
【００５６】
このとき、動画化領域情報から生成される変更領域情報は、動画化領域情報の領域情報を含むとともに、静止画データの画質を示す画質情報を含むこともできる。この画質情報が示す画質としては、低頻度変更領域に対応する画質を用いてもよく、低頻度変更領域に対応する画質よりも低い画質を用いてもよい。低頻度変更領域に対応する画質よりも低い画質を用いた場合、動画データに対応する静止画データを低画質に設定することができる。これにより、動画データに対応する静止画データのデータ転送量が削減され、情報処理装置１０１及び端末装置１０２の処理負荷が軽減される。
【００５７】
一方、動画データ又は静止画データの一方を生成する場合（ステップ５０４，ＮＯ）、制御部４０６は、動画化領域情報を動画エンコーダ４０７へ転送するか、又は変更領域情報を静止画エンコーダ４０８へ転送する。動画化領域情報が転送された場合、動画エンコーダ４０７は、動画データを生成し、変更領域情報が転送された場合、静止画エンコーダ４０８は、静止画データを生成する（ステップ５０９）。
【００５８】
ステップ５０５又はステップ５０９において、動画エンコーダ４０７は、受信した動画化領域情報から領域情報を抽出し、フレームバッファ４０３内の画像中で領域情報が示す変更領域の画像をエンコードして、動画データを生成する。動画データは、変更領域のエンコード結果とともに、変更領域を示す領域情報を含む。また、静止画エンコーダ４０８は、変更領域情報から領域情報を抽出し、フレームバッファ４０３内の画像中で領域情報が示す変更領域の画像をエンコードして、静止画データを生成する。静止画データは、変更領域のエンコード結果とともに、変更領域を示す領域情報を含む。
【００５９】
変更領域情報に画質情報が含まれている場合、静止画エンコーダ４０８は、画質情報が示す画質で変更領域の画像をエンコードする。例えば、低頻度変更領域に対応する画質の場合、静止画エンコーダ４０８は、平均的な画質で変更領域の画像をエンコードすることができる。低頻度変更領域に対応する画質よりも低い画質の場合、静止画エンコーダ４０８は、平均的な画質より低い画質で変更領域の画像をエンコードすることができる。
【００６０】
次に、更新情報生成部４０９は、動画データ又は静止画データを含む更新情報を生成し、通信部１１２は、更新情報を端末装置１０２へ送信する（ステップ５０６）。
【００６１】
フレームバッファ４０３内の画像が更新されていない場合（ステップ５０１，ＮＯ）、転送部４１０は、端末装置１０２から操作情報を受信したか否かをチェックする（ステップ５０７）。
【００６２】
操作情報を受信した場合（ステップ５０７，ＹＥＳ）、転送部４１０は、操作情報を実行部４０１へ転送する（ステップ５０８）。そして、実行部４０１は、操作情報に基づいて描画命令を発行し、画面生成部４０２は、描画命令に基づいてフレームバッファ４０３内の画像を更新し、情報処理装置１０１は、ステップ５０１以降の処理を繰り返す。一方、操作情報を受信していない場合（ステップ５０７，ＮＯ）、情報処理装置１０１は、処理を終了する。
【００６３】
図６は、図４の端末装置１０２が行う描画処理の具体例を示すフローチャートである。まず、検出部４２９は、端末装置１０２の入力装置からの信号に基づいて、ユーザによる操作が行われたか否かをチェックし（ステップ６０１）、操作が行われていない場合（ステップ６０１，ＮＯ）、ステップ６０１の処理を繰り返す。一方、操作が行われた場合（ステップ６０１，ＹＥＳ）、検出部４２９は、操作情報を通信部１２１へ転送し、通信部１２１は、操作情報を情報処理装置１０１へ送信する（ステップ６０２）。
【００６４】
次に、データ抽出部４２７は、情報処理装置１０１から更新情報を受信したか否かをチェックし（ステップ６０３）、更新情報を受信していない場合（ステップ６０３，ＮＯ）、端末装置１０２は、ステップ６０１以降の処理を繰り返す。一方、更新情報を受信した場合（ステップ６０３，ＹＥＳ）、データ抽出部４２７は、更新情報から抽出した動画データ又は静止画データを抽出し、動画データを動画デコーダ４２５へ転送し、静止画データを静止画デコーダ４２６へ転送する。そして、動画デコーダ４２５は、動画データをデコードして描画データを生成し、静止画デコーダ４２６は、静止画データをデコードして描画データを生成する（ステップ６０４）。
【００６５】
次に、制御部４２４は、動画データ及び静止画データの両方を受信したか否かをチェックする（ステップ６０５）。動画データ及び静止画データの両方を受信した場合（ステップ６０５，ＹＥＳ）、制御部４２４は、動画データのデコード処理が描画タイミングに間に合うか否かをチェックする（ステップ６０６）。
【００６６】
動画データのデコード処理が描画タイミングに間に合わない場合（ステップ６０６，ＮＯ）、制御部４２４は、静止画データの描画データを選択して画面生成部４２３へ転送する（ステップ６１１）。一方、動画データのデコード処理が描画タイミングに間に合う場合（ステップ６０６，ＹＥＳ）、制御部４２４は、動画データの描画データを選択して画面生成部４２３へ転送する（ステップ６０７）。そして、通信部１２１は、描画遅延の解消を情報処理装置１０１へ通知する（ステップ６０８）。
【００６７】
動画データ又は静止画データの一方を受信した場合（ステップ６０５，ＮＯ）、制御部４２４は、受信したデータに対応する描画データを画面生成部４２３へ転送する。
【００６８】
次に、画面生成部４２３は、描画データから画像を生成してフレームバッファ４２２に格納し、表示部４２１は、画像を画面上に表示する（ステップ６０９）。
【００６９】
次に、検出部４２９は、ユーザによる終了操作が行われたか否かをチェックし（ステップ６１０）、終了操作が行われていない場合（ステップ６１０，ＮＯ）、ステップ６０１の処理を繰り返す。そして、終了操作が行われた場合（ステップ６１０，ＹＥＳ）、端末装置１０２は、処理を終了する。
【００７０】
端末装置１０２は、ステップ６０１及びステップ６０２の処理を、ステップ６０３及びステップ６０４の処理の後で行ってもよく、ステップ６０１及びステップ６０２の処理と、ステップ６０３及びステップ６０４の処理とを並列に実行してもよい。
【００７１】
図７は、図５のステップ５０４、ステップ５０５、及びステップ５０９において、情報処理装置１０１の制御部４０６が行う制御処理の例を示すフローチャートである。まず、制御部４０６は、領域判定部４０５から動画化領域情報を受信したか否かをチェックする（ステップ７０１）。
【００７２】
動画化領域情報を受信した場合（ステップ７０１，ＹＥＳ）、制御部４０６は、描画遅延が発生しているか否かをチェックする（ステップ７０２）。例えば、制御部４０６は、動画化領域情報が示す動画化領域について、端末装置１０２から描画遅延の解消を通知されていない場合、描画遅延が発生していると判定し、描画遅延の解消を通知された場合、描画遅延が発生していないと判定することができる。
【００７３】
描画遅延が発生している場合（ステップ７０２，ＹＥＳ）、制御部４０６は、動画化領域情報から変更領域情報を生成し（ステップ７０３）、生成した変更領域情報を静止画エンコーダ４０８へ転送する（ステップ７０４）。そして、制御部４０６は、動画化領域情報を動画エンコーダ４０７へ転送し（ステップ７０５）、ステップ７０１以降の処理を繰り返す。
【００７４】
一方、描画遅延が発生していない場合（ステップ７０２，ＮＯ）、制御部４０６は、変更領域情報を生成することなく、動画化領域情報を動画エンコーダ４０７へ転送し（ステップ７０５）、ステップ７０１以降の処理を繰り返す。
【００７５】
動画化領域情報を受信していない場合（ステップ７０１，ＮＯ）、制御部４０６は、領域判定部４０５から変更領域情報を受信したか否かをチェックする（ステップ７０６）。変更領域情報を受信した場合（ステップ７０６，ＹＥＳ）、制御部４０６は、変更領域情報を静止画エンコーダ４０８へ転送し（ステップ７０７）、ステップ７０１以降の処理を繰り返す。
【００７６】
一方、変更領域情報を受信していない場合（ステップ７０６，ＮＯ）、制御部４０６は、ステップ７０１以降の処理を繰り返す。
【００７７】
図８は、図６のステップ６０３において、端末装置１０２のデータ抽出部４２７が行う受信時刻管理処理の例を示すフローチャートである。まず、データ抽出部４２７は、情報処理装置１０１から更新情報を受信したか否かをチェックする（ステップ８０１）。更新情報を受信した場合（ステップ８０１，ＹＥＳ）、データ抽出部４２７は、更新情報に含まれる動画データ又は静止画データから領域情報を抽出し、領域情報に基づいて変更領域を特定する（ステップ８０２）。
【００７８】
そして、データ抽出部４２７は、更新情報の受信時刻を変更領域と対応付けて記憶部４２８に記録し（ステップ８０３）、ステップ８０１以降の処理を繰り返す。同じ変更領域に対して動画データ及び静止画データの２種類のデータを受信した場合、最初に受信したデータの受信時刻が後から受信したデータの受信時刻により上書きされる。
【００７９】
一方、更新情報を受信していない場合（ステップ８０１，ＮＯ）、データ抽出部４２７は、制御部４２４から受信時刻の問い合わせを受信したか否かをチェックする（ステップ８０４）。問い合わせを受信した場合（ステップ８０４，ＹＥＳ）、データ抽出部４２７は、問い合わせが示す変更領域に対応する受信時刻を記憶部４２８から読み出して、制御部４２４へ通知し（ステップ８０５）、ステップ８０１以降の処理を繰り返す。問い合わせを受信していない場合（ステップ８０４，ＮＯ）、データ抽出部４２７は、ステップ８０１以降の処理を繰り返す。
【００８０】
図９は、図６のステップ６０５〜ステップ６０８及びステップ６１１において、端末装置１０２の制御部４２４が行う制御処理の例を示すフローチャートである。まず、制御部４２４は、動画デコーダ４２５又は静止画デコーダ４２６から描画データを受信したか否かをチェックする（ステップ９０１）。描画データを受信していない場合（ステップ９０１，ＮＯ）、制御部４２４は、ステップ９０１の処理を繰り返す。
【００８１】
一方、描画データを受信した場合（ステップ９０１，ＹＥＳ）、制御部４２４は、端末装置１０２の描画遅延が発生しているか否かをチェックする（ステップ９０２）。例えば、制御部４２４は、動画データの変更領域について、描画遅延の解消を情報処理装置１０１へ通知していない場合、描画遅延が発生していると判定し、描画遅延の解消を通知済みである場合、描画遅延が発生していないと判定することができる。
【００８２】
描画遅延が発生していない場合（ステップ９０２，ＮＯ）、制御部４２４は、受信した描画データを画面生成部４２３へ転送し（ステップ９１１）、ステップ９０１以降の処理を繰り返す。
【００８３】
一方、描画遅延が発生している場合（ステップ９０２，ＹＥＳ）、制御部４２４は、受信した描画データに対応する変更領域の受信時刻をデータ抽出部４２７に問い合わせ、受信時刻を取得する（ステップ９０３）。そして、取得した受信時刻に基づいて、描画データの描画時刻を計算する（ステップ９０４）。
【００８４】
このとき、制御部４２４は、例えば、あるフレームの処理を開始してから次のフレームの処理を開始するまでの所定時間を、受信時刻に加算することで、描画時刻を計算することができる。画面上に表示される画像が１秒間にＮフレームの頻度で更新される場合、所定時間として１／Ｎ秒を用いることができる。例えば、Ｎ＝３０の場合、所定時間は約３３ｍｓとなる。
【００８５】
次に、制御部４２４は、受信した描画データが動画データの描画データ又は静止画データの描画データのいずれであるかをチェックする（ステップ９０５）。受信した描画データが静止画データの描画データである場合（ステップ９０５，ＹＥＳ）、制御部４２４は、動画デコーダ４２５から同じ変更領域に対応する動画データの描画データが転送されてくるのを、描画時刻まで待ち合わせる（ステップ９０６）。
【００８６】
同じ変更領域に対応する動画データの描画データを描画時刻までに受信しなかった場合（ステップ９０６，ＮＯ）、制御部４２４は、受信した静止画データの描画データを画面生成部４２３へ転送し（ステップ９１２）、ステップ９０１以降の処理を繰り返す。
【００８７】
一方、動画データの描画データを描画時刻までに受信した場合（ステップ９０６，ＹＥＳ）、制御部４２４は、先に受信した静止画データの描画データを破棄して、受信した動画データの描画データを画面生成部４２３へ転送する（ステップ９０７）。そして、制御部４２４は、通信部１２１を介して、描画遅延の解消を情報処理装置１０１へ通知し（ステップ９０８）、ステップ９０１以降の処理を繰り返す。
【００８８】
ステップ９０１で受信した描画データが動画データの描画データである場合（ステップ９０５，ＮＯ）、制御部４２４は、現在時刻と描画時刻とを比較する（ステップ９０９）。現在時刻が描画時刻以前である場合（ステップ９０９，ＹＥＳ）、制御部４２４は、ステップ９０７以降の処理を行う。一方、現在時刻が描画時刻を過ぎている場合（ステップ９０９，ＮＯ）、制御部４２４は、受信した動画データの描画データを破棄して（ステップ９１０）、ステップ９０１以降の処理を繰り返す。
【００８９】
このような制御処理によれば、ある変更領域に対して情報処理装置１０１から静止画データ又は動画データの一方のみが送信された場合、そのデータの種類に対応したデコーダにより描画データが生成され、その描画データが画面生成部４２３へ転送される。
【００９０】
一方、ある変更領域に対して情報処理装置１０１から静止画データ及び動画データの両方が送信され、端末装置１０２が動画データよりも先に静止画データを受信した場合、静止画データ及び動画データの両方から描画データが生成される。そして、動画データの描画データが描画時刻以前に生成されたか否かに応じて、動画データの描画データ又は静止画データの描画データのうち一方のみが画面生成部４２３へ転送される。
【００９１】
その結果、動画データのデコード処理が所定時間内に終了しない場合は、動画データに対応する静止画データのデコード結果が描画される。その後、動画データのデコード処理が所定時間内に終了した場合、静止画データのデコード結果の描画が動画データのデコード結果の描画に切り替えられる。
【００９２】
動画データのデコード処理では、動画データに含まれる最初のフレームの符号化ピクチャのデコードに比較的長い時間がかかる傾向が見られる。最初のフレームの符号化ピクチャのデコード時には、符号化ピクチャのデコードだけでなく、動画デコーダ４２５の初期化処理が行われるためである。このため、動画データの最初の数フレームについては、符号化ピクチャのデコードが描画時刻までに完了しない状態となり、代わりに静止画データのデコード結果が描画される可能性がある。
【００９３】
図１０は、同じ変更領域に対して静止画データ及び動画データの両方が送信された場合の描画処理の例を示すタイミングチャートである。隣接する時刻ｔｉと時刻ｔ（ｉ＋１）との間隔（ｉ＝１〜７）は、あるフレームの処理を開始してから次のフレームの処理を開始するまでの所定時間Ｔに対応する。
【００９４】
情報処理装置１０１は、第１フレーム〜第５フレームに対して、静止画データＳ１〜静止画データＳ５と動画データの符号化ピクチャＭ１〜符号化ピクチャＭ５とを生成し、端末装置１０２へ送信する。端末装置１０２は、時刻ｔ１〜時刻ｔ５において静止画データＳ１〜静止画データＳ５をそれぞれ受信し、時刻ｔ１＋Δｔ〜時刻ｔ５＋Δｔにおいて符号化ピクチャＭ１〜符号化ピクチャＭ５をそれぞれ受信する。Δｔは、例えば、所定時間Ｔと比較して十分に短い時間である。
【００９５】
第１フレーム〜第５フレームの描画時刻は、時刻ｔ１＋Δｔ〜時刻ｔ５＋Δｔに所定時間Ｔを加算することで計算され、それぞれ、時刻ｔ２＋Δｔ〜時刻ｔ６＋Δｔとなる。
【００９６】
まず、時刻ｔ１に受信した第１フレームの静止画データＳ１がデコードされ、静止画データＳ１の描画データが生成された後、第１フレームの描画時刻ｔ２＋Δｔまで待っても、第１フレームの符号化ピクチャＭ１のデコードが完了しない。このため、描画時刻ｔ２＋Δｔにおいて、静止画データＳ１の描画データが描画される。その後、符号化ピクチャＭ１のデコードが完了した時点で、描画時刻ｔ２＋Δｔを過ぎているため、符号化ピクチャＭ１の描画データは破棄される。
【００９７】
次に、時刻ｔ２に受信した第２フレームの静止画データＳ２がデコードされ、静止画データＳ２の描画データが生成された後、第２フレームの描画時刻ｔ３＋Δｔまで待っても、第２フレームの符号化ピクチャＭ２のデコードが完了しない。このため、描画時刻ｔ３＋Δｔにおいて、静止画データＳ２の描画データが描画される。その後、符号化ピクチャＭ２のデコードが完了した時点で、描画時刻ｔ３＋Δｔを過ぎているため、符号化ピクチャＭ２の描画データは破棄される。
【００９８】
次に、時刻ｔ３に受信した第３フレームの静止画データＳ３がデコードされ、静止画データＳ３の描画データが生成された後、第３フレームの描画時刻ｔ４＋Δｔまで待っても、第３フレームの符号化ピクチャＭ３のデコードが完了しない。このため、描画時刻ｔ４＋Δｔにおいて、静止画データＳ３の描画データが描画される。その後、符号化ピクチャＭ３のデコードが完了した時点で、描画時刻ｔ４＋Δｔを過ぎているため、符号化ピクチャＭ３の描画データは破棄される。
【００９９】
次に、時刻ｔ４に受信した第４フレームの静止画データＳ４がデコードされ、静止画データＳ４の描画データが生成された後、第４フレームの描画時刻ｔ５＋Δｔまで待っても、第４フレームの符号化ピクチャＭ４のデコードが完了しない。このため、描画時刻ｔ５＋Δｔにおいて、静止画データＳ４の描画データが描画される。その後、符号化ピクチャＭ４のデコードが完了した時点で、描画時刻ｔ５＋Δｔを過ぎているため、符号化ピクチャＭ４の描画データは破棄される。
【０１００】
次に、時刻ｔ５に受信した第５フレームの静止画データＳ５がデコードされ、静止画データＳ５の描画データが生成された後、第５フレームの描画時刻ｔ６＋Δｔよりも前に、第５フレームの符号化ピクチャＭ５のデコードが完了する。このため、描画時刻ｔ６＋Δｔまで待つことなく、静止画データＳ５の描画データは破棄され、符号化ピクチャＭ５の描画データが描画される。そして、描画遅延の解消が情報処理装置１０１へ通知される。
【０１０１】
そこで、情報処理装置１０１は、静止画データの送信を中止し、第６フレーム以降のフレームについては動画データのみを送信する。端末装置１０２は、時刻ｔ６〜時刻ｔ８において、第６フレームの符号化ピクチャＭ６〜第８フレームの符号化ピクチャＭ８をそれぞれ受信する。
【０１０２】
まず、時刻ｔ６に受信した第６フレームの符号化ピクチャＭ６がデコードされ、符号化ピクチャＭ６の描画データが生成される。このとき、描画遅延は解消しているため、符号化ピクチャＭ６の描画データが描画される。
【０１０３】
次に、時刻ｔ７に受信した第７フレームの符号化ピクチャＭ７がデコードされ、符号化ピクチャＭ７の描画データが生成される。このとき、描画遅延は解消しているため、符号化ピクチャＭ７の描画データが描画される。
【０１０４】
次に、時刻ｔ８に受信した第８フレームの符号化ピクチャＭ８がデコードされ、符号化ピクチャＭ８の描画データが生成される。このとき、描画遅延は解消しているため、符号化ピクチャＭ８の描画データが描画される。
【０１０５】
同様にして、第９フレーム以降のフレームについても、動画データの描画データが生成されて描画される。
【０１０６】
このように、動画データのデコード処理が描画タイミングに間に合わない場合、静止画データの描画データを用いて描画を行うことで、端末装置１０２におけるフレームレートを維持することができる。
【０１０７】
特に、動画データがイントラ符号化ピクチャ（Ｉピクチャ）と、Ｉピクチャに続く１つ以上の予測符号化ピクチャとを含む場合、Ｉピクチャのデコードには、予測符号化ピクチャのデコードよりも長い時間がかかる傾向が見られる。予測符号化ピクチャとしては、前方向予測符号化ピクチャ（Ｐピクチャ）、双方向予測符号化ピクチャ（Ｂピクチャ）等が用いられる。
【０１０８】
この場合、情報処理装置１０１は、イントラ符号化ピクチャに対応する符号化画像と各予測符号化ピクチャに対応する符号化画像とを含む静止画データを送信する。端末装置１０２は、イントラ符号化ピクチャとそれに続く１つ以上の予測符号化ピクチャのデコード処理が描画タイミングに間に合わない場合、それらのピクチャに対応する符号化画像を用いて描画を行うことで、フレームレートを維持することができる。
【０１０９】
図９の制御処理では、受信した描画データが静止画データの描画データである場合、制御部４２４は、描画時刻まで同じ変更領域に対応する動画データの描画データを待ち合わせている。しかし、この制御処理では、情報処理装置１０１から静止画データのみが送信された場合でも、動画データの描画データが待ち合わせられるため、描画時刻になるまでフレームの描画処理が開始されない。
【０１１０】
そこで、動画データの描画データを待ち合わせることなく、直ちに静止画データの描画データを画面生成部４２３へ転送する方法が考えられる。この方法では、描画時刻まで待つ必要がないため、図９の制御処理よりも描画遅延が改善される。
【０１１１】
図１１は、静止画データの描画データを直ちに画面生成部４２３へ転送する制御処理の例を示すフローチャートである。図１１のステップ１１０１、ステップ１１０２、及びステップ１１１０の処理は、図９のステップ９０１、ステップ９０２、及びステップ９１１の処理と同様である。
【０１１２】
描画遅延が発生している場合（ステップ１１０２，ＹＥＳ）、制御部４２４は、受信した描画データが動画データの描画データ又は静止画データの描画データのいずれであるかをチェックする（ステップ１１０３）。受信した描画データが静止画データの描画データである場合（ステップ１１０３，ＹＥＳ）、制御部４２４は、静止画データの描画データを画面生成部４２３へ転送し（ステップ１１１１）、ステップ１１０１以降の処理を繰り返す。
【０１１３】
一方、受信した描画データが動画データの描画データである場合（ステップ１１０３，ＮＯ）、受信した描画データに対応する変更領域の受信時刻をデータ抽出部４２７に問い合わせ、受信時刻を取得する（ステップ１１０４）。そして、取得した受信時刻に基づいて、描画データの描画時刻を計算する（ステップ１１０５）。
【０１１４】
次に、制御部４２４は、現在時刻と描画時刻とを比較する（ステップ１１０６）。現在時刻が描画時刻以前である場合（ステップ１１０６，ＹＥＳ）、制御部４２４は、受信した動画データの描画データを画面生成部４２３へ転送する（ステップ１１０７）。そして、制御部４２４は、通信部１２１を介して、描画遅延の解消を情報処理装置１０１へ通知し（ステップ１１０８）、ステップ１１０１以降の処理を繰り返す。
【０１１５】
一方、現在時刻が描画時刻を過ぎている場合（ステップ１１０６，ＮＯ）、制御部４２４は、受信した動画データの描画データを破棄して（ステップ１１０９）、ステップ１１０１以降の処理を繰り返す。
【０１１６】
このような制御処理によれば、端末装置１０２がある変更領域に対する動画データよりも先に同じ変更領域に対する静止画データを受信した場合、その静止画データの描画データが直ちに画面生成部４２３へ転送される。その結果、端末装置１０２は、動画データに対応する静止画データがデコードされると、描画時刻まで待つことなく、直ちに静止画データのデコード結果を描画することができ、図９の制御処理よりも描画遅延が改善される。
【０１１７】
図１２は、図１１の制御処理に基づく描画処理の例を示すタイミングチャートである。図１０の場合と同様に、情報処理装置１０１は、第１フレーム〜第５フレームに対して、静止画データＳ１〜静止画データＳ５と動画データの符号化ピクチャＭ１〜符号化ピクチャＭ５とを生成し、端末装置１０２へ送信する。端末装置１０２は、時刻ｔ１〜時刻ｔ５において静止画データＳ１〜静止画データＳ５をそれぞれ受信し、時刻ｔ１＋Δｔ〜時刻ｔ５＋Δｔにおいて符号化ピクチャＭ１〜符号化ピクチャＭ５をそれぞれ受信する。
【０１１８】
図１０の場合と同様に、第１フレーム〜第５フレームの描画時刻は、それぞれ、時刻ｔ２＋Δｔ〜時刻ｔ６＋Δｔとなる。
【０１１９】
まず、時刻ｔ１に受信した第１フレームの静止画データＳ１がデコードされ、静止画データＳ１の描画データが生成されると、直ちに静止画データＳ１の描画データが描画される。その後、第１フレームの符号化ピクチャＭ１のデコードが完了した時点で、第１フレームの描画時刻ｔ２＋Δｔを過ぎているため、符号化ピクチャＭ１の描画データは破棄される。
【０１２０】
次に、時刻ｔ２に受信した第２フレームの静止画データＳ２がデコードされ、静止画データＳ２の描画データが生成されると、直ちに静止画データＳ２の描画データが描画される。その後、第２フレームの符号化ピクチャＭ２のデコードが完了した時点で、第２フレームの描画時刻ｔ３＋Δｔを過ぎているため、符号化ピクチャＭ２の描画データは破棄される。
【０１２１】
次に、時刻ｔ３に受信した第３フレームの静止画データＳ３がデコードされ、静止画データＳ３の描画データが生成されると、直ちに静止画データＳ３の描画データが描画される。その後、第３フレームの符号化ピクチャＭ３のデコードが完了した時点で、第３フレームの描画時刻ｔ４＋Δｔを過ぎているため、符号化ピクチャＭ３の描画データは破棄される。
【０１２２】
次に、時刻ｔ４に受信した第４フレームの静止画データＳ４がデコードされ、静止画データＳ４の描画データが生成されると、直ちに静止画データＳ４の描画データが描画される。その後、第４フレームの符号化ピクチャＭ４のデコードが完了した時点で、第４フレームの描画時刻ｔ５＋Δｔを過ぎているため、符号化ピクチャＭ４の描画データは破棄される。
【０１２３】
次に、時刻ｔ５に受信した第５フレームの静止画データＳ５がデコードされ、静止画データＳ５の描画データが生成されると、直ちに静止画データＳ５の描画データが描画される。その後、第５フレームの描画時刻ｔ６＋Δｔよりも前に、第５フレームの符号化ピクチャＭ５のデコードが完了する。このため、静止画データＳ５の描画データに対して符号化ピクチャＭ５の描画データが上書きされ、描画遅延の解消が情報処理装置１０１へ通知される。
【０１２４】
そこで、情報処理装置１０１は、静止画データの送信を中止し、第６フレーム以降のフレームについては動画データのみを送信する。その後、図１０の場合と同様に、端末装置１０２は、第６フレームの符号化ピクチャＭ６〜第８フレームの符号化ピクチャＭ８を受信し、それらのピクチャの描画データを描画する。同様にして、第９フレーム以降のフレームについても、動画データの描画データが描画される。
【０１２５】
このような描画処理によれば、第１フレーム〜第５フレームの描画処理を、図１０の場合よりも早く開始することができる。
【０１２６】
図１及び図４の描画システムの構成は一例に過ぎず、描画システムの用途や条件に応じて一部の構成要素を省略又は変更してもよい。例えば、情報処理装置１０１の外部にフレームバッファ４０３が設けられ、操作情報に基づくオペレーティングシステムや各種アプリケーションの実行と、実行結果に基づく描画処理とが、情報処理装置１０１の外部で行われる場合も考えられる。この場合、図４の実行部４０１、画面生成部４０２、フレームバッファ４０３、及び転送部４１０を省略することができる。また、変更領域情報及び動画化領域情報が情報処理装置１０１の外部で生成される場合、図４の領域生成部４０４及び領域判定部４０５を省略することができる。
【０１２７】
ユーザの操作情報の検出が端末装置１０２の外部で行われる場合、図４の検出部４２９を省略することができ、更新情報の受信時刻を描画時刻の計算に使用しない場合、図４の記憶部４２８を省略することができる。
【０１２８】
図２、図３、図５〜図９、及び図１１のフローチャートは一例に過ぎず、描画システムの構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、操作情報に基づくオペレーティングシステムや各種アプリケーションの実行と、実行結果に基づく描画処理とが、情報処理装置１０１の外部で行われる場合、図５のステップ５０７及びステップ５０８の処理を省略することができる。また、変更領域情報及び動画化領域情報が情報処理装置１０１の外部で生成される場合、図５のステップ５０１〜ステップ５０３の処理を省略することができる。
【０１２９】
ユーザの操作情報の検出が端末装置１０２の外部で行われる場合、図６のステップ５０１及びステップ６０２の処理を省略することができ、更新情報の受信時刻を描画時刻の計算に使用しない場合、図８の受信時刻管理処理を省略することができる。
【０１３０】
図９又は図１１の制御処理において、制御部４２４は、描画時刻以外の指標に基づいて、動画データのデコード処理が描画タイミングに間に合うか否かをチェックすることもできる。描画時刻以外の指標としては、動画デコーダ４２５の処理負荷を示す指標等が用いられる。
【０１３１】
図１０及び図１２のタイミングチャートは一例に過ぎず、動画データに含まれる最初のフレーム以外の符号化ピクチャのデコードに長い時間がかかる場合も考えられる。例えば、動画データの途中のフレームの符号化ピクチャのデコードに長い時間がかかる場合、そのフレーム以降の数フレームについて、静止画データのデコード結果が描画される。
【０１３２】
図１及び図４の情報処理装置１０１及び端末装置１０２は、例えば、図１３に示すような情報処理装置（コンピュータ）を用いて実現可能である。
【０１３３】
図１３の情報処理装置は、Central Processing Unit（ＣＰＵ）１３０１、メモリ１３０２、入力装置１３０３、出力装置１３０４、補助記憶装置１３０５、媒体駆動装置１３０６、及びネットワーク接続装置１３０７を備える。これらの構成要素はバス１３０８により互いに接続されている。
【０１３４】
メモリ１３０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、描画制御プログラム又は描画プログラムとデータとを格納する。メモリ１３０２は、図４のフレームバッファ４０３又はフレームバッファ４２２、及び記憶部４２８として用いることができる。
【０１３５】
図１３の情報処理装置が情報処理装置１０１である場合、ＣＰＵ１３０１は、例えば、メモリ１３０２を利用して描画制御プログラムを実行することにより、図１及び図４の生成部１１１として動作し、描画制御処理を行う。ＣＰＵ１３０１は、実行部４０１、画面生成部４０２、転送部４１０、領域生成部４０４、領域判定部４０５、制御部４０６、動画エンコーダ４０７、静止画エンコーダ４０８、及び更新情報生成部４０９としても動作する。
【０１３６】
図１３の情報処理装置が端末装置１０２である場合、ＣＰＵ１３０１は、例えば、メモリ１３０２を利用して描画プログラムを実行することにより、図１及び図４のデコーダ部１２２及び描画部１２３として動作し、描画処理を行う。ＣＰＵ１３０１は、データ抽出部４２７、検出部４２９、画面生成部４２３、制御部４２４、動画デコーダ４２５、及び静止画デコーダ４２６としても動作する。
【０１３７】
入力装置１３０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置１３０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。
【０１３８】
図１３の情報処理装置が端末装置１０２である場合、検出部４２９は、入力装置１３０３からユーザの操作情報を検出することができ、出力装置１３０４は、表示部４２１から転送される画像を画面上に表示することができる。
【０１３９】
補助記憶装置１３０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１３０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１３０５に描画制御プログラム又は描画プログラムとデータとを格納しておき、それらをメモリ１３０２にロードして使用することができる。補助記憶装置１３０５は、記憶部４２８として用いることができる。
【０１４０】
媒体駆動装置１３０６は、可搬型記録媒体１３０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１３０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１３０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。ユーザ又はオペレータは、この可搬型記録媒体１３０９に設計支援プログラム及びデータを格納しておき、それらをメモリ１３０２にロードして使用することができる。
【０１４１】
このように、描画制御プログラム又は描画プログラムとデータとを格納するコンピュータ読み取り可能な記録媒体には、メモリ１３０２、補助記憶装置１３０５、及び可搬型記録媒体１３０９のような、物理的な（非一時的な）記録媒体が含まれる。
【０１４２】
ネットワーク接続装置１３０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置１３０７は、図１及び図４の通信部１１２又は通信部１２１として用いることができる。
【０１４３】
なお、情報処理装置が図１３のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、図１３の情報処理装置が情報処理装置１０１である場合は、入力装置１３０３及び出力装置１３０４を省略してもよい。また、情報処理装置が可搬型記録媒体１３０９にアクセスしない場合は、媒体駆動装置１３０６を省略してもよい。
【０１４４】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【０１４５】
図１乃至図１３を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
情報処理装置と端末装置とを備える描画システムであって、
前記情報処理装置は、
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データを生成するとともに、前記動画データに対応する静止画データを生成する生成部と、
前記動画データと前記静止画データとを前記端末装置へ送信する第１の通信部とを含み、
前記端末装置は、
前記動画データと前記静止画データとを前記情報処理装置から受信する第２の通信部と、
前記動画データと前記静止画データとをデコードするデコーダ部と、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画し、前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える描画部とを含む、
ことを特徴とする描画システム。
（付記２）
前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記描画部は、前記静止画データの送信の終了を前記情報処理装置へ指示し、前記生成部は、前記静止画データの生成を終了し、前記第１の通信部は、前記静止画データの送信を終了することを特徴とする付記１記載の描画システム。
（付記３）
前記描画部は、前記動画データの前記デコード処理が所定時間内に終了しない場合、前記静止画データのデコード結果を描画し、前記動画データの前記デコード処理が前記所定時間内に終了した場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替えることを特徴とする付記１又は２記載の描画システム。
（付記４）
前記描画部は、前記静止画データがデコードされると直ちに前記静止画データのデコード結果を描画し、前記動画データの前記デコード処理が所定時間内に終了した場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替えることを特徴とする付記１又は２記載の描画システム。
（付記５）
前記生成部は、前記動画データにイントラ符号化ピクチャが含まれる場合に前記静止画データを生成し、前記静止画データは、前記イントラ符号化ピクチャに対応する符号化画像と、前記イントラ符号化ピクチャに続く１つ以上の予測符号化ピクチャに対応する１つ以上の符号化画像とを含むことを特徴とする付記１乃至４のいずれか１項に記載の描画システム。
（付記６）
前記生成部は、前記変更頻度が前記所定閾値を超えない低頻度変更領域に対応する第１の画質の静止画データを生成し、前記第１の通信部は、前記第１の画質の静止画データを前記端末装置へ送信し、前記動画データに対応する前記静止画データは、前記第１の画質よりも低い第２の画質の静止画データであることを特徴とする付記１乃至５のいずれか１項に記載の描画システム。
（付記７）
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データを生成するとともに、前記動画データに対応する静止画データを生成する生成部と、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画するとともに、前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える端末装置に対して、前記動画データと前記静止画データとを送信する通信部と、
を備えることを特徴とする情報処理装置。
（付記８）
前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記端末装置は、前記静止画データの送信の終了を前記情報処理装置へ指示し、前記生成部は、前記静止画データの生成を終了し、前記通信部は、前記静止画データの送信を終了することを特徴とする付記７記載の情報処理装置。
（付記９）
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データと、前記動画データに対応する静止画データとを受信する通信部と、
前記動画データと前記静止画データとをデコードするデコーダ部と、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画し、前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える描画部と、
を備えることを特徴とする端末装置。
（付記１０）
前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記描画部は、前記動画データと前記静止画データとを送信する情報処理装置に対して、前記静止画データの送信の終了を指示することを特徴とする付記９記載の端末装置。
（付記１１）
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データを生成するとともに、前記動画データに対応する静止画データを生成し、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画するとともに、前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える端末装置に対して、前記動画データと前記静止画データとを送信する通信部へ、前記動画データと前記静止画データとを出力する、
処理をコンピュータに実行させる描画制御プログラム。
（付記１２）
前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記端末装置は、前記静止画データの送信の終了を前記コンピュータへ指示し、前記コンピュータは、前記静止画データの生成と送信を終了することを特徴とする付記１１記載の描画制御プログラム。
（付記１３）
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データと、前記動画データに対応する静止画データとを受信した場合、前記動画データと前記静止画データとをデコードし、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画し、
前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える、
処理をコンピュータに実行させる描画プログラム。
（付記１４）
前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記コンピュータは、前記動画データと前記静止画データとを送信する情報処理装置に対して、前記静止画データの送信の終了を指示することを特徴とする付記１３記載の描画プログラム。
（付記１５）
情報処理装置が、
画像における変更頻度が所定閾値を超える高頻度変更領域に対応する動画データを生成するとともに、前記動画データに対応する静止画データを生成し、
前記動画データのデコード処理が描画タイミングに間に合わない場合、前記静止画データのデコード結果を描画するとともに、前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記静止画データのデコード結果の描画を前記動画データのデコード結果の描画に切り替える端末装置に対して、前記動画データと前記静止画データとを送信する、
ことを特徴とする描画制御方法。
（付記１６）
前記動画データの前記デコード処理が前記描画タイミングに追いついた場合、前記端末装置は、前記静止画データの送信の終了を前記情報処理装置へ指示し、前記情報処理装置は、前記静止画データの生成と送信を終了することを特徴とする付記１５記載の描画制御方法。
【符号の説明】
【０１４６】
１０１  情報処理装置
１０２  端末装置
１０３  通信ネットワーク
１１１  生成部
１１２、１２１  通信部
１２２  デコーダ部
１２３  描画部
４０１  実行部
４０２、４２３  画面生成部
４０３、４２２  フレームバッファ
４１０  転送部
４０４  領域生成部
４０５  領域判定部
４０６、４２４  制御部
４０７  動画エンコーダ
４０８  静止画エンコーダ
４０９  更新情報生成部
４２１  表示部
４２７  データ抽出部
４２８  記憶部
４２９  検出部
４２５  動画デコーダ
４２６  静止画デコーダ
１３０１  ＣＰＵ
１３０２  メモリ
１３０３  入力装置
１３０４  出力装置
１３０５  補助記憶装置
１３０６  媒体駆動装置
１３０７  ネットワーク接続装置
１３０８  バス
１３０９  可搬型記録媒体
【図１】
2016012797.tif 000003
【図２】
2016012797.tif 000004
【図３】
2016012797.tif 000005
【図４】
2016012797.tif 000006
【図５】
2016012797.tif 000007
【図６】
2016012797.tif 000008
【図７】
2016012797.tif 000009
【図８】
2016012797.tif 000010
【図９】
2016012797.tif 000011
【図１０】
2016012797.tif 000012
【図１１】
2016012797.tif 000013
【図１２】
2016012797.tif 000014
【図１３】
2016012797.tif 000015