(57)【要約】      （修正有）【課題】画像伝送中において開始される動画部分の再生を滑らかにする方法、プログラム及び情報処理装置を提供する。【解決手段】画像伝送方法は、画像伝送のフレーム内における動画部分を含む第１領域を抽出する第１タイミングに先行する第２タイミングで、第１領域になると見込まれる第２領域を抽出し、第１タイミングまでの期間が所定時間以上である伝送タイミングにおけるフレーム内の第２領域に含まれる画像を、階層符号化方式によって変換して伝送し、第１タイミングまでの期間が所定時間に満たない伝送タイミングにおけるフレーム内の第２領域に含まれる画像を、静止画圧縮方式によって変換して伝送し、第１タイミング以降の伝送タイミングにおけるフレーム内の第１領域に含まれる画像を、動画圧縮方式によって変換して伝送する処理を含む。【選択図】図１４
2016213749.tif 000002
【特許請求の範囲】
【請求項１】
画像伝送のフレーム内における動画部分を含む第１領域を抽出する第１タイミングに先行する第２タイミングで、前記第１領域になると見込まれる第２領域を抽出し、
前記第１タイミングまでの期間が所定時間以上である伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、階層符号化方式によって変換して伝送し、
前記第１タイミングまでの期間が前記所定時間に満たない伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、静止画圧縮方式によって変換して伝送し、
前記第１タイミング以降の伝送タイミングにおけるフレーム内の前記第１領域に含まれる画像を、動画圧縮方式によって変換して伝送する
処理を含み、コンピュータにより実行される画像伝送方法。
【請求項２】
更に、伝送レートに基づいて、前記静止画圧縮方式において保つ画質を調整する処理を含み、
前記動画圧縮方式による変換において、前記画質の画像を基準画像として差分画像を生成する
請求項１記載の画像伝送方法。
【請求項３】
前記階層符号化方式によって保つ画質を、前記動画圧縮方式によって保たれる画質に合わせる
処理を含む請求項１又は２記載の画像伝送方法。
【請求項４】
画像伝送のフレーム内における動画部分を含む第１領域を抽出する第１タイミングに先行する第２タイミングで、前記第１領域になると見込まれる第２領域を抽出し、
前記第１タイミングまでの期間が所定時間以上である伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、階層符号化方式によって変換して伝送し、
前記第１タイミングまでの期間が前記所定時間に満たない伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、静止画圧縮方式によって変換して伝送し、
前記第１タイミング以降の伝送タイミングにおけるフレーム内の前記第１領域に含まれる画像を、動画圧縮方式によって変換して伝送する
処理をコンピュータに実行させるプログラム。
【請求項５】
画像伝送のフレーム内における動画部分を含む第１領域を抽出する第１タイミングに先行する第２タイミングで、前記第１領域になると見込まれる第２領域を抽出する抽出部と、
前記第１タイミングまでの期間が所定時間以上である伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、階層符号化方式によって変換して伝送し、
前記第１タイミングまでの期間が前記所定時間に満たない伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、静止画圧縮方式によって変換して伝送し、
前記第１タイミング以降の伝送タイミングにおけるフレーム内の前記第１領域に含まれる画像を、動画圧縮方式によって変換して伝送する伝送部と
を有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を伝送する技術に関する。
【背景技術】
【０００２】
サーバ装置において生成した画面を、クライアント端末で再生させるシステムでは、一般的にサーバ装置側で画面のデータを圧縮して伝送する。そして、クライアント端末で、受信した圧縮データを展開することによって画面を再生する。
【０００３】
例えばシンクライアント端末における操作性を高めるためには、精細かつ素早い画面の再生が求められる。
【０００４】
特許文献１には、サーバ装置において、更新の頻度が低いと判定した領域の画像を静止画と看做して、静止画圧縮方式で圧縮したデータを伝送し、反対に更新の頻度が高いと判定した領域の画像を動画と看做して、動画圧縮方式で圧縮したデータを伝送する技術が開示されている。このようにすれば、再生された静止画部分は精細であり、再生された動画部分は素早い。
【０００５】
また、特許文献２には、静止画から動画に切り替える場合に、既存の静止画を擬似Ｉピクチャとして用いることによって、動画再生の立ち上がりを早くする技術が開示されている。
【０００６】
しかし、例えば特許文献２において、静止画から動画に切り替わったことを判定するためには、或る程度の期間を要する。従って、動画圧縮に切り替わるまでの動画の先頭部分は、静止画圧縮方式で圧縮され伝送されることになる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−２３８０１４号公報
【特許文献２】特開２０１２−１９５６２９号公報
【特許文献３】特開平７−２２２１７３号公報
【特許文献４】特開２０００−４１１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、一側面では、画像伝送中において開始される動画部分の再生を滑らかにすることができる。
【課題を解決するための手段】
【０００９】
一態様に係る画像伝送方法は、（Ａ）画像伝送のフレーム内における動画部分を含む第１領域を抽出する第１タイミングに先行する第２タイミングで、第１領域になると見込まれる第２領域を抽出し、（Ｂ）第１タイミングまでの期間が所定時間以上である伝送タイミングにおけるフレーム内の第２領域に含まれる画像を、階層符号化方式によって変換して伝送し、（Ｃ）第１タイミングまでの期間が上記所定時間に満たない伝送タイミングにおけるフレーム内の第２領域に含まれる画像を、静止画圧縮方式によって変換して伝送し、（Ｄ）第１タイミング以降の伝送タイミングにおけるフレーム内の第１領域に含まれる画像を、動画圧縮方式によって変換して伝送する処理を含む。
【発明の効果】
【００１０】
一側面としては、画像伝送中において開始される動画部分の再生を滑らかにすることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、システム構成例を示す図である。
【図２】図２は、更新矩形の例を示す図である。
【図３】図３は、メッシュの例を示す図である。
【図４】図４は、フレーム遷移の例を示す図である。
【図５】図５は、フレーム遷移の例を示す図である。
【図６】図６は、フレーム遷移の例を示す図である。
【図７】図７は、サーバ装置のモジュール構成例を示す図である。
【図８】図８は、サーバ装置におけるメイン処理フローの例を示す図である。
【図９】図９は、第１領域抽出処理フローの例を示す図である。
【図１０】図１０は、第２領域抽出処理フローの例を示す図である。
【図１１】図１１は、伝送部のモジュール構成例を示す図である。
【図１２】図１２は、サーバ装置におけるメイン処理フローの例を示す図である。
【図１３】図１３は、第１伝送処理フローの例を示す図である。
【図１４】図１４は、第２伝送処理（Ａ）フローの例を示す図である。
【図１５】図１５は、階層符号化処理（Ａ）フローの例を示す図である。
【図１６】図１６は、階層符号化処理（Ａ）フローの例を示す図である。
【図１７】図１７は、第３伝送処理フローの例を示す図である。
【図１８】図１８は、クライアント端末のモジュール構成例を示す図である。
【図１９】図１９は、クライアント端末におけるメイン処理フローの例を示す図である。
【図２０】図２０は、第１再生処理フローの例を示す図である。
【図２１】図２１は、第２再生処理フローの例を示す図である。
【図２２】図２２は、第３再生処理フローの例を示す図である。
【図２３】図２３は、実施の形態２に係る伝送部のモジュール構成例を示す図である。
【図２４】図２４は、第２伝送処理（Ｂ）フローの例を示す図である。
【図２５】図２５は、調整処理フローの例を示す図である。
【図２６】図２６は、フレーム遷移の例を示す図である。
【図２７】図２７は、実施の形態３に係る階層符号化部のモジュール構成例を示す図である。
【図２８】図２８は、階層符号化処理（Ｂ）フローの例を示す図である。
【図２９】図２９は、階層符号化処理（Ｂ）フローの例を示す図である。
【図３０】図３０は、コンピュータの機能ブロック図である。
【発明を実施するための形態】
【００１２】
［実施の形態１］
図１に、システム構成例を示す。サーバ装置１０１とクライアント端末１０３とは、ネットワーク（例えば、インターネットあるいはＬＡＮ（Local Area Network））を介して接続している。また、仮想プライベートネットワークを用いるようにしてもよい。この例では、サーバ装置１０１とクライアント端末１０３との間において、ＶＮＣ（Virtual Network Computing）におけるＲＦＢ(Remote Framebuffer) プロトコルを採用するものとする。
【００１３】
サーバ装置１０１は、クライアント端末１０３の画面に表示させる画像を生成する。サーバ装置１０１によって生成された画像は、圧縮データの形式でクライアント端末１０３に送られる。クライアント端末１０３は、受信した圧縮データを伸張し、展開された画像を画面に表示する。クライアント端末１０３は、例えばシンクライアント端末である。
【００１４】
サーバ装置１０１は、フレームレートに従って、周期的に画面のフレームに含まれる一部の画像又は全体の画像をクライアント端末１０３へ送信する。そのため、画像伝送の単位となるフレーム毎に、前回のフレームにおける画像との差分を抽出する。
【００１５】
そして、差分に相当する箇所（以下、更新箇所という。）から、画面中において一体として更新対象となっている領域（例えば、動画の表示領域、エディタの編集画面あるいはＣＡＤ（Computer Aided Design）の編集画面など）と推測される更新矩形を特定する。
【００１６】
図２に、更新矩形２０５の例を示す。この例で、画面２０１の座標系における原点は左上端点である。そして、右方向にＸ座標における正方向が設定され、下方向にＹ座標における正方向が設定されている。
【００１７】
図２に示すように、更新矩形２０５は近接する更新箇所２０３を包含する。この例で、一体として更新対象となっている領域を矩形で特定するが、他の形状によって当該領域を特定するようにしてもよい。更新矩形２０５は、フレームごとに、サーバ装置１０１からクライアント端末１０３へ伝送される画像の範囲に相当する。
【００１８】
また、サーバ装置１０１は、画像が更新される頻度によって、更新矩形２０５内の画像が静止画であるかあるいは動画であるかを判定する。この例では、画面２０１をメッシュに分割し、メッシュごとに画像が更新される頻度を算出する。図３に、メッシュの例を示す。図３の例では、６行×５列の格子状に画面２０１を分割している。従って、３０個のメッシュが存在する。
【００１９】
サーバ装置１０１は、更新頻度が低い場合に、静止画圧縮方式（例えば、ＪＰＥＧ（Joint Photographic Experts Group））によって圧縮したデータをクライアント端末１０３に送信する。反対に更新頻度が高い場合には、サーバ装置１０１は、動画圧縮方式（例えば、ＭＰＥＧ（Moving Picture Experts Group））によって圧縮したデータをクライアント端末１０３に送信する。但し、本実施の形態で、サーバ装置１０１は、階層符号化方式（例えば、progressive JPEG）によって圧縮したデータをクライアント端末１０３に送信する場合もある。以下の説明で、階層符号化方式ではない静止画の圧縮方式、つまり階層化しない静止画の圧縮方式を、単に静止画圧縮方式という。
【００２０】
図４及び図５に、第１フレームから第７フレームまでの遷移の例を示す。この例で、６回のフレーム切り替えに相当する周期、つまり６回のデータ伝送のタイミングに相当する周期のタイミングで、動画圧縮方式へ切り替えるか否かを判定する。この判定のタイミングを、第１タイミングという。図４及び図５に示した例では、第１フレームに基づくデータ伝送のタイミングと、第７フレームに基づくデータ伝送のタイミングとが、第１タイミングに該当する。
【００２１】
第１タイミングにおいて直近の１周期において、メッシュの更新回数が所定回数（この例では、２回）以上である場合に、当該メッシュは、動画部分を含むと看做される。そして、所定回数以上更新されたメッシュの集合を第１領域とする。そして、第１領域に含まれる更新矩形２０５内の画像の圧縮方式は、動画圧縮方式に切り替えられる。
【００２２】
本実施の形態では、動画圧縮方式へ切り替える場合の画像再生を滑らかにするために、階層符号化による画像の圧縮を行う。そのために、第１タイミングに先行する第２タイミングにおいて、第１タイミングにおいて動画であると判断されることを予測する。
【００２３】
この例では、第１タイミングの４回前に相当するデータ伝送のタイミング及び同じく２回前に相当するデータ伝送のタイミングが、第２タイミングである。図４及び図５に示した例では、第３フレームに基づくデータ伝送のタイミングと、第５フレームに基づくデータ伝送のタイミングとが、第２タイミングに該当する。
【００２４】
第２タイミングにおいて直近の所定期間（この例では、第２タイミング及びその前のデータ伝送のタイミングに相当する。）において、メッシュの更新回数が所定回数（この例では、２回）以上である場合に、当該メッシュは、次の第１タイミングにおいて第１領域になるものと見込まれる。そして、所定回数以上更新されたメッシュの集合を第２領域とする。
【００２５】
更新矩形２０５内の画像に対する圧縮方式は、第１領域及び第２領域との重複の有無、更に次の第１タイミングまでの期間に基づいて決定される。
【００２６】
上述したように、図４に示した第１フレームに基づくデータ伝送のタイミングは、第１タイミングに該当する。このときのメッシュにおける更新回数をマトリクス４０３ａに示す。マトリクス４０３ａに示すように、更新矩形２０５ａが重複する、枠４０１ａ内におけるメッシュの更新回数がそれぞれ１であったものとする。いずれのメッシュにおける更新回数も２以上ではないので、第１領域はないと判断される。尚、このとき第２領域もないものとする。
【００２７】
このように、第１領域も第２領域もない場合には、静止画圧縮方式が採用される。従って、更新矩形２０５ａ内の画像は、静止画圧縮方式による圧縮データとして送られる。尚、第１領域にも、第２領域にも含まれない更新矩形２０５内の画像の伝送処理を、第１伝送処理という。第１伝送処理については、後に詳述する。
【００２８】
図４に示した第２フレームに基づくデータ伝送のタイミングは、第１タイミングにも第２タイミングにも該当しない。このとき、第１領域も第２領域もないので、更新矩形２０５ｂ内の画像は、静止画圧縮方式によって圧縮され、クライアント端末１０３へ送られる。
【００２９】
上述したように、図４に示した第３フレームに基づくデータ伝送のタイミングは、第２タイミングに該当する。このとき、マトリクス４０３ｃに示すように、更新矩形２０５ｃが重複する、枠４０１ｃ内におけるメッシュの更新回数が、それぞれ２である。尚、このときの計測対象となるタイミングは、第２フレームに基づくデータ伝送のタイミングと第３フレームに基づくデータ伝送のタイミングとの２回である。つまり、更新矩形２０５ｂによる更新と更新矩形２０５ｃによる更新とに基づいて、２回とカウントされる。この場合、枠４０１ｃは第２領域に該当すると判断される。
【００３０】
更新矩形２０５ｃは、第１領域に含まれず、第２領域に含まれる。第１領域に含まれず、第２領域に含まれる場合における更新矩形２０５内の画像の伝送処理を、第２伝送処理という。第２伝送処理では、第１タイミングまでの期間が所定時間よりも長い場合に、階層符号方式を採用する。反対に、第１タイミングまでの期間が所定時間よりも短い場合には、静止画方式を採用する。第２伝送処理については、後に詳述する。
【００３１】
第３フレームに基づくデータ伝送のタイミングは、第１タイミングまでの期間が所定時間よりも長いものとする。従って、更新矩形２０５ｃ内の画像は、階層符号方式によって圧縮され、第１レベルの圧縮データがクライアント端末１０３へ送られる。第１レベルは、一番低い解像度に相当する。尚、この例における階層符号方式は、４階層の符号化を行うものとする。
【００３２】
図５の説明に移る。図５に示した第４フレームに基づくデータ伝送のタイミングは、第１タイミングにも第２タイミングにも該当しない。このとき、更新矩形２０５は検出されないものとする。そして、このタイミングで、第３フレームにおける更新矩形２０５ｃ内の画像に対する階層符号方式による処理が継続している。そして、更新矩形２０５ｃ内の画像に対する第２レベルの圧縮データがクライアント端末１０３へ送られる。第２レベルは、第１レベルよりも高い解像度に相当する。図５では、図４に示した更新矩形２０５ｃと圧縮データとの関係を、端子Ｓ、端子Ｔ及び端子Ｕを介する矢印線を用いて示す。
【００３３】
図５に示した第５フレームに基づくデータ伝送のタイミングは、第２タイミングに該当する。このとき、更新矩形２０５は検出されないものとする。そして、マトリクス４０３ｅに示すように、メッシュの更新回数は、いずれも０である。従って、第２領域はなくなる。尚、このときの計測対象となるタイミングは、第４フレームに基づくデータ伝送のタイミングと第５フレームに基づくデータ伝送のタイミングとの２回である。
【００３４】
このタイミングでも、第３フレームにおける更新矩形２０５ｃ内の画像に対する階層符号方式による処理が継続している。そして、更新矩形２０５ｃ内の画像に対する第３レベルの圧縮データがクライアント端末１０３へ送られる。第３レベルは、第２レベルよりも高い解像度に相当する。
【００３５】
図５に示した第６フレームに基づくデータ伝送のタイミングは、第１タイミングにも第２タイミングにも該当しない。このとき、更新矩形２０５は検出されないものとする。このタイミングで、第３フレームにおける更新矩形２０５ｃ内の画像に対する階層符号方式による処理が継続している。そして、更新矩形２０５ｃ内の画像に対する第４レベルの圧縮データがクライアント端末１０３へ送られる。第４レベルは、第３レベルよりも高い解像度に相当する。第４レベルによって再生される画像は、劣化せず、元のフレームにおける画質と同等であるものとする。つまり、更新矩形２０５ｃ内の画像に対する階層符号方式による処理は、この時点で完了する。
【００３６】
上述したとおり、図５に示した第７フレームに基づくデータ伝送のタイミングは、第１タイミングに該当する。このとき、マトリクス４０３ｇに示すように、更新矩形２０５ｇが重複する、枠４０１ｇ内におけるメッシュの更新回数がそれぞれ３である。従って、枠４０１ｇは第１領域に該当する。尚、このときの計測対象となるタイミングは、第２フレームに基づくデータ伝送のタイミングから第７フレームに基づくデータ伝送のタイミングまでの６回である。
【００３７】
このように、第１領域が存在する場合、第１領域に含まれる更新矩形２０５ｇ内の画像は、動画圧縮方式によって圧縮される。また、前回のデータ伝送のタイミングにおいて送られた第４レベルの圧縮データによって再生される画像が、動画圧縮処理の基礎として用いられる。具体的には、第３フレームにおいて、更新矩形２０５ｇに相当する領域の画像が擬似Ｉピクチャとして用いられる。そして、第７フレームにおける更新矩形２０５ｇ内の画像は、擬似Ｉピクチャとの差分を示すＰピクチャの形式でクライアント端末１０３に送られる。Ｐピクチャは、動画圧縮方式による圧縮データの一形態である。このように、第１領域に含まれる更新矩形２０５内の画像の伝送処理を、第３伝送処理という。第３伝送処理については、後に詳述する。
【００３８】
図４及び図５に示した例で、仮にサーバ装置１０１とクライアント端末１０３との間における伝送レートが低い場合に、図４に示した第３フレーム内の画像の再生について、画質は劣る面があるものの、遅延は生じにくい。また、擬似Ｉピクチャを用いて、動画再生の開始を早めることができる。
【００３９】
次に、図４及び図６を用いて、別のフレーム遷移の例を説明する。図４に続いて、図６に示すようにフレームが遷移するものとする。
【００４０】
図６に示した第４フレームに基づくデータ伝送のタイミングは、第１タイミングにも第２タイミングにも該当しない。このとき、更新矩形２０５ｈが検出されたものとする。
【００４１】
更新矩形２０５ｈは、第１領域には含まれないが、第２領域には含まれる。そして、第４フレームに基づくデータ伝送のタイミングは、第１タイミングまでの期間が所定時間よりも長い。従って、更新矩形２０５ｈ内の画像は、階層符号方式によって圧縮され、第１レベルの圧縮データがクライアント端末１０３へ送られる。尚、第３フレームにおける更新矩形２０５ｃ内の画像に対する階層符号方式による処理は、中断する。
【００４２】
図６に示した第５フレームに基づくデータ伝送のタイミングは、第２タイミングに該当する。このとき、マトリクス４０３ｉに示すように、更新矩形２０５ｉが重複する、枠４０１ｉ内におけるメッシュの更新回数が、それぞれ２である。尚、このときの計測対象となるタイミングは、第４フレームに基づくデータ伝送のタイミングと第５フレームに基づくデータ伝送のタイミングとの２回である。つまり、更新矩形２０５ｈによる更新と更新矩形２０５ｉによる更新とに基づいて、２回とカウントされる。そして、枠４０１ｉは第２領域に該当することになる。
【００４３】
このタイミングにおける更新矩形２０５ｉは、第１領域には含まれないが、第２領域には含まれる。そして、第５フレームに基づくデータ伝送のタイミングも、第１タイミングまでの期間が所定時間よりも長いものとする。従って、更新矩形２０５ｉ内の画像は、階層符号方式によって圧縮され、第１レベルの圧縮データがクライアント端末１０３へ送られる。尚、第４フレームにおける更新矩形２０５ｈ内の画像に対する階層符号方式による処理は、中断する。
【００４４】
図６に示した第６フレームに基づくデータ伝送のタイミングは、第１タイミングにも第２タイミングにも該当しない。このとき、更新矩形２０５ｊが検出されたものとする。
【００４５】
更新矩形２０５ｊは、第１領域には含まれないが、第２領域には含まれる。そして、第６フレームに基づくデータ伝送のタイミングは、第１タイミングまでの期間が所定時間よりも短い。従って、更新矩形２０５ｊ内の画像は、静止画方式によって圧縮され、クライアント端末１０３へ送られる。尚、第５フレームにおける更新矩形２０５ｉ内の画像に対する階層符号方式による処理は、中断する。
【００４６】
図６に示した第７フレームに基づくデータ伝送のタイミングは、第１タイミングに該当する。このとき、マトリクス４０３ｋに示すように、更新矩形２０５ｋが重複する、枠４０１ｋ内におけるメッシュの更新回数がそれぞれ６である。従って、枠４０１ｋは第１領域に該当する。尚、このときの計測対象となるタイミングは、第２フレームに基づくデータ伝送のタイミングから第７フレームに基づくデータ伝送のタイミングまでの６回である。
【００４７】
このように、第１領域が存在する場合、第１領域に含まれる更新矩形２０５ｋ内の画像は、動画圧縮方式によって圧縮される。また、前回の第６フレームにおける画像が、動画圧縮処理の基礎として用いられる。具体的には、第６フレームにおいて、更新矩形２０５ｊに相当する領域の画像が擬似Ｉピクチャとして用いられる。そして、第７フレームにおける更新矩形２０５ｋ内の画像は、擬似Ｉピクチャとの差分を示すＰピクチャの形式でクライアント端末１０３に送られる。
【００４８】
図４及び図６に示した例で、仮にサーバ装置１０１とクライアント端末１０３との間における伝送レートが低い場合に、図４に示した第３フレームから図６に示した第５フレームまで、画質は劣る面があるものの、動画として連続的に再生される。また、第６フレームにおける更新矩形２０５ｊ内の画像は、静止画圧縮方式によって圧縮されて送られるので、階層符号化方式を採用する場合に比べて早く再生される。そして、この画像から抽出される擬似Ｉピクチャをクライアント端末１０３において動画の再生に用いるので、動画への切り替え時における再生の遅延が生じ難い。以上で、本実施の形態に関する概要の説明を終える。
【００４９】
次に、サーバ装置１０１の動作について説明する。図７に、サーバ装置１０１のモジュール構成例を示す。サーバ装置１０１は、第１更新部７０１、同期処理部７０２、保存処理部７０３、生成部７０５、第２更新部７０７、第１抽出部７０９、第２抽出部７１１及び伝送部７１３を有している。
【００５０】
第１更新部７０１は、フレーム内の画像を更新する。具体的には、第１更新部７０１は、オペレーティングシステムあるいはアプリケーションプログラムであってもよい。同期処理部７０２は、フレームレートに従って、画像のデータを伝送するタイミングを計る。保存処理部７０３は、フレーム毎に、第１フレームバッファ７２１に記憶されている画像データを第１退避バッファ７２３に保存する。所定回数以上遡ったフレームの画像データは、破棄されるようになっている。生成部７０５は、更新矩形２０５を生成する。第２更新部７０７は、各メッシュにおける総更新回数を更新する。第１抽出部７０９は、第１領域を抽出する。第２抽出部７１１は、第２領域を抽出する。伝送部７１３は、画像データの伝送処理を行う。尚、この例では、伝送処理のルーチン内において画像の圧縮処理も行う。
【００５１】
サーバ装置１０１は、第１フレームバッファ７２１、第１退避バッファ７２３、更新矩形記憶部７２５、更新回数記憶部７２７、第１領域記憶部７２９、第２領域記憶部７３１、一時データ記憶部７３３及び圧縮データ記憶部７３５を有している。
【００５２】
第１フレームバッファ７２１は、フレーム内の画像データを記憶する。第１退避バッファ７２３は、所定回数分だけ過去のフレーム内の画像データを記憶する。更新矩形記憶部７２５は、更新矩形２０５を特定するデータを記憶する。更新矩形２０５は、例えば左上端点と右下端点との組み合わせによって特定される。あるいは、更新矩形２０５は、基準となる左上端点と、幅及び高さとによって特定されるようにしてもよい。更新回数記憶部７２７は、各メッシュにおける総更新回数を記憶する。
【００５３】
第１領域記憶部７２９は、第１領域を特定するデータを記憶する。第１領域は、例えば左上端点と右下端点との組み合わせによって特定される。あるいは、第１領域は、基準となる左上端点と、幅及び高さとによって特定されるようにしてもよい。
【００５４】
第２領域記憶部７３１は、第２領域を特定するデータを記憶する。第２領域は、例えば左上端点と右下端点との組み合わせによって特定される。あるいは、第２領域は、基準となる左上端点と、幅及び高さとによって特定されるようにしてもよい。
【００５５】
一時データ記憶部７３３は、一時的に用いられるデータ（例えば、過去のタイミングにおけるメッシュの総更新回数）を記憶する。圧縮データ記憶部７３５は、圧縮データを記憶する。尚、送信済みの圧縮データは、破棄されるようになっている。
【００５６】
上述した第１更新部７０１、同期処理部７０２、保存処理部７０３、生成部７０５、第２更新部７０７、第１抽出部７０９、第２抽出部７１１及び伝送部７１３は、ハードウエア資源（例えば、図３０）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
【００５７】
上述した第１フレームバッファ７２１、第１退避バッファ７２３、更新矩形記憶部７２５、更新回数記憶部７２７、第１領域記憶部７２９、第２領域記憶部７３１、一時データ記憶部７３３及び圧縮データ記憶部７３５は、ハードウエア資源（例えば、図３０）を用いて実現される。
【００５８】
続いて、サーバ装置１０１における処理について説明する。図８に、サーバ装置１０１におけるメイン処理フローの例を示す。同期処理部７０２は、第１フレームバッファ７２１に記憶されている画像データを、第１退避バッファ７２３に記憶されている前回の画像データと比較して、画像データが更新されたか否かを判定する（Ｓ８０１）。
【００５９】
画像データが更新されていないと判定した場合には、同期処理部７０２は、次のデータ伝送のタイミングを待つ（Ｓ８０３）。そして、Ｓ８０１に示した処理に戻って、上述した処理を繰り返す。
【００６０】
一方、画像データが更新されたと判定した場合には、保存処理部７０３は、フレーム番号を付して、第１フレームバッファ７２１に記憶されている画像データを第１退避バッファ７２３に保存する（Ｓ８０５）。
【００６１】
生成部７０５は、図２を用いて説明した通り、更新矩形２０５を生成する（Ｓ８０７）。更新箇所２０３は、Ｓ８０１における画像の比較によって抽出される。生成部７０５は、抽出した更新箇所２０３のうち、近接する更新箇所２０３の集まりを特定する。そして、生成部７０５は、これらの更新箇所２０３を包含する領域を特定する。この例で、生成部７０５は、これらの更新箇所２０３に含まれる画素の座標のうち、最小のＸ座標、最大のＸ座標、最小のＹ座標及び最大のＹ座標を特定する。そして、生成部７０５は、最小のＸ座標と最小のＹ座標とによって、更新矩形２０５の左上端点を特定する。また、生成部７０５は、最大のＸ座標と最大のＹ座標とによって、更新矩形２０５の右下端点を特定する。あるいは、生成部７０５は、最大のＸ座標から最小のＸ座標を引いて、更新矩形２０５の幅を求め、最大のＹ座標から最小のＹ座標を引いて、更新矩形２０５の高さを求めるようにしてもよい。つまり、生成部７０５は、左上端点と右下端点とによって更新矩形２０５を特定してもよいし、基準となる左上端点と、幅及び高さとによって、更新矩形２０５を特定してもよい。
【００６２】
第２更新部７０７は、各メッシュにおける総更新回数を更新する（Ｓ８０９）。具体的には、第２更新部７０７は、更新矩形２０５と少なくとも一部が重複するメッシュにおける総更新回数に１を加える。
【００６３】
第１抽出部７０９は、当該データ伝送のタイミングが、第１タイミングに該当するか否かを判定する（Ｓ８１１）。この例では、６回のデータ伝送を行う周期で、第１タイミングが到来する。
【００６４】
第１タイミングに該当すると判定した場合には、第１抽出部７０９は、第１領域抽出処理を実行する（Ｓ８１３）。第１領域抽出処理については、図９を用いて後述する。
【００６５】
一方、第１タイミングに該当しないと判定した場合には、第２抽出部７１１は、当該データ伝送のタイミングが、第２タイミングに該当するか否かを判定する（Ｓ８１５）。この例では、次の第１タイミングの４回前に相当するデータ伝送のタイミング及び同じく２回前に相当するデータ伝送のタイミングが、第２タイミングに相当する。
【００６６】
第２タイミングに該当すると判定した場合には、第２抽出部７１１は、第２領域抽出処理を実行する（Ｓ８１７）。第２領域抽出処理については、図１０を用いて後述する。
【００６７】
一方、第２タイミングに該当しないと判定した場合には、第１領域抽出処理及び第２領域抽出処理を実行しない。そして、端子Ａを介して、図１２に示すＳ１２０１の処理に移る。
【００６８】
図９に、第１領域抽出処理フローの例を示す。第１抽出部７０９は、前回の第１領域を無効にする（Ｓ９０１）。つまり、第１抽出部７０９は、前回の第１領域抽出処理において抽出した第１領域を示すデータを、第１領域記憶部７２９から削除する。
【００６９】
第１抽出部７０９は、前回の第１タイミング以降のデータ伝送のタイミング（今回の第１タイミングを含む。）において、所定回数以上更新されたメッシュを特定する（Ｓ９０３）。この例で、第１抽出部７０９は、今回の第１タイミングにおける総更新回数から、前回の第１タイミングにおける総更新回数を引くことによって、１周期における更新回数を求める。また、この例で所定回数は、２である。つまり、所定期間に含まれる６回の機会のうち２回以上更新されたメッシュが特定される。尚、この例で、前回の第１タイミングにおける総更新回数は、一時データ記憶部７３３に記憶されている。
【００７０】
第１抽出部７０９は、所定回数以上更新されたメッシュがあるか否かを判定する（Ｓ９０５）。所定回数以上更新されたメッシュがあると判定した場合には、第１抽出部７０９は、近接するメッシュの集まりを特定する（Ｓ９０７）。
【００７１】
そして、第１抽出部７０９は、集まり毎に、これらのメッシュを包含する第１領域を生成する（Ｓ９０９）。複数の集まりがある場合には、個々の集まりに対して第１領域を生成する。但し、以下では、第１領域を１つ生成するものと想定する。この例で、第１抽出部７０９は、これらのメッシュに含まれる画素の座標のうち、最小のＸ座標、最大のＸ座標、最小のＹ座標及び最大のＹ座標を特定する。そして、第１抽出部７０９は、最小のＸ座標と最小のＹ座標とによって、第１領域の左上端点を特定する。また、第１抽出部７０９は、最大のＸ座標と最大のＹ座標とによって、第１領域の右下端点を特定する。あるいは、第１抽出部７０９は、最大のＸ座標から最小のＸ座標を引いて、第１領域の幅を求め、最大のＹ座標から最小のＹ座標を引いて、第１領域の高さを求めるようにしてもよい。つまり、第１抽出部７０９は、左上端点と右下端点とによって第１領域を特定してもよいし、基準となる左上端点と、幅及び高さとによって、第１領域を特定してもよい。
【００７２】
Ｓ９０５において、所定回数以上更新されたメッシュがないと判定された場合には、第１領域は生成されない。
【００７３】
第１領域を生成した場合も、第１領域を生成しなかった場合にも、第１抽出部７０９は、現時点におけるメッシュの総更新回数を一時データ記憶部７３３に記憶する（Ｓ９１１）。そして、第１領域抽出処理を終え、図８に示したメイン処理に復帰する。第１領域では画像が更新される頻度が高く、第１領域には動画が展開されていると想定される。
【００７４】
図１０に、第２領域抽出処理フローの例を示す。第２抽出部７１１は、前回の第２領域を無効にする（Ｓ１００１）。つまり、第２抽出部７１１は、前回の第２領域抽出処理において抽出した第２領域を示すデータを、第２領域記憶部７３１から削除する。
【００７５】
第２抽出部７１１は、直近の第１タイミング或いは前回の第２タイミング以降のデータ伝送のタイミング（今回の第２タイミングを含む。）において、所定回数以上更新されたメッシュを特定する（Ｓ１００３）。この例で、第２抽出部７１１は、今回の第２タイミングにおける総更新回数から、直近の第１タイミング及び前回の第２タイミングのうち近い方のタイミングにおける総更新回数を引くことによって、所定期間（この例では、２回のデータ伝送のタイミングに相当する期間）における更新回数を求める。また、この例で所定回数は、２である。従って、前回のデータ伝送のタイミングと今回のデータ伝送のタイミングとともに、更新されたメッシュが特定される。この例で、第２領域抽出処理における所定回数は、第１領域抽出処理における所定回数と等しい。但し、第２領域抽出処理における所定回数は、第１領域抽出処理における所定回数と異なってもよい。尚、この例で、直近の第１タイミング及び前回の第２タイミングにおける総更新回数は、一時データ記憶部７３３に記憶されている。
【００７６】
第２抽出部７１１は、所定回数以上更新されたメッシュがあるか否かを判定する（Ｓ１００５）。所定回数以上更新されたメッシュがあると判定した場合には、第２抽出部７１１は、近接するメッシュの集まりを特定する（Ｓ１００７）。
【００７７】
そして、第２抽出部７１１は、集まり毎に、これらのメッシュを包含する第２領域を生成する（Ｓ１００９）。複数の集まりがある場合には、個々の集まりに対して第２領域を生成する。但し、以下では、第２領域を１つ生成するものと想定する。第２領域を生成する手順は、第１領域を生成する場合と同様である。
【００７８】
Ｓ１００５において、所定回数以上更新されたメッシュがないと判定された場合には、第２領域は生成されない。
【００７９】
第２領域を生成した場合も、第２領域を生成しなかった場合にも、第２抽出部７１１は、現時点におけるメッシュの総更新回数を一時データ記憶部７３３に記憶する（Ｓ１０１１）。そして、第２領域抽出処理を終え、図８に示したメイン処理に復帰する。第２領域では画像が更新される頻度が高く、第２領域は次の第１領域抽出処理において第１領域として抽出されることが見込まれる。
【００８０】
図１１に示した処理に続く図１２の処理について説明する前に、伝送処理を行う伝送部７１３の構成について説明する。図１１に、伝送部７１３のモジュール構成例を示す。伝送部７１３は、静止画圧縮部１１０１、送信部１１０３、中断部１１０５、第１判定部１１０７、階層符号化部１１０９、第２判定部１１１１、第３抽出部１１１３及び動画圧縮部１１１５を有している。
【００８１】
静止画圧縮部１１０１は、静止画圧縮処理を実行する。送信部１１０３は、各種のデータをクライアント端末１０３へ送信する。中断部１１０５は、階層符号化処理を中断する。第１判定部１１０７は、次の第１タイミングまでの期間が所定時間より短いか否かを判定する。階層符号化部１１０９は、階層符号化処理を実行する。この例で、階層符号化部１１０９は、４階層の符号化処理を行うが、２階層、３階層、あるいは５階層以上の符号化処理を行うようにしてもよい。各階層の符号化処理は、レベル別の圧縮処理に相当する。
【００８２】
階層符号化部１１０９は、第１圧縮部１１２１、第２圧縮部１１２３、第３圧縮部１１２５及び第４圧縮部１１２７を有している。第１圧縮部１１２１は、第１レベルの圧縮処理を実行する。第２圧縮部１１２３は、第２レベルの圧縮処理を実行する。第３圧縮部１１２５は、第３レベルの圧縮処理を実行する。第４圧縮部１１２７は、第４レベルの圧縮処理を実行する。
【００８３】
第２判定部１１１１は、各種の判定を行う。第３抽出部１１１３は、所定のフレーム内の画像から擬似Ｉピクチャを抽出する。動画圧縮部１１１５は、動画圧縮処理を実行する。
【００８４】
上述した静止画圧縮部１１０１、送信部１１０３、中断部１１０５、第１判定部１１０７、階層符号化部１１０９、第２判定部１１１１、第３抽出部１１１３、動画圧縮部１１１５、第１圧縮部１１２１、第２圧縮部１１２３、第３圧縮部１１２５及び第４圧縮部１１２７は、ハードウエア資源（例えば、図３０）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
【００８５】
図１２の説明に移る。伝送部７１３は、図８のＳ８０７において生成した更新矩形２０５が第１領域内に含まれるか否かを判定する（Ｓ１２０１）。更新矩形２０５が第１領域内に含まれると判定した場合には、伝送部７１３は、第３伝送処理を実行する（Ｓ１２０３）。第３伝送処理では、更新矩形２０５内の画像データを動画圧縮方式によって圧縮し、伝送する。第３伝送処理の詳細については、図１７を用いて後述する。
【００８６】
一方、更新矩形２０５が第１領域内に含まれないと判定した場合には、伝送部７１３は、図８のＳ８０７において生成した更新矩形２０５が第２領域内に含まれるか否かを判定する（Ｓ１２０５）。更新矩形２０５が第２領域内に含まれると判定した場合には、伝送部７１３は、第２伝送処理を実行する（Ｓ１２０７）。第２伝送処理では、更新矩形２０５内の画像データを階層符号化方式あるいは静止画圧縮方式によって圧縮し、伝送する。第２伝送処理の詳細については、図１４乃至図１６を用いて後述する。
【００８７】
一方、更新矩形２０５が第２領域内にも含まれないと判定した場合には、伝送部７１３は、第１伝送処理を実行する（Ｓ１２０９）。第１伝送処理では、更新矩形２０５内の画像データを静止画圧縮方式によって圧縮し、伝送する。第１伝送処理の詳細については、図１３を用いて説明する。第１伝送処理乃至第３伝送処理のいずれを終えた場合にも、端子Ｂを介して、図８のＳ８０３に示した処理に戻って、上述した処理を繰り返す。
【００８８】
図１３に、第１伝送処理フローの例を示す。静止画圧縮部１１０１は、図８のＳ８０７において生成した更新矩形２０５内の画像データに対する静止画圧縮処理を実行する（Ｓ１３０１）。送信部１１０３は、当該更新矩形２０５の領域を示すパラメータをクライアント端末１０３に送信する（Ｓ１３０３）。更に、送信部１１０３は、フレーム番号を付して、静止画圧縮方式による圧縮データをクライアント端末１０３に送信する（Ｓ１３０５）。第１伝送処理を終えると、図１２に示したメイン処理に復帰する。
【００８９】
本実施の形態では、第２伝送処理として、第２伝送処理（Ａ）を実行する。図１４に、第２伝送処理（Ａ）フローの例を示す。中断部１１０５は、先のいずれかのデータ伝送のタイミングにおける第２伝送処理（Ａ）によって起動された階層符号化処理が、現在も継続しているか否かを判定する（Ｓ１４０１）。このとき、継続判定の対象となる階層符号化処理は、今回の更新矩形２０５と重複する範囲を符号化している処理に限られる。
【００９０】
上記階層符号化処理が継続していると判定した場合には、中断部１１０５は、当該階層符号化処理を中断する（Ｓ１４０３）。そして、Ｓ１４０５の処理に移る。一方、上記階層符号化処理が継続していないと判定した場合には、そのままＳ１４０５の処理に移る。尚、この例では、継続している階層符号化処理を中断させるが、継続している階層符号化処理を中断させないようにしてもよい。
【００９１】
第１判定部１１０７は、次の第１タイミングまでの期間が所定時間より短いか否かを判定する（Ｓ１４０５）。この例における所定時間は、データ伝送の周期の１．５倍に相当する。従って、次の第１タイミングの１回前に当たるデータ伝送のタイミングの場合には、次の第１タイミングまでの期間が所定時間より短いと判定する。次の第１タイミングの２回前乃至６回前のいずれかに当たるデータ伝送のタイミングの場合には、次の第１タイミングまでの期間が所定時間より短くないと判定する。
【００９２】
次の第１タイミングまでの期間が所定時間より短いと判定した場合には、静止画圧縮部１１０１は、図８のＳ８０７において生成した更新矩形２０５内の画像データに対する静止画圧縮処理を実行する（Ｓ１４０７）。送信部１１０３は、当該更新矩形２０５の領域を示すパラメータをクライアント端末１０３に送信する（Ｓ１４０９）。更に、送信部１１０３は、フレーム番号を付して、静止画圧縮方式による圧縮データをクライアント端末１０３に送信する（Ｓ１４１１）。そして、第２伝送処理（Ａ）を終え、図１２に示したメイン処理に復帰する。
【００９３】
Ｓ１４０５において、次の第１タイミングまでの期間が所定時間より短くないと判定した場合、つまり次の第１タイミングまでの期間が所定時間以上である場合には、送信部１１０３は、図８のＳ８０７において生成した更新矩形２０５の領域を示すパラメータをクライアント端末１０３に送信する（Ｓ１４１３）。そして、伝送部７１３は、更新矩形２０５内の画像データに対する階層符号化処理を起動する（Ｓ１４１５）。階層符号化処理は、メイン処理と並行して動作する。階層符号化処理は、例えば新たなタスクとして起動される。
【００９４】
階層符号化処理を起動すると階層符号化処理の終了を待たずに、第２伝送処理（Ａ）を終え、図１２に示したメイン処理に復帰する。
【００９５】
本実施の形態では、階層符号化処理として、階層符号化処理（Ａ）を実行する。図１５に、階層符号化処理（Ａ）フローの例を示す。この例では、順に第１レベル乃至第４レベルの圧縮処理を行うものとする。つまり、第１レベルから第４レベルへ順に解像度が高くなる。また、第２レベル乃至第４レベルの圧縮処理では、先の圧縮結果を用いることによって、圧縮データのサイズを抑える。
【００９６】
第１圧縮部１１２１は、図８のＳ８０７において生成した更新矩形２０５内の画像データに対する第１レベルの圧縮処理を実行する（Ｓ１５０１）。そして、送信部１１０３は、フレーム番号を付して、階層符号化方式による１回目の圧縮データをクライアント端末１０３に送信する（Ｓ１５０５）。保存処理部７０３は、Ｓ８０５において第２退避バッファ１８４５に保存した画像データにおける更新矩形２０５内の画像を、第１レベルで再生される画像に書き換える（Ｓ１５０６）。但し、Ｓ１５０６の処理は、省略するようにしてもよい。
【００９７】
次に、第２圧縮部１１２３は、図８のＳ８０７において生成した更新矩形２０５内の画像データに対する第２レベルの圧縮処理を実行する（Ｓ１５０７）。そして、送信部１１０３は、フレーム番号を付して、階層符号化方式による２回目の圧縮データをクライアント端末１０３に送信する（Ｓ１５０９）。保存処理部７０３は、Ｓ８０５において第２退避バッファ１８４５に保存した画像データにおける更新矩形２０５内の画像を、第２レベルで再生される画像に書き換える（Ｓ１５１１）。但し、Ｓ１５１１の処理は、省略するようにしてもよい。端子Ｃを介して、図１６に示したＳ１６０１の処理に移る。
【００９８】
尚、この例では、階層符号化方式による２回目乃至４回目の圧縮データを、１回目の圧縮データの伝送タイミング以降のデータ伝送のタイミングと同期させて送信するものとする。但し、データ伝送のタイミングと同期させずに、上記２回目乃至４回目の圧縮データを送信するようにしてもよい。
【００９９】
図１６の説明に移る。第３圧縮部１１２５は、図８のＳ８０７において生成した更新矩形２０５内の画像データに対する第３レベルの圧縮処理を実行する（Ｓ１６０１）。そして、送信部１１０３は、フレーム番号を付して、階層符号化方式による３回目の圧縮データをクライアント端末１０３に送信する（Ｓ１６０３）。保存処理部７０３は、Ｓ８０５において第２退避バッファ１８４５に保存した画像データにおける更新矩形２０５内の画像を、第３レベルで再生される画像に書き換える（Ｓ１６０４）。但し、Ｓ１６０４の処理は、省略するようにしてもよい。
【０１００】
最後に、第４圧縮部１１２７は、図８のＳ８０７において生成した更新矩形２０５内の画像データに対する第４レベルの圧縮処理を実行する（Ｓ１６０５）。そして、送信部１１０３は、フレーム番号を付して、階層符号化方式による４回目の圧縮データをクライアント端末１０３に送信する（Ｓ１６０７）。そして、階層符号化処理（Ａ）を終えると、当該タスクは消滅する。つまり、階層符号化処理（Ａ）を終えても、いずれの処理にも移らない。
【０１０１】
図１７に、第３伝送処理フローの例を示す。第２判定部１１１１は、図８のＳ８０７において生成した更新矩形２０５と重複する範囲の画像について、既に動画圧縮処理を行っているか否かを判定する（Ｓ１７０１）。
【０１０２】
未だ動画圧縮処理を行っていないと判定した場合には、第２判定部１１１１は、先のいずれかのデータ伝送のタイミングにおける第２伝送処理（Ａ）によって開始された階層符号化処理が、現在も継続しているか否かを判定する（Ｓ１７０３）。このとき、継続判定の対象となる階層符号化処理は、今回の更新矩形２０５と重複する範囲を符号化している処理に限られる。
【０１０３】
上記階層符号化処理が継続していると判定した場合には、この時点では動画圧縮処理を開始しない。Ｉピクチャの抽出元となる画像を再生するための圧縮データ（この例では、第４レベルの圧縮処理で得られる圧縮データ）が未だクライアント端末１０３へ送られていないからである。但し、クライアント端末１０３において、第１レベル乃至第３レベルの圧縮処理で得られる圧縮データから再生される画像からＩピクチャを抽出する場合には、第４レベルの圧縮処理まで待たずに、動画圧縮処理を開始するようにしてもよい。
【０１０４】
一方、上記階層符号化処理が継続していないと判定した場合には、第３抽出部１１１３は、前回のデータ伝送のタイミングにおけるフレーム内の画像データから擬似Ｉピクチャを抽出する（Ｓ１７０５）。具体的には、第３抽出部１１１３は、今回のデータ伝送のタイミングにおいて生成された更新矩形２０５に相当する範囲内の画像のデータを切り取る。前回のデータ伝送のタイミングにおけるフレーム内の画像データが存在しない場合には、第３抽出部１１１３は、直近のデータ伝送のタイミングにおけるフレーム内の画像データを代わりに用いる。
【０１０５】
送信部１１０３は、擬似Ｉピクチャのフレーム番号及び今回のデータ伝送のタイミングにおいて生成された更新矩形２０５の領域を示すパラメータを送信する（Ｓ１７０７）。擬似Ｉピクチャのフレーム番号は、擬似Ｉピクチャを抽出する元となった画像データを含むフレームを指す。
【０１０６】
動画圧縮部１１１５は、Ｓ１７０５において抽出した擬似Ｉピクチャを通常のＩピクチャと同様に用いて、今回のデータ伝送のタイミングにおいて生成された更新矩形２０５内の画像データに対する動画圧縮処理を開始する（Ｓ１７０９）。動画圧縮処理は、従来技術と同様である。つまり、動画圧縮部１１１５は、今回のフレームにおける更新矩形２０５内の画像とＩピクチャとの差分データを求めることによって、Ｐピクチャを生成する。このようにすれば、サーバ装置１０１及びクライアント端末１０３において共有するＩピクチャを前提として、Ｐピクチャから始まる動画の圧縮データが生成されるようになる。
【０１０７】
送信部１１０３は、フレーム番号を付して、動画圧縮方式による圧縮データをクライアント端末１０３に送信する（Ｓ１７１１）。そして、第３伝送処理を終えると、図１２に示したメイン処理に復帰する。
【０１０８】
Ｓ１７０１の説明に戻る。Ｓ１７０１において、既に動画圧縮処理を行っていると判定した場合には、動画圧縮部１１１５は、今回のフレームにおける更新矩形２０５内の画像データに対する動画圧縮処理を継続する（Ｓ１７１３）。この場合の動画圧縮処理も、従来技術と同様である。但し、この例において、このとき用いる更新矩形２０５は、動画圧縮開始時点における更新矩形２０５である。つまり、動画圧縮処理の対象となる画像の範囲は、変動しないものとする。但し、更新矩形２０５がスライドすることを考慮するようにしてもよい。
【０１０９】
前述の通り、送信部１１０３は、フレーム番号を付して、動画圧縮方式による圧縮データをクライアント端末１０３に送信する（Ｓ１７１１）。そして、第３伝送処理を終えると、図１２に示したメイン処理に復帰する。以上で、サーバ装置１０１における処理の説明を終える。
【０１１０】
次に、クライアント端末１０３における動作について説明する。図１８に、クライアント端末１０３のモジュール構成例を示す。クライアント端末１０３は、受信部１８０１、表示処理部１８０３及び再生部１８０５を有している。受信部１８０１は、サーバ装置１０１から各種のデータを受信する。表示処理部１８０３は、クライアント端末１０３における画面２０１の表示を行う。
【０１１１】
再生部１８０５は、画像の再生を行う。再生部１８０５は、静止画展開部１８１１、保存処理部１８１３、階層復号部１８１５、第３判定部１８１７、第４抽出部１８１９及び動画展開部１８２１を有している。静止画展開部１８１１は、静止画展開処理を行う。静止画展開処理は、静止画圧縮方式による圧縮データを伸張し、元の画像を再生する処理である。保存処理部１８１３は、フレーム毎に、第２フレームバッファ１８４３に記憶されている画像データを第２退避バッファ１８４５に保存する。所定回数以上遡ったフレームの画像データは、破棄されるようになっている。
【０１１２】
階層復号部１８１５は、階層符号化処理による圧縮データを復号する処理を行う。この例で、階層復号部１８１５は、４階層の復号処理を行う。但し、２階層、３階層、あるいは５階層以上の復号処理を行うようにしてもよい。各階層の復号処理は、レベル別の展開処理に相当する。階層復号部１８１５は、第１展開部１８３１、第２展開部１８３３、第３展開部１８３５及び第４展開部１８３７を有している。第１展開部１８３１は、階層符号化方式における第１レベルの圧縮データを展開する。第２展開部１８３３は、階層符号化方式における第２レベルの圧縮データを展開する。第３展開部１８３５は、階層符号化方式における第３レベルの圧縮データを展開する。第４展開部１８３７は、階層符号化方式における第４レベルの圧縮データを展開する。これらの展開は、符号の復号に相当する。
【０１１３】
第３判定部１８１７は、動画展開処理が行われているか否かを判定する。第４抽出部１８１９は、指定されたフレーム内の画像から擬似Ｉピクチャを抽出する。動画展開部１８２１は、動画圧縮方式による圧縮データを展開する。
【０１１４】
クライアント端末１０３は、受信バッファ１８４１、第２フレームバッファ１８４３及び第２退避バッファ１８４５を有している。受信バッファ１８４１は、受信した圧縮データを記憶する。第２フレームバッファ１８４３は、フレーム内の画像データを記憶する。第２退避バッファ１８４５は、所定回数まで遡った各フレームの画像を保存する。
【０１１５】
上述した受信部１８０１、表示処理部１８０３、再生部１８０５、静止画展開部１８１１、保存処理部１８１３、階層復号部１８１５、第３判定部１８１７、第４抽出部１８１９、動画展開部１８２１、第１展開部１８３１、第２展開部１８３３、第３展開部１８３５及び第４展開部１８３７は、ハードウエア資源（例えば、図３０）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
【０１１６】
上述した受信バッファ１８４１、第２フレームバッファ１８４３及び第２退避バッファ１８４５は、ハードウエア資源（例えば、図３０）を用いて実現される。
【０１１７】
続いて、クライアント端末１０３における処理について説明する。図１９に、クライアント端末１０３におけるメイン処理フローの例を示す。受信部１８０１は、待機して、更新矩形２０５の領域を示すパラメータを受信する（Ｓ１９０１）。尚、動画の展開を開始するタイミングの場合には、受信部１８０１は、擬似Ｉピクチャのフレーム番号も受信する。
【０１１８】
受信部１８０１は、圧縮データを受信し、受信した圧縮データを受信バッファ１８４１に記憶する（Ｓ１９０３）。
【０１１９】
再生部１８０５は、受信した圧縮データが静止画圧縮方式による圧縮データであるか否かを判定する（Ｓ１９０５）。受信した圧縮データが静止画圧縮方式による圧縮データであると判定した場合には、再生部１８０５は、第１再生処理を実行する（Ｓ１９０７）。第１再生処理において、再生部１８０５は、静止画を再生する。
【０１２０】
図２０に、第１再生処理フローの例を示す。静止画展開部１８１１は、静止画圧縮方式による圧縮データを展開して、得られた画像をフレームにおける更新矩形２０５の領域に貼り付ける（Ｓ２００１）。フレームは、クライアント端末１０３における画面２０１に表示される画像を含む。
【０１２１】
表示処理部１８０３は、第２フレームバッファ１８４３内の画像データをクライアント端末１０３の画面２０１に表示する（Ｓ２００３）。表示処理部１８０３は、フレーム番号を付して、第２フレームバッファ１８４３内の画像データを第２退避バッファ１８４５に保存する（Ｓ２００５）。第２退避バッファ１８４５に記憶される画像データは、擬似Ｉピクチャの抽出元になることがある。第１再生処理を終えると、図１９のＳ１９０１に示した処理に戻る。
【０１２２】
図１９の説明に戻る。Ｓ１９０５において、Ｓ１９０３で受信した圧縮データが静止画圧縮方式による圧縮データではないと判定した場合には、再生部１８０５は、当該受信した圧縮データが階層符号化方式による圧縮データであるか否かを判定する（Ｓ１９０９）。当該受信した圧縮データが階層符号化方式による圧縮データであると判定した場合には、再生部１８０５は、第２再生処理を実行する（Ｓ１９１１）。第２再生処理において、再生部１８０５は、階層に応じた静止画を再生する。
【０１２３】
図２１に、第２再生処理フローの例を示す。階層復号部１８１５は、Ｓ１９０３で受信したデータが、階層符号化方式における１回目の圧縮データであるか否かを判定する（Ｓ２１０１）。当該受信データが、階層符号化方式における１回目の圧縮データであると判定した場合には、第１展開部１８３１は、階層符号化方式における第１レベルの圧縮データを展開して、得られた画像をフレームにおける更新矩形２０５の領域に貼り付ける（Ｓ２１０３）。
【０１２４】
表示処理部１８０３は、第２フレームバッファ１８４３内の画像データをクライアント端末１０３の画面２０１に表示する（Ｓ２１０５）。保存処理部１８１３は、フレーム番号を付して、第２フレームバッファ１８４３内の画像データを第２退避バッファ１８４５に保存する（Ｓ２１０７）。そして、第２再生処理を終えると、図１９のＳ１９０１に示した処理に戻る。
【０１２５】
Ｓ２１０１の説明に戻る。Ｓ１９０３で受信したデータが、階層符号化方式における１回目の圧縮データではないと判定した場合には、階層復号部１８１５は、当該受信データが、階層符号化方式における２回目の圧縮データであるか否かを判定する（Ｓ２１０９）。当該受信データが、階層符号化方式における２回目の圧縮データであると判定した場合には、第２展開部１８３３は、階層符号化方式における第２レベルの圧縮データを展開して、得られた画像をフレームにおける更新矩形２０５の領域に貼り付ける（Ｓ２１１１）。尚、第２展開部１８３３は、上記１回目の圧縮データを展開して得られた画像を用いて、上記第２レベルの圧縮データを展開する。
【０１２６】
その後、Ｓ２１０５の処理及びＳ２１０７の処理を行う。そして、第２再生処理を終えると、図１９のＳ１９０１に示した処理に戻る。
【０１２７】
Ｓ２１０９の説明に戻る。Ｓ１９０３で受信したデータが、階層符号化方式における２回目の圧縮データではないと判定した場合には、階層復号部１８１５は、当該受信データが、階層符号化方式における３回目の圧縮データであるか否かを判定する（Ｓ２１１３）。当該受信データが、階層符号化方式における３回目の圧縮データであると判定した場合には、第３展開部１８３５は、階層符号化方式における第３レベルの圧縮データを展開して、得られた画像をフレームにおける更新矩形２０５の領域に貼り付ける（Ｓ２１１５）。尚、第３展開部１８３５は、上記２回目の圧縮データを展開して得られた画像を用いて、上記第３レベルの圧縮データを展開する。
【０１２８】
その後、Ｓ２１０５の処理及びＳ２１０７の処理を行う。そして、第２再生処理を終えると、図１９のＳ１９０１に示した処理に戻る。
【０１２９】
Ｓ２１１３の説明に戻る。Ｓ１９０３で受信したデータが、階層符号化方式における３回目の圧縮データではないと判定した場合、当該受信データは、階層符号化方式における４回目の圧縮データである。この場合には、第４展開部１８３７は、階層符号化方式における第４レベルの圧縮データを展開して、得られた画像をフレームにおける更新矩形２０５の領域に貼り付ける（Ｓ２１１７）。尚、第４展開部１８３７は、上記３回目の圧縮データを展開して得られた画像を用いて、上記第４レベルの圧縮データを展開する。
【０１３０】
その後、Ｓ２１０５の処理及びＳ２１０７の処理を行う。そして、第２再生処理を終えると、図１９のＳ１９０１に示した処理に戻る。
【０１３１】
図１９の説明に戻る。Ｓ１９０９において、Ｓ１９０３で受信した圧縮データが階層符号化方式による圧縮データではないと判定した場合には、当該受信した圧縮データは動画圧縮方式による圧縮データである。この場合には、再生部１８０５は、第３再生処理を実行する（Ｓ１９１３）。第３再生処理において、再生部１８０５は、動画を再生する。
【０１３２】
図２２に、第３再生処理フローの例を示す。第３判定部１８１７は、図１９のＳ１９０１で受信したパラメータによって示される更新矩形２０５において、既に動画展開処理を行っているか否かを判定する（Ｓ２２０１）。
【０１３３】
未だ動画展開処理を行っていないと判定した場合には、第４抽出部１８１９は、Ｓ１９０１において受信したフレーム番号に対応する画像データから、擬似Ｉピクチャを抽出する（Ｓ２２０３）。擬似Ｉピクチャは、フレームにおける更新矩形２０５内の画像である。また、当該画像データは、第２退避バッファ１８４５に記憶されている。フレーム番号に対応する画像データが第２退避バッファ１８４５に記憶されていない場合には、直近のフレーム番号に対応する画像データを用いるようにしてもよい。
【０１３４】
動画展開部１８２１は、擬似Ｉピクチャを基礎として、動画圧縮方式による最初の圧縮データ（Ｐピクチャ）を展開して、得られた画像をフレームにおける更新矩形２０５の領域に貼り付ける（Ｓ２２０５）。表示処理部１８０３は、第２フレームバッファ１８４３内の画像データをクライアント端末１０３の画面２０１に表示する（Ｓ２２０７）。保存処理部１８１３は、フレーム番号を付して、第２フレームバッファ１８４３内の画像データを第２退避バッファ１８４５に保存する（Ｓ２２０９）。但し、Ｓ２２０９の処理は、省略するようにしてもよい。第３再生処理を終えると、図１９のＳ１９０１に示した処理に戻る。
【０１３５】
Ｓ２２０１の説明に戻る。既に動画展開処理を行っていると判定した場合には、動画展開部１８２１は、従来技術と同様に、動画圧縮方式による圧縮データを展開して、得られた画像をフレームにおける更新矩形２０５の領域に貼り付ける（Ｓ２２１１）。上述した通り、この例で、動画展開処理を行っている間において更新矩形２０５の位置及び大きさは固定である。
【０１３６】
その後、Ｓ２２０７の処理及びＳ２２０９の処理を行う。そして、第３再生処理を終えると、図１９のＳ１９０１に示した処理に戻る。以上で、クライアント端末１０３における処理の説明を終える。
【０１３７】
本実施の形態によれば、画像伝送中において開始される動画部分の再生を滑らかにすることができる。
【０１３８】
［実施の形態２］
本実施の形態では、静止画圧縮方式における画質を調節する例について説明する。
【０１３９】
図２３に、実施の形態２に係る伝送部７１３のモジュール構成例を示す。伝送部７１３は、計測部２３０１及び調整部２３０３を有している。計測部２３０１は、クライアント端末１０３との間を繋ぐ伝送路における空き帯域幅、つまり伝送レートを計測する。調整部２３０３は、静止画圧縮方式における画質を調節する処理を行う。この例では、計測部２３０１を伝送部７１３に含める例を示したが、計測部２３０１を伝送部７１３の外に設けるようにしてもよい。
【０１４０】
上述した計測部２３０１及び調整部２３０３は、ハードウエア資源（例えば、図３０）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
【０１４１】
本実施の形態では、第２伝送処理（Ａ）に代えて、第２伝送処理（Ｂ）を行う。図２４に、第２伝送処理（Ｂ）フローの例を示す。Ｓ１４０１乃至Ｓ１４０５の処理は、第２伝送処理（Ａ）の場合と同様である。
【０１４２】
Ｓ１４０５において、次の第１タイミングまでの期間が所定時間より短いと判定した場合には、調整部２３０３は、調整処理を実行する（Ｓ２４０１）。
【０１４３】
図２５に、調整処理フローの例を示す。調整部２３０３は、計測部２３０１から、クライアント端末１０３との間を繋ぐ伝送路における空き帯域幅を取得する（Ｓ２５０１）。そして、調整部２３０３は、１フレーム当たりの伝送データの制限量を算出する（Ｓ２５０３）。具体的には、調整部２３０３は、空き帯域幅をフレームレートで除することによって、当該制限量を算出する。例えば、空き帯域幅が５Ｍｂｐｓ（メガビット毎秒）であり、フレームレートが３０ＦＰＳ（フレーム数枚秒）である場合には、当該制限量は、５×１０００×１０００／３０（ビット）となる。
【０１４４】
次に、調整部２３０３は、更新矩形２０５内の画像データ量を算出する（Ｓ２５０５）。更新矩形２０５の幅が６４０画素であり、更新矩形２０５の高さが４８０画素であり、画像がＲＧＢカラーである場合には、当該画像データ量は、６４０×４８０×３×８（ビット）となる。
【０１４５】
そして、調整部２３０３は、１フレーム当たりの伝送データの制限量を更新矩形２０５内の画像データ量で除することによって、目標圧縮率を算出する（Ｓ２５０７）。
【０１４６】
調整部２３０３は、目標圧縮率に応じて画質を選択する（Ｓ２５０９）。つまり、調整部２３０３は、静止画の再生が停滞しない条件の下で、より良い画質を選択する。具体的には、調整部２３０３は、静止画圧縮部１１０１における圧縮率の適用条件を満たし、且つ目標圧縮率を下回る圧縮率のうち、より大きい圧縮率を選択する。調整処理を終えると、図２４に示したＳ２４０３の処理に移る。
【０１４７】
図２４の説明に戻る。静止画圧縮部１１０１は、調整した画質に応じて、更新矩形２０５内の画像データに対する静止画圧縮処理を実行する（Ｓ２４０３）。具体的には、静止画圧縮部１１０１は、調整処理において選択した圧縮率を適用して、静止画圧縮処理を実行する。
【０１４８】
Ｓ１４０９及びＳ１４１１の処理は、第２伝送処理（Ａ）の場合と同様である。
【０１４９】
そして、保存処理部１８１３は、Ｓ８０５において第２退避バッファ１８４５に保存した画像データにおける更新矩形２０５内の画像を、調整処理において選択した画質の画像に書き換える（Ｓ２４０５）。
【０１５０】
Ｓ１４１３及びＳ１４１５の処理は、第２伝送処理（Ａ）の場合と同様である。
【０１５１】
本実施の形態によれば、動画への切り替わり時における画質の連続性を担保することができる。具体的には、静止画圧縮方式による圧縮データから再生された画像が、動画圧縮方式による圧縮データから再生された画像へ滑らかに移るように見える。また、動画圧縮方式に用いる基準画像の伝送負荷を減らすことができるという面もある。
【０１５２】
［実施の形態３］
本実施の形態では、階層符号化方式によって保つ画質を、動画圧縮方式によって保たれる画質に合わせる例について説明する。
【０１５３】
図４及び図２６を用いて、本実施の形態に係るフレーム遷移の例を説明する。図４に続いて、図２６に示すようにフレームが遷移するものとする。
【０１５４】
図２６に示した第４フレームに基づくデータ伝送のタイミングは、第１タイミングにも第２タイミングにも該当しない。このとき、更新矩形２０５は検出されないものとする。そして、このタイミングでは、図４に示した第３フレームにおける更新矩形２０５ｃ内の画像に対する階層符号方式による処理が継続している。そして、更新矩形２０５ｃ内の画像に対する第２レベルの圧縮データがクライアント端末１０３へ送られる。
【０１５５】
本実施の形態では、動画圧縮方式における解像度に相当するレベルにおいて、階層符号化を中断する。この例で、動画圧縮方式における解像度は、階層符号化方式におけるレベル２に相当するものとする。従って、更新矩形２０５ｃ内の画像に対する第２レベルの圧縮データがクライアント端末１０３へ送られると、更新矩形２０５ｃ内の画像に対する階層符号方式による処理は中断する。
【０１５６】
図２６に示した第５フレームに基づくデータ伝送のタイミングは、第２タイミングに該当する。このとき、更新矩形２０５は検出されないものとする。そして、マトリクス４０３ｍに示すように、メッシュの更新回数は、いずれも０である。従って、第２領域はなくなる。
【０１５７】
このタイミングで、第３フレームにおける更新矩形２０５ｃ内の画像に対する階層符号方式による処理は中断しているので、画像の伝送は行われない。
【０１５８】
図２６に示した第６フレームに基づくデータ伝送のタイミングは、第１タイミングにも、第２タイミングにも該当しない。このとき、更新矩形２０５は検出されないものとする。このタイミングでも、画像の伝送は行われない。
【０１５９】
図２６に示した第７フレームに基づくデータ伝送のタイミングは、第１タイミングに該当する。このとき、更新矩形２０５ｏが検出されるものとする。マトリクス４０３ｏに示すように、更新矩形２０５ｏが重複する、枠４０１ｏ内におけるメッシュの更新回数がそれぞれ３である。従って、枠４０１ｏは第１領域に該当する。尚、このときの計測対象となるタイミングは、第２フレームに基づくデータ伝送のタイミングから第７フレームに基づくデータ伝送のタイミングまでの６回である。
【０１６０】
第１領域に含まれる更新矩形２０５ｏ内の画像は、動画圧縮方式によって圧縮される。また、更新矩形２０５ｃ内の画像に対する第２レベルで再生される画像が、動画圧縮処理の基礎として用いられる。
【０１６１】
続いて、本実施の形態における階層符号化部１１０９の構成について説明する。図２７に、階層符号化部１１０９のモジュール構成例を示す。階層符号化部１１０９は、第４判定部２７０１を有している。第４判定部２７０１は、解像度に関する判定を行う。
【０１６２】
上述した第４判定部２７０１は、ハードウエア資源（例えば、図３０）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
【０１６３】
本実施の形態では、階層符号化処理（Ａ）に代えて、階層符号化処理（Ｂ）を実行する。図２８に、階層符号化処理（Ｂ）フローの例を示す。第４判定部２７０１は、動画圧縮処理における解像度を取得する（Ｓ２８０１）。第４判定部２７０１は、例えば動画展開部１８２１から当該解像度を取得する。Ｓ１５０１乃至Ｓ１５０６の処理は、階層符号化処理（Ａ）の場合と同様である。
【０１６４】
第４判定部２７０１は、動画圧縮処理における解像度が、階層符号化方式の第１レベルで再生される画像の解像度に相当するか否かを判定する（Ｓ２８０３）。例えば、第４判定部２７０１は、動画圧縮処理における解像度が、階層符号化方式の第２レベル乃至第４レベルのいずれで再生される画像の解像度よりも、第１レベルで再生される画像の解像度に近い場合に、第１レベルで再生される画像の解像度に相当するものと判定する。
【０１６５】
動画圧縮処理における解像度が、階層符号化方式の第１レベルで再生される画像の解像度に相当すると判定した場合には、階層符号化処理（Ｂ）を終え、階層符号化処理（Ａ）と同様に呼び出し元の処理に復帰する。
【０１６６】
一方、動画圧縮処理における解像度が、階層符号化方式の第１レベルで再生される画像の解像度に相当しないと判定した場合には、Ｓ１５０７の処理に移る。Ｓ１５０７乃至Ｓ１５１１の処理は、階層符号化処理（Ａ）の場合と同様である。そして、端子Ｄを介して、図２９に示したＳ２９０１の処理に移る。
【０１６７】
第４判定部２７０１は、動画圧縮処理における解像度が、階層符号化方式の第２レベルで再生される画像の解像度に相当するか否かを判定する（Ｓ２９０１）。例えば、第４判定部２７０１は、動画圧縮処理における解像度が、階層符号化方式の第１レベル、第３レベル及び第４レベルのいずれで再生される画像の解像度よりも、第２レベルで再生される画像の解像度に近い場合に、第２レベルで再生される画像の解像度に相当するものと判定する。
【０１６８】
動画圧縮処理における解像度が、階層符号化方式の第２レベルで再生される画像の解像度に相当すると判定した場合には、階層符号化処理（Ｂ）を終え、階層符号化処理（Ａ）と同様に呼び出し元の処理に復帰する。
【０１６９】
一方、動画圧縮処理における解像度が、階層符号化方式の第２レベルで再生される画像の解像度に相当しないと判定した場合には、Ｓ１６０１の処理に移る。Ｓ１６０１乃至Ｓ１６０４の処理は、階層符号化処理（Ａ）の場合と同様である。
【０１７０】
第４判定部２７０１は、動画圧縮処理における解像度が、階層符号化方式の第３レベルで再生される画像の解像度に相当するか否かを判定する（Ｓ２９０５）。例えば、第４判定部２７０１は、動画圧縮処理における解像度が、階層符号化方式の第１レベル、第２レベル及び第４レベルのいずれで再生される画像の解像度よりも、第３レベルで再生される画像の解像度に近い場合に、第３レベルで再生される画像の解像度に相当するものと判定する。
【０１７１】
動画圧縮処理における解像度が、階層符号化方式の第３レベルで再生される画像の解像度に相当すると判定した場合には、階層符号化処理（Ｂ）を終え、階層符号化処理（Ａ）と同様に呼び出し元の処理に復帰する。
【０１７２】
一方、動画圧縮処理における解像度が、階層符号化方式の第３レベルで再生される画像の解像度に相当しないと判定した場合には、Ｓ１６０５の処理に移る。Ｓ１６０５及びＳ１６０７の処理は、階層符号化処理（Ａ）の場合と同様である。そして、階層符号化処理（Ｂ）を終え、階層符号化処理（Ａ）と同様に呼び出し元の処理に復帰する。
【０１７３】
本実施の形態によれば、動画への切り替わり時における画質の連続性を担保することができる。具体的には、階層符号化方式による圧縮データから再生された画像が、動画圧縮方式による圧縮データから再生された画像へ滑らかに移るように見える。また、階層符号化方式による変更を伴う伝送の量を減らすことができるという面もある。
【０１７４】
以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上述の機能ブロック構成はプログラムモジュール構成に一致しない場合もある。
【０１７５】
また、上で説明した各記憶領域の構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ、処理の順番を入れ替えることや複数の処理を並列に実行させるようにしても良い。
【０１７６】
なお、上で述べたサーバ装置１０１及びクライアント端末１０３は、コンピュータ装置であって、図３０に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
【０１７７】
以上述べた本発明の実施の形態をまとめると、以下のようになる。
【０１７８】
本実施の形態に係る画像伝送方法は、（Ａ）画像伝送のフレーム内における動画部分を含む第１領域を抽出する第１タイミングに先行する第２タイミングで、第１領域になると見込まれる第２領域を抽出し、（Ｂ）第１タイミングまでの期間が所定時間以上である伝送タイミングにおけるフレーム内の第２領域に含まれる画像を、階層符号化方式によって変換して伝送し、（Ｃ）第１タイミングまでの期間が上記所定時間に満たない伝送タイミングにおけるフレーム内の第２領域に含まれる画像を、静止画圧縮方式によって変換して伝送し、（Ｄ）第１タイミング以降の伝送タイミングにおけるフレーム内の第１領域に含まれる画像を、動画圧縮方式によって変換して伝送する処理を含む。
【０１７９】
このようにすれば、画像伝送中において開始される動画部分の再生を滑らかにすることができる。
【０１８０】
更に、上記画像伝送方法は、伝送レートに基づいて、静止画圧縮方式において保つ画質を調整する処理を含むようにしてもよい。また、動画圧縮方式による変換において、上記画質の画像を基準画像として差分画像を生成するようにしてもよい。
【０１８１】
このようにすれば、動画への切り替わり時における画質の連続性を担保することができる。動画圧縮方式に用いる基準画像の伝送負荷を減らすことができるという面もある。
【０１８２】
更に、上記画像伝送方法は、上記階層符号化方式によって保つ画質を、動画圧縮方式によって保たれる画質に合わせる処理を含むようにしてもよい。
【０１８３】
このようにすれば、動画への切り替わり時における画質の連続性を担保することができる。階層符号化方式による変更を伴う伝送の量を減らすことができるという面もある。
【０１８４】
なお、上記方法による処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納されるようにしてもよい。尚、中間的な処理結果は、一般的にメインメモリ等の記憶装置に一時保管される。
【０１８５】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１８６】
（付記１）
画像伝送のフレーム内における動画部分を含む第１領域を抽出する第１タイミングに先行する第２タイミングで、前記第１領域になると見込まれる第２領域を抽出し、
前記第１タイミングまでの期間が所定時間以上である伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、階層符号化方式によって変換して伝送し、
前記第１タイミングまでの期間が前記所定時間に満たない伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、静止画圧縮方式によって変換して伝送し、
前記第１タイミング以降の伝送タイミングにおけるフレーム内の前記第１領域に含まれる画像を、動画圧縮方式によって変換して伝送する
処理を含み、コンピュータにより実行される画像伝送方法。
【０１８７】
（付記２）
更に、伝送レートに基づいて、前記静止画圧縮方式において保つ画質を調整する処理を含み、
前記動画圧縮方式による変換において、前記画質の画像を基準画像として差分画像を生成する
付記１記載の画像伝送方法。
【０１８８】
（付記３）
前記階層符号化方式によって保つ画質を、前記動画圧縮方式によって保たれる画質に合わせる
処理を含む付記１又は２記載の画像伝送方法。
【０１８９】
（付記４）
画像伝送のフレーム内における動画部分を含む第１領域を抽出する第１タイミングに先行する第２タイミングで、前記第１領域になると見込まれる第２領域を抽出し、
前記第１タイミングまでの期間が所定時間以上である伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、階層符号化方式によって変換して伝送し、
前記第１タイミングまでの期間が前記所定時間に満たない伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、静止画圧縮方式によって変換して伝送し、
前記第１タイミング以降の伝送タイミングにおけるフレーム内の前記第１領域に含まれる画像を、動画圧縮方式によって変換して伝送する
処理をコンピュータに実行させるプログラム。
【０１９０】
（付記５）
画像伝送のフレーム内における動画部分を含む第１領域を抽出する第１タイミングに先行する第２タイミングで、前記第１領域になると見込まれる第２領域を抽出する抽出部と、
前記第１タイミングまでの期間が所定時間以上である伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、階層符号化方式によって変換して伝送し、
前記第１タイミングまでの期間が前記所定時間に満たない伝送タイミングにおけるフレーム内の前記第２領域に含まれる画像を、静止画圧縮方式によって変換して伝送し、
前記第１タイミング以降の伝送タイミングにおけるフレーム内の前記第１領域に含まれる画像を、動画圧縮方式によって変換して伝送する伝送部と
を有する情報処理装置。
【符号の説明】
【０１９１】
１０１  サーバ装置    １０３  クライアント端末
２０１  画面    ２０３  更新箇所
２０５  更新矩形    ４０１  枠
４０３  マトリクス    ７０１  第１更新部
７０２  同期処理部    ７０３  保存処理部
７０５  生成部    ７０７  第２更新部
７０９  第１抽出部    ７１１  第２抽出部
７１３  伝送部    ７２１  第１フレームバッファ
７２３  第１退避バッファ    ７２５  更新矩形記憶部
７２７  更新回数記憶部    ７２９  第１領域記憶部
７３１  第２領域記憶部    ７３３  一時データ記憶部
７３５  圧縮データ記憶部    １１０１  静止画圧縮部
１１０３  送信部    １１０５  中断部
１１０７  第１判定部    １１０９  階層符号化部
１１１１  第２判定部    １１１３  第３抽出部
１１１５  動画圧縮部    １１２１  第１圧縮部
１１２３  第２圧縮部    １１２５  第３圧縮部
１１２７  第４圧縮部    １８０１  受信部
１８０３  表示処理部    １８０５  再生部
１８１１  静止画展開部    １８１３  保存処理部
１８１５  階層復号部    １８１７  第３判定部
１８１９  第４抽出部    １８２１  動画展開部
１８３１  第１展開部    １８３３  第２展開部
１８３５  第３展開部    １８３７  第４展開部
１８４１  受信バッファ    １８４３  第２フレームバッファ
１８４５  第２退避バッファ    ２３０１  計測部
２３０３  調整部    ２７０１  第４判定部
【図１】
2016213749.tif 000003
【図２】
2016213749.tif 000004
【図３】
2016213749.tif 000005
【図４】
2016213749.tif 000006
【図５】
2016213749.tif 000007
【図６】
2016213749.tif 000008
【図７】
2016213749.tif 000009
【図８】
2016213749.tif 000010
【図９】
2016213749.tif 000011
【図１０】
2016213749.tif 000012
【図１１】
2016213749.tif 000013
【図１２】
2016213749.tif 000014
【図１３】
2016213749.tif 000015
【図１４】
2016213749.tif 000016
【図１５】
2016213749.tif 000017
【図１６】
2016213749.tif 000018
【図１７】
2016213749.tif 000019
【図１８】
2016213749.tif 000020
【図１９】
2016213749.tif 000021
【図２０】
2016213749.tif 000022
【図２１】
2016213749.tif 000023
【図２２】
2016213749.tif 000024
【図２３】
2016213749.tif 000025
【図２４】
2016213749.tif 000026
【図２５】
2016213749.tif 000027
【図２６】
2016213749.tif 000028
【図２７】
2016213749.tif 000029
【図２８】
2016213749.tif 000030
【図２９】
2016213749.tif 000031
【図３０】
2016213749.tif 000032