(57)【特許請求の範囲】
【請求項１】
端末装置の表示領域に対するユーザーの視点から特定される、前記表示領域中の第１領域について、第１画質の画像を送信し、前記表示領域中の前記第１領域以外の領域である第２領域について、前記第１画質より低い第２画質の画像を送信し、前記第１領域について前記第１画質の動画を送信した場合、前記第２画質の画像を前記第１画質に補完する補完情報を、前記第１領域が動画から静止画に変化した後に送信する画像送信手段
を備えるサーバー装置。
【請求項２】
前記画像送信手段は、前記第２画質の画像を送信した後で前記第１領域内の画像に変化がない場合、前記補完情報を送信する
請求項１に記載のサーバー装置。
【請求項３】
前記第２領域は、複数領域で構成されており、
前記画像送信手段は、前記第２領域に対応した部分の画像について、前記複数領域のうち前記第１領域に近い部分から順に前記補完情報を送信する
請求項１または請求項２に記載のサーバー装置。
【請求項４】
前記第２領域は、複数領域で構成されており、
前記画像送信手段は、前記第２領域に対応した部分の画像について、前記複数領域のうち情報量の多い部分から順に前記補完情報を送信する
請求項１または請求項２に記載のサーバー装置。
【請求項５】
前記端末装置の表示領域からユーザーまでの距離を取得し、取得した距離、予め定められた視野角及び前記視点の位置から定まる領域を前記第１領域とする
請求項１から請求項４のいずれか一項に記載のサーバー装置。
【請求項６】
端末装置の表示領域に対するユーザーの視点から特定される、前記表示領域中の第１領域について、第１画質の画像を送信し、前記表示領域中の前記第１領域以外の領域である第２領域について、前記第１画質より低い第２画質の画像を送信し、前記第１領域について前記第１画質の動画を送信した場合、前記第２画質の画像を前記第１画質に補完する補完情報を、前記第１領域が動画から静止画に変化した後に送信する画像送信手段
を備えるサーバー装置と、
前記画像送信手段が送信した画像と補完情報を取得する画像情報取得手段と、
前記画像情報取得手段が受信した画像と補完情報とで表される画像が表示されるように表示領域を制御する表示制御手段と
を有する端末装置と
を備える情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバー装置及び情報処理システムに関する。
【背景技術】
【０００２】
特許文献１には、観察者の視線近傍である中心視野の画像データを低圧縮率とし、観察者の視線から遠ざかる周辺視野ほど画像データを高圧縮率として送信することにより、観察者の体感画質を低下させることなく、通信経路の伝送負荷を減少させる発明が開示されている。また、特許文献２には、画面全体に表示される低品質な低フレームレート動画と、表示画面を複数領域に分割した高画質な高フレームレート動画を生成し、視線位置に対応する領域の高フレームレート動画から高品質画像を生成し、低フレームレート動画における視線位置に高画質画像を合成するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−９２５３号公報
【特許文献２】特開２０１２−１２４７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的に、シンクライアントのように、サーバーから仮想マシンの画面の情報を送る場合、視点を動かしたときに、移動後の視点の位置を含む領域について、高画質の画像を新たに送る必要があり、移動後の視点の位置を含む領域について、画像の情報を送るのに時間がかかることになる。
【０００５】
本発明は、表示領域において視点の位置を含む領域内に変化がない場合に、移動後の視点の位置を含む領域について、画像を高画質にする補完情報を送信し終えるまでの時間を、視点が移動した後で送る場合と比べて早くすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の請求項１に係るサーバー装置は、端末装置の表示領域に対するユーザーの視点から特定される、前記表示領域中の第１領域について、第１画質の画像を送信し、前記表示領域中の前記第１領域以外の領域である第２領域について、前記第１画質より低い第２画質の画像を送信し、前記第１領域について前記第１画質の動画を送信した場合、前記第２画質の画像を前記第１画質に補完する補完情報を、前記第１領域が動画から静止画に変化した後に送信する画像送信手段を備える。
【０００８】
本発明の請求項２に係るサーバー装置においては、前記第２画質の画像を送信した後で前記第１領域内の画像に変化がない場合、前記補完情報を送信する。
【０００９】
本発明の請求項３に係るサーバー装置においては、前記第２領域は、複数領域で構成されており、前記画像送信手段は、前記第２領域に対応した部分の画像について、前記複数領域のうち前記第１領域に近い部分から順に前記補完情報を送信する。
【００１０】
本発明の請求項４に係るサーバー装置においては、前記第２領域は、複数領域で構成されており、前記画像送信手段は、前記第２領域に対応した部分の画像について、前記複数領域のうち情報量の多い部分から順に前記補完情報を送信する。
【００１１】
本発明の請求項５に係るサーバー装置においては、前記端末装置の表示領域からユーザーまでの距離を取得し、取得した距離、予め定められた視野角及び前記視点の位置から定まる領域を前記第１領域とする。
【００１２】
本発明の請求項６に係る情報処理システムは、端末装置の表示領域に対するユーザーの視点から特定される、前記表示領域中の第１領域について、第１画質の画像を送信し、前記表示領域中の前記第１領域以外の領域である第２領域について、前記第１画質より低い第２画質の画像を送信し、前記第１領域について前記第１画質の動画を送信した場合、前記第２画質の画像を前記第１画質に補完する補完情報を、前記第１領域が動画から静止画に変化した後に送信する画像送信手段を備えるサーバー装置と、前記画像送信手段が送信した画像と補完情報を取得する画像情報取得手段と、前記画像情報取得手段が受信した画像と補完情報とで表される画像が表示されるように表示領域を制御する表示制御手段とを有する端末装置とを備える。
【発明の効果】
【００１４】
請求項１に係るサーバー装置によれば、表示領域において視点の位置を含む領域内に変化がない場合に、移動後の視点の位置を含む領域について、画像を高画質にする補完情報を送信し終えるまでの時間を、視点が移動した後で送る場合と比べて早くすることができる。
請求項２に係るサーバー装置によれば、視点に近い部分から順に画像を高画質にすることができる。
請求項３に係るサーバー装置によれば、視点に近い部分から順に画像を高画質にすることができる。
請求項４に係るサーバー装置によれば、視点に近い部分から順に画像を高画質にすることができる。
請求項５に係るサーバー装置によれば、ユーザーの有効視野に対応した領域を第１領域とすることができる。
請求項６に係る情報処理システムによれば、表示領域において視点の位置を含む領域内に変化がない場合に、移動後の視点の位置を含む領域について、画像を高画質にする補完情報を送信し終えるまでの時間を、視点が移動した後で送る場合と比べて早くすることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る情報処理システム１を構成する装置を示した図。
【図２】端末装置１０のハードウェア構成を示した図。
【図３】端末装置１０の機能ブロック図。
【図４】サーバー装置２０のハードウェア構成を示した図。
【図５】仮想マシン３０の機能ブロック図。
【図６】実施形態の動作例を説明するためのシーケンス図。
【図７】表示領域の分割例を示した図。
【図８】第１領域と第２領域を説明するための図。
【図９】実施形態の動作例を説明するためのシーケンス図。
【図１０】実施形態の動作例を説明するためのシーケンス図。
【図１１】実施形態の動作例を説明するためのシーケンス図。
【発明を実施するための形態】
【００１６】
［実施形態］
（全体構成）
図１は、本発明の一実施形態の情報処理システム１に係る装置を示した図である。通信回線２は、データ通信が行われる通信ネットワークであり、データ通信を行う複数のコンピュータ装置が接続される。通信回線２には、有線及び無線の通信ネットワークが含まれる。
【００１７】
端末装置１０は、シンクライアントのクライアント端末として機能する端末装置の一例であり、本実施形態においては、スマートフォンやタブレット端末である。端末装置１０は、通信回線２に含まれている無線ＬＡＮ（Local Area Network）のアクセスポイントや移動体通信網の無線基地局を介して通信回線２に接続し、通信回線２を介してデータ通信を行う。
本実施形態においては、端末装置１０は、携帯型の端末装置であるが、デスクトップ型の端末装置であってもよい。なお、図１においては、図面が繁雑になるのを防ぐため、一つの端末装置１０を示しているが、情報処理システム１においては、複数の端末装置１０が存在し得る。
【００１８】
サーバー装置２０は、シンクライアントのサーバー装置として機能する装置である。サーバー装置２０は、サーバー装置２０により認証されたユーザー毎に仮想マシン３０を起動する。仮想マシン３０は、端末装置１０と接続する。仮想マシン３０は、仮想マシン３０を操作するためのＧＵＩ（Graphical User Interface）画面の情報を端末装置１０へ送る。この情報に基づいて端末装置１０が表示したＧＵＩ画面で情報の入力や操作が行われると、仮想マシン３０は、入力された情報や行われた操作に対応した情報処理を行う。
【００１９】
（端末装置１０の構成）
図２は、端末装置１０のハードウェア構成の一例を示した図である。タッチパネル１０３は、液晶ディスプレイなどの表示装置と、表示装置の表示面において指の接触を検出するセンサーとを組み合わせた装置であり、ユーザーにより操作される操作部の一例である。タッチパネル１０３は、文字やＧＵＩなどを表示する。また、タッチパネル１０３は、ユーザーが指で触れた位置をセンサーで検出する。制御部１０１は、タッチパネル１０３が検出した位置と、タッチパネルに表示されている画面に応じてユーザーの操作を特定し、特定した操作に応じて各部の制御や情報処理を行う。
【００２０】
通信部１０５は、移動体通信網（図示略）の無線基地局に対して無線通信を行う通信インターフェースとして機能する。音声処理部１０７は、マイクロフォンとスピーカを有している。音声処理部１０７は、端末装置が音声通話を行う場合、通話相手の音声に係るデジタル信号が通信部１０５から供給されると、供給されたデジタル信号をアナログ信号に変換する。このアナログ信号は、スピーカへ供給され、スピーカからは、通話相手の音声が放音される。また、音声処理部１０７は、マイクロフォンが音声を収音すると、収音した音声をデジタル信号に変換する。音声処理部１０７は、端末装置で音声通話を行う場合、ユーザーの音声を変換したデジタル信号を通信部１０５へ供給する。このデジタル信号は、通信部１０５から移動体通信網へ送信され、通話相手の端末装置へ送信される。
【００２１】
近距離通信部１０９は、Bluetooth（登録商標）の規格に従った無線通信や、無線ＬＡＮの通信規格に従った無線通信を行う通信インターフェースとして機能する。近距離通信部１０９は、通信回線２が備える無線ＬＡＮのアクセスポイントへ無線ＬＡＮの規格に従った通信により接続し、通信回線２を介してデータ通信を行う。撮像部１０６は、レンズや固体撮像素子を備えており、レンズによって固体撮像素子に結像した像を表す画像を生成する。撮像部１０６が生成した画像は、制御部１０１へ送られる。
【００２２】
記憶部１０２は、データを永続的に記憶する不揮発性メモリーを有しており、オペレーティングシステムのプログラムやアプリケーションプログラムなどを記憶する。本実施形態においては、記憶部１０２は、タブレット端末やスマートフォンにインストールされる周知のアプリケーションプログラムに加え、仮想マシン３０の起動や仮想マシン３０を操作するアプリケーションプログラム（以下、クライアントアプリと称する）を記憶する。制御部１０１は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）を備えており、オペレーティングシステムのプログラムやアプリケーションプログラムを実行する。
【００２３】
（端末装置１０の機能構成）
図３は、クライアントアプリを実行することにより端末装置１０において実現する機能のうち、本発明に係る特徴的な機能の構成を示した機能ブロック図である。
視点検知部１５１は、タッチパネル１０３の表示領域にあるユーザーの視点の位置を検知するものである。視点検知部１５１は、ユーザーの顔の画像を取得する。視点検知部１５１は、取得した顔の画像から表示領域内にあるユーザーの視点の位置（座標）を検知し、検知した位置を表す位置情報を生成する生成手段の一例である。
位置情報送信部１５２は、視点検知部１５１が検知した視点の位置を表す位置情報を仮想マシン３０へ送信する位置情報送信手段の一例である。
画像情報取得部１５３は、仮想マシン３０が提供する画面を表す情報を取得する画像情報取得手段の一例である。
表示制御部１５４は、画像情報取得部１５３が取得した情報を用い、仮想マシン３０が提供する画面がタッチパネル１０３に表示されるようにタッチパネル１０３を制御する表示制御手段の一例である。
【００２４】
（サーバー装置２０の構成）
図４は、サーバー装置２０のハードウェア構成の一例を示したブロック図である。通信部２０５は、データ通信を行うための通信インターフェースとして機能し、通信回線２に接続されている。記憶部２０２は、プログラムや仮想マシン３０が使用する情報などを永続的に記憶する装置（例えばハードディスク装置）を有している。記憶部２０２が記憶するプログラムとしては、オペレーティングシステムのプログラムや、文書の作成や編集を行うワードプロセッサーのプログラム、表計算のプログラム、動画像を再生するプログラム、仮想マシン３０を実現するプログラムなどがある。記憶部２０２が記憶する情報としては、管理者によりサーバー装置２０の利用を許可されたユーザーのユーザー名とパスワードの組などがある。また、記憶部２０２は、サーバー装置２０を利用するユーザーが使用するデータを記憶する。ユーザーが使用するデータとしては、ワードプロセッサーのプログラムで使用する文書ファイルや、表計算のプログラムで使用する表計算ファイル、動画像を再生するプログラムで使用する動画像ファイルなどがある。
【００２５】
制御部２０１は、ＣＰＵやＲＡＭを有しており、オペレーティングシステムのプログラムを実行し、記憶部２０２や通信部２０５を制御する。また、仮想マシン３０を実現するプログラムを実行すると、サーバー装置２０に認証されたユーザー毎に仮想マシン３０を起動し、接続したユーザーが使用する端末装置へ仮想マシン３０を提供する。
【００２６】
（仮想マシン３０の機能構成）
図５は、仮想マシン３０において実現する機能のうち、本発明に係る機能の構成を示したブロック図である。
位置情報受信部３５１は、端末装置１０が送信した位置情報を取得する位置情報受信手段の一例である。
領域特定部３５２は、位置情報受信部３５１が取得した位置情報を使用し、端末装置１０へ提供する画面において、ユーザーの視点の位置を含む第１領域と、第１領域以外の領域である第２領域を特定する領域特定手段の一例である。
画像情報生成部３５３は、端末装置１０へ提供する画面において、領域特定部３５２が設定した第１領域に対応する部分の画像を表す第１画像情報と、領域特定部３５２が設定した第２領域に対応する部分の画像を表す第２画像情報を生成する画像情報生成手段の一例である。
画像情報送信部３５４は、画像送信手段の一例であり、画像情報生成部３５３が生成した第１画像情報と第２画像情報を端末装置１０へ送信する。
【００２７】
（実施形態の動作例）
次に本実施形態の動作例について図面を参照して説明する。ユーザーは、仮想マシン３０を端末装置１０から操作する場合、まず、クライアントアプリを起動する操作をタッチパネル１０３において行う。制御部１０１は、タッチパネル１０３で行われた操作に応じてクライアントアプリを起動する（図６：ステップＳ１）。制御部１０１は、クライアントアプリを起動すると、近距離通信部１０９を制御し、サーバー装置２０を利用するためのユーザー認証のページへアクセスする（ステップＳ２）。サーバー装置２０は、端末装置１０からのアクセスに応じて、ユーザー認証のページを端末装置１０へ送信する（ステップＳ３）。
【００２８】
このページを近距離通信部１０９が受信すると、制御部１０１は、受信したページが表示されるようにタッチパネル１０３を制御する（ステップＳ４）。ユーザー認証のページが表示されたタッチパネル１０３において、ユーザーが自身のユーザー名とパスワードを入力する操作を行うと、制御部１０１は、入力されたユーザー名とパスワードを取得する（ステップＳ５）。次にユーザーが、入力したユーザー名とパスワードを送信する操作を行うと、制御部１０１は、入力されたユーザー名とパスワードの組を、近距離通信部１０９を制御してサーバー装置２０へ送信する（ステップＳ６）。
【００２９】
制御部２０１は、送信されたユーザー名とパスワードの組が、記憶部２０２に記憶されている場合、サーバー装置２０の利用をユーザーに対して許可する（ステップＳ７）。制御部２０１は、サーバー装置２０の利用をユーザーに対して許可すると、ユーザーに対応した仮想マシン３０を起動する（ステップＳ９）。起動された仮想マシン３０は、仮想マシン３０のデスクトップ画面を生成する（ステップＳ１０）。また、仮想マシン３０は、ユーザーを認証したことを通知するメッセージを端末装置１０へ送信する（ステップＳ１１）。
【００３０】
近距離通信部１０９が、このメッセージを受信すると、制御部１０１（視点検知部１５１）は、撮像部１０６での撮像を開始し、タッチパネル１０３の表示領域におけるユーザーの視点の位置の検知を開始する（ステップＳ１２）。具体的には、撮像部１０６においては、ユーザーの顔を撮影し、ユーザーの顔の画像（以下、顔画像と称する）が生成される。制御部１０１は、この顔画像を取得する。制御部１０１は、顔画像を取得すると、例えば、特開平１０−３９９９５号公報に開示されている技術を用いて、タッチパネル１０３の表示領域におけるユーザーの視点の位置を検知する。なお、ユーザーの視点の位置を検知する技術は、上記の方法に限定されるものではなく、他の周知の方法を用いてもよい。
【００３１】
制御部１０１（位置情報送信部１５２）は、視点の位置の検知を開始すると、検知した位置を表す位置情報と、タッチパネル１０３の表示領域のサイズを表すサイズ情報の送信を開始する（ステップＳ１３）。この後、制御部１０１は、位置情報とサイズ情報を、近距離通信部１０９を制御して予め定められた周期で仮想マシン３０へ送信する（ステップＳ１４）。通信部２０５は、端末装置１０から送られる位置情報とサイズ情報を受信し、仮想マシン３０（位置情報受信部３５１）は、通信部２０５が受信した位置情報とサイズ情報を取得する。
【００３２】
仮想マシン３０（領域特定部３５２）は、取得した位置情報とサイズ情報に基づいて、表示領域において第１領域と第２領域を特定する（ステップＳ１５）。第１領域は、ユーザーの視点の位置を含む領域であり、第２領域は、第１領域以外の領域である。具体的には、仮想マシン３０は、図７に例示したように、サイズ情報が表す表示領域を、予め定められた複数行複数列の複数領域に分割する。次に仮想マシン３０は、この複数領域において、位置情報が表す位置を含む領域と、位置情報が表す位置を含む領域に隣り合う領域を第１領域とし、他の領域を第２領域とする。例えば、図８に示したように、視点の位置Ｐ１が４行５列目の領域内にある場合、ハッチングで示した３行４列目、３行５列目、３行６列目、４行４列目、４行５列目、４行６列目、５行４列目、５行５列目及び５行６列目の領域を第１領域とし、第１領域以外の領域を第２領域とする。
【００３３】
仮想マシン３０（画像情報生成部３５３）は、第１領域と第２領域を特定すると、第１画像情報と第２画像情報を生成する（ステップＳ１６）。第１画像情報は、デスクトップ画面において第１領域に対応する部分の画像を表す情報である。第１画像情報が表す画像の画質は、予め定められた画質（第１画質）となっている。
第２画像情報は、デスクトップ画面において第２領域に対応する部分を表す情報であり、例えば、ＪＰＥＧ（Joint Photographic Experts Group）におけるプログレッシブ方式のスペクトラルセレクションの技術を用いた情報である。仮想マシン３０は、第２領域の部分の画像に対して離散コサイン変換を行うことにより、６４個のＤＣＴ（Discrete Cosine Transform）係数を取得する。６４個のＤＣＴ係数は、画像の直流成分や低周波成分、高周波成分を表す。仮想マシン３０は、６４個のＤＣＴ係数を複数のブロックに分け、分けられたブロック毎に符号化を行い、第２画像情報を生成する。本実施形態においては、ＤＣＴ係数は、直流成分を表す第１ブロック、低周波成分を表す第２ブロック、高周波成分を表す第３ブロックに分けられるが、ブロックの数は３つに限定されるものではなく、２つのブロックや４以上のブロックに分けてもよい。第１ブロックの情報が表す画像は、第１画像情報が表す画像の画質（第１画質）より低い画質（第２画質）となる。第２ブロック及び第３ブロックの情報は、第２画質の画像を第１画質の画像にする補完情報の一例である。
【００３４】
仮想マシン３０（画像情報送信部３５４）は、第１画像情報と第２画像情報を生成すると、通信部２０５を制御して、第１画像情報と第２画像情報の第１ブロックの情報を端末装置１０へ送信する（ステップＳ１７）。また、仮想マシン３０は、第２領域を構成する各領域について、第２画像情報を何パーセントまで送信したか記憶する（ステップＳ１８）。ここでは、仮想マシン３０は、第２画像情報において第１ブロックが占めるパーセンテージを記憶する。
【００３５】
仮想マシン３０が送信した第１画像情報及び第２画像情報の第１ブロックの情報を近距離通信部１０９が受信すると、制御部１０１（画像情報取得部１５３）は、近距離通信部１０９が受信した情報を取得する。制御部１０１（表示制御部１５４）は、受信した情報が表す画面が表示されるようにタッチパネル１０３を制御する（ステップＳ１９）。ここで表示される画面は、第１ブロックの情報に基づいて表示が行われる第２領域の部分については、第１ブロックの情報がデスクトップ画面の直流成分を表すため、ぼやけた状態の画像となる。また、第１画像情報に基づいて表示が行われる第１領域の部分については、第１画像情報は、デスクトップ画面の直流成分、低周波成分及び高周波成分を含むため高画質の画像となる。
【００３６】
この後、端末装置１０が、サイズ情報及びユーザーの視点の位置情報を仮想マシン３０へ送信すると（ステップＳ２０）、仮想マシン３０は、サイズ情報及びユーザーの視点の位置情報を取得する。仮想マシン３０は、新たに位置情報を取得すると、第１領域と第２領域を特定し（ステップＳ２１）、ユーザーの視点の位置が変化したか判断する（ステップＳ２２）。仮想マシン３０は、前回取得した位置情報が表す位置が４行５列目の領域内であるため、取得した位置情報が表す位置が、再び４行５列目の領域内にある場合、ユーザーの視点の位置が変化していないと判断し、取得した位置情報が表す位置が４行５列目以外の領域内にある場合、ユーザーの視点の位置が変化したと判断する。
【００３７】
仮想マシン３０は、ユーザーの視点の位置が変化していない場合、第１領域内の画像に変化があったか判断する（ステップＳ２３）。仮想マシン３０は、前回第１画像情報を送信してから端末装置１０へ提供する画面において第１領域内の部分（図８のハッチングの部分）に変化がなかった場合、第２画像情報を何パーセントまで送信済みか特定する（ステップＳ２４）。ここで仮想マシン３０は、ステップＳ１８で記憶したパーセンテージに基づいて、第２画像情報において送信済みの第１ブロックの情報のパーセンテージを特定する。仮想マシン３０（画像情報送信部３５４）は、特定したパーセンテージが、第１ブロックのパーセンテージである場合、通信部２０５を制御し、第２領域について第２画像情報の第２ブロックの情報を端末装置１０へ送信する（図９のステップＳ２５）。また、仮想マシン３０は、第２画像情報において、送信済みの第１ブロック及び第２ブロックが占めるパーセンテージを記憶する（ステップＳ２６）。
【００３８】
仮想マシン３０が送信した第２ブロックの情報を近距離通信部１０９が受信すると、制御部１０１は、受信済みの第１ブロックの情報と、新たに受信した第２ブロックの情報で表される画面が表示されるようにタッチパネル１０３を制御する（ステップＳ２７）。ここで、第２ブロックの情報は第２領域の低周波成分を表すため、第１ブロックの情報と第２ブロックの情報で表される第２領域の部分については、直流成分のみで表示したときより鮮明となった状態の画像が表示される。
【００３９】
この後、端末装置１０が、サイズ情報及びユーザーの視点の位置情報を仮想マシン３０へ送信すると（ステップＳ２８）、仮想マシン３０は、サイズ情報及びユーザーの視点の位置情報を取得する。仮想マシン３０は、新たに位置情報を取得すると、第１領域と第２領域を特定し（ステップＳ２９）、ユーザーの視点の位置が変化したか判断する（ステップＳ３０）。仮想マシン３０は、前回取得した位置情報が表す位置が４行５列目の領域内であるため、取得した位置情報が表す位置が、再び４行５列目の領域内にある場合、ユーザーの視点の位置が変化していないと判断する。
【００４０】
仮想マシン３０は、ユーザーの視点の位置が変化していない場合、第１領域内の画像に変化があったか判断する（ステップＳ３１）。仮想マシン３０は、前回第１画像情報を送信してからデスクトップ画面において第１領域内の部分（図８のハッチングの部分）に変化がなかった場合、第２画像情報を何パーセントまで送信済みか特定する（ステップＳ３２）。ここで仮想マシン３０は、ステップＳ２６で記憶したパーセンテージに基づいて、第２画像情報において送信済みの情報のパーセンテージを特定する。仮想マシン３０（画像情報送信部３５４）は、特定したパーセンテージが、第１ブロック＋第２ブロックのパーセンテージである場合、通信部２０５を制御し、第２領域について第２画像情報の第３ブロックの情報を端末装置１０へ送信する（ステップＳ３３）。また、仮想マシン３０は、第２画像情報において、送信済みの第１ブロック、第２ブロック及び第３ブロックが占めるパーセンテージを記憶する（ステップＳ３４）。
【００４１】
仮想マシン３０が送信した第３ブロックの情報を近距離通信部１０９が受信すると、制御部１０１は、受信済みの第１ブロックと、受信済みの第２ブロックの情報と、新たに受信した第３ブロックの情報とで表される画面が表示されるようにタッチパネル１０３を制御する（ステップＳ３５）。ここで、第３ブロックの情報は第２領域の高周波成分を表すため、第１ブロック、第２ブロック及び第３ブロックの情報で表される第２領域の部分については、直流成分及び低周波成分で表示したときより鮮明となり、第１領域と同じ画質の画像が表示される。
【００４２】
次に、ユーザーが視点の位置を移動させると、制御部１０１は、サイズ情報と、移動後の視点の位置を表す位置情報を、近距離通信部１０９を制御して仮想マシン３０へ送信する（ステップＳ３６）。仮想マシン３０は、通信部２０５が受信した位置情報とサイズ情報を取得する。仮想マシン３０は、新たに位置情報を取得すると、第１領域と第２領域を特定し（ステップＳ３７）、ユーザーの視点の位置が変化したか判断する（ステップＳ３８）。ここでは、取得した位置情報が表す位置が、４行５列目の領域内ではない場合、仮想マシン３０は、ユーザーの視点の位置が変化したと判断する。
【００４３】
仮想マシン３０は、ユーザーの視点の位置を含む領域の位置が変化した場合、仮想マシン３０が端末装置１０へ提供する画面に変化があったか判断する（ステップＳ３９）。仮想マシン３０は、画面に変化がなかった場合、画面を表す情報の送信を行わない。
【００４４】
次に、表示されたデスクトップ画面において、動画像を再生するプログラム（以下、再生プログラムと称する）を起動する操作をユーザーが行うと（ステップＳ４０）、制御部１０１は、ユーザーが行った操作を表す情報を、近距離通信部１０９を制御して仮想マシン３０へ送信する（ステップＳ４１）。仮想マシン３０は、端末装置１０から送られた情報に応じて再生プログラムを起動し（ステップＳ４２）、デスクトップ画面上に再生プログラムのウィンドウ画面を配置した画面を生成する（ステップＳ４３）。ここで、端末装置１０に提供する画面には、新たに再生プログラムのウィンドウ画面が含まれるため、端末装置１０に提供する画面が変化したことになる。
【００４５】
仮想マシン３０は、端末装置１０に提供する画面が変化した場合、取得した位置情報が表す位置に基づいて、第１領域と第２領域を特定する（ステップＳ４４）。仮想マシン３０は、第１領域と第２領域を特定すると、第１画像情報と第２画像情報を生成する（ステップＳ４５）。仮想マシン３０は、第１画像情報と第２画像情報を生成すると、通信部２０５を制御して、第１画像情報と第２画像情報の第１ブロックの情報を端末装置１０へ送信する（図１０のステップＳ４６）。また、仮想マシン３０は、第２領域を構成する各領域について、第２画像情報を何パーセントまで送信したか記憶する（ステップＳ４７）。ここでは、仮想マシン３０は、第２画像情報において第１ブロックが占めるパーセンテージを記憶する。
【００４６】
仮想マシン３０が送信した第１画像情報及び第２画像情報の第１ブロックの情報を近距離通信部１０９が受信すると、制御部１０１は、受信した情報が表す画面が表示されるようにタッチパネル１０３を制御する（ステップＳ４８）。ここで、第１領域が再生プログラムのウィンドウ画面を含む場合、再生プログラムのウィンドウ画面については、直流成分、低周波成分及び高周波成分を含むため、高画質の画像となる。一方、第２領域の部分については、ぼやけた状態の画像が表示される。
【００４７】
表示された再生プログラムのウィンドウ内において、動画ファイルを再生する操作をユーザーが行うと、制御部１０１は、ユーザーが行った操作を表す情報を、近距離通信部１０９を制御して仮想マシン３０へ送信する（ステップＳ４９）。仮想マシン３０は、端末装置１０から送られた情報に応じて動画ファイルの再生を開始する（ステップＳ５０）。仮想マシン３０は、動画ファイルを再生すると、端末装置１０へ提供する画面において、再生プログラムのウィンドウ内の画像を更新する。
【００４８】
この後、端末装置１０が、サイズ情報及びユーザーの視点の位置情報を仮想マシン３０へ送信すると（ステップＳ５１）、仮想マシン３０は、サイズ情報及びユーザーの視点の位置情報を取得する。仮想マシン３０は、新たに位置情報を取得すると、第１領域と第２領域を特定し（ステップＳ５２）、ユーザーの視点の位置が変化したか判断する（ステップＳ５３）。
【００４９】
仮想マシン３０は、ユーザーの視点の位置が変化していない場合、第１領域内の画像に変化があったか判断する（ステップＳ５４）。ここでは、再生プログラムが動画像ファイルを再生中で再生プログラムのウィンドウ内が更新されているため、仮想マシン３０は、第１領域内の画像に変化があったと判断する。仮想マシン３０は、ユーザーの視点の位置が変化せず、第１領域内の画像に変化があった場合、通信部２０５を制御し、第１画像情報を端末装置１０へ送信する（ステップＳ５５）。
【００５０】
この第１画像情報を近距離通信部１０９が受信すると、制御部１０１は、第１領域の画像を表示する（ステップＳ５６）。この後、動画ファイルの再生を終了するまで、ユーザーが視点を動かさなかった場合、仮想マシン３０は、動画ファイルの再生が終了するまでは、第１画像情報を送信し、第２画像情報を送信しない。これにより、端末装置１０においては、動画ファイルの再生終了まで再生プログラムのウィンドウ内の画像が更新されるが、第２領域の画像については、端末装置１０は、第１ブロックの情報しか受信していないため、ぼやけた状態の画像のままとなる。仮想マシン３０が、動画ファイルの再生を終了すると（ステップＳ５７）、再生プログラムのウィンドウ内の画像は、予め定められた静止画像となり、この画像が端末装置１０へ送られ（ステップＳ５８）、端末装置１０において表示される（ステップＳ５９）。
【００５１】
この後、端末装置１０が、サイズ情報及びユーザーの視点の位置情報を仮想マシン３０へ送信すると（ステップＳ６０）、仮想マシン３０は、サイズ情報及びユーザーの視点の位置情報を取得する。仮想マシン３０は、新たに位置情報を取得すると、第１領域と第２領域を特定し（ステップＳ６１）、ユーザーの視点の位置が変化したか判断する（ステップＳ６２）。仮想マシン３０は、ユーザーの視点の位置が変化していない場合、第１領域内の画像に変化があったか判断する（ステップＳ６３）。再生プログラムのウィンドウ内が静止画となり、デスクトップ画面にも変化がなかった場合、仮想マシン３０は、第１領域内の画像に変化がないと判断する。
【００５２】
仮想マシン３０は、第１領域内の部分に変化がなかった場合、第２画像情報を何パーセントまで送信済みか特定する（ステップＳ６４）。
ここで仮想マシン３０は、ステップＳ４７で記憶したパーセンテージに基づいて、第２画像情報において送信済みの第１ブロックの情報のパーセンテージを特定する。仮想マシン３０は、特定したパーセンテージが、第１ブロックのパーセンテージである場合、通信部２０５を制御し、第２領域について第２画像情報の第２ブロックの情報を端末装置１０へ送信する（ステップＳ６５）。また、仮想マシン３０は、第２画像情報において、送信済みの第１ブロック及び第２ブロックが占めるパーセンテージを記憶する（ステップＳ６６）。
【００５３】
仮想マシン３０が送信した第２ブロックの情報を近距離通信部１０９が受信すると、制御部１０１は、受信済みの第１ブロックの情報と、新たに受信した第２ブロックの情報で表される画面が表示されるようにタッチパネル１０３を制御する（ステップＳ６７）。ここで、第２ブロックの情報は第２領域の低周波成分を表すため、第１ブロックの情報と第２ブロックの情報で表される第２領域の部分については、直流成分のみで表示したときより鮮明となった状態の画像が表示される。
【００５４】
この後、端末装置１０が、サイズ情報及びユーザーの視点の位置情報を仮想マシン３０へ送信すると（図１１のステップＳ６８）、仮想マシン３０は、サイズ情報及びユーザーの視点の位置情報を取得する。仮想マシン３０は、新たに位置情報を取得すると、第１領域と第２領域を特定し（ステップＳ６９）、ユーザーの視点の位置が変化したか判断する（ステップＳ７０）。
【００５５】
仮想マシン３０は、ユーザーの視点の位置が変化していない場合、第１領域内の画像に変化があったか判断する（ステップＳ７１）。仮想マシン３０は、前回第１画像情報を送信してから第１領域内の部分に変化がなかった場合、第２画像情報を何パーセントまで送信済みか特定する（ステップＳ７２）。ここで仮想マシン３０は、ステップＳ６６で記憶したパーセンテージに基づいて、第２画像情報において送信済みの情報のパーセンテージを特定する。仮想マシン３０は、特定したパーセンテージが、第１ブロック＋第２ブロックのパーセンテージである場合、通信部２０５を制御し、第２領域について第２画像情報の第３ブロックの情報を端末装置１０へ送信する（ステップＳ７３）。また、仮想マシン３０は、第２画像情報において、送信済みの第１ブロック、第２ブロック及び第３ブロックが占めるパーセンテージを記憶する（ステップＳ７４）。
【００５６】
仮想マシン３０が送信した第３ブロックの情報を近距離通信部１０９が受信すると、制御部１０１は、受信済みの第１ブロックと、受信済みの第２ブロックの情報と、新たに受信した第３ブロックの情報とで表される画面が表示されるようにタッチパネル１０３を制御する（ステップＳ７５）。ここで、第３ブロックの情報は第２領域の高周波成分を表すため、第１ブロック、第２ブロック及び第３ブロックの情報で表される第２領域の部分については、直流成分及び低周波成分で表示したときより鮮明となり、第１領域と同じ画質の画像が表示される。
【００５７】
［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態および以下の変形例は、各々を組み合わせてもよい。
【００５８】
上述した実施形態においては、タッチパネル１０３の表示領域のサイズに基づいて、端末装置１０へ提供する画面を予め定められた複数行複数列の領域に分割しているが、提供する画面を複数領域に分割する方法は、実施形態の方法に限定されるものではない。例えば、タッチパネル１０３からユーザーの顔までの距離を検知し、タッチパネル１０３からユーザーまでの距離（タッチパネル１０３から眼球までの距離）、視点の位置、予め定められた視野角から有効視野を特定し、有効視野又は安定注視野を第１領域とし、他の領域を第２領域としてもよい。また、画面内に含まれるウィンドウを単位とし、ユーザーの視点が位置しているウィンドウ内の領域を第１領域とし、他の領域を第２領域としてもよい。
【００５９】
上述した実施形態においては、第２領域を構成する複数の領域について、第２画像情報の第２ブロックや第３ブロックの情報を送信する際、第１領域に近い領域の情報から送信するようにしてもよい。
例えば、第２ブロックの情報を送信する際、第１領域が図８のハッチングの領域である場合、まず、第２領域を構成する複数領域のうち、第１領域に接する領域（２行３列目〜２行７列目、３行３列目、３行７列目、４行３列目、４行７列目、５行３列目、５行７列目及び６行３列目〜６行７列目の各領域）から第２ブロックの情報を送信し、第１領域に接する複数領域について第２ブロックの情報の送信が終了した後、残りの領域について、第２ブロックの情報を送信してもよく、第３ブロックについても同様に送信してもよい。
【００６０】
また、例えば、第２ブロックの情報を送信する際、第２領域を構成する各領域のうち、情報量の多い領域から順番に第２ブロックの情報を送信してもよい。例えば、第２領域に静止画を表示するウィンドウやワードプロセッサーのウィンドウがあり、静止画を表示するウィンドウ内の情報量が、ワードプロセッサーのウィンドウ内の情報量より多い場合、静止画を表示するウィンドウの部分から第２ブロックの情報を送信し、静止画を表示するウィンドウの部分について第２ブロックの情報の送信が終了した後、ワードプロセッサーのウィンドウ内について第２ブロックの情報を送信してもよい。また、第３ブロックについても同様に送信してもよい。
【００６１】
また、仮想マシン３０が、複数のウィンドウが開いた画面を提供する場合、ユーザーの視点があるウィンドウを第１領域とし、第１領域に近いウィンドウから第２ブロックの情報を送信してもよく、第３ブロックの情報についても同様に送信してもよい。
【００６２】
本発明においては、再生プログラムのウィンドウにユーザーの視点があり、再生プログラムが動画ファイルを再生しているときにユーザーの視点が移動した場合、移動後の視点の位置に応じて第１領域と第２領域を再設定し、再設定した第１領域に対応した第１画像情報と、再設定した第２領域に対応した第２画像情報の第１ブロックを端末装置１０へ送信してもよい。この構成によれば、例えば、視点の移動により第２領域に再生プログラムのウィンドウが含まれることになった場合、第１ブロックの情報で端末装置１０が画面を表示したときは、再生プログラムのウィンドウは画面の直流成分のみで表示されるため、ぼやけた画像となる。この後、ユーザーの視点が移動せず、第１領域内の画像に変化がない場合、第２ブロックの情報と第３ブロックの情報が送信され、再生プログラムのウィンドウが順次高画質の画像となる。
【００６３】
上述した実施形態においては、第２領域について、第１ブロックの情報（直流成分）、第２ブロックの情報（低周波成分）、第３ブロックの情報（高周波成分）を順番に送ることにより、第２領域を徐々に高画質にしているが、第２領域を徐々に高画質にする方法は、実施形態の方法に限定されるものではない。例えば、彩度を表す情報を複数段階に分けて端末装置１０へ送信することにより、第２領域を徐々に高画質にする構成であってもよい。また、明度を表す情報を複数段階に分けて端末装置１０へ送信することにより、第２領域を徐々に高画質にする構成であってもよい。
【００６４】
上述した実施形態においては、第１画像情報についても第２画像情報と同じ形式の情報とし、端末装置１０へ送信する際には、第１ブロック〜第３ブロックの情報をまとめて送信するようにしてもよい。
【００６５】
本発明に係る各装置のプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリーなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し、インストールしてもよい。また、通信回線を介してプログラムをダウンロードしてインストールしてもよい。
【符号の説明】
【００６６】
１…情報処理システム、２…通信回線、１０…端末装置、２０…サーバー装置、３０…仮想マシン、１０１…制御部、１０２…記憶部、１０３…タッチパネル、１０５…通信部、１０６…撮像部、１０７…音声処理部、１０９…近距離通信部、１５１…視点検知部、１５２…位置情報送信部、１５３…画像情報取得部、１５４…表示制御部、２０１…制御部、２０２…記憶部、２０５…通信部、３５１…位置情報受信部、３５２…領域特定部、３５３…画像情報生成部、３５４…画像情報送信部
【図１】
0006597041.tif 000002
【図２】
0006597041.tif 000003
【図３】
0006597041.tif 000004
【図４】
0006597041.tif 000005
【図５】
0006597041.tif 000006
【図６】
0006597041.tif 000007
【図７】
0006597041.tif 000008
【図８】
0006597041.tif 000009
【図９】
0006597041.tif 000010
【図１０】
0006597041.tif 000011
【図１１】
0006597041.tif 000012