(57)【要約】【課題】画面上の作業を効率よく進めることができる。【解決手段】サーバ１０１は、クライアント端末装置１０２とサーバ１０１間で共有する画面であってプログラムの実行に応じた画面の第１画像１２０を含む画像情報１１１を生成し、画像情報１１１をクライアント端末装置１０２に送信する。サーバ１０１は、クライアント端末装置１０２間で共有し第１画像１２０に関連する情報を含む第２画像１２１を生成することをクライアント端末装置１０２に指示する描画命令１１２を生成する。サーバ１０１は、生成した描画命令１１２をクライアント端末装置１０２に送信する。クライアント端末装置１０２は、受信した描画命令１１２の実行により第２画像１２１を生成する。クライアント端末装置１０２は、生成した第２画像１２１を受信した第１画像１２０の上に重ねた画像１２２を表示する。【選択図】図１
2016224766.tif 000002
【特許請求の範囲】
【請求項１】
サーバと、
前記サーバにプログラムを実行させるクライアント端末装置と、
を有するリモート画面表示システムであって、
前記サーバは、
前記クライアント端末装置と前記サーバ間で共有する画面であって前記プログラムの実行に応じた画面の第１画像を含む画像情報を生成し、生成した前記画像情報を前記クライアント端末装置に送信し、
前記クライアント端末装置間で共有し前記第１画像に関連する情報を含む第２画像を生成することを前記クライアント端末装置に指示する描画命令を生成し、生成した前記描画命令を前記クライアント端末装置に送信し、
前記クライアント端末装置の各々は、
受信した前記描画命令の実行により前記第２画像を生成し、生成した前記第２画像を、受信した前記画像情報に含まれる第１画像の上に重ねた画像を表示する、
ことを特徴とするリモート画面表示システム。
【請求項２】
前記クライアント端末装置の各々は、
前記クライアント端末装置が有する入力装置に対する操作によって前記第２画像の表示の有無を示す情報を受け付けて、
前記表示の有無を示す情報が前記表示の無を示す場合、前記重ねた画像を表示せずに前記第１画像を表示し、前記表示の有無を示す情報が前記表示の有を示す場合、前記重ねた画像を表示する、
ことを特徴とする請求項１に記載のリモート画面表示システム。
【請求項３】
前記クライアント端末装置の各々は、
メモリを有し、
新たに受け付けた前記表示の有無を示す情報が前記表示の無を示す場合、前記第２画像を前記メモリに格納し、新たに受け付けた前記表示の有無を示す情報が前記表示の無から有に切り替わった場合、前記メモリに格納された前記第２画像を前記第１画像の上に重ねた画像を表示し、前記メモリから前記第２画像を削除する、
ことを特徴とする請求項２に記載のリモート画面表示システム。
【請求項４】
前記第２画像は、前記クライアント端末装置のうちのいずれかのクライアント端末装置での操作に応じた画像であることを特徴とする請求項１〜３のいずれか一つに記載のリモート画面表示システム。
【請求項５】
前記第２画像は、前記第１画像に関連する設計に係る画像であることを特徴とする請求項１〜４のいずれか一つに記載のリモート画面表示システム。
【請求項６】
前記第２画像は、前記第１画像から得られる文字列に基づき生成した情報を含む画像であることを特徴とする請求項１〜３のいずれか一つに記載のリモート画面表示システム。
【請求項７】
プログラムを実行するサーバによって、クライアント端末装置と前記サーバ間で共有される画面であって前記プログラムの実行に応じた画面の第１画像を含む画像情報が生成され、前記画像情報が前記クライアント端末装置に送信され、前記クライアント端末装置間で共有され前記第１画像に関連する情報を含む第２画像を生成することを前記クライアント端末装置に指示する描画命令が生成され、生成された前記描画命令が前記クライアント端末装置に送信される場合に、前記クライアント端末装置の各々が、
受信した前記描画命令の実行により前記第２画像を生成し、生成した前記第２画像を、受信した前記画像情報に含まれる前記第１画像の上に重ねた画像を表示する、
処理を実行することを特徴とするリモート画面表示方法。
【請求項８】
クライアント端末装置の各々によって、受信された画像情報に含まれる第１画像の上に、受信した描画命令の実行により生成した第２画像を重ねた画像が表示される場合に、プログラムを実行するサーバが、
前記クライアント端末装置と前記サーバ間で共有し前記プログラムの実行に応じた画面の第１画像を生成し、前記画像情報を前記クライアント端末装置に送信し、前記クライアント端末装置間で共有し前記第１画像に関連する情報を含む前記第２画像を生成することを前記クライアント端末装置に指示する描画命令を生成し、生成した前記描画命令を前記クライアント端末装置に送信する、
処理を実行することを特徴とするリモート画面表示方法。
【請求項９】
プログラムを実行するサーバによって、クライアント端末装置と前記サーバ間で共有される画面であって前記プログラムの実行に応じた画面の第１画像を含む画像情報が生成され、前記画像情報が前記クライアント端末装置に送信され、前記クライアント端末装置間で共有され前記第１画像に関連する情報を含む第２画像を生成することを前記クライアント端末装置に指示する描画命令が生成され、生成された前記描画命令が前記クライアント端末装置に送信される場合に、前記クライアント端末装置の各々に、
受信した前記描画命令の実行により前記第２画像を生成し、生成した前記第２画像を、受信した前記画像情報に含まれる第１画像の上に重ねた画像を表示する、
処理を実行させることを特徴とするリモート画面表示プログラム。
【請求項１０】
クライアント端末装置の各々によって、受信された画像情報に含まれる第１画像の上に、受信した描画命令の実行により生成した第２画像を重ねた画像が表示される場合に、プログラムを実行するサーバに、
前記クライアント端末装置と前記サーバ間で共有し前記プログラムの実行に応じた画面の第１画像を生成し、前記画像情報を前記クライアント端末装置に送信し、前記クライアント端末装置間で共有し前記第１画像に関連する情報を含む前記第２画像を生成することを前記クライアント端末装置に指示する描画命令を生成し、生成した前記描画命令を前記クライアント端末装置に送信する、
処理を実行させることを特徴とするリモート画面表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リモート画面表示システム、リモート画面表示方法、およびリモート画面表示プログラムに関する。
【背景技術】
【０００２】
従来、デスクトップ仮想化と呼ばれる技術が公知である。デスクトップ仮想化と呼ばれる技術では、サーバがプログラムやデータを実行および保管し、クライアント端末装置は、リモートデスクトップとしてサーバから転送された画面の画像を表示する。例えば、サーバが、資料作成、メール、ＣＡＤ（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｄｅｓｉｇｎ）、動画などのアプリケーションを実行し、クライアント端末装置がサーバによるアプリケーションの処理結果を表示する。ここで、例えば、クライアント端末装置が処理結果を表示するために、サーバが画像を示す画像情報や圧縮した画像情報をクライアント端末装置へ転送する方法と、サーバが画像を示す画像情報を生成可能なコマンドをクライアント端末装置へ送信する方法とがある。
【０００３】
また、従来、サーバが第１の送信工程によって画像を送信し、画像のフレーム間における変化が累積して更新された面積または変化の頻度が閾値以上の場合に、第１の送信工程とは異なる圧縮方法を用いる第２の送信工程によって画像を圧縮して送信する技術が公知である（例えば、以下特許文献１参照。）。
【０００４】
また、従来、電子会議を行うために、電子資料をリアルタイムに閲覧できる画面の共有ソフトウェアと、電子会議に参加する全員が議論の内容になる文字や描画等を自由に記入可能なアプリケーションソフトウェアとを同時に併用する技術が公知である（以下、例えば特許文献２参照。）。
【０００５】
また、従来、離れた場所に設置された加入者端末を、文字、図形、画像及び音声等のマルチメディア情報の伝送機能を有する通信路を介して相互接続し、各加入者端末に文字、図形等の情報を表示すると共に表示情報を修正、追加、削除しながら複数の参加者が共同作業を行う技術が公知である（以下、例えば特許文献３参照。）。
【０００６】
また、従来、サーバデバイスに接続されたクライアントデバイスの画面上に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を生成する技術が公知である（以下、例えば特許文献４参照。）。ＧＵＩを生成する技術では、サーバデバイスから受信したベース画像とネイティブＧＵＩ要素とを含むローカルＧＵＩを生成する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−１４５３３号公報
【特許文献２】特開２００６−１６４１７７号公報
【特許文献３】特開平０４−１１１１５１号公報
【特許文献４】特開２０１３−２２９０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来技術では、例えば、複数人によるコラボレーション作業を行うためには、複数人が同時通話可能な電話機等を用意して、電話をしながら複数人によって同一の画面を操作するため、作業の効率が悪いという問題点がある。
【０００９】
１つの側面では、本発明は、複数人が同時に、画面の画像と画面の画像に関連する画像とを共有して、画面上の作業を効率よく進めることができるリモート画面表示システム、リモート画面表示方法、およびリモート画面表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一側面によれば、サーバと、前記サーバにプログラムを実行させるクライアント端末装置と、を有するリモート画面表示システムであって、前記サーバは、前記クライアント端末装置と前記サーバ間で共有する画面であって前記プログラムの実行に応じた画面の第１画像を含む画像情報を生成し、生成した前記画像情報を前記クライアント端末装置に送信し、前記クライアント端末装置間で共有し前記第１画像に関連する情報を含む第２画像を生成することを前記クライアント端末装置に指示する描画命令を生成し、生成した前記描画命令を前記クライアント端末装置に送信し、前記クライアント端末装置の各々は、受信した前記描画命令の実行により前記第２画像を生成し、生成した前記第２画像を、受信した前記画像情報に含まれる第１画像の上に重ねた画像を表示するリモート画面表示システム、リモート画面表示方法、およびリモート画面表示プログラムが提案される。
【発明の効果】
【００１１】
本発明の一態様によれば、画面上の作業を効率よく進めることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、リモート画面表示システムの一動作例を示す説明図である。
【図２】図２は、リモート画面表示システムの適用例を示す説明図である。
【図３】図３は、ＶＤＩシステムの方式例を示す説明図である。
【図４】図４は、キャプチャ方式のデータ削減例を示す説明図である。
【図５】図５は、複数の利用者による画面操作例を示す説明図である。
【図６】図６は、サーバのハードウェア構成例を示す説明図である。
【図７】図７は、クライアント端末装置のハードウェア構成例を示す説明図である。
【図８】図８は、各装置の機能的構成例を示すブロック図である。
【図９】図９は、実施例１における簡単な動作例を示す説明図である。
【図１０】図１０は、操作レイヤを切り替え可能なショートカットキー例を示す説明図である。
【図１１】図１１は、マウス操作またはキーボード操作の操作情報形式例を示す説明図である。
【図１２】図１２は、画像情報のパケット形式例を示す説明図である。
【図１３】図１３は、描画命令を含むパケット情報のパケット形式例を示す説明図である。
【図１４Ａ】図１４Ａは、実施例１におけるリモート画面表示システムの動作例を示す説明図（その１）である。
【図１４Ｂ】図１４Ｂは、実施例１におけるリモート画面表示システムの動作例を示す説明図（その２）である。
【図１４Ｃ】図１４Ｃは、実施例１におけるリモート画面表示システムの動作例を示す説明図（その３）である。
【図１４Ｄ】図１４Ｄは、実施例１におけるリモート画面表示システムの動作例を示す説明図（その４）である。
【図１４Ｅ】図１４Ｅは、実施例１におけるリモート画面表示システムの動作例を示す説明図（その５）である。
【図１５】図１５は、実施例１に係るサーバが行う処理手順例を示すフローチャート（その１）である。
【図１６】図１６は、実施例１に係るサーバが行う処理手順例を示すフローチャート（その２）である。
【図１７】図１７は、実施例１に係るクライアント端末装置が行う処理手順例を示すフローチャートである。
【図１８】図１８は、実施例２におけるリモート画面表示システムの動作例を示す説明図である。
【図１９】図１９は、実施例２に係るサーバが行う処理手順例を示すフローチャート（その１）である。
【図２０】図２０は、実施例２に係るサーバが行う処理手順例を示すフローチャート（その２）である。
【図２１】図２１は、実施例２に係るサーバが行う処理手順例を示すフローチャート（その３）である。
【図２２】図２２は、実施例２に係るクライアント端末装置が行う処理手順例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照して、本発明に係るリモート画面表示システム、リモート画面表示方法、およびリモート画面表示プログラムの実施の形態を詳細に説明する。
【００１４】
図１は、リモート画面表示システムの一動作例を示す説明図である。リモート画面表示システム１００は、例えば、サーバ１０１と、クライアント端末装置１０２と、を含む。サーバ１０１と、クライアント端末装置１０２とは、ネットワークを介して接続される。
【００１５】
クライアント端末装置１０２は、サーバ１０１にプログラムを実行させる。プログラムは、例えば、様々なアプリケーションである。
【００１６】
上述したように、従来、デスクトップ仮想化と呼ばれる技術が公知である。デスクトップ仮想化と呼ばれる技術では、サーバ１０１がプログラムやデータを実行および保管し、クライアント端末装置１０２は、リモートデスクトップとしてサーバ１０１から転送された画面の画像を表示する。例えば、リモートデスクトップとして画面の画像を表示する際に、キャプチャ方式と描画コマンド方式と呼ばれる転送技術がある。
【００１７】
キャプチャ方式では、クライアント端末装置１０２が処理結果を表示するために、サーバ１０１が画像を示す画像情報や圧縮した画像情報をクライアント端末装置１０２へ転送する。描画コマンド方式では、サーバ１０１が画像を生成可能な描画命令をクライアント端末装置１０２へ送信する。描画命令はコマンドとも称する。キャプチャ方式と描画コマンド方式については、図３を用いて詳細に説明する。
【００１８】
例えば、デスクトップ仮想化技術において複数人によるコラボレーション作業を行うためには、複数人が同時通話可能な電話機等を用意して、電話をしながら複数人によって同一の画面を操作するため、作業の効率が悪いという問題点がある。
【００１９】
本実施の形態では、サーバ１０１がアプリの実行に応じた表示画面の画像に関連した画像の生成命令を端末に送信し、該端末が受信した該命令の実行により生成した画像を、該画面の画像の上に重ねて表示する。これにより、クライアント端末装置が画面の画像と画面の画像に関連する画像とを共有して、クライアント端末装置の利用者が画面上の作業を効率よく進めることができる。
【００２０】
図１（ａ）に示すように、サーバ１０１は、クライアント端末装置１０２とサーバ１０１間で共有しプログラムの実行に応じた画面の第１画像１２０を含む画像情報１１１を生成する。画像情報１１１は、例えば、第１画像１２０とメタデータなどの情報とを含むパケットである。画像情報１１１の情報形式については、後述する図１２に一例を示す。第１画像１２０の情報形式については、ＢＭＰ（ＢｉｔＭａＰ）、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃｓ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＧＩＦ（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）やＰＮＧ（Ｐｏｒｔａｂｌｅ  Ｎｅｔｗｏｒｋ  Ｇｒａｐｈｉｃｓ）などが挙げられるが、特に限定しない。
【００２１】
そして、図１（ｂ）に示すように、サーバ１０１は、画像情報１１１をクライアント端末装置１０２に送信する。画像情報１１１に含まれる第１画像１２０は、圧縮された情報であってもよい。クライアント端末装置１０２は、画像情報１１１に含まれる第１画像１２０を表示する。
【００２２】
そして、図１（ｄ）に示すように、サーバ１０１は、描画命令１１２を生成する。描画命令１１２は、第２画像１２１を生成することをクライアント端末装置１０２に指示する命令である。描画命令１１２は、例えば、描画対象がラインや図形や文字などのどのような種別であるかを示す情報と、位置、色、線の太さ、フォントなどの情報と、を含む。描画命令１１２を含むパケットの情報形式については、後述する図１３に一例を示す。
【００２３】
第２画像１２１は、クライアント端末装置１０２間で共有し、第１画像１２０に関連する情報を含む画像である。第２画像１２１は、例えば、クライアント端末装置１０２上で表示されている第１画像１２０に対応して利用者がクライアント端末装置１０２を操作した情報を含む画像であってもよい。操作した情報とは、例えば、ラインや図形、文字などの入力情報である。操作した情報を含む画像とは、例えば、操作した情報を表示用の形式に変換した画像である。また、第２画像１２１は、第１画像１２０に対応して利用者が入力したチャットの情報を含む画像であってもよい。チャットの情報とは、例えば、利用者が入力したチャットの文字コードである。チャットの情報を含む画像とは、例えば、チャットの情報を表示用の形式に変換した画像である。
【００２４】
また、第２画像１２１は、例えば、第１画像１２０から得られる文字列に基づき生成した情報を含む画像であってもよい。第１画像１２０から得られる文字列とは、例えば、第１画像１２０からＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｏｒ  Ｒｅｃｏｇｎｉｔｉｏｎ，光学文字認識）によって得られる文字列などが挙げられる。文字列に基づき生成した情報とは、例えば、ＯＣＲによって得られた単語の意味内容である。文字列に基づき生成した情報を含む画像とは、例えば、単語の意味内容を表示用の形式に変換した画像である。また、第２画像１２１は、第１画像１２０に関連する設計に係る画像であってもよい。設計は、例えば、ＣＡＤなどを用いた設計などが挙げられる。設計に係る画像とは、例えば、コンピュータ上に設定されたシミュレーション空間に配置される設計対象となる物品を表示用の形式に変換した画像である。
【００２５】
また、第２画像１２１の情報形式については、ＢＭＰ、ＪＰＥＧ、ＧＩＦやＰＮＧ形式のファイルなどが挙げられるが、特に限定しない。図１（ｅ）に示すように、サーバ１０１は、生成した描画命令１１２をクライアント端末装置１０２に送信する。
【００２６】
図１（ｆ）に示すように、クライアント端末装置１０２の各々は、受信した描画命令１１２の実行により第２画像１２１を生成する。そして、図１（ｇ）に示すように、クライアント端末装置１０２の各々は、受信した画像情報１１１に含まれる第１画像１２０の上に生成した第２画像１２１を重ねた画像１２２を表示する。第１画像１２０の上に第２画像１２１を重ねるとは、例えば、利用者が表示対象であるディスプレイを見た場合に第１画像１２０が第２画像１２１よりも奥となるように各画像の深度が設定されることを示す。
【００２７】
このように、コマンド方式を利用した少ないデータ量によってサーバ１０１およびクライアント端末装置１０２間のやり取りを行うことができる。具体的には、例えば、いずれかのクライアント端末装置１０２において受け付けた操作に応じた第２画像１２１を他のクライアント端末装置１０２に迅速に表示させることができる。これにより、複数人の利用者が画面の画像に関連するコミュニケーションを電話機などの別の装置を介することなくやり取りすることができる。また、少ないデータ量によってサーバ１０１およびクライアント端末装置１０２間のやり取りを行うことができるので、電話機などを併用して当該コミュニケーションを取る場合においても当該コミュニケーションを円滑に行うことができる。したがって、クライアント端末装置１０２の利用者が画面上の作業を効率よく進めることができる。
【００２８】
図２は、リモート画面表示システムの適用例を示す説明図である。ここでのリモート画面表示システム１００は、複数の利用者によってＣＡＤを操作する例である。リモート画面表示システム１００は、例えば、サーバ１０１と、複数のクライアント端末装置１０２と、を有する。サーバ１０１と、複数のクライアント端末装置１０２とは、ネットワークを介して接続される。ネットワークには、有線または無線を問わず、インターネット、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＶＰＮ（Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの任意の種類の通信網を採用可能である。複数のクライアント端末装置１０２は、サーバ１０１によってプログラムを実行する。クライアント端末装置１０２の一例としては、ＰＣなどの固定端末装置の他、携帯電話機、ＰＨＳやＰＤＡなどの移動体端末装置などが挙げられる。複数のクライアント端末装置１０２は、オーナークライアント端末装置１０２−１と、複数のゲストクライアント端末装置１０２−２〜１０２−ｎと、がある。オーナークライアント端末装置１０２−１は、例えば、複数のゲストクライアント端末装置１０２−２〜１０２−ｎに、サーバ１０１が実行するプログラムに関する操作権を渡すことができる。複数のゲストクライアント端末装置１０２−２〜１０２−ｎは、オーナークライアント端末装置１０２−１から操作権を受け取ることによってプログラムの実行に関する操作を行うことができる。
【００２９】
また、プログラムとしては、資料作成やメールなどの業務に関するアプリケーション、ＣＡＤなどのような画像を扱うアプリケーション、動画を扱うアプリケーションなどが挙げられる。図２の例では、プログラムがＣＡＤであり、サーバ１０１と複数のクライアント端末装置１０２とでは、同じＣＡＤの画面を表示する。
【００３０】
また、操作権などの受け渡し方法については、公知であるため、本実施の形態において詳細な説明を省略する。
【００３１】
図３は、ＶＤＩシステムの方式例を示す説明図である。ＶＤＩ（Ｖｉｒｔｕａｌ  Ｄｅｓｋｔｏｐ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ，仮想デスクトップインフラ）システムには、例えば、図３（１）に示す描画コマンド方式と、図３（２）に示すキャプチャ方式とがある。
【００３２】
図３（１）に示すように、描画コマンド方式では、サーバ１０１が、アプリケーションなどのプログラムの実行に応じた画面の画像を生成することを指示するコマンドをクライアント端末装置１０２へ送信する。クライアント端末装置１０２は、受信したコマンドを実行することにより画面の画像を生成する。そして、クライアント端末装置１０２は、生成した画像を表示する。描画コマンド方式は、線画などには向いているが、動画などの場合にはレスポンスが悪くなる場合がある。
【００３３】
図３（２）に示すように、キャプチャ方式では、サーバ１０１が、画面の画像を含む画像情報を生成して複数のクライアント端末装置１０２へ送信する。そして、クライアント端末装置１０２は、受信した画像情報に含まれる画像を表示する。より具体的には、例えば、サーバ１０１は、圧縮した画像を含む画像情報を複数のクライアント端末装置１０２へ送信する。クライアント端末装置１０２は、画像情報に含まれる圧縮された画像を解凍して画像情報に含まれる画像を表示する。
【００３４】
キャプチャ方式では、データ量は大きいが、アプリケーションに依存せずに画面の画像に含まれる画像情報を複数のクライアント端末装置１０２に送信することが可能である。そのため、本実施の形態では、キャプチャ方式を利用することを前提とする。また、送信されるデータ量を低減させるための一例を図４に示す。
【００３５】
図４は、キャプチャ方式のデータ削減例を示す説明図である。サーバ１０１は、画面の差分を一定時間ごとに調査することにより画面中の更新が多い動画領域を推定する。そして、サーバ１０１は、推定された動画領域を部分的に動画にする。つぎに、サーバ１０１は、圧縮された静止画と動画とを含む複数のパケットに変換して複数のクライアント端末装置１０２に送信する。
【００３６】
そして、クライアント端末装置１０２は、圧縮された静止画と動画とを伸張および合成して画面の画像を表示してもよい。このようにして、送信されるデータ量の低減を図ることができる。静止画は、例えば、ＰＮＧ，ＣＡＤ画像圧縮などの形式であり、動画情報は、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）やＨ．２６４の形式である。
【００３７】
図５は、複数の利用者による画面操作例を示す説明図である。キャプチャ方式を利用する場合に、各クライアント端末装置１０２のディスプレイに表示される画像はサーバ１０１が有する画面の画像そのものである。複数の利用者が共同で作業を行うためには、例えば、複数の利用者が同時に通話可能な電話機などを用意して電話機を介して会話をしながら行われる。
【００３８】
そのため、図５に示すように、電話機を介して会話をしながら操作を行う場合、具体的な位置などを指摘しづらいなどの問題点がある。利用者の１人が画面を操作しつつ複数の利用者が円滑なコミュニケーションを図ることが望ましい。上述したように、本実施の形態では、複数の利用者が画面の画像に関連したコミュニケーションを、電話機などを介することなく図ることができる。
【００３９】
（サーバ１０１のハードウェア構成例）
図６は、サーバのハードウェア構成例を示す説明図である。サーバ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）６０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）６０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）６０３と、ディスクドライブ６０４と、ディスク６０５と、Ｉ／Ｆ（Ｉｎｔｅｒ／Ｆａｃｅ）６０６と、を有する。
【００４０】
ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、ディスクドライブ６０４と、Ｉ／Ｆ６０６とは、バス６００によってそれぞれ接続される。
【００４１】
ここで、ＣＰＵ６０１は、サーバ１０１等の全体の制御を司る。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）６０２は、各種プログラムを記憶する。ＲＯＭ６０２に記憶されるプログラムは、ＣＰＵ６０１にロードされることで、コーディングされている処理をＣＰＵ６０１に実行させる。ＲＡＭ６０３はＣＰＵ６０１のワークエリアとして使用される。
【００４２】
Ｉ／Ｆ６０６は、通信回線を通じてネットワーク６０７に接続され、ネットワーク６０７を介して他の装置に接続される。そして、Ｉ／Ｆ６０６は、ネットワーク６０７と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。Ｉ／Ｆ６０６には、例えば、モデムやＬＡＮアダプタなどを採用することができる。
【００４３】
ディスクドライブ６０４は、ＣＰＵ６０１の制御に従ってディスク６０５に対するデータのリード／ライトを制御する。ディスク６０５は、ディスクドライブ６０４の制御で書き込まれたデータを記憶する。ディスク６０５としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
【００４４】
また、サーバ１０１は、上述した構成部のほか、例えば、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、キーボード、マウス、ディスプレイなどを有することにしてもよい。
【００４５】
（クライアント端末装置１０２のハードウェア構成例）
図７は、クライアント端末装置のハードウェア構成例を示す説明図である。クライアント端末装置１０２は、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３と、ディスクドライブ７０４と、ディスク７０５と、を有する。クライアント端末装置１０２は、Ｉ／Ｆ７０６と、キーボード７０７と、マウス７０８と、ディスプレイ７０９と、を有する。また、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３と、ディスクドライブ７０４と、Ｉ／Ｆ７０６と、キーボード７０７と、マウス７０８と、ディスプレイ７０９とは、バス７００によってそれぞれ接続される。
【００４６】
ここで、ＣＰＵ７０１は、クライアント端末装置１０２の全体の制御を司る。ＲＯＭ７０２は、ブートプログラムなどのプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ディスクドライブ７０４は、ＣＰＵ７０１の制御にしたがってディスク７０５に対するデータのリード／ライトを制御する。ディスク７０５は、ディスクドライブ７０４の制御で書き込まれたデータを記憶する。ディスク７０５としては、磁気ディスク、光ディスクなどが挙げられる。
【００４７】
Ｉ／Ｆ７０６は、通信回線を通じてＬＡＮ、ＷＡＮ、インターネットなどのネットワーク６０７に接続され、このネットワーク６０７を介して他の装置に接続される。そして、Ｉ／Ｆ７０６は、ネットワーク６０７と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ７０６には、例えばモデムやＬＡＮアダプタなどを採用することができる。
【００４８】
キーボード７０７やマウス７０８は、利用者の操作により、各種データの入力を行うインターフェースである。ディスプレイ７０９は、ＣＰＵ７０１の指示により、データを出力するインターフェースである。
【００４９】
また、図示を省略するが、クライアント端末装置１０２には、カメラから画像や動画を取り込む入力装置やマイクから音声を取り込む入力装置が設けられていてもよい。また、図示を省略するが、クライアント端末装置１０２には、プリンタなどの出力装置が設けられていてもよい。
【００５０】
（各装置の機能的構成例）
図８は、各装置の機能的構成例を示すブロック図である。サーバ１０１は、受信部８０１と、第１生成部８０２と、第２生成部８０３と、送信部８０４と、辞書ＤＢ８０５と、を有する。受信部８０１から送信部８０４までの制御部の処理は、例えば、図６に示すＣＰＵ６０１がアクセス可能なＲＯＭ６０２、ＲＡＭ６０３、ディスク６０５などの記憶装置に記憶されたプログラムにコーディングされている。そして、ＣＰＵ６０１が記憶装置から該プログラムを読み出して、プログラムにコーディングされている処理を実行する。これにより、制御部の処理が実現される。また、サーバ１０１の各部の処理結果は、例えば、ＲＯＭ６０２、ＲＡＭ６０３、ディスク６０５などの記憶装置に記憶される。
【００５１】
クライアント端末装置１０２は、受信部８１１と、実行部８１２と、判断部８１３と、切替受付部８１４と、伸張部８１５と、表示部８１６と、格納部８１７と、操作受付部８１８と、送信部８１９と、キャッシュメモリ８２０と、を有する。受信部８１１から送信部８１９までの制御部の処理は、例えば、図７に示すＣＰＵ７０１がアクセス可能なＲＯＭ７０２、ＲＡＭ７０３、ディスク７０５などの記憶装置に記憶されたプログラムにコーディングされている。そして、ＣＰＵ７０１が記憶装置から該プログラムを読み出して、プログラムにコーディングされている処理を実行する。これにより、制御部の処理が実現される。また、クライアント端末装置１０２の各部の処理結果は、例えば、ＲＡＭ７０３、ＲＯＭ７０２、ディスク７０５などの記憶装置に記憶される。
【００５２】
図８に示す各部を実施例１と実施例２とを用いて説明する。実施例１では、複数のクライアント端末装置１０２によるコラボレーション作業において、画面に表示されている第１画像１２０に対応して利用者がいずれかのクライアント端末装置１０２を操作した情報を含む第２画像１２１を第１画像１２０の上に重ねて表示する。実施例２では、画面に表示されている第１画像１２０から得られる文字列に関する情報を含む第２画像１２１を第１画像１２０の上に重ねて表示する。
【００５３】
（実施例１）
実施例１では、複数のクライアント端末装置１０２によるコラボレーション作業において、画面に表示されている第１画像１２０に対応して利用者がいずれかのクライアント端末装置１０２を操作した情報を含む第２画像１２１を第１画像１２０の上に重ねて表示する。
【００５４】
図９は、実施例１における簡単な動作例を示す説明図である。サーバ１０１が、デスクトップ用の画面の第１画像１２０が含まれる画像情報１１１をクライアント端末装置１０２の各々に送信する。クライアント端末装置１０２が受信した画像情報１１１に含まれる第１画像１２０を表示する。
【００５５】
また、クライアント端末装置１０２−２が第１画像１２０についてマークの表示指示やチャットなどの文章の表示指示などの操作情報をサーバ１０１に送信する。そして、サーバ１０１が、受信した操作情報が示すクライアント端末装置１０２−２の操作に応じた第２画像１２１を生成可能なコマンドを生成する。サーバ１０１が、生成したコマンドを各クライアント端末装置１０２に送信する。
【００５６】
つぎに、クライアント端末装置１０２の各々は、受信したコマンドを実行して第２画像１２１を生成する。そして、クライアント端末装置１０２の各々は、画像情報１１１に含まれる第１画像１２０の上に生成した第２画像１２１を重ねた画像をディスプレイ７０９に表示する。
【００５７】
切替受付部８１４は、操作レイヤの切り替えを示す情報を受け付ける。操作レイヤには、例えば、仮想レイヤ操作とデスクトップ操作とがある。デスクトップ操作は、サーバ１０１が実行するアプリケーションに関する操作である。仮想レイヤ操作とは、アプリケーションの実行の画面の画像に応じた画像に関する操作である。また、仮想レイヤ操作には、例えば、マーキング入力とチャット入力とがある。マーキング入力とは、図９に示したように矢印などのマークが入力可能な機能である。チャット入力とは、図９に示したように文章などのチャットの文字列が入力可能な機能である。
【００５８】
図１０は、操作レイヤを切り替え可能なショートカットキー例を示す説明図である。表１０００は、クライアント端末装置１０２に各操作を動作させるために押すキーを示す。操作としては、仮想レイヤ操作、デスクトップ操作、マーキング入力、チャット入力などが挙げられる。利用者は、ショートカットキーを入力して操作モードを変更した後に、各種入力が可能となる。
【００５９】
例えば、仮想レイヤ操作の状態に切り替えるためには、利用者が「ＣＴＲＬ」と「ＡＬＴ」と「↑」とを同時に入力する。例えば、利用者がデスクトップ操作の状態に切り替えるためには、「ＣＴＲＬ」と「ＡＬＴ」と「↓」とを同時に入力する。例えば、マーキング入力の状態に切り替えるためには、利用者が「ＣＴＲＬ」と「ＡＬＴ」と「←」とを同時に入力する。例えば、チャット入力の状態に切り替えるためには、利用者が「ＣＴＲＬ」と「ＡＬＴ」と「→」とを同時に入力する。
【００６０】
図８の説明に戻って、切替受付部８１４は、仮想レイヤの表示の有無を示す情報を受け付ける。表示の有無を示す情報を最新の情報としてＲＯＭ７０２、ＲＡＭ７０３、ディスク７０５などの記憶装置に記憶される。表示の有無を示す情報によって後述する判断部８１３が判断を行う。表示の有無を示す情報は、例えば、キーボード７０７やマウス７０８などの各種の入力装置を介して受け付ける。表示の有無を示す情報については、ショートカットキーが割り当てられていてもよいし、入力形式としては特に限定しない。
【００６１】
操作受付部８１８は、キーボード７０７やマウス７０８などの各種の入力装置を介して各種の操作情報を受け付ける。具体的に、操作受付部８１８は、例えば、マウス７０８の左右のクリック、ダブルクリックやドラッグ、マウス７０８の移動操作を介して得られたマウスカーソルの位置や移動量などを操作情報として受け付ける。
【００６２】
送信部８１９は、現在の状態に応じて操作情報を送信する。現在の状態とは、例えば、操作レイヤによって表される。
【００６３】
図１１は、マウス操作またはキーボード操作の操作情報形式例を示す説明図である。操作情報１１００は、例えば、ヘッダ情報と、マウス位置情報と、入力文字列と、を有する。ヘッダ情報は、例えば、デスクトップ操作モードと仮想レイヤモードとのいずれに対する操作であるかを示す情報を有する。ただし、各操作モードが連続する場合には、ヘッダ情報は省略可能である。
【００６４】
マウス位置情報は、例えば、デスクトップ画面上のマウスポインタのｘ軸座標値とｙ軸座標値との情報を有する。また、マウス位置情報は、左右ボタンの押下情報やホイールの操作情報なども有する。マウス位置情報は、実際には暗号化されてある。
【００６５】
入力文字列は、例えば、キーボード７０７によって入力された入力文字列を有する。入力文字列は、「ＣＴＲＬ」や「ＳＨＩＦＴ」などの特殊キーの入力情報も有する。
【００６６】
受信部８０１は、クライアント端末装置１０２からの操作情報を受け付ける。受信された操作情報に含まれるヘッダ情報がデスクトップ操作モードを示す場合、第１生成部８０２は、操作情報が示す操作に応じた画面の第１画像１２０が含まれる画像情報１１１を生成する。送信部８０４は、画像情報１１１をクライアント端末装置１０２に送信する。画像情報１１１は、例えばパケット情報であり、第１画像１２０とヘッダなどのメタデータとを含む。
【００６７】
図１２は、画像情報のパケット形式例を示す説明図である。パケット情報１２００は画像情報１１１の詳細例である。パケット情報１２００は、例えば、ヘッダ情報と、属性情報と、画像情報列と、を有する。ヘッダ情報は、デスクトップ描画モードであることを示す識別情報を有する。ヘッダ情報は、デスクトップ描画モードが連続する場合には省略可能である。
【００６８】
属性情報は、動画、静止画、圧縮方式などの種別である。画像情報列は、圧縮された画像情報列を有する。
【００６９】
また、受信された操作情報に含まれるヘッダ情報が仮想レイヤ描画モードを示す場合、第２生成部８０３は、操作情報が示す操作に応じた第２画像１２１を生成可能な描画命令を生成する。そして、送信部８０４は、例えば、生成した描画命令をクライアント端末装置１０２に送信する。より具体的に、送信部８０４は、例えば、生成した描画命令を含むパケット情報をクライアント端末装置１０２に送信する。
【００７０】
図１３は、描画命令を含むパケット情報のパケット形式例を示す説明図である。パケット情報１３００は、描画命令を含むパケット情報である。パケット情報１３００は、ヘッダ情報と、属性情報と、情報列と、を有する。ヘッダ情報は、仮想レイヤ描画モードであることを示す識別情報を有する。ヘッダ情報は、仮想レイヤ描画モードが連続する場合には省略可能である。
【００７１】
属性情報および情報列が描画命令である。属性情報は、例えば、ライン、図形、文字などの種別を示す識別情報を有する。情報列は、例えば、位置、色、太さ、フォントなどの情報列を有する。情報列の内容は、属性情報に設定された識別情報が示す描画対象に対して設定される内容である。画面に青色のラインを始点（０，０）から終点（１００，１００）に描画させる場合についてのパケット情報例を挙げる。例えば、ヘッダ情報には仮想レイヤ描画モードを示す識別情報を含み、属性情報には「ライン」を示す識別情報を含む。そして、例えば、情報列には、始点（０，０）を示す始点位置情報と、終点（１００，１００）を示す終点位置情報と、「青色」を示す色情報とが含まれる。
【００７２】
つぎに、受信部８１１は、画像情報１１１を受信する。第１画像１２０が圧縮された情報の場合、伸張部８１５は、例えば、画像情報１１１に含まれる第１画像１２０を伸張する。そして、表示部８１６は、伸張部８１５によって伸張された第１画像１２０を表示する。
【００７３】
また、受信部８１１は、描画命令を受信する。実行部８１２は、受信した描画命令を実行することによって第２画像１２１を生成する。
【００７４】
そして、判断部８１３は、切替受付部８１４によって第２画像１２１の表示の有無を示す情報に基づいて表示の有無を判断する。格納部８１７は、第２画像１２１の表示の有無を示す情報が無を示すと判断した場合に、第２画像１２１をキャッシュメモリ８２０に格納する。
【００７５】
第２画像１２１の表示の有無を示す情報が有を示すと判断された場合に、表示部８１６は、第１画像１２０に、第２画像１２１を重ねた画像を表示する。具体的に、表示部８１６は、例えば、利用者がディスプレイ７０９を見た場合に第１画像１２０が第２画像１２１よりも奥となるように各画像の深度を設定して表示する。
【００７６】
また、切替受付部８１４は、第２画像１２１の表示の有無を受け付ける。そして、第１画像１２１の表示の有無が無から有に切り替わった場合に、表示部８１６は、キャッシュメモリ８２０に格納された第２画像１２１を、第１画像１２０の上に重ねた画像を表示する。そして、表示部８１６は、キャッシュメモリ８２０から第２画像１２１を削除する。
【００７７】
図１４Ａ〜図１４Ｅは、実施例１におけるリモート画面表示システムの動作例を示す説明図である。図１４Ａの（ａ）に示すように、クライアント端末装置１０２−１は、星印を中央の位置に書きたいという操作情報をサーバ１０１に送信する。図１４Ａの（ｂ）に示すように、サーバ１０１は、操作情報を受け付けると、星印を中央の位置に書くことを指示するコマンドを生成する。
【００７８】
図１４Ｂの（ｃ）に示すように、サーバ１０１は、生成したコマンドを各クライアント端末装置１０２に送信する。図１４Ｂの（ｄ）に示すように、クライアント端末装置１０２の各々は、コマンドを各実行して第２画像１２１を生成する。
【００７９】
図１４Ｂの（ｅ）に示すように、クライアント端末装置１０２−１とクライアント端末装置１０２−２は、仮想レイヤ機能がオン状態であるため、生成した第２画像１２１を、第１画像１２０の上に重ねた画像を表示する。一方、図１４Ｂの（ｆ）に示すように、クライアント端末装置１０２−３は、仮想レイヤ機能がオフ状態であるため、生成した第２画像１２１をキャッシュメモリ８２０に格納する。
【００８０】
また、図１４Ｃの（ｇ）に示すように、クライアント端末装置１０２−３は、仮想レイヤ機能をオフ状態からオン状態に切り替えることを受け付ける。そして、図１４Ｃの（ｈ）に示すように、クライアント端末装置１０２−３は、キャッシュメモリ８２０に格納された第２画像１２１を、第１画像１２０の上に重ねた画像を表示する。そして、図１４Ｃの（ｉ）に示すように、クライアント端末装置１０２−３は、キャッシュメモリ８２０をクリアする。
【００８１】
図１４Ｄの（ｊ）に示すように、クライアント端末装置１０２−２は、操作権を有するため、十字の位置を移動するという画面の操作情報を送信する。
【００８２】
図１４Ｅの（ｋ）に示すように、サーバ１０１は、受信した画面の操作情報に基づき画面の第１画像１２０を含む画像情報１１１を生成する。そして、図１４Ｅの（ｌ）に示すように、サーバ１０１は、画像情報１１１を各クライアント端末装置１０２に送信する。つぎに、図１４Ｅの（ｍ）に示すように、クライアント端末装置１０２は、受信した画像情報１１１を表示する。
【００８３】
また、図１４Ｅの例では、クライアント端末装置１０２の各々は、以前に受信したコマンドの実行結果である第２画像１２１を記憶していないため、最新の第２画像１２１を重ねずに、第１画像１２０を表示する。また、最新の第２画像１２１を重ねるために、サーバ１０１は、生成したコマンドを記憶しておき、新たな第１画像１２０を送信した後に、最新のコマンドをクライアント端末装置１０２に送信してもよい。
【００８４】
（実施例１に係るサーバ１０１が行う処理手順例）
図１５および図１６は、実施例１に係るサーバが行う処理手順例を示すフローチャートである。ここでは、サーバ１０１では、ＯＳが何れかのアプリケーションなどのプログラムを実行中である。図１５を用いてサーバ１０１が第１画像１２０を送信する処理手順例について説明する。そして、図１６を用いてサーバ１０１が第２画像１２１を生成するためのコマンドを送信する処理手順例について説明する。
【００８５】
まず、サーバ１０１は、所定時間経過したか否かを判断する（ステップＳ１５０１）。所定時間経過していないと判断された場合（ステップＳ１５０１：Ｎｏ）、サーバ１０１は、ステップＳ１５０１へ戻る。所定時間経過したと判断された場合（ステップＳ１５０１：Ｙｅｓ）、サーバ１０１は、画面をキャプチャする（ステップＳ１５０２）。キャプチャとは表示用の信号を画像の情報として記録することである。
【００８６】
サーバ１０１は、現在キャプチャした画面と前回キャプチャした画面との差分を抽出する（ステップＳ１５０３）。そして、サーバ１０１は、差分に基づいて動画と静止画とを分離する（ステップＳ１５０４）。サーバ１０１は、動画および静止画を圧縮した圧縮情報を生成する（ステップＳ１５０５）。サーバ１０１は、圧縮情報を送信し（ステップＳ１５０６）、一連の処理を終了する。ここで、ステップＳ１５０６においてサーバ１０１は、具体的には、圧縮情報を含むパケット情報を送信する。
【００８７】
図１６の説明に移って、サーバ１０１は、パケットを受信する（ステップＳ１６０１）。そして、サーバ１０１は、仮想レイヤ指示であるか否かを判断する（ステップＳ１６０２）。仮想レイヤ指示であると判断された場合（ステップＳ１６０２：Ｙｅｓ）、サーバ１０１は、パケットに含まれる操作情報に基づきコマンドを生成する（ステップＳ１６０３）。そして、サーバ１０１は、生成したコマンドをメモリに格納する（ステップＳ１６０４）。メモリは、例えば、ＲＡＭ６０３、ディスク６０５などである。
【００８８】
サーバ１０１は、生成したコマンドを各クライアント端末装置１０２に送信し（ステップＳ１６０５）、一連の処理を終了する。ここで、サーバ１０１は、コマンドを生成する際に、メモリに格納されたコマンドも含めて新たなコマンドを生成してもよい。また、サーバ１０１は、メモリに格納されたコマンドを利用者の指示に応じて削除してもよいし、特定の時間単位で削除してもよい。
【００８９】
一方、ステップＳ１６０２において、仮想レイヤ指示でないと判断された場合（ステップＳ１６０２：Ｎｏ）、サーバ１０１は、パケットに含まれる操作情報をＯＳに送付し（ステップＳ１６０６）、一連の処理を終了する。
【００９０】
（実施例１に係るクライアント端末装置１０２が行う処理手順例）
図１７は、実施例１に係るクライアント端末装置が行う処理手順例を示すフローチャートである。まず、クライアント端末装置１０２は、操作情報を受け付ける（ステップＳ１７０１）。そして、クライアント端末装置１０２は、マウス７０８やキーボード７０７などの入力装置からの操作情報は操作レイヤの切替を示す情報か否かを判断する（ステップＳ１７０２）。
【００９１】
操作情報が操作レイヤの切替を示す情報でないと判断された場合（ステップＳ１７０２：Ｎｏ）、クライアント端末装置１０２は、操作情報が仮想レイヤの表示の有無を示す情報であるか否かを判断する（ステップＳ１７０３）。
【００９２】
仮想レイヤの表示の有無を示す情報でないと判断された場合（ステップＳ１７０３：Ｎｏ）、クライアント端末装置１０２は、一連の処理を終了する。操作情報が仮想レイヤの表示の有無を示す情報であると判断された場合（ステップＳ１７０３：Ｙｅｓ）、クライアント端末装置１０２は、仮想レイヤの表示の有無を示す情報が無から有を示すように切り替わったか否かを判断する（ステップＳ１７０４）。ここで、ステップＳ１７０３のＹｅｓの場合には、仮想レイヤの表示の有無を示す情報は最新の情報として記憶装置に記憶される。
【００９３】
無から有を示すように切り替わっていないと判断された場合（ステップＳ１７０４：Ｎｏ）、クライアント端末装置１０２は、一連の処理を終了する。一方、無から有を示すように切り替わったと判断された場合（ステップＳ１７０４：Ｙｅｓ）、クライアント端末装置１０２は、キャッシュメモリ８２０から第２画像１２１を読み出してキャッシュメモリ８２０から第２画像１２１を削除し（ステップＳ１７０５）、ステップＳ１７１４へ移行する。
【００９４】
また、ステップＳ１７０２において、操作情報が操作レイヤの切替を示す情報であると判断された場合（ステップＳ１７０２：Ｙｅｓ）、クライアント端末装置１０２は、切替後の操作レイヤに応じたパケットを生成して送信し（ステップＳ１７０６）、一連の処理を終了する。
【００９５】
また、クライアント端末装置１０２は、パケットを受信する（ステップＳ１７０７）。そして、クライアント端末装置１０２は、受信したパケットに含まれる情報が第１画像１２０の圧縮情報であるか否かを判断する（ステップＳ１７０８）。圧縮情報であると判断された場合（ステップＳ１７０８：Ｙｅｓ）、クライアント端末装置１０２は、伸張して第１画像１２０を生成し（ステップＳ１７０９）、ステップＳ１７１４へ移行する。
【００９６】
ステップＳ１７０８において、圧縮情報でないと判断された場合（ステップＳ１７０８：Ｎｏ）、クライアント端末装置１０２は、仮想レイヤのコマンドか否かを判断する（ステップＳ１７１０）。仮想レイヤのコマンドでないと判断された場合（ステップＳ１７１０：Ｎｏ）、クライアント端末装置１０２は、一連の処理を終了する。
【００９７】
一方、仮想レイヤのコマンドであると判断された場合（ステップＳ１７１０：Ｙｅｓ）、クライアント端末装置１０２は、コマンドを実行して第２画像１２１を生成する（ステップＳ１７１１）。そして、クライアント端末装置１０２は、最後に受け付けた仮想レイヤの表示の有無を示す情報が表示の有を示すか否かを判断する（ステップＳ１７１２）。
【００９８】
表示の有を示すと判断された場合（ステップＳ１７１２：Ｙｅｓ）、クライアント端末装置１０２は、第２画像１２１を第１画像１２０の上に重ねた画像を表示する（ステップＳ１７１４）。表示の有を示さないと判断された場合（ステップＳ１７１２：Ｎｏ）、クライアント端末装置１０２は、第２画像１２１をキャッシュメモリ８２０に格納し（ステップＳ１７１３）、一連の処理を終了する。
【００９９】
（実施例２）
実施例２では、画面の第１画像１２０から得られる文字列に基づき生成した情報を含む第２画像１２１を画面の第１画像１２０に重ねて表示する。これにより、利用者が効率よく画面の操作を行うことができる。また、実施例２では、実施例１と同様の動作や情報についての詳細な説明を省略する。
【０１００】
第１生成部８０２は、アプリケーションの実行によって得られる画面をキャプチャする。そして、第１生成部８０２は、第１生成部８０２によってキャプチャされた画面の第１画像１２０を含む画像情報１１１を生成して圧縮する。また、第１生成部８０２は、図４に示したような従来技術のように静止画と動画とに分離してもよい。送信部８０４は、第１画像１２０を含む画像情報１１１を送信する。
【０１０１】
第２生成部８０３は、画面の第１画像１２０から得られる文字列に基づき生成した情報を含む第２画像１２１を生成することを指示する描画命令を生成する。具体的に、第２生成部８０３は、例えば、第１生成部８０２によってキャプチャされた画面の第１画像１２０からＯＣＲによって文字を認識する。第２生成部８０３は、認識した複数の文字の各々について辞書ＤＢ８０５に基づいて単語を照合する。そして、第２生成部８０３は、認識した複数の文字のうち辞書ＤＢ８０５に登録されてある文字に対応する内容に応じた画像を示す画像情報を生成可能なコマンドを生成する。辞書ＤＢ８０５は、ＲＯＭ７０２やＲＡＭ７０３などによって実現される。辞書ＤＢ８０５は、例えば、英単語ごとに英単語に対応する日本語の単語などが登録されてある。または、辞書ＤＢ８０５は、例えば、単語ごとに単語の意味を示す文章が登録されてある。または、辞書ＤＢ８０５は、例えば、漢字の単語ごとに単語のふりがなを示す単語が登録されてある。
【０１０２】
図１８は、実施例２におけるリモート画面表示システムの動作例を示す説明図である。図１８（ａ）に示すように、サーバ１０１は、画面のキャプチャを行う。図１８（ｂ）に示すように、サーバ１０１は、画面の第１画像１２０からＯＣＲによって文字を認識する。そして、サーバ１０１は、認識した文字を翻訳する。翻訳方法は、上述したように辞書ＤＢ８０５に基づき翻訳してもよいし、既存の翻訳アプリケーションを利用して翻訳してもよい。サーバ１０１は、翻訳した文字列を含む第２画像１２１を生成可能なコマンドを生成する。翻訳した文字列を含む第２画像１２１は、例えば、吹き出しに文字列が含まれ、認識した文字の上に吹き出しが位置するような情報を表示用の形式に変換した画像であってもよいし、特に限定しない。図１８（ｃ）に示すように、サーバ１０１は、生成したコマンドを送信する。
【０１０３】
図１８（ｄ）に示すように、サーバ１０１は、コマンドを実行して第２画像１２１を生成する。そして、サーバ１０１は、第２画像１２１を第１画像１２０の上に重ねた画像を表示する。
【０１０４】
（実施例２に係るサーバ１０１が行う処理手順例）
図１９〜図２１は、実施例２に係るサーバが行う処理手順例を示すフローチャートである。ここでは、第２画像１２１を生成可能なコマンドを送信した後に第１画像１２０を送信しているが、これに限らず、第１画像１２０を送信した後に第２画像１２１を生成可能なコマンドを送信してもよい。
【０１０５】
まず、サーバ１０１は、パケットを受信する（ステップＳ１９０１）。そして、サーバ１０１は、受信したパケットに含まれる操作情報をＯＳに送付し（ステップＳ１９０２）、一連の処理を終了する。
【０１０６】
つぎに、図２０の説明に移って、サーバ１０１は、所定時間経過したか否かを判断する（ステップＳ２００１）。経過していないと判断された場合（ステップＳ２００１：Ｎｏ）、サーバ１０１は、ステップＳ２００１へ戻る。経過したと判断された場合（ステップＳ２００１：Ｙｅｓ）、サーバ１０１は、画面をキャプチャする（ステップＳ２００２）。
【０１０７】
つぎに、サーバ１０１は、ＯＣＲを行う（ステップＳ２００３）。サーバ１０１は、認識した文字のうち未選択な文字があるか否かを判断する（ステップＳ２００４）。未選択な文字があると判断された場合（ステップＳ２００４：Ｙｅｓ）、サーバ１０１は、未選択な文字のいずれかを選択する（ステップＳ２００５）。サーバ１０１は、選択した文字について単語を照合する（ステップＳ２００６）。
【０１０８】
サーバ１０１は、照合した単語が表示対象であるか否かを判断する（ステップＳ２００７）。照合した単語が表示対象であると判断された場合（ステップＳ２００７：Ｙｅｓ）、サーバ１０１は、第２画像１２１を生成可能なコマンドを生成する（ステップＳ２００８）。サーバ１０１は、生成したコマンドを送信し（ステップＳ２００９）、ステップＳ２００４へ戻る。一方、ステップＳ２００７において、照合した単語が表示対象でないと判断された場合（ステップＳ２００７：Ｎｏ）、サーバ１０１は、ステップＳ２００４へ戻る。
【０１０９】
ステップＳ２００４において、認識した文字のうち未選択な文字がないと判断された場合（ステップＳ２００４：Ｎｏ）、サーバ１０１は、差分を抽出する（ステップＳ２１０１）。サーバ１０１は、動画・静止画を分離する（ステップＳ２１０２）。サーバ１０１は、動画および静止画を圧縮した圧縮情報を生成する（ステップＳ２１０３）。そして、サーバ１０１は、圧縮情報を送信し（ステップＳ２１０４）、一連の処理を終了する。
【０１１０】
（実施例２に係るクライアント端末装置１０２が行う処理手順例）
図２２は、実施例２に係るクライアント端末装置が行う処理手順例を示すフローチャートである。まず、クライアント端末装置１０２は、操作情報を受け付ける（ステップＳ２２０１）。そして、クライアント端末装置１０２は、操作情報が仮想レイヤの表示の有無を示す情報であるか否かを判断する（ステップＳ２２０２）。
【０１１１】
仮想レイヤの表示の有無を示す情報でないと判断された場合（ステップＳ２２０２：Ｎｏ）、クライアント端末装置１０２は、操作レイヤに応じたパケットであり、操作情報を含むパケットを生成して送信し（ステップＳ２２０５）、一連の処理を終了する。操作情報が仮想レイヤの表示の有無を示す情報であると判断された場合（ステップＳ２２０２：Ｙｅｓ）、クライアント端末装置１０２は、仮想レイヤの表示の有無を示す情報が無から有を示すように切り替わったか否かを判断する（ステップＳ２２０３）。ここで、ステップＳ２２０２のＹｅｓの場合には、仮想レイヤの表示の有無を示す情報は最新の情報として記憶装置に記憶される。
【０１１２】
無から有を示すように切り替わっていないと判断された場合（ステップＳ２２０３：Ｎｏ）、クライアント端末装置１０２は、一連の処理を終了する。一方、無から有を示すように切り替わったと判断された場合（ステップＳ２２０３：Ｙｅｓ）、クライアント端末装置１０２は、キャッシュメモリ８２０から第２画像１２１を読み出してキャッシュメモリ８２０から第２画像１２１を削除し（ステップＳ２２０４）、ステップＳ２２１３へ移行する。
【０１１３】
また、クライアント端末装置１０２は、パケットを受信する（ステップＳ２２０６）。そして、クライアント端末装置１０２は、受信したパケットに含まれる情報が第１画像１２０の圧縮情報であるか否かを判断する（ステップＳ２２０７）。圧縮情報であると判断された場合（ステップＳ２２０７：Ｙｅｓ）、クライアント端末装置１０２は、伸張して第１画像１２０を生成し（ステップＳ２２０８）、ステップＳ２２１３へ移行する。
【０１１４】
ステップＳ２２０７において、圧縮情報でないと判断された場合（ステップＳ２２０７：Ｎｏ）、クライアント端末装置１０２は、仮想レイヤのコマンドか否かを判断する（ステップＳ２２０９）。仮想レイヤのコマンドでないと判断された場合（ステップＳ２２０９：Ｎｏ）、クライアント端末装置１０２は、一連の処理を終了する。
【０１１５】
一方、仮想レイヤのコマンドであると判断された場合（ステップＳ２２０９：Ｙｅｓ）、クライアント端末装置１０２は、コマンドを実行して第２画像１２１を生成する（ステップＳ２２１０）。そして、クライアント端末装置１０２は、最後に受け付けた仮想レイヤの表示の有無を示す情報が表示の有を示すか否かを判断する（ステップＳ２２１１）。
【０１１６】
表示の有を示すと判断された場合（ステップＳ２２１１：Ｙｅｓ）、クライアント端末装置１０２は、第２画像１２１を第１画像１２０の上に重ねた画像を表示する（ステップＳ２２１３）。表示の有を示さないと判断された場合（ステップＳ２２１１：Ｎｏ）、クライアント端末装置１０２は、第２画像１２１をキャッシュメモリ８２０に格納し（ステップＳ２２１２）、一連の処理を終了する。
【０１１７】
以上説明したように、サーバ１０１は、アプリの実行に応じた表示画面の第１画像１２０に関連した第２画像１２１の生成命令をクライアント端末装置１０２に送信する。そして、クライアント端末装置１００は、受信した該命令の実行により生成した第２画像１２１を、該第１画像１２０の上に重ねて表示する。例えば、いずれかのクライアント端末装置１０２において受け付けた操作に応じた第２画像１２１を他のクライアント端末装置１０２に迅速に表示させることができる。これにより、複数人の利用者が画面の画像に関連するコミュニケーションを電話機などの別の装置を介することなくやり取りすることができる。また、少ないデータ量によってサーバ１０１およびクライアント端末装置１０２間のやり取りを行うことができるので、電話機などを併用して当該コミュニケーションを取る場合においても当該コミュニケーションを円滑に行うことができる。したがって、クライアント端末装置の利用者が画面上の作業を効率よく進めることができる。
【０１１８】
また、クライアント端末装置１０２は、表示画面の画像に関連した画像の表示の有無を切り替え可能とする。例えば、利用者が大勢いる場合に、利用者の各々の要望に応じて当該表示画面の画像に関連した画像を表示するか否かを切り替えることができるため、利便性の向上を図ることができる。
【０１１９】
また、クライアント端末装置１０２は、表示画面の第１画像１２０に関連した第２画像１２１の表示の有無を示す情報が無を示す場合に、第２画像１２１をキャッシュメモリ８２０に記憶しておく。そして、クライアント端末装置１０２は、表示の有無を示すが無から有に切り替えられた場合に、キャッシュメモリ８２０に記憶された第２画像１２１を第１画像１２０の上に重ねて表示する。これにより、表示の有無を容易に切り替えることができ、最新の第２画像１２１を見ることができるため、利便性の向上を図ることができる。
【０１２０】
また、第２画像１２１は、クライアント端末装置１０２のうちのいずれかのクライアント端末装置１０２での操作に応じた画像である。いずれかのクライアント端末装置１０２での操作とは、例えば、第１画像１２０に対応して利用者がクライアント端末装置１０２を操作することを示す。操作に応じた画像とは、操作した情報を含む画像である。操作した情報とは、例えば、ラインや図形、文字などの入力情報である。操作した情報を含む画像とは、例えば、操作した情報を表示用の形式に変換した画像である。これにより、複数の利用者によるコラボレーション作業の効率化を図ることができる。
【０１２１】
また、第２画像１２１は、第１画像１２０に関連する設計に係る画像である。設計は、例えば、ＣＡＤなどを用いた設計などが挙げられる。設計に係る画像とは、例えば、コンピュータ上に設定されたシミュレーション空間に配置される設計対象となる物品を表示用の形式に変換した画像である。これにより、設計作業の効率化を図ることができる。
【０１２２】
また、クライアント端末装置１０２は、描画命令を生成する際に、画面の第１画像１２０から得られる文字列に基づき生成した情報を含む第２画像１２１を生成することを指示する描画命令を生成する。画面の第１画像１２０から得られる文字列に基づき生成した情報とは、例えば、画面の第１画像１２０から得られる文字列を翻訳した文章であったり、詳細な単語の意味であってもよい。これにより、表示中のアプリの実行結果に対して容易に情報を付加することができ、利便性の向上を図ることができる。
【０１２３】
なお、本実施の形態で説明したリモート画面表示方法は、予め用意されたリモート画面表示プログラムをサーバ１０１やクライアント端末装置１０２などのコンピュータで実行することにより実現することができる。本リモート画面表示プログラムは、磁気ディスク、光ディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）フラッシュメモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、リモート画面表示プログラムは、インターネット等のネットワークを介して配布してもよい。
【符号の説明】
【０１２４】
１００  リモート画面表示システム
１０１  サーバ
１０２  クライアント端末装置
１１１  画像情報
１１２  描画命令
１２０  第１画像
１２１  第２画像
１２２  画像
８０１，８１１  受信部
８０２  第１生成部
８０３  第２生成部
８０４，８１９  送信部
８１２  実行部
８１３  判断部
８１４  切替受付部
８１５  伸張部
８１６  表示部
８１７  格納部
８１８  操作受付部
【図１】
2016224766.tif 000003
【図２】
2016224766.tif 000004
【図３】
2016224766.tif 000005
【図４】
2016224766.tif 000006
【図５】
2016224766.tif 000007
【図６】
2016224766.tif 000008
【図７】
2016224766.tif 000009
【図８】
2016224766.tif 000010
【図９】
2016224766.tif 000011
【図１０】
2016224766.tif 000012
【図１１】
2016224766.tif 000013
【図１２】
2016224766.tif 000014
【図１３】
2016224766.tif 000015
【図１４Ａ】
2016224766.tif 000016
【図１４Ｂ】
2016224766.tif 000017
【図１４Ｃ】
2016224766.tif 000018
【図１４Ｄ】
2016224766.tif 000019
【図１４Ｅ】
2016224766.tif 000020
【図１５】
2016224766.tif 000021
【図１６】
2016224766.tif 000022
【図１７】
2016224766.tif 000023
【図１８】
2016224766.tif 000024
【図１９】
2016224766.tif 000025
【図２０】
2016224766.tif 000026
【図２１】
2016224766.tif 000027
【図２２】
2016224766.tif 000028