(57)【要約】      （修正有）【課題】複数の装置間で表示画面を共有する際、画面サイズが小さい装置における表示画面の視認性を向上させる。【解決手段】情報処理装置４１は、複数の表示要素を含む表示画面のデータを他の通信装置から受信する通信手段３１０と、通信手段が受信したデータに係る複数の表示要素をユーザの指示に応じて切り替え可能に表示手段に表示させる表示制御手段３０３と、通信手段が新たな表示要素のデータを受信したことに応じてその旨をユーザに通知する通知手段３１２とを備える。【選択図】図３
2017033291.tif 000002
【特許請求の範囲】
【請求項１】
複数の表示要素を含む表示画面のデータを他の通信装置から受信する通信手段と、
前記通信手段が受信したデータに係る前記複数の表示要素をユーザの指示に応じて切り替え可能に表示手段に表示させる表示制御手段と、
前記通信手段が新たな表示要素のデータを受信したことに応じて、その旨をユーザに通知する通知手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記通知手段は、前記通信手段が前記新たな表示要素としてウィンドウ画面を受信したことに応じて、その旨をユーザに通知することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記通知手段は、新たな表示要素を受信したことを、その旨を前記表示手段に表示させることにより、ユーザに通知することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記複数の表示要素のいずれかを選択するための画像を選択可能に表示することにより、前記表示手段に表示させる表示要素を切り替え可能とし、
前記通知手段は、新たな表示要素を受信したことに応じて、当該新たな表示要素を選択するための画像を選択可能に前記表示手段に表示させることにより、ユーザに通知する
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記通知手段は、前記新たな表示要素を選択するための画像を前記表示手段に強調表示させることにより、ユーザに通知することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記通信手段は、
前記他の通信装置との間で確立されたコネクションにおいて前記複数の表示要素ごとに論理的な通信路を確立し、
前記複数の表示要素ごとに、対応する前記通信路により当該表示要素のデータを受信する
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記通知手段は、前記通信手段が、前記他の通信装置からのプッシュ通信により新たな表示要素のデータを受信したことに応じて、その旨をユーザに通知することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記通信手段は、前記表示手段に表示されている表示要素のデータストリームを対応する前記通信路により受信し、
前記表示制御手段は、前記通信手段が受信した前記データストリームに応じて、前記表示手段に表示されている表示要素の表示内容を更新する
ことを特徴とする請求項６又は７に記載の情報処理装置。
【請求項９】
前記表示手段に表示させる表示要素を切り替える指示がなされたことに応じて、前記表示手段に表示されている表示要素のデータストリームの受信を継続するか否かを判断する判断手段をさらに備え、
前記通信手段は、前記判断手段が受信を継続すると判断した場合は、表示が切り換えられる前に表示されていた表示要素のデータストリームを受信しながら、表示が切り替えられた後に表示される表示要素のデータストリームを受信する
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記判断手段は、前記表示手段に表示されている表示要素の種別に基づいて、当該表示要素のデータストリームの受信を継続するか否かを判断することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記通信手段は、前記判断手段が受信を継続すると判断した場合は、表示が切り換えられる前に表示されていた表示要素のデータストリームの受信を行わずに、表示が切り替えられた後に表示される表示要素のデータストリームを受信することを特徴とする請求項９又は１０に記載の情報処理装置。
【請求項１２】
前記表示制御手段は、ユーザの指示に応じて、前記複数の表示要素を含む表示画面を前記表示手段に表示させることを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
【請求項１３】
通信手段が、複数の表示要素を含む表示画面のデータを他の通信装置から受信する通信工程と、
表示制御手段が、前記通信手段が受信したデータに係る前記複数の表示要素をユーザの指示に応じて切り替え可能に表示手段に表示させる表示制御工程と、
通知手段が、前記通信手段が新たな表示要素のデータを受信したことに応じて、その旨をユーザに通知する通知工程と
を備えることを特徴とする情報処理装置の制御方法。
【請求項１４】
操作者の操作の入力に基づいて、複数の表示要素を含む表示画面のデータを生成する入力装置と、
前記入力装置が生成した表示画面のデータを情報処理装置へ中継する中継装置と、
前記中継装置により中継された表示画面のデータを表示する情報処理装置と
を備えた情報処理システムであって、
前記情報処理装置は、
前記表示画面のデータを前記中継装置から受信する通信手段と、
前記通信手段が受信したデータに係る前記複数の表示要素をユーザの指示に応じて切り替え可能に表示手段に表示させる表示制御手段と、
前記通信手段が新たな表示要素のデータを受信したことに応じて、その旨をユーザに通知する通知手段と
を備えることを特徴とする情報処理システム。
【請求項１５】
コンピュータを請求項１から１２のいずれか１項に記載の情報処理装置が備える各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置及びその制御方法、情報処理システム、コンピュータプログラムに関し、特に、複数の装置間で表示画面を共有するための技術に関する。
【背景技術】
【０００２】
例えば遠隔拠点間において、中継装置を介してウィンドウ画面を配信し、遠隔の複数の表示装置で同期して表示する遠隔会議システムが普及している。このシステムでは、ある拠点の画面作成装置、または画面管理サーバ上で作成されたウィンドウ画面データを、中継装置を介して他の拠点の表示装置に配信することで、遠隔拠点間でウィンドウ画面を共有して同期表示することができる。
【０００３】
このようなシステムではネットワーク経由でウィンドウ画面データを通信するため、操作対象となっている表示エリアの解像度を変換して送信し、画面データの転送容量を小さくすることが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１７４８４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
スマートフォンのような、解像度が低くて、画面サイズが小さい通信装置との間でウィンドウ画面を共有して同期表示する場合を考える。この場合、通信装置はウィンドウ画面全体を表示すると、ウィンドウ画面全体が小さく表示されてしまうため、通信装置のユーザにとって視認性が低下する、という課題があった。
【０００６】
本発明は上記課題に鑑み、複数の装置間で表示画面を共有する際、画面サイズが小さい装置における表示画面の視認性を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による情報処理装置は以下の構成を備える。即ち、
複数の表示要素を含む表示画面のデータを他の通信装置から受信する通信手段と、
前記通信手段が受信したデータに係る前記複数の表示要素をユーザの指示に応じて切り替え可能に表示手段に表示させる表示制御手段と、
前記通信手段が新たな表示要素のデータを受信したことに応じて、その旨をユーザに通知する通知手段と
を備える。
【発明の効果】
【０００８】
本発明によれば、複数の装置間で表示画面を共有する際、画面サイズが小さい装置において表示画面の視認性を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】遠隔会議システムの構成例を示す図
【図２】モバイル装置のハードウェア構成例を示す図
【図３】モバイル装置の機能モジュール構成例を示すブロック図
【図４】表示装置に表示される全ウィンドウ画面の例を示す図
【図５】モバイル装置に表示されるウィンドウ画面の例を示す図
【図６】全ウィンドウ画面データ情報のデータ構成例を示すブロック図
【図７】ウィンドウ画面を表示する際のメッセージ例を示すシーケンス図
【図８】ウィンドウ画面を更新する際のメッセージ例を示すシーケンス図
【図９】ウィンドウ画面を切り替える際のメッセージ例を示すシーケンス図
【図１０】ウィンドウ画面の表示時の動作手順を示すフローチャート
【図１１】ウィンドウ画面の更新時の動作手順を示すフローチャート
【図１２】ウィンドウ画面の切り替え時の動作手順を示すフローチャート
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１１】
＜第１実施形態＞
●システム構成
図１は、本実施形態に係る情報処理システムとしての遠隔会議システムの構成例を示す図である。遠隔会議システムは、拠点２０、拠点３０、拠点４０がネットワーク１０に接続して構成され、中継装置１１を介して、拠点間で全ウィンドウ画面の表示画面全体をリアルタイムに同期して表示することができる。本実施形態では、３拠点間の遠隔会議システムにおいて、拠点２０にて作成された全ウィンドウ画面データを、拠点３０、及び拠点４０へ送信し、拠点３０、及び拠点４０において全ウィンドウ画面をリアルタイムに同期して表示する。本実施形態では、拠点２０において全ウィンドウ画面データを作成する例を説明するが、これに限らない。例えば、全ウィンドウ画面データをネットワーク１０上にある画面管理サーバ（不図示）で作成し、拠点２０、拠点３０、及び拠点４０へ送信し、各拠点において全ウィンドウ画面をリアルタイムに同期して表示してもよい。
【００１２】
拠点２０では、画面管理装置２２、入力装置２３、人物撮影装置２４が設置されており、これらの装置の操作者である人物２５が会議に参加している。拠点３０では、表示装置３１が設置されており、人物（不図示）が会議に参加している。拠点４０では、本実施形態に係る情報処理装置としてのモバイル装置４１が設置されており、人物（不図示）が会議に参加している。なお、拠点２０、拠点３０には、音声マイク、スピーカ、ＰＣ（パーソナルコンピュータ）、スマートフォンやタブレット等も設置し、拠点間で音声、データ共有を行ってもよい。
【００１３】
画面管理装置２２は、全ウィンドウ画面を描画するために必要な全ウィンドウ画面データを作成し、中継装置１１へ送信する。全ウィンドウ画面データは、全ウィンドウ画面中の各ウィンドウ画面のデータ、操作データ、及び人物映像データ、を含む。詳細は図６を参照して後述する。本実施形態において、全ウィンドウ画面データは、上述した種別のデータを挙げたが、これに限らず、ウィンドウ画面に関するイベントデータ、画面制御データ、音声データ、ファイルデータ、ドキュメントデータ、などの他の表示要素のデータでもよい。さらに、画面管理装置２２は、全ウィンドウ画面データに関する全ウィンドウ画面データ情報を中継装置１１へ送信する。また、画面管理装置２２は表示機能を備え、人物２５に向けて作成した全ウィンドウ画面を表示する。
【００１４】
画面管理装置２２は、入力装置２３から入力された操作データを受信し、操作データに基づいて、ウィンドウ画面上のウィンドウの開閉、移動、大きさの変更を行う。また、画面管理装置２２は、操作データに基づいて、ウィンドウ画面中に操作軌跡を表示する。画面管理装置２２の具体例としては、ＰＣ、ノートＰＣ、サーバ、などである。
【００１５】
入力装置２３は、人物２５から、ウィンドウ画面を操作するための操作データを受け付け、画面管理装置２２へ送信する。入力装置２３の具体例としては、ポインティングデバイス、キーボード、タッチパネル、デジタイザ、などである。なお、入力装置２３と画面管理装置２２との接続は、ＵＳＢ（Universal Serial Bus）やＬＡＮ（Local Area Network）などの方式を用いて実施可能である。
【００１６】
人物撮影装置２４は、画面管理装置２２や入力装置２３の付近、及び拠点２０の中を撮影しており、撮影された映像の中から人物２５を切りぬいた人物映像データを、画面管理装置２２が生成した全ウィンドウ画面データの一部として、中継装置１１へ送信する。人物撮影装置２４の具体例としては、デジタルカメラ、デジタルビデオカメラ、ネットワークカメラ、などである。
【００１７】
中継装置１１は、画面管理装置２２から全ウィンドウ画面データ、及び全ウィンドウ画面データ情報を受信する。そして、中継装置１１は、受信した全ウィンドウ画面データ、全ウィンドウ画面データ情報を表示装置３１、及びモバイル装置４１へ転送する。
【００１８】
表示装置３１は、中継装置１１から全ウィンドウ画面データを受信し、画面管理装置２２で生成された全ウィンドウ画面を表示し、操作データに基づいてウィンドウ画面中に操作軌跡を表示する。本実施形態において、表示装置３１は、画面管理装置２２が作成した全ウィンドウ画面の解像度を表示可能な能力を備えているとする。それゆえ、表示装置３１と、画面管理装置２２は、同じ全ウィンドウ画面をリアルタイムに同期して表示する。表示装置３１の具体例は、ＰＣ、ノートＰＣ、サーバ、ＴＶ、モニタ、プロジェクタ、などである。なお、表示装置３１に表示される全ウィンドウ画面の例は図４を参照して後述する。
【００１９】
モバイル装置４１は、本実施形態に係る通信装置である。モバイル装置４１は、中継装置１１から全ウィンドウ画面データを受信し、全ウィンドウ画面データを解析して全ウィンドウ画面中のウィンドウ画面や人物映像毎に、ウィンドウ画面を切り替えて表示する。なお、モバイル装置４１に表示されるウィンドウ画面の例は図５を参照して後述する。
【００２０】
●ハードウェア構成
図２は、本実施形態に係るモバイル装置４１のハードウェア構成例を示すブロック図である。モバイル装置４１は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、補助記憶装置２０４、を備える。モバイル装置４１はさらに、表示部２０５、操作部２０６、無線通信部２０７、アンテナ２０８、を備える。ＣＰＵ２０１は、モバイル装置４１の全体を制御する。ＲＯＭ２０２は、変更を必要としないコンピュータプログラムやパラメタを格納する。ＲＡＭ２０３は、補助記憶装置２０４などから供給されるコンピュータプログラムやデータを一時記憶する。補助記憶装置２０４は、画像コンテンツや映像コンテンツなどのデータを記憶する。表示部２０５は、ユーザがモバイル装置４１を操作するためのＧＵＩ（Graphical User Interface）を表示する。操作部２０６は、ユーザがモバイル装置４１を操作するための入力インタフェースである。無線通信部２０７は、アンテナ２０８を制御し、無線アクセスポイント（不図示）との無線ＬＡＮ通信を行う。
【００２１】
●機能モジュール構成
図３は、本実施形態に係るモバイル装置４１の機能モジュール構成例を示すブロック図である。
【００２２】
制御部３０１は、モバイル装置４１が備える個々の機能モジュール全体を制御する。無線ＬＡＮ通信制御部３０２は無線通信部２０７を制御し、無線アクセスポイント（不図示）との無線ＬＡＮ通信方式の通信制御を行う。表示制御部３０３は表示部２０５を制御し、モバイル装置４１におけるＧＵＩの表示制御を行う。後述するように、表示制御部３０３は、中継装置１１から受信したデータに係るウィンドウ画面、操作データ、人物映像等の複数の表示要素をユーザの指示に応じて切り替え可能に表示部２０５に表示させる。
【００２３】
操作制御部３０４は操作部２０６を制御し、モバイル装置４１におけるユーザからの操作入力制御を行う。記憶制御部３０５はＲＡＭ２０３または補助記憶装置２０４を制御し、処理データ、または画像コンテンツや映像コンテンツなどのデータを記憶または削除する。
【００２４】
ＴＣＰ／ＩＰ通信制御部３０６は、無線ＬＡＮ通信制御部３０２を利用して、中継装置１１との間でＴＣＰ（Transmission Control Protocol）／ＩＰ（Internet Protocol）方式の通信制御を行う。なお本実施形態ではＴＣＰ／ＩＰ通信を利用する例を示すが、これに限らず、ＵＤＰ（User Datagram Protocol）等の他の通信プロトコルを利用してもよい。
【００２５】
ＨＴＴＰ通信制御部３０７は、ＴＣＰ／ＩＰ通信制御部３０６を利用して、中継装置１１との間でＨＴＴＰ／２方式の通信制御を行う。また、ＨＴＴＰ通信制御部３０７は、中継装置１１との間でＴＬＳ（Transport Layer Security）を利用したＨＴＴＰＳ（HTTP Security）方式の通信制御も行う。
【００２６】
サーバプッシュ判断部３０８は、中継装置１１との間でＨＴＴＰ／２通信接続時に、中継装置１１からサーバプッシュを受信したか否か、を判断する。具体的には、まず、サーバプッシュ判断部３０８は、中継装置１１とのＨＴＴＰ／２通信接続時に、中継装置１１からＰＵＳＨ＿ＰＲＯＭＩＳＥフレームを受信したか否か、を判断する。ＰＵＳＨ＿ＰＲＯＭＩＳＥフレームは、ウィンドウ画面データを表示するための新規のサブ画面を予約する際に通知される。そして、ＰＵＳＨ＿ＰＲＯＭＩＳＥフレームを受信した場合であって、ＰＵＳＨ＿ＰＲＯＭＩＳＥフレームで予約されたストリームに対して、中継装置１１からＨＥＡＤＥＲＳフレームを受信した場合、サーバプッシュを受信した、と判断する。後述するように、本実施形態では、新規のウィンドウ画面データはプッシュ通信により送受信される。なお、ストリームとは、装置間で確立されたコネクションにおいて確立される論理的な通信路である。
【００２７】
優先制御部３０９は、中継装置１１との間のＨＴＴＰ／２通信における各ストリームに対して優先制御を行う。後述するように本実施形態では、ウィンドウ画面データの内容・種別に応じてストリームの優先度を設定し、この優先度に応じて、表示画面を切り替えた後に、切り替え前の画面に相当するウィンドウ画面データのストリーム受信を継続するか否かを制御する。
【００２８】
データ通信部（ウィンドウ画面データ通信部）３１０は、中継装置１１との間で全ウィンドウ画面データ、および全ウィンドウ画面データ情報を通信する。本実施形態において、データ通信部３１０は、全ウィンドウ画面データ中の各ウィンドウ画面のデータ、操作データ、及び人物映像データのそれぞれを、中継装置１１との間のＨＴＴＰ／２通信における各ストリームに対応づける。そして、データ通信部３１０は、これら各種データに対して、ＨＴＴＰ／２の各ストリーム中のデータフレームとして、中継装置１１との間でそれぞれ通信する。このように、本実施形態では、複数の表示要素ごとにストリームを確立し、対応するストリームにより各表示要素のデータを送受信する。そして、モバイル装置４１は、受信したデータストリームに応じて、表示部２０５に表示されている表示要素の表示内容を更新する。
【００２９】
なお、これ以降、全ウィンドウ画面中の各ウィンドウ画面のデータ、操作データ、及び人物映像データを、それぞれ、ウィンドウ画面データ（ウィンドウ）、ウィンドウ画面データ（操作）、ウィンドウ画面データ（人物映像）、と表す。そして、全ウィンドウ画面を構成する表示要素であるウィンドウ画面、操作、人物映像の各データを総称してウィンドウ画面データと表す。つまり、ウィンドウ画面データの種別には、ウィンドウ画面、操作、人物が存在する。また、ウィンドウ画面データに関する情報をウィンドウ画面データ情報と表す。
【００３０】
データ解析部（ウィンドウ画面データ解析部）３１１は、中継装置１１との間のＨＴＴＰ／２通信によって受信した全ウィンドウ画面データ、全ウィンドウ画面データ情報、ウィンドウ画面データ、及びウィンドウ画面データ情報を解析する。
【００３１】
更新通知部（ウィンドウ画面更新通知部）３１２は、中継装置１１から受信した全ウィンドウ画面データに、新規のウィンドウ画面データ（以下、「新規ウィンドウ画面データ」と表す）が含まれるか否か、を判断する。もし含まれている場合、更新通知部３１２は、全ウィンドウ画面中の新規ウィンドウ画面の存在を、モバイル装置４１の表示制御部３０３を使用して、表示部２０５中に通知する。
【００３２】
切り替え判断部（ウィンドウ画面切替え判断部）３１３は、操作制御部３０４を使用して、モバイル装置４１のユーザから、表示部２０５に表示しているウィンドウ画面の切り替えを指示されたか否か、を判断する。もし切り替えを指示された場合、切り替え判断部３１３は、表示制御部３０３を使用して、指示されたウィンドウ画面に切り替えて表示する。
【００３３】
●表示画面
図４は、本実施形態に係る表示装置３１に表示される全ウィンドウ画面の例を示す図である。
【００３４】
図４（ａ）は、拠点２０において人物２５が入力装置２３を使用して、全ウィンドウ画面４００中の第３のウィンドウ画面４０３上に、操作軌跡４０４を描画している例である。この例では、第３のウィンドウ画面４０３が、全ウィンドウ画面４００におけるアクティブウィンドウとなる。
【００３５】
図４（ｂ）は、拠点２０において人物２５が入力装置２３を使用して、全ウィンドウ画面４００中に、新しく第４のウィンドウ画面４０６を開いた例である。このとき、第４のウィンドウ画面４０６が、全ウィンドウ画面４００におけるアクティブウィンドウとなる。
【００３６】
全ウィンドウ画面４００は、表示装置３１において表示されるウィンドウ画面の全体である。第１のウィンドウ画面４０１、第２のウィンドウ画面４０２、第３のウィンドウ画面４０３は、全ウィンドウ画面４００中のウィンドウ画面である。操作軌跡４０４は、拠点２０において人物２５が入力装置２３を使用して、全ウィンドウ画面４００中の第３のウィンドウ画面４０３上に描画した軌跡である。人物映像４０５は、拠点２０において人物撮影装置２４が人物２５を撮影した撮影画像から人物の領域を切りぬいた人物映像である。第４のウィンドウ画面４０６は、拠点２０において人物２５が入力装置２３を使用して、全ウィンドウ画面４００中に新しく開いたウィンドウ画面である。
【００３７】
図５は、本実施形態に係るモバイル装置４１に表示されるウィンドウ画面の例を示す図である。
【００３８】
図５（ａ）は、タブ５０１を選択して、ウィンドウ画面５００中に、ウィンドウ画面の全体を縮小して表示した例である。図５（ｂ）は、タブ５０３を選択して、ウィンドウ画面５００中に、第３のウィンドウ画面を表示した例である。図５（ｃ）は、タブ５０５を選択して、ウィンドウ画面５００中に、拠点２０において人物撮影装置２４が人物２５を撮影した撮影画像から人物の領域を切りぬいた人物映像を表示した例である。図５（ｃ）は、さらに、拠点２０において人物２５が入力装置２３を使用して、全ウィンドウ画面中に、新しく第４のウィンドウ画面を開いた際、モバイル装置４１に第４のウィンドウ画面の存在を通知するタブ５０８を新規に表示した例を示している。図５（ｄ）は、タブ５０８を選択して、ウィンドウ画面５００中に、新しく開いた第４のウィンドウ画面を表示した例である。
【００３９】
ウィンドウ画面５００は、タブ５０１からタブ５０５で選択したタブに対応するウィンドウ画面を表示する領域である。なお、第１のウィンドウ画面から第４のウィンドウ画面に関するデータは、全ウィンドウ画面データのうち、ウィンドウ画面データ（ウィンドウ）として、中継装置１１からモバイル装置４１へ送信される。人物映像に関するデータは全ウィンドウ画面データのうちウィンドウ画面データ（人物）として送信され、操作軌跡に関するデータはウィンドウ画面データ（操作）として送信される。
【００４０】
タブ５０１は、全ウィンドウ画面の縮小表示に対応し、タブ５０１が選択されると、ウィンドウ画面５００中に、ウィンドウ画面の全体を縮小して表示する。タブ５０２からタブ５０４は、それぞれ第１のウィンドウ画面から第３のウィンドウ画面の表示に対応し、各タブが選択されると、ウィンドウ画面５００中に、対応するウィンドウ画面を表示する。タブ５０５は、人物映像表示に対応し、タブ５０５が選択されると、ウィンドウ画面５００中に、人物映像５０７を表示する。タブ５０８は、新しく開いた第４のウィンドウ画面の表示に対応し、タブ５０８が選択されると、ウィンドウ画面５００中に、第４のウィンドウ画面を表示する。
【００４１】
このように、複数の表示要素のいずれかを選択するためのタブ（画像）を選択可能に表示することにより、表示部２０５に表示する表示要素を切り替え可能とするタブ形式により、ユーザは、複数の表示要素の中から所望のものを表示させることができる。また、新たな表示要素を受信したことに応じて、当該新たな表示要素を選択するためのタブを選択可能に表示することにより、ユーザは、新規の表示要素が追加されたことを容易に確認することができる。
【００４２】
また、新たな表示要素の受信をタブ等の画像により通知する場合は、その画像を強調表示することにより、新たな表示要素の受信をより効果的にユーザに知らせることができる。例えば、新たな表示要素に対応するタブを他のタブと異なる色で表示したり、点滅表示したり、吹き出し表示等によりタブの追加を示すなどの強調表示を行うことができる。
【００４３】
●データ構造
図６は、本実施形態に係る全ウィンドウ画面データ情報のデータ構成例を示すブロック図である。
【００４４】
全ウィンドウ画面データ情報１２００は、全ウィンドウ画面データに関する属性情報である。全ウィンドウ画面データＩＤ１２０１は、全ウィンドウ画面データの識別子である。送信元情報１２０２は、全ウィンドウ画面データの送信元に関する情報である。送信元情報１２０２の具体例は、ＩＰアドレス、ホスト名、ドメイン名、ＵＲＩ（Unique Resource Identifier）、ＦＱＤＮ（Fully Qualified Domain Name）などである。全ウィンドウ画面解像度１２０３は、全ウィンドウ画面の解像度に関する情報である。ウィンドウ画面データ情報数１２０４は、全ウィンドウ画面データ情報１２００に含まれるウィンドウ画面データ情報１２１０の数である。
【００４５】
ウィンドウ画面データ情報１２１０は、全ウィンドウ画面データに含まれるウィンドウ画面データ、操作データ、及び人物映像データに関する情報である。ウィンドウ画面データＩＤ１２１１は、ウィンドウ画面データの識別子である。ウィンドウ画面種別１２１２は、ウィンドウ画面データの種別を示す。本実施形態において、ウィンドウ画面データの種別は、ウィンドウ画面データ、操作データ、人物映像データ、がある。ウィンドウ画面解像度１２１３は、ウィンドウ画面データのうち、ウィンドウ画面、及び人物映像の解像度である。表示位置１２１４は、全ウィンドウ画面中のウィンドウ画面の表示位置である。取得先情報１２１５は、ウィンドウ画面データの取得先に関する情報である。取得先情報１２１５の具体例は、ＩＰアドレス、ホスト名、ドメイン名、ＵＲＩ、ＦＱＤＮなどである。図６は、全ウィンドウ画面データ情報１２００が一つのウィンドウ画面データ情報を含んでいる例を示しているが、ウィンドウ画面データ情報は、ウィンドウ画面データ情報数１２０４だけ生成される。例えば、図４（ａ）のような画面を表示する場合、第１から第３のウィンドウ画面４０１〜４０３、人物映像４０５、操作軌跡４０４にそれぞれ対応する５つのウィンドウ画面データ情報が生成される。
【００４６】
●通信シーケンス
本実施形態では、モバイル装置４１は、複数の表示要素を含む表示画面全体のデータを他の装置から受信し、受信したデータに係る複数の表示要素をユーザの指示に応じて切り替え可能に表示部２０５に表示させる。そして、新たな表示要素のデータを受信したことに応じて、その旨をユーザに通知する。このように、表示画面全体をそのまま表示するのではなく、ウィンドウ画面等の表示要素ごとに表示するため、モバイル装置４１の表示部２０５の画面が小さく、解像度が低い場合であっても、ユーザは所望の表示要素を容易に視認することができる。また、新たな表示要素のデータを受信したことに応じて、その旨をユーザに通知するため、表示画面全体が複数の表示要素を含む場合であっても、ユーザは新たな表示要素が追加されたことを容易に知ることができる。以下、このような構成の詳細を説明する。
【００４７】
図７は、本実施形態に係るモバイル装置４１が、ウィンドウ画面を表示する際のメッセージ例を示すシーケンス図である。なお、図７は、記述の簡単化のために、画面管理装置２２、入力装置２３、人物撮影装置２４をまとめて、仮想的に１つの入力装置２１として表記する。
【００４８】
Ｍ６０１で、入力装置２１が中継装置１１と通信接続する。本実施形態においては、入力装置２１と中継装置１１との通信方式はＨＴＴＰ／１．１通信である場合の例を説明するが、これに限られない。例えば、ＲＴＰ（Realtime Transport Protocol）、ＲＴＳＰ（Real Time Streaming Protocol）などの通信方式でもよい。
【００４９】
Ｍ６０２で、表示装置３１が中継装置１１と通信接続する。本実施形態において、表示装置３１と中継装置１１との通信方式はＨＴＴＰ／１．１通信である場合の例を説明するが、これに限られない。例えば、ＲＴＰ（Realtime Transport Protocol）、ＲＴＳＰ（Real Time Streaming Protocol）などの通信方式でもよい。また、本実施形態において、表示装置３１と中継装置１１との間の通信シーケンスについては詳細な説明を省略する。
【００５０】
Ｍ６０３で、モバイル装置４１が中継装置１１とＨＴＴＰ／２通信接続する。本実施形態では、モバイル装置４１がＨＴＴＰ／２クライアント、中継装置１１がＨＴＴＰ／２サーバとして、モバイル装置４１から中継装置１１に対して、ＨＴＴＰ／２通信接続を要求する例を説明する。
【００５１】
Ｍ６０４で、入力装置２１が中継装置１１に対して、全ウィンドウ画面データ情報１２００を送信する。次に、Ｍ６０５〜Ｍ６０７において、入力装置２１が中継装置１１に対して、全ウィンドウ画面に含まれる各ウィンドウ画面データを送信する。すなわち、Ｍ６０５で、入力装置２１が中継装置１１に対して、ウィンドウ画面のデータ（ウィンドウ画面データ（ウィンドウ））を送信する。Ｍ６０６で、入力装置２１が中継装置１１に対して、操作データ（ウィンドウ画面データ（操作））を送信する。Ｍ６０７で、入力装置２１が中継装置１１に対して、人物映像データ（ウィンドウ画面データ（人物））を送信する。
【００５２】
Ｍ６０８で、中継装置１１が、受信した全ウィンドウ画面データ情報１２００を中継用に更新する。具体的には、中継装置１１は全ウィンドウ画面データ情報１２００中の送信元情報１２０２や取得先情報１２１５を、中継装置１１に書き換える。
【００５３】
Ｍ６０９で、モバイル装置４１が中継装置１１に対して、全ウィンドウ画面データ情報要求を送信する。なお、本メッセージはＨＴＴＰ／２通信で行われるため、図中に［ＨＴＴＰ／２］と記載する（以後、同様）。
【００５４】
Ｍ６１０で、中継装置１１がモバイル装置４１に対して、更新した全ウィンドウ画面データ情報１２００を送信する。Ｍ６１１で、モバイル装置４１が、受信した全ウィンドウ画面データ情報１２００を解析し、全ウィンドウ画面解像度１２０３、及び全てのウィンドウ画面データ情報数１２０４を取得する。
【００５５】
Ｍ６１２で、モバイル装置４１が、全ウィンドウ画面解像度１２０３、及び表示部２０５の画面サイズに基づき、モバイル装置４１で全ウィンドウ画面を表示可能か否か、を判断する。モバイル装置４１で全ウィンドウ画面を表示可能であると判断したときは、モバイル装置４１は図４のような表示装置３１の表示画面と同様の画面を表示し、表示可能でないと判断したときは図５のようなタブ形式のウィンドウ画面を表示する。以下、モバイル装置４１は、全ウィンドウ画面を表示可能ではないと判断し、図５に示したタブ形式のウィンドウ画面を表示すると決定する場合の例を説明する。
【００５６】
Ｍ６１３で、モバイル装置４１が中継装置１１に対して、ウィンドウ画面データ情報数１２０４の取得先情報１２１５に基づき、ウィンドウ画面データ（ウィンドウ）要求を送信する。Ｍ６１４で、中継装置１１がモバイル装置４１に対して、新規ウィンドウ画面データ用のストリーム予約として、ＰＵＳＨ＿ＰＲＯＭＩＳＥフレームを送信する。Ｍ６１５で、モバイル装置４１がＰＵＳＨ＿ＰＲＯＭＩＳＥフレームを受信し、指定されたストリームを予約する。
【００５７】
Ｍ６１６で、中継装置１１がモバイル装置４１に対して、ウィンドウ画面データ（ウィンドウ）を送信する。Ｍ６１７で、モバイル装置４１が中継装置１１に対して、ウィンドウ画面データ情報数１２０４の取得先情報１２１５に基づき、ウィンドウ画面データ（操作）要求を送信する。Ｍ６１８で、中継装置１１がモバイル装置４１に対して、ウィンドウ画面データ（操作）を送信する。Ｍ６１９で、モバイル装置４１が中継装置１１に対して、ウィンドウ画面データ情報数１２０４の取得先情報１２１５に基づき、ウィンドウ画面データ（人物映像）要求を送信する。Ｍ６２０で、中継装置１１がモバイル装置４１に対して、ウィンドウ画面データ（人物映像）を送信する。Ｍ６２１で、モバイル装置４１が受信した全ウィンドウ画面データ情報、及び各種ウィンドウ画面データ群に基づき、図５に例示したようなタブ形式のウィンドウ画面を表示する。
【００５８】
Ｍ６２２では画面更新を行う。画面更新のシーケンスについて、図８を参照して詳細に説明する。図８は、本実施形態に係るモバイル装置４１が、ウィンドウ画面を更新する際のメッセージ例を示すシーケンス図である。なお、図８は図７の画面表示シーケンスに続く処理となる。
【００５９】
Ｍ７０１で、入力装置２１が、新規ウィンドウ画面を開く。具体的には、図４（ｂ）で示した拠点２０において人物２５が入力装置２３を使用して、全ウィンドウ画面４００中に、新しく第４のウィンドウ画面４０６を開いた場合の例を説明する。Ｍ７０２で、入力装置２１が中継装置１１に対して、新規ウィンドウ画面用のウィンドウ画面データ情報１２１０を追加した全ウィンドウ画面データ情報１２００を送信する。Ｍ７０３で、入力装置２１が中継装置１１に対して、新規ウィンドウ画面データを送信する。
【００６０】
Ｍ７０４で、中継装置１１が受信した全ウィンドウ画面データ情報１２００を、中継用に更新する。Ｍ７０５で、中継装置１１がモバイル装置４１に対して、ＨＴＴＰ／２のサーバプッシュ方式により、Ｍ６１４にて予約したストリームを使用して、新規のウィンドウ画面データ（ウィンドウ）を送信する。Ｍ７０６で、中継装置１１がモバイル装置４１に対して、新規ウィンドウ画面データ用のストリーム予約として、ＰＵＳＨ＿ＰＲＯＭＩＳＥフレームを送信する。
【００６１】
Ｍ７０７で、モバイル装置４１が中継装置１１からサーバプッシュされたか否かを判断する。本実施形態では、サーバプッシュされたと判断した場合の動作例を説明する。Ｍ７０８で、モバイル装置４１がＭ７０５で受信したウィンドウ画面データを解析し、新規ウィンドウ画面データか否か、すなわち、新たに追加されたウィンドウ画面データか否かを判断する。本実施形態では新規ウィンドウ画面データであると判断した場合の例を説明する。Ｍ７０９で、モバイル装置４１が新規ウィンドウ画面データの存在をモバイル装置４１のユーザに通知する。具体的には、モバイル装置４１は、図５（ｃ）に示したタブ５０８を新規に表示することで、新規ウィンドウ画面の存在をユーザに通知する。
【００６２】
図９は、本実施形態に係るモバイル装置４１が、ウィンドウ画面を切り替える際のメッセージ例を示すシーケンス図である。
【００６３】
Ｍ８０１で、モバイル装置４１のユーザにより、ウィンドウ画面の切り替えが指示される。具体的には、図５（ｄ）に示した、タブ５０８をユーザが選択することで切り替えが指示される。Ｍ８０２で、モバイル装置４１がウィンドウ画面を切り替えるか否か判断する。本実施形態においては、Ｍ８０１でウィンドウ画面の切り替えが指示されているので、モバイル装置４１がウィンドウ画面を切り替えると判断した例を説明する。
【００６４】
Ｍ８０３で、モバイル装置４１が切り替えるウィンドウ画面のウィンドウ画面データを優先的に受信するために、ウィンドウ画面データを受信するＨＴＴＰ／２ストリームの優先制御を判断する。優先制御の詳細については、図１２を参照して後述する。本実施形態においては、モバイル装置４１は選択されたウィンドウ画面データを最優先で受信すると判断した例を説明する。Ｍ８０４で、モバイル装置４１が中継装置１１に対して、Ｍ８０３で優先すると決定したストリームに対して、排他フラグを有効にしたＰＲＩＯＲＩＴＹフレームを送信する。ＰＲＩＯＲＩＴＹフレームは、排他フラグにより、表示が切り替えられた後に表示される表示要素のデータストリームを受信しながら、表示が切り換え前に表示されていた表示要素のデータストリームの並列的な送受信を許可するか否かを示すフレームである。排他フラグが有効であるときは並列的な送受信を禁止し、無効であるときは並列的な送受信を許可する。
【００６５】
Ｍ８０５で、中継装置１１が受信したＰＲＩＯＲＩＴＹフレームに基づいて、モバイル装置４１とのＨＴＴＰ／２通信におけるストリームの優先制御を行う。Ｍ８０６で、中継装置１１がモバイル装置４１に対して、ＰＲＩＯＲＩＴＹフレームで指定されたストリームに対するウィンドウ画面データを送信する。一方、中継装置１１はそれ以外のストリームで送信していたウィンドウ画面データの送信を停止する。
【００６６】
●モバイル装置による通信処理
図１０は、本実施形態に係るモバイル装置４１によるウィンドウ画面の表示時の動作手順を示すフローチャートである。以下の各ステップは、ＣＰＵ２０１の制御に基づき実行される。
【００６７】
Ｓ９０１で、ＨＴＴＰ通信制御部３０７が中継装置１１に対して、ＨＴＴＰ／２通信接続を行う。Ｓ９０２で、データ通信部３１０が、中継装置１１に対して全ウィンドウ画面データ情報要求を送信する。
【００６８】
Ｓ９０３で、データ通信部３１０が、中継装置１１から全ウィンドウ画面データ情報１２００を受信したか否か、を判断する。全ウィンドウ画面データ情報１２００を受信した場合（Ｓ９０３；ＹＥＳ）はＳ９０４に進み、全ウィンドウ画面データ情報１２００を受信していない場合（Ｓ９０３；ＮＯ）は処理を終了する。
【００６９】
Ｓ９０４で、データ解析部３１１が、受信した全ウィンドウ画面データ情報１２００を解析する。
【００７０】
Ｓ９０５で、データ解析部３１１が、全ウィンドウ画面データ情報１２００中の全ウィンドウ画面解像度１２０３に基づき、モバイル装置４１で全ウィンドウ画面を表示可能か否か、を判断する。具体的には、データ解析部３１１は、全ウィンドウ画面解像度１２０３と、表示部２０５において表示可能な解像度、及び大きさを比較して、これらの値について表示部２０５が全ウィンドウ画面を上回る場合は、表示可能であると判断する。全ウィンドウ画面を表示できないと判断した場合（Ｓ９０５；ＮＯ）はＳ９０６に進み、全ウィンドウ画面を表示できると判断した場合（Ｓ９０５；ＹＥＳ）は処理を終了する。処理を終了する場合は、表示装置３１と同じ表示処理を行えばよいため、本実施形態では詳細な説明を省略する。
【００７１】
Ｓ９０６で、データ通信部３１０が中継装置１１に対して、ウィンドウ画面データ情報数１２０４の取得先情報１２１５に基づき、ウィンドウ画面データ要求を送信する。Ｓ９０７で、データ通信部３１０が、中継装置１１からウィンドウ画面データを受信したか否か、を判断する。ウィンドウ画面データを受信した場合（Ｓ９０７；ＹＥＳ）はＳ９０８に進み、ウィンドウ画面データを受信していない場合（Ｓ９０７；ＮＯ）は処理を終了する。
【００７２】
Ｓ９０８で、サーバプッシュ判断部３０８が、中継装置１１からＰＵＳＨ＿ＰＲＯＭＩＳＥフレームを受信したか否か、を判断する。ＰＵＳＨ＿ＰＲＯＭＩＳＥフレームを受信した場合（Ｓ９０８；ＹＥＳ）はＳ９０９に進み、ＰＵＳＨ＿ＰＲＯＭＩＳＥフレームを受信していない場合（Ｓ９０８；ＮＯ）はＳ９１０に進む。
【００７３】
Ｓ９０９で、サーバプッシュ判断部３０８が、新規ウィンドウ画面データ用にストリームを予約する。Ｓ９１０で、データ通信部３１０が、ウィンドウ画面データ情報１２１０に基づき、全てのウィンドウ画面データを受信したか否か、を判断する。全てのウィンドウ画面データを受信した場合（Ｓ９１０；ＹＥＳ）はＳ９１１に進み、全てのウィンドウ画面データを受信していない場合（Ｓ９１０；ＮＯ）はＳ９０６に戻る。Ｓ９１１で、表示制御部３０３が、受信した全てのウィンドウ画面データに基づき、図５に示したタブ形式のウィンドウ画面を表示する。
【００７４】
図１１は、本実施形態に係るモバイル装置４１によるウィンドウ画面の更新時の動作手順を示すフローチャートである。以下の各ステップは、ＣＰＵ２０１の制御に基づき実行される。
【００７５】
Ｓ１００１で、サーバプッシュ判断部３０８が、中継装置１１からサーバプッシュを受信したか否か、を判断する。具体的には、中継装置１１からＰＵＳＨ＿ＰＲＯＭＩＳＥフレームを受信し、かつ、ＰＵＳＨ＿ＰＲＯＭＩＳＥフレームで予約されたストリームに対して、中継装置１１からＨＥＡＤＥＲＳフレームを受信した場合、サーバプッシュを受信した、と決定する。サーバプッシュを受信したと決定した場合（Ｓ１００１；ＹＥＳ）はＳ１００２に進み、サーバプッシュを受信していないと決定した場合（Ｓ１００１；ＮＯ）は処理を終了する。
【００７６】
Ｓ１００２で、データ通信部３１０が、Ｓ１００１で判断したサーバプッシュを受信したストリーム中で、ウィンドウ画面データを受信する。Ｓ１００３で、データ解析部３１１が、受信したウィンドウ画面データを解析し、新規ウィンドウ画面データであるか否か、を判断する。新規ウィンドウ画面データである場合（Ｓ１００３；ＹＥＳ）はＳ１００４に進み、新規ウィンドウ画面データでない場合（Ｓ１００３；ＮＯ）は処理を終了する。
【００７７】
Ｓ１００４で、データ解析部３１１が、受信した新規ウィンドウ画面データを解析し、新規ウィンドウ画面データはウィンドウ画面データ（ウィンドウ）であるか否か、を判断する。ウィンドウ画面データ（ウィンドウ）である場合（Ｓ１００４；ＹＥＳ）はＳ１００５に進み、ウィンドウ画面データ（ウィンドウ）でない場合（Ｓ１００４；ＮＯ）は処理を終了する。
【００７８】
Ｓ１００５で、更新通知部３１２が、表示制御部３０３を利用して、新規ウィンドウ画面データ（ウィンドウ）の存在を表示部２０５に表示する。具体的には、更新通知部３１２は、図５（ｃ）に示したタブ５０８のように新規のタブに表示する。Ｓ１００６〜Ｓ１００７の処理は、Ｓ９０８〜Ｓ９０９と同様である。
【００７９】
図１２は、本実施形態に係るモバイル装置４１によるウィンドウ画面の切り替え時の動作手順を示すフローチャートである。以下の各ステップは、ＣＰＵ２０１の制御に基づき実行される。
【００８０】
Ｓ１１０１で、切り替え判断部３１３が、ウィンドウ画面を切り替えるか否か、を判断する。具体的には、切り替え判断部３１３は、モバイル装置４１のユーザが図５（ｄ）に示した、タブ５０１〜タブ５０８のいずれかをユーザが選択したか否か、を判断する。もしユーザがタブを選択した場合、現在、表示部２０５で選択されて表示されているウィンドウ画面と異なるか否か、を判断し、異なる場合はウィンドウ画面を切り替えると決定する。ウィンドウ画面を切り替える場合（Ｓ１１０１；ＹＥＳ）はＳ１１０２に進むが、ウィンドウ画面を切り替えない場合（Ｓ１１０１；ＮＯ）は処理を終了する。
【００８１】
Ｓ１１０２で、データ解析部３１１が、切り替え元のウィンドウ画面データ中に操作データが含まれるか否か、を判断する。操作データが含まれない場合（Ｓ１１０２；ＮＯ）はＳ１００３に進み、操作データが含まれる場合（Ｓ１１０２；ＹＥＳ）はＳ１１０５に進む。
【００８２】
Ｓ１１０３で、優先制御部３０９が、切り替え先のウィンドウ画面データを排他的に受信するために、ウィンドウ画面データを受信するＨＴＴＰ／２ストリームについて、ＰＲＩＯＲＩＴＹフレームに設定する排他フラグを有効にする。
【００８３】
Ｓ１１０４で、優先制御部３０９が、ＨＴＴＰ通信制御部３０７を使って、中継装置１１に対して、ＰＲＩＯＲＩＴＹフレームを送信し、処理を終了する。
【００８４】
Ｓ１１０５で、優先制御部３０９が、切り替え先のウィンドウ画面データを排他的に受信させないため、ウィンドウ画面データを受信するＨＴＴＰ／２ストリームについて、ＰＲＩＯＲＩＴＹフレームに設定する排他フラグを無効にする。そして、Ｓ１１０４に進む。
【００８５】
以上説明したように、本実施形態によれば、表示制御部３０３が、受信した全てのウィンドウ画面データに基づき、図５に示したタブ形式のウィンドウ画面を表示する。そして、サーバプッシュ判断部３０８は、中継装置１１からサーバプッシュを受信したか否か、を判断する。サーバプッシュを受信した場合、データ解析部３１１は、受信したデータが新規ウィンドウ画面データ（ウィンドウ）、つまり新規のウィンドウ画面についてのデータか否か、をさらに判断する。新規ウィンドウ画面データを受信した場合、更新通知部３１２は、表示制御部３０３を利用して、新規ウィンドウ画面用の新規タブを表示する。
【００８６】
モバイル装置４１のユーザは、図５に示したタブ形式のウィンドウ画面を閲覧している際、全ウィンドウ画面を表示していないため、新規ウィンドウ画面の存在に気付き難い。しかし、上述した通り、新規ウィンドウ画面が開かれた場合、モバイル装置４１は新規タブを追加するため、ユーザは新規ウィンドウ画面の存在に気付きやすくなり、視認性が向上する。
【００８７】
なお、本実施形態では、新規のウィンドウ画面のデータを受信した場合にその旨をユーザに通知する例を説明したが、操作データ、人物映像など、他の表示要素が追加された場合に通知するようにしてもよい。これにより、遠隔会議システムの用途に応じた柔軟なシステム構築が可能となる。また、本実施形態では、新たな表示要素を受信したことを、表示部２０５に表示させることにより、ユーザに通知する例を説明したが、ユーザへの通知は表示部２０５での表示によるものに限られない。例えば、不図示のスピーカから音声を出力したり、バイブレータを振動させたりすることにより、新たな表示要素の受信を通知してもよい。
【００８８】
また、本実施形態によれば、ユーザが図５に示したウィンドウ画面上で現在表示していない別のタブを選択した場合、データ解析部３１１は、切り替え元のウィンドウ画面データに操作データが含まれているか否か、を判断する。現在表示中のウィンドウ画面データに操作データが含まれている場合、切り替えによって操作データが受信されなくなってしまうと、ウィンドウ画面の整合性が拠点２０と拠点４０で同期できなくなってしまう。そのため、操作データが含まれている場合は、優先制御部３０９が、ＰＲＩＯＲＩＴＹフレームに設定する排他フラグを無効にすることで、ウィンドウ画面が切り替わった後でも、切り替え元のウィンドウ画面データを継続して受信することが可能となる。
【００８９】
一方、現在表示中のウィンドウ画面データに操作データが含まれていない場合、ウィンドウ画面の整合性に関する問題はないため、優先制御部３０９は、ＰＲＩＯＲＩＴＹフレームに設定する排他フラグを有効にする。これにより、切り替え先のウィンドウ画面の表示にかかる応答性能が向上し、また全体のウィンドウ画面データのデータ転送量が削減されるため、ネットワークのトラフィックを削減することができる。
【００９０】
本実施形態では、データ解析部３１１は、上述した操作データの有無でＰＲＩＯＲＩＴＹフレームに設定する排他フラグの有効・無効を判断したが、これに限らない。例えば、データ解析部３１１は、切り替え元のウィンドウ画面に表示されるコンテンツの内容によって判断してもよい。もし、切り替え元のウィンドウ画面に表示されるコンテンツが映像の場合、一定の映像データをキャッシュし続けておかないと、再度、切り替え元のウィンドウ画面を表示する際に素早く表示することができない。この場合、優先制御部３０９が、ＰＲＩＯＲＩＴＹフレームに設定する排他フラグを無効にする。これにより、再度、切り替え元のウィンドウ画面をユーザが選択した場合でも、映像を素早く表示することができるようになり、応答性能が向上する。
【００９１】
一方、切り替え元のウィンドウ画面に表示されるコンテンツがドキュメントファイルや画像の場合、切り替え後にデータを受信する必要はなく、優先制御部３０９が、ＰＲＩＯＲＩＴＹフレームに設定する排他フラグを有効にしてもよい。
【００９２】
さらに、データ解析部３１１は、切り替え元のウィンドウ画面データに音声データや、ウィンドウ画面の制御や遠隔会議に関するイベントデータが含まれるか否か、を判断してもよい。通常、音声は、遠隔会議中は継続して再生している必要があるため、ウィンドウ画面を切り替えた後も、音声データを受信し続ける必要がある。同様に、イベントデータも、ウィンドウ画面や遠隔会議の整合性を確保するために、ウィンドウ画面を切り替えた後も、イベントデータを受信し続ける必要がある。この場合、優先制御部３０９が、ＰＲＩＯＲＩＴＹフレームに設定する排他フラグを無効にする。これにより、ユーザの利便性の維持及びシステムの整合性の確保と、応答性能の向上のバランスをとることが可能となる。
【００９３】
また、拠点２０においてウィンドウ画面のサイズが変更されて大きくなった場合、データ解析部３１１は、ウィンドウ画面解像度１２１３が変更されたか否かを判断してもよい。もしサイズが変更されて大きくなった場合、表示制御部３０３は、対応するウィンドウ画面上にスクロールバーを表示して、全体が表示できるようにしてもよい。また、表示制御部３０３は、対応するウィンドウ画面をサイズ変更分に応じて縮小して、全体が表示できるようにしてもよい。これにより、ユーザの視認性が向上する。
【００９４】
また、本実施形態では、表示制御部３０３は、タブ形式でウィンドウ画面を切り替え可能に表示する例を説明したが、表示要素を切り替え可能に表示する手法はこれに限らず、サブウィンドウ、タイル、リスト、などその他の表示形式により実現してもよい。
【００９５】
以上説明した各構成によれば、遠隔拠点間でウィンドウ画面を共有して同期表示する際、解像度が低く、画面サイズが小さい通信装置でも、ウィンドウ画面全体中の各ウィンドウ画面を切り替えて表示することができる。また、ウィンドウ画面全体中に新規ウィンドウ画面が開かれた場合でも、通信装置のユーザは、新規ウィンドウ画面の存在に気付き易くなり、視認性が向上する。なお、本実施形態では、遠隔拠点間でウィンドウ画面を共有する場合の例を中心に説明したが、これに限らず、例えば、表示画面のサイズが異なる複数の装置間で画面共有を行う場合に上記の構成を適用することができる。
【００９６】
＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９７】
１１：中継装置、４１：モバイル装置、３０３：表示制御部、３０８：サーバプッシュ判断部、３０９：優先制御部、３１０：データ通信部、３１１：データ解析部、３１２：更新通知部、３１３：切り替え判断部
【図１】
2017033291.tif 000003
【図２】
2017033291.tif 000004
【図３】
2017033291.tif 000005
【図４】
2017033291.tif 000006
【図５】
2017033291.tif 000007
【図６】
2017033291.tif 000008
【図７】
2017033291.tif 000009
【図８】
2017033291.tif 000010
【図９】
2017033291.tif 000011
【図１０】
2017033291.tif 000012
【図１１】
2017033291.tif 000013
【図１２】
2017033291.tif 000014