(57)【要約】【課題】ストロークデータの送信中に通信ネットワークが切断されても、ストロークデータの一部消失といった事態を回避する。【解決手段】通信ネットワークＮを介して、生成したストロークデータ（マウスイベント）をサーバ２に送信する電子情報端末１であって、ストロークデータを一時的に保存する操作イベントキャッシュ１０３と、通信ネットワークの状態を管理するネットワーク状態管理部１０５と、ネットワーク状態管理部が検知した通信ネットワークの状態に応じて、ストロークデータを操作イベントキャッシュから読み出して通信ネットワークを介してサーバに送信する操作イベント送信部１０４と、を備えたことを特徴とする。【選択図】図３
2017027589.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワークを介して、生成したストロークデータを画像処理装置に送信する電子情報端末であって、
前記ストロークデータを一時的に保存する送信用記憶手段と、
前記通信ネットワークの状態を管理するネットワーク状態管理手段と、
前記ネットワーク状態管理手段が検知した前記通信ネットワークの状態に応じて、前記ストロークデータを前記送信用記憶手段から読み出して前記通信ネットワークを介して前記画像処理装置に送信する送信手段と、を備えたことを特徴とする電子情報端末。
【請求項２】
前記ストロークデータに基づいて生成した第一画像を表示させる操作状態表示制御手段を備えたことを特徴とする請求項１に記載の電子情報端末。
【請求項３】
前記ネットワーク状態管理手段が測定した通信ネットワーク遅延時間が所定のしきい値以上である場合に、前記操作状態表示制御手段は前記第一画像を表示させる処理を実行し、
前記ネットワーク状態管理手段が測定した通信ネットワーク遅延時間が所定のしきい値未満である場合に、前記操作状態表示制御手段は前記第一画像を表示させる処理を停止することを特徴とする請求項２に記載の電子情報端末。
【請求項４】
前記送信手段は、一連のストロークデータを前記画像処理装置に送信した後、前記一連のストロークデータを前記送信用記憶手段から削除することを特徴とする請求項１乃至３の何れか一項に記載の電子情報端末。
【請求項５】
通信ネットワークを介して電子情報端末が生成したストロークデータを受信する画像処理装置であって、
前記電子情報端末から受信した前記ストロークデータを一時的に保存する受信用記憶手段と、
前記ストロークデータに基づいて第二画像を生成する第二画像生成手段と、を備え、
前記第二画像生成手段は、一連のストロークデータが前記受信用記憶手段に保存されたときに前記ストロークデータに基づいて前記第二画像を生成することを特徴とする画像処理装置。
【請求項６】
前記通信ネットワークの状態を管理するネットワーク状態管理手段を備え、
前記ネットワーク状態管理手段が、前記一連のストロークデータの受信中に前記通信ネットワークの切断を検知した場合に、前記第二画像生成手段は不完全な前記一連のストロークデータを前記受信用記憶手段から削除することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記通信ネットワークの状態を管理するネットワーク状態管理手段を備え、
前記ネットワーク状態管理手段が、前記一連のストロークデータの受信中に前記通信ネットワークの切断を検知した場合に、前記第二画像生成手段は前記受信用記憶手段に記憶された不完全な前記一連のストロークデータに基づいて前記第二画像を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
電子情報端末と画像処理装置とが通信ネットワークを介して接続された画像処理システムであって、
前記電子情報端末は、
生成したストロークデータを一時的に保存する送信用記憶手段と、
前記通信ネットワークの状態を管理するネットワーク状態管理手段と、
前記ネットワーク状態管理手段が検知した前記通信ネットワークの状態に応じて、前記ストロークデータを前記送信用記憶手段から読み出して前記通信ネットワークを介して前記画像処理装置に送信する送信手段と、
前記ストロークデータに基づいて生成した第一画像を表示させる操作状態表示制御手段と、
前記画像処理装置から受信した画像を前記第一画像の下層に表示させる画像表示制御手段と、
を備え、
前記画像処理装置は、
前記電子情報端末から受信した前記ストロークデータを一時的に保存する受信用記憶手段と、
前記ストロークデータに基づいて第二画像を生成する第二画像生成手段と、
前記第二画像と前記第二画像の下層に表示すべき背景画像とを合成した合成画像を生成する画像生成手段と、
前記画像生成手段により生成された合成画像、又は前記背景画像を表示する表示手段と、
前記表示手段に表示された画像を前記電子情報端末に送信する画像送信手段と、
前記表示手段に表示された背景画像を別の背景画像に切り替える背景画像切替手段と、
前記背景画像切替手段により前記表示手段に表示された背景画像から別の背景画像に切り替えられたとき、前記電子情報端末に画像切替通知を送信する送信手段と、を備え、
前記操作状態表示制御手段は、前記画像切替通知を前記画像処理装置から受信した場合に、前記第一画像を消去する処理を実行することを特徴とする画像処理システム。
【請求項９】
通信ネットワークを介して、生成したストロークデータを画像処理装置に送信する電子情報端末であって、
前記ストロークデータを一時的に保存する送信用記憶手段と、
前記通信ネットワークの状態を管理するネットワーク状態管理手段と、
前記ネットワーク状態管理手段が検知した前記通信ネットワークの状態に応じて、前記ストロークデータを前記送信用記憶手段から読み出して前記通信ネットワークを介して前記画像処理装置に送信する送信手段と、
前記ストロークデータに基づいて生成した第一画像を表示させる操作状態表示制御手段と、
前記画像処理装置から受信した画像を前記第一画像の下層に表示させる画像表示制御手段と、
を備え、
前記操作状態表示制御手段は、前記画像処理装置が有する表示手段に表示する、前記送信手段により送信されたストロークデータに基づいて生成された第二画像の下層に表示された背景画像が別の画像に切り替えられたことを通知する画像切替通知を前記画像処理装置から受信した場合に、前記第一画像を消去する処理を実行することを特徴とする電子情報端末。
【請求項１０】
請求項１乃至４の何れか一項に記載の電子情報端末と、
請求項５乃至７の何れか一項に記載の画像処理装置と、を含んで構成されることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子情報端末、画像処理装置、及び画像処理システムに関する。
【背景技術】
【０００２】
近年、遠隔地にある各拠点に設置された電子黒板又は電子情報ボード等の電子情報端末を通信ネットワークによって接続することにより、これら電子情報端末を活用した電子会議又はプレゼンテーションが広く行われている。
特許文献１には、マルチメディア会議サーバを介して、一のホワイトボード（電子情報端末）に描かれたペンストロークデータを遠隔地にある他のホワイトボードに配信するマルチメディア会議システムが開示されている。この発明によれば、他のホワイトボードは、一のホワイトボードから受信したデジタルデータに基づいてペンストロークを描画するので、一のホワイトボードへの書き込みを遠隔地のユーザ間で共有することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１に記載の発明においては、ペンストロークデータを送信中に一のホワイトボードが通信ネットワークから切断されると、他のホワイトボードが受信するペンストロークデータの一部が消失する虞があるという問題がある。
本発明は上述の事情に鑑みてなされたものであり、ストロークデータの送信中に通信ネットワークが切断されても、ストロークデータの一部消失といった事態を回避可能な電子情報端末を提供することを目的とする。また、送信されたストロークデータを処理する画像処理装置、及び電子情報端末と画像処理装置とを含んで構成される画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記の課題を解決するために、請求項１に記載の発明は、通信ネットワークを介して、生成したストロークデータを画像処理装置に送信する電子情報端末であって、前記ストロークデータを一時的に保存する送信用記憶手段と、前記通信ネットワークの状態を管理するネットワーク状態管理手段と、前記ネットワーク状態管理手段が検知した前記通信ネットワークの状態に応じて、前記ストロークデータを前記送信用記憶手段から読み出して前記通信ネットワークを介して前記画像処理装置に送信する送信手段と、を備えたことを特徴とする。
【発明の効果】
【０００５】
本発明によれば、送信手段は、ネットワーク状態管理手段が検知した通信ネットワークの状態に応じて、ストロークデータを送信用記憶手段から読み出して送信するので、ストロークデータが一部消失するといった事態を回避できる。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態に係る画像処理システムの全体構成を示した図である。
【図２】本発明の一実施形態に係る電子情報端末のハードウェア構成図である。
【図３】本発明の一実施形態に係る電子情報端末及びサーバの機能ブロック図である。
【図４】本発明の一実施形態に係る電子情報端末及びサーバの基本動作を示すシーケンス図である。
【図５】本発明の一実施形態に係る電子情報端末に表示される画面のレイヤ構成を示す図である。
【図６】本発明の一実施形態に係るサーバによる映像配信の概略を示す図である。
【図７】本発明の一実施形態に係るマウスイベントのデータ構造を示す図である。
【図８】本発明の一実施形態に係るマウスイベント送信時の処理を示すシーケンス図である。
【図９】本発明の一実施形態に係るマウスイベント送信時の処理を示すシーケンス図である。
【図１０】本発明の一実施形態に係る電子情報端末のマウスイベント送信時の動作を示したフローチャートである。
【図１１】電子情報端末とサーバとのネットワーク接続が切断された場合の画像処理例を示す模式図である。
【図１２】電子情報端末とサーバとのネットワーク接続が切断された場合の他の画像処理例を示す模式図である。
【図１３】ネットワーク状態管理部によるＬＦＢ機能のオン／オフ処理を示すフローチャートである。
【図１４】本発明の第二の実施形態を説明するための前提となる従来の問題点について説明するための模式図である。
【図１５】本発明の第二の実施形態におけるページ切替通知処理手順を示すフローチャートである。
【図１６】本発明の第二の実施形態におけるＬＦＢストローク消去処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００７】
本発明の概要を説明する。本発明に係る画像処理システムは、電子情報端末とサーバとが通信ネットワークを介して接続された構成を有する。電子情報端末は、生成したストロークデータをサーバに送信し、サーバは電子情報端末から受信したストロークデータから、当該ストロークが描画された映像を生成して電子情報端末に配信する。電子情報端末は、サーバから配信された映像をディスプレイに表示する。また、電子情報端末は、所謂ローカルフィードバック機能を有しており、電子情報端末にて生成されたストロークデータに基づくストロークを生成して、サーバから配信された映像に重ねてディスプレイに表示する。
本発明に係る画像処理システムにおいてはネットワーク状態管理部が通信ネットワークの状態を常時監視している。電子情報端末は、通信ネットワークの状態（切断／接続、品質の悪化／向上）に応じてストロークデータの送信を制御したり、ローカルフィードバック機能をオン／オフしたりする点に特徴がある。また、サーバは、通信ネットワークの状態に応じて電子情報端末から受信したストロークデータの処理を変更する点に特徴がある。
上記記載の本発明の特徴について、以下の図面を用いて詳細に解説する。ただし、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
【０００８】
〔画像処理システムの全体構成〕
図１は、本発明の一実施形態に係る画像処理システムの全体構成を示した図である。本実施形態に係る画像処理システムは、ｉＰａｄ（アイパッド（登録商標）：米国アップル社製）又は電子情報ボード等の電子情報端末１と、画像処理装置として機能するサーバ２と、電子情報端末１とサーバ２とを接続する通信ネットワークＮとを備えている。
電子情報端末１はタッチパネルディスプレイを備えており、電子情報端末１に手書き画像（ストローク）を描くとマウスイベント（ストロークデータ）が発生する。電子情報端末１はマウスイベントをサーバ２に送信する。サーバ２のストローク描画アプリケーションは、電子情報端末１から受信したストロークを描画した画像を生成する。サーバ２は、ストローク描画アプリケーションが生成した画像から動画を生成すると共に所定形式にエンコードした映像を電子情報端末１に配信する。電子情報端末１は、サーバ２から受信した映像をタッチパネルディスプレイに表示する。
【０００９】
〔電子情報端末のハードウェア構成〕
図２は、本発明の一実施形態に係る電子情報端末のハードウェア構成図である。なお、サーバのハードウェア構成も電子情報端末と同様であるため、説明を省略する。
電子情報端末１は、端末全体の動作を制御するＣＰＵ（Central Processing Unit）３０１、ＩＰＬ（Initial Program Loader）等のＣＰＵ３０１の駆動に用いられるプログラムを記憶したＲＯＭ（Read Only Memory）３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ（Random Access Memory）３０３を備えている。
また、電子情報端末１は、プログラム等の各種データを記憶するＨＤＤ（Hard Disk Drive）３０４、ＣＰＵ３０１の制御にしたがってＨＤＤ３０４に対する各種データの読み出し又は書き込みを制御するＨＤＣ（Hard Disk Controller）３０５を備えている。
また、電子情報端末１は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ３０７、各種情報を表示する表示手段であるディスプレイ３０８を備えている。ディスプレイ３０８はタッチパネルディスプレイであり、電子情報端末１を操作するための操作手段としても機能する。
【００１０】
また、電子情報端末１は、通信ネットワークＮを利用してデータ送信するためのＩ／Ｆ３０９を備えている。また、電子情報端末１を操作するためのキーボード３１１及び/又はマウス３１２を備えてもよい。
また、電子情報端末１は、マイク３１３、スピーカ３１４、ＧＰＵ（Graphics Processing Unit）３１５、及び上記各構成要素を電気的に接続するためのアドレスバス又はデータバス等のバスライン３２０を備えている。
なお、電子情報端末又はサーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア３０６等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００１１】
〔電子情報端末及びサーバの機能構成〕
図３は、本発明の一実施形態に係る電子情報端末及びサーバの機能ブロック図である。
電子情報端末１は、タッチパネルディスプレイ１０１を有する。タッチパネルディスプレイ１０１は、図２のディスプレイ３０８に対応し、表示手段、及び操作手段として機能する。なお、電子情報端末１に対する操作は、タッチパネルディスプレイ１０１をタッチすることであっても良いし、タッチペン又はマウス等の機器を用いて操作することであっても良い。
電子情報端末１は、タッチパネルディスプレイ１０１の操作によって発生した操作イベントを受信する操作イベント受信部１０２、サーバ２へ送信する前の操作イベントを一時的に保存する操作イベントキャッシュ１０３（送信用記憶手段）、操作イベントキャッシュ１０３から読み出した操作イベントをサーバ２に送信する操作イベント送信部１０４（送信手段）、及び通信ネットワークＮの状態を管理するネットワーク状態管理部１０５（ネットワーク状態管理手段）を有する。
ネットワーク状態管理部１０５は、通信ネットワークＮへの接続処理、切断処理、及びサーバ２からのネットワーク接続に関する各種の情報処理を実行する他、ネットワークの状態（切断／接続、品質の悪化／向上）を監視する。
電子情報端末１は、タッチパネルディスプレイ１０１から受信した操作イベントに基づいて、ストローク編集用のインターフェース又は編集中のストロークの状態等をタッチパネルディスプレイ１０１に表示させるストローク編集状態表示制御部１０６（操作状態表示制御手段）を有する。なお、ストローク編集状態表示制御部１０６は、ローカルフィードバック（ＬＦＢ）と呼ばれ、操作状態表示制御手段として機能する。
【００１２】
更に電子情報端末１は、サーバ２のストローク表示・編集部２０３からイベント送信部２０４を介して送信されたイベントを受信するイベント受信部１０７、サーバ２から映像を受信する映像受信部１０８、映像受信部１０８で受信した映像をタッチパネルディスプレイ１０１に表示させる映像表示制御部１０９を有する。映像受信部１０８は映像受信手段として、映像表示制御部１０９は映像表示制御手段として機能する。
サーバ２は、操作イベントを受信するイベント受信手段として機能する操作イベント受信部２０１、操作イベントを一時的に保存するための先入れ先出し型の操作イベントキュー２０２（受信用記憶手段）を有する。また、操作イベントキュー２０２から操作イベントを読み出してストロークを表示・編集するストローク表示・編集部２０３（画像データ生成手段）を有する。
【００１３】
その他にも、サーバ２は、ストローク編集中に発生したイベントを電子情報端末１に送信するイベント送信部２０４、背景画像を表示する背景画像表示部２０５を有する。また、背景画像とストロークとを合成した動画を生成すると共に、この動画を所定形式にエンコード処理した映像を生成する映像合成部２０６、映像合成部２０６で生成された映像を電子情報端末１に配信する映像送信部２０７を備える。映像合成部２０６は画像生成手段として機能し、映像送信部２０７は画像送信手段として機能する。また、サーバ２は通信ネットワークＮの状態を管理するネットワーク状態管理部２０８（ネットワーク状態管理手段）を有する。
ネットワーク状態管理部２０８は、通信ネットワークＮへの接続処理、切断処理、及び電子情報端末１からのネットワーク接続に関する各種の情報処理を実行する他、ネットワークの状態（切断／接続、品質の悪化／向上）を監視する。
【００１４】
〔電子情報端末及びサーバの基本動作〕
図４は、本発明の一実施形態に係る電子情報端末及びサーバの基本動作を示すシーケンス図である。なお、以下においては、操作イベントの一つであるマウスイベントの例に基づいて、基本動作を説明する。
まず、電子情報端末１のタッチパネルディスプレイ１０１に対してタッチ等によりストロークを描画すると、操作イベントとしてマウスイベントが発生する（ステップＳ１０１）。操作イベント受信部２０１はタッチパネルディスプレイ１０１からマウスイベントを受信する。マウスイベントは操作イベントキャッシュ１０３内に保存される。
操作イベント送信部１０４は、操作イベントキャッシュ１０３からマウスイベントを読み出してサーバ２に送信する（ステップＳ１０２）。
【００１５】
また、ストローク編集状態表示制御部１０６は、操作イベント受信部２０１からマウスイベントを受信し、マウスイベントに基づくストローク（ＬＦＢストローク：第一画像）を生成してタッチパネルディスプレイ１０１に表示させる（ステップＳ１０３）。
サーバ２においては、操作イベント受信部２０１がマウスイベントを受信する。ストローク表示・編集部２０３のストローク描画アプリケーションは、マウスイベントに基づいてストロークを描画した画像（第二画像）を順次生成する（ステップＳ２０１）。
映像合成部２０６は、背景画像表示部２０５から供給される背景画像と、ストローク描画アプリケーションによって生成された複数の画像とから動画を作成し、所定形式の映像にエンコードする（ステップＳ２０２）。
映像送信部２０７は、作成された映像を電子情報端末１に配信する（ステップＳ２０３）。
【００１６】
電子情報端末１においては、映像受信部１０８が映像を受信する。映像表示制御部１０９は映像をデコードしてタッチパネルディスプレイ１０１に表示させる（ステップＳ１０４）。
なお、説明中の「動画」とは画像を連続的に表示する一般的な動画を表すが、特に、動画の中でもＨ．２６４等の特定の形式にエンコードされたものを「映像」としている。本実施形態においては、サーバ２より電子情報端末１に配信される動画を特に映像と呼んでいる。
【００１７】
〔電子情報端末のレイヤ構成〕
図５は、本発明の一実施形態に係る電子情報端末に表示される画面のレイヤ構成を示す図である。電子情報端末１に表示される画面は、サーバから配信された映像を表示する映像表示レイヤ１０１ａと、ストローク編集用のインターフェース及び編集中のストロークの状態等を表示するローカルフィードバックレイヤ１０１ｂと、使用可能なコマンドの一覧が表示された操作パネル表示レイヤ１０１ｃとを含んで構成される。電子情報端末１のタッチパネルディスプレイ１０１には、これらのレイヤを重ね合わせた画面が表示される。
【００１８】
〔映像配信の概略説明）
図６は、本発明の一実施形態に係るサーバによる映像配信の概略を示す図である。
サーバ２の映像合成部２０６は、ストローク表示・編集部２０３が生成した各ストロークと、背景画像表示部２０５から供給される背景画像とを合成して、複数の合成画像を含む動画を生成する。また、映像合成部２０６は動画をＨ．２６４（動画圧縮符号化方式）又はＭＰＥＧ−４（携帯端末用の動画圧縮符号化方式）等の所定の形式にエンコード処理して映像化する。映像送信部２０７は、エンコードされた映像データを電子情報端末１に配信する。
電子情報端末１では、映像受信部１０８が映像データを受信すると共にデコード処理を実行する。映像表示制御部１０９は、デコード処理された映像データをタッチパネルディスプレイ１０１に表示させる。
【００１９】
〔操作イベントのデータ構造〕
電子情報端末とサーバとの間で送受信される操作イベントのデータ構造について説明する。以下、データ構造について、操作イベントの一例であるマウスイベントの例により説明する。図７は、本発明の一実施形態に係るマウスイベントのデータ構造を示す図である。
各マウスイベントは、イベント名、イベントの発生日時、サーバに対するイベントの送信日時、及び発生したイベントの座標情報の他、操作したページの情報を含む。
イベントの座標情報は、タッチパネルディスプレイ１０１の座標位置を示す情報であり、タッチパネルディスプレイ１０１が有する座標検知手段によって検知されたものである。
操作ページは、サーバ２の背景画像表示部２０５から供給される背景画像（図６参照）
が複数のページから構成される場合に、操作対象となるページ位置を示す情報である。
【００２０】
仮に、ある電子情報端末１ａが通信ネットワークから切断されている間に、電子情報端末１ａからページ１に対してストロークを描画してマウスイベントが発生したとする。その間、他の電子情報端末１ｂからの操作によりサーバ２から配信される映像の背景がページ２に切り換えられたとする。電子情報端末１ａが通信ネットワークに再接続してマウスイベントをサーバに送信した場合であっても、マウスイベントは操作ページの情報を含むので、サーバは正しい操作ページに対してマウスイベントを適用することができる。
なお、Ｍｏｕｓｅイベントの代わりに、Ｓｔｙｌｕｓイベント（Ｓｔｙｌｕｓ＿Ｄｏｗｎ、Ｓｔｙｌｕｓ＿Ｍｏｖｅ、Ｓｔｙｌｕｓ＿Ｕｐ）等を用いることもできる。
【００２１】
〔ネットワーク正常時のマウスイベントの処理〕
図８は、本発明の一実施形態に係るマウスイベント送信時の処理を示すシーケンス図である。図８は、電子情報端末が通信ネットワークに正常に接続されている場合の例である。
タッチパネルディスプレイ１０１に対してストロークの描画を実行すると、操作イベントとしてマウスイベントが発生する。マウスイベントは操作イベント受信部２０１によって受信された後、操作イベントキャッシュ１０３に一時的に保存される。電子情報端末１とサーバ２が通信ネットワークＮを介して正常に接続されている場合、操作イベント送信部１０４は、マウスイベントを順次操作イベントキャッシュ１０３から読み出してサーバ２に送信する。
【００２２】
タッチパネルディスプレイ１０１によってタッチパネルディスプレイ１０１に対するタッチペンの接触、即ちペンダウンが検知されたとき、マウスイベントＭｏｕｓｅＤｏｗｎが発生する。マウスイベントＭｏｕｓｅＤｏｗｎは操作イベント送信部１０４によってサーバ２に送信される。
タッチパネルディスプレイ１０１によってタッチパネルディスプレイ１０１に対するタッチペンを接触させたままの移動、即ちペンムーブが検知されたとき、マウスイベントＭｏｕｓｅＭｏｖｅが発生する。マウスイベントＭｏｕｓｅＭｏｖｅは操作イベント送信部１０４によってサーバ２に送信される。ＭｏｕｓｅＭｏｖｅは１つのストローク描画中に連続的に発生し、各ＭｏｕｓｅＭｏｖｅは順次サーバ２に送信される。
タッチパネルディスプレイ１０１によってタッチパネルディスプレイ１０１に対するタッチペンの離間、即ちペンアップが検知されたとき、マウスイベントＭｏｕｓｅＵｐが発生する。マウスイベントＭｏｕｓｅＵｐは操作イベント送信部１０４によってサーバ２に送信される。
【００２３】
１つのストロークの描画はペンダウンによって開始され、ペンダウンによって終了する。したがって１つのストロークは、マウスイベントＭｏｕｓｅＤｏｗｎ、ＭｏｕｓｅＭｏｖｅ、及びＭｏｕｓｅＵｐを含み、これらのマウスイベントは一連のマウスイベントとして認識される。一連のマウスイベントは、１つのＭｏｕｓｅＤｏｗｎイベント、少なくとも１つのＭｏｕｓｅＭｏｖｅイベント、１つのＭｏｕｓｅＵｐイベントを含んで構成される。
一連のマウスイベントが全てサーバ２に送信された場合、操作イベント送信部１０４は、操作イベントキャッシュ１０３から送信が完了した一連のマウスイベントを削除する。
【００２４】
例えば、順次発生する一連のマウスイベントである１つのＭｏｕｓｅＤｏｗｎ、少なくとも１つのＭｏｕｓｅＭｏｖｅ、及び１つのＭｏｕｓｅＵｐは、夫々操作イベントキャッシュ１０３に一時的に保存された後に順次サーバ２に送信される。一連のマウスイベントのうち最後のマウスイベントＭｏｕｓｅＵｐがサーバ２に送信された場合、操作イベント送信部１０４は、操作イベントキャッシュ１０３から一連のマウスイベントであるＭｏｕｓｅＤｏｗｎ、ＭｏｕｓｅＭｏｖｅ、及びＭｏｕｓｅＵｐを削除する。
【００２５】
また、サーバ２においては、電子情報端末１から送信されたマウスイベントを操作イベント受信部２０１が受信して、操作イベントキュー２０２に一時的に保存する。ストローク表示・編集部２０３は、操作イベントキュー２０２からマウスイベントを順次読み出して、マウスイベントに基づいてストロークの画像データを生成する。
【００２６】
〔ネットワーク切断時のマウスイベントの処理〕
図９は、本発明の一実施形態に係るマウスイベント送信時の処理を示すシーケンス図である。本実施形態に係る電子情報端末１の操作イベント送信部１０４は、ネットワーク切断中のマウスイベントを操作イベントキャッシュ１０３に保存しておき、通信ネットワークが再度接続されたときに、操作イベントキャッシュ１０３内の一連のマウスイベントを最初から順次サーバに送信する点に特徴がある。
タッチパネルディスプレイ１０１に対する操作に伴って操作イベントが発生した場合、発生した操作イベントはサーバ２に送信される前に一時的に操作イベントキャッシュ１０３に保存される。通信ネットワークＮの状態は、常時ネットワーク状態管理部１０５が監視しており、操作イベント送信部１０４の動作は通信ネットワークＮの状態に応じて変化する。
【００２７】
ネットワーク状態管理部１０５が通信ネットワークの切断を検知した場合、操作イベント送信部１０４は、サーバ２に対するマウスイベントの送信を中断する。通信ネットワークの切断中にタッチパネルディスプレイ１０１に対する操作が継続している場合はマウスイベントが発生するが、これらのマウスイベントは順次操作イベントキャッシュ１０３に保存される。
例えば、一連のマウスイベントの送信中に、ネットワーク状態管理部１０５が通信ネットワークの切断を検知した場合の電子情報端末１とサーバ２の動作は以下のようになる。
電子情報端末１の操作イベント送信部１０４は、サーバ２に対する一連のマウスイベントの送信を完了できないため、対応するイベントを操作イベントキャッシュ１０３から削除する処理を実行しない。
【００２８】
また、ストローク編集状態表示制御部１０６は、操作イベント受信部２０１から受信した操作イベントに基づく画像をタッチパネルディスプレイ１０１に表示させる処理を実行する。即ち、操作イベントは電子情報端末に反映されるが、サーバ２側には反映されない状態となる。
一方、サーバ２においては、ネットワーク状態管理部２０８が通信ネットワークＮの切断を検知した場合に、ストローク表示・編集部２０３は不完全な一連のマウスイベントを操作イベントキュー２０２から削除する処理を実行する。ストローク表示・編集部２０３が削除した不完全な一連のマウスイベントについて画像データの生成は実行されない。
電子情報端末１のネットワーク状態管理部１０５が通信ネットワークの接続を検知した場合、操作イベント送信部１０４は、操作イベントキャッシュ１０３から操作イベントを順次読み出してサーバ２に送信する。このとき、操作イベント送信部１０４は一連の操作イベントを最初から（ＭｏｕｓｅＤｏｗｎイベントから）読み出してサーバ２に送信する。これにより、通信ネットワークの再接続後に完全な状態の一連の操作イベントがサーバ２に送信されるので、サーバ２のストローク表示・編集部２０３が描画するストロークの画像は途切れない。
一連の操作イベントが全てサーバ２に送信された後、操作イベント送信部１０４は、操作イベントキャッシュ１０３から当該一連の操作イベントを削除する。
【００２９】
一方、サーバ２においては、電子情報端末１から送信されたマウスイベントを操作イベント受信部２０１が受信して、操作イベントキュー２０２に一時的に保存する。ストローク表示・編集部２０３は、操作イベントキュー２０２からマウスイベントを順次読み出し
て、マウスイベントに基づいてストロークの画像データを生成する。
【００３０】
〔イベント送信時の動作フロー〕
電子情報端末１の操作イベント送信部１０４、及びネットワーク状態管理部１０５の動作について説明する。図１０は、本発明の一実施形態に係る電子情報端末のマウスイベント送信時の動作を示したフローチャートである。なお、以下では通信プロトコルとしてＴＣＰ／ＩＰを利用する場合の例により、各部の動作を説明する。
ステップＳ１において操作イベント送信部１０４は、操作イベントキャッシュ１０３からマウスイベントを取り出す。即ち、操作イベント送信部１０４は、操作イベントキャッシュ１０３内に保存されているマウスイベントのうち、送信対象となるマウスイベントのコピーを生成する。
ステップＳ３において操作イベント送信部１０４は、操作イベントキャッシュ１０３から取り出されたマウスイベントをサーバ２に送信する。
ステップＳ５においてネットワーク状態管理部１０５は、操作イベント送信部１０４による１つのマウスイベントの送信処理ごとに当該マウスイベントの送信が成功したか否かを確認する。即ち、ネットワーク状態管理部１０５は、サーバ２から正常確認の応答ＡＣＫ（ａｃｋｎｏｗｌｅｄｇｅ）を含むパケットが、操作イベント送信部１０４によるマウスイベントデータの送信から所定の時間内に返送されてきたか否かを確認する。
【００３１】
正常確認の応答ＡＣＫを所定時間内に受信した場合、ネットワーク状態管理部１０５は操作イベントの送信が成功したと判断し（ステップＳ５においてｙｅｓ）、ステップＳ７の処理が実行される。
ステップＳ７において操作イベント送信部１０４は、一連の操作イベントが全て送信されたか否かを確認する。
一連の操作イベントのうち、送信されていない操作イベントが存在する場合（ステップＳ７においてｎｏ）、操作イベント送信部１０４はステップＳ１以下の処理を実行する。
一連の操作イベントの全てが送信された場合（ステップＳ７においてｙｅｓ）、操作イベント送信部１０４は、一連の操作イベントを操作イベントキャッシュ１０３から削除する処理を実行する（ステップＳ９）。
なお、送信するべき新たな一連の操作イベントが存在する場合は、ステップＳ１以降の処理が続けて実行されることになる。
【００３２】
正常確認の応答ＡＣＫがサーバから所定時間内に受信できずにタイムアウトした場合にネットワーク状態管理部１０５は、操作イベントの送信に失敗したと判断する（ステップＳ５においてｎｏ）。
ステップＳ１１において操作イベント送信部１０４は、操作イベントの送信を一時停止する。
ステップＳ１３においてネットワーク状態管理部１０５は、サーバ２に対して接続確認処理を実行する。具体的には、ネットワーク状態管理部１０５はサーバ２に対して接続要求をするＳＹＮ（ｓｙｎｃｈｒｏｎｉｚｅ）フラグを１にセットしたＳＹＮパケットを送信する。
ステップＳ１５においてネットワーク状態管理部１０５は、サーバ２から所定時間内にＳＹＮフラグ及びＡＣＫフラグが１にセットされたＳＹＮ／ＡＣＫパケットが返送されるか否かを確認する。
【００３３】
サーバ２からＳＹＮ／ＡＣＫパケットが所定時間内に受信できずにタイムアウトした場合（ステップＳ１５においてｎｏ）、ネットワーク状態管理部１０５は一定時間ごとにステップＳ１３の処理を実行する。
サーバ２からＳＹＮ／ＡＣＫパケットを所定時間内に受信した場合（ステップＳ１５においてｙｅｓ）、操作イベント送信部１０４は、ステップＳ１以下の処理を実行する。
ここで、通信ネットワーク再接続後におけるステップＳ１の処理では、操作イベント送信部１０４は一連のマウスイベントを最初から、即ちＭｏｕｓｅＤｏｗｎイベントからサーバ２に対して再送信する。
【００３４】
〔ページ編集例〜１〕
本発明の実施形態に係る画像処理システムによる画像処理例について説明する。図１１は、電子情報端末とサーバとのネットワーク接続が切断された場合の画像処理例を示す模式図である。
図１１には、画像処理システムが１台のサーバ２、２台の電子情報端末１ａ、１ｂを有し、電子情報端末１ａのタッチパネルディスプレイにストロークが描画され、ストロークデータがサーバを介して電子情報端末１ｂのタッチパネルディスプレイに反映される場合の例を示している。
時刻ｔ１においては、サーバ２と２台の電子情報端末１ａ、１ｂが正常にネットワーク接続されているため、各装置の画面は同期され、ページ１の画像を背景画像としてストロークＳａが描画された状態となっている。
ここで時刻ｔ２において電子情報端末１ａのみが通信ネットワークから切断され、オフラインの状態となったとする。電子情報端末１ａには新規のストロークＳｂが描画されたが、電子情報端末１ａがオフラインであるため、サーバ２と電子情報端末１ｂとにストロークＳｂは反映されない。
時刻ｔ３において電子情報端末１ｂに新規のストロークＳｃが描画され、ストロークＳｃのデータがサーバ２に送信されたとする。この場合、サーバ２と電子情報端末１ｂとの画面は同期するが、オフラインである電子情報端末１ａの画面にストロークＳｃは反映されない。
時刻ｔ４において、電子情報端末１ａのネットワーク接続が回復したとする。ストロークＳｂは電子情報端末１ａからサーバ２に送信される。サーバ２はストロークＳｃに加えてストロークＳｂが描画された映像を電子情報端末１ａ、１ｂに配信するため、サーバ２と電子情報端末１ａ、１ｂの画面は同期し、各装置にストロークＳａ〜Ｓｃが描画される。
【００３５】
〔ページ編集例〜２〕
図１２は、電子情報端末とサーバとのネットワーク接続が切断された場合の他の画像処理例を示す模式図である。本例は、通信ネットワークの切断中に、電子情報端末側で表示するページを切り換えた場合の画像処理例を示す。
時刻ｔ１においては、サーバ２と２台の電子情報端末１ａ、１ｂが正常にネットワーク接続されているため、各装置の画面は同期され、ページ１の画像を背景画像としてストロークＳａが描画された状態となっている。
【００３６】
ここで時刻ｔ２において電子情報端末１ａのみが通信ネットワークから切断され、オフラインの状態となったとする。電子情報端末１ａには新規のストロークＳｂが描画されたが、電子情報端末１ａがオフラインであるため、サーバ２と電子情報端末１ｂにストロークＳｂは反映されない。
時刻ｔ３において、電子情報端末１ｂにおいて表示するページをページ２に切り換えるイベントが発生し、当該イベントがサーバ２に対して送信されたとする。サーバ２は、当該イベントに基づいてページ２を表示する映像を生成し、各電子情報端末１ａ、１ｂに配信する。オンラインの電子情報端末１ｂは映像を受信して、サーバ２の画面と同期するが、電子情報端末１ａはオフライン中であるため、電子情報端末１ａの画面にはページ２への表示切り替えは反映されない。
時刻ｔ４において電子情報端末１ａが通信ネットワークに再接続すると、電子情報端末１ａはサーバ２から配信された映像を受信するので、電子情報端末１ａのタッチパネルディスプレイにはページ２が表示される。また、電子情報端末１ｂからストロークＳｃを描画した場合、ストロークデータがサーバ２によってページ２に反映され、各装置の画面が同期する。
【００３７】
また時刻ｔ４において電子情報端末１ａは、時刻ｔ２においてページ１に描画されたストロークＳｂのデータをサーバ２に対して送信する。サーバ２は、ストロークＳｂのデータをページ１に描画した画像データを生成するが、画面にはページ２を表示しているため、視覚的にはストロークＳｂのデータは反映されない。
時刻ｔ５において電子情報端末１ａ、１ｂのいずれかにおいて、表示するページをページ１に切り換えるイベントが発生し、当該イベントがサーバ２に対して送信されたとする。
サーバ２は、当該イベントに基づいてページ１を表示する映像を生成し、各電子情報端末１ａ、１ｂに配信する。このとき、サーバ２は時刻ｔ４において電子情報端末１ａから送信されたストロークＳｂを含む映像を生成し、電子情報端末１ａ、１ｂにはストロークＳｂが表示される。
【００３８】
〔ローカルフィードバック機能のオン／オフ制御〕
本発明の実施形態に係る電子情報端末は、ローカルフィードバック機能（ＬＦＢ機能）
を有しているため、通信ネットワークが切断された場合であっても、端末に描画されたマウスイベントをはじめとする各種の操作イベントをタッチパネルディスプレイに表示することができた。しかし、電子情報端末に対する負荷を軽減するため、不要な場合にはＬＦＢ機能をオフにすることが望ましい。
そこで、本実施形態においては、ネットワーク遅延を定期的に測定し、遅延が十分に小さい場合は、ＬＦＢ機能を停止する。逆に、遅延が大きくなった場合はＬＦＢ機能を開始するように構成する。
【００３９】
以下、ＬＦＢ機能のオン／オフ制御について説明する。図１３は、ネットワーク状態管理部によるＬＦＢ機能のオン／オフ処理を示すフローチャートである。
ステップＳ２１において、ネットワーク状態管理部１０５はネットワーク遅延時間（ＲＴＴ：ラウンドトリップタイム）を測定する。即ち、ネットワーク状態管理部１０５は、サーバ２に対してデータ転送を要求し、その結果が返送されるまでの時間を測定する。
ステップＳ２３においてネットワーク状態管理部１０５は、遅延時間ＲＴＴが所定のしきい値未満であるか否かを確認する。
遅延時間ＲＴＴが所定のしきい値未満である場合（ネットワーク遅延が小さい場合：ステップＳ２３においてｙｅｓ）、ネットワーク状態管理部１０５は、ストローク編集状態表示制御部１０６に対して動作を停止させる命令信号を送信し、ＬＦＢ機能をオフにする（ステップＳ２５）。
【００４０】
遅延時間ＲＴＴが所定のしきい値以上である場合（ネットワーク遅延が小さい場合：ステップＳ２３においてｎｏ）、ネットワーク状態管理部１０５は、ストローク編集状態表示制御部１０６に対して動作を開始させる命令信号を送信し、ＬＦＢ機能をオンにする（ステップＳ２７）。
なお、ネットワーク状態管理部１０５による通信ネットワークの遅延時間測定は、一定時間ごとに実施される。
【００４１】
本実施形態によれば、ネットワーク遅延時間が十分に小さい場合にはＬＦＢ機能をオフにするので電子情報端末の負荷を低減することができる。逆に、ネットワーク遅延時間が大きい場合にはＬＦＢ機能をオンにするので、利便性を向上できる。
【００４２】
〔ネットワーク切断時のマウスイベントの処理〜２〕
ネットワーク切断時におけるサーバによるマウスイベントの他の処理例について、図９を参照しながら説明する。
上記実施形態においては、ネットワーク状態管理部２０８が通信ネットワークＮの切断を検知した場合に、不完全な一連のマウスイベントについて画像データ生成しないようにした。
しかし、サーバ２のネットワーク状態管理部２０８が通信ネットワークＮの切断を検知した場合にストローク表示・編集部２０３は、不完全な一連のマウスイベントのうち、受信済みのマウスイベントに基づいて画像データを生成するようにしてもよい。このように処理することによって、電子情報端末１が通信ネットワークＮから切断される直前までのストロークデータを、画像データに反映できる。
【００４３】
〔第二の実施形態〕
本発明の第二の実施形態に係る画像処理システムについて説明する。なお、第一の実施形態と同様の構成についての説明は適宜省略する。
【００４４】
まず従来技術の問題点について説明する。例えば特許文献２における配信システムでは、一時的に表示されるストロークを一定時間経過後に消去することが記載されている。しかし、例えば複数のページを保持し、ページごとにストローク書き込み可能なアプリケーションの映像を配信する場合、ページ切替発生時に電子情報端末に表示されている一時的に表示されるストロークを消去することができない。
【００４５】
具体的に、図１４を参照して説明する。図１４は図中、左方から右方にかけて時間が進行しているものとする。図の上側にサーバにおける画像処理例を示し、図の下側にある電子情報端末における画像表示例を示す。ある別の電子情報端末からのページ切替要求を受けたサーバにおいて状態１から状態２へ表示画像の画像切り替えが発生したものとする（破線参照）。
【００４６】
より詳細に説明すると、まず、サーバの状態１において、画像２が表示され、画像２が電子情報端末に配信されるため、配信先の電子情報端末においても画像２が表示されることになる。このとき、電子情報端末のユーザが画像２の表示状態においてストロークを入力すると、一時的なストロークが電子情報端末の画面上に表示される。つまり、この一時的なストロークがＬＦＢレイヤに描画される。
【００４７】
この状態において、別のユーザがサーバに対して画像切り替えを要求し、画像切替処理が発生すると、サーバでは状態２のように画像２から画像３へ表示画像が切り替わることになる。このとき、電子情報端末へは画像３が配信され、画像３を受信した電子情報端末の画面には画像３が表示される。画像３は映像表示レイヤに描画される。
【００４８】
一方、一時的に表示されるストロークは、映像表示レイヤとは別のＬＦＢレイヤに表示される。このため、電子情報端末の状態２においては、映像表示レイヤに描画された画像３と、ＬＦＢレイヤに描画された一時的なストロークが重畳され、画像２に描画したストロークが画像３に描画されているように見えてしまう。
【００４９】
そこで、本実施形態に係る画像処理システムでは、例えば図１２の例を用いて説明すると、まずサーバ２は、他の電子情報端末１ｂからの操作によりサーバ２から配信される画像がページ２に切り換えられた場合に、電子情報端末１ａを含む全ての電子情報端末に対して画像切替通知を送信する。そして、本実施形態に係る画像処理システムでは、画像切替通知を受信した電子情報端末側において描画された、第一画像であるＬＦＢストロークを消去する点に特徴がある。
【００５０】
＜画像切替処理及び画像切替通知処理＞
ここからは、図３に示した機能ブロック、図１４に示した画像切替例、及び図１５を参照して説明する。
【００５１】
まず、サーバ２は、他の電子情報端末からの画像切替要求を受信すると、背景画像切替手段として機能する背景画像表示部２０５がページ２からページ３に切り替える処理を行う（ステップＳ４１）。なお、ここでの「背景画像」は、単に、第二画像であるストローク表示の下層に表示される画像という程度の意味にすぎない。
【００５２】
サーバ２は、イベント送信部２０４を介して画像切替通知を電子情報端末１に送信する（ステップＳ４２）。画像切替通知を送信後、サーバ２の背景画像表示部２０５は背景画像の切替処理を実行する（ステップＳ４３）。
【００５３】
＜ＬＦＢストローク消去処理＞
次に、電子情報端末１におけるＬＦＢストローク消去処理について図１６を参照して説明する。電子情報端末１のイベント受信部１０７が画像切替通知を受信すると（ステップＳ５１）、ストローク編集状態表示制御部１０６はＬＦＢストロークを消去する処理を実行する（ステップＳ５２）。
【００５４】
＜効果＞
本実施形態によれば、複数のページを保持し、画像ごとにストローク書き込み可能なアプリケーションの映像を配信する場合、背景画像が切り替えられた際に通信端末上に切替前の背景画像に書き込んだ一時的なストロークと切替後の背景画像が混在して表示されてしまう現象を防止することができる。
【００５５】
〔本発明の構成、作用、効果のまとめ〕
＜第一の実施態様＞
本実施態様は、通信ネットワークＮを介して、生成したストロークデータ（マウスイベント）を画像処理装置（サーバ２）に送信する電子情報端末１であって、ストロークデータを一時的に保存する送信用記憶手段（操作イベントキャッシュ１０３）と、通信ネットワークの状態を管理するネットワーク状態管理手段（ネットワーク状態管理部１０５）と、ネットワーク状態管理手段が検知した通信ネットワークの状態に応じて、ストロークデータを送信用記憶手段から読み出して通信ネットワークを介して画像処理装置に送信する送信手段（操作イベント送信部１０４）と、を備えたことを特徴とする。
送信手段は、ネットワーク状態管理手段が検知した通信ネットワークの状態に応じて、ストロークデータを送信用記憶手段から読み出して送信するので、ストロークデータが一部消失するといった事態を回避できる。
上記実施形態においてはストロークデータとして、画像を描画するマウスイベントの例により説明した、ストロークデータは描画された画像の一部を消去するためのストロークデータであってもよい。
【００５６】
＜第二の実施態様＞
本実施態様に係る電子情報端末１は、ストロークデータに基づいて生成した第一画像を表示させる操作状態表示制御手段（ストローク編集状態表示制御部１０６）を備えたことを特徴とする。
外部の画像処理装置にストロークデータに関する画像処理を実行させ、生成された第二画像を受信して表示する場合、ネットワーク遅延のために第二画像の表示が遅れる虞がある。本実施態様によれば、操作状態表示制御手段がストロークデータから第一画像を生成してタッチパネルディスプレイ１０１に表示させる、所謂ローカルフィードバック（ＬＦＢ）処理を実行するので、ユーザに違和感のない映像を提供できる。
【００５７】
＜第三の実施態様＞
本実施態様に係る電子情報端末１は、ストロークデータに基づいて生成された映像を、通信ネットワークＮを介して画像処理装置（サーバ２）から受信する映像受信手段（映像受信部１０８）と、画像処理装置から受信した映像を第一画像に重ねて表示させる映像表示制御手段（映像表示制御部１０９）と、を備えたことを特徴とする。
外部の画像処理装置が生成した第二画像を含む映像を受信してディスプレイに表示すると共に、操作状態表示制御手段が生成した第一画像とを重ねて表示するので、ユーザに違和感のない映像を提供できる。
【００５８】
＜第四の実施態様＞
本実施態様に係る電子情報端末１においては、ネットワーク状態管理手段（ネットワーク状態管理部１０５）が測定した通信ネットワーク遅延時間が所定のしきい値以上である場合に、操作状態表示制御手段（ストローク編集状態表示制御部１０６）は第一画像を表示させる処理を実行し、ネットワーク状態管理手段が測定した通信ネットワーク遅延時間が所定のしきい値未満である場合に、操作状態表示制御手段は第一画像を表示させる処理を停止することを特徴とする。
操作状態表示制御手段は、第一画像を生成してタッチパネルディスプレイ１０１に表示させるＬＦＢ処理を実行することによって、ネットワーク遅延が大きい場合であってもストロークデータに基づく第一画像をリアルタイムで表示できる。しかし、ＬＦＢ処理は、電子情報端末の負荷が大きい。本実施態様によれば、ネットワーク遅延が小さい場合に操作状態表示制御手段は第一画像を表示させる処理を停止するので、電子情報端末の処理に係る負荷を低減できる。
【００５９】
＜第五の実施態様＞
本実施態様に係る電子情報端末１においては、ネットワーク状態管理手段（ネットワーク状態管理部１０５）が、送信手段（操作イベント送信部１０４）による一連のストロークデータの送信中に通信ネットワークＮの切断を検知した後、通信ネットワークの再接続を検知した場合に、送信手段は、通信ネットワークの切断時に送信していた一連のストロークデータを初めから画像処理装置（サーバ２）に対して送信することを特徴とする。
送信手段は、通信ネットワークの再接続時に一連のストロークデータを送信用記憶手段から読み出して送信するので、一連のストロークデータの送信中に電子情報端末が通信ネットワークから切断されても、一連のストロークデータを完全な状態で送信することが可能となる。
【００６０】
＜第六の実施態様＞
本実施態様に係る電子情報端末１において送信手段（操作イベント送信部１０４）は、一連のストロークデータを画像処理装置（サーバ２）に送信した後、一連のストロークデータを送信用記憶手段（操作イベントキャッシュ１０３）から削除することを特徴とする。
一連のストロークデータの送信が完了する前においては、送信用記憶手段には一連のストロークデータが保存されているので、一連のストロークデータの送信中に電子情報端末が通信ネットワークから切断されても、送信手段は一連のストロークデータを完全な状態で送信できる。
【００６１】
＜第七の実施態様＞
本実施態様は、通信ネットワークＮを介して電子情報端末１が生成したストロークデータを受信する画像処理装置（サーバ２）であって、電子情報端末から受信したストロークデータを一時的に保存する受信用記憶手段（操作イベントキュー２０２）と、ストロークデータに基づいて第二画像を生成する第二画像生成手段（ストローク表示・編集部２０３）と、を備え、第二画像生成手段は、一連のストロークデータが受信用記憶手段に保存されたときにストロークデータに基づいて第二画像を生成することを特徴とする。
第二画像生成手段は、一連のストロークデータの全てが受信されてから第二画像を生成するので、一連のストロークデータの一部が消失するといった事態を回避でき、一連のストロークデータに基づく第二画像を完全な状態で描画できる。
【００６２】
＜第八の実施態様＞
本実施態様に係る画像処理装置（サーバ２）は、通信ネットワークＮの状態を管理するネットワーク状態管理手段（ネットワーク状態管理部２０８）を備え、ネットワーク状態管理手段が、一連のストロークデータの受信中に通信ネットワークの切断を検知した場合に、第二画像生成手段（ストローク表示・編集部２０３）は不完全な一連のストロークデータを受信用記憶手段（操作イベントキュー２０２）から削除することを特徴とする。
第二画像生成手段は、不完全な一連のストロークデータを受信用記憶手段から削除するので、一連のストロークデータを確実に受信することができる。
【００６３】
＜第九の実施態様＞
本実施態様に係る画像処理装置（サーバ２）は、通信ネットワークＮの状態を管理するネットワーク状態管理手段（ネットワーク状態管理部２０８）を備え、ネットワーク状態管理手段が、一連のストロークデータの受信中に通信ネットワークの切断を検知した場合に、第二画像生成手段（ストローク表示・編集部２０３）は受信用記憶手段（操作イベントキュー２０２）に記憶された不完全な一連のストロークデータに基づいて第二画像を生成することを特徴とする。
画像処理装置は、電子情報端末１が通信ネットワークから切断される直前までのストロークデータを、第二画像に反映できる。
【００６４】
＜第十の実施態様＞
本実施態様は、電子情報端末１と画像処理装置（サーバ２）とが通信ネットワークＮを介して接続された画像処理システムであって、電子情報端末１は、生成したストロークデータ（マウスイベント）を一時的に保存する送信用記憶手段（操作イベントキャッシュ１０３）と、通信ネットワークの状態を管理するネットワーク状態管理手段（ネットワーク状態管理部１０５）と、ネットワーク状態管理手段が検知した通信ネットワークの状態に応じて、ストロークデータを送信用記憶手段から読み出して通信ネットワークを介して画像処理装置に送信する送信手段（操作イベント送信部１０４）と、ストロークデータに基づいて生成した第一画像を表示させる操作状態表示制御手段（ストローク編集状態表示制御部１０６）と、画像処理装置から受信した画像を第一画像の下層に表示させる画像表示制御手段（映像表示制御部１０９）と、を備え、画像処理装置は、電子情報端末から受信したストロークデータを一時的に保存する受信用記憶手段（操作イベントキュー２０２）と、ストロークデータに基づいて第二画像を生成する第二画像生成手段（ストローク表示・編集部２０３）と、第二画像と第二画像の下層に表示すべき背景画像とを合成した合成画像を生成する画像生成手段（映像合成部２０６）と、画像生成手段により生成された合成画像、又は背景画像を表示する表示手段と、表示手段に表示された画像を電子情報端末に送信する画像送信手段（映像送信部２０７）と、表示手段に表示された背景画像を別の背景画像に切り替える背景画像切替手段と、背景画像切替手段により表示手段に表示された背景画像から別の背景画像に切り替えられたとき、電子情報端末に画像切替通知を送信する送信手段と、を備え、操作状態表示制御手段は、画像切替通知を画像処理装置から受信した場合に、第一画像を消去する処理を実行することを特徴とする。
本実施態様によれば、ページ切替発生時に通信端末上に切替前のページに書き込んだ一時的なストロークと切替後のページが混在して表示されてしまう現象を防止することができる。
【００６５】
＜第十一の実施態様＞
本実施態様は、通信ネットワークＮを介して、生成したストロークデータ（マウスイベント）を画像処理装置に送信する電子情報端末であって、ストロークデータを一時的に保存する送信用記憶手段（操作イベントキャッシュ１０３）と、通信ネットワークの状態を管理するネットワーク状態管理手段（ネットワーク状態管理部１０５）と、ネットワーク状態管理手段が検知した通信ネットワークの状態に応じて、ストロークデータを送信用記憶手段から読み出して通信ネットワークを介して画像処理装置に送信する送信手段（操作イベント送信部１０４）と、ストロークデータに基づいて生成した第一画像を表示させる操作状態表示制御手段（ストローク編集状態表示制御部１０６）と、画像処理装置から受信した画像を第一画像の下層に表示させる画像表示制御手段（映像表示制御部１０９）と、を備え、操作状態表示制御手段は、画像処理装置が有する表示手段に表示する、送信手段により送信されたストロークデータに基づいて生成された第二画像の下層に表示された背景画像が別の画像に切り替えられたことを通知する画像切替通知を画像処理装置から受信した場合に、第一画像を消去する処理を実行することを特徴とする。
本実施態様によれば、ページ切替発生時に通信端末上に切替前のページに書き込んだ一時的なストロークと切替後のページが混在して表示されてしまう現象を防止することができる。
【００６６】
＜第十二の実施態様＞
本実施態様は、電子情報端末と、画像処理装置と、を含んで構成される画像処理システムである。
本実施態様によれば、上記各態様の電子情報端末と画像処理装置の作用、効果を享受することができる。
【符号の説明】
【００６７】
１、１ａ、１ｂ    電子情報端末
２    サーバ
１０１    タッチパネルディスプレイ
１０１ａ    映像表示レイヤ
１０１ｂ    ローカルフィードバックレイヤ
１０１ｃ    操作パネル表示レイヤ
１０２    操作イベント受信部
１０３    操作イベントキャッシュ
１０４    操作イベント送信部
１０５    ネットワーク状態管理部
１０６    ストローク編集状態表示制御部
１０７    イベント受信部
１０８    映像受信部
１０９    映像表示制御部
２０１    操作イベント受信部
２０２    操作イベントキュー
２０３    ストローク表示・編集部
２０４    イベント送信部
２０５    背景画像表示部
２０６    映像合成部
２０７    映像送信部
２０８    ネットワーク状態管理部
【先行技術文献】
【特許文献】
【００６８】
【特許文献１】特表２０１１−５２４５７２号公報
【特許文献２】特開２０１５−０５６８４４号公報
【図１】
2017027589.tif 000003
【図２】
2017027589.tif 000004
【図３】
2017027589.tif 000005
【図４】
2017027589.tif 000006
【図５】
2017027589.tif 000007
【図６】
2017027589.tif 000008
【図７】
2017027589.tif 000009
【図８】
2017027589.tif 000010
【図９】
2017027589.tif 000011
【図１０】
2017027589.tif 000012
【図１１】
2017027589.tif 000013
【図１２】
2017027589.tif 000014
【図１３】
2017027589.tif 000015
【図１４】
2017027589.tif 000016
【図１５】
2017027589.tif 000017
【図１６】
2017027589.tif 000018