(57)【特許請求の範囲】
【請求項１】
通信ネットワークを介して、生成したストロークデータを画像処理装置に送信する電子情報端末であって、
前記ストロークデータを一時的に保存する送信用記憶手段と、
前記通信ネットワークの状態を管理するネットワーク状態管理手段と、
前記ネットワーク状態管理手段が検知した前記通信ネットワークの状態に応じて、前記ストロークデータを前記送信用記憶手段から読み出して前記通信ネットワークを介して前記画像処理装置に送信する送信手段と、
前記ストロークデータに基づいて生成した第一画像を表示させる操作状態表示制御手段と、を備え、
前記操作状態表示制御手段は、前記ネットワーク状態管理手段が測定した通信ネットワーク遅延時間が所定のしきい値以上である場合に、前記第一画像を表示させる処理を実行し、所定のしきい値未満である場合に、前記操作状態表示制御手段は前記第一画像を表示させる処理を停止することを特徴とする電子情報端末。
【請求項２】
前記送信手段は、一連のストロークデータを前記画像処理装置に送信した後、前記一連のストロークデータを前記送信用記憶手段から削除することを特徴とする請求項１に記載の電子情報端末。
【請求項３】
前記操作状態表示制御手段は、前記通信ネットワークを介して前記第一画像を消去する旨を示す通知を受信した場合に、前記第一画像を消去する処理を実行することを特徴とする請求項１又は２に記載の電子情報端末。
【請求項４】
請求項１乃至３の何れか一項に記載の電子情報端末が生成した前記ストロークデータを、前記通信ネットワークを介して受信する画像処理装置であって、
前記ストロークデータに基づいて第二画像を生成する第二画像生成手段と、
前記第二画像が生成された場合に、前記電子情報端末に対して、前記第一画像を消去する旨の消去通知を送信する画像処理装置側送信手段と、を備えたことを特徴とする画像処理装置。
【請求項５】
前記第二画像に基づいて生成された映像を送信する映像送信手段を備え、
前記画像処理装置側送信手段は、前記映像が送信された場合に前記消去通知を送信することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第二画像生成手段による前記第二画像の生成時刻を検知する画像生成時刻検知手段と、
前記第二画像の生成から、前記電子情報端末に前記第二画像に基づく映像を表示させるまでの再生遅延時間を取得する再生遅延時間取得手段と、を備え、
前記画像処理装置側送信手段は、前記第二画像の生成時刻と前記再生遅延時間とを含む前記消去通知を前記電子情報端末に対して送信することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
請求項１乃至３の何れか一項に記載の電子情報端末と、
請求項４乃至６の何れか一項に記載の画像処理装置と、を含んで構成されることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子情報端末、画像処理装置、及び画像処理システムに関する。
【背景技術】
【０００２】
近年、遠隔地にある各拠点に設置された電子黒板や電子情報ボード等の電子情報端末を通信ネットワークによって接続することにより、これら電子情報端末を活用した電子会議やプレゼンテーションが広く行われている。
特許文献１には、マルチメディア会議サーバを介して、一のホワイトボード（電子情報端末）に描かれたペンストロークのデジタルデータを遠隔地にある他のホワイトボードに配信するマルチメディア会議システムが開示されている。この発明によれば、他のホワイトボードは、一のホワイトボードから受信したデジタルデータに基づいてペンストロークを描画するので、一のホワイトボードへの書き込みを遠隔地のユーザ間で共有することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１に記載の発明においては、ペンストロークデータ送信中の一のホワイトボードが通信ネットワークから切断されると、他のホワイトボードが受信するペンストロークデータの一部が消失する虞があるという問題がある。
本発明は上述の事情に鑑みてなされたものであり、ストロークデータの送信中に通信ネットワークが切断されても、ストロークデータの一部消失といった事態を回避可能な電子情報端末、送信されたストロークデータを処理する画像処理装置、及び電子情報端末と画像処理装置とを含んで構成される画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記の課題を解決するために、請求項１に記載の発明は、通信ネットワークを介して、生成したストロークデータを画像処理装置に送信する電子情報端末であって、前記ストロークデータを一時的に保存する送信用記憶手段と、前記通信ネットワークの状態を管理するネットワーク状態管理手段と、前記ネットワーク状態管理手段が検知した前記通信ネットワークの状態に応じて、前記ストロークデータを前記送信用記憶手段から読み出して前記通信ネットワークを介して前記画像処理装置に送信する送信手段と、前記ストロークデータに基づいて生成した第一画像を表示させる操作状態表示制御手段と、を備え、前記操作状態表示制御手段は、前記ネットワーク状態管理手段が測定した通信ネットワーク遅延時間が所定のしきい値以上である場合に、前記第一画像を表示させる処理を実行し、所定のしきい値未満である場合に、前記操作状態表示制御手段は前記第一画像を表示させる処理を停止することを特徴とする。
【発明の効果】
【０００５】
本発明によれば、送信手段は、ネットワーク状態管理手段が検知した通信ネットワークの状態に応じて、ストロークデータを送信用記憶手段から読み出して送信するので、ストロークデータが一部消失するといった事態を回避できる。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態に係る画像処理システムの全体構成を示した図である。
【図２】本発明の一実施形態に係る電子情報端末のハードウェア構成図である。
【図３】本発明の一実施形態に係る電子情報端末及びサーバの機能ブロック図である。
【図４】本発明の一実施形態に係る電子情報端末及びサーバの基本動作を示すシーケンス図である。
【図５】本発明の一実施形態に係る電子情報端末に表示される画面のレイヤ構成を示す図である。
【図６】本発明の一実施形態に係るサーバによる映像配信の概略を示す図である。
【図７】本発明の一実施形態に係るマウスイベントのデータ構造を示す図である。
【図８】本発明の一実施形態に係るマウスイベント送信時の処理を示すシーケンス図である。
【図９】本発明の一実施形態に係るマウスイベント送信時の処理を示すシーケンス図である。
【図１０】本発明の一実施形態に係る電子情報端末のマウスイベント送信時の動作を示したフローチャートである。
【図１１】電子情報端末とサーバとのネットワーク接続が切断された場合の画像処理例を示す模式図である。
【図１２】電子情報端末とサーバとのネットワーク接続が切断された場合の他の画像処理例を示す模式図である。
【図１３】ネットワーク状態管理部によるＬＦＢ機能のオン／オフ処理を示すフローチャートである。
【図１４】本発明の第二の実施形態に係る電子情報端末及びサーバの機能ブロック図である。
【図１５】本発明の第二の実施形態に係るマウスイベントのデータ構造の一例を示す図である。
【図１６】本発明の第二の実施形態に係る電子情報端末におけるＬＦＢストローク描画時の動作を示すフローチャートである。
【図１７】本発明の第二の実施形態に係るサーバによるＬＦＢストローク消去通知処理の一例を示すフローチャートである。
【図１８】ＬＦＢストローク消去通知を受信した電子情報端末によるＬＦＢストローク消去処理の一例を示すフローチャートである。
【図１９】サーバによるＬＦＢストローク消去通知処理の一例を示すフローチャートである。
【図２０】サーバによるＬＦＢストローク消去通知処理の一例を示すフローチャートである。
【図２１】本発明の第三の実施形態に係るサーバによるＬＦＢストローク消去通知処理の一例を示すフローチャートである。
【図２２】ＬＦＢストローク消去通知を受信した電子情報端末によるＬＦＢストローク消去処理の一例を示すフローチャートである。
【図２３】本発明の第四の実施形態に係るサーバによるＬＦＢストローク消去通知処理の一例を示すフローチャートである。
【図２４】ＬＦＢストロークが部分的に消去される様子を段階的に示した模式図である。
【発明を実施するための形態】
【０００７】
本発明の概要を説明する。本発明に係る画像処理システムは、電子情報端末とサーバとが通信ネットワークを介して接続された構成を有する。電子情報端末は、生成したストロークデータをサーバに送信し、サーバは受信したストロークデータから、当該ストロークが描画された映像を生成して電子情報端末に配信する。電子情報端末は、サーバから配信された映像をディスプレイに表示する。また、電子情報端末は、所謂ローカルフィードバック機能を有しており、電子情報端末にて生成されたストロークデータに基づくストロークを生成して、サーバから配信された映像に重ねてディスプレイに表示する。
本発明に係る画像処理システムにおいてはネットワーク状態管理部が通信ネットワークの状態を常時監視している。電子情報端末は、通信ネットワークの状態（切断／接続、品質の悪化／向上）に応じてストロークデータの送信を制御したり、ローカルフィードバック機能をオン／オフしたりする点に特徴がある。また、サーバは、通信ネットワークの状態に応じて電子情報端末から受信したストロークデータの処理を変更する点に特徴がある。
上記記載の本発明の特徴について、以下の図面を用いて詳細に解説する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
【０００８】
〔画像処理システムの全体構成〕
図１は、本発明の一実施形態に係る画像処理システムの全体構成を示した図である。本実施形態に係る画像処理システムは、ｉＰａｄ（アイパッド（登録商標）：米国アップル社製）や電子情報ボード等の電子情報端末１と、画像処理装置として機能するサーバ２と、電子情報端末１とサーバ２とを接続する通信ネットワークＮとを備えている。
電子情報端末１はタッチパネルディスプレイを備えており、電子情報端末１に手書き画像（ストローク）を描くとマウスイベント（ストロークデータ）が発生する。電子情報端末１はマウスイベントをサーバ２に送信する。サーバ２のストローク描画アプリケーションは、電子情報端末１から受信したストロークを描画した画像を生成する。サーバ２は、ストローク描画アプリケーションが生成した画像から動画を生成すると共に所定形式にエンコードした映像を電子情報端末１に配信する。電子情報端末１は、サーバ２から受信した映像をタッチパネルディスプレイに表示する。
【０００９】
〔電子情報端末のハードウェア構成〕
図２は、本発明の一実施形態に係る電子情報端末のハードウェア構成図である。なお、サーバのハードウェア構成も電子情報端末と同様であるため、説明を省略する。
電子情報端末１は、端末全体の動作を制御するＣＰＵ３０１、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ３０３を備えている。
また、電子情報端末１は、プログラム等の各種データを記憶するＨＤＤ３０４、ＣＰＵ３０１の制御にしたがってＨＤＤ３０４に対する各種データの読み出し又は書き込みを制御するＨＤＣ（Hard Disk Controller）３０５を備えている。
また、電子情報端末１は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ３０７、各種情報を表示する表示手段であるディスプレイ３０８を備えている。ディスプレイ３０８はタッチパネルディスプレイであり、電子情報端末１を操作するための操作手段としても機能する。
【００１０】
また、電子情報端末１は、通信ネットワークＮを利用してデータ送信するためのＩ／Ｆ３０９を備えている。また、電子情報端末１を操作するためのキーボード３１１やマウス３１２を備えてもよい。
また、電子情報端末１は、マイク３１３、スピーカ３１４、ＧＰＵ３１５、及び上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン３２０を備えている。
なお、電子情報端末又はサーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア３０６等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００１１】
〔電子情報端末及びサーバの機能構成〕
図３は、本発明の一実施形態に係る電子情報端末及びサーバの機能ブロック図である。
電子情報端末１は、タッチパネルディスプレイ１０１を有する。タッチパネルディスプレイ１０１は、図２のディスプレイ３０８に対応し、表示手段、及び操作手段として機能する。なお、電子情報端末１に対する操作は、タッチパネルディスプレイ１０１をタッチすることであっても良いし、タッチペンやマウス等の機器を用いて操作することであっても良い。
電子情報端末１は、タッチパネルディスプレイ１０１の操作によって発生した操作イベントを受信する操作イベント受信部１０２、サーバ２へ送信する前の操作イベントを一時的に保存する操作イベントキャッシュ１０３（送信用記憶手段）、操作イベントキャッシュ１０３から読み出した操作イベントをサーバ２に送信する操作イベント送信部１０４（送信手段）、及び通信ネットワークＮの状態を管理するネットワーク状態管理部１０５（ネットワーク状態管理手段）を有する。
ネットワーク状態管理部１０５は、通信ネットワークＮへの接続処理、切断処理、及びサーバ２からのネットワーク接続に関する各種の情報処理を実行する他、ネットワークの状態（切断／接続、品質の悪化／向上）を監視する。
電子情報端末１は、タッチパネルディスプレイ１０１から受信した操作イベントに基づいて、ストローク編集用のインターフェースや編集中のストロークの状態等をタッチパネルディスプレイ１０１に表示させるストローク編集状態表示制御部１０６（操作状態表示制御手段）を有する。なお、ストローク編集状態表示制御部１０６は、ローカルフィードバック（ＬＦＢ）と呼ばれ、操作状態表示制御手段として機能する。
【００１２】
更に電子情報端末１は、サーバ２のストローク表示・編集部２０３からイベント送信部２０４を介して送信されたイベントを受信するイベント受信部１０７、サーバ２から映像を受信する映像受信部１０８、受信した映像をタッチパネルディスプレイ１０１に表示させる映像表示制御部１０９を有する。映像受信部１０８は映像受信手段として、映像表示制御部１０９は映像表示制御手段として機能する。
サーバ２は、操作イベントを受信するイベント受信手段として機能する操作イベント受信部２０１、操作イベントを一時的に保存するための先入れ先出し型の操作イベントキュー２０２（受信用記憶手段）を有する。また、操作イベントキュー２０２から操作イベントを読み出してストロークを表示・編集するストローク表示・編集部２０３（画像データ生成手段）を有する。
【００１３】
その他にも、サーバ２は、ストローク編集中に発生したイベントを電子情報端末１に送信するイベント送信部２０４、背景画像を表示する背景画像表示部２０５を有する。また、背景画像とストロークを合成した動画を生成すると共に、この動画を所定形式にエンコード処理した映像を生成する映像合成部２０６、生成された映像を電子情報端末１に配信する映像送信部２０７を備える。映像合成部２０６は映像作成手段として機能し、映像送信部２０７は映像送信手段として機能する。また、サーバ２は通信ネットワークＮの状態を管理するネットワーク状態管理部２０８（ネットワーク状態管理手段）を有する。
ネットワーク状態管理部２０８は、通信ネットワークＮへの接続処理、切断処理、及び電子情報端末１からのネットワーク接続に関する各種の情報処理を実行する他、ネットワークの状態（切断／接続、品質の悪化／向上）を監視する。
【００１４】
〔電子情報端末及びサーバの基本動作〕
図４は、本発明の一実施形態に係る電子情報端末及びサーバの基本動作を示すシーケンス図である。なお、以下においては、操作イベントの一つであるマウスイベントの例に基づいて、基本動作を説明する。
まず、電子情報端末１のタッチパネルディスプレイ１０１に対してタッチ等によりストロークを描画すると、操作イベントとしてマウスイベントが発生する（ステップＳ１０１）。操作イベント受信部２０１はタッチパネルディスプレイ１０１からマウスイベントを受信する。マウスイベントは操作イベントキャッシュ１０３内に保存される。
操作イベント送信部１０４は、操作イベントキャッシュ１０３からマウスイベントを読み出してサーバ２に送信する（ステップＳ１０２）。
【００１５】
また、ストローク編集状態表示制御部１０６は、操作イベント受信部２０１からマウスイベントを受信し、マウスイベントに基づくストローク（ＬＦＢストローク：第一画像）を生成してタッチパネルディスプレイ１０１に表示させる（ステップＳ１０３）。
サーバ２においては、操作イベント受信部２０１がマウスイベントを受信する。ストローク表示・編集部２０３のストローク描画アプリケーションは、マウスイベントに基づいてストロークを描画した画像を順次生成する（ステップＳ２０１）。
映像合成部２０６は、背景画像表示部２０５から供給される背景画像と、ストローク描画アプリケーションによって生成された複数の画像とから動画を作成し、所定形式の映像にエンコードする（ステップＳ２０２）。
映像送信部２０７は、作成された映像を電子情報端末１に配信する（ステップＳ２０３）。
【００１６】
電子情報端末１においては、映像受信部１０８が映像を受信する。映像表示制御部１０９は映像をデコードしてタッチパネルディスプレイ１０１に表示させる（ステップＳ１０４）。
なお、説明中の「動画」とは画像を連続的に表示する一般的な動画を表すが、特に、動画の中でもＨ．２６４等の特定の形式にエンコードされたものを「映像」としている。本実施形態においては、サーバ２より電子情報端末１に配信される動画を特に映像と呼んでいる。
【００１７】
〔電子情報端末のレイヤ構成〕
図５は、本発明の一実施形態に係る電子情報端末に表示される画面のレイヤ構成を示す図である。電子情報端末１に表示される画面は、サーバから配信された映像を表示する映像表示レイヤ１０１ａと、ストローク編集用のインターフェース及び編集中のストロークの状態等を表示するローカルフィードバックレイヤ１０１ｂと、使用可能なコマンドの一覧が表示された操作パネル表示レイヤ１０１ｃとを含んで構成される。電子情報端末１のタッチパネルディスプレイ１０１には、これらのレイヤを重ね合わせた画面が表示される。
【００１８】
〔映像配信の概略説明）
図６は、本発明の一実施形態に係るサーバによる映像配信の概略を示す図である。
サーバ２の映像合成部２０６は、ストローク表示・編集部２０３が生成した各ストロークと、背景画像表示部２０５から供給される背景画像とを合成して、複数の合成画像を含む動画を生成する。また、映像合成部２０６は動画をＨ．２６４（動画圧縮符号化方式）やＭＰＥＧ−４（携帯端末用の動画圧縮符号化方式）等の所定の形式にエンコード処理して映像化する。映像送信部２０７は、エンコードされた映像データを電子情報端末１に配信する。
電子情報端末１では、映像受信部１０８が映像データを受信すると共にデコード処理を実行する。映像表示制御部１０９は、デコード処理された映像データをタッチパネルディスプレイ１０１に表示させる。
【００１９】
〔操作イベントのデータ構造〕
電子情報端末とサーバとの間で送受信される操作イベントのデータ構造について説明する。以下、データ構造について、操作イベントの一例であるマウスイベントの例により説明する。図７は、本発明の一実施形態に係るマウスイベントのデータ構造を示す図である。
各マウスイベントは、イベント名、イベントの発生日時、サーバに対するイベントの送信日時、及び発生したイベントの座標情報の他、操作したページの情報を含む。
イベントの座標情報は、タッチパネルディスプレイ１０１の座標位置を示す情報であり、タッチパネルディスプレイ１０１が有する座標検知手段によって検知されたものである。
操作ページは、サーバ２の背景画像表示部２０５から供給される背景画像（図６参照）が複数のページから構成される場合に、操作対象となるページ位置を示す情報である。
【００２０】
仮に、ある電子情報端末１ａが通信ネットワークから切断されている間に、電子情報端末１ａからページ１に対してストロークを描画してマウスイベントが発生したとする。その間、他の電子情報端末１ｂからの操作によりサーバ２から配信される映像の背景がページ２に切り換えられたとする。電子情報端末１ａが通信ネットワークに再接続してマウスイベントをサーバに送信した場合であっても、マウスイベントは操作ページの情報を含むので、サーバは正しい操作ページに対してマウスイベントを適用することができる。
なお、Ｍｏｕｓｅイベントの代わりに、Ｓｔｙｌｕｓイベント（Ｓｔｙｌｕｓ＿Ｄｏｗｎ、Ｓｔｙｌｕｓ＿Ｍｏｖｅ、Ｓｔｙｌｕｓ＿Ｕｐ）等を用いることもできる。
【００２１】
〔ネットワーク正常時のマウスイベントの処理〕
図８は、本発明の一実施形態に係るマウスイベント送信時の処理を示すシーケンス図である。図８は、電子情報端末が通信ネットワークに正常に接続されている場合の例である。
タッチパネルディスプレイ１０１に対してストロークの描画を実行すると、操作イベントとしてマウスイベントが発生する。マウスイベントは操作イベント受信部２０１によって受信された後、操作イベントキャッシュ１０３に一時的に保存される。電子情報端末１とサーバ２が通信ネットワークＮを介して正常に接続されている場合、操作イベント送信部１０４は、マウスイベントを順次操作イベントキャッシュ１０３から読み出してサーバ２に送信する。
【００２２】
タッチパネルディスプレイ１０１によってタッチパネルディスプレイ１０１に対するタッチペンの接触、即ちペンダウンが検知されたとき、マウスイベントＭｏｕｓｅＤｏｗｎが発生する。マウスイベントＭｏｕｓｅＤｏｗｎは操作イベント送信部１０４によってサーバ２に送信される。
タッチパネルディスプレイ１０１によってタッチパネルディスプレイ１０１に対するタッチペンを接触させたままの移動、即ちペンムーブが検知されたとき、マウスイベントＭｏｕｓｅＭｏｖｅが発生する。マウスイベントＭｏｕｓｅＭｏｖｅは操作イベント送信部１０４によってサーバ２に送信される。ＭｏｕｓｅＭｏｖｅは１つのストローク描画中に連続的に発生し、各ＭｏｕｓｅＭｏｖｅは順次サーバ２に送信される
タッチパネルディスプレイ１０１によってタッチパネルディスプレイ１０１に対するタッチペンの離間、即ちペンアップが検知されたとき、マウスイベントＭｏｕｓｅＵｐが発生する。マウスイベントＭｏｕｓｅＵｐは操作イベント送信部１０４によってサーバ２に送信される。
【００２３】
１つのストロークの描画はペンダウンによって開始され、ペンダウンによって終了する。従って１つのストロークは、マウスイベントＭｏｕｓｅＤｏｗｎ、ＭｏｕｓｅＭｏｖｅ、及びＭｏｕｓｅＵｐを含み、これらのマウスイベントは一連のマウスイベントとして認識される。一連のマウスイベントは、１つのＭｏｕｓｅＤｏｗｎイベント、少なくとも１つのＭｏｕｓｅＭｏｖｅイベント、１つのＭｏｕｓｅＵｐイベントを含んで構成される。
一連のマウスイベントが全てサーバ２に送信された場合、操作イベント送信部１０４は、操作イベントキャッシュ１０３から送信が完了した一連のマウスイベントを削除する。
【００２４】
例えば、順次発生する一連のマウスイベントである１つのＭｏｕｓｅＤｏｗｎ、少なくとも１つのＭｏｕｓｅＭｏｖｅ、及び１つのＭｏｕｓｅＵｐは、夫々操作イベントキャッシュ１０３に一時的に保存された後に順次サーバ２に送信される。一連のマウスイベントのうち最後のマウスイベントＭｏｕｓｅＵｐがサーバ２に送信された場合、操作イベント送信部１０４は、操作イベントキャッシュ１０３から一連のマウスイベントであるＭｏｕｓｅＤｏｗｎ、ＭｏｕｓｅＭｏｖｅ、及びＭｏｕｓｅＵｐを削除する。
【００２５】
また、サーバ２においては、電子情報端末１から送信されたマウスイベントを操作イベント受信部２０１が受信して、操作イベントキュー２０２に一時的に保存する。ストローク表示・編集部２０３は、操作イベントキュー２０２からマウスイベントを順次読み出して、マウスイベントに基づいてストロークの画像データを生成する。
【００２６】
〔ネットワーク切断時のマウスイベントの処理〕
図９は、本発明の一実施形態に係るマウスイベント送信時の処理を示すシーケンス図である。本実施形態に係る電子情報端末１の操作イベント送信部１０４は、ネットワーク切断中のマウスイベントを操作イベントキャッシュ１０３に保存しておき、通信ネットワークが再度接続されたときに、操作イベントキャッシュ１０３内の一連のマウスイベントを最初から順次サーバに送信する点に特徴がある。
タッチパネルディスプレイ１０１に対する操作に伴って操作イベントが発生した場合、発生した操作イベントはサーバ２に送信される前に一時的に操作イベントキャッシュ１０３に保存される。通信ネットワークＮの状態は、常時ネットワーク状態管理部１０５が監視しており、操作イベント送信部１０４の動作は通信ネットワークＮの状態に応じて変化する。
【００２７】
ネットワーク状態管理部１０５が通信ネットワークの切断を検知した場合、操作イベント送信部１０４は、サーバ２に対するマウスイベントの送信を中断する。通信ネットワークの切断中にタッチパネルディスプレイ１０１に対する操作が継続している場合はマウスイベントが発生するが、これらのマウスイベントは順次操作イベントキャッシュ１０３に保存される。
例えば、一連のマウスイベントの送信中に、ネットワーク状態管理部１０５が通信ネットワークの切断を検知した場合の電子情報端末１とサーバ２の動作は以下のようになる。
電子情報端末１の操作イベント送信部１０４は、サーバ２に対する一連のマウスイベントの送信を完了できないため、対応するイベントを操作イベントキャッシュ１０３から削除する処理を実行しない。
【００２８】
また、ストローク編集状態表示制御部１０６は、操作イベント受信部２０１から受信した操作イベントに基づく画像をタッチパネルディスプレイ１０１に表示させる処理を実行する。即ち、操作イベントは電子情報端末に反映されるが、サーバ２側には反映されない状態となる。
一方、サーバ２においては、ネットワーク状態管理部２０８が通信ネットワークＮの切断を検知した場合に、ストローク表示・編集部２０３は不完全な一連のマウスイベントを操作イベントキュー２０２から削除する処理を実行する。ストローク表示・編集部２０３が削除した不完全な一連のマウスイベントについて画像データの生成は実行されない。
電子情報端末１のネットワーク状態管理部１０５が通信ネットワークの接続を検知した場合、操作イベント送信部１０４は、操作イベントキャッシュ１０３から操作イベントを順次読み出してサーバ２に送信する。このとき、操作イベント送信部１０４は一連の操作イベントを最初から（ＭｏｕｓｅＤｏｗｎイベントから）読み出してサーバ２に送信する。これにより、通信ネットワークの再接続後に完全な状態の一連の操作イベントがサーバ２に送信されるので、サーバ２のストローク表示・編集部２０３が描画するストロークの画像は途切れない。
一連の操作イベントが全てサーバ２に送信された後、操作イベント送信部１０４は、操作イベントキャッシュ１０３から当該一連の操作イベントを削除する。
【００２９】
一方、サーバ２においては、電子情報端末１から送信されたマウスイベントを操作イベント受信部２０１が受信して、操作イベントキュー２０２に一時的に保存する。ストローク表示・編集部２０３は、操作イベントキュー２０２からマウスイベントを順次読み出して、マウスイベントに基づいてストロークの画像データを生成する。
【００３０】
〔イベント送信時の動作フロー〕
電子情報端末１の操作イベント送信部１０４、及びネットワーク状態管理部１０５の動作について説明する。図１０は、本発明の一実施形態に係る電子情報端末のマウスイベント送信時の動作を示したフローチャートである。なお、以下では通信プロトコルとしてＴＣＰ／ＩＰを利用する場合の例により、各部の動作を説明する。
ステップＳ１において操作イベント送信部１０４は、操作イベントキャッシュ１０３からマウスイベントを取り出す。即ち、操作イベント送信部１０４は、操作イベントキャッシュ１０３内に保存されているマウスイベントのうち、送信対象となるマウスイベントのコピーを生成する。
ステップＳ３において操作イベント送信部１０４は、操作イベントキャッシュ１０３から取り出されたマウスイベントをサーバ２に送信する。
ステップＳ５においてネットワーク状態管理部１０５は、操作イベント送信部１０４による１つのマウスイベントの送信処理毎に当該マウスイベントの送信が成功したか否かを確認する。即ち、ネットワーク状態管理部１０５は、サーバ２から正常確認の応答ＡＣＫ（ａｃｋｎｏｗｌｅｄｇｅ）を含むパケットが、操作イベント送信部１０４によるマウスイベントデータの送信から所定の時間内に返送されてきたか否かを確認する。
【００３１】
正常確認の応答ＡＣＫを所定時間内に受信した場合、ネットワーク状態管理部１０５は操作イベントの送信が成功したと判断し（ステップＳ５においてｙｅｓ）、ステップＳ７の処理が実行される。
ステップＳ７において操作イベント送信部１０４は、一連の操作イベントが全て送信されたか否かを確認する。
一連の操作イベントのうち、送信されていない操作イベントが存在する場合（ステップＳ７においてｎｏ）、操作イベント送信部１０４はステップＳ１以下の処理を実行する。
一連の操作イベントの全てが送信された場合（ステップＳ７においてｙｅｓ）、操作イベント送信部１０４は、一連の操作イベントを操作イベントキャッシュ１０３から削除する処理を実行する（ステップＳ９）。
なお、送信するべき新たな一連の操作イベントが存在する場合は、ステップＳ１以降の処理が続けて実行されることになる。
【００３２】
正常確認の応答ＡＣＫがサーバから所定時間内に受信できずにタイムアウトした場合にネットワーク状態管理部１０５は、操作イベントの送信に失敗したと判断する（ステップＳ５においてｎｏ）。
ステップＳ１１において操作イベント送信部１０４は、操作イベントの送信を一時停止する。
ステップＳ１３においてネットワーク状態管理部１０５は、サーバ２に対して接続確認処理を実行する。具体的には、ネットワーク状態管理部１０５はサーバ２に対して接続要求をするＳＹＮ（ｓｙｎｃｈｒｏｎｉｚｅ）フラグを１にセットしたＳＹＮパケットを送信する。
ステップＳ１５においてネットワーク状態管理部１０５は、サーバ２から所定時間内にＳＹＮフラグ及びＡＣＫフラグが１にセットされたＳＹＮ／ＡＣＫパケットが返送されるか否かを確認する。
【００３３】
サーバ２からＳＹＮ／ＡＣＫパケットが所定時間内に受信できずにタイムアウトした場合（ステップＳ１５においてｎｏ）、ネットワーク状態管理部１０５は一定時間毎にステップＳ１３の処理を実行する。
サーバ２からＳＹＮ／ＡＣＫパケットを所定時間内に受信した場合（ステップＳ１５においてｙｅｓ）、操作イベント送信部１０４は、ステップＳ１以下の処理を実行する。
ここで、通信ネットワーク再接続後におけるステップＳ１の処理では、操作イベント送信部１０４は一連のマウスイベントを最初から、即ちＭｏｕｓｅＤｏｗｎイベントからサーバ２に対して再送信する。
【００３４】
〔ページ編集例〜１〕
本発明の実施形態に係る画像処理システムによる画像処理例について説明する。図１１は、電子情報端末とサーバとのネットワーク接続が切断された場合の画像処理例を示す模式図である。
図１１には、画像処理システムが１台のサーバ２、２台の電子情報端末１ａ、１ｂを有し、電子情報端末１ａのタッチパネルディスプレイにストロークが描画され、ストロークデータがサーバを介して電子情報端末１ｂのタッチパネルディスプレイに反映される場合の例を示している。
時刻ｔ１においては、サーバ２と２台の電子情報端末１ａ、１ｂが正常にネットワーク接続されているため、各装置の画面は同期され、ページ１の画像を背景画像としてストロークＳａが描画された状態となっている。
ここで時刻ｔ２において電子情報端末１ａのみが通信ネットワークから切断され、オフラインの状態となったとする。電子情報端末１ａには新規のストロークＳｂが描画されたが、電子情報端末１ａがオフラインであるため、サーバ２と電子情報端末１ｂにストロークＳｂは反映されない。
時刻ｔ３において電子情報端末１ｂに新規のストロークＳｃが描画され、ストロークＳｃのデータがサーバ２に送信されたとする。この場合、サーバ２と電子情報端末１ｂの画面は同期するが、オフラインである電子情報端末１ａの画面にストロークＳｃは反映されない。
時刻ｔ４において、電子情報端末１ａのネットワーク接続が回復したとする。ストロークＳｂは電子情報端末１ａからサーバ２に送信される。サーバ２はストロークＳｃに加えてストロークＳｂが描画された映像を電子情報端末１ａ、１ｂに配信するため、サーバ２と電子情報端末１ａ、１ｂの画面は同期し、各装置にストロークＳａ〜Ｓｃが描画される。
【００３５】
〔ページ編集例〜２〕
図１２は、電子情報端末とサーバとのネットワーク接続が切断された場合の他の画像処理例を示す模式図である。本例は、通信ネットワークの切断中に、電子情報端末側で表示するページを切り換えた場合の画像処理例を示す。
時刻ｔ１においては、サーバ２と２台の電子情報端末１ａ、１ｂが正常にネットワーク接続されているため、各装置の画面は同期され、ページ１の画像を背景画像としてストロークＳａが描画された状態となっている。
【００３６】
ここで時刻ｔ２において電子情報端末１ａのみが通信ネットワークから切断され、オフラインの状態となったとする。電子情報端末１ａには新規のストロークＳｂが描画されたが、電子情報端末１ａがオフラインであるため、サーバ２と電子情報端末１ｂにストロークＳｂは反映されない。
時刻ｔ３において、電子情報端末１ｂにおいて表示するページをページ２に切り換えるイベントが発生し、当該イベントがサーバ２に対して送信されたとする。サーバ２は、当該イベントに基づいてページ２を表示する映像を生成し、各電子情報端末１ａ、１ｂに配信する。オンラインの電子情報端末１ｂは映像を受信して、サーバ２の画面と同期するが、電子情報端末１ａはオフライン中であるため、電子情報端末１ａの画面にはページ２への表示切り替えは反映されない。
時刻ｔ４において電子情報端末１ａが通信ネットワークに再接続すると、電子情報端末１ａはサーバ２から配信された映像を受信するので、電子情報端末１ａのタッチパネルディスプレイにはページ２が表示される。また、電子情報端末１ｂからストロークＳｃを描画した場合、ストロークデータがサーバ２によってページ２に反映され、各装置の画面が同期する。
【００３７】
また時刻ｔ４において電子情報端末１ａは、時刻ｔ２においてページ１に描画されたストロークＳｂのデータをサーバ２に対して送信する。サーバ２は、ストロークＳｂのデータをページ１に描画した画像データを生成するが、画面にはページ２を表示しているため、視覚的にはストロークＳｂのデータは反映されない。
時刻ｔ５において電子情報端末１ａ、１ｂの何れかにおいて、表示するページをページ１に切り換えるイベントが発生し、当該イベントがサーバ２に対して送信されたとする。サーバ２は、当該イベントに基づいてページ１を表示する映像を生成し、各電子情報端末１ａ、１ｂに配信する。このとき、サーバ２は時刻ｔ４において電子情報端末１ａから送信されたストロークＳｂを含む映像を生成し、電子情報端末１ａ、１ｂにはストロークＳｂが表示される。
【００３８】
〔ローカルフィードバック機能のオン／オフ制御〕
本発明の実施形態に係る電子情報端末は、ローカルフィードバック機能（ＬＦＢ機能）を有しているため、通信ネットワークが切断された場合であっても、端末に描画されたマウスイベントをはじめとする各種の操作イベントをタッチパネルディスプレイに表示することができた。しかし、電子情報端末に対する負荷を軽減するため、不要な場合にはＬＦＢ機能をオフにすることが望ましい。
そこで、本実施形態においては、ネットワーク遅延を定期的に測定し、遅延が十分に小さい場合は、ＬＦＢ機能を停止する。逆に、遅延が大きくなった場合はＬＦＢ機能を開始するように構成する。
【００３９】
以下、ＬＦＢ機能のオン／オフ制御について説明する。図１３は、ネットワーク状態管理部によるＬＦＢ機能のオン／オフ処理を示すフローチャートである。
ステップＳ２１において、ネットワーク状態管理部１０５はネットワーク遅延時間（ＲＴＴ：ラウンドトリップタイム）を測定する。即ち、ネットワーク状態管理部１０５は、サーバ２に対してデータ転送を要求し、その結果が返送されるまでの時間を測定する。
ステップＳ２３においてネットワーク状態管理部１０５は、遅延時間ＲＴＴが所定のしきい値未満であるか否かを確認する。
遅延時間ＲＴＴが所定のしきい値未満である場合（ネットワーク遅延が小さい場合：ステップＳ２３においてｙｅｓ）、ネットワーク状態管理部１０５は、ストローク編集状態表示制御部１０６に対して動作を停止させる命令信号を送信し、ＬＦＢ機能をオフにする
（ステップＳ２５）。
【００４０】
遅延時間ＲＴＴが所定のしきい値以上である場合（ネットワーク遅延が小さい場合：ステップＳ２３においてｎｏ）、ネットワーク状態管理部１０５は、ストローク編集状態表示制御部１０６に対して動作を開始させる命令信号を送信し、ＬＦＢ機能をオンにする（ステップＳ２７）。
なお、ネットワーク状態管理部１０５による通信ネットワークの遅延時間測定は、一定時間ごとに実施される。
【００４１】
本実施形態によれば、ネットワーク遅延時間が十分に小さい場合にはＬＦＢ機能をオフにするので電子情報端末の負荷を低減することができる。逆に、ネットワーク遅延時間が大きい場合にはＬＦＢ機能をオンにするので、利便性を向上できる。
【００４２】
〔ネットワーク切断時のマウスイベントの処理〜２〕
ネットワーク切断時におけるサーバによるマウスイベントの他の処理例について、図９を参照しながら説明する。
上記実施形態においては、ネットワーク状態管理部２０８が通信ネットワークＮの切断を検知した場合に、不完全な一連のマウスイベントについて画像データ生成しないようにした。
しかし、サーバ２のネットワーク状態管理部２０８が通信ネットワークＮの切断を検知した場合にストローク表示・編集部２０３は、不完全な一連のマウスイベントのうち、受信済みのマウスイベントに基づいて画像データを生成するようにしてもよい。このように処理することによって、電子情報端末１が通信ネットワークＮから切断される直前までのストロークデータを、画像データに反映できる。
【００４３】
〔第二の実施形態〕
本発明の第二の実施形態に係る画像処理システムについて説明する。本実施形態に係る画像処理システムは、サーバが電子情報端末から送信されたマウスイベントに基づいてストロークを描画する等の処理を実行した場合に、電子情報端末に対して電子情報端末側で描画したＬＦＢストロークを消去するように通知する点に特徴がある。
以下、上記実施形態と同様の構成についての説明は適宜省略する。
【００４４】
＜電子情報端末及びサーバの機能構成＞
図１４は、本発明の第二の実施形態に係る電子情報端末及びサーバの機能ブロック図である。なお、図３と同一の構成については同一の符号を付し、主として相違する構成について説明する。
サーバ２は、ストローク描画検知部２１１と画像取得検知部２１２とを備える。
ストローク描画検知部２１１は、ストローク表示・編集部２０３によるストロークの描画状態を検知する手段である。ストローク表示・編集部２０３が、一連のストロークの描画を完了した場合、即ちマウスイベントＭｏｕｓｅＵｐが示す位置座標にストロークを描画した場合に、一連のストロークの描画が完了したことを検知する。
画像取得検知部２１２は、ストローク表示・編集部２０３によって生成された画像を映像合成部２０６が取得したか否かを検知する手段である。
本実施形態における電子情報端末１は、送信用操作イベントキャッシュ１０３、及びネットワーク状態管理部１０５を備えていない点で、図３に示した電子情報端末とは構成が異なる。また、本実施形態におけるサーバ２は、操作イベントキュー２０２、及びネットワーク状態管理部２０８を備えていない点で図３に示したサーバとは構成が異なる。しかし、本実施形態に係る電子情報端末１とサーバ２は上記構成を備えてもよい。
【００４５】
＜操作イベントのデータ構造＞
図１５は、本発明の第二の実施形態に係るマウスイベントのデータ構造の一例を示す図である。
本実施形態においてサーバに送信される各マウスイベントは、図７にて説明した情報の他にＬＦＢストロークＩＤを含む。ＬＦＢストロークＩＤは、一連のストロークを示す一意のＩＤであり、一連のストロークを構成するマウスイベントには夫々同一のＬＦＢストロークＩＤが付与される。
【００４６】
＜ＬＦＢストローク描画時の処理＞
図１６は、本発明の第二の実施形態に係る電子情報端末におけるＬＦＢストローク描画時の動作を示すフローチャートである。なお、基本的な動作は図４にて説明した通りである。
電子情報端末１のタッチパネルディスプレイ１０１に対してタッチ等によりストロークを描画すると、操作イベントとしてマウスイベントが発生する（図４のステップＳ１０１に対応）。
ステップＳ３１において、操作イベント受信部１０２は、発生したマウスイベントをタッチパネルディスプレイ１０１から受信する。操作イベント受信部１０２は、発生したマウスイベントに対してＬＦＢストロークＩＤを付与する。マウスイベントのデータ構造は図１５に示した通りである。
ステップＳ３２において、操作イベント送信部１０４は、操作イベント受信部１０２からマウスイベントを受信して、サーバ２に送信する（ステップＳ３３）。このマウスイベントはＬＦＢストロークＩＤを含むものである。本ステップは、図４のステップＳ１０２に対応する。
ステップＳ３３において、ストローク編集状態表示制御部１０６は、操作イベント受信部１０２からＬＦＢストロークＩＤの情報を含むマウスイベントを受信して、マウスイベントに基づくストロークを生成してタッチパネルディスプレイ１０１に表示させる。本ステップは、図４のステップＳ１０３に対応する。
【００４７】
＜ＬＦＢストローク消去通知処理＞
図１７は、本発明の第二の実施形態に係るサーバによるＬＦＢストローク消去通知処理の一例を示すフローチャートである。
ステップＳ４１において、サーバ２の操作イベント受信部２０１は、電子情報端末１から送信されたマウスイベントを受信する。
ステップＳ４２において、ストローク表示・編集部２０３は、操作イベント受信部２０１から受信したマウスイベントに基づくストロークを描画した画像を生成する。本ステップは、図４のステップＳ２０１に対応する。
ストローク表示・編集部２０３は、マウスイベントＭｏｕｓｅＤｏｗｎを受信した場合には、新たな一連のストロークを生成し、受信したマウスイベントに含まれる位置座標を始点とするストロークを描画する。ストローク表示・編集部２０３は、ＭｏｕｓｅＤｏｗｎ以外のマウスイベントを受信した場合には、既に生成されている一連のストローク中に受信したマウスイベントに含まれる位置座標を追加したストロークを描画する。
【００４８】
ステップＳ４３において、ストローク描画検知部２１１は、ストローク表示・編集部２０３による一連のストロークの描画が完了したか否かを判定する。
ストローク描画検知部２１１が、ストローク表示・編集部２０３による一連のストロークの描画が完了したことを検知した場合（ステップＳ４３にてＹＥＳ）は、ステップＳ４４の処理が実行される。即ち、ストローク表示・編集部２０３がマウスイベントＭｏｕｓｅＵｐに基づくストロークを描画した場合に、ストローク描画検知部２１１はこれを検知し、一連のストロークの描画が完了したと判定する。
一連のストロークの描画が完了したことをストローク描画検知部２１１が検知しない場合（ステップＳ４３にてＮＯ）は、ステップＳ４１、ステップＳ４２の処理が実行される。即ち、ストローク表示・編集部２０３がマウスイベントＭｏｕｓｅＤｏｗｎ、及びＭｏｕｓｅＭｏｖｅに基づくストロークを描画した場合に、ストローク描画検知部２１１はこれを検知し、一連のストロークの描画が完了していないと判定する。
【００４９】
ステップＳ４４において、ストローク描画検知部２１１は、一連のストロークの描画が完了したこと、及び、描画が完了した一連のストロークのＬＦＢストロークＩＤをイベント送信部２０４に通知する。ＬＦＢストロークＩＤは、ストローク表示・編集部２０３から取得される。
ステップＳ４５−１において、画像取得検知部２１２は、ストローク表示・編集部２０３によって生成された画像を映像合成部２０６が取得したか否かを検知する。検知した場合（ステップＳ４５−１にてＹＥＳ）は、ステップＳ４６の処理が実行される。
ステップＳ４６において、イベント送信部２０４は、消去対象のＬＦＢストロークのＩＤを含むＬＦＢストローク消去通知を電子情報端末１に送信する。
【００５０】
＜映像の生成から映像の再生まで＞
サーバ２における映像の生成と配信処理については、図４のステップＳ２０２、及びＳ２０３と同様である。
また、電子情報端末１における映像のデコード及び表示処理については、図４のステップＳ１０４と同様である。
【００５１】
＜ＬＦＢストローク消去処理＞
図１８は、ＬＦＢストローク消去通知を受信した電子情報端末によるＬＦＢストローク消去処理の一例を示すフローチャートである。
ステップＳ５１において、イベント受信部１０７は、サーバ２からＬＦＢストローク消去通知を受信し、ストローク編集状態表示制御部１０６に通知する。
ステップＳ５２において、ストローク編集状態表示制御部１０６は、ＬＦＢストローク消去通知に含まれるＬＦＢストロークＩＤと同一のＩＤを有するＬＦＢストロークを消去する処理を実行する。
なお、ストローク編集状態表示制御部１０６は、ＬＦＢストローク消去通知を受信した直後に対象のＬＦＢストロークを消去するのではなく、消去通知の受信後一定時間経過後に対象のＬＦＢストロークを消去する構成としてもよい。また、ストローク編集状態表示制御部１０６は、ＬＦＢストロークを消去する際に、ＬＦＢストロークが徐々に消えていくフェードアウトアニメーションを実行すると、背景の映像にスムーズに切り替えることができて好適である。
【００５２】
＜効果＞
いわゆるＬＦＢ機能では、電子情報端末側で一時的に描画したＬＦＢストロークを一定時間後にフェードアウトさせる。ＬＦＢストロークのフェードアウトタイミングが適切に制御されていない場合は、ストロークの描画された映像が表示される前にＬＦＢストロークをフェードアウトさせたり、ＬＦＢストロークをフェードアウトさせる時間が長くなりすぎる等の違和感を生じさせるといった問題を引き起こす虞がある。
本実施形態においては、サーバの映像合成部がストロークの描画された画像を取得した場合に、当該ストロークに対応するＬＦＢストロークの消去通知を電子情報端末に送信する。電子情報端末では、消去通知を受信してから通知されたＩＤを有するＬＦＢストロークを消去する。以上の制御により、電子情報端末では、自然且つ違和感のないタイミングでＬＦＢストロークを消去することができる。
【００５３】
〔第二の実施形態の変形例１〕
第二の実施形態において、映像合成部２０６が画像を取得して動画を生成し、所定形式の映像にエンコードするまでには時間がかかる。
そこで、イベント送信部２０４にタイマー手段を備え、映像合成部２０６がストローク表示・編集部２０３から画像を取得したことを画像取得検知部２１２が検知した時から所定の時間を計時し、画像取得検知部２１２の検知タイミングから所定の時間を遅延させてからＬＦＢストローク消去通知を電子情報端末１に対して送信するようにしてもよい。
本態様によっても、電子情報端末側では、自然且つ違和感のないタイミングでＬＦＢストロークを消去することができる。
【００５４】
〔第二の実施形態の変形例２〕
第二の実施形態において、映像合成部２０６が画像を取得して動画を生成し、所定形式の映像にエンコードするまでには時間がかかる。そこで、サーバ２の画像取得検知部２１２を映像生成検知手段として機能させ、映像合成部２０６が取得した画像に基づく映像を生成したことを検知するようにしてもよい。
図１９は、サーバによるＬＦＢストローク消去通知処理の一例を示すフローチャートである。図１７に示すフローチャートと異なる点についてのみ説明する。
ステップＳ４５−２において画像取得検知部２１２が、映像を生成したことを検知した場合（ステップＳ４５−２にてＹＥＳ）に、ステップＳ４６の処理が実行されることになる。
本態様によっても、電子情報端末側では、自然且つ違和感のないタイミングでＬＦＢストロークを消去することができる。
【００５５】
〔第二の実施形態の変形例３〕
第二の実施形態において、映像合成部２０６が画像を取得して動画を生成し、所定形式の映像にエンコードするまでには時間がかかる。
そこで図１４に示すように、サーバ２には、映像送信部２０７による映像の送信状態を検知する映像送信検知部２１３を設けてもよい。映像送信検知部２１３は、映像送信部２０７が一連のストロークに係る映像の送信を完了した場合に、その旨を検知する。
図２０は、サーバによるＬＦＢストローク消去通知処理の一例を示すフローチャートである。図１７に示すフローチャートと異なる点についてのみ説明する。
ステップＳ４５−３において、映像送信検知部２１３は、映像合成部２０６が生成した映像のうち、一連のストロークを含むフレーム部分を、映像送信部２０７が電子情報端末１に対して送信したか否かを検知する。検知した場合（ステップＳ４５−３にてＹＥＳ）は、ステップＳ４６の処理が実行される。なお、映像合成部２０６が生成した映像とは、映像合成部２０６がストローク表示・編集部２０３から取得した画像に基づいて生成した映像である。
以上のように本実施形態によれば、映像送信部２０７が映像の送信を完了した場合に、イベント送信部２０４からＬＦＢストローク消去通知を送信するようにしたので、電子情報端末側では、自然且つ違和感のないタイミングでＬＦＢストロークを消去することができる。
【００５６】
〔第二の実施形態の変形例４〕
第二の実施形態、及びその変形例１〜３においては、サーバ２がストロークを描画した画像を生成した場合に、ＬＦＢストローク消去通知を電子情報端末１に対して送信した。しかし、サーバ２は、電子情報端末１からマウスイベントを受信した場合に、ストロークを描画する動作を実行する前に、ＬＦＢストローク消去通知を電子情報端末１に対して送信してもよい。
この場合、電子情報端末１は、ＬＦＢストローク消去通知の受信後一定時間経過後に対象のＬＦＢストロークを消去する構成とする。なお、ここにいう「一定時間」は、ＬＦＢストローク消去通知を受信してから、消去対象となるＬＦＢストロークに対応するストロークを含む映像がサーバ２から送信され、電子情報端末１側でこの映像を表示するまでに必要な時間以上に設定される。
本実施形態によれば、サーバ２側の動作を単純化しながらも、電子情報端末では、自然且つ違和感のないタイミングでＬＦＢストロークを消去することができる。
【００５７】
〔第三の実施形態〕
本発明の第三の実施形態について説明する。本実施形態においては、電子情報端末に映像を再生させる時刻を規定する再生遅延時間を設定することによって、複数の電子情報端末間で同時に映像を再生させる場合に、再生遅延時間に合わせてＬＦＢストロークの消去タイミングを調整するようにした点に特徴がある。
【００５８】
本実施形態においてサーバ２は、複数の電子情報端末１間で映像を同時に再生させるために、電子情報端末１毎に再生遅延時間を設定する。再生遅延時間とは、サーバ２と電子情報端末１との間の時刻ずれを考慮して決定される時間である。再生遅延時間は、ストローク表示・編集部２０３によって生成された画像を映像合成部２０６が取得した時刻を基準として、電子情報端末１が映像の再生を開始するまでの時間間隔を示すものである。
このように、映像合成部２０６が画像を取得した時刻に対して再生遅延時間を加算することにより得られた時刻に映像を再生するように制御することで、複数の電子情報端末１間で同時に映像を再生することができる。
再生遅延時間は、電子情報端末１とサーバ２との通信開始時に、サーバ２に設定された時刻と電子情報端末１に設定された時刻とのずれに基づいてサーバ２の映像送信部２０７が設定するため、映像送信部２０７は再生遅延時間設定手段として機能する。また、映像送信部２０７は再生遅延時間を保持する。
【００５９】
本実施形態におけるサーバ２は、図１４に示すように、ストローク表示・編集部２０３によって生成された画像を映像合成部２０６が取得した画像取得時刻を検知する画像取得時刻検知部２１４を備える。
また、映像送信部２０７は、電子情報端末１ごとに再生遅延時間を設定し保持する手段として機能する。
イベント送信部２０４は、映像送信部２０７から再生遅延時間を取得する再生遅延時間取得手段として機能する。イベント送信部２０４は、画像取得時刻検知部２１４が取得した画像取得時刻と、映像送信部２０７から取得した再生遅延時間とをＬＦＢストローク消去通知に含めて電子情報端末１に送信する。
本実施形態において各電子情報端末１は、夫々映像の再生時刻を明確に認識できるので、ＬＦＢストロークの消去タイミングは、電子情報端末１ごとに調整される。
【００６０】
＜ＬＦＢストローク消去通知処理＞
図２１は、本発明の第三の実施形態に係るサーバによるＬＦＢストローク消去通知処理の一例を示すフローチャートである。図１７と同一のステップには同一の番号を付してその説明を省略する。
サーバ２の各部は、ステップＳ４１〜Ｓ４５−１までの処理を実行する。
ステップＳ４５−１において、画像取得検知部２１２が、映像合成部２０６が画像を取得したことを検知した場合（ステップＳ４５−１にてＹＥＳ）は、ステップＳ６１の処理が実行される。
ステップＳ６１において、画像取得時刻検知部２１４は、映像合成部２０６が、ストローク表示・編集部２０３からの画像を取得した時刻を検知し、これを取得する。画像取得時刻検知部２１４が取得した時刻は、イベント送信部２０４に通知される。
ステップＳ６２において、イベント送信部２０４は、映像送信部２０７が保持する再生遅延時間を取得する。
ステップＳ４６においてイベント送信部２０４は、ＬＦＢストローク消去通知を電子情報端末１に送信する。本実施形態におけるＬＦＢストローク消去通知には、消去対象のＬＦＢストロークＩＤの他に、画像取得時刻、及び再生遅延時間を含む点が図１７に示した処理と異なる。
【００６１】
＜ＬＦＢストローク消去処理＞
図２２は、ＬＦＢストローク消去通知を受信した電子情報端末によるＬＦＢストローク消去処理の一例を示すフローチャートである。図１８と同一のステップには同一の番号を付す。
ステップＳ５１において、イベント受信部１０７は、サーバ２からＬＦＢストローク消去通知を受信し、ストローク編集状態表示制御部１０６に通知する。
ステップＳ７１において、ストローク編集状態表示制御部１０６は、画像取得時刻に再生遅延時間を加算した時刻になったか否かを判定する。当該時刻となった場合（ステップＳ７１にてＹＥＳ）は、ステップＳ５２の処理を実行する。
ステップＳ５２において、ストローク編集状態表示制御部１０６は、ＬＦＢストローク消去通知に含まれるＬＦＢストロークＩＤと同一のＩＤを有するＬＦＢストロークを消去する処理を実行する。
【００６２】
＜効果＞
以上のように本実施形態によれば、複数の電子情報端末で同時に映像を再生できるように再生遅延時間を設定した場合に、ストローク編集状態表示制御部１０６に再生遅延時間を通知することで、映像の再生と同時にＬＦＢストロークを消去することができる。従って、違和感のない映像を表示することができる。
【００６３】
〔第四の実施形態〕
本発明の第四の実施形態について説明する。本実施形態においては、ＬＦＢストローク消去通知をマウスイベント毎に送信する点に特徴がある。
【００６４】
＜ＬＦＢストローク消去通知処理＞
図２３は、本発明の第四の実施形態に係るサーバによるＬＦＢストローク消去通知処理の一例を示すフローチャートである。図１７と同一のステップには同一の番号を付してその説明を省略する。本フローチャートは、図１７のフローチャートとはステップＳ４３の処理がない点で異なっている。
サーバ２の各部は、ステップＳ４１、Ｓ４２の処理を実行する。
ステップＳ４４において、ストローク描画検知部２１１は、ストローク表示・編集部２０３によって描画されたストロークのＬＦＢストロークＩＤとストロークの位置座標をマウスイベント毎に取得する。ストローク描画検知部２１１は、取得したＬＦＢストロークＩＤとその位置座標をイベント送信部２０４に通知する。
ステップＳ４５−１において、画像取得検知部２１２は、ストローク表示・編集部２０３によってマウスイベントごとに生成された画像を映像合成部２０６が取得したか否かを検知する。検知した場合（ステップＳ４５−１にてＹＥＳ）は、ステップＳ４６の処理が実行される。
ステップＳ４６において、イベント送信部２０４は、ＬＦＢストローク消去通知を電子情報端末１に送信する。ＬＦＢストローク消去通知には、ストローク描画検知部２１１を介して受信した消去対象のＬＦＢストロークＩＤのほか、消去すべきＬＦＢストロークの位置座標が含まれる。
なお、位置座標の代わりに、夫々のマウスイベントに付された固有のマウスイベントＩＤを利用してもよい。この場合、電子情報端末１の操作イベント受信部１０２がタッチパネルディスプレイ１０１からマウスイベントを受信したときに、マウスイベントに対して、ＬＦＢストロークＩＤとマウスイベントＩＤを付与する。電子情報端末１は、両ＩＤを含むマウスイベントをサーバ２に送信し、サーバ２はＬＦＢストローク消去通知にマウスイベントＩＤを含めるようにすればよい。
【００６５】
＜ＬＦＢストロークの部分消去処理＞
本実施形態におけるＬＦＢストローク消去通知を受信した電子情報端末によるＬＦＢストローク消去処理の一例について、図１８を参照して説明する。
ステップＳ５１において、イベント受信部１０７は、サーバ２からＬＦＢストローク消去通知を受信し、ストローク編集状態表示制御部１０６に通知する。このＬＦＢストローク消去通知には、ＬＦＢストロークＩＤと、当該ＬＦＢストロークＩＤが付されたＬＦＢストロークのうち、消去対象となるストロークの位置座標又はマウスイベントＩＤが含まれている。
ステップＳ５２において、ストローク編集状態表示制御部１０６は、ＬＦＢストローク消去通知に含まれる位置座標のストローク又はマウスイベントＩＤのストロークを消去する処理を実行する。ＬＦＢストロークは位置座標又はマウスイベントＩＤごとに消去されていくので、ＬＦＢストロークは古いものから順次消去されていくことになる。一連のＬＦＢストローク中の位置座標又はマウスイベントＩＤの全てがなくなったときに、当該一連のＬＦＢストロークは完全に消去される。
【００６６】
図２４は、ＬＦＢストロークが部分的に消去される様子を段階的に示した模式図である。この図には、図５に示したローカルフィードバックレイヤ１０１ｂの様子を示している。
時刻ｔ１においては、ユーザがタッチパネルディスプレイに対して電子ペンＰ等によって手書きした場合に、電子情報端末１によるＬＦＢ処理によってＬＦＢストロークＳｄの画像がローカルフィードバックレイヤ１０１ｂに順次描画されていく様子を示している。
時刻ｔ２においては、一連のＬＦＢストロークＳｄの描画が完了した様子を示している。
時刻ｔ３には、ＬＦＢストローク消去通知を受信した場合のローカルフィードバックレイヤ１０１ｂの様子を示している。ＬＦＢストロークＳｄは、過去に描画されたＬＦＢストローク部分Ｓｅから順に消去される。
【００６７】
＜効果＞
以上のように本実施形態によれば、ＬＦＢストロークがマウスイベントごとに消去されるので、ＬＦＢストロークは古い座標から順に消去されていくことになる。ＬＦＢストロークが順次消去されていくので、視覚的な違和感が生じにくい。
【００６８】
〔本発明の構成、作用、効果のまとめ〕
＜第一の実施態様＞
本実施態様は、通信ネットワークＮを介して、生成したストロークデータ（マウスイベント）を画像処理装置（サーバ２）に送信する電子情報端末１であって、ストロークデータを一時的に保存する送信用記憶手段（操作イベントキャッシュ１０３）と、通信ネットワークの状態を管理するネットワーク状態管理手段（ネットワーク状態管理部１０５）と、ネットワーク状態管理手段が検知した通信ネットワークの状態に応じて、ストロークデータを送信用記憶手段から読み出して通信ネットワークを介して画像処理装置に送信する送信手段（操作イベント送信部１０４）と、を備えたことを特徴とする。
送信手段は、ネットワーク状態管理手段が検知した通信ネットワークの状態に応じて、ストロークデータを送信用記憶手段から読み出して送信するので、ストロークデータが一部消失するといった事態を回避できる。
上記実施形態においてはストロークデータとして、画像を描画するマウスイベントの例により説明した、ストロークデータは描画された画像の一部を消去するためのストロークデータであってもよい。
【００６９】
＜第二の実施態様＞
本実施態様に係る電子情報端末１は、ストロークデータに基づいて生成した第一画像を表示させる操作状態表示制御手段（ストローク編集状態表示制御部１０６）を備えたことを特徴とする。
外部の画像処理装置にストロークデータに関する画像処理を実行させ、生成された第二画像を受信して表示する場合、ネットワーク遅延のために第二画像の表示が遅れる虞がある。本実施態様によれば、操作状態表示制御手段がストロークデータから第一画像を生成してタッチパネルディスプレイ１０１に表示させる、所謂ローカルフィードバック（ＬＦＢ）処理を実行するので、ユーザに違和感のない映像を提供できる。
【００７０】
＜第三の実施態様＞
本実施態様に係る電子情報端末１は、ストロークデータに基づいて生成された映像を、通信ネットワークＮを介して画像処理装置（サーバ２）から受信する映像受信手段（映像受信部１０８）と、画像処理装置から受信した映像を第一画像に重ねて表示させる映像表示制御手段（映像表示制御部１０９）と、を備えたことを特徴とする。
外部の画像処理装置が生成した第二画像を含む映像を受信してディスプレイに表示すると共に、操作状態表示制御手段が生成した第一画像とを重ねて表示するので、ユーザに違和感のない映像を提供できる。
【００７１】
＜第四の実施態様＞
本実施態様に係る電子情報端末１においては、ネットワーク状態管理手段（ネットワーク状態管理部１０５）が測定した通信ネットワーク遅延時間が所定のしきい値以上である場合に、操作状態表示制御手段（ストローク編集状態表示制御部１０６）は第一画像を表示させる処理を実行し、ネットワーク状態管理手段が測定した通信ネットワーク遅延時間が所定のしきい値未満である場合に、操作状態表示制御手段は第一画像を表示させる処理を停止することを特徴とする。
操作状態表示制御手段は、第一画像を生成してタッチパネルディスプレイ１０１に表示させるＬＦＢ処理を実行することによって、ネットワーク遅延が大きい場合であってもストロークデータに基づく第一画像をリアルタイムで表示できる。しかし、ＬＦＢ処理は、電子情報端末の負荷が大きい。本実施態様によれば、ネットワーク遅延が小さい場合に操作状態表示制御手段は第一画像を表示させる処理を停止するので、電子情報端末の処理に係る負荷を低減できる。
【００７２】
＜第五の実施態様＞
本実施態様に係る電子情報端末１においては、ネットワーク状態管理手段（ネットワーク状態管理部１０５）が、送信手段（操作イベント送信部１０４）による一連のストロークデータの送信中に通信ネットワークＮの切断を検知した後、通信ネットワークの再接続を検知した場合に、送信手段は、通信ネットワークの切断時に送信していた一連のストロークデータを初めから画像処理装置（サーバ２）に対して送信することを特徴とする。
送信手段は、通信ネットワークの再接続時に一連のストロークデータを送信用記憶手段から読み出して送信するので、一連のストロークデータの送信中に電子情報端末が通信ネットワークから切断されても、一連のストロークデータを完全な状態で送信することが可能となる。
【００７３】
＜第六の実施態様＞
本実施態様に係る電子情報端末１において送信手段（操作イベント送信部１０４）は、一連のストロークデータを画像処理装置（サーバ２）に送信した後、一連のストロークデータを送信用記憶手段（操作イベントキャッシュ１０３）から削除することを特徴とする。
一連のストロークデータの送信が完了する前においては、送信用記憶手段には一連のストロークデータが保存されているので、一連のストロークデータの送信中に電子情報端末が通信ネットワークから切断されても、送信手段は一連のストロークデータを完全な状態で送信できる。
【００７４】
＜第七の実施態様＞
本実施態様は、通信ネットワークＮを介して電子情報端末１が生成したストロークデータを受信する画像処理装置（サーバ２）であって、電子情報端末から受信したストロークデータを一時的に保存する受信用記憶手段（操作イベントキュー２０２）と、ストロークデータに基づいて第二画像を生成する第二画像生成手段（ストローク表示・編集部２０３）と、を備え、第二画像生成手段は、一連のストロークデータが受信用記憶手段に保存されたときにストロークデータに基づいて第二画像を生成することを特徴とする。
第二画像生成手段は、一連のストロークデータの全てが受信されてから第二画像を生成するので、一連のストロークデータの一部が消失するといった事態を回避でき、一連のストロークデータに基づく第二画像を完全な状態で描画できる。
【００７５】
＜第八の実施態様＞
本実施態様に係る画像処理装置（サーバ２）は、通信ネットワークＮの状態を管理するネットワーク状態管理手段（ネットワーク状態管理部２０８）を備え、ネットワーク状態管理手段が、一連のストロークデータの受信中に通信ネットワークの切断を検知した場合に、第二画像生成手段（ストローク表示・編集部２０３）は不完全な一連のストロークデータを受信用記憶手段（操作イベントキュー２０２）から削除することを特徴とする。
第二画像生成手段は、不完全な一連のストロークデータを受信用記憶手段から削除するので、一連のストロークデータを確実に受信することができる。
【００７６】
＜第九の実施態様＞
本実施態様に係る画像処理装置（サーバ２）は、通信ネットワークＮの状態を管理するネットワーク状態管理手段（ネットワーク状態管理部２０８）を備え、ネットワーク状態管理手段が、一連のストロークデータの受信中に通信ネットワークの切断を検知した場合に、第二画像生成手段（ストローク表示・編集部２０３）は受信用記憶手段（操作イベントキュー２０２）に記憶された不完全な一連のストロークデータに基づいて第二画像を生成することを特徴とする。
画像処理装置は、電子情報端末１が通信ネットワークから切断される直前までのストロークデータを、第二画像に反映できる。
【００７７】
＜第十の実施態様＞
本実施態様は、通信ネットワークＮを介して電子情報端末１が生成したストロークデータを受信する画像処理装置（サーバ２）であって、ストロークデータに基づいて第二画像を生成する第二画像生成手段（映像合成部２０６）と、第二画像が生成された場合に、電子情報端末に対して、該電子情報端末が生成した第一画像を消去する旨の消去通知を送信する送信手段（イベント送信部２０４）と、を備えたことを特徴とする。ここで、本態様において画像処理装置が生成する第二画像には、ストロークと背景画像を含む。
本実施態様によれば、自然且つ違和感のないタイミングで第一画像を消去させることができる。
【００７８】
＜第十一の実施態様＞
本実施態様に係る画像処理装置（サーバ２）は、第二画像に基づいて生成された映像を送信する映像送信手段（映像送信部２０７）を備え、送信手段は、映像が送信された場合に、電子情報端末１に対して消去通知を送信することを特徴とする。
本実施態様によれば、自然且つ違和感のないタイミングで第一画像を消去させることができる。
【００７９】
＜第十二の実施態様＞
本実施態様に係る画像処理装置（サーバ２）は、第二画像生成手段（映像合成部２０６）による第二画像の生成時刻を検知する画像生成時刻検知手段（画像取得時刻検知手段２１４）と、第二画像の生成から、電子情報端末１に第二画像に基づく映像を表示させるまでの再生遅延時間を取得する再生遅延時間取得手段（イベント送信部２０４）と、を備え、送信手段（イベント送信部２０４）は、第二画像の生成時刻と再生遅延時間を含む消去通知を電子情報端末１に対して送信することを特徴とする。
本実施態様によれば、映像の再生と同時に第一画像を消去させることができる。従って、違和感のない映像を表示することができる。
【００８０】
＜第十三の実施態様＞
本実施態様は、通信ネットワークＮを介して、生成したストロークデータを画像処理装置（サーバ２）に送信する電子情報端末１であって、ストロークデータに基づいて生成した第一画像を表示させる操作状態表示制御手段（ストローク編集状態表示制御部１０６）を備え、操作状態表示制御手段は、第一画像を消去する旨の消去通知を画像処理装置から受信した場合に、第一画像を消去する処理を実行することを特徴とする。
本実施態様によれば、自然且つ違和感のないタイミングでＬＦＢストロークを消去することができる。
【００８１】
＜第十四の実施態様＞
本実施態様は、電子情報端末と、画像処理装置と、を含んで構成される画像処理システムである。
本実施態様によれば、上記各態様の電子情報端末と画像処理装置の作用、効果を享受することができる。
【符号の説明】
【００８２】
１、１ａ、１ｂ…電子情報端末、１０１…タッチパネルディスプレイ、１０１ａ…映像表示レイヤ、１０１ｂ…ローカルフィードバックレイヤ、１０１ｃ…操作パネル表示レイヤ、１０２…操作イベント受信部、１０３…操作イベントキャッシュ、１０４…操作イベント送信部、１０５…ネットワーク状態管理部、１０６…ストローク編集状態表示制御部、１０７…イベント受信部、１０８…映像受信部、１０９…映像表示制御部、２…サーバ、２０１…操作イベント受信部、２０２…操作イベントキュー、２０３…ストローク表示・編集部、２０４…イベント送信部、２０５…背景画像表示部、２０６…映像合成部、２０７…映像送信部、２０８…ネットワーク状態管理部、２１１…ストローク描画検知部、
２１２…画像取得検知部、２１３…映像送信検知部、２１４…画像取得時刻検知部
【先行技術文献】
【特許文献】
【００８３】
【特許文献１】特表２０１１−５２４５７２
【図１】
0006492723.tif 000002
【図２】
0006492723.tif 000003
【図３】
0006492723.tif 000004
【図４】
0006492723.tif 000005
【図５】
0006492723.tif 000006
【図６】
0006492723.tif 000007
【図７】
0006492723.tif 000008
【図８】
0006492723.tif 000009
【図９】
0006492723.tif 000010
【図１０】
0006492723.tif 000011
【図１１】
0006492723.tif 000012
【図１２】
0006492723.tif 000013
【図１３】
0006492723.tif 000014
【図１４】
0006492723.tif 000015
【図１５】
0006492723.tif 000016
【図１６】
0006492723.tif 000017
【図１７】
0006492723.tif 000018
【図１８】
0006492723.tif 000019
【図１９】
0006492723.tif 000020
【図２０】
0006492723.tif 000021
【図２１】
0006492723.tif 000022
【図２２】
0006492723.tif 000023
【図２３】
0006492723.tif 000024
【図２４】
0006492723.tif 000025