(57)【要約】【課題】  クライアント端末における手書き入力操作と表示とのずれを無くすとともに、手書き入力について明示的な操作者の切替を行うこと無く同時に書き込むことを可能とするアプリケーション共有システムを提供する。【解決手段】  クライアント端末１０２における入力イベントを電子ペン等による描画データの入力イベントと、それ以外の入力イベントとに区別して、アプリケーション共有手段２０１ａ，２０２ａとオブジェクト共有手段２０１ｂ，２０２ｂとのそれぞれが処理を行う。描画データの入力イベントの場合には、オブジェクト共有手段２０２ｂがクライアント端末１０２において入力イベントに応じた描画処理を行い、処理結果をクライアント端末１０２で表示するとともに、描画データをオブジェクトデータに変換してサーバ端末１０１のオブジェクト共有手段２０１ｂに送信し、サーバ端末１０１に表示させる。【選択図】      図２
2006293449.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークで接続されたサーバ端末とクライアント端末との間でアプリケーションを共有して、前記クライアント端末におけるアプリケーション操作入力イベントに応じた処理を前記サーバ端末が実行してアプリケーション画面に処理結果を表示するとともに、前記クライアント端末に対して前記アプリケーション画面を送信して表示させるアプリケーション共有手段を備えるデータ共有システムであって、
前記クライアント端末は、当該クライアント端末における入力イベントがオブジェクト入力イベントであるか否かを識別し、オブジェクト入力イベントである場合に、当該入力イベントに応じた処理を実行して、前記アプリケーション画面にオブジェクトデータを表示するとともに、当該オブジェクトデータと前記アプリケーション画面上におけるオブジェクトデータの相対位置情報とを前記サーバ端末に送信するオブジェクトデータ送信手段を備え、
前記サーバ端末は、前記オブジェクトデータ送信手段から受信したオブジェクトデータを、前記相対位置情報に基づき、前記アプリケーション画面上に表示するオブジェクトデータ表示手段を備える
ことを特徴とするデータ共有システム。
【請求項２】
前記オブジェクトデータは、前記アプリケーション画面とは異なるレイヤに表示することを特徴とする請求項１に記載のデータ共有システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子ボードシステムにおけるデータ共有システムに関し、特に、クライアントとサーバとの間でアプリケーション共有をする構成に関する。
【背景技術】
【０００２】
近年、ネットワーク技術の発達によって、遠隔地にある端末同士を接続して情報を共有することが行われている。特に、遠隔地にある端末間で、映像や音声、会議の資料データ、資料データの上に注釈を入れるのに必要なオブジェクトデータ等を共有する遠隔会議が普及し始めている。
このような遠隔会議に利用されるデータ共有システムとして、従来、ある端末に備えられたアプリケーションを、ネットワークで接続された複数の端末間で共有する構成が公知となっている（例えば、特許文献１参照。）。
【特許文献１】特開平０５−１２０２４１号公報
【０００３】
図９は従来のアプリケーション共有システムの概略構成を示すブロック図である。
従来システムでは、図９に示すように、サーバ端末９０１及びクライアント端末９０２の双方に備えられたアプリケーション共有手段９０１ａ，９０２ａによりアプリケーションを共有化し、アプリケーションに対する入力操作をサーバ端末９０１及びクライアント端末９０２の双方から行うことができるものとしている。この場合、サーバ端末９０１において、入力操作に対応する処理を行うとともに、アプリケーション共有手段９０１ａがサーバ端末９０１での処理結果表示画面をクライアント端末９０２のアプリケーション共有手段９０２ａに送信して、クライアント端末９０２に表示することとしている。
【０００４】
図１０は、従来システムが、クライアント端末における入力イベントに対して行うデータ共有処理手順を示すフローチャートである。
データ共有処理では、図１０に示すように、まず、クライアント端末９０２が入力イベントを受付けると（ステップ１００１）、クライアント端末９０２のアプリケーション共有手段９０２ａがマウスカーソルや電子ペンの移動データを入力イベントデータとして取得して（ステップ１００２）、サーバ端末９０１のアプリケーション共有手段９０１ａに送信する（ステップ１００３）。
サーバ端末９０１のアプリケーション共有手段９０１ａは、入力イベントデータを受信し、当該入力イベントデータに対応した処理を行い（ステップ１００４）、処理結果をアプリケーション画面に表示する（ステップ１００５）。この場合、サーバ端末９０１のアプリケーション共有手段９０１ａは、入力イベントデータをオブジェクト入力も含めたアプリケーション操作として処理を行う。
サーバ端末９０１のアプリケーション共有手段９０１ａは、処理結果の表示されたアプリケーション画面をキャプチャし、画面データをクライアント端末９０２のアプリケーション共有手段９０２ａに送信する（ステップ１００６）。
クライアント端末９０２のアプリケーション共有手段９０２ａは、受信した画面データに基づきクライアント端末９０２のアプリケーション画面を更新する（ステップ１００７）。
これにより、クライアント端末９０２において行われた入力操作に応じた処理結果を、サーバ端末９０１及びクライアント端末９０２に表示することが可能となる。
【０００５】
図１１は、従来のアプリケーション共有システムを利用した電子ボードシステムにおけるデータ共有処理方法を示すイメージ図である。
図１１（ａ）に示すように、クライアント端末９０２のアプリケーション画面１１０１上で電子ペンによる手書き入力が行われると、クライアント端末９０２のアプリケーション共有手段９０２ａがペン移動データ１１１０をサーバ端末９０１のアプリケーション共有手段９０１ａに送信する。
次に、図１１（ｂ）に示すように、サーバ端末９０１でペン移動データ１１１０に対応する描画データをアプリケーション画面１１０２に表示して、サーバ端末９０１のアプリケーション共有手段９０１ａが、当該アプリケーション画面１１０２をキャプチャした画面データ１１１１をクライアント端末９０２に送信する。クライアント端末９０２アプリケーション共有手段９０２ａは、受信した画面データ１１１１によりアプリケーション画面１１０１を更新して表示する。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来のシステムでは、クライアント端末９０２で行われた入力操作に対する処理をサーバ端末９０１で行い、サーバ端末９０１のアプリケーション画面を随時送信することによりアプリケーション共有を行うものであるため、手書き入力などの場合、入力途中の線分が表示されず、また、クライアント端末９０２での入力操作から描画データの表示までに時間差が生じることとなっていた。
【０００７】
図１２は、クライアント端末９０２における手書き入力と表示との関係を示す一例として、電子ペンにより「五」という文字が手書き入力された場合の電子ペンのペン移動軌跡１２１０と、各入力操作がされた時点におけるクライアント端末９０２及びサーバ端末９０１それぞれの画面表示１２２０，１２３０とを示す図である。なお、本例では、説明の便宜上、クライアント端末９０２における入力操作と、サーバ端末９０１の表示処理とは略同時に行われるものとする。
図１２に示すように、「五」の文字の一画目のペン入力操作がされると、クライアント端末９０２のアプリケーション共有手段９０２ａからサーバ端末９０１のアプリケーション共有手段９０１ａに対しペン移動データを送信し、サーバ端末９０１において「五」の文字の一画目を示す描画データが表示される。その後、クライアント端末９０２のアプリケーション共有手段９０２ａは、サーバ端末９０１のアプリケーション共有手段９０１ａから受信した画面データに基づき、アプリケーション画面を更新することにより描画データを表示する。従って、クライアント端末９０２においては、例えば、「五」の文字の二画目のペン入力操作が行われている時に、一画目が表示されるような状態となる等、入力操作と画面表示とにずれが生じることとなる。同様に、二画目以降についても、ペン入力操作１２１０に対しクライアント端末における画面表示１２２０がずれることとなる。
このように、クライアント端末９０２において入力操作と表示との間に時間差が生じるため、ユーザは自己の入力操作に対応する描画データを確認するために、表示待ちすることが必要となり、スムーズな入力操作を行うことができないという問題があった。特に、図１２の例では、入力操作とサーバ端末９０１の表示処理とが略同時に行われるものとしているが、これはネットワークの通信速度等に左右されるものであるため、実際上は、クライアント端末９０２における入力操作とサーバ端末９０１における画面表示との間にも時間差が生じていた。従って、クライアント端末９０２における入力操作と表示との間には、より多くの時間差が生じることとなっていた。また、サーバ端末９０１のアプリケーション共有手段９０１ａによる画面キャプチャのタイミングによっては、描画された線分が切れた状態等、クライアント端末９０２において不完全な画面表示がされることもあった。
また、従来のシステムでアプリケーション共有を行う場合、アプリケーションの整合性を保つために一度に複数端末から操作できないよう排他制御を行なう必要があるが、サーバ端末９０１において全ての入力イベントをアプリケーション操作として処理していたため、手書き入力についても明示的な操作者の切替が必要となり、複数の端末において同時に書き込むことができないという問題があった。
【０００８】
本発明は前記課題を解決するためのものであり、クライアント端末における手書き入力操作と表示とのずれを無くすとともに、手書き入力について明示的な操作者の切替を行うこと無く、複数の端末から同時に書き込むことを可能とするデータ共有システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため本発明は、ネットワークで接続されたサーバ端末とクライアント端末との間でアプリケーションを共有して、前記クライアント端末におけるアプリケーション操作入力イベントに応じた処理を前記サーバ端末が実行してアプリケーション画面に処理結果を表示するとともに、前記クライアント端末に対して前記アプリケーション画面を送信して表示させるアプリケーション共有手段を備えるデータ共有システムであって、前記クライアント端末は、当該クライアント端末における入力イベントがオブジェクト入力イベントであるか否かを識別し、オブジェクト入力イベントである場合に、当該入力イベントに応じた処理を実行して、前記アプリケーション画面にオブジェクトデータを表示するとともに、当該オブジェクトデータと前記アプリケーション画面上におけるオブジェクトデータの相対位置情報とを前記サーバ端末に送信するオブジェクトデータ送信手段を備え、前記サーバ端末は、前記オブジェクトデータ送信手段から受信したオブジェクトデータを、前記相対位置情報に基づき、前記アプリケーション画面上に表示するオブジェクトデータ表示手段を備える
ことを特徴とする。
また、前記オブジェクトデータは、前記アプリケーション画面とは異なるレイヤに表示することを特徴とする。
【発明の効果】
【００１０】
以上の構成により本発明では、アプリケーション共有システムにおいて、クライアント端末において行われた手書き入力等のオブジェクト入力操作に対し、クライアント端末で処理を実行し、処理結果としてのオブジェクトデータを表示するとともに、サーバ端末に送信する手段を備えたので、クライアント端末における手書き入力等のオブジェクト入力操作と表示との間の時間差を無くすことが可能となる。従って、ユーザにとって自然なオブジェクト入力操作が可能となる。
また、クライアント端末において処理したオブジェクトデータを、アプリケーション画面とは異なるレイヤで表示することとしたので、サーバ端末においてオブジェクト入力処理に関する排他制御が不要となり、複数のクライアント端末において同時にオブジェクト入力操作を行うことが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施の形態に係るデータ共有システムについて、図面に基づき説明する。
図１は本実施の形態に係るデータ共有システムの概略構成を示すブロック図であり、図２はサーバ端末及びクライアント端末における各共有手段の概略構成を示すブロック図である。
データ共有システム１００は、共有するアプリケーションを備えるサーバ端末１０１と、クライアント端末１０２とをネットワーク接続して構成している。サーバ端末１０１及びクライアント端末１０２には、マウス及び電子ペン等の入力装置１０１ａ，１０２ａが備えられている。
サーバ端末１０１及びクライアント端末１０２は、図２に示すように、それぞれアプリケーション共有手段２０１ａ，２０２ａと、オブジェクト共有手段２０１ｂ，２０２ｂとを有しており、サーバ端末１０１における表示画面又は表示画面の一部をアプリケーション共有手段２０１ａ，２０２ａ及びオブジェクト共有手段２０１ｂ，２０２ｂによって共有することで、サーバ入力装置１０１ａとクライアント入力装置１０２ａとの双方から入力操作を行うことを可能としている。
本実施の形態では、図２に示すように、クライアント端末１０２における入力イベントを電子ペン等による描画データの入力イベントと、それ以外の入力イベントとに区別して、アプリケーション共有手段２０１ａ，２０２ａとオブジェクト共有手段２０１ｂ，２０２ｂとのそれぞれが処理を行う。
描画データの入力イベントの場合には、オブジェクト共有手段２０２ｂがクライアント端末１０２において入力イベントに応じた描画処理を行い、処理結果をクライアント端末１０２で表示するとともに、描画データをオブジェクトデータに変換してサーバ端末１０１のオブジェクト共有手段２０１ｂに送信し、サーバ端末１０１に表示させる。
描画データ以外の入力イベントの場合には、従来のシステムと同様に、アプリケーション共有手段２０２ａが入力イベントデータをサーバ端末１０１のアプリケーション共有手段２０１ａに送信し、アプリケーション共有手段２０１ａが送信した処理結果画面のキャプチャデータを受信して、クライアント端末１０２で表示する。
【００１２】
図３はサーバ端末１０１及びクライアント端末１０２において表示する共有画面の構成を示す図であり、図４は、サーバ端末１０１及びクライアント端末１０２において共有画面を表示した例を示す図である。
図３に示すように、共有画面３００は、アプリケーション共有手段１０１ａ，１０２ａで共有するアプリケーション画面３０１と、オブジェクト共有手段１０１ｂ，１０２ｂで共有するオブジェクトデータ３０２とを重ね合わせることにより構成される。本実施の形態では、アプリケーション画面３０１とオブジェクトデータ３０２とを別レイヤとして処理している。
図４に示すように、サーバ端末１０１側のデスクトップ画面４０１には、サーバ端末１０１に備えられたアプリケーションが表示するアプリケーション画面４０１ａと、オブジェクトデータ４０１ｂとが表示される。アプリケーション画面４０１ａは、アプリケーション共有手段２０１ａがキャプチャし、キャプチャデータをクライアント端末１０２に送信する。オブジェクトデータ４０１ｂは、オブジェクト共有手段２０１ｂが、クライアント端末１０２のオブジェクト共有手段２０２ｂから受信して表示する。
一方、クライアント端末１０２側のデスクトップ画面４０２には、サーバ端末１０１側のデスクトップ画面４０１に対応して、アプリケーション画面４０２ａと、オブジェクトデータ４０２ｂとが表示される。アプリケーション画面２０２ａは、アプリケーション共有手段２０２ａが、サーバ１０１側のアプリケーション共有手段１０１ａから受信して表示する。オブジェクトデータ４０２ｂは、オブジェクト共有手段１０２ｂが生成して表示するとともに、サーバ１０１側のオブジェクト共有手段２０１ｂに送信する。従って、クライアント端末１０２において、手書き入力に応じた速度での描画データの表示が可能となる。
この場合、アプリケーション画面４０１ａ，４０２ａに対するオブジェクトデータ４０１ｂ，４０２ｂの相対位置を示す相対位置情報を送受信することにより、サーバ１０１及びクライアント１０２の双方のデスクトップ画面４０１，４０２において、アプリケーション画面４０１ａ，４０２ａ中の同じ位置にオブジェクトデータ４０１ｂ，４０２ｂを表示する。
【００１３】
図５は、本実施の形態に係るデータ共有システムが、クライアント端末１０２における入力イベントに対して行うデータ共有処理手順を示すフローチャートである。
本処理の前提として、サーバ端末１０１に備えられたアプリケーションを起動するとともに、クライアント端末１０２においてサーバ端末１０１への接続を行うと、アプリケーション共有手段２０１ａ，２０２ａ及びオブジェクト共有手段２０１ｂ，２０２ｂが共有を開始する。この場合、オブジェクト共有手段２０１ｂ，２０２ｂは、アプリケーション画面の表示位置情報を取得する。
データ共有処理では、まず、クライアント端末１０２において、入力イベントを受付けると（ステップ５０１）、クライアント端末１０２のオブジェクト共有手段２０２ｂが入力イベントを取得して（ステップ５０２）、描画データの入力イベントか否かを判定する（ステップ５０３）。本実施の形態では、クライアント端末１０２のオブジェクト共有手段２０２ｂが入力イベントを区別するために、入力イベントデータにおいて、描画データの入力イベントとそれ以外の入力イベントとを区別する入力識別フラグを含めることとする。この場合、例えば、入力装置１０２ａとしての電子ペンに所定のボタンを備えることとし、当該ボタンが押下げされた状態で入力操作がされた場合には、入力識別フラグを描画データの入力イベントを示すものに設定する。
判定の結果、描画データの入力イベントである場合には、クライアント端末１０２において描画処理を行う（ステップ５０４）。
クライアント端末１０２のオブジェクト共有手段２０２ｂは、描画データの入力イベントが終了したときに、描画データをオブジェクトデータ４０２ｂに変換し（ステップ５０５）、アプリケーション画面４０２ａ上の相対位置情報とともにサーバ端末１０１のオブジェクト共有手段２０１ｂに送信する（ステップ５０６）。
サーバ端末１０１のオブジェクト共有手段２０１ｂは、受信したオブジェクトデータ４０１ｂを相対位置情報に基づきアプリケーション画面４０１ａ上に表示する（ステップ５０７）。
一方、ステップ５０３において、描画データ以外の入力イベント（マウスクリック等）であると判定した場合には、従来システムと同様に、クライアント端末１０２のアプリケーション共有手段２０２ｂａが入力イベントを取得してサーバ端末１０１のアプリケーション共有手段２０１ａに送信する（ステップ５０８）。
サーバ端末１０１のアプリケーション共有手段２０１ａは、受信した入力イベントに対するアプリケーション処理を行い（ステップ５０９）、処理結果を画面表示するとともに（ステップ５１０）、表示画面をキャプチャして、キャプチャデータをクライアント端末１０２のアプリケーション共有手段２０２ａに送信する（ステップ５１１）。
クライアント端末１０２のアプリケーション共有手段２０２ａは、受信したキャプチャデータに基づきアプリケーション画面４０２ａを更新する（ステップ５１２）。
【００１４】
図６は、クライアント端末１０２のオブジェクト共有手段２０２ｂが取得する入力イベントデータのデータ構造の一例を示す図である。
入力イベントデータには、入力座標６０１，６０２とともに、入力識別フラグ６０３が含まれる。
入力座標６０１，６０２は、マウスの座標値や、電子ペンの座標値として電子ボードの座標検出装置が検出した値を示す。
入力識別フラグ６０３は、前述の入力イベント判定処理（図５のステップ５０３）に用いるものである。
【００１５】
図７は、本実施の形態に係るデータ共有システムによる描画データの共有処理の一例を示すイメージ図である。
図７（ａ）に示すように、クライアント端末１０２のアプリケーション画面７００上で電子ペンによる手書き入力が行われると、図７（ｂ）に示すように、クライアント端末１０２のアプリケーション画面７００上で描画データ７０１を表示するとともに、描画データ７０１をオブジェクトデータ７０２に変換し、サーバ端末１０１に送信してサーバ端末１０１のアプリケーション画面７１０に描画データ７１１を表示する。なお、サーバ端末１０１に複数のクライアント端末が接続されている場合には、手書き入力が行われたクライアント端末１０２のオブジェクト共有手段２０２ｂから、または、サーバ端末１０１のオブジェクト共有手段２０１ｂを介して、全てのクライアント端末にオブジェクトデータを送信する。
【００１６】
図８は、本実施の形態に係るデータ共有システムにおいて手書き入力場合の電子ペンのペン入力操作（移動軌跡）８１０と、各入力操作がされた時点におけるクライアント端末１０２及びサーバ端末１０１それぞれの画面表示８２０，８３０とを示す図である。
図８に示すように、「五」の文字の一画目が入力されると、クライアント端末１０２においてペン入力操作８１０に対応した描画データを表示した後、オブジェクト共有手段２０２ｂが描画データをオブジェクトデータに変換して、サーバ端末１０１のオブジェクト共有手段２０１ｂに送信する。サーバ端末のオブジェクト共有手段２０１ｂは、受信したオブジェクトデータをアプリケーション画面に重ね合わせて表示する。同様に、二画目〜四画目についても、ペン入力操作８１０に応じてクライアント端末１０２で描画データ表示処理を行う。
従って、クライアント端末１０２におけるペン入力操作からサーバ端末１０１のアプリケーション画面における表示までの間には時間差が生じることとなるが、クライアント端末１０２では、ペン入力操作から表示までの時間差を無くすことが可能となる。
【００１７】
以上のように、本実施の形態に係るデータ共有システムでは、クライアント端末において行われた手書き入力等のオブジェクト入力操作に対し、クライアント端末で処理を実行して処理結果としてのオブジェクトデータを表示するとともに、サーバ端末に送信する手段を備えたので、クライアント端末における手書き入力と表示との間の時間差を無くすことが可能となる。従って、ユーザにとって自然なオブジェクト入力操作が可能となる。
また、クライアント端末において処理したオブジェクトデータを、アプリケーション画面とは異なるレイヤで表示することとしたので、サーバ端末においてオブジェクト入力処理に関する排他制御が不要となり、複数のクライアント端末において同時にオブジェクト入力操作を行うことが可能となる。この場合、他のクライアント端末で表示されたオブジェクトデータについては、サーバ端末を介して受信して表示することとなる。
【００１８】
なお、前記実施の形態では、手書き入力操作に対応する描画データに関する処理をクライアント端末で行うこととしているが、これに限らず、例えば、直線や円や矩形などの図形データや，クリップアート，スタンプ等の静止画像データを含むオブジェクトデータの入力操作に対する処理をクライアント端末で行うこととしてもよい。
また、本発明は電子ボードシステムにのみ用いられるものでは無く、パーソナルコンピュータ同士を接続したアプリケーション共有システムについても利用可能なものである。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態に係るデータ共有システムの概略構成を示すブロック図である。
【図２】本発明の一実施の形態に係るデータ共有システムの部分構成を示すブロック図である。
【図３】本発明の一実施の形態のデータ共有システムにおける共有画面の構成を示す図である。
【図４】本発明の一実施の形態に係るデータ共有システムにおける共有画面の表示例を示す図である。
【図５】本発明の一実施の形態に係るデータ共有システムの行うデータ共有処理手順を示すフローチャートである。
【図６】本発明の一実施の形態に係るデータ共有システムの行うデータ共有処理に用いる入力イベントデータのデータ構造の一例を示す図である。
【図７】本発明の一実施の形態のデータ共有システムにおける描画データ表示処理の概要を示すイメージ図である。
【図８】本発明の一実施の形態のデータ共有システムにおけるペン移動軌跡と各端末の画面表示との関係を示す図である。
【図９】従来のデータ共有システムの部分構成を示すブロック図である。
【図１０】従来のデータ共有システムの行うデータ共有処理手順を示すフローチャートである。
【図１１】従来のデータ共有システムの行う描画データ表示処理の概要を示すイメージ図である。
【図１２】従来のデータ共有システムにおけるペン移動軌跡と各端末の画面表示との関係を示す図である。
【符号の説明】
【００２０】
１０１  サーバ端末、１０２  クライアント端末、２０１ａ，２０２ａ  アプリケーション共有手段、２０１ｂ，２０２ｂ  オブジェクト共有手段、３００  共有画面、３０１  アプリケーション画面、３０２  オブジェクト共有画面。
【図１】
2006293449.tif 000003
【図２】
2006293449.tif 000004
【図３】
2006293449.tif 000005
【図４】
2006293449.tif 000006
【図５】
2006293449.tif 000007
【図６】
2006293449.tif 000008
【図７】
2006293449.tif 000009
【図８】
2006293449.tif 000010
【図９】
2006293449.tif 000011
【図１０】
2006293449.tif 000012
【図１１】
2006293449.tif 000013
【図１２】
2006293449.tif 000014