(57)【特許請求の範囲】
【請求項１】
１つのクライアントの画面に表示されている画像を、画像データ表示サーバが、他の１つ以上のクライアントに表示させる画像データ表示方法であって、
前記１つのクライアントから受信した画像データから、前記他の１つ以上のクライアントに表示させる表示データを生成し、前記表示データを前記他の１つ以上のクライアントに送信し、前記他の１つ以上のクライアントに表示させ、
前記画像データは、前記１つのクライアントが自らの画面を所定の間隔でキャプチャされたものであり、前記サーバは、当該画像データを所定の間隔で受信すること
を特徴とする画像データ表示方法。
【請求項２】
前記画像データは、圧縮されていることを特徴とする請求項１記載の画像データ表示方法。
【請求項３】
前記画像データは、以前にキャプチャした画面との差分をとった差分データであることを特徴とする請求項１に記載の画像データ表示方法。
【請求項４】
複数のクライアントと、前記クライアントが接続する画像データ表示サーバからなるシステムで、１つのクライアントの画面に表示される画像を、他の１つ以上のクライアントに表示させる画像データ表示方法であって、
前記１つのクライアントが、自らの画面から画像データを生成し、
前記画像データを前記画像データ表示サーバへ送信し、
前記画像データ表示サーバが、前記１つのクライアントから受信した前記画像データから、前記他の１つ以上のクライアントに前記画像データを表示させる表示データを生成し、
前記画像データ表示サーバから前記表示データを送信された他の１つ以上のクライアントが、前記表示データに基づき、前記画像データを表示し、
前記画像データは、前記１つのクライアントが自らの画面を所定の間隔でキャプチャされたものであり、前記画像データ表示サーバは、当該画像データを所定の間隔で受信すること
を特徴とする画像データ表示方法。
【請求項５】
前記１つのクライアントは、前記画像データの生成と前記画像データの送信とに関するプログラムを、予め前記サーバから必要に応じダウンロードすることを特徴とする請求項４に記載の画像データ表示方法。
【請求項６】
１つのクライアントの画面に表示している画像を、他の１つ以上のクライアントに表示させる画像データ表示サーバであって、
前記１つのクライアントから受信した画像データから、前記他の１つ以上のクライアントに表示させる表示データを生成する表示データ生成手段と、
前記表示データを前記他の１つ以上のクライアントに送信する送信手段とを有し、
前記画像データは、前記１つのクライアントが自らの画面を所定の間隔でキャプチャされたものであり、当該画像データを所定の間隔で受信すること
を特徴とする画像データ表示サーバ。
【請求項７】
コンピュータに、１つのクライアントから受信した画像データから、前記他の１つ以上のクライアントに表示させる表示データを生成する表示データ生成手順と、前記表示データを前記他の１つ以上のクライアントに送信する送信手順とを実行させるための画像データ表示プログラムであって、
前記画像データは、前記１つのクライアントが自らの画面を所定の間隔でキャプチャされたものであり、当該画像データを所定の間隔で受信させる、画像データ表示プログラム。
【請求項８】
請求項７記載の画像データ表示プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、サーバとクライアントからなるシステムにおいて、クライアントの画面を、他のクライアントの画面に表示するための画像データ表示方法、画像データ表示サーバ、画像データ表示プログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
パソコンのアプリケーションの使用方法などについて、ユーザに電話でサポートを行う場合、実際にユーザの操作を見ることができないため、ユーザがどのように操作しているのか確認するのは困難である。例えば、クリック操作１つ行うにしても、クリックするボタンの位置や形状について細かく説明しなければならない。しかも、このように説明してもユーザに正しく伝わっていないこともありえる。そこで、他のパソコンの画面をモニタすることが可能なソフトウェアを用いて、ユーザの画面をモニタするとともに、サポートセンタの画面をユーザにモニタさせていた。
【０００３】
【発明が解決しようとする課題】
しかしながら上記ソフトウェアは、相手のパソコンにログインすることにより相手のパソコンの表示画面をモニタすることが可能であり、相手のパソコンに、そのソフトウェアがインストールされていなければならない。このことは、上記サポートのような多数のユーザが相手の場合は困難であるとともに、相手の端末にログインするため、セキュリティ上問題がある。
【０００４】
本発明は、このような問題点に鑑み、相手の画面をモニタすることと、自らの画面を相手にモニタさせることとを可能とするとともに、画面をモニタするコンピュータに前もってインストールを行う必要がなく、セキュリティの確保も可能な画像データ表示方法、画像データ表示サーバ、画像データ表示プログラムおよび記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、１つのクライアントの画面に表示されている画像を、画像データ表示サーバが、他の１つ以上のクライアントに表示させる画像データ表示方法であって、前記１つのクライアントから受信した前記画像データから、前記他の１つ以上のクライアントに表示させる表示データを生成し、前記表示データを前記他の１つ以上のクライアントに中継し、前記他の１つ以上のクライアントに表示させることを特徴とする。
【０００６】
本発明においては、例えば、一般的に普及しているＷｅｂブラウザとＷｅｂサーバとを用いて、画像を提供するクライアントの画像を、表示するクライアントとのＷｅｂブラウザに中継をすることができる。また、クライアント同士は、直接に接続することはないため、セキュリティが保たれる。
【０００７】
また本発明は、前記画像データは、前記１つのクライアントが自らの画面を所定の間隔でキャプチャされたものであり、前記サーバは、前記画像データを所定の間隔で受信することを特徴とする。
【０００８】
本発明においては、画像を所定の間隔ごとに送信することにより、映像として表示することが可能となる。この場合、ネットワーク上を流れるデータが増えるため、本発明は、前記画像データは、圧縮されていることを特徴とする。このような圧縮の他に、本発明は、前記画像データは、以前にキャプチャした画面との差分をとった差分データであることを特徴とする。
【０００９】
また本発明は、複数のクライアントと、前記クライアントが接続する画像データ表示サーバからなるシステムで、１つのクライアントの画面に表示される画像を、他の１つ以上のクライアントに表示させる画像データ表示方法であって、前記１つのクライアントが、自らの画面から画像データを生成し、前記画像データを前記画像データ表示サーバへ送信し、前記画像データ表示サーバが、前記１つのクライアントから受信した前記画像データから、前記他の１つ以上のクライアントに前記画像データを表示させる表示データを生成し、前記画像データ表示サーバから前記表示データを中継された他の１つ以上のクライアントが、前記表示データに基づき、前記画像データを表示することを特徴とする。
【００１０】
本発明においては、例えば、一般的に普及しているＷｅｂブラウザとＷｅｂサーバとを用いて、画像を提供するクライアントの画像を、表示するクライアントとのＷｅｂブラウザに中継をすることができ、クライアント同士は、直接に接続することはないため、セキュリティを確保することが可能なサーバを提供することができる。また、１つのクライアントが上記処理の実行をするために、予め専用のプログラムをインストールしておくことが前提であれば、上記処理を実行するクライアントが限定される。このような観点から、本発明は、前記１つのクライアントは、前記画像データの生成と前記画像データの送信とに関するプログラムを、予め前記サーバから必要に応じダウンロードすることを特徴とする。このように上記データ関連情報の送信や、上記データの送信などの処理を行うプログラムを、例えば、サーバと接続した際にダウンロードして使用し、サーバとの通信が切断したときにプログラムを消滅させることにより、クライアントは予め上記プログラムをインストールしておく必要がない。
【００１１】
また本発明は、１つのクライアントの画面に表示している画像を、他の１つ以上のクライアントに表示させる画像データ表示サーバであって、前記１つのクライアントから受信した前記画像データから、前記他の１つ以上のクライアントに表示させる表示データを生成する表示データ生成手段と、前記表示データを前記他の１つ以上のクライアントに中継する中継手段とを有することを特徴とする。
【００１２】
本発明においては、例えば、一般的に普及しているＷｅｂブラウザとＷｅｂサーバとを用いるため、専用のソフトウェアを用いずとも、画像を提供するクライアントの画像を、表示するクライアントとのＷｅｂブラウザに中継をすることが可能なサーバを提供できる。また、クライアント同士は、直接に接続することはないため、セキュリティを保つことができる。
【００１３】
なお、上記画像データ表示サーバ、データを提供するクライアント、データの提供を受けるクライアントにおけるプログラムを記録する記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク（ＭＯ）等のように、情報を光学的、電気的あるいは磁気的に記録する記録媒体、もしくはＲＯＭやフラッシュメモリのように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１５】
本実施の形態は、サポートセンタとユーザとのやり取りにおいて、サポートセンタとユーザとが、お互いの画面をＷｅｂブラウザを用いてモニタする形態であり、この形態で以下の説明を行うことにする。
【００１６】
最初に、本発明の実施の形態におけるデータ提供システムの全体構成を図１に示す。図１には、Ｗｅｂサーバ（以下、サーバと記す）１０と、ＨＴＴＰクライアントであり、ユーザの端末であるクライアント１２と、サポートセンタの端末であるクライアント１４とが示され、それらはインターネット１６で接続されている。
【００１７】
これらサーバ１０とクライアント１２、１４のコンピュータシステムは、図２に示されるように、表示装置２１と、入力装置２３と、インタフェース装置２５と、ドライブ装置２７と、主記憶装置３１と、補助記憶装置３３と、演算処理装置３５とを有し、それらはバスで接続されている。また、記憶媒体２９は、ドライブ装置２７により読み込むことが可能となっている。
【００１８】
次に、各装置の説明をする。表示装置２１は、コンピュータを操作するために必要な各種情報を表示する。入力装置２３は、利用者が操作するキーボードやマウスなどで構成される。インタフェース装置２５は、コンピュータとネットワークを接続するためのＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）或いはインターネットと直接接続されたモデム又はルータである。ドライブ装置２７は、着脱自在な記録媒体の読み書きが可能であり、例えば記録媒体からプログラム読み込み、補助記憶装置３３にインストールするときに用いられる。演算処理装置は、補助記憶装置３３に格納されたプログラムを読み込み実行し、プログラムやデータなどを記憶するために主記憶装置３１を用いる。
【００１９】
図１の説明に戻り、これらのクライアント１２、１４は、お互いの画面をモニタするにあたり、まずサーバ１０にログインし、サーバ１０を介してお互い接続する。このログインは、最初にサポートセンタであるクライアント１４が行い、クライアント１４がログインしたことにより開設される窓口に対し、ユーザの端末であるクライアント１２はログインする。
【００２０】
クライアント１４がサーバ１０に接続すると図３に示される画面がブラウザ上に表示される。なお、接続した時点において点線で囲まれた窓口１８は表示されず、新規接続開始ボタン２０をクリックし、後述する情報を入力することにより表示される。表示された窓口１８には、その中に３つの窓口が設けられており、それぞれ受付窓口番号と接続状態が示されている。この受付窓口番号とは、窓口を特定する番号であり、窓口が３つであるので１から３まで番号が振られている。また、接続状態は、「接続待ち」と「接続中」の２つがあり、「接続待ち」とは、サポートセンタであるクライアント１４が、ユーザであるクライアント１２からの接続を待っている状態であり、ユーザから見ると空いている窓口である。「接続中」とは、現在１以上のユーザが窓口３に接続している状態を表す。
【００２１】
次に、クライアント１２とクライアント１４とが接続するまでを、図４のシーケンス図を用いて説明する。最初にクライアント１４が上述した新規接続開始をサーバ１０に通知する。このとき、サポートセンタでは、窓口権限パスワード情報と、要求する窓口情報を入力する。窓口権限パスワードとは、窓口を開設するためのパスワードであり、要求する窓口情報とは、利用目的や所属等の窓口認識情報のことを示す。
【００２２】
この新規接続開始により、サーバ１０は、窓口１８（図３参照）を画面に表示する。この窓口を表示した状態で、クライアント１４は、クライアント１２から接続されることができるようになる。次に、クライアント１２を操作するユーザは、接続要求において、サポートセンタから認証され接続許可を受けるための個人情報を入力する。この個人情報は、例えばユーザが購入したパッケージソフトのシリアル番号などである。そしてサーバ１０から、接続するためのポート番号の通知があり、そのポート番号に再び接続する。
【００２３】
サーバ１０は、クライアント１２から受信した個人情報をサポートセンタのクライアント１４に表示し、クライアント１４は、個人情報の認証をし、正しい個人情報であれば、接続許可をサーバ１０へ送信する。サーバ１０は、クライアント１４から接続許可を受信すると、クライアント１４にポート番号の通知をし、クライアント１４は、そのポート番号に接続することにより、クライアント１２とを接続することができる。そしてこの接続した窓口の状態は、接続中となる。このように、サーバ１０を中継することにより、相手のＩＰアドレスやポート番号を知られることはないため、セキュリティの確保が可能となる。
【００２４】
以上により、クライアント１４とクライアント１２とが接続されると、サーバ１０は、クライアント１４とクライアント１２のそれぞれのブラウザに、図５に示すサポート画面２８を表示する。サポート画面２８には、左側に自画面表示領域２２が、右側に相手画面表示領域２４が設けられている。そして、画面の上には自画面送信ボタン２６と、送信中止ボタン３０と、切断ボタン３２と、表示領域３４が設けられている。自画面送信ボタン２６は、自画面を相手に送信し始めるためのボタンであり、送信中止ボタン３０は、自画面の相手への送信を中止するボタンであり、切断ボタンは、相手との接続を切断するボタンである。表示領域３４は、左と右の画面に表示されている画面が自らの画面であるか、相手の画面であるかなどを示す領域で、今の場合、自画面は左で相手画面は右に表示されているので、「自−相」と表示される。
【００２５】
次に、図６を用いて図５で示したサポート画面２８にどのように表示されるか説明する。図６には、自端末画面３６と相手端末画面３８とが示されており、自端末画面３６には、図５で示したサポート画面２８が表示されている。また、自端末にはアプリケーションが表示するＡＰ画面４０が表示されており、他端末にも、同じアプリケーションが表示するＡＰ画面４２が表示されている。これらＡＰ画面４０、４２は、サポート画面２８に、それぞれ自画面表示領域２２と相手画面表示領域２４に表示される。また、このサポート画面２８には、入力装置であるマウスで操作するマウスポインタ４４、４６も表示される。なお、図６には示していないが、このサポート画面２８は、相手端末画面３８にも表示することができ、サポートするときなどお互いがモニタ出来る方が好ましい場合には、相手端末画面３８にも表示するなど、必要に応じて表示する。
【００２６】
次に、上記表示機能の詳細について説明する。まず最初に、ＡＰ画面４０、４２をサポート画面２８に表示するため、それらの画面のキャプチャを一定時間ごとに行うキャプチャ機能について説明する。キャプチャ機能は、サポート画面２８をダウンロードした際にＷＥＢブラウザのコンポーネントとしてダウンロードされる。そして、キャプチャ機能は、サポート画面２８の表示の対象となる画面のイメージのキャプチャと、マウスポインタのキャプチャとを行い、サーバに送信する処理を行う。このときキャプチャする対象は、画面の一部に限らず、画面全体でも良い。
【００２７】
上記処理によりキャプチャされた画面イメージとマウスポインタの位置とは、画面イメージとマウスポインタとを重ねた画像として送信されるが、その画像データは、データそのものを送信しても良いし、画像データをファイルにしてから送信しても良い。いずれの場合も、画像データのデータサイズは大きいので、キャプチャ対象となる画像の表示上のサイズを小さくしたり、周知の圧縮法を用いてデータサイズの圧縮や、画像に用いられている色の数を減らすことにより、画像データサイズを小さくする。また、ユーザサポートにおいて、ユーザに操作を説明する場合は、マウスの動きが多いことがほとんどで、全体的な画像の変化はさほど多くないことに鑑み、図７に示されるように、画面を一定の大きさのセルに分割し、画像に変化の生じたセルのみを送信しても良い。具体的に図８を用いて説明すると、初期のクライアント画面が画面４７であり、次にキャプチャした画面が画面４９の場合、差分のセル４８のみを送信する。このようにすることで、送信するデータサイズを少なくすることが可能となる。この場合、表示画面の整合性を保障するために、一定時間ごとにキャプチャ対象画面全体の画面５０を送信する。また、画面全体の更新が行われた場合も同様に画面全体の画面データを送信する。
【００２８】
次に、上記処理により得られた画像データの流れについて図９を用いて説明する。図９は、Ｗｅｂサーバ１０と、クライアント１４と、クライアント１４の画面３６とが示されており、クライアント１４のＡＰ画面４０が、サーバ１０を経由し、サポート画面２８に表示するまでのデータの流れを示した図である。また、図９には、クライアント画面キャプチャコンポーネント５２と、表示データ作成モジュール５４と、ブラウザ５６も示されている。このうち、クライアント画面キャプチャコンポーネント５２は、サポート画面２８のダウンロード時から存在するコンポーネントで、自動的にサーバ１０からダウンロードされる。
【００２９】
このクライアント画面キャプチャコンポーネント５２は、キャプチャする対象画面を一定の間隔でキャプチャし、得られた画像データを画像データそのものか、あるいはファイル化し、サーバ１０へ一定の間隔でアップロードする。具体的に説明すると、例えば、１秒に２０回の間隔で画面をキャプチャし、サーバ１０には、１秒に１０回の間隔で画像データを２つずつ送信する。こうすることで、対象画面をあたかもビデオカメラで撮影している映像のようにサーバ１０へ送信することができる。
【００３０】
また、クライアント画面キャプチャコンポーネント５２は、動作環境を設定することが可能であり、その動作環境には、画面をキャプチャする間隔（例えば１秒あたりの画面のコマ数）や、画面データまたは画面データファイルのサーバ１０へのアップロードする間隔や、画面をキャプチャする精度（解像度）や、キャプチャ画面の減色やグレイスケールのような色の補正などがある。このようなキャプチャ機能は、ＯＳ（Operating System）の用意した各機能を呼び出すためのＡＰＩ（Application Program Interface）などを用いて作成する。
【００３１】
次に、表示データ作成モジュール５４の説明をする。表示データ作成モジュール５４は、サーバ１０上に配置されたモジュールで、クライアントからアップロードされた画像データから、ブラウザに表示することが可能な表示データを作成する。このとき、表示される画像データのリアルタイム性を損なわないように、クライアントが画像データをアップロードする間隔と同期をとるようにする。
【００３２】
ブラウザ５６には、上記表示データ作成モジュール５４で書き換えられたページを常に表示するため、リアルタイムでサポート画面２８の書き換えを行うコンポーネントが、サポート画面２８のダウンロードとともに備えられる。
【００３３】
次に、データの流れについて、図中の（１）から（７）の順に説明する。（１）は、画像キャプチャ対象のＡＰ画面のキャプチャ処理を示しており、このとき、上記データサイズの圧縮を行う。（２）は、（１）でキャプチャされた画面データのファイルへの変換を示す。この場合、上述したように、画面データをファイルにせず、そのままサーバ１０へ送信してもよい。（３）は、画像データファイルもしくは画像データのサーバ１０へのアップロードを示している。（４）は、クライアント１４から受信した画面データからブラウザに表示する表示データを生成することを示しており、表示データ作成モジュールが画面データを読み込み、表示データを生成する。この表示データを生成する間隔は、ＡＰ画面４０をキャプチャする間隔と等しくする。（５）は、生成された表示データのＨＴＭＬへの組み込みを示している。（６）は、ＨＴＭＬに組み込まれた表示データの更新を示している。クライアント１４のブラウザは、現在表示しているページがサーバ１０で更新されたことを認識し、その更新された表示データを読み込む。そして、（７）は、その表示データをサポート画面２８に表示することを示している。
【００３４】
以上説明したように、本実施の形態によれば、一般的に普及しているＷｅｂブラウザやＷｅｂサーバを用いることにより、画面をキャプチャするためのモジュールをブラウザにコンポーネントとしてダウンロードすることができ、専用のソフトウェアが用いずとも相手の画面を自らの画面に表示することが可能となる。
【００３５】
さらに、クライアントが、標準のＷｅｂブラウザで動作しないような機能があった場合、インターネットなどからその機能をダウンロードし、その機能をインストールするという一連の操作を行うモジュールを備えていると、窓口にアクセスした時点で専用のアプリケーション組み込まれ、操作性や機能性を高めたアプリケーションを使うことができる。この場合、提供するクライアントは、窓口に接続するまで通常のＨＴＭＬで実行し、最終的にキャプチャ条件や接続条件が確定した段階で、先ほどのモジュールによりダウンロードされたクライアント画面キャプチャアプリケーションを起動する。そしてこのアプリケーションは、Ｗｅｂサーバの中継アプリケーションと接続し、画面のキャプチャと送信を行う。
【００３６】
また、Ｗｅｂサーバでは、クライアントとの接続管理をＷｅｂサーバの仮想マシン上で動作するプログラムで行う。そして、複数の接続管理を同時に実行するため、ＯＳが１つのアプリケーションの処理を複数に分割して実行する場合の処理の最小単位であるスレッドで中継処理を行う。これにより、複数の接続がされた場合も、ディスパッチャにより並行して処理を行うことが可能となる。また、画像を表示するクライアントは、ダウンロードで組み込まれたアプリケーションで画像を表示する。
【００３７】
本実施の形態では、提供するクライアントから表示するクライアントに画像が提供されているが、２つのクライアントは、ともにＷｅｂブラウザの起動が可能であるので、お互いに画像を提供し、受信できることは言うまでもない。また、画像データを提供するクライアントと、提供を受けるクライアントとが複数であってもよい。また、VｏＩＰ技術等を利用することにより上記各クライアント間で相互の画像をモニタしつつ音声の送受をおこなうことも可能である。
【００３８】
以上説明した実施の形態と図９において、表示データ作成モジュール５４は、表示データ生成手段と表示データ生成手順に対応し、（６）は、中継手段と中継手順に対応する。
【００３９】
【発明の効果】
以上説明したように、本発明によれば、相手の画面をモニタすることと、自らの画面を相手にモニタさせることとを可能とするとともに、画面をモニタするコンピュータに前もってインストールを行う必要がなく、セキュリティの確保も可能な画像データ表示方法、画像データ表示サーバ、画像データ表示プログラムおよび記録媒体が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画面表示システムの全体構成図である。
【図２】Ｗｅｂサーバ及びクライアントのハードウェアブロック図である。
【図３】接続画面を示す図である。
【図４】クライアント接続シーケンス図である。
【図５】サポート画面を示す図である。
【図６】クライアントの表示イメージ図である。
【図７】差分データの送信を示す図である。
【図８】差分データ及び全体の画像データの送信を示す図である。
【図９】本実施の形態における機能構成を示す図である。
【符号の説明】
１０…Ｗｅｂサーバ
１２、１４…クライアント
１６…インターネット
１８…窓口
２０…新規接続開始ボタン
２２…自画面表示領域
２４…相手画面表示領域
２６…自画面送信ボタン
２８…サポート画面
３０…送信中止ボタン
３２…切断ボタン
３４…表示領域
３６…自端末画面
３８…相手端末画面
４０、４２…ＡＰ画面
４４、４６…マウスポインタ
４７、４９、５０…画面
４８…差分
５２…クライアント画面キャプチャコンポーネント
５４…表示データ作成モジュール
５６…ブラウザ
【図１】
0004611584.tif 000002
【図２】
0004611584.tif 000003
【図３】
0004611584.tif 000004
【図４】
0004611584.tif 000005
【図５】
0004611584.tif 000006
【図６】
0004611584.tif 000007
【図７】
0004611584.tif 000008
【図８】
0004611584.tif 000009
【図９】
0004611584.tif 000010