(57)【特許請求の範囲】
【請求項１】
通信ネットワークを介して相互に接続されている第１の端末及び第２の端末を有し、前記第１の端末は、第１のオペレータの入力した入力文字を変換して未確定の変換文字を生成すると共に確定入力で前記変換文字を確定文字として生成する文字変換確定手段と、前記変換文字及び前記確定文字をディスプレイに表示させるウィンドウ制御部と、前記確定文字をイメージデータ又は文字コードとして前記第２の端末に送信する画面共有制御部とを含み、該第２の端末は受信したイメージデータ又は文字コードに基づいて前記確定文字をディスプレイに共通に表示させる他のウィンドウ制御部を含むリモート画面共有システムにおいて、
前記画面共有制御部は前記未確定の変換文字をイメージデータ又は文字コードとして前記第２の端末へ送信し、
前記第２の端末の他のウィンドウ制御部は、受信した前記イメージデータ又は文字コードに基づいて前記変換文字をその正誤を確認させるべく前記ディスプレイに表示させるリモート画面共有システムであって、
前記文字変換確定手段は前記入力文字の変換すべき候補文字を生成し、前記ウィンドウ制御部は前記候補文字を含むリスト表をディスプレイに表示させ、前記画面共有制御部は前記リスト表をイメージデータとして取り込んで前記第２の端末へ送信し、
前記第２の端末の他のウィンドウ制御部は、受信したイメージデータに基づく前記リスト表及び候補文字の選択可能な仮想キーボードを前記ディスプレイに表示させ、
前記第２の端末は、前記仮想キーボードで第２のオペレータにより選択された候補文字を示す選択信号を前記第１の端末へ送信する選択制御部を更に有し、
該第１の端末の前記文字変換確定手段は、前記選択信号を受信すると対応する候補文字を確定文字に設定する、
ことを特徴とするリモート画面共有システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、通信ネットワークによって接続された２台の端末が互いに画面を共有して情報交換を行うリモート画面共有システムに関する。
【０００２】
【従来の技術】
テレビ会議システムでは、送信側の端末と受信側の端末でホワイトボードと呼ばれる画面を共有し、その画面に様々な情報を書き込み、コミュニケーションの円滑化を図っている。このような画面の共有システムをこの発明ではリモート画面共有システムと呼ぶ。この種のシステムでは、例えば送信側の端末で文字や図形情報を共有画面に書き込むと、その画面の内容が転送されて受信側に表示される。受信側で新たに文字や図形の情報を書き込むと、今度はこれが送信側に転送されて同一の画面が送信側に表示される。
【０００３】
【発明が解決しようとする課題】
ところで、上記のような従来の技術には次のような解決すべき課題があった。
テレビ会議システムのみならずリモート画面共有システムは様々な分野に広く利用できる。例えば、一方の端末を、データ入力担当のオペレータが操作し、他方の端末を補助者が操作する。データ入力担当オペレータが様々な情報を共有画面に入力すると、補助者がその内容を監視し、必要に応じて助言を与える。このようなシステムを用いて、遠隔地における端末の操作を補助者がきめ細かく助言することが可能になる。
【０００４】
しかしながら、この種のシステムにおいて、データ入力担当オペレータが仮名漢字変換機能を用いてデータを入力する際に、選択した漢字の誤り等を補助者が発見したとき、補助者はオペレータに再入力を促したり、あるいは補助者側で正しい漢字を示してこれをデータ入力担当オペレータに伝えるといった作業が必要になる。
【０００５】
ところが、漢字の選択誤りを相手に音声で伝える場合には、正確にその意味が伝わらないこともあり、また聞き違え等も発生する。補助者が正しい漢字を共有画面に入力して示した場合には、データ入力担当オペレータは正しく漢字を認識できるが、補助者が入力した漢字を参照しながらデータ入力担当オペレータがその漢字を自己の端末に入力するといった煩雑な作業が必要であった。
【０００６】
【課題を解決するための手段】
本発明は以上の点を解決するため次の構成を採用する。
〈構成１〉
通信ネットワークを介して相互に接続されている第１の端末及び第２の端末を有し、上記第１の端末は、第１のオペレータの入力した入力文字を変換して未確定の変換文字を生成すると共に確定入力で上記変換文字を確定文字として生成する文字変換確定手段と、上記変換文字及び上記確定文字をディスプレイに表示させるウィンドウ制御部と、上記確定文字をイメージデータ又は文字コードとして上記第２の端末に送信する画面共有制御部とを含み、該第２の端末は受信したイメージデータ又は文字コードに基づいて上記確定文字をディスプレイに共通に表示させる他のウィンドウ制御部を含むリモート画面共有システムにおいて、上記画面共有制御部は上記未確定の変換文字をイメージデータ又は文字コードとして上記第２の端末へ送信し、上記第２の端末の他のウィンドウ制御部は、受信した上記イメージデータ又は文字コードに基づいて上記変換文字をその正誤を確認させるべく上記ディスプレイに表示させるリモート画面共有システムであって、上記文字変換確定手段は上記入力文字の変換すべき候補文字を生成し、上記ウィンドウ制御部は上記候補文字を含むリスト表をディスプレイに表示させ、上記画面共有制御部は上記リスト表をイメージデータとして取り込んで上記第２の端末へ送信し、上記第２の端末の他のウィンドウ制御部は、受信したイメージデータに基づく上記リスト表及び候補文字の選択可能な仮想キーボードを上記ディスプレイに表示させ、上記第２の端末は、上記仮想キーボードで第２のオペレータにより選択された候補文字を示す選択信号を上記第１の端末へ送信する選択制御部を更に有し、該第１の端末の上記文字変換確定手段は、上記選択信号を受信すると対応する候補文字を確定文字に設定する、ことを特徴とするリモート画面共有システム。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を具体例を用いて説明する。
〈具体例１〉
図１は、本発明によるリモート画面共有システム具体例を示すブロック図である。
第１の端末１と第２の端末２は、互いに通信ネットワーク３を介して接続されている。第１の端末１と第２の端末２は、いずれも一般的なパーソナルコンピュータやワークステーション等から構成される。第１の端末１のディスプレイ４には、ウインドウ６が表示されている。また、第２の端末２のディスプレイ５には、ウインドウ７が表示されている。第１の端末１に設けられた画面共有制御部８とウインドウ制御部９は、第１の端末１に表示されたウインドウ６と第２の端末２に表示されたウインドウ７の内容を一致させる制御を実行し、いわゆるリモート画面共有システムを実現している。
【００１０】
各端末のハードウェア構成はよく知られたパーソナルコンピュータ等と同様であるため、その説明を省略するが、画面共有制御部８は、第１の端末１上で動作するアプリケーションプログラムにより構成される。ウインドウ制御部９も、第１の端末１のオペレーティングシステム等と共同してウインドウ表示を制御するプログラムにより構成される。
通信ネットワーク３には、ＬＡＮ（ローカルエリアネットワーク）や公衆回線、専用回線、インターネット等、様々なものが利用できる。
【００１１】
次に、画面共有制御部８の動作を更に具体的に説明する。第１の端末１に表示されたウインドウをそのまま第２の端末２に送信して表示させるプログラムは、従来から広く知られている。このプログラムは、第１の端末１に表示されたウインドウ６のイメージをコピーしてデータファイルにし、圧縮して通信ネットワーク３を通じて第２の端末２に送信する。第２の端末２では、受信したウインドウ６のイメージをディスプレイ５に表示し、ウインドウ７とする。第１の端末１に表示されたウインドウ６のイメージを第２の端末２に送信するタイミングは各種考えられるが、ここでは例えば次のような方法を採用する。
【００１２】
まず、第１の端末１を操作する際に、キーボードが押され、OnKeyUpイベントが検知されると、そのタイミングでウインドウ６に表示する文字を記憶するフィールドに入力された文字コードを第２の端末２に送信する。即ち、このケースでは、１文字の入力毎にその文字コードの転送によって画面の共有を行う。また、文字転送プログラムを起動するタイマを設定し、一定時間おきに、フィールドに入力されている全ての文字コードを一括して相手端末に転送するといった方法もある。後者の場合には、第２の端末では、フィールド中の文字コードを全て入れ替えるといった処理を行う。
【００１３】
この他に、ウインドウ全体のイメージデータを転送する方法がある。ウインドウの表示内容を一致させるには、この方法が最も簡便である。文字の入力以外にウインドウの表示内容が変化する場合もあるからである。この場合、例えばOnKeyUpイベントを検知し、そのタイミングでウインドウのイメージデータをコピーし、これを相手方に転送する。こうして、キー入力の度に第１の端末と第２の端末に表示されるウインドウの内容を一致させる。もちろん、このイメージデータ転送の方法でも一定時間間隔で画面のイメージデータを自動的に相手端末に転送するといった方法が考えられる。
【００１４】
図２に、本発明における画面共有制御部の動作説明図を示す。
この例は、例えばウインドウのイメージをそっくり第１の端末から第２の端末に転送するケースを示す。まず、ステップＳ１において、第２の端末には何も表示されていない状態で、第１の端末にウインドウ６が表示されたとする。このウインドウ６がコピーされ第２の端末に転送される（ステップＳ１）。次のステップＳ２において、第２の端末のウインドウ７にそのイメージがそのまま表示される。
【００１５】
ここで、このステップＳ２において、第１の端末で「こ」という文字が１字入力されたとする。この場合、第１の端末のウインドウ６がそのままコピーされ、第２の端末に転送される。これによって、ステップＳ３において、文字「こ」が含まれたウインドウが表示される。なお、この図を見てわかるように、第１の端末では、ウインドウ６の名前の欄に仮名漢字変換のための未確定文字が入力されている。破線のアンダーラインは未確定文字であることを示す表示である。第２の端末へ転送されたイメージの内容は確定しているから、破線のアンダーラインは表示されない。
【００１６】
図のステップＳ２、Ｓ３、Ｓ４の処理によって、第１の端末を操作するオペレータが「こんの」という文字を入力し、その後ステップＳ５において、これらの文字を漢字に変換する。従来は、ステップＳ１で第１の端末１に表示された画面を第２の端末に転送し、その後、第１の端末を操作するオペレータが仮名漢字変換を終了し、ステップＳ５に示すウインドウ６が表示された後に、その内容を第２の端末に転送するようにしていた。
【００１７】
ところが、この発明では、未確定の文字をそのつどそのまま第２の端末に順次送信する。未確定状態であっても、第１の端末のウインドウ６のイメージをそっくりコピーして第２の端末に送信し、そのままの内容を第２の端末のウインドウ７に表示する。
【００１８】
こうすれば、第２の端末では、第１の端末において、仮名漢字変換処理を実行する過程が、ステップＳ２からステップＳ６までの間に明確に読み取れる。従って、例えば第１の端末を操作するオペレータが仮名漢字変換操作を誤った場合に、ステップＳ６の段階で、第２の端末を使用するオペレータが第１の端末を使用するオペレータに対して、この漢字は違うという通知をする。第１の端末を操作するオペレータは、ステップＳ６の段階ではまだ変換後の漢字が未確定なため、別の漢字を選択して再度表示をさせることができる。従って、第１の端末を操作するオペレータが改めて正しい漢字を選択して、迅速に効率的に漢字の選択と確定ができる。
【００１９】
即ち、第２の端末を操作するオペレータが仮名漢字変換確定前に漢字の選択ミスを発見することができるので、第１の端末を操作するオペレータは、漢字の再変換をするだけでよく、再び図２のステップＳ２〜ステップＳ５の処理を繰り返すといった煩雑さがなくなる。
【００２０】
図３は、文字変換動作フローチャートである。
この図を用いて、上記の動作を順に具体的に説明する。まず、ステップＳ１において、第１の端末で共有ウインドウ中の文字変換入力を開始する。即ち、ここで第１の端末を操作するオペレータが仮名漢字変換プログラムを起動する。次に、ステップＳ２において、「こんの」を入力する。ここで、ステップＳ３において、図１に示した画面共有制御部８は、ウインドウのイメージデータを取得し、ステップＳ４において、第２の端末に送信する。第２の端末２では、そのイメージが表示される。なお、この例では、１文字ずつではなく３文字分の入力終了後にイメージデータの転送をしている。しかし、図２を用いた説明と同様に、これらは未確定文字であることに変わりはない。
【００２１】
次に、ステップＳ５において、第１の端末で文字変換を行う。ここでは、まず例えば最初に「こんの」が「今野」に変換される。ここで、第１の端末１の画面共有制御部８は、ウインドウのイメージデータを取得し、第２の端末２に送信する（ステップＳ６、Ｓ７）。これによって、第２の端末２には、最初に選択された変換後の「今野」が表示される。第２の端末２を操作するオペレータは、ここで、変換後の漢字が正しいかどうかを音声等によって第１の端末１を操作しているオペレータに通知する。もし、間違っていればステップＳ８からステップＳ５に進み、再変換を行う。即ち、今度は別の漢字を選択し、再び第１の端末１のウインドウ６に表示させる。
【００２２】
ステップＳ６、Ｓ７では、これまでと同様に、その内容を第２の端末２に転送して表示させる。ここで、第２の端末のオペレータが漢字の内容を了承すれば、ステップＳ８からステップＳ９に進み、第１の端末１のオペレータは、変換後の文字を確定させる。
【００２３】
〈具体例１の効果〉
以上のように、この具体例では、図２のステップＳ５において、第１の端末のウインドウ６に表示された「今野」という文字が未確定の状態で、第２の端末のウインドウ７にこれを表示するので、選択した漢字が誤っている場合に、第１の端末のオペレータは、そのまま別の文字を選択することができ、改めて平仮名から再入力を行う必要がない。第１の端末のオペレータと第２の端末のオペレータとが互いに視覚的に文字変換入力の過程を監視し、変換後の文字を確定することができるので、双方共に無駄な操作が不要になり、効率的な作業を行うことができる。
【００２４】
なお、図２に示した例では、仮名入力の過程も全て第２の端末に表示し、図３の例では変換前の平仮名を第２の端末に表示したが、少なくとも変換直後の未確定の文字が第２の端末に表示されればよい。
また、上記の例では、第１の端末１から第２の端末２に、一方的に共有すべきイメージ等の情報を送信する例を説明したが、第２の端末２の側にも同様の機能が設けられ、双方向にデータを送信して画面を共有するようにしても差し支えない。
【００２５】
〈具体例２〉
上記の例では、第１の端末で文字変換入力のための未確定文字が表示されたとき、これを第２の端末に表示した。次の具体例２では、第１の端末において、文字変換入力を行う際に変換候補を示すドロップダウンリストを第２の端末にも表示する。第２の端末において、選択をすべき漢字を速やかに指定することができるようにするためである。
【００２６】
図４に、具体例２の動作説明図を示す。
図４の右上には、第１の端末に表示されたウインドウ６とドロップダウンリスト１１を示した。これと同一の内容のウインドウ７が第２の端末に表示されている（ステップＳ１）第１の端末のウインドウ６の内容は、具体例１の場合と同様であって、ドロップダウンリスト１１は、「こんの」と文字を入力した場合の変換候補を示すものである。図１に示したウインドウ制御部９は、このようなドロップダウンリスト１１を、第１の端末１のディスプレイ４に表示する。このとき、画面共有制御部８は、ウインドウハンドルの取得を行う（ステップＳ２）。これによって、画面共有制御部８はドロップダウンリスト１１のイメージをコピーし、そのイメージデータを、第２の端末に転送する（ステップＳ３）。
【００２７】
その結果、ステップＳ４において、第２の端末には、ウインドウ７と共に第１の端末に表示されたものと同一のドロップダウンリスト１１が表示される。これにより、第２の端末を操作するオペレータは、仮名漢字変換中にリストアップされた候補をドロップダウンリスト１１によって認識できる。第２の端末を操作するオペレータは、ドロップダウンリスト１１中の正しい文字を、例えばその番号を指定して、第１の端末を操作するオペレータに音声で伝える。第１の端末を操作するオペレータは、これによって速やかに正しい漢字を選択し、その内容を確定させることができる。
【００２８】
〈具体例２の効果〉
即ち、具体例２の方法では、変換すべき文字候補が多数あった場合に、第２の端末を操作するオペレータが、速やかに的確に第１の端末を操作するオペレータにその旨を伝えることが可能になる。
【００２９】
〈具体例３〉
具体例２では、第１の端末１から第２の端末２に、ドロップダウンリストを転送して表示し、第２の端末を操作するオペレータが選択すべき候補を指定して、例えば音声で第１の端末を操作するオペレータに伝えるようにした。このとき、第２の端末を操作するオペレータが該当する候補を直接選択することができれば、より効率がよい。しかしながら、第１の端末において起動している文字変換入力のためのプログラムを、第２の端末において直接操作することは容易でない。
【００３０】
そこで、この例では、第２の端末に仮想キーボードを表示し、このキーボードがあたかも第１の端末のキーボードと同様に機能するようにし、仮想キーボードを用いてドロップダウンリスト中の候補を選択するようにした。
【００３１】
図５は、具体例３の動作説明図である。
図に示すように、まずステップＳ１において、第１の端末のウインドウ６と同様の内容の画面が、第２の端末のウインドウ７に表示される。更に、ステップＳ２において、具体例２で説明した通り、ドロップダウンリスト１１が第１の端末に表示される。このとき、この具体例では、図１に示したウインドウ制御部９が第１の端末において、ドロップダウンリスト１１の表示を検出する（ステップＳ３）。そして、その検出結果が画面共有制御部８に通知される。
【００３２】
画面共有制御部８は、ドロップダウンリスト１１が表示されると、ステップＳ４で、そのイメージを第２の端末に転送すると共に、第２の端末に対する仮想キーボード１２の表示制御を行う。その結果、第２の端末には、ステップＳ５において、仮想キーボード１２が表示される。この仮想キーボード１２は第２の端末のディスプレイ上に表示され、マウス等のポインティングデバイスを用いて数字を指定し、ＯＫボタンをクリックすると、その結果が第１の端末１に通知される。
【００３３】
即ち、第２の端末を操作するオペレータがドロップダウンリスト１１を眺めて、文字変換入力のための変換候補のうち適当なものを選択する。そして、その文字に該当する数字を仮想キーボード１２を用いて入力する。この数字が第１の端末１に通知されると、これが第１の端末１の画面共有制御部８を通じてキーイベントとして認識される。即ち、このステップＳ６において、第１の端末のキーボードを操作したのと全く同一の信号が生成されて、第１の端末のオペレーティングシステムに認識される。
【００３４】
これによって、丁度第１の端末のキーボードを操作して、ドロップダウンリスト中の適切な文字を選択したのと同様の処理が実行される（ステップＳ７）。即ち、第２の端末を操作するオペレータが、あたかも第１の端末のキーボードを操作して変換候補を選択したのと同様の処理が、これによって実現される。
【００３５】
なお、仮想キーボードの表示制御は、第１の端末に設けられた画面共有制御部が行ってもよいし、第２の端末にインストールされた仮想キーボード制御用のアプリケーションプログラムが画面共有制御部によって起動され、仮想キーボードを表示するようにしてもよい。
【００３６】
図６には、上記のような具体例３の動作フローチャートを示す。
まず、ステップＳ１において、第１の端末に変換候補選択のためのドロップダウンリストが表示される。ここまでの処理は具体例２と同様である。次に、ステップＳ２において、ドロップダウンリストの表示検出と、そのイメージデータの転送が行われる。ステップＳ３で、第２の端末では、ドロップダウンリスト共に仮想キーボードを表示する制御が行われる。
【００３７】
そして、ステップＳ４において、第２の端末に仮想キーボードが表示され、第２の端末のオペレータは、ステップＳ５において、該当するキーをマウス等のポインティングデバイスを用いてクリックする。第２の端末では、このクリックイベントを元に、第１の端末に対しクリックされたキーの番号を含む情報を送信する。第１の端末では、これを受信すると、第１の端末のキーボードが操作されたのと全く同様のキーイベントを発生し、これによってドロップダウンリストの該当する変換候補が選択される。
【００３８】
その後、ステップＳ８において、選択された文字が表示される。即ち、第１の端末のオペレータが漢字変換処理をしなくても、第２の端末のオペレータの操作によって必要な漢字の選択が終了する。従って、具体例２の場合よりも、より一層円滑に変換候補の選択と文字の確定が可能になる。
【００３９】
以上のようなシステムは、例えば次のようなケースに利用できる。まず、第１の端末を操作するオペレータが、一定のフォーマットに従って自己の名前や住所等を含むデータを入力する作業を開始する。このとき、第２の端末を操作するオペレータは、第１の端末を操作するオペレータの操作内容を共有画面を見ながら監視する。そして、例えば第１の端末を操作するオペレータが人名漢字の選択に迷った場合等に、第２の端末を操作するオペレータがこれを補助する。
【００４０】
また、別のケースでは、第１の端末を操作するオペレータは、第２の端末を操作するオペレータに音声等で話しかけながら必要な情報を聞き出し、データの入力作業を行う。第１の端末を操作するオペレータが主体的にデータ入力を行い、例えば第２の端末を操作するオペレータに対し不明な人名漢字等を問い合わせる。そして、必要に応じて第２の端末を操作するオペレータに漢字を選択させる。このようにして、第１の端末を操作するオペレータが第２の端末を操作するオペレータと会話をしながら必要なデータを完成させる。
【００４１】
また、上記のシステムを遠隔教育に利用することができる。例えば、第１の端末を操作する教師が平仮名を入力し、漢字が未確定の状態でドロップダウンリストを第２の端末を操作する生徒に示す。生徒は、そのドロップダウンリストを見て、自分が正しいと思う漢字を選択する。第１の端末を操作する教師は、生徒の選択が誤っていれば、その旨を音声等で伝え、正しく選択した漢字を生徒に示す。
【００４２】
さらに、例えば金融窓口業務を自動化する場合には、顧客が端末を操作して、自分の名前や住所等を入力する必要がある。しかしながら、必ずしも端末操作に熟知していない顧客も少なくない。こうした場合、顧客は端末操作がうまくいかず、時間の浪費につながり、障害の発生する原因にもなる。
【００４３】
これを回避するために、顧客が操作する端末とネットワークを通じて遠隔地で顧客の操作を監視するオペレータの端末とが画面の共有を行う。そして、例えば顧客は自分の名前をマイクでオペレータに伝え、オペレータは顧客の名前をキーボードを用いて入力する。そして、その変換結果を顧客に表示する。このとき、その変換結果は未確定文字のままとする。
【００４４】
顧客が別の文字を要求した場合には、顧客に対してドロップダウンリストを表示し、どの漢字かを選択してもらう。このときも、音声によって顧客がオペレータに選択する文字を伝えるよりも、番号によってオペレータに選択文字を伝える方が正確に伝わる。オペレータは、その顧客の要求に従って該当する文字を選択する。未確定状態であるから、何度も選択する漢字を切り替えることができる。即ち、再入力を必要としない。
【００４５】
また、具体例３によれば、顧客の端末に上記のような仮想キーボードを表示し、顧客に漢字を選択してもらう。これにより、より正確に該当する漢字が選択される。また、簡単な操作であっても、端末の操作を顧客が行うことによって、顧客が端末の操作に興味を示し、操作に慣れ、その後、オペレータの補助無しに端末を操作することが可能になるといった効果もある。
【００４６】
〈具体例３の効果〉
以上のように、本発明のシステムを用いれば、様々な条件で通信ネットワークによって接続された２台の端末を操作するオペレータ同士が、互いに協力して仮名漢字変換等の文字変換処理を実行することが可能になる。なお、上記の例では、日本語による仮名漢字変換処理を説明したが、いずれの具体例も例えば中国語、その他の言語の変換処理に同様に利用することができる。
【図面の簡単な説明】
【図１】本発明によるリモート画面共有システムのブロック図である。
【図２】画面共有制御部の動作説明図である。
【図３】文字変換動作フローチャートである。
【図４】具体例２の動作説明図である。
【図５】具体例３の動作説明図である。
【図６】具体例３の動作フローチャートである。
【符号の説明】
１  第１の端末
２  第２の端末
３  通信ネットワーク
４，５  ディスプレイ
６，７  ウインドウ
８  画面共有制御部
９  ウインドウ制御部
【図１】
0004390925.tif 000002
【図２】
0004390925.tif 000003
【図３】
0004390925.tif 000004
【図４】
0004390925.tif 000005
【図５】
0004390925.tif 000006
【図６】
0004390925.tif 000007