(57)【要約】【課題】画面を見ているだけでは分からないマウスやキーボード入力などの操作を、文字やアニメーションを用いて具体的に画面に表示する方法を提供することである。【解決手段】ウィンドウ・システムからアプリケーションへのイベント発生をモニタリングするイベント・ハンドラ１４１と、イベントとユーザの操作とを対応付けるイベント変換テーブル２００と、イベント変換した結果をアニメーション、アイコン、文字などを用いて画面に表示する入力イベント表示１４２を設ける。【効果】どのマウスボタンが押されたのかなどの操作情報を画面から得られるようになるので、画面を見ているだけで具体的な操作の様子がわかるという効果がある。【選択図】  図１
2004355059.tif 000002
【特許請求の範囲】
【請求項１】
入力装置からの信号をイベントとしてアプリケーションに伝達するコンピュータ・システムの操作表示方法において、
アプリケーションへのイベント伝達をモニタリングし、イベントを解釈してイベント変換し、イベントとユーザの操作とを対応付けるイベント変換テーブルと、イベント変換した結果をアニメーション、アイコン、文字、キャラクタを用いて画面に表示することを特徴とする操作表示方法。
【請求項２】
請求項１に記載の操作表示方法において、上記イベント変換した結果を音声で知らせることを特徴とする操作表示方法。
【請求項３】
請求項１に記載の操作表示方法において、イベント変換した結果を記憶領域に記憶し、ユーザからの要求に応じて表示、および、印刷することを特徴とする操作表示方法。
【請求項４】
請求項１に記載の操作表示方法において、イベントを記憶領域に記憶し、ユーザからの要求に応じてイベントを解釈してイベント変換して画面に表示することを特徴とする操作表示方法。
【請求項５】
請求項１に記載の操作表示方法において、ユーザからの要求に応じて特定のアプリケーションに対するイベントのみを解釈してイベント変換して画面に表示することを特徴とする操作表示方法。
【請求項６】
入力装置からの信号をイベントとしてアプリケーションに伝達する複数のコンピュータが通信機能を介して接続されたコンピュータシステムの操作表示方法において、複数のコンピュータは、互いにイベントを送信すると共に画面表示を共有し、少なくとも一台のコンピュータは、アプリケーションへのイベント伝達をモニタリングし、イベントを解釈してイベント変換し、イベントとユーザの操作とを対応付けるイベント変換テーブルと、イベント変換した結果をアニメーション、アイコン、文字、キャラクタを用いて画面に表示することを特徴とする操作表示方法。
【請求項７】
請求項６に記載の操作表示方法において、イベントをコンピュータごとに識別して管理し、イベント変換した結果を画面に表示する際に、色やアニメーション、アイコン、文字、音声、音を用いてコンピュータごとに区別して表示することを特徴とする操作表示方法。
【請求項８】
請求項６に記載の操作表示方法において、イベントまたはイベント変換後の操作情報は他のコンピュータが記録しており、画面情報の再生に合わせてイベントまたはイベント変換後の操作情報をダウンロードして利用することを特徴とする操作表示方法。
【請求項９】
ユーザからの指示に応じてコンピュータの処理装置が所定の処理を実行した場合に、
前記所定の処理を特定するための処理識別子を、前記コンピュータの記憶装置から検索する機能と、
前記ユーザからの指示を行うために前記ユーザが前記コンピュータの入力装置に対して行った操作内容を示す文字又は／及び画像又は／及びアニメーションを、前記記憶装置から検索する機能と、
前記文字又は／及び画像又は／及びアニメーションと前記処理識別子を対応づけて前記記憶装置へ格納する機能とを、前記コンピュータに実現させるためのプログラム。
【請求項１０】
前記文字又は／及び画像又は／及びアニメーションと前記処理識別子を前記記憶装置から読み出す機能と、
前記文字又は／及び画像又は／及びアニメーションと前記処理識別子を対応づけて他のユーザの他のコンピュータへ送信する機能を、前記コンピュータに実現させるための請求項９に記載のプログラム。
【請求項１１】
前記他のコンピュータへ送信された前記文字又は／及び画像又は／及びアニメーションは、前記他のコンピュータで前記所定の処理が開始される場合に、前記他のコンピュータの表示画面に表示される、請求項１０に記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はコンピュータへの入力操作の内容を分かりやすく表示するための表示方法に関する発明であり、特にウィンドウ・システムにおいて、画面共有時や自動実行時の入力操作の内容を画面に表示するシステムに関する。
【０００２】
【従来の技術】
パソコンにＵＳＢカメラなどを接続して、手軽にＴＶ電話（ビデオ・コミュニケーション、ビデオチャットなどの名称でも呼ばれている）ができるようになってきている。遠隔地をＴＶ電話でつないで会議を行うビデオ会議システムでは、映像に加えてホワイトボードやアプリケーション共有などの機能が使用できる（例えば、特許文献１、非特許文献１参照）。これらは複数のコンピュータが画面やウィンドウを共有する機能であり、ネットワークを介してビデオ会議システムに接続している複数のコンピュータの画面に同一のウィンドウが表示され、共有アプリケーションへの入力（表示されたウィンドウへの入力）も各コンピュータから行うことができる。類似の機能として、コンピュータの操作を支援するために、支援者が遠隔地のパソコンから支援を必要とするパソコンの画面を見て操作できるリモート  アシスタンスと呼ばれる機能もある（非特許文献２参照）。
【０００３】
ネットワークで接続された複数のコンピュータが画面やウィンドウを共有する方法は大きく分けて二つある。一つは、一台のコンピュータ上でアプリケーションを動作させ、ユーザが行ったアプリケーションへの入力に対応して発生したイベントを、通信機能を介してアプリケーションが動作しているコンピュータに送り、アプリケーションがイベント処理を行い、その結果が反映された画面情報を各コンピュータに通信機能を介して送信し、各コンピュータの画面に表示する方法である。もう一方は画面情報を共有するのではなく図形やテキストなどのデータを共有する方法であり、同じアプリケーションを各コンピュータ上で動作させ、ユーザが行ったアプリケーションへの入力に対応して発生したイベントを、通信機能を介して他のコンピュータに送る方法である。双方とも、イベントを通信する技術を用いているが、ここでいうイベントとは、ウィンドウ・システムで用いられているイベント  ドリブン  プログラミングというプログラミング  パラダイムで使われているものである。イベント  ドリブン  プログラミングとは、ユーザがアプリケーションに対して操作を行うとイベントが発生し、そのイベントを処理するコードを記述するプログラミング手法である。例えば、ユーザがマウスをクリックするとハードウェア割り込みが発生し、ＯＳカーネルとマウス用デバイスドライバが処理してウィンドウ・システムにクリック信号の入力を伝える。ウィンドウ・システムはどのウィンドウ内でマウスがクリックされたのかを判断し、対応するアプリケーションにクリック  イベントの発生を伝える。クリック  イベントが発生するとアプリケーション内のクリック用のイベント・ハンドラが応答して、開発者が記述したコードに従ってイベント処理が行われる。従って、他のコンピュータにイベントを送り、そのイベントがアプリケーションに伝達されれば他のコンピュータ上で動作しているアプリケーションを操作することができる。
【０００４】
ところで、パソコンの具体的な操作を説明するために説明者が明示的に説明を加える方法は古くから使われている。例えば、画面やウィンドウをハードコピーして画面遷移が分かるように並べたものに『マウスの右ボタンをクリック』などの説明を書き入れたものや、画面をビデオに録画して『ここでマウスの右ボタンをクリックしてください』などのように説明を音声で補助するものである。
【０００５】
【特許文献１】
特開平６−３３７９１５号公報
【非特許文献１】
ＮｅｔＭｅｅｔｉｎｇ  Ｈｏｍｅ、ｈｔｔｐ：／／ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｗｉｎｄｏｗｓ／ｎｅｔｍｅｅｔｉｎｇ／
【非特許文献２】
Ｓｔｅｐ−ｂｙ−Ｓｔｅｐ  Ｇｕｉｄｅ  ｔｏ  Ｒｅｍｏｔｅ  Ａｓｓｉｓｔａｎｃｅ、ｈｔｔｐ：／／ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｗｉｎｄｏｗｓｘｐ／ｐｒｏ／ｔｅｃｈｉｎｆｏ／ｄｅｐｌｏｙｍｅｎｔ／ｒｅｍｏｔｅｇｕｉｄｅ／
【０００６】
【発明が解決しようとする課題】
アプリケーション共有やリモート  アシスタンス機能では、遠隔地にいる対話相手がどのような操作を行ったのかはマウスカーソルの動きなどの画面に表示される情報から推測するしかなく、パソコンの操作に慣れていない人にとっては推測が難しいために対話相手の具体的な操作が分からないという問題がある。そのため、遠隔対話で教えてもらったことを再び自分で行おうとしても、操作方法が分からないという問題もある。例えば、ある文字列をコピーして別の場所に貼り付ける操作では、マウスのみを用いる方法とキーボードとマウスを併用する方法とキーボードのみを用いる方法とがある。キーボードとマウスを併用する場合の操作例を以下に記述する。まず、コピーする文字列の上にマウスカーソルを移動し、コピーする文字列上でマウスボタンを押したまま移動させることで文字列を選択する。次に、キーボードで＜Ｃｔｒｌ＞キーを押しながら＜Ｃ＞キーを押すことで文字列のコピーを行う。最後に、文字列を貼り付ける場所にマウスカーソルを移動させてマウスの左ボタンを押し、再びキーボードで＜Ｃｔｒｌ＞キーを押しながら＜Ｖ＞キーを押すことでコピーした文字列の貼り付けを行い、操作が完了する。キーボードで＜Ｃｔｒｌ＞キーを押しながら行うキー操作は、アプリケーション・プログラムのメニューを選択して行う操作のショートカット機能であり、利用者がよく行う操作を＜Ｃｔｒｌ＞＋＜Ｃ＞で代用したりファンクション・キーに割り当てたりすることで操作を簡単にしている。上述したキーボードとマウスを併用する場合の操作例において、遠隔地にいる人に見えるのはマウスカーソルの動きだけであり、マウスのボタンを押したりキーボードから入力したりといった操作情報を見ることはできない。
【０００７】
説明者が明示的に説明を加える方法では、説明者があらかじめ説明を加える作業が必要となり、説明者が説明を加えない限り、どのような操作が行われたのかは説明される側には伝わらないという問題がある。
【０００８】
本発明の課題は、マウスやキーボード入力などの画面を見ているだけでは分からない操作を、文字やアニメーションを用いて具体的に説明するシステム、方法及びプログラムを提供することである。
【０００９】
【課題を解決するための手段】
上記の課題を解決するために、ウィンドウ・システムからアプリケーションへのイベント発生をモニタリングする手段と、イベントと具体的なユーザの操作とを対応付ける手段と、発生したイベントに対応するユーザ操作をアニメーション、アイコン、文字などを用いて画面に表示する手段を設けることにより、ユーザが行ったマウスやキーボード入力などの具体的な操作を画面に表示できるようにする。尚、以降の説明のために、これらの手段を基本手段とする。
【００１０】
上述した基本手段に加えて、操作情報を記憶領域に記録する機能を設け、必要な場合に画面に表示したり印刷したりすることで、操作説明書を自動的に作成することができるようになる。
【００１１】
上述した基本手段に加えて、特定のアプリケーションへのイベントのみを選択して操作情報を画面に表示する、および、記録する手段を設けることにより、あるアプリケーションへの操作に注目した情報を表示することができるようになる。
【００１２】
一台のコンピュータ上で動作しているアプリケーションを複数のコンピュータが共有している場合、アプリケーションを実行しているコンピュータ上に上述した基本手段を設けるとともに、ユーザ操作を表示している画面情報を他のコンピュータに送る手段を設けることにより、同一のユーザ操作表示画面を複数のコンピュータ上に表示できるようになる。加えて、ユーザ（コンピュータ）ごとにイベントを区別して管理する機能を設け、操作を行ったユーザを色やアニメーション、アイコン、文字などを用いて区別して表示する手段を設けることにより、どのユーザがどのような操作を行ったのかという情報を画面から得られるようになる。
【００１３】
同じアプリケーションを各コンピュータ上でそれぞれ動作させ、図形やテキストなどのデータを共有している場合も同様に、各コンピュータ上に上述した基本手段を設けるとともに、ユーザ（コンピュータ）ごとにイベントを区別して管理する機能を設け、操作を行ったユーザを色やアニメーション、アイコン、文字などを用いて区別して表示する手段を設けることにより、どのユーザがどのような操作を行ったのかという情報を画面から得られるようになる。
【００１４】
また、共有アプリケーションを実行しているコンピュータにて上述した基本手段とイベントを記録する機能を設けることによりユーザ操作を再現することが可能となり、記録したイベントをダウンロードなどして他のコンピュータで利用することもできるようになる。ユーザが行った操作を登録して自動実行するマクロ機能においても、自動実行時にユーザ操作情報を表示することが可能となる。
【００１５】
【発明の実施の形態】
以下、本発明の第１の実施例を図１により説明する。図１にはウィンドウ・システムがＯＳに組み込まれているコンピュータの構成を示しているが、ＣＰＵ、主記憶、二次記憶装置などのハードウェア構成は本発明に関係しないので、記載を省略している。また、マウス１０２、キーボード１０１を入力装置としているが、他の入力装置が接続されていても良い。マウス１０２、キーボード１０１、ディスプレイ１００などの装置からの信号を処理するデバイスドライバ１１０と、装置から発生したハードウェア割り込みやソフトウェアのスケジューリングなどを行うＯＳカーネル１２０と、ウィンドウの管理を行うウィンドウ・システム１３０を基盤として、アプリケーション・ソフトウェア群１５０が動作する構成を示している。例えば、マウス１０２をクリックするとハードウェア割り込みが発生し、ＯＳカーネル１２０とマウス用デバイスドライバ１１０が処理してウィンドウ・システム１３０にクリック信号の入力を伝えると、ウィンドウ・システム１３０は対応するアプリケーションにクリック  イベントの発生を伝える。本発明の入力操作表示プログラム１４０はウィンドウ・システム１３０からアプリケーション・ソフトウェア群１５０へのイベント通知を拾い、イベント・ハンドラ１４１がイベント変換テーブル２００を参照してイベントの内容を解析し、解釈した内容を入力イベント表示１４２が画面に表示する。具体的な入力操作が画面に表示されるため、装置の操作を見ていない人にもどのような操作が行われたのかが分かるようになる。
【００１６】
図２にはイベント変換テーブル２００の構成例を示している。基本的な構成は、イベント２１０とそれに対応する表示情報、例えば文章での表示情報２２０と画像での表示情報２３０からなり、イベント２１０が発生したオブジェクトとそのイベントを発生させた装置の属性がイベントの引数となっている。イベント２１０の種類とそれに付随する属性情報はウィンドウ・システム１３０の仕様により異なるが、イベントを扱うための基本的な仕組みは同じである。例えば、Ｃｌｉｃｋ（Ｏｂｊ，  ＭＥｖｅｎｔＡｒｇｓ）はマウスがクリックされたときに発生するイベントであるが、Ｏｂｊはクリックされたボタンやメニューなどのオブジェクトの名称またはＩＤまたはポインタなどであり、ＭｅｖｅｎｔＡｒｇｓは属性２４０としてどのボタンが押されたのかを示す値や、クリックされたＸ座標／Ｙ座標などを有するため、Ｃｌｉｃｋ（Ｏｂｊ，  ＭＥｖｅｎｔＡｒｇｓ）からマウスがどのオブジェクトをクリックしたのか、また、クリックされたときのマウスボタンの状態や座標の情報を得ることができる。イベント変換テーブル２００はイベント２１０をユーザの操作に変換するためのテーブルであり、それぞれのイベントに対応したユーザ操作を用意している。ここでは、ユーザ操作を文に変換した表示情報（文）２２０、画像に変換した表示情報（画像）２３０を用意している。クリック  イベントが発生した場合は、Ｃｌｉｃｋ（Ｏｂｊ，  ＭＥｖｅｎｔＡｒｇｓ）からＭＥｖｅｎｔＡｒｇｓのＢｕｔｔｏｎ属性を参照し、Ｂｕｔｔｏｎ属性の値が右ボタンであれば「右マウスボタンをクリック」という文とＣｌｉｃｋＲ．ｇｉｆ画像に変換する。図２ではＢｕｔｔｏｎ属性の値が左ボタンの場合については括弧で示しているが、右ボタンの場合と同様に、「左マウスボタンをクリック」という文とＣｌｉｃｋＬ．ｇｉｆ画像に変換する。
【００１７】
図３は右ボタンがクリックされた場合の画面表示例を示している。図３（１）アニメーション表示の例では、ＣｌｉｃｋＲ．ｇｉｆ画像を利用してマウスの右クリックが押されたアニメーションを表示するとともに、「右マウスボタンをクリック」という文を表示している。アニメーションは作成ツールを利用してあらかじめ作成しておいてもよいし、ボタンが押されていないマウスの画像と、右ボタンを押した画像とを交互に表示するなどして、表示時に擬似的にアニメーションを作成してもよい。表示する文も、表示情報（文）２２０の文をそのまま表示してもよいし、知識処理などを行って加工した結果を表示してもよい。キャラクタを表示して、操作内容をキャラクタが文字で説明している表示にしてもよいし、合成音声による説明にしてもよい。操作と音とを対応付けて、操作に応じた音を再生してもよい。図３（２）には文字のみを用いて表示する例を示している。図３（３）には、マウス入力操作の一覧をリストで表示し、リストの内容に該当する操作が行われた場合に、該当するリスト内の位置に印をつける例を示している。リスト型表示では、印をつける代わりにフォーカスを当てる、反転表示する、など強調表示のための技術を用いてもよい。
【００１８】
キーボードの入力イベントに対してもマウスの場合と同様に、＜Ａｌｔ＞＜Ｓｈｉｆｔ＞＜Ｃｔｒｌ＞キーが押されているか、または、直前に押されたかという属性値と、どのキーが押されているかという属性値がイベントの引数ＫＥｖｅｎｔＡｒｇｓ２５０として得られる。キーボードの場合もマウスと同様に、どのキーが押されているかが分かる文章やアニメーションを表示することで、具体的なキー操作を画面に表示することができる。マウスとキーボードを併用する場合や、他の入力機器を用いる場合も同様である。図３（４）にはマウスとキーボードを併用した操作を文字で表示した例を示している。マウスカーソルの移動方向が表示されているが、連続したイベントの発生時刻と座標の差から移動方向を計算することができる。
【００１９】
図２に示すように、イベント２１０を視覚的に表示するための情報２２０および２３０に変換し、図３に示すように変換された情報を表示することにより、従来は得ることができなかった操作情報を画面に表示できるようになる。
【００２０】
図４は入力操作表示プログラム１４０の処理の流れを示す図である。プログラムがスタート（ステップ４１０）すると、イベント・ハンドラ１４１が起動してウィンドウ・システム１３０からのイベント発生を待ち、イベントが発生したら受信し（ステップ４２０）、イベントを解析して、同時に行われた操作かどうかといった複数のイベント間の相関関係や、表示すべき操作かどうかなどの判断を行う（ステップ４３０）。次に、イベントが入力操作表示プログラム１４０への終了指示か否かを判断し（ステップ４６０）、終了指示の場合はプログラムを終了する（ステップ４７０）。イベントが終了指示でなかった場合は入力イベント表示１４２にイベントの解析結果を渡し、イベント変換テーブル２００を参照して操作説明文／アニメーション作成を行い（ステップ４４０）、画面に表示して（ステップ４５０）、再びイベント受信を待つ処理（ステップ４２０）に戻る。
【００２１】
図５は遠隔会議ソフトに本発明を適用した場合の構成を示している。遠隔地にある主催側と参加側のそれぞれのコンピュータ上に遠隔会議ソフト５１０および５２０、入力操作プログラム１４０および５４０が動作している。５１０と５２０、１４０と５４０は動作しているコンピュータを区別するために別の番号を付与しているが、同じソフトウェアであり、音声や映像をリアルタイムで送受信しあうことができ、共有アプリケーションを動作させることができる。また、参加側のコンピュータはテレビ機能を有しており、ＴＶリモコンによる入力操作も可能である。従って、遠隔会議ソフト５２０への入力はキーボード５３１、マウス５３２、ＴＶリモコン５３６から行われるものとする。遠隔会議ソフト５２０に入力イベントが発生すると、遠隔会議ソフト５２０のイベント・ハンドラ５２６がイベントを受信し、共有アプリケーション５１４へのイベントだと判断されたイベントは、通信機能の一つのＴＣＰ／ＩＰ５３７から主催側のＴＣＰ／ＩＰ１０４に送信され、遠隔会議ソフト５１０の共有アプリケーション５１４に送られ、イベント処理される。共有アプリケーションが表示しているウィンドウは、逆にＴＣＰ／ＩＰ１０４から５３７に送られ、ウィンドウ・システム５６０とＯＳカーネル５７０とデバイスドライバ５８０を介してディスプレイ５３０に表示される。入力操作表示プログラム５４０には、キーボード５３１、マウス５３２、ＴＶリモコン５３６からの入力イベントが送信され、入力操作表示プログラム１４０には、キーボード１０１、マウス１０２、キーボード５３１、マウス５３２、ＴＶリモコン５３６からの入力イベントが送信される。参加側のディスプレイ５３０に主催側の操作情報も表示するためには、ディスプレイ１００に表示されている入力操作表示プログラム１４０の操作情報を表示しているウィンドウを共用し、遠隔ソフトと同様の手法でディスプレイ５３０に表示するようにすればよい。また、入力操作記録／再生プログラム５００において、イベントの発生時刻とイベントを組にして記録するステップと、イベント発生する時刻の間隔を保つようにして記録したイベントを擬似的に発生させるステップを設けることにより、イベントの記録／再生が可能となる。主催側のコンピュータにウェブ・サーバ機能を設けるなどして記録したイベントの発生時刻とイベントの組を参加側のコンピュータにダウンロードし、入力操作記録／再生プログラム５５０を動作させてダウンロードしたイベントを再生して操作情報を表示することもできる。
【００２２】
遠隔会議の内容を記録する場合、各コンピュータにおいて映像と音声を録画するか、あるいは映像と音声とともに共有アプリケーションのウィンドウを録画することが予想できる。映像の録画は容量が大きいため、会議全部を録画するよりも重要と思われる部分のみを録画するという使い方が多いと予想される。イベントの発生時刻とイベントを記録することは容量が少ないため、会議全体を記録することは現実的である。映像を記録する際に、映像の時刻情報も記録しておき、イベントの発生時刻情報と映像の時刻情報とを対応付けることにより、映像の再生と同時にイベントを再現することができる。会議時のイベントの発生時刻とイベントの組を常に記録しておき、ネットワークを介して参照できるようにすることにより、録画した会話を再生したときに「さきほどの資料の訂正部分」というように過去の操作に遡って言及があった場合でも操作情報が参照できるシステムを構築することが可能である。
【００２３】
【発明の効果】
本発明は、どのマウスボタンが押されたのかなどの操作情報を画面から得られることができるようになるので、利用者は具体的な操作方法を知ることができるという効果がある。また、操作情報を記憶することにより必要に応じて表示することができるようになるので、操作説明書を用意する手間とコストが省けるという効果がある。
【図面の簡単な説明】
【図１】本発明の１実施例の構成図である。
【図２】図１のイベント変換テーブルの例である。
【図３】利用者がマウスの右ボタンを押したときの、入力操作表示プログラムによる操作内容の画面表示例である。
【図４】入力操作表示プログラムの処理の流れである。
【図５】遠隔会議ソフトを利用した場合の構成図である。
【符号の説明】
１４０…入力操作表示プログラム、１４１…イベント・ハンドラ、１４２…入力イベント表示、２００…イベント変換テーブル。
【図１】
2004355059.tif 000003
【図２】
2004355059.tif 000004
【図３】
2004355059.tif 000005
【図４】
2004355059.tif 000006
【図５】
2004355059.tif 000007