(57)【要約】【課題】コミュニケーションウィンドウにおけるユーザ自身の作業を自由としながら、相手ユーザのウィンドウには、相手側の操作を反映させた表示をすることで、相手の主張を気づかせて当該ウィンドウに切り替えることができるための、作業空間と同居したコミュニケーションウィンドウを提供する。【解決手段】ユーザ端末は、相手ユーザ表示ウィンドウ２０２〜２０４に対して操作が行われた場合、この操作情報を作業アプリケーションウィンドウ２０１の表示に反映すると共に、相手端末に操作情報を送信する。相手端末は、操作情報の受信で、当該ユーザ端末に対応する相手ユーザ表示ウィンドウの表示に反映する。【選択図】  図２
2004163633.tif 000002
【特許請求の範囲】
【請求項１】
ユーザがそれぞれ作業を行う複数のユーザ端末が個別のＩＤを有してネットワークで接続可能にされ、個人作業を行っているユーザ端末の作業空間に、遠隔地のユーザ端末から意思や状態を伝えるコミュニケーションウィンドウを表示可能にしたコミュニケーションシステムにおいて、
第１のユーザ端末は、第２のユーザ端末に対応するコミュニケーションウィンドウに対して操作が行われた場合、前記操作の情報を当該コミュニケーションウィンドウの表示に反映すると共に、前記第２のユーザ端末に操作情報を送信する表示制御過程を有し、
前記第２のユーザ端末は、前記第１のユーザ端末から前記操作情報を受信した場合、前記操作情報を前記第１のユーザ端末に対応するコミュニケーションウィンドウの表示に反映する表示制御過程を有することを特徴とするコミュニケーションウィンドウの表示制御方法。
【請求項２】
前記第１のユーザ端末は、それに設けたカメラとマイクによって撮影した自分の顔映像と音声と、各端末上でのユーザのマウス操作パラメータを、前記第２のユーザ端末に対してＩＤを指定して、リアルタイムで送信する過程を有し、
前記第２のユーザ端末は、多地点のユーザ端末から送られてきた複数のコミュニケーションウィンドウが表示され、多地点の他のユーザ端末の状態を表示したウィンドウだけではなく、ユーザ自身が作業を行うためのアプリケーションが表示されるウィンドウを表示する過程を有することを特徴とする請求項１に記載のコミュニケーションウィンドウの表示制御方法
【請求項３】
前記第１のユーザ端末は、マウスでウィンドウをクリックすることでウィンドウを選択し、ドラッグ＆ドロップによってウインドウを操作する過程と、操作したウィンドウが相手の状態が表示されているコミュニケーションウィンドウの場合に、ネットワークを介して、そのコミュニケーションウィンドウに表示されている相手の端末にマウスの動きを操作情報として送信する過程を有し、
前記第２のユーザ端末は、相手の端末上で表示されている自身のコミュニケーションウインドウをその操作情報従って動かす過程とを有することを特徴とする請求項１または２に記載のコミュニケーションウィンドウの表示制御方法。
【請求項４】
前記各ユーザ端末は、それに表示されるウインドウをマウスのボタンをクリックして選択した後、ドラッグして動かした量、もしくは、ホイールを回した量に応じて奥行き方向へ操作する過程を有し、
該操作したウィンドウが他のユーザ端末のウインドウの場合、当該ユーザ端末には、相手の端末上で、操作したユーザが写っているウィンドウが送られてきた操作情報に従って奥行き方向へ動かす過程を有することを特徴とする請求項１〜３のいずれか１項に記載のコミュニケーションウィンドウの表示制御方法。
【請求項５】
ユーザの端末に表示されるウィンドウをマウスのボタンをクリックして選択した後、ドラッグして動かした量、もしくは、ホイールを回した量に応じて、ウィンドウの中心を通る垂直線を軸として回転操作する過程を有し、該操作したウィンドウが他のユーザ端末のウィンドウの場合、当該ユーザ端末には、相手の端末上で、操作したユーザが写っているウインドウが送られてきた操作情報に従って中心を通る垂直線を軸として回転させる過程を有することを特徴とする請求項１〜４のいずれか１項に記載のコミュニケーションウィンドウの表示制御方法。
【請求項６】
ユーザの端末に表示されるウィンドウをマウスのボタンをクリックして選択した後、ドラッグして動かした量、もしくは、ホイールを回した量に応じて、ウィンドウの透明度を操作する過程を有し、
該操作したウィンドウが他のユーザ端末のウィンドウの場合、当該ユーザ端末には、相手の端末上で、操作したユーザが写っているウィンドウが送られてきた操作情報に従って透明度を変化させる過程を有することを特徴とする請求項１〜５のいずれか１項に記載のコミュニケーションウィンドウの表示制御方法。
【請求項７】
請求項１〜６のいずれか１項に記載のコミュニケーションウィンドウの表示制御方法を、コンピュータで実行可能に構成したことを特徴とするプログラム。
【請求項８】
請求項１〜６のいずれか１項に記載のコミュニケーションウィンドウの表示制御方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、個人作業を行っている作業空間に、映像や音声などのメディアを用い、遠隔地の相手が意思や状態を伝えるコミュニケーションチャンネルが入り込むことを可能にしたコミュニケーションシステムにおいて、ユーザ端末の作業空間状態をスムーズに遷移させるためのコミュニケーションウィンドウの表示制御方法に関するものである。
【０００２】
【従来の技術】
この種のコミュニケーションシステムでは、複数地点のユーザ端末からのカメラ映像を、一つのパネル上に配置し、ユーザに提示することで、複数多地点のユーザの状態を把握しながらコミュニケーションすることが可能となる。
【０００３】
また、複数地点のユーザがそれぞれ共有する仮想空間へ入り、カメラで撮影したユーザ自身の映像を貼り付けたアバタを操作することで、複数地点のユーザの状態を把握しながら、かつ、それぞれの位置関係などの情報を使ったコミュニケーションが可能となる。
【０００４】
このようなコミュニケーションウィンドウ環境に好適な手法として、デスクトップ作業スペースに、グループワークのスペースを導入し、複数のモードを切り替えながら使用するためのインタフェースに関する技術も提案されている（例えば、非特許文献１参照）。
【０００５】
【特許文献１】
塩澤秀和、岡田謙一、松下温、「背景と奥行きを利用した協調作業空間」、情報処理学会論文誌、１９９９年、第４０巻、第１１号、ｐ．３８２３−３８３３
【０００６】
【発明が解決しようとする課題】
従来のコミュニケーションシステムでは、コミュニケーションツールが、コミュニケーション環境だけに集中して使用するように作られており、ユーザのデスクトップ操作における自由度が制限されている。そのために、コミュニケーションをしながら他の作業をするとか、コミュニケーションチャンネルを常につないだ状態にしておき、他の作業をしながら、必要な時にだけコミュニケーションチャンネルに切り替えられるという使用が困難であった。
【０００７】
また、非特許文献１の手法は、個人作業空間とグループワーク空間を別々に分けた手法であり、また、各ウィンドウの制御手法で改善の余地があった。
【０００８】
本発明の目的は、コミュニケーションウィンドウにおけるユーザ自身の作業を自由としながら、相手ユーザのウィンドウには、相手側の操作を反映させた表示をすることで、相手の主張を気づかせて当該ウィンドウに切り替えることができるための、作業空間と同居したコミュニケーションウィンドウの表示制御方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するための、本発明は、以下のコミュニケーションウィンドウの表示制御方法、プログラム、および記録媒体を特徴とする。
【００１０】
（１）ユーザがそれぞれ作業を行う複数のユーザ端末が個別のＩＤを有してネットワークで接続可能にされ、個人作業を行っているユーザ端末の作業空間に、遠隔地のユーザ端末から意思や状態を伝えるコミュニケーションウィンドウを表示可能にしたコミュニケーションシステムにおいて、
第１のユーザ端末は、第２のユーザ端末に対応するコミュニケーションウィンドウに対して操作が行われた場合、前記操作の情報を当該コミュニケーションウィンドウの表示に反映すると共に、前記第２のユーザ端末に操作情報を送信する表示制御過程を有し、
前記第２のユーザ端末は、前記第１のユーザ端末から前記操作情報を受信した場合、前記操作情報を前記第１のユーザ端末に対応するコミュニケーションウィンドウの表示に反映する表示制御過程を有することを特徴とするコミュニケーションウィンドウの表示制御方法。
【００１１】
（２）前記第１のユーザ端末は、それに設けたカメラとマイクによって撮影した自分の顔映像と音声と、各端末上でのユーザのマウス操作パラメータを、前記第２のユーザ端末に対してＩＤを指定して、リアルタイムで送信する過程を有し、
前記第２のユーザ端末は、多地点のユーザ端末から送られてきた複数のコミュニケーションウィンドウが表示され、多地点の他のユーザ端末の状態を表示したウィンドウだけではなく、ユーザ自身が作業を行うためのアプリケーションが表示されるウィンドウを表示する過程を有することを特徴とする請求項１に記載のコミュニケーションウィンドウの表示制御方法
（３）前記第１のユーザ端末は、マウスでウィンドウをクリックすることでウィンドウを選択し、ドラッグ＆ドロップによってウインドウを操作する過程と、操作したウィンドウが相手の状態が表示されているコミュニケーションウィンドウの場合に、ネットワークを介して、そのコミュニケーションウィンドウに表示されている相手の端末にマウスの動きを操作情報として送信する過程を有し、
前記第２のユーザ端末は、相手の端末上で表示されている自身のコミュニケーションウインドウをその操作情報従って動かす過程とを有することを特徴とする上記の（１）または（２）に記載のコミュニケーションウィンドウの表示制御方法。
【００１２】
（４）前記各ユーザ端末は、それに表示されるウインドウをマウスのボタンをクリックして選択した後、ドラッグして動かした量、もしくは、ホイールを回した量に応じて奥行き方向へ操作する過程を有し、
該操作したウィンドウが他のユーザ端末のウインドウの場合、当該ユーザ端末には、相手の端末上で、操作したユーザが写っているウィンドウが送られてきた操作情報に従って奥行き方向へ動かす過程を有することを特徴とする上記の（１）〜（３）のいずれか１項に記載のコミュニケーションウィンドウの表示制御方法。
【００１３】
（５）ユーザの端末に表示されるウィンドウをマウスのボタンをクリックして選択した後、ドラッグして動かした量、もしくは、ホイールを回した量に応じて、ウィンドウの中心を通る垂直線を軸として回転操作する過程を有し、
該操作したウィンドウが他のユーザ端末のウィンドウの場合、当該ユーザ端末には、相手の端末上で、操作したユーザが写っているウインドウが送られてきた操作情報に従って中心を通る垂直線を軸として回転させる過程を有することを特徴とする上記の（１）〜（４）のいずれか１項に記載のコミュニケーションウィンドウの表示制御方法。
【００１４】
（６）ユーザの端末に表示されるウィンドウをマウスのボタンをクリックして選択した後、ドラッグして動かした量、もしくは、ホイールを回した量に応じて、ウィンドウの透明度を操作する過程を有し、
該操作したウィンドウが他のユーザ端末のウィンドウの場合、当該ユーザ端末には、相手の端末上で、操作したユーザが写っているウィンドウが送られてきた操作情報に従って透明度を変化させる過程を有することを特徴とする上記の（１）〜（５）のいずれか１項に記載のコミュニケーションウィンドウの表示制御方法。
【００１５】
（７）上記の（１）〜（６）のいずれか１項に記載のコミュニケーションウィンドウの表示制御方法を、コンピュータで実行可能に構成したことを特徴とするプログラム。
【００１６】
（８）上記の（１）〜（６）のいずれか１項に記載のコミュニケーションウィンドウの表示制御方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
【００１７】
【発明の実施の形態】
図１は、本発明のシステム構成例を示す図である。以下、図１に従って本発明の実施形態を説明する。
【００１８】
図１の１００のユーザ端末において、１０１はカメラ、１０２はマイクであり、これらのデータがユーザ自身のＩＤをヘッダーとして他のユーザ端末１１０，１２０，１３０の全てへ送られる。
【００１９】
図２は、図１における１００のユーザ端末の画面を示す。図２の２０１は自分の作業のためのアプリケーションウィンドウであり、２０２，２０３，２０４は他のユーザ端末のカメラとマイクから送られてくるデータが表示されるウィンドウである。これらのウィンドウはそれぞれ、表示されているユーザ自身のＩＤと対応した固有のＩＤが割り当てられている。
【００２０】
ユーザは、マウスで２０２、２０３、２０４のウィンドウを操作する。その際、自身のＩＤをヘッダーにして、このマウスの操作パラメータを操作したウィンドウのＩＤを持つ相手の端末に送る。
【００２１】
図３は、１対１のユーザ同士が相手の表示されたウィンドウを操作している様子の図を示す。ユーザ３００が相手ユーザ３１０の表示されたウィンドウ３０１をマウスで操作したときの操作パラメータがネットワークを介して、ユーザ３１０の端末に送られ、ユーザ３００の表示されたウィンドウ３１１が同じように動く。
【００２２】
図４では、ウインドウ操作を平面の二次元的な操作から拡張した操作方法について示す。同図の（ａ）では、４００のユーザがマウスのホイールを上方向に回転させることで、ウインドウを奥へ操作する図を示す。（ｂ）では、４１０のユーザがマウスのホイールを上方向に回転させることで、ウィンドウの真中を通る垂直線を軸にして回転する図を示す。（ｃ）では、４２０のユーザがマウスホイールを上方向に回転させることで、ウィンドウの透明度が上がり、ウィンドウが透明に表示されることを示す。
【００２３】
図５では、ユーザ５０１が相手ユーザの表示されているウィンドウを操作（奥行き操作、透明度操作、回転操作）した時に、ユーザ５０１のウィンドウ作業環境において、相手ユーザが写っているウィンドウに対するユーザ５０１のマウス操作に割り当てるパラメータと、相手ユーザ（パートナー）の操作による動きに割り当てるパラメータの組み合わせを示す。
【００２４】
この組み合わせにおいて、パターンＢ，Ｃ，Ｄ，Ｆ，Ｇ，Ｈは、自分のウィンドウ操作と相手の操作によるウィンドウの動きが異なる表示を用いる。このことは、ユーザは自分のウィンドウレイアウト操作を邪魔されることなく、相手の動きを反映させたウィンドウ操作が可能になることを示す。
【００２５】
図６では、ユーザがウィンドウに対して行う操作に応じてコミュニケーションシステム側が提示する表示環境制御のフローチャートを示す。
【００２６】
同図において、複数のウィンドウが表示されているユーザ６０１の端末上において、待機状態（Ｓ０）からユーザがウィンドウをクリックすることによって（Ｓ１）、ウインドウが選択される（Ｓ２）。
【００２７】
この選択が左クリックの場合、ドラッグ＆ドロップによって（Ｓ３）、ウィンドウが二次元平面操作される（Ｓ４）。また、ホイールもしくは右クリックによるドラッグ＆ドロップの場合（Ｓ５）、ユーザが選択した表示モードによって、ウィンドウは、奥行き方向に操作されたり（Ｓ６）、垂直線を軸として回転操作されたり（Ｓ７）、透明度が操作される（Ｓ８）。
【００２８】
また、ウィンドウがコミュニケーションウィンドウである場合（Ｓ９）、操作したウィンドウのＩＤに対応する端末にマウスの動きデータを送信する（Ｓ１０）。
【００２９】
これら処理で、マウスを離すと（Ｓ１１）、マウス操作に応じたウィンドウ配置を決定し（Ｓ１２）、再び待機状態（Ｓ０）に戻る。
【００３０】
一方、相手ユーザ端末６０２では、ユーザ端末６０１でのマウス操作のデータを受信すると（Ｓ２１）、ユーザが選択しているモードによって、送られてきたデータに応じて、ウィンドウの奥行き方向に動いたり（Ｓ２２）、縦軸を軸として回転運動したり（Ｓ２３）、透明度が調節され（Ｓ２４）、ウィンドウの配置を決定し（Ｓ２５）、待機状態（Ｓ２０）に戻る。
【００３１】
なお、本発明は、図６に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現することができる。また、コンピュータでその各部の処理機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００３２】
【発明の効果】
以上のとおり、本発明によれば、自分の作業を表示するウィンドウと、他者の状態が写っているウィンドウが混在している環境において、自分の作業に集中していても、相手の操作に反映したウィンドウの動きにより、相手の主張に容易に気づくことができ、自分のコントロールでウィンドウを配置できるため、すばやく相手とのコミュニケーション状態に移行することができる。
【図面の簡単な説明】
【図１】本発明のシステム構成例を示す図。
【図２】本発明の端末におけるウィンドウ表示例を示す図。
【図３】自身の端末に表示されているウィンドウの操作による相手端末への影響例を示す図。
【図４】ウインドウ操作の拡張手法について３つの操作手法について示す図。
【図５】３つの拡張ウィンドウ操作手法を取り入れ、相手端末への影響も考慮した９つのウィンドウ動作パターンを示す図。
【図６】ユーザがウィンドウに対して行う動作によるシステム側が提示する表示制御フローチャート。
【符号の説明】
１００、１１０、１２０、１３０…ユーザ端末
２０１…作業アプリケーションウィンドウ
２０２、２０３、２０４、３０１、３１１…相手ユーザ表示ウィンドウ
【図１】
2004163633.tif 000003
【図２】
2004163633.tif 000004
【図３】
2004163633.tif 000005
【図４】
2004163633.tif 000006
【図５】
2004163633.tif 000007
【図６】
2004163633.tif 000008