(57)【特許請求の範囲】
【請求項１】
少なくとも２つの相互接続された端末を使用する通信方法であって、
該少なくとも２つの相互接続された端末のうちの１つに関連する参加者各々から、少なくともビデオデータ及び／又はオーディオデータを含む入力データを収集する段階と、
上記入力データから、参加者各自の累積的な寄与及び参加者各自の発声音量の時間変化を表す活動の情報を得る段階と、
視覚化された前記活動の情報を分析し、参加者１人による独白の有無、複数の参加者の間の議論の有無又は誰も発言していなかったことを示す視覚的な指標を提供する段階と
を含む通信方法。
【請求項２】
上記活動の情報をテーブル及び／又は図の形式で視覚化する段階を更に有する、請求項１記載の通信方法。
【請求項３】
ウィンドウ特性を有するウィンドウの中に上記参加者を表示手段により表示する段階と、
上記活動の情報に基づいて上記ウィンドウ特性を操作する段階とを更に有する、請求項１記載の通信方法。
【請求項４】
発言の多い参加者に対応するウィンドウが第１方向に動き、キーボードを使用している参加者に対応するウィンドウが第２方向に動くこと、
ウィンドウ寸法、アスペクト比、画像フレーム速度、画像解像度、境界色、背景色、輝度、特殊効果、又は
３次元ディスプレイの中でウィンドウが３次元の軸に沿って動くこと、
の内の少なくとも１つを上記ウィンドウ特性が有する、請求項３記載の通信方法。
【請求項５】
該活動の情報を得る段階は、上記参加者の発言時間を測定する段階を含む、請求項１記載の通信方法。
【請求項６】
該活動の情報を得る段階は、上記参加者によって行われた入力装置の操作回数を計数する段階を含む、請求項１記載の通信方法。
【請求項７】
該少なくとも２つの相互接続された端末は、進行役端末及び少なくとも１つのクライアント端末を含み、
該活動の情報を得る段階は、上記少なくとも１つのクライアント端末において該活動の情報を獲得する段階と、該活動の情報を上記進行役端末へ送信する段階とを含む、請求項１記載の通信方法。
【請求項８】
通信システムにおいて使用される端末であって、
少なくともビデオ及び／又はオーディオデータを含む入力データをユーザ各々が供給することを可能にする入力手段と、
上記入力データから、ユーザ各自の累積的な寄与及びユーザ各自の発声音量の時間変化を表す活動の情報を得る監視手段と、
視覚化された前記活動の情報を分析し、ユーザ１人による独白の有無、複数のユーザの間の議論の有無又は誰も発言していなかったことを示す視覚的な指標を提供する手段と
を含む端末。
【請求項９】
上記ユーザの活動の情報を遠隔端末へ送信する送信手段を更に有する、請求項８記載の端末。
【請求項１０】
遠隔端末からユーザの活動の情報を受信する受信手段を更に有する、請求項８記載の端末。
【請求項１１】
上記ユーザの活動の情報をテーブル及び／又は図の形式で視覚化する表示手段を更に有する、請求項８記載の端末。
【請求項１２】
ウィンドウ特性を有するウィンドウの中に上記ユーザを表示し、上記ユーザの活動の情報に基づいて上記ウィンドウ特性を操作するための表示手段を更に有する、請求項８記載の端末。
【発明の詳細な説明】
発明の分野
本発明は、少なくとも２つの相互接続された端末を使用する通信方法であって、上記少なくとも２つの相互接続された端末のうちの１つに関連する参加者から、少なくともビデオデータ及び／又はオーディオデータを含む入力データを収集する段階を含む方法に関する。本発明は更にかかる方法において使用される端末に関する。
発明の背景
かかる方法は、グループウエアシステム、遠隔学習システム、及び／又はテレビ会議システムといった様々なマルチユーザ通信システムに適用される。グループウエアシステムは、多数の遠隔作業者間の協働作業を支援する。遠隔学習システムは、生徒及び教師が物理的に同じ教室、更には同じ建物の中にいる必要なしに講義に参加すること及び講義を行なうことを可能にするために使用される。おそらく、現時点において最も広まっているものはテレビ会議システムであろう。これらのテレビ会議システムは人々が会議場所に制限されることなく会合を開くことを可能とする。
かかるシステムが成功するかどうかは、有効な通信セッションが確立されうるかどうかに依存する。従って、かかるマルチユーザ通信システムの有効性を増加するために多くの研究がなされてきた。一例として、米国特許第５，６７５，３７４号に記載されるテレビ会議システムが参照される。既知のシステムは、単一の場所で開かれる会議に非常によく似たテレビ会議を確立することを目的とする。
発明の概要
本発明は改善された通信方法を提供することを目的とする。このため、本発明による通信方法は、入力データから参加者に関する活動情報を得る段階を含む。
本発明は、既存の通信システムにおいて、単純なビデオデータ及び／又はオーディオデータでは、通信セッションの中の参加者の精神画像を構築することが困難であるという問題があるという認識に基づく。かかる画像は多くの客観的及び主観的規準に基づく参加者の異なる関連する特徴を含む。例えば、教諭はどの生徒が受け身か、意欲的か、支配的か、おしゃべりか等を知ろうとする。遠隔学習システムでは、かかる精神的な画像を構築することは、教室において対面している状況よりもはるかに困難であることが見出されている。これは、教諭が多数の源の中から無駄なビデオ情報を除去せねばならず、学習すること及び教えることが行われている間に精神的に監視の仕事を行わねばならないためでありうる。
更に、対面式の通信セッションと比較して、自然な権力等の面を伝えることははるかに困難である。第１に、かかる特徴付け情報のうちの幾らかは、従来の入力ユニットによっては捕捉すらされないかもしれない。第２に、捕捉されたものは、参加者が理解せねばならない膨大なデータの中で容易に損失されることである。
参加者の特に顕著な特徴は、その参加者のセッションへの寄与である。参加者のセッションへの寄与を監視することは、その参加者が生成する入力データへの絶え間ない注意を必要とする。この問題はテレビ会議及び電話会議において同様である。電話会議に関しては、どの参加者が話しているかを見ることができないため、夫々のセッションへの夫々の寄与を同定することが困難である。必要とされる努力は、参加者の数が増加するとともに更に増加する。
活動情報は、オーディオ、マウス及びキーボード活動、並びに他の入力装置活動を含みうる。更に、生徒の反応のデータ、議事状況、並びにオーディオ及び発言権制御活動もまた使用されうる。
得られた活動情報は幾つかの方法で使用されうる。第１に、活動情報はセッションの完了後の分析のためにデータベース中に記憶されうる。これはオフラインで参加者の寄与を監視することを可能とする。更に、活動情報を得る段階に亘って活動情報のタイムスタンプを取ることにより、セッションの履歴が構築される。活動情報は更にセッション又はセッションの一部をインデックス付けし、記憶し、検索するために使用されうる。第２に、活動情報はセッション中にすぐに視覚化されうる。従って、活動情報はセッションの方針に直接影響を与えうる。ここで、方法は活動情報をテーブル及び／又は図の形式で視覚化する段階を更に含む。或いは、方法はディスプレイユニット上にウィンドウ特性を有するウィンドウの中に参加者を表示する段階と、活動情報に基づいてウィンドウ特性を操作する段階とを含む。かかる動的ディスプレイ管理では、参加者のオン・ザ・フライ式の監視及び追跡を可能とする動的視覚環境が形成される。活動情報を視覚化するいずれの方法も、参加者に追加的な努力を加えることなく仮想の存在を増加する。手による作用は必要とされない。視覚化された活動情報は、参加者の精神画像を構築する手段となる。活動情報を視覚化する他の方法が考えられ得る。有利には、いかにして活動情報が実際に視覚化されるかという方法は、ユーザの好みに合うよう少なくとも部分的にユーザプログラム可能とされうる。
有利には、活動情報を得る段階は、参加者の発言時間を測定する段階を含む。殆どの種類の通信セッションでは、発言時間は参加者の寄与の非常に良い印を与える。更に、捕捉されたオーディオデータに基づいて発言時間を測定することは、比較的簡単な動作である。
有利には、活動情報を得る段階は、参加者によって行われる打鍵又はマウス操作といった入力装置動作の数を計数する段階を含む。入力装置動作の数を得る段階は、あまり努力を必要とせずに実行されうる。この段階を実行する最も論理的な場所は、監視されている参加者の端末である。
有利には、少なくとも２つの相互接続された端末は、進行役端末及び少なくとも１つのクライアント端末を含み、活動情報を得る段階は、上記少なくとも１つのクライアント端末において活動情報を獲得する段階と、活動情報を上記進行役端末へ送信する段階とを含む。このアプローチは、活動情報が中央で得られる他の方法と比較して、進行役端末の処理能力がネックになることなくセッションへの参加者の数を増加することを可能とする。活動情報を得る段階を実行するための第３のオプションは、これを部分的にクライアント端末において行ない、部分的に進行役端末において行うことである。例えば、打鍵の数はクライアント端末において局部的に計数され、発言時間は進行役端末において中央で測定される。
有利には、活動情報が進行役端末へ送信された後、進行役端末は続いて視覚化のために活動情報を参加者へ分配しうる。このようにして、進行役だけでなく、他の参加者もまた活動情報から利益を受ける。
本発明の上述及び他の面は以下説明される実施例を参照して明らかとなろう。
本発明を、添付の図面を参照して以下例として詳述する。
【図面の簡単な説明】
図１は本発明の通信方法が使用されうる通信システムの１つの実施例を示す図であり、
図２は本発明の方法によって獲得されるような活動情報を視覚化するチャートを示す図であり、
図３は本発明の方法によって獲得されるような活動情報を視覚化するグラフを示す図であり、
図４は本発明の通信方法が使用されうる通信システムの他の実施例を示す図であり、
図５は本発明による端末の１つの実施例を示す図であり、
図６は本発明による端末からの１つのディスプレイ画像を示す図であり、
図７は本発明による端末からの更なるディスプレイ画像を示す図である。
実施例の詳細な説明
図１は通信システム１００の１つの実施例を示す図であり、この通信システムにおいて本発明の通信方法が使用されうる。図中、相互接続ネットワーク１２０を通じて多数のクライアント端末１０４，１０６，１０８に接続される進行役端末１０２が示される。進行役端末１０２は通信セッション中に進行機能を有する人物（進行役）、即ち教師、議長等によって使用されることが意図される。ここでは進行役は積極的にセッションに参加すると想定される。或いは、進行役は単にセッションを監視するだけである。
各端末１０２，１０４，１０６，１０８は、関連するユーザがビデオ、オーディオ、及びテキストの形式で入力データを供給することを可能とするよう入力装置としてカメラ、マイクロホン、及びキーボードを含む。全ての入力データは進行役端末１０２によって収集され、続いてクライアント端末１０４，１０６，１０８へ再分配される。端末１０２，１０４，１０６，１０８間で入力データを分配する他の方法が考えられ得る。例えば、単一のクライアント端末のみがある場合、再分配段階は必要でないかもしれない。各端末１０２，１０４，１０６，１０８は、出力ユニットとして、遠隔端末におけるユーザから発せられるビデオ及びオーディオデータを生成するディスプレイ及びスピーカを含む。
ここまでは、システム１００は従来のテレビ会議システムと同じである。本発明の１つの実施例によれば、進行役端末１０２は、クライアント端末１０４，１０６，１０８から受信する遠隔入力データ及び進行役端末１０２自体の入力ユニットにおいて生成される局部入力データからユーザ活動情報を得るための監視ユニット１３０を更に含む。ここで、監視ユニット１３０は全ての入来する入力データを分析する。通信セッション中、進行役端末１０２において活動情報はどの参加者が発言しているかを連続的に決定することによって得られる。活動情報が進行役端末１０２によって操作されるデータベースの中に記憶された後、結果はグラフ、チャート、及びテーブルによって進行役端末１０２のディスプレイユニット上に視覚化される。この過程において、進行役端末１０２において生成された入力データは、クライアント端末１０４，１０６，１０８において生成された入力データと同様に扱われ、それにより進行役の寄与もまた視覚化される。
図２は本発明の方法によって得られる活動情報を視覚化するチャートを示す図である。各棒２２，２４，２６，２８は４人の参加者（進行役を含む）の夫々に関連し、その参加者の発言時間の量を示す。セッション中、チャートは定期的に更新され、それにより進行役はいつでもチャートを一目見ることで各参加者の累積的な口頭の寄与を決定しうる。同じ情報は、テーブルによって進行役に対して示されうることが明らかである。
図３は本発明の方法で獲得される活動情報を視覚化するグラフを示す図である。各曲線３２，３４，３６，３８は４人の参加者の夫々に関連し、時間に対するその参加者の音量を示す。グラフが作成された時点において、曲線３８に関連する参加者が発言していた。更に、得られた活動情報に基づいて、議論、活発な討論、独白等のいずれがあったのかがグラフ中に（例えば色によって）視覚化されうる。これは進行役に課される認識力の負荷を更に軽減しうる。
図４は、本発明の通信方法が使用されうる他の通信システム４００を示す図である。これは相互接続ネットワーク４２０によって多数のクライアント端末４０４，４０６，４０８と相互接続される進行役端末４０２を示す。端末４０２，４０４，４０６，４０８は、図１の端末１０２，１０４，１０６，１０８と同じ入力ユニット及び出力ユニットを含む。
図１のシステム１００とは対照的に、端末４０２，４０４，４０６，４０８の夫々は、関連するユーザについての活動情報を局部的に得るための監視ユニット４３０を含む。監視ユニット４３０は以下の段階を実行する。セッションの開始において、各端末４０２，４０４，４０６，４０８において、毎秒トリガするタイマがセットされる。オーディオ入力データが分析され、発言時間カウンタによってユーザが発言しているか沈黙しているかを決定する。同時に、各端末４０２，４０４，４０６，４０８において、打鍵カウンタは打鍵の数を計数する。
端末４０４，４０６，４０８は、得られた活動情報を進行役端末４０２へ送信する送信ユニット４３２を更に含む。進行役端末４０２は、遠隔ユーザから活動情報を受信する受信ユニット４３４を更に含む。タイマがトリガすると、各クライアント端末４０４，４０６，４０８は打鍵計数及び発言時間計数を収集し、この活動情報を（タイムスタンプと共に）進行役端末４０２へ送信し、カウンタをリセットする。進行役端末４０２は、ウィンドウ特性を有する夫々のウィンドウの中に遠隔ユーザを表示し、遠隔ユーザ活動情報に基づいてウィンドウ特性を操作するためのディスプレイユニットを更に含む。
或いは、各端末４０２，４０４，４０６，４０８は、遠隔ユーザからの遠隔ユーザ活動情報を受信する受信ユニット及び表示するディスプレイユニットを含む。各端末４０２，４０４，４０６，４０８は遠隔端末において表示するために局部ユーザ活動を得て、分配するため、ある意味で、セッションに対する全ての参加者は同等である。
図５は本発明の実施例を実施する端末５００を示す図である。端末５００は図４の進行役端末４０２の実施である。端末５００はネットワーク５１０を通じて多数の遠隔クライアント端末（図５に図示せず）に接続される。端末５００は、関連する進行役がビデオ、オーディオ、及びテキストの形式で入力データを供給することを可能とするよう入力装置としてカメラ５２０、マイクロホン５２２、及びキーボード５２４を含む。端末５００は、遠隔端末におけるユーザから発せられるビデオ及びオーディオデータを生成するためのディスプレイ５２６及びスピーカ５２８を更に含む。
端末５００は、入来する入力データからユーザ活動情報を得る監視ユニット５４０を更に含む。遠隔端末はそれら自体が監視ユニットを含むと想定されるため、監視ユニット５４０は局部ユーザ活動情報、即ち進行役に関する活動情報を得るためのみに使用される。端末５００は、局部入力データを遠隔端末へ送信する送信ユニット５４２と、遠隔端末から遠隔入力データ及び遠隔ユーザ活動情報を受信する受信ユニット５４４とを更に含む。
或いは、受信ユニット５４４は遠隔入力データのみを受信するために配置され、一方監視ユニット５４０は受信された遠隔入力データから局部ユーザ活動情報だけでなく遠隔ユーザ活動情報もまた得る。後者の場合、本発明の方法の実行は本発明による端末を１つだけ必要とし、クライアント端末は従来技術の端末である。
局部入力データ及び遠隔入力データの両方は、オーディオ処理ユニット５４８によって駆動されるスピーカ５２８及びディスプレイマネージャ５５０によって駆動されるディスプレイ５２６によって進行役に示される。更に、ディスプレイ５２６及びディスプレイマネージャ５５０は、図１及び図４に関連して説明された方法のうちの１つによって活動情報を視覚化するよう配置される。端末５００の様々な上述された部分はバス５５２によって相互接続され、マイクロプロセッサ５４６によって制御される。
コンピュータディスプレイ上にウィンドウを表示することはオーディオ−ビジュアル通信システムにおいては標準的なアプローチである。家庭用のテレビジョン及びマルチビジョンに基づくシステムでは、代わりにピクチャ・イン・ピクチャ（ＰＩＰ）アプローチが使用されうる。
図６は本発明の端末からのディスプレイ画像を示す図である。４人の参加者のビューは、夫々のウィンドウＡ，Ｂ，Ｃ，Ｄとして示される。ウィンドウＡ，Ｂ，Ｃ，Ｄはコンピュータモニタ上の通常のウィンドウ又はＰＩＰでありうる。背景はグループビュー又は他の関連する画像を表示するために使用されうる。最初に、通信セッションの開始において、ウィンドウは右下の場所Ａ’，Ｂ’，Ｃ’，Ｄ’にある。セッション中、幾つかのウィンドウパラメータは受信された活動情報に従って変化している。第１に、おしゃべりな参加者に対応するウィンドウは徐々に上方に移動している。第２に、キーボードを使用している参加者に対応するウィンドウは徐々に左へ移動している。従って、参加者又は進行役は、誰が発言しており誰がタイプしているかを容易に知ることができる。
ディスプレイ上のウィンドウの場所を変えることにより、参加者の寄与の面が視覚化されうる。進行役は常に参加者を監視するというタスクから解放される。これにより進行役は幾つかのセッションを並行に監視することが可能とされる。
活動情報を視覚化するために有利に使用されうる更なるウィンドウ特性は、ウィンドウ寸法（アスペクト比）、画像フレーム速度、画像解像度、ウィンドウ境界色、背景色、輝度、特殊効果等である。３次元ディスプレイを使用することにより、活動情報はウィンドウを第３の次元に沿って動かすことによってもまた視覚化されうる。ウィンドウ特性を操作することによって活動情報を視覚化することは、視覚化された活動情報を関連する参加者に連結する努力を必要としないという点で、活動情報を単にグラフ及びテーブルに記入する場合と比較して有利である。更に、このようにして、セッション中の或る時点までに何が生じたかに関して瞬間的な報告がなされる。
図６のディスプレイ画像には、キーボード活動及び発言時間のみが視覚化される。活動情報のために多数の他の源、例えばマウスの動き及びマウスのボタンクリックが考えられうる。オーディオデータの異なる意味は、活動情報として使用されうる。最も簡単なオーディオに基づく活動情報は、沈黙又は口頭の活動を示す各ユーザについてのバイナリの指標である。更なる情報は、音量の指標によって得られうる。活動情報に対する他の基礎は、発言中の参加者によって発生される単語の数であり得る。オーディオデータは、曖昧さ、敵意等を認識するために分析されうる。
より精巧であるのは、実行可能であるが、ビデオデータを分析することである。例えば、活動情報はうなずくといった特定のジェスチャに基づきうる。ＭＰＥＧ又はＨ．２６１圧縮技術が使用されれば、かかるジェスチャを認識するために動きベクトルが使用されうる。また同じ結果を獲得するために画像処理技術が使用されうる。
活動情報はまた情況に依存して入力データから導出されうる。例えば、セッション中に特定のソフトウエアアプリケーションが使用されれば、特定のアプリケーション専用コマンド又はマウスの動きのみが活動情報等として見なされうる。グループウエアシステムはしばしばアプリケーションへのアクセスを制御するための発言権制御モジュールを含む。この発言権制御モジュールはまた、どの参加者がどのアプリケーションによって制御されているかを示す指標の形式の活動情報を発生しうる。アプリケーションの情況における参加者の位置もまた活動情報の源である。共用ウェッブアプリケーションでは、活動情報は参加者が或る時点においてアクセスしているＵＲＬ（Uniform Resource Locator）に関しうる。テキストエディタ又は共用ワークスペースでは、これはユーザが現時点に見ている多数のページでありうる。
図７は、本発明の端末からの更なるディスプレイ画像を示す図である。この例では、進行役は同一の部屋の中にいる参加者のグループを監視する。かかる構成では、本発明の方法は幾つかの方法で適用されうる。第１に、各参加者が夫々自由に使用できるクライアント端末を有することが考えられる。これは参加者が全員異なる場所に配置される場合と本質的に同じである。第２に、進行役端末のほかに単一のクライアント端末が使用されることが考えられる。そのクライアント端末は複数の参加者からなるグループからオーディオ及びビデオデータを捕捉することが可能であるべきである。いずれにせよ、進行役端末のディスプレイ上に、上述される方法で参加者の寄与が視覚化されうる。
図７の例では、ディスプレイの下部に、グループが表示される。グループビューは、単一の端末から得られるか（即ち広角ビュー）、又はグループビューは、夫々が単一の参加者に関連する複数の端末によって得られる入力データから合成される。誰も発言していないとき、グループビューはディスプレイを支配するよう大きくなる。グループビューはまたグループを全体として視覚的に、例えば調和している、分裂又は分散している、敵意がある、受け身である、又は応答的である、というように特徴付けることを可能とする。
また個々の参加者は、図６に関して説明されるように操作される夫々のウィンドウの中に表示される。個々のビューは、単一の端末からの集合的画像から切り出されるか、又は複数の端末から捕捉されうる。個々のフレーム速度は主要な参加者に対しては高く、一方積極的ではない参加者は実際上フリーズする。ユーザがいかにして情報を視覚化するかを選択しうるよう、カスタマイズすることが可能であるが、ユーザはディスプレイを手動で動作する必要はない。更に、上方中央に議題が表わされる。
本発明はテレビ会議環境に関する実施例によって説明されたが、本発明を（マルチパーソン）電話会議に適用することは排除されるものではない。
上述の実施例は本発明を制限するものではなく、当業者によって請求項の範囲を逸脱することなく多くの他の実施例が設計されうることに注意すべきである。請求項において、括弧内に示される全ての符号は請求項を制限すると解釈されるべきではない。本発明は幾つかの別個の要素からなるハードウエアによって、また適当にプログラムされたコンピュータによって実施されうる。幾つかの手段を明らかとする装置クレームでは、これらの手段のうちの幾つかはハードウエアの同一の部分によって実施されうる。
【図１】
0004503710.tif 000002
【図２】
0004503710.tif 000003
【図３】
0004503710.tif 000004
【図４】
0004503710.tif 000005
【図５】
0004503710.tif 000006
【図６】
0004503710.tif 000007
【図７】
0004503710.tif 000008