(57)【要約】【目的】遠隔会議システムにおいて、現実世界と同様のプレゼンテーションを実現することを目的とする。【構成】共有情報操作装置において、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報から、前記操作者の操作意図を判別する操作意図判別手段と、前記操作意図判別手段の判別結果に基づいて表現された前記操作者の情報操作意図の画像を、前記端末の表示装置に表示する操作情報制御手段と、を具備するように構成する。【選択図】          図１
2004171356.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末間における共有情報、および、該共有情報を操作者が該端末の操作入力手段を用いて操作、指示、変更した際の該操作、指示、変更の情報を、該複数の端末の表示装置に表示する共有情報操作装置において、
前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報から、前記操作者の操作意図を判別する操作意図判別手段と、
前記操作意図判別手段の判別結果に基づいて表現された前記操作者の情報操作意図の画像を、前記端末の表示装置に表示する操作情報制御手段と、
を具備することを特徴とする共有情報操作装置。
【請求項２】
前記操作意図判別手段は、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報から、前記共有情報上の所望の位置での操作と前記共有情報上の所望の位置から所望の位置へ至る繋ぎの操作とを判別する動作判別手段を有することを特徴とする請求項１記載の共有情報操作装置。
【請求項３】
前記操作意図判別手段は、さらに、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から、話者を一意に特定する話者特定手段を有することを特徴とする請求項２記載の共有情報操作装置。
【請求項４】
前記操作意図判別手段は、さらに、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から各発話状態を判定する発話状態判定手段を有することを特徴とする請求項３記載の共有情報操作装置。
【請求項５】
前記操作情報制御手段は、前記話者の発話状態、または、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、その両方の情報に基づいて、前記操作者が擬人化されたテレポインタの表示方式を変更することを特徴とする請求項１〜請求項４のいずれか１項に記載の共有情報操作装置。
【請求項６】
前記操作情報制御手段は、前記操作者が擬人化されたテレポインタを話者の実映像と少なくとも１つ以上の自由度を有するＣＧ（コンピュータグラフィック）で構成されたテレポインタで表示することを特徴とする請求項５記載の共有情報操作装置。
【請求項７】
前記操作情報制御手段は、前記話者の実映像における視点方向と前記ＣＧ（コンピュータグラフィック）のポインティング方向とが一致するように、前記操作者が前記操作入力手段を用いて前記共有情報上に入力したポインティングの位置を制御する手段を有することを特徴とする請求項６記載の共有情報操作装置。
【請求項８】
前記操作情報制御手段は、前記端末の表示装置における前記共有情報の表示に関する情報と前記テレポインタの表示に関する情報と前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報とから、前記共有情報上のポインティングの位置の近傍に前記テレポインタの表示が被らないように、前記テレポインタの表示を制御する手段を有することを特徴とする請求項１〜請求項７のいずれか１項に記載の共有情報操作装置。
【請求項９】
複数の端末間における共有情報、および、該共有情報を操作者が該端末の操作入力手段を用いて操作、指示、変更した際の該操作、指示、変更の情報を、該複数の端末の表示装置に表示する共有情報操作方法であって、
前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報から、前記操作者の操作意図を判別する操作意図判別ステップと、
前記操作意図判別ステップの判別結果に基づいて表現された前記操作者の情報操作意図の画像を、前記端末の表示装置に表示する操作情報制御ステップと、
を有することを特徴とする共有情報操作方法。
【請求項１０】
前記操作意図判別ステップにおいては、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報から、前記共有情報上の所望の位置での操作と前記共有情報上の所望の位置から所望の位置へ至る繋ぎの操作とが判別されることを特徴とする請求項９記載の共有情報操作方法。
【請求項１１】
前記操作意図判別ステップにおいては、さらに、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から、話者が一意に特定されることを特徴とする請求項１０記載の共有情報操作方法。
【請求項１２】
前記操作意図判別ステップにおいては、さらに、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から、話者が発話中か、発話息継ぎ中か、発話終了かの各発話状態が判定されることを特徴とする請求項１１記載の共有情報操作方法。
【請求項１３】
前記操作情報制御ステップにおいては、前記話者の発話中、発話息継ぎ中、発話終了の各発話状態、または、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、その両方の情報に基づいて、前記操作者が擬人化されたテレポインタの表示方式が変更されることを特徴とする請求項９〜請求項１２のいずれか１項に記載の共有情報操作方法。
【請求項１４】
前記操作情報制御ステップにおいては、前記操作者が擬人化されたテレポインタが、話者の実映像と少なくとも１つ以上の自由度を有するＣＧ（コンピュータグラフィック）で構成されたテレポインタで表示されることを特徴とする請求項１３記載の共有情報操作方法。
【請求項１５】
前記操作情報制御ステップにおいては、前記話者の実映像における視点方向と前記ＣＧ（コンピュータグラフィック）のポインティング方向とが一致するように、前記操作者が前記操作入力手段を用いて前記共有情報上に入力したポインティングの位置が制御されることを特徴とする請求項１４記載の共有情報操作方法。
【請求項１６】
前記操作情報制御ステップにおいては、前記端末の表示装置における前記共有情報の表示位置およびサイズに関する情報と前記テレポインタの表示位置に関する情報と前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報とから、前記共有情報上のポインティングの位置の近傍に前記テレポインタの表示が被らないように、前記テレポインタの動作と表示位置とが制御されることを特徴とする請求項９〜請求項１５のいずれか１項に記載の共有情報操作方法。
【請求項１７】
複数の端末間における共有情報、および、該共有情報を操作者が該端末の操作入力手段を用いて操作、指示、変更した際の該操作、指示、変更の情報を、該複数の端末の表示装置に表示する共有情報操作装置に、
前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から、話者を一意に特定する話者特定ステップと、
前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報から、前記共有情報上の所望の位置での操作と前記共有情報上の所望の位置から所望の位置へ至る繋ぎの操作とを判別する動作判別ステップと、
前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から、話者が発話中か、発話息継ぎ中か、発話終了かの各発話状態を判定する発話状態判定ステップと、
前記話者の発話中、発話息継ぎ中、発話終了の各発話状態、または、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、その両方の情報に基づいて、前記操作者が擬人化されたテレポインタの表示方式を変更するステップと、
前記操作者が擬人化されたテレポインタを話者の実映像と少なくとも１つ以上の自由度を有するＣＧ（コンピュータグラフィック）で構成されたテレポインタで表示するステップと、
前記話者の実映像における視点方向と前記ＣＧ（コンピュータグラフィック）のポインティング方向とが一致するように、前記操作者が前記操作入力手段を用いて前記共有情報上に入力したポインティングの位置を制御するステップと、
前記端末の表示装置における前記共有情報の表示位置およびサイズに関する情報と前記テレポインタの表示位置に関する情報と前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報とから、前記共有情報上のポインティングの位置の近傍に前記テレポインタの表示が被らないように、前記テレポインタの動作と表示位置とを制御するステップと、
を実行させることを特徴とする共有情報操作プログラム。
【請求項１８】
請求項１７に記載の共有情報操作プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、共有情報操作システムに関し、特に、通信網を介した遠隔会議システムを支援するための装置として好適な共有情報操作システムに関する。
【０００２】
【従来の技術】
一般に、ネットワーク機能や計算機の支援を得て行なわれる分散型の遠隔会議における参加者などは、通信網を介して、電子資料などの情報を共有する。この共有される電子資料などの情報は遠隔会議の参加者などにより指し示される場合があるが、この際、誰が何処を指し示しているかを直感的に判別できれば、参加者などが自己の意見などを他の参加者などに容易に伝達することができる。
【０００３】
このため、従来は、誰が電子資料などの何処を指し示しているのかを判別できるようにすべく、電子資料などを指し示すカーソルの色や大きさや形などの表示方式を参加者ごとに変える方法、または、表示情報上に各参加者の意見を提示したりする方法を採用していた（特許文献１、特許文献２）。
【０００４】
【特許文献１】
特開平７−２４４６３７号公報（共同作業支援システム）
【特許文献２】
特開平１０−１０５３６５号公報（通信端末、サーバ装置、共同作業システムおよびポインタ表示制御方法）
【０００５】
【発明が解決しようとする課題】
しかしながら、これら従来の方法では、誰が何処を指し示しているのかを知らしめることはできても、カーソルの動きが予測し難く、また表示方式に操作者の個性が感じられ難いため、聞き手の視線をポインティング位置にスムースに誘導することができず、また、話し手と聞き手の間に社会的相互作用が生じ難かった。
【０００６】
このため、これら従来の方法では、参加者が、プレゼンテーションの内容を理解し難い、表示画面への没入感覚が低い場に引き込まれ難い、疲れるなどの問題があった。
【０００７】
したがって、これら従来の方法では、遠隔会議システムにおいて、現実世界と同様のプレゼンテーションを実現できなかった。
【０００８】
そこで、本発明は、かかる事情に鑑み、遠隔会議システムにおいて、現実世界と同様のプレゼンテーションを実現できる、共有情報操作装置、共有情報操作方法、共有情報操作プログラム、共有情報操作プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明によれば、上記課題は、前記特許請求の範囲に記載の手段により解決される。
【００１０】
すなわち、請求項１に記載の発明は、複数の端末間における共有情報、および、該共有情報を操作者が該端末の操作入力手段を用いて操作、指示、変更した際の該操作、指示、変更の情報を、該複数の端末の表示装置に表示する共有情報操作装置において、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報から、前記操作者の操作意図を判別する操作意図判別手段と、前記操作意図判別手段の判別結果に基づいて表現された前記操作者の情報操作意図の画像を、前記端末の表示装置に表示する操作情報制御手段と、を具備することを特徴とする共有情報操作装置である。
【００１１】
請求項２に記載の発明は、前記操作意図判別手段は、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報から、前記共有情報上の所望の位置での操作と前記共有情報上の所望の位置から所望の位置へ至る繋ぎの操作とを判別する動作判別手段を有することを特徴とする請求項１記載の共有情報操作装置である。
【００１２】
請求項３に記載の発明は、前記操作意図判別手段は、さらに、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から、話者を一意に特定する話者特定手段を有することを特徴とする請求項２記載の共有情報操作装置である。
【００１３】
請求項４に記載の発明は、前記操作意図判別手段は、さらに、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から各発話状態を判定する発話状態判定手段を有することを特徴とする請求項３記載の共有情報操作装置である。
【００１４】
請求項５に記載の発明は、前記操作情報制御手段は、前記話者の発話状態、または、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、その両方の情報に基づいて、前記操作者が擬人化されたテレポインタの表示方式を変更することを特徴とする請求項１〜請求項４のいずれか１項に記載の共有情報操作装置である。
【００１５】
請求項６に記載の発明は、前記操作情報制御手段は、前記操作者が擬人化されたテレポインタを話者の実映像と少なくとも１つ以上の自由度を有するＣＧ（コンピュータグラフィック）で構成されたテレポインタで表示することを特徴とする請求項５記載の共有情報操作装置である。
【００１６】
請求項７に記載の発明は、前記操作情報制御手段は、前記話者の実映像における視点方向と前記ＣＧ（コンピュータグラフィック）のポインティング方向とが一致するように、前記操作者が前記操作入力手段を用いて前記共有情報上に入力したポインティングの位置を制御する手段を有することを特徴とする請求項６記載の共有情報操作装置である。
【００１７】
請求項８に記載の発明は、前記操作情報制御手段は、前記端末の表示装置における前記共有情報の表示に関する情報と前記テレポインタの表示に関する情報と前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報とから、前記共有情報上のポインティングの位置の近傍に前記テレポインタの表示が被らないように、前記テレポインタの表示を制御する手段を有することを特徴とする請求項１〜請求項７のいずれか１項に記載の共有情報操作装置である。
【００１８】
請求項９に記載の発明は、複数の端末間における共有情報、および、該共有情報を操作者が該端末の操作入力手段を用いて操作、指示、変更した際の該操作、指示、変更の情報を、該複数の端末の表示装置に表示する共有情報操作方法であって、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報から、前記操作者の操作意図を判別する操作意図判別ステップと、前記操作意図判別ステップの判別結果に基づいて表現された前記操作者の情報操作意図の画像を、前記端末の表示装置に表示する操作情報制御ステップと、を有することを特徴とする共有情報操作方法である。
【００１９】
請求項１０に記載の発明は、前記操作意図判別ステップにおいては、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報から、前記共有情報上の所望の位置での操作と前記共有情報上の所望の位置から所望の位置へ至る繋ぎの操作とが判別されることを特徴とする請求項９記載の共有情報操作方法である。
【００２０】
請求項１１に記載の発明は、前記操作意図判別ステップにおいては、さらに、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から、話者が一意に特定されることを特徴とする請求項１０記載の共有情報操作方法である。
【００２１】
請求項１２に記載の発明は、前記操作意図判別ステップにおいては、さらに、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から、話者が発話中か、発話息継ぎ中か、発話終了かの各発話状態が判定されることを特徴とする請求項１１記載の共有情報操作方法である。
【００２２】
請求項１３に記載の発明は、前記操作情報制御ステップにおいては、前記話者の発話中、発話息継ぎ中、発話終了の各発話状態、または、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、その両方の情報に基づいて、前記操作者が擬人化されたテレポインタの表示方式が変更されることを特徴とする請求項９〜請求項１２のいずれか１項に記載の共有情報操作方法である。
【００２３】
請求項１４に記載の発明は、前記操作情報制御ステップにおいては、前記操作者が擬人化されたテレポインタが、話者の実映像と少なくとも１つ以上の自由度を有するＣＧ（コンピュータグラフィック）で構成されたテレポインタで表示されることを特徴とする請求項１３記載の共有情報操作方法である。
【００２４】
請求項１５に記載の発明は、前記操作情報制御ステップにおいては、前記話者の実映像における視点方向と前記ＣＧ（コンピュータグラフィック）のポインティング方向とが一致するように、前記操作者が前記操作入力手段を用いて前記共有情報上に入力したポインティングの位置が制御されることを特徴とする請求項１４記載の共有情報操作方法である。
【００２５】
請求項１６に記載の発明は、前記操作情報制御ステップにおいては、前記端末の表示装置における前記共有情報の表示位置およびサイズに関する情報と前記テレポインタの表示位置に関する情報と前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報とから、前記共有情報上のポインティングの位置の近傍に前記テレポインタの表示が被らないように、前記テレポインタの動作と表示位置とが制御されることを特徴とする請求項９〜請求項１５のいずれか１項に記載の共有情報操作方法。
【００２６】
請求項１７に記載の発明は、複数の端末間における共有情報、および、該共有情報を操作者が該端末の操作入力手段を用いて操作、指示、変更した際の該操作、指示、変更の情報を、該複数の端末の表示装置に表示する共有情報操作装置に、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から、話者を一意に特定する話者特定ステップと、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報から、前記共有情報上の所望の位置での操作と前記共有情報上の所望の位置から所望の位置へ至る繋ぎの操作とを判別する動作判別ステップと、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、１人以上の音声入力情報、または、その両方の情報から、話者が発話中か、発話息継ぎ中か、発話終了かの各発話状態を判定する発話状態判定ステップと、前記話者の発話中、発話息継ぎ中、発話終了の各発話状態、または、前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報、または、その両方の情報に基づいて、前記操作者が擬人化されたテレポインタの表示方式を変更するステップと、前記操作者が擬人化されたテレポインタを話者の実映像と少なくとも１つ以上の自由度を有するＣＧ（コンピュータグラフィック）で構成されたテレポインタで表示するステップと、前記話者の実映像における視点方向と前記ＣＧ（コンピュータグラフィック）のポインティング方向とが一致するように、前記操作者が前記操作入力手段を用いて前記共有情報上に入力したポインティングの位置を制御するステップと、前記端末の表示装置における前記共有情報の表示位置およびサイズに関する情報と前記テレポインタの表示位置に関する情報と前記操作者が前記操作入力手段を用いて前記共有情報上に入力した情報とから、前記共有情報上のポインティングの位置の近傍に前記テレポインタの表示が被らないように、前記テレポインタの動作と表示位置とを制御するステップと、を実行させることを特徴とする共有情報操作プログラムである。
【００２７】
請求項１８に記載の発明は、請求項１７に記載の共有情報操作プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２８】
【発明の実施の形態】
以下に、添付した図面を参照しつつ、本発明の好適な実施の形態を詳細に説明する。
【００２９】
図１は、本発明の第１の実施の形態に係る共有情報操作システムを示す図である。
【００３０】
図１に示すように、本発明の第１の実施の形態に係る共有情報操作システムは、共有情報を表示・操作する複数の端末１−１〜１−ｎと、この端末１−１〜１−ｎからの入力情報、表示情報を取得・処理・制御・配信すると同時に会議を管理・制御する共有情報操作装置２と、通信網３とで構成されている。なお、ｎは、２以上の整数である。
【００３１】
図２は、図１に示す端末のハードウェア構成とこの端末に接続された表示装置上の画面のイメージとを示す図である。
【００３２】
図２に示すように、端末１−ｍは、端末本体１−ｍ−１と、これに接続される通信装置や入出力装置などの各種デバイスから構成される。なお、ｍは、１≦ｍ≦ｎの関係を満たす数である。
【００３３】
この端末本体１−ｍ−１には、モニタなどの表示装置１−ｍ−２と、マイクロフォン等の音声入力装置１−ｍ−３と、スピーカ等の音声出力装置１−ｍ−４と、カメラ等の映像入力装置１−ｍ−５と、キーボード１−ｍ−６やマウス１−ｍ−７やモーションキャプチャ１−ｍ−８や磁気センサ（図示せず）やジャイロセンサ（図示せず）などの操作入力装置と、が接続されている。
【００３４】
表示装置１−ｍ−２の画面１−ｍ−２−１には、図２に示す、共有情報を表示するウィンドウ１−ｍ−２−１−１や、話し手の映像や話し手の代理となる擬人化エージェント（プレゼンタ）１−ｍ−２−１−２や、聞き手の映像や聞き手の代理となる擬人化エージェント（オーディエンス）１−ｍ−２−１−３などのほか、たとえば、チャットを行なうためのウィンドウ１−ｍ−２−１−４などが表示される。
【００３５】
なお、擬人化エージェント（プレゼンタ）１−ｍ−２−１−２または擬人化エージェント（オーディエンス）１−ｍ−２−１−３は、たとえば、実映像、または、エージェント、または、実映像とエージェントとを組み合わしたものなどで実現化することができる。
【００３６】
図３は、端末１−ｍと共有情報操作装置２との間における信号の流れを示すブロック図である。
【００３７】
端末１−ｍを構成する図２に記載の各入力装置から入力されたデータは、たとえば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やマイクロフォン端子やＰＣＩバス（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  バス）等に接続されたインタフェースボードやシリアル等のＩ／Ｏポート（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  ポート）などのＩＦ（インタフェース）を介して、端末本体１−ｍ−１に入力される。
【００３８】
この端末本体１−ｍ−１に入力された信号は、シリアルポートやＬＡＮポート（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ  ポート）などに代表される他の端末とデータを送受信するための通信部１−ｍ−９を介して、ＩＰ（インターネット）や地域ＩＰ網などの通信網３に送信される。
【００３９】
この送信されたデータは、共有情報操作装置２の通信部２−１で受信される。この通信部２−１は、シリアルポートやＬＡＮポートなどに代表される他の端末とデータを送受信するためのポートなどによって実現できる。
この通信部２−１で受信されたデータは、操作意図判別手段２−２に入力される。
【００４０】
操作意図判別手段２−２は、入力されたデータに基づいて、操作者の操作意図を判別し、その結果を判別情報として操作情報制御手段２−３に送信する。
【００４１】
操作情報制御手段２−３では、操作意図判別手段２−２から送信された判別情報に基づいて、共有情報に対するポインティングの表示方式を変更するための制御データを生成する。
【００４２】
操作情報制御手段２−３は、この生成した制御データを通信部２−１に入力し、通信部２−１は、この入力された制御データを通信網３に送信する。
【００４３】
この通信網３に送信された制御データは、端末本体１−ｍ−１の通信部１−ｍ−９で受信された後、表示装置１−ｍ−２に入力される。
【００４４】
そして、表示装置１−ｍ−２は、これら入力された制御データに基づいて画面１−ｍ−２−１におけるテレポインタの表示を変更する。
【００４５】
図４は、図３の操作意図判別手段２−２における信号の流れを示すブロック図であり、図５は、図３の操作意図判別手段２−２における信号の流れを示すフローチャートである。
【００４６】
図３の通信部２−１から入力された操作入力データ、音声データ、画像データは、それぞれ、動作判別部２−２−１、話者特定部２−２−２、発話状態判別部２−２−３に入力される。
【００４７】
話者特定部２−２−２は、音声データを取得し（ステップＳ１）、話者が１人でない場合には、この取得した音声データの音圧レベルから最もレベルの高い音圧レベルを検出し、（ステップＳ２）、この検出した最もレベルの高い音圧レベル話者を話者として一意に特定する（ステップＳ３）。
【００４８】
動作判別部２−２−１は、操作入力データや映像データを取得し（ステップＳ４）、この取得した操作入力データや映像データに基づいて、操作入力装置であるマウスやモーションキャプチャやカメラなどの各種センサで取得された時系列的な座標値や角度値等の入力情報を算出する（ステップＳ５）。
【００４９】
動作判別部２−２−１は、この算出した入力情報から微小時間間隔ΔＴごとの動作を求め、これらをベクトルとみなしたときのそれらベクトルの内積、外積を算出する（ステップＳ６）。
【００５０】
動作判別部２−２−１は、この内積が一定の閾値以上であるか、この外積の大きさ成分が一定の閾値以下であるか、を判断する（ステップＳ７）。
【００５１】
その結果、この内積が一定の閾値以上である場合、または、この外積の大きさ成分が一定の閾値以下である場合には、動作判別部２−２−１は、その動作が目的を持った動作であると判別する（ステップＳ８）。
【００５２】
他方、この内積が一定の閾値以下であり、かつ、この外積の大きさ成分が一定の閾値以上である場合には、動作判別部２−２−１は、その動作が目的を持たない繋ぎの動作であると判別する（ステップＳ８）。
【００５３】
発話状態判別部２−２−３は、音声入出力ＩＦから取得した音声データを音声認識処理して（ステップＳ９）、話中か息継ぎをしているのか発話終了か、指示語が存在するのか（ステップＳ１０）を判別する。
【００５４】
動作判別部２−２−１、話者特定部２−２−２、発話状態判定部２−２−３が、それぞれ出力する判別情報は、操作情報制御手段２−３へ入力される。
【００５５】
図６は、操作情報制御手段２−３による前記端末１−ｍの表示装置１−ｍ−２の画面１−ｍ−２−１上に表示する会議参加者や共有情報の表示方式の例を示した図である。
【００５６】
図６に示すように、画面１−ｍ−２−１上には、話者代理映像（話し手の映像、または、少なくとも１以上の自由度を有するソフトウェアエージェント、または、話し手の映像と１以上の自由度を有するソフトウェアエージェントとが混合されたもの）１−ｍ−２−１−１１と、共有情報１−ｍ−２−１−１２と、が表示される。
【００５７】
話者代理映像１−ｍ−２−１−１１と共有情報１−ｍ−２−１−１２との表示方式は、操作入力装置からの入力情報と操作意図判別手段からの判別情報とに基づいて変更される。
【００５８】
図７は、話者代理映像１−ｍ−２−１−１１と共有情報１−ｍ−２−１−１２とが表示された画面１−ｍ−２−１の具体例を示す図である。
【００５９】
１−ｍ−２−２は、一定時間の間に音声入力や操作入力情報が無い時の表示状態を示しており、このとき、話者代理映像は、画面に対して正対している。
【００６０】
１−ｍ−２−３は、音声入力レベルが一定値を上回った時における表示状態を示しており、このとき、話者代理映像は、拡大表示されている。
【００６１】
１−ｍ−２−４と１−ｍ−２−５とは、共有情報に対する話し手の操作やポインティングが指示動作である時の表示状態を示しており、このとき、話者代理映像は、身体動作と視線でポインティング位置を指し示し注視している。
【００６２】
１−ｍ−２−６と１−ｍ−２−７とは、共有情報に対する話し手の操作やポインティングが指示動作と指示動作を繋ぐ繋ぎ動作である時の表示状態を示しており、このとき、話者代理映像は、指示位置から指示位置への移動をポインティング位置の移動と視線の移動によって直線的且つ滑らかに行なう。
【００６３】
図８は、本発明の第２の実施の形態における、端末と共有情報操作装置との間における信号の流れを示すブロック図であり、図９は、図８の操作意図判別手段における信号の流れを示すブロック図である。
【００６４】
第２の実施の形態は、操作意図判別手段と操作情報制御手段とが端末側にある点で、操作意図判別手段と操作情報制御手段とが会議を管理・制御する共有情報操作装置側にある上記第１の実施の形態と相違する。
【００６５】
第２の実施の形態においては、たとえば、端末から出力された複数の音声データが多重化されて一つの音声データとして流通していても、各端末において復号化することにより、各端末から音声データを分離できる。
【００６６】
したがって、第２の実施の形態によれば、端末から出力された複数の音声データが多重化されて一つの音声データとして流通している場合であっても、上記第１の実施の形態と同様に処理することが可能である。
【００６７】
また、第２の実施の形態は、データの送受信がＮ：Ｎとなる接続形態のみならず、１：１や１：Ｎとなる接続形態にも適応可能である。
【００６８】
なお、以上説明した本発明の実施の形態は、コンピュータとプログラムによっても実現できるが、この実施の形態を実現するプログラムは、ＣＤ−ＲＯＭやＣＤ−ＲＷなどのコンピュータ読み取り可能な記録媒体に記録して頒布することができる。また、このプログラムは、上記のような記録媒体に記録して頒布できるのみならず、ネットワークを通して提供することもできる。
【００６９】
【発明の効果】
以上説明したように、本発明によれば、遠隔会議システムにおいて、聞き手や話し手の身体の動作や表情、視線、発話の中断、呼吸等の様々なモダリティ情報をテレポインタで可視化できる。
【００７０】
したがって、本発明によれば、このテレポインタという可視化されたモダリティ情報を手掛かりとして、ポインティングの位置へ滑らかな視線の誘導や場への引き込みが実現可能となる。
【００７１】
よって、本発明によれば、遠隔会議システムにおいて、現実世界と同様のプレゼンテーションを実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る共有情報操作システムを示す図である。
【図２】図１に示す端末のハードウェア構成とこの端末に接続された表示装置の画面のイメージとを示す図である。
【図３】端末１−ｍと制御装置２との間における信号の流れを示すブロック図である。
【図４】図３の操作意図判別手段２−２における信号の流れを示すブロック図である。
【図５】図３の操作意図判別手段２−２における信号の流れを示すフローチャートである。
【図６】操作情報制御手段２−３による前記端末１−ｍの表示装置１−ｍ−２の画面１−ｍ−２−１上に表示する会議参加者や共有情報の表示方式の例を示した図である。
【図７】話者代理映像１−ｍ−２−１−１１と共有情報１−ｍ−２−１−１２とが表示された画面１−ｍ−２−１の具体例を示す図である。
【図８】本発明の第２の実施の形態における、端末と共有情報操作装置との間における信号の流れを示すブロック図である。
【図９】図８の操作意図判別手段における信号の流れを示すブロック図である。
【符号の説明】
１−１〜１−ｍ〜１−ｎ    端末
１−ｍ−１    端末本体
１−ｍ−２    モニタなどの表示装置
１−ｍ−２−１    表示装置１−ｍ−２の画面
１−ｍ−２−１−１    共有情報を表示するウィンドウ
１−ｍ−２−１−２    擬人化エージェント（プレゼンタ）
１−ｍ−２−１−３    擬人化エージェント（オーディエンス）
１−ｍ−２−１−４    チャットを行なうためのウィンドウ
１−ｍ−２−１−１１    話者代理映像
１−ｍ−２−１−１２    共有情報
１−ｍ−２−２    画面１−ｍ−２−１の具体例
１−ｍ−２−３    画面１−ｍ−２−１の具体例
１−ｍ−２−４    画面１−ｍ−２−１の具体例
１−ｍ−２−５    画面１−ｍ−２−１の具体例
１−ｍ−２−６    画面１−ｍ−２−１の具体例
１−ｍ−２−７    画面１−ｍ−２−１の具体例
１−ｍ−３    マイクロフォン等の音声入力装置
１−ｍ−４    スピーカ等の音声出力装置
１−ｍ−５    カメラ等の映像入力装置
１−ｍ−６    キーボード
１−ｍ−７    マウス
１−ｍ−８    モーションキャプチャ
１−ｍ−９    端末１−ｍの通信部
２    共有情報操作装置
２−１    共有情報操作装置２の通信部
２−２    操作意図判別手段
２−２−１    動作判別部
２−２−２    話者特定部
２−２−３    発話状態判別部
３    通信網
【図１】
2004171356.tif 000003
【図２】
2004171356.tif 000004
【図３】
2004171356.tif 000005
【図４】
2004171356.tif 000006
【図５】
2004171356.tif 000007
【図６】
2004171356.tif 000008
【図７】
2004171356.tif 000009
【図８】
2004171356.tif 000010
【図９】
2004171356.tif 000011