(57)【要約】【課題】  会話フロアの自動的な検出と会話フロアの自動的な切り替えを提供する。【解決手段】  本発明の音声通信システムのためのコンピュータ制御式方法は、それぞれが複数の音声情報源の１つからもたらされる複数の音声ストリームを受信するステップと、前記複数の音声情報源に関連した複数の出力装置のために、前記複数の音声ストリームを複数のフロア制御装置に応答してミキシングするステップと、前記複数の音声情報源に関連した複数のユーザのために、それら複数のユーザのうち二人以上における１つ以上の会話特性を解析するステップと、前記解析ステップに応答して前記複数のフロア制御装置を自動的に調整するステップとを含む。【選択図】  図３
2004264844.tif 000002
【特許請求の範囲】
【請求項１】
音声通信システムのためのコンピュータ制御式方法であって、該方法が、
それぞれが複数の音声情報源の１つからもたらされる複数の音声ストリームを受信するステップと、
前記複数の音声情報源に関連した複数の出力装置のために、前記複数の音声ストリームを複数のフロア制御装置に応答してミキシングするステップと、
前記複数の音声情報源に関連した複数のユーザのために、それら複数のユーザのうち二人以上における１つ以上の会話特性を解析するステップと、
前記解析ステップに応答して前記複数のフロア制御装置を自動的に調整するステップと
を含む、音声通信システムのためのコンピュータ制御式方法。
【請求項２】
音声通信システムのための装置であって、該装置が、
それぞれが複数の音声情報源の１つからもたらされる複数の音声ストリームを受信するように構成される受信装置と、
複数の音声情報源に関連した複数の出力装置のために、受信装置から受信された前記複数の音声ストリームを複数のフロア制御装置に応答してミキシングするように構成されたミキサと、
前記複数の音声情報源に関連した複数のユーザのために、該複数のユーザのうち二人以上における１つ以上の会話特性を解析するように構成された解析機構、および
前記解析機構に応答して前記複数のフロア制御装置を自動的に調整するように構成されたフロア制御機構とを含む、
音声通信システムのための装置。
【請求項３】
前記複数の音声ストリームが、第１情報源および第２情報源にそれぞれ対応している前記複数の音声情報源からの第１音声ストリームおよび第２音声ストリームを含み、前記第１情報源および前記第２情報源が、第１ユーザおよび第２ユーザにそれぞれ対応しており、前記解析機構は、前記第１ユーザが前記ユーザに応答する確率を決定するように構成された評価機構をさらに含む、請求項２に記載の装置。
【請求項４】
それぞれが複数の通信情報源の１つからもたらされる複数の通信ストリームを受信するように構成される受信装置と、
前記複数の通信情報源に関連した複数の出力装置のために前記複数の通信ストリームを複数のフロア制御装置に応答してミキシングするように構成されたミキサと、
第１ユーザによるアクションを解析して、該アクションが第２ユーザに言及するものであるかどうかを決定するように構成された解析機構と、および
この解析機構に応答して前記複数のフロア制御装置を自動的に調整するように構成されたフロア制御機構
を含む、コンピュータ介在通信のための装置。
【請求項５】
コンピュータにグループ通信サービスを提供するためにその中に組み入れられたコンピュータ可読コードを有している、コンピュータに使用可能なデータ記憶媒体を含むコンピュータプログラム製品であって、該コンピュータプログラム製品は、
それぞれが複数の音声情報源の１つからのものである複数の音声ストリームを受信するように構成された受信装置を前記コンピュータがもたらすように構成された第１のコードと、
複数の音声情報源に関連した複数の出力装置のために前記受信装置から受信した複数の音声ストリームを複数のフロア制御装置に応答してミキシングするように構成されたミキサを前記コンピュータがもたらすように構成された第２のコードと、
前記複数の音声情報源に関連した複数のユーザのために、それら複数のユーザのうち二人以上における１つ以上の会話特性を解析するように構成された解析機構を前記コンピュータがもたらすように構成された第３のコードと、
この解析機構に応答して前記複数のフロア制御装置を自動的に調整するように構成されたフロア制御機構を前記コンピュータがもたらすように構成された第４のコードとを有するコンピュータ可読プログラムコード、
を含むコンピュータプログラム製品。
【請求項６】
会話を特定するためのコンピュータ制御式方法であって、該方法が、
複数のユーザどうしの会話通信から特徴データの複数ストリームを対応する通信間隔にわたって導き出すステップと、
前記複数のユーザのうち二人以上における前記会話を特定するために、前記特徴データの複数のストリームを、前記対応する通信間隔の中で、それら複数のユーザのさまざまな組み合わせに対応して解析するステップと
を含む、会話を特定するためのコンピュータ制御式方法。
【請求項７】
音声処理システムのためのコンピュータ制御式方法であって、該方法が、
それぞれが複数の音声情報源の１つからもたらされる１つ以上の音声ストリームを受信するステップと、
前記１つ以上の音声ストリームから複数の音声サブストリームを識別するステップと、
前記１つ以上の音声サブストリームを、前記複数の音声情報源に関連した１つ以上の出力装置のために、複数のフロア制御装置に応答してミキシングするステップと、
前記複数の音声情報源に関連した複数のユーザのために、該複数のユーザのうち二人以上における１つ以上の会話特性を解析するステップと、
前記解析ステップに応答して前記複数のフロア制御装置を自動的に調整するステップと
を含む、音声処理システムのためのコンピュータ制御式方法。
【請求項８】
複数のユーザどうしの会話通信から特徴データの複数ストリームを対応する通信間隔にわたって導き出すように構成された導き出し機構と、
前記複数のユーザのうち二人以上における会話を特定するために、前記導き出し機構に応答して、前記複数のユーザのさまざまな組み合わせに対応する特徴データの前記複数ストリームを、前記対応する通信間隔の中で解析するように構成された解析機構と、
を含む装置。
【請求項９】
音声処理システムのための装置であって、該装置が、
それぞれが複数の音声情報源の１つからもたらされる１つ以上の音声ストリームを受信するように構成された受信装置と、
前記１つ以上の音声ストリームから複数の音声サブストリームを識別するように構成された識別機構と、
前記１つ以上の音声サブストリームを、前記複数の音声情報源に関連した１つ以上の出力装置のために、複数のフロア制御装置に応答してミキシングするように構成されたミキサと、
前記複数の音声情報源に関連した複数のユーザのために、前記複数のユーザのうち二人以上における１つ以上の会話特性を解析するように構成された解析機構と、
この解析機構に応答して前記複数のフロア制御装置を自動的に調整するように構成されたフロア制御機構とを含む、
音声処理システムのための装置。
【請求項１０】
コンピュータに会話特定サービスを提供するためにその中に組み入れられたコンピュータ可読コードを有している、コンピュータに使用可能なデータ記憶媒体を含むコンピュータプログラム製品であって、該コンピュータプログラム製品は、
複数のユーザどうしの会話通信から特徴データの複数ストリームを対応する通信間隔にわたって導き出すように構成された導き出し機構を前記コンピュータがもたらすように構成された第１のコードと、
それら複数のユーザのうち二人以上における会話を特定するために、前記導き出し機構に応答して、特徴データの前記複数ストリームを、前記対応する通信間隔の中で、それら複数のユーザのさまざまな組み合わせに対応して解析するように構成された解析機構を前記コンピュータがもたらすように構成された第２のコードを有するコンピュータ可読プログラムコードを含む、
コンピュータプログラム製品。
【請求項１１】
コンピュータに音声処理システムを提供するためにその中に組み入れられたコンピュータ可読コードを有している、コンピュータに使用可能なデータ記憶媒体を含むコンピュータプログラム製品であって、該コンピュータプログラム製品は、
それぞれが複数の音声情報源の１つからもたらされる１つ以上の音声ストリームを受信するように構成された受信装置を前記コンピュータがもたらすように構成された第１のコードと、
前記１つ以上の音声ストリームから複数の音声サブストリームを識別するように構成された識別機構を前記コンピュータがもたらすように構成された第２のコードと、
前記１つ以上の音声サブストリームを、前記複数の音声情報源に関連した１つ以上の出力装置のために、複数のフロア制御装置に応答してミキシングするように構成されたミキサを前記コンピュータがもたらすように構成された第３のコード、
前記複数の音声情報源に関連した複数のユーザのために、それら複数のユーザのうち二人以上における１つ以上の会話特性を解析するように構成された解析機構を前記コンピュータがもたらすように構成された第４のコードと、
前記解析機構に応答して前記複数のフロア制御装置を自動的に調整するように構成されたフロア制御機構を前記コンピュータがもたらすように構成された第５のコードを有するコンピュータ可読プログラムコードを含む、
コンピュータプログラム製品。
【発明の詳細な説明】
【背景技術】
【０００１】
この出願は、発明の名称が「コンピュータ介在通信における会話フロアを自動的に管理する方法、装置および製品」である仮出願の利益を主張する、いずれも２００３年４月１６日に出願された２つの米国特許出願の利益を主張するものである。
【０００２】
以下の記載において、「会議」という用語はあらゆる社会的相互交流を含む。会議には普通、その会議の状況の範囲内で別の話し合いを行う人々の下位グループがある。これらの下位グループのそれぞれは、その下位グループのための会話フロアを維持管理し、下位グループの構成員は、上位のグループの会話について意識し続ける。上位のグループの会話は一般に、別の会話フロアが設けられても続けられる。
このような会話形式は、参加者数が少なく、且つ、参加者全員が（例えば会議室に）一堂に会している場合には、うまく機能する。しかし、隔地者間の会話には、現在の技術（例えば、電子会議、二重化無線チャネル）では十分に対処できない。
参加者間の通信は通信チャネル上で互いに混ざり合うので、任意のユーザが通信するのには適さず、また、場合によっては複雑なプロトコルが必要になる。
特許文献１は、サブ・コンファレンス（下位会議）即ち会話フロアの機構を開示している。しかし、そこでは、ユーザが命令ユニットと各自マニュアル（手動）で対話をし、サブ・コンファレンスに参加しなくてはならない。また、特許文献１の機構では、どのサブ・コンファレンスが利用可能であるのかを示すために複雑な技術を必要とする。すなわち、特許文献１は、会話フロアの自動的な検出と会話フロアの自動的な切り替えを提供するものではない。
【特許文献１】米国特許第６，３２７，５６７号公報
【非特許文献１】Ｄｉｓｃｏｕｒｓｅ  Ｐｒｏｃｅｓｓｅｓ  ９（１９８６）の第３７５〜３９０ページに掲載されたＷｉｌｓｏｎ，Ｔ．Ｐ．およびＺｉｍｍｅｒｍａｎ，Ｄ．Ｈ．著「二者の会話における話す順番の間の沈黙の構造（Ｔｈｅ  Ｓｔｒｕｃｔｕｒｅ  ｏｆ  Ｓｉｌｅｎｃｅ  Ｂｅｔｗｅｅｎ  Ｔｕｒｎｓ  ｉｎ  Ｔｗｏ−Ｐａｒｔｙ  Ｃｏｎｖｅｒｓａｔｉｏｎ）」  Ｄｉｓｃｏｕｒｓｅ  Ｐｒｏｃｅｓｓｅｓ，第３７５〜３９０ページ，１９８６年
【非特許文献２】ＳｍｉｔｈおよびＨｕｄｓｏｎ著「媒体スペースアプリケーションにおける意識およびプライバシーについての低障害音声（Ｌｏｗ  Ｄｉｓｔｕｒｂａｎｃｅ  Ａｕｄｉｏ  Ｆｏｒ  Ａｗａｒｅｎｅｓｓ  ａｎｄ  Ｐｒｉｖａｃｙ  ｉｎ  Ｍｅｄｉａ  Ｓｐａｃｅ  Ａｐｐｌｉｃａｔｉｏｎｓ）」  ＡＣＭ  Ｍｕｌｔｉｍｅｄｉａ  ９５−Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｃｅｅｄｉｎｇｓ，第５〜９ページ、１９９５年１１月号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、会話フロアの自動的な検出と会話フロアの自動的な切り替えを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の第１の態様は、通信システムとともに用いるためのコンピュータ制御式方法である。この方法には複数の通信を受信するステップが含まれており、これら複数の通信のそれぞれは、複数の通信情報源の１つからもたらされる。加えて、この方法には、複数の通信情報源に関連した複数の出力装置のために複数の通信を（複数のフロア制御装置に応じて）ミキシングするステップが含まれている。さらにまた、この方法には、複数の通信情報源に関連した複数のユーザのために、それら複数のユーザのうち二人以上における１つ以上の会話特性を解析するステップもまた含まれている。この方法には、前記解析ステップに応じて複数のフロア制御装置を自動的に制御するステップも含まれている。他の実施形態には、コンピュータがこの方法を実行するプログラム製品とともに、この方法を用いるシステムおよび装置が含まれている。
【０００５】
本発明の第２の態様は、オーディオ通信システムとともに用いるためのコンピュータ制御式方法である。この方法には複数の音声ストリームを受けるステップが含まれており、これら複数の音声ストリームのそれぞれは、複数の音声情報源の１つからもたらされる。加えて、この方法には、複数の音声情報源に関連した複数の出力装置のために複数の音声ストリームを（複数のフロア制御装置に応じて）ミキシングするステップが含まれている。さらにまた、この方法には、複数の音声情報源に関連した複数のユーザのために、それら複数のユーザのそれぞれにおける１つ以上の会話特性を解析するステップもまた含まれている。この方法には、前記解析ステップに応じて複数のフロア制御装置を自動的に制御するステップも含まれている。
【０００６】
そして、この方法によれば、コンピュータは会話特性（これらの会話特性には、ユーザの発声と他のユーザの発声に対するそのユーザの生理的反応とのような音声情報源に由来する情報が含まれる（しかし、そのような情報に限定されない））を解析することができる。
【０００７】
本発明の第３の態様は、複数の通信ストリームを受信するステップが含まれていてこれら複数の通信ストリームのそれぞれが複数の通信情報源の１つからもたらされるコンピュータ介在通信のためのコンピュータ制御式方法である。別のステップは、複数の通信情報源に関連した複数の出力装置のために複数の通信ストリームを複数のフロア制御装置に応じてミキシングするステップである。さらに別のステップは、第１ユーザによるある行為（アクション）が第２ユーザによるあるアクションに応答するものであるかどうかを判断するために第１ユーザによるそのアクションを解析するステップであって、第１ユーザおよび第２ユーザが、複数の通信情報源の違いに関連しているとともに、この解析ステップに応じて複数のフロア制御装置を自動的に制御するステップである。
【０００８】
本発明の第４の態様は、複数の通信ストリームを受信するステップが含まれていてこれら複数の通信ストリームのそれぞれが複数の通信情報源の１つからもたらされるコンピュータ介在通信のためのコンピュータ制御式方法である。別のステップは、複数の通信情報源に関連した複数の出力装置のために複数の通信ストリームを複数のフロア制御装置に応じてミキシングするステップである。さらに別のステップは、第１ユーザによるあるアクションが第２ユーザに関連するものであるかどうかを判断するために第１ユーザによるそのアクションを解析するとともに、この解析ステップに応じて複数のフロア制御装置を自動的に制御するステップである。
【０００９】
本発明の第５の態様は、会話を特定するための方法に関するものである。この方法には、ユーザどうしの会話通信から特徴データのストリームを通信間隔にわたって導き出すステップが含まれている。このような特徴データのストリームは次いで、二人以上のユーザどうしの会話を特定するために、通信間隔にわたって、ユーザどうしのさまざまな組み合わせに解析される。本発明の他の態様には、この方法を実施するための装置と、この方法をコンピュータに実施させるためのコンピュータプログラム製品とに関するものが含まれている。
【００１０】
本発明の第６の態様は、それぞれの音声ストリームが複数の音声情報源の１つからもたらされる１つ以上の音声ストリームを受信する音声処理システムのための方法に関する。そして、識別ステップが、その音声ストリームから１つ以上の音声サブストリームを識別する。ミキシングステップが、これらのサブストリームを、前記音声情報源に関連した１つ以上の出力装置のために、（複数のフロア制御装置に応じて）ミキシングする。解析ステップが、（複数の音声情報源に関連した複数のユーザのために）それら複数のユーザのうち二人以上における１つ以上の会話特性を解析する。別のステップが、前記解析ステップに応じて前記フロア制御装置を自動的に調整する。本発明の他の態様には、この方法を実施するための装置と、この方法をコンピュータに実施させるためのコンピュータプログラム製品とに関するものが含まれている。
【発明の効果】
【００１１】
本発明によれば、共有する通信環境にいる複数のユーザは、相異なるグループのユーザが会話をすることができる一方で、他の会話に気づく機能もなお備えている会話フロアを自動的に設定することができる。ここで、自動的にとは、その会話フロアを設定するために用いられる、明示的な命令、制御アクションあるいは制御用語がないことを意味する。その代わりに、会話フロアを設定するために、通信特性が解析されて用いられる。
【発明を実施するための最良の形態】
【００１２】
以下に図面を参照して記載する詳細な説明により、本発明の多様な態様が当業者には明らかになるであろう。
本発明の１つの態様は、人間の会話における挙動の自動的検知を用いる媒体通信システムに関するものである。１つの実施形態では、このシステムは、会話の際の特定の可聴的キュー（きっかけ）と行動との間の定量的な一時的関係（「一時的特徴」）のような会話特性に基づいて、会話グループの構成員資格の確率的推論を行う。このシステムにおける１つの実施形態では、人間の発言（スピーチ）の中に所定のユーザ発声音が存在するか存在しないかを妥当な信頼度で検知しかつ／またはその発言の中における特定の発声音を妥当な信頼度で検知するための機能が用いられるので、その発言の内容を理解する必要はない。
【００１３】
前記会話特性には、音声的特性と生理的特性（生物測定装置によって決定することができるような特性）との両方が含まれる。以下の多くの場合には音声的特性の解析について説明されるが、これに対応する技術を、グループ通信サーバ１０３によって受信することのできる利用可能な生理的特性に適用することができる。
【００１４】
ユーザの発声音の存在あるいは不存在を検知することは、喉当てマイクロホンあるいは「骨伝導」マイクロホンで音声を取り込み、次いで、その音声を発言あるいは沈黙に分割するために簡単な信号検知アルゴリズム（例えば、エネルギーしきい値および／または信号ゼロ交差率を用いるもの）を用いて、行うことができる。
【００１５】
前記一時的特徴は、公知のパターン認識技術を用いて分類することができる。これを行う１つの方法は、定量的特徴値を既知の度数分布と比較することである。もしも、所定の関係がユーザ全体にわたり一般的（あるいはほとんど一般的）なものであるときには、静的分布を用いることができる。もしも、所定の関係がユーザ間で変化するものであるときには、初期分布を段階的に修正することができる。一時的特徴のいくつかは一般に、同じ会話フロアにおける構成員の資格を表している。同じ会話フロアにおける話し手は、彼らの発声を移動関連場所（ＴＲＰ）で始め、話す順番が他の話し手に回ったときの小休止で彼らの発声を一時的に調整する。このような一般原則は、定量的特徴を作成するために用いることができる。
【００１６】
「特徴」の一例では、話し手Ｘの話す順番における現在の開始時点ｔと、このｔよりも前であって話し手Ｙの話す順番における直近の先行終了時点との時間差が計算される。この時間差は、話し手Ｘと話し手Ｙとが会話しているという予測可能性を作り出すために、逓減性分布（例えば、ウィルソン・ジマーマン（Ｗｉｌｓｏｎ＆Ｚｉｍｍｅｒｍａｎ）のとさか形分布（非特許文献１における分布）あるいは経験的分布）と比較することができる。
【００１７】
「特徴」の他の一例では、話し手たちが他の話し手たちの話す順番の終わるのをただ待ってその後に反応するのではなく、むしろ彼らが話しの内容および韻律のようなキューに基づいてその順番の終わるのを予測する（つまり期待する）、という特性が用いられる。話し手Ｘは先の話し手Ｙが発言を終えるであろう時点を誤って判断するかもしれないので、Ｘの話す順番の開始時点はＹの話す順番の終了時点の前であることが往々にしてある。この特徴では、話し手Ｘの話す順番における現在の開始時点ｔと、このｔに最も近い話し手Ｙの話す順番における終了時点（したがって、ｔの前であるかもしれず、あるいは後であるかもしれない）との時間差が計算される。このような分布も経験的にモデル化することができ、さらに、前記差が大きければ大きいほど、作為的な調整を意味するものではなく、したがって、話し手たちは同じ会話フロアにいることはほとんどない。
【００１８】
「特徴」のさらに別の例としては、話し手たちが同じ会話フロアにいないことの証拠を探すことができる。例えば、話し手たちの発言は重なり合う（話し手たちが同時に話し始めるときや、話し手たちがある会話文をいっしょに話し終えるときのように）ことがよくあるが、その話し手たちが同じ会話フロアにいるときに、他の話し手たちの発言と重なり合う発言の持続時間がわかることはきわめてまれである。このような一般原則は、定量的特徴を作成するために用いることができる。
【００１９】
これらの特徴がいったん決定されると、その後、確度、事後確率および会話フロアの構成を後で説明するようにして計算するために、用いることができる。
【００２０】
ある会話フロアにおける構成員の資格についての付加的証拠は、特定の発声音を認定することによって得ることができる。
【００２１】
生理的特性が、ある特徴を決定するためにユーザの音声と比較されてもよい。
【００２２】
ユーザは、マイクロホンや他の音声ピックアップとスピーカーとを持っている。ユーザの音声ピックアップは、情報源が特定されたディジタル化パケットとして信号を発生する。同様に、ユーザへ出力するためのディジタル化音声パケットが特定されるとともに、これらのパケットは、一般にユーザへ返送されて、ユーザのスピーカーあるいはヘッドホンによって再生される。１つの態様では、複数の情報源から音声がもたらされ、それらの情報源からの音声がミキシングされ、ミキシングされた音声がユーザ／情報源へ送信され、次いで、そのミキシング音がユーザの発声音のような会話特性の解析に応じて自動的に調整される。特徴のデータのストリームは、人々の間の会話通信情報から得ることができる。この会話通信情報は、テキスト形式情報、可聴情報、視覚情報、触覚情報、あるいはこれらのいくつかの組み合わせから構成することができる。この会話通信情報は、手動であるいは自動的に転記することができる。
【００２３】
図１はアーキテクチャ１００を示しており、このアーキテクチャには、ネットワーク１０１、グループ通信用サーバ１０３および複数の可聴情報源１０５が含まれている。ネットワーク１０１は、ＬＡＮ、ＷＡＮ、インターネットあるいは、音声情報をディジタル方式あるいはアナログ方式で転送するのに適した他の任意のネットワークであってよい。複数の可聴情報源１０５には、人の発声あるいは発声音を聴取するマイクロホンが含まれている（さらに、人の発声音を暗騒音からいっそう良好に分離するためにその発声音の出現を検知するための機構が含まれていてもよい）。さらに、複数の可聴情報源１０５の少なくともいくつかには、音声情報を記録するかあるいは呈示するための何らかの機構がある。
【００２４】
複数の可聴情報源１０５のどれかには、アナログ音声情報をディジタル音声情報に変換するとともにその音声情報をグループ通信用サーバ１０３へ送信するための信号処理機能が含まれていてもよい。
【００２５】
グループ通信用サーバ１０３は、無線通信システム、有線、無線および／または携帯電話システム、救急管理センターにおける構成要素、インターネット音声型チャットルームのためのサーバ、または、個々にアドレス指定することのできる任意のグループ・オーディオ・システムにおける構成要素であってよい。
【００２６】
図２は、本発明が組み入れられるグループ通信用サーバ２００を示している。このグループ通信用サーバ２００にはコンピュータ２０１が含まれ、そのコンピュータには、ＣＰＵ２０３、記憶装置２０５およびネットワーク・インターフェイス２０７が組み込まれている。ネットワーク・インターフェイス２０７によって、このコンピュータ２０１は、ネットワーク２０９にアクセスされる。コンピュータ２０１にはＩ／Ｏインターフェイス２１１も含まれており、このインターフェイスは、ユーザ・インターフェイス装置２１３、記憶システム２１５および取り外し型データ装置２１７に接続することができる。取り外し型データ装置２１７はコンピュータ読み取り型媒体２１９を読み取ることができ、このコンピュータ読み取り型媒体にはプログラム・プロダクト２２１が含まれているのが普通である。記憶システム２１５（および取り外し型データ装置２１７）およびコンピュータ可読媒体２１９には、ファイル保存機構が備わっている。コンピュータ読み取り型媒体２１９に関するプログラム・プロダクト２２１は、記憶装置２０５の中へプログラム２２３として読み込まれるのが普通である。加えて、プログラム・プロダクト２２１は、ネットワーク・インターフェイス２０７を介して、前記ネットワーク（光、無線および電気信号が含まれている電磁気搬送波の中でコード化されるのが普通である）からもたらすことができる。
【００２７】
このネットワークによって、情報（コンピュータプログラムを定義するデータとともに可聴情報を定義するデータのような情報）が送信される。一般に、この情報は搬送波の中に取り込まれる。有形物理媒体のようなこのネットワークは、コンピュータ利用可能なデータ記憶媒体である。
【００２８】
図３は、本発明における１つの実施形態を示すグループ通信システム・アーキテクチャ３００を示している。ユーザは、情報源と出力装置とに関連付けられている。あるユーザの発声音はある音声情報源にもたらされ、また、「他のユーザ」すべての発声音（ことによると修正されている）は、ミキシングされて、そのユーザへの呈示のためにそのユーザに関連付けられた出力装置に呈示される。これらの情報源および出力装置の双方は、その結果が識別番号とタイムスタンプとを含んでいるディジタル化音声パケットである「仮想のもの」であってもよい。
【００２９】
これらのタイムスタンプおよび情報源／出力装置識別番号は、標識付け器（タグ付け器）によってパケットに加えることができる。
【００３０】
グループ通信システム・アーキテクチャ３００には音声ミキサ３０１が含まれており、この音声ミキサは、Ｎ個の情報源からＮ個以上の出力装置へのディジタル音声をミキシングするために制御することができ、ここでは、それぞれの情報源からの音声は、それぞれの出力装置のためにミキシングされるときに個々に調整することができる。音声ミキサ３０１はこのように、さまざまな情報源をもっぱらそれぞれの出力装置のためにミキシングすることができる。このようなミキシングは、一組のミキシングパラメータあるいはフロア制御装置によって制御することができる。
【００３１】
一般的に、ある音声情報源と、それぞれのユーザに専用のある出力装置とが存在している。加えて、対応する出力装置のない付加的な入力装置が含まれていてもよい。
【００３２】
グループ通信システム・アーキテクチャ３００には、会話特性に関するデータを解析するために用いられるフロア解析モジュール３０３もまた、含まれている。このフロア解析モジュール３０３によれば、会話グループの構成員資格の設定を自動的に決定することができる。フロア解析モジュール３０３は次いで、音声ミキサ３０１に関する前記一組のミキシングパラメータを指定することで、会話フロアを実現する。これらのミキシングパラメータは、フロア解析モジュール３０３からフロア制御パス３０５を介して音声ミキサ３０１へ伝えられる。
【００３３】
グループ通信システム・アーキテクチャ３００には、１番目のディジタル音声情報源・標識付け器３０７からｎ番目のディジタル音声情報源・標識付け器３０９までが含まれており、また、音声ディジタル化装置を動かすアナログ情報源３１１と標識付け器３１３とが含まれていてもよい。これらの要素の標識付け器部には、情報源識別番号が挿入されており、また、ディジタル化された音声パケットの中にタイムスタンプが挿入されてもよい。これらの音声情報源は音声ストリームを受信する受信装置であってもよい。
【００３４】
ディジタル化されて標識の付けられた音声データは、１つ以上のミキサ用音声データパス３１５を介して、音声ミキサ３０１の入力装置にもたらされる。このディジタル音声データはまた、１つ以上の解析用音声データパス３１７を介して、フロア解析モジュール３０３にもたらされる。フロア解析モジュール３０３は、前記一組のミキシングパラメータの値を決定するために、利用可能な会話特性を解析する。
【００３５】
音声ミキサ３０１は、ミキシングされた出力音声を、１つ以上の出力音声データパス３１９を介して１番目のディジタル音声出力装置３２１からｎ番目のディジタル音声出力装置３２３へ出力し、また、場合によっては、アナログ音声出力装置３２７に接続されている音声ディジタル・アナログ変換器（Ｄ／Ａ）３２５を介して出力する。
【００３６】
複数の情報源と出力装置とが図３に表示されているが、前記音声パケットがいったんディジタル化されかつ情報源の識別子を含んでいると、そのパケットを送信したり受信したりするためには単一の物理的入力／出力通信機構で充分である。これに関連した要件は、それぞれの情報源からの音声が識別されているということである。さらにまた、所定の情報源からのディジタル化音声は、その情報源から前記音声ストリームへのインターフェイスをもたらす仮想装置と関連していてもよい。１つ以上のミキサ用音声データパス３１５、１つ以上の解析用音声データパス３１７および１つ以上の出力用音声データパス３１９に関して図３に表示された個別のパスは、情報源によって識別されるディジタル化音声パケットを搬送するための単一のパスであってよい。そのうえ、前記音声データを一時的に調整するのに関連した技術は、複数の可聴情報源１０５のそれぞれによって実施することができ、グループ通信用サーバ１０３で、あるいはいくつかの組み合わせで実施することができる。
【００３７】
映像情報、生物測定情報、視標追跡情報などのような非音声データを受信する「付加的応答用解析」モジュール３２８が含まれていてもよい。「付加的応答用解析」モジュール３２８によれば、このようなデータを解析して、１つ以上の解析用音声データパス３１７によってもたらされた音声情報とフロア解析モジュール３０３の中における他のいくつかのモジュールによって作成された情報とに関連付けることのできる会話特性を決定することができる。「付加的応答用解析」モジュール３２８による解析結果は、音声ミキサ３０１を制御するためにフロア解析モジュール３０３によって行われた他の解析結果と合わされる。
【００３８】
フロア解析モジュール３０３は、会話特性も解析するとともに、「順番取得用解析」モジュール３２９、「応答アクション解析」モジュール３３１および／または「照会アクション解析」モジュール３３３のような１つ以上の解析モジュールを、会話フロア構成スレッドとともに含むこともできる。この解析結果は、フロア制御装置および／または音声ミキサ３０１によって用いられた一組のミキシングパラメータを制御するために用いられる。
【００３９】
一番目のディジタル音声情報源・標識付け器３０７、ｎ番目のディジタル音声情報源・標識付け器３０９および、音声ディジタル化装置・標識付け器３１３のＩＤ・タイムスタンプ部は、ディジタル化されたデータの入力情報源を識別するために使われるとともに、受信された時刻でそのデータにマークを付けることができる。
【００４０】
それぞれの情報源／出力装置からグループ通信用サーバ１０３への音声情報およびグループ通信用サーバ１０３からの音声情報は、グループ通信用サーバ１０３の中への１つ以上のポートに利用可能なものにすることができるが、一般に、ディジタル化音声情報は、パケット化され、ネットワーク全体に伝えられる。加えて、情報源と出力装置との間には、１対１対応がある必要はない。
【００４１】
図４は、遠隔式ディジタルマイクロホンシステム４００を示しており、このシステムは、一番目のディジタル音声情報源・標識付け器３０７からｎ番目のディジタル音声情報源・標識付け器３０９のうちのいずれにディジタル化音声データをもたらすためにも、使うことができる。この遠隔式ディジタルマイクロホンシステム４００は、音声入力装置４０１を含んでいるが、マイクロホンからの入力信号を処理すべき時点を決定するための発声検知部４０３と、音声入力装置４０１からのアナログ信号を（ことによると発声検知部４０３に応答して）ディジタル化するディジタル化装置４０５とを含んでいてもよい。さらに、この遠隔式ディジタルマイクロホンシステム４００は、情報をネットワーク１０１によってグループ通信用サーバ１０３へ送信するとともに同サーバから受信する通信インターフェイス４０７を含んでいる。加えて、この遠隔式ディジタルマイクロホンシステム４００は、（音声入力装置４０１により聴取した音声のいくらかを音声出力装置４１３へ提供する）選択自由の側音発生部４０９を含んでいてもよく、通信インターフェイス４０７により受信したディジタル音声情報を、（ヘッドホンあるいはスピーカーのような）音声出力装置４１３によって呈示することのできるアナログ情報に変換するためのＤ／Ａ変換装置４１１を含んでいてもよい。
【００４２】
図５はフロア制御用データ構造５００を示しており、このフロア制御用データ構造５００には情報源データ構造５０１が含まれ、この情報源データ構造５０１には、情報源番号フィールド５０３と情報源／出力装置構造ポインタアレイ５０５とがある。情報源番号フィールド５０３では、作用情報源の番号が指定される（いくつかのインプリメンテーションでは、このフィールドで、可能性のある情報源の全番号が指定される）。情報源／出力装置構造ポインタアレイ５０５では、それぞれの情報源がポインタで出力用データ構造５０７に関連付けられる。出力用データ構造５０７には、情報源からの音声が分散される出力装置の数を指定する出力装置フィールド５０９の数が含まれている。情報源番号フィールド５０３のコンテンツと出力用データ構造５０７のコンテンツとは一般に同じであると予想される。出力用データ構造５０７にはまた、出力装置識別フィールド、ボリュームフィールドおよび音声修正フィールドが含まれていてもよい出力制御アレイが含まれる。
【００４３】
情報源データ構造５０１は、関連情報源からの音声情報をそのボリューム及び音声修正フィールドによって出力のために修正されたそれぞれの出力装置へ分散させるために、用いられる。これらのボリューム・音声修正フィールドは、フロア制御パス３０５を介してフロア解析モジュール３０３によって自動的に調整される。そして、それぞれの出力装置に関して、音声ミキサ３０１は、フロア制御用データ構造５００によって指定されたようなそれぞれの情報源からの寄与情報をミキシングすることができる。
【００４４】
音声修正フィールドは、ミキシングされた音声に特別な効果をもたらして、ユーザが、そのユーザの現在の会話フロアから作り出される音声と比較されるような別の会話フロアから作り出される音声をいっそう区別しやすくするために用いられる。フロア指示機構に関するこれらの特別な効果には、付加的エコー、計画的マスキングおよび／または他の効果が含まれる。このフィールドはまた、通信用にその会話フロアを優先するために用いることもできる。さらにまた、この音声修正フィールド（あるいは追加フィールド）には、音声情報源の見かけの音声位置を変更するための空間化制御部が含まれていてもよい。したがって、１つの実施形態では、「このユーザ」のフロアにおける構成員からの音声は、いつも「このユーザ」の前方に聴覚的に配し、他のフロアからの音声は、「このユーザ」の側方あるいは後方に配することができる。
【００４５】
フロア制御用データ構造５００は、テレビ会議の状況における映像焦点合わせを支援するために、拡張することができる。すなわち、会話フロアはテレビ会議セッションの参加者どうしの間に作成されるので、その会議フロアの構成員には他の会議フロアにいる構成員のものとは異なる映像表現が与えられる。これらの変型は、「他のユーザの」会話フロアが含まれているビューを「このユーザ」の含まれているビューの上へ強調表示（ハイライト）することとなる。この強調表示は、そのビューの大きさ、色、配置などによって行うことができる。さらにまた、そのような１つには、テキスト形式の通信環境では、出力制御アレイ５１１に、フロアの構成員資格を表示するためにその通信のテキストの外観を調整するフィールドが含まれていてもよい、ということは理解されるであろう。テキスト表示および映像表示の双方はフロアの構成員資格における視覚的表示の例である。さらに、このフロア構成に関する他の視覚的表示は、図形的機構、テキスト形式機構あるいは他の表示機構によってそのユーザに表示することができる。
【００４６】
さて、グループ通信システム・アーキテクチャ３００の実施形態について説明する。この実施形態は、多目的コンピュータに用いられる多重スレッド型手順プログラム書き込み環境の状況で説明される。
【００４７】
図６は、グループ通信用サーバ１０３がその機能を発揮するように用意されるときに実行される「グループ通信用サーバ初期化」スレッド６００を示している。この「グループ通信用サーバ初期化」スレッド６００は、「開始」ターミナル６０１で開始され、次いで、（適切なデータ構造の作成、複数の可聴情報源１０５との通信の有効化、および他の初期化のような）必要ないくつかの初期化を行う「初期化」プロシージャ６０３へ続く。「初期化」プロシージャ６０３が終了した後に、「グループ通信用サーバ初期化」スレッド６００は、「フロア構成の実行スレッド」プロシージャ６０５と「情報源の実行スレッド」プロシージャ６０７へ続くが、「フロア構成の実行スレッド」プロシージャ６０５では、図７に記載されたスレッドが引き続いて実行され、「情報源の実行スレッド」プロシージャ６０７では、図８に記載されたスレッドが引き続いて実行される。「グループ通信用サーバ初期化」スレッド６００はその後、「終了」ターミナル６０９で終了する。
【００４８】
音声ミキサ３０１を自動的に構成するために、それぞれのユーザの発声音が解析され、その解析結果が、フロア制御用データ構造５００を自動的に修正するために用いられる。
【００４９】
プロシージャとは、所望の結果を導くいくつかの情報化ステップにおける首尾一貫した手順をいう。これらのステップは、１つ以上のコンピュータの命令によって定義される。これらのステップは、これらのステップを定義する命令を実行するコンピュータによって実施することができる。したがって、「プロシージャ」という用語は、（例えば、しかし、限定されることなく）、命令の手順、プログラムされた手順あるいはプログラムされた機能の中でまとめられた命令の手順、あるいは１つ以上のコンピュータにおいて実行されるプログラムされた方法の中でまとめられた命令の手順を意味することができる。このようなプロシージャは、命令を実行するコンピュータによって実施された機能に相当する機能を実施する回路装置において直接遂行することもできる。
【００５０】
図７は、図６の「フロア構成の実行スレッド」プロシージャ６０５によって実行され、かつ、「開始」ターミナル７０１で開始される「フロア構成」スレッド７００を示している。このスレッドは、個々の解析モジュールの結果を受けて、これらの結果から音声情報源の最もありそうな構成を自動的に決定しかつ選択する（したがって、通信グループ構成員資格を決定する）ためと、フロア制御用データ構造５００における値を調整することによって音声ミキサ３０１を構成するために、応答可能なものである。
【００５１】
「初期化」プロシージャ７０３によって、フロア制御用データ構造５００の可能性のある割り当ておよび初期化、フロア制御パス３０５、１つ以上のミキサ用音声データパス３１５、１つ以上の解析用音声データパス３１７の初期化、そして他の初期化を含む必要な何らかの初期化がもたらされる。「フロア構成」スレッド７００がその初期化を完了した後に、それは、別の解析スレッドからの結果を受け取る「解析結果受け取り」プロシージャ７０５へ続く。ある解析モジュールからの結果を受け取ると、「構成確率決定」プロシージャ７０７は、ユーザどうしがそれぞれの会話フロアにおいて相互交流（インタラクト）するのにその構成が適合する少なくともいくつかの可能性のある構成についての確率を決定する。
【００５２】
構成ごとの確率はさまざまな方法を用いて決定することができる。１つの方法は、それぞれのユーザについてのノードと、そのユーザと「他のユーザ」の各々との間のエッジとが備わった参加者グラフを維持管理することである。この参加者グラフにおけるそれぞれのエッジは、そのエッジで接続された二人のユーザが会話している一対の確率で重み付けされる。最大平均重みのある構成は最も生じやすい構成である。
【００５３】
関係のある構成についての確率がいったん決定されると、「最もありそうな構成の選択」プロシージャ７０９によって、現在最もありそうな構成が選択される。次いで、「フロア構成」プロシージャ７１１によって、選択された構成の過去の履歴が解析され、それが適切であれば、フロア制御用データ構造５００における一組のミキシングパラメータが再構成されるであろう（そして、その会話フロア構成が変更される）。
【００５４】
「フロア構成」プロシージャ７１１は、その会話フロア構成があまりに速く変更されないように（ばたつき効果の原因になる）、いくつかの履歴状効果をもたらすこともできる。したがって、微小時間の構成をできるだけ維持することは有用である。これを決定するためにはさまざまな方法を用いることができる。会話フロア構成を変更するために、「フロア構成」プロシージャ７１１によって、フロア制御用データ構造５００における値が変更される。「フロア構成」プロシージャ７１１の後に、「フロア構成」スレッド７００は「解析結果受け取り」プロシージャ７０５へ戻り、そこで、いっそう詳しい解析結果が得られるとともにそれが処理される。
【００５５】
「フロア構成」プロシージャ７１１を制御するために、状態ベース会話モデルによる追加の方法を用いることができる。そのようにする１つの方法は、個々の状態が特定のフロア構成を表示する決定論的有限状態マシーンを使うことであるが、複数の状態について特定のフロア構成を対応させることもまたその逆も可能である。これに代えて、フロア構成どうしの間における移動は、マルコフ（Ｍａｒｋｏｖ）モデルあるいはヒドゥン・マルコフ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ）モデル（ＨＭＭ）のような確率論的状態マシーンを使って制御することができる。
【００５６】
「フロア構成」プロシージャ７１１が、このシステムの残り部分に用いられたのと同じ一時的粒状度（ｇｒａｎｕｌａｒｉｔｙ）でのすべての型の解析を行う必要はない、ということも明らかであろう。そのような１つの取り組みではいわゆる「セグメントベース」解析が用いられるが、この解析では、前記特徴は、特徴値が妥当である持続時間（セグメント長）を表示する明白な時間ラベルに組み合わされる。
【００５７】
ユーザには、「フロア構成」スレッド７００の操作に影響するパラメータを指定するためのツールをもたらすことができる。さらに、指名された何人かの構成員（優先構成員）からの発声音には、その優先構成員からの発声音によって他の構成員の発声音がその優先構成員の通信持続時間の間に消されるように、優先指標が与えられることがある。他の例は、「保持」機構の提供であり、この機構により、ユーザは「フロア構成」スレッド７００を要求してそのユーザに対するその現在のフロア構成を維持することができる。このような「保持」機構と他の有用な機構とは、自動フロア制御を優先するために、伝統的な明示的なユーザ命令によって、あるいは音声によるかあるいは明示的なユーザの動作によって、実行することができる。さらに、いくつかの実施形態では、このシステムは、フロアの構成員資格がユーザによって明示的に調整される手動モードに強制的に切換られる。
【００５８】
図８は、図６の「情報源の実行スレッド」プロシージャ６０７によって実行される「音声情報源ハンドラー」スレッド８００を示しており、このスレッドは、「開始」ターミナル８０１で開始され、このスレッドのための１回だけの初期化を実行する「初期化」プロシージャ８０２へ続く。その後、この「音声情報源ハンドラー」スレッド８００は、「パッケージ受信」プロシージャ８０３へ続くが、そこでは１つ以上のミキサ用音声データパス３１５のどれかからのディジタル化音声情報のパケットが受信される。「新たな初期化」決定プロシージャ８０５では、そのパケットが新たな情報源からのものであったかどうかが決定される（その情報入力装置のＩＤおよびタイムスタンプ部によってそのパケットの中に挿入されたパケット識別情報を検査することで）。もしも新たな情報源が検出されると、「音声情報源ハンドラー」スレッド８００は「新たな作用情報源スレッドの実行」プロシージャ８０７へ続き、そこで、新たに作用化された情報源についてのスレッドが開始される。
【００５９】
そうではなく、そのパケットが以前にアクティブになったものとしてその情報源を識別すると、「音声情報源ハンドラー」スレッド８００は、「パケットの情報源予備解析スレッドへの振り分け」プロシージャ８０９へ続き、そこではそのパケットのコピーがその予備解析スレッドへ送信される。「出力表の中への索引付け」プロシージャ８１１は、フロア制御用データ構造５００にアクセスして、識別された情報源からの音声情報についての出力制御アレイ５１１へアクセスする。次に、「それぞれの出力の繰り返し」プロシージャ８１３によって、出力制御アレイ５１１の中にそれぞれの出力が繰り返される。
【００６０】
繰り返された出力のそれぞれに関し、「パケットＷＲＴ出力パラメータの制御」プロシージャ８１５によって、前記ボリュームフィールドおよび修正コードフィールドのコンテンツに対して調整されたようなパケットのコピーが作り出される。次に、調整されたパケットは、「パケットの出力装置への振り分けスレッド」プロシージャ８１７によって、適切な出力スレッドへ振り分けられる。情報源パケットの調整されたコピーが適切な出力スレッドへ振り分けられた後に、その情報源パケットは放棄することができる。
【００６１】
図９は、図８の「新たな作用情報源スレッドの実行」プロシージャ８０７によって実行される「新たな作用情報源」スレッド９００を示している。この「新たな作用情報源」スレッド９００は、新たなユーザを取り扱うために、前記参加者グラフを修正するために、そして新たなユーザに必要な解析スレッドを初期化するために用いられる。
【００６２】
「新たな作用情報源」スレッド９００は、「開始」ターミナル９０１で開始される。「初期化」プロシージャ９０２は必要な何らかの初期化を行うものである。「出力表の追加記入」プロシージャ９０３は、フロア制御用データ構造５００を更新して、新たにアクティブ状態になった情報源の存在が反映される。フロア制御用データ構造５００がいったん更新されると、「新たなアクティブ情報源」スレッド９００は、「出力スレッドの実行」プロシージャ９０５を介して、ユーザ出力スレッド（引き続いて図１１に関して説明される）を実行することができる。このユーザ出力スレッドの実行が開始されると、新たなユーザは、「出力表の追加記入」プロシージャ９０３がフロア制御用データ構造５００における新たな記入を初期化したときに実行された初期化に応じて、音声を聞き始めるであろう。
【００６３】
「情報源予備解析スレッドの実行」プロシージャ９０７によって、予備解析スレッドが実行される。
【００６４】
「参加者グラフヘの情報源の追加」プロシージャ９０９によって、新たにアクティブとなった情報源がその参加者グラフに（新たなユーザとして）追加され、次いで、「構成作成スレッドの実行」プロシージャ９１１によって、その構成作成スレッドが実行される。
【００６５】
次に、「順番取得用解析スレッド」プロシージャ９１３によって、順番取得用解析スレッドが開始される。
【００６６】
次に、「照会用解析の初期化」プロシージャ９１５と「応答用解析の初期化」プロシージャ９１９とによって、照会用解析スレッドと応答用解析スレッドとが実行される。
【００６７】
最後に、この「新たなアクティブ情報源」スレッド９００は、「終了」ターミナル９２３を経て終了する。この時点では、音声ミキサ３０１は、新たに有効化された情報源を終了装置のそれぞれについて作成されたミキシング音へ追加するように調整されている。したがって、その音声情報源に関連したユーザは、既定値（デフォルトの）ミキシング音に対応する音声を聞くことができる。このような構成作成スレッドが作動され、かつ、新たな情報源を組み入れる構成が作成されるとともに、前記解析モジュールが初期化されると、フロア解析モジュール３０３は、その新たなユーザのためにそのミキシング音を調整することができる。
【００６８】
図１０は、「予備解析」スレッド１０００を示しており、このスレッドは、受信した音声データの微小時間分を蓄積するために、また、その音声データが発声音を表示するときの解析を実施するために用いることができる。要するに、（「パケットの情報源予備解析スレッドへの振り分け」プロシージャ８０９によって送信された）ディジタル音声パケットが、受信されるとともに、音声の約３０ミリ秒の微小時間分が捕捉されるまで、情報源指定バッファの中に蓄積される。その微小時間分が捕捉されると、それは、（音声アクション検知器（ＶＡＤ）によって）発声時間を検知するために解析される。このＶＡＤ解析によってビットベクトルが作成されるが、このビットベクトルは、発声音がそのベクトルの中におけるビット位置に対応するミリ秒について検知されるかどうかを表示するものである。それぞれのＶＡＤベクトルは、この解析のルーチンによって用いられるためのＶＡＤバッファへ追加される。
【００６９】
この「予備解析」スレッド１０００は、図９の「情報源予備解析スレッドの実行」プロシージャ９０７によって実行されるものであり、「開始」ターミナル１００１で開始され、「初期化」プロシージャ１００３へ続く。「情報パケットの受信」プロシージャ１００５は、「パケットの情報源予備解析スレッドへの振り分け」プロシージャ８０９からの音声パケットを受信する。次に、受信された音声パケットは、「パケットの情報バッファへの追加」プロシージャ１００７によって、前記微小時間のデータへ追加される。「微小時間終了」決定プロシージャ１００９によって、その微小時間バッファがいっぱいであるかどうかが決定され、その微小時間バッファがいっぱいでないときには、次のパケットを受信するために、この「予備解析」スレッド１０００は「情報パケットの受信」プロシージャ１００５へ戻る。
【００７０】
しかしながら、「微小時間終了」決定プロシージャ１００９によって、その微小時間が終了していると決定されると、「予備解析」スレッド１０００は「ＶＡＤ微小時間」プロシージャ１０１１へ続き、そこでは、ある音声アクション検知器（ＶＡＤ）がその微小時間分のデータへ適用されて、発声音に対応する微小時間の部分が決定される。この「ＶＡＤ微小時間」プロシージャ１０１１では、発声音検知機構からの情報もまた用いることができる。このＶＡＤがその微小時間について終了すると、その解析の結果はＶＡＤバッファへ追加される。次いで、「循環型情報源バッファへの微小時間の追加」プロシージャ１０１３によって、その微小時間音声データが循環型バッファへ追加されて、その微小時間データからの音声情報は他の解析スレッドに利用することができるようになる。最後に、この「予備解析」スレッド１０００は、次の音声パケットをその情報源から受信するために、「情報パケットの受信」プロシージャ１００５へ戻る。
【００７１】
このＶＡＤは、１ミリ秒のフレームを用いて所要の一時的解像度を達成するために調整される。より低い解像度で複数の部分重複フレームを使用するような他の手段が、所要の一時的解像度を達成するために使用することができる。このＶＡＤデータは、会話型通信の解析から得られる特徴データのストリームの一例である。他の特徴データは、ＶＡＤデータの他の解析、音声、あるいは他の会話特性によって作成することができる。この特徴データは一回の通信間隔にわたって解析することができる。
【００７２】
図１１は、「ユーザ出力」スレッド１１００を示しており、このスレッドは、「出力スレッドの実行」プロシージャ９０５によって実行されるとともに、「開始」ターミナル１１０１で初期化される。「ユーザ出力」スレッド１１００の目的は、情報源のそれぞれから「パケットの出力装置への振り分けスレッド」プロシージャ８１７による修正パケットを受信することである。それぞれの情報源からのパケットは、ユーザのための音声出力を作成するために、同期化されるとともにミキシングされる。一人のユーザのため音声出力は、他の出力と同期化することができ、その後、そのパケットはそのユーザへ呈示するために送信される。
【００７３】
開始の後に、「ユーザ出力」スレッド１１００は、所要の何らかの１回の初期化を実行するために「初期化」プロシージャ１１０２へ続く。「パケットの出力装置への振り分けスレッド」プロシージャ８１７により修正された音声パケットは、「パケットの同期化」プロシージャ１１０３によって受信されて、ミキシングの前に同期化される。これらのパケットが同期化されると、「出力パケットのミキシング」プロシージャ１１０５は、調整された情報源パケットのそれぞれを結び付けて、１つの出力パケットを作成する。それが作成されると、「他の出力値との同期化」プロシージャ１１０７によって、その出力パケットを他の出力値に対するパケットと同期化することができる。その後、「出力パケットの送信」プロシージャ１１０９によって、呈示するための出力パケットは、（場合によっては、他の出力値との同期化の後に）あるユーザへ送信される。
【００７４】
図１２は、「構成作成」スレッド１２００を示しており、このスレッドは、「構成作成スレッドの実行」プロシージャ９１１によって実行され、「開始」ターミナル１２０１で開始されるとともに、「初期化」プロシージャ１２０２へ続く。次に、「繰り返し」プロシージャ１２０３によって、許容された構成のそれぞれが繰り返される。
【００７５】
許容された構成のそれぞれが繰り返されると、「構成グラフの作成」プロシージャ１２０５によって、その許容された構成を表示する記憶装置の中にグラフが作成される。このプロシージャには、現存している参加者グラフの対応エッジの重み付けに基づいた、構成のエッジの予備重み付けが含まれていてもよい。許容されたすべての構成からグラフが作成されると、「新たな構成グラフの起動」プロシージャ１２０７が、新たな任意のユーザをラーカー（ｌｕｒｋｅｒ）（会話フロアを決定するために他のユーザと充分に相互交流しなかったユーザ）として分類し、その新たなユーザについて説明するためにその確率を再標準化し、次いで、新たな構成を用いるためにその解析スレッドを調整し、そして、先のグラフを放棄する。この「構成作成」スレッド１２００はその後、「終了」ターミナル１２０９を経て終了する。
【００７６】
以下の記述は、会話グループの構成員資格を設定しかつフロア制御用データ構造５００を設定するのに用いられた構成確率を決定するために、音声情報について実行される解析についてのものである。
【００７７】
一人のユーザが発声する時間と他のユーザがその発声を聞く時間との間にはかなりの待ち時間があるかもしれない。この遅れは、以下に説明される解析プロシージャの多くによって補正する必要がある。このことはまた、二人のユーザの解析が対称的なものではないということを意味している。ユーザＡがユーザＢに応答しているかどうかの解析は、それぞれの場合におけるのと同様にユーザＢがユーザＡに応答しているかどうか、その応答が、ユーザの聴取したものがどのようなものであってその聴取の時間フレームがどのようなものであるかという解析とは異なっている。
【００７８】
本発明の１つの態様は、会話グループの構成員資格を設定することにある。「設定」という用語は、公知の論理的思考技術に基づいたさまざまな方法で表現することができる。例えば、構成員資格は、二進分類法（「ユーザＸおよびユーザＹが会話フロアＡにいる」）や「ユーザＸが確率ＰでユーザＹと会話している」というような信用を含むことができる。
【００７９】
会話グループの構成員資格を決定するために、本発明の１つの態様では、それぞれのユーザの発声を監視する。そして、「このユーザ」が「このユーザ」の発声の開始時に他のユーザの名前を述べると、前記確率は、「このユーザ」と指名された「他のユーザ」とが会話しているという点で増大する。これが照会用解析である。さらにまた、「このユーザ」が「他のユーザ」の発声に対して相づちの会話をしている（「ええ」、「なるほど」、「はい」などであるがこれらに限定されない「言葉」を発している）ときには、「このユーザ」と「他のユーザ」とが会話しているということはいっそう確かなものになる。これが応答用解析である。最後に、「このユーザ」と「他のユーザ」とが順番取得アクションを示しているときには、「このユーザ」と「他のユーザ」とが会話しているということはさらにいっそう確かなものになる。
【００８０】
本発明の１つの態様は、会話特性のためのデータを解析することにある。これらの特性には、可聴情報源の一部からの音声情報あるいは生理的反応からその会話までの音声情報の解析から決定することができるものが含まれる。
【００８１】
本発明のいくつかの態様では、音声語句認定機能（すなわち、音声ストリームからユーザの名前を認定したり、ユーザからの特定の短い発声を認定したりする機能）が必要である。そして、本発明のこれらの態様では、「深い」言語理解は必要でないものの、代わりに、言葉／語句認定技術が用いられる（しかしながら、「深い」言語理解はこの解析をいっそうよくするために用いることができる）。
【００８２】
解析モジュールのそれぞれは、特定の「特徴」の測定に対応している定量的基準を決定するものである。
【００８３】
ユーザの発声音あるいは他の会話特性の解析結果は、当業界に知られた論理的思考技術を用いて進行中の基礎に組み合わされる。
【００８４】
定量的な特徴は２つ一組のやり方で算出することができる。すなわち、２つ一組の確率が算出されると、それらは次いで、その特徴から作成されたすべての証拠に対して最も一貫性のある会話フロア構成を算出するために用いることができる。これを行うための１つの方法は、対話中の一組のユーザ（話し手）をばらばらの組に分けることである。ある会話フロアに配されるためにはまだ（あるいは先ほどまで）充分に発声していないユーザ（ラーカー）は、すべての通信を受けることができ、特定の会話フロアに配されるか、さもなければ、初期設定状態で取り扱うことができる。
【００８５】
その一組を作り出すための１つのアルゴリズムは、完全に組み合わされた重み付きグラフであってそのノードがユーザでありかつエッジの重みが連結ユーザの通信している事後確率であるグラフとして表示されるような組における可能性のあるすべての構成を、それぞれの構成が列挙することである。最大平均エッジ重みのある構成は、最も生じやすい構成である。
【００８６】
最も生じやすい構成が決定されると（そして、いくつかの実施形態において、構成の変化への遅延効果あるいは補整効果を考慮した後に）、音声ミキサ３０１の特性についての一組のミキシングパラメータが変更されて、そのユーザの会話フロアに左右されるそれぞれのユーザについての出力値が大きくされる。１つの実施形態では、これらの変更によって、聞き手と同じ会話フロアにいるユーザのそれぞれからの貢献度が高くなり、聞き手と同じ会話フロアにいないユーザのそれぞれからの貢献度が低くなる。これらの増大および減少は、出力用データ構造５０７の「修正コード」フィールドであって以下のことを含むことのできる値によって指定される。
（ａ）そのグループの構成員に対応する発声音のボリュームを増大させるとともに、非構成員の発声音のボリュームを減少させること。
（ｂ）従来の音声効果を「『強調表示された』構成員」の発声あるいは「濁った」非構成員の発声に適用すること。
（ｃ）非構成員に対応する発声音を（部分的にあるいは完全に）不明瞭化すること。例えば、ＡＣＭ  Ｍｕｌｔｉｍｅｄｉａ  ９５−Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｃｅｅｄｉｎｇｓ  １９９５年１１月号の第５〜９ページに掲載されたＳｍｉｔｈおよびＨｕｄｓｏｎ  による「媒体スペースアプリケーションにおける意識およびプライバシーについての低障害音声（Ｌｏｗ  Ｄｉｓｔｕｒｂａｎｃｅ  Ａｕｄｉｏ  Ｆｏｒ  Ａｗａｒｅｎｅｓｓ  ａｎｄ  Ｐｒｉｖａｃｙ  ｉｎ  Ｍｅｄｉａ  Ｓｐａｃｅ  Ａｐｐｌｉｃａｔｉｏｎｓ）」（非特許文献２）のブロックスクランブル用アルゴリズムを用いること。
（ｄ）優先的会話を除くすべての会話を禁止すること。
（ｅ）フロアの構成員資格を表示する追加音声キューを追加すること。
【００８７】
さて、本発明における前記解析の態様のいくつかについて、別の考察を行うことにする。図１３は、ユーザたちが互いに話す順番を取得する時を決定する「順番取得用解析」スレッド１３００を示している。
【００８８】
この「順番取得用解析」スレッド１３００は、「順番取得用解析スレッド」プロシージャ９１３によって実行されるものであり、「開始」ターミナル１３０１で開始され、「初期化」プロシージャ１３０３へ続く。その後、この「順番取得用解析」スレッド１３００は「ＶＡＤ更新待ち」プロシージャ１３０５へ続き、このプロシージャは、少なくとも１つの新たな記入が「循環型情報源バッファへの微小時間の追加」プロシージャ１０１３によってＶＡＤバッファへ追加されるまで遅らされる。この新たなＶＡＤ記入が追加されると、「順番取得用解析」スレッド１３００は、この「順番取得用解析」スレッド１３００に関連した情報源以外のすべての情報源にわたって繰り返される「他のすべての情報源の繰り返し」プロシージャ１３０７へ続く。他のすべての情報源について、「ＶＡＤ時間の調整」プロシージャ１３０８が、「このユーザ」のＶＡＤとその「他のユーザ」のＶＡＤとを一時的に調整し、その結果、その後の特徴決定で同じ時間基準が用いられる（そして、これら２つの音声ストリームの一部が同期化される）。次に、「すべての特徴の繰り返し」プロシージャ１３０９によって、「このユーザ」とその「他のユーザ」とに関連した定量的数値を算出するすべてのモジュールが実行される。
【００８９】
繰り返されたすべての特徴について、「ＶＡＤからの特徴の決定」プロシージャ１３１１が、順番取得特性の定量的測定値を決定するために、これらのＶＡＤを検査する。それぞれの特徴は、二人のユーザのＶＡＤバッファにおける自由裁量部分を解析することができる。
【００９０】
例示的な特徴には、（１）二人の話し手が同じ会話フロアにいることを表示し、（２）二人の話し手が同じ会話フロアにいないことを表示することが含まれている。
【００９１】
ＶＡＤを一時的に調整することは、ＶＡＤのそれぞれについてのＶＡＤバッファの中で開始用ビット位置を指定するのと同じ程度に簡単であるということがわかるであろう。
【００９２】
次いで、「共有フロアの確度の決定」プロシージャ１３１３によって、「このユーザ」とその「他のユーザ」とが会話フロアを分け合うという特徴によって戻された定量的数値からその確度が決定される。ある特徴についての確度はさまざまなやり方で決定することができる。そのようなやり方の１つは、測定された特徴値をその特徴についての確度の振り分けと比較することによるものである。
【００９３】
すべての特徴が繰り返された後に、この「順番取得用解析」スレッド１３００は「単一の事後確率の決定」プロシージャ１３１５へ続き、そこで、前記確度が組み合わされるとともに、「このユーザ」とその「他のユーザ」とが同じ会話フロアにいるという単一の事後確率が作成される。このことは、さまざまな方法（統計学的に独立したいくつかの特徴からの確度を掛け合わすような方法、および／または、事後確率を作成するために当業界において知られた他の方法）を用いて実行することができる。
【００９４】
すべての「他のユーザ」について繰り返されると、この「順番取得用解析」スレッド１３００は「フロア構成への結果の送信スレッド」プロシージャ１３１７へ続き、そこで、解析の結果が「フロア構成」スレッド７００へ送信されるとともに、「順番取得用解析」スレッド１３００は、次の解析を繰り返すために、「ＶＡＤ更新待ち」プロシージャ１３０５へ戻る。
【００９５】
前記ＶＡＤバッファは、「ＶＡＤ時間の調整」プロシージャ１３０８によって「このユーザ」のＶＡＤバッファをその「他のユーザ」のＶＡＤバッファに一時的に調整するのに必要な相対的時間調整の量と同様に、「すべての特徴の繰り返し」プロシージャ１３０９によって繰り返された任意の特徴モジュールによって検査された最大時間間隔を説明するためには充分大きいものである。いくつかの実施形態では、前記ＶＡＤバッファは、ＶＡＤ情報の３０秒のオーダーに蓄積するためには充分大きいものである。
【００９６】
「このユーザ」のＶＡＤバッファとその「他のユーザ」のＶＡＤバッファとを調整するのに必要な時間の量は、可変であるが、３５０ミリ秒のオーダーのものである。
【００９７】
二人のユーザについての２つ一組の確率は対称的なものである必要はない、ということに留意すべきである。ユーザ１からユーザ２への特徴の算出法は一般に、ユーザ２からユーザ１への特徴の算出法とは異なっているが、それは、ユーザ１のＶＡＤバッファとユーザ２のＶＡＤバッファとが異なったやり方で一時的に調整されるからである。
【００９８】
会話グループの構成員資格の確率的推論（すなわち、二人のユーザが同じ会話フロアにいるかどうかということ）を行うための別の方法は、一人のユーザが別のユーザあるいは特定可能なユーザグループの識別名（例えば、正式名称、ニックネーム、コールサイン、グループ名など）を声に出すときに用いられる。これらの推論のいくつかには、しゃべり始める（例えば、「ジム、私が欲しいのは、……」）ときの可聴識別名の使用、発声音量の変化および／または他の技術が含まれている。この場合には、その原理は、話し手が、ある会話の順番を表明して、その順番の早い段階で特定の受信者の名前を使うことでその受信者へ会話の順番を回しがちである、ことに基づいている。このようなことは、所定の分裂団体（ｓｃｈｉｓｍ）における第１の順番（分裂を誘発する順番）の間に起きることが多い。ワードスポット操作法によって、これらの名前を認定するための充分な確率がもたらされる。しかしながら、完全な音声認識を行うと、その信頼度は改善されるであろう。このシステムでは、どのような名前がどのような話し手に実際に対応しているということは知る必要がなく、代わりに、可能性のある分裂団体をマークする会話の始めにおける名前の使用であるので、その名前が使用されていることを認定すれば充分である、ということに留意すべきである。したがって、ワードスポット操作用ツールあるいは制限語彙音声認識用エンジンは、実際の話し手の正式名称に代えて既知の正式名称リストを用いることで、調整することができる。
【００９９】
この機構は、そのような分裂団体における第１の順番をその分裂を誘発する順番が終了する前に特定したいときに、とりわけ重要である。
【０１００】
さらにまた、所定の会話シーケンスにおける最初の発声は、それより前のシーケンスにおけるすぐ前の順番のものよりも大きいエネルギー振幅があるのが普通である。これは、新たな受信者の注目を集める手段、あるいはその順番を得るための権利を主張する方法であり得る。どちらの場合にも、自分の音量を上げる行為は、分裂アクションに関心を向けるために一人の受信者あるいは複数の受信者に向けられる。これは、正式名称の使用の場合と同様に、可能性のある分裂を誘発する順番を特定するための手段であり、分裂を誘発する順番は、分裂団体が含まれたすべての新たな順番手順によることなく、新たな順番手順を開始するであろう。前記順番取得用解析について説明されたような会話フロア構成を算出するために、いくつかの特徴が用いられる。
【０１０１】
図１４は、「照会用解析の初期化」プロシージャ９１５によって実行される「参照アクション解析用初期化」スレッド１４００を示しており、このスレッドは、「開始」ターミナル１４０１で開始される。この「参照アクション解析用初期化」スレッド１４００は次いで、必要な何らかの初期化を実行する「初期化」プロシージャ１４０３へ続く。その後、「ユーザ名異形の繰り返し」プロシージャ１４０５が「このユーザ」の名前のそれぞれの異形（ｖａｒｉａｔ）にわたって繰り返される。
【０１０２】
ユーザ名のそれぞれの異形について、「ユーザ名異形の音声の検索」プロシージャ１４０７が、ユーザの名前の１異形に関する記憶装置からの音声情報を検索する。この音声情報には、ユーザの洗礼名、ユーザのグループの識別名、ニックネームおよび／またはあだ名が含まれていてもよい。
【０１０３】
ユーザ名の異形の音声が検索されると、「ユーザ名の異形についての列ワードスポットモデルの調整」プロシージャ１４０９が、その名前の異形を認定するために、その音声データを処理するとともに、そのモデルを調整する。そのモデルが使われるのに応じて、すべての「他のユーザ」は、「このユーザ」の名前の異形についての自分自身のサンプルを提供する必要があるかもしれない。他のモデルは、「このユーザ」によって話されたような名前の異形を使うために使用することができ、かつ、「他のユーザ」が認定されるその名前を使うことができるように使用することができる。
【０１０４】
このワードスポット操作用モデルが調整された後に、「ユーザ名の異形の時間長さの決定」プロシージャ１４１１によって、ユーザ名の異形を発声するのに必要な時間が決定される。
【０１０５】
ユーザ名の異形がすべて処理された後に、この「参照アクション解析用初期化」スレッド１４００は、「参照用解析スレッドの実行」プロシージャ１４１３へ続き、そこで、参照用解析が実際に行われるが、これについては以下に説明される。最後に、この「参照アクション解析用初期化」スレッド１４００は、「終了」ターミナル１４１５を経て終了する。いくつかの実施形態では、新たなそれぞれの入力が始められるようなワードスポット操作用モデルの調整は必要でなく、その代わりに（あるいは、それとともに）、初めに調整されたワードスポット操作用モデルを使用することができる。
【０１０６】
「ユーザ名の異形についてのワードスポット操作用モデルの調整」プロシージャ１４０９は、「他のユーザ」の正式名称の１つ以上の形態についてのワードスポット操作用モデルを調整するものである。このプロシージャは、例えばヒドゥン・マルコフ・モデル（ＨＭＭ）を適用する技術、とりわけモデルを動的に調整することのできるＨＭＭ技術を用いて、行うことができる。ワードスポット操作は、発言されるすべての言葉を認識してその言語モデルを作り上げることとは対照的に、ある音声ストリームにおける制限された数の特定の言葉（音）の存在を検知することを含むだけであるという点で、全音声認識とは異なっている。
【０１０７】
図１５は、「参照用解析スレッドの実行」プロシージャ１４１３によって実行される「参照アクション解析」スレッド１５００を示しており、このスレッドは、「開始」ターミナル１５０１で開始され、「初期化」プロシージャ１５０３によって初期化される。「参照アクション解析」スレッド１５００は次いで、「ウィンドウ内でのユーザの発声の検知」プロシージャ１５０５へ続き、そこで、ユーザの発声がその順番の早い段階のものであるかどうか（そして、その発声は参照用語がいっそう使われやすい場合に起きるかどうか）が決定される。ユーザの発声がそのウィンドウの中にあれば、この「参照アクション解析」スレッド１５００は、「すべての他のユーザについての繰り返し」プロシージャ１５０７へ続く。
【０１０８】
繰り返された「他のユーザ」それぞれについて、「「他のユーザ」の名前についての走査」プロシージャ１５０９が、「他のユーザ」のワードスポット操作用モデルを用いて「このユーザ」の音声バッファを走査し、「このユーザ」が「他のユーザ」の名前の異形を声に出したかどうかを決定する。その後、「名前発見」決定プロシージャ１５１１が、適合する１つ以上の名前の異形が発見されたかどうかを決定する。もしも、適合する名前の異形が発見されなかったときには、この「参照アクション解析」スレッド１５００は、別のユーザの名前の異形を検査するために、「すべての「他のユーザ」についての繰り返し」プロシージャ１５０７へ戻る。
【０１０９】
しかしながら、「名前発見」決定プロシージャ１５１１で名前が発見されたときには、この「参照アクション解析」スレッド１５００は、「会話確率の増大」プロシージャ１５１３へ続き、そこで、「このユーザ」がある会話フロアにいる確率が増大するとともに、（参加者グラフにおける「このユーザ」と「他のユーザ」との間における対応エッジに関連した確率を調整することによって）「このユーザ」と「他のユーザ」との間の会話確率が増される。その後、この「参照アクション解析」スレッド１５００は、「他のユーザ」の名前の異形を引き続き検査するために、「すべての「他のユーザ」についての繰り返し」プロシージャ１５０７へ続く。
【０１１０】
「すべての「他のユーザ」についての繰り返し」プロシージャ１５０７が終了すると、この「参照アクション解析」スレッド１５００は、「ウィンドウ内でのユーザの発声の検知」プロシージャ１５０５へ戻る。
【０１１１】
上述したことを要約すると、「このユーザ」が「このユーザ」の発声の初めに「他のユーザ」の名前を使ったかどうかをわれわれは知りたいが、その理由は、このことが、「このユーザ」が「他のユーザ」の関心を得ることを試している証拠であるからである。その効果は、二分決定法よりも高い確率として表現されるが、その理由は、「他のユーザ」の名前が実際には使われない（ワードスポット操作は適合の確率に戻る）可能性があり、あるいは、「他のユーザ」の名前が「呼び掛け」以外の何らかの状況で使われる可能性があるからである。われわれは、われわれが確認する発声に「到るまで」の方法を制限するが、それは、ワードスポット操作用アルゴリズムが計算のためには高価であるからというよりはむしろ、その言葉（「他のユーザ」の名前）がその発声の中に存在するのが後であればあるほど、「他のユーザ」に「呼び掛ける」ためにその言葉が使われる可能性は少なくなるからである、ということに留意すべきである。さらにまた、複数の名前の異形については、それぞれにそれ自体の確率があるということが分かる。「会話確率の増大」プロシージャ１５１３によれば、ユーザどうしの会話の確率を増大させるために、最大の確率適合を手に入れたり、適合したもののいくつかの組み合わせを用いたりすることができる。
【０１１２】
二人のユーザが同じ会話フロアにいるかどうかを決定するのに役立つ別の方法は、「他のユーザ」のアクションに対応する「このユーザ」の会話特性の１つ以上に基づく会話グループ構成員資格の確率的推論を行うことである。本発明の態様では、一時的発声の隣接性もまた、この解析に関連がある。ことによると関連があるユーザのアクションには、相づち／引き延ばし語、共通コンテンツおよび韻律が含まれる。
【０１１３】
相づち／引き延ばし語：
もしも、この会話システムによって音声コンテンツがもたらされるときには、ユーザはたいてい、現在の話し手の権利を最初に主張してその順番を確保するとともに話しを続けることを意図している言葉（「ええ」、「なるほど」、「はい」）を発する。このような相づち／引き延ばし語は、彼らの短くて簡単なイントネーション構造によって、通常の順番とは経験的に区別することができる。もしも、この通信システムが非同期媒体を使うものであるときには、そのような相づち情報は、ほとんど得られることはないであろうが、まだ存在していることが多いであろう。
【０１１４】
共通コンテンツ：
１つの順番から別の順番までの間に同様な言い回しが使われると、それらの話し手が会話していることの証拠になる。このことを決定するための１つの方法は、（エコー解除アルゴリズムにおけるのと同様に）発声の一時的エネルギープロフィールどうしを比較することである。別の方法は、発声音を（音素のような）より小さい単位に分解して、これらの単位のさまざまなｎグラム（ｎ−ｇｒａｍ）の分布どうしを比較することである。さらに別の方法は、音声認識を用いることである。例えば、音声は、公知の音声認識法を用いることで、テキストに変換することができる。このテキストは次いで、例えば情報検索技術から引き出されたテキスト形式の類似性アルゴリズムを用いて、話し手たちが会話フロアを分け合う確率を増大させるために用いられる高いコンテンツ類似性スコアと比較することができる。順番は複数の発言から構成されていてもよいので、コンテンツ類似性を（音声認識だけではなく、前記取り組みのいずれかを用いて）、副順番の粒状度で比較することは有用であるかもしれない。
【０１１５】
韻律：
韻律とは、音程、音量、速度およびリズムの変化をいう。この通信システムによって音声コンテンツがもたらされると、ある会話フロアを分け合っている話し手たちは、特定の韻律プロフィールに対応しているパターンに従う発声をしがちである。例えば、ある会話フロアを分け合っている話し手たちの発言のリズムには類似性がある。すなわち、それぞれの発声について、アクセントおよび強勢の近等時性パターンを特定することができるとともに、これらのパターンの比率を発声にわたって比較することができる。
【０１１６】
相異なる話し手による隣接音声どうしの間の強い相関は、同じ会話フロアに参加していることの証拠である。ことによると関連があるユーザのアクションは、他のユーザのアクションに対して、同時に起きるものであるかもしれず、引き続いて起きるものであるかもしれない。これらの特徴は、先に説明したような順番取得用解析について説明したような会話フロア構成を算出するために用いられる。
【０１１７】
この明細書で説明した解析は、三人以上の人々のテキスト形式通信に適用することもできる。例えば、チャットシステム、インスタントメッセージシステムおよびユニックス（ＵＮＩＸ（登録商標））トークシステムによって、三人以上の人々に関する通信が可能になった。通常のチャットシステムおよびインスタントメッセージシステムについては、諸特性は、（タイプされたそれぞれの特性を個々に送信し表示するユニックストークの複数関係者バージョンとは異なり）、受信中の個人へ個々に送信されることはないが、この解析の一時的なウィンドウ関連態様のいくつかは行われる必要がない。しかしながら、この照会用解析は、共コンテンツ解析と同様に、直接適用される。さらにまた、チャットシステムおよびインスタントメッセージシステムを用いる人々に共通するいくつかの通信特性がある。これらの特性は、しかるべく解析することができる。
【０１１８】
図１６は、「応答用解析の初期化」プロシージャ９１９によって実行される「応答アクション解析用初期化」スレッド１６００を示すものであり、このスレッドは、「開始」ターミナル１６０１で開始され、「初期化」プロシージャ１６０３へ続く。この「応答アクション解析用初期化」スレッド１６００はその後、「それぞれの相づち言葉の繰り返し」プロシージャ１６０５へ続く。それぞれの繰り返しに関して、「相づち言葉の音声の検索」プロシージャ１６０７が、その相づちの発声の音声を検索するとともに、この音声を「相づち言葉についてのワードスポット操作用モデルの調整」プロシージャ１６０９へ供し、そこで、相づち発声を認定するためにユーザのワードスポット操作用モデルを調整する。次いで、「相づち言葉の時間長さの決定」プロシージャ１６１１が、そのワードスポット操作用モデルを役に立てるためにその発声に必要な時間の長さを決定する。相づち言葉がすべて処理されると、この「応答アクション解析用初期化」スレッド１６００は、「解析スレッドの実行」プロシージャ１６１３へ続き、そこで、引き続いて図１７に関して説明される解析を実行する。最後に、この「応答アクション解析用初期化」スレッド１６００は、「終了」ターミナル１６１５を経て終了する。
【０１１９】
図１７は、「解析スレッドの実行」プロシージャ１６１３によって実行される「応答アクション解析」スレッド１７００を示しており、このスレッドは、「開始」ターミナル１７０１で開始され、「初期化」プロシージャ１７０３によって初期化される。「このユーザ」が最小長さウィンドウの中で発声を行うと、「ウィンドウ内でのユーザの発声の検知」プロシージャ１７０５がそれを検知する。この解析において、そのウィンドウは、「このユーザ」が、「相づち言葉の時間長さの決定」プロシージャ１６１１によって算出された最小時間長さと少なくとも同じほどの長さの時間だけ連続的に発声した、ことになる。さらに、この連続的発声は、相づちワードスポット操作用モデルによって先に適合された音声サンプルを含むべきでない。「このユーザ」がそのウィンドウの中で発声を行うと、この「応答アクション解析」スレッド１７００は、「すべての他のユーザについての繰り返し」プロシージャ１７０７へ続く。
【０１２０】
繰り返されたそれぞれのユーザについて、「話し中の他のユーザ」決定プロシージャ１７０９によって、繰り返されたユーザが発声ウィンドウの中で発声しているかどうかが決定される。あるユーザが発声ウィンドウの中で発声しているということは、そのユーザは、現在話し中である（かあるいは、最近話し中であった（「最近」の定義は特定の最大時間に相当する））ということである。そうでないときには、この「応答アクション解析」スレッド１７００は、「すべての他のユーザについての繰り返し」プロシージャ１７０７へ戻る。
【０１２１】
さもなければ、この「応答アクション解析」スレッド１７００は、「このユーザ」の相づち言葉のそれぞれを繰り返す「ユーザの相づち言葉の繰り返し」プロシージャ１７１１へ続く。繰り返されたそれぞれの相づち言葉について、「相づち言葉についての「このユーザ」の音声の走査」プロシージャ１７１３が、「このユーザ」の音声バッファを走査して、「このユーザ」の発声に相づち言葉が含まれているかどうかを決定する。もしも、繰り返された言葉について適合するものが見つからなかったときには、「言葉発見」決定プロシージャ１７１５が、「応答アクション解析」スレッド１７００を「ユーザの相づち言葉の繰り返し」プロシージャ１７１１へ戻して、次の相づち言葉を繰り返す。しかしながら、もしも適合するものが見つかったときには、この「応答アクション解析」スレッド１７００は「会話確率の増大」プロシージャ１７１７へ続き、そこで、「このユーザ」と「他のユーザ」とが会話している参加者グラフにおける確率が調整される。その後、この「応答アクション解析」スレッド１７００は、「すべての他のユーザについての繰り返し」プロシージャ１７０７へ続き、そこで、次の「他のユーザ」について繰り返される。他のいくつかの実施形態では、（この実施例で行われたように）第１の相づち言葉が見つかった後に次のユーザへ進む代わりに、すべての相づち言葉について走査が行われ、見つかった言葉の確率が適切に組み合わされる。
【０１２２】
すべての「他のユーザ」について繰り返されると、この「応答アクション解析」スレッド１７００は、「ウィンドウ内でのユーザの発声の検知」プロシージャ１７０５へ戻り、最小長さウィンドウの中における「このユーザ」による別の発声が検知される。
【０１２３】
図１８は、図解のための一組のグラフ１８００を示している。示されたグラフの１つは参加者グラフ１８０１であり、これには、ユーザについてのいくつかのノードと、これらのノードによって表示されたユーザが会話している確率についての重み付きエッジとがある。さらに、可能性のある会話構成を表すいくつかの構成グラフが示されている。これらには、四方向構成グラフ１８０３、第１の二方向構成グラフ１８０５、第２の二方向構成グラフ１８０７および第３の二方向構成グラフ１８０９が含まれている。
【０１２４】
最もありそうな会話フロア構成を決定する１つの方法は、それぞれの構成についてすべての重みの平均値を見つけることである。そして、四方向構成グラフ１８０３には０．４の平均重みがあり、第１の二方向構成グラフ１８０５には０．２５の平均重みがあり、第２の二方向構成グラフ１８０７には０．１の平均重みがあり、第３の二方向構成グラフ１８０９には、最もありそうな会話フロア構成になる０．８５の平均重みがある。
【産業上の利用可能性】
【０１２５】
本発明は、独立制御される出力装置のある任意の共有環境に適用することができる。
【図面の簡単な説明】
【０１２６】
【図１】本発明の実施形態におけるアーキテクチャを示す図である。
【図２】本発明の実施形態におけるグループ通信サーバを示す図である。
【図３】本発明の実施形態におけるグループ通信サーバアーキテクチャを示す図である。
【図４】本発明の実施形態における遠隔式ディジタルオーディオマイクロホンシステムを示す図である。
【図５】本発明の実施形態におけるフロア制御データ構造の１つの実施例を示す図である。
【図６】本発明の実施形態におけるグループ通信サーバ初期化スレッドを示す図である。
【図７】本発明の実施形態におけるフロア構成スレッドを示す図である。
【図８】本発明の実施形態における音声情報源ハンドラースレッドを示す図である。
【図９】本発明の実施形態における新しいアクティブ情報源作成スレッドを示す図である。
【図１０】本発明の実施形態における予備解析スレッドを示す図である。
【図１１】本発明の実施形態におけるユーザ出力スレッドを示す図である。
【図１２】本発明の実施形態における構成作成スレッドを示す図である。
【図１３】本発明の実施形態における順番取得用解析スレッドを示す図である。
【図１４】本発明の実施形態における参照アクション解析用初期化スレッドを示す図である。
【図１５】本発明の実施形態における参照アクション解析スレッドを示す図である。
【図１６】本発明の実施形態における参照アクション解析用初期化工程を示す図である。
【図１７】本発明の実施形態における参照アクション解析スレッドを示す図である。
【図１８】図７および図１２のスレッドの理解のための実例のグラフを示す図である。
【図１】
2004264844.tif 000003
【図２】
2004264844.tif 000004
【図３】
2004264844.tif 000005
【図４】
2004264844.tif 000006
【図５】
2004264844.tif 000007
【図６】
2004264844.tif 000008
【図７】
2004264844.tif 000009
【図８】
2004264844.tif 000010
【図９】
2004264844.tif 000011
【図１０】
2004264844.tif 000012
【図１１】
2004264844.tif 000013
【図１２】
2004264844.tif 000014
【図１３】
2004264844.tif 000015
【図１４】
2004264844.tif 000016
【図１５】
2004264844.tif 000017
【図１６】
2004264844.tif 000018
【図１７】
2004264844.tif 000019
【図１８】
2004264844.tif 000020