(57)【特許請求の範囲】
【請求項１】
感知されたオーディオを含むオーディオ情報および付随する制御情報を含む第一の複数のオーディオ・アップリンク入力ストリームを混合して少なくとも一の会議参加者にダウンリンクするための少なくとも一つのオーディオ・ダウンリンク出力ストリームを生成する型のオーディオ遠隔会議混合システムにおいて、複数の現在のオーディオ・アップリンク・ストリームを混合して前記少なくとも一つのオーディオ出力ストリームを生成する方法であって、前記オーディオ・アップリンク入力ストリームは連続伝送（CTX）ストリームおよび不連続伝送（DTX）ストリームを含む可能性があり、当該方法は：
（ａ）前記現在のオーディオ・アップリンク・ストリームそれぞれの確からしい重要性を示す多弁性指標を決定する段階と；
（ｂ）前記現在のオーディオ・アップリンク・ストリームの少なくとも一つがCTXストリームである場合には、前記少なくとも一つのオーディオ出力ストリームを生成するための混合において少なくとも一つのCTXストリームを利用する段階であって、オーディオ入力ストリームの数が所定の限界を超える場合には、最も低い多弁性指標をもつ少なくとも一つのCTXストリームが、前記混合において利用されることなく破棄される、段階とを含む、
方法。
【請求項２】
段階（ｂ）において、少なくとも一つの現在のダウンリンク出力ストリームを生成するための混合において、最高の多弁性指標をもつCTXストリームを利用する段階をさらに含む、請求項１記載の方法。
【請求項３】
前記少なくとも一つのCTXストリームを利用することが、たとえCTXストリームである前記少なくとも一つの現在のオーディオ・アップリンク・ストリームのうちのどれも閾値より高い多弁性指標をもたなくても、少なくとも一つのCTXストリームを利用することを含む、請求項１記載の方法。
【請求項４】
感知されたオーディオを含むオーディオ情報および付随する制御情報を含む第一の複数のオーディオ・アップリンク入力ストリームを混合して少なくとも一の会議参加者にダウンリンクするための少なくとも一つのオーディオ・ダウンリンク出力ストリームを生成する型のオーディオ遠隔会議混合システムにおいて、複数の現在のオーディオ・アップリンク・ストリームを混合して前記少なくとも一つのオーディオ出力ストリームを生成する方法であって、前記オーディオ・アップリンク入力ストリームは連続伝送（CTX）ストリームおよび不連続伝送（DTX）ストリームを含む可能性があり、当該方法は：
（ａ）前記現在のオーディオ・アップリンク・ストリームそれぞれの確からしい重要性を示す多弁性指標を決定する段階と；
（ｂ）前記現在のオーディオ・アップリンク・ストリームが第一のCTXストリームおよび少なくとも第二のCTXストリームを含み、前記少なくとも第二のCTXストリームには検出された発話がない場合には、前記少なくとも一つのオーディオ出力ストリームを生成するための混合において、前記第一のCTXストリームと、前記少なくとも第二のCTXストリームのうちの少なくとも一つとを利用し、前記少なくとも第二のCTXストリームのうちの前記少なくとも一つを時間的に減衰させる段階とを含む、
方法。
【請求項５】
前記第一のCTXストリームが最高の多弁性指標をもつCTXストリームであり、段階（ｂ）がさらに：
（ｉｉ）前記第一のCTXストリームが長期間にわたって与えられる声をもたない場合は、前記第一のCTXストリームを時間的に減衰させる段階を含む、
請求項４記載の方法。
【請求項６】
前記第一のCTXストリームが最高の多弁性指標をもつCTXストリームとして選択される、請求項４または５記載の方法。
【請求項７】
前記第一のCTXストリームが最高の多弁性指標をもつCTXストリームとして選択され、
前記第一のCTXストリームは、たとえ閾値より高い多弁性指標をもたなくても利用される、
請求項４記載の方法。
【請求項８】
複数のオーディオ入力ストリームを混合してそれにより少なくとも一の電話エンドポイントに送るための少なくとも一つのオーディオ出力ストリームを生成するよう構成されている型のオーディオ遠隔会議混合システムにおいて、前記複数のオーディオ入力ストリームに基づいて前記少なくとも一つのオーディオ出力ストリームを生成する方法であって、当該方法は：
前記複数のオーディオ入力ストリームが、発話が現在検出されている雑音担持オーディオ入力ストリームを閾値数より多く含むことを判別する段階と；
前記雑音担持オーディオ入力ストリームのそれぞれについての知覚される重要性の指標を決定する段階と；
知覚される重要性のそれぞれの指標に基づいて、前記雑音担持オーディオ入力ストリームの部分集合を選択する段階と；
前記複数のオーディオ入力ストリームが、発話が現在検出されている無視できる雑音のオーディオ入力ストリームをさらに含むことを判別する段階と；
前記無視できる雑音のオーディオ入力ストリームと、前記雑音担持オーディオ入力ストリームの前記部分集合とを、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む、
方法。
【請求項９】
前記複数のオーディオ入力ストリームが、発話が現在検出されている複数の無視できる雑音のオーディオ入力ストリームをさらに含むことを判別する段階と；
前記無視できる雑音のオーディオ入力ストリームを、前記雑音担持オーディオ入力ストリームの前記部分集合とともに、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む、
請求項８記載の方法。
【請求項１０】
オーディオ入力ストリームについての知覚される重要性の前記指標を決定することは、そのオーディオ入力ストリームが現在の通話の間にどのくらいの発話を含んでいたかを示す指標を含む、請求項８または９記載の方法。
【請求項１１】
前記雑音担持オーディオ入力ストリームまたは前記雑音担持オーディオ入力ストリームのそれぞれが、連続伝送（CTX）オーディオ入力ストリームである、請求項８ないし１０のうちいずれか一項記載の方法。
【請求項１２】
前記無視できる雑音のオーディオ入力ストリームまたは前記無視できる雑音のオーディオ入力ストリームのそれぞれが、不連続伝送（DTX）オーディオ入力ストリームである、請求項８ないし１１のうちいずれか一項記載の方法。
【請求項１３】
遠隔会議混合システムにおいて使うための装置であって、複数のオーディオ入力ストリームを受領し、それらのオーディオ入力ストリームに基づいて少なくとも一つのオーディオ出力ストリームを生成するよう構成されており：
請求項１ないし７のうちいずれか一項記載の方法；
請求項８ないし１２のうちいずれか一項記載の方法
のうちの少なくとも一つを実行するよう構成されているプロセッサを有する、
装置。
【請求項１４】
遠隔会議混合システムにおいて使うための装置であって、複数のオーディオ入力ストリームを受領し、それらのオーディオ入力ストリームに基づいて少なくとも一つのオーディオ出力ストリームを生成するよう構成されている装置のプロセッサによって実行されたときに、前記装置に：
請求項１ないし７のうちいずれか一項記載の方法；
請求項８ないし１２のうちいずれか一項記載の方法
のうちの少なくとも一つを実行させる、
コンピュータにより解釈可能な命令を担持しているコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は2014年2月28日に出願された、「遠隔会議における知覚的に連続的な混合」という名称の米国仮特許出願第61/946,042号の優先権を主張するものである。同出願の内容はここに参照によって組み込まれる。
【０００２】
発明の分野
本発明は、オーディオ遠隔会議（audio  teleconferencing）の分野に関し、特に、オーディオ遠隔会議において複数のオーディオ・ストリームを混合する方法を開示する。
【背景技術】
【０００３】
明細書を通じ、背景技術のいかなる議論も、決して、そのような技術がよく知られているまたは当技術分野における技術常識の一部をなすことを認めたものと考えられるべきではない。
【０００４】
複数の当事者がリモートに対話して会議を実行するビデオおよびオーディオ遠隔会議システムは重要な資源である。多くのそのようなシステムが知られている。大半は、各参加者が、たとえば専用の遠隔会議装置、オーディオ入出力機能をもつ標準的なコンピュータ資源またはスマートフォン型の装置を使って他の参加者を聞くおよび／または見ることができることを保証する中央集中式または分散式のサーバー資源に依拠する。中央集中式または分散式のサーバー資源は、各会議参加者からのアップリンクされたオーディオ信号を一緒に適切に混合し、それらのオーディオ信号を各オーディオ出力装置による再生のためにダウンリンクすることを受け持つ。
【０００５】
背景として、典型的な（既知の）遠隔会議システムでは、ミキサーが各電話エンドポイントから、その電話エンドポイントによって捕捉されたオーディオ信号を担持するそれぞれの「アップリンク・ストリーム」を受領し、それぞれの「ダウンリンク・ストリーム」を各電話エンドポイントに送る。こうして、各電話エンドポイントは、他の電話エンドポイントによって捕捉されたそれぞれのオーディオ信号の混合を担持できるダウンリンク・ストリームを受領する。よって、電話会議において二以上の参加者が同時に話すとき、他の参加者は両方の参加者が話すのを聞くことができる。
【０００６】
ミキサーが、オーディオ信号の一つまたは複数においてある種の変動を知覚するのに応答して混合を変える適応的なアプローチを用いることが知られている（通例はそれが望ましい）。たとえば、オーディオ信号は、発話を含んでいない（すなわち背景雑音のみである）と判定することに応答して、混合から省略されてもよい。
【０００７】
電話エンドポイントがそれぞれアップリンク・オーディオ・ストリームを電話会議ミキサーに送る電話会議システムを考える。そのようなシステムでは、アップリンクおよびダウンリンクは、デジタル式にエンコードされ、インターネット・プロトコルを通じた音声（VoIP:  voice  over  internet  protocol）ネットワークのような好適なパケット交換網を介して伝送されてもよく、あるいは公衆電話回線網（PSTN:  public  switched  telephone  network）のような回線交換網を通じて伝わってもよい。いずれにせよ、一般的に各参加者が自分自身を除く他のすべての参加者の声を聞くよう各エンドポイントに送り返すダウンリンク・オーディオ・ストリームを生成することはミキサーの役割である。
【０００８】
そのようなシステムにおけるエンドポイントのあるクラスは、アップリンクにおいて不連続伝送（DTX:  discontinuous  transmission）を用いる。そのようなエンドポイントは、話者の口に近いマイクロフォン配置を用いること；背景雑音を除去する雑音抑制信号処理；人の発話があるときにのみアップリンク・ストリームを送ることの一つまたは複数によって、ネットワーク資源の使用を最小化しつつ了解性を最大化しようとする。
【０００９】
この戦略では、聴取者に聞こえる異常な雑音は少なくなりうるが、それほど自然に聞こえない経験につながることがある。これは第一には、雑音抑制信号処理は典型的には、背景雑音が定常的でないときはわずらわしい動的アーチファクトを導入するためであり、第二には雑音抑制が発話の等化に影響するからであり、第三には、声活動検出器（VAD:  voice  activity  detector）からの不完全な情報に基づく二分式の送る／送らないの決定は時に発話が切り落とされ、時に残留雑音が発話として伝送されることにつながるからである。このように、DTX装置から受領されるオーディオ・ストリームは、人間に知覚できる背景雑音は高々無視できる量しか含まないことが予期されるオーディオ入力ストリームの例である。
【００１０】
エンドポイントの第二のクラスは、アップリンクにおいて連続伝送（CTX:  continuous  transmission）を用いる。すなわち、CTXエンドポイントは、VAD（もしあれば）が発話があると判定するかないと判定するかに関わりなくオーディオ・ストリームを送る。ここでの意図は、しばしば、聴取経験の自然さを最大にし、リモート聴取者が、あたかも自分がその場にいるかのようにバイノーラル処理のよく知られたカクテルパーティー問題を実行できるようにすることである。よって、CTXエンドポイントは、両耳効果によるマスキングからの解放（release  from  masking）を許容するよう空間的ダイバーシチを保持するために複数のマイクロフォンを用いてもよい。CTX装置の設計者は、わずらわしい動的アーチファクトおよびスペクトル的な音色付けの可能性を最小限にするために、装置が実行する雑音抑制処理の量を制限しようとしてもよい。このように、CTX装置から受領されるオーディオ・ストリームは、人間に知覚できる背景雑音を無視できる量より多く含むことが予期されるオーディオ入力ストリームの例である。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】欧州特許第1855455B1号、Enborn  et  al.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
一般に、DTX装置は、人間の発話をなすと見なさないものは何でも除去するか、抑制するか、あるいは他の仕方で送信するのを回避しようとする。一方、CTX装置は、透明であろうとし、できる限り最も知覚的に連続的で有意な仕方で何でも送信しようとする。いかなるミキサーも、これを考慮に入れなければならない。DTXエンドポイントのアップリンクは発話が検出されないときは実質的に無音なので、ミキサーは、聴取者にとっての知覚的帰結を伴うことなく、発話が検出されないときはそのアップリンク・ストリームを自由に破棄してよい。しかしながら、CTXストリームを含むダウンリンク混合を形成するときは、ミキサーは、ストリームにどのように混合遷移を適用するかにおいて、慎重になる必要がある。たとえば、語りが検出されないときにCTXストリームを破棄することは、そのストリームに関連付けられた背景雑音がオフにされるのが聞こえることがあるので、聴取者によって容易に気づかれることがありうる。その遷移をマスクする他のCTXストリームが存在しない場合は特にそうである。聴取者は、システムが故障したのか、あるいはそのCTXエンドポイントが会議から切断されたのかと戸惑うことになりうる。そのような場合、自然な聴取経験を提供するという目標は満たされないであろう。
【００１３】
一般に、遠隔会議ミキサーの目標は、各参加者が、自分自身を除く他のすべての参加者からの発話を聞けるようにすることである。しかしながら、この目標にはいくつかの微妙な問題がある。たとえば、それぞれが背景雑音を含んでいる多くのCTXストリームが聴取者によって同時に聞かれる場合、聞こえる全背景雑音パワーは、わずらわしいまたは了解性に有害である点まで高まることがありうる。さらなる例として、みな同時に話している複数のアップリンク・ストリームを考える。結果は、有用な通信を助けるにはあまりに耳障りであることがある。
【００１４】
本稿に開示されるさまざまな発明の方法、デバイス、装置およびシステムは、オーディオ会議混合の改善された形を提供する。
【課題を解決するための手段】
【００１５】
本開示の第一の側面によれば、感知されたオーディオを含むオーディオ情報および付随する制御情報を含む第一の複数のオーディオ・アップリンク入力ストリームを混合して少なくとも一の会議参加者にダウンリンクするために少なくとも一つのオーディオ・ダウンリンク出力ストリームを生成する型のオーディオ遠隔会議混合システムにおいて、複数の現在のオーディオ・アップリンク・ストリームを混合して前記少なくとも一つのオーディオ出力ストリームを生成する方法であって：（ａ）それぞれの現在のオーディオ・アップリンク・ストリームの確からしい重要性を示す多弁性指標（verbosity  measure）を決定する段階と；（ｂ）少なくとも一つの現在のオーディオ・アップリンク・ストリームがCTXストリームを含むことができる場合には、少なくとも一つの現在のダウンリンク出力ストリームを生成するための混合において少なくとも一つのCTXストリームを利用する段階とを含む、方法が提供される。
【００１６】
いくつかの実施形態では、本方法は、少なくとも一つの現在のダウンリンク出力ストリームを生成するための混合において最高の多弁性指標をもつCTXストリームを利用する段階を含む。好ましくは、段階（ｂ）はさらに、（ｉ）検出された発話がない付属CTXストリームが好ましくは存在する場合には、該付属CTXストリームを減衰させる段階を含むことができる。好ましくは、段階（ｂ）はさらに、（ｉｉ）最高の多弁性指標をもつ現在のCTXストリームが長期間にわたって与えられる声をもたない場合は、現在のCTXストリームを減衰させる段階を含むことができる。
【００１７】
いくつかの実施形態では、本方法は、（ｃ）オーディオ入力ストリームの数が所定の限界を超える場合には、最も低い多弁性指標をもついくつかのCTXストリームを破棄する段階をも含む。
【００１８】
本開示の第二の側面は、複数のオーディオ入力ストリームを混合してそれにより少なくとも一の電話エンドポイントに送るための少なくとも一つのオーディオ出力ストリームを生成するよう構成されている型のオーディオ遠隔会議混合システムにおいて、前記複数のオーディオ入力ストリームに基づいて前記少なくとも一つのオーディオ出力ストリームを生成する方法を提供する。本方法は：前記複数のオーディオ入力ストリームが、以下で「雑音担持オーディオ入力ストリーム」と称される、無視できるより多くの量の人間に知覚できる背景雑音を含むと予期される少なくとも一つのオーディオ入力ストリームを含むことおよびその雑音担持オーディオ入力ストリームまたはそれらの雑音担持オーディオ入力ストリームのすべてが現在発話が検出されないオーディオ・ストリームであることを判別する段階と；その雑音担持オーディオ入力ストリームまたはそれらの雑音担持オーディオ入力ストリームの少なくとも一つを、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む。
【００１９】
可聴な背景雑音を含む少なくとも一つのオーディオ入力ストリームをオーディオ出力ストリームに含めることは直感に反すると思われるかもしれないが、たとえ前記オーディオ入力ストリームが発話を含んでいないときでも、発明者は、可聴な背景雑音の存在が、より自然な聴取経験を提供する「周囲音」（たとえば紙の擦れ、あくび、ペンをもてあそぶことなど）につながりうることを認識した。
【００２０】
いくつかの実施形態では、本方法は：前記複数のオーディオ入力ストリームが複数の雑音担持オーディオ入力ストリームを含むことおよびそれらの雑音担持オーディオ入力ストリームのすべてが現在発話が検出されないオーディオ・ストリームであることを判別する段階と；それらの雑音担持オーディオ入力ストリームのそれぞれについての知覚される重要性の指標を決定する段階と；知覚される重要性のそれぞれの指標に基づいて、前記雑音担持オーディオ入力ストリームの部分集合を選択する段階と；前記雑音担持オーディオ入力ストリームの前記部分集合を、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む。
【００２１】
いくつかの実施形態では、本方法は：知覚される重要性の指標が最も高い前記一つまたは複数の雑音担持オーディオ入力ストリームを選択する段階と；選択された雑音担持オーディオ入力ストリーム（単数または複数）を前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む。
【００２２】
本開示の第三の側面は、複数のオーディオ入力ストリームを混合してそれにより少なくとも一の電話エンドポイントに送るための少なくとも一つのオーディオ出力ストリームを生成するよう構成されている型のオーディオ遠隔会議混合システムにおいて、前記複数のオーディオ入力ストリームに基づいて前記少なくとも一つのオーディオ出力ストリームを生成する方法を提供する。本方法は：前記複数のオーディオ入力ストリームが、以下で「無視できる雑音のオーディオ入力ストリーム」と称される、高々無視できる量の人間に知覚できる背景雑音を含むと予期される少なくとも一つのオーディオ入力ストリームを含むことおよびその無視できる雑音のオーディオ入力ストリームまたはそれらの無視できる雑音のオーディオ入力ストリームのすべてが現在発話が検出されないオーディオ・ストリームであることを判別する段階と；その無視できる雑音のオーディオ入力ストリームまたはそれらの無視できる雑音のオーディオ入力ストリームの少なくとも一つを、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む。
【００２３】
いくつかの実施形態では、本方法は：それらの無視できる雑音のオーディオ入力ストリームのすべてを、前記少なくとも一つのオーディオ出力ストリームに含めることを含む。無視できる雑音のオーディオ入力ストリームのすべてを、前記少なくとも一つのオーディオ出力ストリームに含めることは直感に反すると思われるかもしれないが、発明者は、これが通話の「自然さ」を著しく損なわないはずであり、そのようなオーディオ信号を省略しないことで、オーディオ信号のスワップが少なくなるはずであると認識した。
【００２４】
本開示の第四の側面は、複数のオーディオ入力ストリームを混合してそれにより少なくとも一の電話エンドポイントに送るための少なくとも一つのオーディオ出力ストリームを生成するよう構成されている型のオーディオ遠隔会議混合システムにおいて、前記複数のオーディオ入力ストリームに基づいて前記少なくとも一つのオーディオ出力ストリームを生成する方法を提供する。本方法は：前記複数のオーディオ入力ストリームが、発話が現在検出されている雑音担持オーディオ入力ストリームを閾値数より多く含むことを判別する段階と；前記雑音担持オーディオ入力ストリームのそれぞれについての知覚される重要性の指標を決定する段階と；知覚される重要性のそれぞれの指標に基づいて、前記雑音担持オーディオ入力ストリームの部分集合を選択する段階と；前記雑音担持オーディオ入力ストリームの前記部分集合を、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む。
【００２５】
発明者は、オーディオ出力ストリーム中に雑音担持オーディオ入力ストリームがあまりに多く（たとえば六個以上）あると、場合によっては、通話の「自然さ」を有意に損なうことを認識した。
【００２６】
いくつかの実施形態では、本方法は：前記複数のオーディオ入力ストリームが、発話が現在検出されている無視できる雑音のオーディオ入力ストリームをさらに含むことを判別する段階と；前記無視できる雑音のオーディオ入力ストリームを、前記雑音担持オーディオ入力ストリームの前記部分集合とともに、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む。
【００２７】
いくつかの実施形態では、本方法は：前記複数のオーディオ入力ストリームが、発話が現在検出されている複数の無視できる雑音のオーディオ入力ストリームをさらに含むことを判別する段階と；前記無視できる雑音のオーディオ入力ストリームを、前記雑音担持オーディオ入力ストリームの前記部分集合とともに、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む。
【００２８】
いくつかの実施形態では、オーディオ入力ストリームについての知覚される重要性の前記指標は、そのオーディオ入力ストリームが現在の通話の間にどのくらいの発話を含んでいたかを示す指標を含む。これは、参加者が聞く「周囲音」における知覚される連続性に関して助けになりうる。
【００２９】
いくつかの実施形態では、前記雑音担持オーディオ入力ストリームまたは前記雑音担持オーディオ入力ストリームのそれぞれは、連続伝送（CTX）オーディオ入力ストリームである。
【００３０】
いくつかの実施形態では、前記無視できる雑音のオーディオ入力ストリームまたは前記無視できる雑音のオーディオ入力ストリームのそれぞれは、不連続伝送（DTX）オーディオ入力ストリームである。
【００３１】
本開示の第五の側面は、遠隔会議混合システムにおいて使うための装置であって、複数のオーディオ入力ストリームを受領し、それらのオーディオ入力ストリームに基づいて少なくとも一つのオーディオ出力ストリームを生成するよう構成されており、上記の方法のうち少なくとも一つを実行するよう構成されたプロセッサを有する装置を提供する。
【００３２】
本開示の第六の側面は、遠隔会議混合システムにおいて使うための装置であって、複数のオーディオ入力ストリームを受領し、それらのオーディオ入力ストリームに基づいて少なくとも一つのオーディオ出力ストリームを生成するよう構成されている装置のプロセッサによって実行されたときに、前記装置に、上記の方法のうち少なくとも一つを実行させる、コンピュータにより解釈可能な命令を担持しているコンピュータ可読媒体を提供する。
【００３３】
さまざまな実施形態において、雑音担持オーディオ入力ストリームは、所定の最大時間より長くにわたって発話を含んでいなければ、オーディオ出力ストリーム（単数または複数）から急に省略されるのではなく、フェードアウトされる。
【００３４】
本開示のこれらおよび他の側面は、例示的実施形態の以下の記述から理解されうる。
【図面の簡単な説明】
【００３５】
ここでさまざまな実施形態について、単に例として、付属の図面を参照して述べる。
【図１】ある好ましい実施形態の適応的な混合構成の一つの形を概略的に示す図である。
【図２】ある好ましい実施形態の遠隔会議ミキサーを概略的に示す図である。
【図３】遠隔会議ミキサー要素の例を示すブロック図である。
【発明を実施するための形態】
【００３６】
ある好ましい実施形態は、オーディオ遠隔会議（付随するビデオ・ストリームはあってもなくてもよい）のための環境において動作し、CTXおよびDTX環境において出力信号の効率的な混合を保証するよう複数のアップリンク・ストリームを混合する方法を提供する。
【００３７】
例示的なオーディオ遠隔会議システムが図１に示されている（１）。この構成では、一連の会議参加者が集団的にオーディオ入力および出力を提供する。たとえば、構成１では、第一の参加者２は、会議参加のためにコンピュータ６に相互接続されている一対のヘッドフォン５および入力マイクロフォン３を使う。コンピュータ６は、ネットワーク９を通じたミキサー１１とのアップリンク８およびダウンリンク７接続を提供する。
【００３８】
第二の群の参加者、たとえば２０は、立体音響化（spatialization）情報を含むオーディオ出力を提供するオーディオ装置２１を使う。オーディオ装置２１は、内部的な計算および通信能力をも提供し、ネットワーク２５を介してミキサー１１と相互接続するアップリンク２３およびダウンリンク２４チャネルを含む。
【００３９】
さらなる参加者も他の手段を介してミキサー１１に相互接続されることができる。
【００４０】
図１の構成は、ブーム・マイクロフォン３をもつバイノーラル・ヘッドセット５によって例示されるDTXエンドポイントを利用する複数の会議参加者２を含んでいる。前記複数のDTXエンドポイントのそれぞれは、DTXアップリンク・ストリーム８を、典型的にはネットワーク９を介して、遠隔会議ミキサー１１に呈する。ミキサーは各DTXエンドポイントについてダウンリンク・ストリーム７を生成する。該ダウンリンク・ストリーム７はネットワーク９を通じてエンドポイント２に送り返され、参加者２によって聞かれる。
【００４１】
スピーカーフォン装置２１によって例示される複数のCTXエンドポイントのそれぞれは、さらなる複数の会議参加者２０の発話２７を捕捉する。そのような装置によって、トリビアルでない背景雑音も捕捉されることがある。前記複数のCTXエンドポイントのそれぞれは、ネットワーク２５を介してCTXアップリンク・ストリーム２４をミキサー１１に呈する。一般性を失うことなく、ネットワーク２５はDTXエンドポイントによって使われるものと同じネットワークであってもよい。ミキサー１１は、各CTXエンドポイントについてダウンリンク・ストリーム２３を生成する。該ダウンリンク・ストリーム２３はネットワーク２５を通じて複数の参加者２０への再生のためにエンドポイント２１に送り返される。
【００４２】
遠隔会議システムにおいて、各参加者エンドポイントはアップリンク・オーディオ・ストリームを遠隔会議ミキサーに送り、遠隔会議ミキサーからダウンリンク・ストリームを受領する。そのようなシステムでは、アップリンクおよびダウンリンクは、デジタル式にエンコードされ、インターネット・プロトコルを通じた音声（VoIP:  voice  over  internet  protocol）ネットワークのような好適なパケット交換網を介して伝送されてもよく、あるいは公衆電話回線網（PSTN:  public  switched  telephone  network）のような回線交換網を通じて伝わってもよい。いずれにせよ、各参加者が自分自身を除く他のすべての参加者の声を聞くよう各エンドポイント５、２１に送り返すダウンリンク・オーディオ・ストリームを生成することはミキサー１１の役割である。
【００４３】
しかしながら、この目標にはいくつかの微妙な問題がある。たとえば、それぞれが背景雑音を含んでいる多くのCTXストリームが聴取者によって同時に聞かれる場合、聞こえる全背景雑音パワーは、わずらわしいまたは了解性に有害である点まで高まることがありうる。さらなる例として、みな同時に話している複数のアップリンク・ストリームを考える。結果は、有用な通信を助けるにはあまりに耳障りであることがある。この場合、二つまたは三つの最も知覚的に有意なストリームのみを通すほうがよいことがありうる。本著者を含む多くの著者は、これを達成するための方法を提案してきた。たとえば、特許文献１は一つのそのような方法論を開示している。
【００４４】
ミキサーは遠隔会議通話をオンデマンドで管理するところ、図２は、遠隔会議ミキサー１１の一つの例示的な形を概略的に示している。
【００４５】
図２に示されるように、複数のアップリンク・ストリーム、いくつかのDTX（３１、３２）、いくつかのCTX（３３）がミキサー１１に呈される。アップリンク・ストリームのそれぞれは、それぞれのアンパック・ユニット３５、３６、３７を通過する。アップリンク・エンコード情報に依存して、各アンパック・ユニットはそれぞれのアップリンク・ストリームをアンパックし、VAD  ３８、アップリンク・ストリームからのマスキング・イベント情報およびオーディオ情報４０を抽出し、マスキング・イベント３９を識別する。これについては後述する。
【００４６】
ミキサー１１は複数のダウンリンク・ストリーム４２、４３、４４を生成する。図２には、ダウンリンク・ストリーム４３に関連付けられたサブ混合装置４６が示されている。図には、他のダウンリンク・ストリーム４２、４４のそれぞれについて存在する同様のサブ混合装置は示されていない。このダウンリンクについての混合制御ユニット４７は、他のダウンリンクに関連付けられたアンパック・ユニット３５、３７によって生成されたVADおよびマスキング・イベント信号に対して作用し、アップリンク３６以外の各アップリンクについての利得を生成する。これは、ダウンリンク４３はアップリンク３２を生成した同じエンドポイントYによって聞かれるからである。これらの利得はアップリンクからのオーディオをスケーリング（４８、４９）および混合して、ダウンリンク４３を通じて返すための再パッキングおよびエンコード５１のために好適な最終的なオーディオ・ストリームを生成するために使われる。
【００４７】
好ましい実施形態は、全体的な独特な混合戦略をもって、遠隔会議システムにおいてDTXおよびCTXアップリンクを一緒に混合して、一連の知覚的に連続なダウンリンクを形成するための方法を提供する。
【００４８】
複数のDTXエンドポイント（すなわち、発話が存在すると推定されるときにのみアップリンクでオーディオを送信するエンドポイント）およびCTXエンドポイント（すなわち、連続的にアップリンクにおいてオーディオを送信するエンドポイント）にサービスするVoIP（インターネット・プロトコルを通じた音声）遠隔会議サーバーを考える。定期的に（たとえば20ms毎）、サーバーは前回以来ネットワークを通じて受領されたエンコードされたオーディオのアップリンク・パケットを解析し、各エンドポイントに送るためのエンコードされたオーディオを含む新しいダウンリンク・パケットを生成する必要がある。アップリンク・パケットは、送り側エンドポイントのクロックとサーバーのクロックとの間のドリフトのためおよびネットワークにおいて導入されるジッタおよびパケット損失のため、サーバーが必要とするのと正確に同じレート（たとえば20ms毎）で到達しないことがある。したがって、サーバーは、当業者に知られているジッタ・バッファリング方式を用いる必要がある。ジッタ・バッファリング後、どのエンドポイントにいる聴取者も自分自身を除く他のエンドポイントのそれぞれからの発話を聞くという一般的な目標をもって、入力パケットに基づいてダウンリンク・パケットが形成されるべきである。
【００４９】
好ましい実施形態は、以下の原理に従って知覚的に連続的な仕方でDTXおよびCTXの両方のストリームを扱うことによって、従前の技法を拡張する方法を提供する。
【００５０】
どのストリームが聞かれ、どのストリームが聞かれないかの決定は、多弁性メトリック（Verbosity  metric）に基づく。これは、会話における特定のアップリンクの重要性を記述するメトリックである。多弁性メトリックの特徴付けの種々の形またはヒューリスティックが使用されることができる。それには、各チャネルのパワースペクトル解析といった単純な施策も含まれる。より複雑な一つの多弁性指標が、2012年9月27日に出願された、「空間的遠隔会議システムにおける知覚的な連続性を改善する方法」と題する米国特許出願第61/706315号において得られる。同文献の内容はここに相互参照によって組み込まれる。
【００５１】
人々が話すとき、極端な状況が蔓延しているのでなければ、それらの人々の声が聞こえることが望ましい。したがって、アクティブな発話を含むCTXストリームのある最大数N_MAX（たとえば5）が超過されない限り、CTXストリームは、それに関連付けられたVADがストリーム内に発話が存在すると推定するときには常に聞かれる。N_MAX個より多くのCTXストリームが同時に発話を含んでいる場合には、最も高い多弁性をもつN_MAX個のCTXストリームが聞かれる――一方、他のものは淘汰される。多くのCTXストリームが聞かれる場合、その結果はただちに耳障りまたは騒々しいものである可能性が高く、混合するために消費するサーバー資源も有意になることがある。
【００５２】
CTXストリームのどれもアクティブな発話を含まないときは、ほとんどの時間において、各ダウンリンクにおいて単一のCTXアップリンクが可聴であることが望ましい。話が終わってすぐにCTXストリームが急にスイッチオフされると、これはすぐに気づかれることになり、不自然に聞こえるであろう。他方、多くのCTXストリームが同時に聞かれる場合、結果はわずらわしいほど耳障りまたは騒々しいものとなることがあり、混合するために消費するサーバー資源も有意になるであろう。
【００５３】
ある好ましい実施形態では、どの時点でも、各ダウンリンクにおいて、少なくとも単一のCTXストリームをアクティブにしておくことが望ましい。このストリームは、プレゼンター（presenter）と記される。最も多弁な（すなわち、多弁性が最高の）ストリームをプレゼンターとして選ぶことが合理的である。そのストリームが最近の履歴において会議における最も多くの発話を含んでいたことを考えれば、それが聴取者の関心の焦点である可能性が最も高いからである。
【００５４】
CTXストリームが優雅に（gracefully）中止されることが望ましい。つまり、単に発話が存在しないときにスイッチオフするのではなく、サーバーは、さらなる発話が出てくるかどうか見るためにある最小限の保留時間待ったのちにフェードアウトさせるべきである。しかしながら、人々の声が聞こえることがより重要である。したがって、この原理は、N_MAX個より多いCTXストリームがアクティブであるときには適用されるべきではない。
【００５５】
CTXストリームのどれも長い時間期間（たとえば1分）にわたって発話を含んでいなかった場合には、聞かれた最後のCTXストリームを「ステップダウン」することが可能である。これは、マスキング・イベントが宣言されるたびに離散的な大きさ減衰きざみG_STEP（たとえば−2dB）を適用することによってできる。マスキング・イベントは、エンドポイントが長さT_MASK（たとえば3秒）の無音期間ののちに話し始めるときに検出される。ひとたびストリームがある量、たとえばG_THRESHOLD（たとえば−18dB）より多く減衰されたら、該ストリームはフェードアウトされ、中止されることができる。ストリームが長い時間期間にわたって非アクティブであったことを判別する簡単な方法は、その多弁性が何らかの小さな閾値V_THRESHOLD（たとえば0.05）より下のままであるかどうかを調べることである。
【実施例】
【００５６】
図２のサブ混合ユニット４６の実装の個別的な実施形態の一つの形についてこれから述べる。
【００５７】
接続されているエンドポイントまたはダウンリンクすべてについて、フレームからフレームにかけて状態としてシーン・オブジェクトを維持する。シーン・オブジェクトは：１．入力ストリーム（すなわち、他の接続されたエンドポイントからのアップリンク・ストリーム）への参照の集合；２．出力ストリーム定義の集合からなることができる。各出力ストリーム定義は：ａ）割り当てられた入力ストリームへの参照の集合；ｂ）割り当てられた入力ストリームへの各参照について、関連付けられた混合利得からなる。
【００５８】
定期的に（たとえば20ms毎に）以下を行なう。
【００５９】
１）集合D（このフレームで実行される必要がある入力ストリーム・デコードの集合）を空集合に初期化する。
【００６０】
２）集合S（このフレームで混合および再エンコードされる必要があるシーンの集合）を空集合に初期化する。
【００６１】
３）準備パスを実行する；接続されている各エンドポイントについて：
ａ）ジッタ・バッファから次のアップリンク・オーディオ・パケットを取ってきて；
ｂ）そのオーディオ・パケットに発話が存在するかどうかを判定する（語りフラグ）。これは、当該パケットをデコードして好適なVADを適用することによって、あるいは送り側エンドポイントによって当該オーディオ・パケット中で供給されている語りフラグ・メタデータを抽出することによって、できる。
【００６２】
４）多弁性更新パスを実行する；接続されている各エンドポイントについて：
語りフラグに基づいてこのエンドポイントについての多弁性メトリックを更新する。
多弁性は長期総合量なので、前のフレームからの語りフラグを使って、多弁性が第一のパスの一部として計算できるようにすることも受け入れられる。
【００６３】
５）計画パスを実行する；接続されている各エンドポイントについて、シーン・オブジェクトを更新する。
ａ）第一のサブパスでは、どの入力ストリームを有効にするかを決定する必要がある：
ｉ．語りフラグがアサートされているCTX入力ストリームの数n_ctxを記録する。
ｉｉ．語りフラグが現在アサートされている、最も多弁な（すなわち多弁性が最も高い）高々N_MAX個の入力ストリームの集合Lを生成する。
ｉｉｉ．語りフラグがセットされているが集合Lの要素ではない入力ストリームの数n_cullを記録する。
ｉｖ．CTX入力ストリームのどれが少なくともV_THRESHOLDである現在最も高い多弁性をもつかを（もしあれば）見出す。
ｖ．このフレームで少なくともT_MASKの非アクティブ期間後に、入力ストリームのうちいずれかの入力ストリームの語りフラグがクリア状態からアサート状態になった場合、このシーンに関連付けられたマスキング・イベントを宣言する。
【００６４】
ｂ）第二のサブパスでは、シーン内の入力ストリームを有効にする必要がある。集合L内の各入力ストリームについて：
ｉ．混合利得を0dB（1倍）に設定する。
ｉｉ．その入力ストリームが出力ストリームに割り当てられることを保証する。複数の入力ストリームが同じ出力ストリームに割り当てられる場合、それらの入力ストリームはサーバーにおいてデコードされ、混合されることができる。単一の入力ストリームが割り当てられるだけの出力ストリームがあれば、それはデコードすることなく転送されることができる。出力パケットは複数の出力ストリームを含んでいてもよく、その場合、それらの出力ストリームは受領側エンドポイントにおいて一緒に混合され、レンダリングされる。
【００６５】
ｃ）第三のサブパスにおいて、シーンから以前に聞かれた入力ストリームの淘汰が行なわれる。現在出力ストリームに割り当てられているが集合Lの要素ではない各入力ストリームについて：
ｉ．その入力ストリームがDTXであれば、すぐそれをその出力ストリームから割り当て解除する。
ｉｉ．その入力ストリームがCTXでありn_cullが0でなければ、このストリームを、この出力ストリームにおいてフェード中（fading）としてマークする。そうでなければ：
ｉｉｉ．その入力ストリームがプレゼンターとして指定されておらず、n_ctxが1より大きく、そのストリームが少なくともT_HOLDにわたって非アクティブであったならば、この入力ストリームを、その出力ストリームにおいてフェード中としてマークする。
ｉｖ．その入力ストリームがプレゼンターとして指定されておらず、n_ctxが1であれば（これが現在聞かれている唯一のCTXストリームであるがプレゼンターではないならば）、マスキング・イベントが宣言されていなければその混合利得をG_STEPだけ低下させる。この混合利得が今やG_THRESHOLD未満であれば、この入力ストリームをその出力ストリームにおいてフェード中としてマークする。
【００６６】
ｄ）第四のサブパスでは、フェード中であるストリームの利得の更新がなされる。現在出力ストリームに割り当てられている各入力ストリームについて：
ｉ．その入力ストリームがフェード中とマークされていれば、その混合利得をG_FADEだけ低下させる。
ｉｉ．その入力ストリームの混合利得がG_CUT未満であれば、それを出力ストリームから割り当て解除する。
ｉｉｉ．第五のサブパスにおいて、シーンを集合Dに混合するために実行される必要のある入力ストリーム・デコードがあってまだ要素になっていなければそれを加える。
ｉｖ．結果として得られるシーンが空でなければ、それを集合Sに加える。
【００６７】
６）任意的に、集合S内の同一のシーンを特定し、マージすることによって、シーン共有パスを実行する。二つのシーンは、各出力ストリームが入力ストリームの同じ集合から同じ混合利得をもって形成される場合に、同一であると考えられるべきである。同一のシーンは、どのエンドポイントに送られるべきかを記録している単一のシーン・オブジェクトにマージされるべきである。
【００６８】
７）集合D内の入力ストリーム・デコードのそれぞれを実行する。それにより、デコードされたオーディオ・データが混合のために利用可能になる。
【００６９】
８）混合パスを実行する；S内の各シーンについて：
（ａ）シーン内の各出力ストリームについて：
ｉ．その出力ストリームがそれに割り当てられた複数の入力ストリームを有している場合、デコード・パス（７）においてそれらの入力ストリームから導出されたデコードされたオーディオを一緒に混合し、混合されたオーディオを再エンコードして、ダウンリンク・パケットにおける送信準備ができたものとする。
ｉｉ．そうでなく、その出力ストリームがそれに割り当てられた単一の入力ストリームを有する場合には、再エンコードすることなく、ダウンリンク・パケットにおける送信準備ができたものとしてその入力ストリームを参照する。
【００７０】
９）送信パスを実行する；S内の各シーンについて、このシーンを受領する各エンドポイントについて：
（ａ）混合パス（８）において生成された出力ストリーム・データの前に必要とされるエンドポイント固有のヘッダ情報（たとえばシーケンス番号）があればそれを付加することによって、完全なダウンリンク・パケットを形成する。
（ｂ）ダウンリンク・パケットをエンドポイントに送る。
【００７１】
１０）ダウンリンク・パケットを受信したら、エンドポイントはその中に見出される各ストリームをデコードし、それらを一緒に混合し、それらをラウドスピーカーまたはヘッドフォンを通じてレンダリングするべきである。
【００７２】
20msのフレーム期間を想定すると、上記の議論において大文字で示される各定数についての推奨される値は次の表に与えられる。
【００７３】
【表１】
0006408020.tif 000002
図３は、遠隔会議ミキサー要素の例を示すブロック図である。図３に示されるコンポーネントの型および数は単に例として示されている。代替的な実装はより多数の、より少数のおよび／または異なるコンポーネントを含んでいてもよい。遠隔会議ミキサー３００はたとえば遠隔会議サーバーの事例であってもよい。いくつかの例では、遠隔会議ミキサー３００は別の装置のコンポーネントであってもよい。たとえば、いくつかの実装において、遠隔会議ミキサー３００は、遠隔会議サーバーのコンポーネント、たとえばライン・カードであってもよい。遠隔会議ミキサー３００は、少なくとも部分的には、汎用の単一チップまたは複数チップ・プロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）または他のプログラム可能型論理デバイス、離散的なゲートもしくはトランジスタ論理および／または離散的なハードウェア・コンポーネントを含んでいてもよい。いくつかの実装では、遠隔会議ミキサー３００は、一つまたは複数の非一時的な媒体に記憶された命令（たとえばソフトウェア）に従って実装されてもよい。そのような非一時的な媒体は、ランダム・アクセス・メモリ（RAM）デバイス、読み出し専用メモリ（ROM）デバイスなどを含むがそれに限られない、本稿に記載されるようなメモリ・デバイスを含んでいてもよい。
【００７４】
図３に示した例では、遠隔会議ミキサー３００は、アンパック・ユニット３０３Ａ〜３０３Ｃを含む。これらはDTXアップリンク・ストリーム３０１Ａ〜３０１Ｃを受領するものとして示されている。ここで、遠隔会議ミキサー３００はアンパック・ユニット３０４Ａ〜３０４Ｃをも含む。これらはCTXアップリンク・ストリーム３０２Ａ〜３０２Ｃを受領するものとして示されている。いくつかの実装では、アンパック・ユニット３０３Ａ〜３０３Ｃは、図２にあり上記したアンパック・ユニット３５および３６の事例であってもよく、アンパック・ユニット３０４Ａ〜３０４Ｃは、図２にあり上記したアンパック・ユニット３７の事例であってもよい。
【００７５】
アンパック・ユニット３０３Ａ〜３０３Ｃもアンパック・ユニット３０４Ａ〜３０４Ｃもイベント情報（図２に示したXイベント、Yイベント、Zイベント情報など）を出力するものとして示されていないが、いくつかの実装では、アンパック・ユニット３０３Ａ〜３０３Ｃおよび／またはアンパック・ユニット３０４Ａ〜３０４Ｃは、受領されたアップリンク・ストリームにおけるイベントを判別し、イベント情報を出力することができてもよい。いくつかのそのような実装によれば、アンパック・ユニット３０３Ａ〜３０３Ｃおよび／またはアンパック・ユニット３０４Ａ〜３０４Ｃは、受領されたアップリンク・ストリーム中のイベント・フラグ（または同様の指示）に従ってイベントを判別できてもよい。代替的または追加的に、いくつかの実装では、アンパック・ユニット３０３Ａ〜３０３Ｃおよび／またはアンパック・ユニット３０４Ａ〜３０４Ｃは、受領されたアップリンク・ストリームの解析によってなど、他の手段によってイベントを判別できてもよい。
【００７６】
いくつかのそのような例は、特徴抽出器およびイベント検出器を含んでいてもよい。いくつかの実装では、特徴抽出器およびイベント検出器の両方がアンパック・ユニットにおいてまたは遠隔会議ミキサーの一つまたは複数の他のコンポーネントにおいて実装されてもよい。代替的な実装では、特徴抽出器およびイベント検出器の両方が電話エンドポイントにおいて実装されてもよい。さらに他の実装では、特徴抽出器は電話エンドポイントにおいて実装されてもよく、イベント検出器はアンパック・ユニットまたは遠隔会議ミキサーの一つまたは複数の他のコンポーネントにおいて実装されてもよい。
【００７７】
特徴抽出器は、入力波形を解析して、レベルの変化および／またはスペクトル・フラックス（spectral  flux）の変化（たとえばピッチの変化）といった一つまたは複数の型の特徴に対応する出力を生成することができてもよい。いくつかの例では、特徴抽出器はVAD機能ができてもよい。いくつかのそのような例によれば、特徴抽出器は、入力波形を解析し、VAD結果を出力することができてもよい。
【００７８】
イベント検出器４０２は、特徴抽出器によって抽出された特徴を解析して、一つまたは複数の型のイベントに対応する出力を生成してもよい。いくつかの実装では、イベントは、発話の始まり、発話の中断、特定の音節の存在、単語または発話のクラス、ボリューム・レベル、スペクトル・フラックスまたは他のそのようなヒューリスティックスの変化および／または聴覚シーン解析に従って決定される基準に対応してもよい。いくつかの実装では、イベント検出器の出力は「二値」であって、イベントが存在するか否かだけを示してもよい。しかしながら、いくつかの例では、イベント検出器の出力はイベントの大きさをも示してもよい。
【００７９】
いくつかの例によれば、アンパック・ユニット３０３Ａ〜３０３ＣはDTXアップリンク・ストリームのみを処理できてもよく、アンパック・ユニット３０４Ａ〜３０４ＣはCTXアップリンク・ストリームのみを処理できてもよい。しかしながら、いくつかの実装では、アンパック・ユニット３０３Ａ〜３０３Ｃおよび／またはアンパック・ユニット３０４Ａ〜３０４Ｃは、CTXおよびDTXアップリンク・ストリーム両方を処理できてもよい。いくつかのそのような実装によれば、アンパック・ユニット３０３Ａ〜３０３Ｃおよび／またはアンパック・ユニット３０４Ａ〜３０４Ｃは、アップリンク・ストリームをCTXまたはDTXどちらのアップリンク・ストリームとして処理するかを、そのアップリンク・ストリーム中のフラグ、ヘッダまたは他の情報に従って決定できてもよい。いくつかの実装では、アップリンク・ストリームをCTXまたはDTXどちらのアップリンク・ストリームとして処理するかに関する情報は、そのアップリンク・ストリームの外部にあってもよい。いくつかのそのような実装では、アップリンク・ストリームをCTXまたはDTXどちらのアップリンク・ストリームとして処理するかについての情報は、セッション開始プロトコル（SIP:  Session  Initiation  Protocol）に従うセッション開始プロセスの間に、たとえばエンドポイントと遠隔会議サーバー（またはその一部分、たとえばアンパック・ユニット）との間のネゴシエーションの間に交換されてもよい。あるいはまた、アップリンク・ストリームをCTXまたはDTXどちらのアップリンク・ストリームとして処理するかについての情報は、アップリンク・ストリーム内やセッション開始プロセスの間に明示的には指示されなくてもよく、アップリンク・ストリーム中のパケット中のVADフラグのような情報の解析に従って決定されてもよい。あるそのような例では、CTXアップリンク・ストリームは、二つの連続するパケットの二つのVADフラグが0に設定されているという事例によって識別されてもよい。
【００８０】
いくつかの実装によれば、アンパック・ユニットの数は、アップリンク・ストリームの数に依存し、アンパック・ユニットの機能はアップリンク・ストリームがCTXまたはDTXどちらのアップリンク・ストリームであるかに依存する。たとえば、いくつかのそのような実装では、制御システムがアップリンク・ストリームの数に対応する数のソフトウェア・モジュールを呼び出してもよい。各ソフトウェア・モジュールは、対応するアップリンク・ストリームがCTXまたはDTXどちらのアップリンク・ストリームであるかに依存するアンパック・ユニット機能を有していてもよい。
【００８１】
図３に示される例では、アンパック・ユニット３０３Ａ〜３０３Ｃおよびアンパック・ユニット３０４Ａ〜３０４Ｃは、オーディオ情報３０６Ａ〜３０６Ｆを出力することができる。各オーディオ情報は対応するアップリンク・ストリームからのものである。オーディオ情報３０６Ａ〜３０６Ｆは、個別的な実装に依存して、時間領域または周波数領域であることができる。いくつかの例では、オーディオ情報３０６Ａ〜３０６Ｆは修正離散コサイン変換（MDCT）オーディオ・データであってもよい。オーディオ情報３０６Ａ〜３０６Ｆは、個別的な実装に依存して、エンコードされていてもデコードされていてもよい。この例では、少なくともオーディオ情報３０６Ｄ〜３０６Ｆはデコードされていてもよい。
【００８２】
この例において、アンパック・ユニット３０３Ａ〜３０３Ｃおよびアンパック・ユニット３０４Ａ〜３０４Ｃは、対応するアップリンク・ストリームにおける発話を示す声活動情報３０５Ａ〜３０５Ｆを出力することができる。いくつかの実装では、DTXエンドポイントは、該DTXエンドポイントが検出された発話をもつときにのみアップリンク・ストリームを送る。いくつかのそのような例によれば、アンパック・ユニット３０３Ａ〜３０３Ｃは、DTXアップリンク・ストリームが受領される時間区間に対応する声活動情報を出力することができてもよい。
【００８３】
いくつかの実装では、CTXエンドポイントは、声活動検出ができてもよく、VADフラグのような情報をCTXアップリンク・ストリームに含めて、CTXアップリンク・ストリーム中のオーディオ・データのどの部分が発話に対応するかを示してもよい。いくつかのそのような例によれば、アンパック・ユニット３０４Ａ〜３０４Ｃは、CTXアップリンク・ストリーム３０２Ａ〜３０２Ｃにおける検出されたVADフラグまたは他のそのような情報に対応する声活動情報を出力することができてもよい。しかしながら、代替的な例では、アンパック・ユニット３０４Ａ〜３０４Ｃは、声活動検出ができてもよく、CTXアップリンク・ストリーム３０２Ａ〜３０２Ｃにおける検出された発話にに対応する声活動情報を出力することができてもよい。
【００８４】
この例において、アンパック・ユニット３０３Ａ〜３０３Ｃおよびアンパック・ユニット３０４Ａ〜３０４Ｃは、声活動情報３０５Ａ〜３０５Ｆを多弁性推定器モジュール３０８に出力することができる。よって、この実装では、遠隔会議に関わるアップリンク・ストリームすべてからの声活動情報が多弁性推定器モジュール３０８に入力される。この例では、多弁性推定器モジュール３０８は、CTXアップリンク・ストリーム３０２Ａ〜３０２Ｃに対応する三つのCTXエンドポイントのようなCTXエンドポイントについて多弁性メトリックを計算することができる。本稿の他所で記したように、多弁性メトリックは、アップリンク・ストリームの確からしい重要性を示してもよい。
【００８５】
多弁性メトリックを計算するプロセスおよび／または多弁性メトリック自身は実装によって変わりうる。いくつかの実装では、多弁性推定器３０８は、少なくとも部分的には、各アップリンク・ストリームのパワースペクトル解析に基づいて多弁性メトリックを計算することができてもよい。いくつかの実装では、多弁性推定器モジュール３０８は、2013年9月25日に出願された国際特許出願第PCT/US2013/061648号のたとえば24〜29ページに記載される一つまたは複数の方法に従って多弁性メトリックを計算することができてもよい。同出願の内容はここに参照によって組み込まれる。
【００８６】
いくつかのそのような実装は、時間とともに各入力音場信号の（たとえば、各会話参加者のまたは各アップリンク・ストリームの）多弁性メトリックを累積することに関わってもよい。そのような実装は、各エンドポイントiの入力音場信号について多弁性値Viを決定することを含んでいてもよい。多弁性値Viは、会議における活動に依存して修正されてもよい。Viの比較的高い値は、エンドポイントiがよりアクティブであったこと、よって最近アクティブである音場として多重化された出力音場信号において維持される可能性がより高いまたは維持されるのがより好適であるを示してもよい。多弁性メトリックViは、各フレームまたは時点において、一組の規則およびパラメータに従って修正されてもよい。規則およびパラメータの例は下記の表１に挙げられている。特に、表１は、多弁性メトリックへの機構および提案される変更を示す。
【００８７】
【表２】
0006408020.tif 000003
一般に、上記のパラメータの組から、エンドポイントiについての多弁性Viは、エンドポイントiがアクティブであるときに増大させられてもよく、エンドポイントiが唯一のアクティブなエンドポイントであればより速く増大させられてもよい。多弁性Viは、エンドポイントiが非アクティブであり少なくとも一つの他のエンドポイントがアクティブであるときに減少させられてもよい。多弁性Viは、一つだけアクティブなエンドポイントがある場合には、より速く減少させられてもよい。会議において活動がない場合には、いくつかの実施形態では、現在の多弁性レベルが維持されてもよい。いくつかの実施形態では、多弁性Viに適切な減衰を適用し、該減衰を、エンドポイントiの関連付けられた音場信号のフェードアウトにリンクさせることが好ましいことがある。
【００８８】
いくつかの例によれば、第一の会議参加者が第一の時間区間の間、他の会議参加者より多く話していて、次いで第二の時間区間の間話すのをやめるが、該第二の時間区間の間、他のどの会議参加者も話していない場合、第一の会議参加者の多弁性はその時間区間の間、一定のままであってもよい。しかしながら、第二の時間区間の間に別の会議参加者が話し始める場合には、第一の会議参加者の多弁性はその時間区間の間に減少してもよい。いくつかの実装によれば、第一の会議参加者の多弁性は、第二の時間区間の間に二人以上の他の会議参加者が話し始める場合には、第二の時間区間の間により速く減少してもよい。
【００８９】
図３に示される例において、多弁性推定器モジュール３０８は、多弁性メトリックV1〜V3を出力するものとして示されている。各多弁性メトリックはCTXアップリンク・ストリーム３０２Ａ〜３０２Ｃの一つに対応する。いくつかの実装では、多弁性推定器モジュール３０８は、0（会話参加者が少なくとも所定の時間の長さにわたって全く話していないことを意味する）と1（会話参加者が少なくとも所定の時間の長さにわたって最も優勢な語り手であったことを意味する）の間の数を出力することができてもよい。
【００９０】
この例によれば、多弁性メトリックV1〜V3は利得制御ユニット３０９に入力される。この実装では、利得制御ユニット３０９は混合戦略を決定することができる。混合戦略は、少なくとも部分的には多弁性メトリックV1〜V3に基づくCTXアップリンク・ストリーム３０２Ａ〜３０２Ｃのそれぞれについての利得を含む。ここで、利得制御ユニット３０９は、多弁性メトリックV1〜V3に対応する利得情報３１４Ａ〜３１４Ｃを、対応する利得ユニット３１０Ａ〜３１０Ｃに提供することができる。よって、この例では、利得制御ユニット３０９は、相対的により高い多弁性メトリックをもつCTXアップリンク・ストリームについては相対的により高い利得を決定してもよく、相対的により低い多弁性メトリックをもつCTXアップリンク・ストリームについては相対的により低い利得を決定してもよい。
【００９１】
混合戦略は他の因子にも基づいていてもよい。たとえば、図３に示した例においては、簡単のため、単一のダウンリンク・ストリーム３２０がマルチプレクサ３１３から出力されているものとして示されている。ダウンリンク・ストリーム３２０は遠隔会議に関わる単一のエンドポイントに対応する。遠隔会議ミキサー３００は一般には、遠隔会議に関わる各エンドポイントについて一つで、複数の下りリンク・ストリームを出力する。いくつかの実装では、遠隔会議ミキサー３００は、各会議参加者が自分自身を除く他のすべての会議参加者（可能性としてはいくつかの制約条件があってもよい）の声を聞くことを許容することができてもよい。よって、いくつかのそのような実装では、混合戦略は、ダウンリンク・ストリーム３２０に対応するエンドポイントからのCTXアップリンク・ストリームについての低い（または0の）利得を決定することに関わってもよい。
【００９２】
いくつかの例では、利得制御ユニット３０９は、図２を参照して上記した混合制御ユニット４７と同様の機能を提供することができてもよい。いくつかのそのような例によれば、利得制御ユニット３０９は、少なくとも部分的には、上記されている本開示のさまざまな側面を実装することができてもよい。たとえば、いくつかの実装では、利得制御ユニット３０９は、本稿に開示されるような様々な基準に従って、一つまたは複数のCTXアップリンク・ストリームを減衰させること、一つまたは複数のCTXアップリンク・ストリームを破棄すること、雑音担持CTXアップリンク・ストリームを、たとえ入力ストリームにおいて発話が現在検出されていなくても、出力ストリームに含めること、雑音担持CTXアップリンク・ストリームのうち発話が現在検出されている部分集合を出力ストリームに含めること、無視できる雑音のCTXアップリンク・ストリームを、たとえCTXアップリンク・ストリームにおいて発話が現在検出されていなくても、出力ストリームに含めること、などができてもよい。図３に示した例では、利得制御ユニット３０９はアンパック・ユニットからイベント情報を受領するものとして示されていないが、代替例では、利得制御ユニット３０９は、少なくとも部分的にはアンパック・ユニットによって生成されたイベント信号に基づいて混合戦略を決定してもよい。
【００９３】
この例において、対応する利得ユニット３１０Ａ〜３１０Ｃは、利得制御ユニット３０９によって与えられる利得情報に基づいて、CTXアップリンク・ストリームの対応する一つに利得を適用することができる。この実装において、CTXミキサー３１１は、利得ユニット３１０Ａ〜３１０Ｃから出力されたCTXアップリンク・ストリームを混合することができる。いくつかの例では、CTXミキサー３１１は、図２を参照して上記した混合ユニット〔ミキシング・ユニット〕５０と同様の機能を提供することができてもよい。
【００９４】
この実装において、CTXミキサー３１１は、混合されたCTXストリーム３１５を再エンコード／再パッキング・ユニット３１２に提供することができる。再エンコード／再パッキング・ユニット３１２は、混合されたCTXストリーム３１５をエンコードし、混合されたエンコードされたCTXストリーム３１７をマルチプレクサ３１３に提供することができてもよい。
【００９５】
図３に示された例では、DTXミキサー３０７は、DTXアップリンク・ストリーム３０１Ａ〜３０１Ｃに対応するオーディオ情報３０６Ａ〜３０６Ｃを、アンパック・ユニット３０３Ａ〜３０３Ｃから受領する。いくつかの実装では、オーディオ情報３０６Ａ〜３０６Ｃはエンコードされていてもよく、他の実装では、オーディオ情報３０６Ａ〜３０６Ｃはデコードされていてもよい。
【００９６】
いくつかの実装によれば、DTXミキサー３０７は、ある最大数までのエンコードされたDTXストリームがダウンリンク・ストリーム３２０に含まれることを許容してもよい。いくつかのそのような実装では、DTXミキサー３０７は、エンコードされたDTXストリームのそれぞれに、仮想空間における関連付けられた位置を割り当ててもよい。いくつかの実装によれば、DTXミキサー３０７は、「Placement  of  Talkers  in  2D  or  3D  Conference  Scene」と題する国際出願第PCT/US2013/033270号、たとえば第1〜10および22〜36ページに記載されるような一組の規則に従って、会議参加者発話に、仮想空間における位置を割り当てることができてもよい。図３に示した実装では、マルチプレクサ３１３は、混合されたDTXストリーム３１９をマルチプレクサ３１３に提供することができる。この例では、マルチプレクサ３１３は、混合されたエンコードされたCTXストリーム３１７を混合されたDTXストリーム３１９と多重化して、ダウンリンク・ストリーム３２０を生成することができる。
【００９７】
〈解釈〉
本明細書を通じて、「一つの実施形態」「いくつかの実施形態」または「ある実施形態」への言及は、その実施形態との関連で記述されている特定の特徴、構造または特性が本発明の少なくとも一つの実施形態に含まれることを意味する。よって、本明細書を通じた随所に「一つの実施形態では」「いくつかの実施形態では」または「ある実施形態では」という句が現われるのは、必ずしもみなが同じ実施形態を指しているのではないが、そうであることもありうる。さらに、具体的な特徴、構造または特性は、一つまたは複数の実施形態において、本開示から当業者には明白であろう任意の好適な仕方で組み合わされてもよい。
【００９８】
付属の請求項および本稿の記述において、有する、から構成される、含むという用語の任意のものは、少なくともその後続の要素／特徴を含むが他のものを排除しないことを意味するオープンな用語である。よって、請求項において使われるときの有するの該用語は、その後に挙げられる手段または要素または段階に制限するものとして解釈されるべきではない。たとえば、AおよびBを有する装置という表現の範囲は、要素AおよびBのみからなる装置に限定されるべきではない。本稿で使われる含む、含んでいるという用語の任意のものも、少なくともその用語に続く要素／特徴を含むが他のものを排除しないことを意味する。よって、含むは、有すると同義であり、有するを意味する。
【００９９】
本稿での用法では、用語「例示的」は、性質を示すのではなく、例を挙げる意味で使われる。すなわち、「例示的実施形態」は、必ず例示的な性質の実施形態であるのではなく、例として与えられている実施形態である。
【０１００】
本発明の例示的実施形態の上記の記述において、開示の流れをよくし、さまざまな発明側面の一つまたは複数のものの理解を助けるため、本発明のさまざまな特徴が時に単一の実施形態、図面またはその記述にまとめられていることを理解しておくべきである。しかしながら、この開示法は、請求される発明が、各請求項に明示的に記載されているよりも多くの事項を必要とするという意図を反映したものと解釈されるものではない。むしろ、付属の請求項が反映するように、発明の諸側面は、単一の上記の開示される実施形態の全事項よりも少ないものに存する。このように、付属の請求項は、ここに明示的に詳細な説明に組み込まれ、各請求項がそれ自身として本発明の別個の実施形態をなす。
【０１０１】
さらに、本稿に記載されるいくつかの実施形態が他の実施形態に含まれるいくつかの特徴を含むが他の特徴を含まなくても、異なる実施形態の特徴の組み合わせは本発明の範囲内であり、異なる実施形態をなすことが意図されている。当業者はこれを理解するであろう。たとえば、付属の請求項では、請求される実施形態の任意のものが任意の組み合わせにおいて使用できる。
【０１０２】
さらに、実施形態のいくつかは、本稿では方法または方法の要素の組み合わせであって、コンピュータ・システムのプロセッサによってまたは該機能を実行する他の手段によって実装されることができるものとして記述されている。よって、そのような方法または方法の要素を実行するための必要な命令をもつプロセッサは、前記方法または方法の要素を実行する手段をなす。さらに、装置実施形態の本稿に記載される要素は、本発明を実行するための該要素によって実行される機能を実行する手段の一例である。
【０１０３】
一つまたは複数のコンピュータ可読媒体の任意の組み合わせが利用されうる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体でありうる。コンピュータ可読記憶媒体は、たとえば、電子式、磁気式、光学式、電磁式、赤外線または半導体のシステム、装置またはデバイスまたは上記の任意の好適な組み合わせであってもよいが、それに限定されない。コンピュータ可読記憶媒体のより特定的な例（網羅的でないリスト）は、以下のものを含みうる：一つまたは複数のワイヤを有する電気接続、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（RAM）、読み出し専用メモリ（ROM）、消去可能なプログラム可能な読み出し専用メモリ（EPROMまたはフラッシュ・メモリ）、光ファイバー、ポータブルなコンパクトディスク読み出し専用メモリ（CD-ROM）、光記憶デバイス、磁気記憶デバイスまたは上記の任意の好適な組み合わせ。本稿の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置またはシステムによってまたは命令実行システム、装置またはシステムとの関連で使うためのプログラムを含むまたは記憶することができる任意の有体の媒体でありうる。
【０１０４】
コンピュータ可読信号媒体は、コンピュータ可読プログラム・コードがたとえばベースバンドでまたは搬送波の一部としてその中に具現されている伝搬されるデータ信号を含んでいてもよい。そのような伝搬される信号は多様な形をとってもよい。それは、電磁信号または光信号またはそれらの任意の好適な組み合わせを含むがそれに限られない。
【０１０５】
コンピュータ可読信号媒体は、命令実行システム、装置またはシステムによってまたは命令実行システム、装置またはシステムとの関連で使うためのプログラムを通信、伝搬または転送することができる、コンピュータ可読記憶媒体ではない任意のコンピュータ可読媒体でありうる。
【０１０６】
コンピュータ可読媒体に具現されるプログラム・コードは、無線、有線、光ファイバーケーブル、RFなどまたは上記の任意の好適な組み合わせを含むがそれに限られないいかなる適切な媒体を使って伝送されてもよい。
【０１０７】
本発明の諸側面についての動作を実行するためのコンピュータ・プログラム・コードは、ジャバ、スモールトーク、C++などのようなオブジェクト指向プログラミング言語およびCプログラミング言語または同様のプログラミング言語のような通常の手続き型言語を含む一つまたは複数のプログラミング言語の任意の組み合わせで書かれてもよい。プログラム・コードは、完全にユーザーのコンピュータ上でスタンドアローンのソフトウェア・パッケージとして実行されてもよいし、あるいは部分的にはユーザーのコンピュータ上で部分的にはリモート・コンピュータ上で実行されてもよいし、あるいは完全にリモート・コンピュータまたはサーバー上で実行されてもよい。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（LAN）または広域ネットワーク（WAN）を含むいかなる型のネットワークを通じてユーザーのコンピュータに接続されてもよく、あるいは（たとえばインターネット・サービス・プロバイダーを使ってインターネットを通じて）外部コンピュータに接続がされてもよい。
【０１０８】
本稿で与えられる記述では、数多くの個別的詳細が記載される。しかしながら、本発明の実施形態がそうした個別的詳細なしでも実施されうることは理解される。他方、本記述の理解をかすませないために、よく知られた方法、構造および技法は詳細に示していない。
【０１０９】
このように、本発明の好ましい実施形態であると思われることを記述してきたが、当業者は本発明の精神から外れることなく、それに他のおよびさらなる修正がなされてもよいことを認識するであろう。それらすべての変更および修正を本発明の範囲内にはいるものとして請求することが意図されている。たとえば、上記の公式はいずれも単に使用されうる手順の代表である。ブロック図から機能が追加または削除されてもよく、機能ブロックの間で動作が交換されてもよい。本発明の範囲内で記述される方法に段階が追加または削除されてもよい。
いくつかの態様を記載しておく。
〔態様１〕
感知されたオーディオを含むオーディオ情報および付随する制御情報を含む第一の複数のオーディオ・アップリンク入力ストリームを混合して少なくとも一の会議参加者にダウンリンクするための少なくとも一つのオーディオ・ダウンリンク出力ストリームを生成する型のオーディオ遠隔会議混合システムにおいて、複数の現在のオーディオ・アップリンク・ストリームを混合して前記少なくとも一つのオーディオ出力ストリームを生成する方法であって、前記オーディオ・アップリンク入力ストリームは連続伝送（CTX）ストリームおよび不連続伝送（DTX）ストリームを含む可能性があり、当該方法は：
（ａ）前記現在のオーディオ・アップリンク・ストリームそれぞれの確からしい重要性を示す多弁性指標を決定する段階と；
（ｂ）前記現在のオーディオ・アップリンク・ストリームの少なくとも一つがCTXストリームである場合には、前記少なくとも一つのオーディオ出力ストリームを生成するための混合において少なくとも一つのCTXストリームを利用する段階とを含む、
方法。
〔態様２〕
段階（ｂ）において、少なくとも一つの現在のダウンリンク出力ストリームを生成するための混合において、最高の多弁性指標をもつCTXストリームを利用する段階をさらに含む、態様１記載の方法。
〔態様３〕
段階（ｂ）がさらに；
（ｉ）検出された発話がない付属CTXストリームが存在する場合には、該付属CTXストリームを時間的に減衰させる段階を含む、
態様１記載の方法。
〔態様４〕
段階（ｂ）がさらに：
（ｉｉ）最高の多弁性指標をもつ現在のCTXストリームが長期間にわたって与えられる声をもたない場合は、その現在のCTXストリームを時間的に減衰させる段階を含む、
態様３記載の方法。
〔態様５〕
（ｃ）オーディオ入力ストリームの数が所定の限界を超える場合には、最も低い多弁性指標をもついくつかのCTXストリームを破棄する段階をさらに含む、
態様１ないし４のうちいずれか一項記載の方法。
〔態様６〕
複数のオーディオ入力ストリームを混合してそれにより少なくとも一の電話エンドポイントに送るための少なくとも一つのオーディオ出力ストリームを生成するよう構成されている型のオーディオ遠隔会議混合システムにおいて、前記複数のオーディオ入力ストリームに基づいて前記少なくとも一つのオーディオ出力ストリームを生成する方法であって、当該方法は：
前記複数のオーディオ入力ストリームが、以下で「雑音担持オーディオ入力ストリーム」と称される、無視できるより多くの量の人間に知覚できる背景雑音を含むと予期される少なくとも一つのオーディオ入力ストリームを含むことおよびその雑音担持オーディオ入力ストリームまたはそれらの雑音担持オーディオ入力ストリームのすべてが現在発話が検出されないオーディオ・ストリームであることを判別する段階と；
その雑音担持オーディオ入力ストリームまたはそれらの雑音担持オーディオ入力ストリームの少なくとも一つを、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む、
方法。
〔態様７〕
前記複数のオーディオ入力ストリームが複数の雑音担持オーディオ入力ストリームを含むことおよびそれらの雑音担持オーディオ入力ストリームのすべてが現在発話が検出されないオーディオ・ストリームであることを判別する段階と；
それらの雑音担持オーディオ入力ストリームのそれぞれについての知覚される重要性の指標を決定する段階と；
知覚される重要性のそれぞれの指標に基づいて、前記雑音担持オーディオ入力ストリームの部分集合を選択する段階と；
前記雑音担持オーディオ入力ストリームの前記部分集合を、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む、
態様６記載の方法。
〔態様８〕
知覚される重要性の指標が最も高い前記一つまたは複数の雑音担持オーディオ入力ストリームを選択する段階と；
選択された雑音担持オーディオ入力ストリーム（単数または複数）を前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む、
態様７記載の方法。
〔態様９〕
複数のオーディオ入力ストリームを混合してそれにより少なくとも一の電話エンドポイントに送るための少なくとも一つのオーディオ出力ストリームを生成するよう構成されている型のオーディオ遠隔会議混合システムにおいて、前記複数のオーディオ入力ストリームに基づいて前記少なくとも一つのオーディオ出力ストリームを生成する方法であって、当該方法は：
前記複数のオーディオ入力ストリームが、以下で「無視できる雑音のオーディオ入力ストリーム」と称される、高々無視できる量の人間に知覚できる背景雑音を含むと予期される少なくとも一つのオーディオ入力ストリームを含むことおよびその無視できる雑音のオーディオ入力ストリームまたはそれらの無視できる雑音のオーディオ入力ストリームのすべてが現在発話が検出されないオーディオ・ストリームであることを判別する段階と；
その無視できる雑音のオーディオ入力ストリームまたはそれらの無視できる雑音のオーディオ入力ストリームの少なくとも一つを、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む、
方法。
〔態様１０〕
前記無視できる雑音のオーディオ入力ストリームのすべてを、前記少なくとも一つのオーディオ出力ストリームに含めることを含む、態様９記載の方法。
〔態様１１〕
複数のオーディオ入力ストリームを混合してそれにより少なくとも一の電話エンドポイントに送るための少なくとも一つのオーディオ出力ストリームを生成するよう構成されている型のオーディオ遠隔会議混合システムにおいて、前記複数のオーディオ入力ストリームに基づいて前記少なくとも一つのオーディオ出力ストリームを生成する方法であって、当該方法は：
前記複数のオーディオ入力ストリームが、発話が現在検出されている雑音担持オーディオ入力ストリームを閾値数より多く含むことを判別する段階と；
前記雑音担持オーディオ入力ストリームのそれぞれについての知覚される重要性の指標を決定する段階と；
知覚される重要性のそれぞれの指標に基づいて、前記雑音担持オーディオ入力ストリームの部分集合を選択する段階と；
前記雑音担持オーディオ入力ストリームの前記部分集合を、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む、
方法。
〔態様１２〕
前記複数のオーディオ入力ストリームが、発話が現在検出されている無視できる雑音のオーディオ入力ストリームをさらに含むことを判別する段階と；
前記無視できる雑音のオーディオ入力ストリームを、前記雑音担持オーディオ入力ストリームの前記部分集合とともに、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む、
態様１１記載の方法。
〔態様１３〕
前記複数のオーディオ入力ストリームが、発話が現在検出されている複数の無視できる雑音のオーディオ入力ストリームをさらに含むことを判別する段階と；
前記無視できる雑音のオーディオ入力ストリームを、前記雑音担持オーディオ入力ストリームの前記部分集合とともに、前記少なくとも一つのオーディオ出力ストリームに含める段階とを含む、
態様１２記載の方法。
〔態様１４〕
オーディオ入力ストリームについての知覚される重要性の前記指標を決定することは、そのオーディオ入力ストリームが現在の通話の間にどのくらいの発話を含んでいたかを示す指標を含む、態様７、８、１１、１２、１３のうちいずれか一項記載の方法。
〔態様１５〕
前記雑音担持オーディオ入力ストリームまたは前記雑音担持オーディオ入力ストリームのそれぞれが、連続伝送（CTX）オーディオ入力ストリームである、態様６、７、８、１１、１２、１３、１４のうちいずれか一項記載の方法。
〔態様１６〕
前記無視できる雑音のオーディオ入力ストリームまたは前記無視できる雑音のオーディオ入力ストリームのそれぞれが、不連続伝送（DTX）オーディオ入力ストリームである、態様９、１０、態様１２または態様１０もしくは１２を引用する態様のうちいずれか一項記載の方法。
〔態様１７〕
遠隔会議混合システムにおいて使うための装置であって、複数のオーディオ入力ストリームを受領し、それらのオーディオ入力ストリームに基づいて少なくとも一つのオーディオ出力ストリームを生成するよう構成されており：
態様１ないし５のうちいずれか一項記載の方法；
態様６ないし８または１４ないし１６のうちいずれか一項記載の方法；
態様９または１０または１６のうちいずれか一項記載の方法；および
態様１１ないし１３または１４ないし１６のうちいずれか一項記載の方法
のうちの少なくとも一つを実行するよう構成されているプロセッサを有する、
装置。
〔態様１８〕
遠隔会議混合システムにおいて使うための装置であって、複数のオーディオ入力ストリームを受領し、それらのオーディオ入力ストリームに基づいて少なくとも一つのオーディオ出力ストリームを生成するよう構成されている装置のプロセッサによって実行されたときに、前記装置に：
態様１ないし５のうちいずれか一項記載の方法；
態様６ないし８または１４ないし１６のうちいずれか一項記載の方法；
態様９または１０または１６のうちいずれか一項記載の方法；および
態様１１ないし１３または１４ないし１６のうちいずれか一項記載の方法
のうちの少なくとも一つを実行させる、
コンピュータにより解釈可能な命令を担持しているコンピュータ可読媒体。
【図１】
0006408020.tif 000004
【図２】
0006408020.tif 000005
【図３】
0006408020.tif 000006