(57)【要約】会議設定の参加者の符号化のシステムおよび方法を提供する。一実施形態では、システムによって、ボイスオーバＩＰ設定における会議参加者からの音声が受信されて処理されてもよい。一実施形態では、音声は圧縮形式で受信され、処理のために解凍されてもよい。各参加者に対してリターン音声が生成され、（該当する場合は）圧縮されて、参加者に送信する。該システムは、参加者が同一の音声符号化形式を使用し、それによって類似または同一である可能性がある音声を受信している場合を認識することができる。音声は、参加者毎の代わりに、１回のみ符号化できる。したがって、冗長な符号化が識別および消去され、結果的にＣＰＵの使用が少なくなる。【選択図】図１
2016528829.tif 000002
【特許請求の範囲】
【請求項１】
冗長動作の識別および消去を経た会議通信設定における参加者の計算量を軽減する方法であって、前記方法は、
ａ．信号処理手段によって前記会議通信設定の参加者の音声を受信するステップと、
ｂ．前記信号処理手段によって各参加者の状態を判定するステップと、
ｃ．会議システムによって、各参加者へのリターン音声を生成するために前記音声を処理するステップと、前記処理は、
ｉ． 類似の音声符号化形式を使用および類似の音声を受信する会議参加者の認識、ならびに
ｉｉ．類似の属性を有する参加者のための、前記冗長動作が消去される前記類似の音声の符号化を含み、
ｄ．会議システムによって、前記参加者に前記リターン音声を送信し、類似の属性を有する前記参加者が冗長動作の消去されたリターン音声を受信するステップと
を含む、方法。
【請求項２】
前記属性が圧縮形式、パケット化サイズ、ゲイン設定、ＩＶＲ音声、補助音声のうち一つまたは複数を含む、請求項１に記載の方法。
【請求項３】
類似の属性を有する参加者のための前記類似の音声の符号化が
ａ．参加者の属性を特定するビットパターンの符号化、および
ｂ．署名を形成するための、すべての属性のためのビットパターンの結合を含む、請求項１に記載の方法。
【請求項４】
前記署名が、ビットレンジが一つの属性について確保されている６４ビット符号なし整数として構成される、請求項３に記載の方法。
【請求項５】
前記ビットレンジが０−１５、１６−２３、２４−２７、２８−３５、３６−５１および５２−６４を含む、請求項４に記載の方法。
【請求項６】
段階（ｃ．ｉ）が会議ミキシング手段によって実行され、
ａ．各参加者ための時間間隔に等しい音声のセグメントを読み込むステップと、
ｂ．どの参加者が前記時間間隔のための音声に寄与するかを判定し、少なくとも２組の参加者にを割り当てるステップと、
ｃ．固有のエンコーダ例を参加者の各組に割り当てるステップと、
ｄ．前記音声を準備し、前記音声を固有の符号化例に書き込むステップであって、
ｉ．どの入力が前記音声に寄与するか判断するために前記音声が分析され、
ｉｉ．前記分析から出力参加者リストが形成され、
ｉｉｉ．エンコーダが各参加者の出力に割り当てられ、
ｉｖ．ミキシング手段によって、前記要求される固有のミキシング値が生成されるステップと、
ｅ．符号化例と関連づけられた各参加者に前記符号化された音声を書き込むステップと
をさらに含む、請求項１に記載の方法。
【請求項７】
前記時間間隔が１０ミリ秒である、請求項６に記載の方法。
【請求項８】
前記時間間隔が２０ミリ秒である、請求項６に記載の方法。
【請求項９】
段階（ｂ）の前記判定が、音声セグメント、参加者の現在の状態、参加者の以前の状態、他の参加者の発話状態に関する参加者の以前の状態および会議設定のうち少なくとも一つに基づいてなされる、請求項６に記載の方法。
【請求項１０】
段階（ｂ）の前記参加者の割り当てがアクティブな参加者と非アクティブな参加者とに従ってなされる、請求項６に記載の方法。
【請求項１１】
前記アクティブな参加者が発話している、請求項１０に記載の方法。
【請求項１２】
前記符号化例が指定された基準によって割り当てられる、請求項６に記載の方法。
【請求項１３】
前記指定された基準が
ａ．参加者が前記時間間隔に寄与しているかを判定し、
ｉ．前記参加者が前記時間間隔に寄与しており、かつ、少なくとも１名の他の参加者と共有する割り当てられた符号化例を有している場合、音声の連続性を維持するため、前記参加者は以前の符号化例から複製した状態の新たな固有の符号化例が割り当てられ、
ｉｉ．前記参加者が前記時間間隔に寄与していない場合、属性署名に基づいて前記参加者を他の任意の参加者とグループ化し、前記グループに属する参加者に一つのマッチングエンコーダを割り当てることを含む、請求項１２に記載の方法。
【請求項１４】
前記符号化例の数が前記参加者の数に等しい、請求項１３に記載の方法。
【請求項１５】
参加者が望ましい音声を発生し始めたときに、信号処理装置が送信した警告によって、参加者が寄与していると判断される、請求項１に記載の方法。
【請求項１６】
前記望ましい音声が発言を含む、請求項１５に記載の方法。
【請求項１７】
寄与する会議参加者の最大数が設定されており、前記設定は一時的な超過を受容可能である、請求項１に記載の方法。
【請求項１８】
前記類似の音声が同一の符号化形式を含む、請求項１に記載の方法。
【請求項１９】
前記会議通信設定がビデオ会議を含む、請求項１に記載の方法。
【請求項２０】
前記動作が符号化を含む、請求項１に記載の方法。
【請求項２１】
冗長符号化の識別および消去を経たボイスオーバＩＰ会議設定における参加者の計算量を軽減する方法であって、前記方法は、
ａ．参加者が音声を発生し始めた場合に信号処理装置から警告を受信するステップと、
ｂ．前記信号処理装置によって、音声を発生するアクティブな参加者一覧に前記参加者を追加するステップと、
ｃ．前記信号処理装置によって、前記参加者の音声が発言であるかを判定し、前記音声が発言でないと判定された場合は前記一覧から前記参加者を削除するステップと、
ｄ．会議システムによって、非アクティブと判定された参加者が類似の音声符号化形式を使用し、かつ、類似の音声を受信しているかを識別するステップと、
ｅ．前記会議システムによって、冗長性を低減するためにすべての非アクティブな参加者のための前記類似の音声を符号化するステップと、
ｆ．前記会議システムによって、符号化例と関連づけられた各参加者に前記符号化された音声を準備して書き込むステップと
を含む、方法。
【請求項２２】
段階（ｄ）は、
ａ．会議参加者の属性を特定し、かつ、前記属性に割り当てられた値を特定するビットバターンを符号化するステップと、
ｂ．各属性のために確保されたビットレンジを有する署名を構成するために属性の前記ビットパターンを結合し、参加者が同じ署名を有しており、かつ、アクティブな会議参加者の一覧に載っていない場合は、参加者が類似の音声符号化形式を使用し類似の音声を受信するステップとを含む、請求項１９に記載の方法。
【請求項２３】
段階（ｆ）は、
ａ．アクティブな会議参加者による音声入力の合計を収容可能な音声バッファを準備するステップと、
ｂ．段階（ａ）で準備された前記バッファからの音声より前記非アクティブな参加者からの前記音声を減じた音声を収容するバッファを準備するステップとをさらに含む、請求項１９に記載の方法。
【請求項２４】
前記類似の音声の符号化が指定された基準を使用した符号化例の割り当てを含む、請求項１９に記載の方法。
【請求項２５】
前記指定された基準が
ａ．アクティブな会議参加者の音声の連続性を維持するために、以前の符号化例から複製した状態の固有の符号化例を割り当て、
ｂ．属性署名による非アクティブな会議参加者の組に共有符号化例を割り当てることを含む、請求項２２に記載の方法。
【請求項２６】
前記属性が圧縮形式、パケット化サイズ、ゲイン設定、ＩＶＲ音声、補助音声のうち一つまたは複数を含む、請求項２０に記載の方法。
【請求項２７】
前記署名が、ビットレンジが一つの属性について確保されている６４ビット符号なし整数として構成される、請求項２０に記載の方法。
【請求項２８】
前記ビットレンジが０−１５、１６−２３、２４−２７、２８−３５、３６−５１および５２−６４を含む、請求項２５に記載の方法。
【請求項２９】
音声セグメント、会議参加者の現在の状態、会議参加者の以前の状態、他の参加者の発話状態に関する参加者の以前の状態、会議設定のうち少なくとも一つに基づいて、参加者がアクティブであると判定される、請求項２１に記載の方法。
【請求項３０】
前記会議通信設定がビデオ会議を含む、請求項２１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全般に通信システムおよび方法並びにボイスオーバＩＰ（ボイスオーバインターネットプロトコル）の電話会議に関する。より具体的には、本発明は、会議参加者の符号化など冗長動作の識別および消去に関係がある。
【発明の概要】
【０００２】
会議設定の参加者の符号化のシステムおよび方法を提供する。一実施形態では、そのシステムによって、ボイスオーバＩＰ設定における会議参加者からの音声が受信されて処理されてもよい。また、一実施形態では、音声は圧縮形式で受信され、処理のために解凍されてもよい。各参加者に対してリターン音声（ｒｅｔｕｒｎ  ａｕｄｉｏ）が生成され、（該当する場合は）圧縮されて、参加者に送信される。該システムは、参加者が同一の音声符号化形式を使用し、それによって類似または同一の可能性がある音声を受信している場合を認識することができる。音声は、参加者毎の代わりに、１回のみ符号化できる。したがって、冗長な符号化が識別および消去され、結果的にＣＰＵの使用が少なくなる。
【０００３】
一実施形態では、冗長動作の識別および消去を経た会議通信設定における参加者の計算量を軽減する方法であって、前記方法は、ａ）信号処理手段によって前記会議通信設定の参加者の音声を受信するステップと、ｂ）前記信号処理手段によって各参加者の状態を判定するステップと、ｃ）会議システムによって、各参加者へのリターン音声を生成するために前記音声を処理するステップと、前記処理は、類似の音声符号化形式を使用および類似の音声を受信する会議参加者の認識、ならびに、類似の属性を有する参加者のための、前記冗長動作が消去される前記類似の音声の符号化を含み、ｄ）会議システムによって、前記参加者に前記リターン音声を送信し、類似の属性を有する前記参加者が冗長動作の消去されたリターン音声を受信するステップとを含む。
【０００４】
他の実施形態では、冗長符号化の識別および消去を経たボイスオーバＩＰ会議設定における参加者の計算量を軽減する方法であって、前記方法は、ａ）参加者が音声を発生し始めた場合に信号処理装置から警告を受信するステップと、ｂ）前記信号処理装置によって、音声を発生するアクティブな参加者一覧に前記参加者を追加するステップと、ｃ）前記信号処理装置によって、前記参加者の音声が発言であるかを判定し、前記音声が発言でないと判定された場合は前記一覧から前記参加者を削除するステップと、ｄ）会議システムによって、非アクティブと判定された参加者が類似の音声符号化形式を使用し、かつ、類似の音声を受信しているかを識別するステップと、ｅ）前記会議システムによって、冗長性を低減するためにすべての非アクティブな参加者のための前記類似の音声を符号化するステップと、ｆ）前記会議システムによって、符号化例と関連づけられた各参加者に前記符号化された音声を準備して書き込むステップとを含む。
【図面の簡単な説明】
【０００５】
【図１】図１は、システムの一実施形態を示す概略図である。
【図２】図２は、参加者の符号化例に関する処理の一実施形態を示すフローチャートである。
【発明を実施するための形態】
【０００６】
本発明の原理の理解を助ける目的で、ここに図に示された実施形態について説明を行い、説明には特定の用語が使用される。しかしながら、これは本発明の範囲の限定を意図するものではない。本実施形態のいかなる改良やさらなる変更、並びにここに示された本発明の本質のいかなるさらなる適用も本発明に関連する分野の当業者が通常想起することは想定される。
【０００７】
音声会議は、例えば、少なくとも２名の参加者による音声通話やビデオ会議などの通信であってもよい。任意の参加者が発話することができ、各参加者は他の会議参加者全員の合わさった音声を聞くことができる。一定の時間に話中である参加者が少数のみである可能性があるため、参加者全員の音声を合わせることは、望ましくない。話中でない参加者は、バックグラウンドノイズをもたらすのみかもしれない。会議参加者数が増えると、バックグラウンドノイズがさらに顕著になる可能性がある。現代の会議の実施においては、各参加者に音声活動検出アルゴリズムの適用によって判定される話中の参加者の音声のみを合わせることができる。こうして、現在話中でないすべての参加者は、同一の音声を受信する。
【０００８】
会議音声を現在話中の参加者のグループに制限すると、すべての話中でない参加者が完全に同じ音声（話中の参加者の合わさった音声）を受信する結果を生じる可能性がある。例えば、１０名の相手がいる会議で、１０番目を除きすべての相手が無言であったとする。これにより、１番目から９番目は同じ音声（１０番目の相手の音声）を聞く。他の例では、すべての相手が９番目と１０番目を除き無言の場合、１番目から８番目までの相手は同じ音声（９番目と１０番目の相手の合わさった音声）を聞く。同じ音声符号化形式を使用し、同一の音声を受信する参加者は識別されて、音声が参加者毎ではなく、１回で符号化される。一実施形態では、符号化などの冗長動作は、ボイスオーバＩＰ会議の設定における参加者のパケット毎に識別および消去され得る。
【０００９】
符号化された音声は、同じ会議音声を受信する参加者によってのみ共有することができる。一実施形態では、同じ符号化された音声を共有している会議参加者は、例えば圧縮形式、パケット化サイズ、ゲイン設定、ＩＶＲ音声入力などの同じ属性を用いなければならない。これらの各属性にとっての可能な選択肢は、属性値を特定する整数に符号化されることができる。これらの属性の該整数は、属性署名を構成するために組み合わせることができる。同じ会議音声を受信し、かつ、類似または同一の属性署名を有する参加者は、同じ符号化音声を受信する。署名は、各属性のために確保されているビットレンジを有する６４ビット符号なし整数として構成され得る。任意の順序およびビットレンジは、一実施形態の範囲内であるが、次に非限定的な例を示す。
【００１０】
ビット値０−１５に割り当てられたＩＶＲ／補助音声ソース；
【００１１】
ビット値１６−２３に割り当てられたゲイン設定；
【００１２】
ビット値２４−２７に割り当てられたパケット化サイズ；
【００１３】
ビット値２８−３５に割り当てられた音声圧縮形式のオプション；
【００１４】
ビット値３６−５１に割り当てられた音声圧縮形式の識別子；
【００１５】
ビット値５２−６５に割り当てられた予備。
【００１６】
図１は、会議設定の一実施形態を表し、全体として１００で示されている。参加者１０５は、音声入力１０６を会議システム１１５に与えることができる。前記入力は、信号処理装置１１０を通過する。簡略化のために３名の参加者が示されているが、存在する参加者の任意の数が範囲内である。一般的に、参加者は、会議中にアクティブであってもよいし、パッシブであってもよい（例えば、話しているか、または、話していないか）。
【００１７】
信号処理装置１１０は、いくつかの機能を実行する手段を含む。一実施形態において、信号処理装置１１０は、音声活動検出を使用し、任意の時点で現在話している相手を判定するために発言の存在を検知する。話者の状態は、信号処理装置１１０からの瞬間的な状態とは異なる可能性があることに留意すべきである。例えば、参加者が音声の生成を停止した場合に、会議システムは、短い設定時間（たとえば、１〜２秒）、該参加者をまだアクティブな話者であるとみなすかもしれない。発言の検出は、各相手に個別に実行されてもよい。他の実施形態では、信号処理装置は、エコーを取り除く。特に、参加者に送信される音声のエコーは除去されてもよい。他の実施形態において、音量がより低い相手の音量を上げて音量がより高い相手の音量を下げるために、自動レベル制御を使用することができる。さらに他の実施形態において、ノイズ低減が実行されてもよい。会議全体の質を向上するために、非音声ノイズを相手の音声からフィルターで取り除くことができる。処理された音声１１１は、会議システム１１５に送られる。
【００１８】
会議システム１１５は、エンコーダ１２０、ミキサ１２５、アクティブスピーカ選択装置１３０を備えていてもよい。エンコーダ１２０は、参加者１０５から受信した音声を圧縮することができる。一実施形態において、音声圧縮は、送信される音声のサイズを削減するために実行される。
【００１９】
ミキサ１２５は、所定の時間間隔で操作することができ、実行時に決定されてもよい。一実施形態において、時間間隔は、１０ｍｓまたは２０ｍｓなどのミリ秒（ｍｓ）であってもよい。ミキサ１２５は、下記の図２に詳細に記載されているように、話中である参加者と話中でない参加者両方を符号化例に関連付けることができる手段を含む。
【００２０】
アクティブ参加者選択装置１３０は、会議設定における参加者１０５の状態を判断する。一実施形態において、会議参加者は、話中である等によってアクティブであってもよいし通信において非アクティブであってもよい。該判断は、例えば、音声セグメント、参加者の現在の状態、参加者の以前の状態、他の参加者の発話状態に関する参加者の以前の状態、および会議設定に基づいてなされることができる。
【００２１】
音声セグメントは、現在処理中の区間に含まれる音声を含むことができる。音声セグメントは、１０ｍｓまたは２０ｍｓなどの時間間隔における信号処理装置の音声活動検出の結果である。参加者の現在の状態は、参加者が時間間隔において話中であるか否かを含んでもよいし、一方、参加者の以前の状態は、それ以前の時間間隔において話中であったか否かを含んでもよい。発話状態の参加者が会議設定の許容を超えている場合は、話中のどの参加者が合わさった話者の音声に寄与しているか判断されなくてはいけない。該判断は、参加者が各状態にあった時間の長さを含む参加者の現在の状態と以前の状態を比較することによってなされてもよい。一実施形態において、会議が最大３名のアクティブな話者に限られており、４名の参加者が現在話中であるとすると、最も長く話中であった３名が合わされた音声に選ばれてもよい。会議設定は、アクティブな話者の最小数および最大数、話者が様々な状態を保つ時間の長さ等の各ミキサ間隔における正しい参加者を選ぶために必要な設定を含むことができる。
【００２２】
音声出力１３５は、会議システム１１５から参加者１４０に送信される。音声出力１３５は、固有の符号化例を有する符号化された音声を含むことができる。参加者１４０は、話中でない参加者を含むことができる。簡略化のために参加者１４０が３名しか表示されていないが、存在する参加者の任意数が範囲である。参加者は話中の状態と話中でない状態を移行することができ、その逆も可能であることに留意しなければならない。
【００２３】
図２は、符号化例を有する参加者に関する処理２００を示す。該処理は、システム１００の会議ミキサ１２５において動作可能であってもよい。
【００２４】
操作２０５において、音声が受信される。例えば、各参加者から音声セグメントが読み込まれる。音声セグメントは、予め設定された時間間隔に等しくてもよい。制御は操作２１０に引き継がれ、処理２００は継続する。
【００２５】
操作２１０において、音声および符号化形式が発話状態を判断するために分析される。例えば、会議参加者の発話状態は、音声セグメントおよび該参加者の以前の状態の分析に基づいて判断される。制御は操作２１５に引き継がれ、処理２００は継続する。
【００２６】
操作２１５において、話者の選別が発生する。例えば、信号処理装置によって判断されたように、一定の時間間隔においてどの相手がアクティブな話者であるとして処理されるか決定するために会議の相手全員と会議設定が調べられる。会議参加者は、発言が検知されたか否かに基づいていくつかの組に分割されてもよい。一実施形態において、話中の参加者と話中でない参加者を含む２つの組があってもよい。該組は、寄与しているか寄与していないかの組とも呼ぶことができる。一実施形態において、参加者は、会議構成において最小限の貢献をする参加者であるべく発言せずに寄与することができる。他の実施形態において、会議構成におけるアクティブな話者の最大数の設定のために、話中の参加者が寄与していると判断されない場合もある。制御は操作２２０に引き継がれ、処理２００は継続する。
【００２７】
操作２２０において、エンコーダが割り当てられる。例えば、符号化例が操作２１５（例えば、寄与しているか、寄与していないか等）において形成された組に基づいて割り当てられる。ある実施形態において、符号化例は、参加者が寄与している（もしくは話中である）参加者であるか、または、寄与していない（もしくは話中でない）参加者であるか否かに基づいて割り当てられてもよい。参加者が話中の組にいる場合または発話状態である場合であって、他の参加者と共有する符号化例が現在割り当てあてられている場合、該参加者は、新しく、他者と共有しない、音声の連続性を維持するために以前のエンコーダから複製した状態を有する符号化例を割り当てられることができる。話中でない組、または、話中でない状態の参加者は、属性署名によってグループ化され、他の話中でない参加者と共有できるマッチング符号化を割り当てられる。
【００２８】
一実施形態において、参加者が話中の状態から話中でない状態へ移行する場合に、該参加者は共有されたエンコーダ状態に割り当てられることができる。短い聴取可能なアーチファクトを通話に取り入ることが可能であるが、この効果が無視できない場合や例えばＧ．７２９等のステートフル符号化例においては、連続性が保証されない。制御は操作２２０に引き継がれ、処理２００は継続する。
【００２９】
操作２２５において、固有のミックス音声が作成される。例えば、ミキサは参加者全員に音声を作成することができる。話中でないすべての参加者は同一の音声をきき、これにより、すべての話中の参加者のミックス音声を受信する。例えば、それぞれの話者が共通のミックス音声から自身の入力した音声を差し引いて受信するように、話中の参加者それぞれに対して他の話中の参加者全員のミックス音声が作られる。制御は操作２３０に引き継がれ、処理２００は継続する。
【００３０】
操作２３０において、音声は各組に対して符号化されて送信される。例えば、適切な会議音声が準備され、各固有の符号化例に書き込まれる。該符号化された音声は、その符号化例に関連する各参加者に書き込まれる。該符号化された音声が送信される。同一のエンコーダ署名を共有する寄与していない組に対しては、ミックス音声の単一の符号化が行われ、その組に対して送信される。したがって、割り当てられたエンコーダは、会議に参加する全員を満足させる最小数の符号化を実行するために使用される。処理２００は終了する。
【００３１】
図および前述の説明において本発明を詳細に表し、記述したが、これらは単に説明であり、特徴を限定するものではない。好ましい実施形態のみが表され、記述されていると理解すべきであって、ここに記載されているおよび／または後述の保護を求める特許請求の範囲にある本発明の精神の範囲内からくるすべての均等物、変更、修正が含まれると理解すべきである。
【００３２】
ゆえに本発明の適切な範囲は、添付の特許請求の範囲の最も広い解釈によって決めるべきであり、そのようなすべての修正並びに図面に表された事項および明細書に記載された事項と均等の関係にあるすべての事項が含まれる。
【図１】
2016528829.tif 000003
【図２】
2016528829.tif 000004
【国際調査報告】
2016528829.tif 000005