(57)【要約】      （修正有）【課題】会議システムが動作する環境から、音情報（発言音声、エコー、ノイズなど）を受信し、再生される遠隔通信装置に音情報を送信する前に、それらを処理するように動作する会議システムを提供する。【解決手段】音声またはテレビ会議システムは、音情報を受信し、音情報をサンプリングし、各音情報のサンプルを１つ以上の音特性を表す音画像表現に変換するように動作する。各音画像表現はトレーニングされたニューラルネットワークの入力に適用され、トレーニング音画像表現を使用して、音の異なるクラスを識別し、ニューラルネットワークの出力がニューラルネットワークに適用された音画像表現に関連付けられた音のクラスの識別出力である。音のクラスの識別出力は、音を遠隔通信システムに送信する前に、該音のサンプルを処理する方法を決定するために使用する。【選択図】図２
2020091465.tif 000002
【特許請求の範囲】
【請求項１】
音の異なるタイプを識別するための方法であって、
複数の異なるタイプの音を記録し、その音タイプに対応する一意の識別子を各記録にラベル付けすることと、
各音記録を複数のトレーニング音画像表現に変換することと、ここで、各トレーニング音画像表現は前記対応する一意の音タイプ識別子に関連付けられ、
前記複数のトレーニング音画像表現のうちの少なくとも一部をニューラルネットワークに適用することによって異なる音タイプを識別するように、前記ニューラルネットワークをトレーニングすることと、
会議システムにおいて、該会議システムの近傍の音源によって生成された音を受信し、該音を複数の音画像表現に変換することと、
前記音画像表現を前記トレーニングされたニューラルネットワークに適用し、該ニューラルネットワークが前記音画像表現に作用して前記複数の異なる音タイプのうちの少なくとも１つを識別すること、
でなる方法。
【請求項２】
前記識別された少なくとも１つの一意の音タイプに対応する信号処理機能を伴う、前記音源から受信された前記音に作用する前記会議システムをさらに備える、請求項１に記載の方法。
【請求項３】
前記信号処理機能はマイクロホン信号減衰、マイクロホン信号ゲーティング、残響除去及び周波数等化から構成される、請求項２に記載の方法。
【請求項４】
各音記録が周期的にサンプリングされ、前記音のサンプルが音画像表現に変換される、請求項１に記載の方法。
【請求項５】
前記音の周期的なサンプルの少なくとも一部は時間的に重複する、請求項４に記載の方法。
【請求項６】
前記複数の異なるタイプの音には、近距離音声音、遠距離音声音、ノイズ及び無音を含む、請求項１に記載の方法。
【請求項７】
前記近距離音声音のタイプには、前記会議システムから異なる距離または異なる距離範囲に位置する複数の音源から前記会議システムによって受信される音を含み、各距離または距離範囲にはそれぞれ一意の前記音タイプ識別子が割り当てられる、請求項６に記載の方法。
【請求項８】
各音画像表現は、１つ以上のマイクロホン信号音特性の視覚的表現である、請求項１に記載の方法。
【請求項９】
前記会議システムは音声会議システムまたはテレビ会議システムである、請求項１に記載の方法。
【請求項１０】
前記ノイズは任意の距離において前記会議システムによって受信された環境音であり、無音は音声音または環境音が無いことによって発生する低レベルの音エネルギーである、請求項６に記載の方法。
【請求項１１】
複数の音エネルギータイプを識別するシステムであって、
音声信号情報を受信及び送信するように動作するネットワーク通信装置を備え、前記通信装置は、
マイクロホン信号を音画像表現に変換するように動作する機能と、
前記音画像表現を保持する記憶部と、
前記記憶された音画像表現に作用して、環境から前記システムによって受信された音の異なるタイプを識別する、トレーニングされたニューラルネットワークと、
前記ニューラルネットワークによって識別された現在の音タイプを保持する記憶部と
を有するマイクロホン信号処理機能を備える。
【請求項１２】
前記システムに関連する不揮発性コンピュータ可読媒体に保持された命令を備え、前記ニューラルネットワークによって検出された現在の音タイプに応じてマイクロホン信号を処理するために、前記システムによって保持される複数の信号処理技術の任意の１つ以上を選択するように動作する信号処理論理をさらに備える、請求項１１に記載のシステム。
【請求項１３】
音声会議システムまたはテレビ会議システムを備える、請求項１１に記載のシステム。
【請求項１４】
前記マイクロホン信号を周期的にサンプリングするように動作する機能をさらに備える、請求項１１に記載のシステム。
【請求項１５】
サンプリングされた前記マイクロホン信号を音画像表現に変換する機能を備える、請求項１４に記載のシステム。
【請求項１６】
前記音の周期的なサンプルの少なくとも一部は時間的に重複する、請求項１５に記載のシステム。
【請求項１７】
前記複数の異なるタイプの音には、近距離音声音、遠距離音声音、ノイズ及び無音を含む、請求項１１に記載のシステム。
【請求項１８】
前記近距離音声音のタイプには、前記会議システムから異なる距離または異なる距離範囲に位置する複数の音源から前記会議システムによって受信される音を含み、各距離または距離範囲にはそれぞれ一意の音タイプ識別子が割り当てられる、請求項１７に記載のシステム。
【請求項１９】
前記ノイズは任意の距離において前記会議システムによって受信された環境音であり、無音は音声音または環境音が無いことによって発生する低レベルの音エネルギーである、請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音エネルギーの複数の異なるクラスを識別するために訓練されたニューラルネットワークを使用する会議システムに関する。
【背景技術】
【０００２】
２人以上の個人を含む場所のうちの少なくとも１つを用いて２つの別々の場所で行われる会議は、音声またはテレビ会議システムを使用して容易に行うことができ、両者とも本明細書では会議システムと呼ばれる。音声会議システムは、通常、いくつかのマイクロホン、少なくとも１つのラウドスピーカ及び音声信号をシステムが使用可能な形式に変換するように動作する機能を含む。テレビ会議システムは、音声会議システムに関連する全ての機能を含むことができ、さらにカメラ、ディスプレイ及びビデオ信号をシステムが使用可能な情報に変換するための機能を含むことができる。
【０００３】
とりわけ、会議システムは、それが動作する環境から音情報（発言音声、エコー、ノイズなど）を受信し、再生される遠隔通信装置に音情報を送信する前に、いくつかの方法でそれらを処理するように動作する。一般的に、会議システムは、システムに対して近距離の話者によって生成された直接的な音エネルギーをできる限り多くキャプチャし、その他の音エネルギー（すなわち、エコー、残響、遠距離音及び周囲のノイズ）をできる限り除去するように設計されている。これに関して、会議システムは、いくつかの異なる方法で遠隔システムに送信された音声信号の品質を改善するように動作する機能で構成することができ、当該方法は、例えば、音声信号の一部または全てを増幅及び／または減衰すること、マイクロホンゲーティング動作を制御すること、環境ノイズまたは不要な遠距離の音声情報を抑制すること、残響エネルギーを除去すること及び／またはマイクロホン信号に存在する音響エコーを除去することなどである。
【０００４】
音声信号（すなわち、マイクロホン信号）の品質を改善するために、複数の異なるタイプまたはクラスの音に異なる信号処理技術を適用することができ、音は、音響エコー、残響音、遠距離音声もしくは近距離音声、ノイズ（すなわち、比較的高レベルの環境音）または無音（すなわち、比較的低レベルの環境音）に分類することができる。会議システムは、音の各クラスを処理するために、異なるまたは何らかの組み合わせの信号処理技術を使用するように構成することができる。例えば、音響エコー除去をマイクロホン信号に適用することによって、音響エコーを軽減することができる。残響音は、残響除去などのいくつかの異なる技術のうちの任意の１つを適用することによって、または特定の低いオーディオ信号周波数を減衰させることによって除去することができる。遠隔システムに送信される前に音声信号を減衰させることでノイズを軽減することができ、マイクロホンをゲーティング（オフ）にすることで音声信号から遠距離音を除去することができる。
【０００５】
環境要因は、マイクロホン信号の品質に寄与することがある。これらの要因には、とりわけ、会議システムが動作している環境の音響効果、会議システムのユーザに対するマイクロホンの位置及びマイクロホンとユーザとの間の距離、部屋の広さ、マイクロホンが受信した音響エネルギーのうちどの程度の量が直接エネルギーであり、どの程度の量が反射エネルギーであるかを含む場合がある。
【発明の概要】
【０００６】
以下図面を参照して説明する本発明の一実施例の概要は、音の異なるタイプを識別するための方法であって、複数の異なるタイプの音を記録し、その音タイプに対応する一意の識別子を各記録にラベル付けすることと、各音記録を複数のトレーニング音画像表現に変換することと、ここで、各トレーニング音画像表現は前記対応する一意の音タイプ識別子に関連付けられ、前記複数のトレーニング音画像表現のうちの少なくとも一部をニューラルネットワークに適用することによって異なる音タイプを識別するように、前記ニューラルネットワークをトレーニングすることと、会議システムにおいて、該会議システムの近傍の音源によって生成された音を受信し、該音を複数の音画像表現に変換することと、前記音画像表現を前記トレーニングされたニューラルネットワークに適用し、該ニューラルネットワークが前記音画像表現に作用して前記複数の異なる音タイプのうちの少なくとも１つを識別すること、からなる。
【図面の簡単な説明】
【０００７】
【図１】会議システムが動作している部屋を示す図である。
【図２】音の複数の異なるクラスを識別するシステムに基づいて、マイクロホン信号処理機能を有する音声会議システム１１０を示す。
【図３】音情報のサンプルがどのようにキャプチャされ得るかを示すタイムラインである。
【図４】会議システムを備えるニューラルネットワークをトレーニングするために、音の複数の異なるクラスに対応する音画像表現を記憶することができる構造を示す図である。
【図５】会議システムを備えるニューラルネットワークのための設計を示す図である。
【図６−１】５つの異なる音クラスのうち４つＡ〜Ｄに対応する音画像表現を示す図である。
【図６−２】該５つの異なる音声クラスのうち残りＥに対応する音画像表現を示す図である。
【図７Ａ】マイクロホン信号処理１８０を備える機能を示す図である。
【図７Ｂ】周波数等化機能を制御するために使用される命令群を示す図である。
【図８Ａ】マイクロホン信号処理方法の論理フロー図である。
【図８Ｂ】マイクロホン信号処理方法の論理フロー図である。
【発明を実施するための形態】
【０００８】
ＡＥＣ機能は、音響エコーの大部分を除去することによってマイクロホン信号の品質を向上させるよう会議システム内で動作することができるが、いくつかの環境要因及び人的要因を制御することは困難または不可能な場合があり、これらがマイクロホン信号の低品質化の一因となることがある。例えば、会議システムが動作する会議室の広さを制御することは不可能な場合がある。さらに、部屋の音響特性を改善することは可能であるが、会議セッションに参加する個人の増加もしくは減少に伴い、または電話会議中に参加者もしくは家具が移動すると、部屋の音響が変化する可能性がある。さらに、マイクロホンの位置及びマイクロホンと参加者との間の距離は変化するか、または最適ではない可能性があり、これは遠隔通信装置に送信される音声信号の品質に影響を及ぼす可能性がある。これらの環境上の制限と参加者の動力学を考慮すると、遠端システムに送信される音声が可能な限り高品質になるようにマイクロホン信号をキャプチャして処理することは困難な作業になる場合がある。
【０００９】
マイクロホンによってキャプチャされて音画像表現に変換された音情報を使用して、会議システムをトレーニングし、該システムによって受信された音の複数の異なるクラスまたはタイプ（すなわち、近距離音声、遠距離音声、ノイズ、無音）を識別することができること、及び音声信号において識別される音の各クラスが会議システムによる音声信号の処理方法を決定する要因となり得ることを、本発明者は発見した。
【００１０】
具体的には、音の各クラスまたはタイプの複数のトレーニング記録を、トレーニング音画像表現（すなわち、スペクトログラムまたはメル周波数ケプストラム係数すなわちＭＦＣＣ）に変換することができ、これらは、音記録の少なくとも一部分の１つ以上の特性の視覚的表現である。これらの音特性は、周波数または周波数範囲、振幅／パワー、及び時間であってよいが、これらに限定されない。次に、会議システムとは別個の、または会議システムに統合されたニューラルネットワークは、トレーニング音画像表現をニューラルネットワークの入力に適用することによって、音の各クラスを認識するようにトレーニング（訓練）され得る。ニューラルネットワークがトレーニングされると、電話会議中にシステムによって受信された音が音クラスに従って識別され、適切な信号処理技術を使用して各音クラスをこのシステムによって処理することができ、遠端の通信システムの電話に参加中の個人によって認識されるように、音声信号の品質を改善する。
【００１１】
１つの実施形態によると、ニューラルネットワークは、音源（すなわち、人物）から受信した発話音声に対応する近距離音を識別するようにトレーニングされ得る。近距離音とは、本明細書では、ある特定の距離内にある音源から本システムに到達する任意の音を意味し、通常は、例えば、システムマイクロホンの有効範囲である。さらに、近距離内の異なる距離から本システムに到達する音（すなわち、２フィートまたは４フィートの距離からシステムに到達する音、システムから０フィートを超えるが２フィート未満の音源からシステムに到達する音、または２フィートを超えるが４フィート未満の距離からシステムに到達する音）を識別するようにニューラルネットワークをトレーニングすることができる。このタイプの発話に関連する音は、本明細書では音の第１のクラスまたはタイプと呼ばれ、システムから音源までの距離に応じて、異なる信号処理技術を音に適用することができる。これに関して、音源から会議システムまでの距離に応じて、システムによってキャプチャされた音を備える特定の周波数帯域に、より多いまたはより少ない周波数等化（イコライゼーション）を適用することができる。
【００１２】
別の実施形態によると、ニューラルネットワークは、指定された最大距離（すなわち、マイクロホンの有効範囲）を超える音源からシステムに到着する音を認識し、この音を遠端のシステムに送信する前に、ゲーティングシステムマイクロホンによって信号から除去するようにトレーニングすることができる。この指定された最大距離は、本明細書では無限距離と呼ばれる。
【００１３】
別の実施形態によると、ニューラルネットワークは、システムに到達するノイズを認識し、ノイズを減衰させることによって、またはマイクロホンをゲーティングすることによって、信号を送信する前に信号からこのノイズ（すなわち、比較的高レベルの環境音）を除去するようにトレーニングすることができる。
【００１４】
さらに別の実施形態によると、システムは、比較的低レベルの環境ノイズ（無音）を認識し、低レベルのノイズを減衰させることによって、またはシステムマイクロホンをゲーティングすることによって、必要に応じて信号からこのノイズを除去するようにトレーニングすることができる。
【００１５】
これら及び他の実施形態は、図面を参照して説明され、図１は、通信ネットワーク（図示せず）を介して、遠隔通信システムに接続された会議システム１１０、会議システムの近傍の会議テーブル１１１の周囲に位置する近距離音源Ａ、Ｂ及びＣとラベル付けされた何人かの電話会議参加者またはシステムユーザ、ならびにそれぞれ周囲のノイズ音源１１２及び遠距離音源１２１を有する会議室１００を示す図である。会議システム１１０は、一般に、会議室の近距離（ローカル）の（または会議室の近傍、すなわち会議室のドア開口部の近傍に配置された）音源によって生成された音を受信し、この音を音声信号として遠端（遠隔）通信装置に送信する前に、受信した音を様々な方法で処理するように動作する。この場合にはシステムユーザである近距離音源は、会議システムから異なる距離で会議テーブルの周りに配置されて示されており、音源Ａ、音源Ｂ及び音源Ｃのそれぞれの音源は、会議システムに直接伝わる音（この場合は音声信号）及び会議室の１つ以上の壁に反射した後にシステムに到達する音を生成する。本説明による近距離音エネルギーは、会議システム１１０を構成するマイクロホン（図示せず）の有効動作範囲内で生成される音を指し、マイクロホンの有効動作範囲（したがって、近距離に関連する領域）はマイクロホンの仕様に応じて変化する可能性がある。システムに直接伝わらない音エネルギーは、本明細書では反射音または残響音と呼ばれる。
【００１６】
図１を続けて参照すると、遠距離音エネルギーの音源１２１は、発話しているが現在電話会議に参加していない会議室１００内の（またはその部屋の近傍の）人物とすることができ、ノイズ音源１１２によって生成される周囲のノイズは、会議室の中またはその近傍で生成され、会議システムによってキャプチャされる任意の非発話音とすることができる。このノイズは、部屋の中またはその近傍で動作中の任意のタイプの機器によって近距離または遠距離で生成されるか、電話会議に参加しているか、または参加していない人によって生成される場合がある。
【００１７】
前述の通り、会議システムは、再生される遠隔装置に送信される音声信号の品質を改善するために、会議システムが動作する環境から受信した音エネルギーを処理するように設計されている。これに関して、会議システムは通常、音声信号から不要な音エネルギーをできる限り除去するために、この音エネルギーを識別するように動作する機能を有する。これに関して、適応フィルタを使用して音響エコーを除去することができ、到来方向機能を使用してマイクロホンビーム形成（空間フィルタリング）を駆動することができ、音声アクティビティ検出はマイクロホンゲーティングまたは音声信号減衰を制御することができ、特定の音エネルギー特徴を検出して残響を除去するように動作する機能を制御するために使用することができ、他の技術をマイクロホン信号に適用して、信号を遠隔装置に送信する前に音声信号品質を改善することができる。会議システムが異なるタイプの不要な音エネルギーを正確に識別できることは、音声信号からこの不要なエネルギーを最も効果的に除去するように動作する機能を選択するために重要である。
【００１８】
ここで図２を参照すると、この図は、遠隔／遠端装置に送信される前にマイクロホン信号を処理するように動作する図１の音声会議システム１１０を備える機能を示す。システムは、システムを備えるニューラルネットワークのプログラミングまたはトレーニングのいずれかの目的では第１の動作モードにすることができ、電話会議中の通常動作では第２のモードにすることができる。図２の会議システム１１０は音声会議システム機能のみを示しているが、マイクロホン信号を処理するためにトレーニング画像を使用して異なるタイプの音を識別する本明細書に記載された方法は、音声会議システムと共に使用することに限定されず、テレビ会議システムにも同様に容易に適用することができることを理解すべきである。
【００１９】
図２のシステム１１０は、遠隔装置（遠端の会議システムなど）からネットワークを介して受信した音声を再生するラウドスピーカ、システム１１０が動作する環境から音をキャプチャするように動作するいくつかのマイクロホン１２０及びマイクロホン信号処理モジュール１１５から構成される。処理モジュール１１５は、マイクロホンから受信した音声信号１２５を、周波数、周波数範囲、振幅／パワー及び時間など、１つ以上のマイクロホン信号音特性の視覚的表現である音画像表現に分解または変換するように動作する機能１３０から構成される。この音画像表現は、音声信号の１つ以上の特徴を表すスペクトログラム、またはメル周波数ケプストラム係数（ＭＦＣＣ）などの音声の短期間のパワースペクトルを構成する係数とすることができ、生成される音画像表現は記憶部１４０で保持される。ニューラルネットワーク１５０は、一度トレーニングされると、異なるタイプまたはクラスの環境音を識別するように動作し、記憶部１６０はニューラルネットワークによって識別された現在のタイプの音に対応する情報を少なくとも一時的に保持し、論理１７０は現在識別されているタイプの音に基づいて信号処理機能１８０を制御するように動作する。
【００２０】
図２を続けて参照すると、システム１１０が第１のモード（トレーニングモード）で動作しているとき、以前に音情報の画像に変換された事前に記録されたトレーニング音を使用して、システム１１０とは別個の計算装置で動作しているニューラルネットワークをトレーニングすることができるか、又は（システム１１０の計算能力に応じて）システム１１０に統合されたニューラルネットワーク１５０をトレーニングすることができる。前者の場合、ニューラルネットワークが異なるタイプの音を正確に識別するように動作できることが確認できるまで、記憶部に保持されているトレーニング画像は、システム１１０とは別個の計算装置上で動作しているニューラルネットワーク（図示せず）の入力に適用される。その後、トレーニングされたニューラルネットワークを備える情報を使用して、システム１１０を備えるニューラルネットワーク１５０をプログラムすることができる。後者の場合、ニューラルネットワーク１５０は、記憶部１４１（図示せず）からのトレーニング画像をニューラルネットワーク１５０の入力に適用することによってトレーニングすることができ、その後、入力はニューラルネットワーク１５０をトレーニングするためにシステムによって使用される。ニューラルネットワーク１５０が異なるタイプの音を正確に識別することができることは、周知の手段によって確認することができ、トレーニングモードは、ネットワークが十分な精度を提供できると確認される時点で停止することができる。ニューラルネットワークをトレーニングするために、異なるタイプの記録された音を使用することができる。会議システムをトレーニングするために記録された音は、会議システムが動作する環境に依存しない場合がある。これに関して、トレーニング音が記録されているか、システムが動作している可能性のある部屋の広さ及び音響特性は、テスト音を記録するときには考慮されないことがある。しかしながら、様々な環境かつ音源からの様々な距離でトレーニング用に使用される様々なタイプの音を記録することが重要になる場合がある。さらに、様々な部屋で様々なタイプの環境ノイズを記録することが重要になる場合がある。トレーニング音は、会議システムに結合していない音記録装置によって記録することができるか、またはシステムが適切なサンプルレートで音を記録することができる音記録能力を有するように構成されている限り、会議システムによって記録することができる。
【００２１】
本説明の目的上、マイクロホンによってキャプチャされフーリエ関数によって音画像表現に変換される音情報は、本明細書ではスペクトログラムと呼ばれるが、マイクロホン信号における音情報は、メル周波数ケプストラム係数またはマイクロホンによってキャプチャされた音情報を表す任意の他のタイプの画像表現など、他の任意の音画像表現に変換できることを理解すべきである。
【００２２】
再び図２を参照すると、システム１１０が第２の動作モードまたは通常動作モードになると、マイクロホンは、電話会議中に音をキャプチャするように動作し、音はフーリエ変換機能によって複数のスペクトログラムに変換され、スペクトログラム記憶部に少なくとも一時的に保持される。システム１１０は、スペクトログラム情報が記憶部内に存在することを検出すると、記憶された各スペクトログラムの音画像表現をトレーニングされたニューラルネットワークの入力に適用する。システム１１０がもはや音をキャプチャするように動作しなくなる（すなわち、電話会議が終了する）まで、記憶部内の後続の各スペクトログラムはトレーニングされたニューラルネットワークの入力に適用される。
【００２３】
図３は、トレーニング動作モード中に、トレーニング音のサンプルを後で使用するために記録可能な方法を示すタイムラインである。トレーニング音の各サンプルは、８ｋＨｚの帯域幅で２０ミリ秒の一定間隔で記録される１秒の音情報を構成するが、記録帯域幅はさらに大きくても小さくてもよい。記録プロセスは、十分な数のサンプルが記録されるまで、ある期間にわたって２０ミリ秒の増分で１秒の記録ウィンドウを前方にスライドさせることによって行われた。ニューラルネットワークをトレーニングするのに必要な音サンプルの数は、異なるタイプの音を正確に識別できるようにネットワークをトレーニングするのに必要なデータ量によって決定される。図３の時間Ｔ．１では、トレーニング音情報の第１のサンプル（Ｓ．１）の記録が開始し、１秒後のＴ．２では、トレーニング音の第１のサンプルの音情報の記録が終了する。次に、Ｔ．１から２０ミリ秒後に、トレーニング音情報の第２のサンプルの記録が開始し、このサンプルは１秒後のＴ．２＋２０ミリ秒に終了する。次に、Ｔ．１から４０ミリ秒後に、トレーニング音情報の第３のサンプルの記録が開始し、このサンプルの記録は１秒後のＴ．２＋４０ミリ秒に終了する。このプロセスは、ニューラルネットワークトレーニングプロセスを開始するのに十分なトレーニング音のサンプルが記憶されるまで続けられる。
【００２４】
前述の通り、ニューラルネットワーク１５０は、音の複数の異なるクラスを識別するようにトレーニングすることができる。これに関して、図４は、ニューラルネットワーク１５０をトレーニングするために使用することができる、記憶部１４０内に保持されるいくつかのスペクトログラムタイプを示す。１つの実施形態によると、ニューラルネットワークは音の４つのタイプまたはクラス、すなわち、クラス．Ａ、クラス．Ｂ、クラス．Ｃ及びクラス．Ｄを識別するようにトレーニングされる。音の各クラスはサブクラスに分割することができ、これに関して、クラス．Ａはクラス．Ａ１、クラス．Ａ２、クラス．Ａ３〜クラス．ＡＮとラベル付けされたいくつかのサブクラスに分割され、ここでＮは整数である。クラス．Ａの音の各サブクラスは、システム１１０から異なる距離に位置する音源からシステム１１０によって受信された発話音に対応する音情報を表す。この場合、クラス．Ａ１は、システム１１０から２フィート以上４フィート未満の距離で音源から受信された音情報に対応し、クラス．Ａ２は、４フィート以上６フィート未満の範囲で音源から受信した音情報に対応し、クラス．Ａ３は、システムから６フィート以上８フィート以下で音源からシステムによって受信された音情報に対応する。ニューラルネットワークは、より多数または少数の音クラスを識別するようにトレーニングすることができ、したがって、図４を参照して図示及び説明したものだけに限定されない。
【００２５】
図５は、図２を参照して説明したニューラルネットワーク１５０を実装するために使用することができるニューラルネットワーク設計を示す。この場合、ニューラルネットワークは畳み込みニューラルネットワークであり、これは通常、異なる音クラスに対応するスペクトログラム画像など、異なるタイプの音画像表現を識別するために使用されるタイプである。図５のニューラルネットワーク１５０は、この場合、スペクトログラム画像情報に作用する機能を表す各層を伴う、２４層で実装される。図２の会議システムで実装されるニューラルネットワークは、２４層を有することに限定されず、より多数または少数の層を有することがあることも理解すべきである。
【００２６】
図６−１及び図６−２のＡ〜Ｅは、図２を参照して説明したニューラルネットワーク１５０をトレーニングするために使用することができる５つのスペクトログラムの画像である。各スペクトログラムは、１０ミリ秒の分解能でマイクロホン１２０によってキャプチャされた１秒の音声情報を表す。前述の通り、トレーニング動作モード中にニューラルネットワークに適用されるスペクトログラムの数（すなわち、トレーニング音声の持続時間）は、経験的に導出することができるか、または周知の確認ツールを使用して音の異なるタイプを正確に識別するニューラルネットワークの能力を確認することによって導出することができる。各スペクトログラム画像について、横軸は時間を表し、縦軸は周波数を表し、スペクトログラム画像の上部は低い周波数に対応し、下部は高い周波数に対応する。スペクトログラムのグレースケールの色は、音エネルギーの強さまたは強度に対応し、明るい色合いは比較的高いエネルギーに対応し、暗い色合いは比較的低いエネルギーに対応する。図６−１におけるＡのスペクトログラムは、システムから１〜２メートル離れた音源からシステムマイクロホン（複数可）で受信される音声の音響エネルギーを表し、図６−１におけるＢのスペクトログラムは、２〜４メートルの距離から受信された音声の音響エネルギーを表し、図６−１におけるＣのスペクトログラムは、４〜８メートルの距離から受信された音声の音響エネルギーを表し、図６−１におけるＤは、８メートルを超える距離から受信された音声の音響エネルギーを表し、図６−２におけるＥは、環境ノイズ、この場合はキーボードによって発生した音を表す。これらのスペクトログラムはそれぞれ、異なる固有の音タイプラベルを表し、割り当てることができる。
【００２７】
図７Ａは、図２を参照して説明した会議システム１１０を備えるマイクロホン信号処理機能１８０を示し、マイクロホン信号情報に作用するためにどの信号処理１８０を備える機能を選択するかを制御するよう動作する論理１７０を示す図である。論理１７０は、システム１１０に関連する不揮発性コンピュータ可読媒体に記憶された命令から構成され、論理は、音のクラスと該クラスに対応するマイクロホン信号に適用される特定の信号処理機能との間の関係を定義するルックアップテーブル内の情報にアクセスする。この信号処理機能は、マイクロホン信号減衰１８１、ゲーティング１８２、残響除去１８３、周波数等化（イコライゼーション）１８４及びマイクロホン信号情報の記憶部１９０を含むが、これらに限定されない。マイクロホン信号（記憶部１９０内に保持される）に適用されるよう論理１７０によって選択された処理機能のタイプは、ニューラルネットワークによって識別された音タイプに依存する。これに関して、ニューラルネットワークがマイクロホン信号内のノイズのみを識別する場合、減衰機能を選択することができ、音声アクティビティに対応する遠距離音がマイクロホン信号において識別される場合、ゲーティング機能を選択することができ、残響が検出されると残響除去機能を選択することができ、音声アクティビティに対応する近距離音が識別される場合、周波数等化を選択することができる。動作中、システム１１０は、音のサンプルがノイズと近距離音声アクティビティとの両方から構成されることを検出してよい。この場合、システムは、信号品質を改善するために、どの信号処理機能をマイクロホン信号に適用するかを決定しなければならない。ニューラルネットワークのトレーニング方法に応じて、システムは、両方のタイプの音がどの程度信号を構成しているかを検出するように動作することができ、どのタイプの音が優勢であるかに応じて、適切な処理機能を選択することができる。したがって、ノイズが音声アクティビティよりも優勢である場合、マイクロホンゲーティングを選択することができ、音声アクティビティがノイズよりも優勢である場合、周波数等化を選択することができる。あるいは、同じサンプルで遠距離及び近距離の音声アクティビティが検出された場合、信号の減衰を選択して、遠距離の音声が遠隔の聞き手に目立たなくなる程度にマイクロホン信号を減衰させることができる。
【００２８】
システム１１０の動作ニーズに応じて、図７Ａの信号処理１８０を構成する信号減衰機能１８１は、固定減衰または可変減衰機能として実装することができる。音響工学の当業者であれば両方の実装方法を理解しているため、いずれの構成の詳細な実装も本明細書では論じない。音響工学者であればマイクロホンゲーティング機能動作及び残響除去機能１８３も十分に理解しているため、本明細書では同様に論じない。
【００２９】
図７Ａを続けて参照すると、周波数等化機能１８４は、信号等化命令１８５の記憶部及び調整可能フィルタ１８７から構成される。記憶部１８５は、それぞれが、特定のタイプまたは図４を参照して前述したクラス．Ａ１、クラス．Ａ２及びクラスＡ３とラベル付けされた音のタイプなどの音クラスに関連付けられた複数のフィルタ制御命令を有し、これらの命令のそれぞれは、論理１７０によって選択され、調節可能フィルタの動作を制御し、マイクロホン信号の特定の周波数の減衰を制御することができる。１つの実施形態によると、減衰周波数は、マイクロホンによって検出可能な最低周波数から開始し、マイクロホンの能力に応じて約２０００Ｈｚ以上までの帯域を含むことができる。等化命令のうちの１つは、フィルタ１８７を減衰しないように制御するか、またはニューラルネットワークネットワーク１５０によって識別された音源からマイクロホンまでの距離に応じてマイクロホン信号を構成する低周波数のうちの１つをより高いまたは低い程度に減衰するように制御するかを、論理１７０によって選択することができる。したがって、例えば、ＦＦＴがクラス．Ａ１の音タイプを識別したことを論理が検出した場合、この音クラスはマイクロホン信号に等化を適用しないという命令を有することができる。
【００３０】
図７Ｂは、記憶部１８５を構成する各命令をより詳細に示す。システム１１０の動作目的及びそのトレーニング方法に応じて、より多数または少数の命令を記憶部に含めることができることを理解すべきである。前述の通り、クラス．Ａ１は、２フィート以上４フィート未満の距離からシステム１１０によって受信される音に対応する。この距離範囲内でシステムによって受信された音がいかなる種類の等化または処理も必要としないことが、以前に（すなわち経験的に）決定された場合、クラス．Ａ１に対応する命令が選択され、信号処理はマイクロホン信号に適用されない。
【００３１】
ここで図８Ａを参照して、音のタイプを識別し、識別された音のタイプに従ってマイクロホン信号を処理するためのシステム１１０の動作について説明する。会議システム１１０は、異なるタイプの環境音を検出するように以前にトレーニングされており、システムは、音の異なるタイプを識別することができる精度を確認するためにテストされていることを理解すべきである。開始時に、システム１１０は電話会議に存在するように制御され、したがって、第２の動作モードであり、８００でマイクロホン信号の少なくとも１つのサンプルを検出すると、８０５でマイクロホン信号サンプルは機能１３０によって音画像表現に変換され、マイクロホン信号はさらに信号処理１８０に送信され、論理１７０は（現在の音のタイプを基に）マイクロホン信号サンプルに適用する機能を選択する。説明の目的上、単一のマイクロホン信号サンプルを参照するが、前述の通り、システムマイクロホンによって受信される音情報はマイクロホンがアクティブな期間中の周期的なサンプルである。８１０では、システム１１０は、トレーニングされたニューラルネットワーク１５０の入力に音画像表現を適用するように動作し、８１５では、音タイプの識別出力であるニューラルネットワークの出力が現在の音タイプとして記憶部１６０に保持され、プロセスは次に図８Ｂの８２０に進む。
【００３２】
図８Ｂを参照すると、８２０では、システムが記憶部１６０内に現在の音タイプ情報があることを検出すると、プロセスは８２５に進み、論理１７０はタイプラベル（すなわち、クラス．Ａ１、クラス．Ｂ、クラス．Ｃなど）について現在の音タイプ情報を調べ、次に、この音タイプラベル情報をルックアップテーブル１７１へのポインタとして使用し、記憶部１９０に保持されたマイクロホン信号情報にどの処理機能を適用することができるかを決定する。８３０では、論理は、記憶部１９０に保持されているマイクロホン信号に作用することを機能に行わせ、８３５では、処理されたマイクロホン信号は、ネットワークを介して遠隔通信システムに送信される。最終的に、８４０では、システム１１０が別のマイクロホン信号を検出した場合、プロセスは８２０に戻り、それ以外の場合、プロセスは終了する。
【００３３】
説明の目的上、上記の説明は、本発明の完全な理解を提供するために特定の命名法を使用した。しかしながら、本発明を実施するために特定の詳細が必要とされないことは当業者に明らかであろう。ゆえに、本発明の特定の実施形態の前述の説明は、例示及び説明の目的で提示されている。それらは網羅的であること、または開示された詳細な形態に本発明を限定することを意図せず、当然ながら、上記の教示に鑑みて多くの修正及び変形が可能である。実施形態は、本発明の原理及びその現実的な用途を最良に説明するために選択され説明されたものであり、それによって当業者が、想定する特定の用途に適するよう、様々な変更を加えて本発明及び様々な実施形態を最良に利用できるようにする。以下の特許請求の範囲及びそれらの均等物は本発明の範囲を定義することを意図している。
【符号の説明】
【００３４】
１００  会議室
１１０  会議システム
１１１  会議テーブル
Ａ、Ｂ、Ｃ  近距離音源（電話会議参加者）
１１２  ノイズ音源
１２１  遠距離音源
１２０  マイクロホン
１１５  マイクロホン信号処理モジュール
１３０  音画像表現に変換する機能
１４０  音画像表現記憶部
１５０  ニューラルネットワーク
１６０  記憶部
１７０  信号処理論理
１８０  信号処理機能
【図１】
2020091465.tif 000003
【図２】
2020091465.tif 000004
【図３】
2020091465.tif 000005
【図４】
2020091465.tif 000006
【図５】
2020091465.tif 000007
【図６−１】
2020091465.tif 000008
【図６−２】
2020091465.tif 000009
【図７Ａ】
2020091465.tif 000010
【図７Ｂ】
2020091465.tif 000011
【図８Ａ】
2020091465.tif 000012
【図８Ｂ】
2020091465.tif 000013