(57)【要約】マイクロフォンの音声を分離するための方法、装置、およびシステムは、マイクロフォンのアレイのうちの対象マイクロフォンを使用した音声の記録と、マイクロフォンのアレイのうちの対象マイクロフォンを使用した他のマイクロフォンのそれぞれの位置から発生する音声についての減衰係数の決定と、マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての遅延係数の決定と、対象マイクロフォンにより捕捉された音声信号を分離するために、決定された減衰係数および遅延係数を使用して、対象マイクロフォンにより捕捉された音声信号から、マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声を除去することと、を含む。この方法、装置、およびシステムは、さらに、対象マイクロフォンの分離された音声信号を処理して、対象マイクロフォンの分離された音声信号の音声属性を決定することと、音声属性を使用して、対象マイクロフォンの分離された音声信号内の音声のそれぞれのソースを決定することと、を含む。
2016521382.tif 000002
【特許請求の範囲】
【請求項１】
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録するステップと、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての減衰係数を決定するステップと、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての遅延係数を決定するステップと、
前記対象マイクロフォンにより捕捉された音声信号を分離するために、前記決定された減衰係数および遅延係数を使用して、前記対象マイクロフォンにより捕捉された音声信号から、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声を除去するステップと、
前記対象マイクロフォンの分離された音声信号を処理するステップであって、前記対象マイクロフォンの分離された音声信号の音声属性を決定する、前記処理するステップと、
前記音声属性を使用して、前記対象マイクロフォンの前記分離された音声信号内の音声のそれぞれのソースを決定するステップと、
を含む、方法。
【請求項２】
前記音声属性は発話属性を含み、前記対象マイクロフォンの前記分離された音声信号内の発話のそれぞれのソースが決定される、請求項１に記載の方法。
【請求項３】
前記処理するステップは、前記音声信号内の発話属性を決定するために、前記対象マイクロフォンの前記分離された音声信号にフーリエ変換を適用するステップを含む、請求項２に記載の方法。
【請求項４】
前記発話属性は、周波数、平均振幅、最大振幅、最初の振幅ピークの時間、および振幅ピークの数のうちの少なくとも１つを含む、請求項３に記載の方法。
【請求項５】
前記分離された音声信号内の発話のそれぞれのソースを決定するステップは、前記分離された音声信号に機械学習技法を適用し、前記決定された発話属性を適用するステップを含む、請求項２に記載の方法。
【請求項６】
前記機械学習技法は、ｋ平均クラスタリングを含む、請求項５に記載の方法。
【請求項７】
発話のそれぞれのソースのうちの少なくとも１つの前記分離された音声信号に標準機械学習技法を適用して、前記発話のそれぞれのソースのうちの少なくとも１つの人口統計情報を決定するステップを含む、請求項２に記載の方法。
【請求項８】
前記標準機械学習技法は、線形回帰、決定木、ＡｄａＢｏｏｓｔ、およびサポートベクターマシンおよびアルゴリズムのうちの少なくとも１つを含む、請求項７に記載の方法。
【請求項９】
前記人口統計情報は、前記発話のソースの性別、年齢、および民族的背景のうちの少なくとも１つを含む、請求項７に記載の方法。
【請求項１０】
前記発話属性を使用して、前記発話のそれぞれのソースについての声紋を決定するステップを含む、請求項２に記載の方法。
【請求項１１】
前記音声の特性は、製品の購入に関連付けられた可聴トーンの音声の特性を含み、購入された製品の数は、前記可聴トーンから決定される、請求項１に記載の方法。
【請求項１２】
小売店によって収集された情報を使用して、前記対象マイクロフォンの前記分離された音声信号内で前記音声のそれぞれのソースを識別するステップを含む、請求項１に記載の方法。
【請求項１３】
前記決定された音声のそれぞれのソースを対象とする広告を提供するステップを含む、請求項１に記載の方法。
【請求項１４】
プログラムルーチン及びデータを記憶するメモリと、
前記プログラムルーチンを実行するプロセッサーと、
を備えた装置であって、
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての減衰係数を決定し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての遅延係数を決定し、
前記対象マイクロフォンにより捕捉された音声信号を分離するために、前記決定された減衰係数および遅延係数を使用して、前記対象マイクロフォンにより捕捉された音声信号から、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声を除去し、
前記対象マイクロフォンの分離された音声信号を処理して前記対象マイクロフォンの分離された音声信号の音声属性を決定し、
前記音声属性を使用して、前記対象マイクロフォンの前記分離された音声信号内の音声のそれぞれのソースを決定する、
ように構成される、前記装置。
【請求項１５】
前記装置はサーバおよびセットトップボックスのうちの少なくとも１つの統合された音声回路を含む、請求項１４に記載の装置。
【請求項１６】
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンと、
少なくとも１つの音声ソースと、
プログラムルーチン及びデータを記憶するメモリと、前記プログラムルーチンを実行するプロセッサーと、を含む装置と、
を備えたシステムであって、前記装置は、
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての減衰係数を決定し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての遅延係数を決定し、
前記対象マイクロフォンにより捕捉された音声信号を分離するために、前記決定された減衰係数および遅延係数を使用して、前記対象マイクロフォンにより捕捉された音声信号から、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声を除去し、
前記対象マイクロフォンの分離された音声信号を処理して前記対象マイクロフォンの分離された音声信号の音声属性を決定し、
前記音声属性を使用して、前記対象マイクロフォンの前記分離された音声信号内の音声のそれぞれのソースを決定する、
ように構成される、前記システム。
【請求項１７】
前記少なくとも２つのマイクロフォンは、少なくとも１つのネットワークオーディオプロセッサーのマイクロフォンを含む、請求項１６に記載のシステム。
【請求項１８】
前記少なくとも２つのマイクロフォンは、小売環境のチェックアウトレーン内のマイクロフォンを含む、請求項１６に記載のシステム。
【請求項１９】
前記少なくとも１つの音声ソースはスキャナを含む、請求項１６に記載のシステム。
【請求項２０】
前記少なくとも１つの音声ソースは出納係と顧客とを含む、請求項１６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、マイクロフォンの音声（audio）の分離に関し、より詳細には、音声を分離するためにマイクロフォン信号からノイズを除去するための方法、装置、およびシステムに関する。
【背景技術】
【０００２】
この出願は、２０１２年１２月２８日に出願された国際ＰＣＴ出願第ＰＣＴ／ＵＳ１２／０７２０８３号に関連し、その内容全体は、あらゆる目的で参照によりこの出願に組み込まれる。
【０００３】
ノイズ抑制は、ノイズを抑制して通信品質およびメディア理解を改善するために、多くの通信システムおよびコンテンツ配布デバイスでしばしば必要とされる。ノイズ抑制は、様々な技法を使用して達成されることが可能であり、それらの一部は、単一マイクロフォン技法およびアレイマイクロフォン技法に分類され得る。
【０００４】
アレイマイクロフォンノイズ低減技法は、ビームを形成するために異なる位置に配置され互いにある最短距離で離隔された複数のマイクロフォンを使用する。従来、発話を拾うためにビームが使用され、ビームの外側で拾われたノイズの量を低減させるために発話が使用される。したがって、アレイマイクロフォン技法は、非定常ノイズを抑制することができる。ノイズ抑制によるマイクロフォン信号の分離は、たとえば、買い物客の人口統計および／または購入数を識別するために小売広告環境で使用され得る。
【０００５】
しかしながら、複数のマイクロフォンそれら自体もさらなるノイズをもたらす。また、そのような技法は、本明細書に説明されるようにノイズ消去を作動化するためにシステムおよび既知の音声信号の構成パラメータを使用することがない。
【発明の概要】
【０００６】
本発明の実施形態は、マイクロフォン信号を分離するための方法、装置、およびシステムを提供することにより、従来技術の欠陥を解決する。
【０００７】
本発明の実施形態において、方法は、少なくとも２つのマイクロフォンを使用して音声を記録するステップと、マイクロフォンのアレイのうちの対象マイクロフォンを使用して、他のマイクロフォンのそれぞれの位置から発生する音声に対する減衰係数を決定するステップと、マイクロフォンの上記アレイのうちの対象マイクロフォンを使用して、マイクロフォンの上記アレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声に対する遅延係数を決定するステップと、上記決定された減衰係数および遅延係数を使用して、上記対象マイクロフォンによって捕捉された音声信号から、上記他のマイクロフォンのそれぞれの位置から発生する音声を除去して、上記対象マイクロフォンによって捕捉された上記音声信号を分離するステップと、を含む。上記方法、装置、およびシステムは、上記対象マイクロフォンの上記分離された音声信号を処理して、上記対象マイクロフォンの上記分離された音声信号の音声属性を決定するステップと、上記音声属性を使用して、上記分離された音声信号における音声のそれぞれのソースを決定するステップと、をさらに含む。
【０００８】
本発明の代替的実施形態において、装置は、プログラムルーチンおよびデータを記憶するためのメモリと、上記プログラムルーチンを実行するためのプロセッサーと、を含む。そのような実施形態では、上記装置は、マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録し、マイクロフォンの上記アレイのうちの対象マイクロフォンを使用して、マイクロフォンの上記アレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声に対する減衰係数を決定し、マイクロフォンの上記アレイのうちの対象マイクロフォンを使用して、マイクロフォンの上記アレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声に対する遅延係数を決定し、上記決定された減衰係数および遅延係数を使用して、上記対象マイクロフォンによって捕捉された音声信号から、マイクロフォンの上記アレイのうちの上記他のマイクロフォンのそれぞれの位置から発生する音声を除去して、上記対象マイクロフォンによって捕捉された上記音声信号を分離し、上記対象マイクロフォンの上記分離された音声信号を処理して、上記対象マイクロフォンの上記分離された音声信号の音声属性を決定し、上記音声属性を使用して、上記対象マイクロフォンの上記分離された音声信号における音声のそれぞれのソースを決定するように構成される。
【０００９】
本発明の代替的実施形態において、システムは、マイクロフォンのアレイを含む少なくとも２つのマイクロフォンと、少なくとも１つの音声ソースと、プログラムルーチンおよびデータを記憶するためのメモリ、ならびに上記プログラムルーチンを実行するためのプロセッサーを備える装置と、を含む。そのようなシステムにおいて、上記装置は、マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録し、マイクロフォンの上記アレイのうちの対象マイクロフォンを使用して、マイクロフォンの上記アレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声に対する減衰係数を決定し、マイクロフォンの上記アレイのうちの対象マイクロフォンを使用して、マイクロフォンの上記アレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声に対する遅延係数を決定し、上記決定された減衰係数および遅延係数を使用して、上記対象マイクロフォンによって捕捉された音声信号から、マイクロフォンの上記アレイのうちの上記他のマイクロフォンのそれぞれの位置から発生する音声を除去して、上記対象マイクロフォンによって捕捉された上記音声信号を分離し上記対象マイクロフォンの上記分離された音声信号を処理して、上記対象マイクロフォンの上記分離された音声信号の音声属性を決定し、上記音声属性を使用して、上記対象マイクロフォンの上記分離された音声信号における音声のそれぞれのソースを決定するように構成される。
【図面の簡単な説明】
【００１０】
本発明の教示は、添付の図面と併せて以下の詳細な説明を検討することで容易に理解され得る。
【図１】本発明の実施形態が適用され得るコンテンツ配布システムの高レベルブロック図である。
【図２】本発明の実施形態が適用され得る店内公告を提供するための店内広告ネットワークの高レベルブロック図である。
【図３】本発明の実施形態によるマイクロフォンの音声を分離するための装置の高レベルブロック図である。
【図４】本発明の実施形態によるマイクロフォンの音声を分離するための方法のフロー図である。
【００１１】
図面は、本発明の概念を示すことを目的としており、また必ずしも本発明を示すための唯一のあり得る構成ではないことを理解されたい。理解を容易にするために、図面に共通する同一の要素を示すために可能であれば同一の参照番号が使用されている。
【発明を実施するための形態】
【００１２】
本発明は、マイクロフォンの音声を分離するための方法、装置、およびシステムを有利に提供する。本発明は、店内小売広告ネットワーク環境および広告コンテンツ配布、ならびに特に発話を分離するためのチェックアウト（check-out）アプリケーションの文脈において主に説明されるが、本発明の特定の実施形態が本発明の範囲を制限するものとして扱われるべきではない。本発明の概念は、ファストフードレストラン、銀行出納係カウンタなどのような、声などの任意の音声の分離が望ましい任意の環境に、有利に適用され得ることは、当業者に理解され、また本発明の教示によって知られることになる。
【００１３】
図に示される様々な要素の機能は、専用ハードウェア、ならびに適切なソフトウェアに関連するソフトウェアを実行することが可能なハードウェアを使用して提供され得る。機能は、プロセッサーによって提供される場合、単一の専用プロセッサーによって、単一の共有プロセッサーによって、またはその一部が共有され得る複数の個別プロセッサーによって提供され得る。さらに、用語「プロセッサー」および「コントローラ」の明示的な使用が、ソフトウェアを実行することが可能なハードウェアを排他的に表すと解釈されるべきではなく、限定せずに、ディジタルシグナルプロセッサー（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するためのリードオンリーメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および不揮発性ストレージを黙示的に含むことができる。さらに、本発明の原理、特徴、および実施形態、ならびにその特定の例を列挙する本明細書のすべての記述は、本発明の構造的等価形態と機能的等価形態の両方を包含することが意図される。加えて、そのような等価形態は、現在知られている等価形態、および将来開発される等価形態（すなわち、構造にかかわらず同じ機能を実施する開発される任意の要素）の両方を含むことが意図される。
【００１４】
したがって、たとえば、本明細書に提示されるブロック図が、本発明の原理を具体化する、説明に役立つシステムコンポーネントおよび／または回路の概念図を表すことは、当業者には理解されよう。同様に、任意のフローチャート、フロー図、状態遷移図、および擬似コードなどが、実質的にコンピュータ読取可能媒体において表され、したがってコンピュータまたはプロセッサーによって、そのようなコンピュータまたはプロセッサーが明示されているかどうかにかかわらず実行され得る、様々なプロセスを表すことは、理解されよう。
【００１５】
図１は、本発明の実施形態が適用され得るコンテンツ配布システムの高レベルブロック図を示す。図１のコンテンツ配布システム１００は例示的には、チェックアウト広告配布システムを備え、チェックアウト広告配布システムは例示的には、１つのサーバ１１０、チューニング／復号手段（例示的にはセットトップボックス（ＳＴＢ））のような複数の受信デバイス１２０1〜１２０n、およびセットトップボックス１２０1〜１２０nの各々のためのそれぞれのディスプレイ１３０1〜１３０nを含む。図１に示されるように、ディスプレイ１３０は各々、それぞれのマイクロフォン１３２1〜１３２n、および少なくとも１つのスピーカ１３３1〜１３３nを含み、それぞれのチェックアウトレーン（checkout lane）１３４1〜１３４nの付近に配置される。図１のコンテンツ配布システム１００では、ディスプレイ１３０のマイクロフォン１３２は、マイクロフォンのアレイを備える。図１のシステム１００のようなシステムでは、マイクロフォン１３２は、典型的には、ディスプレイ１３０上のコンテンツのプレイアウト（playout）を確認するために使用され、さらにノイズ消去目的で使用され得る。
【００１６】
図１のシステム１００では、複数のセットトップボックス１２０1〜１２０nの各々が、例示的には単一のそれぞれのディスプレイに接続されているが、本発明の代替的実施形態では、複数のセットトップボックス１２０1〜１２０nの各々は１つよりも多いディスプレイに接続され得る。すなわち、本発明の代替的実施形態では、複数のチェックアウトレーンのディスプレイが制御され、単一セットトップボックスと通信することができる。加えて、図１のコンテンツ配布システム１００では、チューニング／復号手段は、例示的にセットトップボックス１２０として示されているが、本発明の代替的実施形態では、本発明のチューニング／復号手段は、ディスプレイ１３０に統合されたチューニング／復号回路、または他の独立したチューニング／復号デバイスなど、代替的チューニング／復号手段を含むことができる。さらにまた、本発明の受信デバイスは、音声、ビデオ、および／または音声／ビデオコンテンツなど、コンテンツを受信することが可能な任意のデバイスを含むことができる。
【００１７】
本発明の一実施形態では、図１のコンテンツ配布システム１００は、店内広告ネットワークの一部とすることができる。たとえば、図２は、店内広告を提供するための店内広告ネットワーク２００の高レベルブロック図を示す。図２の広告ネットワーク２００において、広告ネットワーク２００および配布システム１００は、店内環境においてエンターテイメントコンテンツ、ニュース、および同様の消費者情報コンテンツと共に、音楽録音、ホームビデオ、製品デモンストレーション、広告コンテンツ、および他のそのようなコンテンツのカタログ化、配布、提示、および使用状況のトラッキングを提供する、ソフトウェアとハードウェアとの組み合わせを利用する。コンテンツは、圧縮されたまたは圧縮されていないビデオおよび音声ストリーム形式（たとえばＭＰＥＧ４／ＭＰＥＧ４  Ｐａｒｔ  １０／ＡＶＣ−Ｈ．２６４、ＶＣ−１、Ｗｉｎｄｏｗｓ  Ｍｅｄｉａなど）で提供されるコンテンツを含むことができるが、本システムは、それらの形式のみを使用することに制限されるべきでない。
【００１８】
本発明の一実施形態では、店内広告ネットワーク２００およびコンテンツ配布システム１００の様々な要素を制御するためのソフトウェアは、ウインドウ環境を使用する３２ビットオペレーティングシステム（たとえば、ＭＳ−Ｗｉｎｄｏｗｓ（登録商標）またはＸ−Ｗｉｎｄｏｗｓオペレーティングシステム）、および高性能計算ハードウェアを含むことができる。広告ネットワーク２００は、分散型アーキテクチャを利用することができ、一実施形態では、衛星（または他の方法、たとえば、ワイドエリアネットワーク（ＷＡＮ）、インターネット、一連のマイクロ波リンク、もしくは同様のメカニズム）および店内モジュールを介して集中型コンテンツ管理および配布制御を提供する。
【００１９】
図２に示すように、店内広告ネットワーク２００およびコンテンツ配布システム１００のためのコンテンツは、広告主２０２、レコード会社２０４、映画スタジオ２０６、または他のコンテンツプロバイダ２０８から提供され得る。広告主２０２は、製品製造者、サービスプロバイダ、製造者もしくはサービスプロバイダを代表する広告会社、または他のエンティティとすることができる。広告主２０２からの広告コンテンツは、コマーシャル、「インフォマーシャル（info-mercial）」、製品情報、および製品デモンストレーションなどを含む音声ビジュアルコンテンツから構成され得る。
【００２０】
レコード会社２０４は、レコードレーベル、音楽出版社、ライセンス供与／出版エンティティ（たとえば、ＢＭＩもしくはＡＳＣＡＰ）、個別アーティスト、または他のそのような音楽関係コンテンツのソースとすることができる。レコード会社２０４は、音楽クリップ（記録された音楽の短いセグメント）および音楽ビデオクリップなどの音声ビジュアルコンテンツを提供する。映画スタジオ２０６は、映画スタジオ、映画制作会社、広告担当者、または映画産業に関係付けられた他のソースとすることができる。映画スタジオ１０６は、映画クリップ、男優および女優の事前に記録されたインタビュー、映画批評、「舞台裏」紹介、および同様のコンテンツを提供することができる。
【００２１】
他のコンテンツプロバイダ２０８は、たとえば、図１のコンテンツ配布システム１００を介して、配布および表示され得るビデオ、音声、または音声ビジュアルコンテンツの任意の他のプロバイダとすることができる。
【００２２】
本発明の一実施形態では、コンテンツは、たとえば、従来の記録されたメディア（テープ、ＣＤ、およびビデオなど）を使用して、ネットワーク管理センター２１０（ＮＭＣ）を介して入手される。ＮＭＣ２１０に提供されたコンテンツは、コンテンツをローカルサイトで配布し表示するたとえばローカル配布システム１００に配布するために適した形態にコンパイルされる。
【００２３】
ＮＭＣ２１０は、受信されたコンテンツをディジタル化し、それをディジタル化されたデータファイル２２２の形態でネットワークオペレーションセンター（ＮＯＣ）２２０に提供する。データファイル２２２は、ディジタル化されたコンテンツとして参照されるが、ストリーミング音声、ストリーミングビデオ、または他のそのような情報とすることもできることに留意されたい。ＮＭＣ２１０によってコンパイルされ受信されたコンテンツは、コマーシャル、バンパー（bumper）、グラフィックス、および音声などを含むことができる。すべてのファイルは、好ましくは、一意的に識別可能であるように名付けられる。より具体的には、ＮＭＣ２１０は、店舗の位置など特定のサイトを対象とし、計画的にまたは要求に応じて１つまたは複数の店舗に送達される、配布パックを作成する。配布パックは、使用される場合、（サイトのシステムが最初に初期化されていない限り（初期化される場合、配布されるパッケージはサイトの初期コンテンツの基礎を形成することになる）、）既にオンサイトにある既存のコンテンツを置き換えるかまたは向上するように意図されたコンテンツを含む。あるいは、ファイルが圧縮されて別に転送されてもよく、または、あるタイプのストリーミング圧縮プログラムが利用されてもよい。
【００２４】
ＮＯＣ２２０は、ディジタル化されたデータファイル２２２を、この例では、通信ネットワーク２２５を介して商用販売店２３０におけるコンテンツ配布システム１００に伝達する。通信ネットワーク２２５は、いくつかの技術の任意の１つで実装され得る。たとえば、本発明の一実施形態では、ディジタル化されたデータファイル２２２を商用販売店２３０のコンテンツ配布システム１００へ配布するために、衛星リンクが使用され得る。これは、コンテンツを様々な位置にブロードキャスト（またはマルチキャスト）することによって、コンテンツが容易に配布されることを可能にする。あるいは、音声ビジュアルコンテンツを商用販売店２３０に配布するとともに、そこからのフィードバックを可能にするために、インターネットが使用され得る。本発明の代替的実施形態に従って、専用線、マイクロ波ネットワーク、または他のそのようなメカニズムを使用する等の、通信ネットワーク２２５を実装する他の方法も使用され得る。
【００２５】
コンテンツ配布システム１００のサーバ１１０は、コンテンツ（たとえば配布パック）を受け取ることが可能であり、それに応じてそれらを店内でセットトップボックス１２０およびディスプレイ１３０など様々な受信機に配布する。すなわち、コンテンツ配布システム１００において、コンテンツは受け取られてストリーミング用に構成される。ストリーミングは、共にまたは協力して動作するように構成された１つまたは複数のサーバによって実行され得る。ストリーミングコンテンツは、商用販売店２３０（たとえば店舗）全体における様々な異なる位置または製品に関して構成されたコンテンツを含むことができる。たとえば、それぞれのセットトップボックス１２０およびディスプレイ１３０は、販売店２３０全体における特定の位置に配置され、それぞれのセットトップボックスおよびディスプレイの位置から所定の距離内に配置された製品に関連してコンテンツを表示し音声をブロードキャストするようにそれぞれ構成され得る。
【００２６】
本発明の様々な実施形態が、マイクロフォン信号を分離するための方法、装置、およびシステムを提供する。すなわち、本明細書に説明される本発明の様々な実施形態は、商用チェックアウト環境内に存在するマイクロフォンの信号から周囲ノイズを除去して、それぞれのチェックアウトカウンタで発生する音声または音（sound）が分離され得るようにすることに向けられる。より具体的には、本明細書に説明される本発明の様々な実施形態は、アレイ、たとえば、図１に示されるような複数のディスプレイスクリーンに含まれるマイクロフォンからの周囲音を除去して、対象ディスプレイスクリーンにおけるマイクロフォンによって受け取られまたは検出された音が分離されるのを可能にすることに向けられる。さらに、本発明の様々な実施形態は、主に商用広告ネットワーク環境および広告コンテンツ配布の文脈において説明されるが、本発明の特定の実施形態が本発明の範囲を制限するものとして扱われるべきではない。
【００２７】
本発明の一実施形態において、マイクロフォンのアレイ内の少なくとも１つのマイクロフォンから除去されるべき、ノイズ、たとえば、図１のコンテンツ配布システムの隣接チェックアウトレーンにおいて生成された音および他の音声信号などのノイズを決定するためのプロセスが、本発明の一実施形態では、ビーム形成プロセス／技法によって達成され得る。本発明の実施形態を説明するために、ｔを、マイクロフォンが音を記録するタイムスロット（たとえばｍｓｅｃ毎）とし、ｙi（ｔ）を、タイムスロットｔにおいてスクリーンｉでマイクロフォンによって受け取られまたは検出される信号とし、ｘi（ｔ）を、タイムスロットｔにおいてカウンタｉで生成された音信号（たとえば、カウンタｉにおけるレジ係と顧客との間の会話、チェックアウト機によって形成された走査音などを含む）とし、Ｔijを、カウンタｉからカウンタｊの時間遅延に基づく重み付け値（遅延パラメータ）とし、ｗijを、カウンタｉからカウンタｊの距離に基づく重み付け値（減衰係数）とする。したがって、位置ｉのマイクロフォンは、以下の式１（１）に従って決定され得るすべてのカウンタからの音を含む信号ｙiを受け取る：
【００２８】
【数１】
2016521382.tif 000003
【００２９】
また、式（１）において、ｗjiは、カウンタｊからカウンタｉの減衰係数であり、Ｔijは、カウンタｊからカウンタｉの遅延パラメータである。結果として、カウンタｉから来る音を分離するために、以下の処理が行われる。各ディスプレイは、記録された信号ｙi（ｔ）を、たとえば処理デバイスにブロードキャストし、その処理デバイスは、本発明の様々な実施形態において、セットトップボックス１２０、または図１のコンテンツ配布システム１００のサーバ１１０等のローカルもしくはリモートサーバ、または図２の店内広告ネットワーク２００のＮＭＣ２１０もしくはＮＯＣ２２０に存在することができる。これらの信号を有すると、時間ｔにおけるカウンタｉでの音（すなわちｘi（ｔ））を分離するために、処理デバイスは、式１（１）の線形システムを解く。このシステムの未知数は、異なるタイムスロットｔにおける信号ｘiである。
【００３０】
図３は、処理装置の高レベルブロック図を示し、処理装置は、本発明の様々な実施形態において、セットトップボックス１２０、または図１のコンテンツ配布システム１００のサーバ１１０のようなローカルもしくはリモートサーバ、または図２の店内広告ネットワーク２００のＮＭＣ２１０もしくはＮＯＣ２２０とすることができる。より具体的には、図３の処理デバイスは、例示的には、プロセッサー３１０、ならびに、制御プログラム、ファイル情報、および記憶された信号などを記憶するためのメモリ３２０を備える。プロセッサー３１０は、電源、クロック回路、およびキャッシュメモリなど従来のサポート回路３３０、ならびにメモリ３２０に記憶されたソフトウェアルーチンを実行するのに役立つ回路と協働する。したがって、ソフトウェアプロセスとして本明細書に論じられる処理ステップのいくつかは、ハードウェア内で、たとえば、様々なステップを実行するためにプロセッサー３１０と協働する回路として、実装され得ることが企図される。また、処理装置は、当該処理装置と通信する様々な機能的要素の間でインターフェースを形成する入力−出力回路３４０を含む。
【００３１】
図３の処理装置は、本発明に従って様々な制御機能を実行するようにプログラムされた汎用コンピュータとして示されているが、本発明は、たとえば特定用途向け集積回路（ＡＳＩＣ）のようなハードウェアで実装され得る。したがって、本明細書で説明されるプロセスステップは、プロセッサー、ハードウェア、またはそれらの組み合わせにより実行されるソフトウェアによって等価的に実行されるように広義に解釈されることが意図される。加えて、図３の処理装置は、別個のコンポーネントとして示されているが、本明細書で説明される本発明の概念および実施形態による処理デバイスの機能は、セットトップボックスおよびサーバなどのような既存のシステムコンポーネントに組み込まれることが可能である。
【００３２】
上記の式１（１）に戻ると、本発明の一実施形態では、減衰係数ｗijおよび遅延係数Ｔijを決定するために、たとえばチェックアウトカウンタにおけるスキャナによって生成された、既知のチェックアウト音またはトーンが使用される。すなわち、そのような実施形態では、チェックアウトスキャナトーンは既知の音であり、所定の音量を備える。各スキャナが既知の時間（ｔ1）でチェックアウトトーンを生成すると、対象ディスプレイのマイクロフォンが、トーンを検出し、そのような情報を、一実施形態では、たとえば上述したような本発明の処理デバイスまたはサーバにおける音声回路に伝達することができる。
【００３３】
ローカル音が知られていない（すなわち、ローカルで生成された音声のタイプおよび音量が知られていない）本発明の代替的実施形態では、それぞれのチェックアウトレーン１３４1のマイクロフォン１３２1のようなローカルマイクロフォンを、その近傍において音声信号を記録するために使用することができ、ビーム形成技法および他の音声信号処理技法など既知の技法を使用して、どの音声信号がその近傍に対してローカルで生成されたかを決定することができ、また、そのようなローカルで生成された音声信号の音量および他の物理的特性を決定することもできる。次いで、ローカルで生成された音声信号のこれら決定されたパラメータは、上述したようにそのような信号の減衰および遅延係数を決定するために、対象マイクロフォンによって使用され得る。すなわち、そのような実施形態では、アレイのそれぞれのマイクロフォンによって決定されるようなローカルで生成された音声信号は、上述したようにそのような信号の減衰および遅延係数を決定するために、上述したように既知の信号として対象マイクロフォンによって使用され得る。
【００３４】
本発明の一実施形態では、音声回路は、たとえば本発明のディスプレイまたはサーバにおいて、ディスクリート回路カードを備えることができ、または、同時係属の米国特許出願第１２／７３３，２１４号明細書に説明されるように、ネットワークオーディオプロセッサーのような専用デバイスを備えることができる。本発明の音声回路は、チェックアウトで生成された既知の音に関する情報を有する各チェックアウトカウンタにおけるスキャナごとの減衰係数ｗijおよび遅延係数Ｔijを計算することができる。
【００３５】
より具体的には、本発明の一実施形態では、位置ｉにおける走査信号が時間ｔ1で生成されるとすると、Ｔijは、ｔ1と、走査信号が最初にマイクロフォンｊで記録されたタイムスロットとの間のタイムスロットの数として計算され得る。あるいは、本発明の代替的実施形態では、信号の先頭ではなく、記録された異なる信号間の最初／最高のピークの間のタイムスロットの差が使用され得る。
【００３６】
本発明の一実施形態では、減衰係数ｗijが同様に計算される。特に、ｗiiは、すべてのｉについて１と等しいとされ得る。係数ｗijは、時間ｔ1＋Ｔiiでのマイクロフォンｉにおける信号に対する時間ｔ1＋Ｔijでのマイクロフォンｊにおける信号の比として計算される。本発明の代替的実施形態では、走査音の波形におけるピークまたは他の位置の比が使用され得る。
【００３７】
減衰係数ｗijおよび遅延係数Ｔijが計算されると、他のチェックアウトカウンタからの音が、たとえば対象ディスプレイ１００において対象マイクロフォンによって受け取られた音声信号から除去されるように、ビーム形成技法が使用され得る。
【００３８】
本発明の様々な実施形態において、上述したように、周囲ノイズが、たとえば対象ディスプレイ１１０において受け取られた音声信号から除去されていると、発話など所望される音声を分離するために、いくつかのプロセスが実施され得る。たとえば、対象ディスプレイ１１０の近くの顧客および出納係の発話の検出および分離が望まれることがある。そのような場合、出納係は、通常、購入されたアイテムを表す一連の音声トーンの後に最初に話すことが想定される。また、出納係は、以下に制限されないが「合計は〜（your total is...）」、「〜貯金されました（you have saved...）」、「〜様（Madam, Sir）」などのような反復的な言葉を言うことが想定される。
【００３９】
本発明の一実施形態では、出納係と顧客との間の会話を表す音声などの音声信号に対してフーリエ変換を実行することにより、以下の音声属性が検出または決定され得る：
ａ．周波数
ｂ．平均振幅
ｃ．最大振幅
ｄ．最初の振幅ピークの時間（time of first amplitude peak）
ｅ．振幅ピークの数
ｆ．音声信号、スニペット、またはセグメントが出納係であると見込まれるかまたは顧客であると見込まれるかに関する０または１のインジケータを割り当てる。
【００４０】
本発明の様々な実施形態において、そのような処理は、たとえば、対象ディスプレイ１１０および／または中央サーバ１４０における音声カードによって実行され得る。本発明の様々な実施形態において、制限されないがｋ平均クラスタリングのような標準機械学習技法が、音声サンプルと共に上記で決定された少なくとも音声属性を使用して、どの音声サンプルがたとえば出納係の発話であるか、およびどの音声サンプルが顧客の発話であるかを決定することができる。上述したように、また本発明の上述した実施形態に従って、対象ディスプレイ１１０の近傍で生成された音声サンプル、セグメント、または信号が決定／分離され得る。
【００４１】
所与の顧客によって生成された発話などの音声が分離されると、以下に制限されないが、線形回帰、決定木、ＡｄａＢｏｏｓｔ（登録商標）、およびサポートベクターマシンまたはアルゴリズムのような標準機械学習技法が、音声に関する情報、たとえば、発話の場合、顧客の性別、年齢、民族的背景などを決定しようと試みるために、分離された音声に適用され得る。たとえば、本発明の一実施形態では、各人物の検出された周波数、振幅、周波数大きさピークなどに基づいて、既知の性別、年齢、および民族性の人々を使用して、訓練データセットのデータベースが生成され得る。その後、訓練データセットは、機能が性別、年齢、または民族的背景を予測することができるように、機能、アルゴリズム、および／またはソフトウェアモジュールを訓練するために使用され得る。性別、年齢、または民族性の検出を改善するのを助けるために、チェックアウトカウンタでしばしば話される特定の語句を制御グループの人々に話してもらうことが有益であることに留意されたい。また、同じプロセスが、発話以外の音声、たとえば、製品の走査に関連付けられた可聴トーンに適用され得ることに留意されたい。さらに、本発明の方法が実装される特定の店舗からの実際の音声が、収集されて訓練データセットを作成するために使用されることができる場合、残留周囲ノイズおよび地域方言／文法などに基づいて、機能の精度がさらに改善され得ることに留意されたい。
【００４２】
本発明の代替的実施形態では、年齢、性別、または民族性の識別を改善するのを助ける特定の単語または語句、たとえば、お母さん（mom）、お父さん（dad）、様（sir, miss）などを検出するために、発話テキスト化ソフトウェアが使用されてもよい。加えて、本発明のさらなる代替的実施形態では、赤ちゃんの泣き声、クーイング（cooing）などの分離が、家族の存在を推定するために使用されてもよい。年齢、性別、民族性、家族などを含む顧客属性などの購入情報、および本明細書に説明される本発明の様々な実施形態による製品の走査に関連付けられた可聴トーンなど他の購入情報の決定が、たとえば対象ディスプレイ１１０を介して、対象にされた広告および宣伝を顧客に提供するために使用され得る。
【００４３】
本発明の代替的実施形態では、上述したようなディスプレイマイクロフォンから決定された音声／発話情報が、小売環境によって収集されたデータ（たとえば、走査されたアイテム、ポイントカード情報など）と組み合わされて、顧客の性別、年齢、および／または他の人口統計情報を識別する精度を向上することができる。本発明の様々な実施形態において、決定された顧客情報を、たとえば、タイムスタンプ情報と組み合わせることが、非常に価値のある情報をもたらすことができる。たとえば、女性が１日の特定の時間に買い物することが見出された場合、それらの時間中に女性により適切な宣伝を提供するように広告がシフトされ得る。
【００４４】
本発明の一実施形態では、発話のきれいな音声パターンが決定されると、その音声パターンが声紋を計算するために使用される。次いで、声紋は、買い物客を擬似識別するために使用され得る。たとえば、店舗を訪問するパターンを監視することによって有意な値が得られる。買い物客パターン、たとえば、買い物客が毎週火曜日、週１回、または隔週水曜日に訪れることなどを設定するように、所与の声紋がトラッキングされ得る場合、そのデータは高い価値がある。すべての検出された声紋からのデータを集約することが、買い物客頻度のパターン全体を設定するために使用され得る。次いで、このデータは、広告周期性および更新日を最適化するために使用され得る。たとえば、このデータが、買い物客が一般的には週に２回来ることを示し、訪問ごとにメディアが新しく見えることが望ましい場合、新しいメディアが更新される割合が増大され得る。
【００４５】
本発明の様々な説明された実施形態によれば、上述したように買い物客が声紋によって識別されると、買い物客が単に擬似識別されている場合であっても、その買い物客は、常にその声紋を使用して識別されることができる。本発明の代替的実施形態では、たとえばポイントカードを使用して、たとえば店舗によって、収集された買い物客情報を、買い物客をさらに識別するために使用し得る。
【００４６】
本発明の代替的実施形態では、上述したような単なる発話の他に、対象マイクロフォンの分離された音声信号における音声が、本発明に従って分離されて、購入取引に関する情報を得る際に使用され、たとえば、対象にされた広告および宣伝を、たとえば対象ディスプレイを介して、顧客に提供することによって、広告の有効性を改善することができる。より具体的には、本発明の一実施形態では、購入されるアイテムの走査に関連付けられた音声トーンを、対象ディスプレイのマイクロフォンによって記録することができ、特定の顧客によって購入されたアイテムの数を決定するために使用することができる。加えて、そのような情報は、たとえば特定のレジで特定の時間に、どんなアイテムが購入されたかに関する、小売店によって保有された情報と組み合わせることができ、特定の購入されたアイテムが、特定の顧客に関連付けられることができる。
【００４７】
本発明の様々な実施形態によれば、上述したように分離されているマイクロフォンによって記録された分離された音声が、購入取引に関する情報を得る際に使用されて、たとえば、上述したように、たとえば対象ディスプレイを介して、対象にされた広告および宣伝を顧客に提供することによって、広告の有効性を改善することができる。
【００４８】
図４は、本発明の実施形態によるマイクロフォンの音声の分離のための方法のフロー図を示す。図４の方法４００は、ステップ４０２で開始し、ステップ４０２において、環境音／音声が、マイクロフォンのアレイを含む少なくとも２つのマイクロフォンによって記録される。方法４００は、ステップ４０４に進む。
【００４９】
ステップ４０４で、アレイ内で較正されているマイクロフォン（すなわち対象マイクロフォン）以外の他のすべてのマイクロフォンからの音に対する減衰係数が、たとえば、アレイの他のマイクロフォンの位置からの既知の音を使用して決定される。方法４００は、ステップ４０６に進む。
【００５０】
ステップ４０６で、アレイ内で較正されているマイクロフォン（すなわち対象マイクロフォン）以外の他のすべてのマイクロフォンからの音に対する遅延係数が、たとえば、アレイの他のマイクロフォンの位置からの既知の音を使用して決定される。方法４００は、ステップ４０８に進む。
【００５１】
ステップ４０８で、決定された減衰係数および遅延係数が使用されて、対象マイクロフォンによって捕捉された音声信号から、マイクロフォンのアレイの他のマイクロフォンのそれぞれの位置から発生する対象マイクロフォンによって捕捉された音声信号からの音声を除去して、たとえば、本発明の一実施形態ではビーム形成プロセス／技法を使用することにより、対象マイクロフォンによって捕捉された音声信号を分離する。方法４００は、ステップ４１０に進む。
【００５２】
ステップ４１０で、対象マイクロフォンの分離された音声信号が処理されて、対象マイクロフォンの分離された音声信号の音声属性を決定する。たとえば、上述したように、本発明の一実施形態では、対象マイクロフォンの分離された発話における周波数、平均振幅、最大振幅、最初の振幅ピークの時間、および振幅ピークの数など、発話の音声属性が、分離された音声信号に対してフーリエ変換を実行することによって決定され得る。方法４００は、次いでステップ４１２に進む。
【００５３】
ステップ４１２で、対象マイクロフォンの分離された音声信号における音声のそれぞれのソースが、音声属性を使用して決定される。上述したように、本発明の一実施形態では、対象マイクロフォンの分離された音声信号における発話のソースは、分離された音声信号に標準機械学習技法を適用すること、および決定された発話属性を適用することによって決定される。方法４００は、次いで、オプションのステップ４１４もしくは４１６に進むことができ、または終了することができる。
【００５４】
オプションのステップ４１４では、標準機械学習技法が、発話などの音声のそれぞれのソースのうちの少なくとも１つの分離された音声信号に適用されて、発話の少なくとも１つのそれぞれのソースの性別、年齢、民族的背景などのような人口統計情報を決定する。
【００５５】
オプションのステップ４１６では、対象にされた広告が、音声の決定されたそれぞれのソースのうちの少なくとも１つに向けられる。たとえば、本発明の一実施形態で上述したように、対象にされた広告および宣伝は、たとえば対象ディスプレイを介して、識別／決定された顧客に提示され得る。
【００５６】
マイクロフォンの音声を分離するための方法、装置、およびシステムの様々な実施形態（これらは、説明に役立ち、制限していないことが意図される）が説明されているが、上記の教示に照らして当業者によって修正および変形が行われ得ることに留意されたい。したがって、本発明の範囲および趣旨の範囲内の開示された本発明の特定の実施形態において、変更が行われてもよいことを理解されたい。上記は本発明の様々な実施形態に向けられているが、本発明の他のさらなる実施形態が、本発明の基本的範囲から逸脱することなく案出され得る。
【図１】
2016521382.tif 000004
【図２】
2016521382.tif 000005
【図３】
2016521382.tif 000006
【図４】
2016521382.tif 000007
【手続補正書】
【提出日】平成28年5月13日(2016.5.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録するステップと、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声についての減衰係数を決定するステップと、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声についての遅延係数を決定するステップと、
前記対象マイクロフォンにより捕捉された音声信号を分離するために、前記決定された減衰係数および遅延係数を使用して、前記対象マイクロフォンにより捕捉された音声信号から、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声を除去するステップと、
前記対象マイクロフォンの分離された音声信号を処理するステップであって、前記対象マイクロフォンの前記分離された音声信号の音声属性を決定する、前記処理するステップと、
前記音声属性を使用して、前記対象マイクロフォンの前記分離された音声信号内の音声のそれぞれのソースを決定するステップと、
を含む、方法。
【請求項２】
前記音声属性は発話属性を含み、前記対象マイクロフォンの前記分離された音声信号内の発話のそれぞれのソースが決定される、請求項１に記載の方法。
【請求項３】
前記処理するステップは、前記音声信号内の発話属性を決定するために、前記対象マイクロフォンの前記分離された音声信号にフーリエ変換を適用するステップを含む、請求項２に記載の方法。
【請求項４】
前記発話属性は、周波数、平均振幅、最大振幅、最初の振幅ピークの時間、および振幅ピークの数のうちの少なくとも１つを含む、請求項３に記載の方法。
【請求項５】
前記分離された音声信号内の発話のそれぞれのソースを決定するステップは、前記分離された音声信号に機械学習技法を適用し、前記決定された発話属性を適用するステップを含む、請求項２に記載の方法。
【請求項６】
前記機械学習技法は、ｋ平均クラスタリングを含む、請求項５に記載の方法。
【請求項７】
発話のそれぞれのソースのうちの少なくとも１つの前記分離された音声信号に標準機械学習技法を適用して、前記発話のそれぞれのソースのうちの少なくとも１つの人口統計情報を決定するステップを含む、請求項２に記載の方法。
【請求項８】
前記標準機械学習技法は、線形回帰、決定木、ＡｄａＢｏｏｓｔ、およびサポートベクターマシンまたはアルゴリズムのうちの少なくとも１つを含む、請求項７に記載の方法。
【請求項９】
前記人口統計情報は、前記発話のソースの性別、年齢、および民族的背景のうちの少なくとも１つを含む、請求項７に記載の方法。
【請求項１０】
前記発話属性を使用して、前記発話のそれぞれのソースについての声紋を決定するステップを含む、請求項２に記載の方法。
【請求項１１】
前記音声の特性は、製品の購入に関連付けられた可聴トーンの音声の特性を含み、購入された製品の数は、前記可聴トーンから決定される、請求項１に記載の方法。
【請求項１２】
小売店によって収集された情報を使用して、前記対象マイクロフォンの前記分離された音声信号内で前記音声のそれぞれのソースを識別するステップを含む、請求項１に記載の方法。
【請求項１３】
前記決定された音声のそれぞれのソースを対象とする広告を提供するステップを含む、請求項１に記載の方法。
【請求項１４】
プログラムルーチン及びデータを記憶するメモリと、
前記プログラムルーチンを実行するプロセッサーと、
を備えた装置であって、
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声についての減衰係数を決定し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声についての遅延係数を決定し、
前記対象マイクロフォンにより捕捉された音声信号を分離するために、前記決定された減衰係数および遅延係数を使用して、前記対象マイクロフォンにより捕捉された音声信号から、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声を除去し、
前記対象マイクロフォンの分離された音声信号を処理して前記対象マイクロフォンの前記分離された音声信号の音声属性を決定し、
前記音声属性を使用して、前記対象マイクロフォンの前記分離された音声信号内の音声のそれぞれのソースを決定する、
ように構成される、前記装置。
【請求項１５】
前記装置はサーバおよびセットトップボックスのうちの少なくとも１つの統合された音声回路を含む、請求項１４に記載の装置。
【請求項１６】
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンと、
少なくとも１つの音声ソースと、
プログラムルーチン及びデータを記憶するメモリと、前記プログラムルーチンを実行するプロセッサーと、を含む装置と、
を備えたシステムであって、前記装置は、
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声についての減衰係数を決定し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声についての遅延係数を決定し、
前記対象マイクロフォンにより捕捉された音声信号を分離するために、前記決定された減衰係数および遅延係数を使用して、前記対象マイクロフォンにより捕捉された音声信号から、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声を除去し、
前記対象マイクロフォンの分離された音声信号を処理して前記対象マイクロフォンの前記分離された音声信号の音声属性を決定し、
前記音声属性を使用して、前記対象マイクロフォンの前記分離された音声信号内の音声のそれぞれのソースを決定する、
ように構成される、前記システム。
【請求項１７】
前記少なくとも２つのマイクロフォンは、少なくとも１つのネットワークオーディオプロセッサーのマイクロフォンを含む、請求項１６に記載のシステム。
【請求項１８】
前記少なくとも２つのマイクロフォンは、小売環境のチェックアウトレーン内のマイクロフォンを含む、請求項１６に記載のシステム。
【請求項１９】
前記少なくとも１つの音声ソースはスキャナを含む、請求項１６に記載のシステム。
【請求項２０】
前記少なくとも１つの音声ソースは出納係と顧客とを含む、請求項１６に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の実施形態において、方法は、少なくとも２つのマイクロフォンを使用して音声を記録するステップと、マイクロフォンのアレイのうちの対象マイクロフォンを使用して、他のマイクロフォンのそれぞれの位置に由来する音声に対する減衰係数を決定するステップと、マイクロフォンの上記アレイのうちの対象マイクロフォンを使用して、マイクロフォンの上記アレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声に対する遅延係数を決定するステップと、上記決定された減衰係数および遅延係数を使用して、上記対象マイクロフォンによって捕捉された音声信号から、上記他のマイクロフォンのそれぞれの位置に由来する音声を除去して、上記対象マイクロフォンによって捕捉された上記音声信号を分離するステップと、を含む。上記方法、装置、およびシステムは、上記対象マイクロフォンの上記分離された音声信号を処理して、上記対象マイクロフォンの上記分離された音声信号の音声属性を決定するステップと、上記音声属性を使用して、上記分離された音声信号における音声のそれぞれのソースを決定するステップと、をさらに含む。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の代替的実施形態において、装置は、プログラムルーチンおよびデータを記憶するためのメモリと、上記プログラムルーチンを実行するためのプロセッサーと、を含む。そのような実施形態では、上記装置は、マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録し、マイクロフォンの上記アレイのうちの対象マイクロフォンを使用して、マイクロフォンの上記アレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声に対する減衰係数を決定し、マイクロフォンの上記アレイのうちの対象マイクロフォンを使用して、マイクロフォンの上記アレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声に対する遅延係数を決定し、上記決定された減衰係数および遅延係数を使用して、上記対象マイクロフォンによって捕捉された音声信号から、マイクロフォンの上記アレイのうちの上記他のマイクロフォンのそれぞれの位置に由来する音声を除去して、上記対象マイクロフォンによって捕捉された上記音声信号を分離し、上記対象マイクロフォンの上記分離された音声信号を処理して、上記対象マイクロフォンの上記分離された音声信号の音声属性を決定し、上記音声属性を使用して、上記対象マイクロフォンの上記分離された音声信号における音声のそれぞれのソースを決定するように構成される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の代替的実施形態において、システムは、マイクロフォンのアレイを含む少なくとも２つのマイクロフォンと、少なくとも１つの音声ソースと、プログラムルーチンおよびデータを記憶するためのメモリ、ならびに上記プログラムルーチンを実行するためのプロセッサーを備える装置と、を含む。そのようなシステムにおいて、上記装置は、マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録し、マイクロフォンの上記アレイのうちの対象マイクロフォンを使用して、マイクロフォンの上記アレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声に対する減衰係数を決定し、マイクロフォンの上記アレイのうちの対象マイクロフォンを使用して、マイクロフォンの上記アレイのうちの他のマイクロフォンのそれぞれの位置に由来する音声に対する遅延係数を決定し、上記決定された減衰係数および遅延係数を使用して、上記対象マイクロフォンによって捕捉された音声信号から、マイクロフォンの上記アレイのうちの上記他のマイクロフォンのそれぞれの位置に由来する音声を除去して、上記対象マイクロフォンによって捕捉された上記音声信号を分離し上記対象マイクロフォンの上記分離された音声信号を処理して、上記対象マイクロフォンの上記分離された音声信号の音声属性を決定し、上記音声属性を使用して、上記対象マイクロフォンの上記分離された音声信号における音声のそれぞれのソースを決定するように構成される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の教示は、添付の図面と併せて以下の詳細な説明を検討することで容易に理解され得る。
【図１】本発明の実施形態が適用され得るコンテンツ配布システムの高レベルブロック図である。
【図２】本発明の実施形態が適用され得る店内広告を提供するための店内広告ネットワークの高レベルブロック図である。
【図３】本発明の実施形態によるマイクロフォンの音声を分離するための装置の高レベルブロック図である。
【図４】本発明の実施形態によるマイクロフォンの音声を分離するための方法のフロー図である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
本発明の一実施形態において、マイクロフォンのアレイ内の少なくとも１つのマイクロフォンから除去されるべき、ノイズ、たとえば、図１のコンテンツ配布システムの隣接チェックアウトレーンにおいて生成された音および他の音声信号などのノイズを決定するためのプロセスが、本発明の一実施形態では、ビーム形成プロセス／技法によって達成され得る。本発明の実施形態を説明するために、ｔを、マイクロフォンが音を記録するタイムスロット（たとえばｍｓｅｃ毎）とし、ｙi（ｔ）を、タイムスロットｔにおいてスクリーンｉでマイクロフォンによって受け取られまたは検出される信号とし、ｘi（ｔ）を、タイムスロットｔにおいてカウンタｉで生成された音信号（たとえば、カウンタｉにおけるレジ係と顧客との間の会話、チェックアウト機によって形成された走査音などを含む）とし、Ｔijを、カウンタｉからカウンタｊの時間遅延に基づく重み付け値（遅延パラメータ）とし、ｗijを、カウンタｉからカウンタｊの距離に基づく重み付け値（減衰係数）とする。したがって、位置ｉのマイクロフォンは、以下の式（１）に従って決定され得るすべてのカウンタからの音を含む信号ｙiを受け取る：
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
また、式（１）において、ｗijは、カウンタｉからカウンタｊの減衰係数であり、Ｔijは、カウンタｉからカウンタｊの遅延パラメータである。結果として、カウンタｉから来る音を分離するために、以下の処理が行われる。各ディスプレイは、記録された信号ｙi（ｔ）を、たとえば処理デバイスにブロードキャストし、その処理デバイスは、本発明の様々な実施形態において、セットトップボックス１２０、または図１のコンテンツ配布システム１００のサーバ１１０等のローカルもしくはリモートサーバ、または図２の店内広告ネットワーク２００のＮＭＣ２１０もしくはＮＯＣ２２０に存在することができる。これらの信号を有すると、時間ｔにおけるカウンタｉでの音（すなわちｘi（ｔ））を分離するために、処理デバイスは、式（１）の線形システムを解く。このシステムの未知数は、異なるタイムスロットｔにおける信号ｘiである。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
上記の式（１）に戻ると、本発明の一実施形態では、減衰係数ｗijおよび遅延係数Ｔijを決定するために、たとえばチェックアウトカウンタにおけるスキャナによって生成された、既知のチェックアウト音またはトーンが使用される。すなわち、そのような実施形態では、チェックアウトスキャナトーンは既知の音であり、所定の音量を備える。各スキャナが既知の時間（ｔ1）でチェックアウトトーンを生成すると、対象ディスプレイのマイクロフォンが、トーンを検出し、そのような情報を、一実施形態では、たとえば上述したような本発明の処理デバイスまたはサーバにおける音声回路に伝達することができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
ステップ４０８で、決定された減衰係数および遅延係数が使用されて、対象マイクロフォンによって捕捉された音声信号から、マイクロフォンのアレイの他のマイクロフォンのそれぞれの位置に由来する対象マイクロフォンによって捕捉された音声信号からの音声を除去して、たとえば、本発明の一実施形態ではビーム形成プロセス／技法を使用することにより、対象マイクロフォンによって捕捉された音声信号を分離する。方法４００は、ステップ４１０に進む。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
マイクロフォンの音声を分離するための方法、装置、およびシステムの様々な実施形態（これらは、説明に役立ち、制限していないことが意図される）が説明されているが、上記の教示に照らして当業者によって修正および変形が行われ得ることに留意されたい。したがって、本発明の範囲および趣旨の範囲内の開示された本発明の特定の実施形態において、変更が行われてもよいことを理解されたい。上記は本発明の様々な実施形態に向けられているが、本発明の他のさらなる実施形態が、本発明の基本的範囲から逸脱することなく案出され得る。
本発明は以下の態様を含む。
（付記１）
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録するステップと、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての減衰係数を決定するステップと、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての遅延係数を決定するステップと、
前記対象マイクロフォンにより捕捉された音声信号を分離するために、前記決定された減衰係数および遅延係数を使用して、前記対象マイクロフォンにより捕捉された音声信号から、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声を除去するステップと、
前記対象マイクロフォンの分離された音声信号を処理するステップであって、前記対象マイクロフォンの分離された音声信号の音声属性を決定する、前記処理するステップと、
前記音声属性を使用して、前記対象マイクロフォンの前記分離された音声信号内の音声のそれぞれのソースを決定するステップと、
を含む、方法。
（付記２）
前記音声属性は発話属性を含み、前記対象マイクロフォンの前記分離された音声信号内の発話のそれぞれのソースが決定される、付記１に記載の方法。
（付記３）
前記処理するステップは、前記音声信号内の発話属性を決定するために、前記対象マイクロフォンの前記分離された音声信号にフーリエ変換を適用するステップを含む、付記２に記載の方法。
（付記４）
前記発話属性は、周波数、平均振幅、最大振幅、最初の振幅ピークの時間、および振幅ピークの数のうちの少なくとも１つを含む、付記３に記載の方法。
（付記５）
前記分離された音声信号内の発話のそれぞれのソースを決定するステップは、前記分離された音声信号に機械学習技法を適用し、前記決定された発話属性を適用するステップを含む、付記２に記載の方法。
（付記６）
前記機械学習技法は、ｋ平均クラスタリングを含む、付記５に記載の方法。
（付記７）
発話のそれぞれのソースのうちの少なくとも１つの前記分離された音声信号に標準機械学習技法を適用して、前記発話のそれぞれのソースのうちの少なくとも１つの人口統計情報を決定するステップを含む、付記２に記載の方法。
（付記８）
前記標準機械学習技法は、線形回帰、決定木、ＡｄａＢｏｏｓｔ、およびサポートベクターマシンおよびアルゴリズムのうちの少なくとも１つを含む、付記７に記載の方法。
（付記９）
前記人口統計情報は、前記発話のソースの性別、年齢、および民族的背景のうちの少なくとも１つを含む、付記７に記載の方法。
（付記１０）
前記発話属性を使用して、前記発話のそれぞれのソースについての声紋を決定するステップを含む、付記２に記載の方法。
（付記１１）
前記音声の特性は、製品の購入に関連付けられた可聴トーンの音声の特性を含み、購入された製品の数は、前記可聴トーンから決定される、付記１に記載の方法。
（付記１２）
小売店によって収集された情報を使用して、前記対象マイクロフォンの前記分離された音声信号内で前記音声のそれぞれのソースを識別するステップを含む、付記１に記載の方法。
（付記１３）
前記決定された音声のそれぞれのソースを対象とする広告を提供するステップを含む、付記１に記載の方法。
（付記１４）
プログラムルーチン及びデータを記憶するメモリと、
前記プログラムルーチンを実行するプロセッサーと、
を備えた装置であって、
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての減衰係数を決定し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての遅延係数を決定し、
前記対象マイクロフォンにより捕捉された音声信号を分離するために、前記決定された減衰係数および遅延係数を使用して、前記対象マイクロフォンにより捕捉された音声信号から、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声を除去し、
前記対象マイクロフォンの分離された音声信号を処理して前記対象マイクロフォンの分離された音声信号の音声属性を決定し、
前記音声属性を使用して、前記対象マイクロフォンの前記分離された音声信号内の音声のそれぞれのソースを決定する、
ように構成される、前記装置。
（付記１５）
前記装置はサーバおよびセットトップボックスのうちの少なくとも１つの統合された音声回路を含む、付記１４に記載の装置。
（付記１６）
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンと、
少なくとも１つの音声ソースと、
プログラムルーチン及びデータを記憶するメモリと、前記プログラムルーチンを実行するプロセッサーと、を含む装置と、
を備えたシステムであって、前記装置は、
マイクロフォンのアレイを含む少なくとも２つのマイクロフォンを使用して音声を記録し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての減衰係数を決定し、
前記マイクロフォンのアレイのうちの対象マイクロフォンを使用して、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声についての遅延係数を決定し、
前記対象マイクロフォンにより捕捉された音声信号を分離するために、前記決定された減衰係数および遅延係数を使用して、前記対象マイクロフォンにより捕捉された音声信号から、前記マイクロフォンのアレイのうちの他のマイクロフォンのそれぞれの位置から発生する音声を除去し、
前記対象マイクロフォンの分離された音声信号を処理して前記対象マイクロフォンの分離された音声信号の音声属性を決定し、
前記音声属性を使用して、前記対象マイクロフォンの前記分離された音声信号内の音声のそれぞれのソースを決定する、
ように構成される、前記システム。
（付記１７）
前記少なくとも２つのマイクロフォンは、少なくとも１つのネットワークオーディオプロセッサーのマイクロフォンを含む、付記１６に記載のシステム。
（付記１８）
前記少なくとも２つのマイクロフォンは、小売環境のチェックアウトレーン内のマイクロフォンを含む、付記１６に記載のシステム。
（付記１９）
前記少なくとも１つの音声ソースはスキャナを含む、付記１６に記載のシステム。
（付記２０）
前記少なくとも１つの音声ソースは出納係と顧客とを含む、付記１６に記載のシステム。
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2016521382.tif 000008
【国際調査報告】
2016521382.tif 000009
2016521382.tif 000010
2016521382.tif 000011