(57)【要約】  音響信号を修正するためのシステムおよび方法は音響伝達関数を使用して１つまたは複数のマイクロホンにより提供される。音響伝達関数は音響モデルおよび音響要素の決定された位置に部分的に基づいて決定されてもよい。【選択図】図１
2015506491.tif 000002
【特許請求の範囲】
【請求項１】
１つまたは複数のプロセッサにより、音響モデルを受信するステップと、
少なくとも１つの音響要素の位置をモニタするステップと、
前記１つまたは複数のプロセッサにより、前記音響モデルに少なくとも部分的におよび少なくとも１つの前記音響要素の位置に基づいて少なくとも１つのマイクロホンの各々に対応するそれぞれの音響伝達関数を決定するステップと、
前記少なくとも１つのマイクロホンの各々から音響信号を受信するステップと、
１つまたは複数のプロセッサにより、前記対応する音響伝達関数に少なくとも部分的に基づいて受信した音響信号の各々を修正するステップと、
を備える方法。
【請求項２】
前記音響モデルは少なくとも１つの初期伝達関数を備え、前記少なくとも１つの初期伝達関数の各々は少なくとも１つの所定の位置に対応する、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの音響要素は個々に関連付けられたリップリングである、請求項１または請求項２に記載の方法。
【請求項４】
前記少なくとも１つの音響要素の位置をモニタするステップはイメージセンサを使用して前記少なくとも１つの音響要素を撮像するステップを備える、請求項１から請求項３のいずれか１つに記載の方法。
【請求項５】
前記少なくとも１つの音響要素の位置をモニタするステップは前記少なくとも１つの音響要素およびレンジセンサとの間の距離を前記レンジセンサを使用して決定するステップを備える、請求項１から請求項４のいずれか１つに記載の方法。
【請求項６】
前記少なくとも１つの音響要素の位置は３次元空間内の点として定義される、請求項１から請求項５のいずれか１つに記載の方法。
【請求項７】
前記音響伝達関数を決定するステップは、
（ｉ）容量内挿法、
（ｉｉ）容量外挿法、
（ｉｉｉ）２次元内挿法、
（ｉｖ）２次元外挿法、
（ｖ）１次元内挿法、または
（ｖｉ）１次元外挿法
のうちの少なくとも１つを備える、請求項１から請求項６のいずれか１つに記載の方法。
【請求項８】
前記音響信号の各々は前記少なくとも１つの音響要素により生成された音に対応する電気信号である、請求項１から請求項７のいずれか１つに記載の方法。
【請求項９】
前記音響信号の各々を修正するステップはその対応する音響伝達関数の逆数により音響信号の各々を乗算するステップを備える、請求項１から請求項８のいずれか１つに記載の方法。
【請求項１０】
前記修正された音響信号の少なくとも１つを音声認識エンジンに提供するステップをさらに備える、請求項１から請求項９のいずれか１つに記載の方法。
【請求項１１】
前記１つまたは複数のプロセッサにより、前記音響モデルを決定するステップをさらに備える、請求項１から請求項１０のいずれか１つに記載の方法。
【請求項１２】
前記音響モデルを決定するステップは少なくとも１つの物理的な伝達関数を決定するステップを備え、物理的な伝達関数の各々はそれぞれの位置に対応する、請求項１１に記載の方法。
【請求項１３】
前記少なくとも１つの物理的な伝達関数を決定するステップは前記少なくとも１つのマイクロホンの各々における音響応答をそれぞれの位置の各々で提供される音から決定するステップをさらに備える、請求項１２に記載の方法。
【請求項１４】
ユーザに関連付けられた対象領域の情報を提供する少なくとも１つのセンサと、
格納された音響モデルを有する少なくとも１つのコンピュータ可読媒体と、
検出された音に基づいて音響信号を生成する１つまたは複数のマイクロホンと、
前記少なくとも１つのセンサ、前記コンピュータ可読媒体、および前記１つまたは複数のマイクロホンに通信可能に結合され、かつ前記対象領域の情報に少なくとも部分的におよび前記音響モデルに基づいて音響信号の各々を修正する、少なくとも１つのプロセッサと
を備えるシステム。
【請求項１５】
前記少なくとも１つのセンサはレンジセンサまたはイメージセンサのうちの少なくとも１つを備える、請求項１４に記載のシステム。
【請求項１６】
前記対象領域の情報は前記ユーザのリップリングの空間的位置を備える、請求項１４または請求項１５に記載のシステム。
【請求項１７】
前記検出された音は人間の声である、請求項１４から請求項１６のいずれか１つに記載のシステム。
【請求項１８】
前記音響信号の各々は前記検出された音に対応する電気信号である、請求項１４から請求項１７のいずれか１つに記載のシステム。
【請求項１９】
前記少なくとも１つのプロセッサは前記対象領域の情報および音響モデルに基づいて前記少なくとも１つのマイクロホンの各々に対応する音響伝達関数を決定することにより前記音響信号の各々を修正する、請求項１４から請求項１８のいずれか１つに記載のシステム。
【請求項２０】
前記修正された音響信号の各々の少なくとも１つを受信する音声認識エンジンをさらに備える、請求項１４から請求項１９のいずれか１つに記載のシステム。
【請求項２１】
音響モデルを識別するステップと、
少なくとも１つの音響要素の位置をモニタするステップと、
前記音響モデルに少なくとも部分的におよび前記少なくとも１つの音響要素の位置に基づいて少なくとも１つのマイクロホンの各々に対応するそれぞれの音響伝達関数を決定するステップと、
前記少なくとも１つのマイクロホンの各々から音響信号を受信するステップと、
前記対応する音響伝達関数に少なくとも部分的に基づいて音響信号の各々を修正するステップと、
をコンピュータに実行させるためのプログラム。
【請求項２２】
前記音響モデルは少なくとも１つの初期伝達関数を備え、前記少なくとも１つの初期伝達関数の各々は位置に対応する、請求項２１に記載のプログラム。
【請求項２３】
前記音響信号の各々を修正するステップは前記音響信号の各々をその対応する音響伝達関数の逆数により乗算するステップを備える、請求項２１または請求項２２に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般的に音響信号に関し、特に音響信号を修正することに関する。
【背景技術】
【０００２】
音声認識技術は音声により作動するマイクロホンにより収集された音響信号からテキストを生成することができる。音声認識は１つまたは複数のマイクロホンからの音響信号を解釈し、既知のアルゴリズムまたはモデル、例えば隠れマルコフモデル（ＨＭＭ）を適用することにより単語などの信号を解釈する音声認識エンジンに依存してもよい。このような技術は、電子ディクテーション、音声コマンド認識、および電話ベースの対話型音声応答顧客サービスエンジンを含む様々な目的のために益々展開されてきている。
【０００３】
車両の運転者にとっては、音声認識エンジンにより認識された音声コマンドの使用などのような、ハンズフリーな方法で車両およびその他の周辺機器に命令を提供し制御することが望ましいので、車両用環境では特に音声認識技術から利益を得られる場合がある。したがって、車載アプリケーションにおける音声認識技術の展開は、改善された道路の安全性および改善された運転者の経験を提供する場合がある。
【０００４】
音声認識技術の性能はより高速なプロセッサおよび改良された音声認識方法の開発によって改善されている。具体的には、音声認識エンジンにより単語の認識精度の向上がなされている。すなわち、単語誤り率（ＷＥＲ）などのような音声認識の精度ベースの測定基準の改善がなされている。
【０００５】
音声認識技術の性能の改善と進歩にもかかわらず、車両用環境などのような特定の環境における音声認識の精度はまだ比較的エラーが発生しやすい場合がある。例えば、音声認識エンジンは、車両のコックピットなどのような音波が複数の経路を介し、かつエンジンノイズ、ロードノイズなどのような他のノイズが存在する状況でマイクロホンに到達する、比較的ノイズの多い環境または密閉室内で次善であったり、若しくは性能が低下する場合がある。
【０００６】
必ずしも一定の縮尺で描かれていない添付の図面への参照がここで行われる。
【図面の簡単な説明】
【０００７】
【図１】本開示の実施形態による音響信号を修正するために車両に関連付けられた例示的な方法を示す簡略図である。
【図２】本開示の実施形態による音声認識エンジンに修正された音響信号を提供する方法の一例を示すフロー図である。
【図３】図１の車両の例示的コックピットを示す簡略化された概略トップダウン図であり、例示的音響モデルは本開示の実施形態によって生成されてもよい。
【図４】図３の例示的コックピットを示すに簡略化された概略側面図であり、例示的音響モデルは本開示の実施形態によって生成されてもよい。
【図５】図３の例示的コックピットを示す簡略化された概略トップダウン図であり、例示的オーディオ要素は本開示の実施形態による１つまたは複数のマイクロホンからの音を生成し、音響信号を作成してもよい。
【図６】本開示の実施形態による音響信号を修正するための例示的なシステムを示す簡略ブロック図である。
【図７】本開示の実施形態による音響信号を修正するためにトラッキングされる例示的オーディオ要素を示す簡略化された概略図である。
【図８】図３のコックピットを示す簡略化された概略図であり、本開示の実施形態によって例示的音経路はオーディオ要素から１つまたは複数のマイクロホンに送信される。
【図９】本開示の実施形態によるオーディオ伝達関数の例示的推定を示す簡略化されたブロック図である。
【図１０】本開示の実施形態による１つまたは複数のマイクロホンの各々からのオーディオ信号を修正し、例示的修正されたオーディオ信号を音声認識エンジンに提供することを示す概略図である。
【発明を実施するための形態】
【０００８】
本開示の実施形態は本開示の実施形態を示す添付図面を参照してより完全に説明される。しかしながら、本発明は多くの異なる形態で具現化されてもよく、本明細書に記載された実施形態に限定されると解釈されるべきではなく、むしろこれらの実施形態はこの開示が徹底的かつ完全となるように提供され、当業者に本発明の範囲を十分に伝えるであろう。同様の数字は全体を通して同様の要素を指す。
【０００９】
本開示の実施形態は１つまたは複数のマイクロホンで生成された音に対応するオーディオ信号を修正するためのシステム、方法、およびデバイスを提供してもよい。一態様では、マイクロホンは車両のコックピットのような音響エコーが発生しやすい、かつ／またはノイズの多い音響環境である密閉容量または環境で提供されてもよい。１つまたは複数のマイクロホンからの修正されたオーディオ信号は、車両内の音声コマンドまたはテキスト入力の認識を含む様々な用途のための改良された音声認識を可能にするために音声認識エンジンと組み合わせて提供されてもよい。修正されたオーディオ信号はマイクロホンにより生成された未修正オーディオ信号よりもエコーおよびノイズにより破損されていない場合がある。一態様では、音声認識エンジンに提供される修正されたオーディオ信号は比較的低い単語誤り率（ＷＥＲ）を結果としてもたらしてもよい。本開示の実施形態は音生成要素の位置に部分的に基づいて１つまたは複数のマイクロホンのそれぞれについて音響伝達関数を決定することをさらに伴ってもよい。さらに、このような車両のコックピットとしての容量または環境の音響モデルは１つまたは複数のマイクロホンのそれぞれの音響伝達関数を決定するために使用されてもよい。一態様では、容量または環境の音響モデルは車両の製造業者または適切なサービスプロバイダとしての第三者により決定されてもよい。
【００１０】
本開示の例示的な実施形態が添付図面を参照しながら説明される。
【００１１】
次に図１を参照すると、本開示の実施形態による車両１０２内で音響信号を解釈するための例示的方法１００が議論される。この議論の目的のために、車両１０２は自動車、トラック、小型トラック、大型トラック、ピックアップトラック、ミニバン、クロスオーバー車、バン、商用車、自家用車、トラクタートレーラー、飛行機、ジェット機、ヘリコプター、宇宙船、船舶、または比較的密閉されたコックピットを有する任意の他の適切な輸送機関を含むことができるがこれらに限定されない。しかしながら、本開示の実施形態はまた比較的密閉された領域が設けられている他の環境において利用されてもよいことが理解されるであろう。
【００１２】
ブロック１０４において、車両１０２の３次元（３−Ｄ）音響モデルが決定される。一態様では、車両の音響モデルは最終消費者による車両１０２の購入に先立って決定されてもよい。例えば、車両製造業者またはサービスプロバイダ（例えば、製造者等を代行するサービスプロバイダ）は、車両１０２が車両販売店に供給されその後最終消費者により購入される前に車両１０２の音響モデルを決定してもよい。したがって、一態様では、車両１０２の最終消費者は車両１０２の３−Ｄ音響モデルを決定する必要はない。車両１０２の３−Ｄ音響モデルは車両１０２に関連付けられた電子メモリ内に格納されてもよい。特に、電子メモリは車両１０２に関連付けられたオーディオ信号を修正するためのシステム内に設けられてもよい。
【００１３】
ブロック１０６において、３次元音響モデルは音響信号を解釈または修正するために使用されてもよい。音響信号は車両１０２内で作成される圧縮波または音に基づいて生成されてもよい。例えば、音響信号は車両１０２の運転者または車両１０２のコックピット内の別ユーザにより車両内に生成される音により作動するマイクロホンにより生成されてもよい。したがって、本質的には、車両１０２内に生成される音をより正確かつ精密に解釈するために特定の実施形態において使用することができる車両１０２の音響モデルが生成され提供される。特定の態様では、音響信号はテキスト機能に音声を提供するために音声認識エンジンにより解釈されてもよい。
【００１４】
３−Ｄ音響モデルを使用するオーディオ信号を解釈することのさらなる詳細が図２を参照して説明される。本開示の実施形態による音声認識エンジンに修正された音響信号を提供する方法１２０は、ブロック１２２において、図１を参照して説明したように車両の３次元音響モデルなどのような少なくとも１つの音響モデルを生成することを含んでいてもよい。特定の実施形態では、音響モデルは車両１０２の製造者により生成されてもよい。他の実施形態では、音響モデルは車両１０２を販売する販売店により生成されてもよい。さらに他の実施形態では、音響モデルは最終消費者、例えば車両の運転者または所有者により生成されてもよい。一態様では、音響モデルは車両製造者により製造される各車両１０２のために生成されてもよい。他の態様では、音響モデルは車両の種類ごとに提供されてもよい。例えば、特定の製造者、モデル、年式、および／またはトリムの全ての車両は、ブロック１２２において同じ音響モデルを提供されてもよい。
【００１５】
特定の実施形態では、音響モデルは音が作成され結果として得られた音響信号が修正された容量内の各空間的位置の任意の数に対応する音響伝達関数を含んでいてもよい。一態様では、空間的位置は３次元音響モデルで得られた３次元空間で定義されてもよい。代替的に、空間的位置は２次元音響モデルで得られた２次元空間で定義されてもよい。さらなる代替として、空間的位置は１次元の音響モデルで得られた１次元で定義されてもよい。本開示の残りの部分の目的のために、我々は３−Ｄ音響モデルを検討する。しかしながら、記載されたシステム、方法、およびデバイスは非３次元音響モデルに適用可能であることに留意すべきである。
【００１６】
次に、ブロック１２４において、対象領域の位置はモニタされてもよい。対象領域は音を作成する音響要素を含んでいてもよい。一態様では、対象領域は人物のリップリング（唇輪）であってもよい。リップリングは人物の唇および口の周りの顔の領域であり唇を含む。例えば、リップリングの位置は電荷結合素子（ＣＣＤ）ベースのデジタルカメラ等のイメージセンサによりモニタすることができる。別の態様では、リップリングの位置はレンジセンサなどのような任意の種々の公知の距離センサを使用して決定されてもよい。特定の実施形態では、対象領域の位置はイメージセンサおよびレンジセンサの両方を使用してモニタされてもよい。
【００１７】
ブロック１２６において、少なくとも１つのマイクロホンへの音響伝達関数は、ブロック１２２において生成されるように車両１０２の少なくとも１つの音響モデルと併せて、ブロック１２４でモニタされるように、対象領域の位置に少なくとも部分的に基づいて決定されてもよい。例えば、音響伝達関数は車両１０２の音響モデルで提供されるデータの容量外挿法により決定されてもよい。さらなる例として、音響伝達関数は空中外挿法、線形外挿法、容量内挿法、空中内挿法、線形内挿法、および／または外挿法または内挿法の任意の他の公知の方法の任意の組み合わせにより決定されてもよい。１つまたは複数のマイクロホンの各々に対応する音響伝達関数を決定または推定するために使用される外挿法または内挿法などのような数学的操作は線形、２次、ｎ次多項式、対数、指数、および／または他の任意の公知の数学的操作を含んでいてもよい。一態様では、音響伝達関数はリップリングのような対象領域の位置に少なくとも部分的に基づいて少なくとも１つのマイクロホンの各々について生成されてもよい。例えば、車両１０２内に４つのマイクロホンが存在する場合、４つの異なる伝達関数が車両１０２内の４つのマイクロホンの各々に対応して生成されてもよい。４つの伝達関数の各々はブロック１２４で決定されたリップリングの位置およびブロック１２２において提供される車両の音響モデルに基づいて生成されてもよい。
【００１８】
ブロック１２８において、音が少なくとも１つのマイクロホンで受信され、受信された音波に対応する音響信号が少なくとも１つのマイクロホンにより生成される。したがって、少なくとも１つのマイクロホンの出力は少なくとも１つのマイクロホンの各々に対応する未修正音響信号である。一態様では、生成される音響信号の数は車両１０２内のマイクロホンの数に等しくてもよい。
【００１９】
ブロック１３０において、音響信号の各々はブロック１２８で決定されたようにマイクロホンの各々に対応するそれぞれの音響伝達関数に基づいて修正される。マイクロホンの各々から出力される未修正音響信号は修正された音響信号を生成するために決定された対応する音響伝達関数の逆数により乗算されてもよい。
【００２０】
ブロック１３２において、修正された音響信号の各々は音声認識エンジンに提供されてもよい。音声認識エンジンは次に音声からテキストを生成するために修正された音響信号の各々を使用してもよい。音声からテキストへの機能は音声コマンド、テキストメッセージディクテーション、電子メールディクテーションなどを含む様々な目的のために使用されてもよいが、これらに限定されない。特定の実施形態では、修正された音響信号は音声認識エンジンに提供される前に必要に応じて合計されてもよい。
【００２１】
方法１２０は本開示の特定の実施形態による種々の方法で変形されてもよいことに留意すべきである。例えば、方法１２０の１つまたは複数の操作は本開示の他の実施形態では順不同で排除または実行されてもよい。加えて、他の操作が本開示の他の実施形態による方法１２０に加えられてもよい。
【００２２】
車両１０２の音響モデルを生成する例示的な処理は図３および図４を参照して説明したように車両１０２のコックピット１５０内に実装されてもよい。コックピット１５０は運転席１５２、ダッシュボード１５６、およびマイクロホン１６０Ａ、１６０Ｂ、１６０Ｃ、および１６０Ｎなどのような任意の数のマイクロホンを含んでいてもよい。スピーカ１７０または他の適切な音発生デバイスは車両１０２の運転中に生成されてもよいおおよその位置に設けられてもよい。スピーカ１７０は音響モデルの生成中に音波または音１７２として表現される音または衝撃波を放出してもよい。コックピット１５０は放射１７５を放出する放射放出器１７４および／またはレンジセンサ１７６をさらに含んでいてもよい。コックピット１５０はまたイメージセンサ１７８をさらに含んでいてもよい。４つのマイクロホン１６０Ａ−Ｎが示されているが、任意の数のマイクロホンが存在してもよい。マイクロホンはコンデンサマイクロホン、ダイナミックマイクロホン、キャパシタンスダイヤフラムマイクロホン、圧電マイクロホン、光ピックアップマイクロホン、またはこれらの組み合わせを含む任意の既知のタイプのものであってもよいがこれらに限定されない。さらに、マイクロホン１６０Ａ−Ｎは任意の指向性および感度であってもよい。例えば、マイクロホン１６０Ａ−Ｎは無指向性、単一指向性、カージオイド（心臓形曲線）、または双方向性であってもよい。また、マイクロホン１６０Ａ−Ｎは同一品種または混合品種のものであってもよいことに留意すべきである。例えば、マイクロホン１６０Ａ−Ｎのいくつかがコンデンサマイクロホンであってもよく、その他がダイナミックマイクロホンであってもよい。
【００２３】
スピーカ１７０は音１７２を生成することができる任意の公知の種々のものであってもよい。一態様では、スピーカ１７０は音１７２を生成するために電気信号を提供されてもよい。音１７２はトーン、大きさ、およびリズムの様々なものであってもよい。本明細書で使用されるリズムは音と無音の連続である。一態様では、音１７２は周波数の範囲全体に渡って比較的一貫性のある大きさの周波数の比較的広い範囲に及ぶホワイトノイズであってもよい。あるいは、音１７２は周波数の範囲全体に渡って大きさの変化のある周波数の比較的広い範囲に及ぶピンクノイズであってもよい。さらに他の代替形態において、音１７２はインパルス関数、サウンドスパイク、モノ−音色であってもよく、または音圧縮波の周波数の有限数に対応するトーンの有限数を有していてもよい。一態様では、インパルス関数の音はコックピット１５０内の音の完全なスペクトルを実質的にシミュレートしてもよい。
【００２４】
レンジセンサ１７６は任意の公知の種々のもの、例えば赤外線検出器であってもよい。放射放出器１７４は物体から反射することができる赤外線１７５を放出してもよく、反射した放射はレンジセンサ１７６および物体との間の範囲または距離を決定するためにレンジセンサ１７６により検出されることができる。例えば、放射放出器１７４は運転席１５２に着座して車両１０２を操作する運転者の顔から反射してもよい赤外線を放出してもよい。反射された放射は次にレンジセンサ１７６および運転者の顔との間の距離、または運転者のリップリングなどのような特に運転者の顔の対象領域との距離を決定するためにレンジセンサ１７６により検出されてもよい。赤外線検出器および放射放出器は車両１０２の運転者の範囲を決定するために記述されているが、超音波センサなどのような他の適切な多種多様なデバイスが運転者との範囲を決定するために利用されてもよい。
【００２５】
イメージセンサ１７８は光学像を電子信号に変換する任意の公知のデバイスであってもよい。イメージセンサ１７８は電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）センサ等を含む任意の公知の種々のものであってもよい。イメージセンサ１７８は任意の画素数およびアスペクト比のものであってもよい。
【００２６】
車両１０２の音響モデルを生成する処理の間に、スピーカ１７０はスピーカ１７０に提供された電子信号に基づいて音１７２を放出してもよい。マイクロホン１６０Ａ−Ｎの各々は音１７２により作動させられてもよく、マイクロホン１６０Ａ−Ｎの各々に対応する音響信号は評価されてもよい。マイクロホン１６０Ａ−Ｎの各々の音響信号をスピーカ１７０に提供される電子信号と比較することにより、スピーカ１７０およびマイクロホン１６０Ａ−Ｎの各々との間の物理的な音響伝達関数を決定することができる。したがって、音１７２がマイクロホン１６０Ａ−Ｎの各々の位置に放出される空間内の点からの伝達関数を決定することが可能である。特定の実施形態において、スピーカ１７０に提供される電子信号によりマイクロホン１６０Ａ−Ｎの各々により生成された音響信号を分割することによりスピーカ１７０の位置およびマイクロホン１６０Ａ−Ｎの各々との間の物理的な音響伝達関数を決定することが可能であってもよい。他の実施形態において、スピーカ１７０およびマイクロホン１６０Ａ−Ｎの各々の位置との間の物理的な音響伝達関数は、マイクロホン１６０Ａ−Ｎの各々により生成される音響信号だけでなく、スピーカ１７０に提供される電子信号の両方の線形数学的操作を使用して決定されてもよい。さらに他の実施形態において、スピーカ１７０の位置およびマイクロホン１６０Ａ−Ｎの各々との間の物理的な音響伝達関数は、マイクロホン１６０Ａ−Ｎの各々により生成される音響信号だけでなく、スピーカ１７０により提供される電子信号の両方の非線形数学的操作を使用して決定されてもよい。
【００２７】
スピーカ１７０の位置およびマイクロホン１６０Ａ−Ｎの各々との間で決定された物理的な音響伝達関数は、音１７２の周波数の関数だけでなく３次元空間内のスピーカ１７０の位置の関数であってもよい。したがって、物理的な音響伝達関数は、ωが音１７２の周波数である表記法Ｈ（ω）などにより、周波数の関数として周波数領域で表されてもよい。物理的観点からは、周波数は音波の波長に反比例して関連するため伝達関数は周波数の関数であってもよく、したがって、周波数に関連する１つの点から別の点に送信中に異なる特性を有してもよいことが理解できる。一態様では、吸収、反射、拡散、または特定の材料または物体に対する特定の音の他の特性は波長依存であってもよい。
【００２８】
音響モデルはマイクロホン１６０Ａ−Ｎのうち少なくとも１つの空間内の少なくとも１つの点から少なくとも１つの物理的な音響伝達関数を決定することにより生成されてもよい。しかしながら、音響モデルはコックピット１５０内の複数の位置およびマイクロホン１６０Ａ−Ｎの各々に対応する任意の数の物理的な音響伝達関数を含んでいてもよい。さらに、音響モデルは特定の位置に対応する伝達関数の１つまたは複数の非隣接セグメントを含んでいてもよい。例えば、伝達関数により表される全周波数範囲は単一の線形セグメントにより表されなくてもよく、かつ複数のセグメントに分割される必要がある場合もあり、それによって特定の位置および特定のマイクロホン１６０Ａ−Ｎとの間の非線形音響伝達関数を作成する。さらにまた、音響モデルは特定の位置に対応する伝達関数の１つまたは複数の非隣接セグメントを含んでいてもよい。
【００２９】
特定の実施形態において、音響モデルは様々な位置から音１７２を放出するようにコックピット１５０内の様々な場所にスピーカ１７０を移動させ、かつマイクロホン１６０Ａ−Ｎの各々の様々な位置の各々の間の物理的な音響伝達関数を決定することにより生成されてもよい。換言すれば、音響モデルはコックピット１５０内の１つまたは複数の位置からマイクロホン１６０Ａ−Ｎの各々に対応する物理的な伝達関数を有していてもよい。
【００３０】
一実施形態において、スピーカ１７０は音響モデルを生成するために車両１０２のコックピット１５０内の三脚（図示せず）に設けられてもよい。テストアプリケーションはスピーカ１７０の位置を受信するために実行されてもよく、かつ位置をマイクロホン１６０Ａ−Ｎの各々で検出される音響音に関連付けしてもよい。スピーカ１７０はピンクノイズおよびホワイトノイズを放出してもよい。代替的に、スピーカ１７０はインパルスノイズを放出してもよい。マイクロホン１６０Ａ−Ｎのその位置で関連するインパルス応答は記録されてもよく、次にスピーカ１７０の特定の位置で特定の物理的な伝達関数を生成するために数学的に操作されてもよい。一態様では、数学的操作は反転操作であってもよい。スピーカ１７０が以前の位置から２０センチメートル（ｃｍ）などのような所定の距離だけ移動させられる場合、物理的な伝達関数を決定する処理が繰り返される。換言すれば、音響モデルの生成はスピーカ１７０の１つまたは複数の位置に関連付けられた物理的な伝達関数を組み込んでいる。この処理は製造時に一度実行されてもよく、かつ各特定の運転者または車両１０２のアフター−マーケットでの構成のために実行される必要はなくなる場合もある。
【００３１】
非限定的な例として、音響モデルを生成する処理の間に４つのマイクロホン１６０Ａ−Ｎがコックピット１５０内に存在し、かつスピーカ１７０がコックピット１５０内の３つの異なる位置に配置されていることを考察する。この場合、コックピット１５０内の３つの異なる位置の各々からマイクロホン１６０Ａ−Ｎの各々に対応する４つの物理的な音響伝達関数である合計で１２の異なる物理的な音響伝達関数を生成することができる。
【００３２】
特定の実施形態において、音響モデルを生成する処理の間に、レンジセンサ１７６およびイメージセンサ１７８はコックピット１５０内の３次元空間内のそれぞれの場所に決定された伝達関数をマップするためスピーカ１７０の位置を決定するために使用されてもよい。他の実施形態において、レンジセンサ１７６およびイメージセンサ１７８は使用されなくてもよいし、スピーカ１７０は音響モデルを生成するために所定の位置に配置されてもよい。
【００３３】
次に図５を参照すると、車両１０２のコックピット内の１つまたは複数のマイクロホンに送信される音響信号を生成する、人間などのような例示的オーディオ要素のための例示的仕組みが記述される。具体的には、運転者１７９は放射放出器１７４、レンジセンサ１７６、およびイメージセンサ１７８などと同様にダッシュボード１５６に対向する運転席１５２に着座してもよい。放射放出器１７４は運転者１７９に向かって赤外線１７５のような電磁放射を放出してもよい。赤外線１７５は運転者１７９の顔から反射してもよく、反射はレンジセンサ１７６により検出されてもよい。レンジセンサ１７６は運転者１７９からの反射された放射の検出に基づいてレンジセンサ信号を作成してもよい。加えて、イメージセンサ１７８は運転者１７９の顔を撮像する対応するイメージセンサ信号を生成してもよい。さらに、運転者１７９が話す場合には、生成された音はコックピット１５０内に設けられたマイクロホン１６０Ａ−Ｎの各々により捕捉されてもよい。マイクロホン１６０Ａ−Ｎの各々は運転者１７９から検出した音に基づいてそれぞれの音響信号を生成してもよい。
【００３４】
次に図６を参照すると、例示的なシステム１８０が、修正された音響信号を生成し音声認識エンジン１８６に信号を供給するために、イメージセンサ１７８からのイメージセンサ信号、レンジセンサ１７６からのレンジセンサ信号、およびマイクロホン１６０Ａ−Ｎの各々からの音響信号を受信することが記述される。システム１８０は１つまたは複数のコントローラ１８１を含んでいてもよい。１つまたは複数のコントローラ１８１の各々は任意の数の適切な電子メモリデバイス１８４（一般にメモリ１８４と呼ばれる）に通信可能に結合された１つまたは複数のプロセッサ１８２を含んでいてもよい。１つまたは複数のプロセッサ１８２はイメージセンサ信号、レンジセンサ信号、および未修正音響信号を含むセンサ信号の各々を直接受信してもよい。電子メモリデバイス１８４はその上に格納されたコックピット１５０内の特定の位置にマップされた構成要素の物理的な音響伝達関数を伴う音響モデルを有していてもよい。
【００３５】
１つまたは複数のプロセッサ１８２は各種センサ信号を受け入れ、イメージセンサ信号およびレンジセンサ信号に基づいて対象領域の位置を決定してもよい。前述のように、対象領域は運転者１７９のリップリングを含んでいてもよい。１つまたは複数のプロセッサ１８２はマイクロホン１６０Ａ−Ｎの各々についてそれぞれの音響伝達関数を推定するためにメモリ１８４内に格納された音響モデルと共に対象領域の位置をさらに使用してもよい。一態様では、１つまたは複数のプロセッサ１８２はマイクロホン１６０Ａ−Ｎの各々についてそれぞれの音響伝達関数を推定するための音響モデルの一部である物理的な伝達関数と同様にセンサ信号の様々な数学的操作を実施してもよい。図２に関連して前述したように、数学的な操作は１つまたは複数の外挿法または内挿法を伴ってもよい。一旦１つまたは複数のプロセッサ１８２がマイクロホン１６０Ａ−Ｎの各々について音響伝達関数を決定または推定すると、１つまたは複数のプロセッサ１８２によりマイクロホン１６０Ａ−Ｎから受信される音響信号は音響伝達関数を利用して処理されてもよい。特定の実施形態において、マイクロホン１６０Ａ−Ｎの各々から受信される１つまたは複数の音響信号はマイクロホン１６０Ａ−Ｎの各々に対応するそれぞれの音響伝達関数の逆数で乗算されてもよい。他の実施形態において、メモリベースの遅れはマイクロホン１６０Ａ−Ｎのそれぞれに対応するそれぞれの音響伝達関数の逆数による乗算の前に１つまたは複数の音響信号に実装されてもよい。マイクロホン１６０Ａ−Ｎの各々により提供される音響信号に基づいて１つまたは複数のプロセッサ１８２により生成されるように修正された音響信号は音声認識エンジン１８６に提供されてもよい。音声認識エンジン１８６は音声コマンドなどのようなテキスト機能に音声を提供するために修正された音響信号を使用してもよい。
【００３６】
マイクロホン１６０Ａ−Ｎの各々に対応するそれぞれの音響伝達関数は動的に決定されてもよいことに留意すべきである。換言すれば、特定のマイクロホンの音響伝達関数は時間とともに変化してもよい。より具体的には、特定のマイクロホンの音響伝達関数は運転者１７９の彼または彼女の頭を移動させるのに合わせて変化する場合があり、若しくはリップリングなどのような対象領域の位置は時間とともに変化する。さらに他の用語で表現すると、１つまたは複数のプロセッサ１８２により決定されるように、マイクロホン１６０Ａ−Ｎの各々に対応する音響伝達関数の各々は時間または運転者１７９の頭部の動きのいずれかまたは両方に応じて変化してもよい。一態様では、マイクロホン１６０Ａ−Ｎの各々に対応する音響伝達関数は、対象領域または音響要素からマイクロホン１６０Ａ−Ｎの各々へ移動する音に掛かる時間よりも少ないレイテンシで１つまたは複数のプロセッサ１８２により決定されてもよい。換言すれば、マイクロホン１６０Ａ−Ｎの各々に対応して決定されるそれぞれの音響伝達関数およびマイクロホン１６０Ａ−Ｎに到達する音との間に位相差があってもよい。したがって、マイクロホン１６０Ａ−Ｎにより生成される音響信号を修正するためにマイクロホン１６０Ａ−Ｎの各々について最近決定された音響伝達関数を単に使用することは所望の結果を提供しなくてもよい。結果として、時間遅れが１つまたは複数のプロセッサ１８２より生成されたほぼリアルタイムな音響伝達関数の流れおよび相対位相差を補償するためにマイクロホン１６０Ａ−Ｎの各々により生成された音響信号との間に実装されてもよい。２つの信号間の相対的な時間遅れを実現するための様々な仕組みは当技術分野で公知であり、かつ簡潔さの目的のために本明細書ではレビューされない。
【００３７】
プロセッサ１８２は、限定はしないが、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、縮小命令セットコンピュータ（ＲＩＳＣ）、複雑命令セットコンピュータ（ＣＩＳＣ）、マイクロプロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはそれらの任意の組み合わせを含んでいてもよい。システム１８０はまたプロセッサ１８２およびシステム１８０の１つまたは複数の他の構成要素との間の通信を制御するチップセット（図示せず）を含んでいてもよい。一実施形態において、システム１８０はインテル（登録商標）アーキテクチャシステムに基づいていてもよく、プロセッサ１８２およびチップセットはインテル（登録商標）Ａｔｏｍ（登録商標）プロセッサファミリなどのようなインテル（登録商標）プロセッサおよびチップセットファミリからのものであってもよい。プロセッサ１８２はまた特定のデータ処理機能またはタスクを処理するための１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）または特定用途向け標準製品（ＡＳＳＰ）の一部として１つまたは複数のプロセッサも含んでいてもよい。
【００３８】
メモリ１８４は、これらに限定されないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、ダブルデータレート（ＤＤＲ）ＳＤＲＡＭ（ＤＤＲ−ＳＤＲＡＭ）、ＲＡＭ−ＢＵＳ  ＤＲＡＭ（ＲＤＲＡＭ）、フラッシュメモリデバイス、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、不揮発性ＲＡＭ（ＮＶＲＡＭ）、ユニバーサルシリアルバス（ＵＳＢ）リムーバブルメモリ、またはそれらの組み合わせを含む１つまたは複数の揮発性および／または不揮発性メモリデバイスを含んでいてもよい。
【００３９】
次に図７を参照すると、１つまたは複数のプロセッサ１８２により電子ディスプレイ１９２上に表示されるように、画像１９０に対応するイメージセンサ１７８の信号に基づいて対象領域の例示的分析が記述される。車両の使用者または運転者などのような人物１９６の画像が提供されてもよい。１つまたは複数のプロセッサ１８２は全体的な画像１９０を分析し、人物１９６の画像を識別してもよい。１つまたは複数のプロセッサ１８２は、人物のリップリング２００などのような音を作成する音響要素をさらに含む対象領域１９８を識別するために人物１９６の画像をさらに処理してもよい。一態様では、画像１９０内の人物のリップリング２００および対象領域１９８の大きさに基づいて、１つまたは複数のプロセッサ１８２はリップリング２００の位置を確認することが可能であってもよい。別の態様では、レンジセンサ１７６により提供される情報と併せて、画像１９０は１つまたは複数のプロセッサ１８２によりリップリング２００の位置を決定するために使用されてもよい。換言すれば、１つまたは複数のプロセッサ１８２はイメージセンサ１７８により提供され、対象領域１９８の様々な態様に基づいた画像１９０を分析してもよく、マイクロホン１６０Ａ−Ｎの各々に対応する音響伝達関数を決定または選択する際に後で使用するために、１つまたは複数のプロセッサ１８２はリップリング２００などのような音の音源の位置を決定することが可能であってもよい。
【００４０】
次に図８を参照すると、リップリング２００などのような音響要素から１つまたは複数のマイクロホン１６０Ａ−Ｎへの音の例示的送信を示す簡略化された概略図が記述される。様々な音波のそれぞれの経路２１０、２１２、２１４、２１６、２１８、および２２０を例説する目的のために、コックピット１５０のサイドウィンドウ２２４およびフロントガラス２２６が示されている。音波の一部がリップリング２００およびマイクロホン１６０Ａ−Ｎとの間の１つまたは複数の直接経路２１０、２１２、２１４、および２１６を伝わってもよいことがわかる。加えて、音波の一部は車両１０２内のコックピット１５０内の１つまたは複数のオブジェクトから反射する、間接経路２１８および２２０を介して伝わってもよい。例えば、描かれているように、経路２１８を通過する音がマイクロホン１６０Ａに到達する前にサイドウィンドウ２２４で反射するように示されている。同様に、経路２２０を通過する音がマイクロホン１６０Ｂに到達する前にフロントガラス２２６で反射するように示されている。したがって、マイクロホン１６０Ａにおいて、音は経路２１０および２１８との間の経路長差によるこれらの経路２１０および２１８の各々から到達する音との間の相対的な位相差があってもよい、経路２１０および２１８を介して到達している。結果として、マイクロホン１６０Ａは、結果として得られる未修正音響信号がエコーなどのような任意の数のアーチファクトを含んでいてもよいような方法で作動させられてもよい。一態様では、マイクロホン１６０Ａおよび１６０Ｂにより生成された音は音がリップリング２００から到達することにより複数の経路２１０、２１８、２１２、および２２０に起因して不明瞭であったり、理解しにくい、または理解できないものであってもよい。１つまたは複数のマイクロホン１６０Ａ−Ｎにより生成される未修正音響信号は１つまたは複数のプロセッサ１８２に提供される。したがって、１つまたは複数のプロセッサ１８２による修正の前に、未修正音響信号は様々なアーチファクトおよびノイズを含んでいてもよいことがわかる。
【００４１】
図９を参照すると、マイクロホン１６０Ａ−Ｎの各々に対応する音響伝達関数の決定を示す簡略化されたブロック図形２３０が示されている。ブロック１２２で決定されメモリ１８４に格納される音響モデル２５４と同様に、ブロック１２４で決定されるリップリングまたは対象位置の領域２５２は１つまたは複数のプロセッサ１８２に提供される。図３および４を参照して考察したように、音響モデル２５４はコックピット１５０内の特定の位置（ｘ１、ｙ１、ｚ１）でＨＭｉ（Ζ）として表現される１つまたは複数の物理的な音響伝達関数を含んでいてもよい。使用される表記では、Ｈは離散化周波数Ｚの数学的な関数であり、Ｍｉはｉ番目のマイクロホンである。例えば、マイクロホン１６０Ｂはマイクロホン１６０Ｂが第２のマイクロホンであることを示す指定記号Ｍ２を有していてもよく、（ｘ１、ｙ１、ｚ１）は、音響モデル２５４が特定のマイクロホンＭｉのための物理的な音響伝達関数ＨＭｉ（Ｚ）を提供するデカルト座標の使用空間で特定の点を定義する。車両１０２のコックピット１５０内のような空間内の点は本発明の特定の実施形態における球面または円筒座標などのような非デカルト座標系で定義されてもよい。１つまたは複数のプロセッサ１８２は特定の位置（ｘ２、ｙ２、ｚ２）でのマイクロホンＭｉに対応する物理的な音響伝達関数ＨＭｉ，ｅｘ（Ζ）を決定するために対象位置の領域２５２および音響モデル２５４に基づいて容量内挿法２７０を実行してもよい。
【００４２】
次に、１つまたは複数のプロセッサにより実行される容量内挿法２７０が、非限定的な例として記述される。例えば、音響モデル２５４が位置（ｘ１、ｙ１、ｚ１）でマイクロホンＭｉのために物理的な音響伝達関数ＨＭｉ（ｘ１、ｙ１、ｚ１）および位置（ｘ２、ｙ２、ｚ２）で同じマイクロホンＭｉのために物理的な音響伝達関数ＨＭｉ（ｘ３、ｙ３、ｚ３）を提供することを検討してみる。ｘ２はｘ１およびｘ３の範囲内であり、ｙ２はｙ１およびｙ３の範囲内であり、かつｚ２はｚ１およびｚ３の範囲内である、（ｘ２、ｙ２、ｚ２）での対象位置の領域が対象領域の位置を示すことをさらに検討してみる。このような場合、線形容量内挿法２７０は以下の式（１）に従って１つまたは複数のプロセッサ１８２により実行されてもよい。
【００４３】
【数１】
2015506491.tif 000003
（１）
【００４４】
線形容量内挿法の例が示されているが、２次、ｎ次多項式、対数、指数、または任意の他の既知の数学的操作を含むが、これらに限定されない任意の内挿方法を用いてもよいことに留意すべきである。さらに、外挿法または他の数学的技術が決定された物理的な音響伝達関数ＨＭｉ，ｅｘ（Ζ）に到達するために１つまたは複数のプロセッサ１８２により使用されてもよい。
【００４５】
次に図１０を参照すると、音声認識エンジン１８６に例示的な修正された音響信号を提供する１つまたは複数のプロセッサ１８２を示す概略図２８０が記述される。図示のように、リップリング２００などのような音響要素はマイクロホン１６０Ａ−Ｎの各々に音を提供する。マイクロホン１６０Ａ−Ｎへの経路の各々はリップリング２００の位置（ｘ、ｙ、ｚ）から関連するそれぞれの物理的な音響伝達関数２８２、２８４、２８６、および２８８を有していてもよい。図９と併せて記載される手順を使用して、１つまたは複数のプロセッサ１８２は物理的な音響伝達関数２８２、２８４、２８６、２８８に対応する推定伝達関数を生成してもよい。１つまたは複数のプロセッサ１８２は決定された伝達関数２９０、２９２、２９４、および２９６の各々の逆数をさらに取ってもよく、かつ修正された音響信号を生成するためにマイクロホン１６０Ａ−Ｎのそれぞれにより生成された未修正音響信号で決定された伝達関数２７４の各々の逆数を乗算してもよい。修正された音響信号は加算３００を使用してさらに合計されてもよく、合計は音声認識エンジン１８６に提供されてもよい。
【００４６】
特定の実施形態において、マイクロホンの各々からの修正された音響信号は合計されなくてもよいことに留意すべきである。代わりに、修正された音響信号のサブセットが合計され、音声認識エンジン１８６に提供されてもよい。さらなる代替として、１つまたは複数のプロセッサ１８２は音声−テキスト機能の目的のために音声認識エンジン１８６を組み合わせて最良の性能を提供する可能性が最も高い修正された音響信号を決定してもよい。さらに別の可能性として、修正された音響信号の各々はそれぞれの音声認識エンジンに提供されてもよく、音声認識エンジンの各々の音声−テキスト出力は改善された音声−テキスト機能を提供するために後処理されてもよい。
【００４７】
本明細書に記載の実施形態は、本明細書に記載される方法および／または操作を実行するために、例えばハードウェア、ソフトウェアおよび／またはファームウェアを使用して実装されてもよい。本明細書に記載の特定の実施形態は、機械により実行される場合、本明細書に記載される方法および／または動作を実行する機械実行可能な命令を格納する有形の機械可読媒体として提供されてもよい。有形の機械可読媒体はフロッピー（登録商標）ディスク、光ディスク、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、書き換え可能コンパクトディスク（ＣＤ−ＲＷ）、光磁気ディスク、読み取り専用メモリ（ＲＯＭ）、ダイナミックおよびスタティックＲＡＭなどのランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどの半導体デバイス、磁気または光カード、または電子命令を格納するのに適した有形の媒体の任意のタイプを含むディスクの任意のタイプを含んでいてもよいが、これらに限定されるものではない。機械は任意の適切な処理またはコンピューティングプラットフォーム、デバイスまたはシステムを含んでいてもよく、かつハードウェアおよび／またはソフトウェアの任意の適切な組み合わせを使用して実装されてもよい。命令はコードの任意の適切なタイプを含んでいてもよく、かつ任意の適切なプログラミング言語を使用して実装されてもよい。他の実施形態において、本明細書に記載される方法および／または動作を実行するための機械実行可能な命令はファームウェアで具現化されてもよい。
【００４８】
様々な特徴、態様、および実施形態が本明細書に記載されている。特徴、態様、および実施形態は当業者によって理解されるように、互いに変形および修正ならびに組み合わせに対して影響を受けやすい。したがって、本開示はそのような組み合わせ、変形、および修正を包含することを考慮すべきである。
【００４９】
本明細書にて使用した用語および表現は説明の用語として使用されたものであり限定するものではない。このような用語および表現の使用において、図示されたおよび記述された特徴（またはその一部分）の任意の等価物を排除する意図はなく、および特許請求の範囲内で種々の修正が可能であることが認識される。他の修正、変形、および代替もまた可能である。依って、特許請求の範囲は全てのそのような等価物を包含することを意図している。
【００５０】
本発明の特定の実施形態は現在最も実用的な実装であると考えられるものに関して説明してきたが、本発明は開示された実施形態に限定されるものではないことを理解すべきであり、逆に特許請求の範囲内に含まれる様々な修正および等価物の構成を包含するように意図されている。本明細書では特定の用語が用いられているが、それらは一般的かつ説明的な意味で使用されるにすぎず、限定の目的のためではない。
【００５１】
本明細書は、最良の形態を含む本発明の特定の実施形態を開示するために例を使用し、また当業者による任意のデバイスまたはシステムを製作しかつ使用すること、かつ任意の組み込み方法を実行することを含む、本発明の特定の実施形態を実施することをも可能にする。本発明の特定の実施形態の特許性のある範囲は特許請求の範囲に定義され、当業者が想到する他の例を含んでいてもよい。このような他の例は、それらが特許請求の範囲の文言と異なることがない構造的要素を有する場合、またはそれらが特許請求の範囲の文言と実質的でない差異を有する等価な構造的要素を含む場合、特許請求の範囲内にあるものとする。
【図１】
2015506491.tif 000004
【図２】
2015506491.tif 000005
【図３】
2015506491.tif 000006
【図４】
2015506491.tif 000007
【図５】
2015506491.tif 000008
【図６】
2015506491.tif 000009
【図７】
2015506491.tif 000010
【図８】
2015506491.tif 000011
【図９】
2015506491.tif 000012
【図１０】
2015506491.tif 000013
【国際調査報告】
2015506491.tif 000014
2015506491.tif 000015