(57)【要約】      （修正有）【課題】外部オーディオ空間の外部位置からの外部音を内部オーディオ空間の外部音が自然に聞こえる内部位置に変換する技術を提供する。【解決手段】オーディオシステム１００は、外部音１１３を左マイク１１６ａ及び右マイク１１６ｂで取り込み、取り込んだ外部音をマイク変換機能（ＭＴＦ１）１１８ａ、（ＭＴＦ２）１１８ｂで処理して、まるで左ドライバ１０８ａ及び右１０８ｂの出力又はユーザ１０５の鼓膜に対応する内部オーディオ空間１１２ａ、１１２ｂの内部位置において取り込まれたかの如く聞こえるようにする。【選択図】図１
2020174346.tif 000002
【特許請求の範囲】
【請求項１】
オーディオシステムを使用して複数のオーディオ空間間でオーディオを処理する方法であって、
少なくとも１つの外部位置に対応する少なくとも１つのマイクを使用して外部オーディオ空間からの外部音を取り込んだ少なくとも１つのマイク信号を受け取るステップと、
前記少なくとも１つの外部位置に対応する前記少なくとも１つのマイクからの前記外部音の前記取り込みを内部オーディオ空間内の少なくとも１つのドライバに対応する少なくとも１つの内部位置に仮想化するために、少なくとも１つのマイク変換機能を使用して前記少なくとも１つのマイク信号を処理することによって少なくとも１つの処理済みマイク信号を生成するステップと、
を含み、前記内部オーディオ空間及び前記外部オーディオ空間は、オーディオ空間境界によって互いに分離される、
ことを特徴とする方法。
【請求項２】
前記マイクの数は、前記ドライバの数に一致しない、
請求項１に記載の方法。
【請求項３】
前記少なくとも１つのマイク信号は、前記外部オーディオ空間からの外部音をリアルタイムで取り込む、
請求項１に記載の方法。
【請求項４】
前記オーディオシステムが自動車に関連する場合、前記内部オーディオ空間は自動車客室の内側であり、前記外部オーディオ空間は前記自動車客室の外側であり、
前記オーディオシステムがヘッドホンに関連する場合、前記内部オーディオ空間はヘッドホンイヤキャップの内側であり、前記外部オーディオ空間は前記ヘッドホンイヤキャップの外側である、
請求項１に記載の方法。
【請求項５】
前記マイク変換機能は、前記少なくとも１つの外部位置に対応する前記少なくとも１つのマイク信号と、前記少なくとも１つの内部位置に対応する前記少なくとも１つのマイク信号と、前記少なくとも１つの外部位置及び前記少なくとも１つの内部位置に対応する少なくとも１つのインパルス応答信号とを伴う畳み込みを実行する、
請求項１に記載の方法。
【請求項６】
前記少なくとも１つの処理済みマイク信号にオーディオ調整技術を適用することによって少なくとも１つの調整済みマイク信号を生成するステップをさらに含み、
前記オーディオシステムがスピーカに関連する場合、前記オーディオ調整技術は、トランスオーラル音響クロストークキャンセレーション、ビーム形成、仮想化、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、及び両耳間レベル差（ＩＬＤ）から成る群から選択され、
前記オーディオシステムがヘッドホンに関連する場合、前記オーディオ調整技術は、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、両耳間レベル差（ＩＬＤ）、及びＨＲＩＲ／ＨＲＴＦ／ＢＲＩＲ／ＢＲＴＦ個人化から成る群から選択される、
請求項１に記載の方法。
【請求項７】
前記少なくとも１つの調整済みマイク信号に、オーディオコンテンツ信号にオーディオ調整技術を適用することによって生成された少なくとも１つの調整済みオーディオコンテンツ信号を追加することによって、少なくとも１つの合成出力信号を生成するステップをさらに含み、
前記オーディオシステムがスピーカに関連する場合、前記オーディオ調整技術は、トランスオーラル音響クロストークキャンセレーション、ビーム形成、仮想化、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、及び両耳間レベル差（ＩＬＤ）から成る群から選択され、
前記オーディオシステムがヘッドホンに関連する場合、前記オーディオ調整技術は、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、両耳間レベル差（ＩＬＤ）、及びＨＲＩＲ／ＨＲＴＦ／ＢＲＩＲ／ＢＲＴＦ個人化から成る群から選択される、
請求項６に記載の方法。
【請求項８】
少なくとも１つの処理済みマイク信号を生成するステップは、前記取り込まれた外部音の人間に聞こえない特定の音を強化するステップを含む、
請求項１に記載の方法。
【請求項９】
前記少なくとも１つのマイク信号は、該少なくとも１つのマイク信号にオーディオ事前調整技術を適用することによって事前調整され、前記オーディオ事前調整技術は、ノイズキャンセリング、ノイズ低減、及び信号領域変更のためのマイク変換から成る群から選択される、
請求項１に記載の方法。
【請求項１０】
前記少なくとも１つのマイク信号は、前記外部オーディオ空間からの外部音を録音で取り込む、
請求項１に記載の方法。
【請求項１１】
少なくとも１つの処理済みマイク信号を生成するステップは、前記少なくとも１つの処理済みマイク信号を後で再生できるように保存するステップを含む、
請求項１に記載の方法。
【請求項１２】
前記オーディオ空間境界は、前記外部オーディオ空間から前記内部オーディオ空間への外部音のオープンエア伝播を、前記内部オーディオ空間において６ｄＢ未満の外部音を測定できるように減衰させる、
請求項１に記載の方法。
【請求項１３】
前記少なくとも１つの処理済みマイク信号を、前記内部オーディオ空間で再生できるように前記少なくとも１つのドライバを介してレンダリングするステップをさらに含み、前記再生は、前記少なくとも１つの内部位置において前記少なくとも１つのマイクによって仮想的に取り込まれた外部音を含む、
請求項１に記載の方法。
【請求項１４】
前記少なくとも１つの合成出力信号を、前記内部オーディオ空間で再生できるように前記少なくとも１つのドライバを介してレンダリングするステップをさらに含み、前記再生は、前記少なくとも１つの内部位置において前記少なくとも１つのマイクによって仮想的に取り込まれた外部音と、前記オーディオコンテンツ信号上に取り込まれたオーディオコンテンツとを含む、
請求項７に記載の方法。
【請求項１５】
複数のオーディオ空間間でオーディオを処理するためのオーディオシステムであって、
少なくとも１つの外部位置に対応する少なくとも１つのマイクを使用して外部オーディオ空間からの外部音を取り込んだ少なくとも１つのマイク信号を受け取り、
前記少なくとも１つの外部位置に対応する前記少なくとも１つのマイクからの外部音の取り込みを内部オーディオ空間内の少なくとも１つのドライバに対応する少なくとも１つの内部位置に仮想化するために、少なくとも１つのマイク変換機能を使用して前記少なくとも１つのマイク信号を処理することによって少なくとも１つの処理済みマイク信号を生成する、
ように構成された少なくとも１つのマイク変換機能モジュールを備え、前記内部及び外部オーディオ空間は、オーディオ空間境界によって互いに分離される、
ことを特徴とするオーディオシステム。
【請求項１６】
前記少なくとも１つの処理済みマイク信号にオーディオ調整技術を適用することによって少なくとも１つの調整済みマイク信号を生成するように構成された少なくとも１つのオーディオ調整モジュールをさらに備え、
前記オーディオシステムがスピーカに関連する場合、前記オーディオ調整技術は、トランスオーラル音響クロストークキャンセレーション、ビーム形成、仮想化、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、及び両耳間レベル差（ＩＬＤ）から成る群から選択され、
前記オーディオシステムがヘッドホンに関連する場合、前記オーディオ調整技術は、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、両耳間レベル差（ＩＬＤ）、及びＨＲＩＲ／ＨＲＴＦ／ＢＲＩＲ／ＢＲＴＦ個人化から成る群から選択される、
請求項１５に記載のオーディオシステム。
【請求項１７】
前記少なくとも１つの調整済みマイク信号に、オーディオコンテンツ信号にオーディオ調整技術を適用することによって生成された少なくとも１つの調整済みオーディオコンテンツ信号を追加することによって、少なくとも１つの合成出力信号を生成するように構成された少なくとも１つの合成モジュールをさらに備え、
前記オーディオシステムがスピーカに関連する場合、前記オーディオ調整技術は、トランスオーラル音響クロストークキャンセレーション、ビーム形成、仮想化、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、及び両耳間レベル差（ＩＬＤ）から成る群から選択され、
前記オーディオシステムがヘッドホンに関連する場合、前記オーディオ調整技術は、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、両耳間レベル差（ＩＬＤ）、及びＨＲＩＲ／ＨＲＴＦ／ＢＲＩＲ／ＢＲＴＦ個人化から成る群から選択される、
請求項１６に記載のオーディオシステム。
【請求項１８】
前記少なくとも１つの処理済みマイク信号を、前記内部オーディオ空間で再生できるように前記少なくとも１つのドライバを介してレンダリングするように構成された少なくとも１つの再生モジュールをさらに備え、前記再生は、前記少なくとも１つの内部位置において前記少なくとも１つのマイクによって仮想的に取り込まれた外部音を含む、
請求項１６に記載のオーディオシステム。
【請求項１９】
前記少なくとも１つの合成出力信号を、前記内部オーディオ空間で再生できるように前記少なくとも１つのドライバを介してレンダリングするように構成された少なくとも１つの再生モジュールをさらに備え、前記再生は、前記少なくとも１つの内部位置において前記少なくとも１つのマイクによって仮想的に取り込まれた外部音と、前記オーディオコンテンツ信号上に取り込まれたオーディオコンテンツとを含む、
請求項１７に記載のオーディオシステム。
【請求項２０】
オーディオシステムを使用して複数のオーディオ空間間でオーディオを処理するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、非一時的コンピュータ可読媒体において具現化されており、かつ、コンピュータ実行可能命令を含み、該コンピュータ実行可能命令は、
少なくとも１つの外部位置に対応する少なくとも１つのマイクを使用して外部オーディオ空間からの外部音を取り込んだ少なくとも１つのマイク信号を受け取り、
前記少なくとも１つの外部位置に対応する前記少なくとも１つのマイクからの前記外部音の前記取り込みを内部オーディオ空間内の少なくとも１つのドライバに対応する少なくとも１つの内部位置に仮想化するために、少なくとも１つのマイク変換機能を使用して前記少なくとも１つのマイク信号を処理することによって少なくとも１つの処理済みマイク信号を生成する、
ためのものであり、前記内部オーディオ空間及び前記外部オーディオ空間は、オーディオ空間境界によって互いに分離される、
ことを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照〕
本出願は、２０１９年３月２０日に出願された「複数のオーディオ空間間でオーディオを処理するためのシステム及び方法（ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＰＲＯＣＥＳＳＩＮＧ  ＡＵＤＩＯ  ＢＥＴＷＥＥＮ  ＭＵＬＴＩＰＬＥ  ＡＵＤＩＯ  ＳＰＡＣＥＳ）」という名称の米国仮特許出願第６２／８２１，３４０号の利益を主張するものであり、この文献の開示はその全体が引用により本明細書に組み入れられる。
【０００２】
本発明は、オーディオ処理に関する。具体的には、本発明は、複数のオーディオ空間間でオーディオを処理するためのシステム及び方法に関する。
【背景技術】
【０００３】
ヘッドホンを装着した人々は、自身の耳を覆うヘッドホンによって形成される内部オーディオ空間の支配下にあり、外部オーディオ空間（例えば、自身の周囲）で聞こえる物音から隔離されることが多い。人々は、外部オーディオ空間の物音を聞くために、しばしばヘッドホンを取り外す必要がある。このことは、ヘッドホンで音楽を聴いているランナーなどにとって不便な場合があり、ヘッドホンを取り外すことでランニングが妨げられる恐れがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第１６／０６２，５２１号明細書
【特許文献２】米国特許出願公開第１６／２７９，９２９号明細書
【特許文献３】米国特許出公開願第１６／１３６，２１１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、別のオーディオ空間（例えば、外部オーディオ空間）からの音を現在のオーディオ空間（例えば、内部オーディオ空間）内に持ち込んで聞こえるようにするというニーズが存在する。さらに、音のリアルさが高まるように自然に聞こえるようにするという別のニーズも存在する。従って、上記のニーズに対処するために、複数のオーディオ空間間でオーディオを処理するためのシステム及び方法を提供することが望ましい。
【課題を解決するための手段】
【０００６】
本発明の１つの態様では、オーディオシステムを使用して複数のオーディオ空間間でオーディオを処理する方法を提供する。この方法は、１）少なくとも１つの外部位置に対応する少なくとも１つのマイクを使用して外部オーディオ空間からの外部音を取り込んだ少なくとも１つのマイク信号を受け取るステップと、２）少なくとも１つの外部位置に対応する少なくとも１つのマイクからの外部音の取り込みを内部オーディオ空間内の少なくとも１つのドライバに対応する少なくとも１つの内部位置に仮想化するために、少なくとも１つのマイク変換機能を使用して少なくとも１つのマイク信号を処理することによって少なくとも１つの処理済みマイク信号を生成するステップと、を含み、内部オーディオ空間及び外部オーディオ空間は、オーディオ空間境界によって互いに分離される。
【０００７】
この方法は、３）少なくとも１つの処理済みマイク信号にオーディオ調整技術を適用することによって少なくとも１つの調整済みマイク信号を生成するステップと、４）少なくとも１つの調整済みマイク信号に、オーディオコンテンツ信号にオーディオ調整技術を適用することによって生成された少なくとも１つの調整済みオーディオコンテンツ信号を追加することによって、少なくとも１つの合成出力信号を生成するステップと、５）少なくとも１つの合成出力信号を、内部オーディオ空間で再生できるように少なくとも１つのドライバを介してレンダリングするステップとをさらに含み、この再生は、少なくとも１つの内部位置において少なくとも１つのマイクによって仮想的に取り込まれた外部音と、オーディオコンテンツ信号上に取り込まれたオーディオコンテンツとを含む。
【０００８】
様々な実施形態によれば、マイクの数はドライバの数に一致せず、少なくとも１つのマイク信号は、外部オーディオ空間からの外部音をリアルタイムで取り込み、マイク変換機能は、少なくとも１つの外部位置に対応する少なくとも１つのマイク信号と、少なくとも１つの内部位置に対応する少なくとも１つのマイク信号と、少なくとも１つの外部位置及び少なくとも１つの内部位置に対応する少なくとも１つのインパルス応答信号とを伴う畳み込みを実行し、少なくとも１つの処理済みマイク信号を生成するステップは、取り込まれた外部音の人間に聞こえない特定の音を強化するステップを含み、少なくとも１つのマイク信号は、少なくとも１つのマイク信号にオーディオ事前調整技術を適用することによって事前調整され、このオーディオ事前調整技術は、ノイズキャンセリング、ノイズ低減、又は信号領域変更のためのマイク変換を含み、少なくとも１つのマイク信号は、外部オーディオ空間からの外部音を録音で取り込み、少なくとも１つの処理済みマイク信号を生成するステップは、少なくとも１つの処理済みマイク信号を後で再生できるように保存するステップを含み、又はオーディオ空間境界は、外部オーディオ空間から内部オーディオ空間への外部音のオープンエア伝播を減衰させる。
【０００９】
本発明の別の態様では、複数のオーディオ空間間でオーディオを処理するためのオーディオシステムが提供される。このオーディオシステムは、１）少なくとも１つの外部位置に対応する少なくとも１つのマイクを使用して外部オーディオ空間からの外部音を取り込んだ少なくとも１つのマイク信号を受け取り、２）少なくとも１つの外部位置に対応する少なくとも１つのマイクからの外部音の取り込みを内部オーディオ空間内の少なくとも１つのドライバに対応する少なくとも１つの内部位置に仮想化するために、少なくとも１つのマイク変換機能を使用して少なくとも１つのマイク信号を処理することによって少なくとも１つの処理済みマイク信号を生成する、ように構成された少なくとも１つのマイク変換機能モジュールを含み、内部及び外部オーディオ空間は、オーディオ空間境界によって互いに分離される。
【００１０】
本発明は、機械によって実行された時に、この機械に本明細書で説明する方法のうちのいずれかを実行させる一連の命令を具現化する機械可読媒体にも及ぶ。
【００１１】
本発明の利点の一部としては、１）外部オーディオ空間からの外部音を内部オーディオ空間にリアルに再生すること、２）ユーザによる周囲の状況認識を可能とすること、３）ユーザが周囲の人物又は物と相互作用するのを可能とすること、４）人に自然に聞こえる音を取り込む録音、５）複数のオーディオ空間間でリアルタイムでオーディオを処理するためのシステム及び方法、６）低システムレイテンシ、が挙げられる。以下、図面を参照しながら本発明のこれらの及びその他の特徴及び利点について説明する。
【図面の簡単な説明】
【００１２】
【図１】本発明の様々な実施形態による、単一のオーディオ再生装置を伴う、複数のオーディオ空間間でオーディオを処理するためのオーディオシステムを示す図である。
【図２】本発明の様々な実施形態による、単一のオーディオ再生装置を伴う調整を使用して複数のオーディオ空間間でオーディオを処理するためのオーディオシステムを示す図である。
【図３】本発明の様々な実施形態による、複数のオーディオ再生装置を伴う、複数のオーディオ空間間でオーディオを処理するためのオーディオシステムを示す図である。
【図４】本発明の様々な実施形態による、複数のオーディオ再生装置を伴う、複数のオーディオ空間間でオーディオを処理するためのオーディオシステムを示す図である。
【図５】本発明の様々な実施形態による、複数のオーディオ空間間でオーディオを処理するためのシステムブロック図である。
【図６】本発明の様々な実施形態による、複数のオーディオ空間間でオーディオを処理するためのフロー図である。
【図７】本発明の１又は２以上の実施形態に関連して使用できる典型的なコンピュータシステムを示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の好ましい実施形態を詳細に参照する。これらの好ましい実施形態の例を添付図面に示す。これらの好ましい実施形態に関連して本発明を説明するが、本発明をこのような好ましい実施形態に限定する意図はないと理解されるであろう。むしろ、添付の特許請求の範囲によって定められる本発明の趣旨及び範囲に含めることができるものとして、代替物、修正物及び同等物も対象とするように意図している。以下の説明では、本発明の完全な理解をもたらすために数多くの具体的な詳細を示す。本発明は、これらの具体的な詳細の一部又は全部を伴わずに実施することもできる。場合によっては、本発明を不必要に曖昧にしないように周知の機構については説明していない。
【００１４】
なお、本明細書では、様々な図面全体を通じて同じ部分を同じ数字によって示す。本明細書において図示し説明する様々な図面は、本発明の様々な特徴を示すために使用される。１つの図面に特定の特徴を示して別の図面に示していない限り、これらの特徴は、別途指示している場合、又は本質的に構造がその特徴の組み込みを禁じている場合を除き、他の図にも完全に示されているかのようにこれらの図に示す実施形態に含まれるように適応することができると理解されたい。別途示していない限り、図面は必ずしも縮尺通りではない。図に示すあらゆる寸法は、本発明の範囲に関する限定を意図するものではなく例示にすぎない。
【００１５】
本発明の技術は、外部オーディオ空間の外部位置からの外部音を内部オーディオ空間の外部音が自然に聞こえる内部位置に変換するために提供するものである。この技術は、外部音をマイクで取り込み、取り込んだ外部音を処理して、まるでドライバの出力又はユーザの鼓膜に対応し得る内部オーディオ空間の内部位置において取り込まれたかの如く聞こえるようにするものである。その後、処理された取り込み外部音を個々のユーザのために調整し、又は調整済みオーディオコンテンツとさらに組み合わせて、ユーザのための拡張オーディオ体験を生成することができる。
【００１６】
調整は、数ある中でも特に、２０１８年６月１４日に出願された「カスタム化／個人化頭部関連伝達関数を生成する方法（Ａ  ＭＥＴＨＯＤ  ＦＯＲ  ＧＥＮＥＲＡＴＩＮＧ  Ａ  ＣＵＳＴＯＭＩＺＥＤ／ＰＥＲＳＯＮＡＬＩＺＥＤ  ＨＥＡＤ  ＲＥＬＡＴＥＤ  ＴＲＡＮＳＦＥＲ  ＦＵＮＣＴＩＯＮ）」という名称の本出願人による米国特許出願公開第１６／０６２，５２１号（代理人整理番号：ＣＴＬＰ４９７ＵＳ）に基づいて実装できるバイノーラル室内インパルス応答（ＢＲＩＲ）、バイノーラル室内伝達関数（ＢＲＴＦ）、頭部関連インパルス応答（ＨＲＩＲ）又は頭部関連伝達関数（ＨＲＴＦ）の個人化を含むことができ、この文献はその全体が引用により本明細書に組み入れられる。個人化は、ポータブル装置を使用して耳の画像を取り込み、取り込まれた画像を自動スケーリングして耳の物理的形状を決定し、決定された耳の物理的形状に基づいて、個人化されたＨＲＴＦを取得することを含むことができる。
【００１７】
さらに、本発明の技術は、２０１９年２月１９日に出願された「オーディオ体験をカスタマイズするためのシステム及び処理方法（ＳＹＳＴＥＭ  ＡＮＤ  Ａ  ＰＲＯＣＥＳＳＩＮＧ  ＭＥＴＨＯＤ  ＦＯＲ  ＣＵＳＴＯＭＩＺＩＮＧ  ＡＵＤＩＯ  ＥＸＰＥＲＩＥＮＣＥ）」という名称の本出願人による米国特許出願公開第１６／２７９，９２９号（代理人整理番号：ＣＴＬＰ５１８ＵＳ１）に基づいて実装できる、オーディオ体験をカスタマイズする方法及びシステムと組み合わせることもでき、この文献はその全体が引用により本明細書に組み入れられる。オーディオ体験のカスタマイズは、ある人物が使用するオーディオ装置に適用できる少なくとも１つのカスタマイズされたオーディオ応答特性の導出に基づくことができる。カスタマイズされた（単複の）オーディオ応答特性は、その人物に固有のものとすることができる。
【００１８】
最後に、本発明の技術は、２０１８年９月１９日に出願された「頭部追跡をともなうカスタマイズされた空間音声を生成するための方法（ＭＥＴＨＯＤ  ＦＯＲ  ＧＥＮＥＲＡＴＩＮＧ  ＣＵＳＴＯＭＩＺＥＤ  ＳＰＡＴＩＡＬ  ＡＵＤＩＯ  ＷＩＴＨ  ＨＥＡＤ  ＴＲＡＣＫＩＮＧ）」という名称の本出願人による米国特許出公開願第１６／１３６，２１１号（代理人整理番号：ＣＴＬＰ５１９ＵＳ）に基づいて実装できる、例えばより現実感のある音声のレンダリングのために３Ｄ音源をフィルタリングする際に使用するためのデータベース及びフィルタを生成する効率を引き出し、さらに、空間音声の知覚を向上させるためにより大きな頭の動きを可能にすることによって、頭部追跡が可能にされるようにしてヘッドホン上で音声をレンダリングするための方法及びシステムと組み合わせることもでき、この文献はその全体が引用により本明細書に組み入れられる。
【００１９】
図１は、本発明の様々な実施形態による、単一のオーディオ再生装置１０６を伴う、複数のオーディオ空間間でオーディオを処理するオーディオシステム１００である。オーディオシステム１００は、あらゆるタイプのオーディオサウンド生成装置とすることができるオーディオ再生装置１０６を含む。例えば、オーディオ再生装置１０６は、モニタ、イヤバッド、イヤピース、ヘッドセット、インイヤーヘッドホン、オンイヤーヘッドホン、オーバーイヤーヘッドホン、開放型ヘッドホン、及び密閉型ヘッドホンなどのヘッドホンを含むことができる。オーディオ再生装置１０６は、対応する左ドライバ出力１１０ａ及び右ドライバ出力１１０ｂを有する左ドライバ１０８ａ及び右ドライバ１０８ｂなどの１又は２以上のドライバと、左イヤキャップ１０６ａ及び右イヤキャップ１０６ｂなどの１又は２以上のイヤキャップとを含むことができる。ドライバは、トランスデューサ、スピーカドライバ、又はスピーカとしても知られている。図示のように、オーディオ再生装置１０６は、左イヤキャップ１０６ａ及び右イヤキャップ１０６ｂがそれぞれユーザの左耳１０４ａ及び右耳１０４ｂを覆った状態でユーザ１０５の頭部１０２上に装着され、ユーザ１０５に聞こえる１１２ａ及び１１２ｂなどの１又は２以上の内部オーディオ空間を形成する。イヤキャップが耳の周囲にどのように配置されるかなどの、オーディオ再生装置１０６が頭部１０２との間に形成するシールによって、ユーザ１０５には内部オーディオ空間１１２ａ及び１１２ｂ内の物音しか聞こえず、外部オーディオ空間１１４の物音から隔離されることがある。オーディオ再生装置１０６のシールは、外部オーディオ空間１１４と各内部オーディオ空間１１２ａ及び１１２ｂとの間にオーディオ空間境界を形成する。オーディオ空間境界は、内部オーディオ空間１１２ａ及び１１２ｂ内で外部音１１３が聞こえるのを妨げるあらゆるサイズのものとすることができる。一般に、外部音１１３は、音響環境又は周囲雑音である。
【００２０】
様々な実施形態によれば、オーディオ空間境界付近の外部音１１３を取り込むことができるどこかに左マイク１１６ａ及び右マイク１１６ｂなどのマイクが配置される。例えば、左イヤキャップ１０６ａ及び右イヤキャップ１０６ｂ沿いの隅部に配置された左マイク１１６ａ及び右マイク１１６ｂを示す。その後、対応するマイク変換機能１１８ａ及び１１８ｂを使用して、取り込まれた外部音１１３を処理する。マイク変換機能（以下、「ＭＴＦ」）は、（マイクが外部音を取り込む場合に）外部位置において取り込まれた外部音を、例えばドライバ出力の位置又はユーザの鼓膜に至るユーザの聴覚路沿いなどの、ユーザ１０５の耳に自然に届くことを可能とすることができる内部位置において取り込まれたかの如く聞こえるように変換／仮想化するように構成される。各内部位置又はイヤキャップ１０６ａ及び１０６ｂ又はオーディオ再生装置１０６は、図１に示すようなＭＴＦ１及びＭＴＦ２などの独自のＭＴＦを有する。
【００２１】
ＭＴＦは、１）内部オーディオ空間１１２ａ、１１２ｂ、イヤキャップ１０６ａ、１０６ｂ、マイク１１６ａ、１１６ｂ、及びドライバ１０８ａ、１０８ｂの仕様、２）マイク１１６ａ、１１６ｂ、ドライバ１０８ａ、１０８ｂ、ドライバ出力１１０ａ、１１０ｂの（いずれかの座標領域を使用して距離によって測定した）相対的位置、外部位置、内部位置、及び３）（マイクが外部音を取り込む場合に）外部位置において取り込まれた外部音を、例えばドライバ出力の位置又はユーザの鼓膜に至るユーザの聴覚路沿いなどの、ユーザ１０５の耳に自然に届くことを可能とすることができる内部位置において取り込まれたかの如く聞こえるように変換／仮想化するのに必要ないずれかの因数／変数、などの様々な因子に応じて、複数のＭＴＦ間で固有のもの又は同じものとすることができる。これらの仕様は、以下に限定するわけではないが、サイズ、タイプ、インパルス応答、周波数範囲、システムレイテンシ、ドライバ特性などを含むことができる。さらに、１又は２以上の畳み込みを適用することなどのいずれかの方法を使用して、これらの因子を考慮して変換／仮想化を達成することができる。オーディオシステム１００に関する情報をできるだけ多く知ることにより、オーディオシステム１００はより良好に機能できるようになる。プロセッサ／コントローラ１２０は、本発明の様々な実施形態に従って複数のオーディオ空間間でオーディオの処理を実行するように構成することができる。
【００２２】
外部音１１３は、ユーザの耳から少し離れている場合もある、マイクを使用して取り込みが行われる場所ではなく、ユーザの耳が存在する場所の観点からユーザ１０５に聞こえることが有利である。本発明は、ユーザの耳から離れて位置するマイクによって取り込まれた外部音を、本発明の技術を使用することなどによって処理することなく単純にユーザの耳に放送するものとは異なる。換言すれば、本発明は、不自然な位置から取り込まれた外部音を自然な位置にマッピングして、ユーザにとってよりリアルなものにすることができる。従って、本発明は、外部音が自然に聞こえることを可能にする。
【００２３】
図２は、本発明の様々な実施形態による、単一のオーディオ再生装置を伴う調整２０２を使用して複数のオーディオ空間間でオーディオを処理するオーディオシステム２００である。矢印で示すように、通常、右イヤキャップ１０６ｂは、ユーザ１０５の頭部１０２に接して配置される。しかしながら、調整２０２の実装を説明するために、頭部１０２及び右耳１０４ｂから離れた距離に右イヤキャップ１０６ｂを示している。外部オーディオ空間１１４内の外部音１１３は、対応する右マイク信号を有する右マイク１１６ｃによって外部位置（すなわち、右イヤキャップ１０６の側面）において取り込み、ＭＴＦ３  １１８ｃを使用して処理して、右マイク１１６ｃからの外部位置の外部音１１３の取り込みを右ドライバ１０８ｂの位置、右ドライバ出力１１０ｂの位置、又はユーザの右耳１０４ｂの鼓膜に至る聴覚路に沿った位置を含む内部オーディオ空間１１２ｂ内のいずれかの位置に対応し得る内部位置に変換／仮想化する処理済みマイク信号を生成することができる。外部音１１３の取り込みを変換／仮想化し、右耳１０４ｂの周囲に右イヤキャップ１０６ｂをつけることにより、ユーザ１０５は、（例えば、内部位置が、ユーザの右耳又は右耳の鼓膜に至る聴覚路に位置合わせされている場合）ユーザの右耳１０４ｂにおいてそこで取り込まれたかのように外部音１１３を聞くことができる。
【００２４】
この時点で、処理済みマイク信号は、２０１８年６月１４日に出願された「カスタム化／個人化頭部関連伝達関数を生成する方法」という名称の本出願人による米国特許出願公開第１６／０６２，５２１号（代理人整理番号：ＣＴＬＰ４９７ＵＳ）に基づいて実装できるバイノーラル室内インパルス応答（ＢＲＩＲ）、バイノーラル室内伝達関数（ＢＲＴＦ）、頭部関連インパルス応答（ＨＲＩＲ）又は頭部関連伝達関数（ＨＲＴＦ）の個人化を含む様々なオーディオ技術によって調整（２０２）することができ、この文献はその全体が引用により本明細書に組み入れられる。例えば、個人化は、カスタマイズされたＨＲＴＦを生成することによってオーディオレンダリングを強化する方法を実行することを含むことができる。この方法は、１）取り込み画像の予備バージョンである予備画像を処理してユーザにフィードバックを提供するように構成された画像取り込み装置を使用して、個人の少なくとも一方の耳の取り込み画像を取得するステップと、２）予備画像にモデルを適用することによって、少なくとも予備画像からの制御点に対応する一連のランドマークを生成するステップと、３）取り込み画像の最終表現からの個人のために生成された一連のランドマークから、画像ベースの特性を抽出するステップと、４）複数の個人のために決定された複数のＨＲＴＦデータセットから、カスタマイズされたＨＲＴＦデータセットを選択するように構成された選択プロセッサに画像ベースの特性を提供するステップとを含む。
【００２５】
さらに、調整２０２は、２０１９年２月１９日に出願された「オーディオ体験をカスタマイズするためのシステム及び処理方法」という名称の本出願人による米国特許出願公開第１６／２７９，９２９号（代理人整理番号：ＣＴＬＰ５１８ＵＳ１）に基づいてオーディオ体験をカスタマイズすることを含むこともでき、この文献はその全体が引用により本明細書に組み入れられる。例えば、オーディオ体験のカスタマイズは、１）対象者の少なくとも１つの取り込み画像を処理して少なくとも１つの画像関連入力信号を生成し、２）少なくとも１つのデータセットから処理装置に伝達可能な少なくとも１つのデータベース信号に基づいて少なくとも１つの画像関連入力信号を処理して、複数の中間プロセッサデータセットを生成し、３）複数の中間プロセッサデータセットを組み合わせて少なくとも１つの出力信号を生成することを含む。様々な実施形態は、１）少なくとも１つの出力信号が、対象者に固有のオーディオ応答特性に対応し、２）少なくとも１つの画像関連入力信号が、対象者に関連するバイオメトリックデータに対応し、３）バイオメトリックデータが、第１のバイオメトリック特徴タイプ及び第２のバイオメトリック特徴タイプを含み、４）処理装置を、少なくとも第１のタイプの認識器及び第２のタイプの認識器に対応するマルチ認識器として動作するように訓練することができ、５）処理装置が、第１のタイプの認識器として動作して、第１のバイオメトリック特徴タイプに基づいて第１の一連の中間プロセッサデータセットを生成することができ、６）処理装置が、第２のタイプの認識器として動作して、第２のバイオメトリック特徴タイプに基づいて第２の一連の中間プロセッサデータセットを生成することができ、７）第１の一連の中間プロセッサデータセット及び第２の一連の中間プロセッサデータセットが複数の中間プロセッサデータセットに含まれ、８）対象者にカスタマイズされたオーディオ体験を提供するように、少なくとも１つの出力信号を入力オーディオ信号に適用して、対象者が聴覚的に知覚できる出力オーディオ信号を生成することができる、ことを含む。
【００２６】
調整２０２は、２０１８年９月１９日に出願された「頭部追跡をともなうカスタマイズされた空間音声を生成するための方法」という名称の本出願人による米国特許出公開願第１６／１３６，２１１号（代理人整理番号：ＣＴＬＰ５１９ＵＳ）に基づいてオーディオを一連のヘッドホンに定位できるように入力オーディオ信号に適用するための頭部関連伝達関数（ＨＲＴＦ）を提供することを含むこともでき、この文献はその全体が引用により本明細書に組み入れられる。例えば、これは、１）基準位置におけるリスナーのために個人化された複数のバイノーラル音響インパルス応答（ＢＡＩＲ）ペアにアクセスし、２）リスナーに関連するさらなる位置に対応するリスナーのための複数のバイノーラル音響インパルス応答（ＢＡＩＲ）ペアにアクセスし、３）さらなる位置のための複数のバイノーラル音響インパルス応答（ＢＡＩＲ）ペアの各々を基準位置のためのバイノーラル音響インパルス応答（ＢＡＩＲ）ペアによって分割することによって、リスナーに関連する基準位置のためのバイノーラル音響インパルス応答（ＢＡＩＲ）をさらなる位置の各々に変換するための複数の伝達関数を導出し、４）頭部の向きの変化を示す信号を受け取り、この信号に応答して、この信号に対応する複数の伝達関数の１つのペアを選択し、５）基準位置バイノーラル音響インパルス応答（ＢＡＩＲ）ペア及び複数の伝達関数の選択されたペアを入力オーディオ信号に適用して、一連のヘッドホンのオーディオを定位する、ことを含むことができる。
【００２７】
処理済みマイク信号は、調整後に右ドライバ１０８ｂを介して直接単独で再生できるように出力することも、又は最初にいずれかの別の調整済みオーディオコンテンツと合成することもできる。従って、本発明は、拡張オーディオ体験を生成する際に、ユーザが自身の音響環境を自身のヘッドホンオーディオコンテンツと混合する能力を可能にする。この場合も、上述したように、プロセッサ／コントローラ１２０は、本発明の様々な実施形態に従って複数のオーディオ空間間でオーディオの処理を実行するように構成することができる。
【００２８】
図３は、本発明の様々な実施形態による、複数のオーディオ再生装置を伴う、複数のオーディオ空間間でオーディオを処理するためのオーディオシステム３００である。図示のように、位置Ａ３３０ａにおけるユーザ１０５ａの右耳１０４ｃには、外部位置（すなわち、右イヤキャップ１０６ｃの右側）において右マイク１１６ｄを介してマイク信号を使用して取り込まれた外部音１１３を、内部オーディオ空間１１２ｃ内の内部位置（例えば、右ドライバ出力１１０ｃ、右ドライバ１０８ｃ）において取り込まれたように聞こえるように変換／仮想化する対応するＭＴＦ４  １１８ｃを適用するプロセッサ／コントローラ１２０を含む右イヤキャップ１０６ｃが接触している。処理済み（例えば、変換／仮想化済み）マイク信号は、保存し、録音し、又はライブで送信して位置Ｂ３３０ｂにおけるユーザ１０５ｂと共有（３０１）することができる。位置Ａ３３０ａ及び位置Ｂ３３０ｂは、同じ領域（例えば、部屋又は空間）内又は異なる領域（例えば、２つの別個の部屋又は空間）内に存在することができる。
【００２９】
処理済みマイク信号の共有には、以下に限定するわけではないが、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、メモリＵＳＢスティック、メモリＳＤカード、有線接続などを含むあらゆる方法を使用することができる。マイク信号が処理されているので、ユーザ１０５ｂは、調整２０２の有無にかかわらずマイク信号をレンダリングできるとともに、少なくとも（例えば、変換／仮想化を介して）内部位置において取り込まれた外部音が自身の両耳又は鼓膜に至る聴覚路に同様に位置合わせされる程度に、ユーザ１０５ａが処理済みマイク信号で聞いているものを聞くことができるようになる。例えば、処理済みマイク信号が（例えば、位置Ａ３３０ａがスピーカスイートスポットに存在する）最適位置において外部音を取り込んだ場合、ユーザ１０５ａ及び１０５ｂの両者には、自然に聞こえるように内部位置に変換／仮想化された最適位置の外部音が聞こえる。この共有は、ユーザ１０５ａ及びユーザ１０５ｂが同じ／異なるヘッドホン（例えば、右イヤキャップ１０６ｃ、右イヤキャップ１０６ｄ）又はＭＴＦ（例えば、ＭＴＦ４  １１８ｃ、ＭＴＦ５  １１８ｄ）を使用しているかどうかにかかわらず可能である。１人の人物のオーディオ体験を別の人物と自然に／リアルに（例えば、音が自身の耳の位置から取り込まれたかの如く又は自身の鼓膜に近接しているかの如く聞こえるように）共有する能力が本発明の利点である。
【００３０】
図４は、本発明の様々な実施形態による、複数のオーディオ再生装置を伴う複数のオーディオ空間間でオーディオを処理するオーディオシステム４００である。オーディオシステム４００は、内部オーディオ空間４１２と外部オーディオ空間４１４とを分離するオーディオ空間境界４０６上に位置する左マイク４１６ａ−１及び右マイク４１６ｂ−１などの１又は２以上のマイクを含む。オーディオ空間境界４０６からさらに離れて、左マイク４１６ａ−２、右マイク４１６ｂ−２及びランダムマイク４１６ｃなどの他のマイクが位置する。マイクの位置は、ＭＴＦが外部音を取り込んで処理できるようなものである。さらに、マイクの数は特定の用途に基づく。一般に、マイクの数が多ければ多いほど、特定の部分、配置及び強度などの特定の情報のために処理済み外部音をさらに調整する能力も良好になる。とりわけ、これらの特定の情報は、ユーザに状況認識を提供し又は外部音の識別に役立てるために使用することができる。
【００３１】
一般に、オーディオ空間境界４０６は、外部オーディオ空間４１４内で生成された外部音が内部オーディオ空間４１２に伝播されない地点に位置する。例えば、外部音を聞くこと又は識別することがドライバにとって有用となり得る自動車用途では、オーディオ空間境界を自動車客室のシェルとすることができ、一方で内部オーディオ空間及び外部オーディオ空間は、内側客室空間及び外側客室空間（例えば、自動車の外部）にそれぞれ対応する。別の例として、頭部を完全に又は部分的に包み込むヘルメットの用途では、オーディオ空間境界をヘルメットのシェルとすることができ、一方で内部オーディオ空間及び外部オーディオ空間は、ヘルメットの内側及びヘルメットの外側に対応する。本発明は、外部音がその独自の伝播時に内部オーディオ空間内で聞こえない、又は聞こえるけれども有用でない（例えば、強度が低すぎる又は鮮明でない）状況において有利に適用することができる。
【００３２】
図４に示すように、オーディオシステム４００は、内部オーディオ空間４１２内のユーザ４０５を取り囲む４１０ａ、４１０ｂ、４１０ｃ及び４１０ｄなどの対応するドライバ出力を有する１又は２以上のドライバ（例えば、スピーカ）を有する。各ドライバ及びドライバ出力は、いずれかのチャネル（例えば、前方左、前方右、後方左、後方右など）に対応することができる。例えば、ドライバの数は、モノ、２．０、５．１、７．１、又はオーディオスピーカ設定のあらゆる数のチャネルに対応することができる。オーディオシステム４００は、対応する外部位置（例えば、通常はマイクと同じ位置又はマイクに近いどこか）において対応するマイク（例えば、４１６ａ−１、４１６ｂ−１、４１６ａ−２、４１６ｂ−２、４１６ｃ）を使用して対応するマイク信号上に外部音４１３を取り込み、外部位置からの外部音の取り込み位置を対応する内部位置に変換／仮想化した処理済みマイク信号を生成する際に対応する内部位置（例えば、ドライバ出力４１０ａ、４１０ｂ、４１０ｃ、４１０ｄ）のための対応するＭＴＦ（例えば、４０７ａ、４０７ｂ、４０７ｃ、４０７ｄ、４０７ｅ、４０７ｆ、４０７ｇ、４０７ｈ）を使用してマイク信号を処理するプロセッサ／コントローラ４２０をさらに含む。その後、処理済みマイク信号を調整（例えば、スピーカ用途では、トランスオーラル音響クロストークキャンセレーション、ビーム形成、仮想化、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、又は両耳間レベル差（ＩＬＤ）、ヘッドホン用途では、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、両耳間レベル差（ＩＬＤ）、又はＨＲＩＲ／ＨＲＴＦ／ＢＲＩＲ／ＢＲＴＦ個人化）することができる。調整は、処理済みマイク信号が再生のためにレンダリングされる前のどこかで適用することができる。さらに、取り込まれた外部音を含むマイク信号は、処理済みマイク信号を生成する際の対応するＭＴＦによる処理に使用する前に調整又は事前調整することもできる。このような調整又は事前調整は、処理及びその後の調整を最適化するいずれかの方法とすることができる。このような方法は、以下に限定するわけではないが、ノイズキャンセリング、ノイズ低減、及び信号領域変更のためのマイク変換を含むことができる。
【００３３】
マイク信号は、処理、又は処理及び調整が終わると、直ちにレンダリングすることも、或いは１又は２以上のドライバを介して再生できるように最初に他のいずれかのオーディオコンテンツと合成することもできる。他のオーディオコンテンツは、様々なアーティストからの音楽、又はビデオからのオーディオ、或いはライブコンサートからの音楽などのライブオーディオコンテンツのストリームなどの、予め録音されたオーディオコンテンツのストリームを含むことができる。好ましい実施形態では、他のオーディオコンテンツの調整が、上述したようなマイク信号又は処理済みマイク信号の調整と同様に行われる。一般に、オーディオコンテンツはオーディオコンテンツ信号に取り込まれ、通常は取り込みが内部位置において取り込まれたかの如く聞こえる場所、例えばドライバ出力の位置又はユーザの鼓膜に至る聴覚路沿いの位置などのユーザに自然に聞こえることを可能とすることができる場所に提供される。
【００３４】
様々な実施形態によれば、取り込まれた（ライブの又は録音された）外部音の処理及び調整は、ドライバの位置／配置、マイクの位置／配置、マイク間の相対的距離（例えば、外部位置）、ドライバ、及びドライバ出力（例えば、内部位置）、システム／ＭＴＦインパルス応答などの因子に基づく。
【００３５】
図５は、本発明の様々な実施形態による、複数のオーディオ空間間でオーディオを処理するためのシステムブロック図５００である。システムブロック図５００は、１又は２以上のマイク変換機能モジュール（例えば、５０４ａ、５０４ｂ）と、調整モジュール（例えば、５１０ａ、５１０ｂ、５１０ｃ）と、合成モジュール（例えば、５１４ａ、５１４ｂ）と、再生モジュール（例えば、５１５）とを含む。あらゆるモジュールは、組み合わせ又は分離することができ、１又は２以上のチップ（例えば、ＤＳＰコントローラ）上のプロセッサ／コントローラを使用して実装することができる。図示のように、ＭＴＦ１モジュール５０４ａ及びＭＴＦ２モジュール５０４ｂは、対応する外部位置において左マイク信号５０２ａ及び右マイク信号５０２ｂによって取り込まれた外部オーディオ空間からの外部音を受け取るように構成される。左マイク信号５０２ａ及び右マイク信号５０２ｂは、処理済みマイク信号５０５ａ及び５０５ｂを生成する際に、ＭＴＦ１モジュール５０４ａ及びＭＴＦ２モジュール５０４ｂによって受け取られる前に調整又は事前調整５１０ａすることができる。このような調整又は事前調整５１０ａは、処理５０４ａ及び５０４ｂ、並びにその後の調整５１０ｂを最適化するあらゆる方法を実装することができる。このような方法は、以下に限定するわけではないが、ノイズキャンセリング、ノイズ低減、及び信号領域変更のためのマイク変換を含むことができる。
【００３６】
ＭＴＦ１モジュール５０４ａ及びＭＴＦ２モジュール５０４ｂは、外部位置（例えば、左マイク及び右マイク位置）に対応するマイク信号５０２ａ及び５０２ｂからの外部音の取り込みを内部オーディオ空間内の対応するドライバ（例えば、１０８ａ、１１０ａ、１０８ｂ、又は１１０ｂ）を含む内部位置に仮想化するために、ＭＴＦ１モジュール５０４ａ及びＭＴＦ２モジュール５０４ｂを使用して左マイク信号５０２ａ及び右マイク信号５０２ｂを処理することによってそれぞれの処理済みマイク信号５０５ａ及び５０５ｂを生成するようにさらに構成される。内部及び外部オーディオ空間は、オーディオ空間境界によって互いに分離される。
【００３７】
いくつかの実施形態によれば、ＭＴＦ１モジュール５０４ａ及びＭＴＦ２モジュール５０４ｂの各々は、１又は２以上の処理済みマイク信号を生成する際に（例えば、同じチャネルと）合成又は（例えば、異なるチャネルと）混合することができる１又は２以上の対応する処理済みマイク信号を生成する１又は２以上の（同じ又は異なる）ＭＴＦを含むことができる。さらに、他の実施形態によれば、ＭＴＦ１モジュール５０４ａ及びＭＴＦ２モジュール５０４ｂは、取り込まれた外部音の特定の音を強化する１又は２以上の処理済みマイク信号を生成するように構成される。例えば、処理済みマイク信号は、増幅又はフィルタリングによって特定の音を強化することができる。好ましい実施形態では、ユーザに聞こえない特定の音が強化される。
【００３８】
オーディオ調整モジュール５１０ｂは、処理済みマイク信号５０５ａ及び５０５ｂにオーディオ調整技術を適用することによって調整済みマイク信号５０６ａ及び５０６ｂを生成するように構成される。オーディオシステムがスピーカに関連する場合、オーディオ調整技術は、トランスオーラル音響クロストークキャンセレーション、ビーム形成、仮想化、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、及び／又は両耳間レベル差（ＩＬＤ）を含むことができる。オーディオシステムがヘッドホンに関連する場合、オーディオ調整技術は、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、両耳間レベル差（ＩＬＤ）、及び／又はＨＲＩＲ／ＨＲＴＦ／ＢＲＩＲ／ＢＲＴＦ個人化を含むことができる。
【００３９】
合成モジュール５１４ａ及び５１４ｂは、オーディオコンテンツ信号５０８にオーディオ調整技術を適用する調整モジュール５１０ｃによって生成された調整済みオーディオコンテンツ信号５１２ａ及び５１２ｂを調整済みマイク信号５０６ａ及び５０６ｂに追加することによって、合成出力信号５１５ａ及び５１５ｂを生成するように構成される。オーディオコンテンツ信号５０８は、前方左チャネル５０８ａ、前方右チャネル５０８ｂ、前方中央チャネル５０８ｃ、後方左チャネル５０８ｄ、後方右チャネル５０８ｅ、及びその他もろもろのチャネル５０８ｎなどのチャネルに対応する数の信号を含むことができる。上述したように、オーディオシステムがスピーカに関連する場合、オーディオ調整技術は、トランスオーラル音響クロストークキャンセレーション、ビーム形成、仮想化、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、及び両耳間レベル差（ＩＬＤ）を含むことができる。一方で、オーディオシステムがヘッドホンに関連する場合、オーディオ調整技術は、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、両耳間レベル差（ＩＬＤ）、及びＨＲＩＲ／ＨＲＴＦ／ＢＲＩＲ／ＢＲＴＦ個人化を含むことができる。
【００４０】
いくつかの実施形態では、再生モジュール５１５が、処理済みマイク信号５０５ａ及び５０５ｂを、内部オーディオ空間内で出力５１６ａ及び５１６ｂ上で再生できるように、調整又は合成することなく対応するドライバを介してレンダリングするように構成される。再生は、指定された内部位置において左及び右マイクによって仮想的に取り込まれた外部音を含む。他の実施形態では、再生モジュール５１５が、調整済みマイク信号５０６ａ及び５０６ｂを、内部オーディオ空間内で出力５１６ａ及び５１６ｂ上で再生できるように、いずれかのオーディオコンテンツと合成することなく対応するドライバを介してレンダリングするように構成される。再生は、指定された内部位置において左及び右マイクによって仮想的に取り込まれた外部音を含む。さらに、他の実施形態では、再生モジュール５１５が、合成出力信号５１５ａ及び５１５ｂを、内部オーディオ空間内で出力５１６ａ及び５１６ｂ上で再生できるように、対応するドライバを介してレンダリングするように構成される。再生は、指定された内部位置において左及び右マイクによって仮想的に取り込まれた外部音と、オーディオコンテンツ信号上に取り込まれたオーディオコンテンツとを含む。
【００４１】
図６は、本発明の様々な実施形態による、複数のオーディオ空間間でオーディオを処理するためのフロー図６００である。フロー図６００のあらゆるステップは、本発明の低レイテンシ態様によってリアルタイムで実行することができる。従って、オーディオシステム１００、２００、３００、４００は、ユーザのオーディオ体験を強化するためにリアルタイムで実装することができる。ステップ６０２において、外部オーディオ空間からの外部音を取り込んだ少なくとも１つのマイク信号を受け取るステップを実行する。少なくとも１つのマイク信号は、少なくとも１つの外部位置に対応する少なくとも１つのマイクによって生成される。いくつかの実施形態では、少なくとも１つのマイク信号が、外部オーディオ空間からの外部音をリアルタイムで取り込む。さらに、いくつかの実施形態では、少なくとも１つのマイク信号が、外部オーディオ空間からの外部音を録音で取り込む。時には、少なくとも１つのマイク信号にオーディオ事前調整技術を適用することによって少なくとも１つのマイク信号を事前調整することが有用かつ有益となり得る。オーディオ事前調整技術は、ノイズキャンセリング、ノイズ低減、信号領域変更のためのマイク変換、及びステップ６０４の変換／仮想化又はステップ６０６の調整を改善するためのいずれかの技術を含むことができる。
【００４２】
ステップ６０４において、少なくとも１つのマイク信号を少なくとも１つのマイク変換機能によって処理することによって、少なくとも１つの処理済みマイク信号を生成するステップを実行する。ステップ６０４は、少なくとも１つの外部位置に対応する少なくとも１つのマイクからの外部音の取り込みを、内部オーディオ空間内の少なくとも１つのドライバに対応する少なくとも１つの内部位置に変換／仮想化するために実行される。内部及び外部オーディオ空間は、オーディオ空間境界によって互いに分離される。一般に、オーディオ空間境界は、外部オーディオ空間から内部オーディオ空間への外部音のオープンエア伝播（ｏｐｅｎ  ａｉｒ  ｔｒａｎｓｍｉｓｓｉｏｎ）を減衰させる。例えば、内部オーディオ空間で測定した外部音は、減衰によって６ｄＢ未満になることがある。
【００４３】
様々な実施形態によれば、マイク変換機能は、少なくとも１つの外部位置に対応する少なくとも１つのマイク信号と、少なくとも１つの内部位置に対応する少なくとも１つのマイク信号と、少なくとも１つの外部位置及び少なくとも１つの内部位置に対応する少なくとも１つのインパルス応答信号とを伴う畳み込みを実行する。さらに、他の実施形態によれば、マイク変換機能は、高速フーリエ変換（ＦＦＴ）、無限インパルス応答（ＩＩＲ）フィルタ、及び／又はマルチレートフィルタバンクを実行することができる。マイク変換機能が同じである場合も存在し得るが、これらは個々に固有のものとすることもできる。
【００４４】
いくつかの実施形態では、マイクの数がオーディオシステムのドライバ数に一致する必要がない。１つのマイクに対して１つのドライバでも機能するが、外部音のオーディオオブジェクトの空間的位置をさらに良好にできるように、少なくとも２つのマイク及び２つのドライバを有することが好ましい。本発明は、任意の数のマイクからの外部音をいずれかの任意の内部位置のスピーカに変換することにも適用することができる。オーディオシステムが自動車に関連する場合、内部オーディオ空間は自動車客室の内側に対応することができ、外部オーディオ空間は自動車客室の外側に対応することができる。オーディオシステムがヘッドホンに関連する場合、内部オーディオ空間はヘッドホンイヤキャップの内側に対応することができ、外部オーディオ空間はヘッドホンイヤキャップの外側に対応することができる。いくつかの実施形態では、少なくとも１つの処理済みマイク信号を生成するステップが、少なくとも１つの処理済みマイク信号を後で再生できるように保存するステップを含む。このことは、ユーザ間での共有にとって特に有用である。例えば、これにより、ユーザＡがユーザＡの位置で聞いているものをユーザＢが聞くことを可能にすることができる。さらに、ユーザＡがスイートスポットに座っている場合、たとえユーザＢがユーザＡ位置と異なる位置に存在する場合であっても、ユーザＢにスイートスポットの音が聞こえるようになる。
【００４５】
ステップ６０６において、任意に少なくとも１つの調整済みマイク信号を生成するステップを実行する。これは、少なくとも１つの処理済みマイク信号にオーディオ調整技術を適用することによって行うことができる。オーディオシステムがスピーカに関連する場合、オーディオ調整技術は、トランスオーラル音響クロストークキャンセレーション、ビーム形成、仮想化、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、及び両耳間レベル差（ＩＬＤ）を含むことができる。オーディオシステムがヘッドホンに関連する場合、オーディオ調整技術は、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、両耳間レベル差（ＩＬＤ）、及びＨＲＩＲ／ＨＲＴＦ／ＢＲＩＲ／ＢＲＴＦ個人化を含むことができる。用途に適切に基づいて、他のいずれかのオーディオ調整技術を使用することもできる。
【００４６】
ステップ６０８において、任意に、少なくとも１つの合成出力信号を生成するステップを実行する。これは、少なくとも１つの調整済みマイク信号に少なくとも１つの調整済みオーディオコンテンツ信号を追加することによって行うことができる。少なくとも１つの調整済みオーディオコンテンツ信号は、オーディオコンテンツ信号にオーディオ調整技術を適用することによって生成することができる。オーディオシステムがスピーカに関連する場合、オーディオ調整技術は、トランスオーラル音響クロストークキャンセレーション、ビーム形成、仮想化、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、及び両耳間レベル差（ＩＬＤ）を含むことができる。オーディオシステムがヘッドホンに関連する場合、オーディオ調整技術は、両耳間時間差（ＩＴＤ）、両耳間強度差（ＩＩＤ）、両耳間レベル差（ＩＬＤ）、及びＨＲＩＲ／ＨＲＴＦ／ＢＲＩＲ／ＢＲＴＦ個人化を含むことができる。
【００４７】
最後に、ステップ６１０において、任意に、少なくとも１つの処理済みマイク信号、少なくとも１つの調整済みマイク信号、又は少なくとも１つの合成出力信号のいずれかを、内部オーディオ空間で再生できるように少なくとも１つのドライバを介してレンダリングするステップを実行する。少なくとも１つの処理済みマイク信号の場合、再生は、少なくとも１つの内部位置において少なくとも１つのマイクによって仮想的に取り込まれた外部音を含む。少なくとも１つの調整済みマイク信号の場合、再生は、指定された内部位置において左及び右マイクによって仮想的に取り込まれた外部音を含む。少なくとも１つの合成出力信号をレンダリングする場合、再生は、少なくとも１つの内部位置において少なくとも１つのマイクによって仮想的に取り込まれた外部音と、オーディオコンテンツ信号上に取り込まれたオーディオコンテンツとを含む。
【００４８】
本発明は、本発明の１又は２以上の実施形態によるコンピュータシステムの使用にも関する。図７に、本発明の１又は２以上の実施形態に関連して使用できる典型的なコンピュータシステム７００を示す。コンピュータシステム７００は、一次ストレージ７０６（通常は、ランダムアクセスメモリ、すなわちＲＡＭ）と別の一次ストレージ７０４（通常は、リードオンリメモリ、すなわちＲＯＭ）とを含む記憶装置に結合された１又は２以上のプロセッサ７０２（中央処理装置、すなわちＣＰＵとも呼ばれる）を含む。当業で周知のように、一次ストレージ７０４は、データ及び命令をＣＰＵに対して単方向に転送するように機能し、一次ストレージ７０６は、典型的にはデータ及び命令を両方向に転送するために使用される。これらの両一次記憶装置は、本発明の１又は２以上の実施形態によるプログラム命令が提供された機械可読媒体を含むコンピュータプログラム製品を含むいずれかの好適なコンピュータ可読媒体を含むことができる。
【００４９】
ＣＰＵ７０２には、さらなるデータストレージ容量を提供する大容量記憶装置７０８が双方向に結合され、大容量記憶装置７０８は、本発明の１又は２以上の実施形態によるプログラム命令が提供された機械可読媒体を含むコンピュータプログラム製品を含むコンピュータ可読媒体のいずれかを含むことができる。大容量記憶装置７０８は、プログラム及びデータなどを記憶するために使用することができ、典型的には一次ストレージよりも低速なハードディスクなどの二次ストレージ媒体である。大容量記憶装置７０８内に保持される情報は、適切な場合には一次ストレージ７０６の一部である仮想メモリとして標準的に組み込むことができると理解されるであろう。ＣＤ−ＲＯＭなどの特定の大容量記憶装置は、ＣＰＵに対して単方向にデータを受け渡すこともできる。
【００５０】
ＣＰＵ７０２は、ビデオモニタ、トラックボール、マウス、キーボード、マイク、タッチセンサ式ディスプレイ、トランスデューサカードリーダ、磁気又は紙テープリーダ、タブレット、スタイラス、音声又は手書き認識器、又は当然ながら他のコンピュータなどの他の周知の入力装置などの１又は２以上の入力／出力装置を含むインターフェイス７１０にも結合される。最後に、ＣＰＵ７０２は、７１２として大まかに示すようなネットワーク接続を使用して、任意にコンピュータ又は通信ネットワークに結合することもできる。ＣＰＵは、このようなネットワーク接続を使用して、上述した方法ステップを実行する最中にネットワークから情報を受け取り、又はネットワークに情報を出力できるように企図される。上述した装置及び材料は、コンピュータハードウェア及びソフトウェア技術の当業者には周知である。
【００５１】
本発明の様々な実施形態は、１）ユーザがヘッドホンを取り外すことなく別の人物に容易に話し掛ける能力、２）拡張オーディオ体験を生成する際にユーザが自身の音響環境をヘッドホンオーディオコンテンツに混合する能力、３）所与の環境の音の方向／位置をユーザに自然に聞こえる形で再現すること、４）所与の環境を他のユーザと共有すること、５）外部音を取り込むためのマイクをユーザの耳から離れた距離に配置できる（換言すれば、バイノーラル録音などにおいてマイクを耳の中に物理的に配置する必要がない）状況に対する本技術の適用可能性、をさらに提供することが有利である。
【００５２】
以上、明確な理解を目的として本発明を詳細に説明したが、添付の特許請求の範囲内で一定の変更及び修正を実施できることが明らかであろう。従って、本実施形態は、限定ではなく例示とみなすべきものであり、本発明は、本明細書に示す詳細に限定されるものではなく、添付の特許請求の範囲及び同等物内で修正することができる。
【図１】
2020174346.tif 000003
【図２】
2020174346.tif 000004
【図３】
2020174346.tif 000005
【図４】
2020174346.tif 000006
【図５】
2020174346.tif 000007
【図６】
2020174346.tif 000008
【図７】
2020174346.tif 000009
【外国語明細書】
2020174346000001.pdf