(57)【要約】  実施形態は、ユーザの頭部の画像を使用したシミュレーションを実施することを通して、頭部伝達関数（ＨＲＴＦ）を取得することに関する。ユーザの頭部の１つまたは複数の画像に部分的に基づいて、ユーザの頭部のジオメトリが決定される。オーディオソースからユーザの頭部へのサウンド伝播のシミュレーションが、生成されたジオメトリに基づいて実施される。ジオメトリは、３次元メッシュまたは主成分分析（ＰＣＡ）ベースにおいて表現されてよく、ここで、ユーザの頭部は、被験者の頭部の代表的な３次元形状の組合せとして表現される。【選択図】図５
2021523392.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部の画像を受信することと、
前記ユーザの頭部の受信された画像に部分的に基づいて、前記ユーザの頭部のジオメトリを生成することと、
生成されたジオメトリに基づいて、オーディオソースから前記ユーザの頭部へのサウンド伝播のシミュレーションを実施することと、
前記シミュレーションに基づいて、前記ユーザの頭部についての頭部伝達関数（ＨＲＴＦ）を決定することと
を含む方法。
【請求項２】
前記ジオメトリが、被験者の頭部の代表的な３次元形状の組合せとして前記ユーザの頭部を説明する主成分分析（ＰＣＡ）モデルを使用して表現される、請求項１に記載の方法。
【請求項３】
前記ジオメトリを生成することが、前記ジオメトリを取得するためのマシン学習アルゴリズムを使用して前記ユーザの頭部の前記画像を処理することを含む、請求項２に記載の方法。
【請求項４】
前記ＰＣＡモデルが、
被験者の頭部画像および前記被験者の測定されたＨＲＴＦを受信することと、
初期のＰＣＡモデルに基づいて、前記被験者の頭部画像のＰＣＡベースのジオメトリを決定することと、
前記被験者のシミュレートされたＨＲＴＦを決定するために、前記ＰＣＡベースのジオメトリにシミュレーションを実施することと、
シミュレートされたＨＲＴＦと、前記測定されたＨＲＴＦとの差を決定することと、
決定された差に基づいて、前記初期のＰＣＡモデルを修正することによって、または前記初期のＰＣＡモデルから引き出された１つもしくは複数の中間ＰＣＡモデルを更新することによって、更新されたＰＣＡモデルを生成することと、
前記決定された差が閾値を下回るとき、前記更新されたＰＣＡモデルを、前記ユーザの頭部を表現するためのＰＣＡモデルとして決定することと
によって生成される、請求項２に記載の方法。
【請求項５】
前記被験者の前記頭部画像、および前記ＰＣＡモデルに準じた前記被験者の頭部画像のＰＣＡベースのジオメトリを使用して、前記マシン学習アルゴリズムをトレーニングすることをさらに含む、請求項３に記載の方法。
【請求項６】
前記ユーザの頭部の前記画像が、前記ユーザの耳の形状を含む、請求項１に記載の方法。
【請求項７】
前記ユーザの頭部の前記画像が、奥行き画像である、請求項１に記載の方法。
【請求項８】
前記ユーザの頭部の前記画像が、ヘッドマウントディスプレイ（ＨＭＤ）の奥行きカメラアセンブリによってキャプチャされる、請求項７に記載の方法。
【請求項９】
前記ユーザの前記ＨＲＴＦに基づいて、前記ユーザ用のサラウンドサウンド構成を決定することと、
前記サラウンドサウンド構成を、サウンド信号を処理するための前記ＨＭＤに送ることと
をさらに含む請求項８に記載の方法。
【請求項１０】
前記ジオメトリが、３次元メッシュとして表現される、請求項１に記載の方法。
【請求項１１】
前記シミュレーションが、有限要素法（ＦＥＭ）、境界要素法（ＢＥＭ）、および有限差分時間領域（ＦＤＴＤ）法のうちの１つに基づく、請求項１に記載の方法。
【請求項１２】
前記ユーザの頭部の前記画像が、ＲＧＢ画像である、請求項１に記載の方法。
【請求項１３】
命令を記憶する非一時的なコンピュータ可読ストレージ媒体であって、前記命令が、プロセッサによって実行されるとき、前記プロセッサに、
ユーザの頭部の画像を受信させ、
前記ユーザの頭部の受信された画像に部分的に基づいて、前記ユーザの頭部のジオメトリを生成させ、
生成されたジオメトリに基づいて、オーディオソースから前記ユーザの頭部へのサウンド伝播のシミュレーションを実施させ、
前記シミュレーションに基づいて、前記ユーザの頭部についての頭部伝達関数（ＨＲＴＦ）を決定させる、
非一時的なコンピュータ可読ストレージ媒体。
【請求項１４】
前記ジオメトリが、被験者の頭部の代表的な３次元形状の組合せとして前記ユーザの頭部を説明する主成分分析（ＰＣＡ）モデルを使用して表現される、請求項１３に記載の非一時的なコンピュータ可読ストレージ媒体。
【請求項１５】
前記ジオメトリを生成するための命令が、前記プロセッサに、前記ジオメトリを取得するためのマシン学習アルゴリズムを使用して前記ユーザの頭部の前記画像を処理させる命令を含む、請求項１４に記載の非一時的なコンピュータ可読ストレージ媒体。
【請求項１６】
前記ＰＣＡモデルが、
被験者の頭部画像および前記被験者の測定されたＨＲＴＦを受信することと、
初期のＰＣＡモデルに基づいて、前記被験者の頭部画像のＰＣＡベースのジオメトリを決定することと、
前記被験者のシミュレートされたＨＲＴＦを決定するために、前記ＰＣＡベースのジオメトリにシミュレーションを実施することと、
シミュレートされたＨＲＴＦと、前記測定されたＨＲＴＦとの差を決定することと、
決定された差に基づいて、前記初期のＰＣＡモデルを修正することによって、または前記初期のＰＣＡモデルから引き出された１つもしくは複数の中間ＰＣＡモデルを更新することによって、更新されたＰＣＡモデルを生成することと、
前記測定されたＨＲＴＦと、前記更新されたＰＣＡモデルのＰＣＡベースのジオメトリに基づいてシミュレートされたＨＲＴＦとの差が閾値を下回るとき、前記更新されたＰＣＡモデルを、前記ユーザの頭部を表現するためのＰＣＡモデルとして決定することと
によって生成される、請求項１４に記載の非一時的なコンピュータ可読ストレージ媒体。
【請求項１７】
前記ユーザの頭部の前記画像が、前記ユーザの耳の形状を含む、請求項１３に記載の非一時的なコンピュータ可読ストレージ媒体。
【請求項１８】
前記ユーザの頭部の前記画像が、ヘッドマウントディスプレイ（ＨＭＤ）の奥行きカメラアセンブリによってキャプチャされた奥行き画像である、請求項１３に記載の非一時的なコンピュータ可読ストレージ媒体。
【請求項１９】
前記プロセッサに、
前記ユーザの前記ＨＲＴＦに基づいて、前記ユーザ用のサラウンドサウンド構成を決定させ、
前記サラウンドサウンド構成を、サウンド信号を処理するためのＨＭＤに送らせる
命令をさらに含む請求項１３に記載の非一時的なコンピュータ可読ストレージ媒体。
【請求項２０】
前記シミュレーションが、有限要素法（ＦＥＭ）、境界要素法（ＢＥＭ）、および有限差分時間領域（ＦＤＴＤ）法のうちの１つに基づく、請求項１３に記載の非一時的なコンピュータ可読ストレージ媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
関連出願の相互参照
本出願は、その全体において参照により本明細書に組み込まれる、２０１８年５月１１日に出願された米国特許出願第６２／６７０，６２８号、および２０１９年４月２２日に出願された米国特許出願第１６／３９０，９１８号の利益を主張するものである。
【０００２】
本開示は、一般に、立体音響に関し、詳細には、奥行き情報および／または主成分分析（ＰＣＡ）を使用したシミュレーションを通して、頭部伝達関数（ｈｅａｄ−ｒｅｌａｔｅｄ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ：ＨＲＴＦ）を決定することに関する。
【０００３】
２つの耳で知覚されるサウンドは、それぞれの耳についてのサウンドソースの方向および場所、ならびにサウンドが知覚される部屋の周囲状況次第で異なることがある。ヒトは、それぞれの耳で知覚されるサウンドを比較することによって、サウンドソースの場所を決定することができる。「サラウンドサウンド」システムにおいては、複数のスピーカが、ＨＲＴＦを使用してサウンドの方向性の側面を再現する。ＨＲＴＦは、空間におけるある点から、耳がどのようにサウンドを受信するのかを特徴付ける。サウンドが人間の耳に伝わるときにサウンドに影響を与える人間の解剖学的構造のために、人間に対して特定のソース場所についてのＨＲＴＦは、その人間のそれぞれの耳に独特（およびその人間に独特）である。サウンドが人間に達するとき、頭部、耳、外耳道の寸法および形状、頭部の密度、鼻腔および口腔の寸法および形状が、サウンドを変化させ、サウンドがどのようにユーザによって知覚されるかに影響を与える。
【０００４】
従来、ＨＲＴＦは、人間に対して多くの異なるソース場所（たとえば、通常１００よりも多いスピーカ）について、サウンド減衰室で決定される。次いで決定されたＨＲＴＦを、その人間のための「サラウンドサウンド」体験を生成するために使用することができる。しかも、誤差を削減するために、スピーカの場所ごとに多数のＨＲＴＦ（すなわち、それぞれのスピーカは、複数のばらばらのサウンドを生成している）を決定するのが普通である。それに応じて、高品質のサラウンドサウンドの場合、多くの異なるスピーカの場所について決定される多数のＨＲＴＦが存在するために、ＨＲＴＦを決定するのに比較的長い（たとえば、１時間よりも長い）時間がかかる。加えて、良質のサラウンドサウンド用に十分なＨＲＴＦを測定するためのインフラストラクチャ（たとえば、サウンド減衰室、１つまたは複数のスピーカ配列、その他）は、かなり複雑である。それに応じて、ＨＲＴＦを取得するための従来の手法は、必要とされるハードウェアリソースおよび／または時間の観点から不十分である。
【発明の概要】
【０００５】
実施形態は、ユーザの頭部の画像を使用したシミュレーションを実施することを通して、頭部伝達関数（ＨＲＴＦ）を取得することに関する。ユーザの頭部の１つまたは複数の画像に部分的に基づいて、ユーザの頭部のジオメトリが決定される。オーディオソースからユーザの頭部へのサウンド伝播のシミュレーションが、生成されたジオメトリに基づいて実施される。ジオメトリは、３次元メッシュまたは主成分分析（ＰＣＡ）ベースのジオメトリにおいて表現されてよく、ここで、ユーザの頭部は、被験者の頭部の代表的な３次元形状の組合せとして表現される。
【０００６】
一実施形態において、初期のＰＣＡモデルに基づいて被験者の頭部画像のＰＣＡベースのジオメトリを決定することによって、ＰＣＡベースのジオメトリを生成するためのＰＣＡモデルが取得される。次いで、被験者のシミュレートされたＨＲＴＦを決定するために、ＰＣＡベースのジオメトリにシミュレーションが実施される。シミュレートされたＨＲＴＦと、測定されたＨＲＴＦとの差が決定される。決定された差に基づいて、初期のＰＣＡモデルを修正することによって、または初期のＰＣＡモデルから引き出された１つもしくは複数の中間ＰＣＡモデルを更新することによって、更新されたＰＣＡモデルが生成される。測定されたＨＲＴＦと、更新されたＰＣＡモデルのＰＣＡベースのジオメトリに基づいてシミュレートされたＨＲＴＦとの差が閾値を下回るとき、更新されたＰＣＡモデルが、ユーザの頭部を表現するためのＰＣＡモデルとして決定される。
【図面の簡単な説明】
【０００７】
【図１】一実施形態に従ってユーザのＨＲＴＦを決定するためにユーザの画像を使用するシステムの概略図である。
【図２】一実施形態に従ってユーザの頭部の画像をキャプチャするヘッドマウントディスプレイ（ＨＭＤ）の例示的なビューの図である。
【図３】一実施形態に従ってユーザのＨＲＴＦを決定するためのサーバのブロック図である。
【図４】一実施形態に従って、ユーザの頭部の３次元メッシュジオメトリに基づいてＨＲＴＦをシミュレートすることを例証する概念図である。
【図５】一実施形態に従って、３次元メッシュに変えられるキャプチャされた画像を使用してＨＲＴＦを決定する流れ図である。
【図６Ａ】一実施形態に従って、ユーザの頭部の画像をＰＣＡベースのジオメトリに変えることによって、シミュレートされたＨＲＴＦの生成を例証する概念図である。
【図６Ｂ】一実施形態に従ってＰＣＡモデルを決定する流れ図である。
【図７】一実施形態に従って、ＰＣＡベースのジオメトリを使用してＨＲＴＦを決定する流れ図である。
【発明を実施するための形態】
【０００８】
概説
本発明の実施形態は、人工現実システムを含んでもよいし、または人工現実システムと併せて実装されてもよい。人工現実は、ユーザへの提示前になんらかのやり方で調整されている現実の形態であり、人工現実は、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはそれらのなんらかの組合せおよび／または派生物を含むことができる。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、実世界の）コンテンツと組み合わせて生成されたコンテンツを含むことができる。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらのなんらかの組合せを含むことができ、それらのうちのいずれかが、単一チャネルにおいて、または多数のチャネルにおいて（見る人に対して３次元効果を生み出すステレオビデオなど）提示されてよい。加えて、いくつかの実施形態において、人工現実はまた、たとえば、人工現実においてコンテンツを作成するために使用される、および／または人工現実において別のやり方で使用される（たとえば、その中でアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらのなんらかの組合せに関連付けられてもよい。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたＨＭＤ、スタンドアロンＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または人工現実コンテンツを１人もしくは複数の見る人に提供する能力のある任意の他のハードウェアプラットフォームを含む、さまざまなプラットフォーム上で実装されてよい。
【０００９】
人工現実システムは、２つのモード、すなわち、キャリブレーションモードおよびプレゼンテーションモードにおいて動作することができる。キャリブレーションモードにおいて、ＨＲＴＦキャリブレーションが実施される。ＨＲＴＦは、ユーザの耳（たとえば、外耳道）が、耳に対して特定の位置で、サウンドソースからのサウンドをどのように受信するのかを特徴付ける。一実施形態において、システムは、撮像デバイス（たとえば、ＤＣＡ付きのＨＭＤ、カメラ付きのモバイルデバイス）を使用して決定された、ユーザの頭部の奥行き情報を使用して、ＨＲＴＦシミュレーションを実施することができる。別の実施形態において、システムは、ユーザの頭部のＰＣＡベースのジオメトリに基づいて、ＨＲＴＦシミュレーションを実施することができる。
【００１０】
プレゼンテーションモードにおいて、システムは、ＨＲＴＦキャリブレーションから決定されたオーディオ特性構成に準じて、オーディオ出力デバイス（たとえば、スピーカ、ヘッドフォン）を通してサウンドコンテンツを提示する。ＨＲＴＦキャリブレーションに基づいて、サラウンドサウンド構成が決定され、オーディオ出力デバイスを通してユーザに提供される。サウンドコンテンツは、ＨＭＤを通して同時に提示されるビジュアルコンテンツと同期することができる。
【００１１】
ＨＲＴＦを決定するためのシステム環境
図１は、一実施形態に従ってユーザのＨＲＴＦを決定するためにユーザ１３０の画像を使用するシステム１００の概略図である。ユーザ１３０は、ネットワーク１１０を通してサーバ１２０に接続されたＨＭＤ１４０を装着している。ユーザ１３０の頭部の画像が、ＨＭＤ１４０上の撮像デバイスを使用してキャプチャされる。ユーザは、撮像デバイスがユーザの頭部に向けられるようにＨＭＤ１４０を導き、撮像デバイスは、ユーザの頭部の複数の画像をキャプチャする。代替として、画像は、モバイル電話（図１には図示せず）上の撮像デバイスを使用して収集される。
【００１２】
ユーザ１３０の頭部の画像は、ネットワーク１１０を通してサーバ１２０に送られる。ネットワーク１１０は、データ送信のための任意の好適な通信ネットワークであってよい。いくつかの例示的な実施形態において、ネットワーク１１０は、インターネットであり、標準の通信技術および／または通信プロトコルを使用する。したがって、ネットワーク１１０は、イーサネット、８０２．１１、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ）、３Ｇ、４Ｇ、デジタル加入者線（ＤＳＬ）、非同期転送モード（ＡＴＭ）、インフィニバンド、ＰＣＩエクスプレスアドバンストスイッチング、その他などの技術を使用するリンクを含むことができる。いくつかの例示的な実施形態において、エンティティは、上で説明したものの代わりに、または上で説明したものに加えて、カスタムの、および／または専用のデータ通信技術を使用する。
【００１３】
サーバ１２０は、複数の画像を受信し、使用して、ユーザ１３０用にカスタマイズされたＨＲＴＦを決定する。この目的のために、図３を参照して下で詳細に説明するように、サーバ１２０は、シミュレーションを実施するために使用される、ユーザ１３０の頭部のジオメトリを生成する。決定されたＨＲＴＦに基づいて、ユーザ１３０用にカスタマイズされたサラウンドサウンド構成が、ネットワーク１１０を通してＨＭＤ１４０に送られて、ユーザ１３０に仮想サラウンドサウンドを提供することができる。
【００１４】
図２は、一実施形態に従ってユーザの頭部の画像をキャプチャするＨＭＤ２１０の例示的なビューである。ＨＭＤ２１０は、コンピュータ生成された要素（たとえば、２次元（２Ｄ）または３次元（３Ｄ）の画像、２Ｄまたは３Ｄのビデオ、サウンド、その他）を用いた、物理的な実世界環境の仮想ビューおよび／または拡張ビューを含むコンテンツを、ユーザに提示するヘッドマウントディスプレイである。
【００１５】
ＨＭＤ２１０は、ユーザの頭部を含むユーザ１３０の画像をキャプチャする奥行きカメラアセンブリ（ＤＣＡ）２２０を含む。キャプチャされた画像は、奥行き画像またはカラー画像（たとえば、ＲＧＢ画像）であってよい。奥行き画像は、以下の技法、すなわち、ステレオビジョン、照度差ステレオ、飛行時間（ＴｏＦ）、および構造化光（ＳＬ）のうちの１つ、またはその組合せを使用してキャプチャされてよい。ＤＣＡ２２０は、奥行き画像から奥行き情報を計算する、または奥行き情報を抽出するために奥行き画像をサーバ１２０に送ることができる。
【００１６】
ユーザの頭部をより正確にキャプチャするために、ユーザ１３０は、ＤＣＡ２２０が複数の位置からユーザ１３０の方に向けられるように、ＨＭＤ２１０を導く。ユーザ１３０は、ユーザ１３０に対して異なる角度および／または距離で、ＨＭＤ２１０を保持することができる。たとえば、ユーザ１３０は、腕の長さにおいてユーザ１３０の顔面の真正面にＨＭＤ２１０を保持し、ＤＣＡ２２０を使用して、ユーザ１３０の顔面の画像をキャプチャすることができる。ユーザ１３０はまた、ＤＣＡ２２０がユーザ１３０の頭部の側面の方に向けられた状態で、腕の長さよりも短い距離でＨＭＤ２１０を保持して、ユーザ１３０の耳２３０および／または肩２４０の画像をキャプチャすることができる。ＨＭＤ２１０は、特徴認識ソフトウェアを起動し、対象の特徴（たとえば、耳、肩）が認識されるときに自動的に画像をキャプチャする、または、ユーザからの入力を受信して画像をキャプチャすることができる。
【００１７】
別の実施形態において、ユーザ１３０は、モバイルデバイスの撮像デバイスを使用して、ユーザ１３０の頭部の複数の画像をキャプチャする。モバイルデバイスは、ユーザ１３０に対して一定の角度および／または距離からユーザ１３０の頭部の複数の画像をキャプチャするようにユーザ１３０をガイドするグラフィカルユーザインターフェース（ＧＵＩ）を有するアプリケーションを有して。たとえば、ＧＵＩは、ユーザ１３０の顔面の前向き画像、ユーザ１３０の右耳の画像、およびユーザ１３０の左耳の画像を要求することができる。
【００１８】
ＨＲＴＦを決定するためのサーバの例示的なアーキテクチャ
図３は、一実施形態に従ってユーザのＨＲＴＦを決定するためのサーバ３００のブロック図である。サーバ３００は、コンポーネントの中でもとりわけ、プロセッサ３７０と、ユーザインターフェース３７４と、ネットワーク通信モジュール３７８と、メモリ３０４と、これらのコンポーネントを接続するバス３８０とを含むことができる。サーバ３００は、電源、ディスプレイデバイス、またはスピーカなどの、図３には例証されていないコンポーネントを含んでもよい。
【００１９】
プロセッサ３７０は、さまざまな動作を実施するための命令を実行するハードウェアコンポーネントである。図３には、単一のプロセッサ３７０が例証されているが、拡大したコンピューティング能力のために、サーバ３００において２つ以上のプロセッサが使用されてもよい。
【００２０】
ユーザインターフェース３７４は、サーバ３００のユーザと対話するための、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せである。ユーザインターフェース３７４は、キーボード、およびポインティングデバイス（たとえば、マウス）などの入力デバイスを含むことができる。
【００２１】
ネットワーク通信モジュール３７８は、サーバ３００がネットワーク１１０を介してＨＭＤ２１０またはユーザの画像の他のソースと通信するのを可能にする、ハードウェア、またはソフトウェアおよびファームウェアと組み合わせたハードウェアである。ネットワーク通信モジュール３７８は、たとえば、ネットワークカードとして具現化されてよい。
【００２２】
メモリ３０４は、ソフトウェアモジュールおよびさまざまなデータを記憶するための非一時的な媒体である。メモリ３０４は、モジュールの中でもとりわけ、奥行きマップ生成器３１０と、主成分分析（ＰＣＡ）モジュール３２０と、ジオメトリ生成モジュール３３０と、サウンドシミュレーションモジュール３４０と、オーディオ処理モジュール３６０とを含むことができる。モジュールおよび／または異なるエンティティの間で、本明細書で説明するのとは異なるやり方で機能を分散することができる。いくつかの実施形態において、メモリ３０４におけるモジュールのいくつか、またはすべての機能性は、ＨＭＤ（たとえば、ＨＭＤ２１０）によって提供されてもよい。
【００２３】
奥行きマップ生成器３１０は、ユーザの頭部の画像を受信し、複数の画像から奥行きマップを生成する、ソフトウェアモジュールである。奥行きマップ生成器３１０は、ＨＭＤのＤＣＡ（たとえば、ＤＣＡ２２０）またはモバイルデバイスの撮像デバイスから受信された複数の画像から、ユーザの頭部についての情報を抽出することができる。情報は、ユーザの頭部上の特徴の位置を決定するために使用される奥行き情報を含むことができる。奥行きマップ生成器３１０は、ユーザの頭部の奥行きマップを作成し、ユーザの特徴の相対的位置を決定することができる。奥行きマップは、ユーザの頭部の画像から、対象の特徴の間の位置または空間的関係を指し示す。たとえば、奥行きマップは、ユーザの左耳と右耳との間の距離、または目および肩などの他の特徴に対するユーザの耳の位置を指し示すことができる。
【００２４】
ＰＣＡモジュール３２０は、ヒト被験者の頭部画像および被験者の測定されたＨＲＴＦに基づいて、ＰＣＡモデルを決定する。この目的のために、ＰＣＡモジュール３２０は、たとえばデータベースから、被験者の頭部画像（またはその部分）および被験者の測定されたＨＲＴＦを受信する。被験者（たとえば、５００〜１０００被験者）の受信された頭部画像に基づいて、ＰＣＡモジュール３２０は、直交変換を使用して一組の線形無相関な主成分を決定する、主成分分析（ＰＣＡ）を実施する。たとえば、被験者の耳の形状は、耳の無作為な形状が主な耳の形状（たとえば、５から１０の耳の形状）の組合せとして表現されたＰＣＡの焦点であることがある。ＰＣＡモデルを決定する詳細は、図６Ｂに関して下で議論される。ＰＣＡの結果は次いで、ジオメトリ生成モジュール３３０に提供される。便宜上、ＰＣＡモジュール３２０はサーバ３００において実行されるように説明されているが、ＰＣＡモジュール３２０は、別個のコンピューティングデバイス上で実行されてもよい。そのようなケースでは、ＰＣＡの結果は、処理されて、ユーザのＰＣＡベースの頭部ジオメトリを処理するためのジオメトリ生成モジュール３３０に提供される。
【００２５】
ジオメトリ生成モジュール３３０は、奥行きマップ生成器３１０によって生成された奥行きマップに基づいて、ユーザの頭部のジオメトリを決定する。決定されたジオメトリは、たとえば、目、耳、首、および肩などのユーザの頭部の特徴の位置を説明する、ユーザの頭部の３次元メッシュ表現であってよい。代替として、決定されたジオメトリは、ユーザの頭部のＰＣＡベースのジオメトリであってもよく、ここでは、ユーザの頭部またはユーザの頭部の特徴（たとえば、耳の形状）は、対応するＰＣＡ係数を掛けた主成分の線形結合として表現される。
【００２６】
サウンドシミュレーションモジュール３４０は、ユーザの頭部へのサウンドの伝播をシミュレートするためにコンピュータ化されたモデルを使用する、ソフトウェアモジュールである。サウンドシミュレーションモジュール３４０は、ジオメトリ生成モジュール３３０から、ユーザの頭部のジオメトリを受信する。ユーザの頭部のジオメトリに部分的に基づいて、サウンドシミュレーションモジュール３４０は、シミュレーションを実施し、シミュレーションは、図４を参照して下で詳細に説明するように、ユーザのＨＲＴＦを決定するために、異なる場所からサウンドがユーザの耳にどのように伝播されるのかを決定することを含む。
【００２７】
オーディオ処理モジュール３６０は、サウンドシミュレーションモジュール３４０で生成されたユーザのＨＲＴＦに部分的に基づいて、ユーザのサラウンドサウンド構成を決定する。ＨＲＴＦを使用して、オーディオ処理モジュール３６０は、ユーザのＨＭＤ２１０で再現されるようにサウンド信号を処理し、処理されたサウンド信号をＨＭＤ２１０に送る。代替として、サウンド信号は、サーバ３００で処理されずに、生の形式でＨＭＤ２１０に送られる。ＨＭＤ２１０は、ユーザのＨＲＴＦを受信し、ＨＲＴＦに基づいてオーディオ信号処理アルゴリズムを実行して、ユーザへのサラウンド仮想サウンドを生み出す。
【００２８】
３次元メッシュモデルを使用したＨＲＴＦ決定
図４および図５は、一実施形態に従って、シミュレーションモデル４００を使用してユーザのＨＲＴＦを決定することを例証している。シミュレーションモデル４００は、ユーザのＨＲＴＦを決定するために、オーディオソースから、ユーザの頭部に対して異なる場所で、サウンドの伝播をシミュレートする。この目的のために、３次元メッシュで表現されたユーザの頭部のジオメトリが、シミュレーションモデル４００に提供される。シミュレーションモデル４００は、ユーザの頭部のメッシュジオメトリに基づいて、ユーザについてシミュレートされたＨＲＴＦを生み出す。
【００２９】
シミュレートされたＨＲＴＦを取得するために、シミュレーションモデル４００は、たとえば、Ｃａｒｌｏｓ  Ａ．  Ｂｒｅｂｂｉａら、「Ｂｏｕｎｄａｒｙ  Ｅｌｅｍｅｎｔ  Ｍｅｔｈｏｄｓ  ｉｎ  Ａｃｏｕｓｔｉｃｓ」、Ｓｐｒｉｎｇｅｒ；１ｅｄ．，ＩＳＢＮ１８５１６６６７９６（１９９１）、およびＧｕｍｅｒｏｖ  Ｎ．Ａ．ら、「Ａ  ｂｒｏａｄｂａｎｄ  ｆａｓｔ  ｍｕｌｔｉｐｏｌｅ  ａｃｃｅｌｅｒａｔｅｄ  ｂｏｕｎｄａｒｙ  ｅｌｅｍｅｎｔ  ｍｅｔｈｏｄ  ｆｏｒ  ｔｈｅ  ｔｈｒｅｅ  ｄｉｍｅｎｓｉｏｎａｌ  Ｈｅｌｍｈｏｌｔｚ  ｅｑｕａｔｉｏｎ」、Ｊ．Ａｃｏｕｓｔ．  Ｓｏｃ．Ａｍ．，ｖｏｌ．１２５，ｉｓｓｕｅ１、１９１〜２０５ページ（２００９）に説明されている（ｉ）境界要素法（ＢＥＭ）、たとえば、Ｔｈｏｍｐｓｏｎ，Ｌ．Ｌ．、「Ａ  ｒｅｖｉｅｗ  ｏｆ  ｆｉｎｉｔｅ−ｅｌｅｍｅｎｔ  ｍｅｔｈｏｄｓ  ｆｏｒ  ｔｉｍｅ−ｈａｒｍｏｎｉｃ  ａｃｏｕｓｔｉｃｓ」、Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．  Ａｍ．，ｖｏｌ．１１９，ｉｓｓｕｅ３、１３１５〜１３３０ページ（２００６）に説明されている（ｉｉ）有限要素法（ＦＥＭ）、たとえば、Ｔａｆｌｏｖｅ，Ａ．ら、「Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｄｙｎａｍｉｃｓ：Ｔｈｅ  Ｆｉｎｉｔｅ−Ｄｉｆｆｅｒｅｎｃｅ  Ｔｉｍｅ  Ｄｏｍａｉｎ  Ｍｅｔｈｏｄ」、Ｔｈｉｒｄ  Ｅｄｉｔｉｏｎ；ｃｈａｐ．１，４．，Ａｒｔｅｃｈ  Ｈｏｕｓｅ  Ｐｕｂｌｉｓｈｅｒｓ（２００５）、およびＹｅｅ，Ｋ．、「Ｎｕｍｅｒｉｃａｌ  ｓｏｌｕｔｉｏｎ  ｏｆ  ｉｎｉｔｉａｌ  ｂｏｕｎｄａｒｙ  ｖａｌｕｅ  ｐｒｏｂｌｅｍｓ  ｉｎｖｏｌｖｉｎｇ  Ｍａｘｗｅｌｌ’ｓ  ｅｑｕａｔｉｏｎｓ  ｉｎ  ｉｓｏｔｒｏｐｉｃ  ｍｅｄｉａ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｎｔｅｎｎａｓ  ａｎｄ  Ｐｒｏｐａｇａｔｉｏｎ，ｖｏｌ．１４，ｉｓｓｕｅ３、３０２〜３０７ページ（１９６６）に説明されている（ｉｉｉ）有限差分時間領域（ＦＤＴＤ）法、たとえば、Ｓａｋａｍｏｔｏ，Ｓ．ら、「Ｎｕｍｅｒｉｃａｌ  ａｎａｌｙｓｉｓ  ｏｆ  ｓｏｕｎｄ  ｐｒｏｐａｇａｔｉｏｎ  ｉｎ  ｒｏｏｍｓ  ｕｓｉｎｇ  ｔｈｅ  ｆｉｎｉｔｅ  ｄｉｆｆｅｒｅｎｃｅ  ｔｉｍｅ  ｄｏｍａｉｎ  ｍｅｔｈｏｄ」、Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．，  ｖｏｌ．１２０，ｉｓｓｕｅ５，３００８（２００６）、およびＳａｋａｍｏｔｏ，Ｓ．ら、「Ｃａｌｃｕｌａｔｉｏｎ  ｏｆ  ｉｍｐｕｌｓｅ  ｒｅｓｐｏｎｓｅｓ  ａｎｄ  ａｃｏｕｓｔｉｃ  ｐａｒａｍｅｔｅｒｓ  ｉｎ  ａ  ｈａｌｌ  ｂｙ  ｔｈｅ  ｆｉｎｉｔｅ−ｄｉｆｆｅｒｅｎｃｅ  ｔｉｍｅ−ｄｏｍａｉｎ  ｍｅｔｈｏｄ」、Ａｃｏｕｓｔｉｃａｌ  Ｓｃｉｅｎｃｅ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．２９，ｉｓｓｕｅ４（２００８）に説明されている（ｉｖ）フーリエ擬スペクトル時間領域（ＰＳＴＤ）法などの、さまざまなシミュレーション方式を使用することができ、これらの内容は、その全体において参照により本明細書に組み込まれる。
【００３０】
図５は、一実施形態に従って、キャプチャされた画像を３次元メッシュにして使用してＨＲＴＦを決定する流れ図である。図５のプロセスは、サーバ１２０および／またはＨＭＤ２１０によって実施されてよい。
【００３１】
奥行きマップ生成器３１０が、少なくともユーザの頭部を含むユーザの画像を受信する（５１０）。画像は、ＨＭＤ２１０のＤＣＡ２２０から、またはモバイルデバイスの撮像デバイスからであってよい。奥行きマップ生成器３１０は、ユーザの頭部の特徴（たとえば、耳）の位置を指し示す奥行きマップを生成する。
【００３２】
ジオメトリ生成モジュール３３０が、奥行きマップ生成器３１０から奥行きマップを受信し、ユーザの頭部の３次元メッシュジオメトリを生成する（５２０）。サウンドシミュレーションモジュール３４０が、ジオメトリ生成モジュール３３０から生成されたメッシュジオメトリを受信し、オーディオソースからユーザの頭部への異なる場所で、サウンド伝播のシミュレーションを実施する（５３０）。シミュレーションに基づいて、ユーザのＨＲＴＦが決定される（５４０）。
【００３３】
ＰＣＡベースのジオメトリを使用したＨＲＴＦ決定
図６Ａは、一実施形態に従ったマシン学習モデルのブロック図である。最初に、マシン学習モデル６０２を使用して、ユーザの頭部の画像を、ユーザの頭部を表現するＰＣＡベースのジオメトリに変える。マシン学習モデル６０２は、ＰＣＡベースのジオメトリを生み出すようにトレーニングされており、ヒトの頭部またはヒトの頭部特徴の形状（たとえば、耳の形状）が代表的な被験者の頭部または頭部特徴の３次元形状の線形結合として表現されるＰＣＡモデルを具現化する。
【００３４】
耳の形状にＰＣＡ分析を使用する例を取ると、無作為な耳の形状Ｅの３次元形状は、以下のように表現されてよい。
Ｅ＝Σ（αｉ×εｉ）      （１）
ここで、αｉは、ｉ番目の主成分（すなわち、３次元のｉ番目の代表的な耳の形状）を表現し、εｉは、ｉ番目の主成分のＰＣＡ係数を表現する。主成分の数（「ｉ」の数）は、測定されたＨＲＴＦを提供した被験者の合計数よりも小さくなるように選択される。一例において、主成分の数は、５から１０である。
【００３５】
図６Ｂを参照して下で詳細に説明するように、ＰＣＡモデルは、被験者の頭部の形状のジオメトリ、および被験者の測定されたＨＲＴＦを使用して生成され、その結果、ＰＣＡモデルから取得されたＰＣＡベースのジオメトリの使用は、同じユーザの頭部の３次元メッシュジオメトリにシミュレーションを実施することと比較して、シミュレーションによるより正確なＨＲＴＦをもたらす。ＰＣＡモデルが決定した後で、被験者の頭部の画像（またはその画像から引き出された奥行きマップ）、およびＰＣＡモデルに準じた被験者のＰＣＡベースのジオメトリを使用して、マシン学習モデル６０２がトレーニングされる。トレーニングされたマシン学習モデル６０２は、ユーザの頭部の画像（またはユーザの画像から引き出された奥行きマップ）から、ユーザの頭部のＰＣＡベースのジオメトリを予測する、または推測することができる。
【００３６】
本明細書で説明する被験者は、その頭部の形状のジオメトリ（または頭部の形状の画像）およびＨＲＴＦが既に知られている、ヒトまたはヒトの物理モデルを指す。ＨＲＴＦを取得するために、被験者は、無響室に置かれ、被験者の耳に置かれたマイクロフォンを用いて、無響室内の異なる場所からサウンドにさらされてよい。
【００３７】
ＰＣＡモデルのそのような生成およびマシン学習モデル６０２のトレーニングは、オフラインで実施することができる。その場合、トレーニングされたマシン学習モデル６０２は、サーバ３００のジオメトリ生成モジュール３３０に配置されていてよい。トレーニングされたマシン学習モデル６０２を使用することにより、ジオメトリ生成モジュール３３０は、堅牢かつ効率的なやり方で、ユーザのＰＣＡベースのジオメトリを生み出すことが可能になる。
【００３８】
図６Ｂは、一実施形態に従ってＰＣＡモデルを決定する流れ図である。図６Ｂのプロセスは、サーバ１２０のＰＣＡモジュール３２０によって実施されてよい。その上、実施形態は、異なるおよび／または追加のステップを含んでもよいし、または異なる順序でステップを実施してもよい。
【００３９】
ＰＣＡモジュール３２０は、無作為な頭部の形状または頭部の形状の特徴を表現するための主成分として、被験者の頭部（またはその部分）のサブセットを選択することによって、初期のＰＣＡモデルを決定する（６１０）。被験者の頭部の画像またはその画像から引き出された奥行きマップが、初期のＰＣＡモデルを使用して処理されて、被験者の頭部または被験者の頭部の部分（たとえば、耳）のＰＣＡベースのジオメトリを決定する（６２０）。すなわち、式（１）を参照して上で明らかにしたように、すべての被験者の頭部の形状（または頭部の部分の形状）は、対応するＰＣＡ係数を掛けた被験者の頭部の形状のサブセットの線形結合として表現される。
【００４０】
次いで、図４を参照して上で説明したように、ＢＥＭ、ＦＥＭ、ＦＤＴＤ法、またはＰＳＴＤ法のうちの１つまたは複数を使用して、ＰＣＡベースのジオメトリにシミュレーションが実施される（６３０）。シミュレーションの結果として、現時点のＰＣＡモデルに基づいた被験者のシミュレートされたＨＲＴＦが取得される。
【００４１】
次いで、被験者の測定されたＨＲＴＦと、シミュレートされたＨＲＴＦとの差が、閾値よりも大きいかどうかが決定される（６５０）。差は、被験者のそれぞれについての、測定されたＨＲＴＦと、シミュレートされたＨＲＴＦとの差の大きさの和であってよい。
【００４２】
差が閾値よりも大きい場合、ＰＣＡモデルは、新しい現時点のＰＣＡモデルに更新される。ＰＣＡモデルを更新することは、主成分の数を追加すること、もしくは削減すること、ＰＣＡ係数値を更新すること、または代表的な形状を更新することを含むことができる。次いで、プロセスは、更新された現時点のモデルに基づいた新しい組のＰＣＡベースのジオメトリを決定すること（６２０）に戻り、後続のステップを繰り返す。
【００４３】
差が閾値よりも小さい、または閾値と等しいことが決定された（６５０）場合、現時点のＰＣＡモデルが、配置のためのＰＣＡモデルとして確定される（６８０）。
【００４４】
図７は、一実施形態に従って、ＰＣＡベースのジオメトリを使用してＨＲＴＦを決定する流れ図である。ユーザの頭部の画像または奥行きマップが取得された後に、たとえば、図６Ｂを参照して上で説明したように決定されたＰＣＡモデルを具現化するマシン学習モデル６０２を使用して、ユーザの頭部（またはその部分）のＰＣＡベースのジオメトリが決定される（７１０）。
【００４５】
次いで、マシン学習モデルから生成されたユーザの頭部のＰＣＡベースのジオメトリにシミュレーションが実施される（７２０）。シミュレーションは、図４を参照して上で説明したように、ＢＥＭ、ＦＥＭ、ＦＤＴＤ法、またはＰＳＴＤ法のうちの１つまたは複数を使用することができる。シミュレーションの結果として、ユーザのＨＲＴＦが決定される（７３０）。シミュレーションから取得されたＨＲＴＦに基づいて、ユーザ用のサラウンドサウンド構成が決定される（７４０）。サラウンドサウンド構成は、仮想サラウンドサウンドを生み出すために、オーディオ処理モジュール３６０またはＨＭＤ２１０において使用されてよい。
【００４６】
本開示の実施形態の上述の説明は、例証の目的のために提示されており、包括的であること、または本開示を開示された厳密な形態に限定することは意図していない。当業者は、上の開示に照らして、多くの修正形態および変形形態が可能であることを認めることができる。
【００４７】
この説明のいくつかの部分は、情報に対する動作のアルゴリズムおよび記号的表現の観点から本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理技術における当業者によって、彼らの仕事の内容を他の当業者に効果的に伝えるためによく使用されている。これらの動作は、機能的に、計算的に、または論理的に説明されているものの、コンピュータプログラム、または等価の電気回路、マイクロコード、その他によって実装されることになることが理解される。さらに、一般性を損なうことなく、動作のこれらの配列をモジュールと呼ぶことが時に好都合であることもまた分かっている。説明した動作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せにおいて具現化されてよい。
【００４８】
本明細書で説明したステップ、動作、またはプロセスのうちのいずれも、１つもしくは複数のハードウェアまたはソフトウェアモジュールを用いて、単独で、または他のデバイスと組み合わせて実施または実装されてよい。一実施形態において、ソフトウェアモジュールは、説明したステップ、動作、またはプロセスのうちのいずれか、またはすべてを実施するために、コンピュータプロセッサによって実行され得るコンピュータプログラムコードを収容するコンピュータ可読媒体を含むコンピュータプログラム製品で実装される。
【００４９】
本開示の実施形態はまた、本明細書における動作を実施するための装置に関してもよい。この装置は、求められた目的のために特別に構築されてもよいし、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブにされる、または再構成される汎用コンピューティングデバイスを含んでもよい。そのようなコンピュータプログラムは、コンピュータシステムバスに連結され得る、非一時的な、有形のコンピュータ可読ストレージ媒体、または電子命令を記憶するために好適な任意のタイプの媒体に記憶されてよい。さらに、本明細書において参照されたあらゆるコンピューティングシステムは、単一のプロセッサを含んでもよいし、または増加したコンピューティング能力のために多数のプロセッサ設計を採用するアーキテクチャであってもよい。
【００５０】
本開示の実施形態はまた、本明細書で説明したコンピューティングプロセスによって生み出される製品に関してもよい。そのような製品は、コンピューティングプロセスから生じた情報を含むことができ、ここで、情報は、非一時的な、有形のコンピュータ可読ストレージ媒体上に記憶され、本明細書で説明したコンピュータプログラム製品または他のデータの組合せの任意の実施形態を含むことができる。
【００５１】
最後に、本明細書で使用される言語は、読みやすさおよび教育的な目的のために主に選択されており、本発明の主題を線引きする、または制限するために選択されていなくてもよい。そのため、本開示の範囲は、この詳細な説明によって限定されるのではなく、むしろ本明細書に基づいて出願上発行されるいずれかの請求項によって限定されることが意図される。それに応じて、実施形態の開示は、以下の請求項に明記される本開示の範囲を限定するのではなく、例証的であることが意図される。
【図１】
2021523392.tif 000003
【図２】
2021523392.tif 000004
【図３】
2021523392.tif 000005
【図４】
2021523392.tif 000006
【図５】
2021523392.tif 000007
【図６Ａ】
2021523392.tif 000008
【図６Ｂ】
2021523392.tif 000009
【図７】
2021523392.tif 000010
【国際調査報告】
2021523392.tif 000011
2021523392.tif 000012
2021523392.tif 000013