【手続補正書】
【提出日】令和2年12月4日(2020.12.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メタデータが関連付けられた、複数のオーディオソース信号と、バイノーラル空間インパルス応答（ＢＲＩＲ）データベースとを所与として、バイノーラル再生信号を生成する方法であって、
前記複数のオーディオソース信号が、チャンネルベースの信号、オブジェクトベースの信号、または両方の信号の混合であり、
ユーザの位置および向いている方向に対するオーディオソースの相対位置を計算し、
前記オーディオソースの相対位置に応じて前記複数のオーディオソース信号を階層的にグループ化し、
レンダリングに使用されるＢＲＩＲをパラメータ化し、
レンダリングされるべき各々のオーディオソース信号を複数のブロックおよびフレームに分割し、
前記パラメータ化されたＢＲＩＲシーケンスを平均し、
前記階層的にグループ化されたオーディオソース信号をダウンミックスする、
方法。
【請求項２】
前記相対位置は、前記複数のオーディオソースのメタデータおよびユーザ頭部トラッキングデータに基づいて、前記複数のオーディオソース信号の各々の時間フレーム／ブロック毎に計算される、
請求項１に記載の方法。
【請求項３】
前記グループ化は、各々のフレームについて計算された相対位置を所与として、異なるグループ化の分解能で複数のレイヤで階層的に行われる、
請求項１に記載の方法。
【請求項４】
前記ＢＲＩＲデータベースにおける各々のＢＲＩＲフィルタ信号が、複数のフレームから構成される直接ブロックと、複数の拡散ブロックとに分割され、前記フレームおよびブロックは、それぞれ前記ＢＲＩＲフィルタ信号のターゲット位置を使用してラベル付けされる、
請求項１に記載の方法。
【請求項５】
前記オーディオソース信号は、現在のブロックおよび過去のブロックに分割され、前記現在のブロックは、さらに複数のフレームに分割される、
請求項１に記載の方法。
【請求項６】
フレームごとのバイノーラル化処理が、前記オーディオソース信号の現在のブロックのフレームについて、選択されたＢＲＩＲフレームを使用して実行され、各々のオーディオソースの前記計算された相対位置に最も近い直近のラベル付けされたＢＲＩＲフレームの探索に基づいて各々のＢＲＩＲフレームが選択される、
請求項１に記載の方法。
【請求項７】
前記フレームごとのバイノーラル化処理が、前記ダウンミックスされた信号に適用される、
請求項１に記載の方法。
【請求項８】
後期残響処理が、ＢＲＩＲの前記拡散ブロックを使用して前記オーディオソース信号の過去のブロックのダウンミックスされたものについて実行され、各々のブロックに異なるカットオフ周波数が適用される、
請求項１に記載の方法。
【請求項９】
メタデータが関連付けられた複数のオーディオソース信号と、バイノーラル空間インパルス応答（ＢＲＩＲ）データベースとを所与として、バイノーラル再生信号を生成するバイノーラルレンダリング装置であって、
前記複数のオーディオソース信号は、チャンネルベースの信号、オブジェクトベースの信号、または両方の信号の混合であり、
ユーザの位置および向いている方向に対するオーディオソースの相対位置を計算する計算モジュールと、
前記オーディオソースの相対位置に従ってオーディオソース信号をグループ化するグループ化モジュールと、
レンダリングに使用されるＢＲＩＲをパラメータ化する、ＢＲＩＲパラメータ化モジュールと、
レンダリングされるべき各々のオーディオソース信号をいくつかのブロックおよびフレームに分割し、
前記パラメータ化されたＢＲＩＲシーケンスを平均し、
前記階層的なグループ化の結果にて特定される前記分割されたオーディオソース信号をダウンミックスする、バイノーラルレンダラコア部と、を備えた
バイノーラルレンダリング装置。
【請求項１０】
計算モジュールは、前記相対位置を、前記複数のオーディオソースのメタデータおよびユーザ頭部トラッキングデータに基づいて、前記複数のオーディオソース信号の各々の時間フレーム／ブロック毎に計算する、
請求項９に記載のバイノーラルレンダリング装置。
【請求項１１】
前記グループ化モジュールは、前記グループ化を、各々のフレームについて計算された相対位置に基づいて、異なるグループ化の分解能で複数のレイヤで階層的に行う、
請求項９に記載のバイノーラルレンダリング装置。
【請求項１２】
前記ＢＲＩＲパラメータ化モジュールは、前記ＢＲＩＲデータベースにおける各々のＢＲＩＲフィルタ信号を、複数のフレームから構成される直接ブロックと、複数の拡散ブロックとに分割し、それぞれ前記ＢＲＩＲフィルタ信号のターゲット位置を使用してラベル付けする、
請求項９に記載のバイノーラルレンダリング装置。
【請求項１３】
前記バイノーラルレンダラコア部は、前記オーディオソース信号を、現在のブロックおよび過去のブロックに分割し、前記現在のブロックをさらに複数のフレームに分割する、
請求項９に記載のバイノーラルレンダリング装置。
【請求項１４】
前記バイノーラルレンダラコア部は、フレームごとのバイノーラル化処理を、前記ソース信号の現在のブロックのフレームについて、選択されたＢＲＩＲフレームを使用して実行し、各々のオーディオソースの前記計算された相対位置に最も近い直近のラベル付けされたＢＲＩＲフレームの探索に基づいて、各々のＢＲＩＲフレームが選択される、
請求項９に記載のバイノーラルレンダリング装置。
【請求項１５】
バイノーラルレンダラコア部は、前記フレーム毎のバイノーラル化処理を、前記ダウンミックスされた信号に適用する、
請求項９に記載のバイノーラルレンダリング装置。
【請求項１６】
バイノーラルレンダラコア部は、後期残響処理を、ＢＲＩＲの前記拡散ブロックを使用して前記オーディオソース信号の過去のブロックのダウンミックスされたものについて実行し、各々のブロックに異なるカットオフ周波数が適用する、
請求項９に記載のバイノーラルレンダリング装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
＜問題２：ＢＲＩＲを用いたバイノーラルレンダリングにおいては計算が複雑である＞ＢＲＩＲは、一般に、長い一連のインパルスであるという事実ゆえに、ＢＲＩＲと信号との間の直接の畳み込みは、大量の計算を必要とする。したがって、多くのバイノーラルレンダラは、計算の複雑さと空間品質との間の妥協点を模索している。図２が、ＭＰＥＧ−Ｈ  ３Ｄオーディオにおけるバイノーラルレンダラ（１０３）の処理の流れをしている。このバイノーラルレンダラは、ＢＲＩＲを「直接および初期反射（ｄｉｒｅｃｔ＆ｅａｒｌｙ  ｒｅｆｌｅｃｔｉｏｎｓ）」部分および「後期残響（ｌａｔｅ  ｒｅｖｅｒｂｅｒａｔｉｏｎ）」部分に分割し、これら２つの部分を別々に処理する。「直接および初期反射」部分は、大部分の空間的情報を保持しているため、各々のＢＲＩＲのこの部分は、直接および初期部分の処理（２０１）において別々に信号と畳み込みされる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
この方法は、後期残響の部分の処理（２０３）における計算負荷を軽減するが、計算の複雑さは、直接および初期部分の処理（２０１）において依然としてきわめて高くなり得る。これは、直接および初期部分の処理（２０１）において各々のソース信号が別々に処理され、ソース信号の数が増加するにつれて計算の複雑さも増すからである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
１０１  フォーマットコンバータ
１０２  ＶＢＡＰレンダラ
１０３  バイノーラルレンダラ
２０１  直接および初期部分の処理
２０２  ダウンミックス
２０３  後期残響部分の処理
２０４  ミキシング
３０１  頭部相対ソース位置計算モジュール
３０２  階層的ソースグループ化モジュール
３０３  バイノーラルレンダラコア
３０４  ＢＲＩＲパラメータ化モジュール
３０５  外部ＢＲＩＲ補間モジュール
３０６  高速バイノーラルレンダラ
７０１  フレームごとの高速バイノーラル化モジュール
７０２  ダウンミキシングモジュール
７０３  後期残響処理モジュール
７０４  総和
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2019532579.tif 000001