【手続補正書】
【提出日】平成31年3月15日(2019.3.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
高次アンビソニック(HOA)オーディオ信号をレンダリングするためのデバイスであって、
前記HOAオーディオ信号を記憶するように構成されるメモリと、
前記メモリに結合される1つまたは複数のプロセッサであって、
エフェクト行列を生成することの一部として、マッピング関数に基づいて複数の空間的な方向についてラウドネス補償プロセスを実行し、
前記エフェクト行列に基づいて前記HOAオーディオ信号をレンダリングする
ように構成される、1つまたは複数のプロセッサと
を備える、デバイス。
【請求項２】
前記1つまたは複数のプロセッサが、レンダリング行列にさらに基づいて前記複数の空間的な方向について前記ラウドネスを補償するように構成される、請求項1に記載のデバイス。
【請求項３】
前記1つまたは複数のプロセッサが、
符号化されたオーディオデータのためのレンダラを決定し、
ビューイングウィンドウの1つまたは複数の視野角(FOV)パラメータおよび参照画面の1つまたは複数のFOVパラメータに基づいて前記レンダラを修正し、
前記エフェクト行列と前記修正されたレンダラとの両方を使用して前記HOAオーディオ信号をレンダリングする
ように構成される、請求項1に記載のデバイス。
【請求項４】
前記1つまたは複数のプロセッサが、前記HOAオーディオ信号と関連付けられるビデオデータに関する作成画面サイズおよび再生画面サイズに基づいて、前記HOAオーディオ信号のオブジェクトと関連付けられる複数の元の音の位置と前記HOAオーディオ信号の前記オブジェクトと関連付けられる複数の対応するマッピング先との間の最小の誤差を決定するように構成される、請求項1に記載のデバイス。
【請求項５】
前記1つまたは複数のプロセッサが、前記HOAオーディオ信号と関連付けられるビデオデータに関する作成画面サイズおよび再生画面サイズを使用して、前記HOAオーディオ信号のオブジェクトと関連付けられる複数の元の音の位置と関連付けられるそれぞれのエネルギーと前記HOAオーディオ信号の前記オブジェクトと関連付けられる複数の対応するマッピング先と関連付けられるそれぞれのエネルギーとの間のエネルギーの正規化を決定するように構成される、請求項1に記載のデバイス。
【請求項６】
高次アンビソニック(HOA)オーディオ信号をレンダリングするためのデバイスであって、
前記HOAオーディオ信号を記憶するように構成されるメモリと、
前記メモリに結合される1つまたは複数のプロセッサであって、
エフェクト行列を生成することの一部としてラウドネス補償プロセスを実行し、
符号化されたオーディオデータのためのレンダラを決定し、
ビューイングウィンドウの1つまたは複数の視野角(FOV)パラメータおよび参照画面の1つまたは複数のFOVパラメータに基づいて前記レンダラを修正し、
前記エフェクト行列と前記修正されたレンダラとの両方を使用して前記HOAオーディオ信号をレンダリングする
ように構成される、1つまたは複数のプロセッサと
を備える、デバイス。
【請求項７】
1つまたは複数のスピーカーをさらに備え、前記1つまたは複数のプロセッサが、前記デバイスの前記1つまたは複数のスピーカーと関連付けられるスピーカー構成に基づいて前記レンダラを決定するように構成される、請求項6に記載のデバイス。
【請求項８】
前記レンダラが、前記符号化されたオーディオデータを再生フォーマットに変換するためのレンダリングフォーマットまたはアルゴリズムのうちの1つまたは複数を備える、請求項6に記載のデバイス。
【請求項９】
前記1つまたは複数のプロセッサが、
前記参照画面の前記1つまたは複数のFOVパラメータおよび前記ビューイングウィンドウの前記1つまたは複数のFOVパラメータに基づいて、スピーカーの角度を修正するための角度マッピング関数を決定し、
前記角度マッピング関数に基づいて、1つまたは複数のスピーカーのうちの第1のスピーカーの角度を修正して前記第1のスピーカーの修正された角度を生成し、
前記第1のスピーカーの前記修正された角度を使用して前記レンダラを修正する
ようにさらに構成される、請求項6に記載のデバイス。
【請求項１０】
前記ビューイングウィンドウ、または前記ビューイングウィンドウに基づくズームされたビューイングウィンドウの一方または両方を出力するように構成されるディスプレイをさらに備え、
前記ディスプレイが前記1つまたは複数のプロセッサに結合され、
前記1つまたは複数のプロセッサが、ユーザにより開始されるズーム機能に応答して、前記ズームされたビューイングウィンドウの1つまたは複数のFOVパラメータを決定するようにさらに構成され、
前記1つまたは複数のプロセッサが、前記参照画面の前記1つまたは複数のFOVパラメータおよび前記ズームされたビューイングウィンドウの前記1つまたは複数のFOVパラメータに基づいて前記レンダラを修正するように構成される、請求項6に記載のデバイス。
【請求項１１】
前記1つまたは複数のプロセッサが、
ユーザにより開始されるズーム動作に応答してスケーリング係数を取得し、
前記スケーリング係数および前記ビューイングウィンドウの前記1つまたは複数のFOVパラメータに基づいて、ズームされたビューイングウィンドウの1つまたは複数のFOVパラメータを決定し、
前記ズームされたビューイングウィンドウの前記1つまたは複数のFOVパラメータおよび前記参照画面の前記1つまたは複数のFOVパラメータに基づいて、スピーカーの角度を修正するための角度マッピング関数を決定し、
前記角度マッピング関数に基づいて、前記1つまたは複数のスピーカーのうちの第1のスピーカーの角度を修正して前記第1のスピーカーの修正された角度を生成する
ように構成される、請求項10に記載のデバイス。
【請求項１２】
前記ビューイングウィンドウまたは前記ズームされたビューイングウィンドウの1つまたは複数を出力するように構成されるディスプレイであって、前記1つまたは複数のプロセッサに接続される、ディスプレイをさらに備え、
前記1つまたは複数のプロセッサが、
スケーリング係数、および前記ディスプレイを介して出力される前記ビューイングウィンドウの1つまたは複数の方位角に基づいて、前記ズームされたビューイングウィンドウの1つまたは複数の方位角を決定し、
前記ディスプレイを介して出力される前記ズームされたビューイングウィンドウの前記1つまたは複数のFOVパラメータを決定する
ように構成され、
前記1つまたは複数のプロセッサが、前記ビューイングウィンドウの1つまたは複数の仰角および前記スケーリング係数に基づいて前記ズームされたビューイングウィンドウの1つまたは複数の仰角を決定するようにさらに構成される、
請求項10に記載のデバイス。
【請求項１３】
前記参照画面の前記1つまたは複数のFOVパラメータが、前記参照画面の1つまたは複数の方位角または前記参照画面の1つまたは複数の仰角のうちの少なくとも1つを備える、請求項10に記載のデバイス。
【請求項１４】
前記ビューイングウィンドウの前記1つまたは複数のFOVパラメータが、前記ビューイングウィンドウの1つまたは複数の方位角または前記ビューイングウィンドウの1つまたは複数の仰角のうちの少なくとも1つを備える、請求項10に記載のデバイス。
【請求項１５】
前記1つまたは複数のプロセッサが、ユーザにより開始されるズーム動作に応答して取得されるスケーリング係数、および前記エフェクト行列に基づいて、前記HOAオーディオ信号をレンダリングするように構成される、請求項10に記載のデバイス。
【請求項１６】
前記参照画面のための前記1つまたは複数のFOVパラメータが、前記参照画面の中心の位置および前記ビューイングウィンドウの中心の位置を備える、請求項10に記載のデバイス。
【請求項１７】
前記1つまたは複数のプロセッサが、
前記参照画面の前記1つまたは複数のFOVパラメータに基づいて前記参照画面の前記中心を決定し、
前記ビューイングウィンドウの前記1つまたは複数のFOVパラメータに基づいて前記ビューイングウィンドウの前記中心を決定する
ようにさらに構成される、請求項16に記載のデバイス。
【請求項１８】
前記参照画面または前記ビューイングウィンドウの一方または両方を出力するように構成されるディスプレイと、
1つまたは複数のラウドスピーカーと
をさらに備え、
前記1つまたは複数のプロセッサは、前記1つまたは複数のラウドスピーカーに結合され、
前記1つまたは複数のプロセッサは、前記ディスプレイに結合され、
前記1つまたは複数のプロセッサが、
前記符号化されたオーディオデータのためのレンダラを決定し、
前記ビューイングウィンドウの前記中心および前記参照画面の前記中心に基づいて前記レンダラを修正し、
前記1つまたは複数のラウドスピーカーを介した再生のために、前記エフェクト行列および前記修正されたレンダラに基づいて前記HOAオーディオ信号をレンダリングする
ように構成される、請求項16に記載のデバイス。
【請求項１９】
前記1つまたは複数のプロセッサが、
前記参照画面の前記中心から前記ディスプレイを介して出力される前記ビューイングウィンドウの前記中心に前記HOAオーディオ信号の音場を回転する
ようにさらに構成される、請求項16に記載のデバイス。
【請求項２０】
前記1つまたは複数のプロセッサが、前記参照画面の前記1つまたは複数の視野角(FOV)パラメータおよび前記ビューイングウィンドウの前記1つまたは複数のFOVパラメータに基づく前記HOAオーディオ信号のレンダリングが有効にされるかどうかを示すシンタックス要素を受信するようにさらに構成される、請求項10に記載のデバイス。
【請求項２１】
前記1つまたは複数のプロセッサに結合される少なくとも1つのスピーカーをさらに備え、前記1つまたは複数のプロセッサが、ラウドスピーカーフィードを生成して前記少なくとも1つのスピーカーを駆動するように構成される、請求項1に記載のデバイス。
【請求項２２】
ビューイングウィンドウを表示するためのディスプレイをさらに備え、前記1つまたは複数のプロセッサが前記ディスプレイに結合され、前記1つまたは複数のプロセッサが、前記ディスプレイを介して出力されるビューイングウィンドウの1つまたは複数の視野角(FOV)パラメータを決定するように構成される、請求項1に記載のデバイス。
【請求項２３】
前記1つまたは複数のプロセッサが、前記HOAオーディオ信号を復号して複数のHOA係数を決定するようにさらに構成され、
前記1つまたは複数のプロセッサが、前記HOAオーディオ信号をレンダリングすることの一部として前記HOA係数をレンダリングするように構成される、
請求項1に記載のデバイス。
【請求項２４】
前記1つまたは複数のプロセッサが、
球面の900個のサンプリング点に対するモード行列を生成し、
前記参照画面の前記1つまたは複数のFOVパラメータおよび前記ビューイングウィンドウの前記1つまたは複数のFOVパラメータに基づいて前記モード行列を修正してエフェクト行列を生成し、
前記エフェクト行列に基づいて前記HOAオーディオ信号のHOA係数をレンダリングする
ようにさらに構成される、請求項6に記載のデバイス。
【請求項２５】
前記メモリと、
前記1つまたは複数のプロセッサと、
オーディオデータおよびビデオデータを受信するように構成される通信インターフェースと、
前記レンダリングされたオーディオ信号を出力するための1つまたは複数のスピーカーと、
前記ビデオデータの少なくとも一部分を出力するように構成されるディスプレイと
を含むテレビジョンをさらに備える、請求項1に記載のデバイス。
【請求項２６】
前記メモリおよび前記1つまたは複数のプロセッサを含む受信機デバイスをさらに備え、前記受信機デバイスが1つまたは複数のスピーカーに通信可能に結合される、請求項1に記載のデバイス。
【請求項２７】
高次アンビソニック(HOA)オーディオ信号をレンダリングするための方法であって、
エフェクト行列を生成することの一部として、マッピング関数に基づいて複数の空間的な方向についてラウドネスを補償することによってラウドネス補償プロセスを実行するステップと、
前記エフェクト行列に基づいて前記HOAオーディオ信号をレンダリングするステップと
を備える、方法。
【請求項２８】
前記ラウドネス補償プロセスを実行するステップが、レンダリング行列にさらに基づいて前記複数の空間的な方向について前記ラウドネスを補償するステップを備える、請求項27に記載の方法。
【請求項２９】
符号化されたオーディオデータのためのレンダラを決定するステップと、
ビューイングウィンドウの1つまたは複数の視野角(FOV)パラメータおよび参照画面の1つまたは複数のFOVパラメータに基づいて前記レンダラを修正するステップと、
前記エフェクト行列と前記修正されたレンダラとの両方を使用して前記HOAオーディオ信号をレンダリングするステップと
を備える、請求項27に記載の方法。
【請求項３０】
前記ラウドネス補償プロセスを実行するステップが、前記HOAオーディオ信号と関連付けられるビデオデータに関する作成画面サイズおよび再生画面サイズを使用して、前記HOAオーディオ信号のオブジェクトと関連付けられる複数の元の音の位置と前記HOAオーディオ信号の前記オブジェクトと関連付けられる複数の対応するマッピング先との間の最小の誤差を決定するステップを備える、請求項27に記載の方法。
【請求項３１】
前記ラウドネス補償プロセスを実行するステップが、前記HOAオーディオ信号と関連付けられるビデオデータに関する作成画面サイズおよび再生画面サイズを使用して、前記HOAオーディオ信号のオブジェクトと関連付けられる複数の元の音の位置と関連付けられるそれぞれのエネルギーと前記HOAオーディオ信号の前記オブジェクトと関連付けられる複数の対応するマッピング先と関連付けられるそれぞれのエネルギーとの間のエネルギーの正規化を決定するステップを備える、請求項27に記載の方法。
【請求項３２】
高次アンビソニック(HOA)オーディオ信号をレンダリングするための装置であって、
エフェクト行列を生成することの一部として、マッピング関数に基づいて複数の空間的な方向についてラウドネスのためのラウドネス補償プロセスを実行するための手段と、
前記エフェクト行列を使用して前記HOAオーディオ信号をレンダリングするための手段と
を備える、装置。
【請求項３３】
高次アンビソニック(HOA)オーディオ信号をレンダリングするためのデバイスであって、
前記HOAオーディオ信号と関連付けられるオーディオデータを記憶するように構成されるメモリと、
前記メモリに結合される1つまたは複数のプロセッサであって、
前記HOAオーディオ信号と関連付けられるビデオデータに関する作成画面サイズおよび再生画面サイズに基づいて、前記HOAオーディオ信号と関連付けられるビデオデータに関するズーミング事象を検出し、
前記ズーミング事象の前記検出に応答して、前記HOA信号の次数に基づいてモード行列を生成し、
前記モード行列に基づいて前記HOAオーディオ信号をレンダリングする
ように構成される、デバイス。
【請求項３４】
前記1つまたは複数のプロセッサが、
前記モード行列および前記HOAオーディオ信号のHOA係数の空間的な方向に基づいて予備エフェクト行列をローカルに生成し、
前記ローカルに生成された予備エフェクト行列に基づいて前記HOA信号をレンダリングする
ようにさらに構成される、請求項33に記載のデバイス。
【請求項３５】
前記1つまたは複数のプロセッサが、
前記予備エフェクト行列を使用してレンダリング行列を生成し、
前記レンダリング行列に基づいて前記HOA信号をレンダリングする
ようにさらに構成される、請求項34に記載のデバイス。
【請求項３６】
前記メモリと、
前記1つまたは複数のプロセッサと、
前記レンダリングされたオーディオ信号を出力するための1つまたは複数のスピーカーと、
ビデオデータを出力するように構成されるディスプレイと
を含むテレビジョンをさらに備える、請求項33に記載のデバイス。
【請求項３７】
前記HOA信号の前記次数に基づいて前記モード行列を生成するために、前記1つまたは複数のプロセッサが式M=(N+2)2を適用するように構成され、Nが前記HOA信号の前記次数を示し、Mが前記モード行列を生成する際に使用されるサンプリング点の数を示す、請求項33に記載のデバイス。
【請求項３８】
前記メモリおよび前記1つまたは複数のプロセッサを含む受信機デバイスをさらに備え、前記受信機デバイスが前記1つまたは複数のスピーカーに通信可能に結合される、請求項33に記載のデバイス。
【請求項３９】
前記1つまたは複数のプロセッサが、
前記メモリに記憶されている前記HOA信号の複数の空間的な方向にレンダリング行列を適用することによって、ラウドネス補正値を計算し、
前記ラウドネス補正値に基づいて最終エフェクト行列を計算し、
前記最終エフェクト行列を使用して前記レンダリング行列を修正し、新しいレンダリング行列を取得するように構成される、請求項1に記載のデバイス。
【請求項４０】
前記ラウドネス補正値に基づいて前記最終エフェクト行列を計算するために、前記1つまたは複数のプロセッサが、
前記ラウドネス補正値を適用して、前記メモリに記憶されている前記HOA信号の前記複数の空間的な方向のうちの1つまたは複数の空間的な方向を含むモード行列を修正する
ように構成される、請求項39に記載のデバイス。
【請求項４１】
前記ラウドネス補正値を適用して前記モード行列を修正するために、前記1つまたは複数のプロセッサが、
前記モード行列と前記モード行列の転置との積を用いて、前記ラウドネス補正値の対角行列の行列乗算を実行する
ように構成される、請求項40に記載のデバイス。
【請求項４２】
前記1つまたは複数のプロセッサが、
前記メモリに記憶されている前記HOA信号の複数の空間的な方向にレンダリング行列を適用することによって、ラウドネス補正値を計算し、
前記ラウドネス補正値に基づいて最終エフェクト行列を計算し、
前記最終エフェクト行列を使用して前記レンダリング行列を修正し、新しいレンダリング行列を取得する
ように構成される、請求項33に記載のデバイス。
【請求項４３】
前記ラウドネス補正値に基づいて前記最終エフェクト行列を計算するために、前記1つまたは複数のプロセッサが、
前記ラウドネス補正値を適用して前記モード行列を修正するように構成され、前記モード行列が、前記メモリに記憶されている前記HOA信号の前記複数の空間的な方向のうちの1つまたは複数の空間的な方向を含む、請求項42に記載のデバイス。
【請求項４４】
前記ラウドネス補正値を適用して前記モード行列を修正するために、前記1つまたは複数のプロセッサが、
前記モード行列と前記モード行列の転置との積を用いて、前記ラウドネス補正値の対角行列の行列乗算を実行する
ように構成される、請求項43に記載のデバイス。