(57)【要約】  本技術は、少ない演算量で高い臨場感を得ることができるようにする情報処理装置および方法、並びにプログラムに関する。情報処理装置は、所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、その減衰量に基づいて所定のオブジェクトの信号のゲインを決定するゲイン決定部を備える。本技術は信号処理装置に適用することができる。
2019198486.tif 000002
【特許請求の範囲】
【請求項１】
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するゲイン決定部を備える
情報処理装置。
【請求項２】
前記他のオブジェクトは、前記所定のオブジェクトよりもユーザ位置側にある
請求項１に記載の情報処理装置。
【請求項３】
前記他のオブジェクトは、ユーザ位置と前記所定のオブジェクトとを結ぶ直線から所定の距離の範囲内に位置している
請求項１に記載の情報処理装置。
【請求項４】
前記範囲は前記他のオブジェクトの大きさにより定まる
請求項３に記載の情報処理装置。
【請求項５】
前記所定の距離は、前記他のオブジェクトの中心から前記他のオブジェクトにおける前記直線側の端までの距離である
請求項３に記載の情報処理装置。
【請求項６】
前記位置関係は、前記他のオブジェクトの大きさに依存する位置関係である
請求項３に記載の情報処理装置。
【請求項７】
前記位置関係は、前記他のオブジェクトの中心の前記直線からのずれ量である
請求項６に記載の情報処理装置。
【請求項８】
前記位置関係は、前記他のオブジェクトの中心から前記直線までの距離と、前記他のオブジェクトの中心から前記他のオブジェクトの前記直線側の端までの距離との比である
請求項６に記載の情報処理装置。
【請求項９】
前記ゲイン決定部は、前記位置関係と、前記他のオブジェクトの減衰情報とに基づいて前記減衰量を決定する
請求項１に記載の情報処理装置。
【請求項１０】
前記減衰情報は、前記他のオブジェクトにおける、前記位置関係に応じた前記信号の減衰量を得るための情報である
請求項９に記載の情報処理装置。
【請求項１１】
前記位置関係は、前記他のオブジェクトと前記所定のオブジェクトとの間の距離である
請求項１に記載の情報処理装置。
【請求項１２】
前記ゲイン決定部は、前記所定のオブジェクトの信号を減衰させるか否かを示す減衰無効情報と、前記位置関係とに基づいて前記減衰量を決定する
請求項１に記載の情報処理装置。
【請求項１３】
前記所定のオブジェクトの信号は、オーディオ信号である
請求項１に記載の情報処理装置。
【請求項１４】
情報処理装置が、
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定する
情報処理方法。
【請求項１５】
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置および方法、並びにプログラムに関し、特に、少ない演算量で高い臨場感を得ることができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、映画やゲーム等でオブジェクトオーディオ技術が使われ、オブジェクトオーディオを扱える符号化方式も開発されている。具体的には、例えば国際標準規格であるMPEG（Moving Picture Experts Group）-H Part 3:3D audio規格などが知られている（例えば、非特許文献１参照）。【０００３】
このような符号化方式では、従来の２チャンネルステレオ方式や５．１チャンネル等のマルチチャンネルステレオ方式とともに、移動する音源等を独立したオーディオオブジェクトとして扱い、オーディオオブジェクトの信号データとともにオブジェクトの位置情報をメタデータとして符号化することが可能である。【０００４】
このようにすることで、スピーカの数や配置の異なる様々な視聴環境で再生を行うことができる。また、従来の符号化方式では困難であった特定の音源の音の音量調整や、特定の音源の音に対するエフェクトの追加など、特定の音源の音を再生時に加工することが容易にできる。【０００５】
例えば非特許文献１の規格では、レンダリング処理に３次元VBAP（Vector Based Amplitude Panning）（以下、単にVBAPと称する）と呼ばれる方式が用いられる。【０００６】
これは一般的にパニングと呼ばれるレンダリング手法の１つで、ユーザ位置を原点とする球表面上に存在するスピーカのうち、同じく球表面上に存在するオーディオオブジェクトに最も近い３個のスピーカに対しゲインを分配することでレンダリングを行う方式である。【０００７】
また、VBAP以外にも、例えばゲインをx軸、y軸、およびz軸のそれぞれに対して分配するSpeaker-anchored coordinates pannerと呼ばれるパニング手法によるレンダリング処理も知られている（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】INTERNATIONAL STANDARD ISO/IEC 23008-3 First edition 2015-10-15 Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio
【非特許文献２】ETSI TS 103 448 v1.1.1(2016-09)
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、上述したレンダリング方式では、複数のオーディオオブジェクトのオブジェクト信号は個々のオーディオオブジェクトごとにレンダリングされ、オーディオオブジェクト間の相対的な位置関係による音響の変化は全く考慮されていない。そのため、音声再生時に高い臨場感を得ることができなかった。【００１０】
例えば受聴者の位置から見て、ある第１のオーディオオブジェクトの背後で別の第２のオーディオオブジェクトから音が放射されたとする。そのような場合に、その第２のオーディオオブジェクトの音について、第１のオーディオオブジェクトで生じる音の反射や回析、吸収によって生じる減衰効果は全く無視されてしまう。【００１１】
なお、上述したレンダリング方式では、ユーザ位置が固定されているため、例えばユーザ位置と複数のオーディオオブジェクトの位置関係によって、事前にオブジェクト信号のレベルを調整することが可能である。【００１２】
このようなレベル調整によって、オーディオオブジェクト間の相対的な位置関係による音響の変化を表現することが可能となる。したがって、例えばオーディオオブジェクトにおける音の反射や回析、吸収により生じる減衰効果を物理法則に基づいて計算し、その計算結果に基づいてオーディオオブジェクトのオブジェクト信号のレベル調整を事前に行えば、高い臨場感を得ることができる。【００１３】
しかし、このような音の反射や回析、吸収により生じる減衰効果を物理法則に基づいて計算すると、多数のオーディオオブジェクトが存在する場合には演算量が多くなってしまうので現実的ではない。【００１４】
しかも、ユーザ位置が固定である固定視点では予めレベル調整を行うことで、音の反射や回析等を考慮したオブジェクト信号を生成しておくことができるが、ユーザ位置を移動可能な自由視点では、そのような事前のレベル調整は全く意味をなさなくなってしまう。【００１５】
本技術は、このような状況に鑑みてなされたものであり、少ない演算量で高い臨場感を得ることができるようにするものである。
【課題を解決するための手段】
【００１６】
本技術の一側面の情報処理装置は、所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するゲイン決定部を備える。【００１７】
本技術の一側面の情報処理方法またはプログラムは、所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するステップを含む。【００１８】
本技術の一側面においては、所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量が決定され、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインが決定される。
【発明の効果】
【００１９】
本技術の一側面によれば、少ない演算量で高い臨場感を得ることができる。【００２０】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００２１】
【図１】VBAPについて説明する図である。
【図２】信号処理装置の構成例を示す図である。
【図３】座標変換について説明する図である。
【図４】座標変換について説明する図である。
【図５】座標系について説明する図である。
【図６】減衰距離と半径比について説明する図である。
【図７】メタデータについて説明する図である。
【図８】減衰テーブルについて説明する図である。
【図９】補正テーブルについて説明する図である。
【図１０】オーディオ出力処理を説明するフローチャートである。
【図１１】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２３】
〈第１の実施の形態〉
〈本技術について〉
本技術は、オーディオオブジェクトのレンダリングを行う場合に、空間内における複数のオーディオオブジェクトの位置関係に基づいてオーディオオブジェクトのゲイン情報を決定することで、少ない演算量でも十分に高い臨場感を得ることができるようにするものである。
【００２４】
なお、本技術は、オーディオオブジェクトのレンダリングに限らず、空間内に存在する複数の各オブジェクトについて、それらのオブジェクトに関するパラメータをオブジェクト間の位置関係に応じて調整する場合に適用可能である。例えば本技術は、オブジェクト間の位置関係に応じて、オブジェクトの画像信号に関する輝度（光量）等のパラメータの調整量を決定する場合などにも適用可能である。
【００２５】
以下では、オーディオオブジェクトのレンダリングを行う場合を具体的な例として説明を続ける。また、以下では、オーディオオブジェクトを単にオブジェクトとも称することとする。
【００２６】
例えばレンダリング時には、上述したVBAPなどの所定の方式のレンダリング処理が行われる。VBAPでは空間におけるユーザ位置を原点とする球表面上に存在するスピーカのうち、同じく球表面上に存在するオブジェクトに最も近い３個のスピーカに対しゲインが分配される。
【００２７】
例えば図１に示すように、３次元空間に受聴者であるユーザU11がおり、そのユーザU11の前方に３つのスピーカSP1乃至スピーカSP3が配置されているとする。
【００２８】
また、ユーザU11の頭部の位置を原点Ｏとし、その原点Ｏを中心とする球の表面上にスピーカSP1乃至スピーカSP3が位置しているとする。
【００２９】
いま、球表面上におけるスピーカSP1乃至スピーカSP3に囲まれる領域TR11内にオブジェクトが存在しており、そのオブジェクトの位置VSP1に音像を定位させることを考えるとする。
【００３０】
そのような場合、VBAPではオブジェクトについて、位置VSP1の周囲にあるスピーカSP1乃至スピーカSP3に対してゲインが分配されることになる。
【００３１】
具体的には、原点Ｏを基準（原点）とする３次元座標系において、原点Ｏを始点とし、位置VSP1を終点とする３次元のベクトルPにより位置VSP1を表すこととする。
【００３２】
また、原点Ｏを始点とし、各スピーカSP1乃至スピーカSP3の位置を終点とする３次元のベクトルをベクトルL1乃至ベクトルL3とすると、ベクトルPは次式（１）に示すように、ベクトルL1乃至ベクトルL3の線形和によって表すことができる。
【００３３】
【数１】
2019198486.tif 000003
【００３４】
ここで、式（１）においてベクトルL1乃至ベクトルL3に乗算されている係数g1乃至係数g3を算出し、これらの係数g1乃至係数g3を、スピーカSP1乃至スピーカSP3のそれぞれから出力する音のゲインとすれば、位置VSP1に音像を定位させることができる。
【００３５】
例えば係数g1乃至係数g3を要素とするベクトルをg123＝［g1,g2,g3］とし、ベクトルL1乃至ベクトルL3を要素とするベクトルをL123＝［L1,L2,L3］とすると、上述した式（１）を変形して次式（２）を得ることができる。
【００３６】
【数２】
2019198486.tif 000004
【００３７】
このような式（２）を計算して求めた係数g1乃至係数g3をゲインとして用いて、オブジェクトの音の信号であるオブジェクト信号を各スピーカSP1乃至スピーカSP3に出力することで、位置VSP1に音像を定位させることができる。
【００３８】
なお、各スピーカSP1乃至スピーカSP3の配置位置は固定されており、それらのスピーカの位置を示す情報は既知の情報であるため、逆行列であるL123-1は事前に求めておくことができる。そのため、VBAPでは比較的容易な計算で、つまり少ない演算量でレンダリングを行うことが可能である。
【００３９】
しかし、上述したようにVBAP等によるレンダリングにおいて空間内に複数のオブジェクトがある場合に、それらのオブジェクト間の相対的な位置関係による音響の変化は全く考慮されていないため、音声再生時に高い臨場感を得ることができなかった。
【００４０】
また、予めオブジェクト信号のレベル調整を行っておくことも考えられるが、レベル調整のための減衰効果を物理法則に基づいて計算することは演算量が多く、現実的ではない。さらに、自由視点ではユーザの位置が変化するので、予めレベル調整を行っておくことは全く意味をなさなくなってしまう。
【００４１】
そこで、本技術ではオブジェクトの減衰に関する情報を利用して、音の再生側においてオブジェクト信号のレベル調整を行うようにすることで、少ない演算量で高い臨場感を得ることができるようにした。
【００４２】
特に、本技術ではオブジェクト間の相対的な位置関係に基づいて、オブジェクト信号のレベル調整のためのゲイン情報を決定することで、少ない演算量でも音の反射や回析、吸収により生じる減衰効果、すなわち音響の変化を生じさせることができる。これにより、高い臨場感を得ることができる。
【００４３】
〈信号処理装置の構成例〉
次に、本技術を適用した信号処理装置の構成例について説明する。
【００４４】
図２は本技術を適用した信号処理装置の一実施の形態の構成例を示す図である。
【００４５】
図２に示す信号処理装置１１はデコード処理部２１、座標変換処理部２２、オブジェクト減衰処理部２３、およびレンダリング処理部２４を有している。
【００４６】
デコード処理部２１は、送信されてきた入力ビットストリームを受信して復号（デコード）し、その結果得られたオブジェクトのメタデータおよびオブジェクト信号を出力する。
【００４７】
ここで、オブジェクト信号は、オブジェクトの音を再生するためのオーディオ信号である。また、メタデータには、オブジェクトごとにオブジェクト位置情報、オブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報が含まれている。
【００４８】
オブジェクト位置情報は、オブジェクトが存在する空間（以下、受聴空間とも称する）におけるオブジェクトの絶対的な位置を示す情報である。
【００４９】
例えばオブジェクト位置情報は、所定の位置を原点とする３次元直交座標系、すなわちｘｙｚ座標系のｘ座標、ｙ座標、およびｚ座標により表される、オブジェクトの位置を示す座標情報とされる。
【００５０】
オブジェクト外径情報は、オブジェクトの外径を示す情報である。例えば、ここではオブジェクトが球形状であるものとし、その球の半径がオブジェクトの外径を示すオブジェクト外径情報とされることとする。
【００５１】
なお、以下では、オブジェクトが球状であるものとして説明を行うが、オブジェクトはどのような形状であってもよい。例えばオブジェクトがｘ軸、ｙ軸、およびｚ軸の各方向に径を有する形状であるとし、それらの各軸方向のオブジェクトの半径を示す情報をオブジェクト外径情報とするようにしてもよい。
【００５２】
また、spreadのための外径情報をオブジェクト外径情報として用いるようにしてもよい。例えばMPEG-H Part 3:3D audio規格では、音源の大きさを広げる技術としてspreadと呼ばれる技術が採用されており、音源の大きさを広げるために各オブジェクトの外径情報が記録できるフォーマットとなっている。そこで、このようなspreadのための外径情報をオブジェクト外径情報として用いるようにしてもよい。
【００５３】
オブジェクト減衰情報は、オブジェクトに起因して他のオブジェクトからの音が減衰されるときの音の減衰量に関する情報である。オブジェクト減衰情報を用いることで、オブジェクト間の位置関係に応じた、所定のオブジェクトにおける他のオブジェクトのオブジェクト信号の減衰量を得ることができる。
【００５４】
オブジェクト減衰無効情報は、オブジェクトの音、すなわちオブジェクト信号に対する減衰処理を行うか否か、つまりオブジェクト信号を減衰させるか否かを示す情報である。
【００５５】
例えばオブジェクト減衰無効情報の値が１である場合、オブジェクト信号に対する減衰処理は無効とされる。すなわち、オブジェクト減衰無効情報の値が１である場合、オブジェクト信号に対する減衰処理は行われない。
【００５６】
例えば音源制作者の意図として、あるオブジェクトは重要なものであり、そのオブジェクトの音については他のオブジェクトとの位置関係による減衰効果を生じさせたくないなどといった意図がある場合には、オブジェクト減衰無効情報の値が１に設定される。なお、以下では、オブジェクト減衰無効情報の値が１とされたオブジェクトを減衰無効オブジェクトとも称することとする。
【００５７】
これに対して、オブジェクト減衰無効情報の値が０である場合、オブジェクトと他のオブジェクトの位置関係に応じて、オブジェクト信号に対する減衰処理が行われる。以下では、オブジェクト減衰無効情報の値が０である、減衰処理の対象となり得るオブジェクトを減衰処理オブジェクトとも称することとする。
【００５８】
オブジェクトゲイン情報は、予め音源制作者側で定められた、オブジェクト信号のレベル調整を行うためのゲインを示す情報である。例えばオブジェクトゲイン情報は、ゲインを示すデシベル値などとされる。
【００５９】
デコード処理部２１における復号により、各オブジェクトのオブジェクト信号とメタデータが得られると、デコード処理部２１は、得られたオブジェクト信号をレンダリング処理部２４に供給する。
【００６０】
また、デコード処理部２１は、復号により得られたメタデータのオブジェクト位置情報を座標変換処理部２２に供給する。さらに、デコード処理部２１は、復号により得られたメタデータのオブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報をオブジェクト減衰処理部２３に供給する。
【００６１】
座標変換処理部２２は、デコード処理部２１から供給されたオブジェクト位置情報と、外部から供給されたユーザ位置情報とに基づいてオブジェクト球面座標位置情報を生成し、オブジェクト減衰処理部２３に供給する。換言すれば、座標変換処理部２２は、オブジェクト位置情報をオブジェクト球面座標位置情報へと変換する。
【００６２】
ここで、ユーザ位置情報は、オブジェクトが存在する受聴空間内における受聴者となるユーザの絶対的な位置、すなわちユーザが所望する受聴点の絶対的な位置を示す情報であり、ｘｙｚ座標系のｘ座標、ｙ座標、およびｚ座標により表される座標情報とされる。
【００６３】
このユーザ位置情報は、入力ビットストリームに含まれる情報ではなく、例えば信号処理装置１１に接続された外部ユーザインターフェースなどから供給される情報である。
【００６４】
また、オブジェクト球面座標位置情報は球面座標系の座標、すなわち球面座標により表される、受聴空間におけるユーザから見たオブジェクトの相対的な位置を示す情報である。
【００６５】
オブジェクト減衰処理部２３は、座標変換処理部２２から供給されたオブジェクト球面座標位置情報と、デコード処理部２１から供給されたオブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報とに基づいて、オブジェクトゲイン情報を適宜、補正して得られる補正オブジェクトゲイン情報を求める。
【００６６】
換言すれば、オブジェクト減衰処理部２３はオブジェクト球面座標位置情報、オブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報に基づいて補正オブジェクトゲイン情報を決定するゲイン決定部として機能する。
【００６７】
ここで、補正オブジェクトゲイン情報により示されるゲイン値は、オブジェクトの位置関係を考慮してオブジェクトゲイン情報により示されるゲイン値を適宜、補正することで得られるものである。
【００６８】
このような補正オブジェクトゲイン情報は、オブジェクトの位置関係に起因してオブジェクトで生じる音の反射や回析、吸収によって生じる減衰、すなわち音響の変化が考慮されたオブジェクト信号のレベル調整を実現するためのものである。
【００６９】
レンダリング処理部２４では、レンダリング時に補正オブジェクトゲイン情報に基づいてオブジェクト信号のレベル調整を行う処理が減衰処理として行われる。このような減衰処理は音の反射や回析、吸収に応じてオブジェクト信号のレベルを減衰させる処理であるということができる。
【００７０】
オブジェクト減衰処理部２３は、オブジェクト球面座標位置情報および補正オブジェクトゲイン情報をレンダリング処理部２４に供給する。
【００７１】
信号処理装置１１では、座標変換処理部２２およびオブジェクト減衰処理部２３が、各オブジェクトについて、他のオブジェクトとの位置関係に応じたオブジェクト信号のレベル調整のための補正オブジェクトゲイン情報を決定する情報処理装置として機能する。
【００７２】
レンダリング処理部２４は、デコード処理部２１から供給されたオブジェクト信号と、オブジェクト減衰処理部２３から供給されたオブジェクト球面座標位置情報および補正オブジェクトゲイン情報とに基づいて出力オーディオ信号を生成し、後段のスピーカやヘッドホン、記録部などに供給する。
【００７３】
具体的にはレンダリング処理部２４は、レンダリング処理としてVBAP等のパニング処理を行って出力オーディオ信号を生成する。
【００７４】
例えばパニング処理としてVBAPが行われる場合には、オブジェクト球面座標位置情報と各スピーカの配置情報に基づいて上述した式（２）と同様の計算が行われ、スピーカごとのゲイン情報が求められる。そして、レンダリング処理部２４は、求めたゲイン情報と補正オブジェクトゲイン情報とに基づいて、各スピーカに対応するチャンネルのオブジェクト信号のレベル調整を行うことで、複数の各チャンネルの信号からなる出力オーディオ信号を生成する。複数のオブジェクトがある場合には、それらの各オブジェクトの同じチャンネルの信号が加算されて、最終的な出力オーディオ信号とされる。
【００７５】
なお、レンダリング処理部２４で行われるレンダリング処理は、例えばMPEG-H Part 3:3D audio規格で採用されているVBAPや、Speaker-anchored coordinates pannerと呼ばれるパニング手法による処理など、どのような処理であってもよい。
【００７６】
また、VBAPによるレンダリング処理では、球面座標系の位置情報であるオブジェクト球面座標位置情報が用いられるが、Speaker-anchored coordinates pannerによるレンダリング処理では、直交座標系の位置情報が用いられて直接レンダリングが行われる。したがって、直交座標系を用いたレンダリングを行う場合には、座標変換処理部２２では、ユーザの位置から見た各オブジェクトの位置を示す直交座標系の位置情報が座標変換により求められるようにすればよい。
【００７７】
〈座標変換および補正オブジェクトゲイン情報の決定について〉
続いて、座標変換処理部２２において行われる座標変換、およびオブジェクト減衰処理部２３において行われる処理について、より詳細に説明する。
【００７８】
座標変換処理部２２では、オブジェクト位置情報およびユーザ位置情報が入力とされて座標変換が行われ、オブジェクト球面座標位置情報が出力される。
【００７９】
ここで、座標変換の入力とされるオブジェクト位置情報およびユーザ位置情報は、例えば図３に示すようなｘ軸、ｙ軸、およびｚ軸を用いた３次元直交座標系、すなわちｘｙｚ座標系の座標で表される。
【００８０】
図３では、ｘｙｚ座標系の原点Ｏから見たユーザLP11の位置を示す座標がユーザ位置情報とされる。また、ｘｙｚ座標系の原点Ｏから見たオブジェクトOBJ1の位置を示す座標が、そのオブジェクトOBJ1のオブジェクト位置情報とされ、ｘｙｚ座標系の原点Ｏから見たオブジェクトOBJ2の位置を示す座標が、そのオブジェクトOBJ2のオブジェクト位置情報とされる。
【００８１】
座標変換時には、座標変換処理部２２は、例えば図４に示すようにユーザLP11の位置が原点Ｏの位置となるように、全オブジェクトの受聴空間内の並行移動を行った後、それらの全オブジェクトのｘｙｚ座標系の座標を球面座標系の座標へと変換する。なお、図４において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００８２】
具体的には、座標変換処理部２２は、ユーザ位置情報に基づいて、ユーザLP11の位置をｘｙｚ座標系の原点Ｏへと移動させる移動ベクトルMV11を求める。この移動ベクトルMV11は、ユーザ位置情報により示されるユーザLP11の位置を始点とし、原点Ｏの位置を終点とするベクトルである。
【００８３】
また、座標変換処理部２２は、移動ベクトルMV11と同じ大きさ（長さ）および方向で、かつオブジェクトOBJ1の位置を始点とするベクトルを移動ベクトルMV12とする。そして、座標変換処理部２２は、オブジェクトOBJ1のオブジェクト位置情報に基づいて、そのオブジェクトOBJ1の位置を移動ベクトルMV12に示される分だけ移動させる。
【００８４】
同様にして、座標変換処理部２２は、移動ベクトルMV11と同じ大きさおよび方向で、かつオブジェクトOBJ2の位置を始点とするベクトルを移動ベクトルMV13とし、オブジェクトOBJ2のオブジェクト位置情報に基づいて、オブジェクトOBJ2の位置を移動ベクトルMV13に示される分だけ移動させる。
【００８５】
さらに、座標変換処理部２２は、原点Ｏから見た移動後のオブジェクトOBJ1の位置を示す球面座標系の座標を求め、得られた座標をオブジェクトOBJ1のオブジェクト球面座標位置情報とする。同様に、座標変換処理部２２は、原点Ｏから見た移動後のオブジェクトOBJ2の位置を示す球面座標系の座標を求め、得られた座標をオブジェクトOBJ2のオブジェクト球面座標位置情報とする。
【００８６】
ここで、球面座標系とｘｙｚ座標系との関係は、図５に示す関係となっている。なお、図５において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００８７】
図５では原点Ｏを通り、互いに垂直なｘ軸、ｙ軸、およびｚ軸がｘｙｚ座標系の軸となっている。例えばｘｙｚ座標系では、移動ベクトルMV12による移動後のオブジェクトOBJ1の位置はｘ座標であるX1、ｙ座標であるY1、およびｚ座標であるZ1が用いられて（X1,Y1,Z1）と表される。
【００８８】
これに対して球面座標系では、方位角position_azimuth、仰角position_elevation、および半径position_radiusが用いられてオブジェクトOBJ1の位置が表される。
【００８９】
いま、原点Ｏと、オブジェクトOBJ1の位置とを結ぶ直線を直線ｒとし、この直線ｒをｘｙ平面上に投影して得られた直線を直線Ｌとする。
【００９０】
このとき、ｘ軸と直線Ｌとのなす角θがオブジェクトOBJ1の位置を示す方位角position_azimuthとされる。また、直線ｒとｘｙ平面とのなす角φがオブジェクトOBJ1の位置を示す仰角position_elevationとされ、直線ｒの長さがオブジェクトOBJ1の位置を示す半径position_radiusとされる。
【００９１】
したがって、ユーザの位置、すなわち原点Ｏを基準としたオブジェクトの方位角、仰角、および半径からなる球面座標の情報が、そのオブジェクトのオブジェクト球面座標位置情報となる。なお、より詳細には、例えばｘ軸の正の方向がユーザの正面の方向などとされてオブジェクト球面座標位置情報が求められる。
【００９２】
次に、オブジェクト減衰処理部２３において行われる処理について説明する。
【００９３】
なお、ここでは説明を簡単にするため、受聴空間にはオブジェクトOBJ1およびオブジェクトOBJ2の２つのオブジェクトのみが存在するものとして説明を行う。
【００９４】
具体的には、例えば図６に示すように受聴空間内にオブジェクトOBJ1およびオブジェクトOBJ2が存在しており、オブジェクトOBJ1の補正オブジェクトゲイン情報を決定するものとする。なお、図６において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００９５】
図６の例では、オブジェクトOBJ1は減衰無効オブジェクトではないオブジェクト、すなわちオブジェクト減衰無効情報の値が０である減衰処理オブジェクトであるものとする。
【００９６】
オブジェクトOBJ1の補正オブジェクトゲイン情報を決定するにあたっては、まずオブジェクトOBJ1の位置を示すベクトルOP1が求められる。
【００９７】
このベクトルOP1は、原点Ｏを始点とし、オブジェクトOBJ1のオブジェクト球面座標位置情報により示される位置O11を終点とするベクトルである。原点Ｏに位置するユーザは、位置O11にあるオブジェクトOBJ1から原点Ｏに向けて放射された音を聴取することになる。なお、より詳細には位置O11は、オブジェクトOBJ1の中心位置を示している。
【００９８】
次に、オブジェクトOBJ1よりも原点Ｏからの距離が近いオブジェクト、つまりオブジェクトOBJ1よりもユーザ位置である原点Ｏ側にあるオブジェクトが被減衰オブジェクトとして選択される。被減衰オブジェクトは、減衰処理オブジェクトと原点Ｏとの間に位置するために減衰処理オブジェクトからの音の減衰要因となり得るオブジェクトである。
【００９９】
図６の例では、オブジェクトOBJ2は、オブジェクト球面座標位置情報により示される位置O12に位置しており、その位置O12はオブジェクトOBJ1の位置O11よりも原点Ｏ側に位置している。すなわち、原点Ｏを始点とし、位置O12を終点とするベクトルOP2の大きさは、ベクトルOP1の大きさよりも小さい。
【０１００】
そのため、図６の例では、オブジェクトOBJ1よりも原点Ｏ側に位置しているオブジェクトOBJ2がオブジェクトOBJ1に対する被減衰オブジェクトとして選択される。なお、より詳細には、位置O12はオブジェクトOBJ2の中心位置を示している。
【０１０１】
オブジェクトOBJ2の形状は位置O12を中心とする、オブジェクト外径情報により示される半径OR2の球の形状となっており、オブジェクトOBJ2は点音源ではない、所定の大きさを有するオブジェクトである。
【０１０２】
続いて、被減衰オブジェクトであるオブジェクトOBJ2について、オブジェクトOBJ2から、すなわち位置O12からベクトルOP1への法線ベクトルN2_1が求められる。
【０１０３】
位置O12を通り、ベクトルOP1と直交する直線と、ベクトルOP1との交点の位置を位置P2_1とすると、位置O12を始点とし、位置P2_1を終点とするベクトルが法線ベクトルN2_1となる。換言すれば、ベクトルOP1と法線ベクトルN2_1との交点が位置P2_1である。
【０１０４】
さらに、法線ベクトルN2_1と、オブジェクトOBJ2のオブジェクト外径情報により示される半径OR2とが比較されて、法線ベクトルN2_1の大きさが、被減衰オブジェクトであるオブジェクトOBJ2の外径の1/2である半径OR2以下であるかが判定される。
【０１０５】
この判定処理は、オブジェクトOBJ1から放射され、原点Ｏへと進む音の進路上に被減衰オブジェクトであるオブジェクトOBJ2があるか否かを判定する処理である。
【０１０６】
換言すれば、この判定処理は、オブジェクトOBJ2の中心位置である位置O12が、ユーザ位置である原点ＯとオブジェクトOBJ1の中心位置である位置O11とを結ぶ直線から、所定距離の範囲内に位置しているか否かを判定する処理であるともいえる。
【０１０７】
なお、ここでいう所定距離の範囲はオブジェクトOBJ2の大きさにより定まる範囲であり、具体的には所定距離とは、オブジェクトOBJ2における、位置O12から、原点Ｏと位置O11とを結ぶ直線側の端の位置までの距離、つまり半径OR2である。
【０１０８】
例えば図６の例では、法線ベクトルN2_1の大きさは、半径OR2以下となっている。すなわち、ベクトルOP1は、オブジェクトOBJ2と交差する。したがって、オブジェクトOBJ1から原点Ｏに向けて放射された音は、オブジェクトOBJ2において反射したり回析したり、吸収されたりして減衰し、原点Ｏへと向かうことになる。
【０１０９】
そこで、オブジェクト減衰処理部２３では、オブジェクトOBJ1とオブジェクトOBJ2の相対的な位置関係に応じて、オブジェクトOBJ1のオブジェクト信号のレベルを減衰させるための補正オブジェクトゲイン情報が決定される。換言すれば、オブジェクトゲイン情報が補正され、補正オブジェクトゲイン情報とされる。
【０１１０】
具体的には、オブジェクトOBJ1とオブジェクトOBJ2の相対的な位置関係を示す情報である減衰距離および半径比に基づいて、補正オブジェクトゲイン情報が決定される。
【０１１１】
なお、減衰距離とはオブジェクトOBJ1とオブジェクトOBJ2との間の距離である。
【０１１２】
この場合、原点Ｏを始点とし、位置P2_1を終点とするベクトルをベクトルOP2_1とすると、ベクトルOP1の大きさとベクトルOP2_1の大きさとの差、つまり位置P2_1から位置O11までの距離が、オブジェクトOBJ1のオブジェクトOBJ2についての減衰距離となる。換言すれば、｜OP1｜-｜OP2_1｜が減衰距離となる。
【０１１３】
また、この場合における半径比は、オブジェクトOBJ2の中心位置である位置O12から、原点Ｏと位置O11とを結ぶ直線までの距離と、位置O12からその直線側にあるオブジェクトOBJ2の端までの距離との比となる。
【０１１４】
ここでは、オブジェクトOBJ2の形状は球形状であるから、オブジェクトOBJ2の半径比は、法線ベクトルN2_1の大きさと半径OR2の比、つまり｜N2_1｜/OR2となる。
【０１１５】
半径比は、オブジェクトOBJ2の中心位置である位置O12のベクトルOP1からのずれ量、つまり原点Ｏと位置O11とを結ぶ直線からの位置O12のずれ量を示す情報である。このような半径比はオブジェクトOBJ2の大きさに依存するオブジェクトOBJ1との位置関係を示す情報であるといえる。
【０１１６】
なお、ここではオブジェクトの大きさに依存する位置関係を示す情報として半径比が用いられる例について説明するが、その他、原点Ｏと位置O11とを結ぶ直線から、その直線側にあるオブジェクトOBJ2の端の位置までの距離を示す情報等が用いられてもよい。
【０１１７】
オブジェクト減衰処理部２３では、例えばメタデータのオブジェクト減衰情報としての減衰テーブルインデックスおよび補正テーブルインデックスと、減衰距離および半径比とに基づいて、オブジェクトOBJ1のオブジェクトゲイン情報の補正値が求められる。そして、オブジェクト減衰処理部２３は、その補正値によりオブジェクトOBJ1のオブジェクトゲイン情報を補正することにより、補正オブジェクトゲイン情報を得る。
【０１１８】
ここで、減衰テーブルインデックスにより示される減衰テーブルと、補正テーブルインデックスにより示される補正テーブルについて説明する。
【０１１９】
例えば入力ビットストリームに含まれる所定の時間フレームのメタデータは、図７に示すようになっている。
【０１２０】
図７の例では、文字「オブジェクト１位置情報」はオブジェクトOBJ1のオブジェクト位置情報を示しており、文字「オブジェクト１ゲイン情報」はオブジェクトOBJ1のオブジェクトゲイン情報を示しており、文字「オブジェクト１減衰無効情報」はオブジェクトOBJ1のオブジェクト減衰無効情報を示している。
【０１２１】
また、文字「オブジェクト２位置情報」はオブジェクトOBJ2のオブジェクト位置情報を示しており、文字「オブジェクト２ゲイン情報」はオブジェクトOBJ2のオブジェクトゲイン情報を示しており、文字「オブジェクト２減衰無効情報」はオブジェクトOBJ2のオブジェクト減衰無効情報を示している。
【０１２２】
さらに、文字「オブジェクト２外径情報」はオブジェクトOBJ2のオブジェクト外径情報を示しており、文字「オブジェクト２減衰テーブルインデックス」は、オブジェクトOBJ2の減衰テーブルインデックスを示しており、文字「オブジェクト２補正テーブルインデックス」は、オブジェクトOBJ2の補正テーブルインデックスを示している。
【０１２３】
ここでは、減衰テーブルインデックスおよび補正テーブルインデックスが、オブジェクト減衰情報となっている。
【０１２４】
減衰テーブルインデックスは、上述した減衰距離に応じたオブジェクト信号の減衰量を示す減衰テーブルを識別するためのインデックスである。
【０１２５】
減衰処理オブジェクトと被減衰オブジェクトとの間の距離によって、被減衰オブジェクトによる音の減衰量は変化する。減衰距離に応じた適切な減衰量を少ない演算量で簡単に得るために、減衰距離と減衰量とが対応付けられた減衰テーブルが用いられる。
【０１２６】
例えばオブジェクトの材質などにより、音の吸収率や、回折、反射の効果は異なるため、オブジェクトの材質や形状、オブジェクト信号の周波数帯域などに応じて複数の減衰テーブルが予め用意されている。減衰テーブルインデックスは、それらの複数の減衰テーブルのうちの何れかを示すインデックスとなっており、オブジェクトの材質等に応じて音源制作者側で、オブジェクトごとに適切な減衰テーブルインデックスが指定される。
【０１２７】
また、補正テーブルインデックスは、上述した半径比に応じたオブジェクト信号の減衰量の補正率を示す補正テーブルを識別するためのインデックスである。
【０１２８】
半径比は、減衰処理オブジェクトから放射された音の進路を示す直線が、被減衰オブジェクトの中心からどれだけずれているかを示している。
【０１２９】
減衰距離が同じであっても、減衰処理オブジェクトから放射された音の進路からの被減衰オブジェクトのずれ量、すなわち半径比によって実際の減衰量は変化する。
【０１３０】
例えば、一般的に原点Ｏと減衰処理オブジェクトとを結ぶ直線が被減衰オブジェクトの中心から遠い外側部分を通る場合、その直線が被減衰オブジェクトの中心を通る場合と比べて回折効果により減衰量が少なくなる。そこで、半径比に応じてオブジェクト信号の減衰量を補正するために、半径比と補正率とが対応付けられた補正テーブルが用いられる。
【０１３１】
減衰テーブルにおける場合と同様に、オブジェクトの材質などにより半径比に応じた適切な補正率は変化するため、オブジェクトの材質や形状、オブジェクト信号の周波数帯域などに応じて複数の補正テーブルが予め用意されている。補正テーブルインデックスは、それらの複数の補正テーブルのうちの何れかを示すインデックスとなっており、オブジェクトの材質等に応じて音源制作者側で、オブジェクトごとに適切な補正テーブルインデックスが指定される。
【０１３２】
図７に示す例では、オブジェクトOBJ1はオブジェクト外径情報をもたない点音源として処理されるオブジェクトとなっているため、オブジェクトOBJ1のメタデータとしてオブジェクト位置情報、オブジェクトゲイン情報、およびオブジェクト減衰無効情報のみが与えられている。
【０１３３】
これに対して、オブジェクトOBJ2はオブジェクト外径情報を有し、他のオブジェクトからの放射音を減衰させるオブジェクトとなっている。そのため、オブジェクトOBJ2のメタデータとしてオブジェクト位置情報、オブジェクトゲイン情報、およびオブジェクト減衰無効情報に加えてオブジェクト外径情報とオブジェクト減衰情報も与えられている。
【０１３４】
特に、ここではオブジェクト減衰情報として、減衰テーブルインデックスと補正テーブルインデックスが与えられており、これらの減衰テーブルインデックスと補正テーブルインデックスがオブジェクトゲイン情報の補正値の算出に用いられる。
【０１３５】
例えばある１つの減衰テーブルインデックスにより示される減衰テーブルは、図８に示す減衰距離と減衰量の関係を示す情報となっている。
【０１３６】
図８において、縦軸は減衰量のデシベル値を示しており、横軸はオブジェクト間の距離、すなわち減衰距離を示している。例えば図６に示した例では、位置P2_1から位置O11までの距離が減衰距離となる。
【０１３７】
図８の例では、減衰距離が小さくなるほど減衰量が大きくなっており、減衰距離が小さいほど、減衰距離の変化量に対する減衰量の変化も大きくなっている。このことから減衰処理オブジェクトに対して被減衰オブジェクトが近くにあるほど、減衰処理オブジェクトの音の減衰量が大きくなることが分かる。
【０１３８】
また、例えばある１つの補正テーブルインデックスにより示される補正テーブルは、図９に示す半径比と補正率の関係を示す情報となっている。
【０１３９】
図９において、縦軸は減衰量の補正率を示しており、横軸は半径比を示している。例えば図６に示した例では、法線ベクトルN2_1の大きさと半径OR2の比が半径比となる。
【０１４０】
例えば半径比が０である場合、減衰処理オブジェクトから原点Ｏ、すなわちユーザへと向かって進む音は、被減衰オブジェクトの中心を通ることになり、半径比が１である場合、減衰処理オブジェクトから原点Ｏへと向かって進む音は、被減衰オブジェクトの境界部分を通ることになる。
【０１４１】
この例では半径比が大きくなるほど補正率が小さくなっており、半径比が大きいほど半径比の変化量に対する補正率の変化も大きくなっている。例えば補正率が1.0である場合、減衰テーブルで得られた減衰量がそのまま用いられ、補正率が０の場合には減衰テーブルで得られた減衰量が０とされて減衰効果が０となる。なお、半径比が１よりも大きい場合には、減衰処理オブジェクトから原点Ｏへと向かって進む音は被減衰オブジェクトのある領域を通らないので減衰処理は行われない。
【０１４２】
減衰距離と半径比に基づいて、それらの減衰距離および半径比に応じた減衰量と補正率が得られると、それらの減衰量と補正率に基づいて補正値が求められ、オブジェクトゲイン情報が補正される。
【０１４３】
具体的には、減衰量に補正率を乗算して得られる値、すなわち（補正率×減衰量）が補正値とされる。この補正値は、減衰量を補正率により補正して得られる最終的な減衰量である。補正値が得られると、その補正値がオブジェクトゲイン情報に加算されることでオブジェクトゲイン情報が補正される。そして、このようにして得られた補正後のオブジェクトゲイン情報、つまり補正値とオブジェクトゲイン情報の和が補正オブジェクトゲイン情報とされる。
【０１４４】
補正率と減衰量の積である補正値は、オブジェクト間の位置関係に基づいて決定された、あるオブジェクトの音の他のオブジェクトにおいて生じる減衰に対応するレベル調整を実現するためのオブジェクト信号の減衰量を示しているということができる。
【０１４５】
なお、ここでは事前に用意された減衰テーブルインデックスおよび補正テーブルインデックスがオブジェクト減衰情報としてメタデータに含められる例について説明した。しかし、図８や図９に示した減衰テーブルや補正テーブルに対応する折れ線の変化点をオブジェクト減衰情報とするなど、減衰量と補正率を得ることができれば、オブジェクト減衰情報はどのようなものであってもよい。
【０１４６】
その他、例えば減衰距離を入力として減衰量を出力する連続関数である減衰関数と、半径比を入力として補正率を出力する連続関数である補正率関数とを複数用意し、それらの複数の減衰関数の何れかを示すインデックスと、複数の補正率関数の何れかを示すインデックスとをオブジェクト減衰情報としてもよい。さらに、減衰量と半径比を入力として補正値を出力する連続関数を予め複数用意し、それらの関数のうちの何れかを示すインデックスをオブジェクト減衰情報としてもよい。
【０１４７】
〈オーディオ出力処理の説明〉
次に、信号処理装置１１の具体的な動作について説明する。すなわち、以下、図１０のフローチャートを参照して、信号処理装置１１によるオーディオ出力処理について説明する。
【０１４８】
ステップＳ１１において、デコード処理部２１は、受信した入力ビットストリームを復号（デコード）し、メタデータおよびオブジェクト信号を得る。
【０１４９】
デコード処理部２１は、得られたメタデータのオブジェクト位置情報を座標変換処理部２２に供給するとともに、得られたメタデータのオブジェクト外径情報、オブジェクト減衰情報、オブジェクト減衰無効情報、およびオブジェクトゲイン情報をオブジェクト減衰処理部２３に供給する。また、デコード処理部２１は、得られたオブジェクト信号をレンダリング処理部２４に供給する。
【０１５０】
ステップＳ１２において、座標変換処理部２２は、各オブジェクトについて、デコード処理部２１から供給されたオブジェクト位置情報と、外部から供給されたユーザ位置情報とに基づいて座標変換を行ってオブジェクト球面座標位置情報を生成し、オブジェクト減衰処理部２３に供給する。
【０１５１】
ステップＳ１３において、オブジェクト減衰処理部２３は、デコード処理部２１から供給されたオブジェクト減衰無効情報、および座標変換処理部２２から供給されたオブジェクト球面座標位置情報に基づいて、処理対象とする減衰処理オブジェクトを１つ選択するとともに、その減衰処理オブジェクトの位置ベクトルを求める。
【０１５２】
例えばオブジェクト減衰処理部２３は、オブジェクト減衰無効情報の値が０であるオブジェクトを１つ選択し、そのオブジェクトを減衰処理オブジェクトとする。そしてオブジェクト減衰処理部２３は、その減衰処理オブジェクトのオブジェクト球面座標位置情報に基づいて、原点Ｏ、つまりユーザの位置を始点とし、減衰処理オブジェクトの位置を終点とするベクトルを位置ベクトルとして算出する。
【０１５３】
したがって、例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択された場合には、ベクトルOP1が位置ベクトルとして求められる。
【０１５４】
ステップＳ１４においてオブジェクト減衰処理部２３は、処理対象の減衰処理オブジェクトと他のオブジェクトのオブジェクト球面座標位置情報に基づいて、処理対象の減衰処理オブジェクトよりも原点Ｏからの距離が小さい（短い）１つのオブジェクトを、その減衰処理オブジェクトに対する被減衰オブジェクトとして選択する。
【０１５５】
例えば図６の例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択された場合には、そのオブジェクトOBJ1よりも原点Ｏに近い位置にあるオブジェクトOBJ2が被減衰オブジェクトとして選択される。
【０１５６】
ステップＳ１５においてオブジェクト減衰処理部２３は、ステップＳ１３で得られた減衰処理オブジェクトの位置ベクトル、および被減衰オブジェクトのオブジェクト球面座標位置情報に基づいて、減衰処理オブジェクトの位置ベクトルに対する被減衰オブジェクトの中心からの法線ベクトルを求める。
【０１５７】
例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択され、オブジェクトOBJ2が被減衰オブジェクトとして選択された場合には、法線ベクトルN2_1が求められることになる。
【０１５８】
ステップＳ１６においてオブジェクト減衰処理部２３は、ステップＳ１５で求めた法線ベクトルと、被減衰オブジェクトのオブジェクト外径情報とに基づいて、法線ベクトルの大きさが被減衰オブジェクトの半径以下であるか否かを判定する。
【０１５９】
例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択され、オブジェクトOBJ2が被減衰オブジェクトとして選択された場合には、法線ベクトルN2_1の大きさが、オブジェクトOBJ2の外径の半分である半径OR2以下であるか否かが判定される。
【０１６０】
ステップＳ１６において法線ベクトルの大きさが被減衰オブジェクトの半径以下でないと判定された場合、被減衰オブジェクトは、減衰処理オブジェクトから原点Ｏ（ユーザ）へと向かって進む音の進路上にないのでステップＳ１７およびステップＳ１８の処理は行われず、処理はステップＳ１９へと進む。
【０１６１】
これに対してステップＳ１６において法線ベクトルの大きさが被減衰オブジェクトの半径以下であると判定された場合、被減衰オブジェクトは減衰処理オブジェクトから原点Ｏ（ユーザ）へと向かって進む音の進路上にあるので、処理はステップＳ１７へと進む。この場合、ユーザから見て略同一方向に減衰処理オブジェクトと被減衰オブジェクトが位置していることになる。
【０１６２】
ステップＳ１７においてオブジェクト減衰処理部２３は、ステップＳ１３で得られた減衰処理オブジェクトの位置ベクトル、およびステップＳ１５で得られた被減衰オブジェクトの法線ベクトルに基づいて減衰距離を求める。また、オブジェクト減衰処理部２３は、被減衰オブジェクトのオブジェクト外径情報と法線ベクトルに基づいて半径比も求める。
【０１６３】
例えば図６に示した例においてオブジェクトOBJ1が減衰処理オブジェクトとして選択され、オブジェクトOBJ2が被減衰オブジェクトとして選択された場合、位置P2_1から位置O11までの距離、すなわち｜OP1｜-｜OP2_1｜が減衰距離として求められる。さらにこの場合、法線ベクトルN2_1の大きさと半径OR2の比｜N2_1｜/OR2が半径比として求められる。
【０１６４】
ステップＳ１８においてオブジェクト減衰処理部２３は、減衰処理オブジェクトのオブジェクトゲイン情報と、被減衰オブジェクトのオブジェクト減衰情報と、ステップＳ１７で得られた減衰距離および半径比とに基づいて、減衰処理オブジェクトの補正オブジェクトゲイン情報を求める。
【０１６５】
例えばオブジェクト減衰情報として、上述した減衰テーブルインデックスおよび補正テーブルインデックスがメタデータに含まれている場合、オブジェクト減衰処理部２３は予め複数の減衰テーブルと補正テーブルを保持している。
【０１６６】
この場合、オブジェクト減衰処理部２３は、被減衰オブジェクトのオブジェクト減衰情報としての減衰テーブルインデックスにより示される減衰テーブルから、減衰距離に対して定まる減衰量を読み出す。
【０１６７】
また、オブジェクト減衰処理部２３は、被減衰オブジェクトのオブジェクト減衰情報としての補正テーブルインデックスにより示される補正テーブルから、半径比に対して定まる補正率を読み出す。
【０１６８】
そして、オブジェクト減衰処理部２３は、読み出した減衰量に補正率を乗算して補正値を求め、その補正値を減衰処理オブジェクトのオブジェクトゲイン情報に加算することで補正オブジェクトゲイン情報を求める。
【０１６９】
このようにして補正オブジェクトゲイン情報を求める処理は減衰距離や半径比、つまりオブジェクト間の位置関係に基づいてオブジェクト信号の減衰量を示す補正値を決定し、さらにその補正値に基づいてオブジェクト信号のレベル調整のためのゲインである補正オブジェクトゲイン情報を決定する処理であるということができる。
【０１７０】
補正オブジェクトゲイン情報が得られると、その後、処理はステップＳ１９へと進む。
【０１７１】
ステップＳ１８の処理が行われたか、またはステップＳ１６において法線ベクトルの大きさが半径以下でないと判定されるとステップＳ１９において、オブジェクト減衰処理部２３は、処理対象の減衰処理オブジェクトについて、未処理の被減衰オブジェクトがあるか否かを判定する。
【０１７２】
ステップＳ１９において、まだ未処理の被減衰オブジェクトがあると判定された場合、処理はステップＳ１４に戻り、上述した処理が繰り返し行われる。
【０１７３】
この場合、ステップＳ１８の処理では、既に求められている補正オブジェクトゲイン情報に対して、新たな被減衰オブジェクトについて求められた補正値が加算されて補正オブジェクトゲイン情報が更新されることになる。したがって、減衰処理オブジェクトに対して、法線ベクトルの大きさが半径以下となる複数の被減衰オブジェクトがある場合、オブジェクトゲイン情報に、複数の被減衰オブジェクトについて求められた各補正値を加算して得られたものが最終的な補正オブジェクトゲイン情報として得られることになる。
【０１７４】
また、ステップＳ１９において未処理の被減衰オブジェクトがない、つまり全ての被減衰オブジェクトについて処理が行われたと判定された場合、処理はステップＳ２０へと進む。
【０１７５】
ステップＳ２０において、オブジェクト減衰処理部２３は、全ての減衰処理オブジェクトを処理したか否かを判定する。
【０１７６】
ステップＳ２０において、まだ全ての減衰処理オブジェクトを処理していないと判定された場合、処理はステップＳ１３に戻り、上述した処理が繰り返し行われる。
【０１７７】
これに対して、ステップＳ２０において全ての減衰処理オブジェクトを処理したと判定された場合、処理はステップＳ２１へと進む。
【０１７８】
この場合、オブジェクト減衰処理部２３は、ステップＳ１７およびステップＳ１８の処理が行われなかったオブジェクト、つまり減衰処理が行われないオブジェクトについては、そのオブジェクトのオブジェクトゲイン情報を、そのまま補正オブジェクトゲイン情報とする。
【０１７９】
また、オブジェクト減衰処理部２３は、座標変換処理部２２から供給された全オブジェクトのオブジェクト球座面標位置情報と、補正オブジェクトゲイン情報とをレンダリング処理部２４に供給する。
【０１８０】
ステップＳ２１において、レンダリング処理部２４は、デコード処理部２１から供給されたオブジェクト信号と、オブジェクト減衰処理部２３から供給されたオブジェクト球面座標位置情報および補正オブジェクトゲイン情報とに基づいてレンダリング処理を行い、出力オーディオ信号を生成する。
【０１８１】
このようにして出力オーディオ信号が得られると、レンダリング処理部２４は、得られた出力オーディオ信号を後段に出力し、オーディオ出力処理は終了する。
【０１８２】
以上のようにして信号処理装置１１は、オブジェクト間の位置関係に応じてオブジェクトゲイン情報を補正し、補正オブジェクトゲイン情報とする。このようにすることで、少ない演算量で高い臨場感を得ることができる。
【０１８３】
すなわち、受聴空間においてユーザから見て略同一方向に複数のオブジェクトが存在する場合に、オブジェクトの音の吸収や回析、反射等による減衰効果を物理法則に基づいて計算するのではなく、テーブルを利用して減衰距離と半径比に応じた補正値を求めるという簡単な計算により、物理法則に基づく計算を行う場合と略同等の効果を得ることができる。したがって、受聴空間内をユーザが自由に移動する場合であっても、ユーザに対して少ない演算量で高い臨場感の３次元音響効果を与えることができる。
【０１８４】
なお、ここでは受聴空間内で任意の位置へとユーザが移動可能な自由視点における場合について説明したが、受聴空間内におけるユーザの位置が固定されている固定視点における場合も、自由視点における場合と同様にして、少ない演算量で高い臨場感を得ることができる。
【０１８５】
そのような場合、ユーザ位置情報により示されるユーザ位置は常に原点Ｏの位置となるので、座標変換処理部２２による座標変換処理は不要であり、オブジェクト位置情報は球面座標で表される位置情報とされる。特に、この場合、オブジェクト位置情報は、原点Ｏから見たオブジェクトの位置を示す情報とされる。また、オブジェクト減衰処理部２３による処理は、コンテンツの配信を受けるクライアント側で行われてもよいし、コンテンツを配信するサーバ側において行われるようにしてもよい。
【０１８６】
〈変形例〉
その他、以上においてはオブジェクト減衰無効情報が０または１である場合について説明したが、オブジェクト減衰無効情報が３以上の複数の値のうちの何れかとされるようにしてもよい。そのような場合、例えばオブジェクト減衰無効情報の値は、減衰無効オブジェクトであるか否かだけでなく、減衰量の補正量も示すようにされる。したがって、例えば補正率と減衰量から求まる補正値が、さらにオブジェクト減衰無効情報の値に応じて補正され、最終的な補正値とされる。
【０１８７】
さらに、以上においてはオブジェクトごとに減衰処理を無効とするか否かを示すオブジェクト減衰無効情報が定められる例について説明したが、受聴空間内の領域に対して減衰処理を無効とするか否かが定められるようにしてもよい。
【０１８８】
例えば、音源制作者の意図として受聴空間内のある特定の空間領域においては、オブジェクトの減衰効果を生じさせたくないといった意図があるときには、オブジェクト減衰無効情報に代えて、減衰効果を生じさせない空間領域を示すオブジェクト減衰無効領域情報が入力ビットストリームに格納されるようにすればよい。
【０１８９】
そのような場合、オブジェクト減衰処理部２３では、オブジェクト位置情報により示される位置が、オブジェクト減衰無効領域情報により示される空間領域内の位置となるオブジェクトは減衰無効オブジェクトとされる。これにより、音源制作者の意図を反映させたオーディオ再生を実現することができる。
【０１９０】
また、例えばユーザから見て略正面の方向に位置するオブジェクトは減衰無効オブジェクトとし、ユーザの後方に位置するオブジェクトは減衰処理オブジェクトとするなど、ユーザとオブジェクトの位置関係も考慮されるようにしてもよい。すなわち、ユーザとオブジェクトの位置関係に基づいて、オブジェクトが減衰無効オブジェクトとされるか否かが決定されるようにしてもよい。
【０１９１】
その他、以上においてはオブジェクト間の相対的な位置関係に応じてオブジェクト信号が減衰される例について説明したが、オブジェクト間の相対的な位置関係に応じてオブジェクト信号に対する残響効果の付与などを行うようにしてもよい。
【０１９２】
古くから、森の木々などにより残響効果が生じることはよく知られており、Kuttruffは、木々を球とみなし拡散方程式を解くことによって森林の残響をモデル化している。
【０１９３】
そこで、例えばユーザ位置と音源となるオブジェクトの位置を含む一定の空間内に、所定個数以上のオブジェクトが存在する場合には、その空間内にある各オブジェクトのオブジェクト信号に対して特定の残響効果を付与することなどが考えられる。
【０１９４】
この場合、残響効果を付与するためのパラメトリックリバーブの係数を入力ビットストリームに含め、ユーザ位置と音源となるオブジェクトの位置との相対的な関係に応じて、直接音と残響音の混合比を変化させることで残響効果付与の実現が可能となる。
【０１９５】
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１９６】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１９７】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１９８】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１９９】
入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
【０２００】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２０１】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２０２】
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２０３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０４】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２０６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０８】
さらに、本技術は、以下の構成とすることも可能である。
【０２０９】
（１）
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定するゲイン決定部を備える
情報処理装置。
（２）
前記他のオブジェクトは、前記所定のオブジェクトよりもユーザ位置側にある
（１）に記載の情報処理装置。
（３）
前記他のオブジェクトは、ユーザ位置と前記所定のオブジェクトとを結ぶ直線から所定の距離の範囲内に位置している
（１）または（２）に記載の情報処理装置。
（４）
前記範囲は前記他のオブジェクトの大きさにより定まる
（３）に記載の情報処理装置。
（５）
前記所定の距離は、前記他のオブジェクトの中心から前記他のオブジェクトにおける前記直線側の端までの距離である
（３）または（４）に記載の情報処理装置。
（６）
前記位置関係は、前記他のオブジェクトの大きさに依存する位置関係である
（３）乃至（５）の何れか一項に記載の情報処理装置。
（７）
前記位置関係は、前記他のオブジェクトの中心の前記直線からのずれ量である
（６）に記載の情報処理装置。
（８）
前記位置関係は、前記他のオブジェクトの中心から前記直線までの距離と、前記他のオブジェクトの中心から前記他のオブジェクトの前記直線側の端までの距離との比である
（６）に記載の情報処理装置。
（９）
前記ゲイン決定部は、前記位置関係と、前記他のオブジェクトの減衰情報とに基づいて前記減衰量を決定する
（１）乃至（８）の何れか一項に記載の情報処理装置。
（１０）
前記減衰情報は、前記他のオブジェクトにおける、前記位置関係に応じた前記信号の減衰量を得るための情報である
（９）に記載の情報処理装置。
（１１）
前記位置関係は、前記他のオブジェクトと前記所定のオブジェクトとの間の距離である
（１）乃至（１０）の何れか一項に記載の情報処理装置。
（１２）
前記ゲイン決定部は、前記所定のオブジェクトの信号を減衰させるか否かを示す減衰無効情報と、前記位置関係とに基づいて前記減衰量を決定する
（１）乃至（１１）の何れか一項に記載の情報処理装置。
（１３）
前記所定のオブジェクトの信号は、オーディオ信号である
（１）乃至（１１）の何れか一項に記載の情報処理装置。
（１４）
情報処理装置が、
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定する
情報処理方法。
（１５）
所定のオブジェクトと他のオブジェクトとの位置関係に基づいて減衰量を決定し、前記減衰量に基づいて前記所定のオブジェクトの信号のゲインを決定する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２１０】
１１  信号処理装置，  ２１  デコード処理部，  ２２  座標変換処理部，  ２３  オブジェクト減衰処理部，  ２４  レンダリング処理部
【図１】
2019198486.tif 000005
【図２】
2019198486.tif 000006
【図３】
2019198486.tif 000007
【図４】
2019198486.tif 000008
【図５】
2019198486.tif 000009
【図６】
2019198486.tif 000010
【図７】
2019198486.tif 000011
【図８】
2019198486.tif 000012
【図９】
2019198486.tif 000013
【図１０】
2019198486.tif 000014
【図１１】
2019198486.tif 000015
【国際調査報告】
2019198486.tif 000016
2019198486.tif 000017
2019198486.tif 000018
2019198486.tif 000019