(57)【要約】【課題】  オーディオ提供装置及びそのオーディオ提供方法である。【解決手段】  オーディオ提供装置及びそのオーディオ提供方法に係り、該オーディオ提供装置は、オブジェクトオーディオ信号の軌道情報を利用して、オブジェクトオーディオ信号をレンダリングするオブジェクト・レンダリング部、第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングするチャネル・レンダリング部、レンダリングされたオブジェクトオーディオ信号及び第２チャネル数を有するオーディオ信号をミキシングするミキシング部を含む。【選択図】  図１
2020025348.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクト入力信号を受信する段階と、
前記オブジェクト入力信号を出力レイアウトに基づいて出力オブジェクト信号にコンバーティングする段階と、
１つの高さ入力チャネル信号を含む複数の入力チャネル信号を受信する段階と、
前記受信した複数の入力チャネル信号のうち、相関度を有する入力チャネル信号の位相差を整列する段階と、
前記整列された位相差、入力レイアウト、及び出力レイアウトに基づいて、高度感のあるサウンドを提供するために、前記複数の入力チャネル信号を複数の出力チャネル信号にコンバーティングする段階と、
前記出力オブジェクト信号と前記複数の出力チャネル信号とをミキシングする段階と、
を含み、
前記複数の出力チャネル信号は、ヘッド関連伝達関数とパニングゲインを使用してコンバーティングされ、
前記複数の入力チャネル信号の前記入力レイアウトは、１つの高度角度情報を含み、前記複数の出力チャネル信号の前記出力レイアウトは、水平面である、ことを特徴とするオーディオ提供方法。
【請求項２】
前記出力レイアウトは、５．１チャネル信号である、ことを特徴とする請求項１に記載のオーディオ提供方法。
【請求項３】
前記入力チャネル信号の数は、前記出力チャネル信号の数よりも多い、ことを特徴とする請求項１に記載のオーディオ提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ提供装置及びオーディオ提供方法に係り、さらに詳細には、多様なフォーマットのオーディオ信号を、オーディオ再生システムに最適化されるように、レンダリングして出力するオーディオ提供装置及びオーディオ提供方法に関する。
【背景技術】
【０００２】
現在、マルチメディア市場は、多様なオーディオフォーマットが混在している状況である。例えば、オーディオ提供装置は、２チャネルのオーディオフォーマットから２２．２チャネルのオーディオフォーマットまで、多様なオーディオフォーマットを提供している。特に、最近では、立体的な空間において音源を表現することができる７．１チャネル、１１．１チャネル及び２２．２チャネルのようなオーディオシステムが提供されている。
【０００３】
しかし、現在提供されるほとんどのオーディオ信号は、２．１チャネルフォーマットや、５．１チャネルフォーマットであり、立体的な空間において音源を表現するのに限界が存在する。また、７．１チャネル、１１．１チャネル及び２２．２チャネルのオーディオ信号を再生するためのオーディオシステムを家庭に設けるには、現実的な困難さが伴う。
【０００４】
従って、入力信号のフォーマット、及びオーディオ提供装置によって能動的にオーディオ信号をレンダリングするための方案の模索が要請される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、前述の問題点を解決するために案出されたものであり、チャネルオーディオ信号をアップミキシングまたはダウンミキシングを介して、聴取環境に最適化され、オブジェクトオーディオ信号を軌道情報によってレンダリングし、聴取環境に最適化された音像を提供することができるオーディオ提供方法、及びそれを適用したオーディオ提供装置を提供するところある。
【課題を解決するための手段】
【０００６】
前記目的を達成するための本発明の一実施形態によるオーディオ提供装置は、オブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングするオブジェクト・レンダリング部と、第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングするチャネル・レンダリング部と、前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングするミキシング部と、を含む。
【０００７】
そして、前記オブジェクト・レンダリング部は、前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する軌道情報分析部と、前記変換された三次元座標情報を基に、距離制御情報を生成する距離制御部と、前記変換された三次元座標情報を基に、デプス制御情報を生成するデプス制御部と、前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する定位部と、前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングするレンダリング部と、を含んでもよい。
【０００８】
また、前記距離制御部は、前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることができる。
【０００９】
そして、前記デプス制御部は、前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、前記デプスゲインは、ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現される。
【００１０】
また、前記定位部は、前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することができる。
【００１１】
そして、前記レンダリング部は、前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることができる。
【００１２】
また、前記オブジェクト・レンダリング部は、前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することができる。
【００１３】
そして、前記オーディオ提供装置が同一高度を有する複数のスピーカを利用してオーディオを再生する場合、前記オブジェクト・レンダリング部は、前記オブジェクトオーディオ信号のスペクトル特性（spectral  characteristics）を補正し、前記オブジェクトオーディオ信号に仮想高度情報を提供する仮想フィルタ部と、前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする仮想レンダリング部と、を含んでもよい。
【００１４】
また、前記仮想フィルタ部は、複数の段階で構成されたツリー構造をなすことができる。
【００１５】
そして、前記チャネル・レンダリング部は、前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元でもある。
【００１６】
また、前記チャネル・レンダリング部は、前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元でもある。
【００１７】
そして、前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含んでもよい。
【００１８】
また、前記チャネル・レンダリング部は、前記第１チャネル数を有するオーディオ信号を、前記第２チャネル数を有するオーディオ信号にレンダリングする過程において、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することができる。
【００１９】
そして、前記ミキシング部は、前記レンダリングされたオブジェクトオーディオ信号と、前記第２チャネル数を有するオーディオ信号とをミキシングする間、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することができる。
【００２０】
また、前記オブジェクトオーディオ信号は、ユーザにオブジェクトオーディオ信号の選択のためのオブジェクトオーディオ信号のＩＤ及び類型情報のうち少なくとも一つを保存することができる。
【００２１】
一方、前記目的を達成するための本発明の一実施形態によるオブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングする段階と、第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングする段階と、前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングする段階と、を含む。
【００２２】
そして、前記オブジェクトオーディオ信号をレンダリングする段階は、前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する段階と、前記変換された三次元座標情報を基に、距離制御情報を生成する段階と、前記変換された三次元座標情報を基に、デプス制御情報を生成する段階と、前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する段階と、前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含んでもよい。
【００２３】
また、前記距離制御情報を生成する段階は、前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることができる。
【００２４】
そして、前記デプス制御情報を生成する段階は、前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、前記デプスゲインは、ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現される。
【００２５】
また、前記定位情報を生成する段階は、前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することができる。
【００２６】
そして、前記レンダリングする段階は、前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることができる。
【００２７】
また、前記オブジェクトオーディオ信号をレンダリングする段階は、前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することができる。
【００２８】
そして、前記オーディオ提供装置が同一高度を有する複数のスピーカを利用してオーディオを再生する場合、前記オブジェクトオーディオ信号をレンダリングする段階は、前記オブジェクトオーディオ信号のスペクトル特性（spectral  characteristics）を補正し、前記オブジェクトオーディオ信号に仮想高度情報を算出する段階と、前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含んでもよい。
【００２９】
また、前記算出する段階は、複数の段階で構成されたツリー構造をなす仮想フィルタを利用して、前記オブジェクトオーディオ信号の仮想高度情報を算出することができる。
【００３０】
そして、前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元でもある。
【００３１】
また、前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元でもある。
【００３２】
また、前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含んでもよい。
【発明の効果】
【００３３】
前述のような本発明の多様な実施形態によって、オーディオ提供装置は、多様なフォーマットを有するオーディオ信号を、オーディオシステム空間に最適化されるように再生することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態によるオーディオ提供装置の構成を示すブロック図である。
【図２】本発明の一実施形態によるオブジェクト・レンダリング部の構成を図示したブロック図である。
【図３】本発明の一実施形態によるオブジェクトオーディオ信号の軌道情報について説明するための図面である。
【図４】本発明の一実施形態によるオブジェクトオーディオ信号の距離情報による距離ゲインについて説明するためのグラフである。
【図５Ａ】本発明の一実施形態によるオブジェクトオーディオ信号のデプス情報によるデプスゲインについて説明するためのグラフである。
【図５Ｂ】本発明の一実施形態によるオブジェクトオーディオ信号のデプス情報によるデプスゲインについて説明するためのグラフである。
【図６】本発明の他の実施形態による仮想三次元オブジェクトオーディオ信号を提供するためのオブジェクト・レンダリング部の構成を示すブロック図である。
【図７Ａ】本発明の一実施形態による仮想フィルタ部について説明するための図面である。
【図７Ｂ】本発明の一実施形態による仮想フィルタ部について説明するための図面である。
【図８Ａ】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。
【図８Ｂ】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。
【図８Ｃ】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。
【図８Ｄ】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。
【図８Ｅ】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。
【図８Ｆ】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。
【図８Ｇ】本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。
【図９】本発明の一実施形態によるオーディオ信号提供方法について説明するための流れ図である。
【図１０】本発明の他の実施形態によるオーディオ提供装置の構成を図示したブロック図である。
【発明を実施するための形態】
【００３５】
以下では、図面を参照し、本発明についてさらに詳細に説明する。図１は、本発明の一実施形態によるオーディオ提供装置１００の構成を示すブロック図である。図１に図示されているように、オーディオ提供装置１００は、入力部１１０、分離部１２０、オブジェクト・レンダリング部１３０、チャネル・レンダリング部１４０、ミキシング部１５０及び出力部１６０を含む。
【００３６】
入力部１１０は、多様なソースからオーディオ信号を受信することができる。このとき、オーディオソースは、チャネルオーディオ信号及びオブジェクトオーディオ信号を含んでもよい。ここで、チャネルオーディオ信号は、当該フレームの背景音を含むオーディオ信号であり、第１チャネル数（例えば、５．１チャネル、７．１チャネルなど）を有することができる。また、オブジェクトオーディオ信号は、モーションを有するオブジェクトであるか、あるいは当該フレームで重要なオブジェクトのオーディオ信号でもある。オブジェクトオーディオ信号の一例として、人の声、銃声などを含んでもよい。オブジェクトオーディオ信号には、オブジェクトオーディオ信号の軌道情報が含まれてもよい。
【００３７】
分離部１２０は、入力されたオーディオ信号を、チャネルオーディオ信号と、オブジェクトオーディオ信号とに分離する。そして、分離部１２０は、分離されたオブジェクトオーディオ信号及びチャネルオーディオ信号を、それぞれオブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０に出力することができる。
【００３８】
オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号の軌道情報を基に、入力されたオブジェクトオーディオ信号をレンダリングする。このとき、オブジェクト・レンダリング部１３０は、オーディオ提供装置１００のスピーカレイアウトによって入力されたオブジェクトオーディオ信号をレンダリングすることができる。例えば、オーディオ提供装置１００のスピーカレイアウトが同一高度を有する二次元である場合、オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号を二次元にレンダリングすることができる。また、オーディオ提供装置１００のスピーカレイアウトが複数の高度を有する三次元である場合、オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号を三次元にレンダリングすることができる。また、オーディオ提供装置１００のスピーカレイアウトが同一高度を有する二次元であるとしても、オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号に仮想高度情報を付与し、三次元にレンダリングすることができる。オブジェクト・レンダリング部１３０は、図２ないし図７Ｂを参照して詳細に説明する。
【００３９】
図２は、本発明の一実施形態によるオブジェクト・レンダリング部１３０の構成を示すブロック図である。図２に図示されているように、オブジェクト・レンダリング部１３０は、軌道情報分析部１３１、距離制御部１３２、デプス制御部１３３、定位部１３４及びレンダリング部１３５を含む。
【００４０】
軌道情報分析部１３１は、オブジェクトオーディオ信号の軌道情報を入力されて分析する。具体的には、軌道情報分析部１３１は、オブジェクトオーディオ信号の軌道情報を、レンダリングに必要な三次元座標情報に変換することができる。例えば、軌道情報分析部１３１は、図３に図示されているように、入力されたオブジェクトオーディオ信号Ｏを（ｒ，θ，φ）の座標情報に分析することができる。このとき、ｒは、原点とオブジェクトオーディオ信号との距離であり、θは、音像の水平面上の角度であり、φは、音像の高度角度である。
【００４１】
距離制御部１３２は、変換された三次元座標情報を基に、距離制御情報を生成する。具体的には、距離制御部１３２は、軌道情報分析部１３１を介して分析された三次元上の距離ｒを基に、オブジェクトオーディオ信号の距離ゲインを算出する。このとき、距離制御部１３２は、三次元上の距離ｒに反比例して距離ゲインを算出することができる。すなわち、距離制御部１３２は、オブジェクトオーディオ信号の距離が遠いほど、オブジェクトオーディオ信号の距離ゲインを減少させ、オブジェクトオーディオ信号の距離が近いほど、オブジェクトオーディオ信号の距離ゲインを増大させることができる。また、距離制御部１３２は、原点に近くなる場合、距離ゲインが発散しないように、純粋反比例ではない上限ゲイン値を設定することができる。例えば、距離制御部１３２は、下記数式（１）のように、距離ゲインｄｇを算出することができる。
【００４２】
【数１】
2020025348.tif 000003
すなわち、距離制御部１３２は、前述の数式を基に、図４に図示されているように、距離ゲイン値ｄｇが１以上３．３以下になるように設定することができる。
【００４３】
デプス制御部１３３は、変換された三次元座標情報を基に、デプス制御情報を生成する。このとき、デプス制御部１３３は、原点と、オブジェクトオーディオ信号の水平面投影距離ｄとを基に、デプスゲインを獲得することができる。
【００４４】
このとき、デプス制御部１３３は、ネガティブベクトル及びポジティブベクトルの和でもってデプスゲインを表現することができる。具体的には、オブジェクトオーディオ信号の三次元座標において、ｒ＜１である場合、すなわち、オブジェクトオーディオ信号がオーディオ提供装置１００に含まれたスピーカで構成された区間内に存在する場合、ポジティブベクトルは、（ｒ，θ，φ）と定義され、ネガティブベクトルは、（ｒ，θ＋１８０，φ）と定義される。デプス制御部１３３は、オブジェクトオーディオ信号を定位するために、オブジェクトオーディオ信号の軌道ベクトル（trajectory  vector）をポジティブベクトルとネガティブベクトルとの和で表現するためのポジティブベクトルのデプスゲインｖｐ、及びネガティブバックトのデプスゲインｖｎを計算することができる。このとき、ポジティブベクトルのデプスゲインｖｐ、及びネガティブバックトのデプスゲインｖｎは、下記数式（２）のように計算される。
【００４５】
【数２】
2020025348.tif 000004
すなわち、デプス制御部１３３は、水平面投影距離ｄが０から１までであるポジティブベクトルのデプスゲイン、及びネガティブベクトルのデプスゲインを図５Ａに図示されているように算出することができる。
【００４６】
また、デプス制御部１３３は、ポジティブベクトル及びヌルベクトルの和でもってデプスゲインを表現することができる。具体的には、全てのチャネルのパニングゲインと位置との積の和が０に収斂される方向がない場合のパニングゲインを、ヌルベクトル（null  vector）と定義することができる。特に、デプス制御部１３３は、水平面投影距離ｄが０に近くなれば、ヌルベクトルのデプスゲインは、１にマッピングされ、水平面投影距離ｄが１に近くなれば、ポジティブベクトルのデプスゲインが、１にマッピングされるように、ポジティブベクトルのデプスゲインｖｐ、及びヌルベクトルのデプスゲインｖｎｌｌを計算することができる。このとき、ポジティブベクトルのデプスゲインｖｐ、及びヌルベクトルのデプスゲインｖｎｌｌは、下記数式（３）のように計算される。
【００４７】
【数３】
2020025348.tif 000005
すなわち、デプス制御部１３３は、水平面投影距離ｄが０から１までであるポジティブベクトルのデプスゲイン、及びヌルベクトルのデプスゲインを図５Ｂに図示されているように算出することができる。
【００４８】
一方、デプス制御部１３３によってデプス制御を行えば、水平面投影距離ｄが０に近くなる場合、全てのスピーカに音が出力される。これにより、パニング境界（panning  boundary）に発生する不連続性が低減する。
【００４９】
定位部１３４は、変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する。特に、定位部１３４は、オーディオ提供装置１００のスピーカレイアウトによって、オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することができる。具体的には、定位部１３４は、オブジェクトオーディオ信号の軌道と同一方向のポジティブベクトルを定位させるためのトリプレット（triplet）スピーカを選択し、ポジティブベクトルのトリプレットスピーカに係わる三次元パニング係数ｇｐを計算することができる。そして、デプス制御部１３３が、ポジティブベクトル及びネガティブベクトルでデプスゲインを表現する場合、定位部１３４は、オブジェクトオーディオ信号の軌道と反対方向のネガティブベクトルを定位させるためのトリプレットスピーカを選択し、ネガティブベクトルのトリプレットスピーカに係わる三次元パニング係数ｇｎを計算することができる。
【００５０】
レンダリング部１３５は、距離制御情報、デプス制御情報及び定位情報を基に、オブジェクトオーディオ信号をレンダリングする。特に、レンダリング部１３５は、距離制御部１３２から距離ゲインｄｇを受信し、デプス制御部１３３からデプスゲインｖを受信し、定位部１３４からパニングゲインｇを受信し、距離ゲインｄｇ、デプスゲインｖ、パニングゲインｇをオブジェクトオーディオ信号に適用させ、マルチチャネルのオブジェクトオーディオ信号を生成することができる。特に、オブジェクトオーディオ信号のデプスゲインが、ポジティブベクトルとネガティブベクトルとの和によって表現される場合、レンダリング部１３５は、ｍ番目チャネルの最終ゲインＧｍを、下記数式（４）のように算出することができる。
【００５１】
【数４】
2020025348.tif 000006
このとき、ｇｐ，ｍは、ポジティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数であり、ｇｎ，ｍは、ネガティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数でもある。
【００５２】
また、オブジェクトオーディオ信号のデプスゲインが、ポジティブベクトルとヌルベクトルとの和によって表現される場合、レンダリング部１３５は、ｍ番目チャネルの最終ゲインＧｍを、下記数式（５）のように算出することができる。
【００５３】
【数５】
2020025348.tif 000007
このとき、ｇｐ，ｍは、ポジティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数であり、ｇｎｌｌ，ｍは、ネガティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数でもある。一方、Σｇｎｌｌ，ｍは、０にもなる。
【００５４】
そして、レンダリング部１３５は、オブジェクトオーディオ信号であるｘに適用させ、ｍ番目チャネルのオブジェクトオーディオ信号の最終出力Ｙｍを、下記数式（６）のように算出することができる。
【００５５】
【数６】
2020025348.tif 000008
前述のように算出されたオブジェクトオーディオ信号の最終出力Ｙｍは、ミキシング部１５０に出力される。
【００５６】
また、オブジェクトオーディオ信号が複数個存在する場合、オブジェクト・レンダリング部１３０は、複数のオブジェクトオーディオ信号間の位相差を算出し、複数のオブジェクトオーディオ信号のうち一つを、算出された位相差ほど移動させ、複数のオブジェクトオーディオ信号を合成することができる。
【００５７】
具体的には、複数のオブジェクトオーディオ信号が入力される間、複数のオブジェクトオーディオ信号それぞれが、同一信号であるか、あるいは位相が互いに反対である場合、複数のオブジェクトオーディオ信号をそのまま合成すれば、複数のオブジェクトオーディオ信号の重畳によるオーディオ信号の歪曲が発生する。従って、オブジェクト・レンダリング部１３０は、複数のオブジェクトオーディオ信号間の相関度（correlation）を算出し、相関度が既設定値以上である場合、複数のオブジェクトオーディオ信号間の位相差を算出し、複数のオブジェクトオーディオ信号のうち一つを、算出された位置差ほど移動させ、複数のオブジェクトオーディオ信号を合成することができる。それにより、類似した複数のオブジェクトオーディオ信号が入力される場合、複数のオブジェクトオーディオ信号の合成による歪曲を防止することができる。
【００５８】
一方、前述の実施形態では、オーディオ提供装置１００のスピーカレイアウトが異なる高度感を有する三次元であるが、それは、一実施形態に過ぎず、オーディオ提供装置１００のスピーカレイアウトが同一高度感を有する二次元でもある。特に、オーディオ提供装置１００のスピーカレイアウトが、同一高度感を有する二次元である場合、オブジェクト・レンダリング部１３０は、前述のオブジェクトオーディオ信号の軌道情報のうち、φ値を０に設定する。
【００５９】
また、オーディオ提供装置１００のスピーカレイアウトが、同一高度感を有する二次元でもあるが、オーディオ提供装置１００は、二次元のスピーカレイアウトを介して、仮想で三次元のオブジェクトオーディオ信号を提供することができる。
【００６０】
以下では、仮想の三次元オブジェクトオーディオ信号を提供する実施形態について、図６及び図７を参照して説明する。
【００６１】
図６は、本発明の他の実施形態による、仮想三次元オブジェクトオーディオ信号を提供するためのオブジェクト・レンダリング部１３０’の構成を示すブロック図である。図６に図示されているように、オブジェクト・レンダリング部１３０’は、仮想フィルタ部１３６、三次元レンダリング部１３７、仮想レンダリング部１３８及びミキシング部１３９を含む。
【００６２】
三次元レンダリング部１３７は、図２ないし図５Ｂに図示されているような方法を利用して、オブジェクトオーディオ信号をレンダリングすることができる。このとき、三次元レンダリング部１３７は、オーディオ提供装置１００の物理的なスピーカに出力することができるオブジェクトオーディオ信号をミキシング部１３９に出力し、異なる高度感を提供する仮想スピーカの仮想パニングゲインｇｍ，ｔｏｐを仮想レンダリング部１３７に出力することができる。
【００６３】
仮想フィルタ部１３６は、オブジェクトオーディオ信号の音色を補正させるブロックであり、心理音響を基に、入力されたオブジェクトオーディオ信号のスペクトル特性（spectral  characteristics）を補正し、仮想スピーカの位置に音像を提供する。このとき、仮想フィルタ部１３６は、ＨＲＴＦ（head  related  transfer  function）、ＢＲＩＲ（binaural  room  impulse  response）のような多様な形態のフィルタによって具現される。
【００６４】
また、仮想フィルタ部１３６の長さがフレーム長より短い場合、仮想フィルタ部１３６を、ブロックコンボルーション（block  convolution）を介して適用させることができる。
【００６５】
また、ＦＦＴ（fast  Fourier  transform）、ＭＤＣＴ（modified  discrete  cosine  transform）、ＱＭＦ（quadrature  mirror  filter）のような周波数ドメインでレンダリングを行う場合、仮想フィルタ部１３６は、乗算によって適用される。
【００６６】
複数の仮想トップレイヤスピーカ（virtual  top  layer  speaker）の場合、仮想フィルタ部１３６は、１つの高度フィルタ（elevation  filter）及び物理的なスピーカの配分式を介して、複数の仮想トップレイヤスピーカを生成することができる。
【００６７】
また、複数の仮想トップレイヤスピーカ及び仮想バックスピーカ（virtual  back  speaker）の場合、仮想フィルタ部１３６は、それぞれ異なる位置で、スペクトル相関（spectral  coloration）を適用させるための複数の仮想フィルタ及び物理的なスピーカの配分式を介して、複数の仮想トップレイヤスピーカ及び仮想バックスピーカを生成することができる。
【００６８】
また、仮想フィルタ部１３６は、Ｈ１，Ｈ２，…，ＨＮのようなＮ個の異なるスペクトル相関を使用する場合、演算量を減らすために、ツリー構造で設計が可能である。具体的には、仮想フィルタ部１３６は、図７Ａに図示されているように、高さ（height）を認知するのに共通して使用するnotch／peakをＨ０と設計し、Ｈ１ないしＨＮからＨ０の特性を差し引いた残りの成分であるＫ１ないしＫＮを、ＨＯとカスケード（cascade）形態で連結することができる。また、仮想フィルタ部１３６は、共通成分とスペクトル相関とによって、図７Ｂに図示されているような複数の段階で構成されたツリー構造をなすことができる。
【００６９】
仮想レンダリング部１３８は、仮想チャネルを物理的なチャネルで表現するためのレンダリングブロックである。特に、仮想レンダリング部１３８は、仮想フィルタ部１３６から出力された仮想チャネル配分式によって、仮想スピーカに出力されたオブジェクトオーディオ信号を生成し、生成された仮想スピーカのオブジェクトオーディオ信号に、仮想パニングゲインｇｍ，ｔｏｐを乗じ、出力信号を合成することができる。このとき、複数の物理的な平面スピーカに配分する程度によって、仮想スピーカの位置が異なり、この配分の程度を仮想チャネル配分式と定義する。
【００７０】
ミキシング部１３９は、物理的なチャネルのオブジェクトオーディオ信号と、仮想チャネルのオブジェクトオーディオ信号とをミキシングする。
【００７１】
これにより、二次元のスピーカレイアウトを有するオーディオ提供装置１００を介して、オブジェクトオーディオ信号が三次元上に位置するように表現することができる。
【００７２】
再び図１について説明すれば、チャネル・レンダリング部１２０は、第１チャネル数を有するチャネルオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングすることができる。このとき、チャネル・レンダリング部１２０は、スピーカレイアウトによって入力された第１チャネル数を有するチャネルオーディオ信号を、第２チャネル数を有するオーディオ信号に変更することができる。
【００７３】
具体的には、チャネルオーディオ信号のレイアウトと、オーディオ提供装置１００のスピーカレイアウトとが同一である場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号を、チャネルの変化なしに、レンダリングすることができる。
【００７４】
また、チャネルオーディオ信号のチャネル数が、オーディオ提供装置１００のスピーカレイアウトのチャネル数より多い場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号をダウンミックスし、レンダリングを行うことができる。例えば、チャネルオーディオ信号のチャネルが７．１チャネルであり、オーディオ提供装置１００のスピーカレイアウトが５．１チャネルである場合、チャネル・レンダリング部１２０は、７．１チャネルのチャネルオーディオ信号を、５．１チャネルにダウンミックスする。
【００７５】
特に、チャネルオーディオ信号のダウンミックスを行う場合、チャネル・レンダリング部１２０は、入力されたチャネルオーディオ信号の軌道が一定に停止しているオブジェクトであると判断し、ダウンミックスを行うことができる。また、三次元のチャネルオーディオ信号を二次元ダウンミックスする場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号の高度成分を除去して二次元ダウンミックスするか、あるいは図６で説明したような仮想の高度感を有するように、仮想三次元にダウンミックスすることができる。また、チャネル・レンダリング部１２０は、正面のオーディオ信号を形成するフロントレフトチャネル、フロントライトチャネル、センターチャネルを除いた全ての信号をダウンミックスし、ライトサラウンドチャネル及びレフトサラウンドチャネルとして具現することができる。また、チャネル・レンダリング部１２０は、マルチチャネル・ダウンミックス方程式を利用して、ダウンミックスを行うことができる。
【００７６】
また、チャネルオーディオ信号のチャネル数が、オーディオ提供装置１００のスピーカレイアウトのチャネル数より少ない場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号をアップミックスし、レンダリングを行うことができる。例えば、チャネルオーディオ信号のチャネルが７．１チャネルであり、オーディオ提供装置１００のスピーカレイアウトが９．１チャネルである場合、チャネル・レンダリング部１２０は、７．１チャネルのチャネルオーディオ信号を、９．１チャネルにアップミックスすることができる。
【００７７】
特に、二次元のチャネルオーディオ信号を三次元にアップミックスする場合、チャネル・レンダリング部１２０は、フロントチャネル及びサラウンドチャネル間の相関度（correlation）を基に、高度成分を有するトップレイヤを生成し、アップミックスを行うか、あるいはチャネル間の分析を介してセンター及びアンビエンス（ambience）に分けてアップミックスを行うことができる。
【００７８】
また、チャネル・レンダリング部１４０は、第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングする過程において、相関度を有するオーディオ信号間の位相差を算出し、複数のオーディオ信号のうち一つを、算出された位相差ほど移動させ、複数のオーディオ信号を合成することができる。
【００７９】
一方、オブジェクトオーディオ信号、及び第１チャネル数を有するチャネルオーディオ信号のうち少なくとも一つは、特定フレームに対して、仮想三次元レンダリングを行うか、あるいは二次元レンダリングを行うかということを決定するガイド情報を含んでもよい。従って、オブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０それぞれは、オブジェクトオーディオ信号及びチャネルオーディオ信号に含まれたガイド情報を基に、レンダリングを行うことができる。例えば、第１フレームにおいて、オブジェクトオーディオ信号に対して、仮想三次元レンダリングを遂行せよというガイド情報が含まれた場合、オブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０は、第１フレームにおいて、オブジェクトオーディオ信号及びチャネルオーディオ信号に対して、仮想三次元レンダリングを行うことができる。また、第２フレームにおいて、オブジェクトオーディオ信号を二次元レンダリングせよというガイド情報が含まれた場合、オブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０は、第２フレームにおいて、オブジェクトオーディオ信号及びチャネルオーディオ信号に対して、二次元レンダリングを行うことができる。
【００８０】
ミキシング部１５０は、オブジェクト・レンダリング部１３０から出力されたオブジェクトオーディオ信号と、チャネル・レンダリング部１４０から出力された第２チャネル数を有するチャネルオーディオ信号とをミキシングすることができる。
【００８１】
一方、ミキシング部１５０は、レンダリングされたオブジェクトオーディオ信号と、第２チャネル数を有するオーディオ信号とをミキシングする間、相関度を有するオーディオ信号間の位相差を算出し、複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、複数のオーディオ信号を合成することができる。
【００８２】
出力部１６０は、ミキシング部１５０から出力されたオーディオ信号を出力する。このとき、出力部１６０は、複数のスピーカを含んでもよい。例えば、出力部１６０は、５．１チャネル、７．１チャネル、９．１チャネル、２２．２チャネルのようなスピーカによって具現される。
【００８３】
以下では、図８Ａないし図８Ｇを参照し、本発明の多様な実施形態について説明する。
【００８４】
図８Ａは、本発明の第１実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
【００８５】
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。このとき、９．１チャネルのチャネルオーディオ信号は、フロントレフトチャネル（ＦＬ：front  left  channel）、フロントライトチャネル（ＦＲ：front  right  channel）、フロントセンターチャネル（ＦＣ：front  center  channel）、サブウーファーチャネル（ＬＦｅ：subwoofer  channel）、サラウンドレフトチャネル（ＳＬ：surround  left  channel）、サラウンドライトチャネル（ＳＲ：surround  right  channel）、トップフロントレフトチャネル（ＴＬ：top  front  left  channel）、トップフロントライトチャネル（ＴＲ：top  front  right  channel）、バックレフトチャネル（ＢＬ：back  left  channel）、バックライトチャネル（ＢＲ：back  right  channel）を含む。
【００８６】
一方、オーディオ提供装置１００は、５．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル（ＦＲＬ、フロントレフトチャネル（ＦＬ）、フロントセンターチャネル（ＦＣ）、サブウーファーチャネル（ＬＦｅ）、サラウンドレフトチャネル（ＳＬ）及びサラウンドライトチャネル（ＳＲ）それぞれに対応するスピーカを具備することができる。
【００８７】
オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、バックレフトチャネル、バックライトチャネルのそれぞれに対応する信号に仮想フィルタリング（virtual  filtering）を行い、レンダリングすることができる。
【００８８】
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する仮想三次元レンダリング（virtual  ３Ｄ  rendering）を行うことができる。
【００８９】
オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、てフロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。
【００９０】
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、５．１チャネルのスピーカを利用して、９．１チャネルの仮想三次元オーディオ環境を構築することができる。
【００９１】
図８Ｂは、本発明の第２実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
【００９２】
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
【００９３】
一方、オーディオ提供装置１００は、７．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル及びバックライトチャネルそれぞれに対応するスピーカを具備することができる。
【００９４】
オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネルそれぞれに対応する信号に仮想フィルタリングを行ってレンダリングすることができる。
【００９５】
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する仮想三次元レンダリングを行うことができる。
【００９６】
オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックレフトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックライトチャネルに対応するスピーカに出力することができる。
【００９７】
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、７．１チャネルのスピーカを利用して、９．１チャネルの仮想三次元オーディオ環境を構築することができる。
【００９８】
図８Ｃは、本発明の第３実施形態によるオブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
【００９９】
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
【０１００】
一方、オーディオ提供装置１００は、９．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル及びトップフロントライトチャネルそれぞれに対応するスピーカを具備することができる。
【０１０１】
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する三次元レンダリング（３Ｄ  rendering）を行うことができる。
【０１０２】
オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号それぞれに、三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、対応するスピーカに出力することができる。
【０１０３】
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、９．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。
【０１０４】
図８Ｄは、本発明の第４実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
【０１０５】
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
【０１０６】
一方、オーディオ提供装置１００は、１１．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル、トップサラウンドライトチャネル、トップバックレフトチャネル及びトップバックライトチャネルそれぞれに対応するスピーカを具備することができる。
【０１０７】
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する三次元レンダリングを行うことができる。
【０１０８】
オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号それぞれに、三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、対応するスピーカに出力することができる。
【０１０９】
そして、オーディオ提供装置１００は、三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２それぞれを，トップサラウンドレフトチャネル、トップサラウンドライトチャネル、トップバックレフトチャネル及びトップバックライトチャネルそれぞれに対応するスピーカに出力することができる。
【０１１０】
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、１１．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。
【０１１１】
図８Ｅは、本発明の第５実施形態による，オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
【０１１２】
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
【０１１３】
一方、オーディオ提供装置１００は、５．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル及びサラウンドライトチャネルそれぞれに対応するスピーカを具備することができる。
【０１１４】
オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、バックレフトチャネル、バックライトチャネルそれぞれに対応する信号に、二次元レンダリングを行う。
【０１１５】
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する二次元レンダリングを行うことができる。
【０１１６】
オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。
【０１１７】
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、５．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。すなわち、図８Ａに比べ、本実施形態は、仮想三次元オーディオ信号にレンダリングするのではなく、二次元オーディオ信号にレンダリングすることができる。
【０１１８】
図８Ｆは、本発明の第６実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
【０１１９】
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
【０１２０】
一方、オーディオ提供装置１００は、７．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル及びバックライトチャネルそれぞれに対応するスピーカを具備することができる。
【０１２１】
オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネルそれぞれに対応する信号に、二次元レンダリングを行うことができる。
【０１２２】
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する二次元レンダリングを行うことができる。
【０１２３】
オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックレフトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックライトチャネルに対応するスピーカに出力することができる。
【０１２４】
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、７．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。すなわち、図８Ｂに比べ、本実施形態は、仮想三次元オーディオ信号にレンダリングするのではなく、二次元オーディオ信号にレンダリングすることができる。
【０１２５】
図８Ｇは、本発明の第７実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
【０１２６】
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
【０１２７】
一方、オーディオ提供装置１００は、５．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル及びサラウンドライトチャネルそれぞれに対応するスピーカを具備することができる。
【０１２８】
オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、バックレフトチャネル、バックライトチャネルそれぞれに対応する信号に、二次元ダウンミックス（２Ｄ  down  mixing）してレンダリングを行う。
【０１２９】
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する仮想三次元レンダリングを行うことができる。
【０１３０】
オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。
【０１３１】
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、５．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。すなわち、図８Ａと比べ、チャネルオーディオ信号の音像よりは音質が重要であると判断された場合、オーディオ提供装置１００は、チャネルオーディオ信号のみを二次元ダウンミックスし、オブジェクトオーディオ信号を仮想三次元にレンダリングすることができる。
【０１３２】
図９は、本発明の一実施形態によるオーディオ信号提供方法について説明するための流れ図である。
【０１３３】
まず、オーディオ提供装置１００は、オーディオ信号を入力される（Ｓ９１０）。このとき、オーディオ信号は、第１チャネル数を有するチャネルオーディオ信号及びオブジェクトオーディオ信号を含んでもよい。
【０１３４】
そして、オーディオ提供装置１００は、入力されたオーディオ信号を分離する（Ｓ９２０）。具体的には、オーディオ提供装置１００は、入力されたオーディオ信号を、チャネルオーディオ信号及びオブジェクトオーディオ信号に分離することができる。
【０１３５】
そして、オーディオ提供装置１００は、オブジェクトオーディオ信号をレンダリングする（Ｓ９３０）。具体的には、オーディオ提供装置１００は、図２ないし図５Ｂで説明したように、オブジェクトオーディオ信号を、二次元または三次元にレンダリングすることができる。また、オーディオ提供装置１００は、図６ないし図７Ｂで説明したように、オブジェクトオーディオ信号を、仮想の三次元オーディオ信号にレンダリングすることができる。
【０１３６】
そして、オーディオ提供装置１００は、第１チャネル数を有するチャネルオーディオ信号を第２チャネル数にレンダリングする（Ｓ９４０）。このとき、オーディオ提供装置１００は、入力されたチャネルオーディオ信号をダウンミックスするか、あるいはアップミックスし、レンダリングを行うことができる。また、オーディオ提供装置１００は、入力されたチャネルオーディオ信号のチャネル数を維持し、レンダリングを行うことができる。
【０１３７】
そして、オーディオ提供装置１００は、レンダリングされたオブジェクトオーディオ信号と、第２チャネル数を有するチャネルオーディオ信号とをミキシングする（Ｓ９５０）。具体的には、オーディオ提供装置１００は、図８Ａないし図８Ｇで説明したように、レンダリングされたオブジェクトオーディオ信号及びチャネルオーディオ信号をミキシングすることができる。
【０１３８】
そして、オーディオ提供装置１００は、ミキシングされたオーディオ信号を出力する（Ｓ９６０）。
【０１３９】
前述のようなオーディオ提供方法によって、オーディオ提供装置１００は、多様なフォーマットを有するオーディオ信号を、オーディオシステム空間に最適化されるように再生することができる。
【０１４０】
以下では、図１０を参照し、本発明の他の実施形態について説明する。図１０は、本発明の他の実施形態によるオーディオ提供装置１０００の構成を示すブロック図である。図１０に図示されているように、オーディオ提供装置１０００は、入力部１０１０、分離部１０２０、オーディオ信号デコーディング部１０３０、付加情報デコーディング部１０４０、レンダリング部１０５０、ユーザ入力部１０６０、インターフェース部１０７０及び出力部１０８０を含む。
【０１４１】
入力部１０１０は、圧縮されたオーディオ信号を入力される。このとき、圧縮されたオーディオ信号には、チャネルオーディオ信号と、オブジェクトオーディオ信号とが含まれた圧縮された形態のオーディオ信号だけではなく、付加情報を含んでもよい。
【０１４２】
分離部１０２０は、圧縮されたオーディオ信号を、オーディオ信号と付加情報とに分離し、オーディオ信号をオーディオ信号デコーディング部１０３０に出力し、付加情報を付加情報デコーディング部１０４０に出力する。
【０１４３】
オーディオ信号デコーディング部１０３０は、圧縮された形態のオーディオ信号を解除し、レンダリング部１０５０に出力する。一方、オーディオ信号は、マルチチャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を含む。このとき、マルチチャネルのチャネルオーディオ信号は、背景音及び背景音楽のようなオーディオ信号でもあり、オブジェクトオーディオ信号は、人の声、銃声のような特定物体に係わるオーディオ信号でもある。
【０１４４】
付加情報デコーディング部１０４０は、入力されたオーディオ信号の付加情報をデコーディングする。このとき、入力されたオーディオ信号の付加情報には、入力されたオーディオ信号のチャネル数、長さ、ゲイン値、パニングゲイン、位置、角度のような多様な情報が含まれてもよい。
【０１４５】
レンダリング部１０５０は、入力された付加情報及びオーディオ信号を基に、レンダリングを行うことができる。このとき、レンダリング部１０５０は、ユーザ入力部１０６０に入力されたユーザ命令により、図２ないし図８Ｇで説明したような多様な方法を利用して、レンダリングを行うことができる。例えば、入力されたオーディオ信号が７．１チャネルのオーディオ信号であり、オーディオ提供装置１０００のスピーカレイアウトが５．１チャネルである場合、レンダリング部１０５０は、ユーザ入力部１０６０を介して入力されたユーザ命令により、７．１チャネルのオーディオ信号を、二次元の５．１チャネルオーディオ信号にダウンミックスすることができ、７．１チャネルのオーディオ信号を、仮想三次元５．１チャネルオーディオ信号にダウンミックスすることができる。また、レンダリング部１０５０は、ユーザ入力部１０６０を介して入力されたユーザ命令により、チャネルオーディオ信号を二次元にレンダリングし、オブジェクトオーディオ信号を、仮想三次元にレンダリングすることができる。
【０１４６】
また、レンダリング部１０５０は、ユーザ命令及びスピーカレイアウトによって、レンダリングされたオーディオ信号を、出力部１０８０を介して即座に出力することができるが、オーディオ信号及び付加情報を、インターフェース部１０７０を介して、外部機器１０９０に伝送することができる。特に、７．１チャネルを超えるスピーカレイアウトを有するオーディオ提供装置１０００の場合、レンダリング部１０５０は、オーディオ信号及び付加情報のうち少なくとも一部を、インターフェース部１０７０を介して、外部機器１０９０に伝送することができる。このとき、インターフェース部１０７０は、ＨＤＭＩ（登録商標）インターフェースのようなデジタルインターフェースによって具現される。外部機器１０９０は、入力されたオーディオ信号及び付加情報を利用して、レンダリングを行った後、レンダリングされたオーディオ信号を出力することができる。
【０１４７】
しかし、前述のように、レンダリング部１０５０がオーディオ信号及び付加情報を外部機器１０９０に伝送することは、一実施形態に過ぎず、レンダリング部１０５０がオーディオ信号及び付加情報を利用して、オーディオ信号をレンダリングした後、レンダリングされたオーディオ信号を出力することができる。
【０１４８】
一方、本発明の一実施形態によるオブジェクトオーディオ信号には、ID（identification）、類型情報または優先順位情報などが含まれたメタデータが含まれてもよい。例えば、オブジェクトオーディオ信号の類型が、対話（dialog）であるか、あるいはコメンタリー（commentary）であるかということを示す情報が含まれてもよい。また、オーディオ信号が放送オーディオ信号である場合、オブジェクトオーディオ信号の類型が第１アンカーであるか、第２アンカーであるか、第１キャスターであるか、第２キャスターであるか、あるいは背景音であるかということを示す情報が含まれてもよい。また、オーディオ信号が音楽オーディオ信号である場合、オブジェクトオーディオ信号の類型が第１ボーカルであるか、第２ボーカルであるか、第１楽器音であるか、あるいは第２楽器音であるかということを示す情報が含まれてもよい。また、オーディオ信号がゲームオーディオ信号である場合、オブジェクトオーディオ信号の類型が、第１効果音であるか、あるいは第２効果音であるかということを示す情報が含まれてもよい。
【０１４９】
レンダリング部１０５０は、前述のようなオブジェクトオーディオ信号に含まれたメタデータを分析し、オブジェクトオーディオ信号の優先順位によって、オブジェクトオーディオ信号をレンダリングすることができる。
【０１５０】
また、レンダリング部１０５０は、ユーザ選択によって、特定オブジェクトオーディオ信号を除去することができる。例えば、オーディオ信号が運動競技に係わるオーディオ信号である場合、オーディオ提供装置１０００は、ユーザに現在入力されるオブジェクトオーディオ信号の類型を案内するＵＩ（user  interface）をディスプレイすることができる。このとき、オブジェクトオーディオ信号には、キャスターの声、解説の声、喊声のようなオブジェクトオーディオ信号が含まれてもよい。ユーザ入力部１０６０を介して、複数のオブジェクトオーディオ信号のうちキャスターの声を除去するユーザ命令が入力された場合、レンダリング部１０５０は、入力されたオブジェクトオーディオ信号のうちキャスターの声を除去し、残りのオブジェクトオーディオ信号を利用して、レンダリングを行うことができる。
【０１５１】
また、出力部１０８０は、ユーザ選択によって、特定オブジェクトオーディオ信号に係わるボリュームを増大させるか、あるいは低減させることができる。例えば、オーディオ信号が、映画コンテンツに含まれたオーディオ信号である場合、オーディオ提供装置１０００は、ユーザに現在入力されるオブジェクトオーディオ信号の類型を案内するＵＩをディスプレイすることができる。このとき、オブジェクトオーディオ信号には、第１主人公の声、第２主人公の声、砲弾音、飛行機音などが含まれてもよい。ユーザ入力部１０６０を介して、複数のオブジェクトオーディオ信号のうち、第１主人公の声、第２主人公の声のボリュームを増大させ、砲弾音、飛行機音のボリュームを低減させるユーザ命令が入力された場合、出力部１０８０は、第１主人公の声及び第２主人公の声のボリュームを増大させ、砲弾音、飛行機音のボリュームを低減させることができる。
【０１５２】
前述のような実施形態によって、ユーザは、自らが所望するオーディオ信号を操作することができ、ユーザに適するオーディオ環境を構築することができる。
【０１５３】
一方、前述の多様な実施形態によるオーディオ提供方法は、プログラムで具現され、ディスプレイ装置または入力装置に提供される。特に、ディスプレイ装置の制御方法を含むプログラムは、非一時的可読媒体（non-transitory  computer  readable  medium）に保存されて提供される。
【０１５４】
非一時的可読媒体とは、レジスタ、キャッシュ、メモリのように短い瞬間の間にデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって判読（reading）が可能な媒体を意味する。具体的には、前述の多様なアプリケーションまたはプログラムは、ＣＤ（compact  disc）、ＤＶＤ（digital  versatile  disc）、ハードディスク、ブルーレイディスク、ＵＳＢ（universal  serial  bus）、メモリカード、ＲＯＭ（read  only  memory）のような非一時的可読媒体に保存されて提供される。
【０１５５】
また、以上では、本発明の望ましい実施形態について図示して説明したが、本発明は、前述の特定の実施形態に限定されるものではなく、特許請求の範囲で請求する本発明の要旨を外れることなしに、当該発明が属する技術分野において、当業者によって多様な変形実施が可能であるということは言うまでもなく、そのような変形実施は、本発明の技術的思想や展望から個別的に理解されることがあってはならない。
【０１５６】
上記の実施形態につき以下の付記を残しておく。
（付記１）
オブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングするオブジェクト・レンダリング部と、
第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングするチャネル・レンダリング部と、
前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングするミキシング部と、を含むオーディオ提供装置。
（付記２）
前記オブジェクト・レンダリング部は、
前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する軌道情報分析部と、
前記変換された三次元座標情報を基に、距離制御情報を生成する距離制御部と、
前記変換された三次元座標情報を基に、デプス制御情報を生成するデプス制御部と、
前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する定位部と、
前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングするレンダリング部と、を含むことを特徴とする付記１に記載のオーディオ提供装置。
（付記３）
前記距離制御部は、
前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることを特徴とする付記２に記載のオーディオ提供装置。
（付記４）
前記デプス制御部は、
前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、
前記デプスゲインは、
ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現されることを特徴とする付記３に記載のオーディオ提供装置。
（付記５）
前記定位部は、
前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することを特徴とする付記４に記載のオーディオ提供装置。
（付記６）
前記レンダリング部は、
前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることを特徴とする付記５に記載のオーディオ提供装置。
（付記７）
前記オブジェクト・レンダリング部は、
前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することを特徴とする付記２に記載のオーディオ提供装置。
（付記８）
前記オーディオ提供装置が同一高度を有する複数のスピーカを利用して、オーディオを再生する場合、
前記オブジェクト・レンダリング部は、
前記オブジェクトオーディオ信号のスペクトル特性を補正し、前記オブジェクトオーディオ信号に仮想高度情報を提供する仮想フィルタ部と、
前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする仮想レンダリング部と、を含むことを特徴とする付記１に記載のオーディオ提供装置。
（付記９）
前記仮想フィルタ部は、
複数の段階で構成されたツリー構造をなすことを特徴とする付記８に記載のオーディオ提供装置。
（付記１０）
前記チャネル・レンダリング部は、
前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元であることを特徴とする付記１に記載のオーディオ提供装置。
（付記１１）
前記チャネル・レンダリング部は、
前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元であることを特徴とする付記１に記載のオーディオ提供装置。
（付記１２）
前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含むことを特徴とする付記１に記載のオーディオ提供装置。
（付記１３）
前記チャネル・レンダリング部は、
前記第１チャネル数を有するオーディオ信号を、前記第２チャネル数を有するオーディオ信号にレンダリングする過程において、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することを特徴とする付記１に記載のオーディオ提供装置。
（付記１４）
前記ミキシング部は、
前記レンダリングされたオブジェクトオーディオ信号と、前記第２チャネル数を有するオーディオ信号とをミキシングする間、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することを特徴とする付記１に記載のオーディオ提供装置。
（付記１５）
前記オブジェクトオーディオ信号は、
ユーザにオブジェクトオーディオ信号の選択のためのオブジェクトオーディオ信号のＩＤ及び類型情報のうち少なくとも一つを保存することを特徴とする付記１に記載のオーディオ提供装置。
（付記１６）
オブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングする段階と、
第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングする段階と、
前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングする段階と、を含むオーディオ提供方法。
（付記１７）
前記オブジェクトオーディオ信号をレンダリングする段階は、
前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する段階と、
前記変換された三次元座標情報を基に、距離制御情報を生成する段階と、
前記変換された三次元座標情報を基に、デプス制御情報を生成する段階と、
前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する段階と、
前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含むことを特徴とする付記１６に記載のオーディオ提供方法。
（付記１８）
前記距離制御情報を生成する段階は、
前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることを特徴とする付記１７に記載のオーディオ提供方法。
（付記１９）
前記デプス制御情報を生成する段階は、
前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、
前記デプスゲインは、
ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現されることを特徴とする付記１８に記載のオーディオ提供方法。
（付記２０）
前記定位情報を生成する段階は、
前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することを特徴とする付記１９に記載のオーディオ提供方法。
（付記２１）
前記レンダリングする段階は、
前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることを特徴とする付記２０に記載のオーディオ提供方法。
（付記２２）
前記オブジェクトオーディオ信号をレンダリングする段階は、
前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することを特徴とする付記１７に記載のオーディオ提供段階。
（付記２３）
前記オーディオ提供装置が同一高度を有する複数のスピーカを利用して、オーディオを再生する場合、
前記オブジェクトオーディオ信号をレンダリングする段階は、
前記オブジェクトオーディオ信号のスペクトル特性を補正し、前記オブジェクトオーディオ信号に仮想高度情報を算出する段階と、
前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含むことを特徴とする付記１６に記載のオーディオ提供方法。
（付記２４）
前記算出する段階は、
複数の段階で構成されたツリー構造をなす仮想フィルタを利用して、前記オブジェクトオーディオ信号の仮想高度情報を算出することを特徴とする付記２３に記載のオーディオ提供方法。
（付記２５）
前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、
前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元であることを特徴とする付記１６に記載のオーディオ提供方法。
（付記２６）
前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、
前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元であることを特徴とする付記１６に記載のオーディオ提供方法。
（付記２７）
前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含むことを特徴とする付記１６に記載のオーディオ提供方法。
【符号の説明】
【０１５７】
１００  オーディオ提供装置
１１０  入力部
１２０  分離部
１３０  オブジェクト・レンダリング部
１４０  チャネル・レンダリング部
１５０  ミキシング部
１６０  出力部
【図１】
2020025348.tif 000009
【図２】
2020025348.tif 000010
【図３】
2020025348.tif 000011
【図４】
2020025348.tif 000012
【図５Ａ】
2020025348.tif 000013
【図５Ｂ】
2020025348.tif 000014
【図６】
2020025348.tif 000015
【図７Ａ】
2020025348.tif 000016
【図７Ｂ】
2020025348.tif 000017
【図８Ａ】
2020025348.tif 000018
【図８Ｂ】
2020025348.tif 000019
【図８Ｃ】
2020025348.tif 000020
【図８Ｄ】
2020025348.tif 000021
【図８Ｅ】
2020025348.tif 000022
【図８Ｆ】
2020025348.tif 000023
【図８Ｇ】
2020025348.tif 000024
【図９】
2020025348.tif 000025
【図１０】
2020025348.tif 000026