(57)【要約】  本発明は、マルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御に関し、その目的は、マルチオブジェクト又はマルチチャネルオーディオ信号をデコードする過程において、空間キューを用いてマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリングを制御する方法及び装置を提供することである。上記の目的を達成するための本発明は、空間キューベースのマルチオブジェクト又はマルチチャネルオーディオ信号のデコード過程において、空間キュー領域でのレンダリングを制御する。
2009525671.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号のレンダリング制御装置において、
空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、
空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段と
を備え、
前記デコード手段が、
前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行うことを特徴とするオーディオ信号のレンダリング制御装置。
【請求項２】
前記空間キュー情報が、下記［数１］で表現される、入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）であり、
前記空間キューレンダリング手段が、
前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパース部と、
該ＣＬＤパース部で抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換部と、
該ゲイン要素変換部で抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御部と
を備えることを特徴とする請求項１に記載のオーディオ信号のレンダリング制御装置。
【数１】
2009525671.tif 000072
（ここで、
【数２】
2009525671.tif 000073
はＣＬＤインデックス（
【数３】
2009525671.tif 000074
）、Ｎはｍ番目のサブバンドにおける入力オーディオ信号の個数、
【数４】
2009525671.tif 000075
はｍ番目のサブバンドにおけるｋ番目の入力オーディオ信号に対するサブバンドパワーである。）
【請求項３】
前記ゲイン要素変換部が、
下記［数２］のように表現される前記入力オーディオ信号のパワーゲイン（
【数５】
2009525671.tif 000076
）を抽出することを特徴とする請求項２に記載のオーディオ信号のレンダリング制御装置。
【数６】
2009525671.tif 000077
（ただし、ｍはサブバンドインデックス、
【数７】
2009525671.tif 000078
はｍ番目のサブバンドにおけるｋ（
【数８】
2009525671.tif 000079
）番目の入力オーディオ信号に対するサブバンドパワーゲイン、
【数９】
2009525671.tif 000080
はｍ番目のサブバンドにおける全ての入力オーディオ信号のパワーゲインを示すベクトルである。）
【請求項４】
前記ゲイン要素制御部が、
前記ゲイン要素変換部で抽出された入力オーディオ信号のパワーゲイン（
【数１０】
2009525671.tif 000081
）を、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数３］で表現される、制御されたパワーゲイン（
【数１１】
2009525671.tif 000082
）を算出することを特徴とする請求項３に記載のオーディオ信号のレンダリング制御装置。
【数１２】
2009525671.tif 000083
（ただし、Ｍは出力オーディオ信号の個数、Ｎは入力オーディオ信号の個数、
【数１３】
2009525671.tif 000084
はＭ×Ｎ次元のベクトルであって、前記パンニング法に従って前記入力オーディオ信号（
【数１４】
2009525671.tif 000085
）が任意の出力オーディオ信号間にマッピングされるように算出される係数
【数１５】
2009525671.tif 000086
から構成される。）
【請求項５】
前記パンニング法が、コンスタントパワーパンニング（Ｃｏｎｓｔａｎｔ  Ｐｏｗｅｒ  ｐａｎｎｉｎｇ、ＣＰＰ）法であり、
前記
【数１６】
2009525671.tif 000087
は、それぞれ
【数１７】
2009525671.tif 000088
であり、
前記
【数１８】
2009525671.tif 000089
は、前記入力オーディオ信号（
【数１９】
2009525671.tif 000090
）がマッピングされる前記出力オーディオ信号間の角度情報であることを特徴とする請求項４に記載のオーディオ信号のレンダリング制御装置。
【請求項６】
前記空間キューレンダリング手段が、
前記ゲイン要素制御部から出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換部を更に備え、
前記デコード手段が、
前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換部によって変換されたＣＬＤ値を用いることを特徴とする請求項２に記載のオーディオ信号のレンダリング制御装置。
【請求項７】
前記ＣＬＤ変換部が、
下記［数４］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項６に記載のオーディオ信号のレンダリング制御装置。
【数２０】
2009525671.tif 000091
（ただし、ｃｏｎｖｅｒｔｅｄ
【数２１】
2009525671.tif 000092
は前記ＣＬＤ変換部で変換されたＣＬＤ値、
【数２２】
2009525671.tif 000093
はＣＬＤインデックス（
【数２３】
2009525671.tif 000094
）、Ｍはｍ番目のサブバンドにおけるオーディオ信号の個数、
【数２４】
2009525671.tif 000095
はそれぞれ前記制御されたパワーゲインであって、ｍ番目のサブバンドにおけるｊ番目、ｋ番目のオーディオ信号に対する制御されたパワーゲインである。）
【請求項８】
前記デコード手段が、
ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項１に記載のオーディオ信号のレンダリング制御装置。
【請求項９】
オーディオ信号のレンダリング制御装置において、
空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、
空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段と
を備え、
前記デコード手段が、
前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
前記空間キュー情報が、
【数２５】
2009525671.tif 000096
で表現される、入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）であり、
前記空間キューレンダリング手段が、
前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパース部と、
該ＣＬＤパース部で抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換部と、
該ゲイン要素変換部で抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御部と
を備え、
前記
【数２６】
2009525671.tif 000097
において、
【数２７】
2009525671.tif 000098
はサブバンドインデックス、
【数２８】
2009525671.tif 000099
はパラメータセットインデックスであることを特徴とするオーディオ信号のレンダリング制御装置。
【請求項１０】
前記ゲイン要素変換部が、
下記［数５］のように表現される前記入力オーディオ信号のパワーゲイン（
【数２９】
2009525671.tif 000100
）を抽出することを特徴とする請求項９に記載のオーディオ信号のレンダリング制御装置。
【数３０】
2009525671.tif 000101
（ただし、
【数３１】
2009525671.tif 000102
の係数はｍ番目のサブバンドのパワーゲイン、
【数３２】
2009525671.tif 000103
はｍ番目のサブバンドにおける全ての入力オーディオ信号のパワーゲインを示すベクトルである。）
【請求項１１】
前記ゲイン要素制御部が、
前記ゲイン要素変換部で抽出された入力オーディオ信号のパワーゲイン（
【数３３】
2009525671.tif 000104
）を、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数６］で表現される、制御されたパワーゲイン（
【数３４】
2009525671.tif 000105
）を算出することを特徴とする請求項１０に記載のオーディオ信号のレンダリング制御装置。
【数３５】
2009525671.tif 000106
（ただし、Ｍは出力オーディオ信号の個数、Ｎは入力オーディオ信号の個数、
【数３６】
2009525671.tif 000107
はＭ×Ｎ次元のベクトルであって、上記パンニング法に従って前記入力オーディオ信号（
【数３７】
2009525671.tif 000108
）が任意の出力オーディオ信号間にマッピングされるように算出される係数
【数３８】
2009525671.tif 000109
から構成される。）
【請求項１２】
前記パンニング法が、コンスタントパワーパンニング（Ｃｏｎｓｔａｎｔ  Ｐｏｗｅｒ  Ｐａｎｎｉｎｇ、ＣＰＰ）法であり、
前記
【数３９】
2009525671.tif 000110
は、下記［数７］で表現されることを特徴とする請求項１１に記載のオーディオ信号のレンダリング制御装置。
【数４０】
2009525671.tif 000111
（ただし、
【数４１】
2009525671.tif 000112
は前記入力オーディオ信号（
【数４２】
2009525671.tif 000113
）がマッピングされる前記出力オーディオ信号間の角度情報、
【数４３】
2009525671.tif 000114
は前記出力オーディオ信号間の角度情報、
【数４４】
2009525671.tif 000115
は前記出力オーディオ信号中における基準出力オーディオ信号の角度情報である。）
【請求項１３】
前記空間キューレンダリング手段が、
前記ゲイン要素制御部から出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換部を更に備え、
前記デコード手段が、
前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換部によって変換されたＣＬＤ値を用いることを特徴とする請求項９に記載のオーディオ信号のレンダリング制御装置。
【請求項１４】
前記ＣＬＤ変換部が、
下記［数８］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項１３に記載のオーディオ信号のレンダリング制御装置。
【数４５】
2009525671.tif 000116
【請求項１５】
前記デコード手段が、
ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項９に記載のオーディオ信号のレンダリング制御装置。
【請求項１６】
オーディオ信号のレンダリング制御装置において、
空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、
空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段と
を備え、
前記デコード手段が、
前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、特に、前記ダウンミックス信号のＬ０及びＲ０から、下記［数９］により、中央信号（Ｃ）、左半平面信号（Ｌｆ＋Ｌｓ）及び右半平面信号（Ｒｆ＋Ｒｓ）を抽出し、
前記空間キュー情報が、
【数４６】
2009525671.tif 000117
で表現される、入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）であり、
前記空間キューレンダリング手段が、
前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパース部と、
該ＣＬＤパース部で抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換部と、
該ゲイン要素変換部で抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御部と
を備えることを特徴とするオーディオ信号のレンダリング制御装置。
【数４７】
2009525671.tif 000118
（ただし、
【数４８】
2009525671.tif 000119
（ｉ，ｊはベクトル行列インデックス、
【数４９】
2009525671.tif 000120
はサブバンドインデックス、
【数５０】
2009525671.tif 000121
はパラメータセットインデックス）は前記ＣＬＤ（
【数５１】
2009525671.tif 000122
及び
【数５２】
2009525671.tif 000123
）から算出されるパワーゲインから生成される係数、
【数５３】
2009525671.tif 000124
はサブバンドの個数、
【数５４】
2009525671.tif 000125
はそれぞれ中央信号、左前信号、左後信号、右前信号、右後信号のパワーゲイン、
【数５５】
2009525671.tif 000126
は
【数５６】
2009525671.tif 000127
の組合せに比例するパンニング法による投影パワー、
【数５７】
2009525671.tif 000128
は
【数５８】
2009525671.tif 000129
の組合せに比例するパンニング法による投影パワー、
【数５９】
2009525671.tif 000130
及び
【数６０】
2009525671.tif 000131
はそれぞれ左半平面及び右半平面の中央チャネルに対するパンニングパワーゲインである。）
【請求項１７】
前記ゲイン要素変換部が、
前記ＣＬＤ（
【数６１】
2009525671.tif 000132
及び
【数６２】
2009525671.tif 000133
）から前記入力オーディオ信号のパワーゲイン（
【数６３】
2009525671.tif 000134
）を抽出することを特徴とする請求項１６に記載のオーディオ信号のレンダリング制御装置。
【請求項１８】
前記ゲイン要素制御部が、
前記ゲイン要素変換部で抽出された入力オーディオ信号のパワーゲイン（
【数６４】
2009525671.tif 000135
）を、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、前記パワーゲイン（
【数６５】
2009525671.tif 000136
）を追加的に算出し、
該算出されたパワーゲイン（
【数６６】
2009525671.tif 000137
）に基づいて制御されたパワーゲインを算出することを特徴とする請求項１７に記載のオーディオ信号のレンダリング制御装置。
【請求項１９】
前記制御されたパワーゲインが、下記［数１０］によって算出されることを特徴とする請求項１８に記載のオーディオ信号のレンダリング制御装置。
【数６７】
2009525671.tif 000138
【請求項２０】
前記デコード手段が、
ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項１６に記載のオーディオ信号のレンダリング制御装置。
【請求項２１】
オーディオ信号のレンダリング制御装置において、
空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、
空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段と
を備え、
前記デコード手段が、
前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
前記空間キュー情報が、入力オーディオ信号のダウンミックス比率を示すＣＰＣ（Ｃｈａｎｎｅｌ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔ）及び入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）であり、
前記空間キューレンダリング手段が、
前記エンコード手段から伝送されるＣＰＣ及びＣＬＤの各々からＣＰＣパラメータ及びＣＬＤパラメータを抽出するＣＰＣ／ＣＬＤパース部と、
該ＣＰＣ／ＣＬＤパース部で抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出して各信号のパワーゲインを算出し、ＣＬＤパラメータから左信号成分及び右信号成分の各々のパワーゲインを抽出するゲイン要素変換部と、
該ゲイン要素変換部で抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御部と
を備えることを特徴とするオーディオ信号のレンダリング制御装置。
【請求項２２】
前記ゲイン要素変換部が、
下記［数１１］により、前記ＣＰＣ／ＣＬＤパース部で抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出することを特徴とする請求項２１に記載のオーディオ信号のレンダリング制御装置。
【数６８】
2009525671.tif 000139
（ただし、
【数６９】
2009525671.tif 000140
はそれぞれ入力オーディオ信号のＬ０及びＲ０、左半平面信号（Ｌｓ＋Ｌｆ）、右半平面信号（Ｒｆ＋Ｒｓ）及び中央信号（Ｃ）であり、
【数７０】
2009525671.tif 000141
は前記ＣＰＣ／ＣＬＤパース部で抽出されたＣＰＣパラメータベクトルである。）
【請求項２３】
前記ＣＰＣ／ＣＬＤパース部で抽出されたＣＬＤパラメータが、左信号成分間のレベル差情報及び右信号成分間のレベル差情報（
【数７１】
2009525671.tif 000142
）であり、
前記ゲイン要素変換部が、
前記抽出された中央信号、左半平面信号及び右半平面信号から、前記ＣＬＤパラメータに基づいて左信号成分（Ｌｓ，Ｌｆ）及び右信号成分（Ｒｆ，Ｒｓ）の各々のパワーゲインを算出することを特徴とする請求項２２に記載のオーディオ信号のレンダリング制御装置。
【請求項２４】
前記ゲイン要素制御部が、
前記ゲイン要素変換部で抽出された入力オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数１２］で表現される、制御されたパワーゲインを算出することを特徴とする請求項２３に記載のオーディオ信号のレンダリング制御装置。
【数７２】
2009525671.tif 000143
（ただし、
【数７３】
2009525671.tif 000144
は入力オーディオ信号のパワーゲインベクトル、
【数７４】
2009525671.tif 000145
は制御されたパワーゲインベクトル、Ｍは出力オーディ信号の個数、Ｎは入力オーディオ信号の個数、
【数７５】
2009525671.tif 000146
はＭ×Ｎ次元のベクトルであって、前記パンニング法に従って前記入力オーディオ信号（
【数７６】
2009525671.tif 000147
）が任意の出力オーディオ信号間にマッピングされるように算出される係数
【数７７】
2009525671.tif 000148
から構成される。）
【請求項２５】
前記パンニング法が、コンスタントパワーパンニング（Ｃｏｎｓｔａｎｔ  Ｐｏｗｅｒ  Ｐａｎｎｉｎｇ、ＣＰＰ）法であり、
前記
【数７８】
2009525671.tif 000149
は、それぞれ
【数７９】
2009525671.tif 000150
であり、
前記
【数８０】
2009525671.tif 000151
は、前記入力オーディオ信号（
【数８１】
2009525671.tif 000152
）がマッピングされる前記出力オーディオ信号間の角度情報であることを特徴とする請求項２４に記載のオーディオ信号のレンダリング制御装置。
【請求項２６】
前記空間キューレンダリング手段が、
前記ゲイン要素制御部から出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換部を更に備え、
前記デコード手段が、
前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換部によって変換されたＣＬＤ値を用いることを特徴とする請求項２１に記載のオーディオ信号のレンダリング制御装置。
【請求項２７】
前記ＣＬＤ変換部が、
下記［数１３］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項２６に記載のオーディオ信号のレンダリング制御装置。
【数８２】
2009525671.tif 000153
（ただし、ｃｏｎｖｅｒｔｅｄ
【数８３】
2009525671.tif 000154
は前記ＣＬＤ変換部で変換されたＣＬＤ値、
【数８４】
2009525671.tif 000155
はＣＬＤインデックス（
【数８５】
2009525671.tif 000156
）、Ｍはｍ番目のサブバンドにおけるオーディオ信号の個数、
【数８６】
2009525671.tif 000157
はそれぞれ前記制御されたパワーゲインであって、ｍ番目のサブバンドにおけるｊ番目、ｋ番目のオーディオ信号に対する制御されたパワーゲインである。）
【請求項２８】
前記デコード手段が、
ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項２１に記載のオーディオ信号のレンダリング制御装置。
【請求項２９】
オーディオ信号のレンダリング制御装置において、
空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、
空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段と
を備え、
前記デコード手段が、
前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
前記空間キュー情報が、入力オーディオ信号間の相関性を示すＩＣＣ（Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ  Ｃｏｒｒｅｌａｔｉｏｎ）であり、
前記空間キューレンダリング手段が、
線形補間過程により、下記［数１４］のように、ＩＣＣパラメータを制御することを特徴とするオーディオ信号のレンダリング制御装置。
【数８７】
2009525671.tif 000158
（ただし、
【数８８】
2009525671.tif 000159
は前記入力オーディオ信号のレンダリングに関する制御情報である。）
【請求項３０】
前記デコード手段が、
ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項２９に記載のオーディオ信号のレンダリング制御装置。
【請求項３１】
オーディオ信号のレンダリング制御方法において、
空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、
空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップと
を含み、
前記デコードステップが、
前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行うことを特徴とするオーディオ信号のレンダリング制御方法。
【請求項３２】
前記空間キュー情報が、下記［数１５］で表現される、入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）であり、
前記空間キューレンダリングステップが、
前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパースステップと、
該ＣＬＤパースステップで抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換ステップと、
該ゲイン要素変換ステップで抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御ステップと
を含むことを特徴とする請求項３１に記載のオーディオ信号のレンダリング制御方法。
【数８９】
2009525671.tif 000160
（ここで、
【数９０】
2009525671.tif 000161
はＣＬＤインデックス（
2009525671.tif 000162
）、Ｎはｍ番目のサブバンドにおける入力オーディオ信号の個数、
【数９１】
2009525671.tif 000163
はｍ番目のサブバンドにおけるｋ番目の入力オーディオ信号に対するサブバンドパワーである。）
【請求項３３】
前記ゲイン要素変換ステップが、
下記［数１６］のように表現される前記入力オーディオ信号のパワーゲイン（
【数９２】
2009525671.tif 000164
）を抽出することを特徴とする請求項３２に記載のオーディオ信号のレンダリング制御方法。
【数９３】
2009525671.tif 000165
（ただし、ｍはサブバンドインデックス、
【数９４】
2009525671.tif 000166
はｍ番目のサブバンドにおける
【数９５】
2009525671.tif 000167
の入力オーディオ信号に対するサブバンドパワーゲイン、
【数９６】
2009525671.tif 000168
はｍ番目のサブバンドにおける全ての入力オーディオ信号のパワーゲインを示すベクトルである。）
【請求項３４】
前記ゲイン要素制御ステップが、
前記ゲイン要素変換ステップで抽出された入力オーディオ信号のパワーゲイン（
【数９７】
2009525671.tif 000169
）を、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数１７］で表現される、制御されたパワーゲイン（
【数９８】
2009525671.tif 000170
）を算出することを特徴とする請求項３３に記載のオーディオ信号のレンダリング制御方法。
【数９９】
2009525671.tif 000171
（ただし、Ｍは出力オーディオ信号の個数、Ｎは入力オーディオ信号の個数、
【数１００】
2009525671.tif 000172
はＭ×Ｎ次元のベクトルであって、前記パンニング法に従って前記入力オーディオ信号（
【数１０１】
2009525671.tif 000173
）が任意の出力オーディオ信号間にマッピングされるように算出される係数
【数１０２】
2009525671.tif 000174
から構成される。）
【請求項３５】
前記パンニング法が、コンスタントパワーパンニング（Ｃｏｎｓｔａｎｔ  Ｐｏｗｅｒ  Ｐａｎｎｉｎｇ、ＣＰＰ）法であり、
前記
【数１０３】
2009525671.tif 000175
は、それぞれ
【数１０４】
2009525671.tif 000176
であり、
前記
【数１０５】
2009525671.tif 000177
は、前記入力オーディオ信号（
【数１０６】
2009525671.tif 000178
）がマッピングされる前記出力オーディオ信号間の角度情報であることを特徴とする請求項３４に記載のオーディオ信号のレンダリング制御方法。
【請求項３６】
前記空間キューレンダリングステップが、
前記ゲイン要素制御ステップで出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換ステップを更に含み、
前記デコードステップが、
前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換ステップで変換されたＣＬＤ値を用いることを特徴とする請求項３２に記載のオーディオ信号のレンダリング制御方法。
【請求項３７】
前記ＣＬＤ変換ステップが、
下記［数１８］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項３６に記載のオーディオ信号のレンダリング制御方法。
【数１０７】
2009525671.tif 000179
2009525671.tif 000180
【請求項３８】
前記デコードステップが、
ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項３１に記載のオーディオ信号のレンダリング制御方法。
【請求項３９】
オーディオ信号のレンダリング制御方法において、
空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、
空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップと
を含み、
前記デコードステップが、
前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
前記空間キュー情報が、
【数１０８】
2009525671.tif 000181
で表現される、入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）であり、
前記空間キューレンダリングステップが、
前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパースステップと、
該ＣＬＤパースステップで抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換ステップと、
該ゲイン要素変換ステップで抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御ステップと
を含み、
2009525671.tif 000182
【請求項４０】
前記ゲイン要素変換ステップが、
下記［数１９］のように表現される前記入力オーディオ信号のパワーゲイン（
【数１０９】
2009525671.tif 000183
）を抽出することを特徴とする請求項３９に記載のオーディオ信号のレンダリング制御方法。
【数１１０】
2009525671.tif 000184
（ただし、
【数１１１】
2009525671.tif 000185
の係数はｍ番目のサブバンドのパワーゲイン、
【数１１２】
2009525671.tif 000186
はｍ番目のサブバンドにおける全ての入力オーディオ信号のパワーゲインを示すベクトルである。）
【請求項４１】
前記ゲイン要素制御ステップが、
前記ゲイン要素変換ステップで抽出された入力オーディオ信号のパワーゲイン（
【数１１３】
2009525671.tif 000187
）を、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数２０］で表現される、制御されたパワーゲイン（
【数１１４】
2009525671.tif 000188
）を算出することを特徴とする請求項４０に記載のオーディオ信号のレンダリング制御方法。
【数１１５】
2009525671.tif 000189
2009525671.tif 000190
【請求項４２】
前記パンニング法が、コンスタントパワーパンニング（Ｃｏｎｓｔａｎｔ  Ｐｏｗｅｒ  Ｐａｎｎｉｎｇ、ＣＰＰ）法であり、
前記、
【数１１６】
2009525671.tif 000191
は、下記［数２１］で表現されることを特徴とする請求項４１に記載のオーディオ信号のレンダリング制御方法。
【数１１７】
2009525671.tif 000192
2009525671.tif 000193
【請求項４３】
前記空間キューレンダリングステップが、
前記ゲイン要素制御ステップで出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換ステップを更に含み、
前記デコードステップが、
前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換ステップで変換されたＣＬＤ値を用いることを特徴とする請求項３９に記載のオーディオ信号のレンダリング制御方法。
【請求項４４】
前記ＣＬＤ変換ステップが、
下記［数２２］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項４３に記載のオーディオ信号のレンダリング制御方法。
【数１１８】
2009525671.tif 000194
【請求項４５】
前記デコードステップが、
ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項３９に記載のオーディオ信号のレンダリング制御方法。
【請求項４６】
オーディオ信号のレンダリング制御方法において、
空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、
空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップと
を含み、
前記デコードステップが、
前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、特に、前記ダウンミックス信号のＬ０及びＲ０から、下記［数２３］により、中央信号（Ｃ）、左半平面信号（Ｌｆ＋Ｌｓ）及び右半平面信号（Ｒｆ＋Ｒｓ）を抽出し、
2009525671.tif 000195
前記空間キューレンダリングステップが、
前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパースステップと、
該ＣＬＤパースステップで抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換ステップと、
該ゲイン要素変換ステップで抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御ステップと
を含むことを特徴とするオーディオ信号のレンダリング制御方法。
【数１１９】
2009525671.tif 000196
2009525671.tif 000197
【請求項４７】
前記ゲイン要素変換ステップが、
2009525671.tif 000198
を抽出することを特徴とする請求項４６に記載のオーディオ信号のレンダリング制御方法。
【請求項４８】
前記ゲイン要素制御ステップが、
2009525671.tif 000199
に基づいて制御されたパワーゲインを算出することを特徴とする請求項４７に記載のオーディオ信号のレンダリング制御方法。
【請求項４９】
前記制御されたパワーゲインが、下記［数２４］によって算出されることを特徴とする請求項４８に記載のオーディオ信号のレンダリング制御方法。
【数１２０】
2009525671.tif 000200
【請求項５０】
前記デコードステップが、
ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項４６に記載のオーディオ信号のレンダリング制御方法。
【請求項５１】
オーディオ信号のレンダリング制御方法において、
空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、
空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップと
を含み、
前記デコードステップが、
前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
前記空間キュー情報が、入力オーディオ信号のダウンミックス比率を示すＣＰＣ（Ｃｈａｎｎｅｌ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔ）及び入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）であり、
前記空間キューレンダリングステップが、
前記エンコード手段から伝送されるＣＰＣ及びＣＬＤの各々からＣＰＣパラメータ及びＣＬＤパラメータを抽出するＣＰＣ／ＣＬＤパースステップと、
該ＣＰＣ／ＣＬＤパースステップで抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出して各信号のパワーゲインを算出し、ＣＬＤパラメータから左信号成分及び右信号成分の各々のパワーゲインを抽出するゲイン要素変換ステップと、
該ゲイン要素変換ステップで抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御ステップと
を含むことを特徴とするオーディオ信号のレンダリング制御方法。
【請求項５２】
前記ゲイン要素変換ステップが、
下記［数２５］により、前記ＣＰＣ／ＣＬＤパースステップで抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出することを特徴とする請求項５１に記載のオーディオ信号のレンダリング制御方法。
【数１２１】
2009525671.tif 000201
2009525671.tif 000202
【請求項５３】
前記ＣＰＣ／ＣＬＤパースステップで抽出されたＣＬＤパラメータが、左信号成分間のレベル差情報及び右信号成分間のレベル差情報（
【数１２２】
2009525671.tif 000203
）であり、
前記ゲイン要素変換ステップが、
前記抽出された中央信号、左半平面信号及び右半平面信号から、前記ＣＬＤパラメータに基づいて左信号成分（Ｌｓ，Ｌｆ）及び右信号成分（Ｒｆ，Ｒｓ）の各々のパワーゲインを算出することを特徴とする請求項５２に記載のオーディオ信号のレンダリング制御方法。
【請求項５４】
前記ゲイン要素制御ステップが、
前記ゲイン要素変換ステップで抽出された入力オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数２６］で表現される、制御されたパワーゲインを算出することを特徴とする請求項５３に記載のオーディオ信号のレンダリング制御方法。
【数１２３】
2009525671.tif 000204
2009525671.tif 000205
【請求項５５】
2009525671.tif 000206
がマッピングされる前記出力オーディオ信号間の角度情報であることを特徴とする請求項５４に記載のオーディオ信号のレンダリング制御方法。
【請求項５６】
前記空間キューレンダリングステップが、
前記ゲイン要素制御ステップで出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換ステップを更に含み、
前記デコードステップが、
前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換ステップで変換されたＣＬＤ値を用いることを特徴とする請求項５１に記載のオーディオ信号のレンダリング制御方法。
【請求項５７】
前記ＣＬＤ変換ステップが、
下記［数２７］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項５６に記載のオーディオ信号のレンダリング制御方法。
【数１２４】
2009525671.tif 000207
2009525671.tif 000208
それぞれ前記制御されたパワーゲインであって、ｍ番目のサブバンドにおけるｊ番目、ｋ番目のオーディオ信号に対する制御されたパワーゲインである。）
【請求項５８】
前記デコードステップが、
ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項５１に記載のオーディオ信号のレンダリング制御方法。
【請求項５９】
オーディオ信号のレンダリング制御方法において、
空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、
空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップと
を含み、
前記デコードステップが、
前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
前記空間キュー情報が、入力オーディオ信号間の相関性を示すＩＣＣ（Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ  Ｃｏｒｒｅｌａｔｉｏｎ）であり、
前記空間キューレンダリングステップが、
線形補間過程により、下記［数２８］のように、ＩＣＣパラメータを制御することを特徴とするオーディオ信号のレンダリング制御方法。
【数１２５】
2009525671.tif 000209
【請求項６０】
前記デコードステップが、
ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項５９に記載のオーディオ信号のレンダリング制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御に関し、より詳細には、マルチオブジェクト又はマルチチャネルのオーディオ信号をデコードする過程において、空間キュー（ｓｐａｔｉａｌ  ｃｕｅ）を用いてマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリングを制御する方法及び装置に関する。
【背景技術】
【０００２】
図１は、従来のマルチオブジェクト又はマルチチャネルオーディオ信号のエンコーダに関する一実施形態を概略的に示す図であり、図示のように、従来のマルチオブジェクト又はマルチチャネルオーディオ信号のエンコーダに関する一実施形態であって、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式のエンコーダ１０１は、入力信号のマルチオブジェクト又はマルチチャネルオーディオ信号から後述の空間キューを抽出して伝送し、オーディオ信号をダウンミックスしてモノ又はステレオ信号として伝送する。
【０００３】
ＳＡＣ技術は、マルチオブジェクト又はマルチチャネルオーディオ信号をダウンミックスされたモノ又はステレオ信号及び空間キュー情報として表現、伝送及び復元する方法に関するものであり、低ビットレートでも高品質のマルチチャネル信号を伝送できる技術である。ＳＡＣ技術の主な戦略は、マルチオブジェクト又はマルチチャネルオーディオ信号をサブバンド毎に分析し、サブバンド毎の空間キュー情報に基づいてダウンミックスされた信号から原信号を復元することである。したがって、空間キュー情報は、デコード過程において原信号の復元のための重要な情報を含み、ＳＡＣデコード装置で再生されるオーディオ信号の音質を左右する主な要因である。ＳＡＣ技術を根幹とするＭＰＥＧは、ＭＰＥＧサラウンドという名称でＳＡＣ技術に関する標準化を進めており、ＣＬＤ（Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）を空間キューとして活用する。
【０００４】
本発明は、エンコーダからダウンミックスされ伝送されたマルチオブジェクト又はマルチチャネルオーディオ信号をデコードする過程において、エンコーダから伝送された空間キューを用いてマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリングを制御する方法及び装置に関する。
【０００５】
従来技術によれば、モノ又はステレオベースのオーディオ信号の再生のために、周波数分析器を用いたグラフィックイコライザが主に活用されていた。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、マルチオブジェクト又はマルチチャネルオーディオ信号は、当該オーディオ信号の位置を空間上に多様に提供できるとはいえ、現在、マルチオブジェクト又はマルチチャネルオーディオ信号によって生成されるオーディオ信号の位置は、デコード装置に固有のものとして認知され再生されるのにとどまっている。
【０００７】
本発明の目的は、マルチオブジェクト又はマルチチャネルオーディオ信号をデコードする過程において、空間キューを用いてマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリングを制御する方法及び装置を提供することである。
【０００８】
本発明の属する技術分野における通常の知識を有する者は、本明細書の図面、発明の詳細な説明及び特許請求の範囲から本発明の他の目的及び長所を容易に認識することができる。
【課題を解決するための手段】
【０００９】
上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御装置において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段とを備え、前記デコード手段が、前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行うオーディオ信号のレンダリング制御装置を提供する。
【００１０】
2009525671.tif 000003
【００１１】
2009525671.tif 000004
【００１２】
また、上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御装置において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段とを備え、前記デコード手段が、前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、前記空間キュー情報が、入力オーディオ信号のダウンミックス比率を示すＣＰＣ（Ｃｈａｎｎｅｌ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔ）及び入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）であり、前記空間キューレンダリング手段が、前記エンコード手段から伝送されるＣＰＣ及びＣＬＤの各々からＣＰＣパラメータ及びＣＬＤパラメータを抽出するＣＰＣ／ＣＬＤパース部と、該ＣＰＣ／ＣＬＤパース部で抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出して各信号のパワーゲインを算出し、ＣＬＤパラメータから左信号成分及び右信号成分の各々のパワーゲインを抽出するゲイン要素変換部と、該ゲイン要素変換部で抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御部とを備えるオーディオ信号のレンダリング制御装置を提供する。
【００１３】
更に、上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御装置において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段とを備え、前記デコード手段が、前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、前記空間キュー情報が、入力オーディオ信号間の相関性を示すＩＣＣ（Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ  Ｃｏｒｒｅｌａｔｉｏｎ）であり、前記空間キューレンダリング手段が、線形補間過程により、ＩＣＣパラメータを制御するオーディオ信号のレンダリング制御装置を提供する。
【００１４】
また、上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御方法において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップとを含み、前記デコードステップが、前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行うオーディオ信号のレンダリング制御方法を提供する。
【００１５】
2009525671.tif 000005
【００１６】
2009525671.tif 000006
【００１７】
更に、上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御方法において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップとを含み、前記デコードステップが、前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、前記空間キュー情報が、入力オーディオ信号のダウンミックス比率を示すＣＰＣ（Ｃｈａｎｎｅｌ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔ）及び入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）であり、前記空間キューレンダリングステップが、前記エンコード手段から伝送されるＣＰＣ及びＣＬＤの各々からＣＰＣパラメータ及びＣＬＤパラメータを抽出するＣＰＣ／ＣＬＤパースステップと、該ＣＰＣ／ＣＬＤパースステップで抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出して各信号のパワーゲインを算出し、ＣＬＤパラメータから左信号成分及び右信号成分の各々のパワーゲインを抽出するゲイン要素変換ステップと、該ゲイン要素変換ステップで抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御ステップとを含むオーディオ信号のレンダリング制御方法を提供する。
【００１８】
なお、上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御方法において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップとを含み、前記デコードステップが、前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、前記空間キュー情報が、入力オーディオ信号間の相関性を示すＩＣＣ（Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ  Ｃｏｒｒｅｌａｔｉｏｎ）であり、前記空間キューレンダリングステップが、線形補間過程により、ＩＣＣパラメータを制御するオーディオ信号のレンダリング制御方法を提供する。
【００１９】
本発明によれば、ユーザ又は外部連動システムの要請に応じた空間キューの直接制御によりマルチオブジェクト又はマルチチャネルオーディオ信号の位置を柔軟に制御することができる。
【発明の効果】
【００２０】
本発明によれば、マルチオブジェクト又はマルチチャネルオーディオ信号をデコードする過程において、空間キューを用いてマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリングを制御する方法及び装置を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下の内容は、単に本発明の原理を例示している。そのため、当業者は、たとえ本明細書に明確に説明又は図示されていなくても、本発明の原理を具現し、本発明の概念及び範囲に含まれた多様な装置を発明することができる。また、本明細書に挙げられた全ての条件付き用語及び実施形態は原則的に、本発明の概念が理解されるようにする目的としてのみ明確に意図されており、このように特別に挙げられた実施形態及び状態に限るものではないものとして理解されなければならない。更に、本発明の原理、観点及び実施形態のみならず、特定の実施形態を挙げた全ての詳細な説明は、このような事項の構造的及び機能的均等物を含むように意図されたものとして理解されなければならない。なお、このような均等物は、現在公知の均等物のみならず、将来開発される均等物、すなわち、構造とは無関係に同じ機能を果たすように発明された全ての素子を含むものとして理解されなければならない。したがって、例えば、本明細書のブロック図は、本発明の原理を具体化する例示的な回路の概念的な観点を示すものとして理解されなければならない。これと同様に、全てのフローチャート、状態変換図、擬似コードなどは、コンピュータの読取可能な媒体に実質的に示すことができ、コンピュータ又はプロセッサが明確に図示されているかどうかを問わず、コンピュータ又はプロセッサによって行われる多様なプロセスを示すものとして理解されなければならない。
【００２２】
プロセッサ又はこれと類似の概念で表された機能ブロックを含む図に示された多様な素子の機能は、専用ハードウェアのみならず、適切なソフトウェアに関連してソフトウェアを実行する能力を有するハードウェアの使用によって提供可能である。プロセッサによって提供される場合、前記機能は、単一の専用プロセッサ、単一の共有プロセッサ又は複数の個別プロセッサによって提供可能であり、これらの一部は共有可能である。また、プロセッサ、制御又はこれと類似の概念として示される用語の明確な使用は、ソフトウェアを実行する能力を有するハードウェアを排他的に引用して解釈されてはならず、制限なくデジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのＲＯＭ、ＲＡＭ及び不揮発性メモリを暗示的に含むものとして理解されなければならない。周知寛容の他のハードウェアも含むことができる。これと同様に、図示のスイッチは、概念的にのみ示されたものであり得る。このようなスイッチの作用は、プログラムロジック又は専用ロジックにより、プログラム制御及び専用ロジックの相互作用によるか、又は手動で行われ得るものとして理解されなければならない。特定の技術は、本明細書のより詳細な理解のために設計者によって選択可能である。
【００２３】
本明細書の請求の範囲において、詳細な説明に記載された機能を果たすための手段として表現された構成要素は、例えば、上記機能を果たす回路素子の組合せ又はファームウェア／マイクロコードなどを含む全ての形式のソフトウェアを含む機能を果たす全ての方法を含むものとして意図されており、上記機能を果たすように前記ソフトウェアを実行するための適切な回路と結合する。このような請求の範囲によって定義される本発明は、多様に挙げられた手段によって提供される機能が結合し、請求項の要求する方式と結合するため、上記機能を提供し得るいかなる手段も、本明細書から把握されるものと均等のものとして理解されなければならない。
【００２４】
上述した目的、特徴及び長所は、添付図面に関連した以下の詳細な説明により更に明確になるであろう。本発明の説明において、関連する公知技術に関する具体的な説明が、本発明の要旨を不明確にする可能性があると判断された場合、その詳細な説明を省略する。以下、添付図面を参照して本発明に係る好ましい実施形態を詳細に説明する。
【００２５】
図２は、本発明の一実施形態に係るオーディオ信号のレンダリング制御装置を概略的に示す図であって、図示のように、図１のＳＡＣエンコーダ１０１に対応する、ＳＡＣデコード手段２０３を一実施形態として採用した構成であり、空間キューレンダリング手段２０１を更に備えている。
【００２６】
ＳＡＣデコード手段２０３に入力される信号は、エンコーダ（例えば、図１のエンコーダ）から伝送されるダウンミックス信号（モノ又はステレオ）であり、空間キューレンダリング手段２０１に入力される信号は、エンコーダ（例えば、図１のエンコーダ）から伝送される空間キューである。
【００２７】
空間キューレンダリング手段２０１は、空間キュー領域でレンダリングを制御する。すなわち、ＳＡＣデコード手段２０３の出力信号を直接制御してレンダリングを行うのではなく、空間キューからオーディオ信号に関する情報を抽出して制御することによってレンダリングを制御する。
【００２８】
ここで、空間キュー領域とは、エンコーダから伝送された空間キューがパラメータとして認識され制御されるパラメータドメインを意味する。レンダリングとは、入力オーディオ信号が出力される位置及びレベルなどを決定して出力オーディオ信号を生成する過程を意味する。
【００２９】
ＳＡＣデコード手段２０３として、ＭＰＥＧサラウンド、ＢＣＣ（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ）又はＳＳＬＣＣ（Ｓｏｕｎｄ  Ｓｏｕｒｃｅ  Ｌｏｃａｔｉｏｎ  Ｃｕｅ  Ｃｏｄｉｎｇ）などの方式が適用され得、これらに限定されない。
【００３０】
本発明の一実施形態として、活用可能な空間キューの定義は、次のとおりである。
【００３１】
ＣＬＤ［Ｃｈａｎｎｅｌ（ａｕｄｉｏ  ｓｉｇｎａｌ）  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ］：入力オーディオ信号間のレベル差
ＩＣＣ［Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ  Ｃｏｒｒｅｌａｔｉｏｎ］：入力オーディオ信号間の相関性
ＣＰＣ［Ｃｈａｎｎｅｌ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔ］：入力オーディオ信号のダウンミックス比率
すなわち、ＣＬＤは、オーディオ信号のパワーゲイン情報、ＩＣＣは、オーディオ信号間の相関性情報、ＣＴＤは、オーディオ信号間の時間差情報、ＣＰＣは、オーディオ信号のダウンミックスゲイン情報を示す。
【００３２】
空間キューの主な役割は、空間画像、すなわち、サウンドシーンを維持することである。したがって、本発明によれば、オーディオ出力信号を直接操作する代わりに、これらの空間キューパラメータを制御することにより、サウンドシーンを制御することができる。
【００３３】
オーディオ信号の再生環境を考慮する際、空間キューの中で最も多用される空間キューは、ＣＬＤであって、ＣＬＤだけでも基本的な出力信号を生成することができる。そのため、以下では、本発明の一実施形態として、ＣＬＤを中心として空間キュー領域で信号を制御する技術について説明するが、本発明は、ＣＬＤにのみ限定されず、多様な空間キューに関連する実施形態が存在し得るということは、本発明の属する技術分野における通常の知識を有する者にとって自明である。したがって、本発明は、ＣＬＤに限定されないものとして理解されなければならない。
【００３４】
ＣＬＤを用いる一実施形態において、パワーゲイン係数にサウンドパンニング法（ｐａｎｎｉｎｇ  ｌａｗ）を直接適用することにより、マルチオブジェクト又はマルチチャネルオーディオ信号をパンニングすることができる。
【００３５】
2009525671.tif 000007
【００３６】
図４は、本発明の一実施形態として、ＣＬＤを空間キューとして用いた場合における、図２に示す空間キューレンダリング手段２０１の詳細ブロック図である。
【００３７】
図示のように、ＣＬＤを空間キューとして用いる空間キューレンダリング手段２０１は、ＣＬＤパース部４０１と、ゲイン要素変換部４０３と、ゲイン要素制御部４０５と、ＣＬＤ変換部４０７とを備える。
【００３８】
ＣＬＤパース部４０１は、受信した空間キュー（ＣＬＤ）からＣＬＤパラメータを抽出する。
【００３９】
ＣＬＤは、オーディオ信号のレベル差情報を含んでおり、［数１］のように表現される。
【００４０】
【数１】
2009525671.tif 000008
【００４１】
2009525671.tif 000009
【００４２】
【数２】
2009525671.tif 000010
【００４３】
そのため、ｍ番目のサブバンドに対してＭ−１個のＣＬＤ値からＭ個の入力オーディオ信号に対するパワーゲインを算出することができる。
【００４４】
一方、空間キューは、入力オーディオ信号のサブバンド単位で抽出されるため、パワーゲインも、サブバンド単位で抽出される。したがって、ｍ番目のサブバンドに含まれている全ての入力オーディオ信号のパワーゲインを抽出すると、下記［数３］のように、ベクトル行列で表現される。
【００４５】
【数３】
2009525671.tif 000011
【００４６】
2009525671.tif 000012
【００４７】
【数４】
2009525671.tif 000013
【００４８】
2009525671.tif 000014
【００４９】
【数５】
2009525671.tif 000015
【００５０】
これをより具体的に表現すると、下記［数６］のとおりである。
【００５１】
【数６】
2009525671.tif 000016
【００５２】
2009525671.tif 000017
【００５３】
【数７】
2009525671.tif 000018
【００５４】
これをより具体的に表現すると、下記［数８］のとおりである。
【００５５】
【数８】
2009525671.tif 000019
【００５６】
このように、入力オーディオ信号を出力オーディオ信号間にマッピングさせる方法の一般化された一実施形態は、パンニング法を適用したマッピング方法である。パンニング法には、サインパンニング法（Ｓｉｎｅ  Ｐａｎｎｉｎｇ  ｌａｗ）、タンジェントパンニング法（Ｔａｎｇｅｎｔ  Ｐａｎｎｉｎｇ  ｌａｗ）、コンスタントパワーパンニング法（Ｃｏｎｓｔａｎｔ  Ｐｏｗｅｒ  Ｐａｎｎｉｎｇ  ｌａｗ、ＣＰＰ  ｌａｗ）があり、どの方法でも、パンニング法によって達成される目的は同じである。
【００５７】
以下では、本発明の一実施形態として、ＣＰＰを適用してオーディオ信号を所望の位置にマッピングさせる方法について説明するが、本発明は、ＣＰＰにのみ限定されず、多様なパンニング法に関連する実施形態が存在し得るということは、本発明の属する技術分野における通常の知識を有する者にとって自明である。したがって、本発明は、ＣＰＰに限定されないものとして理解されなければならない。
【００５８】
本発明の一実施形態によれば、全てのマルチオブジェクト又はマルチチャネルオーディオ信号は、与えられたパンニング角度に対してＣＰＰに基づいてパンニングされる。また、空間キューを用いるために、ＣＰＰ法が出力オーディオ信号に適用されるのではなく、ＣＬＤ値から抽出されたパワーゲインに適用される。ＣＰＰの適用後、オーディオ信号の制御されたパワーゲインは、ＣＬＤに変換された後、前記変換されたＣＬＤがＳＡＣデコード手段２０３に提供されることにより、パンニングされたマルチオブジェクト又はマルチチャネルオーディオ信号が生成される。
【００５９】
2009525671.tif 000020
【００６０】
【数９】
2009525671.tif 000021
【００６１】
2009525671.tif 000022
これをより具体的に表現すると、下記［数１０］のとおりである。
【００６２】
【数１０】
2009525671.tif 000023
【００６３】
2009525671.tif 000024
【００６４】
本発明の一実施形態によれば、空間キュー領域で空間キュー（例えば、入力オーディオ信号のパワーゲイン情報）を制御し、入力オーディオ信号が所望の位置にマッピングされるようにレンダリングを制御することができる。
【００６５】
以上では、入力オーディオ信号のパワーゲインと出力オーディオ信号のパワーゲインとの個数が等しい場合について説明した。一般的な場合として、出力オーディオ信号のパワーゲインと入力オーディオ信号のパワーゲインとの個数が互いに異なる場合、上記［数６］、［数８］、［数１０］の行列の次元は、Ｍ×Ｍでない、Ｍ×Ｎで表現される。
【００６６】
2009525671.tif 000025
【００６７】
【数１１】
2009525671.tif 000026
【００６８】
2009525671.tif 000027
【００６９】
【数１２】
2009525671.tif 000028
【００７０】
2009525671.tif 000029
【００７１】
【数１３】
2009525671.tif 000030
【００７２】
2009525671.tif 000031
【００７３】
【数１４】
2009525671.tif 000032
【００７４】
2009525671.tif 000033
【００７５】
【数１５】
2009525671.tif 000034
【００７６】
2009525671.tif 000035
【００７７】
【数１６】
2009525671.tif 000036
【００７８】
2009525671.tif 000037
【００７９】
【数１７】
2009525671.tif 000038
【００８０】
以下では、本発明のより具体的な一実施形態として、ＳＡＣデコード手段２０３がＭＰＥＧサラウンドステレオモード（５２５モードと呼ばれ、入力オーディオ信号として左信号のＬ０と右信号のＲ０とを受信し、出力オーディオ信号としてマルチチャネル信号を出力する）の場合に、空間キューとして、ＣＬＤ、ＣＰＣ及びＩＣＣが用いられた場合の構成について説明する。ＭＰＥＧサラウンドステレオモードは、ＩＳＯ／ＩＥＣ  ＪＴＣにより、２００５年２月に公開された国際標準ＭＰＥＧサラウンド（ＷＤ  Ｎ７１３６，２３００３−１：２００６／ＦＤＩＳ）に詳細に開示されている。本明細書において、ＭＰＥＧサラウンドステレオモードは、本発明を説明するための一実施形態に過ぎないことから、その詳細な説明は省略し、本発明の説明に役立つ範囲内で、前記国際標準は、本明細書の一部を構成する。
【００８１】
ＳＡＣデコード手段２０３がＭＰＥＧサラウンドステレオモードの場合、ＳＡＣデコード手段２０３が入力オーディオ信号のＬ０及びＲ０からマルチチャネルを生成するために必要なベクトルの対角行列要素が、下記［数１８］に表されているように、０に固定されており、これは、ＭＰＥＧサラウンドステレオモードにおいて、Ｌｆ、Ｌｓ信号の生成にＲ０信号が寄与できず、Ｒｆ、Ｒｓ信号の生成にＬ０信号が寄与できないということを意味する。したがって、入力オーディオ信号のレンダリングに関する制御情報に基づいてオーディオ信号のレンダリングが不可能である。
【００８２】
【数１８】
2009525671.tif 000039
【００８３】
2009525671.tif 000040
【００８４】
ＭＰＥＧサラウンドステレオモードのＳＡＣデコード手段２０３において、［数１８］により、入力された左右の信号（Ｌ０，Ｒ０）から、中央信号（Ｃ）、左半平面信号（Ｌｓ＋Ｌｆ）及び右半平面信号（Ｒｆ＋Ｒｓ）が抽出される。左半平面信号（Ｌｓ＋Ｌｆ）及び右半平面信号（Ｒｆ＋Ｒｓ）の各々は、再び左信号成分（Ｌｓ，Ｌｆ）及び右信号成分（Ｒｆ，Ｒｓ）の生成に用いられる。
【００８５】
［数１８］から、左半平面信号（Ｌｓ＋Ｌｆ）は、入力された左信号（Ｌ０）から生成できることがわかる。すなわち、右半平面信号（Ｒｆ＋Ｒｓ）及び中央信号（Ｃ）は、左信号成分（Ｌｓ，Ｌｆ）の生成には寄与しない。逆の場合も同じである（Ｌｆ、Ｌｓ信号の生成にＲ０信号が寄与できず、同じように、Ｒｆ、Ｒｓ信号の生成にＬ０信号が寄与できないとの意味）。これは、オーディオ信号のレンダリングにおいて、パンニング角度が約±３０度の範囲に制限されることを意味する。
【００８６】
したがって、本発明の一実施形態により、入力オーディオ信号に対して空間キューを用いてマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリングを柔軟に制御するため、［数１８］は、下記［数１９］として修正される。
【００８７】
【数１９】
2009525671.tif 000041
【００８８】
2009525671.tif 000042
【００８９】
【数２０】
2009525671.tif 000043
【００９０】
2009525671.tif 000044
【００９１】
【数２１】
2009525671.tif 000045
【００９２】
2009525671.tif 000046
【００９３】
【数２２】
2009525671.tif 000047
【００９４】
2009525671.tif 000048
【００９５】
【数２３】
2009525671.tif 000049
【００９６】
ここで、中央信号（Ｃ）に対してＣＬとＣＲとに分けて計算するのは、Ｌ０，Ｒ０の各々から中央信号が算出されなければならないからである。ＭＰＥＧサラウンドステレオモードの場合、ゲイン要素制御部４０５は、［数２３］の制御されたパワーゲインを出力し、ＳＡＣデコード手段２０３では、［数１９］のベクトルに基づいて入力オーディオ信号のＬ０及びＲ０に適用されることにより、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいたレンダリングが行われる。
【００９７】
2009525671.tif 000050
【００９８】
一方、図７は、ＳＡＣデコード手段２０３がＭＰＥＧサラウンドステレオモードの場合、本発明の一実施形態に係る空間キューレンダリング手段２０１の詳細ブロック図である。図示のように、ＣＬＤ及びＣＰＣを空間キューとして用いる空間キューレンダリング手段２０１は、ＣＰＣ／ＣＬＤパース部７０１と、ゲイン要素変換部７０３と、ゲイン要素制御部７０５と、ＣＬＤ変換部７０７とを備える。
【００９９】
ＳＡＣデコード手段２０３がＭＰＥＧサラウンドステレオモードの場合、空間キューとしてＣＰＣ及びＣＬＤが用いられた場合、ＣＰＣは、ダウンミックス信号及び再生出力信号の品質を保障するため、エンコーダに含まれているいくつかの適切な基準によって推定される。結果的に、ＣＰＣは、圧縮的なゲイン比率として示され、本発明に係るオーディオ信号のレンダリング装置に伝送される。
【０１００】
結果的に、基準に関する情報不足のため、ＣＰＣパラメータに対する正確な分析が空間キューレンダリング手段２０１では達成できない。すなわち、仮に空間キューレンダリング手段２０１でオーディオ信号のパワーゲインが制御できるとしても、オーディオ信号のパワーゲインがオーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づき、例えば、パンニング法に従って変更された（制御された）後、当該変更された（制御された）オーディオ信号のパワーゲインからはＣＰＣ値が算出できない。
【０１０１】
本発明の一実施形態によれば、入力オーディオ信号のＬ０及びＲ０から、ＣＰＣにより、中央信号（Ｃ）、左半平面信号（Ｌｓ＋Ｌｆ）及び右半平面信号（Ｒｆ＋Ｒｓ）が抽出され、ＣＬＤにより、残りのオーディオ信号、すなわち、左信号成分（Ｌｓ，Ｌｆ）及び右信号成分（Ｒｆ，Ｒｓ）が抽出され、このように抽出されたオーディオ信号のパワーゲインが算出された後、前記算出されたパワーゲインがオーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいて変更（制御）されるようにすることにより、オーディオ出力信号を直接操作する代わりに、空間キューパラメータを制御することにより、サウンドシーンを制御することができる。
【０１０２】
まず、ＣＰＣ／ＣＬＤパース部７０１は、受信した空間キュー（ＣＰＣ及びＣＬＤ）からＣＰＣ及びＣＬＤパラメータを抽出し、ゲイン要素変換部７０３は、ＣＰＣ／ＣＬＤパース部７０１で抽出されたＣＰＣパラメータから、下記［数２４］により、中央信号（Ｃ）、左半平面信号（Ｌｓ＋Ｌｆ）及び右半平面信号（Ｒｆ＋Ｒｓ）を抽出する。
【０１０３】
【数２４】
2009525671.tif 000051
【０１０４】
2009525671.tif 000052
【０１０５】
次に、ゲイン要素制御部７０５は、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）を受信し、ゲイン要素変換部７０３によって算出された各サブバンドのパワーゲインを調整し、例えば、［数４］のように、制御されたパワーゲインを算出する。
【０１０６】
このように制御されたパワーゲインは、ＳＡＣデコード手段２０３において、［数１９］のベクトルに基づいて入力オーディオ信号のＬ０及びＲ０に適用されることにより、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいたレンダリングが行われる。
【０１０７】
一方、ＳＡＣデコード手段２０３がＭＰＥＧサラウンドステレオモードの場合に、空間キューとしてＩＣＣが用いられた場合、空間キューレンダリング手段２０１では、線形補間過程により、下記［数２５］のようにＩＣＣパラメータが修正される。
【０１０８】
【数２５】
2009525671.tif 000053
【０１０９】
2009525671.tif 000054
【０１１０】
一方、本明細書の図面に示されたブロックの機能は、１つのユニットとして結合され得る。例えば、空間キューレンダリング手段２０１は、ＳＡＣデコード手段２０３に含まれるように構成され得る。これら構成要素の全ての結合は、本発明の範疇に含まれる。図示のブロックは、明確化のためにそれぞれ分離されて示されているが、必ずしも個別のユニットで構成されることを意味するものではない。
【０１１１】
図８及び図９は、図２のオーディオ信号のレンダリング制御装置を適用可能な一実施形態であって、マルチオブジェクト又はマルチチャネルのオーディオ信号をデコードするデコーダを示す図である。図８は、マルチオブジェクト又はマルチチャネルのオーディオ信号をデコードする空間キューベースのデコーダ全体の概略図であり、図９は、空間キューベースのデコーダであって、特に、３次元ステレオ（３Ｄステレオ）オーディオ信号デコーダの概略図である。
【０１１２】
図８及び図９のＳＡＣデコーダ８０３，９０３には、空間キューを用いたオーディオ復号化器方式として、ＭＰＥＧサラウンド、ＢＣＣ（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ）又はＳＳＬＣＣ（Ｓｏｕｎｄ  Ｓｏｕｒｃｅ  Ｌｏｃａｔｉｏｎ  Ｃｕｅ  Ｃｏｄｉｎｇ）などの方式が適用可能である。図８及び図９において、パンニングツール８０１，９０１は、図２の空間キューレンダリング手段２０１に対応する。
【０１１３】
図１０は、図２に示す空間キューレンダリング手段２０１の一実施形態であって、図８及び図９に適用可能な空間キューレンダリング手段の一実施形態を説明するための図である。
【０１１４】
2009525671.tif 000055
【０１１５】
図８、図９を更に参照して、本発明の一実施形態によれば、マルチオブジェクト又はマルチチャネルオーディオ信号は、パンニングレンダリングツール８０５，９０５に入力され、パンニングツール８０１，９０１により空間キュー領域で制御された入力オーディオ信号のレンダリング情報に基づき、パンニング方式に従ってレンダリングされる。この場合、パンニングレンダリングツール８０５，９０５に入力された入力オーディオ信号は、周波数領域（複素数領域）で処理されるため、サブバンド単位のレンダリングも可能である。
【０１１６】
パンニングレンダリングツール８０５，９０５から出力された信号は、ＨＲＴＦレンダリングツール８０７，９０７により、ＨＲＴＦ方式でレンダリング可能である。ＨＲＴＦ方式のレンダリングは、オブジェクト毎又はチャネル毎にＨＲＴＦフィルタを適用する方式である。
【０１１７】
パンニングレンダリングツール８０５，９０５のパンニング方式及びＨＲＴＦレンダリングツール８０７，９０７のＨＲＴＦ方式を用いたレンダリング過程は、選択的に行われ得る。すなわち、パンニングレンダリングツール８０５，９０５及びＨＲＴＦレンダリングツール８０７，９０７は、選択的要素である。しかし、パンニングレンダリングツール８０５，９０５及びＨＲＴＦレンダリングツール８０７，９０７の全てが採用される場合には、パンニングレンダリングツール８０５，９０５がＨＲＴＦレンダリングツール８０７，９０７に先行する。
【０１１８】
2009525671.tif 000056
【０１１９】
ダウンミキサ８０９は、出力オーディオ信号の個数がデコードされるマルチオブジェクト又はマルチチャネルオーディオ信号の個数よりも少なくダウンミックスを行う。
【０１２０】
逆Ｔ／Ｆ８１１は、逆Ｔ／Ｆ変換を行うことにより、レンダリングされた周波数領域のマルチオブジェクト又はマルチチャネルオーディオ信号を時間領域の信号に変換する。
【０１２１】
図９に示す空間キューベースのデコーダであって、特に、３次元ステレオ（３Ｄステレオ）オーディオ信号デコーダも、パンニングレンダリングツール９０５と、ＨＲＴＦレンダリングツール９０７とを備える。ただし、ＨＲＴＦレンダリングツール９０７は、ステレオ出力のために、ＭＰＥＧサラウンドのバイノーラルデコード方式に従う。すなわち、パラメータベースのＨＲＴＦフィルタリングが適用される。
【０１２２】
図８、図９のパンニングレンダリングツール８０５，９０５及びＨＲＴＦレンダリングツール８０７，９０７は、公知の要素であって、その具体的な説明は省略する。
【０１２３】
バイノーラルデコード方式は、入力オーディオ信号を受信してバイノーラルステレオ信号（３Ｄステレオ信号）として出力するデコード方式であって、一般的に、ＨＲＴＦフィルタリングが適用される。
【０１２４】
ＳＡＣマルチチャネルデコーダを介してバイノーラルステレオ（３Ｄステレオ）が再生される場合も、本発明を適用することができる。一般的に、５．１チャネルに相応するバイノーラルステレオ信号は、下記［数２６］によって生成される。
【０１２５】
【数２６】
2009525671.tif 000057
【０１２６】
2009525671.tif 000058
【０１２７】
すなわち、各入力オーディオ信号に対してＨＲＴＦ関数が複素積分されてダウンミックスされた結果が、バイノーラルステレオ信号となる。
【０１２８】
従来では、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいてバイノーラルステレオ信号のレンダリングが制御されるためには、各入力オーディオ信号に適用されるＨＲＴＦ関数の各々を制御位置の関数に変換して適用しなければならない。例えば、Ｌｆの仮想位置を、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）が４０度の場合、［数２６］は、下記［数２７］に変換されなければならない。
【０１２９】
【数２７】
2009525671.tif 000059
【０１３０】
しかし、本発明の一実施形態によれば、バイノーラルステレオのレンダリングを制御する過程において、［数２７］とは異なり、ＨＲＴＦ関数を制御するのではなく、出力オーディオ信号に対して入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいて空間キューパラメータを制御することにより、サウンドシーンを制御した後、［数２６］の一定のＨＲＴＦ関数のみを適用することにより、バイノーラル信号のレンダリングを制御することができる。
【０１３１】
すなわち、空間キューレンダリング手段２０１により、空間キュー領域で制御された空間キューに基づいて出力オーディオ信号をレンダリング制御すると、［数２７］のように、ＨＲＴＦ関数を制御することなく、常に［数２６］を適用することができる。
【０１３２】
つまり、出力オーディオ信号のレンダリング制御は、空間キューレンダリング手段２０１により、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいて空間キュー領域で制御され、ＨＲＴＦ関数は、常に一定して同様に適用可能である。
【０１３３】
本発明の一実施形態によれば、限定されたＨＲＴＦ関数だけでもバイノーラルステレオ信号に対してレンダリング制御が可能である反面、従来のバイノーラルデコード方式によれば、バイノーラルステレオ信号のレンダリングを制御するために、できるだけ多くのＨＲＴＦ関数を確保していなければならない。
【０１３４】
図１１は、バイノーラルステレオデコード方式を適用したＭＰＥＧサラウンドデコーダの概略図であって、図９と概念的に同じ構成を示す図である。ここで、空間キューレンダリングブロックは、空間キューレンダリング手段２０１であって、制御されたパワーゲインを出力する。残りの構成は、図９と概念的に同じ構成を示し、バイノーラルステレオデコード方式を適用したＭＰＥＧサラウンドデコーダの構成を示している。空間キューレンダリングブロックの出力は、ＭＰＥＧサラウンドデコーダのパラメータ変換ブロックにおいてＨＲＴＦ関数の周波数応答特性が調整されるのに用いられる。
【０１３５】
図１２〜図１４は、本発明の他の実施形態を示す図であって、図１２は、本発明の他の実施形態に係るオーディオ信号のレンダリング装置を概略的に示す図である。本発明の他の実施形態によれば、空間キューの制御だけでマルチチャネルオーディオ信号を効率的に制御することができ、双方向の３次元オーディオ／ビデオサービスなどに有用に活用可能である。
【０１３６】
図示のように、本発明の他の実施形態に係るオーディオ信号のレンダリング装置は、図１のＳＡＣエンコーダ１０１に対応する、ＳＡＣデコード手段１２０５を一実施形態として採用した構成であり、付加情報復号化部１２０１と、空間化手段１２０３とを更に備えている。
【０１３７】
付加情報復号化部１２０１及び空間化手段１２０３は、図２の空間キューレンダリング手段２０１に対応する構成であって、特に、付加情報復号化部１２０１は、図４のＣＬＤパース部４０１に対応する。
【０１３８】
付加情報復号化部１２０１は、伝送された付加情報、すなわち、空間キューとして、例えば、ＣＬＤを受信し、上記［数１］により、ＣＬＤパラメータを抽出する。
【０１３９】
抽出されたＣＬＤパラメータは、空間化手段１２０３に入力される。
【０１４０】
図１３は、図１２に示す空間化手段１２０３の詳細ブロック図であって、図示のように、空間化手段１２０３は、仮想位置推定部１３０１と、ＣＬＤ変換部１３０３とを備える。
【０１４１】
仮想位置推定部１３０１及びＣＬＤ変換部１３０３は、機能的に、図４のゲイン要素変換部４０３、ゲイン要素制御部４０５、及びＣＬＤ変換部４０７に対応する。
【０１４２】
仮想位置推定部１３０１は、入力されたＣＬＤパラメータから各入力オーディオ信号のパワーゲインを算出する。パワーゲインは、ＣＬＤ算出方式に従って多様な方法で算出され得る。例えば、入力オーディオ信号の全てのＣＬＤが基準オーディオ信号から算出されると、下記［数２８］のように、各入力オーディオ信号のパワーゲインが算出され得る。
【０１４３】
【数２８】
2009525671.tif 000060
【０１４４】
2009525671.tif 000061
【０１４５】
例えば、入力オーディオ信号が５チャネルの場合、下記［数２９］のように、空間ベクトル推定（仮想音源の位置推定）を行うことができる。
【０１４６】
【数２９】
2009525671.tif 000062
【０１４７】
2009525671.tif 000063
【０１４８】
各ベクトルに対する角度（仮想音源のパンニング角度）情報は、下記［数３０］から算出される。
【０１４９】
【数３０】
2009525671.tif 000064
【０１５０】
2009525671.tif 000065
【０１５１】
【数３１】
2009525671.tif 000066
【０１５２】
2009525671.tif 000067
【０１５３】
空間化手段１２０３は、マルチチャネルが生成する仮想音源の位置を柔軟に制御できる構成であって、以上で説明したように、仮想位置推定部１３０１は、ＣＬＤパラメータから仮想音源位置ベクトルを推定する。ＣＬＤ変換部１３０３は、仮想位置推定部１３０１によって推定された仮想音源位置ベクトル及びレンダリング制御情報として仮想音源の位置の変化量（Δδ）を受信し、制御された仮想音源位置ベクトルを、下記［数３２］を用いて算出する。
【０１５４】
【数３２】
2009525671.tif 000068
【０１５５】
2009525671.tif 000069
【０１５６】
また、ＣＬＤ変換部１３０３は、制御されたパワーゲインを再びＣＬＤ値に変換する。
【０１５７】
変換されたＣＬＤ値は、ＳＡＣデコード手段１２０５に入力される。
【０１５８】
上記のような本発明の一実施形態は、一般のマルチチャネルオーディオ信号に対して適用可能である。図１４は、本発明の一実施形態を適用したマルチチャネルオーディオデコーダであって、図示のように、付加情報復号化手段１２０１と、空間化手段１２０３とを更に備えている。
【０１５９】
時間領域のマルチチャネル信号は、ＤＦＴ（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ  Ｍｉｒｒｏｒ  Ｆｉｌｔｅｒｂａｎｋ  ｔｒａｎｓｆｏｒｍ）などの変換手段１４０３によって周波数領域に変換される。
【０１６０】
付加情報復号化部１２０１は、変換手段１４０３によって変換された信号から空間キュー（例えば、ＣＬＤ）を抽出して空間化手段１２０３に伝送する。空間化手段１２０３は、［数３２］によるＣＬＤ、すなわち、制御された仮想音源位置ベクトルから算出された、制御されたパワーゲインを示すＣＬＤをパワーゲイン制御手段１４０５に伝送し、パワーゲイン制御手段１４０５は、受信したＣＬＤに基づいて周波数領域でサブバンド毎に各オーディオチャネルのパワーを調整する。調整方法は、下記［数３３］のとおりである。
【０１６１】
【数３３】
2009525671.tif 000070
【０１６２】
2009525671.tif 000071
【０１６３】
上記のような本発明の一実施形態によれば、空間キューの変化量をマルチチャネル信号の生成に反映することにより、オーディオ信号の仮想音源の位置を制御することができる。
【０１６４】
以上、本発明は、装置の観点から記述されているが、当業者であれば、本明細書の記載から本発明を方法の観点からも構成可能であることを容易に理解することができる。
【０１６５】
上述した本発明の方法は、プログラムとして具現され、コンピュータで読み取り可能な記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスクなど）に格納され得る。
【０１６６】
以上で説明した本発明は、上述した実施形態及び添付図面によって限定されるものではなく、本発明の技術思想を逸脱しない範囲内で様々な置換、変形及び変更が可能であることが、本発明の属する技術分野における通常の知識を有する者にとって自明である。
【産業上の利用可能性】
【０１６７】
本発明は、マルチオブジェクト又はマルチチャネルオーディオ信号のデコーディングに用いられる。
【図面の簡単な説明】
【０１６８】
【図１】従来のマルチオブジェクト又はマルチチャネルオーディオ信号のエンコーダに関する一実施形態を概略的に示す図である。
【図２】本発明の一実施形態に係るオーディオ信号のレンダリング制御装置を概略的に示す図である。
【図３】再生されたパンニングマルチチャネル信号の一形態を示す図である。
【図４】本発明の一実施形態として、ＣＬＤを空間キューとして用いた場合における、図２に示す空間キューレンダリング手段の詳細ブロック図である。
【図５】本発明の一実施形態として、ＣＰＰを適用してオーディオ信号を所望の位置にマッピングさせる方法を説明するための図である。
【図６】信号の角度関係を含むレイアウトを概略的に示す図である。
【図７】ＳＡＣデコード手段がＭＰＥＧサラウンドステレオモードの場合における、本発明の一実施形態に係る空間キューレンダリング手段の詳細ブロック図である。
【図８】マルチオブジェクト又はマルチチャネルのオーディオ信号をデコードする空間キューベースのデコーダ全体の概略図である。
【図９】空間キューベースのデコーダであって、特に、３次元ステレオ（３Ｄステレオ）オーディオ信号デコーダの概略図である。
【図１０】図８及び図９に適用可能な空間キューレンダリング手段の一例を説明するための図である。
【図１１】バイノーラルステレオデコード方式を適用したＭＰＥＧサラウンドデコーダの概略図である。
【図１２】本発明の他の実施形態に係るオーディオ信号のレンダリング装置を概略的に示す図である。
【図１３】図１２に示す空間化手段の詳細ブロック図である。
【図１４】本発明の一実施形態を適用したマルチチャネルオーディオデコーダを示す図である。
【図１】
2009525671.tif 000210
【図２】
2009525671.tif 000211
【図３】
2009525671.tif 000212
【図４】
2009525671.tif 000213
【図５】
2009525671.tif 000214
【図６】
2009525671.tif 000215
【図７】
2009525671.tif 000216
【図８】
2009525671.tif 000217
【図９】
2009525671.tif 000218
【図１０】
2009525671.tif 000219
【図１１】
2009525671.tif 000220
【図１２】
2009525671.tif 000221
【図１３】
2009525671.tif 000222
【図１４】
2009525671.tif 000223
【国際調査報告】
2009525671.tif 000224
2009525671.tif 000225