(57)【要約】  エンコーディング装置においてダウンミックス信号にダウンミックス利得が適用され、エンコーディング装置は、前記適用されたダウンミックス利得に関する情報を含むビットストリームをデコーディング装置に送信する。デコーディング装置は、ダウンミックス利得情報を用いてダウンミックス信号を復元する。また、本発明においては、エンコーディング装置が、ダウンミックス信号に任意のダウンミックス利得（ＡＤＧ；Ａｒｂｉｔｒａｒｙ Ｄｏｗｎｍｉｘ Ｇａｉｎ）を適用することができ、適用されたＡＤＧに関する情報を含むビットストリームをデコーディング装置に送信することができる。デコーディング装置は、前記ＡＤＧ情報を用いてダウンミックス信号を復元する。また、本発明においては、特定のチャンネルのエネルギーレベルを変更することができ、変更されたエネルギーレベルを復元することができる。【選択図】図３
2009500656.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号をデコーディングする方法において、
前記オーディオ信号のビットストリームからダウンミックス信号を分離するステップと、
前記ダウンミックス信号にダウンミックス利得を適用して、前記ダウンミックス信号を変調するステップと、
を有することを特徴とするオーディオ信号のデコーディング方法。
【請求項２】
前記ダウンミックス利得は、タイムドメインにおいて前記ダウンミックス信号に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項３】
前記ダウンミックス利得は、周波数ドメインにおいて前記ダウンミックス信号に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項４】
前記ダウンミックス利得は、前記ダウンミックス信号の全部分に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項５】
前記ダウンミックス利得は、複数のフレームごとにまたはフレームごとに前記ダウンミックス信号に可変的に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項６】
前記ダウンミックス信号は、前記ダウンミックス利得の１増加分または減少分よりも小さな範囲内において可変可能であるか、あるいは、複数のフレームごとに前記ダウンミックス利得の１増加分または減少分だけ可変可能である、請求項５に記載のオーディオ信号のデコーディング方法。
【請求項７】
前記ダウンミックス利得は、前記ビットストリームに含まれる空間情報信号のヘッダーから抽出される、請求項４または５に記載のオーディオ信号のデコーディング方法。
【請求項８】
前記ヘッダーは、各フレームごとに前記空間情報信号に含まれるか、あるいは、複数のフレームごとに前記空間情報信号に含まれる、請求項７に記載のオーディオ信号のデコーディング方法。
【請求項９】
前記ヘッダーは、複数のフレームごとに前記空間情報信号に周期的にまたは非周期的に含まれる、請求項８に記載のオーディオ信号のデコーディング方法。
【請求項１０】
オーディオ信号をデコーディングする方法において、
前記オーディオ信号のビットストリームからダウンミックス信号と空間情報信号を分離するステップと、
前記空間情報信号を用いて、前記ダウンミックス信号をマルチチャンネルオーディオ信号に変換するステップと、
前記マルチチャンネルオーディオ信号にダウンミックス利得を適用するステップと、
を有することを特徴とするオーディオ信号のデコーディング方法。
【請求項１１】
オーディオ信号をエンコーディングする方法において、
マルチチャンネルオーディオ信号からダウンミックス信号と空間情報信号を生成するステップと、
前記ダウンミックス信号にダウンミックス利得を適用するステップと、
を有することを特徴とするオーディオ信号のエンコーディング方法。
【請求項１２】
前記ダウンミックス信号の生成中に発生するサウンドレベル変動の頻度と前記サウンドレベル変動の度合いのうち少なくとも一方を測定するステップと、
前記頻度と度合いのうち少なくとも一方を用いて前記ダウンミックス利得を決めるステップと、
を更に有する請求項１１に記載のオーディオ信号のエンコーディング方法。
【請求項１３】
【数１】
2009500656.tif 000004
【請求項１４】
前記ダウンミックス利得は、最大値と１との間の範囲の値を有するように量子化される、請求項１３に記載のオーディオ信号のエンコーディング方法。
【請求項１５】
オーディオ信号をエンコーディングする方法において、
マルチチャンネルオーディオ信号にダウンミックス利得を適用するステップと、
前記ダウンミックス利得の適用されたマルチチャンネルオーディオ信号からダウンミックス信号を生成するステップと、
を有することを特徴とするオーディオ信号のエンコーディング方法。
【請求項１６】
オーディオ信号をデコーディングする装置において、
オーディオ信号のビットストリームからダウンミックス信号と空間情報信号を分離するデマルチプレクサと、
前記ダウンミックス信号にダウンミックス利得を適用するダウンミックス利得適用部と、
前記空間情報信号を用いて、前記ダウンミックス利得の適用されたダウンミックス信号をマルチチャンネルオーディオ信号に変換するマルチチャンネル生成部と、
を有することを特徴とするオーディオ信号のデコーディング装置。
【請求項１７】
前記空間情報信号から前記ダウンミックス利得に関する情報を抽出するダウンミックス利得抽出部をさらに有する、請求項１６に記載のオーディオ信号のデコーディング装置。
【請求項１８】
オーディオ信号をエンコーディングする装置において、
マルチチャンネルオーディオ信号からダウンミックス信号を生成するダウンミックス部と、
前記マルチチャンネルオーディオ信号から空間情報を抽出する空間情報生成部と、
前記ダウンミックス信号にダウンミックス利得を適用するダウンミックス利得適用部と、
を有することを特徴とするオーディオ信号のエンコーディング装置。
【請求項１９】
前記ダウンミックス信号の生成中に発生するサウンドレベル変動の頻度と前記サウンドレベル変動の度合いのうち少なくとも一方を測定し、前記頻度と度合いのうち少なくとも一方を用いて、前記ダウンミックス利得を決めるダウンミックス利得決定部をさらに有する、請求項１８に記載のオーディオ信号のエンコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオーディオ信号をエンコーディング及び／またはデコーディングするための方法及び／または装置に関する。
【背景技術】
【０００２】
本発明は、マルチチャンネルオーディオ信号の空間情報に対するエンコーディング及び／またはデコーディングに関するものである。近年、デジタルオーディオ信号に対するコーディング技術及び方法が種々開発されてきており、これと関連する種々の製品も生産されている。
【０００３】
ところが、マルチチャンネルオーディオ信号がモノまたはステレオオーディオ信号の形でダウンミックスされる場合、オーディオ信号のサウンドレベル損失という問題点が存在することがある。特に、コーディング済みの信号は、例えば、１６ビットなどといったようにサイズが限られるため、コアコーデックエンコーディング後にもサウンドレベル損失の現象が現れる。かようなオーディオ信号のサウンドレベル損失の現象はオーディオ信号の出力特性に影響を及ぼし、サウンド品質の劣化を来たす結果となる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は上記事情に鑑みてなされたものであり、その目的は、マルチチャンネルオーディオ信号のダウンミックス信号にダウンミックス利得を適用することにより、マルチチャンネルオーディオ信号のサウンドレベル損失の問題点を解消するところにある。
【０００５】
本発明の他の目的は、マルチチャンネルオーディオ信号のダウンミックス信号に任意のダウンミックス利得を適用することにより、マルチチャンネルオーディオ信号のサウンドレベル損失の問題点を解消するところにある。
【０００６】
本発明のさらに他の目的は、マルチチャンネルオーディオ信号の特定のチャンネルに特定のチャンネル利得を適用することにより、マルチチャンネルオーディオ信号のサウンドレベル損失の問題点を解消するところにある。
【０００７】
本発明のさらに他の目的は、少なくとも２つのダウンミックス利得、すなわち、任意のダウンミックス利得と特定のチャンネル利得を用いることにより、マルチチャンネルオーディオ信号のサウンドレベル損失の問題点を解消するところにある。
【課題を解決するための手段】
【０００８】
本発明の目的に応じてこれら及び他の利点を達成するために、本発明によるオーディオ信号のデコーディング方法は、オーディオ信号のビットストリームからダウンミックス信号を分離するステップと、前記ダウンミックス信号にダウンミックス利得を適用して、前記ダウンミックス信号を変調するステップと、を有する。
【０００９】
本発明の目的に応じてこれら及び他の利点を達成するために、本発明によるオーディオ信号のデコーディング方法は、オーディオ信号のビットストリームからダウンミックス信号と空間情報信号を分離するステップと、前記空間情報信号を用いて前記ダウンミックス信号をマルチチャンネルオーディオ信号に変換するステップと、前記マルチチャンネルオーディオ信号にダウンミックス利得を適用するステップと、を有する。
【００１０】
本発明の目的に応じてこれら及び他の利点を達成するために、本発明によるオーディオ信号のエンコーディング方法は、マルチチャンネルオーディオ信号からダウンミックス信号と空間情報信号を生成するステップと、前記ダウンミックス信号にダウンミックス利得を適用するステップと、を有する。
【００１１】
本発明の目的に応じてこれら及び他の利点を達成するために、本発明によるオーディオ信号のエンコーディング方法は、マルチチャンネルオーディオ信号にダウンミックス利得を適用するステップと、前記ダウンミックス利得の適用されたマルチチャンネルオーディオ信号からダウンミックス信号を生成するステップと、を有する。
【００１２】
本発明の目的に応じてこれら及び他の利点を達成するために、本発明によるオーディオ信号のデコーディング装置は、オーディオ信号のビットストリームからダウンミックス信号と空間情報信号を分離するデマルチプレクサと、前記ダウンミックス信号にダウンミックス利得を適用するダウンミックス利得適用部と、前記空間情報信号を用いて、前記ダウンミックス利得の適用されたダウンミックス信号をマルチチャンネルオーディオ信号に変換するマルチチャンネル生成部と、を有する。
【００１３】
本発明の目的に応じてこれら及び他の利点を達成するために、本発明によるオーディオ信号のエンコーディング装置は、マルチチャンネルオーディオ信号からダウンミックス信号を生成するダウンミックス部と、前記マルチチャンネルオーディオ信号から空間情報を抽出する空間情報生成部と、前記ダウンミックス信号にダウンミックス利得を適用するダウンミックス利得適用部と、を有する。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面に基づき、本発明の好適な実施形態を詳述する。
【００１５】
図１は、オーディオ信号の空間情報を人間に視認させる方法を示す。
【００１６】
マルチチャンネルオーディオ信号のコーディングは、人間がオーディオ信号を３次元的に認識するため、オーディオ信号は複数のパラメータ組を用いて３次元空間情報の形で表現可能であるということを用いる。
【００１７】
マルチチャンネルオーディオ信号の空間情報を示すための「空間パラメータ」は、チャンネルレベル差分（ＣＬＤ；Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）と、チャンネル間一貫性（ＩＣＣ；Ｉｎｔｅｒ Ｃｈａｎｎｅｌ Ｃｏｈｅｒｅｎｃｅ）と、チャンネル時間差分（ＣＴＤ；Ｃｈａｎｎｅｌ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅ）と、を含む。ＣＬＤとは、２チャンネル間のエネルギー差分のことを言う。ＩＣＣとは、２チャンネル間相関のことを言う。ＣＴＤとは、２チャンネル間の時間差分のことを言う。
【００１８】
図１は、人間がどのようにしてオーディオ信号を空間的に認識するかと、空間パラメータの概念がどのようにして生成されるかを示している。
【００１９】
図１を参照すれば、遠距離サウンドソース１０１から一方のダイレクトサウンド波１０３が人間の左側耳１０７に達し、他方のダイレクトサウンド波１０２は人間の頭の周りにおいて回折された後に人間の右側耳１０６に達する。
【００２０】
両方のサウンド波１０２及び１０３の間には到達時間とエネルギーレベルにおいて差分がある。この差分により、上述したＣＴＤパラメータとＣＬＤパラメータが生成される。
【００２１】
一方、反射されたサウンド波１０４及び１０５が人間の両耳に達するか、あるいは、サウンドソース１０１が分散型サウンドソースを含む場合に、相関のあるサウンド波が人間の両耳に達する。その結果、上述したＩＣＣパラメータが生成される。
【００２２】
上述した原理により生成される空間パラメータを用いることにより、マルチチャンネルオーディオ信号をモノまたはステレオ信号の形で送信することが可能であり、しかも、送信されたモノまたはステレオ信号をマルチチャンネルオーディオ信号の形で出力することも可能になる。
【００２３】
本発明は、ダウンミックス信号がマルチチャンネルオーディオ信号に変換されるとき、上述した空間情報を用いてダウンミックス信号を変調する方法を提供する。
【００２４】
図２は、オーディオ信号のエンコーディング中に生成されるオーディオ信号のサウンドレベル損失を示す。オーディオ信号のサウンドレベル損失は、主として、２種類の要因により発生する。第一は、元の信号のサウンドレベルが高い場合に、このようなサウンドレベル損失が発生する。第二には、ダウンミックスの対象となる入力チャンネルの数が多い場合にもこのようなサウンドレベル損失が発生する。例えば、３本のチャンネルが１本のチャンネルにダウンミックスされる場合に比べて、７本のチャンネルが１本のチャンネルにダウンミックスされる場合に、サウンドレベル損失がなお一層頻繁に発生する。図２におけるサウンドレベル損失は、５本のチャンネルが１本のチャンネルにダウンミックスされる場合に対応している。しかしながら、本発明はこのような場合に何ら制限されるものではない。このようなサウンドレベル損失は、例えば、クリッピングなどの種々の要因により発生可能である。
【００２５】
図２Ａは、５本のチャンネルからなる元の信号のサウンドレベルを示す。元の信号の各チャンネルは、限られたサイズ、例えば、１６ビットのほぼ全範囲を用いることもある。図２Ｂは、５本のチャンネルのダウンミックスにより生成されるダウンミックス信号を示す。図２Ｂに示すように、ダウンミックス信号は、限られたサイズを超える多数のピークを有することもある。図２Ｃは、コアコーデック、例えば、ＡＡＣコーデックを用いてダウンミックス信号のエンコーディング／デコーディングを行った後に生成されるオーディオ信号を示す。コアコーデックのエンコーディング／デコーディング動作により生成されるこのようなオーディオ信号の場合にも、オーディオ信号が限られたサイズ、例えば、１６ビット内において表現されるため、サウンドレベル損失が依然として存在するであろう。このようなサウンドレベル損失は、マルチチャンネルオーディオ信号の出力特性に影響を及ぼし、サウンド品質における劣化を招く。
【００２６】
図３は、本発明の第１の実施形態によりダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得が適用される第１のエンコーディング装置を示す。第１のエンコーディング装置は、ダウンミックス部３０２と、空間情報生成部３０３と、ダウンミックス利得適用部３０６と、マルチプレクサ３０８と、を備える。
【００２７】
図３を参照すれば、ダウンミックス部３０２は、マルチチャンネルオーディオ信号３０１をダウンミックスして、ダウンミックス信号３０４を生成する。図３中、「ｎ」は、入力チャンネルの数を意味する。ダウンミックス信号３０４は、モノ、ステレオ、またはマルチチャンネルオーディオ信号であってもよい。
【００２８】
空間情報生成部３０３は、マルチチャンネルオーディオ信号３０１から空間情報を抽出する。ここで、「空間情報」とは、マルチチャンネルオーディオ信号のダウンミックスにより生成されたダウンミックス信号をマルチチャンネルオーディオ信号にアップミックスするのに用いられるオーディオ信号チャンネルに関する情報のことを言う。
【００２９】
ダウンミックス利得適用部３０６は、ダウンミックス信号３０４にダウンミックス利得を適用して、ダウンミックス信号３０４のサウンドレベルを下げる。ここで、「ダウンミックス利得」とは、ダウンミックス信号またはマルチチャンネルオーディオ信号に適用されて当該信号のサウンドレベルを変更する値のことを言う。エンコーディング装置において、ダウンミックス信号に対するこのようなダウンミックス利得の適用は、主としてダウンミックス信号のサウンドレベルを下げるために用いられる。例えば、１よりも大きなダウンミックス利得が用いられる場合、ダウンミックス信号にはダウンミックス利得の逆数が乗算されて、ダウンミックス信号の全体のサウンドレベルを下げる。
【００３０】
例えば、低周波利得またはサラウンド利得などの特定のチャンネル利得が、マルチチャンネルオーディオ信号３０１のうち少なくとも１つに適用可能である。ダウンミックス部３０２は、上述したように、マルチチャンネルオーディオ信号３０１のうち少なくとも１つに特定のチャンネル利得が適用された条件下で、マルチチャンネルオーディオ信号３０１と関連するダウンミックス信号３０４を生成することができる。その後、ダウンミックス信号３０４に対するダウンミックス利得の適用が行われる。もちろん、ダウンミックス利得適用部３０６がマルチチャンネルオーディオ信号３０１からダウンミックス信号３０４を生成する過程でダウンミックス利得の適用を行うこともできる。
【００３１】
マルチプレクサ３０８は、ダウンミックス利得の適用されたダウンミックス信号３０７と空間情報信号３０５を含むビットストリーム３０９を生成する。空間情報信号３０５は、空間情報生成部３０３により抽出された空間情報からなる。ビットストリーム３０９は、デコーディング装置に送信される。ビットストリーム３０９は、ダウンミックス利得に関する情報、すなわち、ダウンミックス利得情報を含んでいてもよい。
【００３２】
図４は、本発明の一実施形態によりダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得が適用される第１のデコーディング装置を示す。第１のデコーディング装置は、デマルチプレクサ４０２と、ダウンミックス信号デコーディング部４０５と、空間情報信号デコーディング部４０６と、ダウンミックス利得適用部４０９と、マルチチャンネル生成部４１１と、を備える。
【００３３】
図４を参照すれば、デマルチプレクサ４０２は、オーディオ信号のビットストリーム４０１を受信し、ビットストリーム４０１からエンコーディングされたダウンミックス信号４０３とエンコーディングされた空間情報信号４０４を分離する。
【００３４】
ダウンミックス信号デコーディング部４０５は、エンコーディングされたダウンミックス信号４０３をデコーディングし、デコーディングされた信号をダウンミックス信号４０７として出力する。空間情報信号デコーディング部４０６は、エンコーディングされた空間情報信号４０４をデコーディングし、デコーディングされた信号を空間情報４０８として出力する。
【００３５】
ダウンミックス利得適用部４０９は、ダウンミックス信号４０７にダウンミックス利得を適用し、これにより、元のサウンドレベルを有するダウンミックス信号４１０を出力する。例えば、ダウンミックス利得が１よりも大きな場合、ダウンミックス信号にはダウンミックス利得が乗算されて、ダウンミックス信号のサウンドレベルが高くなる。一方、ダウンミックス利得適用部４０９は、ダウンミックス信号をマルチチャンネルオーディオ信号に変換する過程でダウンミックス利得の適用を行う。
【００３６】
マルチチャンネル生成部４１１は、空間情報４０８を用い、マルチチャンネルオーディオ信号ｏｕｔ２としてダウンミックス利得の適用されたダウンミックス信号４１０を出力する。
【００３７】
図５は、本発明の 一実施形態によりマルチチャンネルオーディオ信号を変調するために、マルチチャンネルオーディオ信号にダウンミックス利得が適用される第２のエンコーディング装置を示す。第１のエンコーディング装置と同様に、第２のエンコーディング装置は、ダウンミックス部５０４と、空間情報生成部５０５と、ダウンミックス利得適用部５０２と、マルチプレクサ５０８と、を備える。
【００３８】
図５を参照すれば、第２のエンコーディング装置は、第１のエンコーディング装置とほとんど同様である。第２のエンコーディング装置は、ダウンミックス利得適用部５０２の位置において第１のエンコーディング装置と相違点がある。すなわち、第１のエンコーディング装置においてはダウンミックス信号にダウンミックス利得が適用されるが、第２のエンコーディング装置においてはマルチチャンネルオーディオ信号にダウンミックス利得が適用されるのである。
【００３９】
具体的に、ダウンミックス利得適用部５０２は、マルチチャンネルオーディオ信号５０１にダウンミックス利得を適用し、これにより、ダウンミックス利得の適用されたマルチチャンネルオーディオ信号５０３を生成する。ダウンミックス部５０４は、マルチチャンネルオーディオ信号５０３をダウンミックスし、これにより、ダウンミックス信号５０６を生成する。空間情報生成部５０５は、ダウンミックス利得の適用されたマルチチャンネルオーディオ信号５０３から空間情報を抽出する。マルチプレクサ５０８は、ダウンミックス信号５０６と空間情報信号５０７を含むビットストリーム５０９を生成する。
【００４０】
図６は、本発明の一実施形態によりマルチチャンネルオーディオ信号を変調するために、マルチチャンネルオーディオ信号にダウンミックス利得が適用される第２のデコーディング装置を示す。第１のデコーディング装置と同様に、第２のデコーディング装置は、デマルチプレクサ６０２と、ダウンミックス信号デコーディング部６０５と、マルチチャンネル生成部６０９と、ダウンミックス利得適用部６１１と、を備える。
【００４１】
デマルチプレクサ６０２と、ダウンミックス信号デコーディング部６０５及び空間情報信号デコーディング部６０６は、図４を参照して説明した第１のデコーディング装置のものと同一または類似するため、これについての詳細な説明は省く。
【００４２】
マルチチャンネル生成部６０９は、空間情報６０８を用いてダウンミックス信号６０７をマルチチャンネルオーディオ信号６１０に変換する。
【００４３】
ダウンミックス利得適用部６１１は、マルチチャンネルオーディオ信号６１０にダウンミックス利得を適用してから、ダウンミックス利得の適用されたマルチチャンネルオーディオ信号ｏｕｔ２を出力する。デコーディング装置が空間情報を用いてマルチチャンネルオーディオ信号を出力することができない場合、ダウンミックス信号６０７は、ダウンミックス信号デコーディング部６０５から直接的に出力可能である（ｏｕｔ１）。
【００４４】
図７は、本発明の第１の実施形態によりダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得が適用される第３のエンコーディング装置を示す。第３のエンコーディング装置は、ダウンミックス部７０２と、空間情報生成部７０３と、ダウンミックス利得決定部７０６と、ダウンミックス利得適用部７０８と、マルチプレクサ７１０と、を備える。
【００４５】
図７を参照すれば、第３のエンコーディング装置は。第１のエンコーディング装置とほとんど同様である。第３のエンコーディング装置は、ダウンミックス利得決定部７０６を備えるという点で、第１のエンコーディング装置とは相違点がある。ダウンミックス部７０２と、空間情報生成部７０３と、ダウンミックス利得適用部７０８及びマルチプレクサ７１０は、図３を参照して説明した第１のエンコーディング装置のものとほとんど同様であるため、これについての詳細な説明は省く。
【００４６】
ダウンミックス利得決定部７０６は、ダウンミックス信号に適用されるダウンミックス利得を決める。ダウンミックス利得決定部７０６は、マルチチャンネルオーディオ信号７０１がダウンミックスされてダウンミックス信号７０４を生成するときに発生するサウンドレベル損失の頻度と度合いのうち少なくとも一方を測定することにより、ダウンミックス利得を決めることができる。
【００４７】
【数１】
2009500656.tif 000003
【００４８】
図８は、本発明の一実施形態によりダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得が適用される第３のデコーディング装置を示す。第３のデコーディング装置は、デマルチプレクサ８０２と、ダウンミックス信号デコーディング部８０５と、空間情報信号デコーディング部８０７と、ダウンミックス利得抽出部８０８と、ダウンミックス利得適用部８０９と、マルチチャンネル生成部８１２と、を備える。
【００４９】
図８を参照すれば、第３のデコーディング装置は、第１のデコーディング装置とほとんど同様である。第３のデコーディング装置は、ダウンミックス利得抽出部８０８において第１のデコーディング装置と相違点がある。
【００５０】
デマルチプレクサ８０２と、ダウンミックス信号デコーディング部８０５と、空間情報信号デコーディング部８０７と、ダウンミックス利得適用部８０９及びマルチチャンネル生成部８１２は、図４を参照して説明した第１のデコーディング装置と同一または類似するため、これについての説明は省く。
【００５１】
ダウンミックス利得抽出部８０８は、デコーディングされた空間情報信号８０４またはデコーディングされたダウンミックス信号８０３からダウンミックス利得情報を抽出することができる。
【００５２】
図９は、本発明のそれぞれの実施形態によりダウンミックス利得情報を含むビットストリームを示す。図９（ａ）に示すように、ダウンミックス信号９０１と空間情報信号９０２を含むビットストリームの空間情報信号９０２には、ダウンミックス利得情報がフレームごとに挿入可能である。
【００５３】
図９（ｂ）に示すように、ビットストリームのダウンミックス信号９０３にダウンミックス利得情報がフレームごとに挿入可能である。また、ビットストリームにダウンミックス利得情報が複数のフレームごとに挿入可能である。ダウンミックス利得は、ビットストリームの全フレームに対して定数値を有したり、フレームごとにあるいは複数のフレームごとに可変値を有したりすることができる。
【００５４】
本発明によれば、フレームごとにまたは複数のフレームごとに空間情報信号がヘッダー、すなわち、構成情報領域を有し、ヘッダーはダウンミックス利得情報を含んでいる方法が実現可能である。空間情報信号がフレームごとにヘッダーを有する場合、デコーディング装置は、ヘッダーからダウンミックス利得情報を抽出して当該フレームにダウンミックス利得を適用する。一方、空間情報信号が複数のフレームごとにヘッダーを有する場合、デコーディング装置は、ヘッダーを有するフレームからダウンミックス利得情報を抽出する。そして、デコーディング装置は、ヘッダーを有するフレームにダウンミックス利得を適用し、以前のヘッダーから抽出されたダウンミックス利得を余剰ヘッダーを有さないフレームに適用する。ヘッダーは、空間情報信号のフレームに周期的にまたは非周期的に含まれる。
【００５５】
図９（ｃ）に示すように、ダウンミックス利得情報は、ビットストリームのヘッダー９０４に挿入可能である。ヘッダー９０４は、構成情報などを含む。この場合、ダウンミックス利得情報は、独立値の形でヘッダーに挿入されてもよく、特定のチャンネル利得など他の値とグループ分けされた後、グループ分けされた値の形でヘッダーに挿入されてもよい。
【００５６】
本発明によれば、さらなるビットを用いることなく、ビットストリームの予約されたフィールドにダウンミックス利得情報が挿入される他の方法が実現可能である。
【００５７】
また、本発明によれば、図９（ａ），（ｂ）及び（ｃ）に示す方法を組み合わせた別の方法が実現可能である。例えば、ダウンミックス利得は、図９（ｃ）に示すように、ヘッダーに挿入され、これと同時に、図９（ａ）に示すように、空間情報信号にも挿入可能である。また、ダウンミックス利得は、ビットストリームに直接的に挿入されるか、あるいは、ダウンミックス利得が用いられる必要があるかどうかに関する識別情報に基づいてビットストリームに選択的に挿入可能である。例えば、ビットストリームのヘッダーは、ダウンミックス利得が用いられる必要があるかどうかに関する第１の識別情報を有することができる。第１の識別情報に基づいて、ダウンミックス利得が用いられる必要があると判定された場合、ビットストリームの各フレームは、ダウンミックス利得が用いられる必要があるかどうかに関する第２の識別情報を有する。フレームにおいて、ダウンミックス利得が用いられる必要があると判定された場合、当該フレームにはダウンミックス利得が含まれる。
【００５８】
図１０Ａ及び１０Ｂは、本発明の一実施形態よる種々のタイプのダウンミックス利得を示す。ダウンミックス利得は種々の値を有することができる。例えば、図１０Ａ及び１０Ｂに示すように、表は、特定のチャンネル利得、例えば、サラウンド利得及びＬＦＥ利得とダウンミックス利得から構成可能である。表１を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」または「１／２」が使用可能である。
【００５９】
表２を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」、「１／２」または「１／４」が使用可能である。
【００６０】
表３を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」、「１／ｓｑｒｔ（２）」または「１／２」が使用可能である。
【００６１】
表４を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」、「１／ｓｑｒｔ（２）」、「１／２」または「１／２ｘｓｑｒｔ（２）」が使用可能である。
【００６２】
表５を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」、「３／４」、「２／３」または「１／２」が使用可能である。
【００６３】
表６を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」、「３／４」、「２／４」または「１／４」が使用可能である。
【００６４】
図１０Ａ及び図１０Ｂにおいては、サラウンド利得とＬＦＥ利得が特定の値、例えば、それぞれ「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」に固定されると説明されているが、本発明はこれに制限されるものではない。本発明によれば、サラウンド利得とＬＦＥ利得は、ダウンミックス利得でのように、複数の特定の値から選択可能である。本発明によれば、前記サラウンド利得とＬＦＥ利得に加えて、特定のチャンネル利得が使用可能である。
【００６５】
図１１は、本発明によるダウンミックス利得の適用によりサウンド品質劣化が招かれるフレームの周りのサウンド品質劣化を防ぐ方法を示す。ダウンミックス利得の適用によりサウンドレベルにおける変動が発生する場合、ダウンミックス利得の値がいきなり変動するフレーム周りにおいてサウンド品質劣化が発生することがある。これは、ダウンミックス利得の値がいきなり変動するフレーム周りにおいて急激なサウンドレベル変動が発生するためである。この理由から、ダウンミックス利得における変動から招かれる効果を緩やかに発現させるためには、遷移周期を設定する必要がある。この点、スムージング処理は以下の式を用いて行うことができる。
【００６６】
ＤＧｎ＝ａｎＤＧt-1ｎ−１＋１−ａｎＤＧtｎ、
ここで、ｎ＝０、１、２、…、Ｎである。
【００６７】
式中、「ａｎ」は１次線形関数であっても、通常のｎ次多項関数であってもよい。また、「ａｎ」は、ダウンミックス利得ＤＧが発生する場合、円滑な変動を示す関数、例えば、ガウス関数、ハニング（Ｈａｎｎｉｎｇ）関数またはハミング（Ｈａｍｍｉｎｇ）関数などでありうる。
【００６８】
一方、上述したスムージング処理が行われるとしても、急激なダウンミックス利得変動から招かれる逆効果は依然として残存することがある。このため、急激なダウンミックス利得変動を防ぐために、エンコーディング手続きに制限が伴われる。もちろん、エンコーディング装置が急激な利得変動を防げる構成を含んでいない場合には、急激なダウンミックス利得変動を防ぐための分析がデコーディング装置において行われることもある。例えば、値が漸増または漸減するダウンミックス利得が用いられる場合、連続するフレーム間においてダウンミックス利得変動が１増加分または減少分以内になるように制御するか、あるいは、所定数のフレームｎフレームごとに１増加分または減少分になるように制御することにより、急激なダウンミックス利得変動を防ぐことができる。
【００６９】
図１２は、本発明の一実施形態によりダウンミックス信号にダウンミックス利得を適用するオーディオ信号のエンコーディング方法を示すフローチャートである。図１２を参照すれば、このオーディオ信号のエンコーディング方法が行われるエンコーディング装置がマルチチャンネルオーディオ信号を受信する（Ｓ１２０１）。マルチチャンネルオーディオ信号は、エンコーディング装置のダウンミックス部によりダウンミックスされてダウンミックス信号が生成される（Ｓ１２０２）。上述したように、マルチチャンネルオーディオ信号のダウンミックスによりダウンミックス信号が取得されるが、エンコーディング装置の外部から直接的に入力されるダウンミックス信号、例えば、任意のダウンミックス信号が使用可能である。エンコーディング装置の空間情報生成部によりマルチチャンネルオーディオ信号から空間情報信号が生成される（Ｓ１２０２）。
【００７０】
その後、エンコーディング装置のダウンミックス利得適用部によりダウンミックス信号にダウンミックス利得が適用される（Ｓ１２０３）。例えば、ダウンミックス利得が１よりも大きな場合、ダウンミックス信号にはダウンミックス利得の逆数が乗算されて、ダウンミックス信号のサウンドレベルを下げる。これに対し、ダウンミックス利得が１よりも小さな場合、ダウンミックス信号にはダウンミックス利得が乗算されて、ダウンミックス信号のサウンドレベルを下げる。
【００７１】
そして、エンコーディング装置の乗算器によれば、ダウンミックス利得の適用されたダウンミックス信号と空間情報信号を含むビットストリームが生成される（Ｓ１２０４）。
【００７２】
ビットストリームの全フレームのダウンミックス信号にダウンミックス利得が適用可能である。この方法は、サウンドレベルの大きなダウンミックス信号フレームに対しては好適に適用可能であるが、信号対雑音比（ＳＮＲ）の劣化が発生するため、サウンドレベルの小さなダウンミックス信号フレームに適用される場合に欠点が発生する。このため、所定の時間間隔で異なるダウンミックス利得値が使用可能である。
【００７３】
ダウンミックス利得適用シンタックスは、ビットストリームのフレームごとに定義可能である。この場合、ダウンミックス利得は、ダウンミックス利得適用シンタックスに応じてフレームごとに選択的に適用可能である。例えば、ダウンミックス信号へのダウンミックス利得の適用は、以下のようにして行うことができる。
【００７４】
第一に、ビットストリームのヘッダーにダウンミックス利得が設定される。この場合、ダウンミックス利得はヘッダーに影響されるダウンミックス信号の全フレームに適用される。
【００７５】
第二に、別途に定義されたシンタックスに応じてフレームごとにダウンミックス信号に独立したダウンミックス利得が適用される。
【００７６】
第三に、第１の方法と第２の方法を組み合わせた方法が使用可能である。すなわち、ダウンミックス信号の全フレームに適用されるダウンミックス利得（以下、「第１のダウンミックス利得」と称する。）が設定される。第１のダウンミックス利得は、全体の周期中に、または、例えば、１秒から２秒範囲の長い周期中に用いられる。第１の周期とは別途に、第１のダウンミックス利得によりカバーされない周期中に利得制御を行わせるために、ダウンミックス信号には、フレームごとにもう一つの利得（以下、「第２のダウンミックス利得」と称する。）が適用される。
【００７７】
上述したように、ダウンミックス利得の適用されたダウンミックス信号のデコーディングは、デコーディングされたダウンミックス信号がモノまたはステレオ信号の形で再生される場合、ダウンミックス信号に適用されたダウンミックス利得を考慮することなく、直接的に行うことができる。しかしながら、ダウンミックス信号がマルチチャンネルオーディオ信号の形で再生される必要がある場合、以下の方法が採用可能である。
【００７８】
第一の方法は、関連オーディオ信号のサウンドレベルを復元するために、ダウンミックス信号の全体の範囲にダウンミックス利得を適用するか、あるいは、ヘッダーが適用されるダウンミックス信号の範囲にダウンミックス利得を適用することである。
【００７９】
第二の方法は、フレームごとにダウンミックス信号にダウンミックス利得を適用するか、あるいは、ヘッダーが適用される範囲よりも短い複数フレームのダウンミックス信号にダウンミックス利得を適用することである。
【００８０】
第三の方法は、 第一の方法と第二の方法を組み合わせた方法を用いることである。すなわち、フレームごとにまたは複数のフレームごとにダウンミックス信号に一つのダウンミックス利得が適用され、ダウンミックス信号の全体の範囲にはもう一つのダウンミックス利得が適用される。
【００８１】
図１３は、本発明の一実施形態によりダウンミックス信号にダウンミックス利得が適用されるオーディオ信号のデコーディング方法を示すフローチャートである。図１３を参照すれば、このオーディオ信号のデコーディング方法が行われるデコーディング装置は、オーディオ信号のビットストリームを受信する（Ｓ１３０１）。ビットストリームは、エンコーディングされたダウンミックス信号とエンコーディングされた空間情報信号を含む。
【００８２】
デコーディング装置のデマルチプレクサは、受信されたビットストリームからエンコーディングされたダウンミックス信号とエンコーディングされた空間情報信号を分離する（Ｓ１３０２）。デコーディング装置のダウンミックス信号デコーディング部は、エンコーディングされたダウンミックス信号をデコーディングして、デコーディングされたダウンミックス信号を出力する（Ｓ１３０３）。
【００８３】
デコーディング装置が空間情報を用いてマルチチャンネルオーディオ信号を出力することができない場合（Ｓ１３０４）、デコーディング装置は、ダウンミックス信号デコーディング部によりデコーディングされたダウンミックス信号を直接的に出力することができる（Ｓ１３０８）。一方、デコーディング装置がマルチチャンネルオーディオ信号を出力することができる場合（Ｓ１３０４）、以下の手続きが行われる。
【００８４】
すなわち、デコーディング装置の空間情報信号デコーディング部は、分離された空間情報をデコーディングして空間情報を生成する。デコーディング装置のダウンミックス利得抽出部は、空間情報信号またはダウンミックス信号からダウンミックス利得情報を抽出する（Ｓ１３０５）。ダウンミックス利得は、抽出されたダウンミックス利得情報に基づいて決定可能である。デコーディング装置のダウンミックス利得適用部は、前記決められたダウンミックス利得をダウンミックス信号に適用する（Ｓ１３０６）。デコーディング装置のマルチチャンネル生成部は、空間情報を用いて、ダウンミックス利得の適用されたダウンミックス信号をマルチチャンネルオーディオ信号に変換する（Ｓ１３０７）。
【００８５】
図１４は、本発明の一実施形態によりダウンミックス信号を変調するために、ダウンミックス信号に任意のダウンミックス利得ＡＤＧが適用されるエンコーディング装置を示す。エンコーディング装置は、ダウンミックス部１４０２と、空間情報生成部１４０３と、ＡＤＧ生成部１４０７と、ＡＤＧ適用部１４０９と、マルチプレクサ１４１１と、を備える。
【００８６】
図１４を参照すれば、ダウンミックス部１４０２は、マルチチャンネルオーディオ信号１４０１をダウンミックスして、ダウンミックス信号１４０４を生成する。図１４中、「ｎ」は、入力チャンネルの数を意味する。空間情報生成部１４０３は、マルチチャンネルオーディオ信号１４０１から空間情報を抽出する。
【００８７】
ＡＤＧ生成部１４０７は、ダウンミックス部１４０２により生成されるダウンミックス信号１４０４（以下、「第１のダウンミックス信号」と称する。）をエンコーディング装置の外部から直接的に入力されるダウンミックス信号１４０５（以下、「第２のダウンミックス信号」と称する。）と比較して、ＡＤＧを決める。例えば、第１のダウンミックス信号１４０４と第２のダウンミックス信号１４０５との差分を示す情報、すなわち、差分情報に基づいてＡＤＧが生成される。ここで、「ＡＤＧ」とは、第１のダウンミックス信号からの第２のダウンミックス信号の差分を低減させるための情報のことを言う。本発明においては、ダウンミックス信号を変調するために、「ＡＤＧ」が第２のダウンミックス信号または第１のダウンミックス信号にも適用可能である。
【００８８】
ＡＤＧ適用部１４０９は、ＡＤＧ生成部１４０７により生成されたＡＤＧをダウンミックス信号１４０８に適用する。ダウンミックス信号１４０８が第２のダウンミックス信号１４０５である場合、ＡＤＧは、第１のダウンミックス信号１４０４からの第２のダウンミックス信号１４０５の差分を低減させるために用いられるだけではなく、例えば、ダウンミックス信号１４０８のサウンドレベルを下げる目的で、ダウンミックス信号１４０８を変調するためにも用いられる。この場合、ダウンミックス信号１４０８へのＡＤＧの適用はフレームごとに行うことができる。
【００８９】
マルチプレクサ１４１１は、ＡＤＧの適用されたダウンミックス信号１４０８と空間情報信号１４０６を含むビットストリーム１４１２を生成する。空間情報信号１４０６は、空間情報生成部１４０３により抽出された空間情報から構成される。ビットストリーム１４１２は、デコーディング装置に送信される。また、ビットストリーム１４１２は、ＡＤＧに関する情報を含むこともある。
【００９０】
図１５は、本発明の一実施形態によりダウンミックス信号を変調するために、ダウンミックス信号にＡＤＧが適用されるデコーディング装置を示す。デコーディング装置は、デマルチプレクサ１５０２と、ダウンミックス信号デコーディング部１５０５と、空間情報信号デコーディング部１５０７と、ＡＤＧ抽出部１５０８と、ＡＤＧ適用部１５０９と、マルチチャンネル生成部１５１２と、を備える。
【００９１】
図１５を参照すれば、デマルチプレクサ１５０２は、ビットストリーム１５０１からエンコーディングされたダウンミックス信号１５０３とエンコーディングされた空間情報信号１５０４を分離する。
【００９２】
ダウンミックス信号デコーディング部１５０５は、エンコーディングされたダウンミックス信号１５０３をデコーディングし、デコーディングされた信号をモノ、ステレオ、またはマルチチャンネルオーディオ信号のダウンミックス信号１５０６として出力する。ダウンミックス信号デコーディング部１５０５は、コアコーデックデコーダを用いることができる。デコーディング装置がダウンミックス信号１５０６を処理してマルチチャンネルオーディオ信号を出力することができない場合、ダウンミックス信号１５０６は、デコーディング装置から直接的に出力される（ｏｕｔ１）。
【００９３】
空間情報信号デコーディング部１５０７は、エンコーディングされた空間情報信号１５０４をデコーディングし、デコーディングされた信号を空間情報１５１１として出力する。
【００９４】
ＡＤＧ抽出部１５０８は、空間情報信号１５０４からＡＤＧに関する情報、すなわち、ＡＤＧ情報を抽出する。ＡＤＧ抽出部１５０８がダウンミックス信号１５０６からＡＤＧ情報を抽出してもよい。
【００９５】
ＡＤＧ適用部１５０９は、ＡＤＧ抽出部１５０８により抽出されたＡＤＧ情報に基づいて決められるＡＤＧをダウンミックス信号１５０６に適用する。マルチチャンネル生成部１５１２は、空間情報１５０８を用いて、ＡＤＧの適用されたダウンミックス信号１５１０をマルチチャンネルオーディオ信号に変換して、マルチチャンネルオーディオ信号を出力する（ｏｕｔ２）。
【００９６】
図１６は、本発明の一実施形態によりダウンミックス信号にダウンミックス利得とＡＤＧが適用されるエンコーディング装置を示す。エンコーディング装置は、ダウンミックス部１６０２と、空間情報生成部１６０３と、ダウンミックス利得適用部１６０６と、ＡＤＧ適用部１６０８と、マルチプレクサ１６１０と、を備える。
【００９７】
図１６を参照すれば、ダウンミックス部１６０２と、空間情報生成部１６０３及びマルチプレクサ１６１０は、図１４に示すものと同一または類似するため、これについての詳細な説明を省く。
【００９８】
図１６に示すエンコーディング装置は、ダウンミックス利得とＡＤＧの両方の適用を実現するために、ダウンミックス利得適用部１６０６とＡＤＧ適用部１６０８の両方を備える点で、図１４のエンコーディング装置と相違点がある。図１６には図示しないが、図１６に示すエンコーディング装置がダウンミックス利得生成部とＡＤＧ生成部を備えてもよい。
【００９９】
具体的に、ダウンミックス利得適用部１６０６は、ダウンミックス信号１６０４にダウンミックス利得を適用する。ダウンミックス利得は、ダウンミックス信号１６０４の全体の範囲に均一に適用可能である。また、ダウンミックス利得の適用は、ダウンミックス部１６０２においてマルチチャンネルオーディオ信号１６０１をダウンミックスして、ダウンミックス信号１６０４を生成する過程中に行われてもよい。
【０１００】
ＡＤＧ適用部１６０８は、ダウンミックス利得の適用されたダウンミックス信号１６０７にＡＤＧを適用する。上述したように、ダウンミックス信号１６０７へのＡＤＧの適用は、フレームごとに行うことができる。ＡＤＧの適用により、ＡＤＧの適用されたダウンミックス信号の波形は、動的範囲制御（ＤＲＣ；Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｎｔｒｏｌ）が適用されるときに現れる効果とほとんど同様の効果を有することになる。ＡＤＧは、周波数ドメインにおいて、なお一層詳しくは、バイブリッドドメインにおいてダウンミックス信号に適用可能である。本発明によれば、エンコーディング装置の外部から入力されるダウンミックス信号（図示せず）にダウンミックス利得とＡＤＧを適用することもできる。
【０１０１】
マルチプレクサ１６１０は、ＡＤＧの適用されたダウンミックス信号１６０９と空間情報信号１６０５を含むビットストリーム１６１１を生成する。
【０１０２】
図１７は、本発明の一実施形態によりダウンミックス信号にダウンミックス利得とＡＤＧが適用されるデコーディング装置を示す。デコーディング装置は、デマルチプレクサ１７０２と、ダウンミックス信号デコーディング部１７０５と、空間情報信号デコーディング部１７０７と、ダウンミックス利得及びＡＤＧ抽出部１７０８と、ＡＤＧ適用部１７０９と、ダウンミックス利得適用部１７１１と、マルチチャンネル生成部１７１４と、を備える。
【０１０３】
図１７を参照すれば、デマルチプレクサ１７０２と、ダウンミックス信号デコーディング部１７０５と、空間情報信号デコーディング部１７０７及びマルチチャンネル生成部１７１４は、図１５に示すマルチプレクサ１５０２と、ダウンミックス信号デコーディング部１５０５と、空間情報信号デコーディング部１５０７及びマルチチャンネル生成部１５１２と同一または類似する機能を有する。このため、これらの構成要素についての詳細な説明を省く。
【０１０４】
図１７に示すデコーディング装置は、ダウンミックス利得とＡＤＧの両方の適用を実現するために、ダウンミックス利得及びＡＤＧ抽出部１７０８と、ＡＤＧ適用部１７０９及びダウンミックス利得適用部１７１１を備える点で、図１５に示すデコーディング装置と相違点がある。
【０１０５】
ダウンミックス利得及びＡＤＧ抽出部１７０８は、空間情報信号１７０４からダウンミックス利得情報とＡＤＧ情報を抽出する。ダウンミックス利得情報とＡＤＧ情報は同じ構成要素により抽出されてもよい。あるいは、ダウンミックス利得情報とＡＤＧ情報がそれぞれ別々の構成要素（図示せず）により抽出されてもよい。また、ダウンミックス利得情報とＡＤＧ情報がダウンミックス信号１７０６から抽出されてもよい。
【０１０６】
ＡＤＧ適用部１７０９は、ダウンミックス信号デコーディング部１７０５のデコーディング動作により生成されるダウンミックス信号１７０６に前記抽出されたＡＤＧ情報に基づいて生成されるＡＤＧを適用する。
【０１０７】
ダウンミックス利得適用部１７１１は、ＡＤＧの適用されたダウンミックス信号１７１０にダウンミックス利得情報に基づいて生成されるダウンミックス利得を適用する。マルチチャンネル生成部１７１４は、空間情報１７１３を用いて、ＡＤＧとダウンミックス利得の適用されたダウンミックス信号１７１２をマルチチャンネルオーディオ信号として出力する（ｏｕｔ２）。デコーディング装置がこのようなマルチチャンネルオーディオ信号を出力することができない場合には、ダウンミックス信号デコーディング部１７０５のデコーディング動作により生成されるダウンミックス信号１７０６を直接的に出力することができる（ｏｕｔ１）。
【０１０８】
図１８は、本発明の一実施形態によりＡＤＧが適用される複数の周波数帯域を示す。オーディオ信号の周波数帯域にＡＤＧを適用するに当たって、ＡＤＧは、オーディオ信号のチャンネルレベル差分ＣＬＤと同じ値であってもよい。例えば、ＡＤＧは、ＣＬＤと同数のパラメータ帯域を有することができる。このため、デコーディング装置においてＡＤＧの適用が実現される場合、図１８に示すように、「ｂｓＦｒｅｑＲｅｓＳｔｒｉｄｅｘｘｘ」の値に基づいて、全体の周波数帯域が分割されるグループの数を決めることができる。
【０１０９】
「ｐｂＳｔｒｉｄｅ」が１である場合、全体の周波数帯域に対してグループ分けが行われない。この場合、各周波数帯域ごとにＡＤＧの読み込みが行われ、当該周波数帯域に前記読み込まれたＡＤＧが適用される。「ｐｂＳｔｒｉｄｅ」が５である場合、各５個の周波数帯域ごとにＡＤＧの読み込みが行われ、当該５個の周波数帯域に前記読み込まれたＡＤＧが適用される。一方、「ｐｂＳｔｒｉｄｅ」が２８である場合、ＡＤＧの読み込みが行われ、全体の周波数帯域に前記読み込まれたＡＤＧが適用される。このため、「ｐｂＳｔｒｉｄｅ」が２８である場合、全体の帯域利得制御が行われるのに対し、「ｐｂＳｔｒｉｄｅ」が２８以外の値である場合、マルチ帯域利得制御が行われる。
【０１１０】
また、ＡＤＧに基づく利得制御は、ダウンミックス信号の各チャンネルに対して行われてもよい。
【０１１１】
また、ＡＤＧ適用は、タイムスロットを基に行われてもよい。ここで、「タイムスロット」とは、オーディオ信号がタイムドメインにおいて同等に分割される時間間隔のことを言う。このため、特定の時間位置においてサウンドレベルが大きな音の方に急激に変動する場合、前記特定の時間位置に前記サウンドレベルの大きな音に対する利得制御を行うことができる。ＡＤＧ値が変動する場合、当該ＡＤＧに対して主な補間が行われる。そうでなければ、ＡＤＧ値が保持される。このため、全体の帯域利得制御の場合、全体の周波数帯域のためにタイムスロットごとに一つのＡＤＧが存在する。これに対し、マルチ帯域利得制御の場合、マルチ周波数帯域のためにタイムスロットごとに一つのＡＤＧが存在する。
【０１１２】
図１９は、本発明の一実施形態によりダウンミックス信号を変調するために、ダウンミックス信号にＡＤＧが適用されるオーディオ信号のエンコーディング方法を示すフローチャートである。このオーディオ信号のエンコーディング方法が行われるエンコーディング装置は、先ず、マルチチャンネルオーディオ信号を受信する（Ｓ１９０１）。
【０１１３】
そして、ダウンミックス部は、マルチチャンネルオーディオ信号をダウンミックスして、第１のダウンミックス信号を生成する（Ｓ１９０２）。
【０１１４】
エンコーディング装置の空間情報生成部は、マルチチャンネルオーディオ信号から空間情報信号を生成する（Ｓ１９０２）。
【０１１５】
その後、エンコーディング装置のＡＤＧ生成部は、第１のダウンミックス信号をエンコーディング装置の外部から直接的に入力されるダウンミックス信号、すなわち、第２のダウンミックス信号と比較する。比較の結果に基づいて、ＡＤＧ生成部はＡＤＧを生成する（Ｓ１９０３）。そして、エンコーディング装置のＡＤＧ適用部は、前記生成されたＡＤＧを第１のダウンミックス信号または第２のダウンミックス信号に適用する（Ｓ１９０４）。続けて、エンコーディング装置のマルチプレクサは、ＡＤＧの適用されたダウンミックス信号と空間情報信号を含むビットストリームを生成する（Ｓ１９０５）。生成されたビットストリームは、デコーディング装置に送信される（Ｓ１９０５）。
【０１１６】
本発明によれば、ダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得とＡＤＧの両方が適用されるもう一つのオーディオ信号のエンコーディング方法が実現される。このエンコーディング方法は、図１９に示すエンコーディング方法とほとんど同様である。このエンコーディング方法は、図１９に示すように、ダウンミックス信号と空間情報信号を生成した後、ダウンミックス信号にダウンミックス利得を適用することをさらに含むという点で、図１９に示すエンコーディング方法と相違点がある。このエンコーディング方法においては、その後、ダウンミックス利得の適用されたダウンミックス信号にＡＤＧが適用されるであろう。
【０１１７】
本発明によれば、ＡＤＧの低周波部分は、利得として生成されるのではなく、第１のダウンミックス信号の低周波成分に対して余剰コーディングを行うことにより生成され、ＡＤＧの高周波部分は、従来の方法でのように利得として生成されて、前記生成されたＡＤＧに向上した性能を発現させるような方式でＡＤＧが生成される。ここで、「余剰コーディング」は、ダウンミックス信号の一部を直接的にコーディングすることを意味する。
【０１１８】
上述した方法において、ＡＤＧの低周波部分は、第１のダウンミックス信号の低周波成分に対して直接的に余剰コーディングを行うことにより生成される。しかしながら、ＡＤＧの低周波部分が第１のダウンミックス信号と第２のダウンミックス信号との差分に対して余剰コーディングを行うことにより生成されてもよい。
【０１１９】
利得として生成されたＡＤＧと第１のダウンミックス信号の低周波成分の余剰コーディングにより生成されたＡＤＧは、ダウンミックス信号を変調するためにダウンミックス信号に適用される。本発明によれば、ダウンミックス信号のサウンドレベル損失が発生した個所と関連する復元情報がＡＤＧに追加されるか、あるいは、ＡＤＧとともに送信されて、復元情報のあるＡＤＧがデコーディング装置においてダウンミックス信号の変調のために用いられるようにできる。
【０１２０】
本発明によれば、ダウンミックス信号を変調するための情報、例えば、ダウンミックス信号の振幅を変動させるための情報と、第２のダウンミックス信号を復元して第２のダウンミックス信号と第１のダウンミックス信号との差分を低減させるための情報が、ＡＤＧに含まれていてもよい。上述した方式により生成されたＡＤＧは、空間情報信号に含まれた状態で送信されてもよい。
【０１２１】
図２０は、本発明の一実施形態によりダウンミックス信号を変調するために、ダウンミックス信号にＡＤＧが適用されるオーディオ信号のデコーディング方法を示すフローチャートである。図２０を参照すれば、このオーディオ信号のデコーディング方法が行われるデコーディング装置がオーディオ信号のビットストリームを受信する（Ｓ２００１）。ビットストリームは、エンコーディングされたダウンミックス信号とエンコーディングされた空間情報信号を含む。
【０１２２】
デコーディング装置のデマルチプレクサは、前記受信されたビットストリームからエンコーディングされたダウンミックス信号とエンコーディングされた空間情報信号を分離する（Ｓ２００２）。デコーディング装置のダウンミックス信号デコーディング部は、前記分離されたダウンミックス信号をデコーディングする（Ｓ２００３）。
【０１２３】
デコーディング装置が空間情報を用いてダウンミックス信号をマルチチャンネルオーディオ信号として出力することができない場合（Ｓ２００４）、デコーディング装置はダウンミックス信号デコーディング部がデコーディングしたダウンミックス信号を直接的に出力することができる（Ｓ２００８）。一方、デコーディング装置がダウンミックス信号をマルチチャンネルオーディオ信号として出力することができる場合（Ｓ２００４）、以下の処理が行われる。
【０１２４】
すなわち、デコーディング装置の空間情報信号デコーディング部が前記分離された空間情報信号をデコーディングして、空間情報信号が生成される。デコーディング装置のＡＤＧ抽出部は、前記空間情報信号またはダウンミックス信号からＡＤＧ情報を抽出する（Ｓ２００５）。ＡＤＧは、前記抽出されたＡＤＧ情報に基づいて決定可能である。デコーディング装置のＡＤＧ適用部は、前記決定されたＡＤＧをダウンミックス信号に適用する（Ｓ２００６）。デコーディング装置のマルチチャンネル生成部は、空間情報に基づいて、前記ＡＤＧの適用されたダウンミックス信号をマルチチャンネルオーディオ信号に変換し、デコーディング装置は前記マルチチャンネルオーディオ信号を出力する（Ｓ２００７）。
【０１２５】
本発明によれば、ダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得とＡＤＧが適用されるもう一つのデコーディング方法が実現可能である。このデコーディング方法は、図２０に示す方法とほとんど同様である。このデコーディング方法は、ダウンミックス信号にＡＤＧを適用する前に、ダウンミックス信号にダウンミックス利得を適用することをさらに含むという点で、図２０に示す方法と相違点がある（Ｓ２００６）。以下、このデコーディング方法をより具体的に説明する。
【０１２６】
ダウンミックス利得及びＡＤＧ抽出部（図示せず）は、空間情報信号またはダウンミックス信号からダウンミックス利得情報とＡＤ情報を抽出する。そして、前記抽出されたダウンミックス利得情報に基づいて生成されるダウンミックス利得がダウンミックス信号に適用される。ダウンミックス利得は、ダウンミックス信号の全体の範囲に適用可能である。その後、前記抽出されたＡＤＧ情報に基づいて生成されるＡＤＧがダウンミックス信号に適用される。ダウンミックス信号にＡＤＧを適用することはフレームごとに行うことができる。
【０１２７】
図２１は、本発明の一実施形態により特定のチャンネルのエネルギーレベルを変調するためのエンコーディング装置を示すブロック図である。このエンコーディング装置は、特定チャンネルレベル処理部２１０２と、ダウンミックス部２１０４と、空間情報生成部２１０５及びマルチプレクサ２１０８を備える。
【０１２８】
図２１を参照すれば、特定チャンネルレベル処理部２１０２は、マルチチャンネルオーディオ信号２１０１を受信し、受信されたマルチチャンネルオーディオ信号２１０１の特定のチャンネルのエネルギーレベルを変調して、変調されたマルチチャンネルオーディオ信号２１０３を出力する。ここで、「エネルギーレベル」とは、関連信号の信服と比例する値のことをいい、サウンドレベルを含む。特定のチャンネルのエネルギーレベルの変更有無及びその方法は測定または算出により決定可能である。エネルギーレベルの変動が発生した信号に特定のチャンネル利得を適用することによりエネルギーレベル変調がなされることが好ましい。例えば、エネルギーレベル変調は、サウンドチャンネルまたはＬＦＥチャンネルにサラウンド利得またはＬＦＥ利得を適用することにより行われてもよい。ダウンミックス部２０１４は、エネルギーレベルの変調されたマルチチャンネルオーディオ信号２１０３をダウンミックスして、ダウンミックス信号２１０６を生成する。また、空間情報生成部２１０５は、マルチチャンネルオーディオ信号２１０３から空間情報を抽出する。
【０１２９】
マルチプレクサ２１０８は、ダウンミックス信号２１０６と空間情報信号２１０７を含むビットストリーム２１０９を生成する。空間情報信号２１０７は、空間情報生成部２１０５により抽出された空間情報から構成される。ビットストリーム２１０９は、デコーディング装置に送信される。また、ビットストリーム２１０９は、特定のチャンネル利得情報を含んでなる。
【０１３０】
図２２は、本発明の一実施形態により特定のチャンネルのエネルギーレベルを変調するためのデコーディング装置を示すブロック図である。このデコーディング装置は、デマルチプレクサ２２０２と、ダウンミックス信号デコーディング部２２０５と、空間情報信号デコーディング部２２０６と、マルチチャンネル生成部２２１０及び特定チャンネルレベル処理部２２１２を備える。
【０１３１】
図２２を参照すれば、デマルチプレクサ２２０２は、オーディオ信号のビットストリーム２２０１を受信し、エンコーディングされたダウンミックス信号２２０３とエンコーディングされた空間情報信号２２０４を前記ビットストリーム２２０１から分離する。
【０１３２】
ダウンミックス信号デコーディング部２２０５は、前記エンコーディングされたダウンミックス信号２２０３をデコーディングし、デコーディングされたダウンミックス信号２２０８を出力する。また、ダウンミックス信号デコーディング部２２０５は、前記エンコーディングされたダウンミックス信号２２０３をデコーディングすることによりパルスコード変調（ＰＣＭ）を有するダウンミックス信号２２０９を生成することもできる。
【０１３３】
空間情報信号デコーディング部２２０６は、空間情報信号２２０４をデコーディングし、その結果として空間情報２２０７を出力する。マルチチャンネル生成部２２１０は、前記ダウンミックス信号２２０９をマルチチャンネルオーディオ信号２２１１に変換する。
【０１３４】
特定チャンネルレベル処理部２２１２は、マルチチャンネルオーディオ信号２２１１と、空間情報２２０７及びダウンミックス信号２２０８を受信し、前記受信した信号に基づいて、チャンネルごとにエネルギーレベル変調を行う。
【０１３５】
特定チャンネルレベル処理部２２１２は、チャンネルレベル検出部２２１３と、変調識別部２２１４及びチャンネルレベル変調部２２１５を備える。チャンネルレベル検出部２２１３は、前記マルチチャンネルオーディオ信号２２１１がチャンネルごとに変動されるかどうか及びその方法を検出する。変調識別部２２１４は、前記チャンネルレベル検出部２２１３において行われる検出の結果に基づいて、エネルギーレベル変調がチャンネルごとに行われる必要があるかどうかを識別する。チャンネルレベル変調部２２１５は、前記変調識別部２２１４において行われる識別の結果に基づいて、特定のチャンネルのエネルギーレベルを変調する。
【０１３６】
デコーディング装置がマルチチャンネルオーディオ信号を出力することができない場合、デコーディング装置は、ダウンミックス信号デコーディング部２００５のデコーディング動作により生成されるダウンミックス信号２００８を直接的に出力することができる（ｏｕｔ１）。一方、デコーディング装置がマルチチャンネルオーディオ信号を出力することができる場合、デコーディング装置は、チャンネルごとにマルチチャンネルオーディオ信号のエネルギーレベルを変調した後、マルチチャンネルオーディオ信号を出力する（ｏｕｔ２）。
【０１３７】
図２２に示すデコーディング装置は、エンコーディング装置から送られてきた特定のチャンネルに関するレベル変調情報が存在しないとしても、特定のチャンネルのレベルを自ら変調することができる。このデコーディング装置は、マルチチャンネル生成部２２１０とは独立して特定チャンネルレベル処理部２２１２が設けられるという点に特徴がある。特定チャンネルレベル処理部２２１２に含まれるチャンネルレベル検出部２２１３は、空間情報及びダウンミックス信号２２１８に含まれるＣＬＤに基づいて、元のオーディオ信号のエネルギーレベルを算出することができる。このようにして算出されたエネルギーレベルは、マルチチャンネル生成部２２１０から入力されるマルチチャンネルオーディオ信号２２１１のエネルギーレベルと比較される。
【０１３８】
比較の結果、レベル差が存在すると判定されれば、チャンネルレベル変調部２２１５においてエネルギーレベル変調が行われる。すなわち、チャンネルレベル変調部２２１５は、マルチチャンネルオーディオ信号２２１１のエネルギーレベルに所定の特定のチャンネル利得を乗算して、マルチチャンネルオーディオ信号２２１１のエネルギーレベルを変調する。この場合、変調識別部２２１４は、エネルギーレベル差があるとき、チャンネルレベル変調を行う必要があると決めるであろう。あるいは、変調識別部２２１４は、所定の制限を超えるエネルギーレベル差があるときに限って、チャンネルレベル変調を行う必要があると決めてもよい。
【０１３９】
本発明によれば、図２２に示すデコーディング装置とほとんど同様であるが、マルチチャンネル生成部にチャンネルレベル検出部と変調識別部が含まれ、チャンネルレベル変調部が独立して設けられる点で、図２２に示すデコーディング装置と相違点がある。
【０１４０】
本発明によれば、図２２に示すデコーディング装置とほとんど同様であるが、マルチチャンネル生成部にチャンネルレベル検出部と、変調識別部と、チャンネルレベル変調部が含まれるという点で、図２２に示すデコーディング装置と相違点があるもう一つのデコーディング装置が実現可能である。この場合、マルチチャンネル生成部の内部機能を用いて、チャンネルごとにエネルギーレベル変調を行うことが可能である。内部機能を用いるこのエネルギーレベル変調方法は、直交ミラーフィルタ（ＱＭＦｓ）またはハイブリッドフィルタなどのフィルタが用いられる場合にフィルタの利得を調節する方法と、全体の利得を調節する方法と、プレマトリックスまたはポストマトリックス値を調節する方法と、サブバンドエンベロープアプリケーションツールまたはタイムエンベロープアプリケーションツールと関連する機能を調節する方法と、信号が加算される場合に非相関信号と元の信号の利得を制御する方法、または、上述した方法の代わりに特定のモジュールを用いる方法を含むことができる。サブバンドエンベロープアプリケーションツールまたはタイムエンベロープアプリケーションツールを用いてデコーディングが達成される場合、実在効果を与える最終信号をユーザーに生成させることが可能である。
【０１４１】
図２３は、本発明の一実施形態により特定のチャンネルのレベルを変調するデコーディング装置を示すブロック図である。このデコーディング装置は、図２２に示すデコーディング装置と構成がほとんど同様である。このため、デマルチプレクサ２３０２と、ダウンミックス信号デコーディング部２３０５及び空間情報信号デコーディング部２３０３を備える類似構成についての説明は省く。図２３に示すデコーディング装置は、特定チャンネルレベル処理部２３０８の位置が図２２に示すデコーディング装置と異なる点で相違点がある。
【０１４２】
図２３を参照すれば、特定チャンネルレベル処理部２３０８は、チャンネルレベル検出部２３０９と、変調識別部２３１０及びチャンネルレベル変調部２３１１を備える。特定チャンネルレベル処理部２３０８は、ＰＣＭデータフォーマットを有するダウンミックス信号２３０７のエネルギーレベルをチャンネルごとに変調することができる。
【０１４３】
具体的に、元の信号のエネルギーレベルと再生された信号のエネルギーレベルとの比較により元の信号と再生された信号のエネルギーレベルを検出することができる場合、チャンネルレベル変調部２３１１は、チャンネルを基にダウンミックス信号２３０７のエネルギーレベルを変調する。
【０１４４】
特定チャンネルレベル処理部２３０８は、マルチチャンネル生成部２３１３にダウンミックス信号２３１２を送信する。マルチチャンネル生成部２３１３は、空間情報信号に対する空間情報信号デコーディング部２３０３のデコーディング動作により空間情報が生成される空間情報信号２３０４を用いて、前記ダウンミックス信号２３１２をマルチチャンネルオーディオ信号２３１４として出力することができる（ｏｕｔ２）。
【０１４５】
一方、本発明によれば、関連オーディオ信号のビットストリームを用いて特定のチャンネルのエネルギーレベルの変調が実現可能である。具体的に、エンコーディング装置が特定のチャンネルのエネルギーレベルを変調し、前記変調情報がビットストリームに含まれた状態で変調に関する情報を送信する場合、前記ビットストリームを受信するデコーディング装置は、ビットストリームから変調情報を抽出することができ、前記抽出された変調情報に基づいて、特定のチャンネルのエネルギーレベルを復元することができる。例えば、エンコーディング装置は、種々の値を有するサラウンド利得を設定し、前記サラウンド利得のうちいずれかをサラウンドチャンネルに適用し、前記適用された利得に関する情報、すなわち、サラウンド利得情報をビットストリームに含める。この場合、サラウンド利得情報は、ビットストリームの空間情報信号に含めることができる。デコーディング装置は、ビットストリームからサラウンド利得情報を抽出する。前記抽出された利得情報を用いて、デコーディング装置は、サラウンドチャンネルのエネルギーレベルを元のエネルギーレベルに復元することができる。以下、ビットストリームに変調情報を挿入する方法について詳述する。
【０１４６】
先ず、空間情報信号は、フレームごとにまたは複数のフレームごとにヘッダーを有するようにフォーマットされる。特定のチャンネルに関する変調情報、例えば、サラウンド利得情報がヘッダーに含まれる。空間情報信号が複数のフレームごとにヘッダーを有する場合、ヘッダーは、複数のフレームごとに空間情報信号に周期的にまたは非周期的に含むことができる。
【０１４７】
また、ビットストリームは、「どのチャンネルが増幅または減衰される必要があるかと、当該チャンネルがどのように増幅または減衰される必要があるか（ｄＢ）」を示すビット情報を含むことができる。この場合、ビットストリームは、特定のチャンネルのエネルギーレベルが変調される必要があるかどうかと、変調が行われる場合に以前のデータが継続して用いられる必要があるかどうかに関する情報を含むことができる。また、ビットストリームは、どのチャンネルが変調される必要があるかに関する情報を含むことができる。また、ビットストリームは、変調される必要のあるチャンネルの減衰または増幅レベル（ｄＢ）に関する情報を含むことができる。
【０１４８】
本発明によれば、特定のチャンネル利得の調節がグループごとに行われるように特定のチャンネルがグループ分けされる方法が実現可能である。すなわち、エンコーディング装置は、異なるグループの特定のチャンネルにそれぞれ異なるチャンネル利得を適用する。ダウンミックス動作後、エンコーディング装置は、ダウンミックス動作により生成されるビットストリームに特定のチャンネル利得情報が含まれた状態で特定のチャンネル利得情報を送信する。デコーディング装置は、エンコーディング装置においてグループごとにマルチチャンネルオーディオ信号に用いられたチャンネル利得の逆数を適用することにより、マルチチャンネルオーディオ信号のエネルギーレベルを元のエネルギーレベルに復元する。
【０１４９】
例えば、オーディオ信号のチャンネルは、３つのグループ、すなわち、中央チャンネルと、前方左側チャンネル及び前方右側チャンネルを含む第１のグループと、後方左側チャンネルと後方右側チャンネルを含む第２のグループと、ＬＦＥチャンネルを含む第３のグループにグループ分け可能である。この場合、各チャンネルへの特定のチャンネル利得の適用がグループごとに行われ、その結果としてのチャンネルが加算されてモノダウンミックス信号を生成する第１の特定のチャンネル利得調節方法が採用可能である。デコーディング装置においては、前記モノダウンミックス信号が多数のチャンネルに変換され、前記多数のチャンネルのそれぞれにはグループごとに関連する特定のチャンネル利得が乗算されて、元のレベルに復元されてから出力される。特定のチャンネル利得の乗算は、前記変換処理後にまたは前記変換処理中に行うことができる。
【０１５０】
また、第２の特定のチャンネルの利得調節方法が採用可能である。第２の方法によれば、グループごとに各チャンネルに特定のチャンネル利得が適用される。その後、前方左側チャンネルと後方左側チャンネルが加算されて左側チャンネルを生成し、前方右側チャンネルと後方右側チャンネルが加算されて右側チャンネルを生成する。中央チャンネルとＬＦＥチャンネルのそれぞれには特定のチャンネル利得、すなわち、（１／２）（１／２）が乗算される。その結果としてのチャンネルは、それぞれ左側チャンネルと右側チャンネルに加算されてステレオダウンミックス信号を生成する。このようにして生成されたステレオダウンミックス信号がデコーディングされて最終信号を生成する場合、特定のチャンネル利得の適用はチャンネルごとに行われる。具体的に、ダウンミックス信号の左側チャンネルと右側チャンネルから抽出された信号には２（１／２）が乗算されて、中央チャンネルとＬＦＥチャンネルに加算される。以上、モノまたはステレオダウンミックス信号と関連する実施形態が説明されているが、本発明はこれに何ら制限されるものではない。
【０１５１】
本発明によれば、グループごとに各チャンネルに特定のチャンネル利得を適用した後にダウンミックス信号が生成され、前記生成されたダウンミックス信号に対してダウンミックス利得を適用するもう一つの方法が実現可能である。
【０１５２】
当業者にとっては、本発明の思想または範囲から逸脱することなく、本発明に対する種々の変更及び変更が可能であることが理解できるであろう。よって、本発明は特許請求の範囲とその等価物に含まれる本発明の変更及び変形をいずれかカバーするものとして考慮さるべきである。
【産業上の利用可能性】
【０１５３】
上述したように、本発明によれば、マルチチャンネルオーディオ信号のダウンミックスにより生成されるダウンミックス信号にダウンミックス利得を適用することにより、または、マルチチャンネルオーディオ信号にダウンミックス利得を適用した後、マルチチャンネルオーディオ信号をダウンミックスすることにより、マルチチャンネルオーディオ信号のサウンドレベル損失を効率よく防ぐことができる。
【０１５４】
また、マルチチャンネルオーディオ信号のダウンミックスにより生成されるダウンミックス信号にＡＤＧを適用することにより、または、ダウンミックス信号にダウンミックス利得を適用した後、ダウンミックス信号にＡＤＧを適用することにより、マルチチャンネルオーディオ信号のサウンドレベル損失の問題点を防ぐことができる。
【０１５５】
さらに、マルチチャンネルオーディオ信号の特定のチャンネルのエネルギーレベルを変調し、変調されたマルチチャンネルオーディオ信号をダウンミックスしてダウンミックス信号を生成することにより、マルチチャンネルオーディオ信号のサウンド損失の問題点を防ぐことができる。
【図面の簡単な説明】
【０１５６】
本発明のさらなる理解を提供するために添付された図面は本発明の一部として一体化及び構成されて、本発明の実施形態を例示し、説明とともに本発明の原理を説明するのに寄与する。
【０１５７】
【図１】オーディオ信号に含まれている空間情報を人間に視認させる方法を示す概略図。
【図２】オーディオ信号をエンコーディングするプロセスにおいて発生するオーディオ信号のサウンドレベル損失現象を示す波形図。
【図３】本発明の一実施形態においてダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得が適用される第１のエンコーディング装置を示すブロック図。
【図４】本発明の一実施形態においてダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得が適用される第１のデコーディング装置を示すブロック図。
【図５】本発明の一実施形態においてマルチチャンネルオーディオ信号を変調するために、マルチチャンネルオーディオ信号にダウンミックス利得が適用される第２のエンコーディング装置を示すブロック図。
【図６】本発明の一実施形態においてマルチチャンネルオーディオ信号を変調するために、マルチチャンネルオーディオ信号にダウンミックス利得が適用される第２のデコーディング装置を示すブロック図。
【図７】本発明の一実施形態においてダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得が適用される第３のエンコーディング装置を示すブロック図。
【図８】本発明の一実施形態においてダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得が適用される第３のデコーディング装置を示すブロック図。
【図９】本発明の実施形態のそれぞれにおいてダウンミックス利得情報を含むビットストリームを示す図。
【図１０Ａ】本発明の一実施形態において種々のタイプのダウンミックス利得を示す表。
【図１０Ｂ】本発明の一実施形態において種々のタイプのダウンミックス利得を示す表。
【図１１】本発明におけるダウンミックス利得を適用することにより、フレーム寄りにより招かれるサウンド品質劣化を防ぐ方法を示すグラフ。
【図１２】本発明の一実施形態においてダウンミックス信号にダウンミックス利得が適用されるオーディオ信号のエンコーディング方法を示すフローチャート。
【図１３】本発明の一実施形態においてダウンミックス信号にダウンミックス利得が適用されるオーディオ信号のデコーディング方法を示すフローチャート。
【図１４】本発明の一実施形態においてダウンミックス信号を変調するために、ダウンミックス信号に任意のダウンミックス利得（以下、「ＡＤＧ」と称する。）が適用されるエンコーディング装置を示すブロック図。
【図１５】本発明の一実施形態においてダウンミックス信号を変調するために、ダウンミックス信号にＡＤＧが適用されるデコーディング装置を示すブロック図。
【図１６】本発明の一実施形態においてダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得とＡＤＧが適用されるエンコーディング装置を示すブロック図。
【図１７】本発明の一実施形態においてダウンミックス信号を変調するために、ダウンミックス信号にダウンミックス利得とＡＤＧが適用されるデコーディング装置を示すブロック図。
【図１８】本発明の一実施形態においてＡＤＧが適用される複数の周波数帯域を示す表。
【図１９】本発明の一実施形態においてダウンミックス信号を変調するために、ダウンミックス信号にＡＤＧが適用されるオーディオ信号のエンコーディング方法を示すフローチャート。
【図２０】本発明の一実施形態においてダウンミックス信号を変調するために、ダウンミックス信号にＡＤＧが適用されるオーディオ信号のデコーディング方法を示すフローチャート。
【図２１】本発明の一実施形態において特定のチャンネルのサウンドレベルを変調するためのエンコーディング装置を示すブロック図。
【図２２】本発明の一実施形態において特定のチャンネルのサウンドレベルを変調するためのデコーディング装置を示すブロック図。
【図２３】本発明の一実施形態において特定のチャンネルのサウンドレベルを変調するためのデコーディング装置を示すブロック図。
【図１】
2009500656.tif 000005
【図２】
2009500656.tif 000006
【図３】
2009500656.tif 000007
【図４】
2009500656.tif 000008
【図５】
2009500656.tif 000009
【図６】
2009500656.tif 000010
【図７】
2009500656.tif 000011
【図８】
2009500656.tif 000012
【図９】
2009500656.tif 000013
【図１０Ａ】
2009500656.tif 000014
【図１０Ｂ】
2009500656.tif 000015
【図１１】
2009500656.tif 000016
【図１２】
2009500656.tif 000017
【図１３】
2009500656.tif 000018
【図１４】
2009500656.tif 000019
【図１５】
2009500656.tif 000020
【図１６】
2009500656.tif 000021
【図１７】
2009500656.tif 000022
【図１８】
2009500656.tif 000023
【図１９】
2009500656.tif 000024
【図２０】
2009500656.tif 000025
【図２１】
2009500656.tif 000026
【図２２】
2009500656.tif 000027
【図２３】
2009500656.tif 000028
【手続補正書】
【提出日】平成20年5月15日(2008.5.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
前記オーディオ信号を受信し、
前記オーディオ信号からダウンミックス信号を抽出し、
前記オーディオ信号からダウンミックス利得情報を抽出し、
前記抽出されたダウンミックス利得信号に基づいて、ダウンミックス利得を前記ダウンミックス信号に選択的に適用する、
を有することを特徴とするオーディオ信号のデコーディング方法。
【請求項２】
前記ダウンミックス利得は、タイムドメインにおいて前記ダウンミックス信号に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項３】
前記ダウンミックス利得は、周波数ドメインにおいて前記ダウンミックス信号に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項４】
前記ダウンミックス利得は、前記ダウンミックス信号の全部分に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項５】
前記ダウンミックス利得は、複数のフレームごとにまたはフレームごとに前記ダウンミックス信号に可変的に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項６】
前記ダウンミックス信号は、前記ダウンミックス利得の１増加分または減少分よりも小さな範囲内において可変可能であるか、あるいは、複数のフレームごとに前記ダウンミックス利得の１増加分または減少分だけ可変可能である、請求項５に記載のオーディオ信号のデコーディング方法。
【請求項７】
前記ダウンミックス利得情報は、前記オーディオ信号に含まれる空間情報信号のヘッダから抽出される、請求項４に記載のオーディオ信号のデコーディング方法。
【請求項８】
前記ヘッダは、ビットストリームのフレームごとに前記空間情報信号に含まれるか、あるいは、複数のフレームごとに前記空間情報信号に含まれる、請求項７に記載のオーディオ信号のデコーディング方法。
【請求項９】
前記ヘッダは、複数のフレームごとに前記空間情報信号に周期的にまたは非周期的に含まれる、請求項８に記載のオーディオ信号のデコーディング方法。
【請求項１０】
前記ダウンミックス利得情報は、フレームに含まれるダウンミックス信号ビットから抽出される、請求項５に記載のオーディオ信号のデコーディング方法。
【請求項１１】
複数の予め決められた値の一つに従って、ダウンミックス利得情報をデコーディングする、ことを更に有する、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項１２】
ダウンミックス利得情報は、前記ダウンミックス利得を適用するかしないかを示す少なくとも１ビットである、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項１３】
ダウンミックス利得情報は、前記ダウンミックス利得を適用するレベルを示す少なくとも２ビットである、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項１４】
前記レベルは、１、２、３、４、√２、２√２、４／３及び３／２の内の１つである、請求項１３に記載のオーディオ信号のデコーディング方法。
【請求項１５】
前記ダウンミックス利得情報は、前記オーディオ信号のヘッダ、抽出されたダウンミックス信号のフレーム、及び前記オーディオ信号の空間情報の一つに埋め込まれている、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項１６】
マルチチャンネルオーディオ信号から、ダウンミックス信号及び空間情報信号を生成し、
前記ダウンミックス信号にダウンミックス利得を適用し、
前記ダウンミックス信号と前記空間情報信号をマルチプレクシングして、オーディオ信号を作り、前記オーディオ信号は埋め込まれたダウンミックス利得情報を有している、
を有することを特徴とするオーディオ信号のエンコーディング方法。
【請求項１７】
前記ダウンミックス利得情報は、前記オーディオ信号のヘッダ、抽出されたダウンミックス信号のフレーム、及び前記オーディオ信号の空間情報の一つに埋め込まれている、請求項１６に記載のオーディオ信号のエンコーディング方法。
【請求項１８】
前記ダウンミックス信号の生成時に発生する、サウンドレベル変動の頻度及びサウンドレベル変動の度合いの少なくとも１つを測定し、
前記頻度及び度合いの少なくとも１つを利用して前記ダウンミックス利得を決定する、
ことを更に有する、請求項１６に記載のオーディオ信号のエンコーディング方法。
【請求項１９】
【数１】
2009500656.tif 000029
【請求項２０】
前記ダウンミックス利得は、最大値及び１との範囲の値を持つように量子化される、請求項１６に記載のオーディオ信号のエンコーディング方法。
【請求項２１】
オーディオ信号をデコーディングする装置において、
前記オーディオ信号のビットストリームからダウンミックス信号と空間情報信号を分離するように構成されたデマルチプレクサと、
抽出されたダウンミックス利得情報に基づいて、前記ダウンミックス信号にダウンミックス利得を適用するダウンミックス利得適用部と、
前記空間情報信号を用いて、前記ダウンミックス利得の適用されたダウンミックス信号をマルチチャンネルオーディオ信号に変換するように構成されたマルチチャンネル生成部と、
を有することを特徴とするオーディオ信号のデコーディング装置。
【請求項２２】
前記空間情報信号から前記ダウンミックス利得に関する情報を抽出するように構成されたダウンミックス利得抽出部をさらに有する、請求項２１に記載のオーディオ信号のデコーディング装置。
【請求項２３】
前記ダウンミックス利得情報は、前記オーディオ信号のヘッダ、抽出されたダウンミックス信号のフレーム、及び前記空間情報信号の一つに埋め込まれている請求項２１に記載のオーディオ信号のデコーディング装置。
【請求項２４】
オーディオ信号をエンコーディングする装置において、
マルチチャンネルオーディオ信号からダウンミックス信号を生成するように構成されたダウンミックス部と、
前記マルチチャンネルオーディオ信号から空間情報を抽出するように構成された空間情報生成部と、
前記ダウンミックス信号にダウンミックス利得を適用し、ダウンミックス利得情報を前記ダウンミックス信号及び前記空間情報信号の１つに埋め込むように構成されたダウンミックス利得適用部と、
を有することを特徴とするオーディオ信号のエンコーディング装置。
【手続補正書】
【提出日】平成20年10月2日(2008.10.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
前記オーディオ信号を受信するステップと、
前記オーディオ信号からダウンミックス信号を抽出するステップと、
前記オーディオ信号からダウンミックス利得情報を抽出するステップと、
前記抽出されたダウンミックス利得信号に基づいて、ダウンミックス利得を前記ダウンミックス信号に選択的に適用するステップと、
を有することを特徴とするオーディオ信号のデコーディング方法。
【請求項２】
前記ダウンミックス利得は、タイムドメインにおいて前記ダウンミックス信号に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項３】
前記ダウンミックス利得は、周波数ドメインにおいて前記ダウンミックス信号に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項４】
前記ダウンミックス利得情報は、前記ダウンミックス信号の全体に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項５】
前記ダウンミックス利得は、複数のフレームごとにまたは１枚のフレームごとに前記ダウンミックス信号に可変的に適用される、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項６】
前記ダウンミックス信号は、前記ダウンミックス利得の１増加分または減少分よりも小さな範囲内において可変可能であるか、あるいは、複数のフレームごとに前記ダウンミックス利得の１増加分または減少分だけ可変可能である、請求項５に記載のオーディオ信号のデコーディング方法。
【請求項７】
前記ダウンミックス利得情報は、前記オーディオ信号に含まれる空間情報信号のヘッダから抽出される、請求項４に記載のオーディオ信号のデコーディング方法。
【請求項８】
前記ヘッダは、ビットストリームのフレームごとに前記空間情報信号に含まれるか、あるいは、複数のフレームごとに前記空間情報信号に含まれる、請求項７に記載のオーディオ信号のデコーディング方法。
【請求項９】
前記ヘッダは、複数のフレームごとに前記空間情報信号に周期的にまたは非周期的に含まれる、請求項８に記載のオーディオ信号のデコーディング方法。
【請求項１０】
前記ダウンミックス利得情報は、フレームに含まれるダウンミックス信号ビットから抽出される、請求項５に記載のオーディオ信号のデコーディング方法。
【請求項１１】
複数の予め決められた値の一つに従って、ダウンミックス利得情報をデコーディングするステップを、更に有する、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項１２】
ダウンミックス利得情報は、前記ダウンミックス利得を適用するかしないかを示す少なくとも１ビットである、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項１３】
ダウンミックス利得情報は、前記ダウンミックス利得を適用するレベルを示す少なくとも２ビットである、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項１４】
前記レベルは１である、請求項１３に記載のオーディオ信号のデコーディング方法。
【請求項１５】
前記ダウンミックス利得情報は、前記オーディオ信号のヘッダ、抽出されたダウンミックス信号のフレーム、及び前記オーディオ信号の空間情報の一つに埋め込まれている、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項１６】
マルチチャンネルオーディオ信号から、ダウンミックス信号及び空間情報信号を生成するステップと、
前記ダウンミックス信号にダウンミックス利得を適用するステップと、
前記オーディオ信号が埋め込まれている前記オーディオ信号を生成するために、前記ダウンミックス信号と前記空間情報信号をマルチプレクシングするステップと、
を有することを特徴とするオーディオ信号のエンコーディング方法。
【請求項１７】
前記オーディオ信号のビットストリームからダウンミックス信号と空間情報信号を分離するように構成されたデマルチプレクサと、
抽出されたダウンミックス利得情報に基づいて、前記ダウンミックス信号にダウンミックス利得を適用するダウンミックス利得適用ユニットと、
前記空間情報信号を用いて、前記ダウンミックス利得の適用されたダウンミックス信号をマルチチャンネルオーディオ信号に変換するように構成されたマルチチャンネル生成ユニットと、
を有することを特徴とするオーディオ信号のデコーディング装置。
【請求項１８】
前記空間情報信号から前記ダウンミックス利得に関する情報を抽出するように構成されたダウンミックス利得抽出ユニットをさらに有する、請求項１７に記載のオーディオ信号のデコーディング装置。
【請求項１９】
前記ダウンミックス利得は、周波数ドメインにおいて前記ダウンミックス信号に適用される、請求項１７に記載のオーディオ信号のデコーディング装置。
【請求項２０】
前記ダウンミックス利得情報は、前記ダウンミックス信号の全体に適用される、請求項１７に記載のオーディオ信号のデコーディング装置。
【請求項２１】
前記ダウンミックス利得は、複数のフレームまたは１枚のフレームごとに前記ダウンミックス信号に可変的に適用される、請求項１７に記載のオーディオ信号のデコーディング装置。
【請求項２２】
前記ダウンミックス利得は、前記ダウンミックス利得の１増加分または減少分よりも小さな範囲内において可変的であるか、あるいは、複数のフレームごとに前記ダウンミックス利得の１増加分または減少分だけ可変的である、請求項２１に記載のオーディオ信号のデコーディング装置。
【請求項２３】
前記空間情報のヘッダから前記ダウンミックス利得情報を抽出するためのダウンミックス利得抽出ユニットをさらに有する、請求項１７に記載のオーディオ信号のデコーディング装置。
【請求項２４】
前記ヘッダは、前記ビットストリームのそれぞれのフレームごとに前記空間情報に含まれるか、あるいは、複数のフレームごとに前記空間情報に含まれる、請求項２３に記載のオーディオ信号のデコーディング装置。
【請求項２５】
前記ヘッダは、複数のフレームごとに前記空間情報に周期的にまたは非周期的に含まれる、請求項２４に記載のオーディオ信号のデコーディング装置。
【請求項２６】
前記ダウンミックス信号からダウンミックス利得情報を抽出するためのダウンミックス利得抽出ユニットをさらに有する、請求項１７に記載のオーディオ信号のデコーディング装置。
【請求項２７】
前記ダウンミックス利得情報は、複数の予め設定された値の一つに適するようにエンコーディングされる、請求項１７に記載のオーディオ信号のデコーディング装置。
【請求項２８】
前記ダウンミックス利得情報は、前記ダウンミックス利得を適用するかどうかを示す少なくとも１ビットである、請求項１７に記載のオーディオ信号のデコーディング装置。
【請求項２９】
前記ダウンミックス利得情報は、適用する前記ダウンミックス利得のレベルを示す少なくとも２ビットを含む、請求項１７に記載のオーディオ信号のデコーディング装置。
【請求項３０】
前記レベルは１である、請求項２９に記載のオーディオ信号のデコーディング装置。
【請求項３１】
前記ダウンミックス利得情報は、前記オーディオ信号のヘッダと、前記抽出されたダウンミックス信号のフレームと、前記オーディオ信号の空間情報のいずれか一つに埋め込まれる、請求項１７に記載のオーディオ信号のデコーディング装置。
【請求項３２】
マルチチャンネルオーディオ信号からダウンミックス信号を発生するためのダウンミキシングユニットと、
マルチチャンネルオーディオ信号から空間情報を抽出するための空間情報発生ユニットと、
前記ダウンミックス信号に対してダウンミックス利得を適用し、ダウンミックス利得情報を前記ダウンミックス信号と前記空間情報のどちらか一方に埋め込むためのダウンミックス利得適用ユニットと、
を有することを特徴とするオーディオ信号のエンコーディング装置。
【国際調査報告】
2009500656.tif 000030
2009500656.tif 000031
2009500656.tif 000032