(57)【特許請求の範囲】
【請求項１】
ハーモニックオーディオ信号の帯域幅拡張ＢＷＥをサポートする変換オーディオデコーダによって実行される方法であって、
周波数帯域ｂ及び該周波数帯域ｂに隣接する複数の周波数帯域に関連付けられた複数のゲイン値を受信するステップ（４０１ａ）と、
帯域幅拡張された周波数領域の再構成された対応する周波数帯域ｂ’にスペクトルピークが含まれるか否かを判定するステップ（４０４ａ）と、
前記再構成された周波数帯域ｂ’に少なくとも１つのスペクトルピークが含まれる場合、前記受信した複数のゲイン値に基づいて、前記再構成された周波数帯域ｂ’に関連付けられたゲイン値を、前記受信した複数のゲイン値の荷重和である第１の値に設定するステップ（４０６ａ：１）と、
前記再構成された周波数帯域ｂ’にスペクトルピークが含まれない場合、前記受信した複数のゲイン値に基づいて、前記再構成された周波数帯域ｂ’に関連付けられたゲイン値を前記第１の値以下の第２の値に設定するステップ（４０６ａ：２）と、
を有し、
これにより前記ゲイン値を前記帯域幅拡張された周波数領域におけるピーク位置に応じた値にすることを可能にすることを特徴とする方法。
【請求項２】
前記荷重和は、前記受信した複数のゲイン値の平均値であることを特徴とする請求項１に記載の方法。
【請求項３】
前記第２の値は、前記受信した複数のゲイン値の中で小さい方から選択される複数のゲイン値のうちの１つであることを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記第２の値は、前記受信した複数のゲイン値のうちの最小のゲイン値であることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
原信号の高周波部分の少なくとも一部の区間のピークエネルギーとノイズフロアのエネルギーとの関係を反映する係数αを受信するステップ（４０２ｂ）と、
前記受信した係数αに基づいて、対応する再構成された高周波部分の変換係数をノイズと混合することにより、前記原信号の高周波部分のノイズ特性の再構成を可能にするステップ（４０３ｂ）と、
を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
ハーモニックオーディオ信号の帯域幅拡張ＢＷＥをサポートするオーディオデコーダ（５０１）であって、
周波数帯域ｂ及び該周波数帯域ｂに隣接する複数の周波数帯域に関連付けられた複数のゲイン値を受信する受信部と、
帯域幅拡張された周波数領域の再構成された対応する周波数帯域ｂ’にスペクトルピークが含まれるか否かを判定する判定部（５０４）と、
前記再構成された周波数帯域ｂ’に少なくとも１つのスペクトルピークが含まれる場合、前記受信した複数のゲイン値に基づいて、前記再構成された周波数帯域ｂ’に関連付けられたゲイン値を、前記受信した複数のゲイン値の荷重和である第１の値に設定し、
前記再構成された周波数帯域ｂ’に全くスペクトルピークが含まれない場合、前記受信した複数のゲイン値に基づいて、前記再構成された周波数帯域ｂ’に関連付けられたゲイン値を前記第１の値以下の第２の値に設定し、
これにより前記ゲイン値を前記帯域幅拡張された周波数領域におけるピーク位置に応じた値にすることを可能にするゲイン適用部（５０８）と、
を有することを特徴とするオーディオデコーダ。
【請求項７】
前記荷重和は、前記受信にした複数のゲイン値の平均値であることを特徴とする請求項６に記載のオーディオデコーダ。
【請求項８】
前記第２の値は、前記受信した複数のゲイン値の中で小さい方から選択される複数のゲイン値のうちの１つであることを特徴とする請求項６又は７に記載のオーディオデコーダ。
【請求項９】
前記第２の値は、前記受信した複数のゲイン値のうちの最小のゲイン値であることを特徴とする請求項６乃至８のいずれか１項に記載のオーディオデコーダ。
【請求項１０】
原信号の高周波部分の少なくとも一部の区間のピークエネルギーとノイズフロアのエネルギーとの関係を反映する係数αを受信するように更に構成され、
前記受信した係数αに基づいて、対応する再構成された高周波部分の変換係数をノイズと混合することにより、前記原信号の高周波部分のノイズ特性の再構成を可能にするノイズ混合部（５１０）
を更に有することを特徴とする請求項６乃至９のいずれか１項に記載のオーディオデコーダ。
【請求項１１】
請求項６乃至１０のいずれか１項に記載のオーディオデコーダを含むユーザ装置。
【請求項１２】
処理装置で実行されると、オーディオデコーダに、請求項１乃至５のいずれか１項に記載の方法を実行させるコンピュータ読み取り可能なコードを含むコンピュータプログラム（８１０）。
【請求項１３】
請求項１２に記載のコンピュータプログラム（８１０）を格納したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[01]提案する技術は、オーディオ信号の符号化、復号化に関し、特に、ハーモニックオーディオ信号の帯域幅拡張（ＢＷＥ）をサポートするものに関する。
【背景技術】
【０００２】
[02]変換ベースの符号化は、今日の音声圧縮/伝送システムで最も一般的に使用される方式である。この方式における主要な工程は、まず、ＤＦＴ（離散フーリエ変換）、ＤＣＴ（離散コサイン変換）、又はＭＤＣＴ（修正離散コサイン変換）などの好適な変換によって信号波形のショートブロックを周波数領域に変換する変換することである。変換係数は、量子化され、送信または保存され、その後、オーディオ信号を再構成するために使用される。この手法は一般的なオーディオ信号に適しているが、変換係数の十分に良好な表現を作成するためには十分に高いビットレートを必要とする。以下、このような変換領域符号化方式について詳細に説明する。
【０００３】
[03]符号化される波形は、ブロックごとに、周波数領域に変換される。この目的のために一般に用いられる変換の一つが、離散コサイン変換（ＭＤＣＴ）である。得られた周波数領域ベクトルは、スペクトル包絡（ゆっくりと変化するエネルギー）とスペクトル残差に分割される。スペクトル残差は、得られた周波数領域ベクトルをスペクトル包絡で正規化することによって得られる。スペクトル包絡が量子化され、デコーダには量子化インデックスが送信される。次に、量子化されたスペクトル包絡は、ビット配分アルゴリズムへの入力として使用され、残差ベクトルの符号化のためのビットはスペクトル包絡の特性に基づいて分配される。このステップの結果として、一定数のビットが、残差（残差ベクトルまたは"サブベクトル"）の異なる部分に割り当てられる。いくつかの残差ベクトルは、ビットを受信せず、ノイズ・フィル又は帯域幅拡張する必要がある。典型的には、残差ベクトルの符号化は、まず、ベクトル要素の振幅を符号化し、次に、非ゼロ要素の符号（フーリエ変換等に係る「位相」と混同すべきではない）を符号化する、という２段階の手順を含む。残差の振幅及び符号の量子化インデックスはデコーダに送信され、そこで残差とスペクトル包絡とが結合され、最終的に時間領域に変換される。
【０００４】
[04]通信ネットワークにおける容量は増加し続けている。しかし、容量が増加しているにもかかわらず、依然として、通信チャネルごとに必要な帯域幅を制限することが強く要請されている。移動体ネットワークにおいて、各呼のための送信帯域幅が小さいほど、移動体装置とそれにサービスを提供する基地局との両方の電力消費が少なく済む。これは、移動体通信業者にとってはエネルギー及びコストの削減、ひいてはエンドユーザが長時間のバッテリ寿命及び通話時間の増加をもたらすことにつながる。また、ユーザごとに消費される帯域幅が小さくなれば、移動体ネットワークにより（並行して）より多くのユーザにサービスを提供することができる。
【０００５】
[05]低ビットレート又は中ビットレートで伝送されるオーディオ信号の品質を向上させる一つの方法は、利用可能なビットを、オーディオ信号の低周波域を高精度に表すために、集中させることである。ＢＷＥ技術は、低周波数に基づいて、少ないビット数で高周波数をモデル化するために使用することができる。これらの技法は、人間の聴覚の感度は周波数に依存すること、具体的には、人間の聴覚すなわち私たちの聞こえ方は高い周波数にはあまり正確ではないこと、を利用している。
【０００６】
[06]典型的な周波数領域ＢＷＥ方式において、高周波変換係数が帯域ごとにグループ化される。各帯域のゲイン（エネルギー）が計算され、量子化され、（信号のデコーダに）送信される。デコーダでは、受信した低周波係数の反転もしくは変換されエネルギー正規化されたバージョンが、高周波ゲインでスケーリングされる。スペクトルエネルギーは、対象信号の高周波帯域のそれに近似しているため、少なくともこの点において、ＢＷＥは全く「不明」なわけではない。
【０００７】
[07]しかし、特定のオーディオ信号のＢＷＥは、聴取者に耳障りな欠陥を含んだオーディオ信号になってしまうことがある。
【発明の概要】
【０００８】
[08]本明細書では、ハーモニックオーディオ信号のＢＷＥをサポートし性能を向上させるための技術を提案する。
【０００９】
[09]第一の側面によれば、変換オーディオデコーダにおける方法が提案される。この方法は、ハーモニックオーディオ信号の帯域幅拡張ＢＷＥをサポートするためのものである。提案する方法は、周波数帯域ｂ及び該周波数帯域ｂに隣接するの複数の周波数帯域に関連付けられた複数のゲイン値を受信するステップを含みうる。提案する方法はさらに、帯域幅拡張された周波数領域の再構成された対応する周波数帯域ｂ'に少なくとも１つのスペクトルピークが含まれるか否かを判定するステップを含む。さらに、その帯域に少なくとも１つのスペクトルピークが含まれる場合、方法は、受信した複数のゲイン値に基づいて、周波数帯域ｂ'に関連付けられたゲイン値Ｇbを第１の値に設定するステップを含む。その帯域にスペクトルピークが含まれていない場合、方法は、受信した複数のゲイン値に基づいて、周波数帯域ｂ'に関連付けられたゲイン値Ｇbを第２の値に設定するステップを含む。これにより、ゲイン値をスペクトルの帯域幅拡張された部分のピーク位置に応じた値にすることができる。
【００１０】
[010]さらに、本方法は、原信号の高周波部分の少なくとも一部の区間のピークエネルギーとノイズフロアエネルギーとの関係を反映するパラメータ又は係数αを受信するステップを含みうる。方法はさらに、受信した係数αに基づいて、対応する再構成された高周波部分の変換係数をノイズと混合するステップを含みうる。これにより、原信号の高周波部分のノイズ特性の再構成／エミュレーションが可能になる。
【００１１】
[011]第２の側面によれば、ハーモニックオーディオ信号の帯域幅拡張ＢＷＥをサポートする、オーディオデコーダあるいはコーデックが提案される。変換オーディオコーデックは、上述の動作を実行するように構成された機能部を含みうる。さらに、変換オーディオデコーダに提供されるときに、本明細書に記載のノイズ混合を可能にする１又は２以上のパラメータを導出し提供するように構成された機能部を含むオーディオエンコーダ又はコーデックが提案される。
【００１２】
[012]第３の側面によれば、第２の側面に係る変換オーディオコーデックを含むユーザ端末が提案される。ユーザ端末は、モバイル端末、タブレットコンピュータ、スマートフォン等の装置でありうる。
【図面の簡単な説明】
【００１３】
[013]以下、添付図面を参照して、実施形態により、提案技術を詳細に説明する。
【図１】ハーモニックオーディオスペクトル、すなわち、ハーモニックオーディオ信号のスペクトルを示す図。このタイプのスペクトルは、典型的には、例えば、単一の楽器音、ボーカル音などである。
【図２】帯域幅拡張されたハーモニックオーディオスペクトルを示す図。
【図３ａ】デコーダによって受信され、対応するＢＷＥ帯域ゲイン^ＧbでスケーリングされたＢＷＥスペクトル（図２にも示される）を示す図。スペクトルのＢＷＥ部分がかなり歪んでいる。
【図３ｂ】本明細書で示唆するように、修正ＢＷＥ帯域ゲイン^ＧmodbでスケーリングされたＢＷＥスペクトルを示す。この場合、スペクトルのＢＷＥ部分は所望の形状を得る。
【図４ａ】、
【図４ｂ】実施形態に係る変換オーディオデコーダにおける動作手順を示すフローチャート。
【図５】実施形態に係る変換オーディオデコーダのブロック図。
【図６】実施形態に係る変換オーディオエンコーダにおける動作手順を示すフローチャート。
【図７】実施形態に係る変換オーディオエンコーダのブロック図。
【図８】実施形態に係る変換オーディオデコーダの構成を示すブロック図。
【発明を実施するための形態】
【００１４】
[014]ハーモニックオーディオ信号(harmonic audio signals)の帯域幅拡張は、上記で示したようないくつかの問題を伴う。低周波数帯域、すなわち符号化され伝送され復号化される周波数帯域の一部、が反転（flipped）又は変換（translated）されて高周波数帯域が形成される場合、原信号又は「真の」高周波数帯域におけるスペクトルピークと同じ帯域にスペクトルピークが現れるかは不確かである。原信号ではピークがない帯域に、低域から生成されたスペクトルピークが現れてしまう可能性がある。また、その逆に、原信号ではピークを有する帯域に、（反転又は変換後に）ピークがない低域信号の一部が現れてしまう可能性がある。図１に高調波スペクトルの例を示し、ＢＷＥの概念を図２に示す。以下、詳細に説明する。
【００１５】
[015]上記の効果は、主に高調波成分を有する信号に重大な品質劣化を引き起こす可能性がある。その理由は、ピークとゲインの位置の不整合によって、不必要なピーク減衰、又は、２つのスペクトルピークの間の低エネルギースペクトル係数の増幅、が引き起こされるためである。
【００１６】
[016]本明細書に記載される解決策は、ピークの位置に関する情報に基づいて帯域幅拡張領域における帯域ゲインを制御する新規な方法に関する。さらに、本明細書で提案されるＢＷＥアルゴリズムは、送信されるノイズ混合レベルによって「スペクトルピーク対ノイズフロア」比を制御することができる。これは、拡張された高周波数域の構造の量を保存するＢＷＥとなる。
【００１７】
[017]本明細書中に記載される解決策は、ハーモニックオーディオ信号に使用するのに適している。図１は、ハーモニックオーディオ信号の周波数スペクトルを示す図であり、これは高調波スペクトルを示している。図からわかるように、スペクトルはピークを含む。この種のスペクトルは、フルートなどの単一の楽器音やボーカル音などが典型的である。
【００１８】
[018]ここで、ハーモニックオーディオ信号のスペクトルの２つの部分について説明する。１つは、低い周波数を含む低域であり、ここで「低」とは、帯域幅拡張に供される部分よりも低いことを示す。もう１つは、低域よりも高い周波数を含む高域である。本明細書において、「低域（lower part）」、「低い周波数（low/lower frequencies）」という表現は、ＢＷＥクロスオーバー周波数以下のハーモニックオーディオスペクトルの一部を指す（図２参照）。同様に、「高域（upper part）」、「高い周波数（high/higher frequencies）」という表現は、ＢＷＥクロスオーバー周波数より上のハーモニックオーディオスペクトルの一部を指す（図２参照）。
【００１９】
[019]図２は、ハーモニック音声信号のスペクトルを示す。ここには、以下で説明する、ＢＷＥクロスオーバー周波数の左側の低域と、ＢＷＥクロスオーバー周波数の右側の高域の２つの部分との２つの部分を見ることができる。図２において、原スペクトル、すなわち（エンコーダ側で見られるような）原オーディオ信号のスペクトル、はライトグレーで示されている。スペクトルの帯域幅拡張された部分は、ダークグレーで示されている。前述したように、スペクトルの帯域幅拡張部分は、エンコーダによって符号化されるのではなく、スペクトルの受信した低域部分を使用することにより、デコーダで再生成される。図２においては、比較のため、原スペクトル（ライトグレー）およびＢＷＥスペクトル（ダークグレー）の両方が、高い周波数で見ることができる。高い周波数の原スペクトルは、各ＢＷＥ帯域（すなわち高周波帯域）のゲイン値を除き、デコーダには不明である。ＢＷＥ帯域は、図２の破線によって分割される。
【００２０】
[020]図３ａは、スペクトルの帯域幅拡張部のゲイン値とピーク位置との間の不整合の問題をよりよく理解できるように示したものである。帯域３０２ａにおいて、原スペクトルはピークを有するのに、生成されたＢＷＥスペクトルにはピークがない。これは、図２における帯域２０２からわかる。ピークを含む原帯域に対して計算されるゲインがピークを含まないＢＷＥ帯域に適用されると、帯域３０２ａに見られるように、ＢＷＥ帯域における低エネルギースペクトル係数が増幅されてしまう。
【００２１】
[021]図３ａの帯域３０４ａは反対の状況を呈し、原スペクトルの対応する帯域はピークを含まないが、生成されたＢＷＥスペクトルの対応する帯域はピークを含ｎでいる。したがって、（エンコーダから受信した）その帯域に対して得られたゲインは、低エネルギー帯域のために計算される。このゲインがピークを有する対応する帯域に適用されると、図３ａの帯域３０４ａに見られるように、結果は、減衰されたピークとなる。知覚又は心理音響の観点からすると、帯域３０２ａに示されている状況は、様々な理由で、帯域３０４ａの状況よりも聴取者にとって悪い状況である。簡単に説明すると、聴取者が音声成分の異常な欠如よりも音の成分の異常な存在を体験することのほうが一般には不快である。
【００２２】
[022]以下、本明細書の概念を表す新規なＢＷＥアルゴリズムの例を説明する。
【００２３】
[023]ＢＷＥ領域における変換係数の集合（高周波変換係数）を、Ｙ(k)とする。これらの変換係数は以下で示されるＢ個の帯域にグループ化される。
【数１】
0005945626.tif 000002
帯域のサイズＭbは一定であってもよいし、周波数が高くなるに従い増加させてもよい。一例として、帯域を８次元で均等分割（すなわち、全てＭb＝８）とする場合には、Ｙ1={Ｙ(1) ... Ｙ(8)}, Ｙ2={Ｙ(9) ... Ｙ(16)}  となる。
【００２４】
[024]ＢＷＥアルゴリズムの第１のステップは、全ての帯域のゲインを計算することである。
【数２】
0005945626.tif 000003
【００２５】
[025]これらのゲインは、^Ｇb＝Ｑ（Ｇb）として量子化され、デコーダに伝送される。
【００２６】
[026]ＢＷＥアルゴリズムにおける第２のステップ（オプションである）は、例えばＢＷＥスペクトルの平均ピークエネルギー／Ｅp及び平均ノイズフロアエネルギー／Ｅnfの関数であるノイズ混合パラメータ又は係数αを次式のように計算することである。
【数３】
0005945626.tif 000004
ここで、パラメータαは、下記（３）式に従って導出される。ただし、使用される正確な表現は、使用するコーデックや量子化器に対して何が適切かを考慮するなどして、様々な方法で選択することができる。
【数４】
0005945626.tif 000005
【００２７】
[027]ピークとノイズフロアエネルギーは、例えばスペクトルエネルギーの最大値及び最小値のそれぞれを追跡することによって計算されうる。
【００２８】
[028]ノイズ混合パラメータαは、少ないビット数で量子化されうる。例えば、αは２ビットで量子化される。ノイズ混合パラメータαを量子化すると、パラーメータ^α＝Ｑ（α）が得られる。パラメータ^αはデコーダへと伝送される。ＢＷＥ領域は２つ以上のセクションＳに分割され、ノイズ混合パラメータαsが、これらのセクションの各々において、独立に計算されうる。このような場合には、エンコーダはノイズ混合パラメータのセットを、例えばセクション当たり１つずつ、デコーダに送信することができる。
【００２９】
＜デコーダの動作＞
[029]デコーダは、ビットストリームから、（各帯域毎に）計算された量子化ゲイン^Ｇbのセットと１つ以上の量子化ノイズ混合パラメータ又は係数^αを抽出する。デコーダはまた、スペクトルの低周波数部分、すなわち、帯域幅拡張される高周波部分とは対照的に符号化された（ハーモニックオーディオ信号の）スペクトルの一部、の量子化された変換係数を受信する。
【００３０】
[030]エネルギー正規化され量子化された低周波係数の集合を、^Ｘbとする。これらの係数は、ノイズ、例えば予め生成されノイズコードブックＮbに記憶されたノイズ、と混合される。予め生成され記憶されたノイズを使用することで、ノイズの品質を確保することができる。すなわち、意図しない不一致や偏差が含まれないようにすることができる。しかし、ノイズは代わりに、必要に応じ、「オンザフライ（on the fly）」で生成することができる。係数^Ｘbは、次式のように、ノイズコードブックＮbのノイズと混合されうる。
【数５】
0005945626.tif 000006
【００３１】
[031]ノイズ混合パラメータまたは係数の範囲は、様々な方法で設定することができる。例えば、ノイズ混合係数の範囲は次のように設定される。
【数６】
0005945626.tif 000007
この範囲は、例えば、ノイズの影響を完全に無視できる場合（α＝0）、及び、この範囲を使用したときの最大の寄与である、ノイズコードブックが混合ベクトルにおいて40％寄与する場合（α＝0.4）、を意味する。この種のノイズ混合を導入する結果得られるベクトルが原音の低域の構造の例えば60%から100%を含むのは、スペクトルの低周波部分よりも高周波部分のほうが一般にノイズ成分が多いからである。そのため、上述のノイズ混合動作は、スペクトルのＢＷＥ高周波数領域を低周波領域の反転または変換された成分から作るものと比較して、より良い、原信号のスペクトルの高周波部分の統計的性質がよく似たベクトルを生成する。ノイズ混合動作は、例えば複数のノイズ混合係数（α）が提供され受信される場合、ＢＷＥ領域のそれぞれの区間ごとに独立に実行されうる。
【００３２】
[032]従来技術の解決策では、受信された量子化ゲイン^ＧbのセットはＢＷＥ領域内の対応する帯域に直接使用される。しかし、本実施形態では、適切である場合には、ＢＷＥスペクトルのピーク位置に関する情報に基づき、これらの受信された量子化ゲイン^Ｇbが最初に修正される。必要なピークの位置に関する情報は、ビットストリーム中の低周波領域情報から抽出することができ、あるいは、低域の量子化変換係数（またはＢＷＥ帯域の導出された係数）のピークピッキングアルゴリズムによって推定される。低周波領域でのピークに関する情報は、高周波（ＢＷＥ）領域に変換することができる。高域（ＢＷＥ）信号が低域信号から導出される場合には、アルゴリズムは、（ＢＷＥ領域の）スペクトルピークが位置する帯域を登録することができる。
【００３３】
[033]例えば、フラグｆp(b)は、ＢＷＥ領域における帯域ｂに移動（反転または変換）された低周波係数がピークを含むかどうかを示すために用いることができる。例えば、ｆp(b)＝１は、帯域ｂに少なくとも１つのピークが含まれることを示し、ｆp(b)＝０は、帯域ｂにはピークが含まれないことを示す、とすることができる。前述したように、ＢＷＥ領域の各帯域ｂは、原信号の対応する帯域に含まれるピークの数およびサイズに依存するゲイン^Ｇbと関連している。ＢＷＥ領域における各帯域の実際のピーク内容にゲインを一致させるために、ゲインが適応化されるべきである。ゲイン修正は、例えば次式に従い、各帯域ごとに行われる。
【数７】
0005945626.tif 000008
ゲインを修正するのは以下の理由による。（ＢＷＥ）帯域にピークが含まれる場合（ｆp(b)＝１）、そのピークが減衰されることを避けるべく、対応するゲインがピークのない（原信号の）帯域からのものである場合、この帯域のゲインは、現在の帯域とそれに隣接する２つの帯域のゲインの荷重和に修正される。上記の式（５ａ）において、重みは１／３である。これは、修正ゲインが現在の帯域のゲインと隣接する２つの帯域のゲインとの平均値であることを意味する。
別のゲイン修正を、例えば次式に従って行うことができる。
【数８】
0005945626.tif 000009
ピークが含まれない場合（ｆp(b)＝０）、１つ以上のピークを含む原信号帯域から計算された大きなゲインが適用されてしまうことでこの帯域におけるノイズ様構造が増幅されてしまうのは望ましくない。これを避けるために、この帯域のゲインが、例えば現在の帯域のゲインと隣接する２つの帯域のゲインの最小値となるように選択される。あるいは、ピークを含む帯域のゲインは、３つ以上の帯域、例えば５又は７帯域の平均、といった荷重和として選択又は計算されるか、または、３，５，もしくは７帯域の中央値として選択される。平均や中央値などの荷重和を用いることで、ピークは「真の」ゲインを用いた場合よりもわずかに減衰されることになる。しかし、「真の」ゲインと比べたときの減衰は、その反対よりは有益であるといえる。それは、知覚の観点からは適度な減衰が好ましく、増幅によってオーディオ成分が増大してしまうことに比べれば有益なためである。
【００３４】
[034]ピークミスマッチのために、ゲインを修正する理由は、事前定義されたグリッド上にスペクトル帯域が配置されることであるが、ピーク位置および（反転または低周波数係数を変換した後の）ピークは、時間とともに変化する。これはピークが制御されない方法で帯域の中に入る又は外に出ることに起因する。したがって、スペクトルのＢＷＥ部のピーク位置は、必ずしも原信号のピーク位置と一致せず、したがって、帯域に関連付けられたゲインとその帯域のピークの内容との間の不一致はありうることである。未修正のゲインでスケーリングされる例は図３ａに示され、修正されたゲインでスケーリングされる例は図３ｂに示される。
【００３５】
[035]本実施形態で説明したように修正されたゲインを用いた結果が、図３ｂに示される。帯域３０２ａにおいて、低エネルギースペクトル係数は、図３ａの帯域３０２ａのように増幅されず、より適切な帯域ゲインでスケーリングされる。さらに、帯域３０４ｂのピークは、図３ａの帯域３０４ａのピークのように減衰もされない。多くの場合、図３ｂに示されたスペクトルは、図３ａのスペクトルに対応するオーディオ信号よりも聴取者に対してより快適である音声信号に対応する。
【００３６】
[036]したがって、ＢＷＥアルゴリズムは、スペクトルの高周波数部分を作成することができる。（帯域幅の節約上の理由などにより）高周波係数Ｙbのセットがデコーダで利用できないため、高周波係数
【数９】
0005945626.tif 000010
が代わりに再構成され形成される。これは反転（又は変換）された低周波係数（ノイズ混合後でもよい）を修正量子化ゲインでスケーリングすることで得られる。
【数１０】
0005945626.tif 000011
この変換係数のセット
【数１１】
0005945626.tif 000012
は、オーディオ信号波形の高周波部分を再構築するために使用される。
【００３７】
[037]本実施形態に記載される解決策は、一般に変換領域オーディオ符号化において使用される、ＢＷＥの概念に対する改善である。提示されたアルゴリズムは、ＢＷＥ領域におけるピーク構造（ピーク対ノイズフロア比）を維持し、これにより、再構成された信号のオーディオ品質の向上を提供する。
【００３８】
[038]「変換オーディオコーデック（transform audio codec）」または「変換コーデック（transform codec）」の用語は、エンコーダとデコーダのペアを包含し、そして当該分野で通常使用される用語である。本開示において、変換コーデックの機能／部分を別々に記述するため、「変換オーディオエンコーダ」又は「エンコーダ」と、「変換オーディオデコーダ」または「デコーダ」の用語が使用される。「変換オーディオエンコーダ」／「エンコーダ」、ならびに、「変換オーディオデコーダ」／「デコーダ」の用語は、「変換オーディオコーデック」／「変換コーデック」の用語と交換可能である。
【００３９】
＜デコーダにおける手順の例（図４ａ，４ｂ）＞
[039]以下、デコーダにおける、ハーモニックオーディオ信号の帯域幅拡張ＢＷＥをサポートするための手順の例を、図４ａを参照して説明する。手順は、例えばＭＤＣＴエンコーダまたはその他エンコーダのような変換オーディオ符号化における使用に適している。オーディオ信号は、主に音楽を含むことが想定されるが、その代わりまたはそれに加えてに、音声がふくまれていてもよい。
【００４０】
[040]ステップ４０１ａにおいて、周波数帯域ｂに関連付けられたゲイン値（原周波数帯域）と周波数帯域ｂに隣接する複数の他の周波数帯域に関連付けられたゲイン値が受信される。次に、ステップ４０４ａにおいて、ＢＷＥ領域の再構成された対応する周波数帯域ｂ'にスペクトルピークが含まれるか否かが判定される。再構成された周波数帯域ｂ'に少なくとも一つのスペクトルピークが含まれる場合は、ステップ４０６ａ：１で、受信した複数のゲイン値に基づいて、再構成された周波数帯域ｂ'に関連付けられたゲイン値が第１の値に設定される。再構成された周波数帯域ｂ'にスペクトルピークが含まれない場合は、ステップ４０６ａ：２で、受信した複数のゲイン値に基づいて、再構成された周波数帯域ｂ'に関連付けられたゲイン値が第２の値に設定される。第２の値は第２の値以下である。
【００４１】
[041]図４ｂには、図４ａに示した手順と少し異なり、より拡張されたかたちで、例えば図示されている前述のノイズ混入に関連する追加オプションの動作を持つ方法が示される。以下、図４ｂについて説明する。
【００４２】
[042]ステップ４０１ｂにおいて、周波数スペクトルの高域に関連付けられたゲイン値が受信される。変換係数やゲイン値などの、周波数スペクトルの低い部分に関連する情報も、いずれかの時点で受信されているものとする（図４ａ、４ｂには示されない）。また、前述したように、低域スペクトルを反転又は変換することにより高域スペクトルが作成される帯域幅拡張はがいずれかの時点で行われるものとする。
【００４３】
[043]ステップ４０２ｂにおいて、１つ以上のノイズ混合係数が受信される。これら受信された１つ以上ノイズ混合係数は、原高域スペクトルのエネルギー分布に基づいて、エンコーダにおいて計算されたものである。（同じくオプションである）ステップ４０３ｂにおいて、例えば上述の式（４）に従い、ノイズ混合係数が、高域領域の係数とノイズを混合するために使用されうる。したがって、帯域幅拡張領域のスペクトルは「ノイズネス」またはノイズの内容の点で原高域スペクトルにより良く対応することになる。
【００４４】
[044]次に、ステップ４０４ｂにおいて、作成されたＢＷＥ領域の帯域にピークが含まれるか否かが判定される。例えば、帯域にピークが含まれる場合、当該帯域に係る指標が１に設定される。他の帯域にピークが含まれない場合は、当該帯域に係る指標が０に設定される。ステップ４０５ｂでは、当該帯域に関連付けられたゲインが修正されうる。帯域のゲインを修正する場合、前述のように、所望の結果を達成するため、隣接する帯域のゲインも考慮される。このようにゲインを修正することにより、ＢＷＥスペクトルが改善される。ステップ４０６ｂにおいて、修正されたゲインがＢＷＥスペクトルの各帯域に適用される。
【００４５】
＜デコーダの例＞
[045]以下、ハーモニックオーディオ信号の帯域幅拡張ＢＷＥをサポートする上記の手順を実行するように構成された変換オーディオデコーダの例を、図５を参照して説明する。変換オーディオデコーダは例えば、ＭＤＣＴデコーダその他のデコーダでありうる。
【００４６】
[046]変換オーディオデコーダ５０１は通信部５０２を介して他のエンティティと通信するものとして示されている。上記した手順を実行可能な変換オーディオデコーダの一部は、破線で囲まれた構成５００として示されている。変換オーディオデコーダはまた、例えば通常のデコーダやＢＷＥ機能を提供する他の機能部５１６を含み、更には、１つ以上の記憶部５１４を含みうる。
【００４７】
[047]変換オーディオデコーダ５０１及び構成５００の少なくともいずれかは、例えばプロセッサ又はマイクロプロセッサ、適当なソフトウェア及びそれを格納するための記憶装置、プログラマブルロジックデバイス（ＰＬＤ）その他の電子部品のうちの１つ以上によって実装されうる。
【００４８】
[048]変換オーディオデコーダは、符号化エンティティから提供された適当なパラメータを取得するための機能部を有することが想定される。ノイズ混合係数は、従来技術に対して、取得するための新規なパラメータである。したがって、デコーダは、この機能が所望されるときに、１つ以上のノイズ混合係数が取得されるように構成されるべきである。オーディオデコーダは、受信部を有するように実装され、受信部は、周波数帯域ｂ及び当該周波数帯域ｂに隣接する複数の周波数帯域に関連付けられた複数のゲイン値、及び、可能なノイズ混合係数を受信する。ただし、このような受信部は図５に示されていない。
【００４９】
[049]変換オーディオデコーダは、ＢＷＥスペクトル領域のどの帯域にピークが含まれどの帯域にピークが含まれないかを判定する判定部５０４あるいはピーク検出部を有する。判定部は、帯域幅拡張領域における再構成された対応する周波数帯域ｂ’にスペクトルピークが含まれるか否かをを判定する。また、変換オーディオデコーダは、帯域にピークが含まれるか否かに依存してその帯域に係るゲインを修正するゲイン修正部５０６を含みうる。その帯域にピークが含まれる場合、修正ゲインは、例えば、注目帯域に隣接する複数の帯域の（修正前の）ゲインの平均値又は中央値などの、荷重和として計算される。
【００５０】
[050]変換オーディオデコーダは、更に、修正ゲインをＢＷＥスペクトルの適当な帯域に適用又は設定するゲイン適用部５０８を含みうる。ゲイン適用部は、再構成された周波数帯域ｂ’に少なくとも１つのスペクトルピークが含まれる場合、受信した複数のゲイン値に基づいて、再構成された周波数帯域ｂ’に係るゲイン値を第１の値に設定し、再構成された周波数帯域ｂ’に１つもスペクトルピークが含まれない場合は、受信した複数のゲイン値に基づいて、再構成された周波数帯域ｂ’に係るゲイン値を第１の値以下の第２の値に設定する。これにより、ゲイン値を帯域幅拡張領域におけるピーク位置に合わせて決めることが可能になる。
【００５１】
[051]あるいは、修正なしに可能であれば、適用されるゲインが元のゲインではなく修正されたゲインであるということだけで、機能を適用することが（通常の）他の機能部５１６によって提供されてもよい。また、変換オーディオデコーダは、ノイズ混合部５１０を含みうる。ノイズ混合部５１０は、オーディオ信号のエンコーダによって提供される１つ以上のノイズ係数又はパラメータに基づいて、スペクトルのＢＷＥ部分の係数を、例えばコードブックからのノイズと混合する。
【００５２】
＜エンコーダの手順の例＞
[052]以下、図６を参照して、エンコーダにおける、ハーモニックオーディオ信号の帯域幅拡張ＢＷＥをサポートするための手順の例を説明する。手順は、ＭＤＣＴエンコーダその他のエンコーダなどの変換オーディオエンコーダでの使用に適している。前述したとおり、オーディオ信号は主に、音楽及び／又は音声が想定される。
【００５３】
[053]以下の手順は、変換エンコーダを用いたハーモニックオーディオ信号の従来の符号化とは異なる符号化手順の部分に関するものである。したがって、以下で説明する動作は、スペクトルの低周波部分に対する変換係数やゲイン等を導出することに加えて、スペクトルの高周波部分の帯域（デコーダ側のＢＷＥによって生成される部分）のゲインを導出するオプションとして説明される。
【００５４】
[054]ステップ６０２で、周波数スペクトルの高周波部分のピークエネルギーが求められる。次に、ステップ６０３で、当該周波数スペクトルの高周波部分に係るノイズフロアエネルギーが求められる。例えば、前述のような、ＢＷＥスペクトルの１つ以上の区間の平均ピークエネルギー／Ｅp及び平均ノイズフロアエネルギー／Ｅnfが計算されうる。次に、ステップ６０４で、ＢＷＥスペクトルのある区間に係るノイズ混合係数がその区間のノイズの量又は「ノイズネス」を反映するように、例えば前述の式（３）に従い、ノイズ混合係数が計算される。ステップ６０６で、１つ以上のノイズ混合係数が、復号化エンティティ又は記憶部に、エンコーダによって提供された従来の情報とともに、提供される。この提供は、計算されたノイズ混合係数の出力先への単純な出力、及び、計算されたノイズ混合係数のデコーダへの送信のうち少なくともいずれかであってもよい。ノイズ混合係数は、前述したように提供する前に量子化されうる。
【００５５】
＜エンコーダの例＞
[055]以下、図７を参照して、ハーモニックオーディオ信号の帯域幅拡張ＢＷＥをサポートするための上述の手順を実行する変換オーディオエンコーダの例を説明する。変換オーディオエンコーダは、ＭＤＣＴエンコーダその他のエンコーダでありうる。
【００５６】
[056]変換オーディオエンコーダ７０１は、通信部７０２を介して他のエンティティと通信するものとして示されている。上記した手順を実行可能な変換オーディオエンコーダの一部は、破線で囲まれた構成７００として示されている。変換オーディオエンコーダはまた、例えば通常のエンコーダやＢＷＥ機能を提供する他の機能部７１２を含み、更には、１つ以上の記憶部７１０を含みうる。
【００５７】
[057]変換オーディオエンコーダ７０１及び構成７００の少なくともいずれかは、例えばプロセッサ又はマイクロプロセッサ、適当なソフトウェア及びそれを格納するための記憶装置、プログラマブルロジックデバイス(PLD)その他の電子部品のうちの１つ以上によって実装されうる。
【００５８】
[058]変換オーディオエンコーダは、スペクトルの高周波部分のピークエネルギー及びノイズフロアエネルギーを判定する判定部７０４を有する。また、変換オーディオエンコーダは、スペクトルの高周波部分の全部又は一部に対する１つ以上のノイズ混合係数を計算するノイズ係数部７０６を有する。変換オーディオエンコーダは、更に、デコーダで使用されるために、計算したノイズ混合係数を提供する提供部７０８を有する。この提供は、計算されたノイズ混合係数の出力先への単純な出力、及び、計算されたノイズ混合係数のデコーダへの送信のうち少なくともいずれかであってもよい。
【００５９】
＜構成例＞
[059]図８は、変換オーディオデコーダにおける使用に適した装置８００の例を示す図であり、図５に示した変換オーディオデコーダにおける使用のための構成の例の代替案にもなりうるものである。装置８００は、処理部８０６を有し、これはＤＳＰ（デジタルシグナルプロセッサ）でありうる。処理部８０６は、単一のユニットで構成されてもよいし、本明細書に記載した手順の異なるステップを実行する複数のユニットで構成されてもよい。装置８００はまた、符号化スペクトルの低周波部分、スペクトル全体のゲイン、ノイズ混合係数といった信号（参照：エンコーダの場合、高調波スペクトルの高周波部分）を受信する入力部８０２と、修正ゲイン及び全体のスペクトルの少なくともいずれかといった信号（参照：エンコーダの場合、ノイズ混合係数）を出力する出力部８０４を有する。入力部８０２及び出力部８０４は、当該装置のハードウェアの１つとして構成されうる。
【００６０】
[060]また、装置８００は、ＥＥＰＲＯＭ、フラッシュメモリ、ハードドライブなどの不揮発性または揮発性メモリの形態で、少なくとも１つのコンピュータプログラム製品８０８を有する。コンピュータプログラム製品８０８は、コンピュータプログラム８１０を含む。このコンピュータプログラム８１０は、装置８００の処理部８０６により実行されると、当該装置及び変換オーディオエンコーダの少なくともいずれかに図４を参照して前述した手順の動作を実行させるためのコードを含む。
【００６１】
[061]そして、実施形態では、装置８００のコンピュータプログラム８１０のコードは、オーディオスペクトルの低周波部分に係る情報及びオーディオスペクトル全体に係るゲインを得るための取得モジュール８１０ａを含む。さらに、オーディオスペクトルの高周波部分に関連するノイズ係数も取得することができる。コンピュータプログラムは、帯域幅拡張された周波数領域の再構成された帯域ｂの帯域にスペクトルピークが含まれるか否かを検出し指示するための検出モジュール８１０ｂを含みうる。コンピュータプログラム８１０はさらに、スペクトルの高周波部分の再構成された一部の帯域に関連付けられたゲインを修正するためのゲイン修正モジュール８１０ｃを含みうる。コンピュータプログラム８１０はさらに、スペクトルの高周波部分の対応する帯域に修正されたゲインを適用するためのゲイン適用モジュール８１０ｄを含みうる。また、コンピュータプログラム８１０は、受信したノイズ混合係数に基づいてスペクトルの高周波部分をノイズで混合するノイズ混合モジュール８１０ｄを含みうる。
【００６２】
[062]コンピュータプログラム８１０は、コンピュータプログラムモジュールで構成されたコンピュータプログラムコードの形態である。モジュール８１０ａ〜８１０ｄは、図４ａまたは図４ｂに示すフローの動作を実行して図５に示す構成５００をエミュレートする。すなわち、モジュール８１０ａ−ｄが処理部８０６で実行されると、それらは少なくとも図５の５０４〜５１０の各部に対応する。
【００６３】
[063]図８に関連して上述した実施形態におけるコードは、処理部によって実行されると、前記構成及び変換オーディオエンコーダの少なくともいずれかに上述の各図を用いて説明したステップを実行させるが、代替の実施形態においては、コードの一部がハードウェア回路として少なくとも一部として実装されてもよい。
【００６４】
[064]同様に、コンピュータプログラムモジュールを有する実施形態は、図７に示した変換オーディオエンコーダにおける構成に対応するように記述することができる。
【００６５】
[065]特定の例示的な実施形態を参照して提案技術を説明したが、それらの説明は、一般的に概念を説明することだけを意図したものであって、本明細書に記載された解決策の範囲を限定するものとして解釈されるべきではない。要件や好みに応じて、上記の例示の実施形態の異なる特徴を様々な方法で組み合わせることも可能である。
【００６６】
[066]上述の解決策は、携帯端末、タブレットコンピュータ、スマートフォンなどの装置における、オーディオコーデックが適用されるあらゆる物に使用可能である。
【００６７】
[067]ユニットとモジュールとの相互作用ならびにユニットの名称の選択は一例にすぎず、また、上述の方法を実行するのに適したノードは、提案した処理動作を実行することができるようにする他の複数の方法で構成されうることは、理解されるべきである。
【００６８】
[068]また、本開示に記載のユニット又はモジュールは、別個の物理エンティティである必要はなく、論理エンティティとして考えることができる。上記の説明は多くの具体例を含むが、それらは、本発明の範囲を限定するものであると解釈されるべきではなく、現時点で好適な実施形態のいくつかの例示を提供するにすぎないと解釈されるべきである。従って、本発明の範囲は当業者には明らかになるだろう他の実施形態を完全に含むこと、並びにそのため範囲は限定されないことが理解されるだろう。単数形の要素は、「１つ及び１つだけ」と明示しない限りそのように解釈すべきではなく、むしろ「１つ以上」と解釈すべきである。当業者には既知である上述の好適な実施形態の要素に対する全ての構造的、機能的な均等物は、本発明に明確に組み込まれ、本発明に含まれることを意図する。更に、装置又は方法は、本発明に含まれるために本明細書中に記載されるか又は現在の技術により解決することを求められる全ての問題を解決する必要はない。
【００６９】
[069]上述の説明では、説明及び限定の目的で、提案技術の完全な理解を提供するために、特定のアーキテクチャ、インタフェース、技術が詳しく記載されている。しかし、提案技術は、これらの特定の詳細から外れる他の実施形態においても実施されうることは、当業者には明らかであろう。つまり、提案技術の原理を明示的に記載、または本明細書に示され、具体化されていなくても、当業者は、その様々な構成を思い付くことができるであろう。不必要に詳しく説明することで提案技術の説明が不明瞭にならないように、いくつかの事例では、周知の装置、回路及び方法の詳細な説明が省略される。すべての記述は、その構造的および機能的な均等物を包含することが意図されている原理、態様を提示技術の実施形態と同様に、特定の例を列挙する。さらに、そのような均等物は、現在公知の均等物だけでなく、例えば、構造に関わらず、同じ機能を実行する構成要素などの、将来開発される均等物を含むことが意図される。
【００７０】
[070]したがって、例えば、本明細書のブロック図は、技術の原理を具体化する回路その他の機能ユニットの概念を表すものであることは、当業者には理解されよう。同様に、あらゆるフローチャート、状態遷移図、擬似コードなどは、実質的にコンピュータ可読媒体で実現され、したがって、コンピュータやプロセッサが明示されているか否かにかかわらず、コンピュータまたはプロセッサによって実行することができることは、当業者に理解されよう。
【００７１】
[071]「機能部」、「プロセッサ」、「制御部」として記述されたさまざまな機能要素は、その機能ブロックが特定の物に限定されるものではなく、回路ハードウェア及びコンピュータ読み取り可能な記憶媒体に格納された命令のかたちのソフトウェアの少なくともいずれかで実現されうる。したがって、これらの機能や機能ブロックはハードウェア実装、コンピュータ実装、機械実装の少なくともいずれかで実現されうる。
【００７２】
[072]ハードウェア実装において、機能ブロックは、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、縮小命令セットプロセッサ、特定用途向け集積回路（ＡＳＩＣ）を含むハードウェア（例えば、デジタル、アナログ）回路、これらの機能を実行可能な（適当な）状態マシンなどによって実現可能であるが、これらに限定されない。
【００７３】
（略語）
BWE  Bandwidth Extension
DFT  Discrete Fourier Transform
DCT  Discrete Cosine Transform
MDCT  Modified Discrete Cosine Transform
【図４ａ】
0005945626.tif 000013
【図４ｂ】
0005945626.tif 000014
【図５】
0005945626.tif 000015
【図６】
0005945626.tif 000016
【図７】
0005945626.tif 000017
【図８】
0005945626.tif 000018
【図１】
0005945626.tif 000019
【図２】
0005945626.tif 000020
【図３ａ】
0005945626.tif 000021
【図３ｂ】
0005945626.tif 000022