(57)【要約】オーディオ信号の帯域拡張のために、オーディオ信号は信号スプレッダの中で１よりも大きな伸張係数により時間的に伸張される。時間的に伸張されたオーディオ信号は次にデシメータへと供給され、このデシメータは、時間的に伸張されたバージョンを伸張係数に整合するデシメーション係数によりデシメートする。このデシメーション操作により生成された帯域は、抽出されて歪ませられ、最後にオーディオ信号と結合されて、帯域拡張されたオーディオ信号が取得される。信号伸張のために、フィルタバンク構成又は変換構成の中の位相ボコーダが使用されても良い。【選択図】  図１
2011511311.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号の帯域拡張のための装置であって、
１よりも大きな伸張係数によって時間的に伸張された時間信号としてのオーディオ信号のバージョンを生成する信号スプレッダ（１０２）と、
前記伸張係数に整合するデシメーション係数により、前記オーディオ信号の時間的に伸張されたバージョン（１０３）をデシメートするためのデシメータ（１０５）と、
前記デシメート済のオーディオ信号（１０６）から前記オーディオ信号（１００）には含まれていない周波数領域を含む歪み信号を抽出するための、又は、前記信号スプレッダ（１０２）による伸張の前に前記オーディオ信号からある信号を抽出するためのフィルタ（１０７，１０９）であって、この信号は伸張及びデシメート後の前記オーディオ信号（１０６）の中に含まれていない周波数領域を含み、前記歪み信号（１０８）は、前記歪み信号（１０８）、前記デシメート済のオーディオ信号、又はその結合信号が所定の包絡を有するように生成されるフィルタと、
前記歪み信号又は未歪み信号と、前記オーディオ信号（１００）とを結合し、帯域拡張されたオーディオ信号（１１２）を取得する結合器（１１１）と、
を含むことを特徴とする装置。
【請求項２】
前記信号スプレッダは１よりも大きな整数の伸張係数を使用し、
前記デシメータ（１０５）は前記伸張係数に対して等しいか又は逆数となるデシメーション係数を使用し、
前記フィルタ（１０７）はある帯域通過信号を抽出し、この帯域通過信号が、前記信号スプレッダ及び前記デシメータを用いた伸張及びデシメートにより再生成されたある周波数領域を含むことを特徴とする、請求項１に記載の装置。
【請求項３】
前記信号スプレッダ（１０２）は、前記オーディオ信号（１００）のピッチが変化しないように前記オーディオ信号を伸張することを特徴とする、請求項１又は２に記載の装置。
【請求項４】
前記信号スプレッダ（１０２）は、前記オーディオ信号の持続時間が増大し、且つ伸張されたオーディオ信号の帯域幅と前記オーディオ信号の帯域幅とが等しくなるように、前記オーディオ信号を伸張させることを特徴とする、請求項１乃至３のいずれか１項に記載の装置。
【請求項５】
前記信号スプレッダ（１０２）は位相ボコーダ(２０２ａ，２０２ｂ，２０２ｃ)を有することを特徴とする、請求項１乃至４のいずれか１項に記載の装置。
【請求項６】
前記位相ボコーダは、フィルタバンク構成又はフーリエ変換器構成であることを特徴とする、請求項５に記載の装置。
【請求項７】
前記信号スプレッダ（１０２）は係数２により前記信号を伸張して第１の伸張信号を取得し、
係数３により前記信号を伸張して第２の伸張信号を取得する追加の信号スプレッダ（２０２ｂ）をさらに備え、
前記デシメータ（１０５）は前記第１の伸張信号を係数２によりデシメートし、
前記第２の伸張信号を係数３によりデシメートする追加のデシメータ（２０５ｂ）をさらに備え、
前記フィルタ（１０７）は、前記第１のデシメータから出力された信号の中に新たに生成されたある帯域を抽出するか、又は、伸張の前に濾波を実行し、
前記第１のデシメートされた信号とは別の前記第２のデシメートされた信号からある帯域を抽出するか、又は、伸張の前に濾波を実行する第２の帯域通過フィルタ（２０７ｂ）をさらに備え、
抽出された信号を加算するか、又は、抽出され歪ませられた信号を加算するための加算器（２０９）をさらに備えることを特徴とする、請求項１乃至６のいずれか１項に記載の装置。
【請求項８】
追加の位相ボコーダ（２０２ｃ）と、その下流のデシメータ（２０５ｃ）と、その下流の帯域通過フィルタ（２０７ｃ）とを含む追加のグループを備え、当該グループは、伸張係数がｋに設定され、前記加算器（２０９）に供給される追加の帯域通過信号を生成することを特徴とする、請求項７に記載の装置。
【請求項９】
前記信号スプレッダ（１０２）は、前記オーディオ信号（１００）の全帯域を有するサンプルのシーケンスとしての時間的信号を出力し、
前記デシメータ（１０５）は前記サンプルのシーケンスを入力信号として取得し、それをデシメートすることを特徴とする、請求項１乃至８のいずれか１項に記載の装置。
【請求項１０】
送信されたパラメータ（７１３）に基づいて歪みを与えるディストータ（１０９）が設けられていることを特徴とする、請求項１乃至９のいずれか１項に記載の装置。
【請求項１１】
前記オーディオ信号の中に過渡部分が検出された時、前記信号スプレッダ（１０２）又は前記デシメータ（１０５）を制御し、高域スペクトル部分を生成するための他の方法を実行（２６０）する過渡検出器（２５０）をさらに備えることを特徴とする、請求項１乃至１０のいずれか１項に記載の装置。
【請求項１２】
前記帯域通過信号又は前記歪ませられた帯域通過信号の調性或いはノイズを調整するための、調性／ノイズ修正モジュール（１０９ａ）をさらに備えることを特徴とする、請求項１乃至１１のいずれか１項に記載の装置。
【請求項１３】
前記信号スプレッダ（１０２）は複数のフィルタチャネルを有し、各フィルタチャネルは、時間的に変化する振幅信号（５５７）及び時間的に変化する周波数信号（５６０）を生成するためのフィルタと、これらの時間的に変化する信号により制御可能な発振器（５０２）とを有し、各フィルタチャネルは、前記時間的に変化する振幅信号（Ａ（ｔ））を補間して補間済の時間的に変化する振幅信号（Ａ’（ｔ））を取得する補間器、又は伸張係数（１０４）により前記周波数信号を補間して補間済の周波数信号を取得する補間器を有し、
各フィルタチャネルの前記発振器（５０２）は、前記補間済の振幅信号又は前記補間済の周波数信号により制御されることを特徴とする、請求項１乃至１２のいずれか１項に記載の装置。
【請求項１４】
前記信号スプレッダ（１０２）は、
前記オーディオ信号の時間サンプルのオーバーラップするブロックのための連続するスペクトルを生成するＦＦＴ処理器（６００）であって、このブロックは互いの間に第１の時間間隔（ａ）を有しているＦＦＴ処理器と、
周波数領域から時間領域へと連続的なスペクトルを変換して時間サンプルのオーバーラップするブロックを生成するＩＦＦＴ処理器であり、このブロックは互いの間に前記第１の時間間隔（ａ）よりも長い第２の時間間隔（ｂ）を有しているＩＦＦＴ処理器と、
生成されたＦＦＴスペクトルのシーケンスのスペクトル値の位相を前記第１の時間間隔（ａ）と第２の時間間隔（ｂ）との比率に従って再スケールするための位相再スケーラ（６０６）と、をさらに備えることを特徴とする、請求項１乃至１２のいずれか１項に記載の装置。
【請求項１５】
オーディオ信号の帯域拡張のための方法であって、
１よりも大きな伸張係数によって時間的に伸張された時間信号としてのオーディオ信号のバージョンを生成するステップ（１０２）と、
前記伸張係数に整合するデシメーション係数により、前記オーディオ信号の時間的に伸張されたバージョン（１０３）をデシメートするステップ（１０５）と、
前記デシメート済のオーディオ信号（１０６）から前記オーディオ信号（１００）には含まれていない周波数領域を含む歪み信号を抽出するステップ（１０７，１０９）、又は、前記伸張（１０２）の前に前記オーディオ信号からある信号を抽出するステップであって、この信号は伸張及びデシメート後の前記オーディオ信号（１０６）の中に含まれていない周波数領域を含み、前記歪み信号は、前記抽出された信号（１０８）、前記デシメート済のオーディオ信号、又は結合信号がある所定の包絡を有するように生成されるステップと、
前記歪み信号又は未歪み信号と、前記オーディオ信号（１００）とを結合し、帯域拡張されたオーディオ信号（１１２）を取得する結合ステップと、
を含むことを特徴とする方法。
【請求項１６】
コンピュータ上で実行された時に請求項１５に記載の方法を実行するプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオーディオ信号処理に関し、特に、利用可能なデータレートが比較的小さい場合におけるオーディオ信号処理に関する。
【背景技術】
【０００２】
オーディオ信号の効率的な記憶と伝送のためのデータ削減を目的とする、オーディオ信号の聴覚適応型の符号化は、多くの分野において受け入れられてきた。符号化アルゴリズムは、特に、「ＭＰ３」又は「ＭＰ４」として公知である。このために使用される符号化であり、特に最低限のビットレートを達成する時に使用される符号化は、オーディオの品質低下をもたらすが、この品質低下は多くの場合、主として伝送されるべきオーディオ信号帯域への符号器側における制限によって引き起こされるものである。
【０００３】
特許文献１は、オーディオ信号に対して符号器側において帯域制限を与え、オーディオ信号の低域だけを高品質のオーディオ符号器を用いて符号化するという方法を開示している。一方、オーディオ信号の高域については、非常に粗い特徴付け、即ち高域のスペクトル包絡を再現するパラメータ・セットによる特徴付けがなされるだけである。その後、復号器側において高域が合成される。この合成のために、復号化済のオーディオ信号の低域をフィルタバンクへと供給する、ハーモニックな転位(harmonic
transposition)が提案されている。低域のフィルタバンク・チャネルは高域のフィルタバンク・チャネルへと結合されるか、または「パッチ」され、各パッチ済の帯域通過信号には包絡調整が実行される。この時、特殊な解析フィルタバンクに属するこの合成フィルタバンクは、低域ではオーディオ信号の帯域通過信号を受け取り、高域ではハーモニックにパッチされた低域の包絡調整済の帯域通過信号を受け取る。この合成フィルタバンクの出力は、先に符号器から復号器へと非常に低いデータレートで送信されたオーディオ信号の、その帯域に関して拡張されたオーディオ信号である。特に、フィルタバンクの演算とフィルタバンク・ドメインでのパッチングとは、高度な演算能力を必要とすることもある。
【０００４】
上記の方法に代えて、帯域制限されたオーディオ信号の帯域拡張(bandwith extension)のための複雑さを低減した方法には、帯域制限によって欠損した情報を近似する目的で、低周波信号部分（ＬＦ）から高周波信号領域（ＨＦ）へのコピー機能を使用する方法もある。このような方法は、非特許文献１、非特許文献２、非特許文献３、非特許文献４及び特許文献２に開示されている。
【０００５】
これらの方法では、ハーモニックな転位は実行されない。代わりに、低域の連続的な帯域通過信号が高域の連続的なフィルタバンク・チャネルへと導入される。その結果、オーディオ信号の高域の粗い近似が達成される。このような信号の粗い近似は、後のステップにおいて、オリジナル信号から取得された制御情報を使用する後処理により、オリジナル信号に対して近似される。この時、ＭＰＥＧ−４標準にも記載されているように、例えばスケールファクタが、スペクトル包絡の適応と、逆フィルタリングと、調性(tonality)の適応及び正弦波信号部分による補足のためのノイズカーペットの追加と、に役立つ。
【０００６】
上述の方法以外にも、非特許文献５の中で開示された所謂「ブラインド帯域拡張」と呼ばれる方法等のさらなる方法があるが、この中ではオリジナルＨＦ領域についての情報は全く使用されていない。さらに、非特許文献６の中で開示された所謂「人工的帯域拡張」という方法もある。
【０００７】
非特許文献７の中でも、ある帯域拡張の方法が開示されているが、この中では、ＳＢＲ（スペクトル帯域複製）の技術に従う連続的な帯域通過信号のアップ・コピーを用いた帯域拡張のコピー操作に代えて、例えばアップサンプリングによるミラーリングを用いている。
【０００８】
帯域拡張のための更なる技術は、非特許文献８、非特許文献９、非特許文献１０、非特許文献１１、特許文献３及び特許文献４にも開示されている。
【０００９】
ハーモニックな帯域拡張(harmonic bandwith extension)の公知の方法には、複雑な点がある。一方、複雑さを低減した帯域拡張の方法では、品質の点で欠損が生じる。特に、低ビットレートであって、ＬＦ領域の低帯域と組合せになる場合、粗さや不快と認識されるティンバー(timber)などのアーチファクトが発生する可能性もある。この発生の理由は、近似されたＨＦ部分は、調性(tonal)信号部分のハーモニックな関係を、互いに考慮しないコピー操作に基づいているからである。同様のことがＬＦ部分とＨＦ部分との間のハーモニックな関係にも当てはまり、また、ＨＦ部分それ自身の中のハーモニックな関係にも当てはまる。ＳＢＲを用いた場合、例えばＬＦ領域と生成されたＨＦ領域との間の境界において、粗い音響的印象が時折発生する。なぜなら、例えば図４ａに示すように、ＬＦ領域からＨＦ領域へとコピーされた調性部分は、全体的な信号の中で、ＬＦ領域の調性部分にスペクトル的に密に隣接するように配置される可能性があるからである。図４ａには、４０１，４０２，４０３，４０４にピークを備えたオリジナル信号と、４０５，４０６，４０７，４０８にピークを備えたテスト信号とを示す。図４ａでは境界は４２５０Ｈｚであったように、調性部分をＬＦ領域からＨＦ領域へとコピーすることで、テスト信号内の左の２つのピークの距離は、ハーモニックなラスタの元となる基本周波数よりも小さくなり、その結果、粗さの知覚を招いてしまう。
【００１０】
非特許文献１２に開示されるように、トーン補償された周波数グループの幅がその中央周波数が増大すると共に増大することから、異なる周波数グループ内のＬＦ領域にある正弦波部分は、それをＨＦ領域へとコピーすることで、同じ周波数グループ内に存在することになる可能性がある。このこともまた、図４ｂに見られるように、粗い聴覚的印象をもたらしてしまう。ここでは特に、ＬＦ領域をＨＦ領域へとコピーすることで、テスト信号内にオリジナル信号よりも濃密な調性的構造をもたらすことが示されている。オリジナル信号は、参照番号４１０で特に示されるように、高周波領域内のスペクトルに亘って比較的均一に配分されている。対照的に、テスト信号４１１は、特にこの高周波領域内のスペクトルに亘って比較的不均一に配分されており、従って明確にオリジナル信号４１０よりも高い調性を持つ。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】ＷＯ９８／５７４３６
【特許文献２】米国特許第５，４５５，８８８号
【特許文献３】米国特許出願０８／９５１，０２９
【特許文献４】米国特許第６，８９５，３７５号
【特許文献５】米国特許出願６，５４９，８８４号
【非特許文献】
【００１２】
【非特許文献１】M.Dietz, L. Liljeryd, K. Kjorling and 0. Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, May 2002
【非特許文献２】S.Meltzer, R. Bohm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," 112th AES Convention, Munich, May 2002
【非特許文献３】T.Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention, Munich, May 2002
【非特許文献４】International Standard ISO/IEC 14496-3:2001/FPDAM l, "Bandwidth Extension,"ISO/IEC, 2002
【非特許文献５】E.Larsen, R.M. Aarts, and M. Danessis, “Efficient high-frequency bandwidth extension of music and speech”, In AES 112th Convention, Munich, Germany, May 2002
【非特許文献６】K.Kayhko, A Robust Wideband Enhancement for Narrowband Speech Signal; Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio signal Processing,2001
【非特許文献７】J. Makinen et al.: AMR-WB+: a new audio coding standard for 3rd generation mobile audioservices Broadcasts, IEEE, ICASSP ’05
【非特許文献８】R.M. Aarts, E. Larsen, and O. Ouweltjes, “A unified approach to low- and high frequency bandwidth extension”, AES 115th Convention, New York, USA, October 2003
【非特許文献９】E.Larsen and R.M. Aarts, “Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design”, John Wiley & Sons, Ltd., 2004
【非特許文献１０】E.Larsen, R.M. Aarts, and M. Danessis, “Efficient high-frequency bandwidth extension of music and speech”, AES 112th Convention, Munich, May 2002
【非特許文献１１】J.Makhoul, “Spectral Analysis of Speech by Linear Prediction”, IEEE Transactions on Audio and Electroacoustics, AU-21(3), June 1973
【非特許文献１２】Zwicker,E. and H. Fastl (1999), Psychoacoustics: Facts and models. Berlin -Springerverlag
【非特許文献１３】“The phase Vocoder: A tutorial", Mark Dolson, Computer Music Journal, vol. 10, no. 4, pp. 14 -- 27, 1986
【非特許文献１４】“New phase Vocoder techniques for pitch-shifting, harmonizing and other exotic effects", L. Laroche und M. Dolson, Proceedings 1999 IEEE Workshop on applications of signal processing to audio and acoustics, New Paltz, New York, October 17 - 20, 1999, pages 91 to 94
【非特許文献１５】"New approaches to transient processing interphase vocoder", A. Robel, Proceeding of the 6th international conference on digital audio effects (DAFx-03), London, UK, September 8-11, 2003, pages DAFx-1 to DAFx-6
【非特許文献１６】"Phase-locked Vocoder", Meller Puckette, Proceedings 1995, IEEE ASSP, Conference on applications of signal processing to audio and acoustics
【発明の概要】
【発明が解決しようとする課題】
【００１３】
そこで、本発明の目的は、高品質な帯域拡張を達成すると同時に複雑さにおいては低減された信号処理を達成することであり、且つ一方で、少ない遅延と低い演算能力とで構成することができ、従って処理速度と必要メモリに関してはハードウエアの条件が低いプロセッサにも搭載できるような構成を達成することである。
【課題を解決するための手段】
【００１４】
この目的は、請求項１に記載の帯域拡張装置、請求項１３に記載の帯域拡張方法、又は請求項１４に記載のコンピュータプログラムによって達成される。
【００１５】
本発明の帯域拡張の概念は、１より大きな伸張係数により伸張された時間信号としてのオーディオ信号のバージョンを生成するための時間的な信号伸張と、これに続く、転位された信号を得るための時間信号のデシメーション(decimation：間引き)と、に基づくものであり、転位された信号は、その後、例えば単純な帯域通過フィルタによって濾波することで高周波信号部分を抽出し、この高周波部分に対して、振幅に関し歪又は変化を与えることにより、オリジナルの高周波部分に対する良好な近似を得るものである。代替方法として、帯域通過フィルタによる濾波は信号伸張の前に実行されても良く、その場合は、伸張後に、伸張信号の中に所望の周波数領域だけが存在することになり、伸張後の帯域濾波は省略されても良い。
【００１６】
一方では、ハーモニックな帯域拡張を用いた場合には、コピーまたはミラーリングの操作から発生する問題、あるいはそれら両方の問題は、ハーモニックな連続と時間信号を伸張するための信号スプレッダを使用するスペクトルの伸張とに基づいて、防止することが可能となる。他方では、時間伸張および後続のデシメーションは、ハーモニックな転位で使われている完全な解析／合成フィルタバンクよりも、単純な処理器によってさらに簡単に実行できる可能性がある。なぜなら、ハーモニックな転位では、例えば、フィルタバンクドメインにおけるパッチングをどのように行うべきかについての追加的な決定が必要だからである。
【００１７】
好適には、信号伸張のために１つの位相ボコーダが使用されるが、このボコーダは低い演算能力で構成される。２より大きな伸張係数による帯域拡張を達成するために、さらに複数の位相ボコーダが並行して使用されても良く、その場合は、特にリアルタイムアプリケーションにおいては帯域拡張の遅延は小さくあるべきなので、有利である。代わりに、例えばＰＳＯＬＡ法（Pitch Synchronous Overlap Add）など、他の信号伸張方法も使用可能である。
【００１８】
本発明の好適なある実施形態においては、まず最初に、ＬＦオーディオ信号は最大周波数ＬＦmaxを使用し位相ボコーダの助けを借りて時間方向に拡張され、即ち、信号の本来の持続時間(duration)の整数倍へと拡張される。その後、下流側のデシメータ(decimator)において、時間拡張の係数による信号のデシメーションが実行され、全体としてスペクトルの伸張がもたらされる。これがオーディオ信号の転位に相当する。最後に、結果として得られる信号は、帯域通過により、（拡張係数−１）・最大周波数ＬＦmax〜拡張係数・最大周波数ＬＦmaxの領域へと濾波される。代わりに、伸張とデシメーションとにより生成された個々の高周波信号に対し、最終的にはそれらが完全な高周波領域（即ちＬＦmaxからｋ*ＬＦmaxへの領域）に亘って付加的にオーバーレイするように、帯域通過の濾波が実行されても良い。このような濾波は、ハーモニクスのより高いスペクトル密度が求められる場合に有効である。
【００１９】
本発明の好適なある実施形態においては、ハーモニックな帯域拡張の方法は、複数の異なる拡張係数に対し並行して実行される。この並行処理に代わる方法として、直列的に操作され中間結果がバッファされる、単一の位相ボコーダが使用されても良い。これらの方法で、いかなる帯域拡張カットオフ周波数も達成できる可能性がある。さらに他の方法として、信号の拡張は周波数方向で直接的に実行されても良い。即ち、位相ボコーダの機能的原理に対応して、特に双対演算(dual operation)により実行されても良い。
【００２０】
本発明の実施形態における利点として、ハーモニシティまたは基本周波数に関し、信号の解析が不要である点が挙げられる。
【００２１】
次に、本発明の好適な実施の形態を、添付の図面を参照しながら説明する。
【図面の簡単な説明】
【００２２】
【図１】オーディオ信号の帯域拡張のための、本発明の概念を示すブロック図である。
【図２ａ】オーディオ信号の帯域拡張のための、本発明の１つの態様に従う装置を示すブロック図である。
【図２ｂ】図２ａに示す概念の、過渡検出器を備えた改良型を示す。
【図３】本発明の帯域拡張の時間軸上の所定のポイントにおけるスペクトルを使用した信号処理の概略図である。
【図４ａ】オリジナル信号と、粗い音響的印象を与えるテスト信号との比較を示す。
【図４ｂ】オリジナル信号と、他の粗い音響的印象を与えるテスト信号との比較を示す。
【図５ａ】ある位相ボコーダのフィルタバンク構成の概略を示す。
【図５ｂ】図５ａに示す１つのフィルタの詳細を示す。
【図５ｃ】図５ａに示すフィルタチャネル内における、振幅信号及び周波数信号の操作を概略的に示す。
【図６】ある位相ボコーダにおける変換操作の構成を概略的に示す。
【図７ａ】帯域拡張の過程における符号器側について概略的に示す。
【図７ｂ】オーディオ信号の帯域拡張の過程における復号器側について概略的に示す。
【発明を実施するための形態】
【００２３】
図１は、オーディオ信号の帯域拡張のためのある装置または方法を示す。単に例示的に図１を装置として示しているが、図１は帯域拡張のための方法を示すフローチャートとして理解されても良い。この図の中で、オーディオ信号は入力１００においてこの装置に入力される。このオーディオ信号は次に信号スプレッダ(signal spreader)１０２に入力され、この信号スプレッダ１０２は、当該オーディオの１よりも大きな伸張係数により時間的に伸張された時間信号としての１つのバージョンを生成する。図１に示す実施例における伸張係数は、伸張係数入力１０４を介して供給される。信号スプレッダ１０２の出力１０３に存在する伸張されたオーディオ時間信号は、次にデシメータ１０５へと供給され、このデシメータ１０５は、時間的に伸張されたオーディオ時間信号１０３を、伸張係数１０４に整合するデシメーション係数によりデシメートする（間引く）よう構成されている。この点については、図１内では、点線で示されデシメータ１０５へと繋がる伸張係数入力１０４により概略的に示されている。１つの実施例においては、信号スプレッダにおける伸張係数はデシメーション係数の逆数に等しい。例えば、もし信号スプレッダ１０２において伸張係数２．０が適用された場合、デシメーション係数０．５によるデシーメートが実行される訳である。しかし、もしデシメーション係数２によるデシメートが実行された場合、即ち各２番目のサンプル値が省略された場合には、デシメーション係数は伸張係数と同一となる。伸張係数とデシメーション係数との間の他の比率、例えば整数の比率又は有理数の比率もまた、構成により使用可能である。しかし、最大のハーモニックな帯域拡張は、伸張係数がデシメーション係数と同一である場合か、或いはデシメーション係数の逆数に等しい場合にそれぞれ達成される。
【００２４】
本発明の好適な実施例においては、デシメータ１０５は、例えば（伸張係数２の場合に）各２番目のサンプルを省略し、その結果、デシメートされたオーディオ信号は、オリジナル・オーディオ信号１００と同じ時間的長さを備えることになる。他のデシメーションアルゴリズム、例えば重み付き平均値を形成するアルゴリズム、又は過去あるいは未来からの傾向を考慮するアルゴリズムも、それぞれ使用可能である。しかし、サンプルの省略により、必要な演算能力を非常に低く抑えた単純なデシメーションを構成することができる。デシメータ１０５により生成されたデシメート済の時間信号１０６は、フィルタ１０７へと供給される。フィルタ１０７は、デシメート済のオーディオ信号１０６から、この実施例の装置の入力におけるオーディオ信号１００の中に含まれていない周波数領域を含む帯域通過信号１０８を抽出するように構成されている。この実施例では、フィルタ１０７はデジタル帯域通過フィルタ、例えばＦＩＲ又はＩＩＲフィルタとして構成されても良く、或いはまた、アナログ帯域通過フィルタとして構成されても良い。しかし、デジタル構成の方がより好適である。さらに、フィルタ１０７は次のような構成を持つことが望ましい。即ち、操作１０２及び１０５により生成された高域のスペクトル領域を抽出し、他方で、オーディオ信号１００によりカバーされている低域のスペクトル領域はできるだけ抑制するという構成である。しかし、この実施例においては、フィルタ１０７の構成は次のようであっても良い。即ち、フィルタ１０７はまた、オリジナル信号１００内に含まれたある帯域通過信号としての周波数を備えた信号部分を抽出し、この抽出された帯域通過信号は、オリジナル・オーディオ信号１００内には含まれていなかった少なくとも１つの周波数帯域を含むように構成されても良い。
【００２５】
フィルタ１０７により出力された帯域通過信号１０８はディストータ(distorter)１０９へと入力され、このディストータ１０９は、帯域通過信号が所定の包絡を持つように帯域通過信号に対して歪ませる。歪みの生成に使用されるこの包絡情報は、符号器から供給されるなど、外部から入力されても良い。さらにこの包絡情報は、例えばオーディオ信号１００からのブラインド外挿(blind extrapolation)による生成や、又は、オーディオ信号１００の包絡と共に指標化され復号器側において記憶されたテーブルに基づく生成など、内部で生成されても良い。ディストータ１０９から出力され歪められた帯域信号１１０は、最後に結合器１１１へと入力される。この結合器１１１は、（遅延ステージは図１には示していないが）構成により遅延が与えられたオリジナル・オーディオ信号１００に対し、歪められた帯域信号１１０を結合させ、その出力１１２において帯域拡張されたオーディオ信号を生成する。
【００２６】
他の実施例においては、ディストータ１０９と結合器１１１の順序が、図１に示す場合とは逆となる。この場合、フィルタ出力信号、即ち帯域通過信号１０８は直接的にオーディオ信号１００と結合され、結合器１１１から出力された結合済信号の高域の歪みは、結合の後にディストータ１０９により与えられる。この実施例においては、結合済信号がある所定の包絡を持つように、ディストータが結合済信号を歪ませる。この実施例の結合器は、帯域通過信号１０８とオーディオ信号１００とを結合させ、帯域に関して拡張されたオーディオ信号を取得する。このような、結合の後で歪みが与えられる実施例においては、ディストータ１０９の構成は次のようであることが望ましい。即ち、ディストータ１０９はオーディオ信号１００又はこのオーディオ信号１００から供給された結合済信号の帯域に対してそれぞれ影響を与えないようにするのが好ましい。なぜなら、オーディオ信号の低帯域は高品質の符号器により符号化されていたのであり、復号器側における高帯域の合成の際には、帯域拡張による干渉を受けるべきではないからである。
【００２７】
本発明の実施例を詳細に説明する前に、本発明の長所が活用される図７ａ，図７ｂを参照しながら帯域拡張のシナリオについて説明する。あるオーディオ信号が低域／高域通過結合フィルタ７０２の入力７００へと入力される。この低域／高域通過結合フィルタは、一方では低域通過部分（ＬＰ）を含み、図７ａの７０３で示すように、オーディオ信号７００の低域通過濾波されたバージョンを生成する。この低域通過濾波されたオーディオ信号は、オーディオ符号器７０４により符号化される。このオーディオ符号器は、例えばＭＰ３符号器（ＭＰＥＧ１レイヤ３）か、ＭＰ４符号器としても知られ、かつＭＰＥＧ４標準において記載されているＡＡＣ符号器である。他のオーディオ符号器であって、帯域制限されたオーディオ信号７０３の透明な表示、或いは特に聴覚心理的に透明な表示を提供できる符号器も符号器７０４として使用されても良く、その結果、完全に符号化され、聴覚心理的に符号化され、或いは好適かつ聴覚心理的に透明に符号化されたオーディオ信号７０５をそれぞれ生成する。オーディオ信号の高帯域は、フィルタ７０２の「ＨＰ」で示す高域通過部分により出力７０６において出力される。オーディオ信号の高域通過部分、即ち高帯域又はＨＰ帯域は、ＨＰ部分とも呼ばれるが、パラメータ計算器７０７へと入力され、このパラメータ計算器７０７は様々なパラメータを計算する。これらのパラメータは、例えば各聴覚心理周波数グループ又は各バークスケール(Bark scale)のバーク帯域(Bark band)のためのスケールファクタの表示を用いた、例えば高帯域７０６の比較的粗い分解能におけるスペクトル包絡などである。このパラメータ計算器７０７は、他のパラメータとして、高帯域におけるノイズカーペットを計算してもよく、その帯域毎のエネルギーは、当該帯域内の包絡のエネルギーに関係していることが望ましい。さらに、パラメータ計算器７０７は、他のパラメータとして、高帯域の各部分帯域の調性値(tonality measure) を計算してもよく、この値は、１つの帯域の中でスペクトルエネルギーがどのように配分されるかを示すものである。即ち、その帯域内のスペクトルエネルギーが比較的均一に配分されている場合には、非調性(non-tonal)の信号がこの帯域に存在することになり、この帯域内のエネルギーがこの帯域内のある点に比較的強く集中している場合には、むしろ調性(tonal)の信号がこの帯域に存在することになる。さらなるパラメータとして、振幅と周波数に関して高帯域内で比較的強く突出しているピークを明示的に符号化するものがある。なぜなら、この帯域拡張の概念は、高帯域内において顕著に正弦曲線を描く部分を明示的に符号化せずに再現する場合においては、そのような部分を非常に初歩的な方法でのみ再現するか、あるいは全く再現しないからである。
【００２８】
いずれにせよ、パラメータ計算器７０７は高帯域のためのパラメータ７０８だけを生成し、このパラメータ７０８には、例えば差分符号化、予測又はハフマン符号化など、量子化されたスペクトル値に対してオーディオ符号器７０４においても実行されるような類似のエントロピー削減方法が施されてもよい。パラメータ表示７０８とオーディオ信号７０５とは、次にデータストリーム・フォーマッタ７０９へと入力され、このフォーマッタ７０９は出力側データストリーム７１０を出力し、この出力側データストリーム７１０は、典型的には、例えばＭＰＥＧ４標準に規格化されている所定のフォーマットに従うビットストリームである。
【００２９】
復号器側の特に本発明に関して適切と言える構成を、以下に図７ｂを参照しながら説明する。データストリーム７１０はデータストリーム解釈器(interpreter)７１１に入力され、この解釈器７１１はオーディオ信号部分７０５からパラメータ部分７０８を分割する。パラメータ部分７０８はパラメータ復号器７１２により復号化され、復号済のパラメータ７１３が得られる。これと並行して、オーディオ信号部分７０５はオーディオ復号器７１４により復号化され、その結果、図１においては番号１００で示されたオーディオ信号が得られる。
【００３０】
実施例にもよるが、オーディオ信号１００は第１出力７１５を介して出力されても良い。その結果、この出力７１５では、狭い帯域幅を持ち、従って品質も低いオーディオ信号が取得されるかもしれない。しかし、この品質向上のために、本発明の帯域拡張７２０が実行される。この帯域拡張７２０は例えば図１に示すように実施され、その出力側には、拡張済帯域又は広い帯域をそれぞれ有し、かつ高品質を有するオーディオ信号１１２を取得する。
【００３１】
図１に示す帯域拡張の好適な実施例であり、かつ好適には図７ｂにおいてはブロック７１２の中で使用される実施例を、図２ａを参照しながら以下に説明する。図２ａは、まず「オーディオ信号とパラメータ」と記載したブロック２００を含み、このブロック２００は、図７ｂにおいてはブロック７１１、７１２、７１４に対応しても良い。ブロック２００はその出力側において、復号化されたパラメータ７１３と同様に出力信号１００を出力し、この出力信号１００は、例えば調性補正(tonality correction)１０９ａや包絡調整１０９ｂのような様々な歪みのために使用されても良い。調性補正１０９ａと包絡調整１０９ｂとによりそれぞれ生成又は補正された信号は、結合器１１１へと供給され、出力側の拡張された帯域を持つオーディオ信号１１２が取得される。
【００３２】
好適には、図１における信号スプレッダ１０２は、位相ボコーダ２０２ａにより構成される。図１のデシメータ１０５は、好適には単純なサンプルレート変換器２０５ａにより構成される。帯域通過済信号の抽出のためのフィルタ１０７は、好適には単純な帯域通過フィルタ２０７ａにより構成される。特に、位相ボコーダ２０２ａとサンプルレートデシメータ２０５ａとは、伸張係数＝２を用いて操作される。
【００３３】
好適には、位相ボコーダ２０２ｂとデシメータ２０５ｂと帯域通過フィルタ２０７ｂとから成るさらなる「列(train)」を備え、このフィルタ２０７ｂの出力においてさらなる帯域通過信号を抽出する。この帯域通過信号は、帯域通過フィルタ２０７ａの高域カットオフ周波数とオーディオ信号１００の最大周波数の３倍との間の周波数範囲を持つ。
【００３４】
加えて、係数ｋによるオーディオ信号の伸張を達成するｋ−位相のボコーダ２０２ｃが準備され、この時ｋは好適には１よりも大きな整数である。デシメータ２０５ｃが位相ボコーダ２０２ｃの下流側に連結され、係数ｋを用いてデシメートする。最後に、デシメートされた信号は帯域通過フィルタ２０７ｃへと入力され、この帯域通過フィルタ２０７ｃの低域カットオフ周波数は隣接する分枝の高域カットオフ周波数と同一であり、フィルタ２０７ｃの高域カットオフ周波数はオーディオ信号１００の最大周波数のｋ倍に等しい。全ての帯域通過信号は結合器２０９によって結合され、この結合器２０９は例えば加算器として構成されても良い。代わりに、結合器２０９は重み付きの加算器として構成されても良く、実施例にもよるが、下流側にある要素１０９ａ及び１０９ｂとは独立して、低帯域よりも高帯域をより強く減衰させるものでも良い。加えて、図２ａに示すシステムは遅延ステージ２１１を含み、結合器１１１において、例えばサンプル毎の加算などのように同期化された結合が実行されることを保証する。
【００３５】
図３は、図１又は図２ａに示された処理の中で発生し得る様々なスペクトルの概略図である。図３の（１）に示す波形は、例えば図１内の１００や図７ａ内の７０３において存在する帯域制限されたオーディオ信号を示す。この信号は、好適には信号スプレッダ１０２によりオリジナル信号の持続期間の整数倍へと伸張され、その後、その整数を係数としてデシメートされ、その結果、スペクトルの全体的な伸張は図３の（２）に示すような波形をもたらす。図３の（２）には、通過帯域３００を有する帯域通過フィルタによって抽出されたＨＦ部分が図示されている。図３の第３の波形（３）は、帯域通過信号を歪ませる前に、帯域通過信号が既にオリジナル・オーディオ信号１００と結合されている場合のような変形例を示す。次に、図３の波形（４）で示すように、歪みのない帯域通過信号との結合スペクトルが得られる。この時、高帯域には歪みが与えられ、一方で、可能である限り低帯域の修正は行なわれず、拡張された帯域を有するオーディオ信号１１２を取得できる。
【００３６】
図３の（１）で示すＬＦ信号は、最大周波数ＬＦｍａｘを有する。位相ボコーダ２０２ａはオーディオ信号の転位を実行し、転位されたオーディオ信号の最大周波数が２ＬＦｍａｘとなる。この時、結果として得られた（２）で示す信号は、ＬＦｍａｘから２ＬＦｍａｘまでの領域へと帯域通過濾波されている。概略的に言えば、伸張係数がｋ（ｋ＞１）で示される時、帯域通過フィルタは（ｋ−１）・ＬＦｍａｘからｋ・ＬＦｍａｘまでの通過帯域を持つ。図３に示す処理は、所望の最高周波数ｋ・ＬＦｍａｘが達成されるまで様々な伸張係数に対して反復され、この時ｋ＝最大拡張係数ｋｍａｘである。
【００３７】
次に、図５と図６とを参照しながら、本発明にかかる位相ボコーダ２０２ａ，２０２ｂ，２０２ｃの好適な実施例を説明する。図５ａはある位相ボコーダのフィルタバンク構成を示し、ここでは、オーディオ信号は入力５００へと入力され、出力５１０へと出力される。具体的には、図５ａに概略で示されるフィルタバンクの各チャネルは、帯域通過フィルタ５０１と下流側の発振器５０２とを有する。各チャネルから来る全ての発振器の出力信号は、例えば加算器として構成され番号５０３で示す結合器により結合され、出力信号が取得される。各フィルタ５０１は、一方では振幅信号を供給し、他方では周波数信号を供給するように構成されている。これら振幅信号と周波数信号とは時間信号であり、一方の振幅信号はフィルタ５０１内の時間軸における振幅の変化を示し、他方の周波数信号はフィルタ５０１により濾波された信号の周波数の変化を示す。
【００３８】
図５ｂはフィルタ５０１の概略的なセットアップを示す。図５ａの各フィルタ５０１は図５ｂに示すようにセットアップされても良い。しかしこの時、２つの入力ミキサ５５１と加算器５５２とに入力される周波数ｆｉだけはチャネル毎に異なっている。ミキサ出力信号は両方とも低域通過フィルタ５５３により低域通過濾波されており、これらの低域通過信号は、局部発振器周波数（ＬＯ周波数）により生成されたものであるために互いに異なっており、９０度づつ位相が異なる。上側の低域通過フィルタ５５３は直交位相(quadrature)信号５５４を出力し、下側の低域通過フィルタ５５３は同相(in-phase)信号５５５を出力する。これら２つの信号、つまりＩ及びＱは、矩形表示(rectangular representation)から振幅位相表示(magnitude phase representation)を生成する座標変換器５５６へと入力される。図５ａのそれぞれの時間軸上の絶対値信号又は振幅信号は、出力５５７において出力される。位相信号は位相アンラッパ(phase unwrapper)５５８へと供給される。要素５５８の出力において、常に０〜３６０度の間にあるような位相値はもはや存在せず、線形的に増大する位相値が存在する。この「アンラップ」された位相値は、位相／周波数変換器５５９に供給される。この変換器５５９は、例えば単純な位相差分形成器として構成され、現時点での周波数値を得るために、現時点での位相から以前のある時点における位相を引き算する。この周波数値はフィルタチャネルｉの一定周波数値ｆｉと加算され、その結果、出力５６０において、時間的に変化する周波数値が取得される。出力５６０における周波数値は、一定成分(direct component)＝ｆｉと変動成分(alternating component)＝周波数偏差とを有し、周波数偏差とは、フィルタチャネル内における信号の現時点の周波数と平均周波数ｆｉとの間の周波数偏差を表す。
【００３９】
以上、図５ａ及び図５ｂを用いて説明したように、位相ボコーダはスペクトル情報と時間情報との分割を達成する。スペクトル情報は、各チャネルに周波数の一定成分を供給する特別なチャネル又は周波数ｆｉの中にあり、他方、時間情報は周波数の偏差又は時間軸上の振幅の中に含まれる。
【００４０】
図５ｃは、本発明に従う帯域拡張のために実行される処理を示し、特に、位相ボコーダ２０２ａ内と、図５ａの中で破線で区分された回路の部分で実行される処理を示す。
【００４１】
時間スケーリングのために、例えば各チャネル内の振幅信号Ａ（ｔ）又は各信号内の周波数信号ｆ（ｔ）が、それぞれデシメートされるか又は補間(interpolation)される。本発明にとっては有用である転位を目的として、信号Ａ（ｔ）及び信号ｆ（ｔ）の補間、即ち時間的な拡張または伸張が実行され、伸張済の信号Ａ’（ｔ）及び信号ｆ’（ｔ）が取得される。この時、図１で説明したように、補間は伸張係数１０４により制御される。位相値の補間、即ち加算器５５２により一定周波数を加算する前の値の補間により、図５ａの個別の各発振器５０２の周波数は変化しない。しかし、全体的なオーディオ信号の時間的な変化は、係数２により遅くなる。その結果、オリジナルのピッチを有し時間的に伸張したトーン、即ちハーモニクスを備えたオリジナルの基本波がもたらされる。
【００４２】
図５ａの全てのフィルタ帯域チャネルにおいて、図５ｃに示す信号処理が実行され、次に、結果として得られた時間的信号が、図１のデシメータ１０５又は図２ａのデシメータ２０５ａによりそれぞれ間引かれることで、オーディオ信号はオリジナルの持続時間へと縮減され、他方、全ての周波数は同時に２倍化される。その結果、係数２によるピッチ転位がもたらされるが、しかし、オリジナルオーディオ信号と同じ長さ、即ち同数のサンプルを持つオーディオ信号が取得される。
【００４３】
図５ａで説明したフィルタ帯域の実施例に代えて、位相ボコーダの変形例が使用されても良い。この時、オーディオ信号１００は、時間サンプルのシーケンスとして、ＦＦＴ（高速フーリエ変換）処理器、或いはより一般的には短時間フーリエ変換処理器６００へと供給される。ＦＦＴ処理器６００は図６に概略的に示すように構成されるが、オーディオ信号の時間ウィンドウイングを実行し、次に、ＦＦＴにより振幅スペクトルと位相スペクトルとの両方を計算するものである。この時、オーディオ信号の強くオーバーラップしている時間ブロックに関係する連続したスペクトルを計算する。
【００４４】
極端な場合には、全ての新たなオーディオ信号サンプルに対して１つの新たなスペクトルを計算しても良いし、例えば２０番目の新たなサンプル毎に新たなスペクトルを計算しても良い。２つのスペクトル間にあるサンプルの距離ａは、好適には制御器６０２により与えられる。制御器６０２は、さらにＩＦＦＴ（逆高速フーリエ変換）処理器６０４へも出力するよう構成され、この処理器６０４はオーバーラップ処理を実行する。具体的には、ＩＦＦＴ処理器６０４は、ある振幅スペクトルと位相スペクトルとに基づいてスペクトル毎に１つのＩＦＦＴを実行することで、逆の短時間フーリエ変換を実行し、次に、オーバーラップ加算操作を実行し、その結果、時間ドメイン信号を得る。このオーバーラップ加算操作は、分析ウィンドウの影響を排除することになる。
【００４５】
２つのスペクトルがＩＦＦＴ処理器６０４により処理される時、２つのスペクトル間の距離ｂにより時間信号の伸張が実行され、この距離ｂはＦＦＴスペクトルの生成におけるスペクトル間の距離ａよりも長い。基本的な考え方は、オーディオ信号を、単に分析ＦＦＴよりも大きな間隔を有するように逆ＦＦＴにより伸張することである。その結果、合成されたオーディオ信号内のスペクトルは、オリジナル・オーディオ信号内よりも遅い速度で変化する。
【００４６】
もし、ブロック６０６における位相再スケーリングがなかったと仮定すれば、その構成は周波数アーチファクトをもたらしてしまうだろう。例えば、単一の周波数ｂｉｎを考え、この周波数に対して４５度ずつ連続的に位相値が変化するものとする。つまり、このフィルタ帯域内の信号は、各時間区間毎に一周期の８分の１の割合で、即ち４５度ずつ、位相において増大することを意味し、ここでの時間区間とは、連続するＦＦＴの間の時間区間である。もし、逆ＦＦＴの相互間隔がより離れているならば、４５度の位相増大はより長い時間区間に亘って発生するということになる。つまり、この信号部分の周波数が意図せずに減少したことになる。このような周波数の減少というアーチファクトを防止するため、位相は、オーディオ信号が時間的に伸張された時の係数と正に同一の係数により再スケールされる。各ＦＦＴスペクトル値の位相は、このように係数ｂ／ａにより増大させられ、その結果、上述の意図しない周波数の減少を防止することができる。
【００４７】
図５ｃに示す実施例においては、図５ａのフィルタバンク構成の中の各信号発振器で振幅／周波数制御信号の補間による伸張が行なわれたが、図６における伸張は、２つのＦＦＴスペクトル間の距離よりも長い２つのＩＦＦＴスペクトル間の距離、即ちａよりも長いｂにより達成される。この時、アーチファクトを防止するために、係数ｂ／ａにより位相再スケーリングが実行される。
【００４８】
位相ボコーダの詳細な説明に関しては、非特許文献１３、非特許文献１４、非特許文献１５、非特許文献１６、特許文献５の文献を参照されたい。
【００４９】
図２ｂは、図２ａに記載のシステムの改良型を示し、オーディオ信号の現時点の時間的部分が過渡部分を含むか否かを決定する過渡検出器２５０を使用するものである。過渡部分とは、現実にオーディオ信号が全体的に大きく変化するという事実を意味し、例えば１つの時間的部分から後続の時間的部分への間に、オーディオ信号のエネルギーが５０％以上変化する、即ち増加又は減少するという事実を意味する。しかし、この５０％というしきい値は単なる一例であって、これより小さい値でも良いし、大きい値でも良い。代わりに、例えば有声音から歯擦音への会話において過渡を検出するために、エネルギー分布の変化を考慮しても良い。
【００５０】
オーディオ信号の過渡部分が検出された場合、ハーモニックな転位は実行されず、過渡の時間領域の間、図２ｂのブロック２６０で示すように、非ハーモニックなコピー操作か、非ハーモニックなミラー操作か、あるいは他の帯域拡張アルゴリズムへの切替が実行される。その後、もしこのオーディオ信号がもはや過渡ではないと検出された場合には、図１における要素１０２、１０５で示すように、ハーモニックな転位が再度実行される。これは、図２ｂにおいてはブロック２７０で示される。
【００５１】
オーディオ信号のある時間的な部分が過渡であるか非過渡であるかという事実によって時間的にオフセット状態で到着する、ブロック２７０の出力とブロック２６０の出力とは、結合器２８０へ供給され、この結合器２８０は時間に亘る帯域通過信号を出力し、この帯域通過信号は、例えば図２ａのブロック１０９ａ内の調性補正へと供給されても良い。代わりに、ブロック２８０による結合は、例えば加算器１１１の後で実行されても良い。しかし、その場合には、オーディオ信号の変換ブロック全体について、過渡特性が推定される。もしフィルタバンク構成がブロック単位で作動する場合には、そのような各ブロックについて、それぞれ過渡又は非過渡の決定が行なわれる。
【００５２】
図２ａに記載し、図５及び図６に関してより詳細に説明した、位相ボコーダ２０２ａ，２０２ｂ，２０２ｃは、非過渡信号部分の処理の場合よりも過渡信号部分の処理の場合において、より多くのアーチファクトを生成することから、図２ｂ内のブロック２６０で説明したような、非ハーモニックなコピー操作又はミラー操作への切替が実行される。その代わりに、例えばLarocheによる専門書である上述の非特許文献１４、又は上述の特許文献５に示されるように、過渡への位相リセットもまた実行されても良い。
【００５３】
上述のように、スペクトルのＨＦ部分を生成した後に、ブロック１０９ａ及び１０９ｂにおいて、スペクトル形成とノイズのオリジナル値への調整が実行される。このスペクトル形成は、例えばスケールファクタか、ｄＢ(Ａ)-重み付きのスケールファクタか、又は線形予測の助けを借りて実行されても良く、特に線形予測の場合には、時間／周波数変換とそれに続く周波数／時間変換とが不要であるという長所がある。
【００５４】
本発明は、位相ボコーダを使用することで、スペクトルが周波数の増大につれて伸張し、常に整数倍の伸張により正確にハーモニックに連続するという点で有利である。そのため、ＬＦ領域のカットオフ周波数における粗さの結果は除去され、スペクトルのＨＦ部分が余りにも密に占有されたことによる干渉は防止される。さらに、フィルタバンク・パッチング操作を必要としないような、効率的な位相ボコーダの構成も使用することができる。
【００５５】
上述の方法に代えて、例えばＰＳＯＬＡ法（Pitch Synchronous Overlap Add）など、他の信号伸張方法も使用可能である。このＰＳＯＬＡ法は、音声信号の記録がデータベースの中に位置する合成方法である。これら音声信号が周期的な信号である限り、基本周波数（ピッチ）の情報を持ち、各周期の開始はマークされている。この合成方法においては、これらの周期はあるウィンドウ関数を用いて所定の条件により切り離され、帯域拡張信号に対して加算されて適切な位置に合成される。この時、所望の基本周波数がデータベース・エントリの基本周波数よりも高いか低いかによって、上記周期はオリジナル内における状態よりもより緻密に、あるいはより粗い状態に、順応して結合される。音響の持続時間を調整するために、周期は無視しても良いし、２倍で出力されても良い。この方法はＴＤ−ＰＳＯＬＡとも呼ばれ、このＴＤとは時間ドメインを意味し、この方法が時間ドメインで作動することを強調するものである。さらなる発展型として、ＭＢＲＯＬＡ法(MultiBand Resynthesis OverLap Add method)がある。この方法では、データベース内のセグメントは前処理により一定の基本周波数を持つように処理され、ハーモニックの位相位置が正規化される。これにより、１つのセグメントから次のセグメントへの変化の合成において、知覚可能な干渉は少なくなり、より高い音声品質が達成される。
【００５６】
さらに他の実施例では、オーディオ信号は伸張の前に既に帯域通過濾波されており、その結果、伸張及びデシメーションの後の信号は、既に所望の部分を含んでおり、後続の帯域通過濾波が省略可能となる。この場合には、帯域通過フィルタは、帯域拡張の後では除去されるであろうオーディオ信号部分がこの帯域通過フィルタの出力信号の中にまだ含まれているように、設定される。つまり、帯域通過フィルタの出力信号は、伸張及びデシメーションの後にはオーディオ信号１０６の中に含まれていない周波数領域を含む。この周波数領域を持つ信号は、合成された高周波信号を形成する所望の信号である。この実施例では、ディストータ１０９は、帯域通過信号を歪ませるのではなく、帯域通過濾波済のオーディオ信号から導出された、伸張されかつデシメートされた信号を歪ませる。
【００５７】
さらに注目すべきは、例えばオリジナル信号と伸張された信号とをミキシングすることにより、伸張された信号はオリジナル信号の周波数領域においても役立つことがあり、そのため、「厳密な」通過帯域が必要でなくなるという点である。この伸張された信号は、この伸張された信号が周波数に関してオリジナル信号とオーバーラップするような周波数帯域内でオリジナル信号とミキシングされるのが良く、このオーバーラップした領域でオリジナル信号の特性に修正を加えることができる。
【００５８】
さらに注目すべきは、ディストータ１０９とフィルタ１０７との機能は、１つのフィルタブロックの中で構成されても良いし、あるいは２つのカスケードされた個別のフィルタで構成されても良い。歪みの生成は入力信号に依存して実行されるので、このフィルタブロックの振幅特性は変化し得る。しかし、その周波数特性は入力信号から独立している。
【００５９】
実施例によるが、図１に示すように、最初にオーディオ信号全体が伸張され、デシメートされ、次に濾波されても良く、この濾波は要素１０７と１０９との操作に対応する。歪み生成操作は濾波の後でも良いし、同時に行なわれても良い。その意味では、デジタルフィルタの形式を持つ濾波／歪み生成の結合ブロックが適切である。代わりに、（帯域通過）フィルタ（１０７）の前に、２つの異なるフィルタ要素を用いた歪み生成操作が実行されても良い。
【００６０】
さらに他の方法として、伸張の前に帯域通過濾波が実行され、デシメートの後には歪み生成操作（１０９）だけが続くようにしても良い。これらの機能のために２つの異なる要素を使用することが望ましい。
【００６１】
さらに他の方法として、また上述の変形例の全てにおいて、歪み生成は合成信号とオリジナルオーディオ信号との結合の後で実行されても良い。この歪み生成は、例えば、オリジナルオーディオ信号の周波数領域においては、濾波されるべき信号に対する影響が全くないか又は非常に小さく、しかし、拡張された周波数領域においては所望の包絡を生成するようなフィルタを用いたものでも良い。その場合にも、抽出と歪み生成のために異なる２つの要素を使用することが望ましい。
【００６２】
本発明の概念は、全帯域幅を使用できないあらゆるオーディオ・アプリケーションに対して適している。例えば、デジタルラジオやインターネット・ストリーミングを用いたオーディオコンテンツの普及のため、及びオーディオコミュニケーション・アプリケーションのために、本発明の概念が使用可能である。
【００６３】
実施条件に依るが、本発明の実施例は、ハードウエア又はソフトウエアにおいて情報信号を分析するために実現可能である。その実施の形態は、その中に格納される電子的に読出し可能な制御信号を有し、本発明の方法が実行されるようにプログラム可能なコンピュータシステムと協働するデジタル記憶媒体、具体的にはフレキシブルディスク又はＣＤなどのデジタル記憶媒体を使用して実行することができる。一般に、本発明の実施形態は、当該コンピュータプログラム製品がコンピュータ上で作動するときに、機械読取が可能なキャリアに格納された、本発明の方法を実行するプログラムコードを有するコンピュータプログラム製品として実現することができる。換言すれば、本発明の実施形態は、当該コンピュータプログラム製品がコンピュータ上で作動するときに、前記方法を実行するように作動することができるコンピュータプログラムとして実現できる。
【符号の説明】
【００６４】
１００    オーディオ信号
１０２    信号スプレッダ
１０４    伸張係数入力
１０５    デシメータ
１０６    デシメート済のオーディオ信号
１０７    フィルタ
１０８    歪み信号
１０９    ディストータ
１１１    結合器
１１２    帯域拡張されたオーディオ信号
【図１】
2011511311.tif 000003
【図２ａ】
2011511311.tif 000004
【図２ｂ】
2011511311.tif 000005
【図３】
2011511311.tif 000006
【図４ａ】
2011511311.tif 000007
【図４ｂ】
2011511311.tif 000008
【図５ａ】
2011511311.tif 000009
【図５ｂ】
2011511311.tif 000010
【図５ｃ】
2011511311.tif 000011
【図６】
2011511311.tif 000012
【図７ａ】
2011511311.tif 000013
【図７ｂ】
2011511311.tif 000014
【手続補正書】
【提出日】平成21年12月29日(2009.12.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オーディオ信号の帯域拡張のための装置であって、
伸張係数２によって時間的に伸張された時間信号としての前記オーディオ信号のバージョンを生成し、第１の伸張信号を取得する信号スプレッダ（１０２）と、
伸張係数３によって前記信号を時間的に伸張し、第２の伸張信号を取得する追加の信号スプレッダ（２０２ｂ）と、
デシメーション係数２により前記第１の伸張信号をデシメートするためのデシメータ（１０５）と、
デシメーション係数３により前記第２の伸張信号をデシメートするための追加のデシメータ（２０５ｂ）と、
前記デシメート済のオーディオ信号（１０６）から前記オーディオ信号（１００）には含まれていない周波数領域を含む歪み信号を抽出するための、又は、前記信号スプレッダ（１０２）による伸張の前に前記オーディオ信号からある信号を抽出するためのフィルタ（１０７，１０９）であって、この信号は伸張及びデシメート後の前記オーディオ信号（１０６）の中に含まれていない周波数領域を含み、前記歪み信号（１０８）は、前記歪み信号（１０８）、前記デシメート済のオーディオ信号、又は結合信号が所定の包絡を有するように生成され、前記第１のデシメータの出力信号の中に新たに生成されたある帯域を抽出するか、又は、伸張の前に濾波を実行するよう構成されたフィルタ（１０７）と、
前記第１のデシメート済信号とは別の前記第２のデシメート済信号からある帯域を抽出するか、又は、伸張の前に濾波を実行する第２の帯域通過フィルタ（２０７ｂ）と、
前記歪み信号又は未歪み信号と、前記オーディオ信号（１００）とを結合し、係数２及び係数３によって帯域拡張されたオーディオ信号（１１２）を取得する結合器（１１１）と、
を含むことを特徴とする装置。
【請求項２】
前記信号スプレッダ（１０２）は、前記オーディオ信号（１００）のピッチが変化しないように前記オーディオ信号を伸張することを特徴とする、請求項１に記載の装置。
【請求項３】
前記信号スプレッダ（１０２）は、前記オーディオ信号の持続時間が増大し且つその伸張されたオーディオ信号の帯域幅と前記オーディオ信号の帯域幅とが等しくなるように、前記オーディオ信号を伸張することを特徴とする、請求項１又は２に記載の装置。
【請求項４】
前記信号スプレッダ（１０２）は位相ボコーダ(２０２ａ，２０２ｂ，２０２ｃ)を有することを特徴とする、請求項１乃至３のいずれか１項に記載の装置。
【請求項５】
前記ボコーダはフィルタバンク構成か、又はフーリエ変換構成であることを特徴とする、請求項４に記載の装置
【請求項６】
追加の位相ボコーダ（２０２ｃ）と、その下流のデシメータ（２０５ｃ）と、その下流の帯域通過フィルタ（２０７ｃ）とを含む追加のグループであって、伸張係数は（ｋ）に設定され、加算器（２０９）に供給されても良い追加の帯域通過信号を生成するグループをさらに備えることを特徴とする、請求項１に記載の装置。
【請求項７】
送信されたパラメータ（７１３）に基づいて歪みを与えるディストータ（１０９）が設けられていることを特徴とする、請求項１乃至６のいずれか１項に記載の装置。
【請求項８】
前記オーディオ信号の中に過渡部分が検出された時、前記信号スプレッダ（１０２）又は前記デシメータ（１０５）を制御し、高域スペクトル部分を生成するための他の方法を実行（２６０）する過渡検出器（２５０）をさらに備えることを特徴とする、請求項１乃至７のいずれか１項に記載の装置。
【請求項９】
前記帯域通過信号又は前記歪みを持つ帯域通過信号の調性或いはノイズを調整するための、調性／ノイズ修正モジュール（１０９ａ）をさらに備えることを特徴とする、請求項１乃至８のいずれか１項に記載の装置。
【請求項１０】
前記信号スプレッダ（１０２）は複数のフィルタチャネルを有し、各フィルタチャネルは、時間的に変化する振幅信号（５５７）及び時間的に変化する周波数信号（５６０）を生成するためのフィルタと、これらの時間的に変化する信号により制御可能な発振器（５０２）とを有し、各フィルタチャネルは、前記時間的に変化する振幅信号（Ａ（ｔ））を補間して補間済の時間的に変化する振幅信号（Ａ’（ｔ））を取得する補間器、又は伸張係数（１０４）により前記周波数信号を補間して補間済の周波数信号を取得する補間器を有し、
各フィルタチャネルの前記発振器（５０２）は、前記補間済の振幅信号又は前記補間済の周波数信号により制御されることを特徴とする、請求項１乃至９のいずれか１項に記載の装置。
【請求項１１】
前記信号スプレッダ（１０２）は、
前記オーディオ信号の時間サンプルのオーバーラップするブロックのための連続するスペクトルを生成するＦＦＴ処理器（６００）であって、このブロックは互いの間に第１の時間間隔（ａ）を有しているＦＦＴ処理器と、
周波数領域から時間領域へと連続的なスペクトルを変換して時間サンプルのオーバーラップするブロックを生成するＩＦＦＴ処理器であり、このブロックは互いの間に前記第１の時間間隔（ａ）よりも長い第２の時間間隔（ｂ）を有しているＩＦＦＴ処理器と、
生成されたＦＦＴスペクトルのシーケンスのスペクトル値の位相を前記第１の時間間隔（ａ）と第２の時間間隔（ｂ）との比率に従って再スケールするための位相再スケーラ（６０６）と、をさらに備えることを特徴とする、請求項１乃至１１のいずれか１項に記載の装置。
【請求項１２】
オーディオ信号の帯域拡張のための方法であって、
伸張係数２によって時間的に伸張された時間信号としてのオーディオ信号のバージョンを生成し、第１の伸張信号を取得するステップ（１０２）と、
伸張係数３によって前記信号を時間的に伸張し、第２の伸張信号を取得するステップと、
デシメーション係数２により前記第１の伸張信号をデシメートするステップ（１０５）と、
デシメーション係数３により前記第２の伸張信号をデシメートするステップと、
前記デシメート済のオーディオ信号（１０６）から前記オーディオ信号（１００）には含まれていない周波数領域を含む歪み信号を抽出するステップ、又は、前記伸張（１０２）の前に前記オーディオ信号からある信号を抽出するステップ（１０７，１０９）であって、この信号は伸張及びデシメート後の前記オーディオ信号（１０６）の中に含まれていない周波数領域を含み、前記歪み信号は、前記抽出された信号（１０８）、前記デシメート済のオーディオ信号、又は結合信号が所定の包絡を有するように生成され、前記フィルタ（１０７）は、前記第１のデシメータの出力信号の中の新たに生成されたある帯域を抽出するか、又は、伸張の前に濾波を実行するよう構成されているステップと、
前記第１のデシメート済信号とは別の前記第２のデシメート済信号からある帯域を抽出するか、又は、伸張の前に濾波を実行するステップと、
前記歪み信号又は未歪み信号と、前記オーディオ信号（１００）とを結合し、係数２及び係数３によって帯域拡張されたオーディオ信号（１１２）を取得するステップ（１１１）と、
を含むことを特徴とする方法。
【請求項１３】
コンピュータ上で実行された時に請求項１２に記載の方法を実行するプログラムコードを有するコンピュータプログラム。
【手続補正書】
【提出日】平成22年9月13日(2010.9.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
図３は、図１又は図２ａに示された処理の中で発生し得る様々なスペクトルの概略図である。図３の（１）に示す波形は、例えば図１内の１００や図７ａ内の７０３において存在する帯域制限されたオーディオ信号を示す。この信号は、好適には信号スプレッダ１０２によりオリジナル信号の持続期間の整数倍へと伸張され、その後、その整数を係数としてデシメートされ、その結果、スペクトルの全体的な伸張は図３の（２）に示すような波形をもたらす。図３の（２）には、通過帯域３００を有する帯域通過フィルタによって抽出されたＨＦ部分が図示されている。図３の第３の波形（３）は、歪ませる前の帯域通過信号とオリジナル・オーディオ信号１００とを結合した結合スペクトルを示す。次に、図３の波形（４）で示すように、高帯域に対しては歪みが与えられるが、可能である限り低帯域の修正は行なわれない。このようにして、図３の波形（４）で示すような拡張された帯域を有するオーディオ信号１１２を取得できる。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図５ｂ
【補正方法】変更
【補正の内容】
【図５ｂ】
2011511311.tif 000015
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図７ａ
【補正方法】変更
【補正の内容】
【図７ａ】
2011511311.tif 000016
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図７ｂ
【補正方法】変更
【補正の内容】
【図７ｂ】
2011511311.tif 000017
【国際調査報告】
2011511311.tif 000018
2011511311.tif 000019
2011511311.tif 000020