(57)【特許請求の範囲】
【請求項１】
パッチング制御信号（１１９；１１５５）を使用して合成オーディオ信号（１４５）を生成する装置（１００；２００；７００；８００；１１００）であって、
オーディオ信号（１０５；１１０１）のある時間部分（１０７−１；１０７−２；１１２５）をスペクトル表現（１１５：１１３５−１）へと変換する第１の変換器（１１０；１１３０）と、
複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）を実行するスペクトルドメイン・パッチ生成器（１２０；１１４１）であって、各パッチングアルゴリズムは、前記オーディオ信号（１０５；１１０１）のコア周波数帯域（２１０）の対応するスペクトル成分から導出された高周波数帯域（２２０）のスペクトル成分を含む修正済スペクトル表現（１２５；１１４９）を生成するものであり、前記パッチング制御信号（１１９；１１５５）に従って、第１の時間部分（１０７−１）のための第１スペクトルドメイン・パッチングアルゴリズム（１１７−２）を前記複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択し、かつ第２の異なる時間部分（１０７−２）のための第２スペクトルドメイン・パッチングアルゴリズム（１１７−３）を前記複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択することで、前記修正済スペクトル表現（１２５；１１４９）を取得する、スペクトルドメイン・パッチ生成器（１２０；１１４１）と、
スペクトル帯域複製パラメータ（１２７）に従って、前記修正済スペクトル表現（１２５；１１４９）又はその修正済スペクトル表現（１２５；１１４９）から導出された信号を処理し、帯域幅拡張信号（１３５）を取得する、高周波再構築処理器（１３０）と、
前記コア周波数帯域（２１０）にスペクトル成分を持つ前記オーディオ信号（１０５；１１０１）又はそのオーディオ信号（１０５；１１０１）から導出された信号と、前記帯域幅拡張信号（１３５）とを結合し、前記合成オーディオ信号（１４５）を取得する結合器（１４０）と、
を備えることを特徴とする装置。
【請求項２】
請求項１に記載の装置（１００；２００；７００；８００；１１００）であって、
前記スペクトルドメイン・パッチ生成器（１２０；１１４１）は、スペクトルドメインで作動し時間ドメインでは作動しないことを特徴とする装置。
【請求項３】
請求項１又は２に記載の装置（２００）であって、
前記スペクトルドメイン・パッチ生成器（１２０）は、スペクトルドメインのパッチングアルゴリズムのグループ（２０３）の中から少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムを実行し、
前記パッチングアルゴリズムのグループ（２０３）は、単相ボコーダに基づくハーモニックな転位と非ハーモニックなコピー操作のスペクトル帯域複製機能とを持つ第１パッチングアルゴリズム（２０５−１）と、多相ボコーダに基づくハーモニックな転位を持つ第２パッチングアルゴリズム（２０５−２）と、非ハーモニックなコピー操作のスペクトル帯域複製機能を持つ第３パッチングアルゴリズム（２０５−３）と、非線形歪み操作を持つ第４パッチングアルゴリズム（２０５−４）とを含み、
前記帯域幅拡張信号（１３５）の高周波数帯域（２２０）がコア周波数帯域（２１０）のクロスオーバー周波数（２１５；ｆx）の少なくとも４倍の最大周波数（２２５；ｆmax）を持つように、帯域幅拡張を実行することを特徴とする装置。
【請求項４】
請求項３に記載の装置であって、
前記スペクトルドメイン・パッチ生成器（１２０）は前記少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第１パッチングアルゴリズム（２０５−１）を含み、
この第１パッチングアルゴリズム（２０５−１）は、コア周波数帯域（２１０）から抽出されたソース周波数帯域（３１０）から第１の目標周波数帯域（３１０’）への変換を制御するための係数２の帯域幅拡張ファクタ（σ）を持つ単相ボコーダ（３０５）に基づいたハーモニックな転位を含み、前記第１の目標周波数帯域（３１０’）が前記クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、前記ソース周波数帯域（３１０）内のスペクトル成分の位相を前記帯域幅拡張ファクタ（σ）により乗算し、
前記第１パッチングアルゴリズム（２０５−１）は非ハーモニックなコピー操作のスペクトル帯域複製機能（３１５）をさらに備え、このスペクトル帯域複製機能（３１５）は、第１コピー操作を用いて、第２の目標周波数帯域（３２０’）が前記クロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数を持つように、前記第１の目標周波数帯域（３１０’）のスペクトル成分を前記第２の目標周波数帯域（３２０’）へと変換し、さらに、第２コピー操作を用いて、第３の目標周波数帯域（３３０’）が前記高周波数帯域（２２０）に含まれる前記クロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つように、前記第２の目標周波数帯域（３２０’）のスペクトル成分を前記第３の目標周波数帯域（３３０’）へと変換し、
前記高周波数帯域（２２０）は、前記第１の目標周波数帯域（３１０’）と前記第２の目標周波数帯域（３２０’）と前記第３の目標周波数帯域（３３０’）とを含むことを特徴とする装置。
【請求項５】
請求項３に記載の装置であって、
前記スペクトルドメイン・パッチ生成器（１２０）は前記少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは前記第２パッチングアルゴリズム（２０５−２）を含み、
この第２パッチングアルゴリズム（２０５−２）は、前記コア周波数帯域（２１０）から抽出された第１ソース周波数帯域（４１０）から第１の目標周波数帯域（４１０’）への変換を制御するための係数２の第１帯域幅拡張ファクタ（σ1）を持つ多相ボコーダ（４０５）に基づいた、ハーモニックな転位を含み、前記第１の目標周波数帯域（４１０’）が前記クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、前記第１ソース周波数帯域（４１０）内のスペクトル成分の位相を前記第１帯域幅拡張ファクタ（σ1）により乗算し、
前記第２パッチングアルゴリズム（２０５−２）は、前記コア周波数帯域（２１０）から抽出された第２ソース周波数帯域（４２０−１，４２０−２）から第２の目標周波数帯域（４２０’，４２０''）への変換を制御するための係数３の第２帯域幅拡張ファクタ（σ2）をさらに備え、前記第２の目標周波数帯域（４２０’ ，４２０''）が前記クロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域、又は前記クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数を持つように、前記第２ソース周波数帯域（４２０−１，４２０−２）内のスペクトル成分の位相を前記第２帯域幅拡張ファクタ（σ2）により乗算し、
前記第２パッチングアルゴリズム（２０５−２）は、前記コア周波数帯域（２１０）から抽出された第３ソース周波数帯域（４３０−１，４３０−２）から第３の目標周波数帯域（４３０’，４３０''）への変換を制御するための係数４の第３帯域幅拡張ファクタ（σ3）をさらに備え、前記第３の目標周波数帯域（４３０’ ，４３０''）が前記クロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域、又は前記クロスオーバー周波数（ｆx）から前記高周波数帯域（２２０）に含まれるこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つように、前記第３ソース周波数帯域（４３０−１，４３０−２）内のスペクトル成分の位相を前記第３帯域幅拡張ファクタ（σ3）により乗算し、
前記高周波数帯域（２２０）は、前記第１の目標周波数帯域（４１０’）と第２の目標周波数帯域（４２０’ ，４２０''）と第３の目標周波数帯域（４３０’ ，４３０''）とを含むことを特徴とする装置。
【請求項６】
請求項３に記載の装置であって、
前記スペクトルドメイン・パッチ生成器（１２０）は、前記少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第３パッチングアルゴリズム（２０５−３）を含み、
この第３パッチングアルゴリズム（２０５−３）は、非ハーモニックなコピー操作のスペクトル帯域複製機能（５０５）を備え、このスペクトル帯域複製機能（５０５）は、第１コピー操作を用いて、第１の目標周波数帯域（５１０’）が前記クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、前記コア周波数帯域（２１０）であるソース周波数帯域（５１０）のスペクトル成分を第１目標周波数帯域（５１０’）へと変換し、第２コピー操作を用いて、第２の目標周波数帯域（５２０’）が前記クロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数を持つように、前記第１の目標周波数帯域（５１０’）内のスペクトル成分を前記第２の目標周波数帯域（５２０’）へと変換し、さらに、第３コピー操作を用いて、第３の目標周波数帯域（５３０’）が前記高周波数帯域（２２０）に含まれる前記クロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つように、前記第２の目標周波数帯域（５２０’）内のスペクトル成分を前記第３の目標周波数帯域（５３０’）へと変換し、
前記高周波数帯域（２２０）は、前記第１の目標周波数帯域（５１０’）と第２の目標周波数帯域（５２０’）と第３の目標周波数帯域（５３０’）とを含むことを特徴とする装置。
【請求項７】
請求項３に記載の装置であって、
前記スペクトルドメイン・パッチ生成器（１２０）は、前記少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第４パッチングアルゴリズム（２０５−４）を含み、
この第４パッチングアルゴリズム（２０５−４）は、前記クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つ前記高周波数帯域（２２０）内のスペクトル成分を生成するための非線形的な歪み操作を含むことを特徴とする装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の装置（７００）であって、
前記修正済スペクトル表現（１２５）から導出されたある時間ドメイン信号をスペクトルドメインへと変換するための、時間／周波数変換器を含まないことを特徴とする装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の装置（８００）であって、
前記修正済スペクトル表現（１２５）を時間ドメインへと変換するための第２の変換器（８１０）をさらに備え、前記第１の変換器（１１０）により適用された分析に適合する合成を前記第２の変換器（８１０）が適用し、前記第１の変換器（１１０）は第１の変換長（１１１）を有する変換を実行し、前記第２の変換器（８１０）は第２の変換長を有する変換を実行し、前記高周波数帯域（２２０）内の前記最大周波数（ｆmax）と前記コア周波数帯域（２１０）内の前記クロスオーバー周波数（ｆx）との比率と、前記第１変換長（１１１）とが考慮されるという点において、前記第２の変換長は帯域幅拡張特性に依存していることを特徴とする装置。
【請求項１０】
コア周波数帯域（２１０）と高周波数帯域（２２０）とを含むオーディオ信号（１０５）を符号化する装置（９００；１０００）において、
前記オーディオ信号（１０５）を前記コア周波数帯域（２１０）内で符号化するコア符号器（９１０）と、
前記オーディオ信号（１０５）からパッチング制御信号（１１９）を抽出するパラメータ抽出器（９２０）であって、このパッチング制御信号（１１９）は、複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択された１つのパッチングアルゴリズムを指示するものであり、その選択されたパッチングアルゴリズムは、帯域幅拡張復号器において合成オーディオ信号を生成するためにスペクトルドメインで実行される、パラメータ抽出器（９２０）と、
前記高周波数帯域（２２０）からスペクトル帯域複製パラメータ（１２７）を計算するためのパラメータ計算器（９３０）と、
を含むことを特徴とする符号化装置。
【請求項１１】
請求項１０に記載の符号化する装置（１０００）であって、
前記パラメータ抽出器（９２０）は、前記複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から前記選択されたパッチングアルゴリズムを決定し、前記選択されたパッチングアルゴリズムは、前記オーディオ信号（１０５）又はそのオーディオ信号（１０５）から導出されたある信号と、スペクトルドメインで前記複数のパッチングアルゴリズム（１１７−１）を実行し且つ前記オーディオ信号（１０５）のある時間部分の修正済スペクトル表現（１２５）を処理することで取得された複数の帯域幅拡張済信号（１００５）と、の間の比較に基づくものであることを特徴とする符号化装置。
【請求項１２】
パッチング制御信号（１１９；１１５５）を使用して合成オーディオ信号（１４５）を生成する方法（１００；２００；７００；８００；１１００）であって、
オーディオ信号（１０５；１１０１）のある時間部分（１０７−１；１０７−２；１１２５）をスペクトル表現（１１５：１１３５−１）へと変換するステップ（１１０；１１３０）と、
複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）を実行するステップ（１２０；１１４１）であって、各パッチングアルゴリズムは、前記オーディオ信号（１０５；１１０１）のコア周波数帯域（２１０）の対応するスペクトル成分から導出された高周波数帯域（２２０）のスペクトル成分を含む修正済スペクトル表現（１２５；１１４９）を生成するものであり、パッチング制御信号（１１９；１１５５）に従って、第１の時間部分（１０７−１）のための第１スペクトルドメイン・パッチングアルゴリズム（１１７−２）を前記複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択し、かつ第２の異なる時間部分（１０７−２）のための第２スペクトルドメイン・パッチングアルゴリズム（１１７−３）を前記複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択することで、前記修正済スペクトル表現（１２５；１１４９）を取得するステップ（１２０；１１４１）と、
スペクトル帯域複製パラメータ（１２７）に従って、前記修正済スペクトル表現（１２５；１１４９）又はその修正済スペクトル表現（１２５；１１４９）から導出された信号を処理し、帯域幅拡張信号（１３５）を取得する処理ステップ（１３０）と、
前記コア周波数帯域（２１０）にスペクトル成分を持つ前記オーディオ信号（１０５；１１０１）又はそのオーディオ信号（１０５；１１０１）から導出された信号と、前記帯域幅拡張信号（１３５）とを結合し、前記合成オーディオ信号（１４５）を取得する結合ステップと、
を備えることを特徴とする方法。
【請求項１３】
コア周波数帯域（２１０）と高周波数帯域（２２０）とを含むオーディオ信号（１０５）を符号化する方法（９００；１０００）において、
前記オーディオ信号（１０５）を前記コア周波数帯域（２１０）内で符号化するステップ（９１０）と、
前記オーディオ信号（１０５）からパッチング制御信号（１１９）を抽出するステップ（９２０）であって、このパッチング制御信号（１１９）は、複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択された１つのパッチングアルゴリズムを指示するものであり、その選択されたパッチングアルゴリズムは、帯域幅拡張復号器において合成オーディオ信号を生成するためにスペクトルドメインで実行される、抽出ステップ（９２０）と、
前記高周波数帯域（２２０）からスペクトル帯域複製パラメータ（１２７）を計算するステップ（９３０）と、
を含むことを特徴とする符号化方法。
【請求項１４】
符号化されたオーディオ信号（９３５）を記録したコンピュータ読み取り可能な記憶媒体であって、前記符号化されたオーディオ信号（９３５）は、
コア周波数帯域（２１０）内で符号化された符号化済オーディオ信号（９１５）と、
複数の異なるスペクトルドメイン・パッチングアルゴリズム（１１７−１）から選択された１つのパッチングアルゴリズムを指示するパッチング制御信号（１１９）であり、その選択されたパッチングアルゴリズムは、帯域幅拡張復号器において合成オーディオ信号（１４５）を生成するためにスペクトルドメインで実行される、パッチング制御信号（１１９）と、
オーディオ信号（１０５）の高周波数帯域（２２０）から計算されたスペクトル帯域複製パラメータ（１２７）と、
を含むことを特徴とする、記憶媒体。
【請求項１５】
コンピュータに請求項１３又は１４に係る方法を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号処理に関し、特に、合成オーディオ信号を生成する装置及び方法と、オーディオ信号を符号化する装置及び方法と、符号化されたオーディオ信号とに関する。
【背景技術】
【０００２】
オーディオ信号の記憶や伝送は、多くの場合、厳しいビットレートの制限を受ける。そのような制限は通常、信号の中間的な符号化によって克服される。過去においては、非常に低いビットレートしか使用できない場合、符号器は伝送されるオーディオ帯域を思い切って減少させることを余儀なくされた。現代のオーディオコーデックにおいては、特許文献１〜３及び非特許文献１〜１２に示されるように、帯域幅拡張方法（ＢＷＥ）を使用して広帯域信号を符号化することができる。
【０００３】
上述の文献におけるアルゴリズムは高周波帯域（ＨＦ）コンテンツのパラメトリック表示に依存している。この表示は、復号化された信号の低周波部分（ＬＦ）から、ＨＦスペクトル領域への転位（「パッチング」）とパラメータ主導の後処理の適用という手段を用いて生成される。
【０００４】
このような技術分野においては、スペクトル帯域複製（ＳＢＲ）などの帯域幅拡張方法が、ＨＦＲ（高周波再構築）に基づくコーデックにおいて、高周波信号の効率的な生成方法として使用されている。
【０００５】
非特許文献１に開示されたスペクトル帯域複製（ＳＢＲ）は、ＨＦ情報を生成するために、直行ミラーフィルタバンク（ＱＭＦ）を使用している。所謂「パッチング」を使用して低いＱＭＦ帯域信号が高いＱＭＦ帯域へとコピーされ、その結果、ＬＦ部分の情報がＨＦ部分において複製される。生成されたＨＦ部分は、その後、スペクトル包絡及び調性を調整するパラメータの助けを借りて、元のＨＦ部分に対して適合される。
【０００６】
ＨＥ−ＡＡＣで標準化されたように、ＳＢＲにおいては、単純なコピーによるパッチングも含む全ての操作が、常にＱＭＦドメインの中で実行される。しかし、他の異なるパッチング方法は、ＦＦＴドメインや時間ドメインなどのような異なるドメインで実行可能である。従って、ＱＭＦドメインの代わりにＦＦＴドメイン又は時間ドメインで作動し、かつＱＭＦ分析ステップへと供給するための追加的な変換を必要とするパッチングアルゴリズムを、ＳＢＲが選択できるようにすることも可能であろう。
【０００７】
単純なＳＢＲでは、特別なハードウエア又はソフトウエアの必要事項や信号特性を考慮しない、単一のアルゴリズムだけが使用可能である。そのため、ＳＢＲがパッチングアルゴリズムを適合させることはできない。そこで、２つの異なるパッチングアルゴリズムの間で単純に選択できるようにすることも可能であろう。しかし、それら２つのパッチング方法が異なるドメインで作動するため、過渡領域でブロッキングアーチファクトが発生しやすくなり、両方のパッチング方法の間における繊細な切替は実質的に不可能となる。
【０００８】
特許文献４は、スペクトル包絡調整と組み合わせた、スペクトル帯域複製における転位方法を開示している。
【０００９】
特許文献５は、信号がパルス列状又は非パルス列状のいずれかに分類できることを教示し、この分類に基づいて、適応型の切替転位器を提案している。この切替転位器は２つのパッチングアルゴリズムを並行して実行し、ミキシングユニットは（パルス列状か非パルス列状かの）分類に依存して両方のパッチ済信号を結合させる。転位器間の実際の切替又はミキシングは、包絡及び制御データに応じて包絡調整フィルタバンクの中で実行される。さらに、パルス列状の信号については、基本信号がフィルタバンクドメインへと変換され、周波数置換処理が実行され、その周波数置換の結果に対する包絡調整が実行される。これらの処理は、パッチングと追加的処理が結合した工程である。非パルス列状の信号については、周波数ドメイン転位器（ＦＤ転位器）が設けられ、この周波数ドメイン転位器の結果は次にフィルタバンクドメインへと変換され、ここで包絡調整が実行される。つまりこの文献は、一つの選択肢としてパッチングと追加的処理との結合手法を備え、他の選択肢として包絡調整が実行されるフィルタバンク以外に配置された周波数ドメイン転位器を備える方法を開示しているが、その手法の柔軟性及び構成の可能性に関して問題がある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許第５，４５５，８８８号公報
【特許文献２】米国特許出願第０８／９５１，０２９号
【特許文献３】米国特許第６，８９５，３７５号公報
【特許文献４】ＷＯ９８／５７４３６
【特許文献５】ＷＯ０２／０５２５４５
【非特許文献】
【００１１】
【非特許文献１】M Dietz, L. Liljeryd, K. Kjorling and O. Kunz, “Spectral Band Replication, a novel approach in audio coding” in 112th AES Convention, Munich, May 2002
【非特許文献２】S. Meltzer, R. Bohm and F. Henn, “SBR enhanced audio codecs for digital broadcasting such as “Digital Radio Mondiale” (DRM),” in 112th AES Convention, Munich, May 2002
【非特許文献３】T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, “Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm,” in 112th AES Convention, Munich, May 2002
【非特許文献４】International Standard ISO/IEC 14496-3:2001
【非特許文献５】FPDAM 1, “Bandwidth Extension,” ISO/IEC, 2002
【非特許文献６】E. Larsen, R. M. Aarts, and M. Danessis. “Efficient high-frequency bandwidth extension of music and speech” in AES 112th Convention, Munich, Germany, May 2002
【非特許文献７】R.M. Aarts, E. Larsen, and O. Ouweltjes. “A unified approach to low-and high frequency bandwidth extension” in AES 115th Convention, New York, USA, October 2003
【非特許文献８】K. Kayhko. “A Robust Wideband Enhancement for Narrowband Speech Signal” Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio Signal Processing, 2001
【非特許文献９】E. Larsen and R.M. Aarts. “Audio Bandwidth Extension Application to psychoacoustics, Signal Processing and Loudspeaker Design. John Wiley & Sons, Ltd, 2004
【非特許文献１０】E. Larsen, R.M. Aarts, and M. Danessis. “Efficient high-frequency bandwidth extension of music and speech” in AES 112th Convention, Munich, Germany, May 2002
【非特許文献１１】J. Makhoul. “Spectral Analysis of Speech by Linear Prediction”. IEEE Transactions of Audio and Electroacoustics, AU-21(3), June 1973
【非特許文献１２】Frederik Nagel, Sascha Disch, “A harmonic bandwidth extension method for audio codecs,” ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、改良されたオーディオ品質を提供しかつ効率的な構成を可能にする、合成オーディオ信号生成の概念を提供することである。
【課題を解決するための手段】
【００１３】
前記目的は、請求項１に係る合成オーディオ信号を生成する装置、請求項１０に係るオーディオ信号を符号化する装置、請求項１２に係る生成方法、請求項１３に係る符号化方法、請求項１４に係る符号化されたオーディオ信号又は請求項１５に係るコンピュータプログラムによって達成できる。
【００１４】
本発明は、上述のような改良された品質及び／又は効率的な構成は、以下のような場合に達成されるという基本的知見に基づいている。即ち、オーディオ信号のある時間部分をスペクトル表現へと変換した後、複数の異なるスペクトルドメイン・パッチングアルゴリズムを実行し、各パッチングアルゴリズムは前記オーディオ信号のコア周波数帯域(core frequency band)の対応するスペクトル成分から導出された高周波帯域(upper frequency band)のスペクトル成分を含む修正済スペクトル表現を生成する。そして、パッチング制御信号に従って、第１の時間部分のための第１のスペクトルドメイン・パッチングアルゴリズムを前記複数の異なるスペクトルドメイン・パッチングアルゴリズムから選択し、かつ第２の異なる時間部分のための第２のスペクトルドメイン・パッチングアルゴリズムを前記複数の異なるスペクトルドメイン・パッチングアルゴリズムから選択することで、前記修正済スペクトル表現を取得する。この方法によれば、異なるドメインの２つのパッチングアルゴリズム間での切替に起因した品質及び／又は柔軟性の低下を防止することができ、従って、知覚的な品質を維持しながら処理の複雑性を低減することもできる。
【００１５】
本発明の一実施形態に従えば、パッチング制御信号を使用して合成オーディオ信号を生成する装置は、第１の変換器とスペクトルドメイン・パッチ生成器と高周波再構築処理器と結合器とを備える。第１の変換器は、オーディオ信号のある時間部分をスペクトル表現へと変換する。スペクトルドメイン・パッチ生成器は、複数の異なるスペクトルドメイン・パッチングアルゴリズムを実行し、各パッチングアルゴリズムは、オーディオ信号のコア周波数帯域の対応するスペクトル成分から導出された高周波数帯域のスペクトル成分を含む、修正済スペクトル表現を生成する。スペクトルドメイン・パッチ生成器はさらに、パッチング制御信号に従って、第１の時間部分のための第１のスペクトルドメイン・パッチングアルゴリズムを前記複数の異なるスペクトルドメイン・パッチングアルゴリズムから選択し、かつ第２の異なる時間部分のための第２のスペクトルドメイン・パッチングアルゴリズムを前記複数の異なるスペクトルドメイン・パッチングアルゴリズムから選択することで、前記修正済スペクトル表現を取得する。高周波再構築処理器は、スペクトル帯域複製パラメータに従って、前記修正済スペクトル表現又はその修正済スペクトル表現から導出された信号を処理し、帯域幅拡張信号を取得する。結合器は、コア周波数帯域にスペクトル成分を持つオーディオ信号又はそのオーディオ信号から導出された信号と、前記帯域幅拡張信号とを結合し、合成オーディオ信号を取得する。
【００１６】
本発明の他の実施形態に従えば、オーディオ信号を符号化する装置は、コア符号器とパラメータ抽出器とパラメータ計算器とを備える。オーディオ信号はコア周波数帯域と高周波数帯域とを含む。コア符号器は、コア周波数帯域内のオーディオ信号を符号化する。パラメータ抽出器はオーディオ信号からパッチング制御信号を抽出し、そのパッチング制御信号は複数の異なるスペクトルドメイン・パッチングアルゴリズムの中から選択された１つのパッチングアルゴリズムを示し、その選択されたパッチングアルゴリズムは、帯域幅拡張復号器において合成オーディオ信号を生成するためにスペクトルドメインで実行される。パラメータ計算器は、高周波数帯域からスペクトル帯域複製パラメータを計算する。
【００１７】
本発明のさらに他の実施形態に従えば、符号化されたオーディオ信号のデータストリームは、コア周波数帯域内で符号化された符号化済オーディオ信号と、複数の異なるスペクトルドメイン・パッチングアルゴリズムの中から選択された１つのパッチングアルゴリズムを示すパッチング制御信号であって、その選択されたパッチングアルゴリズムは帯域幅拡張復号器において合成オーディオ信号を生成するためにスペクトルドメインで実行される、パッチング制御信号と、オーディオ信号の高周波数帯域から計算されたスペクトル帯域複製パラメータと、を備える。
【００１８】
つまり、本発明の実施形態は、スペクトルドメインのパッチングアルゴリズムのグループの中の少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムの間で切り替える概念に関連する。前記スペクトルドメインのパッチングアルゴリズムのグループは、単相ボコーダ（single phase vocoder）に基づくハーモニックな転位と非ハーモニックなコピー操作のＳＢＲ機能とを持つ第１パッチングアルゴリズムと、多相ボコーダ(multiple phase vocoder)に基づくハーモニックな転位を持つ第２パッチングアルゴリズムと、非ハーモニックなコピー操作のＳＢＲ機能を持つ第３パッチングアルゴリズムと、非線形歪み操作(non-linear distortion)を持つ第４パッチングアルゴリズムと、を含んでも良い。さらに、帯域幅拡張は、帯域幅拡張信号の高周波数帯域がコア周波数帯域のクロスオーバー周波数の少なくとも４倍の最大周波数を持つように実行されても良い。
【００１９】
結果として、スペクトルドメインにおいて少なくとも２つの異なるパッチングアルゴリズムの間で切替を行うことで、帯域幅拡張のシナリオの中で同等の知覚的品質を持ちながら複雑さを低減できる。
【００２０】
本発明の別の実施形態は、修正済スペクトル表現から導出された時間ドメイン信号をスペクトルドメインへと変換するための時間／周波数変換器を含まない装置に関連する。従って、本発明の実施形態では、高周波再構築処理器が、修正済スペクトル表現に対して直接的に処理することもでき、この場合、異なるドメインで処理可能なパッチングと追加的処理との組合せの手法のように、時間ドメインからスペクトルドメインへの（例えばＱＭＦ分析のような）追加的変換を必要としない。
【００２１】
本発明のさらに別の実施形態は、複数の異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを決定する、パラメータ抽出器に関する。ここで、前記選択されたパッチングアルゴリズムとは、オーディオ信号又はそのオーディオ信号から導出されたある信号と、スペクトルドメインで複数のパッチングアルゴリズムを実行し且つオーディオ信号のある時間部分の修正済スペクトル表現を処理することで取得された複数の帯域幅拡張信号と、の間の比較に基づくものである。従って、本発明のこの実施形態は、帯域幅拡張復号器において合成オーディオ信号を生成するための最適なパッチングアルゴリズムを選択する方法を提供する。
【００２２】
制御パラメータは、どのパッチングが最適かを決定するために使用されても良い。その目的で、「合成による分析(analysis by synthesis)」ステージを使用しても良い。即ち、全てのパッチを適用し、ある目標に従った最適なパッチを選択しても良い。本発明の好適なモードにおいては、その目標とは、知覚的品質における原状回復の最高レベルを得ることである。他のモードにおいては、目標関数を最適化する必要がある。例えば、その目標とは、オリジナルＨＦのスペクトル平坦度にできるだけ近い状態に維持することでも良い。
【００２３】
一つの方法では、パッチングの選択は、オリジナル信号、合成信号又はその両方を考慮することにより、符号器だけで実行できる。この決定（パッチング制御信号）はその後に復号器へと送られる。他の方法では、パッチングの選択は、合成信号のコア帯域だけを考慮しながら符号器と復号器との両側において同期的に実行されても良い。この後者の方法では追加的なサイド情報を生成する必要がない。
【図面の簡単な説明】
【００２４】
以下に、添付の図面を参照しながら本発明の実施例を説明する。
【図１ａ】パッチング制御信号を使用して合成オーディオ信号を生成する装置の実施例を示すブロック図である。
【図１ｂ】図１ａのスペクトルドメイン・パッチ生成器の構成を示すブロック図である。
【図２ａ】合成オーディオ信号を生成する他の実施例の装置を示すブロック図である。
【図２ｂ】帯域幅拡張スキームの概略図である。
【図３】第１パッチングアルゴリズムの例示的な概略図である。
【図４】第２パッチングアルゴリズムの例示的な概略図である。
【図５】第３パッチングアルゴリズムの例示的な概略図である。
【図６】第４パッチングアルゴリズムの例示的な概略図である。
【図７】図１ａの実施例においてスペクトルドメイン・パッチ生成器の後に時間／周波数変換器が配置されていない場合を示すブロック図である。
【図８】図１ａの実施例において第２の変換器（周波数／時間変換器）を伴う場合を示すブロック図である。
【図９】オーディオ信号を符号化する装置の一実施例を示すブロック図である。
【図１０】オーディオ信号を符号化する装置の他の実施例を示すブロック図である。
【図１１】周波数ドメインにおけるパッチング・スキームの実施例の全体図である。
【発明を実施するための形態】
【００２５】
図１ａは、本発明の実施例に従い、パッチング制御信号１１９を使用して合成オーディオ信号１４５を生成する装置１００を示すブロック図である。装置１００は、第１変換器１１０とスペクトルドメイン・パッチ生成器１２０と高周波数再構築処理器１３０と結合器１４０とを備える。第１変換器１１０はオーディオ信号１０５のある時間部分をスペクトル表現１１５へと変換する。スペクトルドメイン・パッチ生成器１２０は、複数の異なるスペクトルドメイン・パッチングアルゴリズム１１７−１を実行し、この各パッチングアルゴリズムはオーディオ信号１０５のコア周波数帯域の対応するスペクトル成分から導出された高周波帯域のスペクトル成分を含む修正済スペクトル表現１２５を生成する。図１ｂに示すように、スペクトルドメイン・パッチ生成器１２０は、パッチング制御信号１１９に従って、第１の時間部分１０７−１のための第１スペクトルドメイン・パッチングアルゴリズム１１７−２を複数の異なるスペクトルドメイン・パッチングアルゴリズム１１７−１から選択し、かつ第２の異なる時間部分１０７−２のための第２スペクトルドメイン・パッチングアルゴリズム１１７−３を複数の異なるスペクトルドメイン・パッチングアルゴリズム１１７−１から選択することで、修正済スペクトル表現１２５を取得する。
【００２６】
高周波再構築処理器１３０は、スペクトル帯域複製パラメータ１２７に従って、修正済スペクトル表現１２５又はその修正済スペクトル表現１２５から導出された信号を処理し、帯域幅拡張信号１３５を取得する。その修正済スペクトル表現１２５から導出された信号とは、例えばＱＭＦドメインの信号であって、修正済スペクトル表現１２５に基づく修正済時間ドメイン信号に対してＱＭＦ分析を適用した後に得られる信号であっても良い。結合器１４０は、コア周波数帯域にスペクトル成分を持つオーディオ信号１０５又はそのオーディオ信号１０５から導出された信号と帯域幅拡張信号１３５とを結合し、合成オーディオ信号１４５を取得する。ここで、そのオーディオ信号１０５から導出された信号とは、例えば復号化された低周波数信号であって、符号化済のオーディオ信号をコア周波数帯域内で復号化した後に得られる信号であっても良い。
【００２７】
図１ａから分かるように、装置１００のスペクトルドメイン・パッチ生成器１２０は、時間ドメインではなくスペクトルドメインで作動する。
【００２８】
図２ａは、合成オーディオ信号１４５を生成する他の実施例である装置２００を示すブロック図である。ここでは、図２ａにおける装置２００の構成要素であって図１ａにおける装置１００の構成要素と同じものは、説明及び図示を省略する。図２ａにおける実施例では、装置２００のスペクトルドメイン・パッチ生成器１２０は、スペクトルドメイン・パッチングアルゴリズムのグループ２０３の中から少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムを実行する。スペクトルドメイン・パッチングアルゴリズムのグループ２０３は、単相ボコーダに基づくハーモニックな転位と非ハーモニックなコピー操作のＳＢＲ機能とを持つ第１のパッチングアルゴリズム２０５−１と、多相ボコーダに基づくハーモニックな転位を持つ第２のパッチングアルゴリズム２０５−２と、非ハーモニックなコピー操作のＳＢＲ機能を持つ第３のパッチングアルゴリズム２０５−３と、非線形歪み操作を持つ第４のパッチングアルゴリズム２０５−４と、を含んでいる。
【００２９】
図２ｂに示すように、装置２００は、帯域幅拡張信号１３５の高周波数帯域２２０がコア周波数帯域２１０のクロスオーバー周波数２１５の少なくとも４倍の最大周波数２２５を持つように、帯域幅拡張を実行しても良い。ＳＢＲにおいては、コア周波数帯域２１０の最高周波数として定義されるクロスオーバー周波数２１５の典型的は値は、例えば４ｋＨｚ，５ｋＨｚ又は６ｋＨｚ以下の領域にある。その結果、高周波数帯域２２０の最大周波数２２５は、例えば約１６ｋＨｚ，２０ｋＨｚ又は２４ｋＨｚということになる。
【００３０】
図３は、第１パッチングアルゴリズム２０５−１の例示的な概略図である。詳しくは、スペクトルドメイン・パッチ生成器１２０は、少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第１パッチングアルゴリズム２０５−１を含む。この第１パッチングアルゴリズム２０５−１は、コア周波数帯域２１０から抽出されたソース周波数帯域３１０から第１の目標周波数帯域３１０’への変換を制御するための係数２の帯域幅拡張ファクタ（σ）を持つ単相ボコーダ３０５に基づいた、ハーモニックな転位を含む。ここで、ソース周波数帯域３１０内のスペクトル成分の位相は、第１の目標周波数帯域３１０’がクロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、帯域幅拡張ファクタ（σ）により乗算される。第１パッチングアルゴリズム２０５−１は非ハーモニックなコピー操作のＳＢＲ機能３１５をさらに備え、このＳＢＲ機能３１５は、第１コピー操作を用いて、第２の目標周波数帯域３２０’がクロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数を持つように、第１の目標周波数帯域３１０’のスペクトル成分を第２の目標周波数帯域３２０’へと変換し、さらに、第２コピー操作を用いて、第３の目標周波数帯域３３０’が高周波数帯域２２０に含まれるクロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つように、第２の目標周波数帯域３２０’のスペクトル成分を第３の目標周波数帯域３３０’へと変換する。この場合、高周波数帯域２２０は、第１の目標周波数帯域３１０’と、第２の目標周波数帯域３２０’と、第３の目標周波数帯域３３０’とを含む。特に、図３に示すように、帯域幅拡張信号１３５はコア周波数帯域２１０から生成された高周波数帯域２２０を含み、この高周波数帯域２２０はクロスオーバー周波数（ｆx）の４倍の最大周波数を持つ。
【００３１】
図４は、第２パッチングアルゴリズム２０５−２の例示的な概略図である。詳しくは、スペクトルドメイン・パッチ生成器１２０は、少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第２パッチングアルゴリズム２０５−２を含む。この第２パッチングアルゴリズム２０５−２は、コア周波数帯域２１０から抽出された第１ソース周波数帯域４１０から第１の目標周波数帯域４１０’への変換を制御するための係数２の第１帯域幅拡張ファクタ（σ1）を持つ多相ボコーダ４０５に基づいた、ハーモニックな転位を含む。ここで、第１ソース周波数帯域４１０内のスペクトル成分の位相は、第１の目標周波数帯域４１０’がクロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、第１帯域幅拡張ファクタ（σ1）により乗算される。第２パッチングアルゴリズム２０５−２は、コア周波数帯域２１０から抽出された第２ソース周波数帯域４２０−１，４２０−２から第２の目標周波数帯域４２０’，４２０''への変換を制御するための係数３の第２帯域幅拡張ファクタ（σ2）をさらに備える。ここで、第２ソース周波数帯域４２０−１，４２０−２内のスペクトル成分の位相は、第２の目標周波数帯域４２０’，４２０''が、クロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域、又はクロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数をそれぞれ持つように、第２帯域幅拡張ファクタ（σ2）により乗算される。最後に、第２パッチングアルゴリズム２０５−２は、コア周波数帯域２１０から抽出された第３ソース周波数帯域４３０−１，４３０−２から第３の目標周波数帯域４３０’，４３０''への変換を制御するための係数４の第３帯域幅拡張ファクタ（σ3）をさらに備える。ここで、第３ソース周波数帯域４３０−１，４３０−２内のスペクトル成分の位相は、第３の目標周波数帯域４３０’，４３０''が、クロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域、又はクロスオーバー周波数（ｆx）から高周波数帯域２２０に含まれるこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数をそれぞれ持つように、第３帯域幅拡張ファクタ（σ3）により乗算される。図３に示す第１パッチングアルゴリズム２０５−１の中と同様に、帯域幅拡張信号１３５の高周波数帯域２２０は、第１の目標周波数帯域４１０’と、第２の目標周波数帯域４２０’，４２０''と、クロスオーバー周波数（ｆx）の４倍の最大周波数を持つ第３の目標周波数帯域４３０’ ，４３０''とを含む。
【００３２】
図５は、第３パッチングアルゴリズム２０５−３の例示的な概略図である。図５の実施例においては、スペクトルドメイン・パッチ生成器１２０は、少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第３パッチングアルゴリズム２０５−３を含む。この第３パッチングアルゴリズム２０５−３は、非ハーモニックなコピー操作のＳＢＲ機能５０５を備え、このＳＢＲ機能５０５は、第１コピー操作を用いて、第１の目標周波数帯域５１０’がクロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の２倍までの領域の周波数を持つように、コア周波数帯域２１０であるソース周波数帯域５１０のスペクトル成分を第１の目標周波数帯域５１０’へと変換する。さらに、第１の目標周波数帯域５１０’内のスペクトル成分は、第２コピー操作を用いて、第２の目標周波数帯域５２０’がクロスオーバー周波数（ｆx）の２倍からこのクロスオーバー周波数（ｆx）の３倍までの領域の周波数を持つように、第２の目標周波数帯域５２０’へと変換される。最後に、第２の目標周波数帯域５２０’内のスペクトル成分は、第３コピー操作を用いて、第３の目標周波数帯域５３０’が高周波数帯域２２０に含まれるクロスオーバー周波数（ｆx）の３倍からこのクロスオーバー周波数（ｆx）の４倍までの領域の周波数を持つように、第３の目標周波数帯域５３０’へと変換される。この場合も、帯域幅拡張信号１３５の高周波数帯域２２０は、第１の目標周波数帯域５１０’と、第２の目標周波数帯域５２０’と、クロスオーバー周波数（ｆx）の４倍の最大周波数を持つ第３の目標周波数帯域５３０’とを含む。
【００３３】
図６は、第４パッチングアルゴリズム２０５−４の例示的な概略図である。図６の実施例においては、スペクトルドメイン・パッチ生成器１２０は、少なくとも２つの異なるスペクトルドメイン・パッチングアルゴリズムから選択された１つのパッチングアルゴリズムを実行し、その選択されたパッチングアルゴリズムは第４パッチングアルゴリズム２０５−４を含む。この第４パッチングアルゴリズム２０５−４は、クロスオーバー周波数（ｆx）からこのクロスオーバー周波数（ｆx）の４倍までの周波数領域を持つ高周波数帯域２２０内のスペクトル成分を生成する、非線形的な歪み操作を含む。
【００３４】
一般的に、上述した図３〜図６における実施例では、スペクトルドメイン・パッチングアルゴリズム２０５−１；２０５−２；２０５−３；２０５−４はスペクトルドメイン・パッチ生成器１２０を用いて実行される。この生成器１２０は、コア周波数帯域２１０から導出されたイニシャル帯域３１０，３１０’，３２０’；４１０，４２０−１，４２０−２，４３０−１，４３０−２；５１０，５１０’，５２０’か又はコア周波数帯域２１０内には含まれないある高周波数帯域を、高周波数帯域２２０内の目標スペクトル成分へと変換するが、この場合、その目標スペクトル成分が各スペクトルドメイン・パッチングアルゴリズムについて異なるように変換する。
【００３５】
特にスペクトルドメイン・パッチ生成器１２０は、コア周波数帯域２１０或いは高周波数帯域２２０からイニシャル帯域を抽出するための帯域通過フィルタを備えても良く、その帯域通過フィルタの帯域通過特性は、イニシャル帯域が図３〜図６に示すように対応する目標周波数帯域３１０’，３２０’，３３０’；４１０’，４２０’，４２０''，４３０'，４３０''； ５１０’，５２０’，５３０'へと変換されるように、選択されても良い。
【００３６】
上述の異なるスペクトルドメイン・パッチングアルゴリズム２０５−１；２０５−２；２０５−３；２０５−４は、図２ｂの帯域拡張スキームで必要とされたような方法で実行されても良い。
【００３７】
具体的には、例えば図３又は図４において示すような単相又は多相ボコーダをそれぞれ使用することで、周波数構造はハーモニック的に正確に高周波数領域へと拡張される。なぜなら、基本帯域（例えばコア周波数帯域２１０）は、一定の乗算（例えばσ1＝２，σ2＝３，σ3＝４）によってスペクトル的に伸張されるからであり、基本帯域内のスペクトル成分は新たに生成されたスペクトル成分と結合されるからである。
【００３８】
位相ボコーダに基づくパッチングアルゴリズムは、基本帯域が帯域幅において既に厳しい制限を受けている場合、例えば非常に低いビットレートを使用するため高周波数成分の再構築が比較的低い周波数から開始するような場合には、有利である。この場合、典型的なクロスオーバー周波数は約５ＫＨｚ未満であり、４ＫＨｚ未満であってもよい。この領域では、人間の耳は不正確に配置されたハーモニックから起こる不協和音に対して非常に敏感である。その結果、「不自然」なトーンという印象を与える可能性もある。加えて、（約３０Ｈｚ〜３００Ｈｚのスペクトル不協和音を持つ）スペクトル的に近接したトーン同士はきめの粗いトーンとして知覚される。基本帯域の周波数構成のハーモニックな継続性により、これらの不正確で不快な聴覚的印象を回避できる。
【００３９】
さらに、例えば図５に示すような非ハーモニックなコピー操作のＳＢＲ機能を使用することで、スペクトル領域は、高周波数領域又は複製されるべき領域へとサブバンド単位でコピーされる。全てのパッチング方法にとって言えることであるが、コピー操作も、高周波数信号のスペクトル特性が多くの点で基本帯域信号の特性に類似するという認識の上に成り立っている。２つの特性間のずれは非常に小さいとされる。加えて、人間の耳は典型的には（典型的には約５ＫＨｚから始まる）高周波数においてはあまり敏感ではなく、特に精密でないスペクトルマッピングに関して顕著ではない。実際、この点がスペクトル帯域複製全般において鍵となる考え方である。コピー操作は特に、容易且つ高速で実行できるという長所を持つ。コピー操作のパッチングアルゴリズムはまた、パッチの境界部分について高い柔軟性を持つ。なぜなら、スペクトルのコピーはいかなるサブバンド境界でも実行できる可能性があるからである。
【００４０】
最後に、非線形の歪み操作を用いたパッチングアルゴリズム（図６を参照）は、クリッピング(clipping)、制限法(limiting)、二乗法(squaring)などを用いたハーモニクスの生成を含んでも良い。例えば、（上述の位相ボコーダ・パッチングアルゴリズムを適用した後などのように）もし伸張された信号のスペクトル的な占有率が非常に低い場合には、その伸張されたスペクトルは、望ましくない周波数の穴を回避するために、歪み操作された信号によって任意の追加的補足を受けることもできる。
【００４１】
パッチングアルゴリズムのグループ２０３（図２ａ参照）からの上述したパッチングアルゴリズムの他に、スペクトルミラーリングのような、スペクトルドメインにおける他のパッチングアルゴリズムを実行しても良い。
【００４２】
図７の実施例においては、装置７００は、時間／周波数変換器を含まないように示されている。つまり、この実施例では、高周波数再構築処理器１３０は、修正済スペクトル表現１２５をその入力として受け取る。
【００４３】
上述の構成は、次の点で有利である。即ち、この場合では、高周波数再構築処理器１３０により実行される修正済スペクトル表現１２５の追加的な処理が、例えばＦＦＴ又はＱＭＦドメインなど、スペクトルドメイン・パッチ生成器１２０により実行されるパッチングアルゴリズムと同じドメインにおいて、容易に実行できるからである。従って、時間ドメインから（例えばＱＭＦ分析など）スペクトルドメインへの変換のような異なるドメイン間での追加的な変換は必要でなくなり、より簡素な構成が可能となる。
【００４４】
図８の実施例においては、装置８００は、修正済スペクトル表現１２５を時間ドメインへと変換するための第２の変換器８１０をさらに備える。ここでも、図８の装置８００における構成要素であって図１ａの装置１００における構成要素に対応するものは、説明を省略する。図８に示すように、第１の変換器１１０により適用された分析に適合する合成が、第２の変換器８１０に適用されても良い。ここで、第１の変換器１１０は第１の変換長１１１を有する変換を実行し、他方、第２の変換器８１０は第２の変換長を有する変換を実行する。特に、高周波数帯域２２０内の最大周波数（ｆmax）とコア周波数帯域２１０内のクロスオーバー周波数（ｆx）との比率と、第１変換長１１１とが考慮されるという点において、第２の変換長は帯域幅拡張特性に依存していても良い。
【００４５】
本発明の一実施例においては、第１の変換器１１０は、例えば高速フーリエ変換（ＦＦＴ）、短時間フーリエ変換（ＳＴＦＴ）、離散フーリエ変換（ＤＦＴ）、ＱＭＦ分析などを実行しても良く、他方、第２の変換器８１０は、例えば逆高速フーリエ変換（ＩＦＦＴ）、逆短時間フーリエ変換（ＩＳＴＦＴ）、逆離散フーリエ変換（ＩＤＦＴ）、ＱＭＦ合成などを実行しても良い。
【００４６】
具体的には、第２の変換長は、ｆmax／ｆxの比率に第１の変換長１１１を乗算した値に等しくなるように選択されても良い。このように、第２の変換長又は第２の変換器８１０により適用された周波数分解能は、図２ｂに示す帯域幅拡張スキームの帯域幅拡張特性に対して容易に適合させることができる。なぜなら、帯域幅拡張特性は本質的に、ナイキスト原理に従うさらに効果的なサンプリングレートに応じた上述の比率（ｆmax／ｆx）によって支配されるからである。
【００４７】
図９は、オーディオ信号１０５を符号化するための装置９００の一実施例のブロック図である。オーディオ信号１０５は、コア周波数帯域２１０と高周波数帯域２２０とを有する。特に、符号化装置９００は、コア符号器９１０とパラメータ抽出器９２０とパラメータ計算器９３０とを備える。コア符号器９１０はコア周波数帯域２１０内でオーディオ信号１０５を符号化し、コア周波数帯域２１０内で符号化された符号化済オーディオ信号９１５を取得する。さらに、パラメータ抽出器９２０はオーディオ信号１０５からパッチング制御信号１１９を抽出し、そのパッチング制御信号１１９は、複数の異なるスペクトルドメイン・パッチングアルゴリズム１１７−１の中から選択された１つのパッチングアルゴリズムを指示するものである。具体的には、選択されたパッチングアルゴリズムは、帯域幅拡張復号器において合成オーディオ信号を生成するためにスペクトルドメインで実行されても良い。最後に、パラメータ計算器９３０は、高周波数帯域２２０からＳＢＲパラメータ１２７を計算する。高周波数帯域２２０から計算されたＳＢＲパラメータ１２７と、選択されたパッチングアルゴリズムを指示するパッチング制御信号１１９と、コア周波数帯域２１０内で符号化された符号化済オーディオ信号９１５とは、ビットストリームの中に記憶され又は伝送されるべき符号化済のオーディオ信号９３５を構成しても良い。
【００４８】
図９に示す実施例においては、パラメータ抽出器９２０はオーディオ信号１０５又はそのオーディオ信号１０５から導出された信号を分析し、その分析信号の信号特性に基づいてパッチング制御信号１１９を決定する。例えば、パッチング制御信号１１９は、分析信号の「スピーチ」としての特性を持つ第１時間部分１０７−１については第１パッチングアルゴリズムを指示し、分析信号の「静的な音楽」としての特性を持つ第２時間部分１０７−２については第２パッチングアルゴリズムを指示する。
【００４９】
従って、スピーチ信号の場合には、ＬＰＣ（線形予測符号化）ドメインにおける処理のようなスピーチソースモデル又は情報生成モデルに基づく処理が使用されても良く、他方、静的な音楽の場合には、静的ソースモデル又は情報シンクモデルが使用されても良い。前者の場合には、音声を生成する人間のスピーチ／音声生成システムが表現され、後者の場合には、音声を受け取る人間の音響システムが表現される。
【００５０】
加えて、信号に依存する処理スキームは、過渡イベントを含む時間部分のためのハーモニックな転位と、過渡イベントを含まない時間部分のための非ハーモニックなコピー操作との間の切り替えにより構成されても良い。
【００５１】
開ループに対応する上述の処理は、オーディオ信号１０５又はこのオーディオ信号１０５から導出された信号の信号特性に関する直接的な分析に基づいている。代替的に、パラメータ抽出器９２０は、「合成による分析」の構成に対応する閉ループにおいて操作可能であっても良い。
【００５２】
図１０に示す実施例では、「合成による分析」構成においてオーディオ信号１０５を符号化する装置１０００を示す。具体的には、符号化装置１０００のパラメータ抽出器９２０は、複数の異なるスペクトルドメイン・パッチングアルゴリズム１１７−１から選択された１つのパッチングアルゴリズムを決定する。ここで、選択されたパッチングアルゴリズムとは、オーディオ信号１０５又はそのオーディオ信号１０５から導出されたある信号と、スペクトルドメインで複数のパッチングアルゴリズム１１７−１を実行し且つオーディオ信号１０５のある時間部分の修正済スペクトル表現１２５を処理することで得られた複数の帯域幅拡張済信号１００５と、の間の比較に基づくものである。この比較は、例えばパッチングアルゴリズム選択ユニット１０１０により実行され、複数の帯域幅拡張信号１００５からのスペクトル平坦度（ＳＦＭ）のパラメータ（ＳＦＭ1005）及びオーディオ信号１０５からのスペクトル平坦度のパラメータ（ＳＦＭref）を計算し、その計算されたＳＦＭパラメータであるＳＦＭ1005及びＳＦＭrefを比較し、かつその比較されたＳＦＭパラメータにおける偏差が最小となる特定の（最適な）パッチングアルゴリズムを複数のパッチングアルゴリズム１１７−１から選択する、ことを含む。最後に、選択された最適なパッチングアルゴリズムは、パラメータ抽出器９２０の出力にあるパッチング制御信号１１９により指示されても良い。
【００５３】
図１１は、周波数ドメインにおけるパッチングスキームのための一実施例の全体図である。特に、図２ｂに示す帯域幅拡張スキームなどにおいて帯域幅拡張信号を生成する装置１１００を説明するものである。図１１の実施例では、オーディオ信号１０５は、１０２４サンプルのフレーム長（frame:1024）を持つＰＣＭ（パルス符号変調）データ１１０１により表現されている。このＰＣＭデータ１１０１は、例えば、符号化済のオーディオ信号９３５から導出された基本帯域を含む、復号化済の低周波信号であってもよく、その符号化済のオーディオ信号９３５は符号器９００のような符号化装置から伝送されたものである。次に、ＰＣＭデータ１１０１を例えば係数２でダウンサンプリングしてダウンサンプリング済の信号１１１５を取得する、ダウンサンプラ１１１０を使用しても良い。ダウンサンプリング済の信号１１１５は、「ウインドウ」と記載したブロックにより示す分析ウインドウ化器１１２０に供給されても良く、この分析ウインドウ化器１１２０は、オーディオサンプルの複数のブロックであって互いにオーバーラップするようにウインドウ化された連続的なブロックを生成しても良い。ここで、その複数の連続的なブロックのうちの各ブロックは、例えば５１２個のオーディオサンプルを含んでも良い。加えて、オーディオサンプルの２つの連続するブロック間の第１の時間的距離は、例えば「Ｉｎｃ＝６４」で示すように、６４サンプルに対応するように調整されても良い。さらに、オーディオサンプルの２つの連続するブロック間のオーバーラップは、分析ウインドウ化器１１２０により適用される複数の異なる分析ウインドウ関数から１つの適切な（最適な）分析ウインドウ関数を選択することで制御されても良い。オーディオ信号１０５のある時間部分１１２５は、オーディオサンプルの複数の連続的なブロックのうちの１つの連続的なブロックに対応し、次に第１変換器１１０へと供給されても良く、この変換器は、例えばＮ＝５１２の第１変換長１１１を持つＦＦＴ処理器１１３０として構成されても良い。ＦＦＴ処理器１１３０は、時間部分１１２５を、例えば極形式１１３５−１の構成を持つスペクトル表現１１５へと変換しても良い。特に、このスペクトル表現１１３５−１は、振幅情報１１３５−２と位相情報１１３５−３とを含み、これらの情報は、次に図２ａのスペクトルドメインパッチ生成器１２０に対応するスペクトルドメインパッチ生成器１１４１により処理される。図１１のスペクトルドメイン・パッチ生成器１１４１は、第１パッチングアルゴリズム２０５−１に対応しかつ「位相ボコーダ＋コピー操作」と示す第１パッチングアルゴリズム１１４１−１と、第２パッチングアルゴリズム２０５−２に対応しかつ「位相ボコーダ」と示す第２パッチングアルゴリズム１１４３−１と、第３パッチングアルゴリズム２０５−３に対応しかつ「ＳＢＲのような機能」と示す第３パッチングアルゴリズム１１４５−１と、図２ａに示されたパッチングアルゴリズムのグループ２０３の中の第４パッチングアルゴリズム２０５−４に対応しかつ「例えば非線形歪み操作などの他の機能」と示す第４パッチングアルゴリズム１１４７−１と、を含んでも良い。
【００５４】
図２ａの説明の中で上述したように、第１パッチングアルゴリズム１１４１−１は、単相ボコーダ１１４１−２と非ハーモニックなコピー操作の機能１１４１−３及び１１４１−４とを含む。さらに、第２のパッチングアルゴリズム１１４３−１は多相ボコーダ操作に基づいており、第１位相ボコーダ１１４３−２と第２位相ボコーダ１１４３−３と第３位相ボコーダ１１４３−４とを含む。さらに、第３パッチングアルゴリズム１１４５−１は非ハーモニックなコピー操作のＳＢＲ機能を持ち、第１コピー操作１１４５−２と第２コピー操作１１４５−３と第３コピー操作１１４５−４を実行する。最後に、第４パッチングアルゴリズム１１４７−１は、非線形歪み操作の機能を持つ。
【００５５】
特に、図１１の実施例においては、パッチングアルゴリズムのブロック１１４１−１，１１４３−１，１１４５−１及び１１４７−１のサブ成分は、図２ａにおけるパッチングアルゴリズムのブロック２０５−１，２０５−２，２０５−３及び２０５−４の各成分に対応していても良い。また、シンボルζ（クロスオーバー帯域）は、クロスオーバー周波数（ｆx）に対応していても良い。
【００５６】
さらに、パッチ選択器１１５０は、スペクトルドメイン・パッチ生成器１１４１を制御するためのパッチング制御信号１１９に対応したパッチング制御信号１１５５を供給しても良く、それによって、パッチングアルゴリズムのグループ１１４１−１，１１４３−１，１１４５−１，１１４７−１から少なくとも２つの異なるスペクトルドメイン・パッチアルゴリズムが実行され、修正済スペクトル表現１２５に対応する修正スペクトル表現１１４９が得られる。
【００５７】
任意ではあるが、修正スペクトル表現１１４９を後続の補間器１１６０により処理し、補間された修正済スペクトル表現１１６５を得ても良い。その補間された修正済スペクトル表現１１６５は、次に第２変換器８１０へと供給されても良く、この第２変換器はＮ＝２０４８の第２変換長を持つＩＦＦＴ処理器１１７０として構成されても良い。ここで、図８の説明と同様に、Ｎ＝２０４８の第２変換長はＮ＝５１２の第１変換長の正に４倍に調整されている。上述したように、異なるスペクトルドメイン・パッチングアルゴリズムを用いて実行される帯域幅拡張スキームの帯域幅拡張特性が考慮されても良い。
【００５８】
ＩＦＦＴ処理器１１７０は、補間された修正済スペクトル表現１１６５を、図８の修正済時間ドメイン信号８１５に対応する修正済時間ドメイン信号１１７５へと変換しても良い。修正済時間ドメイン信号１１７５は、次に合成ウインドウ化器１１８０へと供給され、ここで、この修正済時間ドメイン信号１１７５に対してある合成ウインドウ関数が適用され、修正されたウインドウ化済時間ドメイン信号１１８５が取得される。ここで、合成ウインドウ関数は、分析ウインドウ関数を適用したことで生じた影響が合成ウインドウ関数を適用することで補償されるように、分析ウインドウ関数に対して適合される。
【００５９】
帯域幅拡張により、修正されたウインドウ化済時間ドメイン信号１１８５を、オリジナルサンプリングレート（例えば８ｋＨｚ）よりも高い有効サンプリングレート（例えば３２ｋＨｚ）でサンプリングしなければならないので、修正されたウインドウ化済時間ドメイン信号１１８５は、最後に、「オーバーラップと加算」と記述したブロック１１９０においてオーバーラップ−加算されてもよい。つまり、このブロック１１９０により適用され「Ｉｎｃ＝２５６」と記述したように例えば２５６サンプルを持つ第２時間距離と、分析ウインドウ化器１１２０により適用され例えば６４サンプルを持つ第１時間距離との間の比率（例えば比率＝４）が、前記高い有効サンプリングレートとオリジナルサンプリングレートとの間の比率に等しくなっても良い。このように、出力信号１１９５は、オリジナル（ダウンサンプリングされた）信号１１１５と同じオーバーラップ特性を持つように取得されてもよい。装置１１００により供給される出力信号１１９５には、図１ａに示す周波数再構築処理器１３０から始まる更なる処理を施し、帯域幅が拡張された複製信号を最終的に取得しても良い。
【００６０】
図１１に示す実施例では、異なるパッチングアルゴリズムの全てが同じドメイン、例えば周波数ドメインにおいて実行されることに注意すべきである。このドメインは、ＳＢＲの場合のようにＱＭＦドメインであっても良く、又はフーリエ変換された場合のように他のいずれのドメインであっても良い。実際のパッチデータ生成は異なるドメインで実行されても良く、しかしその場合には、全体のパッチングは常に同じドメインで実行される。
【００６１】
さらに、選択の対象となるパッチングに対して様々なソースモデルを関連させることができる。例えば、非特許文献１２に示されたスピーチ帯域幅拡張において使用されるスピーチソースモデルをスピーチ信号のために選択し、他方、静的な音楽のためには静的なソースモデルを適合させても良い。同様に、上述したように、過渡についてはパッチングのために独自のモデルを用いても良い。
【００６２】
さらに、時間−周波数変換のためのオーバーラップする分析及び合成ウインドウを用いることで、異なるパッチング・スキームの間のスムーズな転位が保証される。代替的に、より低いオーバーラップを可能にするために、分析及び合成のための特別なウインドウを使用することもできる。
【００６３】
要約すれば、図１１の実施例においては、パッチング方法は、隣接する周波数部分の単純なコピー操作と、位相ボコーダに基づくハーモニックな転位のスキームと、隣接する周波数部分のコピー操作を含む位相ボコーダに基づくハーモニックな転位のスキームと、の間から選択することができる。
【００６４】
本発明はこれまでブロック図を用いて説明し、各ブロックが現実又は論理的なハードウエア要素を示してきたが、本発明はまたコンピュータに実装された方法によって実行されても良い。この場合には、各ブロックはそれぞれ対応する方法ステップを示し、それらのステップは対応する論理的又は実体的ハードウエアのブロックにより実行される機能を示す。  
【００６５】
上述した実施の形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について、修正及び変更が可能であることは当業者にとって明らかである。従って、本発明は、以下に添付する特許請求の範囲の技術的範囲によってのみ限定されるものであり、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではない。
【００６６】
本発明の方法の所定の実施条件に依るが、本発明の方法は、ハードウエア又はソフトウエアにおいて実行可能である。この方法は、その中に格納される電子的に読出し可能な制御信号を有し、本発明の方法が実行されるようにプログラム可能なコンピュータシステムと協働する、デジタル記憶媒体、特にディスク，ＤＶＤ，又はＣＤなどを使用して実行することができる。本発明は一般的に、機械読出し可能なキャリアに記憶されたプログラムコードを有する、コンピュータプログラム製品として構成することができ、このプログラムコードは、当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法を実行するよう作動するものである。換言すれば、本発明の方法は、当該コンピュータプログラムがコンピュータ上で作動するときに、本発明の方法の少なくとも１つを実行するためのプログラムコードを有する、コンピュータプログラムである。本発明の符号化されたオーディオ信号は、デジタル記憶媒体など、いかなる機械読出し可能な記憶媒体にも記憶されることができる。
【００６７】
本発明の各実施例は、帯域幅拡張において、音声とハードウエアと信号特性とをパッチング処理のために考慮可能にする。最適なパッチングの決定は、開ループ又は閉ループの中で実行できる。従って、復元品質は制御及び強化可能である。
【００６８】
本発明の概念は、異なるパッチングアルゴリズム間でのスムーズな転位が容易に達成できるという利点があり、信号に基づく帯域幅拡張の高速で正確な適用を可能にする。
【００６９】
本発明の特徴を最も顕著に示すアプリケーションは、携帯機器の中に構成され、従って電池からの電力供給で作動する、オーディオ復号器である。
【図１ａ】
0005227459.tif 000002
【図１ｂ】
0005227459.tif 000003
【図２ａ】
0005227459.tif 000004
【図２ｂ】
0005227459.tif 000005
【図３】
0005227459.tif 000006
【図４】
0005227459.tif 000007
【図５】
0005227459.tif 000008
【図６】
0005227459.tif 000009
【図７】
0005227459.tif 000010
【図８】
0005227459.tif 000011
【図９】
0005227459.tif 000012
【図１０】
0005227459.tif 000013
【図１１】
0005227459.tif 000014