(57)【要約】      （修正有）【課題】オーディオ信号の時間包絡線を処理するための方法および装置、ならびにエンコーダを提供する。【解決手段】方法は、受信した現在フレームオーディオ信号の高帯域信号を取得するステップＳ２１と、事前に決定した時間包絡線の数量Mに従って高帯域信号をM個のサブフレームに分割するステップＳ２２と、サブフレームの各々の時間包絡線を計算するステップＳ２３と、非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初および最後のサブフレームに対して行うステップと、対称ウィンドウ関数を使用してウィンドウ処理をＭ個のサブフレームのうちの最初および最後のサブフレーム以外のサブフレームに対して行うステップとを含む。【効果】複数の時間包絡線を求める際に、信号エネルギーの連続性を十分に維持することができ、加えて、時間包絡線を計算する複雑度を低減している。【選択図】図２
2019135551.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号の時間包絡線を処理するための方法であって、
受信した現在フレーム信号に従って前記現在フレーム信号の高帯域信号を取得するステップと、
事前に決定した時間包絡線の数量Mに従って前記現在フレームの前記高帯域信号をM個のサブフレームに分割するステップであって、Mは整数であり、Mは2以上である、ステップと、
前記サブフレームの各々の時間包絡線を計算するステップとを含み、
前記サブフレームの各々の時間包絡線を計算するステップは、
非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの最初のサブフレームおよび前記M個のサブフレームのうちの最後のサブフレームに対して行うステップと、
ウィンドウ処理を前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外のサブフレームに対して行うステップとを含む、方法。
【請求項２】
前記非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの最初のサブフレームおよび前記M個のサブフレームのうちの最後のサブフレームに対して行うステップの前に、前記方法は、
前記現在フレーム信号の前記高帯域信号の先読みバッファ長に従って前記非対称ウィンドウ関数を決定するステップ、または、
前記現在フレーム信号の前記高帯域信号の先読みバッファ長および前記時間包絡線の数量Mに従って前記非対称ウィンドウ関数を決定するステップをさらに含む、請求項1に記載の方法。
【請求項３】
前記ウィンドウ処理を前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外のサブフレームに対して行うステップは、
対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外の前記サブフレームに対して行うステップ、または、
非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外の前記サブフレームに対して行うステップを含む、請求項1または2に記載の方法。
【請求項４】
前記非対称ウィンドウ関数のウィンドウ長は、前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外の前記サブフレームに対して行われるウィンドウ処理において使用されるウィンドウ関数のウィンドウ長と同一である、請求項1に記載の方法。
【請求項５】
前記現在フレームのオーディオ信号の前記高帯域信号の先読みバッファ長に従って前記非対称ウィンドウ関数を決定するステップは、
前記現在フレーム信号の前記高帯域信号の前記先読みバッファ長が第1の閾値未満である場合には、前記現在フレームの前フレーム信号の高帯域信号および前記現在フレーム信号の前記高帯域信号の前記先読みバッファ長に従って前記非対称ウィンドウ関数を決定するステップであって、前記現在フレームの前記前フレーム信号の前記高帯域信号の前記最後のサブフレームに対して使用される非対称ウィンドウ関数と前記現在フレーム信号の前記高帯域信号の前記最初のサブフレームに対して使用される非対称ウィンドウ関数とのエイリアシングされた部分は、前記現在フレーム信号の前記高帯域信号の前記先読みバッファ長に等しく、前記第1の閾値は、Mで除算された前記現在フレームの前記高帯域信号のフレーム長に等しい、ステップを含む、請求項2から4のいずれか一項に記載の方法。
【請求項６】
前記現在フレーム信号の前記高帯域信号の先読みバッファ長に従って前記非対称ウィンドウ関数を決定するステップは、
前記現在フレーム信号の前記高帯域信号の前記先読みバッファ長が第1の閾値より大きい場合には、前記現在フレームの前フレーム信号の高帯域信号および前記現在フレーム信号の前記高帯域信号の前記先読みバッファ長に従って前記非対称ウィンドウ関数を決定するステップであって、前記現在フレームの前記前フレーム信号の前記高帯域信号の前記最後のサブフレームに対して使用される非対称ウィンドウ関数と前記現在フレーム信号の前記高帯域信号の前記最初のサブフレームに対して使用される非対称ウィンドウ関数とのエイリアシングされた部分は、前記第1の閾値に等しく、前記第1の閾値は、Mで除算された前記現在フレームの前記高帯域信号のフレーム長に等しい、ステップを含む、請求項2から4のいずれか一項に記載の方法。
【請求項７】
前記時間包絡線の数量Mは、
前記現在フレーム信号に従って前記現在フレーム信号の低帯域信号を取得し、前記現在フレーム信号の前記低帯域信号のピッチ周期が第2の閾値より大きい場合には、M1をMに割り当てる方式、または、
前記現在フレーム信号に従って前記現在フレーム信号の低帯域信号を取得し、前記現在フレーム信号の前記低帯域信号のピッチ周期が第2の閾値より大きくない場合には、M2をMに割り当てる方式のうちの1つで決定され、
M1およびM2の両方が正の整数であり、M2>M1である、請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記方法は、
前記現在フレーム信号に従って前記現在フレーム信号の低帯域信号のピッチ周期を取得するステップと、
前記現在フレーム信号のタイプが前記現在フレームの前フレーム信号のタイプと同一であるとともに前記現在フレームの前記低帯域信号の前記ピッチ周期が第3の閾値より大きい場合には、平滑化処理を前記サブフレームの各々の前記時間包絡線に対して行うステップとをさらに含む、請求項1から6のいずれか一項に記載の方法。
【請求項９】
オーディオ信号の時間包絡線を処理するための装置であって、
受信した現在フレーム信号に従って前記現在フレーム信号の高帯域信号を取得するように構成される、高帯域信号取得モジュールと、
事前に決定した時間包絡線の数量Mに従って前記現在フレームの前記高帯域信号をM個のサブフレームに分割するように構成される、サブフレーム取得モジュールであって、Mは整数であり、Mは2以上である、サブフレーム取得モジュールと、
前記サブフレームの各々の時間包絡線を計算するように構成される、時間包絡線取得モジュールとを備え、
前記時間包絡線取得モジュールは、
非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの最初のサブフレームおよび前記M個のサブフレームのうちの最後のサブフレームに対して行い、
ウィンドウ処理を前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外のサブフレームに対して行うように特に構成される、装置。
【請求項１０】
前記時間包絡線取得モジュールは、
前記現在フレーム信号の前記高帯域信号の先読みバッファ長に従って前記非対称ウィンドウ関数を決定する、または、
前記現在フレーム信号の前記高帯域信号の先読みバッファ長および前記時間包絡線の数量Mに従って前記非対称ウィンドウ関数を決定するようにさらに構成される、請求項9に記載の装置。
【請求項１１】
前記時間包絡線取得モジュールは、
前記非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの最初のサブフレームおよび前記M個のサブフレームのうちの最後のサブフレームに対して行い、対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外の前記サブフレームに対して行う、または、
前記非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの最初のサブフレームおよび前記M個のサブフレームのうちの最後のサブフレームに対して行い、非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外の前記サブフレームに対して行うように特に構成される、請求項9に記載の装置。
【請求項１２】
前記非対称ウィンドウ関数のウィンドウ長は、前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外の前記サブフレームに対して行われるウィンドウ処理において使用されるウィンドウ関数のウィンドウ長と同一である、請求項9に記載の装置。
【請求項１３】
前記現在フレーム信号に従って前記現在フレーム信号の低帯域信号を取得し、前記現在フレーム信号の前記低帯域信号のピッチ周期が第2の閾値より大きい場合には、M1をMに割り当てる方式、または、
前記現在フレーム信号に従って前記現在フレーム信号の低帯域信号を取得し、前記現在フレーム信号の前記低帯域信号のピッチ周期が第2の閾値より大きくない場合には、M2をMに割り当てる方式のうちの1つで前記時間包絡線の数量Mを決定するように構成される、決定モジュールをさらに備え、
M1およびM2の両方が正の整数であり、M2>M1である、請求項9から12のいずれか一項に記載の装置。
【請求項１４】
前記時間包絡線取得モジュールは、
前記現在フレーム信号に従って前記現在フレーム信号の前記低帯域信号の前記ピッチ周期を取得し、
前記現在フレーム信号のタイプが前記現在フレームの前フレーム信号のタイプと同一であるとともに前記現在フレームの前記低帯域信号の前記ピッチ周期が第3の閾値より大きい場合には、平滑化処理を前記サブフレームの各々の前記時間包絡線に対して行うようにさらに構成される、請求項9から13のいずれか一項に記載の装置。
【請求項１５】
エンコーダであって、前記エンコーダは、
受信した現在フレーム信号に従って前記現在フレーム信号の低帯域信号および前記現在フレーム信号の高帯域信号を取得し、
前記現在フレーム信号の前記低帯域信号を符号化して、低帯域符号化励起信号を取得し、
線形予測を前記現在フレーム信号の前記高帯域信号に対して行って、線形予測係数を取得し、
前記線形予測係数を量子化して、量子化線形予測係数を取得し、
前記低帯域符号化励起信号および前記量子化線形予測係数に従って予測高帯域信号を取得し、
前記予測高帯域信号の時間包絡線を計算および量子化することであって、
前記予測高帯域信号の時間包絡線を計算することは、
事前に決定した時間包絡線の数量Mに従って前記予測高帯域信号をM個のサブフレームに分割することであって、Mは整数であり、Mは2以上である、分割することと、
非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの最初のサブフレームおよび前記M個のサブフレームのうちの最後のサブフレームに対して行うことと、
ウィンドウ処理を前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外のサブフレームに対して行うこととを含む、計算および量子化することをし、
前記量子化した時間包絡線を符号化するように特に構成される、エンコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、通信技術の分野に関し、詳細には、オーディオ信号の時間包絡線を処理するための方法および装置、ならびにエンコーダに関する。
【背景技術】
【０００２】
音声およびオーディオ圧縮技術の急速な発展に伴って、様々な音声およびオーディオ符号化アルゴリズムが続々と出現している。音声およびオーディオ符号化アルゴリズムの処理において、時間包絡線を計算する必要がある。時間包絡線を計算および量子化する既存のプロセスは、次の通りである。計算のための時間包絡線のプリセットされた数量Mに従って前処理された元の高帯域信号および予測高帯域信号を別々にM個のサブフレームに分割することであって、Mは正の整数である、分割することをし、ウィンドウ処理をサブフレームに対して行い、その後、前処理された元の高帯域信号のエネルギーまたは振幅の各サブフレーム内の予測高帯域信号のそれに対する比を計算する。計算のための時間包絡線のプリセットされた数量Mを先読みバッファ(lookahead buffer)長に従って決定する。先読みバッファは、現在フレームにおいて、いくつかのパラメータを計算する必要性のために、入力信号の最後からいくつかのサンプルは、バッファリングされ使用されないが、パラメータが次フレームにおいて計算される際に使用される、ここで、前フレームにおいてバッファリングされたサンプルは、現在フレームのために使用されることを意味している。これらのバッファリングされたサンプルは先読みバッファであり、バッファリングされたサンプルの数量は先読みバッファ長である。
【０００３】
時間包絡線を処理する前述のプロセスにおいて存在する問題は、時間包絡線を求める際に、対称ウィンドウ関数が使用され、加えて、サブフレーム間およびフレーム間エイリアシングを保証するために、複数の時間包絡線が先読みバッファ(lookahead)長に従って計算されることである。しかしながら、時間包絡線の計算において、信号の時間領域分解能が過度に高い場合には、不連続なフレーム内エネルギーが生じることになり、それによって、極めて低質な聴覚経験を引き起こすことになる。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明の実施形態は、時間包絡線を計算する際に生じる不連続なフレーム内エネルギーの問題を解決するために、オーディオ信号の時間包絡線を処理するための方法および装置、ならびにエンコーダを提供している。
【０００５】
第1の態様に従って、本発明の実施形態は、オーディオ信号の時間包絡線を処理するための方法を提供しており、方法は、
受信した現在フレーム信号に従って現在フレーム信号の高帯域信号を取得するステップと、
事前に決定した時間包絡線の数量Mに従って現在フレームの高帯域信号をM個のサブフレームに分割するステップであって、Mは整数であり、Mは2以上である、ステップと、
サブフレームの各々の時間包絡線を計算するステップとを含み、
サブフレームの各々の時間包絡線を計算するステップは、
非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行うステップと、
ウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うステップとを含む。
【０００６】
本発明の本実施形態において提供したオーディオ信号の時間包絡線を処理するための方法によれば、時間包絡線間の過度に大きな差異により生じるエネルギー不連続性の影響を低減するために、時間包絡線を、異なる条件下では異なるウィンドウ長および/またはウィンドウ形状を使用することによって求めている、それによって、出力信号のパフォーマンスを改善している。
【０００７】
第1の態様の第1の可能な実施様態においては、非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行うステップの前に、方法は、
現在フレーム信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定するステップ、または、
現在フレーム信号の高帯域信号の先読みバッファ長および時間包絡線の数量Mに従って非対称ウィンドウ関数を決定するステップをさらに含む。
【０００８】
第1の態様または第1の態様の第1の可能な実施様態に準拠しており、第1の態様の第2の可能な実施様態においては、ウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うステップは、
対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うステップ、または、
非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うステップを含む。
【０００９】
第1の態様に準拠しており、第1の態様の第3の可能な実施様態においては、非対称ウィンドウ関数のウィンドウ長は、M個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行われるウィンドウ処理において使用されるウィンドウ関数のウィンドウ長と同一である。
【００１０】
第1の態様の第1の可能な実施様態から第1の態様の第3の可能な実施様態のいずれか1つによる方法に準拠しており、第1の態様の第4の可能な実施様態においては、現在フレームのオーディオ信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定するステップは、
現在フレーム信号の高帯域信号の先読みバッファ長が第1の閾値未満である場合には、現在フレームの前フレーム信号の高帯域信号および現在フレーム信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定するステップであって、現在フレームの前フレーム信号の高帯域信号の最後のサブフレームに対して使用される非対称ウィンドウ関数と現在フレーム信号の高帯域信号の最初のサブフレームに対して使用される非対称ウィンドウ関数とのエイリアシングされた部分は、現在フレーム信号の高帯域信号の先読みバッファ長に等しく、第1の閾値は、Mで除算された現在フレームの高帯域信号のフレーム長に等しい、ステップを含む。
【００１１】
第1の態様の第1の可能な実施様態から第1の態様の第3の可能な実施様態のいずれか1つによる方法に準拠しており、第1の態様の第5の可能な実施様態においては、現在フレーム信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定するステップは、
現在フレーム信号の高帯域信号の先読みバッファ長が第1の閾値より大きい場合には、現在フレームの前フレーム信号の高帯域信号および現在フレーム信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定するステップであって、現在フレームの前フレーム信号の高帯域信号の最後のサブフレームに対して使用される非対称ウィンドウ関数と現在フレーム信号の高帯域信号の最初のサブフレームに対して使用される非対称ウィンドウ関数とのエイリアシングされた部分は、第1の閾値に等しく、第1の閾値は、Mで除算された現在フレームの高帯域信号のフレーム長に等しい、ステップを含む。
【００１２】
第1の態様から第1の態様の第5の可能な実施様態のいずれか1つによる方法に準拠しており、第1の態様の第6の可能な実施様態においては、時間包絡線の数量Mは、
現在フレーム信号に従って現在フレーム信号の低帯域信号を取得し、現在フレーム信号の低帯域信号のピッチ周期が第2の閾値より大きい場合には、M1をMに割り当てる方式、または、
現在フレーム信号に従って現在フレーム信号の低帯域信号を取得し、現在フレーム信号の低帯域信号のピッチ周期が第2の閾値より大きくない場合には、M2をMに割り当てる方式のうちの1つで決定され、
M1およびM2の両方が正の整数であり、M2>M1である。
【００１３】
第1の態様から第1の態様の第5の可能な実施様態のいずれか1つによる方法に準拠しており、第1の態様の第7の可能な実施様態においては、方法は、
現在フレーム信号に従って現在フレーム信号の低帯域信号のピッチ周期を取得するステップと、
現在フレーム信号のタイプが現在フレームの前フレーム信号のタイプと同一であるとともに現在フレームの低帯域信号のピッチ周期が第3の閾値より大きい場合には、平滑化処理をサブフレームの各々の時間包絡線に対して行うステップとをさらに含む。
【００１４】
第2の態様に従って、本発明の実施形態は、オーディオ信号の時間包絡線を処理するための装置を提供しており、装置は、
受信した現在フレーム信号に従って現在フレーム信号の高帯域信号を取得するように構成される、高帯域信号取得モジュールと、
事前に決定した時間包絡線の数量Mに従って現在フレームの高帯域信号をM個のサブフレームに分割するように構成される、サブフレーム取得モジュールであって、Mは整数であり、Mは2以上である、サブフレーム取得モジュールと、
サブフレームの各々の時間包絡線を計算するように構成される、時間包絡線取得モジュールとを備え、
時間包絡線取得モジュールは、
非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行い、
ウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うように特に構成される。
【００１５】
本発明の本実施形態において提供したオーディオ信号の時間包絡線を処理するための装置によれば、時間包絡線間の過度に大きな差異により生じるエネルギー不連続性の影響を低減するために、時間包絡線を、異なる条件下では異なるウィンドウ長および/またはウィンドウ形状を使用することによって求めている、それによって、出力信号のパフォーマンスを改善している。
【００１６】
第2の態様の第1の可能な実施様態においては、時間包絡線取得モジュールは、
現在フレーム信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定する、または、
現在フレーム信号の高帯域信号の先読みバッファ長および時間包絡線の数量Mに従って非対称ウィンドウ関数を決定するようにさらに構成される。
【００１７】
第2の態様の実施様態に準拠しており、第2の態様の第2の可能な実施様態においては、時間包絡線取得モジュールは、
非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行い、対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行う、または、
非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行い、非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うように特に構成される。
【００１８】
第2の態様の実施様態に準拠しており、第2の態様の第3の可能な実施様態においては、非対称ウィンドウ関数のウィンドウ長は、M個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行われるウィンドウ処理において使用されるウィンドウ関数のウィンドウ長と同一である。
【００１９】
第2の態様から第2の態様の第3の可能な実施様態のいずれか1つによる装置に準拠しており、第2の態様の第4の可能な実施様態においては、装置は、
現在フレーム信号に従って現在フレーム信号の低帯域信号を取得し、現在フレーム信号の低帯域信号のピッチ周期が第2の閾値より大きい場合には、M1をMに割り当てる方式、または、
現在フレーム信号に従って現在フレーム信号の低帯域信号を取得し、現在フレーム信号の低帯域信号のピッチ周期が第2の閾値より大きくない場合には、M2をMに割り当てる方式のうちの1つで時間包絡線の数量Mを決定するように構成される、決定モジュールをさらに備え、
M1およびM2の両方が正の整数であり、M2>M1である。
【００２０】
本発明の第3の態様の実施形態は、エンコーダを開示しており、エンコーダは、
受信した現在フレーム信号に従って現在フレーム信号の低帯域信号および現在フレーム信号の高帯域信号を取得し、
現在フレーム信号の低帯域信号を符号化して、低帯域符号化励起信号を取得し、
線形予測を現在フレーム信号の高帯域信号に対して行って、線形予測係数を取得し、
線形予測係数を量子化して、量子化線形予測係数を取得し、
低帯域符号化励起信号および量子化線形予測係数に従って予測高帯域信号を取得し、
予測高帯域信号の時間包絡線を計算および量子化することであって、
予測高帯域信号の時間包絡線を計算することは、
事前に決定した時間包絡線の数量Mに従って予測高帯域信号をM個のサブフレームに分割することであって、Mは整数であり、Mは2以上である、分割することと、
非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行うことと、
ウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うこととを含む、計算および量子化することをし、
量子化した時間包絡線を符号化するように特に構成される。
【００２１】
本発明の本実施形態において提供したエンコーダによれば、時間包絡線間の過度に大きな差異により生じるエネルギー不連続性の影響を低減するために、時間包絡線を、異なる条件下では異なるウィンドウ長および/またはウィンドウ形状を使用することによって求めている、それによって、出力信号のパフォーマンスを改善している。
【００２２】
本発明の実施形態における技術的解決手法をより明確に説明するために、実施形態を説明するために必要となる添付の図面を以下に簡単に紹介する。以下の説明における添付の図面が本発明の実施形態の一部を示しており、当業者が創造的努力なしにこれらの添付の図面から他の図面をさらに導出し得ることは明らかであろう。
【図面の簡単な説明】
【００２３】
【図１】オーディオ信号を符号化するプロセスの概略図である。
【図２】本発明による、オーディオ信号の時間包絡線を処理するための方法の実施形態1のフローチャートである。
【図３】本発明の実施形態による、オーディオ信号に対する処理を示す概略図である。
【図４】本発明の別の実施形態による、オーディオ信号に対する処理を示す概略図である。
【図５】本発明の別の実施形態による、オーディオ信号に対する処理を示す概略図である。
【図６】本発明による、オーディオ信号の時間包絡線を処理するための方法の実施形態2のフローチャートである。
【図７】本発明の実施形態による、時間包絡線を処理するための装置の概略構造図である。
【図８】本発明の実施形態による、エンコーダの概略構造図である。
【発明を実施するための形態】
【００２４】
本発明の実施形態の目的、技術的解決手法、および利点をより明確にするために、本発明の実施形態における添付の図面を参照して、本発明の実施形態における技術的解決手法を以下に明確かつ完全に説明する。説明した実施形態が本発明の実施形態のすべてではなく一部であることは明らかであろう。創造的努力なく本発明の実施形態に基づいて当業者によって得られる他の実施形態のすべては、本発明の保護範囲に含まれるものとする。
【００２５】
図1は、音声またはオーディオ信号を符号化するプロセスの概略図である。図1に示したように、エンコーディングサイドで、元のオーディオ信号を取得した後に、信号分解を、元のオーディオ信号に対してまず行って、元のオーディオ信号の低帯域信号および高帯域信号を取得する。続いて、低帯域信号を、既存のアルゴリズムを使用して符号化し、低帯域ストリームを取得する。既存のアルゴリズムは、代数符号励振線形予測(Algebraic Code Excited Linear Prediction、略して、ACELP)、または符号励振線形予測(Code Excited Linear Prediction、略して、CELP)などのアルゴリズムである。加えて、低帯域符号化を処理するプロセスにおいては、低帯域励起信号が取得され、低帯域励起信号が前処理される。元のオーディオ信号の高帯域信号については、前処理がまず行われ、その後、線形予測(Linear prediction、略して、LP)分析を行ってLP係数を取得し、LP係数が量子化される。続いて、前処理された低帯域励起信号を、LP合成フィルタ(フィルタ係数は量子化LP係数である)を使用して処理し、予測高帯域信号を取得する。高帯域信号の時間包絡線が前処理された高帯域信号および予測高帯域信号に従って計算および量子化され、最終的に、符号化ストリーム(MUX)が出力される。高帯域信号の時間包絡線を計算および量子化するプロセスは、次の通りである。プリセットされた時間包絡線の数量Nに従って前処理された高帯域信号および予測高帯域信号を別々にN個のサブフレームに分割し、サブフレームの各々のウィンドウ処理を行い、その後、前処理された元の高帯域信号のサブフレームの時間領域エネルギーの平均値または前処理された元の高帯域信号のサブフレーム内のサンプル振幅の平均値および予測高帯域信号の対応するサブフレームの時間領域エネルギーの平均値または予測高帯域信号の対応するサブフレーム内のサンプル振幅の平均値を計算する。プリセットされた時間包絡線の数量Nを先読みバッファ(lookahead)長に従って決定する、ここで、Nは、正の整数である。
【００２６】
本発明の本実施形態は、図1に示した時間包絡線を計算および量子化するステップに主に使用されるとともに、同一の原理を使用して時間包絡線を求める別の処理プロセスにさらに使用され得る、オーディオ信号の時間包絡線を処理するための方法を提供している。添付の図面を参照して詳細に本発明の本実施形態において提供したオーディオ信号の時間包絡線を処理するための方法を以下に説明する。
図2は、本発明による、オーディオ信号の時間包絡線を処理するための方法の実施形態1のフローチャートである。図2に示したように、本実施形態の方法は、以下のステップを含む。
【００２７】
S21. 受信した現在フレーム信号に従って現在フレーム信号の高帯域信号を取得する。
【００２８】
現在フレーム信号は、音声信号であってもよく、音楽信号であってもよく、または、ノイズ信号であってもよく、本明細書に特に限定されない。
【００２９】
S22. 事前に決定した時間包絡線の数量Mに従って現在フレームの高帯域信号をM個のサブフレームに分割する、ここで、Mは整数であり、Mは2以上である。
【００３０】
特に、事前に決定した時間包絡線の数量Mを、アルゴリズム全般の要件および経験的な値に従って決定してもよい。時間包絡線の数量Mは、例えば、アルゴリズム全般または経験的な値に従ってエンコーダによって事前に決定されており、決定された後は変更されない。例えば、一般的に、20msのフレームを有する入力信号については、入力信号が比較的安定している場合には、4または2つの時間包絡線を求めるが、幾分不安定な信号については、より多くの時間包絡線、例えば、8つの時間包絡線が求めるのに必要となる。
【００３１】
S23. サブフレームの各々の時間包絡線を計算する。
【００３２】
サブフレームの各々の時間包絡線を計算するステップは、
非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行うステップと、
ウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うステップを含む。
【００３３】
さらに、非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行うステップの前に、本実施形態における方法は、
現在フレーム信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定するステップ、または、
現在フレーム信号の高帯域信号の先読みバッファ長および時間包絡線の数量Mに従って非対称ウィンドウ関数を決定するステップをさらに含み得る。
【００３４】
ウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うステップは、
対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うステップ、または、
非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うステップを特に含み得る。
【００３５】
ある可能な実施様態においては、最初のサブフレームおよび最後のサブフレームに対して行われるウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長は、M個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行われるウィンドウ処理において使用されるウィンドウ関数のウィンドウ長と同一である。
【００３６】
前述の実施形態においては、実施可能な様態で、現在フレームのオーディオ信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定するステップは、
現在フレーム信号の高帯域信号の先読みバッファ長が第1の閾値未満である場合には、現在フレームの前フレーム信号の高帯域信号および現在フレーム信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定するステップであって、現在フレームの前フレーム信号の高帯域信号の最後のサブフレームに対して使用される非対称ウィンドウ関数と現在フレーム信号の高帯域信号の最初のサブフレームに対して使用される非対称ウィンドウ関数とのエイリアシングされた部分は、現在フレーム信号の高帯域信号の先読みバッファ長に等しく、第1の閾値は、Mで除算された現在フレームの高帯域信号のフレーム長に等しい、ステップを含む。
【００３７】
ある可能な実施様態においては、現在フレーム信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定するステップは、
現在フレーム信号の高帯域信号の先読みバッファ長が第1の閾値より大きい場合には、現在フレームの前フレーム信号の高帯域信号および現在フレーム信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定するステップであって、現在フレームの前フレーム信号の高帯域信号の最後のサブフレームに対して使用される非対称ウィンドウ関数と現在フレーム信号の高帯域信号の最初のサブフレームに対して使用される非対称ウィンドウ関数とのエイリアシングされた部分は、第1の閾値に等しく、第1の閾値は、Mで除算された現在フレームの高帯域信号のフレーム長に等しい、ステップを含む。
【００３８】
本発明の実施形態においては、時間包絡線の数量Mは、
現在フレーム信号に従って現在フレーム信号の低帯域信号を取得し、現在フレーム信号の低帯域信号のピッチ周期が第2の閾値より大きい場合には、M1をMに割り当てる方式、または、
現在フレーム信号に従って現在フレーム信号の低帯域信号を取得し、現在フレーム信号の低帯域信号のピッチ周期が第2の閾値より大きくない場合には、M2をMに割り当てる方式のうちの1つで決定され、
M1およびM2の両方が正の整数であり、M2>M1であり、ある可能な様態においては、M1=4でありM2=8である。
【００３９】
前述の実施形態においては、さらに、本実施形態の方法は、
現在フレーム信号に従って現在フレームの低帯域信号のピッチ周期を取得するステップと、
現在フレーム信号のタイプが現在フレームの前フレーム信号のタイプと同一であるとともに現在フレームの低帯域信号のピッチ周期が第3の閾値より大きい場合には、平滑化処理をサブフレームの各々の時間包絡線に対して行うステップとをさらに含み得る。
【００４０】
平滑化処理を時間包絡線に対して行うことは、特に、2つの隣接サブフレームの時間包絡線に重み付けし、重み付けした時間包絡線を2つのサブフレームの時間包絡線として使用することであってもよい。例えば、デコーディングサイドにおける2つの連続フレームの信号が有声信号であり、または、一方のフレームが有声信号であるとともに他方のフレームが通常信号であり、低帯域信号のピッチ周期が所与の閾値より大きい(70サンプルより大きい、そのような場合、低帯域信号のサンプリングレートは12.8kHzである)場合には、平滑化処理をデコードした高帯域信号の時間包絡線に対して行う、さもなければ、時間包絡線は変化しないままである。平滑化処理は、以下の通りであり得る。
env[0]=0.5*(env[0]+env[1])
env[1]=0.5*(env[0]+env[1])
…
env[N-1]=0.5*(env[N-1]+env[N])
env[N]=0.5*(env[N-1]+env[N])
ここで、env[]は時間包絡線である。
【００４１】
前述のステップのシーケンス番号は、本発明の本実施形態を理解することを支援するために使用した例にすぎず、本発明の本実施形態における具体的な制約ではないことは理解できよう。実際の処理プロセスにおいて、前述のシーケンスの制約は、厳密には従う必要はない。例えば、ウィンドウ処理は、最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行われる第1のであり得るし、その後、ウィンドウ処理を最初のサブフレームおよび最後のサブフレームに対して行う。
図3は、本発明の実施形態による、オーディオ信号に対する処理を示す概略図である。
【００４２】
図3に示したように、エンコーディングサイドで、元のオーディオ信号を取得した後に、信号分解を、元のオーディオ信号に対してまず行って、元のオーディオ信号の低帯域信号および高帯域信号を取得する。続いて、低帯域信号を、既存のアルゴリズムを使用して符号化し、低帯域ストリームを取得する。加えて、低帯域符号化を処理するプロセスにおいては、低帯域励起信号が取得され、低帯域励起信号が前処理される。元のオーディオ信号の高帯域信号については、前処理がまず行われ、その後、LP解析を行ってLP係数を取得し、LP係数が量子化される。続いて、前処理された低帯域励起信号を、LP合成フィルタ(フィルタ係数は量子化LP係数である)を使用して処理し、予測高帯域信号を取得する。高帯域信号の時間包絡線が前処理された高帯域信号および予測高帯域信号に従って計算および量子化され、最終的に、符号化ストリームが出力される。
【００４３】
高帯域信号の時間包絡線を計算および量子化するステップを除く、オーディオ信号の他のステップの処理については、従来技術において使用される方法を参照されたい、そのため、詳細を本明細書では説明しない。
【００４４】
一例として図3に示した第(N+1)のフレームに対する処理を使用して、本発明の本実施形態における時間包絡線を計算および量子化するステップを以下に詳細に説明する。
【００４５】
図3に示したように、第(N+1)のフレームは、計算するのに必要となる時間包絡線の数量に従ってM個のサブフレームに分割される、ここで、Mは正の整数である。ある可能な実施様態においては、Mの値は、3、4、5、8などであってもよく、本明細書に限定されない。
【００４６】
ウィンドウ処理を、非対称ウィンドウ関数を使用してM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行う。第(N+1)のフレームのM個のサブフレームのうちの最初のサブフレームは、前フレームの信号(第Nのフレーム)との重複部分を有するサブフレームであり、最後のサブフレームは、次フレーム(第(N+2)のフレーム(図示せず))の信号との重複部分を有するサブフレームである。ある可能な様態においては、図3に示したように、最初のサブフレームは第(N+1)のフレーム内の左端のサブフレームであり、最後のサブフレームは第(N+1)のフレーム内の右端のサブフレームである。左端および右端は、図3を参照した場合の特定の例にすぎず、本発明の本実施形態に対する制約ではないことは理解できよう。実行する上で、サブフレーム分割において左端および右端などの方向の制約は存在していない。
【００４７】
ウィンドウ処理を最初のサブフレームおよび最後のサブフレームに対して行うために使用される非対称ウィンドウは、完全に同一であってもまたは異なっていてもよく、本明細書に限定されない。ある可能な実施様態においては、最初のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長は、最後のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長と同一である。
【００４８】
本発明の実施形態においては、図3に示したように、ウィンドウ処理を、対称ウィンドウ関数を使用して第(N+1)のフレームのM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行う。
【００４９】
本発明の実施形態においては、最初のサブフレームおよび最後のサブフレームに対して行われるウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長は、別のサブフレームに対して使用される対称ウィンドウ関数のウィンドウ長に等しい。別の可能な方式においては、非対称ウィンドウ関数のウィンドウ長は、対称ウィンドウ関数のウィンドウ長に等しくなくてもよいことは理解できよう。
【００５０】
本発明の実施形態においては、第(N+1)のフレームのフレーム長が80サンプルであるとともにサンプリングレートが4kHzである場合には、8つの時間包絡線が求められ得る。
【００５１】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルであるとともにサンプリングレートが4kHzである場合には、4つの時間包絡線が求められ得る。
【００５２】
本発明の実施形態においては、プリセットすることに加えて、時間包絡線の数量Nを、第(N+1)のフレームの他の情報に従って事前に決定してもよい。以下は時間包絡線の数量Nを決定する実施様態の例である。
【００５３】
ある可能な実施様態においては、第(N+1)のフレームの低帯域信号のピッチ周期が第2の閾値より大きい場合には、4がNに割り当てられる、または、第(N+1)のフレームの低帯域信号のピッチ周期が第2の閾値より大きくない場合には、8がNに割り当てられる。サンプリングレートが12.8kHzである低帯域信号については、第2の閾値が70サンプルであってもよい。前述の値は、本発明の本実施形態を理解することを支援するために使用した特定の例にすぎず、本発明の本実施形態に対する具体的な制約ではないことは理解できよう。図3に示したように、信号分解が第(N+1)のフレームの信号に対して行われる場合には、第(N+1)のフレームの低帯域信号が取得され得る。信号分解において使用される方法および低帯域信号のピッチ周期を求める方式は、従来技術における任意の方式であってよく、本明細書に特に限定されない。
【００５４】
低帯域信号のピッチ周期を使用することに加えて、信号エネルギーなどの別のパラメータを使用してもよいことは理解できよう。
【００５５】
本発明の実施形態においては、非対称ウィンドウ関数がウィンドウ処理を最初のサブフレームおよび最後のサブフレームに対して行うために使用される場合には、非対称ウィンドウ関数を先読みバッファ長に従って決定する。
【００５６】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルである場合には、サンプリングレートは4kHzであり、8つの時間包絡線を求め、ウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長およびウィンドウ処理において使用される対称ウィンドウ関数のウィンドウ長の両方が20サンプルであり得る。第1の閾値は、フレーム長をエンベロープの数量で除算することによって得られる。この例においては、第1の閾値は10に等しい。先読みバッファ長が10サンプル未満である場合には、第8のサブフレーム(すなわち、最後のサブフレーム)に対して使用されるウィンドウ関数と第1のサブフレーム(すなわち、最初のサブフレーム)に対して使用されるウィンドウ関数とのエイリアシングされた部分は、先読みバッファ長に等しい。先読みバッファ長が10サンプル以上である場合には、第8のサブフレームに対して使用されるウィンドウ関数の右側の長さおよび第1のサブフレームに対して使用されるウィンドウ関数の左側の長さは、他方の側(例えば、第1のサブフレームに対して使用されるウィンドウ関数の右側または第8のサブフレームに対して使用されるウィンドウ関数の左側)のウィンドウ長(10サンプル)に等しくなり得る、または、長さは、経験に従って設定され得る(例えば、先読みバッファが10サンプル未満である場合に使用されるものと同一の長さを維持する)。
【００５７】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルである場合には、サンプリングレートは4kHzであり、4つの時間包絡線を求め、ウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長およびウィンドウ処理において使用される対称ウィンドウ関数のウィンドウ長の両方が40サンプルであり得る。第1の閾値は、フレーム長をエンベロープの数量で除算することによって得られる。この例においては、第1の閾値は20に等しい。
【００５８】
ウィンドウ処理後に、前処理された元の高帯域信号のサブフレームの時間領域エネルギーの平均値または前処理された元の高帯域信号のサブフレーム内のサンプル振幅の平均値および予測高帯域信号のサブフレームの時間領域エネルギーの平均値または予測高帯域信号のサブフレーム内のサンプル振幅の平均値が計算される。具体的な計算方式については、従来技術において提供される方式を参照されたい。本発明の本実施形態において提供した信号を処理するための方法におけるウィンドウ処理において使用されるウィンドウ形状および必要とされるウィンドウ数量を決定する方式は、従来技術におけるものとは異なる。別の計算方式については、従来技術において提供される方式を参照されたい。
【００５９】
本発明の本実施形態において提供したオーディオ信号の時間包絡線を処理するための方法によれば、時間包絡線間の過度に大きな差異により生じるエネルギー不連続性の影響を低減するために、時間包絡線を、異なる条件下では異なるウィンドウ長および/またはウィンドウ形状を使用することによって求めている、それによって、出力信号のパフォーマンスを改善している。
【００６０】
一例として図4に示した第(N+1)のフレームに対する処理を使用して、本発明の別の実施形態における時間包絡線を計算および量子化するステップを以下に詳細に説明する。
図4は、本発明の別の実施形態による、オーディオ信号に対する処理を示す概略図である。図3に示したものと類似している、図4に示したように、第(N+1)のフレームは、計算するのに必要となる時間包絡線の数量に従ってM個のサブフレームに分割される、ここで、Mは正の整数である。ある可能な実施様態においては、Mの値は、3、4、5、8などであってもよく、本明細書に限定されない。
【００６１】
ウィンドウ処理を、非対称ウィンドウ関数を使用してM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行う。図4に示したように、最初のサブフレームに対して行われるウィンドウ処理において使用される非対称ウィンドウ関数は、最後のサブフレームに対して行われるウィンドウ処理において使用される非対称ウィンドウ関数とは異なる。ある可能な実施様態においては、最初のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長は、最後のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長と同一である、または、最初のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長は、最後のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長とは異なり得る。
【００６２】
本発明の実施形態においては、図4に示したように、ウィンドウ処理を同一の形状の非対称ウィンドウを使用して第(N+1)のフレームのM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行う。
【００６３】
本発明の実施形態においては、第(N+1)のフレームのフレーム長が80サンプルであるとともにサンプリングレートが4kHzである場合には、8つの時間包絡線が求められ得る。
【００６４】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルであるとともにサンプリングレートが4kHzである場合には、4つの時間包絡線が求められ得る。
【００６５】
本発明の実施形態においては、プリセットすることに加えて、時間包絡線の数量Nを、第(N+1)のフレームの他の情報に従って事前に決定してもよい。以下は時間包絡線の数量Nを決定する実施様態の例である。
【００６６】
ある可能な実施様態においては、第(N+1)のフレームの低帯域信号のピッチ周期が第2の閾値より大きい場合には、4がNに割り当てられる、または、第(N+1)のフレームの低帯域信号のピッチ周期が第2の閾値より大きくない場合には、8がNに割り当てられる。サンプリングレートが12.8kHzである低帯域信号については、第2の閾値が70サンプルであってもよい。前述の値は、本発明の本実施形態を理解することを支援するために使用した特定の例にすぎず、本発明の本実施形態に対する具体的な制約ではないことは理解できよう。図4に示したように、信号分解が第(N+1)のフレームの信号に対して行われる場合には、第(N+1)のフレームの低帯域信号が取得され得る。信号分解において使用される方法および低帯域信号のピッチ周期を求める方式は、従来技術における任意の方式であってよく、本明細書に特に限定されない。
【００６７】
低帯域信号のピッチ周期を使用することに加えて、信号エネルギーなどの別のパラメータを使用してもよいことは理解できよう。
【００６８】
本発明の実施形態においては、非対称ウィンドウ関数がウィンドウ処理を最初のサブフレームおよび最後のサブフレームに対して行うために使用される場合には、非対称ウィンドウ関数を先読みバッファ長に従って決定する。
【００６９】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルである場合には、サンプリングレートは4kHzであり、8つの時間包絡線を求め、ウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長およびウィンドウ処理において使用される対称ウィンドウ関数のウィンドウ長の両方が20サンプルであり得る。第1の閾値は、フレーム長をエンベロープの数量で除算することによって得られる。この例においては、第1の閾値は10に等しい。先読みバッファ長が10サンプル未満である場合には、第8のサブフレーム(すなわち、最後のサブフレーム)に対して使用されるウィンドウ関数と第1のサブフレーム(すなわち、最初のサブフレーム)に対して使用されるウィンドウ関数とのエイリアシングされた部分は、先読みバッファ長に等しい。先読みバッファ長が10サンプル以上である場合には、第8のサブフレームに対して使用されるウィンドウ関数の右側の長さおよび第1のサブフレームに対して使用されるウィンドウ関数の左側の長さは、他方の側(例えば、第1のサブフレームに対して使用されるウィンドウ関数の右側または第8のサブフレームに対して使用されるウィンドウ関数の左側)のウィンドウ長(10サンプル)に等しくなり得る、または、長さは、経験に従って設定され得る(例えば、先読みバッファが10サンプル未満である場合に使用されるものと同一の長さを維持する)。
【００７０】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルである場合には、サンプリングレートは4kHzであり、4つの時間包絡線を求め、ウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長およびウィンドウ処理において使用される対称ウィンドウ関数のウィンドウ長の両方が40サンプルであり得る。第1の閾値は、フレーム長をエンベロープの数量で除算することによって得られる。この例においては、第1の閾値は20に等しい。
【００７１】
ウィンドウ処理後に、前処理された元の高帯域信号のサブフレームの時間領域エネルギーの平均値または前処理された元の高帯域信号のサブフレーム内のサンプル振幅の平均値および予測高帯域信号のサブフレームの時間領域エネルギーの平均値または予測高帯域信号のサブフレーム内のサンプル振幅の平均値が計算される。具体的な計算方式については、従来技術において提供される方式を参照されたい。本発明の本実施形態において提供した信号を処理するための方法におけるウィンドウ処理において使用されるウィンドウ形状および必要とされるウィンドウ数量を決定する方式は、従来技術におけるものとは異なる。別の計算方式については、従来技術において提供される方式を参照されたい。
【００７２】
一例として図5に示した第(N+1)のフレームに対する処理を使用して、本発明の別の実施形態における時間包絡線を計算および量子化するステップを以下に詳細に説明する。
図5は、本発明の別の実施形態による、オーディオ信号に対する処理を示す概略図である。図5に示したように、エンコーディングサイドで、元のオーディオ信号を取得した後に、信号分解を、元のオーディオ信号に対してまず行って、元のオーディオ信号の低帯域信号および高帯域信号を取得する。続いて、低帯域信号を、既存のアルゴリズムを使用して符号化し、低帯域ストリームを取得する。加えて、低帯域符号化を処理するプロセスにおいては、低帯域励起信号が取得され、低帯域励起信号が前処理される。元のオーディオ信号の高帯域信号については、前処理がまず行われ、その後、LP解析を行ってLP係数を取得し、LP係数が量子化される。続いて、前処理された低帯域励起信号を、LP合成フィルタ(フィルタ係数は量子化LP係数である)を使用して処理し、予測高帯域信号を取得する。高帯域信号の時間包絡線が前処理された高帯域信号および予測高帯域信号に従って計算および量子化され、最終的に、符号化ストリームが出力される。
【００７３】
高帯域信号の時間包絡線を計算および量子化するステップを除く、オーディオ信号の他のステップの処理については、従来技術において使用される方法を参照されたい、そのため、詳細を本明細書では説明しない。
【００７４】
一例として図5に示した第(N+1)のフレームに対する処理を使用して、本発明の本実施形態における時間包絡線を計算および量子化するステップを以下に詳細に説明する。
【００７５】
図5に示したように、第(N+1)のフレームは、計算するのに必要となる時間包絡線の数量に従ってM個のサブフレームに分割される、ここで、Mは正の整数である。ある可能な実施様態においては、Mの値は、3、4、5、8などであってもよく、本明細書に限定されない。
【００７６】
ウィンドウ処理を、非対称ウィンドウ関数を使用してM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行う。第(N+1)のフレームのM個のサブフレームのうちの最初のサブフレームは、前フレームの信号(第Nのフレーム)との重複部分を有するサブフレームであり、最後のサブフレームは、次フレーム(第(N+2)のフレーム(図示せず))の信号との重複部分を有するサブフレームである。ある可能な様態においては、図3に示したように、最初のサブフレームは第(N+1)のフレーム内の左端のサブフレームであり、最後のサブフレームは第(N+1)のフレーム内の右端のサブフレームである。左端および右端は、図3を参照した場合の特定の例にすぎず、本発明の本実施形態に対する制約ではないことは理解できよう。実行する上で、サブフレーム分割において左端および右端などの方向の制約は存在していない。
【００７７】
ウィンドウ処理を最初のサブフレームおよび最後のサブフレームに対して行うために使用される非対称ウィンドウは、完全に同一であってもまたは異なっていてもよく、本明細書に限定されない。ある可能な実施様態においては、最初のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長は、最後のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長と同一である。
【００７８】
本発明の可能な実施様態においては、ウィンドウ処理を、非対称ウィンドウ関数を使用してM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行う。M個のサブフレームのうちの最初のサブフレームに対して使用される非対称ウィンドウ関数の形状は、M個のサブフレームのうちの最後のサブフレームに対して使用される非対称ウィンドウ関数の形状とは異なる。一方の非対称ウィンドウ関数が、水平方向に180度回転させた後に、他方の非対称ウィンドウ関数と重複し得る。ある可能な実施様態においては、最初のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長は、最後のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長と同一である。本発明の実施形態においては、図5に示したように、ウィンドウ処理を、対称ウィンドウ関数を使用して第(N+1)のフレームのM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行う。対称ウィンドウ関数のウィンドウ長は、非対称ウィンドウ関数のウィンドウ長とは異なる。例えば、フレーム長が20ms(80サンプル)であるとともにサンプリングレートが4kHzである信号については、先読みバッファが5サンプルである場合には、4つの時間包絡線を求める。本実施形態におけるウィンドウ関数を使用する。2つの端のウィンドウ長は、30サンプルである。2つの連続フレームがエイリアシングされる場合には、サンプル数量は5であり、2つの中間のウィンドウ長は50サンプルであり、25サンプルがエイリアシングされる。
【００７９】
本発明の実施形態においては、図5に示したように、ウィンドウ処理を、対称ウィンドウ関数を使用して第(N+1)のフレームのM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行う。
【００８０】
本発明の実施形態においては、最初のサブフレームおよび最後のサブフレームに対して行われるウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長は、別のサブフレームに対して使用される対称ウィンドウ関数のウィンドウ長に等しい。別の可能な方式においては、非対称ウィンドウ関数のウィンドウ長は、対称ウィンドウ関数のウィンドウ長に等しくなくてもよいことは理解できよう。
【００８１】
本発明の実施形態においては、第(N+1)のフレームのフレーム長が80サンプルであるとともにサンプリングレートが4kHzである場合には、8つの時間包絡線が求められ得る。
【００８２】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルであるとともにサンプリングレートが4kHzである場合には、4つの時間包絡線が求められ得る。
【００８３】
本発明の実施形態においては、プリセットすることに加えて、時間包絡線の数量Nを、第(N+1)のフレームの他の情報に従って事前に決定してもよい。以下は時間包絡線の数量Nを決定する実施様態の例である。
【００８４】
ある可能な実施様態においては、第(N+1)のフレームの低帯域信号のピッチ周期が第2の閾値より大きい場合には、4がNに割り当てられる、または、第(N+1)のフレームの低帯域信号のピッチ周期が第2の閾値より大きくない場合には、8がNに割り当てられる。サンプリングレートが12.8kHzである低帯域信号については、第2の閾値が70サンプルであってもよい。前述の値は、本発明の本実施形態を理解することを支援するために使用した特定の例にすぎず、本発明の本実施形態に対する具体的な制約ではないことは理解できよう。図3に示したように、信号分解が第(N+1)のフレームの信号に対して行われる場合には、第(N+1)のフレームの低帯域信号が取得され得る。信号分解において使用される方法および低帯域信号のピッチ周期を求める方式は、従来技術における任意の方式であってよく、本明細書に特に限定されない。
【００８５】
低帯域信号のピッチ周期を使用することに加えて、信号エネルギーなどの別のパラメータを使用してもよいことは理解できよう。
【００８６】
本発明の実施形態においては、非対称ウィンドウ関数がウィンドウ処理を最初のサブフレームおよび最後のサブフレームに対して行うために使用される場合には、非対称ウィンドウ関数を先読みバッファ長に従って決定する。
【００８７】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルである場合には、サンプリングレートは4kHzであり、8つの時間包絡線を求め、ウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長およびウィンドウ処理において使用される対称ウィンドウ関数のウィンドウ長の両方が20サンプルであり得る。第1の閾値は、フレーム長をエンベロープの数量で除算することによって得られる。この例においては、第1の閾値は10に等しい。先読みバッファ長が10サンプル未満である場合には、第8のサブフレーム(すなわち、最後のサブフレーム)に対して使用されるウィンドウ関数と第1のサブフレーム(すなわち、最初のサブフレーム)に対して使用されるウィンドウ関数とのエイリアシングされた部分は、先読みバッファ長に等しい。先読みバッファ長が10サンプル以上である場合には、第8のサブフレームに対して使用されるウィンドウ関数の右側の長さおよび第1のサブフレームに対して使用されるウィンドウ関数の左側の長さは、他方の側(例えば、第1のサブフレームに対して使用されるウィンドウ関数の右側または第8のサブフレームに対して使用されるウィンドウ関数の左側)のウィンドウ長(10サンプル)に等しくなり得る、または、長さは、経験に従って設定され得る(例えば、先読みバッファが10サンプル未満である場合に使用されるものと同一の長さを維持する)。
【００８８】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルである場合には、サンプリングレートは4kHzであり、4つの時間包絡線を求め、ウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長およびウィンドウ処理において使用される対称ウィンドウ関数のウィンドウ長の両方が40サンプルであり得る。第1の閾値は、フレーム長をエンベロープの数量で除算することによって得られる。この例においては、第1の閾値は20に等しい。
【００８９】
ウィンドウ処理後に、前処理された元の高帯域信号のサブフレームの時間領域エネルギーの平均値または前処理された元の高帯域信号のサブフレーム内のサンプル振幅の平均値および予測高帯域信号のサブフレームの時間領域エネルギーの平均値または予測高帯域信号のサブフレーム内のサンプル振幅の平均値が計算される。具体的な計算方式については、従来技術において提供される方式を参照されたい。本発明の本実施形態において提供した信号を処理するための方法におけるウィンドウ処理において使用されるウィンドウ形状および必要とされるウィンドウ数量を決定する方式は、従来技術におけるものとは異なる。別の計算方式については、従来技術において提供される方式を参照されたい。
【００９０】
本発明の本実施形態において提供したオーディオ信号の時間包絡線を処理するための方法によれば、時間包絡線間の過度に大きな差異により生じるエネルギー不連続性の影響を低減するために、時間包絡線を、異なる条件下では異なるウィンドウ長および/またはウィンドウ形状を使用することによって求めている、それによって、出力信号のパフォーマンスを改善している。
【００９１】
本実施形態において提供したオーディオ信号の時間包絡線を処理するための方法によれば、オーディオフレームの高帯域信号を受信したオーディオフレーム信号に従って取得し、その後、オーディオフレームの高帯域信号を事前に決定した時間包絡線の数量Mに従ってM個のサブフレームに分割し、最終的に、サブフレームの各々の時間包絡線を計算している、それによって、先読みが極めて短く、且つ極めて良好なサブフレーム間エイリアシングを保証する必要がある場合に生じる、必要以上の時間包絡線を求める問題を効率的に回避し、さらに、いくつかの信号に対する時間包絡線を過度に求めることによって生じるエネルギー不連続性の問題を回避し、また、計算複雑度を低減している。
図6は、本発明による、オーディオ信号の時間包絡線を処理するための方法の実施形態2のフローチャートである。図6に示したように、本実施形態における方法は以下のステップを含み得る。
【００９２】
S60. 処理予定の信号を受信した後に、第1の周波数帯内の時間領域信号の安定状態または第2の周波数帯内の信号のピッチ周期の値に従って、処理予定の信号の時間包絡線の数量Mを決定する、ここで、第1の周波数帯は、処理予定の信号の時間領域信号の周波数帯または全入力信号の周波数帯であり、第2の周波数帯は、所与の閾値未満の周波数帯、または全入力信号の周波数帯である。
【００９３】
処理予定の信号の時間包絡線の数量Mを決定するステップは、特に以下のことを含む。
第1の周波数帯内の時間領域信号が安定状態であるまたは第2の周波数帯内の信号のピッチ周期がプリセットされた閾値より大きい場合には、MはM1に等しい、さもなければ、MはM2に等しい、ここで、M1はM2より大きく、M1およびM2の両方が正の整数であり、プリセットされた閾値をサンプリングレートに従って決定する。
【００９４】
安定状態とは、ある期間内の時間領域信号のエネルギーおよび振幅の平均値が大きく変化しない、または、期間内の時間領域信号の偏差が所与の閾値未満であること指す。
【００９５】
例えば、フレーム長が20ms(80サンプル)であるとともにサンプリングレートが4kHzである高帯域信号については、高帯域時間領域信号のサブフレーム間エネルギーの比が所与の閾値未満である(0.5未満である)、または低帯域信号のピッチ周期が所与の閾値より大きい(70サンプルより大きい、そのような場合、低帯域信号のサンプリングレートは12.8kHzである)ならば、時間包絡線を高帯域信号について求める場合には、4つの時間包絡線を求める、さもなければ、8つの時間包絡線を求める。
【００９６】
例えば、フレーム長が20ms(320サンプル)であるとともにサンプリングレートが16kHzである高帯域信号については、高帯域時間領域信号のサブフレーム間エネルギーの比が所与の閾値未満である(0.5未満である)、または低帯域信号のピッチ周期が所与の閾値より大きい(70サンプルより大きい、そのような場合、低帯域信号のサンプリングレートは12.8kHzである)ならば、時間包絡線を高帯域信号について求める場合には、2つの時間包絡線を求める、さもなければ、4つの時間包絡線を求める。
【００９７】
S61. 処理予定の信号をM個のサブフレームに分割し、サブフレームの各々の時間包絡線を計算する。
【００９８】
本実施形態においては、ウィンドウ処理をサブフレームの各々に対して行う場合には、ウィンドウ処理を行う方式は限定されない。
【００９９】
本実施形態において提供したオーディオ信号の時間包絡線を処理するための方法によれば、時間包絡線の異なる数量を異なる条件に従って求めている、それによって、必要以上の時間包絡線をある条件下の信号について求める際に生じるエネルギー不連続性を効率的に回避し、さらに、エネルギー不連続性によって生じる聴覚品質低下を回避し、加えて、アルゴリズムの平均複雑度を効率的に低減している。
【０１００】
本発明の実施形態は、図1から図5に示したいくつかの方法を実行するように構成され得るとともに、同一の原理を使用して時間包絡線を求める別の処理プロセスにさらに使用され得る、オーディオ信号の時間包絡線を処理するための装置をさらに提供している。本発明の本実施形態において提供したオーディオ信号の時間包絡線を処理するための装置の構造を添付の図面を参照して詳細に以下に説明する。
図7は、本発明の実施形態による、時間包絡線を処理するための装置の概略構造図である。図7に示したように、本実施形態における時間包絡線を処理するための装置70は、受信した現在フレーム信号に従って現在フレーム信号の高帯域信号を取得するように構成される、高帯域信号取得モジュール71と、事前に決定した時間包絡線の数量Mに従って現在フレームの高帯域信号をM個のサブフレームに分割するように構成される、サブフレーム取得モジュール72であって、Mは整数であり、Mは2以上である、サブフレーム取得モジュール72と、サブフレームの各々の時間包絡線を計算するように構成される、時間包絡線取得モジュール73とを備え、時間包絡線取得モジュール73は、非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行い、ウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うように特に構成される。
【０１０１】
本発明の本実施形態の可能な方式においては、時間包絡線取得モジュール73は、
現在フレーム信号の高帯域信号の先読みバッファ長に従って非対称ウィンドウ関数を決定する、または、
現在フレーム信号の高帯域信号の先読みバッファ長および時間包絡線の数量Mに従って非対称ウィンドウ関数を決定するようにさらに構成される。
【０１０２】
本発明の実施形態においては、時間包絡線取得モジュール73は、
非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行い、対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行う、または、
非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行い、非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うように特に構成される。
【０１０３】
本発明の本実施形態の可能な実施様態においては、非対称ウィンドウ関数のウィンドウ長は、M個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行われるウィンドウ処理において使用されるウィンドウ関数のウィンドウ長と同一である。本発明の実施形態においては、時間包絡線取得モジュール73は、現在フレーム信号に従って現在フレーム信号の低帯域信号のピッチ周期を取得し、
現在フレーム信号のタイプが現在フレームの前フレーム信号のタイプと同一であるとともに現在フレームの低帯域信号のピッチ周期が第3の閾値より大きい場合には、平滑化処理をサブフレームの各々の時間包絡線に対して行うようにさらに構成される。
【０１０４】
平滑化処理を時間包絡線に対して行うことは、特に、2つの隣接サブフレームの時間包絡線に重み付けし、重み付けした時間包絡線を2つのサブフレームの時間包絡線として使用することであってもよい。例えば、デコーディングサイドにおける2つの連続フレームの信号が有声信号であり、または、一方のフレームが有声信号であるとともに他方のフレームが通常信号であり、低帯域信号のピッチ周期が所与の閾値より大きい(70サンプルより大きい、そのような場合、低帯域信号のサンプリングレートは12.8kHzである)場合には、平滑化処理をデコードした高帯域信号の時間包絡線に対して行う、さもなければ、時間包絡線は変化しないままである。平滑化処理は、以下の通りであり得る。
env[0]=0.5*(env[0]+env[1])
env[1]=0.5*(env[0]+env[1])
…
env[N-1]=0.5*(env[N-1]+env[N])
env[N]=0.5*(env[N-1]+env[N])
ここで、env[]は時間包絡線である。
【０１０５】
本発明の実施形態においては、時間包絡線を処理するための装置70は、
現在フレーム信号に従って現在フレーム信号の低帯域信号を取得し、現在フレーム信号の低帯域信号のピッチ周期が第2の閾値より大きい場合には、M1をMに割り当てる方式、または、
現在フレーム信号に従って現在フレーム信号の低帯域信号を取得し、現在フレーム信号の低帯域信号のピッチ周期が第2の閾値より大きくない場合には、M2をMに割り当てる方式のうちの1つで時間包絡線の数量Mを決定するように構成される、決定モジュール74をさらに備え、
M1およびM2の両方が正の整数であり、M2>M1である。
【０１０６】
本発明の本実施形態においては、事前に決定した時間包絡線の数量Mを、アルゴリズム全般の要件および経験的な値に従って決定してもよい。時間包絡線の数量Mは、例えば、アルゴリズム全般または経験的な値に従ってエンコーダによって事前に決定されており、決定された後は変更されない。例えば、一般的に、20msのフレームを有する入力信号については、入力信号が比較的安定している場合には、4または2つの時間包絡線を求めるが、幾分不安定な信号については、より多くの時間包絡線、例えば、8つの時間包絡線が求めるのに必要となる。
【０１０７】
特に、まず、エンコーディングサイドで、元のオーディオ信号を取得した後に、信号分解を、元のオーディオ信号に対してまず行って、元のオーディオ信号の低帯域信号および高帯域信号を取得する。続いて、低帯域信号を、既存のアルゴリズムを使用して符号化し、低帯域ストリームを取得する。加えて、低帯域符号化を処理するプロセスにおいては、低帯域励起信号が取得され、低帯域励起信号が前処理される。元のオーディオ信号の高帯域信号については、前処理がまず行われ、その後、LP解析を行ってLP係数を取得し、LP係数が量子化される。続いて、前処理された低帯域励起信号を、LP合成フィルタ(フィルタ係数は量子化LP係数である)を使用して処理し、予測高帯域信号を取得する。高帯域信号の時間包絡線が前処理された高帯域信号および予測高帯域信号に従って計算および量子化され、最終的に、符号化ストリームが出力される。
【０１０８】
高帯域信号の時間包絡線を計算および量子化するステップを除く、オーディオ信号の他のステップの処理については、従来技術において使用される方法を参照されたい、そのため、詳細を本明細書では説明しない。
【０１０９】
本実施形態における装置は、図2から図5に示した方法の実施形態の技術的解決手法を実行するように構成され得る。その実施形態の原理は類似している。
【０１１０】
具体的な例においては、エンコーディングサイドで、元のオーディオ信号を取得した後に、信号分解を、元のオーディオ信号に対してまず行って、元のオーディオ信号の低帯域信号および高帯域信号を取得する。続いて、低帯域信号を、既存のアルゴリズムを使用して符号化し、低帯域ストリームを取得する。加えて、低帯域符号化を処理するプロセスにおいては、低帯域励起信号が取得され、低帯域励起信号が前処理される。元のオーディオ信号の高帯域信号については、前処理がまず行われ、その後、LP解析を行ってLP係数を取得し、LP係数が量子化される。続いて、前処理された低帯域励起信号を、LP合成フィルタ(フィルタ係数は量子化LP係数である)を使用して処理し、予測高帯域信号を取得する。高帯域信号の時間包絡線が前処理された高帯域信号および予測高帯域信号に従って計算および量子化され、最終的に、符号化ストリームが出力される。
【０１１１】
高帯域信号の時間包絡線を計算および量子化するステップを除く、オーディオ信号の他のステップの処理については、従来技術において使用される方法を参照されたい、そのため、詳細を本明細書では説明しない。
【０１１２】
第(N+1)のフレームは、計算するのに必要となる時間包絡線の数量に従ってM個のサブフレームに分割される、ここで、Mは正の整数である。ある可能な実施様態においては、Mの値は、3、4、5、8などであってもよく、本明細書に限定されない。
【０１１３】
ウィンドウ処理を、非対称ウィンドウ関数を使用してM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行う。第(N+1)のフレームのM個のサブフレームのうちの最初のサブフレームは、前フレームの信号(第Nのフレーム)との重複部分を有するサブフレームであり、最後のサブフレームは、次フレーム(第(N+2)のフレーム(図示せず))の信号との重複部分を有するサブフレームである。ある可能な様態においては、最初のサブフレームは第(N+1)のフレーム内の左端のサブフレームであり、最後のサブフレームは第(N+1)のフレーム内の右端のサブフレームである。左端および右端は、特定の例にすぎず、本発明の本実施形態に対する制約ではないことは理解できよう。実行する上で、サブフレーム分割において左端および右端などの方向の制約は存在していない。
【０１１４】
ウィンドウ処理を最初のサブフレームおよび最後のサブフレームに対して行うために使用される非対称ウィンドウは、完全に同一であってもまたは異なっていてもよく、本明細書に限定されない。ある可能な実施様態においては、最初のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長は、最後のサブフレームに対して使用される非対称ウィンドウ関数のウィンドウ長と同一である。
【０１１５】
本発明の実施形態においては、ウィンドウ処理を、対称ウィンドウ関数を使用して第(N+1)のフレームのM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行う。
【０１１６】
本発明の実施形態においては、最初のサブフレームおよび最後のサブフレームに対して行われるウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長は、別のサブフレームに対して使用される対称ウィンドウ関数のウィンドウ長に等しい。別の可能な方式においては、非対称ウィンドウ関数のウィンドウ長は、対称ウィンドウ関数のウィンドウ長に等しくなくてもよいことは理解できよう。
【０１１７】
本発明の実施形態においては、第(N+1)のフレームのフレーム長が80サンプルであるとともにサンプリングレートが4kHzである場合には、8つの時間包絡線が求められ得る。
【０１１８】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルであるとともにサンプリングレートが4kHzである場合には、4つの時間包絡線が求められ得る。
【０１１９】
本発明の実施形態においては、プリセットすることに加えて、時間包絡線の数量Nを、第(N+1)のフレームの他の情報に従って事前に決定してもよい。以下は時間包絡線の数量Nを決定する実施様態の例である。
【０１２０】
ある可能な実施様態においては、第(N+1)のフレームの低帯域信号のピッチ周期が第2の閾値より大きい場合には、N=4であり、または、第(N+1)のフレームの低帯域信号のピッチ周期が第2の閾値より大きくない場合には、N=8である。サンプリングレートが12.8kHzである低帯域信号については、第2の閾値が70サンプルであってもよい。前述の値は、本発明の本実施形態を理解することを支援するために使用した特定の例にすぎず、本発明の本実施形態に対する具体的な制約ではないことは理解できよう。信号分解が第(N+1)のフレームの信号に対して行われる場合には、第(N+1)のフレームの低帯域信号が取得され得る。信号分解において使用される方法および低帯域信号のピッチ周期を求める方式は、従来技術における任意の方式であってよく、本明細書に特に限定されない。
【０１２１】
低帯域信号のピッチ周期を使用することに加えて、信号エネルギーなどの別のパラメータを使用してもよいことは理解できよう。
【０１２２】
本発明の実施形態においては、非対称ウィンドウ関数がウィンドウ処理を最初のサブフレームおよび最後のサブフレームに対して行うために使用される場合には、非対称ウィンドウ関数を先読みバッファ長に従って決定する。
【０１２３】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルである場合には、サンプリングレートは4kHzであり、8つの時間包絡線を求め、ウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長およびウィンドウ処理において使用される対称ウィンドウ関数のウィンドウ長の両方が20サンプルであり得る。第1の閾値は、フレーム長をエンベロープの数量で除算することによって得られる。この例においては、第1の閾値は10に等しい。先読みバッファ長が10サンプル未満である場合には、第8のサブフレーム(すなわち、最後のサブフレーム)に対して使用されるウィンドウ関数と第1のサブフレーム(すなわち、最初のサブフレーム)に対して使用されるウィンドウ関数とのエイリアシングされた部分は、先読みバッファ長に等しい。先読みバッファ長が10サンプル以上である場合には、第8のサブフレームに対して使用されるウィンドウ関数の右側の長さおよび第1のサブフレームに対して使用されるウィンドウ関数の左側の長さは、他方の側(例えば、第1のサブフレームに対して使用されるウィンドウ関数の右側または第8のサブフレームに対して使用されるウィンドウ関数の左側)のウィンドウ長(10サンプル)に等しくなり得る、または、長さは、経験に従って設定され得る(例えば、先読みバッファが10サンプル未満である場合に使用されるものと同一の長さを維持する)。
【０１２４】
ある可能な実施様態においては、第(N+1)のフレームのフレーム長が80サンプルである場合には、サンプリングレートは4kHzであり、4つの時間包絡線を求め、ウィンドウ処理において使用される非対称ウィンドウ関数のウィンドウ長およびウィンドウ処理において使用される対称ウィンドウ関数のウィンドウ長の両方が40サンプルであり得る。第1の閾値は、フレーム長をエンベロープの数量で除算することによって得られる。この例においては、第1の閾値は20に等しい。
【０１２５】
ウィンドウ処理後に、前処理された元の高帯域信号のサブフレームの時間領域エネルギーの平均値または前処理された元の高帯域信号のサブフレーム内のサンプル振幅の平均値および予測高帯域信号のサブフレームの時間領域エネルギーの平均値または予測高帯域信号のサブフレーム内のサンプル振幅の平均値が計算される。具体的な計算方式については、従来技術において提供される方式を参照されたい。本発明の本実施形態において提供した信号を処理するための方法におけるウィンドウ処理において使用されるウィンドウ形状および必要とされるウィンドウ数量を決定する方式は、従来技術におけるものとは異なる。別の計算方式については、従来技術において提供される方式を参照されたい。
【０１２６】
本実施形態において提供したオーディオ信号の時間包絡線を処理するための装置によれば、時間包絡線の異なる数量を異なる条件に従って求めている、それによって、必要以上の時間包絡線をある条件下の信号について求める際に生じるエネルギー不連続性を効率的に回避し、さらに、エネルギー不連続性によって生じる聴覚品質低下を回避し、加えて、アルゴリズムの平均複雑度を効率的に低減している。
【０１２７】
図8を参照して本発明の実施形態におけるエンコーダ80を以下に説明する。図8は、本発明の実施形態よる、エンコーダの概略構造図である。図8に示したように、エンコーダ80は、
受信した現在フレーム信号に従って現在フレーム信号の低帯域信号および現在フレーム信号の高帯域信号を取得し、
現在フレーム信号の低帯域信号を符号化して、低帯域符号化励起信号を取得し、
線形予測を現在フレーム信号の高帯域信号に対して行って、線形予測係数を取得し、
線形予測係数を量子化して、量子化線形予測係数を取得し、
低帯域符号化励起信号および量子化線形予測係数に従って予測高帯域信号を取得し、
予測高帯域信号の時間包絡線を計算および量子化することであって、
予測高帯域信号の時間包絡線を計算することは、
事前に決定した時間包絡線の数量Mに従って予測高帯域信号をM個のサブフレームに分割することであって、Mは整数であり、Mは2以上である、分割することと、
非対称ウィンドウ関数を使用してウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよびM個のサブフレームのうちの最後のサブフレームに対して行うことと、
ウィンドウ処理をM個のサブフレームのうちの最初のサブフレームおよび最後のサブフレーム以外のサブフレームに対して行うこととを含む、計算および量子化することをし、
量子化した時間包絡線を符号化するように特に構成される。
【０１２８】
エンコーダ80は、任意の1つの前述の方法の実施形態を実行するように構成されてもよいし、任意の実施形態における時間包絡線を処理するための装置70を備えていてもよいことは理解できよう。エンコーダ80によって実行される具体的な機能については、前述の方法および装置の実施形態を参照されたい、そのため、詳細をここでは説明しない。
【０１２９】
方法の実施形態のステップのすべてまたは一部を、関連ハードウェアを命令するプログラムによって実施してもよいことを当業者は理解されよう。プログラムは、コンピュータ可読記憶媒体に記憶され得る。プログラムを動作する場合には、方法の実施形態のステップを行う。前述の記憶媒体は、ROM、RAM、磁気ディスク、または光ディスクなどの、プログラムコードを記憶することができる任意の媒体を含む。
【０１３０】
最後に、前述の実施形態は、本発明を限定するのではなく、本発明の技術的解決手法を説明することを意図したものにすぎないことに留意されたい。本発明を前述の実施形態を参照して詳細に説明したが、当業者は、本発明の実施形態の技術的解決手法の範囲から逸脱しない限り、前述の実施形態において説明した技術的解決手法に対して修正をさらに行い得る、または、その技術的特徴の一部またはすべてに対する均等物との置換をさらに行い得ることを理解すべきである。
【符号の説明】
【０１３１】
70  時間包絡線を処理するための装置
71  高帯域信号取得モジュール
72  サブフレーム取得モジュール
73  時間包絡線取得モジュール
74  決定モジュール
80  エンコーダ
【図１】
2019135551.tif 000003
【図２】
2019135551.tif 000004
【図３】
2019135551.tif 000005
【図４】
2019135551.tif 000006
【図５】
2019135551.tif 000007
【図６】
2019135551.tif 000008
【図７】
2019135551.tif 000009
【図８】
2019135551.tif 000010
【手続補正書】
【提出日】平成31年4月10日(2019.4.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オーディオ信号の時間包絡線を処理するための方法であって、
受信した現在フレーム信号に従って前記現在フレーム信号の高帯域信号を取得するステップと、
前記現在フレームの前記高帯域信号をM個のサブフレームに分割するステップであって、Mは整数であり、Mは2以上である、ステップと、
前記サブフレームの各々の時間包絡線を計算するステップとを含み、
前記サブフレームの各々の時間包絡線を計算するステップは、
非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの最初のサブフレームおよび前記M個のサブフレームのうちの最後のサブフレームに対して行うステップと、
対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外のサブフレームに対して行うステップとを含む、方法。
【請求項２】
前記非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの最初のサブフレームおよび前記M個のサブフレームのうちの最後のサブフレームに対して行うステップの前に、前記方法は、
前記現在フレーム信号の前記高帯域信号の先読みバッファ長に従って前記非対称ウィンドウ関数を決定するステップ、または、
前記現在フレーム信号の前記高帯域信号の先読みバッファ長および前記Mに従って前記非対称ウィンドウ関数を決定するステップをさらに含む、請求項1に記載の方法。
【請求項３】
前記非対称ウィンドウ関数のウィンドウ長は、前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外の前記サブフレームに対して行われるウィンドウ処理において使用されるウィンドウ関数のウィンドウ長と同一である、請求項1に記載の方法。
【請求項４】
前記現在フレームのオーディオ信号の前記高帯域信号の先読みバッファ長に従って前記非対称ウィンドウ関数を決定するステップは、
前記現在フレーム信号の前記高帯域信号の前記先読みバッファ長が第1の閾値未満である場合には、前記現在フレームの前フレーム信号の高帯域信号および前記現在フレーム信号の前記高帯域信号の前記先読みバッファ長に従って前記非対称ウィンドウ関数を決定するステップであって、前記現在フレームの前記前フレーム信号の前記高帯域信号の前記最後のサブフレームに対して使用される非対称ウィンドウ関数と前記現在フレーム信号の前記高帯域信号の前記最初のサブフレームに対して使用される非対称ウィンドウ関数とのエイリアシングされた部分は、前記現在フレーム信号の前記高帯域信号の前記先読みバッファ長に等しく、前記第1の閾値は、Mで除算された前記現在フレームの前記高帯域信号のフレーム長に等しい、ステップを含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記現在フレーム信号の前記高帯域信号の先読みバッファ長に従って前記非対称ウィンドウ関数を決定するステップは、
前記現在フレーム信号の前記高帯域信号の前記先読みバッファ長が第1の閾値より大きい場合には、前記現在フレームの前フレーム信号の高帯域信号および前記現在フレーム信号の前記高帯域信号の前記先読みバッファ長に従って前記非対称ウィンドウ関数を決定するステップであって、前記現在フレームの前記前フレーム信号の前記高帯域信号の前記最後のサブフレームに対して使用される非対称ウィンドウ関数と前記現在フレーム信号の前記高帯域信号の前記最初のサブフレームに対して使用される非対称ウィンドウ関数とのエイリアシングされた部分は、前記第1の閾値に等しく、前記第1の閾値は、Mで除算された前記現在フレームの前記高帯域信号のフレーム長に等しい、ステップを含む、請求項1から3のいずれか一項に記載の方法。
【請求項６】
前記方法は、
前記現在フレーム信号に従って前記現在フレーム信号の低帯域信号のピッチ周期を取得するステップと、
前記現在フレーム信号のタイプが前記現在フレームの前フレーム信号のタイプと同一であるとともに前記現在フレームの前記低帯域信号の前記ピッチ周期が第3の閾値より大きい場合には、平滑化処理を前記サブフレームの各々の前記時間包絡線に対して行うステップとをさらに含む、請求項1から5のいずれか一項に記載の方法。
【請求項７】
オーディオ信号の時間包絡線を処理するための装置であって、
受信した現在フレーム信号に従って前記現在フレーム信号の高帯域信号を取得するように構成される、高帯域信号取得モジュールと、
前記現在フレームの前記高帯域信号をM個のサブフレームに分割するように構成される、サブフレーム取得モジュールであって、Mは整数であり、Mは2以上である、サブフレーム取得モジュールと、
前記サブフレームの各々の時間包絡線を計算するように構成される、時間包絡線取得モジュールとを備え、
前記時間包絡線取得モジュールは、
非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの最初のサブフレームおよび前記M個のサブフレームのうちの最後のサブフレームに対して行い、
対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外のサブフレームに対して行うように特に構成される、装置。
【請求項８】
前記時間包絡線取得モジュールは、
前記現在フレーム信号の前記高帯域信号の先読みバッファ長に従って前記非対称ウィンドウ関数を決定する、または、
前記現在フレーム信号の前記高帯域信号の先読みバッファ長および前記Mに従って前記非対称ウィンドウ関数を決定するようにさらに構成される、請求項7に記載の装置。
【請求項９】
前記非対称ウィンドウ関数のウィンドウ長は、前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外の前記サブフレームに対して行われるウィンドウ処理において使用されるウィンドウ関数のウィンドウ長と同一である、請求項7に記載の装置。
【請求項１０】
前記時間包絡線取得モジュールは、
前記現在フレーム信号に従って前記現在フレーム信号の前記低帯域信号の前記ピッチ周期を取得し、
前記現在フレーム信号のタイプが前記現在フレームの前フレーム信号のタイプと同一であるとともに前記現在フレームの前記低帯域信号の前記ピッチ周期が第3の閾値より大きい場合には、平滑化処理を前記サブフレームの各々の前記時間包絡線に対して行うようにさらに構成される、請求項7から9のいずれか一項に記載の装置。
【請求項１１】
エンコーダであって、前記エンコーダは、
受信した現在フレーム信号に従って前記現在フレーム信号の低帯域信号および前記現在フレーム信号の高帯域信号を取得し、
前記現在フレーム信号の前記低帯域信号を符号化して、低帯域符号化励起信号を取得し、
線形予測を前記現在フレーム信号の前記高帯域信号に対して行って、線形予測係数を取得し、
前記線形予測係数を量子化して、量子化線形予測係数を取得し、
前記低帯域符号化励起信号および前記量子化線形予測係数に従って予測高帯域信号を取得し、
前記予測高帯域信号の時間包絡線を計算および量子化することであって、
前記予測高帯域信号の時間包絡線を計算することは、
前記予測高帯域信号をM個のサブフレームに分割することであって、Mは整数であり、Mは2以上である、分割することと、
非対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの最初のサブフレームおよび前記M個のサブフレームのうちの最後のサブフレームに対して行うことと、
対称ウィンドウ関数を使用してウィンドウ処理を前記M個のサブフレームのうちの前記最初のサブフレームおよび前記最後のサブフレーム以外のサブフレームに対して行うこととを含む、計算および量子化することをし、
前記量子化した時間包絡線を符号化するように特に構成される、エンコーダ。
【請求項１２】
プログラムを記憶したコンピュータ可読記憶媒体であって、前記プログラムは、コンピュータに請求項1から6のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【外国語明細書】
2019135551000001.pdf