(57)【特許請求の範囲】
【請求項１】
修正離散コサイン変換ドメインのオーディオフレーム損失補償方法であって、
現在損失フレームが第pフレームである際に、予測される予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して第p-1フレームの前の複数のフレームにおける修正離散コサイン変換−修正離散サイン変換MDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得て、予測して得た前記第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて第pフレームにおける前記それぞれの周波数点での修正離散コサイン変換ドメインMDCT係数を取り得て、ここで、前記第p-1フレームが第pフレームの前の1つのフレームであるステップaと、
1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームにおける該周波数点でのMDCT係数値を計算するステップbと、
第pフレームのすべての周波数点でのMDCT係数に修正離散コサイン逆変換IMDCTを行い、第pフレームの時間領域信号を取り得るステップcを含むオーディオフレーム損失補償方法。
【請求項２】
前記ステップaの前に、現在フレームが損失することを検出する際に、現在損失フレームのタイプを判断し、現在損失フレームがマルチ高調波フレームであると、ステップaを実行することをさらに含む請求項1に記載の方法。
【請求項３】
現在損失フレームのタイプを判断するステップは、
現在損失フレームの前のKフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数がK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数がK0より大きいと、現在損失フレームがマルチ高調波フレームであり、ここで、K0<=K、K0、Kが自然数であることを含む請求項2に記載の方法。
【請求項４】
前記ステップaにおいて、前記予測待ちの周波数点集合を取得するステップはさらに、
第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れることを含む請求項1に記載の方法。
【請求項５】
第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得するステップは、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合が対応する周波数点数がN1,…,NL1であることと、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点 mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、
存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、
ここで、前記kが非負の整数であることを含む請求項4に記載の方法。
【請求項６】
前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である請求項5に記載の方法。
【請求項７】
前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【数１】
0005400963.tif 000053
、ここで、
【数２】
0005400963.tif 000054
は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームにおける周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームにおける周波数点m−1でのMDCT係数である請求項5に記載の方法。
【請求項８】
前記ステップaにおいて第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を予測して得るステップは、第p-1フレームの前のL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得ること、及び
該L2フレームにおいて1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から第pフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を取り得て、ここで、L2>1であることを含む請求項1〜7のいずれか１項に記載の方法。
【請求項９】
L2＝2である際に、第p-1フレームの前のL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るステップは、
下記公式
【数３】
0005400963.tif 000055
によって第pフレームのMDCT-MDSTドメインの位相を取り得て、
ここで、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、mが予測される予測待ちの周波数点であり、
【数４】
0005400963.tif 000056
は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、
【数５】
0005400963.tif 000057
は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相であることを含む請求項8に記載の方法。
【請求項１０】
L2>2である際に、第p-1フレームの前のL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るステップは、
前記予測待ちの周波数点に対して、第p-1フレームの前のL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得ることを含む請求項8に記載の方法。
【請求項１１】
第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得するステップは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて前記予測待ちの周波数点集合SCを取得することを含み、
第p-1フレームの前の複数のフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得るステップは、
前記周波数点集合SCにおけるそれぞれの周波数点に第p-2フレーム、第p-3フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得ることを含む請求項4に記載の方法。
【請求項１２】
第pフレームの前の複数のフレームのMDCT係数を用いて第pフレームにおける該周波数点でのMDCT係数を計算するステップは、
第pフレームのMDCT係数の値を第p-1フレームのMDCT係数の値の二分の一にすることを含む請求項1〜7のいずれか１項に記載の方法。
【請求項１３】
修正離散コサイン変換ドメインのオーディオフレーム損失補償器であって、前記フレーム損失補償器はマルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、
前記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測される予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して、第p-1フレームの前の複数のフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて第pフレームにおける前記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、ここで、前記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
前記第2補償モジュールは、1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームにおける該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
前記IMDCTモジュールは、第pフレームのすべての周波数点でのMDCT係数にIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される修正離散コサイン変換ドメインのオーディオフレーム損失補償器。
【請求項１４】
フレームタイプ検出モジュールをさらに含み、前記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、マルチ高調波フレームであると、前記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置される請求項13に記載のフレーム損失補償器。
【請求項１５】
前記フレームタイプ検出モジュールは、次のように現在損失フレームのタイプを判断し、現在損失フレームの前のKフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数がK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数がK0より大きいと、現在損失フレームがマルチ高調波フレームであり、ここで、K0<=K、K0、Kが自然数であるように設置される請求項14に記載のフレーム損失補償器。
【請求項１６】
前記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットを含み、前記マルチ高調波フレーム損失補償モジュールは、前記周波数点集合生成ユニットが第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いることによって前記予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れるように設置される請求項13に記載のフレーム損失補償器。
【請求項１７】
前記周波数点集合生成ユニットは、次のように第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得し、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がそれぞれN1,…,NL1であり、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、ここで、kが非負の整数であるように設置される請求項16に記載のフレーム損失補償器。
【請求項１８】
前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である請求項17に記載のフレーム損失補償器。
【請求項１９】
前記周波数点集合生成ユニットは、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【数６】
0005400963.tif 000058
、ここで、
【数７】
0005400963.tif 000059
は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームにおける周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームにおける周波数点m−1でのMDCT係数であるように設置される請求項17に記載のフレーム損失補償器。
【請求項２０】
前記マルチ高調波フレーム損失補償モジュールは係数生成ユニットをさらに含み、前記マルチ高調波フレーム損失補償モジュールは、前記係数生成ユニットが第p-1フレームの前のL2フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いることによって予測し、第pフレームにおいて前記予測待ちの周波数点集合に属する各周波数点の位相と振幅を取り得て、予測して得た第pフレームの位相と振幅を用いて第pフレームにおける対応の前記それぞれの周波数点でのMDCT係数のMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、ここで、L2>1であるように設置され、
前記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットを含み、
前記位相予測サブユニットは、予測される予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
前記振幅予測サブユニットは、該L2フレームにおける1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から第pフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を取り得るように設置される請求項13〜19のいずれか１項に記載のフレーム損失補償器。
【請求項２１】
前記位相予測サブユニットは、L2＝2である際に、下記の公式
【数８】
0005400963.tif 000060
によって第pフレームのMDCT-MDSTドメインの位相を予測し、
ここで、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、mが前記予測待ちの周波数点であり、
【数９】
0005400963.tif 000061
は第pフレームにおける周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
【数１０】
0005400963.tif 000062
は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、
【数１１】
0005400963.tif 000063
は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相であるように設置される請求項20に記載のフレーム損失補償器。
【請求項２２】
L2>2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、前記予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置される請求項20に記載のフレーム損失補償器。
【請求項２３】
前記マルチ高調波フレーム損失補償モジュールは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて前記予測待ちの周波数点集合を取得し、及び該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームにおけるMDCT-MDSTドメインでの位相と振幅予測を用いて第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得るように設置される請求項16に記載のフレーム損失補償器。
【請求項２４】
前記第2補償モジュールは、第pフレームにおける前記予測待ちの周波数点集合の以外の周波数点のMDCT係数の値を第p-1フレームのMDCT係数の値の二分の一にするように設置される請求項13〜19のいずれか１項に記載のフレーム損失補償器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオーディオ復号分野に関し、具体的に無遅延、低複雑さのMDCT (Modified Discrete Cosine Transform、修正離散コサイン変換)ドメインのオーディオフレーム損失補償器及び補償方法に関する。
【背景技術】
【０００２】
ネットワーク通信において、パケット技術が十分に幅広くアプリケーションされ、各種の形式の情報、例えば音声或いはオーディオ等のデータは符号化された後、パケット技術を採用してネットワークにおいて伝送し、例えばVoIP（ネットワーク電話）等である。情報送信側の送信容量が制限され、または予定遅延時間内にパケット情報フレームが受信側バッファエリアに到達しなく、またはネットワークの輻輳等による音声オーディオフレーム情報が損失し、復号側に合成音声オーディオの品質が急激に低下することを引き起こすため、いくつかの技術を採用してフレーム損失のデータを補償する必要がある。フレーム損失補償器はフレーム損失による音声オーディオ品質の下降の現象を軽減する技術である。従来、フレーム損失の補償の技術が多いが、これらのフレーム損失の補償技術における大部分が音声のフレーム損失補償だけに適用し、オーディオのフレーム損失補償に対して関連の技術が少ない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来のオーディオフレーム損失補償方法は最も簡単であるのは前のフレームのMDCT信号を繰り返し或いはミュート静音の代替の方法を採用し、該方法は簡単で且つ遅延がないが、補償効果が著しくなく、他の補償方式、例えばGAPES（ギャップデータ振幅位相の推定技術）はMDCT係数をDSTFT（Discrete Short-Time Fourier Transform、離散短時間フーリエ変換）係数に転化し、該方法の演算の複雑さが高く、メモリの消耗が多く、3GPPはノイズシェーピング挿入技術を採用してオーディオフレーム損失補償を行い、該方法の擬似雑音信号の補償効果がよく、マルチ高調波オーディオ信号への補償効果が極めて悪い。
【０００４】
以上のように、開示されたオーディオフレーム損失補償技術の大部分の効果が著しくなくまたは演算の複雑さが高く且つ遅延時間が長い。
【０００５】
本発明は補償効果がよく、複雑さが低く且つ無遅延であるMDCTドメインオーディオフレーム損失補償器及び補償方法を提供することを解決しようとする技術問題とする。
【課題を解決するための手段】
【０００６】
上述問題を解決するために、本発明は修正離散コサイン変換ドメインのオーディオフレーム損失補償方法であって、
現在損失フレームが第pフレームである際に、予測される予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して第p-1フレームの前の複数のフレームにおける修正離散コサイン変換−修正離散サイン変換MDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得て、予測して得た前記第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて第pフレームにおける前記それぞれの周波数点での修正離散コサイン変換ドメインMDCT係数を取り得て、ここで、前記第p-1フレームが第pフレームの前の1つのフレームであるステップaと、
1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームにおける該周波数点でのMDCT係数値を計算するステップbと、
第pフレームのすべての周波数点でのMDCT係数を修正離散コサイン逆変換IMDCTを行い、第pフレームの時間領域信号を取り得るステップcとを含む。
【０００７】
前記の方法はさらに、前記ステップaの前に、現在フレームが損失することを検出する際に、現在損失フレームのタイプを判断し、現在損失フレームがマルチ高調波フレームであると、ステップaを実行することをさらに含む特徴を備えてもよい。
【０００８】
前記の方法はさらに、前記該現在損失フレームのタイプを判断するステップは、
現在損失フレームの前のKフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数がK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数がK0より大きいと、現在損失フレームがマルチ高調波フレームであり、ここで、K0<=K、K0、Kが自然数であることを含む特徴を備えてもよい。
【０００９】
前記の方法はさらに、前記ステップaにおいて、前記予測待ちの周波数点集合を取得する際に、第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れることを含む特徴を備えてもよい。
【００１０】
前記の方法はさらに、第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得することは、具体的に、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がN1,…,NL1であることと、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点 mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れることとを含み、
ここで、前記kが非負の整数である特徴を備えてもよい。
【００１１】
前記の方法はさらに、前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である特徴を備えてもよい。
【００１２】
前記の方法はさらに、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【００１３】
【数１】
0005400963.tif 000002
【００１４】
、ここで、
【００１５】
【数２】
0005400963.tif 000003
【００１６】
は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームにおける周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームにおける周波数点m−1でのMDCT係数である特徴を備えてもよい。
【００１７】
前記の方法はさらに、前記ステップaにおいて、前記の第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を予測して得るステップは、予測待ちの周波数点に対して、第p-1フレームの前のL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得ることと、該L2フレームにおいて1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から第pフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を取り得て、ここで、L2>1であることを含む特徴を備えてもよい。
【００１８】
前記の方法はさらに、L2＝2である際に、第t1フレーム、第t2フレームでこのフレームをそれぞれ表し、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点mに対して、
【００１９】
【数３】
0005400963.tif 000004
【００２０】
、前記
【００２１】
【数４】
0005400963.tif 000005
【００２２】
は第pフレームにおける周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
【００２３】
【数５】
0005400963.tif 000006
【００２４】
は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、前記
【００２５】
【数６】
0005400963.tif 000007
【００２６】
は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相である特徴を備えてもよい。
【００２７】
前記の方法はさらに、L2>2である際に、予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得る特徴を備えてもよい。
【００２８】
前記の方法はさらに、前記ステップaにおいて、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得る特徴を備えてもよい。
【００２９】
前記の方法はさらに、前記ステップbにおいて、第p-1フレームのMDCT係数値の半分を採用して第pフレームのMDCT係数値とする特徴を備えてもよい。
【００３０】
本発明はさらに、修正離散コサイン変換ドメインのオーディオフレーム損失補償器であって、前記フレーム損失補償器はマルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、ここで、
前記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して、第p-1フレームの前の複数のフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて第pフレームにおける前記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、前記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
前記第2補償モジュールは、1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームにおける該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
前記IMDCTモジュールは、第pフレームのすべての周波数点でのMDCT係数をIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
【００３１】
上述フレーム損失補償器はさらに、前記フレーム損失補償器はフレームタイプ検出モジュールをさらに含み、ここで、
前記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、マルチ高調波フレームであると、前記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置される特徴を備えてもよい。
【００３２】
前記フレーム損失補償器は、前記フレームタイプ検出モジュールが、次のように現在損失フレームのタイプを判断し、現在損失フレームの前のKフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数がK0より小さいまたはそれと等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数がK0より大きいと、現在損失フレームがマルチ高調波フレームであり、ここで、K0<=K、K0、Kが自然数であるように設置される特徴を備えてもよい。
【００３３】
前記フレーム損失補償器は、前記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットを含み、前記マルチ高調波フレーム損失補償モジュールは、前記周波数点集合生成ユニットが第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いることによって予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れるように設置される特徴を備えてもよい。
【００３４】
前記フレーム損失補償器は、
前記周波数点集合生成ユニットは、次のように第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得し、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がそれぞれN1,…,NL1であり、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、ここで、kが非負の整数であるように設置される特徴を備えてもよい。
【００３５】
前記フレーム損失補償器は、前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である特徴を備えてもよい。
【００３６】
前記フレーム損失補償器は、前記周波数点集合生成ユニットが、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【００３７】
【数７】
0005400963.tif 000008
【００３８】
、ここで、
【００３９】
【数８】
0005400963.tif 000009
【００４０】
は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームにおける周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームにおける周波数点m−1でのMDCT係数であるように設置される特徴を備えてもよい。
【００４１】
前記フレーム損失補償器は、
前記マルチ高調波フレーム損失補償モジュールは係数生成ユニットをさらに含み、前記マルチ高調波フレーム損失補償モジュールは、前記係数生成ユニットが第p-1フレームの前のL2フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いることによって予測し、第pフレームにおいて前記予測待ちの周波数点集合に属する各周波数点の位相と振幅を取り得て、予測して得た第pフレームの位相と振幅を用いて第pフレームにおける対応の前記それぞれの周波数点でのMDCT係数のMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、ここで、L2>1であるように設置され、
前記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットを含み、ここで、
前記位相予測サブユニットは、予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
前記振幅予測サブユニットは、該L2フレームにおける1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から第pフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を取り得るように設置される特徴を備えてもよい。
【００４２】
前記フレーム損失補償器は、前記位相予測サブユニットが、L2＝2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点mに対して、
【００４３】
【数９】
0005400963.tif 000010
【００４４】
、ここで、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、前記
【００４５】
【数１０】
0005400963.tif 000011
【００４６】
は第pフレームにおける周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
【００４７】
【数１１】
0005400963.tif 000012
【００４８】
は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、前記
【００４９】
【数１２】
0005400963.tif 000013
【００５０】
は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相であるように設置される特徴を備えてもよい。
【００５１】
前記フレーム損失補償器は、前記位相予測サブユニットが、L2>2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置される特徴を備えてもよい。
【００５２】
前記フレーム損失補償器は、前記マルチ高調波フレーム損失補償モジュールが、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームにおけるMDCT-MDSTドメインでの位相と振幅予測を用いて第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得るように設置される特徴を備えてもよい。
【００５３】
前記フレーム損失補償器は、前記第2補償モジュールが、第p-1フレームのMDCT係数値の半分を採用して第pフレームにおける前記予測待ちの周波数点集合の以外の周波数点のMDCT係数値とするように設置される特徴を備えてもよい。
【発明の効果】
【００５４】
本発明が提出するMDCTドメインオーディオフレーム損失補償器及び補償方法は、非マルチ高調波フレームに対して、現在損失フレーム的MDCT係数がその前の複数のフレームのMDCT係数値を用いて計算して得られ、マルチ高調波フレームに対して、それがMDCT-MDSTドメインでの特性を利用して現在損失フレームのMDCT係数を取り得る。従来技術に対して、本発明が無遅延、計算量メモリ量が小さく、実現しやすい等のメリットを有する。
【図面の簡単な説明】
【００５５】
【図１】本発明におけるフレーム順序模式図である。
【図２】本発明におけるMDCTドメインのオーディオフレーム損失補償方法のフローチャートである。
【図３】本発明におけるマルチ高調波/非マルチ高調波フレームの判断フローチャートである。
【図４】本発明におけるマルチ高調波フレームのフレーム損失補償方法のフローチャートである。
【図５】本発明の実施例1におけるマルチ高調波フレーム損失補償MDCT係数の計算方法のフローチャートである。
【図６】本発明におけるMDCTドメインのオーディオフレーム損失補償器ブロック図である。
【図７】本発明のほかの実施例におけるMDCTドメインのオーディオフレーム損失補償器のブロック図である。
【図８】本発明のまた他の実施例におけるMDCTドメインのオーディオフレーム損失補償器のブロック図である。
【発明を実施するための形態】
【００５６】
本発明は、高調波信号がMDCT-MDSTドメインでの位相が線形を呈する特徴を利用し、現在損失フレームの前の複数のフレームの情報を用いて予測し、現在損失フレームのMDCT-MDSTドメインの位相と振幅を取り得て、さらに、現在損失フレームのMDCT係数を取り得て、現在損失フレームのMDCT係数によって現在損失フレームの時間領域信号を取り得る主な思想とする。
【００５７】
本発明はMDCTドメインのオーディオフレーム損失補償方法を提案し、図2に示すように、以下のステップを含む。
【００５８】
ステップS1、復号側に現在フレームのデータパケットが損失することを発見すると、該現在フレームを現在損失フレームと称し、該現在損失フレームのタイプを判断し、現在損失フレームが非マルチ高調波フレームであると、ステップS2を実行し、ではないと、ステップS3を実行し、
ここで、該現在損失フレームのタイプを判断するには現在損失フレームの前のKフレームのMDCT係数によって判断し、図3に示すように、
1a)現在損失フレームの前のKフレームにおけるそれぞれのフレームに対して、該フレームのスペクトラムフラットネスを計算し、そのスペクトラムフラットネスが1つの予め設置したしきいより小さい際に、該フレームが主にマルチ高調波からなり、マルチ高調波定常状態信号フレームであると考えることと、
1b) 上記前のKフレームにおいてマルチ高調波定常状態信号フレームの数目がK0フレームより小さいまたはそれと等しいと、現在損失フレームが非マルチ高調波フレームであり、ないと、マルチ高調波フレーム（例えば音楽フレーム）であると考え、ここで、K0<=K 、K0、Kが予め設置された値であることを含む。
【００５９】
本発明は、現在損失フレームのタイプを判断するには図3に示すような方法に限られなく、他の方法によって判断してもよく、例えば、ゼロ交差レートによって判断し、本発明がこれに限られない。
【００６０】
ステップS2、現在損失フレームが非マルチ高調波フレームであると判断し、1つのフレーム内のすべての周波数点に対して、現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、次に、ステップS4を実行する。
【００６１】
例えば、現在損失フレームの1つ前のフレームのMDCT係数値の半分または他の割合を採用して現在損失フレームのMDCT係数値とする。
【００６２】
ステップS3、現在損失フレームがマルチ高調波フレームであると判断し、無遅延マルチ高調波フレーム損失補償アルゴリズムで推定して現在損失フレームのMDCT係数を取り得て、図4に示すように、具体的に、
3a）第pフレームのデータパケットが損失すると、即ち現在損失フレームが第pフレームであり、第pフレームの前にL1フレームを取ることを含む。
【００６３】
該L1フレームにおいて第p-1フレームを含む際に、現在損失フレームの前フレームにおいて復号して得たMDCT係数によって、FMDST (Fast Modified Discrete Sine Transform、高速修正離散サイン変換)アルゴリズムで該L1フレームにおいて第p-1フレームの以外のL1-1フレームのMDST（Modified Discrete Sine Transform、修正離散サイン変換）係数を取り得る。該L1-1フレームにおけるそれぞれのフレームに対して、毎フレームのMDST係数とMDCT係数を該フレームのMDCT-MDSTドメイン複素数信号に組成し、ここで、MDCT係数が実部パラメータであり、MDST係数が虚部パラメータである。
【００６４】
該L1フレームには第p-1フレームを含まない際に、現在損失フレームの前フレームにおいて復号して得たMDCT係数によって、FMDSTアルゴリズムで該L1フレームのMDST係数を取り得て、該L1フレームにおけるそれぞれのフレームに対して、毎フレームのMDST係数とMDCT係数を該フレームのMDCT-MDSTドメイン複素数信号に組成し、ここで、MDCT係数が実部パラメータであり、MDST係数が虚部パラメータである。
【００６５】
ここで、MDST係数を計算する方法は次の通りである。
【００６６】
第p-1フレームと第p-2フレームのMDCT係数によって逆MDCT変換して第p-2フレームの時間領域信号を取り得て、第p-2フレームと第p-3フレームのMDCT係数によって逆MDCT変換して第p-3フレームの時間領域信号を取り得て、以上の通りであり、
第p-2フレームと第p-3フレームの時間領域信号によってFMDSTアルゴリズムで第p-2フレームのMDST係数を取り得て、第p-3フレームと第p-4フレームの時間領域信号によってFMDSTアルゴリズムで第p-3フレームのMDST係数を取り得て、以上の通りである。
【００６７】
ここで、第pフレーム、第p-1フレーム等の各フレームの順序は図1に示す。
【００６８】
3b）上記L1フレームに対して毎フレームのピーク周波数点集合を求める。
【００６９】
このL1フレームには第p-1フレームを含むと、
第p-1フレームに対して、第p-1フレームのMDCT係数によって第p-1フレームにおいて各周波数点的パワーを計算し、該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得し、
第p-1フレームの以外のそれぞれのフレームに対して、該フレームのMDCT-MDSTドメイン複素数信号によって該フレームにおいて各周波数点のパワーを計算し、該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得し、ここで、ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である。
【００７０】
このL1フレームには第p-1フレームを含まないと、
該L1フレームにおけるそれぞれのフレームに対して、いずれもそのMDCT-MDSTドメイン複素数信号によって該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得する。
【００７１】
このL1個の集合における周波数点数が同様でまたは異なってもよい。
【００７２】
他の方式でこのL1個の集合を取得しても良く、例えば、それぞれのフレームに対して直接にパワーが1つの設定された閾値より大きいピーク周波数点からなる集合を取って、それぞれのフレームが取った閾値は同様でまたは異なってもよい。
【００７３】
3c）L1>1であると、仮にこのL1個の周波数点集合がS1,…,SL1と言われ、集合における対応の周波数点数がN1,…,NL1であると、1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、（j=1…Ni）、mj, mj±1,…,mj±k（kが非負の整数であり、普通にk＝0または1を取る）において同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
Siにおけるそれぞれのピーク周波数点mjに対して、（j=1…Ni）、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れる。
【００７４】
L1＝1であると、仮にこの周波数点集合がS1と言われ、その対応の周波数点数がN1であり、ピーク周波数点集合S1におけるそれぞれのピーク周波数点 mi（i=1…N1）に対して、mi, mi±1,…,mi±k kが非負の整数であり、普通にk＝0または1を取る）をいずれも周波数点集合SCに入れる。
【００７５】
ステップ3a、3b及びステップ3cの以上部分を実行しなくてもよく、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れる。
【００７６】
3d）第p-1フレームの前にL2（L2>1）フレームを取って、該L2フレームを取り得るMDCT-MDSTドメイン複素数信号（具体的な計算方法はステップ3aにおける方法と同様である）を計算する。周波数点集合SCにおけるそれぞれの周波数点に対して、該L2フレームにおけるMDCT-MDSTドメインでの位相を用いて予測し、現在損失フレームにおけるMDCT-MDSTドメインでの位相を取り得て、該L2フレームにおけるMDCT-MDSTドメインでの振幅を用いて予測し、現在損失フレームにおけるMDCT-MDSTドメインでの振幅を取り得て、現在損失フレームの位相と振幅によってさらに現在損失フレームにおける対応の上記それぞれの周波数点でのMDCT係数を取り得る。
【００７７】
L2＝2であると、周波数点集合SCにおけるすべての周波数点に対して、それぞれの予測される予測待ちの周波数点を選択したこの2つのフレームにおける該周波数点での位相を用いて線形外挿し、現在損失フレームにおける該周波数点でのMDCT-MDSTドメイン複素数信号位相を取り得て、この2つのフレームにおいて1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から現在損失フレームにおける該周波数点でのMDCT-MDSTドメイン複素数信号の振幅を取り得て、即ち該2つのフレームにおいて1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を現在損失フレームにおける該周波数点でのMDCT-MDSTドメインの振幅とする。
【００７８】
線形外挿の1つの方法は次の通りである。
【００７９】
L2＝2である際に、第t1フレーム、第t2フレームでこの2つのフレームをそれぞれ表し、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測される予測待ちの周波数点mに対して、
【００８０】
【数１３】
0005400963.tif 000014
【００８１】
、上記
【００８２】
【数１４】
0005400963.tif 000015
【００８３】
は第pフレームにおける周波数点mのMDCT-MDSTドメインでの位相の予測値であり、上記
【００８４】
【数１５】
0005400963.tif 000016
【００８５】
は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、前記
【００８６】
【数１６】
0005400963.tif 000017
【００８７】
は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相である。
【００８８】
L2>2であると、集合SCにおけるすべての周波数点に対して、それぞれの予測待ちの周波数点にこのL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形フィットを行い、現在損失フレームにおける該周波数点でのMDCT-MDSTドメインの複素数信号位相を取り得て、このL2フレームにおける1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から現在損失フレームにおける該周波数点でのMDCT-MDSTドメイン複素数信号の振幅を取り得て、即ち該L2フレームにおける1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を現在損失フレームにおける該周波数点でのMDCT-MDSTドメインの振幅とする。
【００８９】
3e）上記周波数点集合SCの他の周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する。例えば、現在損失フレームの1つ前のフレームのMDCT係数値の半分を現在損失フレームのMDCT係数値とする。
【００９０】
本発明の他の実施例において、ステップS3では、ステップ3aの前に、「1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する」ステップを実行し、次に、ステップ3a、3b、3c及び3dを実行した後ステップ3eをスキップしてステップS4に進入しても良く、或いは、ステップ3dの前に「1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する」こと実行し、次に、ステップ3dを実行した後ステップ3eをスキップしてステップS4に進入してもよい。
【００９１】
他の変形を加えてもよく、例えば、ステップ3eはステップ3cの後ステップS4の前に実行すればよく、即ち周波数点集合SCを取り得た後実行できる。
【００９２】
ステップS4、上記現在損失フレームにおけるすべての周波数点でのMDCT係数にIMDCT（Inverse MDCT、修正離散コサイン逆変換）変換を行い、現在損失フレームの時間領域信号を取り得る。
【００９３】
上述実施例は以下のように変化しても良く、先に初期補償を行い、即ち先に1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレーム的のMDCT係数値を用いて第pフレームのMDCT係数値を計算し、さらに、現在損失フレームのタイプを判断し、現在損失フレームのタイプによって異なるステップを実行し、非マルチ高調波フレームであると、直接にステップS4を実行し、マルチ高調波フレームであると、ステップS3におけるステップ3a、3b、3c及び3dを実行した後ステップ3eをスキップして直接にステップS4を実行してもよい。
【００９４】
以下で、2つの具体的な実施例を参照して本発明についてさらに説明する。
【００９５】
[実施例1]
ステップ110、復号側に現在フレームのデータパケットが損失することを発見し、現在フレーム（即ち現在損失フレーム）が非マルチ高調波フレームであるか或いはマルチ高調波フレーム（例えば多種の高調波からなる音楽フレーム）であるかを判断し、非マルチ高調波フレームであると、ステップ120を実行し、ではないと、ステップ130を実行し、
具体的な判断方法は、
現在損失フレームの前10フレームのスペクトラムフラットネスを計算し、スペクトラムフラットネスが0.1より小さい際に、該フレームがマルチ高調波定常状態信号フレームであると考える。損失フレームの前10フレームには8フレームより大きいものはマルチ高調波定常状態信号フレームである際に、現在損失フレームがマルチ高調波フレームであると考え、ではないと、非マルチ高調波フレームであると考え、スペクトラムフラットネスの計算方法は次の通りである。
【００９６】
第iフレームのスペクトラムフラットネスSFMiは第iフレーム信号の変換ドメインで信号振幅の幾何平均値と算術平均値の比に定義され、
【００９７】
【数１７】
0005400963.tif 000018
【００９８】
ここで、
【００９９】
【数１８】
0005400963.tif 000019
【０１００】
は第iフレーム信号振幅の幾何平均であり、
【０１０１】
【数１９】
0005400963.tif 000020
【０１０２】
は第iフレーム信号振幅の算術平均であり、ci(m)は第iフレームにおける周波数点mでのMDCT係数であり、MがMDCTドメイン信号フレームの長さである。
【０１０３】
ステップ120、現在損失フレームが非マルチ高調波フレームであると判断すると、1つのフレーム内のすべての周波数点に現在損失フレームの1つ前のフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とし、即ち、
【０１０４】
【数２０】
0005400963.tif 000021
【０１０５】
次に、ステップ140を実行する。
【０１０６】
ステップ130、現在損失フレームがマルチ高調波フレームであると判断すると、無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームのMDCT係数を取り得て、ステップ140を実行し、
具体的に無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームMDCT係数を取り得る方法は図5に示すように、第pフレームのデータパケットが損失する際に、
まず、1つのフレーム内のすべての周波数点に第p-1フレームにおける該周波数点でのMDCT係数値の半分を用いて第pフレームにおける該周波数点でのMDCT係数値とし、式(2)に示すように、
次に、現在損失フレームの前フレームにおいて復号して取り得たMDCT係数によって、FMDSTアルゴリズムで第p-2フレームと第p-3フレームのMDST係数sp-2(m)とsp-3(m) を取り得る。取り得た第p-2フレームと第p-3フレームのMDST係数及び第p-2フレームと第p-3フレームのMDCT係数cp-2(m)及びcp-3(m)をMDCT-MDSTドメインの複素数信号に組成し、
【０１０７】
【数２１】
0005400963.tif 000022
【０１０８】
ここで、jが虚数符号である。
【０１０９】
第p-2フレームと第p-3フレームにおいて各周波数点のパワーを計算し、第p-2フレームと第p-3フレームにおいてパワーが最大である前10個のピーク周波数点（いずれかのフレームにおけるピーク周波数点が10個より少ないと、該フレームにおけるすべてのピーク周波数点を取る）をそれぞれ取って周波数点集合mp-2,mp-3に組成する。
【０１１０】
第p-1フレームのMDCT係数によって第p-1フレームにおける各周波数点のパワーを推定する。
【０１１１】
【数２２】
0005400963.tif 000023
【０１１２】
ここで、
【０１１３】
【数２３】
0005400963.tif 000024
【０１１４】
は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、ほかには同様である。
【０１１５】
第p-1フレームにおいてパワーが最大での前10個のピーク周波数点mip-1,i=1…10を求める。該フレームにおけるピーク周波数点数Np-1が10より小さいと、該フレームにおけるすべてのピーク周波数点mip-1,i=1…Np-1を取る。
【０１１６】
それぞれのmip-1に対して、mip-1、mip-1±1（ピーク周波数点の付近の周波数点にそのパワーは大きい可能性があるため、それを第p-1フレームのピーク周波数点の集合に加える）に同時に集合mp-2,mp-3に属する周波数点が存在するかどうかを判断する。同時に集合mp-2,mp-3に属すると、下式（6）−（11）によって第pフレームにおける周波数点mip-1、mip-1±1（mip-1、mip-1±1において1つの点が同時に集合mp-2,mp-3に属すれば、mip-1、mip-1±1この3つの周波数点に次のように計算する）のMDCT-MDSTドメインでの複素数信号の位相と振幅を求め、
【０１１７】
【数２４】
0005400963.tif 000025
【０１１８】
【数２５】
0005400963.tif 000026
【０１１９】
、Aは位相と振幅をそれぞれ表す。例えば、
【０１２０】
【数２６】
0005400963.tif 000027
【０１２１】
は第pフレームにおける周波数点mでの位相であり、
【０１２２】
【数２７】
0005400963.tif 000028
【０１２３】
は第p-2フレームにおける周波数点mでの位相であり、
【０１２４】
【数２８】
0005400963.tif 000029
【０１２５】
は第p-3フレームにおける周波数点mでの位相であり、
【０１２６】
【数２９】
0005400963.tif 000030
【０１２７】
は第pフレームにおける周波数点mでの振幅であり、Ap-2(m)は第p-2フレームにおける周波数点mでの振幅であり、他には同様である。
【０１２８】
従って、補償して取り得た第pフレームにおける周波数点mでのMDCT係数は、
【０１２９】
【数３０】
0005400963.tif 000031
【０１３０】
すべてのmip-1、mip-1±1において同時に集合mp-2,mp-3に属する周波数点がないと、現在損失フレーム内すべての周波数点を式(6)-(12)によってMDCT係数を推定する。
【０１３１】
予測する必要な周波数点を求めなく、直接に現在損失フレーム内すべての周波数点を式(6)-(12)によってMDCT係数を推定してもよい。
【０１３２】
ステップ140、現在損失フレームがすべての周波数点でのMDCT係数をIMDCT変換を行い、現在損失フレームの時間領域信号を取り得る。
【０１３３】
[実施例2]
ステップ210、復号側に現在フレームのデータパケットが損失することを発見し、現在フレーム（即ち現在損失フレーム）が非マルチ高調波フレームであるか或いはマルチ高調波フレーム（例えば多種の高調波からなる音楽フレーム）であるかを判断し、非マルチ高調波フレームであると、ステップ220を実行し、ではないと、ステップ230を実行し、
現在損失フレームが非マルチ高調波フレームであるか或いはマルチ高調波フレームであるかを具体的に判断する方法は、
現在損失フレームの前10フレームのスペクトラムフラットネスを計算し、それぞれのフレームに対して、該フレームのスペクトラムフラットネスが0.1より小さい際に、該フレームがマルチ高調波定常状態信号フレームであると考える。損失フレームの前10フレームには8フレームより大きいものはマルチ高調波定常状態信号フレームである際に、現在損失フレームがマルチ高調波フレームであると考え、ではないと、非マルチ高調波フレームであると考える。その中、の計算方法は次の通りである。
【０１３４】
第iフレームのスペクトラムフラットネスSFMiは第iフレーム信号の変換ドメインで信号振幅の幾何平均値と算術平均値の比に定義され、
【０１３５】
【数３１】
0005400963.tif 000032
【０１３６】
ここで、
【０１３７】
【数３２】
0005400963.tif 000033
【０１３８】
は第iフレーム信号振幅の幾何平均であり、
【０１３９】
【数３３】
0005400963.tif 000034
【０１４０】
は第iフレーム信号振幅の算術平均であり、ci(m)は第iフレームにおける周波数点mでのMDCT係数であり、MがMDCTドメイン信号フレームの長さである。
【０１４１】
ステップ220、現在損失フレームが非マルチ高調波フレームであると判断すると、1つのフレーム内のすべての周波数点に現在損失フレームの1つ前のフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とし、即ち、
【０１４２】
【数３４】
0005400963.tif 000035
【０１４３】
次に、ステップ240を実行する。
【０１４４】
ステップ230、現在損失フレームがマルチ高調波フレームであると判断すると、無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームのMDCT係数を取り得て、ステップ240を実行し、
具体的に無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームMDCT係数を取り得る方法は、第pフレームのデータパケットが損失する際に、現在損失フレームの前フレームが復号して取り得たMDCT係数によって、FMDSTアルゴリズムで第p-2フレーム、第p-3フレーム及び第p-4フレームのMDST係数sp-2(m)、sp-3(m) 及びsp-4(m) を取り得る。取り得た第p-2フレーム、第p-3フレーム及び第p-4フレームのMDST係数と第p-2フレーム、第p-3フレーム及び第p-4フレームのMDCT係数cp-2(m)、cp-3(m) 及びcp-4(m) をMDCT-MDSTドメインの複素数信号に組成し、
【０１４５】
【数３５】
0005400963.tif 000036
【０１４６】
ここで、jが虚数符号である。
【０１４７】
第p-2フレーム、第p-3フレーム及び第p-4フレームにおいて各周波数点のパワーを計算し、第p-2フレーム、第p-3フレーム及び第p-4フレームにおいてパワーが最大である前10個のピーク周波数点（いずれかのフレームにおけるピーク周波数点が10個より少ないと、該フレームにおけるすべてのピーク周波数点を取る）をそれぞれ取って周波数点集合mp-2,mp-3,mp-4に組成する。
【０１４８】
周波数点集合mp-4におけるそれぞれの周波数点mip-4に対して、mip-4、mip-4±1（ピーク周波数点の付近の周波数点にそのパワーは大きい可能性があるため、それを第p-4フレームのピーク周波数点の集合に加える）においてに同時に集合mp-2,mp-3に属する周波数点が存在するかどうかを判断する。同時に集合mp-2,mp-3に属する周波数点が存在すると、下式（18）−（27）によって第pフレームにおける周波数点mip-1、mip-1±1（mip-1、mip-1±1において1つの点が同時に集合mp-2,mp-3に属すれば、mip-1、mip-1±1この3つの周波数点に次のように計算する）のMDCT-MDSTドメインでの複素数信号の位相と振幅を求め、
【０１４９】
【数３６】
0005400963.tif 000037
【０１５０】
【数３７】
0005400963.tif 000038
【０１５１】
、Aは位相と振幅をそれぞれ表す。例えば、
【０１５２】
【数３８】
0005400963.tif 000039
【０１５３】
は第pフレームにおける周波数点mでの位相であり、
【０１５４】
【数３９】
0005400963.tif 000040
【０１５５】
は第p-2フレームにおける周波数点mでの位相であり、
【０１５６】
【数４０】
0005400963.tif 000041
【０１５７】
は第p-3フレームにおける周波数点mでの位相であり、
【０１５８】
【数４１】
0005400963.tif 000042
【０１５９】
は第pフレームにおける周波数点mでの振幅であり、Ap-2(m)は第p-2フレームにおける周波数点mでの振幅であり、他には同様である。
【０１６０】
以下で、最小二乗法で異なるフレームにおける同一の周波数点での位相の線形フィット関数
【０１６１】
【数４２】
0005400963.tif 000043
【０１６２】
を求め、
ここで、xがフレーム番号を表し、a0,a1が求めたい線形フィット関数の係数を表す。
【０１６３】
最小二乗準則でフィット誤差を測定する方法によって、方程式
【０１６４】
【数４３】
0005400963.tif 000044
【０１６５】
からa0,a1を解する。他の実施例において、最小二乗準則と異なるほかの準則でフィット誤差を測定し、フィット係数を推定する。解したa0,a1によれば第pフレームにおける周波数点mでの位相
【０１６６】
【数４４】
0005400963.tif 000045
【０１６７】
を推定して取り得ることができ、
従って、補償して取り得た第pフレームにおける周波数点mでのMDCT係数が
【０１６８】
【数４５】
0005400963.tif 000046
【０１６９】
であり、
すべてのmip-4、mip-4±1において同時に集合mp-2,mp-3に属する周波数点が存在すると、SCで上記のすべての式(18)-(28)によって補償する周波数点からなる集合を表し、1つのフレーム内における周波数点集合SCの外での周波数点に現在損失フレームの1つ前のフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とする。
【０１７０】
すべてのmip-4、mip-4±1において同時に集合mp-2,mp-3に属する周波数点がないと、現在損失フレーム内のすべての周波数点を式(18)-(28)によってMDCT係数を推定する。
【０１７１】
予測する必要な周波数点を求めなく、直接に現在損失フレーム内すべての周波数点を式(18)-(28)によってMDCT係数を推定してもよい。
【０１７２】
ステップ240、現在損失フレームにおけるすべての周波数点でのMDCT係数にIMDCT変換を行い、現在損失フレームの時間領域信号を取り得る。
【０１７３】
本発明はさらにMDCTドメインのオーディオフレーム損失補償器を提供し、フレームタイプ検出モジュール、非マルチ高調波フレーム損失補償モジュール、マルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、図6に示すように、ここで、
上記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、非マルチ高調波フレームであると、非マルチ高調波フレーム損失補償モジュールを指示して補償し、マルチ高調波フレームであると、上記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置され、現在損失フレームのタイプを具体的に判断する方法は以上の通りであり、ここで説明しない。
【０１７４】
上記非マルチ高調波フレーム損失補償モジュールは、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をIMDCTモジュールに送信するように設置され、
上記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、上記予測待ちの周波数点集合におけるそれぞれの周波数点に第p-1フレームの前の複数のフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて第pフレームにおける対応の上記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、上記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
上記マルチ高調波フレーム損失補償モジュールは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に第p-2フレーム、第p-3フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得るように設置される。
【０１７５】
上記マルチ高調波フレーム損失補償モジュールは予測待ちの周波数点集合を取得する際に、第pフレームの前の複数のフレーム的MDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合を取得し、或いは、直接に1つのフレーム内のすべての周波数点を上記周波数点集合に入れる。
【０１７６】
上記第2補償モジュールは、1つのフレーム内に上記予測待ちの周波数点集合以外の周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームにおける該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信し、さらに、上記第2補償モジュールは第p-1フレームのMDCT係数値の半分を用いて第pフレームにおける上記予測待ちの周波数点集合の以外の周波数点のMDCT係数値とするように設置される。
【０１７７】
上記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットと係数生成ユニットをさらに含み、ここで、
上記周波数点集合生成ユニットは、予測待ちの周波数点集合SCを生成するように設置され、
上記係数生成ユニットは、第p-1フレームの前のL2フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおいて周波数点集合SCに属する各周波数点の位相と振幅を取り得て、上記予測して得た第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて、第pフレームにおける対応の上記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、ここで、L2>1であるように設置される。
【０１７８】
上記周波数点集合生成ユニットは、次のように予測待ちの周波数点集合SCを生成し、上記第pフレームの前の複数のフレームをL1フレームとし、上記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなる集合S1,…,SL1を取得し、各集合における対応の周波数点数がN1,…,NL1であり、
上記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mj mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れるように設置され、
ここで、kが非負の整数である。上記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である。
【０１７９】
上記L1フレームには第p-1フレームを含む際に、上記周波数点集合生成ユニットが、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【０１８０】
【数４６】
0005400963.tif 000047
【０１８１】
、ここで、
【０１８２】
【数４７】
0005400963.tif 000048
【０１８３】
は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームにおける周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームにおける周波数点m−1でのMDCT係数である。
【０１８４】
上記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットをさらに含み、ここで、
上記位相予測サブユニットは、予測待ちの周波数点に選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
上記振幅予測サブユニットは、該L2フレームにおける1つのフレームの該周波数点のMDCT-MDSTドメインでの振幅から第pフレームにおける該周波数点のMDCT-MDSTドメインでの振幅を取り得るように設置される。
【０１８５】
L2＝2である際に、第t1フレーム、第t2フレームでこのフレームをそれぞれ表し、上記位相予測サブユニットは第pフレームのMDCT-MDSTドメインの位相を次のように予測し、予測待ちの周波数点mに対して、
【０１８６】
【数４８】
0005400963.tif 000049
【０１８７】
、上記
【０１８８】
【数４９】
0005400963.tif 000050
【０１８９】
は第pフレームにおける周波数点mのMDCT-MDSTドメインでの位相の予測値であり、上記
【０１９０】
【数５０】
0005400963.tif 000051
【０１９１】
は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、上記
【０１９２】
【数５１】
0005400963.tif 000052
【０１９３】
は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相である。
【０１９４】
L2>2である際に、上記位相予測サブユニットは第pフレームのMDCT-MDSTドメインの位相を次のように予測し、予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を線形フィットし、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得る。
【０１９５】
上記IMDCTモジュールは、上記現在損失フレームにおけるすべての周波数点でのMDCT係数をIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
【０１９６】
図6に示すように、MDCTドメインのオーディオフレーム損失補償器は変更しても良く、図7に示すように、フレームタイプ検出モジュール、非マルチ高調波フレーム損失補償モジュール、マルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、第2補償モジュールとフレームタイプ検出モジュールはマルチ高調波フレーム損失補償モジュールに接続し、マルチ高調波フレーム損失補償モジュールがIMDCTモジュールに接続し、ここで、
上記第2補償モジュールは、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をマルチ高調波フレーム損失補償モジュールに送信するように設置され、
上記マルチ高調波フレーム損失補償モジュールは、予測待ちの周波数点集合を取得し、第pフレームにおける予測待ちの周波数点集合において各周波数点のMDCT係数を取り得て、具体的な方法は図6にはマルチ高調波フレーム損失補償モジュールと同様であり、予測待ちの周波数点集合の外の各周波数点に第2補償モジュールから取り得たMDCT係数を用いて第pフレームにおける該周波数点でのMDCT係数とし、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置される。
【０１９７】
他の各モジュール機能は図6には各モジュールと同様で、ここで説明しない。
【０１９８】
図8に示すように、本発明のもう1つのMDCTドメインのオーディオフレーム損失補償器ブロック図であり、ここで、MDCTドメインのオーディオフレーム損失補償器は非マルチ高調波フレーム損失補償モジュール、フレームタイプ検出モジュール、マルチ高調波フレーム損失補償モジュール及びIMDCTモジュールを備え、ここで、
上記非マルチ高調波フレーム損失補償モジュールは、損失フレームを検出する際に、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をフレームタイプ検出モジュールに送信するように設置され、
上記フレームタイプ検出モジュールは、現在損失フレームのタイプを判断し、非マルチ高調波フレームであると、非マルチ高調波フレーム損失補償モジュールから受信したMDCT係数をIMDCTモジュールに送信し、マルチ高調波フレームであると、該MDCT係数をマルチ高調波フレーム損失補償モジュールに送信するように設置され、現在損失フレームのタイプを具体的に判断する方法は以上の通りであり、ここで説明しない。
【０１９９】
上記マルチ高調波フレーム損失補償モジュールは、予測待ちの周波数点集合を取得し、第pフレームにおける予測待ちの周波数点集合において各周波数点のMDCT係数を取り得て、具体的な方法は図6にはマルチ高調波フレーム損失補償モジュールと同様であり、予測待ちの周波数点集合の外の各周波数点にフレームタイプ検出モジュールから取り得たMDCT係数を用いて第pフレームにおける該周波数点でのMDCT係数とし、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
上記IMDCTモジュールは、上記現在損失フレームにおけるすべての周波数点でのMDCT係数にIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
【０２００】
本発明が提案するフレーム損失補償方法及びフレーム損失補償器は、
リアルタイムかつ双方向の通信、例えば、無線、IP会議テレビ及びリアルタイム放送サービスのIPTV、モバイルストリーミングメディア、モバイルTV等の分野のオーディオフレーム損失補償問題に適用でき、トランスポートストリームの誤り耐性の能力を向上するようにする。本発明は補償操作によって音声オーディオネットワーク伝送のパケット損失による音質の下降をよく避け、パケット損失後の音声オーディオ品質の快適度を向上し、良好な主観的な聴覚効果を取得することができる。
【産業上の利用可能性】
【０２０１】
従来技術に比べ、本発明が提案するMDCTドメインのオーディオフレーム損失補償器及び補償方法は、無遅延、計算量メモリ量が小さく、実現やすい等のメリットを有する。
【図１】
0005400963.tif 000064
【図２】
0005400963.tif 000065
【図３】
0005400963.tif 000066
【図４】
0005400963.tif 000067
【図５】
0005400963.tif 000068
【図６】
0005400963.tif 000069
【図７】
0005400963.tif 000070
【図８】
0005400963.tif 000071