(57)【特許請求の範囲】
【請求項１】
オーディオ信号のスペクトル置換値を生成する装置（１００）であって、
先行して受信されたエラー無しのオーディオフレームに関連する先行スペクトル値を記憶するバッファユニット（１１０）と、
現在のオーディオフレームが受信不完全である場合やエラーを含む場合に、スペクトル置換値を生成する隠しフレーム生成部（１２０）と、を備え、
前記先行して受信されたエラー無しのオーディオフレームはフィルタ情報を含み、前記フィルタ情報には予測フィルタの安定度を示すフィルタ安定度値が関連付けられており、前記隠しフレーム生成部（１２０）は、前記先行スペクトル値に基づきかつ前記フィルタ安定度値に基づいて、前記スペクトル置換値を生成するよう構成されている、装置。
【請求項２】
請求項１に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は、前記先行スペクトル値の正負符号をランダムにフリップさせることで、前記スペクトル置換値を生成するよう構成されている、装置。
【請求項３】
請求項１又は２に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は、前記フィルタ安定度値が第１の値を持つ場合には、前記先行スペクトル値の各々を第１ゲインファクタで乗算し、前記フィルタ安定度値が前記第１の値よりも小さい第２の値を持つ場合には、前記先行スペクトル値の各々を前記第１ゲインファクタよりも小さい第２ゲインファクタで乗算することによって、前記スペクトル置換値を生成するよう構成されている、装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の装置であって、前記隠しフレーム生成部（１２０）は、前記フィルタ安定度値に基づいて前記スペクトル置換値を生成するよう構成されており、前記先行して受信されたエラー無しのオーディオフレームが前記予測フィルタの第１予測フィルタ係数を含み、当該先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームが第２予測フィルタ係数を含み、前記フィルタ安定度値は前記第１予測フィルタ係数と前記第２予測フィルタ係数とに依存している、装置。
【請求項５】
請求項４に記載の装置であって、前記隠しフレーム生成部（１２０）は、前記先行して受信されたエラー無しのオーディオフレームの前記第１予測フィルタ係数に基づき、かつ当該先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームの前記第２予測フィルタ係数に基づいて、前記フィルタ安定度値を決定するよう構成されている、装置。
【請求項６】
請求項４又は５に記載の装置であって、前記隠しフレーム生成部（１２０）は、前記フィルタ安定度値に基づいて前記スペクトル置換値を生成するよう構成され、前記フィルタ安定度値は距離の測度ＬＳＦdistに依存しており、当該距離の測度ＬＳＦdistは次式により定義され、
【数１】
0005849106.tif 000011
ここで、ｕ+１は前記先行して受信されたエラー無しのオーディオフレームの前記第１予測フィルタ係数の個数を表し、ｕ+１はまた、当該先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームの前記第２予測フィルタ係数の個数を表し、ｆiは前記第１予測フィルタ係数のi番目のフィルタ係数を表し、ｆi(p)は前記第２予測フィルタ係数のi番目のフィルタ係数を表す、装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は、前記先行して受信されたエラー無しのオーディオフレームに関するフレーム分類情報にさらに基づいて、前記スペクトル置換値を生成するよう構成されている、装置。
【請求項８】
請求項７に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は前記フレーム分類情報に基づいて前記スペクトル置換値を生成するよう構成されており、前記フレーム分類情報は、前記先行して受信されたエラー無しのオーディオフレームが「人工的なオンセット」、「オンセット」、「発声された遷移」、「発声されない遷移」、「発声されない」又は「発声された」として分類される、装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は、最後のエラー無しのオーディオフレームが受信機に到着した後の、受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数にさらに基づいて、前記スペクトル置換値を生成するよう構成されており、このとき、前記最後のエラー無しのオーディオフレームが前記受信機に到着した後には他のエラー無しのオーディオフレームが前記受信機に全く到着していない、装置。
【請求項１０】
請求項９に記載の装置（１００）であって、
前記隠しフレーム生成部（１２０）は、前記フィルタ安定度値に基づいて、かつ前記受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数に基づいて、フェードアウトファクタを計算するよう構成されており、
前記隠しフレーム生成部（１２０）は、前記フェードアウトファクタに、前記先行スペクトル値のうちの少なくとも幾つかを乗算すること、又は中間値のグループ内の少なくとも幾つかの値を乗算することで、前記スペクトル置換値を生成するよう構成されており、ここで前記中間値の各々は前記先行スペクトル値の少なくとも１つに依存する、装置。
【請求項１１】
請求項１乃至１０のいずれか１項に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は、前記先行スペクトル値と、前記フィルタ安定度値と、時間的ノイズ成形の予測ゲインとに基づいて、前記スペクトル置換値を生成するよう構成されている、装置。
【請求項１２】
オーディオ信号復号器であって、
スペクトルオーディオ信号値を復号化する装置（６１０）と、
請求項１乃至１１のいずれか１項に従ってスペクトル置換値を生成する装置（６２０）と、を備え、
前記スペクトルオーディオ信号値を復号化する装置（６１０）は、先行して受信されたエラー無しのオーディオフレームに基づいてオーディオ信号のスペクトル値を復号化するよう構成され、更に前記スペクトルオーディオ信号値を復号化する装置（６１０）は、前記スペクトル置換値を生成する装置（６２０）のバッファユニット内のオーディオ信号のスペクトル値を記憶するよう構成され、
前記スペクトル置換値を生成する装置（６２０）は、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合に、前記バッファユニットに記憶された前記スペクトル値に基づいて前記スペクトル置換値を生成するよう構成されている、オーディオ信号復号器。
【請求項１３】
オーディオ信号復号器であって、
受信されたエラー無しのフレームに基づいて第１中間スペクトル値を生成する復号化ユニット（７１０）と、
前記第１中間スペクトル値に対して時間的ノイズ成形を実行して第２中間スペクトル値を得る時間的ノイズ成形ユニット（７２０）と、
前記第１中間スペクトル値と前記第２中間スペクトル値とに依存して前記時間的ノイズ成形の予測ゲインを計算する予測ゲイン計算部（７３０）と、
現在のオーディオフレームが受信不完全であるか又はエラーを含む場合に、請求項１乃至１１のいずれか１項に従ってスペクトル置換値を生成する装置（７４０）と、
前記予測ゲインが閾値以上である場合には、前記スペクトル置換値を生成する装置（７４０）のバッファユニット（７４５）内に前記第１中間スペクトル値を記憶し、予測ゲインが前記閾値未満である場合には、前記スペクトル置換値を生成する装置の前記バッファユニット内に前記第２中間スペクトル値を記憶する、値選択部（７５０）と、
を備えるオーディオ信号復号器。
【請求項１４】
オーディオ信号復号器であって、
受信されたエラー無しのオーディオフレームに基づいて生成済みのスペクトル値を生成する第１復号化モジュール（８１０）と、
請求項１乃至１１のいずれか１項に従ってスペクトル置換値を生成する装置（８２０）と、
時間的ノイズ成形を実行し、ノイズ充填を適用し又はグローバルゲインを適用することによって、前記生成済みのスペクトル値を処理し、復号化されたオーディオ信号のスペクトルオーディオ値を得る、処理モジュール（８３０）と、を備え、
現在のフレームが受信不完全である又はエラーを含む場合には、前記スペクトル置換値を生成する装置（８２０）がスペクトル置換値を生成し、かつそれらスペクトル置換値を前記処理モジュール（８３０）へと供給するよう構成されている、オーディオ信号復号器。
【請求項１５】
オーディオ信号のスペクトル置換値を生成する方法であって、
先行して受信されたエラー無しのオーディオフレームに関連する先行スペクトル値を記憶するステップと、
現在のオーディオフレームが受信不完全である場合やエラーを含む場合に、スペクトル置換値を生成するステップであって、前記先行して受信されたエラー無しのオーディオフレームはフィルタ情報を含み、前記フィルタ情報には当該フィルタ情報により定義される予測フィルタの安定度を示すフィルタ安定度値が関連付けられており、前記スペクトル置換値は、前記先行スペクトル値に基づきかつ前記フィルタ安定度値に基づいて生成される、方法。
【請求項１６】
コンピュータ又は信号処理器によって実行されたとき、請求項１５に記載の方法を実行するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号処理に関し、特に、低遅延の統合されたスピーチ及びオーディオ符号化（Low-Delay Unified Speech and Audio Coding: 省略形はＬＤ-ＵＳＡＣ）におけるエラー隠しのための装置及び方法に関する。
【背景技術】
【０００２】
オーディオ信号処理は多くの方法で発展を遂げ、ますます重要となってきた。オーディオ信号処理においては、低遅延の統合されたスピーチ及びオーディオ符号化は、スピーチと、オーディオと、スピーチ及びオーディオの任意の混合とに適合する符号化技術を提供することを目的としている。さらに、ＬＤ-ＵＳＡＣは、符号化されたオーディオ信号について高品質を保証することを目的としている。ＵＳＡＣ（Unified Speech and Audio Coding:統合されたスピーチ及びオーディオ符号化）と比べてＬＤ-ＵＳＡＣにおける遅延は低減されている。
【０００３】
オーディオデータを符号化する際に、ＬＤ-ＵＳＡＣ符号器は符号化されるべきオーディオ信号を検査する。ＬＤ-ＵＳＡＣ符号器は、予測フィルタの線形予測フィルタ係数を符号化することで、オーディオ信号を符号化する。特定のオーディオフレームごとに符号化されるべきオーディオデータに基づいて、ＬＤ-ＵＳＡＣ符号器は、ＡＣＥＬＰ(Advanced Code Excited Linear Prediction:高度符号励起線形予測)を符号化のために使用すべきか、又はそのオーディオデータをＴＣＸ(Transform Coded Excitation: 変換符号化励起)を使用して符号化すべきかについて判定する。ＡＣＥＬＰが、ＬＰ（線形予測）フィルタ係数と適応型の符号帳インデックスと代数型の符号帳インデックスと適応型及び代数型の符号帳ゲインとを使用する一方で、ＴＣＸは、ＬＰフィルタ係数とエネルギーパラメータと修正離散コサイン変換（ＭＤＣＴ）に関連する量子化のインデックスとを使用する。
【０００４】
復号器側では、ＬＤ-ＵＳＡＣ復号器が現在のオーディオ信号フレームのオーディオデータを符号化するためにＡＣＥＬＰ又はＴＣＸが使用されたかどうかを判定する。復号器は次に、その判定に応じてオーディオ信号フレームを復号化する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】3GPP, “Audio codec processing functions; Extended Adaptive Multi-Rate _ Wideband (AMR-WB+) codec; Transcoding functions”, 2009, 3GPP TS 26.290.
【非特許文献２】USAC codec (Unified Speech and Audio Codec), ISO/IEC CD 23003-3 dated September 24, 2010
【非特許文献３】3GPP, “Speech codec speech processing functions; Adaptive Multi-Rate _ Wideband (AMR-WB) speech codec; Transcoding functions”, 2009, V9.0.0, 3GPP TS 26.190.
【非特許文献４】ISO/IEC 14496-3:2005: Information technology _ Coding of audio-visual objects _ Part 3: Audio, 2005
【非特許文献５】ITU-T G.718 (06-2008) specification
【発明の概要】
【発明が解決しようとする課題】
【０００６】
時折ではあるが、データの送信は失敗する。例えば、送信者によって送信されたオーディオ信号フレームが受信者側ではエラーと共に到着していたり、全く到着しなかったり、又はフレームが遅れたりすることがある。
【０００７】
これらの場合には、欠損している又はエラーを有するオーディオデータが置き換えられ得るように、エラー隠しが必要になる可能性がある。この点は、リアルタイムの要件を持つアプリケーションにとっては特に切実となる。なぜなら、エラーを有する又は欠損しているフレームの再送信を要求することは、低遅延の要件に違反する可能性があるからである。
【０００８】
しかし、他のオーディオアプリケーションに使用される現存の隠しテクニックでは、合成アーチファクトによって引き起こされる人工的な音声を生成してしまう場合が多い。
【課題を解決するための手段】
【０００９】
そこで、本発明の目的は、オーディオ信号フレームのエラー隠しのための改善された概念を提供することである。本発明のこの目的は、請求項１に記載の装置と、請求項１５に記載の方法と、請求項１６に記載のコンピュータプログラムとによって達成される。
【００１０】
オーディオ信号のスペクトル置換値(spectral replacement values)を生成するための装置が提供される。この装置は、先行して受信されたエラー無しのオーディオフレームに関連する先行スペクトル値を記憶するためのバッファユニットを備える。この装置は、現在のオーディオフレームが受信不完全である場合やエラーを含む場合にスペクトル置換値を生成するための隠しフレーム生成部をさらに備える。先行して受信されたエラー無しのオーディオフレームはフィルタ情報を含み、そのフィルタ情報には予測フィルタの安定度(stability)を示すフィルタ安定度値が関連付けられている。隠しフレーム生成部は、先行スペクトル値に基づきかつフィルタ安定度値に基づいて、スペクトル置換値を生成するよう構成されている。
【００１１】
本発明は次のような知見に基づいている。即ち、先行して受信されたエラー無しの先行スペクトル値がエラー隠しのために使用されてもよいが、これらの値にはフェードアウトが実行されるべきであり、かつそのフェードアウトは信号の安定度に依存すべきであるという知見である。信号の安定度が低ければ低いほど、そのフェードアウトがより急速に実行されるべきである。
【００１２】
ある実施形態では、隠しフレーム生成部は、先行スペクトル値の正負符号をランダムにフリップさせることで、スペクトル置換値を生成するよう構成されてもよい。
【００１３】
更なる実施形態によれば、隠しフレーム生成部は、フィルタ安定度値が第１の値を持つ場合には、先行スペクトル値の各々を第１ゲインファクタで乗算し、フィルタ安定度値が第１の値よりも小さい第２の値を持つ場合には、先行スペクトル値の各々を第１ゲインファクタよりも小さい第２ゲインファクタで乗算することによって、スペクトル置換値を生成するよう構成されてもよい。
【００１４】
他の実施形態によれば、隠しフレーム生成部は、フィルタ安定度値に基づいてスペクトル置換値を生成するよう構成されてもよく、ここで、先行して受信されたエラー無しのオーディオフレームが予測フィルタの第１予測フィルタ係数を含み、その先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームが第２予測フィルタ係数を含み、フィルタ安定度値は第１予測フィルタ係数と第２予測フィルタ係数とに依存する。
【００１５】
ある実施形態によれば、隠しフレーム生成部は、先行して受信されたエラー無しのオーディオフレームの第１予測フィルタ係数に基づき、かつその先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームの第２予測フィルタ係数に基づいて、フィルタ安定度値を決定するよう構成されてもよい。
【００１６】
他の実施形態によれば、隠しフレーム生成部は、フィルタ安定度値に基づいてスペクトル置換値を生成するよう構成されてもよく、ここで、フィルタ安定度値は距離の測度ＬＳＦdistに依存し、その距離の測度ＬＳＦdistが次式により定義される。
【数１】
0005849106.tif 000002
ここで、ｕ+１は、先行して受信されたエラー無しのオーディオフレームの第１予測フィルタ係数の個数を表し、ｕ+１はまた、その先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームの第２予測フィルタ係数の個数を表し、ｆiは第１予測フィルタ係数のｉ番目のフィルタ係数を表し、ｆi(p)は第２予測フィルタ係数のi番目のフィルタ係数を表す。
【００１７】
ある実施形態によれば、隠しフレーム生成部は、先行して受信されたエラー無しのオーディオフレームに関するフレーム分類情報にさらに基づいて、スペクトル置換値を生成するよう構成されてもよい。例えば、フレーム分類情報は、先行して受信されたエラー無しのオーディオフレームが、「人工的なオンセット」、「オンセット」、「発声された遷移」、「発声されない遷移」、「発声されない」又は「発声された」として分類されることを示す。
【００１８】
ある実施形態によれば、隠しフレーム生成部は、最後のエラー無しのオーディオフレームが受信機に到着してから後の、受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数にさらに基づいて、スペクトル置換値を生成するよう構成されてもよく、このとき、その最後のエラー無しのオーディオフレームが受信機に到着してから後には、他のエラー無しのオーディオフレームは受信機に全く到着していない。
【００１９】
他の実施形態によれば、隠しフレーム生成部は、フィルタ安定度値に基づいて、かつ受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数に基づいて、フェードアウトファクタを計算するよう構成されてもよい。さらに、隠しフレーム生成部は、そのフェードアウトファクタに、先行スペクトル値のうちの少なくとも幾つかを乗算することで、又は、中間値のグループ内の少なくとも幾つかの値を乗算することで、スペクトル置換値を生成するよう構成されてもよく、ここで、中間値の各々は、先行スペクトル値の少なくとも１つに依存する。
【００２０】
更に他の実施形態によれば、隠しフレーム生成部は、先行スペクトル値とフィルタ安定度値と時間的ノイズ成形の予測ゲインとに基づいて、スペクトル置換値を生成するよう構成されてもよい。
【００２１】
更に他の実施形態によれば、オーディオ信号復号器が提供される。そのオーディオ信号復号器は、スペクトルオーディオ信号値を復号化する装置と、上述の実施形態のうちの１つに従ってスペクトル置換値を生成する装置とを備えてもよい。スペクトルオーディオ信号値を復号化する装置は、先行して受信されたエラー無しのオーディオフレームに基づいて、オーディオ信号のスペクトル値を復号化するよう構成されてもよい。更に、スペクトルオーディオ信号値を復号化する装置は、スペクトル置換値を生成する装置のバッファユニット内のオーディオ信号のスペクトル値を記憶するよう構成されてもよい。スペクトル置換値を生成する装置は、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合には、バッファユニットに記憶されたスペクトル値に基づいて、スペクトル置換値を生成するよう構成されてもよい。
【００２２】
更に、他の実施形態に係るオーディオ信号復号器が提供される。そのオーディオ信号復号器は、受信済みのエラー無しのオーディオフレームに基づいて第１中間スペクトル値を生成する復号化ユニットと、第１中間スペクトル値に対して時間的ノイズ成形を実行することで第２中間スペクトル値を得る時間的ノイズ成形ユニットと、第１中間スペクトル値に依存しかつ第２中間スペクトル値に依存して時間的ノイズ成形の予測ゲインを計算する予測ゲイン計算部と、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合にスペクトル置換値を生成するための上述した実施形態のうちの１つに係る装置と、予測ゲインがある閾値以上である場合にはスペクトル置換値を生成する装置のバッファユニット内に第１中間スペクトル値を記憶し、又は予測ゲインがその閾値よりも小さい場合にはスペクトル置換値を生成する装置のバッファユニット内に第２中間スペクトル値を記憶するための値選択部と、を備える。
【００２３】
更に、別の実施形態に係る他のオーディオ信号復号器が提供される。そのオーディオ信号復号器は、受信済みのエラー無しのオーディオフレームに基づいて生成済みのスペクトル値を生成する第１復号化モジュールと、上述の実施形態のうちの１つに従ってスペクトル置換値を生成する装置と、生成済みのスペクトル値に対して時間的ノイズ成形を実行し、ノイズ充填を適用し、及び／又はグローバルゲインを適用することで、復号化されたオーディオ信号のスペクトルオーディオ値を取得するように処理する処理モジュールと、を備える。スペクトル置換値を生成する装置は、現在のフレームが受信不完全であるか又はエラーを含む場合に、スペクトル置換値を生成し、かつそれらを処理モジュールへと供給するよう構成されてもよい。
【００２４】
好適な実施形態は従属項において提供される。
【００２５】
以下に、本発明の好ましい実施形態について図面を参照しながら説明する。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態に係るオーディオ信号のスペクトル置換値を得る装置を示す。
【図２】本発明の他の実施形態に係るオーディオ信号のスペクトル置換値を得る装置を示す。
【図３】本発明の一実施形態に従うゲインファクタと先行スペクトル値との乗算を示す。
【図４ａ】オンセットを含む信号部分の繰り返しを時間ドメインで示す。
【図４ｂ】安定的な信号部分の繰り返しを時間ドメインで示す。
【図５】本発明の一実施形態に従って、生成済みのゲインファクタが図３ａのスペクトル値に対して適用される例を示す。
【図６】本発明の一実施形態に係るオーディオ信号復号器を示す。
【図７】本発明の他の実施形態に係るオーディオ信号復号器を示す。
【図８】本発明の更に他の実施形態に係るオーディオ信号復号器を示す。
【発明を実施するための形態】
【００２７】
図１は、オーディオ信号のスペクトル置換値を生成する装置１００を示す。装置１００は、先行して受信されたエラー無しのオーディオフレームに関する先行スペクトル値を記憶するためのバッファユニット１１０を含む。装置１００は、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合にスペクトル置換値を生成する、隠しフレーム生成部１２０をさらに含む。先行して受信されたエラー無しのオーディオフレームはフィルタ情報を含み、そのフィルタ情報には、予測フィルタの安定度を示すフィルタ安定度値が関連付けられている。隠しフレーム生成部１２０は、先行スペクトル値に基づき、かつフィルタ安定度値にも基づいて、スペクトル置換値を生成するよう構成されている。
【００２８】
先行して受信されたエラー無しのオーディオフレームは、例えば先行スペクトル値を含んでもよい。例えば、その先行スペクトル値は、先行して受信されたエラー無しのオーディオフレーム内に符号化された形態で含まれていてもよい。
【００２９】
他の場合には、先行スペクトル値は、例えば先行して受信されたエラー無しのオーディオフレーム内に含まれていた値（例えばオーディオ信号のスペクトル値）などを修正することによって生成された値であってもよい。例えば、先行して受信されたエラー無しのオーディオフレーム内に含まれていた値が、それら各々にゲインファクタを乗算することによって修正され、先行スペクトル値が取得されてもよい。
【００３０】
他の場合には、先行スペクトル値は、例えば先行して受信されたエラー無しのオーディオフレーム内に含まれる値に基づいて生成された値であってもよい。例えば、先行スペクトル値の各々は、先行して受信されたエラー無しのオーディオフレーム内に含まれる値のうちの少なくとも幾つかを使用することによって生成されたものであってもよく、その結果、先行スペクトル値の各々が、先行して受信されたエラー無しのオーディオフレーム内に含まれる値のうちの少なくとも幾つかに依存してもよい。例えば、先行して受信されたエラー無しのオーディオフレーム内に含まれる値は、中間信号を生成するために使用されていてもよい。一例として、その生成された中間信号のスペクトル値が、先行して受信されたエラー無しのオーディオフレームに関連する先行スペクトル値として認識されてもよい。
【００３１】
矢印１０５は、先行スペクトル値がバッファユニット１１０内に記憶されることを示す。
【００３２】
隠しフレーム生成部１２０は、現在のオーディオフレームが時間内に受信完了していない場合又はエラーを含む場合に、スペクトル置換値を生成してもよい。例えばスペクトル置換値を取得する装置１００が配置され得る受信機に対して、送信機が現在のオーディオフレームを送信することができる。しかし、現在のオーディオフレームは、例えば何らかの送信エラーに起因して受信機に到着できないことがある。又は、送信された現在のオーディオフレームが受信機によって受信されるものの、例えば送信中の障害などにより、現在のオーディオフレームがエラーを含むことがある。そのような場合やその他の場合には、隠しフレーム生成部１２０がエラー隠しのために必要となる。
【００３３】
そのため、現在のオーディオフレームが受信不完全である場合又はエラーを含む場合には、先行スペクトル値の少なくとも幾つかに基づいて、隠しフレーム生成部１２０がスペクトル置換値を生成するよう構成されている。本発明の実施形態によれば、先行して受信されたエラー無しのオーディオフレームはフィルタ情報を含み、フィルタ情報には、そのフィルタ情報によって定義される予測フィルタの安定度を示すフィルタ安定度値が関連付けられている。例えば、オーディオフレームは、例えば線形予測フィルタ係数などの予測フィルタ係数をフィルタ情報として含んでもよい。
【００３４】
隠しフレーム生成部１２０はさらに、予測スペクトル値に基づきかつフィルタ安定度値に基づいて、スペクトル置換値を生成するよう構成されてもよい。
【００３５】
例えば、スペクトル置換値は、先行スペクトル値に基づきかつフィルタ安定度値に基づいて生成されてもよく、その方法は、先行スペクトル値の各々に対してあるゲインファクタが乗算され、このときそのゲインファクタの値がフィルタ安定度値に依存するという方法でもよい。例えば、第１の場合と比較して第２の場合の方がフィルタ安定度値が低いときには、第１の場合と比較して第２の場合の方がゲインファクタが小さくてよい。
【００３６】
他の実施形態によれば、スペクトル置換値は、先行スペクトル値に基づきかつフィルタ安定度値に基づいて生成されてもよい。先行スペクトル値を修正すること、例えば先行スペクトル値の正負符号をランダムにフリップすることによって中間値を生成し、かつその中間値の各々にゲインファクタを乗算することで、スペクトル置換値が生成されてもよく、このとき、ゲインファクタの値はフィルタ安定度値に依存してもよい。例えば、第１の場合と比較して第２の場合の方がフィルタ安定度値が低いときには、第１の場合と比較して第２の場合の方がゲインファクタが小さくてよい。
【００３７】
更なる実施形態によれば、先行スペクトル値を使用してある中間信号が生成されてもよく、その中間信号に対して線形予測フィルタを適用することでスペクトルドメイン合成信号が生成されてもよい。次いで、生成された合成信号の各スペクトル値にゲインファクタを乗算してもよく、このときそのゲインファクタの値がフィルタ安定度値に依存してもよい。上述したように、例えば第１の場合と比較して第２の場合におけるフィルタ安定度値が低いときには、第１の場合と比較して第２の場合におけるゲインファクタが小さくてもよい。
【００３８】
図２に示す特別な実施形態について詳細に説明する。第１フレーム１０１は、スペクトル置換値を取得するための装置１００が配置されている受信機側に到着する。受信機側では、オーディオフレームがエラー無しであるかどうかがチェックされる。エラー無しのオーディオフレームとは、例えばそのオーディオフレーム内に含まれる全てのオーディオデータがエラーを含まないという意味である。そのため、受信されたフレームがエラー無しかどうかを決定する手段（図示せず）が受信機側に設けられてもよい。その目的で、エラーを識別する現状の技術、即ち、受信されたオーディオデータが受信されたチェックビット又は受信されたチェックサムと一致するかどうかを検査する手段が使用されてもよい。又は、エラー検出手段は、巡回冗長検査（ＣＲＣ）を使用して、受信されたオーディオデータが受信されたＣＲＣ値と一致するかどうかを検査してもよい。受信されたオーディオフレームがエラー無しかどうかを検査する他の技術も使用可能である。
【００３９】
第１オーディオフレーム１０１はオーディオデータ１０２を含む。更に、第１オーディオフレームはチェックデータ１０３をも含む。チェックデータは、例えばチェックビット、チェックサム又はＣＲＣ値であってもよく、受信されたオーディオフレーム１０１がエラー無しであるか（エラー無しのフレームであるか）どうかを検査するために、受信機側において使用されてもよい。
【００４０】
もしオーディオフレーム１０１がエラー無しであると判定されると、次にそのエラー無しのオーディオフレーム、例えばオーディオデータ１０２に関連する値は、「先行スペクトル値」としてバッファユニット１１０内に記憶される。これらの値は、例えばオーディオフレーム内で符号化されたオーディオ信号のスペクトル値であってもよい。又は、バッファユニット内で記憶される値は、例えばオーディオフレーム内で記憶された符号化済みの値を処理又は／修正することで得られる中間値であってもよい。代替的に、信号例えばスペクトルドメインの合成信号が、オーディオフレームの符号化済みの値に基づいて生成されてもよく、その生成された信号のスペクトル値がバッファユニット１１０内に記憶されてもよい。先行スペクトル値をバッファユニット１１０内に記憶することは、矢印１０５により示される。
【００４１】
更に、オーディオフレーム１０１のオーディオデータ１０２は、符号化されたオーディオ信号（図示せず）を復号化するために受信機側において使用される。オーディオ信号の復号化された部分は、次に受信機側で再生されてもよい。
【００４２】
オーディオフレーム１０１を処理した後で、受信機側は、（オーディオデータ１１２とチェックサム１１３とを含む）次のオーディオフレーム１１１が受信機側に到着することを期待する。しかし、例えば（図中に１１５で示すように）オーディオフレーム１１１が伝送されている間に、何か予期せぬことが発生することがある。これは参照番号１１６で図示されている。例えば接続に障害が発生し、オーディオフレーム１１１のビットが送信の途中に意図せず修正されてしまうことや、又は例えばオーディオフレーム１１１が受信機側に全く到着しない可能性がある。
【００４３】
そのような状況では隠し操作が必要となる。例えば、受信されたオーディオフレームに基づいて生成されるオーディオ信号が受信機側において再生される場合には、欠損しているフレームをマスクする技術が使用されるべきである。例えば、再生のために必要なオーディオ信号の現在のオーディオフレームが受信機側に到着しないかエラーを含む場合に、どのように処理すべきかについて概念的な定義付けが必要である。
【００４４】
隠しフレーム生成部１２０は、エラー隠しを提供するよう構成されている。図２において、隠しフレーム生成部１２０は、現在のフレームが受信不完全である又はエラーを含むという情報を得る。受信機側では、隠し操作が必要であるということを隠しフレーム生成部１２０に示す（これは破線１１７により示す）ための手段（図示せず）が使用されてもよい。
【００４５】
エラー隠しを実行するために、隠しフレーム生成部１２０は、先行して受信されたエラー無しフレーム１０１に関連する先行スペクトル値（例えば先行するオーディオ値）の一部又は全てをバッファユニット１１０へ要求してもよい。この要求は矢印１１８によって示す。図２に示す例のように、先行して受信されたエラー無しフレームとは、例えばオーディオフレーム１０１などのように受信された最後のエラー無しフレームであってもよい。しかし、先行して受信されたエラー無しフレームとして、異なるエラー無しフレームが受信機側で使用されてもよい。
【００４６】
隠しフレーム生成部は、（例えばオーディオフレーム１０１などの）先行して受信されたエラー無しのオーディオフレームに関連する（一部又は全ての）先行スペクトル値を、参照番号１１９で示すようにバッファユニット１１０から受信する。例えば多数のフレーム損失がある場合には、バッファが完全に又は部分的に更新される。一実施形態においては、矢印１１８と１１９とにより示されるステップは、隠しフレーム生成部１２０がバッファユニット１１０から先行スペクトル値をロードすることで実現されてもよい。
【００４７】
次に隠しフレーム生成部１２０は、先行スペクトル値の少なくとも幾つかに基づいてスペクトル置換値を生成する。これにより、受聴者は１つ又はそれ以上のオーディオフレームが欠損していることには気づかず、その結果、再生によって創造される音響の印象が障害を受けることはない。
【００４８】
隠し操作を達成する単純な方法は、欠損しているまたはエラーを含む現在のフレームのために、例えば最後のエラー無しのフレームのスペクトル値などの値をスペクトル置換値として単純に使用することであろう。
【００４９】
しかし、オンセットの場合、例えば音量が突然有意に変化するような場合には、独特の問題が存在する。例えばノイズバーストの場合には、最後のフレームの先行スペクトル値を単純に繰り返すことによって、ノイズバーストもまた繰り返されるであろう。
【００５０】
対照的に、オーディオ信号が非常に安定的である場合、例えばその音量が有意に変化しない場合や、そのスペクトル値が有意に変化しない場合には、例えば先行して受信されたオーディオ信号部分を繰り返すなどのように、先行して受信されたオーディオデータに基づいて現在のオーディオ信号部分を人工的に生成する効果は、受聴者にとって耳障りにはならないであろう。
【００５１】
本発明の実施形態は上述の知見に基づいている。隠しフレーム生成部１２０は、先行スペクトル値の少なくとも幾つかに基づき、かつオーディオ信号に関連する予測フィルタの安定度を示すフィルタ安定度値に基づいて、スペクトル置換値を生成する。従って、隠しフレーム生成部１２０は、オーディオ信号の安定度、例えば先行して受信されたエラー無しフレームに関連するオーディオ信号の安定度を考慮に入れる。
【００５２】
そのため、隠しフレーム生成部１２０は、先行スペクトル値に適用されるゲインファクタの値を変更してもよい。例えば、先行スペクトル値の各々にゲインファクタの変更値を乗算してもよい。この様子を図３ａ〜図３ｃに示す。
【００５３】
図３ａでは、元のゲインファクタが適用される以前の、先行して受信されたエラー無しフレームに関連するオーディオ信号のスペクトル線の幾つかを示す。例えば、元のゲインファクタはオーディオフレーム内で伝送されたゲインファクタであってもよい。受信機側では、もし受信されたフレームがエラー無しであった場合には、復号器は、例えばそのオーディオ信号のスペクトル値の各々に元のゲインファクタｇを乗算して、修正済みスペクトルを得るよう構成されてもよい。この点に関しては図３ｂで示す。
【００５４】
図３ｂには、図３ａのスペクトル線に元のゲインファクタを乗算することで得られるスペクトル線を示す。説明を簡略化するために、元のゲインファクタｇは２．０である（ｇ＝２．０）と仮定する。図３ａと図３ｂとは、隠し操作が必要でなかった場合のシナリオを説明している。
【００５５】
図３ｃでは、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合のシナリオが想定されている。このような場合には、置換ベクトルが生成されなければならない。そのため、先行して受信されたエラー無しフレームに関連する先行スペクトル値であって、バッファユニット内に記憶されていたものが、スペクトル置換値を生成するために使用されてもよい。
【００５６】
図３ｃに示す例においては、スペクトル置換値は受信された値に基づいて生成されるが、元のゲインファクタは修正されると想定される。
【００５７】
図３ｂに示す場合において受信された値を増幅するために使用されたゲインファクタとは異なる、さらに小さなゲインファクタが、スペクトル置換値を生成するために使用される。
【００５８】
例えば、図３ｃに示すシナリオで使用される修正済みのゲインファクタは、元のゲインファクタの７５％でよく、例えば０．７５・２．０＝１．５でよい。スペクトル値の各々に（低減された）修正済みゲインファクタを乗算することで、フェードアウトが実行される。なぜなら、スペクトル値の各々の乗算に使用された修正済みゲインファクタｇact＝１．５は、エラー無しの場合にスペクトル値の乗算に使用された元のゲインファクタ（ゲインファクタｇprev＝２．０）よりも小さいからである。
【００５９】
本発明は、特に次のような知見に基づく。即ち、それぞれのオーディオ信号部分が不安定な場合に、先行して受信されたエラー無しフレームの値を繰り返すことは、それぞれのオーディオ信号部分が安定的な場合と比較して、より耳障りとして知覚されるという知見である。この点に関しては図４ａと図４ｂで示す。
【００６０】
例えば、もし先行して受信されたエラー無しフレームがオンセットを含む場合には、そのオンセットが再現される可能性が高い。図４ａには、最後に受信されたエラー無しのフレームに関連するオーディオ信号部分内で過渡が発生しているオーディオ信号部分を示す。図４ａと図４ｂでは、横軸は時間を示し、縦軸はオーディオ信号の振幅値を示す。
【００６１】
番号４１０により示される信号部分は、最後に受信されたエラー無しのフレームに関するオーディオ信号部分に関連している。範囲４２０内の破線は、もし先行して受信されたエラー無しフレームに関する値が単純にコピーされかつ置換フレームのスペクトル置換値として使用された場合における、可能な曲線の続きを時間ドメインで示している。図から分かるように、過渡は繰り返される可能性が高く、それは、受聴者により耳障りとして知覚される可能性がある。
【００６２】
対照的に、図４ｂは信号が非常に安定的である場合を示す。図４ｂにおいては、最後に受信されたエラー無しのフレームに関連するオーディオ信号部分が示されている。図４ｂの信号部分においては、過渡は発生していない。繰り返しになるが、横軸は時間を示し、縦軸はオーディオ信号の振幅を示す。範囲４３０は、最後に受け取られたエラー無しのフレームに関する信号部分に関連している。範囲４４０内の破線は、もし先行して受信されたエラー無しフレームに関する値がコピーされかつ置換フレームのスペクトル置換値として使用された場合における、可能な曲線の続きを時間ドメインで示している。オーディオ信号が非常に安定的な場合には、最後の信号部分を繰り返すことは、図４ａで示したようにオンセットが繰り返される場合に比べ、受聴者にとってより受け入れ易いと考えられる。
【００６３】
本発明は、以下のような知見に基づいている。即ち、スペクトル置換値は、先行するオーディオフレームの先行して受信された値に基づいて生成されてもよいが、しかし加えて、オーディオ信号部分の安定度に依存する予測フィルタの安定度もまた考慮されるべきであるという知見である。従って、フィルタ安定度の値を計算に入れるべきである。フィルタ安定度値は、例えば予測フィルタの安定度を示してもよい。
【００６４】
ＬＤ-ＵＳＡＣにおいては、例えば線形予測フィルタ係数などの予測フィルタ係数が符号器側で決定され、更に、オーディオフレーム内で受信機に対して送信されてもよい。
【００６５】
復号器側では、復号器が、例えば先行して受信されたエラー無しフレームの予測フィルタ係数のような予測フィルタ係数を受信する。さらに復号器は、その先行して受信されたフレームの例えば更に以前のフレームの予測フィルタ係数を既に受信済みであってもよく、かつ、これらの予測フィルタ係数を既に記憶済みであってもよい。先行して受信されたエラー無しフレームの更に以前のフレームとは、先行して受信されたエラー無しフレームの直前のフレームである。隠しフレーム生成部は、次に、その先行して受信されたエラー無しフレームの予測フィルタ係数に基づき、さらにその先行して受信されたエラー無しフレームの更に以前のフレームの予測フィルタ係数に基づいて、フィルタ安定度値を決定してもよい。
【００６６】
以下に、一実施形態に係るフィルタ安定度値の決定方法であり、ＬＤ-ＵＳＡＣに特に適する決定方法について説明する。考慮対象となる安定度値は、先行して受信されたエラー無しフレーム内で既に伝送済みであってもよい予測フィルタ係数に依存しており、その数は、例えば狭帯域の場合には１０個の予測フィルタ係数ｆiとなり、例えば広帯域の場合には１６個の予測フィルタ係数ｆiとなる。
【００６７】
さらに、先行して受信されたエラー無しフレームの更に以前のフレームの予測フィルタ係数もまた考慮され、その数は、例えば狭帯域の場合には１０個の更なる予測フィルタ係数ｆi(p)となり、例えば広帯域の場合には１６個の更なる予測フィルタ係数ｆi(p)となる。
【００６８】
例えばｋ番目の予測フィルタ係数ｆkは、符号器側で次式のように自己相関(autocorrelation)を演算することによって計算されていたものであってもよく、
【数２】
0005849106.tif 000003
ここでｓ’は、例えばスピーチ信号に対してある窓処理が適用された後の符号化されるべきスピーチ信号などである、窓掛けされたスピーチ信号を示す。ｔは例えば３８３であってもよい。代替的に、ｔは１９１又は９５などの他の値を有してもよい。
【００６９】
他の実施形態では、自己相関を演算する代わりに、現状の技術から知られるＬｅｖｉｎｓｏｎ-Ｄｕｒｂｉｎアルゴリズムを使用することもできる。この点に関しては、例えば非特許文献３を参照されたい。
【００７０】
上述したように、予測フィルタ係数ｆiとｆi(p)とは、先行して受信されたエラー無しフレームと、先行して受信されたエラー無しフレームの更に以前のフレームとのそれぞれの内部で、受信機に対して既に伝送済みであってもよい。
【００７１】
次に復号器側では、線スペクトル周波数(Line Spectral Frequency)の距離測度（LSF distance measure）ＬＳＦdistが次式を用いて計算されてもよい。
【数３】
0005849106.tif 000004
ここで、ｕは、先行して受信されたエラー無しフレーム内の予測フィルタ係数の個数−１であってもよい。例えば、もし先行して受信されたエラー無しフレームが１０個の予測フィルタ係数を有している場合には、例えばｕ＝９となる。先行して受信されたエラー無しフレーム内の予測フィルタ係数の個数は、典型的には、その先行して受信されたエラー無しフレームの更に以前のフレーム内における予測フィルタ係数の個数と同一である。
【００７２】
次に、安定度値が次式に従って計算されてもよい。
【数４】
0005849106.tif 000005
ここで、ｖは整数であってもよい。例えば、狭帯域の場合には、ｖは１５６２５０であってもよい。他の場合、即ち広帯域の場合には、ｖが４０００００であってもよい。
【００７３】
もしθが１又は１に近い値であれば、θは非常に安定な予測フィルタを示すと考えられる。
【００７４】
もしθが０又は０に近い値であれば、θは非常に不安定な予測フィルタを示すと考えられる。
【００７５】
隠しフレーム生成部は、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合に、先行して受信されたエラー無しフレームの先行スペクトル値に基づいて、スペクトル置換値を生成するよう構成されてもよい。更に、隠しフレーム生成部は、上述のように、先行して受信されたエラー無しフレームの予測フィルタ係数ｆiに基づき、かつ先行して受信されたエラー無しフレームの更に以前のフレームの予測フィルタ係数ｆi(p)とに基づいて、安定度値θを計算するよう構成されてもよい。
【００７６】
ある実施形態においては、隠しフレーム生成部は、フィルタの安定度値を使用して、例えば元のゲインファクタを修正するなどにより生成済みのゲインファクタを生成し、更に、オーディオフレームに関連する先行スペクトル値に対してその生成済みのゲインファクタを適用することによってスペクトル置換値を取得するよう構成されてもよい。他の実施形態では、隠しフレーム生成部は、先行スペクトル値から導出される値に対して生成済みのゲインファクタを適用するよう構成される。
【００７７】
例えば、隠しフレーム生成部は、受信されたゲインファクタにフェードアウトファクタを乗算することによって、修正済みのゲインファクタを生成してもよく、ここで、フェードアウトファクタはフィルタ安定度値に依存してもよい。
【００７８】
例えば、オーディオ信号フレーム内で受信されたゲインファクタが値２．０を有すると仮定する。ゲインファクタは、典型的には、先行スペクトル値に乗算することによって修正済みのスペクトル値を取得するために使用される。フェードアウトを適用するために、安定度値θに依存する修正済みのゲインファクタが生成される。
【００７９】
例えば、安定度値θ＝１である場合には、予測フィルタは非常に安定していると考えられる。その場合、もし復元されるべきフレームが欠損している最初のフレームであるならば、フェードアウトファクタは０．８５に設定されてもよい。その結果、修正済みのゲインファクタは、０．８５・２．０＝１．７となる。次に、先行して受信されたフレームの受信済みのスペクトル値の各々に対し、２．０（受信されたゲインファクタ）の代わりに修正済みのゲインファクタ１．７を乗算して、スペクトル置換値が生成される。
【００８０】
図５ａは、生成済みのゲインファクタ１．７が図３ａのスペクトル値に対して適用される例を表している。
【００８１】
しかし、もし例えば安定度値θ＝０である場合には、予測フィルタは非常に不安定であると考えられる。その場合、もし復元されるべきフレームが欠損している最初のフレームであるならば、フェードアウトファクタは０．６５に設定されてもよい。その結果、修正済みのゲインファクタは０．６５・２．０＝１．３となる。次に、先行して受信されたフレームの受信済みのスペクトル値の各々には、２．０（受信されたゲインファクタ）の代わりに修正済みのゲインファクタ１．３を乗算して、スペクトル置換値が生成される。
【００８２】
図５ｂは、生成済みのゲインファクタ１．３が図３ａのスペクトル値に対して適用された例を表している。図５ｂの例におけるゲインファクタは図５ａの例よりも小さいため、図５ｂにおける大きさもまた、図５ａの例よりも小さい。
【００８３】
値θに依存して異なる方法が適用されてもよい。ここで、θは０から１の間の任意の値であってよい。
【００８４】
例えば、値θ≧０．５は１と解釈されてもよく、その結果、フェードアウトファクタはθが１であった場合と同じ値を有し、例えばフェードアウトファクタが０．８５であってもよい。値θ＜０．５は０と解釈されてもよく、その結果、フェードアウトファクタは、もしθが０であった場合と同じ値を有し、例えばフェードアウトファクタが０．６５であってもよい。
【００８５】
他の実施形態によれば、代替的に、θの値が０から１の間である場合に、フェードアウトファクタの値が補間されてもよい。例えば、θが１ならばフェードアウトファクタは０．８５であり、θが０ならばフェードアウトファクタは０．６５であると仮定すると、フェードアウトファクタは次式に従って計算することができる。
【数５】
0005849106.tif 000006
【００８６】
他の実施形態では、隠しフレーム生成部は、先行して受信されたエラー無しフレームに関するフレーム分類情報にさらに基づいて、スペクトル置換値を生成するよう構成されている。分類についてのその情報は、符号器によって決定されてもよい。次に符号器は、そのフレーム分類情報をオーディオフレーム内に符号化してもよい。その後、復号器が先行して受信されたエラー無しフレームを復号化するときに、フレーム分類情報を復号化してもよい。
【００８７】
代替的に、復号器自体がオーディオフレームを検査することにより、フレーム分類情報を決定してもよい。
【００８８】
さらに復号器は、符号器からの情報に基づき、かつ受信されたオーディオデータの検査に基づいて、フレーム分類情報を決定するよう構成されてもよい。ここで、その検査は、復号器自身が実行する。
【００８９】
フレーム分類は、例えばそのフレームが「人工的なオンセット」、「オンセット」、「発声された遷移」、「発声されない遷移」、「発声されない」又は「発声された」として分類されることを示す。
【００９０】
例えば「オンセット」とは、先行して受信されたオーディオフレームがオンセットを含むことを示してもよい。例えば「発声された」とは、先行して受信されたオーディオフレームが発音されたデータを含むことを示してもよい。例えば「発声されない」とは、先行して受信されたオーディオフレームが発音されないデータを含むことを示してもよい。例えば「発声された遷移」とは、先行して受信されたオーディオフレームが発音されたデータを含むが、しかし、その先行して受信されたオーディオフレームの更に以前のフレームと比較して、ピッチが変化したことを示してもよい。例えば「人工的なオンセット」とは、先行して受信されたオーディオフレームのエネルギーが強化されていた（従って、例えば人工的なオンセットを形成していた）ことを示してもよい。例えば「発声されない遷移」とは、先行して受信されたオーディオフレームが発音されないデータを含むが、しかし、その発音されない音声がまさに変化しそうであったことを示してもよい。
【００９１】
先行して受信されたオーディオフレームと、安定度の値θと、後続の消去されたフレームの数とに依存して、フェードアウトファクタなどの減衰ゲインが例えば以下のように定義されてもよい。
【００９２】
【表１】
0005849106.tif 000007
【００９３】
ある実施形態によれば、隠しフレーム生成部は、受信されたゲインファクタに、フィルタ安定度値とフレーム分類とに基づいて決定されるフェードアウトファクタを乗算することで、修正済みのゲインファクタを生成してもよい。その後、先行スペクトル値に例えば修正済みのゲインファクタを乗算して、スペクトル置換値が取得されてもよい。
【００９４】
繰り返しになるが、隠しフレーム生成部はさらに、フレーム分類情報にも基づいて、スペクトル置換値を生成するよう構成されてもよい。
【００９５】
ある実施形態によれば、隠しフレーム生成部はさらに、受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数にも基づいて、スペクトル置換値を生成するよう構成されてもよい。
【００９６】
ある実施形態においては、隠しフレーム生成部は、フィルタ安定度値に基づき、かつ受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数にも基づいて、フェードアウトファクタを計算するよう構成されてもよい。
【００９７】
隠しフレーム生成部はさらに、フェードアウトファクタに先行スペクトル値のうちの少なくとも幾つかを乗算することによって、スペクトル置換値を生成するよう構成されてもよい。
【００９８】
代替的に、隠しフレーム生成部は、フェードアウトファクタに中間値のグループのうちの少なくとも幾つかの値を乗算することによって、スペクトル置換値を生成するよう構成されてもよい。その中間値の各々は、先行スペクトル値のうちの少なくとも１つに依存する。例えば、中間値のグループは、先行スペクトル値を修正することによって生成されていたものであってもよい。又は、スペクトルドメインの合成信号が先行スペクトル値に基づいて生成されていてもよく、かつその合成信号のスペクトル値が中間値のグループを形成してもよい。
【００９９】
他の実施形態においては、フェードアウトファクタに元のゲインファクタを乗算することで、生成済みのゲインファクタを取得してもよい。次に、生成済みのゲインファクタに対し、先行スペクトル値のうちの少なくとも幾つかを乗算するか、又は上述した中間値のグループのうちの少なくとも幾つかの値を乗算することで、スペクトル置換値を取得してもよい。
【０１００】
フェードアウトファクタの値はフィルタ安定度値に依存し、かつ連続的な欠損又はエラーを含むフレームの数にも依存し、更に、例えば以下のような値を持ってもよい。
【０１０１】
【表２】
0005849106.tif 000008
【０１０２】
ここで、「連続的な欠損／エラーフレームの数＝１」とは、欠損／エラーフレームの直前のフレームがエラー無しであったことを示す。
【０１０３】
表から分かるように、上述の例では、フレームが到着しないか又はエラーを含むときごとに、最後のフェードアウトファクタに基づいて、フェードアウトファクタが更新されてもよい。例えば、もし欠損／エラーフレームの直前のフレームがエラー無しであれば、上述の例では、フェードアウトファクタは０．８となる。もし後続のフレームもまた欠損又はエラーを含む場合には、フェードアウトファクタは、以前のフェードアウトファクタに更新ファクタ０．６５を乗算するという方法で、即ち、フェードアウトファクタ＝０．８・０．６５＝０．５２となるなどの方法で、以前のフェードアウトファクタに基づいて更新される。
【０１０４】
先行スペクトル値の一部又は全てに対し、フェードアウトファクタそのものを乗算してもよい。
【０１０５】
代替的に、フェードアウトファクタに元のゲインファクタを乗算することで、生成済みのゲインファクタを取得してもよい。次に、生成済みのゲインファクタに対し、先行スペクトル値（又はそれら先行スペクトル値から導出される中間値）の各１つ（又は複数）を乗算することで、スペクトル置換値を取得してもよい。
【０１０６】
フェードアウトファクタはフィルタ安定度値にも依存してもよいことに留意すべきである。例えば、上述の表は、フィルタ安定度値が１．０、０．５又は任意の他の値である場合のフェードアウトファクタに関する定義を含んでもよい。
【０１０７】
【表３】
0005849106.tif 000009
【０１０８】
中間的なフィルタ安定度値についてのフェードアウトファクタの値は概算されてもよい。
【０１０９】
他の実施形態においては、フィルタ安定度値に基づき、かつ受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数に基づいて、フェードアウトファクタを計算する式を使用することによりフェードアウトファクタが決定されてもよい。
【０１１０】
上述したように、バッファユニット内に記憶された先行スペクトル値はスペクトル値であってもよい。障害を起こすアーチファクトが生成されることを防止するため、上述したように隠しフレーム生成部はフィルタ安定度値に基づいてスペクトル置換値を生成してもよい。
【０１１１】
しかしながら、そのように生成された信号部分の置換が、依然として繰り返しの特徴を有する可能性もある。そこで、ある実施形態によれば、例えば先行して受信されたフレームのスペクトル値などの先行スペクトル値を、そのスペクトル値の正負符号をランダムにフリップするなどの方法を用いて修正する方法が更に提案される。例えば、隠しフレーム生成部は、先行スペクトル値の各々について、スペクトル値の正負符号を逆転させるか否か、つまりスペクトル値に−１を乗算するか否かをランダムに決定する。これにより、置換されたオーディオ信号フレームの更に以前のフレームに対する繰り返しの特徴が低減される。
【０１１２】
以下に、ある実施形態に従うＬＤ−ＵＳＡＣ復号器内における隠し操作を説明する。この実施形態においては、ＬＤ−ＵＳＡＣ復号器が周波数から時間への最終的な変換を実行する直前にスペクトルデータに対して隠し操作が実行される。
【０１１３】
この実施形態においては、スペクトルドメインの合成信号を生成することによって符号化済みオーディオ信号を復号化するために、到着しつつあるオーディオフレームの値が使用される。このため、到着しつつあるオーディオフレームの値に基づいてスペクトルドメインの中間信号が生成される。ゼロに量子化された値に対してはノイズ充填が実行される。
【０１１４】
符号化済みの予測フィルタ係数は予測フィルタを定義し、その予測フィルタが次に中間信号に適用されて、復号化された／復元されたオーディオ信号を周波数ドメインで表現する合成信号が生成される。
【０１１５】
図６は一実施形態に係るオーディオ信号復号器を示す。このオーディオ信号復号器は、スペクトルオーディオ信号値を復号化する装置６１０と、上述した実施形態のうちの１つに従ってスペクトル置換値を生成する装置６２０とを含む。
【０１１６】
スペクトルオーディオ信号値を復号化するための装置６１０は、エラー無しのオーディオフレームが到着したときに、復号化済みオーディオ信号のスペクトル値を上述した方法で生成する。
【０１１７】
図６に示す例においては、合成信号のスペクトル値は、スペクトル置換値を生成する装置６２０のバッファユニット内に記憶される。復号化されたオーディオ信号のこれらのスペクトル値は、受信済みのエラー無しのオーディオフレームに基づいて復号化されたものであり、従って先行して受信されたエラー無しのオーディオフレームに関連するものである。
【０１１８】
現在のフレームが欠損している又はエラーを含む場合には、スペクトル置換値を生成する装置６２０は、スペクトル置換値が必要であることが知らされる。そのとき、スペクトル置換値を生成する装置６２０の隠しフレーム生成部は、上述した実施形態のうちの１つに従ってスペクトル置換値を生成する。
【０１１９】
例えば、最後の良好なフレームからのスペクトル値は、隠しフレーム生成部によって、それらの正負符号をランダムにフリップすることで僅かに修正されている。次いで、それらのスペクトル値に対してフェードアウトが実行される。このフェードアウトは、先行する予測フィルタの安定度に依存してもよく、かつ連続する損失フレームの数に依存してもよい。次いで、生成されたスペクトル置換値はオーディオ信号のためのスペクトル置換値として使用され、次に周波数から時間への変換が実行されて時間ドメインのオーディオ信号が取得される。
【０１２０】
ＬＤ−ＵＳＡＣにおいては、ＵＳＡＣ及びＭＰＥＧ−４（ＭＰＥＧ＝動画像符号化専門家グループ）における場合と同様に、時間的ノイズ成形（ＴＮＳ）が使用されてもよい。時間的ノイズ成形により、ノイズの微細な時間的構造が制御される。復号器側では、ノイズ成形情報に基づいて、スペクトルデータに対してフィルタ操作が適用される。時間的ノイズ成形についての更なる情報は、例えば非特許文献４において参照することができる。
【０１２１】
本発明の実施形態は、オンセット／過渡の場合に、ＴＮＳが高度に活性化しているという知見に基づいている。つまり、ＴＮＳが高度に活性化しているか否かを判定することで、オンセット／過渡が存在するか否かを推定できる。
【０１２２】
本発明の一実施形態によれば、ＴＮＳが有する予測ゲインは受信機側で計算される。受信機側では、最初に受信済みのエラー無しのオーディオフレームの受信済みのスペクトル値が処理されて、第１中間スペクトル値ａjが取得される。次に、ＴＮＳが実行され、これにより第２中間スペクトル値ｂjが取得される。第１中間スペクトル値について第１エネルギー値Ｅ1が計算され、第２中間スペクトル値について第２エネルギー値Ｅ2が計算される。ＴＮＳの予測ゲインｇTNSを得るために、第２エネルギー値が第１エネルギー値によって除算されてもよい。
【０１２３】
例えば、ｇTNSは次式のように定義されてもよい。
【数６】
0005849106.tif 000010
（ｎ＝考慮対象となるスペクトル値の数）
【０１２４】
一実施形態によれば、先行して受信されたエラー無しフレームに対して時間的ノイズ成形が実行された場合には、隠しフレーム生成部は、先行スペクトル値と、フィルタ安定度値と、時間的ノイズ成形の予測ゲインとに基づいて、スペクトル置換値を生成するよう構成される。他の実施形態によれば、隠しフレーム生成部は、連続して欠損している又はエラーを含むフレームの数にも更に基づいて、スペクトル置換値を生成するよう構成される。
【０１２５】
予測ゲインが高ければ高い程、フェードアウトは急速でなければならない。例えば、フィルタ安定度値が０．５であって、予測ゲインが例えばｇTNS＝６のように高いと仮定する。その場合、フェードアウトファクタは例えば０．６５（＝高速フェードアウト）であってもよい。反対に、フィルタ安定度値は同様に０．５であるが、しかし予測ゲインが例えばｇTNS＝１．５のように低いと仮定する。その場合には、フェードアウトファクタは例えば０．９５（＝低速フェードアウト）であってもよい。
【０１２６】
ＴＮＳの予測ゲインは、スペクトル置換値を生成する装置のバッファユニット内にどの値が記憶されるべきであるかについて影響を与えてもよい。
【０１２７】
予測ゲインｇTNSが所定の閾値（例えば閾値＝５．０）よりも低い場合には、ＴＮＳが適用されたときより後のスペクトル値が先行スペクトル値としてバッファユニット内に記憶される。欠損している又はエラーを含むフレームの場合には、スペクトル置換値はこれらの先行スペクトル値に基づいて生成される。
【０１２８】
反対に、予測ゲインｇTNSがその閾値以上である場合には、ＴＮＳが適用されたときより前のスペクトル値が先行スペクトル値としてバッファユニット内に記憶される。欠損している又はエラーを含むフレームの場合には、スペクトル置換値はこれらの先行スペクトル値に基づいて生成される。
【０１２９】
いずれの場合にも、ＴＮＳはこれら先行スペクトル値に対しては適用されない。
【０１３０】
次に、図７は対応する実施形態に係るオーディオ信号復号器を示す。このオーディオ信号復号器は、受信されたエラー無しのフレームに基づいて第１中間スペクトル値を生成する復号化ユニット７１０を含む。このオーディオ信号復号器は、第１中間スペクトル値に対して時間的ノイズ成形を実行して第２中間スペクトル値を得るための時間的ノイズ成形ユニット７２０を更に含む。オーディオ信号復号器は、第１中間スペクトル値と第２中間スペクトル値とに依存して時間的ノイズ成形の予測ゲインを計算する、予測ゲイン計算部７３０をさらに含む。オーディオ信号復号器は、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合に、上述の実施形態のうちの１つに従ってスペクトル置換値を生成する装置７４０を更に含む。オーディオ信号復号器は、もし予測ゲインが閾値以上である場合には、スペクトル置換値を生成する装置７４０のバッファユニット７４５内に第１中間スペクトル値を記憶し、もし予測ゲインが閾値未満である場合には、スペクトル置換値を生成する装置７４０のバッファユニット７４５内に第２中間スペクトル値を記憶する値選択部７５０をさらに含む。
【０１３１】
閾値は、例えば予め定義された値であってもよい。例えば、閾値はオーディオ信号復号器内で予め定義されてもよい。
【０１３２】
他の実施形態によれば、隠し操作は、第１の復号化ステップの直後であって、かついかなるノイズ充填、グルーバルゲイン及び／又はＴＮＳが実行される前に、スペクトルデータに対して実行される。
【０１３３】
そのような実施形態を図８に示す。図８は更なる実施形態に係る復号器を示している。この復号器は、第１復号化モジュール８１０を含む。この第１復号化モジュール８１０は、受信されたエラー無しのオーディオフレームに基づいて、生成済みのスペクトル値を生成するよう構成されている。生成済みのスペクトル値は、次にスペクトル置換値を生成する装置８２０のバッファユニット内に記憶される。更に、生成済みのスペクトル値は処理モジュール８３０内へと入力され、このモジュールは、ＴＮＳを実行し、ノイズ充填を適用し、及び／又はグローバルゲインを適用することによって、生成済みのスペクトル値を処理して、復号化されたオーディオ信号のスペクトルオーディオ値を取得する。もし現在のフレームが欠損しているか又はエラーを含む場合には、スペクトル置換値を生成する装置８２０は、スペクトル置換値を生成してそれらを処理モジュール８３０へと供給する。
【０１３４】
図８に示す実施形態において、復号化のモジュール又は処理モジュールは、隠し操作の際に以下のステップのうちの一部又はすべてを実行する。
【０１３５】
例えば最後の良好なフレームからのスペクトル値は、それらの正負符号をランダムにフリップすることにより僅かに修正される。更なるステップにおいては、ランダムノイズに基づいてゼロに量子化されたスペクトルビンに対してノイズ充填が実行される。他のステップでは、ノイズのファクタは、先行して受信されたエラー無しフレームと比較して僅かに適応される。
【０１３６】
更なるステップでは、ＬＰＣ符号化された（ＬＰＣ＝Linear Predictive Coding：線形予測符号化）重み付きスペクトル包絡を周波数ドメインで適用することで、スペクトルノイズ成形が達成される。例えば、最後に受信されたエラー無しのフレームのＬＰＣ係数が使用されてもよい。他の実施形態においては、平均化されたＬＰＣ係数が使用されてもよい。例えば、最後に受信された３個のエラー無しのフレームの考慮対象となるＬＰＣ係数の最後の３個の値の平均が、フィルタの各ＬＰＣ係数のために生成されてもよく、その平均化されたＬＰＣ係数が適用されてもよい。
【０１３７】
後続のステップでは、これらのスペクトル値に対してフェードアウトが適用されてもよい。そのフェードアウトは、欠損しているか又はエラーを含む連続的なフレームの数に依存し、かつ先行するＬＰフィルタの安定度に依存してもよい。さらに、フェードアウトに影響を与えるために予測ゲイン情報が使用されてもよい。予測ゲインが高ければ高い程、フェードアウトが急速であってもよい。図８に示す実施形態は、図６に示す実施形態よりも僅かに複雑であるが、より良好なオーディオ品質を提供する。
【０１３８】
これまで装置を説明する文脈で幾つかの態様を示してきたが、これらの態様は対応する方法の説明でもあることは明らかであり、そのブロック又は装置が方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応する装置の対応するブロックもしくは項目又は特徴を表している。
【０１３９】
所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）、デジタル記憶媒体、例えばフレキシブルディスク，ＤＶＤ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ又はフラッシュメモリなどを使用して実行することができる。
【０１４０】
本発明に従う幾つかの実施形態は、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含んでも良い。
【０１４１】
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、このプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動する。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されても良い。
【０１４２】
本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリア又は非一時的な記憶媒体に記憶されたコンピュータプログラムを含む。
【０１４３】
換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有する、コンピュータプログラムである。
【０１４４】
本発明の他の実施形態は、上述した方法の１つを実行するために記録されたコンピュータプログラムを含む、データキャリア（又はデジタル記憶媒体又はコンピュータ読み取り可能な媒体）である。
【０１４５】
本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットを介するデータ通信接続を介して伝送されるように構成されても良い。
【０１４６】
他の実施形態は、上述した方法の１つを実行するように構成又は適用された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
【０１４７】
他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【０１４８】
幾つかの実施形態においては、（例えば書換え可能ゲートアレイのような）プログラム可能な論理デバイスは、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の１つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
【０１４９】
上述した実施形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。
【図１】
0005849106.tif 000012
【図２】
0005849106.tif 000013
【図３】
0005849106.tif 000014
【図４ａ】
0005849106.tif 000015
【図４ｂ】
0005849106.tif 000016
【図５】
0005849106.tif 000017
【図６】
0005849106.tif 000018
【図７】
0005849106.tif 000019
【図８】
0005849106.tif 000020