(57)【要約】【課題】音声開始時点でのパケットロスから復帰した際に起こりうる不連続音を低減し、主観品質を改善する。【解決手段】  音声信号処理装置により実行される音声信号処理方法において、音声パケットを復号して、復号音声およびＩＳＦ／ＬＳＦパラメータを取得し、パケットロスの発生後に最初に正常に受信された音声パケットを復号することにより得られた復号音声の振幅の急激な増加を決定し、前記復号音声の振幅の急激な増加を抑え、前記復号音声の振幅の急激な増加を抑えることは、前記ＩＳＦ／ＬＳＦパラメータの要素間の間隔を変化させる。【選択図】図９
2018165824.tif 000002
【特許請求の範囲】
【請求項１】
音声信号処理装置により実行される音声信号処理方法において、
音声パケットを復号して、復号音声およびＩＳＦ／ＬＳＦパラメータを取得し、
パケットロスの発生後に最初に正常に受信された音声パケットを復号することにより得られた復号音声の振幅の急激な増加を決定し、
前記復号音声の振幅の急激な増加を抑え、
前記復号音声の振幅の急激な増加を抑えることは、前記ＩＳＦ／ＬＳＦパラメータの要素間の間隔を変化させる、
音声信号処理方法。
【請求項２】
パケットロス後に最初に正常に受信された音声パケットを復号することにより得られた復号音声の振幅の急激な増加の発生を決定する不連続検出部と、
前記復号音声の振幅の急激な増加を抑える不連続修正部と、
前記不連続修正部は、振幅の急激な増加の発生の決定結果に従って、前記音声パケットを復号することにより得られたＩＳＦ／ＬＳＦパラメータの各要素間の間隔を変える、
音声信号処理装置。
【請求項３】
音声信号処理装置によって実行される音声信号処理方法において、
音声信号の符号化処理の過程で、ＩＳＦ／ＬＳＦパラメータを量子化して、量子化ＩＳＦ／ＬＳＦパラメータを取得し、
前記ＩＳＦ／ＬＳＦパラメータに関する隠蔽情報を示す隠蔽ＩＳＦ／ＬＳＦパラメータを生成し、
前記量子化ＩＳＦ／ＬＳＦパラメータと生成された前記隠蔽ＩＳＦ／ＬＳＦパラメータとの間隔を用いて、パケットロスの発生後に最初に正常に受信された音声パケットにおいて発生した音声信号の振幅の急激な増加の発生を決定し、
前記音声信号の振幅の急激な増加の発生の決定を示す補助情報を符号化する、
音声信号処理方法。
【請求項４】
ＩＳＦ／ＬＳＦパラメータを量子化して、量子化ＩＳＦ／ＬＳＦパラメータを生成するＩＳＦ／ＬＳＦパラメータ量子化部と、
前記ＩＳＦ／ＬＳＦパラメータに関する隠蔽情報である隠蔽ＩＳＦ／ＬＳＦパラメータを生成するＩＳＦ／ＬＳＦ隠蔽部と、
前記量子化ＩＳＦ／ＬＳＦパラメータと前記隠蔽ＩＳＦ／ＬＳＦパラメータとの間の間隔を使って、パケットロスの発生後に最初に正常に受信された音声パケットにおいて発生する音声信号の振幅の急激な増加の発生を決定する不連続検出部と、
前記音声信号の急激な増加の発生の決定を示す補助情報を符号化する補助情報符号化部と、
を備える音声信号処理装置。
【請求項５】
前記復号音声の振幅の急激な増加を決定することは、復号音声の励振信号のパワーに基づいて復号音声の振幅の急激な増加を決定することを含む、請求項１に記載の音声信号処理方法。
【請求項６】
前記復号音声の振幅の急激な増加を決定することは、復号音声の励振信号を計算するために使用された量子化された符号帳ゲインに基づいて復号音声の振幅の急激な増加を決定することを含む、請求項１に記載の音声信号処理方法。
【請求項７】
前記復号音声の振幅の急激な増加を決定することは、所定レベル以上である復号音声の励振信号のゲイン増加に基づいて、復号音声の振幅の急激な増加を決定する、請求項１に記載の音声信号処理方法。
【請求項８】
前記復号音声の振幅の急激な増加を決定することは、音声パケットにおいて含まれる補助情報を復号することを含み、補助情報は、前記復号音声の振幅の急激な増加の決定を含む、請求項１に記載の音声信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号を処理する音声信号処理方法及び音声信号処理装置に関する。
【背景技術】
【０００２】
ＩＰ（Internet  Protocol）電話のように、音声信号を符号化及びパケット化してインターネット網で伝送する際には、ネットワークの輻輳等が原因でパケットが失われることがある（以下、この現象を「パケットロス」と言う）。パケットロスが発生すると、必要な音声符号が失われるため音声復号ができず音切れが発生する。パケットロスにより生じる音切れを防止する技術として、音声パケットロス隠蔽技術がある。音声パケットロス隠蔽技術は、パケットロスを検出し、ロスしたパケットに対応する擬似的な音声信号（以下、「隠蔽信号」）を生成する。
【０００３】
音声符号化手法として、符号化器・復号器の内部状態を更新しながら音声符号化を行う手法を用いている場合には、本来受信するはずの符号化パラメータが得られないため、音声パケットロス隠蔽技術は、擬似的に生成したパラメータにより復号器の内部状態更新も行う。
【０００４】
符号化器・復号器の内部状態を更新しながら音声符号化を行う手法として、CELP（Code  Excited  Linear  Prediction）符号化が広く用いられている。CELP符号化では、自己回帰モデルを仮定し、全極型合成フィルタa(i)によって励振信号e(n)をフィルタリングすることで音声信号を合成する。すなわち、次式に従い音声信号s(n)を合成する。a(i)は線形予測係数（LP（Linear  Prediction）係数）であり、次数としてP=16などの値を用いる。
【数１】
2018165824.tif 000003
【０００５】
CELP符号化では、線形予測係数を数学的に等価に表現したISF（Immittance  Spectral  Frequency）パラメータや、過去の励振信号を内部状態としてもつ。パケットロスが起こった場合、これらを擬似的に生成するため、本来であれば復号により得られていたパラメータとの間で乖離が起こる。パラメータの乖離によって起こる合成音声の不整合は、受聴者からは雑音と知覚され、主観的な品質を大きく損ねる。
【０００６】
以下、音声符号化手法にCELP符号化を用いた場合を例に、音声パケットロス隠蔽を行う音声復号器の構成及び動作について説明する。
【０００７】
音声復号器の構成図及び動作を図１、図２に示す。図１に示すように、音声復号器１は、パケットロス検出部１１、音声符号復号部１２、隠蔽信号生成部１３、及び内部状態バッファ１４を備える。
【０００８】
パケットロス検出部１１は、音声パケットを正常に受信した場合には、制御信号、及び音声パケットに含まれる音声符号を音声符号復号部１２に送る（正常受信：図２のステップＳ１００でＹＥＳの場合）。その後、音声符号復号部１２は、後述するように、音声符号の復号及び内部状態更新を行う（図２のステップＳ２００、Ｓ４００）。一方、パケットロス検出部１１は、音声パケットが正常に受信できなかった場合には、隠蔽信号生成部１３に制御信号を送る（パケットロス：図２のステップＳ１００でＮＯの場合）。その後、隠蔽信号生成部１３は、後述するように、隠蔽信号の生成及び内部状態更新を行う（図２のステップＳ３００、Ｓ４００）。図２のステップＳ１００〜Ｓ４００の処理は通信終了まで（ステップＳ５００でＹＥＳと判断されるまで）繰り返される。
【０００９】
音声符号は、少なくとも符号化されたISFパラメータ
【数２】
2018165824.tif 000004
、符号化された第一から第四サブフレームのピッチラグTjp、第一から第四サブフレームの符号化された適応符号帳ゲインgjp、第一から第四サブフレームの符号化された固定符号帳ゲインgjc、第一から第四サブフレームの符号化された固定符号帳ベクトルcj(n)を含む。ISFパラメータの代わりに数学的に等価な表現であるLSF（line  spectral  frequency）パラメータを用いてもよい。以下の議論では、ISFパラメータを用いた説明を行うが、LSFパラメータを用いた場合も同じ議論が成り立つ。
【００１０】
内部状態バッファには、過去のISFパラメータ
【数３】
2018165824.tif 000005
及び
【数４】
2018165824.tif 000006
の等価表現であるISP（Immittance  Spectral  Pair）パラメータ
【数５】
2018165824.tif 000007
、ISF残差パラメータ
【数６】
2018165824.tif 000008
、過去のピッチラグTjp、過去の適応符号帳ゲインgjp、過去の固定符号帳ゲインgjc、適応符号帳u(n)を含む。それぞれ過去何サブフレーム分のパラメータを含むかは設計方針による。本明細書では、１フレームが４サブフレームを含むことを仮定するが、設計方針により他の値としてもよい。
【００１１】
＜正常受信の場合＞
図３には音声符号復号部１２の機能構成例を示す。この図３に示すように、音声符号復号部１２は、ISF復号部１２０、安定性処理部１２１、LP係数算出部１２２、適応符号帳算出部１２３、固定符号帳復号部１２４、ゲイン復号部１２５、励振ベクトル合成部１２６、ポストフィルタ１２７、及び合成フィルタ１２８を備える。ただし、ポストフィルタ１２７は必須の構成要素ではない。なお、図３では、説明の便宜上、音声符号復号部１２内に内部状態バッファ１４を二点鎖線で示しているが、この内部状態バッファ１４は、音声符号復号部１２の内部に含まれるものではなく、図１に示す内部状態バッファ１４である。これ以降の音声符号復号部の構成図でも同様である。
【００１２】
LP係数算出部１２２の構成図を図４に、符号化されたISFパラメータからLP係数を算出する処理フローを図５に、それぞれ示す。図４に示すように、LP係数算出部１２２は、ISF-ISP変換部１２２Ａ、ISP補間部１２２Ｂ、及びISP-LPC変換部１２２Ｃを備える。
【００１３】
まず、符号化されたISFパラメータからLP係数を算出する処理（図５）に関連する機能構成及び動作について説明する。
【００１４】
ISF復号部１２０は、符号化されたISFパラメータを復号してISF残差パラメータ
【数７】
2018165824.tif 000009
を求め、ISFパラメータ
【数８】
2018165824.tif 000010
を次式に従い算出する（図５のステップＳ１）。ここで、meaniは、事前に学習等で求めた平均ベクトルである。
【数９】
2018165824.tif 000011
【００１５】
なお、ここでは、ISFパラメータの算出にMA予測を用いる例について述べたが、以下のようにAR予測を用いてISFパラメータの算出を行うような構成としてもよい。ここで、直前フレームのISFパラメータを
【数１０】
2018165824.tif 000012
、AR予測の重み係数をρiとした。
【数１１】
2018165824.tif 000013
【００１６】
安定性処理部１２１は、フィルタの安定性を確保するためにISFパラメータの各要素間に50Hz以上の間隔をあけるよう、次式に従う処理を行う（図５のステップＳ２）。ISFパラメータは、音声スペクトル包絡の形状を線スペクトルで表現したものであり、互いの距離が近づく程、スペクトルのピークが大きくなり共振が起こる。そのため、スペクトルのピークでのゲインが大きくなりすぎないよう、安定性確保の処理が必要となる。ここで、min_distは最小のISF間隔であり、isf_minは、min_distの間隔を確保するために必要なISFの最小値である。isf_minは、隣のISFの値にmin_distの間隔を加算することにより順次更新を行う。一方、isf_maxは、min_distの間隔を確保するために必要なISFの最大値である。isf_maxは、隣のISFの値からmin_distの間隔を減算することにより順次更新を行う。
【数１２】
2018165824.tif 000014
【００１７】
LP係数算出部１２２内のISF-ISP変換部１２２Ａは、次式に従い
【数１３】
2018165824.tif 000015
をISPパラメータ
【数１４】
2018165824.tif 000016
に変換する（図５のステップＳ３）。ここで、Cは事前に定めた定数である。
【数１５】
2018165824.tif 000017
【００１８】
ISP補間部１２２Ｂは、内部状態バッファ１４に含まれる過去のISPパラメータ
【数１６】
2018165824.tif 000018
と、上記ISPパラメータ
【数１７】
2018165824.tif 000019
から、以下の式に従いサブフレーム毎のISPパラメータを算出する（図５のステップＳ４）。補間にあたっては、別の係数を用いてもよい。
【数１８】
2018165824.tif 000020
【００１９】
ISP-LPC変換部１２２Ｃは、サブフレーム毎のISPパラメータをLP係数
【数１９】
2018165824.tif 000021
に変換する（図５のステップＳ５）。具体的変換手順として、非特許文献１に記載の処理手順を用いることができる。ここで、先読み信号に含まれるサブフレームの数を４としたが、サブフレームの数は設計方針により変更してもよい。
【００２０】
次に、音声符号復号部１２におけるその他の構成及び動作について説明する。
【００２１】
適応符号帳算出部１２３は、符号化されたピッチラグを復号して、第一から第四サブフレームのピッチラグTjpを算出する。次に、適応符号帳算出部１２３は、適応符号帳u(n)を用いて次式に従い、サブフレーム毎に適応符号帳ベクトルを算出する。適応符号帳ベクトルは、適応符号帳u(n)をFIRフィルタInt(i)により補間することで算出する。ここで、適応符号帳の長さをNadaptとした。補間に用いるフィルタInt(i)は、事前に定めた長さ2l+1のFIRフィルタであり、L’はサブフレームのサンプル数である。補間フィルタInt(i)を用いることにより、ピッチラグを小数点以下の精度まで利用することができる。補間フィルタの詳細については、非特許文献１記載の方法を用いることができる。
【数２０】
2018165824.tif 000022
【００２２】
固定符号帳復号部１２４は、符号化された固定符号帳ベクトルを復号して、第一から第四サブフレームの固定符号帳ベクトルcj(n)を取得する。
【００２３】
ゲイン復号部１２５は、符号化された適応符号帳ゲイン及び符号化された固定符号帳ゲインを復号して、第一から第四サブフレームの適応符号帳ゲイン及び固定符号帳ゲインを取得する。例えば、非特許文献１に記載の以下の手法により、適応符号帳ゲイン及び固定符号帳ゲインの復号を行うことができる。非特許文献１記載の以下の手法によれば、AMR-WBのゲイン符号化のようにフレーム間予測を用いないため、パケットロス耐性を高めることができる。
【００２４】
例えば、ゲイン復号部１２５は、以下の処理フローに従い、固定符号帳ゲインを取得する。
【００２５】
最初に、ゲイン復号部１２５は、固定符号帳ベクトルのパワーを算出する。ここで、サブフレームの長さをNsとする。
【数２１】
2018165824.tif 000023
【００２６】
次に、ゲイン復号部１２５は、ベクトル量子化されたゲインパラメータを復号し、適応符号帳ゲイン
【数２２】
2018165824.tif 000024
と量子化固定符号帳ゲイン
【数２３】
2018165824.tif 000025
を得る。量子化固定符号帳ゲインと上記固定符号帳ベクトルのパワーから、以下の通り予測固定符号帳ゲインを算出する。
【数２４】
2018165824.tif 000026
【００２７】
最後に、ゲイン復号部１２５は、予測係数
【数２５】
2018165824.tif 000027
を復号し、予測ゲインに乗算することにより、固定符号帳ゲインを得る。
【数２６】
2018165824.tif 000028
【００２８】
励振ベクトル合成部１２６は、次式のように、適応符号帳ベクトルに適応符号帳ゲインを乗算するとともに、固定符号帳ベクトルに固定符号帳ゲインを乗算し、これらの和を求めることにより、励振信号を取得する。
【数２７】
2018165824.tif 000029
【００２９】
ポストフィルタ１２７は、励振信号ベクトルに対して、例えば、ピッチ強調、ノイズ強調、低域強調といった後処理を加える。ピッチ強調、ノイズ強調、低域強調は、非特許文献１に記載された手法を用いることができる。
【００３０】
合成フィルタ１２８は、線形予測逆フィルタリングにより、励振信号を駆動音源とする復号信号を合成する。
【数２８】
2018165824.tif 000030
【００３１】
なお、符号化器において、プリエンファシスを行っている場合には、ディエンファシスを行う。
【数２９】
2018165824.tif 000031
【００３２】
一方、符号化器においてプリエンファシスを行っていない場合には、ディエンファシスを行わない。
【００３３】
以下、内部状態更新に関する動作を説明する。
【００３４】
LP係数算出部１２２は、パケットロス時のパラメータ補間のために、ISFパラメータの内部状態を次式で算出されるベクトルにより更新する。
【数３０】
2018165824.tif 000032
【００３５】
ここで、ωi(-j)はバッファに格納されたｊフレーム前のISFパラメータである。ωiCは事前に学習等で求めた発話区間でのISFパラメータである。βは定数であり、例えば0.75のような値とすることができるが、これには限られない。ωiC、βは、例えば非特許文献１記載のISFコンシールメントのように、符号化対象フレームの性質を表すインデクスにより変化させてもよい。
【００３６】
さらに、LP係数算出部１２２は、次式に従いISF残差パラメータの内部状態も更新する。
【数３１】
2018165824.tif 000033
【００３７】
励振ベクトル合成部１２６は、以下の式に従い、励振信号ベクトルにより内部状態を更新する。
【数３２】
2018165824.tif 000034
【００３８】
さらに、励振ベクトル合成部１２６は、ゲインパラメータの内部状態を次式により更新する。
【数３３】
2018165824.tif 000035
【００３９】
適応符号帳算出部１２３は、ピッチラグのパラメータの内部状態を次式により更新する。
【数３４】
2018165824.tif 000036
なお、ここでは、(−２≦ｊ＜Ｍｌａ)とするが、ｊの範囲として設計方針により異なる値を選択してもよい。
【００４０】
＜パケットロスの場合＞
図６には、隠蔽信号生成部１３の機能構成例を示す。この図６に示すように、隠蔽信号生成部１３は、LP係数補間部１３０、ピッチラグ補間部１３１、ゲイン補間部１３２、雑音信号生成部１３３、ポストフィルタ１３４、合成フィルタ１３５、適応符号帳算出部１３６、及び励振ベクトル合成部１３７を備える。ただし、ポストフィルタ１３４は必須の構成要素ではない。
【００４１】
LP係数補間部１３０は、
【数３５】
2018165824.tif 000037
を次式により算出する。なお、ωi(-j)は、バッファに格納されたｊフレーム前のISFパラメータである。
【数３６】
2018165824.tif 000038
ここで、
【数３７】
2018165824.tif 000039
はパケットを正常に受信した際に算出されたISFパラメータの内部状態である。αも定数であり、0.9のような値とすることができるが、これに限定されない。αは、例えば非特許文献１記載のISFコンシールメントのように、符号化対象フレームの性質を表すインデクスにより変化させてもよい。
【００４２】
ISFパラメータからLP係数を得る手順は、正常にパケットを受信した場合と同様である。
【００４３】
ピッチラグ補間部１３１は、ピッチラグに関する内部状態パラメータ
【数３８】
2018165824.tif 000040
を用いて、ピッチラグの予測値
【数３９】
2018165824.tif 000041
を算出する。具体的な処理手順として、非特許文献１の手法を用いることができる。
【００４４】
ゲイン補間部１３２は、固定符号帳ゲインの補間のために、非特許文献１に記載の以下の式に従う手法を用いることができる。
【数４０】
2018165824.tif 000042
【００４５】
雑音信号生成部１３３は、固定符号帳ベクトルと同じ長さの白色雑音を生成し、固定符号帳ベクトルとして代用する。
【００４６】
ポストフィルタ１３４、合成フィルタ１３５、適応符号帳算出部１３６及び励振ベクトル合成部１３７の動作は、前述した正常にパケットを受信した場合の動作と同様である。
【００４７】
内部状態更新は、ISF残差パラメータを除き、正常にパケットを受信した場合と同様である。ISF残差パラメータの更新は、LP係数補間部１３０により、次式に従い行われる。
【数４１】
2018165824.tif 000043
【先行技術文献】
【特許文献】
【００４８】
【特許文献１】国際公開2002/035520号公報
【特許文献２】国際公開2008/108080号公報
【非特許文献】
【００４９】
【非特許文献１】ITU-T  Recommendation  G.718、2008年6月
【発明の概要】
【発明が解決しようとする課題】
【００５０】
上記の通り、CELP符号化は内部状態を持つため、パケットロス時に補間により得られたパラメータと、本来復号に用いるべきパラメータとの乖離により音質の劣化が起こる。特にISFパラメータは、フレーム内・フレーム間での予測符号化が行われるため、パケットロスによる影響がパケットロス復帰後にも継続する課題がある。
【００５１】
より具体的には、音声の開始部分付近で起こったパケットロスから復帰した最初のフレームにおいて、急激にパワーが上昇する課題が確認されている。これは、励振信号のパワーが高くなる音声の開始部分において、パケットロス時の補間処理により得られたISF係数から算出したLP係数のインパルス応答が、本来復号器が想定しているよりも高い利得を持つことにより引き起こされ、主観品質上不快な不連続音として知覚される。
【００５２】
特許文献１の方法は、ロスしたフレームに対して補間したISF係数を生成するが、ロスから復帰した最初のフレームについては、通常の復号によりISFパラメータを生成するため、上記急激なパワーの上昇を抑えることができない。
【００５３】
一方、特許文献２の方法では、符号化側で求めたゲイン調整用パラメータ（正規化予測残差パワー）を伝送し、復号側でのパワー調整に用いることで、パケットロスしたフレームの励振信号のパワーを抑え、急激なパワーの上昇を防止することができる。
【００５４】
図７には、特許文献２の技術に相当する音声復号器１Ｘの機能構成例を、図８には、隠蔽信号生成部１３Ｘの機能構成例をそれぞれ示す。特許文献２において、音声パケットは、従来手法において述べたパラメータに加えて、少なくとも正規化予測残差パワーの補助情報を含む。
【００５５】
音声信号生成部１Ｘが備える正規化予測残差パワー復号部１５は、音声パケットから正規化予測残差パワーの補助情報を復号して、参照正規化予測残差パワーを算出し、隠蔽信号生成部１３Ｘに出力する。
【００５６】
隠蔽信号生成部１３Ｘの構成要素のうち、正規化予測残差調整部１３８以外の構成要素は、前述した従来技術と同じであるので、以下では正規化予測残差調整部１３８についてのみ述べる。
【００５７】
正規化予測残差調整部１３８は、LP係数補間部１３０が出力したLP係数から正規化予測残差パワーを算出する。次に、正規化予測残差調整部１３８は、正規化予測残差パワーと参照正規化予測残差パワーを用いて、合成フィルタゲイン調整係数を算出する。最後に、正規化予測残差調整部１３８は、合成フィルタゲイン調整係数を励振信号に乗算して、合成フィルタ１３５に出力する。
【００５８】
上記の特許文献２の技術によれば、パケットロス時の隠蔽信号のパワーを正常受信時と同様に抑えることができるものの、低ビットレート音声符号化においては、上記ゲイン調整用パラメータの伝送に必要なビットレートを確保するのが困難である。また、隠蔽信号生成部における処理であるため、リカバリフレームにおいてISFパラメータの不一致により引き起こされるパワーの急激な変化には対応することが困難である。
【００５９】
そこで、本発明は、音声開始時点でのパケットロスから復帰した際に起こりうる不連続音を低減し、主観品質を改善することを目的とする。
【課題を解決するための手段】
【００６０】
本発明の音声信号処理方法、音声信号処理装置により実行される音声信号処理方法において、音声パケットを復号して、復号音声およびＩＳＦ／ＬＳＦパラメータを取得し、  パケットロスの発生後に最初に正常に受信された音声パケットを復号することにより得られた復号音声の振幅の急激な増加を決定し、前記復号音声の振幅の急激な増加を抑え、前記復号音声の振幅の急激な増加を抑えることは、前記ＩＳＦ／ＬＳＦパラメータの要素間の間隔を変化させる。
【００６１】
また、本発明の音声信号処理方法は、パケットロス後に最初に正常に受信された音声パケットを復号することにより得られた復号音声の振幅の急激な増加の発生を決定する不連続検出部と、前記復号音声の振幅の急激な増加を抑える不連続修正部と、前記不連続修正部は、振幅の急激な増加の発生の決定結果に従って、前記音声パケットを復号することにより得られたＩＳＦ／ＬＳＦパラメータの各要素間の間隔を変える。
【００６２】
本発明によれば、音声開始時点でのパケットロスから復帰した際に起こりうる上記不連続音を低減し、主観品質を改善することができる。
【発明の効果】
【００６３】
以上のような本発明によれば、音声開始時点でのパケットロスから復帰した際に起こりうる上記不連続音を低減し、主観品質を改善することができる。
【図面の簡単な説明】
【００６４】
【図１】音声復号器の構成図である。
【図２】音声復号器の処理フローである。
【図３】音声符号復号部の機能構成図である。
【図４】LP係数算出部の機能構成図である。
【図５】LP係数を算出する処理フローである。
【図６】隠蔽信号生成部の機能構成図である。
【図７】特許文献２の音声復号器の構成図である。
【図８】特許文献２の隠蔽信号生成部の機能構成図である。
【図９】第１実施形態における音声符号復号部の機能構成図である。
【図１０】第１実施形態におけるLP係数算出部の処理フローである。
【図１１】第１実施形態における音声符号復号部の機能構成図である。
【図１２】第１実施形態変形例１における第２安定性処理部の処理フローである。
【図１３】第２実施形態における音声符号復号部の機能構成図である。
【図１４】第２実施形態におけるLP係数算出部の機能構成図である。
【図１５】第２実施形態におけるLP係数算出の処理フローである。
【図１６】第４実施形態における音声符号化器の構成図である。
【図１７】第４実施形態における音声符号化器の構成図である。
【図１８】第４実施形態におけるLP分析・符号化器の構成図である。
【図１９】第４実施形態におけるLP分析・符号化器の処理フローである。
【図２０】第４実施形態における音声符号復号部の機能構成図である。
【図２１】第４実施形態におけるLP係数算出部の処理フローである。
【図２２】第５実施形態におけるLP分析・符号化器の構成図である。
【図２３】第５実施形態におけるLP分析・符号化器の処理フローである。
【図２４】第４実施形態における音声符号復号部の機能構成図である。
【図２５】第５実施形態におけるLP係数算出部の処理フローである。
【図２６】第７実施形態における音声復号器の構成図である。
【図２７】第７実施形態における音声復号器の処理フローである。
【図２８】第７実施形態における音声符号復号部の機能構成図である。
【図２９】第７実施形態におけるLP係数算出の処理フローである。
【図３０】コンピュータのハードウェア構成例を示す図である。
【図３１】コンピュータの外観図である。
【図３２】（ａ）、（ｂ）、（ｃ）および（ｄ）は音声信号処理プログラムのさまざまな構成例を示す図である。
【発明を実施するための形態】
【００６５】
以下、図面を用いて、本発明に係る音声信号処理装置、音声信号処理方法、及び音声信号処理プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００６６】
［第１実施形態］
第１実施形態における音声信号処理装置は、前述した図１の音声復号器１と同様の構成を備え、音声符号復号部に特徴があるため、以下、音声符号復号部について説明する。
【００６７】
図９には第１実施形態における音声符号復号部１２Ａの機能構成図を、図１０にはLP係数算出処理のフロー図を、それぞれ示す。図９の音声符号復号部１２Ａは、前述した図３の構成に対し、不連続検出部１２９が追加されている。従来技術との差異は、LP係数算出処理のみであるため、ここではLP係数算出処理に関わる各部の動作について述べる。
【００６８】
不連続検出部１２９は、復号して得られた固定符号帳ゲインgc0、及び内部状態に含まれる固定符号帳ゲインgc-1を参照し、次式に従いゲインの変化と閾値とを比較する（図１０のステップＳ１１）。
【数４２】
2018165824.tif 000044
【００６９】
ゲインの変化が閾値を越える場合、不連続発生を検出し（以下、単に「不連続を検出し」ともいう）、不連続発生の検出結果に係る制御信号を安定性処理部１２１に出力する。
【００７０】
なお、ゲインの変化と閾値との比較にあたっては、次式を用いても良い。
【数４３】
2018165824.tif 000045
【００７１】
さらに、現フレームに含まれる第１から第４サブフレームの固定符号帳ゲインのうち最大のものをgc(c)、内部状態に含まれる固定符号帳ゲインのうち最小のものをgc(p)として、次式によりゲインの変化と閾値との比較を行ってもよい。
【数４４】
2018165824.tif 000046
【００７２】
当然、次式を用いてもよい。
【数４５】
2018165824.tif 000047
【００７３】
第１実施形態の上記の例では、直前フレーム（ロストフレーム）の第４サブフレームの固定符号帳ゲインgc-1と、現フレームの第１サブフレームの固定符号帳ゲインgc0を用いて不連続検出を行う例を示したが、内部状態に含まれる固定符号帳ゲイン及び現フレームに含まれる固定符号帳ゲインについて、それぞれ平均値を算出した上で、ゲインの変化と閾値との比較を行うようにしてもよい。
【００７４】
ISF復号部１２０は、従来技術と同様の動作を行う（図１０のステップＳ１２）。
【００７５】
安定性処理部１２１は、不連続検出部１２９が不連続を検出した場合、以下の処理によりISFパラメータを修正する（図１０のステップＳ１３）。
【００７６】
最初に、安定性処理部１２１は、内部状態バッファ１４に記憶されたISFパラメータ
【数４６】
2018165824.tif 000048
について、各要素間に通常よりＭ-1倍の間隔をあける処理を行う。通常よりも非常に大きな間隔を与えることによりスペクトル包絡における過大なピークとディップを抑制する効果を与える。ここで、min_distは最小のISF間隔であり、isf_minは、min_distの間隔を確保するために必要なISFの最小値である。isf_minは、隣のISFの値にmin_distの間隔を加算することにより順次更新を行う。一方、isf_maxは、min_distの間隔を確保するために必要なISFの最大値である。isf_maxは、隣のISFの値からmin_distの間隔を減算することにより順次更新を行う。
【数４７】
2018165824.tif 000049
【００７７】
次に、安定性処理部１２１は、現フレームのISFパラメータについて、各要素間に通常よりＭ0倍の間隔をあける処理を行う。ここでは、１＜Ｍ0＜Ｍ-1とするが、Ｍ-1あるいはＭ0のいずれか一方を１とし、他方を１より大きな値に設定してもよい。
【数４８】
2018165824.tif 000050
【００７８】
また、安定性処理部１２１は、不連続検出器が不連続を検出しない場合、通常の復号過程で実施するのと同様に、以下の処理を行う。
【数４９】
2018165824.tif 000051
【００７９】
不連続を検出した場合の要素間の最小の間隔はISFの周波数に応じて変えてもよい。不連続を検出した場合の要素間の最小の間隔は、通常の復号処理の最小の要素間の間隔と異なっていれば良い。
【００８０】
LP係数算出部１２２内のISF-ISP変換部１２２Ａは、次式に従い、ISFパラメータ
【数５０】
2018165824.tif 000052
をそれぞれ、ISPパラメータ
【数５１】
2018165824.tif 000053
に変換する（図１０のステップＳ１４）。ここで、Cは事前に定めた定数である。
【数５２】
2018165824.tif 000054
【００８１】
ISP補間部１２２Ｂは、過去のISPパラメータ
【数５３】
2018165824.tif 000055
と、上記ISPパラメータ
【数５４】
2018165824.tif 000056
から、以下の式に従い、サブフレーム毎のISPパラメータを算出する（図１０のステップＳ１５）。補間にあたっては、別の係数を用いてもよい。
【数５５】
2018165824.tif 000057
【００８２】
ISP-LPC変換部１２２Ｃは、サブフレーム毎のISPパラメータをLP係数
【数５６】
2018165824.tif 000058
に変換する（図１０のステップＳ１６）。ここで、先読み信号に含まれるサブフレームの数を４としたが、サブフレームの数は設計方針により変更してもよい。具体的変換手順として、非特許文献１に記載の処理手順を用いることができる。
【００８３】
さらに、ISF-ISP変換部１２２Ａは、内部状態バッファ１４に記憶されたISFパラメータ
【数５７】
2018165824.tif 000059
を次式に従い更新する。
【数５８】
2018165824.tif 000060
このとき、不連続が検出された場合でも、ISF-ISP変換部１２２Ａは、以下の手順を実施することにより、ISFパラメータの算出結果を用いて、内部状態バッファに記憶されたISFパラメータ
【数５９】
2018165824.tif 000061
を更新してもよい。
【数６０】
2018165824.tif 000062
【００８４】
以上の第１実施形態のように、復号音声の不連続性は、励振信号算出に用いる量子化された符号帳ゲインによって推定することができ、また、不連続性の推定結果に応じて、ISF/LSFパラメータ（例えば合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔）を修正することができる。これにより、音声開始時点でのパケットロスから復帰した際に起こりうる不連続音を低減し、主観品質を改善することができる。
【００８５】
[第１実施形態の変形例]
図１１には、第１実施形態の変形例に係る音声符号復号部１２Ｓの機能構成図を示す。図３の従来技術の構成との差異は、不連続検出部１２９及び第２安定性処理部１２１Ｓのみであるため、これらの動作について述べる。第２安定性処理部１２１Ｓは、ゲイン調整部１２１Ｘ及びゲイン乗算部１２１Ｙを備えており、第２安定性処理部１２１Ｓの処理フローは図１２に示す。
【００８６】
不連続検出部１２９は、第１実施形態の不連続検出部１２９と同様にして、復号して得られた固定符号帳ゲインgc0及び内部状態に含まれる固定符号帳ゲインgc-1を参照し、ゲインの変化と閾値とを比較する。そして、不連続検出部１２９は、ゲインの変化が閾値を越えたか否かに関する情報を含む制御信号を、ゲイン調整部１２１Ｘに送る。
【００８７】
ゲイン調整部１２１Ｘは、ゲインの変化が閾値を越えたか否かに関する情報を制御信号から読み出し、ゲインの変化が閾値を越えた場合には、事前に定めたゲインgonをゲイン乗算部１２１Ｙに出力する。一方、ゲイン調整部１２１Ｘは、ゲインの変化が閾値を越えていない場合は、事前に定めたゲインgoffをゲイン乗算部１２１Ｙに出力する。このようなゲイン調整部１２１Ｘの動作は図１２のステップＳ１８に対応する。
【００８８】
ゲイン乗算部１２１Ｙは、合成フィルタ１２８が出力する合成信号に上記ゲインgon又はゲインgoffを乗算し（図１２のステップＳ１９）、得られた復号信号を出力する。
【００８９】
ここで、LP係数算出部１２２からLP係数またはISFパラメータを出力して、第２安定性処理部１２１Ｓに入力する構成（図１１にてLP係数算出部１２２からゲイン調整部１２１Ｘへの点線で示す構成）にしてもよい。この場合、乗算するべきゲインは、LP係数算出部１２２で算出したLP係数またはISFパラメータを用いて決定される。
【００９０】
以上の変形例のように、音声符号復号部１２Ｓに第２安定性処理部１２１Ｓを追加し、ゲインの変化が閾値を越えたか否かに応じてゲインを調整することで、適正な復号信号を得ることができる。
【００９１】
なお、第２安定性処理部１２１Ｓは、上記算出したゲインを励振信号に乗算し、合成フィルタ１２８に出力してもよい。
【００９２】
［第２実施形態］
第２実施形態における音声信号処理装置は、前述した図１の音声復号器１と同様の構成を備え、音声符号復号部に特徴があるため、以下、音声符号復号部について説明する。図１３には音声符号復号部１２Ｂの機能構成例を、図１４にはLP係数の算出処理に係る機能構成例を、図１５にはLP係数の算出処理のフローを、それぞれ示す。図１３の音声符号復号部１２Ｂは、前述した図３の構成に対し、不連続検出部１２９が追加されている。
【００９３】
ISF復号部１２０は、従来技術と同様にしてISFパラメータを算出する（図１５のステップＳ２１）。
【００９４】
安定性処理部１２１は、従来技術と同様にして、フィルタの安定性を確保するためにISFパラメータ
【数６１】
2018165824.tif 000063
の各要素間に50Hz以上の間隔をあけるよう処理を行う（図１５のステップＳ２２）。
【００９５】
ISF-ISP変換部１２２Ａは、第１実施形態と同様にして、安定性処理部１２１が出力したISFパラメータをISPパラメータに変換する（図１５のステップＳ２３）。
【００９６】
ISP補間部１２２Ｂは、第１実施形態と同様にして、過去のISPパラメータ
【数６２】
2018165824.tif 000064
と、ISF-ISP変換部１２２Ａによる変換で得られたISPパラメータ
【数６３】
2018165824.tif 000065
から、サブフレーム毎のISPパラメータを算出する（図１５のステップＳ２４）。
【００９７】
ISP-LPC変換部１２２Ｃは、第１実施形態と同様にして、サブフレーム毎のISPパラメータをLP係数
【数６４】
2018165824.tif 000066
に変換する（図１５のステップＳ２５）。ここで、先読み信号に含まれるサブフレームの数を４としたが、サブフレームの数は設計方針により変更してもよい。
【００９８】
内部状態バッファ１４は、新たなISFパラメータによって、過去に記憶したISFパラメータを更新する。
【００９９】
不連続検出部１２９は、パケットロスしたフレームにおける第４サブフレームのLP係数を内部状態バッファ１４から読み出し、パケットロスしたフレームにおける第４サブフレームのLP係数のインパルス応答のパワーを算出する。パケットロスしたフレームにおける第４サブフレームのLP係数は、パケットロス時に図６の隠蔽信号生成部１３に含まれるLP係数補間部１３０が出力して内部状態バッファ１４に蓄積した係数を用いることができる。
【数６５】
2018165824.tif 000067
【０１００】
そして、不連続検出部１２９は、例えば以下の式により不連続を検出する（図１５のステップＳ２６）。
【数６６】
2018165824.tif 000068
【０１０１】
ゲインの変化が閾値を越えない場合（図１５のステップＳ２７でＮＯの場合）、不連続検出部１２９は不連続発生を検出せず、ISP-LPC変換部１２２ＣからLP係数を出力して処理を終了する。一方、ゲインの変化が閾値を越える場合（図１５のステップＳ２７でＹＥＳの場合）、不連続検出部１２９は、不連続発生を検出し、不連続発生の検出結果に係る制御信号を安定性処理部１２１に送る。制御信号を受け取った場合、安定性処理部１２１は、第１実施形態と同様にして、ISFパラメータを修正する（図１５のステップＳ２８）。以下、ISF-ISP変換部１２２Ａ、ISP補間部１２２Ｂ、及びISP-LPC変換部１２２Ｃの動作（図１５のステップＳ２９、Ｓ２Ａ、Ｓ２Ｂ）は、上記と同様である。
【０１０２】
以上の第２実施形態のように、復号音声の不連続性は、励振信号のパワーによって推定することができ、第１実施形態と同様に、不連続音を低減し主観品質を改善することができる。
【０１０３】
[第３実施形態]
不連続を検出した際に、別の方法によりISFパラメータを修正してもよい。第３実施形態は、安定性処理部１２１のみが第１実施形態と異なるので、安定性処理部１２１の動作のみについて述べる。
【０１０４】
不連続検出部１２９が不連続を検出した場合、安定性処理部１２１は、以下の処理を行いISFパラメータを修正する。
【０１０５】
内部状態バッファ１４に記憶されたISFパラメータ
【数６７】
2018165824.tif 000069
について、安定性処理部１２１は、低次P’次元（0＜P’≦P）までのISFパラメータを次式により置き換える。ここで、
【数６８】
2018165824.tif 000070
とする。
【数６９】
2018165824.tif 000071
【０１０６】
また、安定性処理部１２１は、次のように事前に学習により得られたP’次元ベクトルで低次P’次元のISFパラメータを上書きしてもよい。
【数７０】
2018165824.tif 000072
【０１０７】
次に、現フレームのISFパラメータについて、安定性処理部１２１は、第１実施形態のように各要素間に通常よりＭ0倍の間隔をあける処理を行ってもよいし、次式に従い決定してもよい。ここで、
【数７１】
2018165824.tif 000073
とする。
【数７２】
2018165824.tif 000074
【０１０８】
また、安定性処理部１２１は、事前に学習したP’次元ベクトルで上書きしてもよい。
【数７３】
2018165824.tif 000075
【０１０９】
さらには、上記P’次元ベクトルは復号過程で学習されてもよく、例えば、
【数７４】
2018165824.tif 000076
としてもよい。ただし、復号開始時のフレームにおいてはωi-1を予め決められたP’次元ベクトルωiinitとしてもよい。
【０１１０】
内部状態バッファ１４は、新たなISFパラメータによって、過去に記憶したISFパラメータを更新する。
【０１１１】
以上の第３実施形態のように、予め定めた次元までのISF/LSFパラメータを等分して得られる間隔を、合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔として用いることができ、第１、第２実施形態と同様に、不連続音を低減し主観品質を改善することができる。
【０１１２】
［第４実施形態］
第４実施形態では、符号化側が、不連続の発生を検出して、不連続判定符号（検出結果を示す符号）を音声符号に含めて復号側へ伝送し、復号側が、音声符号に含まれる不連続判定符号に基づいて安定性処理の処理内容を決定する実施形態を説明する。
【０１１３】
（符号化側について）
図１６に符号化器２の機能構成例を、図１７に符号化器２における処理のフロー図を示す。図１６に示すように、符号化器２は、LP分析・符号化部２１、残差符号化部２２、及び符号多重化部２３を備える。
【０１１４】
このうちLP分析・符号化部２１の機能構成例を図１８に、LP分析・符号化部２１における処理のフロー図を図１９に示す。図１８に示すように、LP分析・符号化部２１は、LP分析部２１０、LP-ISF変換部２１１、ISF符号化部２１２、不連続判定部２１３、ISF隠蔽部２１４、ISF-LP変換部２１５、及びISFバッファ２１６を備える。
【０１１５】
LP分析・符号化部２１において、LP分析部２１０は、入力信号に対して線形予測分析を行い、線形予測係数を求める（図１７のステップＴ４１、図１８のステップＵ４１）。線形予測係数の算出に当たっては、音声信号から自己相関関数を算出した上で、レビンソン・ダービン法等を用いることができる。
【０１１６】
LP-ISF変換部２１１は、第１実施形態と同様にして、算出した線形予測係数をISFパラメータに変換する（ステップＴ４２、Ｕ４２）。線形予測係数からISFパラメータへの変換には、非特許文献に記載の方法を用いてもよい。
【０１１７】
ISF符号化部２１２は、ISFパラメータを事前に定めた方法により符号化してISF符号を算出し（ステップＴ４３、Ｕ４３）、符号化の過程で得られる量子化ISFパラメータを、不連続判定部２１３、ISF隠蔽部２１４及びISF-LP変換部２１５に出力する（ステップＵ４７）。ここで、量子化ISFパラメータは、ISF符号を逆量子化して得られるISFパラメータと等しい。符号化の方法としてベクトル符号化や直前フレームのISF及び事前に学習により定めた平均ベクトルからの誤差ベクトルをベクトル量子化等により符号化してもよい。
【０１１８】
不連続判定部２１３は、不連続判定部２１３が内蔵する内部バッファ（不図示）に格納された不連続判定フラグを符号化して、得られた不連続判定符号を出力する（ステップＵ４７）。また、不連続判定部２１３は、ISFバッファ２１６から読み出した隠蔽ISFパラメータ
【数７５】
2018165824.tif 000077
と、量子化ISFパラメータ
【数７６】
2018165824.tif 000078
を用いて、次式に従い不連続の判定を行い（ステップＴ４４、Ｕ４６）、その判定結果を不連続判定部２１３の内部バッファに格納する。ここで、Thresωは事前に定めた閾値、P’は次式を満たす整数である（0＜P’≦P）。
【数７７】
2018165824.tif 000079
【０１１９】
ここでは、ISFパラメータ同士のユークリッド距離を用いて不連続判定を行う例を述べたが、別の方法により不連続判定を行ってもよい。
【０１２０】
ISF隠蔽部２１４は、デコーダ側のISF隠蔽部と同様の処理により、量子化ISFパラメータから隠蔽ISFパラメータを算出して、得られた隠蔽ISFパラメータをISFバッファ２１６に出力する（ステップＵ４４、Ｕ４５）。ISF隠蔽処理の処理手順は、デコーダ側のパケットロス隠蔽部と同じ処理であれば、どんな方法でもよい。
【０１２１】
ISF-LP変換部２１５は、上記量子化ISFパラメータを変換して量子化線形予測係数を算出し、得られた量子化線形予測係数を残差符号化部２２へ出力する（ステップＴ４５）。ISFパラメータを量子化線形予測係数に変換する方法としては、非特許文献に記載の方法を用いてもよい。
【０１２２】
残差符号化部２２は、量子化線形予測係数を用いて音声信号をフィルタリングし、残差信号を算出する（ステップＴ４６）。
【０１２３】
次に、残差符号化部２２は、残差信号を、CELP又はTCX（Transform  Coded  Excitation）を用いる符号化手段、CELPとTCXとを切り替えて用いる符号化手段等により符号化し、残差符号を出力する（ステップＴ４７）。残差符号化部２２の処理は、本発明とは関連性が低いので、説明を省略する。
【０１２４】
符号多重化部２３は、ISF符号、不連続判定符号、及び残差符号を所定の順序でまとめて、得られた音声符号を出力する（ステップＴ４８）。
【０１２５】
（復号側について）
第４実施形態における音声信号処理装置は、前述した図１の音声復号器１と同様の構成を備え、音声符号復号部に特徴があるため、以下、音声符号復号部について説明する。図２０には音声符号復号部１２Ｄの機能構成例を、図２１にはLP係数の算出処理のフローを、それぞれ示す。図２０の音声符号復号部１２Ｄは、前述した図３の構成に対し、不連続検出部１２９が追加されている。
【０１２６】
ISF復号部１２０は、ISF符号を復号して安定性処理部１２１及び内部状態バッファ１４に出力する（図２１のステップＳ４１）。
【０１２７】
不連続検出部１２９は、不連続判定符号を復号し、得られた不連続検出結果を安定性処理部１２１に出力する（図２１のステップＳ４２）。
【０１２８】
安定性処理部１２１は、不連続検出結果に応じた安定性処理を行う（図２１のステップＳ４３）。安定性処理部の処理手順は、第１実施形態及び第３実施形態と同様の方法を用いることができる。
【０１２９】
なお、安定性処理部１２１は、不連続判定符号から得られた不連続検出結果に加えて、音声符号に含まれている他のパラメータも基礎として、以下のように安定性処理を行ってもよい。例えば、安定性処理部１２１は、ISF安定度stabを次式に従い算出し、ISF安定度が閾値を越える場合には、たとえ不連続判定符号から不連続が検出された旨の不連続検出結果が得られていても、不連続が検出されていないかのように安定性処理を行う構成にしてもよい。ここで、Cは事前に定めた定数である。
【数７８】
2018165824.tif 000080
【０１３０】
LP係数算出部１２２内のISF-ISP変換部１２２Ａは、第１実施形態と同様の処理手順によりISFパラメータをISPパラメータに変換する（図２１のステップＳ４４）。
【０１３１】
ISP補間部１２２Ｂは、第１実施形態と同様の処理手順によりサブフレーム毎のISPパラメータを算出する（図２１のステップＳ４５）。
【０１３２】
ISP-LPC変換部１２２Ｃは、第１実施形態と同様の処理手順により、サブフレーム毎に算出したISPパラメータをLPCパラメータに変換する（図２１のステップＳ４６）。
【０１３３】
以上のような第４実施形態では、符号化側において、不連続判定（一例として、隠蔽ISFパラメータと量子化ISFパラメータ同士のユークリッド距離を用いた不連続判定）を行い、その判定結果に関する補助情報を符号化して復号側へ出力し、復号側において、復号して得られた補助情報を用いて不連続性の推定を行う。このように符号化側と復号側とで連携しながら、符号化側での不連続判定結果に応じた適切な処理を実行することができる。
【０１３４】
［第５実施形態］
（符号化側について）
符号化器の機能構成は、第４実施形態に係る図１６の機能構成と同じであり、符号化器の処理フローは、第４実施形態に係る図１７の処理フローと同じである。ここでは、第４実施形態とは異なる第５実施形態におけるLP分析・符号化部について述べる。
【０１３５】
図２２にLP分析・符号化部の機能構成例を、図２３にLP分析・符号化部の処理フローを示す。図２２に示すように、LP分析・符号化部２１Ｓは、LP分析部２１０、LP-ISF変換部２１１、ISF符号化部２１２、不連続判定部２１３、ISF隠蔽部２１４、ISF-LP変換部２１５、及びISFバッファ２１６を備える。
【０１３６】
このようなLP分析・符号化部２１Ｓにおいて、LP分析部２１０は、第４実施形態と同様の処理により、入力信号に対して線形予測分析を行い、線形予測係数を求める（図２３のステップＵ５１）。
【０１３７】
LP-ISF変換部２１１は、第４実施形態と同様の処理により、算出した線形予測係数をISFパラメータに変換する（図２３のステップＵ５２）。線形予測係数からISFパラメータへの変換には、非特許文献に記載の方法を用いてもよい。
【０１３８】
ISF符号化部２１２は、不連続判定部２１３の内部バッファ（不図示）に格納された不連続判定フラグを読み出す（図２３のステップＵ５３）。
【０１３９】
＜不連続判定フラグが不連続の検出を表す場合＞
ISF符号化部２１２は、次式で算出されるISF残差パラメータriをベクトル量子化してISF符号を算出する（図２３のステップＵ５４）。ここで、LP-ISF変換部で算出したISFパラメータをωi、事前に学習で求めた平均ベクトルをmeaniとした。
【数７９】
2018165824.tif 000081
【０１４０】
次に、ISF符号化部２１２は、ISF残差パラメータriを量子化して得られた量子化ISF残差パラメータ
【数８０】
2018165824.tif 000082
を用いてISF残差パラメータバッファを次式に従い更新する（図２３のステップＵ５５）。
【数８１】
2018165824.tif 000083
【０１４１】
＜不連続判定フラグが不連続の検出を表さない場合＞
ISF符号化部２１２は、次式で算出されるISF残差パラメータriをベクトル量子化してISF符号を算出する（図２３のステップＵ５４）。ここで、直前のフレームで復号により得られたISF残差パラメータを
【数８２】
2018165824.tif 000084
とした。
【数８３】
2018165824.tif 000085
【０１４２】
次に、ISF符号化部２１２は、ISF残差パラメータriを量子化して得られた量子化ISF残差パラメータ
【数８４】
2018165824.tif 000086
を用いて、ISF残差パラメータバッファを次式に従い更新する（図２３のステップＵ５５）。
【数８５】
2018165824.tif 000087
【０１４３】
以上の手順により、ISF符号化部２１２は、ISF符号を算出し、符号化の過程で得られる量子化ISFパラメータを、不連続判定部２１３、ISF隠蔽部２１４及びISF-LP変換部２１５に出力する。
【０１４４】
ISF隠蔽部２１４は、第４実施形態と同様、デコーダ側のISF隠蔽部と同様の処理により、量子化ISFパラメータから隠蔽ISFパラメータを算出して、ISFバッファ２１６に出力する（図２３のステップＵ５６、Ｕ５８）。ISF隠蔽処理の処理手順は、デコーダ側のパケットロス隠蔽部と同じ処理であれば、どんな方法でもよい。
【０１４５】
不連続判定部２１３は、第４実施形態と同様の処理により、不連続の判定を行い、判定結果を不連続判定部２１３の内部バッファ（不図示）に格納する（図２３のステップＵ５７）。
【０１４６】
ISF-LP変換部２１５は、第４実施形態と同様にして、上記量子化ISFパラメータを変換して、量子化線形予測係数を算出し、残差符号化部２２（図１６）へ出力する（図２３のステップＵ５８）。
【０１４７】
（復号側について）
第５実施形態における音声信号処理装置は、前述した図１の音声復号器１と同様の構成を備え、音声符号復号部に特徴があるため、以下、音声符号復号部について説明する。図２４には音声符号復号部１２Ｅの機能構成例を、図２５にはLP係数の算出処理のフローを、それぞれ示す。図２４の音声符号復号部１２Ｅは、前述した図３の構成に対し、不連続検出部１２９が追加されている。
【０１４８】
不連続検出部１２９は、不連続判定符号を復号し、得られた不連続判定フラグをISF復号部１２０へ出力する（図２５のステップＳ５１）。
【０１４９】
ISF復号部１２０は、不連続判定フラグの値に応じて、次の通りISFパラメータを算出し、ISFパラメータを安定性処理部１２１及び内部状態バッファ１４に出力する（図２５のステップＳ５２）。
【０１５０】
＜不連続判定フラグが不連続の検出を表す場合＞
ISF復号部１２０は、ISF符号を復号して得られる量子化ISF残差パラメータを
【数８６】
2018165824.tif 000088
、事前に学習で求めた平均ベクトルをmeaniとして、次式に従い量子化ISFパラメータ
【数８７】
2018165824.tif 000089
を求める。
【数８８】
2018165824.tif 000090
【０１５１】
次に、ISF復号部１２０は、内部状態バッファ１４に記憶されたISF残差パラメータを次式に従い更新する。
【数８９】
2018165824.tif 000091
【０１５２】
＜不連続判定フラグが不連続の検出を表さない場合＞
ISF復号部１２０は、直前のフレームで復号により得られたISF残差パラメータ
【数９０】
2018165824.tif 000092
を内部状態バッファ１４から読み出し、得られたISF残差パラメータ
【数９１】
2018165824.tif 000093
、事前に学習で求めた平均ベクトルmeani、及びISF符号を復号して得られる量子化ISF残差パラメータ
【数９２】
2018165824.tif 000094
から、次式に従い量子化ISFパラメータ
【数９３】
2018165824.tif 000095
を求める。
【数９４】
2018165824.tif 000096
【０１５３】
次に、ISF復号部１２０は、内部状態バッファ１４に記憶されたISF残差パラメータを次式に従い更新する。
【数９５】
2018165824.tif 000097
【０１５４】
安定性処理部１２１は、第１実施形態で述べた不連続が検出されない場合と同様の処理を行う（図２５のステップＳ５３）。
【０１５５】
LP係数算出部１２２内のISF-ISP変換部１２２Ａは、第１実施形態と同様の処理手順によりISFパラメータをISPパラメータに変換する（図２５のステップＳ５４）。
【０１５６】
ISP補間部１２２Ｂは、第１実施形態と同様の処理手順によりサブフレーム毎のISPパラメータを算出する（図２５のステップＳ５５）。
【０１５７】
ISP-LPC変換部１２２Ｃは、第１実施形態と同様の処理手順により、サブフレーム毎に算出したISPパラメータをLPCパラメータに変換する（図２５のステップＳ５６）。
【０１５８】
以上のような第５実施形態では、符号化側において、不連続判定フラグが不連続の検出を表さない場合に、直前のフレームで復号により得られたISF残差パラメータを使用してISF残差パラメータのベクトル量子化を行い、一方、不連続判定フラグが不連続の検出を表す場合には、直前のフレームで復号により得られたISF残差パラメータの使用を回避する。同様に、復号側において、不連続判定フラグが不連続の検出を表さない場合に、直前のフレームで復号により得られたISF残差パラメータを使用して量子化ISFパラメータを算出し、一方、不連続判定フラグが不連続の検出を表す場合には、直前のフレームで復号により得られたISF残差パラメータの使用を回避する。このように符号化側と復号側とで連携しながら、不連続判定結果に応じた適切な処理を実行することができる。
【０１５９】
［第６実施形態］
上記第１〜第５実施形態は組み合わせてもよい。例えば、第４実施形態に記載のとおり、復号側において、符号化側からの音声符号に含まれる不連続判定符号を復号して不連続を検出し、不連続が検出された場合に、以下のとおり実施してもよい。
【０１６０】
内部状態バッファに記憶されたISFパラメータ
【数９６】
2018165824.tif 000098
については、第３実施形態に記載のとおり、低次P’次元（0＜P’≦P）までのISFパラメータを次式により置き換える。
【数９７】
2018165824.tif 000099
【０１６１】
一方、現フレームのISFパラメータについては、第５実施形態に記載のとおり、次式に従って算出する。
【数９８】
2018165824.tif 000100
【０１６２】
以降、上記により求められたISFパラメータを用いて、第１実施形態と同様に、ISF-ISP変換部１２２Ａ、ISP補間部１２２Ｂ、ISP-LPC変換部１２２Ｃの処理によりLP係数を求める。
【０１６３】
上記のように第１〜第５実施形態を任意に組み合わせた態様も有効である。
【０１６４】
［第７実施形態］
上記第１〜第６実施形態及び変形例において、復号側におけるフレームロスの状況（例えば、単一フレームロスか連続フレームロスかといった状況）を加味してもよい。なお、第７実施形態では、不連続検出については、例えば音声符号に含まれる不連続判定符号を復号した結果を用いて不連続検出すればよく、その方法は上記に限定されない。
【０１６５】
第７実施形態における音声信号処理装置は、前述した図１の音声復号器１と同様の構成を備え、音声符号復号部に特徴があるため、以下、音声符号復号部について説明する。
【０１６６】
図２６には第７実施形態に係る音声復号器１Ｓの構成例を、図２７には音声復号器における処理のフロー図を、それぞれ示す。図２６に示すように、音声復号器１Ｓは、前述した音声符号復号部１２Ｇ、隠蔽信号生成部１３、及び内部状態バッファ１４に加え、過去数フレームにおけるパケット受信状態を判定しパケットロス履歴を記憶する受信状態判定部１６を備える。
【０１６７】
受信状態判定部１６は、パケット受信状態を判定し、判定結果に基づきパケットロス履歴情報を更新する（図２７のステップＳ５０）。
【０１６８】
パケットロスが検出された場合（ステップＳ１００でＮＯの場合）、受信状態判定部１６は、当該フレームのパケットロス検出結果を隠蔽信号生成部１３に出力し、隠蔽信号生成部１３は前述した隠蔽信号の生成及び内部状態の更新を行う（ステップＳ３００、Ｓ４００）。なお、隠蔽信号生成部１３も、パケットロス履歴情報をパラメータの補間等に利用してもよい。
【０１６９】
一方、パケットロスが検出されなかった場合（ステップＳ１００でＹＥＳの場合）、受信状態判定部１６は、当該フレームのパケットロス検出結果を含むパケットロス履歴情報と、受信パケットに含まれる音声符号とを、音声符号復号部１２に出力し、音声符号復号部１２は前述した音声符号の復号及び内部状態の更新を行う（ステップＳ２００、Ｓ４００）。
【０１７０】
以後、ステップＳ５０〜Ｓ４００の処理は通信終了まで（ステップＳ５００でＹＥＳと判断されるまで）繰り返される。
【０１７１】
図２８には、音声符号復号部１２Ｇの機能構成例を、図２９には、LP係数の算出処理のフロー図を示す。ここでは、パケットロス履歴情報をLP係数算出部１２２にのみ用いる例について述べるが、他の構成要素にパケットロス履歴情報を入力して用いる構成としてもよい。
【０１７２】
音声符号復号部１２Ｇでは、LP係数の算出処理に係る構成以外の構成については、第１実施形態と同様であるので、以下、LP係数の算出処理に係る構成及び動作について述べる。
【０１７３】
ISF復号部１２０は、第１実施形態と同様にしてISF符号を復号してISFパラメータを安定性処理部１２１へ出力する（図２９のステップＳ７１）。
【０１７４】
不連続検出部１２９は、パケットロス履歴情報を参照して受信状態を判定する（ステップＳ７２）。不連続検出部１２９は、例えば、３フレーム前はパケットロス、２フレーム前は正常受信、１フレーム前はパケットロス、といったような特定の受信パターンを予め記憶しておき、該当する受信パターンが現れた場合に、受信状態フラグをオフにし、それ以外の場合は受信状態フラグをオンにするよう設計してもよい。
【０１７５】
また、不連続検出部１２９は、前述した第１〜第６実施形態のいずれかの方法と同様に、不連続検出を行う。
【０１７６】
そして、安定性処理部１２１は、例えば以下のように、受信状態フラグおよび不連続検出の結果に応じて安定性処理を行う（ステップＳ７３）。
【０１７７】
受信状態フラグがオフの場合、安定性処理部１２１は、不連続検出の結果の如何を問わず、不連続が検出されなかった場合と同様の処理を行う。
【０１７８】
一方、受信状態フラグがオンで且つ不連続検出の結果、不連続が検出されなかった場合、安定性処理部１２１は、不連続が検出されなかった場合と同様の処理を行う。
【０１７９】
さらに、受信状態フラグがオンで且つ不連続検出の結果、不連続が検出された場合、安定性処理部１２１は、不連続が検出された場合と同様の処理を行う。
【０１８０】
以後、LP係数算出部１２２内のISF-ISP変換部１２２Ａ、ISP補間部１２２Ｂ、及びISP-LPC変換部１２２Ｃの動作（ステップＳ７４〜Ｓ７６）は、第１実施形態と同様である。
【０１８１】
以上のような第７実施形態では、不連続検出の結果と受信状態フラグの状態とに応じた安定性処理を行うことで、フレームロスの状況（例えば、単一フレームロスか連続フレームロスかといった状況）を加味した、より精度の良い処理を実行できる。
【０１８２】
［音声信号処理プログラムについて］
以下、コンピュータを、本発明に係る音声信号処理装置として動作させる音声信号処理プログラムについて説明する。
【０１８３】
図３２は、音声信号処理プログラムのさまざまな構成例を示す図である。図３０は、コンピュータのハードウェア構成例を示す図であり、図３１は、コンピュータの外観図である。図３２（ａ）〜（ｄ）にそれぞれ示す音声信号処理プログラムＰ１〜Ｐ４（以下「音声信号処理プログラムＰ」と総称する）は、図３１および図３２に示すコンピュータＣ１０を音声信号処理装置として動作させることができる。なお、本明細書にて説明する音声信号処理プログラムＰは、図３１および図３２に示すようなコンピュータに限定されず、携帯電話、携帯情報端末、携帯型パーソナルコンピュータといった任意の情報処理装置を、当該音声信号処理プログラムＰに従って動作させることができる。
【０１８４】
音声信号処理プログラムＰは、記録媒体Ｍに格納されて提供され得る。なお、記録媒体Ｍとしては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
【０１８５】
図３０に示すように、コンピュータＣ１０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置Ｃ１２と、作業用メモリ（ＲＡＭ）Ｃ１４と、記録媒体Ｍに記憶されたプログラムを記憶するメモリＣ１６と、ディスプレイＣ１８と、入力装置であるマウスＣ２０及びキーボードＣ２２と、データ等の送受信を行うための通信装置Ｃ２４と、プログラムの実行を制御する中央演算部（ＣＰＵ）Ｃ２６とを備える。
【０１８６】
コンピュータＣ１０は、記録媒体Ｍが読み取り装置Ｃ１２に挿入されると、記録媒体Ｍに格納された音声信号処理プログラムＰに読み取り装置Ｃ１２からアクセス可能になり、音声信号処理プログラムＰによって音声信号処理装置として動作することが可能になる。
【０１８７】
音声信号処理プログラムＰは、図３１に示すように、搬送波に重畳されたコンピュータデータ信号Ｗとしてネットワークを介して提供されるものであってもよい。この場合、コンピュータＣ１０は、通信装置Ｃ２４によって受信した音声信号処理プログラムＰをメモリＣ１６に格納し、音声信号処理プログラムＰを実行することができる。
【０１８８】
音声信号処理プログラムＰは、図３２（ａ）〜（ｄ）に示すさまざまな構成を採りうる。これらは、特許請求の範囲に記載した音声信号処理プログラムに係る請求項１８〜２１の構成にそれぞれ対応する。例えば、図３２（ａ）に示す音声信号処理プログラムＰ１は、不連続推定モジュールＰ１１、および不連続修正モジュールＰ１２を備える。図３２（ｂ）に示す音声信号処理プログラムＰ２は、ISF/LSF量子化モジュールＰ２１、ISF/LSF隠蔽モジュールＰ２２、不連続推定モジュールＰ２３、および補助情報符号化モジュールＰ２４を備える。図３２（ｃ）に示す音声信号処理プログラムＰ３は、不連続推定モジュールＰ３１、補助情報符号化モジュールＰ３２、およびISF/LSF量子化モジュールＰ３３を備える。図３２（ｄ）に示す音声信号処理プログラムＰ４は、補助情報復号モジュールＰ４１、不連続修正モジュールＰ４２、およびISF/LSF復号モジュールＰ４３を備える。
【０１８９】
以上説明したさまざまな実施形態によって、音声開始時点でのパケットロスから復帰した際に起こりうる不連続音を低減し、主観品質を改善することができる。
【０１９０】
発明の１つ目の特徴である安定性処理部は、パケットロス後に最初に正常に受信したパケットにおいて不連続が検出された場合に、例えばISFパラメータの各要素間に与える間隔を通常よりも大きくとることで、LP係数の利得が大きくなりすぎることを防ぐことができる。LP係数の利得と励振信号のパワーがともに増加することを防ぐことができるので、合成信号の不連続を軽減し、主観品質劣化を低減する。また、安定性処理部は、LP係数等を利用して算出したゲインを合成信号に乗算することにより合成信号の不連続性を軽減してもよい。
【０１９１】
また、発明の２つ目の特徴である不連続検出器は、パケットロス後に最初に正常に受信したパケットに含まれる励振信号のゲインを監視し、励振信号のゲインにおいて一定以上増加が起こるパケットについて不連続性を推定する。
【０１９２】
本発明の一実施形態に係る音声信号処理装置は、パケットロスが起こった後に最初に正常に受信した音声パケットに対して、音声パケット復号の結果得られる復号音声の振幅が急激に大きくなることにより生じる不連続性の推定を行う不連続推定器と、復号音声の不連続性を修正する不連続修正器と、を備える。
【０１９３】
上記の不連続推定器は、復号音声の不連続性を、励振信号のパワーにより推定してもよい。
【０１９４】
また、上記の不連続推定器は、復号音声の不連続性を、励振信号算出に用いる量子化された符号帳ゲインにより推定してもよい。
【０１９５】
上記の音声信号処理装置は、符号化器より伝送された不連続性に関する補助情報を復号する補助情報復号器、をさらに備え、上記の不連続推定器は、補助情報復号器が補助情報符号を復号して出力する不連続性に関する補助情報を用いて、復号音声の不連続性を推定してもよい。
【０１９６】
上記の不連続修正器は、不連続性の推定結果に応じて、ISFパラメータ又はLSFパラメータ（以下「ISF/LSFパラメータ」と表記する）を修正してもよい。
【０１９７】
より具体的には、上記の不連続修正器は、合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔を、不連続性の推定結果に応じて変化させてもよい。
【０１９８】
このとき、上記の不連続修正器は、合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔として、安定性保証のために通常与える間隔よりも大きな間隔を与えてもよい。
【０１９９】
また、上記の不連続修正器は、予め定めた次元までのISF/LSFパラメータを等分して得られる間隔を、合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔として用いてもよい。
【０２００】
さらに、上記の不連続修正器は、予め定めたベクトルにより、ISF/LSFパラメータの一部もしくは全部を置き換えてもよい。
【０２０１】
本発明の一実施形態に係る音声信号処理装置は、ISF/LSFパラメータを量子化するISF/LSF量子化器と、ISF/LSFパラメータに関する隠蔽情報である隠蔽ISF/LSFパラメータを生成するISF/LSF隠蔽器と、前記ISF/LSF量子化器の量子化過程で得られる量子化ISF/LSFパラメータと前記ISF/LSF隠蔽器が生成する隠蔽ISF/LSFパラメータとの距離を用いて、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、不連続性に関する補助情報を符号化する補助情報符号化器と、を備える。
【０２０２】
本発明の一実施形態に係る音声信号処理装置は、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、不連続性に関する補助情報を符号化する補助情報符号化器と、前記不連続推定器が不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用い、前記不連続推定器が不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用いることを回避するISF/LSF量子化器と、を備える。
【０２０３】
本発明の一実施形態に係る音声信号処理装置は、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性に関する補助情報を復号し出力する補助情報復号器と、復号音声の不連続性を修正する不連続修正器と、前記補助情報復号器の出力により不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用い、前記補助情報復号器の出力により不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用いることを回避するISF/LSF復号器と、を備える。
【０２０４】
音声信号処理装置は、過去の所定数のフレームのパケット受信状態を判定する受信状態判定部、をさらに備え、不連続修正器は、不連続性の推定結果に加え、パケット受信状態の判定結果も基礎として、不連続性の修正を行う構成を採用してもよい。
【０２０５】
さて、本発明の一実施形態に係る音声信号処理装置は、音声信号処理方法に係る発明、及び音声信号処理プログラムに係る発明として捉えることもでき、以下のように記述することができる。
【０２０６】
本発明の一実施形態に係る音声信号処理方法は、音声信号処理装置により実行される音声信号処理方法であって、パケットロスが起こった後に最初に正常に受信した音声パケットに対して、音声パケット復号の結果得られる復号音声の振幅が急激に大きくなることにより生じる不連続性の推定を行うステップと、復号音声の不連続性を修正するステップと、を備える。
【０２０７】
本発明の一実施形態に係る音声信号処理方法は、音声信号処理装置により実行される音声信号処理方法であって、ISF/LSFパラメータを量子化するステップと、ISF/LSFパラメータに関する隠蔽情報である隠蔽ISF/LSFパラメータを生成するステップと、前記ISF/LSFパラメータの量子化過程で得られる量子化ISF/LSFパラメータと生成された隠蔽ISF/LSFパラメータとの距離を用いて、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定するステップと、不連続性に関する補助情報を符号化するステップと、を備える。
【０２０８】
本発明の一実施形態に係る音声信号処理方法は、音声信号処理装置により実行される音声信号処理方法であって、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定するステップと、不連続性に関する補助情報を符号化するステップと、不連続性が推定されない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用い、不連続性が推定された場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用いることを回避するステップと、を備える。
【０２０９】
本発明の一実施形態に係る音声信号処理方法は、音声信号処理装置により実行される音声信号処理方法であって、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性に関する補助情報を復号し出力するステップと、復号音声の不連続性を修正するステップと、前記補助情報が不連続性の推定を示さない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用い、前記補助情報が不連続性の推定を示す場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用いることを回避するステップと、を備える。
【０２１０】
本発明の一実施形態に係る音声信号処理プログラムは、コンピュータを、パケットロスが起こった後に最初に正常に受信した音声パケットに対して、音声パケット復号の結果得られる復号音声の振幅が急激に大きくなることにより生じる不連続性の推定を行う不連続推定器と、復号音声の不連続性を修正する不連続修正器、として動作させるための音声信号処理プログラムである。
【０２１１】
本発明の一実施形態に係る音声信号処理プログラムは、コンピュータを、ISF/LSFパラメータを量子化するISF/LSF量子化器と、ISF/LSFパラメータに関する隠蔽情報である隠蔽ISF/LSFパラメータを生成するISF/LSF隠蔽器と、前記ISF/LSF量子化器の量子化過程で得られる量子化ISF/LSFパラメータと前記ISF/LSF隠蔽器が生成する隠蔽ISF/LSFパラメータとの距離を用いて、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、不連続性に関する補助情報を符号化する補助情報符号化器、として動作させるための音声信号処理プログラムである。
【０２１２】
本発明の一実施形態に係る音声信号処理プログラムは、コンピュータを、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、不連続性に関する補助情報を符号化する補助情報符号化器と、前記不連続推定器が不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用い、前記不連続推定器が不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用いることを回避するISF/LSF量子化器、として動作させるための音声信号処理プログラムである。
【０２１３】
本発明の一実施形態に係る音声信号処理プログラムは、コンピュータを、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性に関する補助情報を復号し出力する補助情報復号器と、復号音声の不連続性を修正する不連続修正器と、前記補助情報復号器の出力により不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用い、前記補助情報復号器の出力により不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用いることを回避するISF/LSF復号器、として動作させるための音声信号処理プログラムである。
【符号の説明】
【０２１４】
１、１Ｓ、１Ｘ…音声復号器、１１…パケットロス検出部、１２、１２Ａ、１２Ｂ、１２Ｄ、１２Ｅ、１２Ｇ、１２Ｓ…音声符号復号部、１３、１３Ｘ…隠蔽信号生成部、１４…内部状態バッファ、１５…正規化予測残差パワー復号部、１６…受信状態判定部、２１、２１Ｓ…分析・符号化部、２２…残差符号化部、２３…符号多重化部、１２０…ISF復号部、１２１、１２１Ｓ…安定性処理部、１２１Ｘ…ゲイン調整部、１２１Ｙ…ゲイン乗算部、１２２…LP係数算出部、１２２Ａ…ISF-ISP変換部、１２２Ｂ…ISP補間部、１２２Ｃ…ISP-LPC変換部、１２３…適応符号帳算出部、１２４…固定符号帳復号部、１２５…ゲイン復号部、１２６…励振ベクトル合成部、１２７…ポストフィルタ、１２８…合成フィルタ、１２９…不連続検出部、１３０…LP係数補間部、１３１…ピッチラグ補間部、１３２…ゲイン補間部、１３３…雑音信号生成部、１３４…ポストフィルタ、１３５…合成フィルタ、１３６…適応符号帳算出部、１３７…励振ベクトル合成部、１３８…正規化予測残差調整部、２１０…LP分析部、２１１…LP-ISF変換部、２１２…ISF符号化部、２１３…不連続判定部、２１４…ISF隠蔽部、２１５…ISF-LP変換部、２１６…ISFバッファ、Ｃ１０…コンピュータ、Ｃ１２…読み取り装置、Ｃ１４…作業用メモリ、Ｃ１６…メモリ、Ｃ１８…ディスプレイ、Ｃ２０…マウス、Ｃ２２…キーボード、Ｃ２４…通信装置、Ｃ２６…ＣＰＵ、Ｍ…記録媒体、Ｐ１〜Ｐ４…音声信号処理プログラム、Ｐ１１…不連続推定モジュール、Ｐ１２…不連続修正モジュール、Ｐ２１…ISF/LSF量子化モジュール、Ｐ２２…ISF/LSF隠蔽モジュール、Ｐ２３…不連続推定モジュール、Ｐ２４…補助情報符号化モジュール、Ｐ３１…不連続推定モジュール、Ｐ３２…補助情報符号化モジュール、Ｐ３３…ISF/LSF量子化モジュール、Ｐ４１…補助情報復号モジュール、Ｐ４２…不連続修正モジュール、Ｐ４３…ISF/LSF復号モジュール、Ｗ…コンピュータデータ信号。 
【図１】
2018165824.tif 000101
【図２】
2018165824.tif 000102
【図３】
2018165824.tif 000103
【図４】
2018165824.tif 000104
【図５】
2018165824.tif 000105
【図６】
2018165824.tif 000106
【図７】
2018165824.tif 000107
【図８】
2018165824.tif 000108
【図９】
2018165824.tif 000109
【図１０】
2018165824.tif 000110
【図１１】
2018165824.tif 000111
【図１２】
2018165824.tif 000112
【図１３】
2018165824.tif 000113
【図１４】
2018165824.tif 000114
【図１５】
2018165824.tif 000115
【図１６】
2018165824.tif 000116
【図１７】
2018165824.tif 000117
【図１８】
2018165824.tif 000118
【図１９】
2018165824.tif 000119
【図２０】
2018165824.tif 000120
【図２１】
2018165824.tif 000121
【図２２】
2018165824.tif 000122
【図２３】
2018165824.tif 000123
【図２４】
2018165824.tif 000124
【図２５】
2018165824.tif 000125
【図２６】
2018165824.tif 000126
【図２７】
2018165824.tif 000127
【図２８】
2018165824.tif 000128
【図２９】
2018165824.tif 000129
【図３０】
2018165824.tif 000130
【図３１】
2018165824.tif 000131
【図３２】
2018165824.tif 000132