(57)【要約】【課題】  この発明は、パケット損失が発生した場合に、音質劣化を防止できる音声再生装置を提供することを目的とする。【解決手段】  パケットの損失が発生したと判別された場合に、過去の再生信号からその周期を検出する周期検出手段、過去の再生信号から、パケット損失直前の１周期分の再生信号を抽出し、抽出した１周期分の再生信号を用いて、パケット損失部分の区間に相当する補完信号を生成し、生成した補完信号をパケット損失部分に対応する再生信号として出力する補完信号生成手段、ならびに音声復号化手段において補完信号中の最後の再生信号が生成された直後の内部状態を、音声復号化手段の過去の内部状態を保持している内部状態保持手段から取得して、音声復号化手段に設定する手段を備えている。【選択図】  図２
2006279809.tif 000002
【特許請求の範囲】
【請求項１】
予測符号化方式で符号化された音声符号を含むパケットを受信して、受信したパケット内の音声符号を復号化する音声再生装置において、
受信したパケット内の音声符号を復号化するための音声復号化手段、
音声復号化手段によって得られた過去の再生信号を、新しいものから所定期間分保持する再生信号保持手段、
音声復号化手段の過去の内部状態を、新しいものから所定期間分保持する内部状態保持手段、
パケットの損失が発生したか否かを判別する判別手段、
パケットの損失が発生したと判別された場合に、再生信号保持手段に保持されている過去の再生信号からその周期を検出する周期検出手段、
再生信号保持手段に保持されている過去の再生信号から、パケット損失直前の１周期分の再生信号を抽出し、抽出した１周期分の再生信号を用いて、パケット損失部分の区間に相当する補完信号を生成し、生成した補完信号をパケット損失部分に対応する再生信号として出力する補完信号生成手段、ならびに
音声復号化手段において補完信号中の最後の再生信号が生成された直後の内部状態を、内部状態保持手段から取得して、音声復号化手段に設定する手段、
を備えていることを特徴とする音声再生装置。
【請求項２】
予測符号化方式で符号化された音声符号を含むパケットを受信して、受信したパケット内の音声符号を復号化する音声再生方法において、
受信したパケット内の音声符号を復号化するための音声復号化器によって得られた過去の再生信号を、新しいものから所定期間分、第１記憶手段に保持させる第１ステップ、
音声復号化器の過去の内部状態を、新しいものから所定期間、第２記憶手段に保持させる第２ステップ、
パケットの損失が発生したか否かを判別する第３ステップ、
パケットの損失が発生したと判別された場合に、第１記憶手段に保持されている過去の再生信号からその周期を検出する第４ステップ、
第１記憶手段に保持されている過去の再生信号から、パケット損失直前の１周期分の再生信号を抽出し、抽出した１周期分の再生信号を用いて、パケット損失部分の区間に相当する補完信号を生成し、生成した補完信号をパケット損失部分に対応する再生信号として出力する第５ステップ、ならびに
音声復号化器において補完信号中の最後の再生信号が生成された直後の内部状態を、第２記憶手段から取得して、音声復号化器に設定する第６ステップ、
を備えていることを特徴とする音声再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、インターネットプロトコルを用いた音声通話システムに用いられる音声再生装置および音声再生方法に関する。
【背景技術】
【０００２】
近年、インターネットプロトコル（以下、ＩＰ）を用いた音声通話システムが普及しつつある。このような音声通話システムでは、”ＶｏｌＰ（Voice over Internet Protocol)"という技術を利用している。”ＶｏｌＰ”は、インターネットやイントラネットなどのＴＣＰ／ＩＰネットワーク上で音声通話を行う、つまり音声データを送受信することを可能にする技術である。このような電話通信システムでは、音声を圧縮（符号化）した後にパケット化して、ＩＰ網を通じて通話を行う。
【０００３】
図１は、従来の音声通話システムの構成を示している。
【０００４】
送信側端末１０においては、マイクから入力したアナログ音声信号がＡ／Ｄ変換器１１によってデジタル音声信号に変換される。Ａ／Ｄ変換器１１によって得られたデジタル音声信号は、音声符号化部１２によって符号化される。音声符号化部１２によって得られた音声符号は、パケット生成部１３によって数ｍｓ毎にまとめられた後、パケットの送出順序を示す情報（シーケンス番号）が付加されて、ＩＰ網２０に送出される。
【０００５】
受信側端末３０においては、パケット分離部３１によってＩＰ網２０から入力されたパケットから音声符号が分離される。パケット分離部３１によって分離された音声符号は、ジッタ吸収バッファ処理部３２に送られ、パケット順序の並び換えが行われた後、音声復号化部３４に送られる。音声復号化部３４では、音声符号が復号化される。音声復号化部３４によって得られたデジタル音声信号は、出力バッファ３５を介してＤ／Ａ変換器３６に送られ、アナログ音声信号に変換される。Ｄ／Ａ変換器３６によって得られたアナログ音声信号はスピーカに送られて出力される。
【０００６】
ところで、パケットを受信する際、ＩＰ網の状況により、パケットが損失することがある。パケット損失が発生した場合、損失した部分の音声情報が欠落するため、そのままでは音質が劣化し、聴き取りにくい音声となる。
【０００７】
そこで、パケット損失が発生した場合には、音声復号化の後処理において、パケット補償処理を行う技術が開発されている（特許第３１８４４４１号公報参照）。パケット損失補償処理では、まず、過去に音声復号化部によって得られたデジタル音声信号（履歴信号）を保持しておき、パケット損失が発生した場合に、履歴信号から周期（ピッチ）を算出し、パケット損失の直前の１周期の履歴信号を用いて、パケット損失部分に対する補完信号を生成し、得られた補完信号をパケット損失部分に対する復号化信号として用いる。
【０００８】
補完信号は、パケット損失の直前の１周期の履歴信号を繰り返し接続することにより生成される。なお、補完信号とパケット損失前後の復号化信号の接続部においては、滑らかな接続が行なわれるように、三角窓やハミング窓等の窓関数を用いて窓掛け処理を行ない、合成する。音声信号の接続部を滑らかにする処理は、その他様々な手法が開発されているが、この明細書では、このような処理を接続部平滑化処理ということにする。
【０００９】
ところで、音声符号化方式がＡＤＰＣＭのような予測符号化方式である場合には、音声復号化部では、過去の音声符号を復号化した際に算出される予測信号を用いて現在の音声符号を復号化するため、従来のパケット補償処理では、パケット損失後の音声符号を復号する際に必要な予測信号が得られず、音質が劣化するという問題がある。
【特許文献１】特許第３１８４４４１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
この発明は、予測符号化方式で符号化された音声符号を含むパケットを受信して、受信したパケット内の音声符号を復号化する音声再生装置において、パケット損失が発生した場合に、音質劣化を防止できる音声再生装置を提供することを目的とする。
【００１１】
また、この発明は、予測符号化方式で符号化された音声符号を含むパケットを受信して、受信したパケット内の音声符号を復号化する音声再生方法において、パケット損失が発生した場合に、音質劣化を防止できる音声再生方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
請求項１に記載の発明は、予測符号化方式で符号化された音声符号を含むパケットを受信して、受信したパケット内の音声符号を復号化する音声再生装置において、受信したパケット内の音声符号を復号化するための音声復号化手段、音声復号化手段によって得られた過去の再生信号を、新しいものから所定期間分保持する再生信号保持手段、音声復号化手段の過去の内部状態を、新しいものから所定期間分保持する内部状態保持手段、パケットの損失が発生したか否かを判別する判別手段、パケットの損失が発生したと判別された場合に、再生信号保持手段に保持されている過去の再生信号からその周期を検出する周期検出手段、再生信号保持手段に保持されている過去の再生信号から、パケット損失直前の１周期分の再生信号を抽出し、抽出した１周期分の再生信号を用いて、パケット損失部分の区間に相当する補完信号を生成し、生成した補完信号をパケット損失部分に対応する再生信号として出力する補完信号生成手段、ならびに音声復号化手段において補完信号中の最後の再生信号が生成された直後の内部状態を、内部状態保持手段から取得して、音声復号化手段に設定する手段を備えていることを特徴とする。
【００１３】
請求項２に記載の発明は、予測符号化方式で符号化された音声符号を含むパケットを受信して、受信したパケット内の音声符号を復号化する音声再生方法において、受信したパケット内の音声符号を復号化するための音声復号化器によって得られた過去の再生信号を、新しいものから所定期間分、第１記憶手段に保持させる第１ステップ、音声復号化器の過去の内部状態を、新しいものから所定期間、第２記憶手段に保持させる第２ステップ、パケットの損失が発生したか否かを判別する第３ステップ、パケットの損失が発生したと判別された場合に、第１記憶手段に保持されている過去の再生信号からその周期を検出する第４ステップ、第１記憶手段に保持されている過去の再生信号から、パケット損失直前の１周期分の再生信号を抽出し、抽出した１周期分の再生信号を用いて、パケット損失部分の区間に相当する補完信号を生成し、生成した補完信号をパケット損失部分に対応する再生信号として出力する第５ステップ、ならびに音声復号化器において補完信号中の最後の再生信号が生成された直後の内部状態を、第２記憶手段から取得して、音声復号化器に設定する第６ステップを備えていることを特徴とする。
【発明の効果】
【００１４】
この発明によれば、予測符号化方式で符号化された音声符号を含むパケットを受信して、受信したパケット内の音声符号を復号化する音声再生装置および音声再生方法において、パケット損失が発生した場合に、音質劣化を防止できるようになる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、この発明の実施例について説明する。
【実施例１】
【００１６】
〔１〕音声通話システムの構成についての説明
図２は、音声通話システムの構成を示している。
【００１７】
送信側端末１０においては、マイクから入力したアナログ音声信号がＡ／Ｄ変換器１１によってデジタル音声信号に変換される。Ａ／Ｄ変換器１１によって得られたデジタル音声信号は、音声符号化部１２によって符号化される。音声符号化部１２によって得られた音声符号は、パケット生成部１３によって数ｍｓ毎にまとめられた後、パケットの送出順序を示す情報（シーケンス番号）が付加されて、ＩＰ網２０に送出される。
【００１８】
受信側端末（音声再生装置）３０においては、パケット分離部３１によってＩＰ網２０から入力されたパケットから音声符号が分離される。パケット分離部３１によって分離された音声符号は、ジッタ吸収バッファ処理部３２に送られ、パケット順序の並び換えが行われた後、パケット損失補償部３３に送られる。
【００１９】
パケット損失補償部３３では、パケット損失が発生したか否かを判別し、パケット損失が発生してない場合には、ジッタ吸収バッファ処理部３２から送られてきた音声符号を音声復号化部３４に送る。パケット損失が発生したと判別した場合には、パケット損失補償処理を行って、パケット損失部分に対する補完信号（音声信号）を生成して、出力バッファ３５に送る。パケット損失補償処理の詳細については、後述する。なお、パケット損失が発生しているか否かの判別は、例えば、パケットに付加されているパケットの送出順序を示す情報（シーケンス番号）、あるいはパケットの送出時間を示す情報（タイムスタンプ）に基づいて行われる。
【００２０】
音声復号化部（音声復号化器）３４では、音声符号が復号化される。音声復号化部３４によって得られたデジタル音声信号（再生信号）は、出力バッファ３５を介してＤ／Ａ変換器３６に送られ、アナログ音声信号に変換される。Ｄ／Ａ変換器３６によって得られたアナログ音声信号はスピーカに送られて出力される。
【００２１】
〔２〕音声符号化部１２および音声復号化部３４についての説明
【００２２】
音声符号化方式としては、予測符号化方式が採用されている。この実施例では、適応差分パルス符号変調（ＡＤＰＣＭ）方式が採用されているものとする。
【００２３】
図３は、音声符号化部１２の構成を示している。
【００２４】
第１加算器５１は、入力信号ｘn と予測信号ｙn との差分（予測誤差信号）ｄn （＝ｘn −ｙn ）を求める。
【００２５】
適応量子化器５２は、第１加算器５１で求められた予測誤差信号ｄn を、量子化幅Ｔn に基づいて符号化して音声符号Ｌn を求める。なお、量子化幅Ｔn は１つ前の入力信号ｘn-1 に対する量子化幅Ｔn-1 および符号Ｌn-1 に基づいて求められる。
【００２６】
適応逆量子化器５３は、音声符号Ｌn を用いて予測誤差信号ｄn を逆量子化して、逆量子化値ｑn を求める。
【００２７】
第２加算器５４は、今回の入力信号ｘn に対する予測信号ｙn と逆量子化値ｑn とに基づいて、再生信号ｗn （＝ｙn ＋ｑn ）を求める。
【００２８】
適用予測器５５は、再生信号ｗn と逆量子化値ｑn とに基づいて、次の入力信号ｘn+1 に対する予測信号ｙn+1 を求める。
【００２９】
図４は、音声復号化部３４の構成を示している。
【００３０】
適応量子化器６１は、音声符号Ｌn および量子化幅Ｔn を用いて逆量子化値ｑn を求める。
【００３１】
加算器６２は、適応予測器６３で得られた予測信号ｙn と逆量子化値ｑn とに基づいて、再生信号ｗn （＝ｙn ＋ｑn ）を求める。
【００３２】
適応予測器６３は、再生信号ｗn と逆量子化値ｑn とに基づいて、次の予測信号ｙn+1 を求め、加算器６２に送る。
【００３３】
〔３〕パケット損失補償部３３についての説明
【００３４】
パケット損失補償部３３は、音声復号化部３４によって得られた過去の再生信号を新しいものから所定期間分保持するための再生信号保持部（第１記憶手段）４１と、音声復号化部３４の過去の内部状態を新しいものから所定期間分保持するための内部状態保持部（第２記憶手段）４２を備えている。音声復号化部３４の内部状態とは、例えば、予測信号のように、次の信号の復号化に必要な音声復号化部３４内の信号若しくはパラメータをいう。
【００３５】
図５は、パケット損失補償部３３の処理手順を示している。図５は、ジッタ吸収バッファ処理部３２から１パケット分の音声符号を取り込む毎に、行われるパケット損失補償部３３の処理の手順を示している。
【００３６】
ジッタ吸収バッファ処理部３２から１パケット分の音声符号を取り込むと、パケット損失が発生したか否かを判別する（ステップＳ１）。
【００３７】
パケット損失が発生していないと判別した場合には、今回取り込んだ音声符号を音声復号化部３４に送る（ステップＳ２）。これにより、音声復号化部３４によってこれらの音声符号に対する復号化処理が行われる。また、音声復号化部３４によって得られる再生信号および音声復号化部３４の内部状態を、音声復号化部３４から取得して、再生信号保持部４１および内部状態保持部４２の内容を更新する（ステップＳ３）。そして、今回の処理を終了する。
【００３８】
パケット損失が発生したと判別した場合には、パケット損失補償処理が行われる。つまり、まず、再生信号保持部４１に保持されている過去の再生信号（波形データ）から、その繰り返し周期（ピッチ）Ｔｐを検出する（ステップＳ４）。次に、過去の再生信号からパケット損失直前の１周期Ｔｐ分を抽出する（ステップＳ５）。そして、抽出した１周期Ｔｐ分の再生信号を用いて、パケット損失部分の区間に相当する補完信号を生成する（ステップＳ６）。
【００３９】
例えば、図６（ａ）に区間Ｂで示すように、パケット損失が発生したとする。パケット損失部分の左側が過去の再生信号である。過去の再生信号におけるパケット損失直前の１周期Ｔｐ分（区間Ａで示す部分）が抽出される。
【００４０】
図６（ｂ）に示すように、まず、抽出した１周期Ｔｐがパケット損失部分の区間より短い場合には、パケット損失部分の区間を越えない範囲で、抽出した１周期Ｔｐ分の再生信号を整数個（図６（ｂ）の例では１個）接続する。この場合、図６（ｂ）に示すように、通常、パケット損失部分の区間は、１周期Ｔｐの整数倍とならないため、１周期Ｔｐに満たない区間が残る。次に、１周期Ｔｐに満たない区間には、図６（ｃ）に示すように、抽出した１周期Ｔｐ分の再生信号の先頭からその区間に相当する部分を当てはめる。このようにして補完信号Ｓを生成する。
なお、抽出した１周期Ｔｐがパケット損失部分の区間より長い場合には、抽出した１周期Ｔｐ分の再生信号の先頭から、パケット損失部分の区間に相当する部分を当てはめる。      
【００４１】
なお、補完信号Ｓ内における１周期Ｔｐ分の再生信号の接続部および補完信号の終わりの部分とパケット損失直後の再生信号との接続部を滑らかに接続するように接続部平滑化処理を施すことが好ましい。
【００４２】
このようにして補完信号を生成すると、生成した補完信号を出力バッファ３５に送る（ステップＳ７）。
【００４３】
また、補完信号中の最後の再生信号が生成された直後の音声復号化部３４の内部状態（補完信号中の最後の再生信号の次のサンプルを復号するための予測信号が生成された時点の音声復号化部３４の内部状態）を、パケット損失直後の音声符号（今回、取り込んだ音声符号の先頭）を復号化するために用いる内部状態として、内部状態保持部４２から抽出して、音声復号化部３４に設定する（ステップＳ８）。これにより、音声復号化部３４の内部状態が変更される。
【００４４】
この理由について、図６（ｃ）を用いて説明する。パケット損失が発生した場合には、音声復号化部３４での復号化処理は停止し、パケット損失補償処理が行われる。この後、パケット損失後のパケットの音声符号に対して復号化処理が行われる。この復号化処理が開始される時点において、音声復号化部３４に設定されている予測信号は、パケット損失直前の再生信号ｗa を用いて生成された予測信号となっており、パケット損失直後の音声符号に対応する再生信号ｗb を生成するために本来用いられる予測信号とは異なっている。
【００４５】
したがって、音声復号化部３４の内部状態を変更せずに、パケット損失後のパケットの音声符号に対して復号化処理を行った場合には、予測信号の誤差により、音声復号化部３４によって得られる再生信号に誤差が生じる。
【００４６】
そこで、この実施例では、補完信号中の最後の再生信号が生成された直後の音声復号化部３４の内部状態（補完信号中の最後の再生信号の次のサンプルを復号するための予測信号が生成された時点の音声復号化部３４の内部状態）を、パケット損失直後の音声符号を復号化するために用いる内部状態として、内部状態保持部４２から抽出して、音声復号化部３４に設定しているのである。
【００４７】
ステップＳ８の後、今回取り込んだ音声符号（パケット損失直後の１パケット分の音声符号）を音声復号化部３４に送る（ステップＳ９）。これにより、音声復号化部３４によってこれらの音声符号に対する復号化処理が行われる。また、音声復号化部３４によって得られる再生信号および音声復号化部３４の内部状態を、音声復号化部３４から取得して、再生信号保持部４１および内部状態保持部４２の内容を更新する（ステップＳ１０）。そして、今回の処理を終了する。
【図面の簡単な説明】
【００４８】
【図１】従来の音声通話システムの構成を示すブロック図である。
【図２】本実施例の音声通話システムの構成を示すブロック図である。
【図３】音声符号化部１２の構成を示すブロック図である。
【図４】音声復号化部３４の構成を示すブロック図である。
【図５】パケット損失補償部３３の処理手順を示すフローチャートである。
【図６】パケット損失補償処理を説明するための波形図である。
【符号の説明】
【００４９】
１０  送信側端末
２０  ＩＰ網
３０  受信側端末
３１  パケット分離部
３２  ジッタ吸収バッファ処理部
３３  パケット損失補償部
３４  音声復号化部
３５  出力バッファ
３６  Ｄ／Ａ変換器
４１  再生信号保持部
４２  内部状態保持部
【図１】
2006279809.tif 000003
【図２】
2006279809.tif 000004
【図３】
2006279809.tif 000005
【図４】
2006279809.tif 000006
【図５】
2006279809.tif 000007
【図６】
2006279809.tif 000008