(57)【要約】【課題】 伝送中に欠落する音声パケットに含まれる音声信号を補間する。【解決手段】 欠落前後の正常に受信された音声信号より線形予測係数を算出する。欠落直前の音声信号よりは前方向すなわち先行する方向の予測係数を、また欠落直後の音声信号からは後ろ向きすなわち時間を遡った線形予測係数を算出する。欠落前の音声信号から上記前向線形予測係数から１サンプル先のサンプルを予測し、次に予測したサンプルと欠落前の音声信号から更に１サンプル先のサンプルを予測する。これを繰り返して、欠落部分の全サンプルを予測する。一方、欠落後の音声信号と後向予測係数から１サンプル前のサンプルを予測し、次に予測サンプルと欠落後の音声信号からさらに１サンプル前のサンプルを予測する。これを繰り返して、欠落部分の全サンプルを予測する。この２種類の欠落音声の予測信号を平均化して欠落部分を補間する高品質な音声サンプルを得る手段を備えた。【選択図】 図１
2005077889.tif 000002
【特許請求の範囲】
【請求項１】
音声信号をパケット化する手段と、パケットをネットワークに伝送する手段と、ネットワークより伝送されたパケットを受信する手段と、受信されたパケットを分解して音声信号を再現する手段と、パケットが正常に受信されなかったことを検出する手段と、欠落したパケットに含まれる音声信号を、正常に受信したパケットに含まれる音声信号から推定し、補間する手段を備えた音声通信方式。
【請求項２】
欠落音声パケット直前に正常受信した音声パケットに含まれる音声信号を用いて線形予測を再帰的に繰り返して、欠落音声信号を補間する第１項記載の音声通信方式。
【請求項３】
欠落音声信号を線形予測を繰り返して補間する際に、予測利得の低下を補正する可変利得を備えた請求項２記載の音声通信方式。
【請求項４】
欠落直前の音声パケットに含まれる音声信号を、同パケットの信号を線形予測を繰り返して予測した音声信号と受信音声信号の線形和により置き換えてスムージングを行なう手段を備えた請求項２記載の音声通信方式。
【請求項５】
欠落音声信号の補間に、欠落直前に正常受信した音声パケットに含まれる音声信号、および欠落直後に正常受信した音声パケットに含まれる音声信号を用いて線形予測を再帰的に繰り返して、欠落音声信号を補間する第１項記載の音声通信方式。
【請求項６】
欠落直前の音声パケットに含まれる音声信号を、同パケットの信号を線形予測を繰り返して予測した音声信号と受信音声信号の線形和に置き換えてスムージングを行ない、欠落直後の音声パケットに含まれる音声信号を、同パケットの信号を線形予測を繰り返して予測した音声信号と受信音声信号の線形和に置き換えてスムージングを行なう手段を備えた請求項５記載の音声通信方式。
【請求項７】
連続欠落パケット数に応じて、欠落の補間に用いる線形予測信号の種類やその重み、および欠落前後のパケットに含まれる音声信号のスムージングに用いる信号の種類やその重みを変化させる請求項５および６記載の音声通信方式。
【請求項８】
音声パケットの欠落率を監視する手段と、欠落率に応じて請求項２記載の欠落直前の音声信号を用いて欠落音声を補間する手段と請求項５記載の欠落直前および直後の音声信号を用いて欠落音声を補間する手段を適応的に切り替えて欠落音声信号を補間する音声通信方式。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声信号の欠落部分の補間に関し、特に線形予測を利用した補間方式に関する。
【背景技術】
【０００２】
音声信号をパケット等に収容して伝送する場合発生する欠落の補間方式として、従来から、欠落部直前のピッチを推定し、欠落直前の１ピッチ分の音声信号を欠落部で必要回数繰り返して補間する方法がＩＴＵ標準Ｇ．７１１  Ａｐｐｅｎｄｉｘ  Ｉに詳しく記載されている。
【非特許文献１】ＩＴＵ標準Ｇ．７１１  Ａｐｐｅｎｄｉｘ  Ｉ
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来技術では、欠落区間が長くなると繰り返し回数が多くなり、補間部分の音質が合成的で不自然な音になる。
【０００４】
従って、本発明の目的は欠落区間が長くなっても補間部分の音質が不自然にならない方法を提供することである。
【課題を解決するための手段】
【０００５】
本発明によれば、欠落直前の音声より欠落部分の補間信号を線形予測により得る手段を備えた欠落補間方式が提供される。また本発明によれば、欠落直前および直後の音声より欠落部分の補間信号を線形予測により得る手段を備えた欠落補間方式が提供される。
【発明の効果】
【０００６】
本発明によれば、伝送中に欠落したパケットに含まれる音声信号を自然な音質で補間することが出来る。例えば３０％の音声パケットが欠落する場合、５段階の平均主観音質において従来の方法では２を下回るのに対し、本発明によれば２．４の音質を保つことが出来る。
【発明を実施するための最良の形態】
【０００７】
本発明においてはまず欠落前後の正常に受信された音声信号より線形予測係数を算出しておく。この時、欠落直前の音声信号よりは前方向、すなわち先行する方向の予測係数を、また欠落直後の音声信号からは後ろ向き、すなわち時間をさかのぼった線形予測係数を算出する。次に欠落前の音声信号から上記前向線形予測係数から１サンプル先のサンプルを予測する。次に予測したサンプルと欠落前の音声信号から更に１サンプル先のサンプルを予測する。これを繰り返して、欠落部分の全サンプルを予測する。一方、欠落後の音声信号と後向予測係数から１サンプル前のサンプル、すなわち欠落部分最後のサンプルを予測する。次にこの予測サンプルと欠落直後の音声信号からさらに１サンプル前のサンプルを予測する。これを繰り返して、欠落部分の全サンプルを後ろ向きに予測する。この２種類の欠落音声の予測信号を平均化して欠落部分を補間する音声サンプルを得る。
【実施例１】
【０００８】
以下、図面を用いて本発明の実施例について説明するが、本発明の範囲をこれらに限定するものでないことはいうまでもない。
【０００９】
図１に本発明の第１の実施例を示す。あらかじめ定められたサンプル数の音声信号が１つのパケットと呼ばれる形式に集合され、あて先等の付加情報を付与され、パケット毎にネットワーク伝送される。ネットワークを伝送中にはいくつかの中継点を経る。各中継点においては、各パケットは他の場所から送信されてきたパケットとともに一旦メモリに収容され、受け取った順に次の中継点に送出される。このときあまりに中継点にパケットが集中して送られてくると、メモリが有限であるため、パケットが棄却され、収容されている音声信号が失われる。また、棄却されなくてもパケットが集中し、次の中継点に送り出されるまで長い待ち時間が発生する。いずれ最終到着点に達しても長い伝送遅延のため、収容されている音声信号の再生すべき時刻に間に合わない場合は、やはりパケットは棄却される。このようにパケットを使った音声信号の伝送においては、主に上記２種類の要因により音声信号の欠落が生じる可能性がある。
【００１０】
最終到着点に到達した音声パケットはまずバッファに蓄えられる。このとき、パケットに付与されている通し番号を監視し、欠落の有無を判定し、これが欠落補間部および再生音声源切り替えスイッチに送られる。パケットが無事到着してかつ再生タイミングに間に合っている場合はパケットは分解され、次のパケットが欠落していない場合はスピーカに送られてそのまま再生される。しかしこの音声信号は次のパケットが欠落していると判断される場合は欠落補間部にてスムージング処理されたのちスピーカにて再生される。現在再生されるべきパケットが欠落していると判断される場合は、新たなパケットは読み出されず、欠落直前の蓄積してある音声信号から欠落部分の音声信号を発生する。
【００１１】
図２に第１の実施例における欠落補間部分の構成を示す。分解されたパケットはまずバッファに記憶される。このバッファには常に最近受信、および再生された２パケットに収容されていた音声信号が記憶されている。まず最新の音声パケットに含まれている音声信号より線形予測係数を線形予測係数算出部において算出する。予測係数の算出は例えばＬｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎのアルゴリズムで算出することが出来る。このアルゴリズムについては例えばＳ．  Ｈａｙｋｉｎ著“Ａｄａｐｔｉｖｅ  Ｆｉｌｔｅｒ  Ｔｈｅｏｒｙ”（Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ社、１９９６年、２５４項）に詳しく記述されている。
【００１２】
次に最新のパケットに含まれる音声信号をまずシフトレジスタにプリセットする。この信号と算出した予測係数よりまず欠落部の最初の音声信号を予測する。この様子を図３に示す。次に予測した１サンプルと、シフトレジスタに記憶されている音声信号よりさらに次のサンプルを予測する。これを繰り返し、欠落パケット分に相当するサンプル数の音声信号を予測する。
【００１３】
線形予測を予測したサンプルを用いて繰り返すと振幅が徐々に減少する。そこでこれを補正するために図２に示すように可変利得を用いる。この利得はまず１に設定され、一様に増加され、最終的にあらかじめ設定した上限値まで増加する。これにより予測サンプルの振幅は原音に極めて近い値に保たれる。
【００１４】
受信したパケットに含まれる音声信号と予測した音声信号では特性が異なる。よってこれをスムージングするため、上記線形予測係数を用いて１パケット更に過去の音声信号より欠落直前のパケットに含まれる音声信号を前記と同様に予測する。この予測したサンプルに対して、最初のサンプルにおいて０から、パケットの最終サンプルにおいて徐々に１に近づく重み１（ω１）を乗算する。これに実際に受信した欠落直前の音声サンプルを、最初のサンプルにおいて１から、最終サンプルにおいて徐々に０に近づく重み２（ω２）を乗算したものに加算する。ここで、ω１＋ω２＝１となる。この様子を図４に示す。この方法により、欠落部分から遠いサンプルに対しては受信した音声サンプルを、また欠落に近くなるにつれ予測した音声により多い重みが乗算されるので、スムーズに予測した欠落部につながる。同様のスムージングを欠落直後の音声にも適用する。すなわち予測した欠落音声信号を用いて欠落直後の音声信号をさらに繰り返し予測する。予測した音声サンプルには、欠落直後のサンプルにおいては１より欠落直後の音声パケットの最終サンプルにおいて徐々に０に近づく重み１（ω１）を乗算し、一方受信した音声信号には最初のサンプルにおいては０から最終サンプルにおいて徐々に１に近づく重み２（ω２）を乗算し、この２種の音声信号を加算して、スムージングを適用した音声信号として出力する。この方法により欠落直後は予測した音声信号に多くの重みを与え、これを徐々に受信した音声信号に重みを移行する特性となる。
【００１５】
以上の第１の実施例によれば、音声パケット欠落部に対する音声信号を自然な音質を持つ予測音声信号で補間することが出来る。
【実施例２】
【００１６】
次に欠落の補間を、欠落直前の音声信号から前向き予測を用いて得た予測信号と、欠落直後の音声信号から後向き予測を用いて得た予測信号双方を用いて行う第２の実施例について説明する。図５にこの実施例の欠落補完部分を示す。全体の構成は図１に示すとおりである。前方向パケットバッファ、シフトレジスタ、前向き線形予測音声係数算出、前向き線形予測および可変利得で構成される前向き欠落補間部分は第１の実施例と同じである。
【００１７】
一方、音声信号は後方向パケットバッファにも格納される。欠落直後の同バッファに蓄積された音声信号より欠落部を予測する後向き線形予測係数を算出する。これはバッファに格納されている１パケット分の音声信号を時間を逆転して、前記Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎのアルゴリズムを適用すればよい。次に時間軸を逆転した欠落直後の音声信号をまずシフトレジスタにプリセットする。この信号と算出した予測係数よりまず欠落部の最後の音声信号を予測する。この様子は図３と同様であるが、時間軸が逆転したもの、すなわち欠落部分の最後のサンプルから徐々にさかのぼって予測を行う。次に予測した１サンプルと、シフトレジスタに記憶されている音声信号双方よりさらに１つ前のサンプルを予測する。これを繰り返し、欠落パケット分に相当するサンプル数の音声信号を予測する。後向きの予測でも前向きと同様、予測を繰り返すと振幅が減少するので、徐々に利得が大きくなる可変利得を適用する。
【００１８】
このようにして欠落部分に対し前向き予測および後向き予測より得た２種類の音声信号を得る。これを欠落の最初の部分は前者に、最後の部分は後者に多い重みを乗算の上加算して補間信号を得る。この様子を図６に示す。欠落部分の前向き予測信号には欠落直後は１となり、徐々に０となる重み２（ω２）を乗算する。一方、後向き予測信号には欠落直後は０となり、徐々に１となる重み３（ω３）を乗算する。欠落区間においてはω２＋ω３＝１である。この２種の重み付き信号の和を補間信号とする。これにより予測の繰り返し回数が少なくまだ前向き予測の精度が高いと思われる欠落前半では前向き予測音声を多く、一方同じ理由で後ろ向き予測の精度が高い後半では後ろ向き予測音声を多く含むことになる。
【００１９】
欠落前の信号は第１の実施例と同じようにさらに１パケット前の音声信号から予測した音声と受信したパケットの音声信号をスムージングする。一方、欠落直後の音声信号も同様にスムージングする。すなわち、さらに１パケット先の音声信号から後ろ向きに音声信号を予測する。これと、欠落直後に受信した音声信号に重みを乗算して加算し、スムージングをかける。このとき欠落直後は予測音声信号の重み３（ω３）を１にし、これを徐々に０にする。一方、受信信号の重み１（ω１）を欠落直後は０とし、これを徐々に１にしていく。ここでもω３＋ω１＝１となる。以上の２種の重みを乗算した信号の和を音声信号とする。これにより欠落直後は後ろ向き予測音声信号の特性を多く含み、徐々に受信音声信号の特性を多く含む音声信号となる。
【００２０】
以上の第２の実施例により、欠落直後の正常に受信した音声信号も利用することによりさらに自然で高品質な音声信号で欠落を補間することが出来る。
【実施例３】
【００２１】
次に第１の実施例に示した前向き予測音声信号と、第２の実施例に示した前向きと後向き双方を用いた双方向予測音声信号を切り替えて用いる第３の実施例について説明する。
【００２２】
第２の実施例は欠落が多くても高品質な補間音声を得ることができる。しかし欠落後のパケットに含まれる音声信号を利用するため、このパケットの受信を待つ必要がある。すなわち、長い遅延が必要となる。一方、前向き予測ではあえて欠落後のパケット受信を待つ必要がないため、長い遅延が必要ない。１０％の欠落までは前向き予測と双方向予測ではそれほど音質に差がない。そこで欠落率を監視し、１０％程度の欠落率までは図２に図示し第１の実施例で説明した前向き予測補間を採用し、これ以上では図５に図示し第２の実施例で説明した双方向予測を用いる。この様子を図７に示す。
【００２３】
本実施例の構成は第１の実施例とほぼ同じであるが、バッファより出力される欠落信号が欠落率算出部に入力される。欠落率算出部では欠落信号より欠落率の移動平均を推定する。欠落率が１０％程度までは第１の実施例で説明した前向き予測補間を行い、これをスピーカより再生する。一方１０％以上となった場合は第２の実施例で説明した双方向予測補間を行い、これをスピーカより再生する。
【００２４】
第３の実施例に拠れば、欠落率が低い場合は遅延を少なく抑えて高品質な欠落補間を行い、欠落率が高い場合はやや長い遅延を許容し高品質な音声補間を行うことが出来る。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施例を示す図である。
【図２】本発明の第１の実施例における欠落補間部の構成を示す図である。
【図３】本発明の第１の実施例における線形予測補間の動作を説明する図である。
【図４】本発明の第１の実施例におけるスムージングの動作を説明する図である。
【図５】本発明の第２の実施例における欠落補間部の構成を示す図である。
【図６】本発明の第２の実施例におけるスムージングの動作を示す図である。
【図７】本発明の第３の実施例における欠落補間部の構成を示す図である。
【符号の説明】
【００２６】
１１…バッファ
１２…欠落補間部
２１…線形予測係数算出部
２２…線形予測部
【図１】
2005077889.tif 000003
【図２】
2005077889.tif 000004
【図３】
2005077889.tif 000005
【図４】
2005077889.tif 000006
【図５】
2005077889.tif 000007
【図６】
2005077889.tif 000008
【図７】
2005077889.tif 000009