(57)【要約】【課題】  簡単な処理によりパケットロスを補償できるようにする。【解決手段】  パケット送信装置においては、時系列データを、サンプルの出現順序に応じて振り分けて、Ｎ種類（Ｎは２以上の整数）の時系列データに分離し、分離された時系列データ毎、又は、分離された時系列データを加工した後の加工時系列データ毎に、パケット化して送信する。パケット受信装置においては、受信したパケットに挿入されている分離時系列データ、又は、加工後の分離時系列データを抽出し、抽出されたＮ種類の分離時系列データ、又は、抽出され逆加工されて得られたＮ種類の分離時系列データを統合し、１つの時系列データに復元し、パケットロスが生じた際に、復元された時系列データに飛び飛びに生じたデータ欠落サンプルを補間する。【選択図】      図１
2007274568.tif 000002
【特許請求の範囲】
【請求項１】
時系列データを、サンプルの出現順序に応じて振り分けて、Ｎ種類（Ｎは２以上の整数）の時系列データに分離する時系列データ分離手段と、
分離された時系列データ毎、又は、分離された時系列データを加工した後の加工時系列データ毎に、パケット化するパケット化手段と
を有することを特徴とするパケット送信装置。
【請求項２】
請求項１に記載のパケット送信装置が送信したパケットを受信するパケット受信装置であって、
受信したパケットに挿入されている分離時系列データ、又は、加工後の分離時系列データを抽出するパケット分解手段と、
抽出されたＮ種類の分離時系列データ、又は、抽出され逆加工されて得られたＮ種類の分離時系列データを統合し、１つの時系列データに復元する時系列データ統合手段と、
パケットロスが生じた際に、復元された時系列データに飛び飛びに生じたデータ欠落サンプルを補間する補間手段と
を有することを特徴とするパケット受信装置。
【請求項３】
パケット送信装置において、時系列データを、サンプルの出現順序に応じて振り分けて、Ｎ種類（Ｎは２以上の整数）の時系列データに分離し、分離された時系列データ毎、又は、分離された時系列データを加工した後の加工時系列データ毎に、パケット化して送信し、
パケット受信装置において、受信したパケットに挿入されている分離時系列データ、又は、加工後の分離時系列データを抽出し、抽出されたＮ種類の分離時系列データ、又は、抽出され逆加工されて得られたＮ種類の分離時系列データを統合し、１つの時系列データに復元し、パケットロスが生じた際に、復元された時系列データに飛び飛びに生じたデータ欠落サンプルを補間する
ことを特徴とするパケットロス補償方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はパケットロス補償方法、パケット送信装置及びパケット受信装置に関し、例えば、音声信号パケットの損失時の補償に適用し得るものである。
【背景技術】
【０００２】
現在、インターネット等のネットワークを利用した音声通信が盛んに行われている。音声通信に際しては、図２（Ａ）に示すような離散化音声信号（サンプリングされた音声信号）を、ＩＴＵ−ＴのＧ．７１１、Ｇ．７２９等の音声符号化方式に従って符号化し、それを、図２（Ｂ）に示すようにパケットに挿入して伝送するのが一般的である。ネットワークを介する音声通信においては、パケットロスにより、通信音声の品質が劣化する。
【０００３】
すなわち、上述のようにして符号化音声信号を挿入したパケットＰ１、Ｐ２、Ｐ３、…が送信装置から送出されても、図３（Ａ）に示すように、その一部のパケットＰ２がロスすると、そのパケットＰ２における符号化音声信号を復号した音声データが、図３（Ｂ）に示すような復号音声データ系列から抜け落ち、その部分が無音部分になり、通信音声の品質が劣化する。
【０００４】
Ｇ．７１１の場合は、このようなパケットロスを想定し、Ａｐｐｅｎｄｉｘ  Ｉにおいて、パケットロス補償方法が記載されている（非特許文献１参照）。
【０００５】
この記載のパケットロス補償方法は、ロスしたパケットの直前（又は直後）のパケットにおける音声データ列と、相関が高い過去の音声データ列の区間を探索し、その探索箇所の直後（直前）の１パケット分の音声データ列を、ロスしたパケットの音声データ列として用いるものである。
【非特許文献１】ＩＴＵ−Ｔ  Ｇ．７１１  Ａｐｐｅｎｄｉｘ  Ｉ
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、所定サンプル数でなる１パケット分の音声データ列と、相関が高い過去の音声データ期間を探索する処理では、過去の音声データに対し、１サンプルずつずらして相関を求める処理を繰り返すことが必要となるなど、処理が非常に重い。補償処理をソフトウェアで実行する場合には処理量が多く、補償処理をハードウェアで実行する場合にはハードウェア構成が大きなものとなる。
【０００７】
また、ロスしたパケットの直前（又は直後）のパケットにおける音声データ列と相関が高い過去期間を探索し、ロスしたパケット期間を補償しているが、探索期間での相関が高くても、ロスしたパケット期間と、探索された過去期間の直後（又は直前）の期間との相関は高いとは限らず、補償が必ずしも十分でない場合も生じる。
【０００８】
そのため、簡単な処理によりパケットロスを補償し得るパケットロス補償方法、パケット送信装置及びパケット受信装置が望まれている。
【０００９】
また、パケットロスの補償後の信号品質を従来より高めることができるパケットロス補償方法、パケット送信装置及びパケット受信装置が望まれている。
【課題を解決するための手段】
【００１０】
第１の本発明のパケット送信装置は、時系列データを、サンプルの出現順序に応じて振り分けて、Ｎ種類（Ｎは２以上の整数）の時系列データに分離する時系列データ分離手段と、分離された時系列データ毎、又は、分離された時系列データを加工した後の加工時系列データ毎に、パケット化するパケット化手段とを有することを特徴とする。
【００１１】
第２の本発明のパケット受信装置は、第１の本発明のパケット送信装置が送信したパケットを受信するものであって、受信したパケットに挿入されている分離時系列データ、又は、加工後の分離時系列データを抽出するパケット分解手段と、抽出されたＮ種類の分離時系列データ、又は、抽出され逆加工されて得られたＮ種類の分離時系列データを統合し、１つの時系列データに復元する時系列データ統合手段と、パケットロスが生じた際に、復元された時系列データに飛び飛びに生じたデータ欠落サンプルを補間する補間手段とを有することを特徴とする。
【００１２】
第３の本発明のパケットロス補償方法は、パケット送信装置において、時系列データを、サンプルの出現順序に応じて振り分けて、Ｎ種類（Ｎは２以上の整数）の時系列データに分離し、分離された時系列データ毎、又は、分離された時系列データを加工した後の加工時系列データ毎に、パケット化して送信し、パケット受信装置において、受信したパケットに挿入されている分離時系列データ、又は、加工後の分離時系列データを抽出し、抽出されたＮ種類の分離時系列データ、又は、抽出され逆加工されて得られたＮ種類の分離時系列データを統合し、１つの時系列データに復元し、パケットロスが生じた際に、復元された時系列データに飛び飛びに生じたデータ欠落サンプルを補間することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、パケットロスが生じた場合には、復元された時系列データに飛び飛びにデータ欠落サンプルが生じるので、パケットロスを簡易に補償することができ、また、補償精度が高くなることも期待できる。
【発明を実施するための最良の形態】
【００１４】
（Ａ）第１の実施形態
以下、本発明によるパケットロス補償方法、パケット送信装置及びパケット受信装置の第１の実施形態を、図面を参照しながら説明する。
【００１５】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態のパケット送信装置及びパケット受信装置の要部構成を示すブロック図である。
【００１６】
図１において、第１の実施形態のパケット送信装置１００は、Ｇ．７１１符号部１０１及び奇偶別パケット化部１０２を有し、第１の実施形態のパケット受信装置２００は、奇偶別パケット分解部２０１、Ｇ．７１１復号部２０２、サンプル補間部２０３、ローパスフィルタ２０４及びパケットロス補償制御部２０５を有する。
【００１７】
第１の実施形態のパケット送信装置１００において、Ｇ．７１１符号部１０１は、離散化された音声信号（サンプリングされた音声信号）をＧ．７１１に従って符号化するものである。第１の実施形態のＧ．７１１符号部１０１は、入力された離散化音声信号の系列のまま符号化するのではなく、内蔵する奇偶振分部１０１Ａによって、離散化音声信号を奇数時系列、偶数時系列に分離し、それぞれの系列に対してＧ．７１１に従って符号化する。すなわち、Ｇ．７１１符号部１０１は、サンプリング番号が奇数の離散化音声信号のサンプルの時系列でなる離散化音声信号の奇数時系列に対してＧ．７１１に従って符号化すると共に、サンプリング番号が偶数の離散化音声信号のサンプルの時系列でなる離散化音声信号の偶数時系列に対してＧ．７１１に従って符号化する。
【００１８】
奇偶別パケット化部１０２は、Ｇ．７１１符号部１０１から与えられた奇数時系列に係る符号化音声信号からパケットを組み立ててネットワークへ送信すると共に、Ｇ．７１１符号部１０１から与えられた偶数時系列に係る符号化音声信号からパケットを組み立ててネットワークへ送信する。以下では、適宜、前者のパケットを奇数パケット、後者のパケットを偶数パケットと呼ぶ。
【００１９】
奇偶別パケット化部１０２は、奇数パケットと偶数パケットとを交互に送出すると共に、各パケットの送出間隔が概ね等分となるように、各パケットのデータフィールドに挿入する符号化音声信号を選定するようになされている。なお、奇偶別パケット化部１０２は、通信開始直後の最初の奇数パケットに対しては、そのデータフィールドの前半分に無意味なダミーデータを挿入する。このような送出タイミングなどについては、動作の項でより詳細に説明する。
【００２０】
奇偶別パケット化部１０２からのパケットには、それが奇数パケットか偶数パケットかを識別する専用の情報は盛り込まれておらず、パケットのシーケンス番号のそのものがパケットが奇数パケットか偶数パケットかを表すものとなっている。
【００２１】
第１の実施形態のパケット受信装置２００における奇偶別パケット分解部２０１は、ネットワークから到来したパケットを分解し、データフィールドに挿入されている符号化音声信号を取り出すものである。奇偶別パケット分解部２０１は、次々と到来する奇数パケットの系列から、符号化音声信号の時系列（奇数時系列）を得てＧ．７１１復号部２０２に与えると共に、次々と到来する偶数パケットの系列から、符号化音声信号の他の時系列（偶数時系列）を得てＧ．７１１復号部２０２に与えるものである。
【００２２】
奇偶別パケット分解部２０１は、到来パケットのシーケンス番号などに基づいて、パケットロスの判断も行っており、パケットロスが生じたときには、その旨をパケットロス補償制御部２０５に通知するものである。
【００２３】
Ｇ．７１１復号部２０２は、符号化音声信号の奇数時系列に対して、Ｇ．７１１に従った復号化処理を施して離散化音声信号の奇数時系列を得ると共に、符号化音声信号の偶数時系列に対して、Ｇ．７１１に従った復号化処理を施して離散化音声信号の偶数時系列を得、内蔵する奇偶統合部２０２Ａによって、離散化音声信号の奇数時系列及び偶数時系列を統合し、離散化音声信号の時系列を得る。
【００２４】
サンプル補間部２０３は、パケットロス補償制御部２０５から補間指令が与えられていないとき（パケットロスがないとき）には、到来した離散化音声信号の時系列をそのまま通過させる。サンプル補間部２０３は、パケットロス補償制御部２０５から補間指令が与えられたとき（パケットロスがあったとき）には、欠落サンプルの補間処理を行う。この第１の実施形態の場合、後述するように、欠落サンプルの前後のサンプルは有効なサンプルであるので、補間処理としては、（ａ）前後のサンプル値の平均値を欠落サンプルの値にする、（ｂ）前サンプル値を欠落サンプルの値にする、などを適用することができる。
【００２５】
ローパスフィルタ２０４は、サンプル補間部２０３から出力された離散化音声信号の時系列に対し、平滑化を行うものである。ここでの平滑化は、欠落サンプルの補間部分に機能する程度であれば良い。
【００２６】
パケットロス補償制御部２０５は、奇偶別パケット分解部２０１からパケットロスが通知された際に、欠落サンプルのタイミングを算出し、それに基づいて補間指令を形成してサンプル補間部２０３に与えるものである。
【００２７】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態のパケット送信装置１００及びパケット受信装置２００の動作を説明する。特に、パケットロスの補償面から説明する。
【００２８】
図４は、第１の実施形態のパケット送信装置１００における音声パケットの組立方法の説明図である。
【００２９】
第１の実施形態のパケット送信装置１００において、図４（Ａ）に示すような離散化音声信号Ｓ１、Ｓ２、…の時系列が入力されてくると、Ｇ．７１１符号部１０１内において、奇数時系列Ｓ１、Ｓ３、…と、偶数時系列Ｓ２、Ｓ４、…とに分離され、Ｇ．７１１符号部１０１は、奇数時系列Ｓ１、Ｓ３、…に対する符号化と、偶数時系列Ｓ２、Ｓ４、…に対する符号化とを行う。
【００３０】
図４（Ｂ）において、中心線より低い位置に位置している矩形列Ｃ１、Ｃ３、…が、奇数時系列Ｓ１、Ｓ３、…に対応する符号化音声信号の時系列（奇数時系列）を表し、中心線より高い位置に位置している矩形列Ｃ２、Ｃ４、…が、偶数時系列Ｓ１、Ｓ３、…に対応する符号化音声信号の時系列（偶数時系列）を表している。
【００３１】
奇偶別パケット化部１０２は、符号化音声信号の奇数時系列Ｃ１、Ｃ３、…を、奇数パケットＰ１、Ｐ３のデータフィールドに挿入して奇数パケットＰ１、Ｐ３を形成させる。奇偶別パケット化部１０２は、符号化音声信号の偶数時系列Ｃ２、Ｃ４、…を、偶数パケットＰ２、Ｐ４のデータフィールドに挿入して偶数パケットＰ２、Ｐ４を形成させる。
【００３２】
図４は、説明の簡略化のために、１個のパケットのデータフィールドに符号化音声信号の１０サンプルを挿入する場合を示している。奇偶別パケット化部１０２は、最初の奇数パケットＰ１のデータフィールドには、その前半の５サンプルには音声信号に無関係なダミーデータを挿入し、後半の５サンプルに有効なサンプル値Ｃ１、Ｃ３、…、Ｃ９を挿入する。このようなタイミングの調整処理により、各パケットＰ１、Ｐ２、Ｐ３、…が形成されて送出されるタイミングは、符号化音声信号の１０サンプル分に相当する期間ずつずれたものとなる。
【００３３】
図５は、第１の実施形態のパケット受信装置２００における音声パケットの分解方法及びパケットロス補償方法の説明図であり、上述した図４と対応する図面であり、同一符号を付しているものは同一、対応するものを表している。
【００３４】
パケット送信装置１００が送信したパケットＰ１、Ｐ２、…がパケット受信装置２００に到来すると、奇偶別パケット分解部２０１は、そのパケットシーケンス番号によってパケットの奇偶やパケットロスなどを確認しながら、受信パケットのデータフィールドに挿入されていた符号化音声信号を取り出して、奇偶別の受信バッファの今回のパケットについて定まる部分に挿入する。例えば、奇数パケットＰ１を受信したときであれば、奇数用の受信バッファに取り出した符号化音声信号Ｃ１、Ｃ３、…、Ｃ９を格納する。また例えば、偶数パケットＰ２を受信したときであれば、偶数用の受信バッファに取り出した符号化音声信号Ｃ２、Ｃ４、…、Ｃ２０を格納する。図５（Ａ）は、受信バッファに符号化音声信号がバッファリングされ、それが順次読み出されたイメージを示している。
【００３５】
奇偶別パケット分解部２０１は、受信したパケットのシーケンス番号や過去に受信したパケットのシーケンス番号に基づいて、パケットロスの監視も行っており、パケットロスを検出したときには、パケットロス補償制御部２０５に通知する。図５は、ネットワークでパケットＰ３をロスした場合を表している。例えば、図５では図示していないが、パケットＰ５の受信により、パケットＰ３のロスを検出する。
【００３６】
Ｇ．７１１復号部２０２は、符号化音声信号の奇数時系列及び偶数時系列をそれぞれ復号した後、復号によって得られた復号音声信号の奇数時系列及び偶数時系列を１系列に統合する。パケットＰ３がロスした場合には、統合後の音声信号は、図５（Ｂ）に示すようになる。すなわち、この第１の実施形態では、所定期間連続してサンプル値が抜け落ちるのではなく、欠落サンプルと実効サンプルとが統合後の音声信号上で交互に生じる。
【００３７】
サンプル補間部２０３においては、パケットロス補償制御部２０５の制御下で、欠落サンプルの補間処理が実行され、その後、ローパスフィルタ２０４を通過させることで補間部分が目立たないようにしている。
【００３８】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、飛び飛びに生じた欠落サンプルの補間によりパケットロスを補償することができる。パケットロスを補償するために、相関演算のような煩雑な処理を不要とすることができる。
【００３９】
このような効果を奏するためにおける奇数パケット及び偶数パケットの送出も、最初の奇数パケットへダミーデータを挿入することにより、一定のパケット送出間隔で行うことができ、パケットロスの判定にパケット送出間隔が影響を与えないようにできている。
【００４０】
仮に、欠落サンプルの補間を実行しないとしても、第１の実施形態によれば、連続する無音期間の発生を抑えることができており、この点でも、パケットロスによる通信品質の低下を抑制することができる。
【００４１】
（Ｂ）第２の実施形態
次に、本発明によるパケットロス補償方法、パケット送信装置及びパケット受信装置の第２の実施形態を、図面を参照しながら説明する。第２の実施形態のパケット送信装置は、第１の実施形態のパケット送信装置と同一である。
【００４２】
図６は、第２の実施形態のパケット受信装置の要部構成を示すブロック図である。図６において、第２の実施形態のパケット受信装置２１０は、奇偶別パケット分解部２０１、Ｇ．７１１復号部２０２、サンプル補間部２０３、ローパスフィルタ２０４及びパケットロス補償制御部２０５に加え、過去信号保持部２０６を有する。また、サンプル補間部２０３及びパケットロス補償制御部２０５の機能も、第１の実施形態のものとは異なっている。
【００４３】
過去信号保持部２０６は、パケットロス補償制御部２０５が後述する高相関の過去信号の探索に供する、例えば所定期間の過去信号を保持しているものである。
【００４４】
第２の実施形態のパケットロス補償制御部２０５は、パケットロスの通知を受けた場合には、Ｇ．７１１復号部２０２の奇偶統合部２０２Ａによって統合された後の復号化音声信号における最初の欠落サンプルから最後の欠落サンプル部分を含む期間の信号（探索信号）と、最も相関が高い過去信号の期間を探索する。探索信号は、例えば、第１の実施形態の説明で用いた図５に記述した期間ＳＰの信号を適用できる。すなわち、最初の欠落サンプルの１個前のサンプルから最後の欠落サンプルの次のサンプルを含む期間の信号を、探索信号とすることができる。パケットロス補償制御部２０５は、探索によって最も相関が高い過去信号を得ると、その探索過去信号をサンプル補間部２０３に渡して欠落サンプルの保管を指示する。
【００４５】
サンプル補間部２０３は、Ｇ．７１１復号部２０２から出力された復号化音声信号における欠落サンプルを、高相関の探索過去信号を利用して補間する。例えば、欠落サンプルの値として、対応する探索過去信号におけるサンプルに対し、その前後のサンプルのゲインなどを適用して補間する。図７は、欠落サンプルの補間方法の説明図である。図７（Ｂ）の真中の欠落サンプルＬ０２を補間する場合であれば、その前後のサンプルＬ０１、Ｌ０３と、図７（Ａ）に示す対応する探索過去信号のサンプルＬ１１、Ｌ１３との比率（ゲイン）の平均Ｇを（１）式に従って求める。そして、得られたゲイン平均Ｇを、欠落サンプルＬ０２に対応する探索過去信号のサンプルＬ１２に乗算したものを欠落サンプルＬ０２のサンプル値とする。
【００４６】
Ｇ＝（Ｌ０１／Ｌ１１＋Ｌ０３／Ｌ１３）／２                        …（１）
以上で言及した以外の処理は第１の実施形態と同様である。
【００４７】
第２の実施形態によっても、奇数パケット及び偶数パケットで音声信号を授受するようにしたので、パケットロスが生じても、欠落サンプルが連続せず、飛び飛びに生じて無音期間を防止することができる。
【００４８】
第２の実施形態では、欠落サンプルの生じた期間と相関が高い過去の信号から欠落サンプルを補間するようにしているので、高精度に補間することができる。非特許文献１に記載のパケットロスの補償方法では、過去の信号と相関をとっている被探索信号は、欠落した無音期間の前後の信号であったが、第２の実施形態の場合、欠落サンプルを含む期間そのものが被探索信号になっているので、相関による期間の探索精度が向上し、欠落サンプルの補償を高精度なものとすることができる。このような効果を奏する一方、相関の算出は、欠落サンプルの前後のサンプルだけで行っているので、従来に比べて相関演算の処理量を抑えることができる。
【００４９】
（Ｃ）他の実施形態
上記各実施形態においては、音声信号列を奇数、偶数に分けて、異なるパケットにその信号の情報を挿入するものを示したが、音声信号列を３以上のグループに分けて、各グループの信号ごとにパケット化するようにしても良い。例えば、３つのグループに分ける場合であれば、音声信号列のサンプル順番を３で割った余りに基づいてグループ化するようにすれば良い。
【００５０】
また、上記各実施形態においては、音声信号を符号化した後にパケットに挿入するものを示したが、符号化、復号化を適用しないパケット通信システムに本発明を適用することができる。すなわち、奇数、偶数に振り分けた音声信号サンプルを符号化することなく、直接パケットに挿入して送受信する場合にも、本発明を適用することができる。
【００５１】
さらに、上記各実施形態では、パケット通信に供する信号が音声信号である場合を示したが、波形形状に意味を有する他の種類の信号であっても良い。
【００５２】
さらにまた、上記各実施形態においては、符号化する前の段階の離散化音声信号を、奇数番目及び偶数番目に分けるものを示したが、離散化音声信号を符号化した後の時系列を奇数番目及び偶数番目に振り分けてパケット化するようにしても良い。このようにした場合に、欠落サンプルの補間は、復号する前の段階で行っても良く、符号化方式によっては、復号した後の信号段階で行うようにしても良い。
【図面の簡単な説明】
【００５３】
【図１】第１の実施形態のパケット送信装置及びパケット受信装置の要部構成を示すブロック図である。
【図２】従来の音声パケットの組立方法の説明図である。
【図３】従来の音声パケットの分解方法及びパケットロスの影響の説明図である。
【図４】第１の実施形態の音声パケットの組立方法の説明図である。
【図５】第１の実施形態の音声パケットの分解方法及びパケットロス補償方法の説明図である。
【図６】第２の実施形態のパケット受信装置の要部構成を示すブロック図である。
【図７】第２の実施形態の欠落サンプルの補間方法の説明図である。
【符号の説明】
【００５４】
１００…パケット送信装置、１０１…Ｇ．７１１符号部、１０２…奇偶別パケット化部、２００、２１０…パケット受信装置、２０１…奇偶別パケット分解部、２０２…Ｇ．７１１復号部、２０３…サンプル補間部、２０４…ローパスフィルタ、２０５…パケットロス補償制御部、２０６…過去信号保持部。
【図１】
2007274568.tif 000003
【図２】
2007274568.tif 000004
【図３】
2007274568.tif 000005
【図４】
2007274568.tif 000006
【図５】
2007274568.tif 000007
【図６】
2007274568.tif 000008
【図７】
2007274568.tif 000009