(57)【特許請求の範囲】
【請求項１】
複数チャンネルの音声データをパケット化して通信を行うＩＰ電話装置であって、
受信パケットにおけるパケットロスの発生を検出するパケットロス検出部と、
前記パケットロスが発生した第１のチャンネルの音声データからその損失パケット用の補完データを抽出する補完データ抽出部と、
前記第１のチャンネルとは異なる第２のチャンネルにおける前記損失パケットに対応するパケットの音声のパワーを、当該パケットの直前パケットの音声のパワーで除算して、パワー変化率を算出するパワー変化率算出部と、
前記補完データに前記パワー変化率を乗算して得られた修正補完データに基づき、前記第１のチャンネルの音声データの欠落部を補完するデータ補完部と
を備えたことを特徴とするＩＰ電話装置。
【請求項２】
複数チャンネルの音声データをパケット化して通信を行うＩＰ電話装置であって、
受信パケットにおけるパケットロスの発生を検出するパケットロス検出部と、
前記パケットロスが発生した第１のチャンネルの音声データからその損失パケット用の補完データを抽出する補完データ抽出部と、
前記第１のチャンネルにおける複数パケットの音声のパワーの平均値を、前記第１のチャンネルとは異なる第２のチャンネルにおける前記複数パケットに対応するパケットの音声のパワーの平均値で除算して、平均パワー比率を算出する平均パワー比率算出部と、
前記第２のチャンネルにおける前記損失パケットに対応するパケットの音声のパワーを、前記第１のチャンネルにおける前記損失パケットの直前パケットの音声のパワーで除算して、パワー変化率を算出するパワー変化率算出部と、
前記補完データに前記パワー変化率および前記平均パワー比率を乗算して得られた修正補完データに基づき、前記第１のチャンネルの音声データの欠落部を補完するデータ補完部と
を備えたことを特徴とするＩＰ電話装置。
【請求項３】
前記パケットロス検出部が前記損失パケットの連続出現数を計数し、
前記補完データ抽出部は、前記連続出現数が所定数以上となった場合、前記第２のチャンネルの音声データから前記損失パケット用の更なる補完データを抽出し、
前記データ補完部は、前記更なる補完データに前記平均パワー比率を乗算して得られた更なる修正補完データに基づき、第１のチャンネルの音声データの欠落部おいて前記所定数以上の損失パケットに対応する部分を補完することを特徴とする請求項２に記載のＩＰ電話装置。
【請求項４】
複数チャンネルの音声データをパケット化して通信を行うＩＰ電話装置のパケットロス補償方法であって、
受信パケットにおけるパケットロスの発生を検出するパケットロス検出ステップと、
前記パケットロスが発生した第１のチャンネルの音声データからその損失パケット用の補完データを抽出する補完データ抽出ステップと、
前記第１のチャンネルとは異なる第２のチャンネルにおける前記損失パケットに対応するパケットの音声のパワーを、当該パケットの直前パケットの音声のパワーで除算して、パワー変化率を算出するパワー変化率算出ステップと、
前記補完データに前記パワー変化率を乗算して得られた修正補完データに基づき、前記第１のチャンネルの音声データの欠落部を補完するデータ補完ステップと
を有することを特徴とするＩＰ電話装置のパケットロス補償方法。
【請求項５】
複数チャンネルの音声データをパケット化して通信を行うＩＰ電話装置のパケットロス補償方法であって、
受信パケットにおけるパケットロスの発生を検出するパケットロス検出ステップと、
前記パケットロスが発生した第１のチャンネルの音声データからその損失パケット用の補完データを抽出する補完データ抽出ステップと、
前記第１のチャンネルにおける複数パケットの音声のパワーの平均値を、前記第１のチャンネルとは異なる第２のチャンネルにおける前記複数パケットに対応するパケットの音声のパワーの平均値で除算して、平均パワー比率を算出する平均パワー比率算出ステップと、
前記第２のチャンネルにおける前記損失パケットに対応するパケットの音声のパワーを、前記第１のチャンネルにおける前記損失パケットの直前パケットの音声のパワーで除算して、パワー変化率を算出するパワー変化率算出ステップと、
前記補完データに前記パワー変化率および前記平均パワー比率を乗算して得られた修正補完データに基づき、前記第１のチャンネルの音声データの欠落部を補完するデータ補完ステップと
を有することを特徴とするＩＰ電話装置のパケットロス補償方法。
【請求項６】
前記パケットロス検出ステップは前記損失パケットの連続出現数を計数するステップを含み、
前記補完データ抽出ステップは、前記連続出現数が所定数以上となった場合、前記第２のチャンネルの音声データから前記損失パケット用の更なる補完データを抽出するステップを含み、
前記データ補完ステップは、前記更なる補完データに前記平均パワー比率を乗算して得られた更なる修正補完データに基づき、第１のチャンネルの音声データの欠落部おいて前記所定数以上の損失パケットに対応する部分を補完するステップを含むことを特徴とする請求項５に記載のＩＰ電話装置のパケットロス補償方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声通信におけるパケットロス補償機能を備えたＩＰ(Internet Protocol)電話装置およびそのパケットロス補償方法に関する。
【背景技術】
【０００２】
近年、インターネット等を利用して音声通話を実現するＶｏＩＰ(Voice over IP)の普及が進められており、ＶｏＩＰは通信コストの削減や通信回線の運用管理の一元化等に寄与している。その一方で、ＶｏＩＰによるベストエフォート型のパケット通信でリアルタイム通信を実現する場合には、その性質上、パケットロスやパケットの揺らぎ（または遅延）が生じて通信品質の低下を招くことがある。そこで、短時間の音声信号において同様の信号波形が連続するという性質を利用してパケットロスにより損失した信号波形を補完する技術や、ジッタバッファによりパケットの揺らぎを吸収し、一定の間隔で音声を再生可能とする技術などが開発されている。
【０００３】
従来のパケットロス補償技術としては、例えば、ＡＴＭ通信においてセル（パケット）化されたディジタル音声帯域信号を再生する際に、セルの損失が検出されると、それまでに再生された信号からそのピッチを抽出するとともに、損失セル直前の再生信号から１ピッチ分の信号およびその信号以前の数サンプルを取出し、その数サンプルを１ピッチ分の信号の対応部分に合成して補完信号を生成し、その補完信号を用いて損失セル部分の信号を補完する方法が知られている（特許文献１参照）。
【０００４】
【特許文献１】特開平９−１６２８８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載された従来技術では、定常的な信号波形が連続する音声信号に対しては、繰り返し補完される波形の連続性を維持できるものの、パケットロス部分で音量レベルが変動したような場合（即ち、定常性が保証されていない音声の場合）には、適切に対応することができないという課題があった。また、上記従来技術では、複数のパケットが連続して欠落し、かつその間に音声信号の周波数成分が変動したような場合、失われた音声信号を精度良く補完することができないという課題もあった。更に、上記従来技術では、ステレオなど多チャンネルの音声信号の処理については考慮されておらず、多チャンネルの音声信号のパケットロスについては十分な効果が得られないという課題もあった。
【０００６】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、複数チャンネルの音声データをパケット化して通信を行う際に、パケットロスによる音声データの欠落部で音量レベルの変化が生じた場合でも精度の高いパケットロス補償を可能とするＩＰ電話装置およびそのパケットロス補償方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のＩＰ電話装置は、複数チャンネルの音声データをパケット化して通信を行うＩＰ電話装置であって、受信パケットにおけるパケットロスの発生を検出するパケットロス検出部と、前記パケットロスが発生した第１のチャンネルの音声データからその損失パケット用の補完データを抽出する補完データ抽出部と、前記第１のチャンネルとは異なる第２のチャンネルにおける前記損失パケットに対応するパケットの音声のパワーを、当該パケットの直前パケットの音声のパワーで除算して、パワー変化率を算出するパワー変化率算出部と、前記補完データに前記パワー変化率を乗算して得られた修正補完データに基づき、前記第１のチャンネルの音声データの欠落部を補完するデータ補完部とを備えたことを特徴とする。
【発明の効果】
【０００８】
このように本発明によれば、パケットロスが発生した第１のチャンネル（異常チャンネル）の音量レベルの変化を第２のチャンネル（正常チャンネル）のパワー変化率により補完データに反映させることで、音声データの欠落部で音量レベルの変化が生じた場合でも精度の高いパケットロス補償が可能となるという優れた効果を奏する。
【発明を実施するための最良の形態】
【０００９】
上記課題を解決するためになされた第１の発明は、複数チャンネルの音声データをパケット化して通信を行うＩＰ電話装置であって、受信パケットにおけるパケットロスの発生を検出するパケットロス検出部と、前記パケットロスが発生した第１のチャンネルの音声データからその損失パケット用の補完データを抽出する補完データ抽出部と、前記第１のチャンネルとは異なる第２のチャンネルにおける前記損失パケットに対応するパケットの音声のパワーを、当該パケットの直前パケットの音声のパワーで除算して、パワー変化率を算出するパワー変化率算出部と、前記補完データに前記パワー変化率を乗算して得られた修正補完データに基づき、前記第１のチャンネルの音声データの欠落部を補完するデータ補完部とを備えた構成とする。
【００１０】
これによると、パケットロスが発生した第１のチャンネル（異常チャンネル）の音量レベルの変化を第２のチャンネル（正常チャンネル）のパワー変化率により補完データに反映させることで、音声データの欠落部で音量レベルの変化が生じた場合でも精度の高いパケットロス補償が可能となる。
【００１１】
上記課題を解決するためになされた第２の発明は、複数チャンネルの音声データをパケット化して通信を行うＩＰ電話装置であって、受信パケットにおけるパケットロスの発生を検出するパケットロス検出部と、前記パケットロスが発生した第１のチャンネルの音声データからその損失パケット用の補完データを抽出する補完データ抽出部と、前記第１のチャンネルにおける複数パケットの音声のパワーの平均値を、前記第１のチャンネルとは異なる第２のチャンネルにおける前記複数パケットに対応するパケットの音声のパワーの平均値で除算して、平均パワー比率を算出する平均パワー比率算出部と、前記第２のチャンネルにおける前記損失パケットに対応するパケットの音声のパワーを、前記第１のチャンネルにおける前記損失パケットの直前パケットの音声のパワーで除算して、パワー変化率を算出するパワー変化率算出部と、前記補完データに前記パワー変化率および前記平均パワー比率を乗算して得られた修正補完データに基づき、前記第１のチャンネルの音声データの欠落部を補完するデータ補完部とを備えた構成とする。
【００１２】
これによると、パケットロスが発生した第１のチャンネル（異常チャンネル）の音量レベルの変化をパワー変化率および平均パワー比率により補完データに反映させることで、音声データの欠落部で音量レベルの変化が生じ、かつ第１のチャンネルと第２のチャンネル（正常チャンネル）との間の平均的な音量レベルに差がある（例えば、相手装置側の複数の音声入力部が互いに離間配置されている）場合でも精度の高いパケットロス補償が可能となる。
【００１３】
上記課題を解決するためになされた第３の発明は、前記パケットロス検出部が前記損失パケットの連続出現数を計数し、前記補完データ抽出部は、前記連続出現数が所定数以上となった場合、前記第２のチャンネルの音声データから前記損失パケット用の更なる補完データを抽出し、前記データ補完部は、前記更なる補完データに前記平均パワー比率を乗算して得られた更なる修正補完データに基づき、第１のチャンネルの音声データの欠落部おいて前記所定数以上の損失パケットに対応する部分を補完する構成とすることができる。
【００１４】
これによると、パケットロスが連続的に発生した際に、音声データの欠落部で音声の周波数成分に変化が生じた場合でもより精度の高いパケットロス補償が可能となる。
【００１５】
上記課題を解決するためになされた第４の発明は、複数チャンネルの音声データをパケット化して通信を行うＩＰ電話装置のパケットロス補償方法であって、受信パケットにおけるパケットロスの発生を検出するパケットロス検出ステップと、前記パケットロスが発生した第１のチャンネルの音声データからその損失パケット用の補完データを抽出する補完データ抽出ステップと、前記第１のチャンネルとは異なる第２のチャンネルにおける前記損失パケットに対応するパケットの音声のパワーを、当該パケットの直前パケットの音声のパワーで除算して、パワー変化率を算出するパワー変化率算出ステップと、前記補完データに前記パワー変化率を乗算して得られた修正補完データに基づき、前記第１のチャンネルの音声データの欠落部を補完するデータ補完ステップとを有する構成とする。
【００１６】
上記課題を解決するためになされた第５の発明は、複数チャンネルの音声データをパケット化して通信を行うＩＰ電話装置のパケットロス補償方法であって、受信パケットにおけるパケットロスの発生を検出するパケットロス検出ステップと、前記パケットロスが発生した第１のチャンネルの音声データからその損失パケット用の補完データを抽出する補完データ抽出ステップと、前記第１のチャンネルにおける複数パケットの音声のパワーの平均値を、前記第１のチャンネルとは異なる第２のチャンネルにおける前記複数パケットに対応するパケットの音声のパワーの平均値で除算して、平均パワー比率を算出する平均パワー比率算出ステップと、前記第２のチャンネルにおける前記損失パケットに対応するパケットの音声のパワーを、前記第１のチャンネルにおける前記損失パケットの直前パケットの音声のパワーで除算して、パワー変化率を算出するパワー変化率算出ステップと、前記補完データに前記パワー変化率および前記平均パワー比率を乗算して得られた修正補完データに基づき、前記第１のチャンネルの音声データの欠落部を補完するデータ補完ステップとを有する構成とする。
【００１７】
上記課題を解決するためになされた第６の発明は、前記パケットロス検出ステップが前記損失パケットの連続出現数を計数するステップを含み、前記補完データ抽出ステップは、前記連続出現数が所定数以上となった場合、前記第２のチャンネルの音声データから前記損失パケット用の更なる補完データを抽出するステップを含み、前記データ補完ステップは、前記更なる補完データに前記平均パワー比率を乗算して得られた更なる修正補完データに基づき、第１のチャンネルの音声データの欠落部おいて前記所定数以上の損失パケットに対応する部分を補完するステップを含む構成とすることができる。
【００１８】
以下、本発明の実施の形態について図面を参照しながら説明する。説明にあたり、ＩＰ電話装置の各部、即ち、音声入出力部やバッファ部等については、それぞれ数字の符号に左右のチャンネルを示す添字（ＲまたはＬ）を付して、例えば、右音声入力部１３Ｒ、左音声入力部１３Ｌ（ただし、総称する場合には、音声入力部１３）と記す。また、「エネルギ」は振幅の二乗を表し、「パワー」はエネルギの平方根を表す。
【００１９】
図１は本願発明の第１実施形態に係るＩＰ電話装置を備えたＩＰ電話システムの概略を示すシステム構成図であり、図２はそのＩＰ電話装置の機能ブロック図であり、図３はそのＩＰ電話装置の外観構成の一例を示す図である。
【００２０】
ＩＰ電話システム１は、複数のＩＰ電話装置２及びＳＩＰ(Session Initiation Protocol)サーバ３が、インターネット（ＩＰ網）４を介してそれぞれ通信可能に接続された構成を有する。ＩＰ電話装置２は、ＬＡＮ(Local Area Network)５に属し、ＮＡＴ(Network Address Translation)機能を有するＮＡＴルータ６を介してインターネット４に接続されている。
【００２１】
ＩＰ電話装置２は、ＳＩＰのＵＡＣ(User Agent Client)として機能し、互いに複数チャンネル（ここでは、（Ｒ），（Ｌ）の２チャンネル）の音声データをそれぞれパケット化して通信を行うことが可能である。
【００２２】
このＩＰ電話装置２は、例えば、図３に示すように、音声入力部１３Ｌ，１３Ｒ（図２参照）を構成する左右のマイク３１Ｌ，３１Ｒ、音声出力部２２Ｌ，２２Ｒ（図２参照）を構成するスピーカ３２Ｌ，３２Ｒ、液晶タッチパネルからなる表示操作部３３等を備えた携帯型の電話装置として構成することができる。この場合は２つのマイクが近接配置された装置となるが、２つのマイクが離間配置された装置として電話会議システムを想定することもできる。一方の音声入力部（マイク）を第１のチャンネル（（Ｒ）チャンネル）、他方の音声入力部（マイク）を第２のチャンネル（（Ｌ）チャンネル）として以下説明する。
【００２３】
図２に示すように、ＩＰ電話装置２は、パケット送受信部１１、パケット形成部１２、音声入力部１３、パケット解析部１４、バッファ部１５、パケットロス検出部１６、ピッチ探索部１７、補完データ抽出部１８、乗算部１９、パワー変化率算出部２０、データ補完部２１、音声出力部２２を備える。なお、本実施形態では、ＩＰ電話装置２の特徴であるパケットロス補償機能に注目してそれに関連する構成や動作を中心に説明し、公知の構成や動作についての説明は省略する。
【００２４】
パケット送受信部１１は、ＬＡＮ５に接続され、公知の通信プロトコルに従って相手装置（他のＩＰ電話装置）との間で音声パケットの送受信を実行する。
【００２５】
パケット形成部１２は、音声入力部１３Ｒ，１３Ｌから入力されるアナログ音声データに、公知の音声符号化方式（例えば、ＩＴＵ−Ｔ  Ｇ．７１１）に基づき符号化処理（Ａ／Ｄ変換、圧縮等）が施された後に、これら音声データに所定のヘッダ情報を付与してそれぞれ音声パケットを形成する。形成された左右の音声パケットはパケット送受信部１１にそれぞれ出力される。
【００２６】
パケット解析部１４は、パケット送受信部１１を介して相手装置から受信した音声パケットのヘッダ情報を解析するとともに、当該音声パケットから音声データを取得し、ジッタバッファとして機能するバッファ部１５に一時的に蓄積させる。
【００２７】
パケットロス検出部１６は、パケット解析部１４から取得した情報（例えば、パケットの順序を示すシーケンス番号）に基づき、パケットロスの発生を検出する。
【００２８】
ピッチ探索部１７は、バッファ部１５に蓄積された音声データから公知の手法を用いてピッチ探索（基本周波数の抽出）を行う。例えば、相互相関を利用してピッチ探索を行う場合、音声信号における所定区間の離散データｘ（ｎ）とｙ（ｎ）との相関関数Ｒｘｙ（τ）は次式で表される。
【数１】
0004971213.tif 000002
【００２９】
ピッチ探索部１７は、この相関関数Ｒｘｙ（τ）のピークを探索し、その最大値を与える時間間隔τの値をピッチとして検出する。
【００３０】
補完データ抽出部１８は、パケットロスが発生した場合、当該パケットロスが発生したチャンネル（以下、「異常チャンネル」という。）側のバッファ部１５に蓄積された音声データから損失パケット用の補完データを抽出する。例えば、補完データ抽出部１８は、異常チャンネルにおいて、ピッチ探索部１７からピッチの情報を取得し、損失パケットの前または後の時系列における１ピッチ分の音声データを補完データとして抽出する。この補完データは乗算部１９に出力される。
【００３１】
パワー変化率算出部２０は、パケットロスが発生した場合、バッファ部１５に蓄積された音声データから音声のパワー変化率を算出する。詳細は後述するが、パワー変化率算出部２０は、パケットロスの発生していない他のチャンネル（以下、「正常チャンネル」という。）において、異常チャンネルの損失パケット（音声データの欠落部）に対応するパケットの音声のパワーを、そのパケットの直前パケットの音声のパワーで除算して、パワー変化率を算出する。このパワー変化率は乗算部１９に出力され、これにより、乗算部１９において補完データにパワー変化率が乗算されて修正補完データが得られる。
【００３２】
データ補完部２１は、バッファ部１５に蓄積された音声データの復号化処理を行うとともに、パケットロスが発生した場合には乗算部１９から修正補完データを取得し、この修正補完データを用いて音声データの欠落部を補完する。この補完された音声データは音声出力部２２に出力されて音声再生される。
【００３３】
次に、上記構成のＩＰ電話装置が相手装置から音声パケットを受信する際に行うパケットロス補償の詳細について説明する。
【００３４】
図４〜図６は第１実施形態に係るＩＰ電話装置における損失パケットの補完方法の説明図である。ここで、図４は相手装置から受信した正常な音声波形、図５は図４の波形の一部がパケットロスにより欠落した場合の音声波形、図６は図５の欠落部を補完した後の音声波形をそれぞれ示している。なお、図４では１ピッチ毎に、図５および図６では１パケット毎に区分された音声波形を示している。（今回の実施例では、１パケットの音声データのサンプル数は１．５ピッチ分に相当する。）
【００３５】
ここでは、相手装置の左右の音声入力部（マイク）が比較的近接して配置されている場合（例えば、相手装置が図３に示したような携帯型の電話装置の場合）を想定している。図４に示すように、（Ｒ）チャンネルおよび（Ｌ）チャンネルは同時刻において同様の音声波形を示し、また、（Ｒ）チャンネルおよび（Ｌ）チャンネルの音声のエネルギレベル（音量レベル）Ｅ（Ｒ），Ｅ（Ｌ）は時刻Ｔ０において同様に変化（増大）している。
【００３６】
図５に示すように、（Ｒ）チャンネルにおけるパケットＰｎ（図４の音声データ４１に相当）を損失すると、補完データ抽出部１８Ｒは、異常（Ｒ）チャンネルの損失パケットＰｎの直前パケットＰｎ−１において、１ピッチ相当の音声データ５１と、損失パケットＰｎの末端における１ピッチに満たない部分（図４の音声データ４２に相当）に対応する所定範囲の音声データ５２とを補完データとして抽出する。また、パワー変化率算出部２０は、正常（Ｌ）チャンネルにおいて、損失パケットＰｎと同時刻のパケットＱｎの音声のエネルギＥ（Ｌ）２と、そのパケットの直前パケットＱｎ−１の音声のエネルギＥ（Ｌ）１とを算出し、これらの平方根の比からパワー変化率を算出する。
【００３７】
これにより、乗算部１９Ｒは、図７（Ａ），（Ｂ）に示すように、補完データとして抽出された音声データ５１および音声データ５２にパワー変化率（（エネルギＥ（Ｌ）２／エネルギＥ（Ｌ）１）１／２）を乗算することで音声データ５１Ｃおよび音声データ５２Ｃをそれぞれ修正補完データとして生成する。
【００３８】
更に、データ補完部２１Ｒは、その修正補完データ（音声データ５１Ｃおよび音声データ５２Ｃ）を乗算部１９から取得し、図６に示すように、パケットロスにより損失したパケットＰｎ（音声データの欠落部）を補完する。
【００３９】
このように、２つのチャンネル間の相関情報を利用して、パケットロスが発生した異常（Ｒ）チャンネルの音量レベルの変化を正常（Ｌ）チャンネルのパワー変化率により補完データに反映させることで、音声データの欠落部で音量レベルの変化が生じた場合でも精度の高いパケットロス補償が可能となる。
【００４０】
図８は第１実施形態に係るＩＰ電話装置における修正補完データの生成手順を示すフロー図である。ＩＰ電話装置２が相手装置との音声通信を開始した後、パケットロス検出部１６がパケットロスの発生を検出すると（ＳＴ１０１：Ｙｅｓ）、異常チャンネル側のピッチ探索部１７がピッチ探索を実行する（ＳＴ１０２）。なお、このピッチ探索は、処理時間の短縮のため、パケットロスの発生の有無にかかわらず常時実行するようにしてもよい。
【００４１】
次に、ＩＰ電話装置２は、１パケットあたりのサンプル数（データ数）をＦに設定する（サンプル数は時間長(秒)×サンプリング周波数で求められるので、例えば、時間長が0.010秒、サンプリング周波数が8000Hzであればサンプル数は80となる）とともに、Ｔｐ（ピッチ長）を１ピッチとして設定し（ＳＴ１０３）、Ｆ(サンプル数)＝Ｆ（サンプル数）−Ｔｐ（ピッチ長）の式に基づきサンプル数内にピッチの倍数長分引いて余りを調べる演算を行う（ＳＴ１０４）。Ｆが０以上の場合には未生成の補完データがあるため（ＳＴ１０５：Ｎｏ）、補完データ抽出部１８は、異常チャンネル側における損失パケットの直前パケット内の直近Ｔｐ個（１ピッチ分）の音声データを補完データとして抽出する（ＳＴ１０６）。
【００４２】
続いて、パワー変化率算出部２０は、正常チャンネルにおいて、異常チャンネルの損失パケットと同時刻のパケットの音声のエネルギＥ２と、そのパケットの直前パケットの音声のエネルギＥ１とを算出し（ＳＴ１０７）、これらの平方根の比（（エネルギＥ２／エネルギＥ１）１／２）であるパワー変化率を算出する（ＳＴ１０８）。そして、乗算部１９において補完データにパワー変化率が乗算されて１ピッチ分の修正補完データが生成される（ＳＴ１０９）。これらＳＴ１０６〜ＳＴ１０９の処理は、ＳＴ１０５においてＦが０未満となるまで繰り返し実行される。
【００４３】
最終的にＦが０未満となると（ＳＴ１０５：Ｙｅｓ）、補完データ抽出部１８は、異常チャンネル側の損失パケットの直前パケット内において、直近Ｔｐ個の先頭からＦｓ個の音声データを補完データとして抽出する（ＳＴ１１０）。このＦｓは、損失パケットにおける１ピッチ未満の未補完分のサンプル数を示しており、Ｆｓ＝Ｆ＋Ｔｐ(ＳＴ１０４の式でＦから引いたＴｐを加え戻して、未補完分のサンプル数Ｆｓとする)として求められる。続いて、乗算部１９においてその補完データにＳＴ１０８で算出されたものと同じパワー変化率が乗算されて１ピッチ未満の修正補完データが生成される（ＳＴ１１１）。なお、ＳＴ１０３におけるＦがＴｐの整数倍である場合（即ち、音声データの欠落部に１ピッチ未満の部位が存在しない場合）、ＳＴ１１０およびＳＴ１１１は省略可能である。
【００４４】
図９は図８のステップＳＴ１０７における音声のエネルギ算出手順を示すフロー図である。まず、パワー変化率算出部２０は、サンプル数（番号）ｎおよびエネルギＥ（音声波形の振幅の２乗）の値をそれぞれ０に設定する（ＳＴ２０１）。続いて、パワー変化率算出部２０は、ｎが判定閾値Ｎよりも大きいか否かを判定する（ＳＴ２０２）。ここで、判定閾値ＮはエネルギＥの算出対象となる音声データの所定区間（ここでは、１ピッチ相当もしくは１パケット相当）が含むサンプル数である。判定閾値Ｎは、ゲイン変換の追従性（速度）に依存して決定されるが、Ｎが小さい値であれば追従性が向上するが、反面、ゲイン変動が過度に反応して音質劣化する場合がある。ｎが判定閾値Ｎ以下の場合、パワー変化率算出部２０は、エネルギＥ＝エネルギＥ＋（音声データ値（ｎ）×音声データ値（ｎ））の式に基づき演算を行うとともに（ＳＴ２０３）、ｎをインクリメント（ｎ＝ｎ＋１）する（ＳＴ２０４）。これらＳＴ２０３およびＳＴ２０４は、ＳＴ２０２においてｎがＮを超えるまで繰り返し実行される。最終的にｎが判定閾値Ｎを超えると（ＳＴ２０２：Ｙｅｓ）、パワー変化率算出部２０は、エネルギＥ＝エネルギＥ／（Ｎ−１）の式から所定区間におけるエネルギＥの平均値を求める（ＳＴ２０５）。
【００４５】
図１０は本願発明の第２実施形態に係るＩＰ電話装置の機能ブロック図である。図１０において、図２に示したＩＰ電話装置と同様の構成要素については同一の符号を付して詳細な説明を省略する。また、本実施形態において、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。
【００４６】
図１０に示すように、ＩＰ電話装置２は平均パワー比率算出部２３を更に備える。平均パワー比率算出部２３は、パケットロスが発生した場合、異常チャンネルにおける複数パケット（例えば、損失パケットの直前の複数パケット）の音声のパワーの平均値を、正常チャンネルにおけるそれら複数パケットと同時刻のパケットの音声のパワーの平均値で除算して、平均パワー比率を算出する。また、パワー変化率算出部２０は、異常チャンネルにおける損失パケットの直前パケットの音声のパワーで、正常チャンネルにおける損失パケットと同時刻のパケットの音声のパワーを除算して、パワー変化率を算出する。これら平均パワー比率およびパワー変化率は乗算部１９に対して出力され、これにより、乗算部１９において補完データに平均パワー比率およびパワー変化率が乗算されることで修正補完データが得られる。
【００４７】
図１１〜図１３は第２実施形態に係るＩＰ電話装置の損失パケットの補完方法の説明図である。ここで、図１１は相手装置から受信した正常な音声波形、図１２は図１１の波形の一部がパケットロスにより欠落した場合の音声波形、図１３は図１２の欠落部を補完した後の音声波形をそれぞれ示している。
【００４８】
ここでは、相手側の音声入力部（マイク）が比較的離間して配置されている場合（例えば、電話会議システムの場合）を想定している。図１１に示すように、（Ｌ）チャンネルは、同時刻の（Ｒ）チャンネルよりも平均的な音量レベルが大きい。また、（Ｒ）チャンネルおよび（Ｌ）チャンネルの音声のエネルギレベルＥ（Ｒ），Ｅ（Ｌ）は、時刻Ｔ０においてそれぞれ変化（増大）している。
【００４９】
図１２に示すように、（Ｒ）チャンネルにおけるパケットＰｎ（図１１の音声データ６１に相当）を損失すると、補完データ抽出部１８Ｒは、異常（Ｒ）チャンネルにおける損失パケットＰｎの直前パケットＰｎ−１において、１ピッチ相当の音声データ７１と、損失パケットＰｎの末端における１ピッチに満たない部分（図１１の音声データ６２に相当）に対応するパケットＰｎ−１の所定範囲の音声データ７２とを補完データとして抽出する。また、パワー変化率算出部２０は、異常（Ｒ）チャンネルにおける損失パケットＰｎの直前パケットＰｎ−１の音声のエネルギＥ（Ｒ）１と、正常（Ｌ）チャンネルにおける損失パケットＰｎと同時刻のパケットＱｎの音声のエネルギＥ（Ｌ）２とを算出し、これらの平方根の比からパワー変化率を算出する。さらに、平均パワー比率算出部２３は、異常（Ｒ）チャンネルにおける複数パケットＰｎ−１〜Ｐｎ−xの音声の平均エネルギＡｅ（Ｒ）３と、正常（Ｌ）チャンネルにおけるそれら複数パケットＰｎ−１〜Ｐｎ−xと同時刻のパケットＱｎ−１〜Ｑｎ−xの音声の平均エネルギＡｅ（Ｌ）４とを算出し、これらの平方根の比から平均パワー比率を算出する。
【００５０】
これにより、乗算部１９Ｒは、図１４（Ａ），（Ｂ）に示すように、補完データとして抽出された音声データ７１および音声データ７２に平均パワー比率（（エネルギＥ（Ｌ）２／エネルギＥ（Ｒ）１）１／２）およびパワー変化率（（平均エネルギＡｅ（Ｒ）３／平均エネルギＡｅ（Ｌ）４）１／２）を乗算することで音声データ７１Ｃおよび音声データ７２Ｃをそれぞれ修正補完データとして生成する。
【００５１】
更に、データ補完部２１Ｒは、修正補完データ（音声データ７１Ｃおよび音声データ７２Ｃ）を乗算部１９から取得し、図１３に示すように、パケットロスにより損失したパケットＰｎを補完する。
【００５２】
このように、異常チャンネルの音量レベルの変化をパワー変化率および平均パワー比率により補完データに反映させることで、音声データの欠落部で音量レベルの変化が生じ、かつ異常チャンネルと正常チャンネルとの間の平均的な音量レベルに差がある場合でも精度の高いパケットロス補償が可能となる。
【００５３】
図１５は第２実施形態に係るＩＰ電話装置における修正補完データの生成手順を示すフロー図である。図１５において、ＳＴ３０１〜ＳＴ３０５は図８のＳＴ１０１〜ＳＴ１０５とそれぞれ同様の処理であるため、説明は省略する。
【００５４】
ＳＴ３０５において、Ｆが０以上の場合（ＳＴ３０５：Ｎｏ）、補完データ抽出部１８は、異常チャンネル側における損失パケットの直前パケット内の直近Ｔｐ個（１ピッチ分）の音声データを補完データとして抽出する（ＳＴ３０６）。
【００５５】
続いて、平均パワー比率算出部２３は、異常チャンネルにおける複数パケットの音声の平均エネルギＡｅ３と、正常チャンネルにおけるそれら複数パケットと同時刻のパケットの音声の平均エネルギのＡｅ４とを算出し（ＳＴ３０７）、これらの平方根の比である平均パワー比率（（Ａｅ４／Ａｅ３）１／２）を算出する（ＳＴ３０８）。一方、パワー変化率算出部２０は、図９の場合と同様に、異常チャンネルにおける損失パケットの直前パケットの音声のエネルギＥ１と、正常チャンネルにおける損失パケットと同時刻のパケットの音声のエネルギＥ２とを算出し（ＳＴ３０９）、これらの平方根の比（（Ｅ２／Ｅ１）１／２）であるパワー変化率を算出する（ＳＴ３１０）。そして、乗算部１９において補完データに平均パワー比率およびパワー変化率が乗算されて１ピッチ分の修正補完データが生成される（ＳＴ３１１）。これらＳＴ３０６〜ＳＴ３１１の処理は、ＳＴ３０５においてＦが０未満となるまで繰り返し実行される。
【００５６】
最終的にＦが０未満となると（ＳＴ３０５：Ｙｅｓ）、補完データ抽出部１８は、異常チャンネル側の損失パケットの直前パケット内において、先の直近Ｔｐ個のデータの先頭からＦｓ個の音声データを補完データとして抽出する（ＳＴ３１２）。このＦｓは、損失パケットにおける１ピッチ未満の未補完分のサンプル数を示しており、Ｆｓ＝Ｆ＋Ｔｐとして求められる。続いて、乗算部１９においてその補完データにＳＴ３０８およびＳＴ３１０で算出されたものと同じ平均パワー比率およびパワー変化率が乗算されて１ピッチ未満の修正補完データが生成される（ＳＴ３１３）。
【００５７】
図１６は図１５のステップＳＴ３０７における音声の平均エネルギ算出手順を示すフロー図である。図１６において、ＳＴ４０１〜ＳＴ４０５は、図９のＳＴ２０１〜ＳＴ２０５とそれぞれ同様の処理であるため、説明は省略する。
【００５８】
ＳＴ４０６において、平均パワー比率算出部２３は、パケット数（番号）ｋおよび平均エネルギＡｅの値をそれぞれ０に設定する。続いて、平均パワー比率算出部２３は、ｋが判定閾値Ｋよりも大きいか否かを判定する（ＳＴ４０７）。ここで、判定閾値Ｋは平均エネルギの算出対象となるパケット数であり、ゲイン変換の追従性（速度）に依存して決定される。ｋがＫ以下の場合、平均パワー比率算出部２３は、平均エネルギＡｅ＝平均エネルギＡｅ＋エネルギＥ（ｋ）の式に基づき過去ｋ回のエネルギーの総和を求める演算を行うとともに（ＳＴ４０８）、ｋをインクリメント（ｋ＝ｋ＋１）する（ＳＴ４０９）。これらＳＴ４０８およびＳＴ４０９は、ＳＴ４０７においてｋが判定閾値Ｋを超えるまで繰り返し実行される。最終的にｋが判定閾値Ｋを超えると（ＳＴ４０７：Ｙｅｓ）、平均パワー比率算出部２３は、平均エネルギＡｅ＝平均エネルギＡｅ／（ｋ−１）の式から平均エネルギＡｅ（複数パケットにおけるエネルギＥの平均値）を求める（ＳＴ４１０）。
【００５９】
図１７は本願発明の第３実施形態に係るＩＰ電話装置の機能ブロック図である。図１７において、図１０に示したＩＰ電話装置と同様の構成要素については同一の符号を付して詳細な説明を省略する。また、本実施形態において、以下で特に言及しない事項については、上述の第２実施形態の場合と同様とする。
【００６０】
図１７に示すように、ＩＰ電話装置２は補完データ抽出部１８の上流側にセレクタ２４を更に備える。ここで、パケットロス検出部１６はパケットロスの発生回数が所定回数以上であるか否かを判定し、セレクタ２４は、パケットロスの発生回数が所定回数未満である場合、補完データ抽出部１８に対し、異常チャンネル側のピッチ探索部１７からのピッチの情報を出力するとともに、異常チャンネル側のバッファ部１５から補完データを出力する。一方、セレクタ２４は、パケットロスが所定回数以上である場合、補完データ抽出部１８に対し、正常チャンネル側のピッチ探索部１７からのピッチの情報を出力するとともに、正常チャンネル側のバッファ部１５から補完データを出力する。
【００６１】
図１８〜図２０は第３実施形態に係るＩＰ電話装置の損失パケットの補完方法の説明図である。ここで、図１８は相手装置から受信した正常な音声波形、図１９は図１８の波形の一部がパケットロスにより欠落した場合の音声波形、図２０は図１９の欠落部を補完した後の音声波形をそれぞれ示している。
【００６２】
ここでは、第２実施形態と同様に相手側の音声入力部が比較的離間して配置されている場合を想定しているが、説明の簡略のため、図１８に示すように、（Ｒ）チャンネルおよび（Ｌ）チャンネルは同時刻において同様の音声波形とし、（Ｒ）チャンネルおよび（Ｌ）チャンネルの音声のエネルギレベルＥ（Ｒ），Ｅ（Ｌ）は、時刻Ｔ０において同様に変化（減少）している場合を示している。（今回の実施例では、１パケットの音声データのサンプル数は、２ピッチ分に相当している。）
【００６３】
ここでは、図１９に示すように、（Ｒ）チャンネルにおける連続した複数のパケットＰｎ〜Ｐｎ＋５（図１８の音声データ７１に相当）を損失したものとする。この場合、パケットロスの発生回数（損失パケットの連続出現数）が所定回数未満（ここでは、６回）であるパケットＰｎ〜Ｐｎ＋４に対しては、第２実施形態と同様に修正補完データを生成する。即ち、乗算部１９Ｒは、図２１（Ａ）に示すように、補完データとして抽出された音声データ８１にパワー変化率（（エネルギＥ（Ｌ）２／エネルギＥ（Ｒ）１）１／２）および平均パワー比率（×（平均エネルギＡｅ（Ｒ）３／平均エネルギＡｅ（Ｌ）４）１／２）を乗算することで、Ｐｎ〜Ｐｎ＋４に対する修正補完データとして音声データ８１Ｃを生成する。
【００６４】
一方、パケットロスの発生回数が所定回数（ここでは、６回）以上となるパケットＰｎ＋５に対しては、補完データ抽出部１８Ｒは、正常（Ｌ）チャンネルにおける同時刻のパケットＱｎ＋５における音声データ９１を補完データとして抽出する。これにより、乗算部１９Ｒは、図２１（Ｂ）に示すように、補完データとして抽出された音声データ９１に平均パワー比率（（平均エネルギＡｅ（Ｒ）３／平均エネルギＡｅ（Ｌ）４）１／２）を乗算することで音声データ９１ＣをＰｎ＋５に対する修正補完データとして生成する。
【００６５】
更に、データ補完部２１Ｒは、修正補完データ（音声データ８１Ｃおよび音声データ９１Ｃ）を乗算部１９から取得し、図２０に示すように、パケットロスにより損失したパケットＰｎ〜Ｐｎ＋５を補完する。
【００６６】
このように、パケットロスが連続的に発生した際に、音声データの欠落部で音声の周波数成分に変化が生じた場合でもより精度の高いパケットロス補償が可能となるため、従来のような無音化処理（ボリューム減衰制御）は不要となる。
【００６７】
図２２は第３実施形態に係るＩＰ電話装置における修正補完データの生成手順を示すフロー図である。ＩＰ電話装置２が相手装置との音声通信を開始した後、パケットロス検出部１６がパケットロスの発生を検出すると（ＳＴ５０１：Ｙｅｓ）、続いて、当該パケットロスが連続的に発生しているか否かを判定する（ＳＴ５０２）。パケットロスが連続的に発生していない場合、図１５のステップＳＴ３０２に進み、上述の第２実施形態の場合と同様の処理が実行される。一方、パケットロスが連続的に発生している場合（Ｙｅｓ）、更に、パケットロス検出部１６は、連続発生回数が所定回数以上であるか否かを判定する（ＳＴ５０３）。
【００６８】
所定回数以上である場合、補完データ抽出部１８Ｒは、正常チャンネルにおける損失パケットと同時刻のパケットにおける音声データを補完データとして抽出する（ＳＴ５０４）。そして、乗算部１９においてその補完データに平均パワー比率が乗算されて１パケット分の修正補完データが生成される（ＳＴ５０５）。なお、ＳＴ５０３において、連続発生回数が所定回数以下である場合、上述と同様に図１５のＳＴ３０２に進む。
【００６９】
この第３実施形態では、パケットロスの発生回数が所定回数未満の場合に第２実施形態と同様の処理を実施することとしたが、相手装置の構成によっては、パケットロスの発生回数が所定回数未満の場合に第１実施形態と同様の処理を実施するような構成も可能である。
【００７０】
本発明を特定の実施形態に基づいて詳細に説明したが、これらの実施形態はあくまでも例示であって本発明はこれらの実施形態によって限定されるものではない。例えば、上記実施形態では、２つのチャンネルの場合について示したが、より多チャンネルの場合にも本発明を同様に適用可能である。
【産業上の利用可能性】
【００７１】
本発明に係るＩＰ話装置およびそのパケットロス補償方法は、複数チャンネルの音声データをパケット化して通信を行う際に、パケットロスによる音声データの欠落部で音量レベルの変化が生じた場合でも精度の高いパケットロス補償を可能にし、音声通信におけるパケットロス補償機能を備えたＩＰ話装置およびそのパケットロス補償方法として有用である。
【図面の簡単な説明】
【００７２】
【図１】第１実施形態に係るＩＰ電話装置を備えたＩＰ電話システムのシステム構成図
【図２】図１のＩＰ電話装置の機能ブロック図
【図３】図１のＩＰ電話装置の外観構成の一例を示す図
【図４】第１実施形態に係るＩＰ電話装置における損失パケットの補完方法の説明図
【図５】第１実施形態に係るＩＰ電話装置における損失パケットの補完方法の説明図
【図６】第１実施形態に係るＩＰ電話装置における損失パケットの補完方法の説明図
【図７】第１実施形態に係るＩＰ電話装置における修正補完データの取得方法の説明図
【図８】第１実施形態に係るＩＰ電話装置における修正補完データの生成手順を示すフロー図
【図９】図８のステップＳＴ１０７における音声のエネルギ算出手順を示すフロー図
【図１０】第２実施形態に係るＩＰ電話装置の機能ブロック図
【図１１】第２実施形態に係るＩＰ電話装置の損失パケットの補完方法の説明図
【図１２】第２実施形態に係るＩＰ電話装置の損失パケットの補完方法の説明図
【図１３】第２実施形態に係るＩＰ電話装置の損失パケットの補完方法の説明図
【図１４】第２実施形態に係るＩＰ電話装置における修正補完データの取得方法の説明図
【図１５】第２実施形態に係るＩＰ電話装置における修正補完データの生成手順を示すフロー図
【図１６】図１５のステップＳＴ３０７における音声の平均エネルギ算出手順を示すフロー図
【図１７】第３実施形態に係るＩＰ電話装置の機能ブロック図
【図１８】第３実施形態に係るＩＰ電話装置の損失パケットの補完方法の説明図
【図１９】第３実施形態に係るＩＰ電話装置の損失パケットの補完方法の説明図
【図２０】第３実施形態に係るＩＰ電話装置の損失パケットの補完方法の説明図
【図２１】第３実施形態に係るＩＰ電話装置における修正補完データの取得方法の説明図
【図２２】第３実施形態に係るＩＰ電話装置における修正補完データの生成手順を示すフロー図
【符号の説明】
【００７３】
１  ＩＰ電話システム
２  ＩＰ電話装置
３  ＳＩＰサーバ
４  インターネット
５  ＬＡＮ
１５  バッファ部
１６  パケットロス検出部
１７  ピッチ探索部
１８  補完データ抽出部
２０  パワー変化率算出部
２１  データ補完部
２３  平均パワー比率算出部
【図１】
0004971213.tif 000003
【図２】
0004971213.tif 000004
【図３】
0004971213.tif 000005
【図４】
0004971213.tif 000006
【図５】
0004971213.tif 000007
【図６】
0004971213.tif 000008
【図７】
0004971213.tif 000009
【図８】
0004971213.tif 000010
【図９】
0004971213.tif 000011
【図１０】
0004971213.tif 000012
【図１１】
0004971213.tif 000013
【図１２】
0004971213.tif 000014
【図１３】
0004971213.tif 000015
【図１４】
0004971213.tif 000016
【図１５】
0004971213.tif 000017
【図１６】
0004971213.tif 000018
【図１７】
0004971213.tif 000019
【図１８】
0004971213.tif 000020
【図１９】
0004971213.tif 000021
【図２０】
0004971213.tif 000022
【図２１】
0004971213.tif 000023
【図２２】
0004971213.tif 000024