(57)【要約】【課題】音声の特徴パラメータのシーケンス中に大きなロスが存在する場合でも比較的高い精度で音声認識を行なうことができる音声認識装置を提供する。【解決手段】音声認識装置は、音声データフレームを受信する入力バッファ３０と、フレームをフレーム番号順に記憶するフレームバッファ３６と、フレームロスが発生したことを検出するフレームロス検出部３２と、ロスフレーム数だけのフレームの特徴データを、フレームバッファ３６内の特徴データ及びフレーム順序情報に基づいて推定し、フレームバッファ３６内の所定位置に挿入する特徴パラメータ推定部３４と、特徴パラメータ推定部３４からフレームを順に読出して音声認識を行なう音声認識部３８とを含む。【選択図】      図１
2005062572.tif 000002
【特許請求の範囲】
【請求項１】
音声の特徴データとフレームの時間的順序を示すフレーム順序情報とを含むフレームを受信するためのフレーム受信手段と、
前記フレーム受信手段により受信されたフレームをフレーム順序情報と関連付けて記憶するためのフレーム記憶手段と、
前記フレーム受信手段に接続され、前記フレーム順序情報に基づいてフレームロスが発生したことを検出し、さらに当該フレームロスにより失われたフレームのフレーム位置を検出するためのフレームロス検出手段と、
前記フレームロス検出手段によりフレームロスの発生が検出されたことに応答して、前記フレームロス検出手段によりロスが検出されたフレームの数だけのフレームの特徴データを、前記フレーム記憶手段に記憶されているフレームに含まれる特徴データ及び前記フレーム順序情報に基づいて推定し、当該推定された特徴データを含むフレームを生成し、前記フレーム記憶手段内の、当該生成されたフレームのフレーム順序情報により定まるフレーム位置に挿入するための特徴データ推定手段と、
前記フレーム記憶手段からフレームをフレーム順序情報に従った順序で読出して各フレームに含まれる特徴データに対する音声認識を行なうための音声認識手段とを含む、音声認識装置。
【請求項２】
前記特徴データ推定手段は、
第１のフレーム数を記憶するための第１のフレーム数記憶手段と、
前記第１のフレーム数記憶手段に接続され、前記フレーム記憶手段に記憶されたフレームのうち、前記フレームロス検出手段により検出されたフレームロスの前の前記第１のフレーム数のフレームの特徴データを前記フレーム記憶手段から読出すための前フレーム読出手段と、
前記前フレーム読出手段により読出された前記第１の数のフレームの特徴データに基づいて、前記フレームロス検出手段により検出されたフレームロス中の各フレームに含まれる特徴データを推定するための推定手段と、
推定されたフレームを、前記フレーム記憶手段内のフレーム順序情報により定まるフレーム位置に挿入するためのフレーム挿入手段とを含む、請求項１に記載の音声認識装置。
【請求項３】
前記特徴データ推定手段はさらに、
第２のフレーム数を記憶するための第２のフレーム数記憶手段と、
前記第２のフレーム数記憶手段に接続され、前記フレーム記憶手段に記憶されたフレームのうち、前記フレームロス検出手段により検出されたフレームロスの後の前記第２の数のフレーム数のフレームの特徴データを前記フレーム記憶手段から読出すための後フレーム読出手段とを含み、
前記推定手段は、前記前フレーム読出手段により読出された前記第１の数のフレームの特徴データ、及び前記後フレーム読出手段により読出された前記第２の数のフレームの特徴データに基づいて、前記フレームロス検出手段により検出されたフレームロス中の各フレームに含まれる特徴データを推定するための手段を含む、請求項２に記載の音声認識装置。
【請求項４】
前記フレームロス検出手段により検出された失われたフレームの数と所定のしきい値とを比較し、前記第１のフレーム数記憶手段に記憶されている前記第１のフレーム数、又は前記第２のフレーム数記憶手段に記憶されている前記第２のフレーム数、又はその双方を比較結果に従って定まる所定の更新方法に従って更新するための更新手段を含む、請求項３に記載の音声認識装置。
【請求項５】
前記更新手段は、前記フレームロス検出手段により検出された失われたフレームの数と所定のしきい値とを比較し、前記第１のフレーム数記憶手段に記憶されている前記第１のフレーム数、又は前記第２のフレーム数記憶手段に記憶されている前記第２のフレーム数、又はその双方に、比較結果に従って定まる所定の定数を加算して更新するための手段を含む、請求項４に記載の音声認識装置。
【請求項６】
前記所定の定数は失われたフレームの数が前記しきい値を超えている場合には正の定数であり、それ以外の場合には負の定数である、請求項５に記載の音声認識装置。
【請求項７】
前記所定の定数は失われたフレームの数が前記しきい値を超えている場合には負の定数であり、それ以外の場合には正の定数である、請求項５に記載の音声認識装置。
【請求項８】
前記推定するための手段は、次の式によって失われたフレームの特徴データを算出し、
【数１】
2005062572.tif 000011
ただしＮf及びＮbはそれぞれ前記第１のフレーム数及び前記第２のフレーム数であり、Ｘt'f及びＸt'bは、前記フレームロス検出手段により検出されたフレームロスのそれぞれ前のＮf個及び後のＮb個の特徴データの平均からなる特徴データであり、t'f及びｔ'bはこれらＸt'f及びＸt'bに対応するフレーム順序情報を示し、Ｘt'f及びＸt'bは以下の様にして算出され、
【数２】
2005062572.tif 000012
ただしｔf及びｔbはそれぞれフレームロスが生じた直前及び直後のフレームに対応する時刻を示す、請求項３に記載の音声認識装置。
【請求項９】
前記特徴データ推定手段は、
前記特徴データ推定手段による推定に用いられる第１のフレーム数及び第２のフレーム数を、フレームロスに含まれるフレームの数と対応付けて記憶するためのフレーム数テーブルと、
前記フレーム数テーブル記憶手段に接続され、前記フレームロス検出手段により検出されたフレームロスに含まれるフレームの数に応じた前記第１のフレーム数及び前記第２のフレーム数を前記フレーム数テーブルより読出し、前記フレーム記憶手段に記憶されたフレームのうち、前記フレームロス検出手段により検出されたフレームロスの前の前記第１のフレーム数のフレームの特徴データと、当該フレームロスの後の前記第２のフレーム数のフレームの特徴データとを前記フレーム記憶手段から読出すためのフレーム読出手段と、
前記フレーム読出手段により読出された前記第１のフレーム数のフレーム及び前記第２のフレーム数のフレームの特徴データに基づいて、前記フレームロス検出手段により検出されたフレームロス中の各フレームに含まれる特徴データを推定するための推定手段を含む、請求項１に記載の音声認識装置。
【請求項１０】
音声の特徴データとフレームの時間的順序を示すフレーム順序情報とを含むフレームを受信するためのフレーム受信手段と、
前記フレーム受信手段により受信されたフレームをフレーム順序情報と関連付けて記憶するためのフレーム記憶手段と、
前記フレーム受信手段に接続され、前記フレーム順序情報に基づいてフレームロスが発生したことを検出し、さらに当該フレームロスにより失われたフレームのフレーム位置を検出するためのフレームロス検出手段と、
前記フレーム記憶手段からフレームをフレーム順序情報に従った順序で読出して各フレームに含まれる特徴データに対する音声認識を行なうための音声認識手段とを含み、
前記音声認識手段は、前記フレームロス検出手段によりフレームロスが検出されているか否かに従って、各状態の出力尤度を算出する手法を選択して出力尤度を算出する、隠れマルコフモデル（ＨＭＭ）によって音声を認識するための手段を含む、音声認識装置。
【請求項１１】
前記ＨＭＭによって音声を認識するための手段は、
前記フレームロス検出手段によりフレームロスが検出されていないときには
【数３】
2005062572.tif 000013
によって前記ＨＭＭの各状態Ｓtにおける出力尤度ｐ（Ｘt｜Ｓt）を算出し、ただしＭは前記ＨＭＭの各ノードを構成するガウス混合分布の混合数を表し、ｗjは当該ガウス混合分布の混合要素ｊの混合重みを表し、ｔは順序情報を表し、Ｎ（Ｘt；μj，σj2）はｔ番目のフレームＸtの入力特徴データに対する単変量ガウス分布関数を表し、混合要素ｊは分散σj2及び平均μjを持ち、
前記フレームロス検出手段によりフレームロスが検出されているときには
【数４】
2005062572.tif 000014
ただしＣは予め定められた定数、により前記ＨＭＭの各状態Ｓtにおける出力尤度ｐ（Ｘt｜Ｓt）を算出する、請求項１０に記載の音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音声認識技術に関し、特に、特徴ベクトルに変換後、パケット形式で伝送される音声信号においてパケットロスが生じた際にも高い精度で音声認識可能な音声認識装置に関する。
【背景技術】
【０００２】
音声認識技術の発達並びに携帯電話及びＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等の携帯端末の普及に伴い、携帯端末を用いた音声認識サービスが今後広く使われることが予想される。一方、携帯端末においては利用可能なリソース（処理能力、電源）などが限られている。携帯端末での消費電力又は処理量を抑制し、音声コーデック処理への影響をなくすことが望ましい。そのため、欧州電気通信標準化機構（ＥＴＳＩ：Ｅｕｒｏｐｅａｎ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｔａｎｄａｒｄｓ  Ｉｎｓｔｉｔｕｔｅ）では、分散型音声認識（ＤＳＲ：Ｄｉｓｔｒｉｂｕｔｅｄ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ）が標準化された。
【０００３】
ＤＳＲ方式では、携帯端末で音響分析処理を行ない、分析データを音声認識サーバに送信する。サーバでこの分析データに基づく音声認識処理を実行する。
【０００４】
ＤＳＲシステムの機能構成を図８にブロック図形式で示す。図８を参照して、このシステムは、携帯端末からなり、入力される音声信号の音響分析処理を行なって符号化された分析データをパケット形式で送信するクライアント端末１８０と、このパケット形式の分析データを受信して復号化し、復号化した分析データに対して音声認識を行なう音声認識サーバ１８２とを含む。音声認識サーバ１８２の出力は他のサービス（例えば翻訳サービス、自動応答サービスなど）に与えられる。
【０００５】
クライアント端末１８０は、音声信号に対して音響分析を行ない、所定の形式の特徴パラメータ（特徴データ）を抽出するための特徴パラメータ抽出部１９０と、特徴パラメータ抽出部１９０から出力された特徴パラメータに対して圧縮処理を行なう圧縮部１９２と、圧縮部１９２により圧縮された特徴パラメータ（以下、「圧縮特徴パラメータ」と呼ぶ。）に対し誤り訂正符号等を付す符号化を行ない、パケットのペイロードに格納し送信するための符号化処理部１９４とを含む。
【０００６】
音声認識サーバ１８２は、受信したパケットのペイロードに含まれる誤り訂正符号を復号化することで圧縮特徴パラメータを復元する復号化処理部２００と、復号化処理部２００により復元された圧縮特徴パラメータを伸張することにより、音響分析結果の特徴パラメータを復元する伸張処理部２０２と、伸張処理部２０２により復元された特徴パラメータを入力として受けて音声認識を行なうための認識処理部２０４とを含む。
【０００７】
最近のいわゆるインターネットの利用の広がりに伴い、クライアント端末１８０から音声認識サーバ１８２への通信はインターネット上に構築されたＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークを介して行なわれることが多くなり、今後さらに一般的になると思われる。
【０００８】
ＤＳＲサービスにおいて、ユーザとサーバ間の音声対話を想定した場合、短い伝播遅延が望まれる。従ってＤＳＲにおける音声データの送受信には、リアルタイム性を実現するＲＴＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）／ＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）／ＩＰが適していると考えられる。インターネット技術の標準化団体であるＩＥＴＦ（Ｔｈｅ  Ｉｎｔｅｒｎｅｔ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｔａｓｋ  Ｆｏｒｃｅ）のＡＶＴ（Ａｕｄｉｏ／Ｖｉｓｕａｌ  Ｔｒａｎｓｐｏｒｔ）ワーキンググループでは、ＤＳＲ向けのＲＴＰパケット構成に関し勧告が出された。
【０００９】
しかし、ＲＴＰ／ＵＤＰ／ＩＰを用いた送受信では、リアルタイム性を確保するために、何らかの原因でパケットが送信先に届かなかった場合でもパケットの再送は行なわない。たとえばパケットが輻輳した場合、ルータがパケットを破棄することがあるが、そのような場合にＲＴＰ／ＵＤＰ／ＩＰではそのパケットが再送されることはない。そのため、パケットロスが生じる。ＤＳＲにＲＴＰ／ＵＤＰ／ＩＰを用いるとパケットロスにより音声データのロスが生じることになる。また、そうしたパケットロスはバースト的に生じることが知られている。
【００１０】
この問題を解決することを目的とした提案が、後掲の非特許文献１〜３においてなされている。
【００１１】
【非特許文献１】遠藤、中村、「分散型認識システムでのデータ補完に関する一検討」、音響学会講演論文集、１−４−９，ｐｐ．１７−１８，２００３年３月．
【非特許文献２】ミルナー  Ｂ．、セムナニ  Ｓ．、「ＩＰネットワーク上での頑健な音声認識」、ＩＥＥＥ  ＩＣＡＳＳＰ予稿集、ｐｐ．２６１−２６４、２０００年６月．（Ｍｉｌｌｎｅｒ，Ｇ．  ａｎｄ  Ｓｅｍｎａｎｉ  Ｓ．，”Ｒｏｂｕｓｔ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｏｖｅｒ  ＩＰ  ｎｅｔｗｏｒｋｓ”，Ｐｒｏｃ．ＩＥＥＥ  ＩＣＡＳＳＰ，ｐｐ．１７９１−１７９４，Ｊｕｎｅ  ２０００．
【非特許文献３】ミルナー  Ｂ．，「バースト的パケットロスにおける頑健な音声認識」、ＩＥＥＥ  ＩＣＡＳＳＰ予稿集、ｐｐ．２６１−２６４、２００１年５月（Ｍｉｌｌｎｅｒ  Ｂ．，”Ｒｏｂｕｓｔ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎ  ｂｕｒｓｔ−ｌｉｋｅ  ｐａｃｋｅｔ  ｌｏｓｓ”，Ｐｒｏｃ．ＩＥＥＥ  ＩＣＡＳＳＰ，ｐｐ．２６１−２６４，Ｍａｙ  ２００１）．
【発明の開示】
【発明が解決しようとする課題】
【００１２】
非特許文献１〜３では、パケットロスの生じた区間を代替値で補完したデータを用いて音声認識をするデータ補完法に関する検討及び実験が行なわれている。しかし、パケットロス率が大きい場合、又はパケットロス長が長い場合には、これらの方法では認識劣化を十分に補うことができない。
【００１３】
それゆえに本発明の目的は、音声の特徴パラメータのシーケンス中に大きなロスが存在する場合でも比較的高い精度で音声認識を行なうことができる音声認識装置を提供することである。
【００１４】
この発明の他の目的は、バースト型のパケットロスが生じた場合でも比較的高い精度で音声認識を行なうことができる、サーバ型の音声認識装置を提供することである。
【課題を解決するための手段】
【００１５】
本発明の第１の局面に係る音声認識装置は、音声の特徴データとフレームの時間的順序を示すフレーム順序情報とを含むフレームを受信するためのフレーム受信手段と、フレーム受信手段により受信されたフレームをフレーム順序情報と関連付けて記憶するためのフレーム記憶手段と、フレーム受信手段に接続され、フレーム順序情報に基づいてフレームロスが発生したことを検出し、さらに当該フレームロスにより失われたフレームのフレーム位置を検出するためのフレームロス検出手段とを含む。音声認識装置はさらに、フレームロス検出手段によりフレームロスの発生が検出されたことに応答して、フレームロス検出手段によりロスが検出されたフレームの数だけのフレームの特徴データを、フレーム記憶手段に記憶されているフレームに含まれる特徴データ及びフレーム順序情報に基づいて個別に推定し、推定された特徴データを含むフレームを生成し、フレーム記憶手段内の、当該生成されたフレームのフレーム順序情報により定まるフレーム位置に挿入するための特徴データ推定手段と、フレーム記憶手段からフレームをフレーム順序情報に従った順序で読出して各フレームに含まれる特徴データに対する音声認識を行なうための音声認識手段とを含む。
【００１６】
好ましくは、特徴データ推定手段は、第１のフレーム数を記憶するための第１のフレーム数記憶手段と、第１のフレーム数記憶手段に接続され、フレーム記憶手段に記憶されたフレームのうち、フレームロス検出手段により検出されたフレームロスの前の第１のフレーム数のフレームの特徴データをフレーム記憶手段から読出すための前フレーム読出手段と、前フレーム読出手段により読出された第１の数のフレームの特徴データに基づいて、フレームロス検出手段により検出されたフレームロス中の各フレームに含まれる特徴データを推定するための推定手段と、推定された特徴データを含むフレームを生成し、フレーム記憶手段内の、当該生成されたフレームのフレーム順序情報により定まるフレーム位置に挿入するためのフレーム挿入手段とを含む。
【００１７】
特徴データ推定手段はさらに、第２のフレーム数を記憶するための第２のフレーム数記憶手段と、第２のフレーム数記憶手段に接続され、フレーム記憶手段に記憶されたフレームのうち、フレームロス検出手段により検出されたフレームロスの後の第２の数のフレーム数のフレームの特徴データをフレーム記憶手段から読出すための後フレーム読出手段とを含んでもよい。推定手段は、前フレーム読出手段により読出された第１の数のフレームの特徴データ、及び後フレーム読出手段により読出された第２の数のフレームの特徴データに基づいて、フレームロス検出手段により検出されたフレームロス中の各フレームに含まれる特徴データを推定するための手段を含んでもよい。
【００１８】
さらに好ましくは、フレームロス検出手段により検出された失われたフレームの数と所定のしきい値とを比較し、第１のフレーム数記憶手段に記憶されている第１のフレーム数、又は第２のフレーム数記憶手段に記憶されている第２のフレーム数、又はその双方を比較結果に従って定まる所定の更新方法に従って更新するための更新手段を含む。
【００１９】
更新手段は、フレームロス検出手段により検出された失われたフレームの数と所定のしきい値とを比較し、第１のフレーム数記憶手段に記憶されている第１のフレーム数、又は第２のフレーム数記憶手段に記憶されている第２のフレーム数、又はその双方に、比較結果に従って定まる所定の定数を加算して更新するための手段を含んでもよい。
【００２０】
好ましくは、所定の定数は失われたフレームの数がしきい値を超えている場合には正の定数であり、それ以外の場合には負の定数である。又は、所定の定数は失われたフレームの数がしきい値を超えている場合には負の定数であり、それ以外の場合には正の定数である。
【００２１】
好ましくは、推定するための手段は、次の式によって失われたフレームの特徴データを算出し、
【００２２】
【数１】
2005062572.tif 000003
ただしＮf及びＮbはそれぞれ第１のフレーム数及び第２のフレーム数であり、Ｘt'f及びＸt'bは、フレームロス検出手段により検出されたフレームロスのそれぞれ前のＮf個及び後のＮb個の特徴データの平均からなる特徴データであり、t'f及びｔ'bはこれらＸt'f及びＸt'bに対応するフレーム順序情報を示し、Ｘt'f及びＸt'bは以下の様にして算出され、
【００２３】
【数２】
2005062572.tif 000004
ただしｔf及びｔbはそれぞれフレームロスが生じた直前及び直後のフレームに対応する時刻を示す。
【００２４】
さらに好ましくは、特徴データ推定手段は、特徴データ推定手段による推定に用いられる第１のフレーム数及び第２のフレーム数を、フレームロスに含まれるフレームの数と対応付けて記憶するためのフレーム数テーブルと、フレーム数テーブル記憶手段に接続され、フレームロス検出手段により検出されたフレームロスに含まれるフレームの数に応じた第１のフレーム数及び第２のフレーム数をフレーム数テーブルより読出し、フレーム記憶手段に記憶されたフレームのうち、フレームロス検出手段により検出されたフレームロスの前の第１のフレーム数のフレームの特徴データと、当該フレームロスの後の第２のフレーム数のフレームの特徴データとをフレーム記憶手段から読出すためのフレーム読出手段と、フレーム読出手段により読出された第１のフレーム数のフレーム及び第２のフレーム数のフレームの特徴データに基づいて、フレームロス検出手段により検出されたフレームロス中の各フレームに含まれる特徴データを推定するための推定手段を含む。
【００２５】
本発明の第２の局面に係る音声認識装置は、音声の特徴データとフレームの時間的順序を示すフレーム順序情報とを含むフレームを受信するためのフレーム受信手段と、フレーム受信手段により受信されたフレームをフレーム順序情報と関連付けて記憶するためのフレーム記憶手段と、フレーム受信手段に接続され、フレーム順序情報に基づいてフレームロスが発生したことを検出し、さらに当該フレームロスにより失われたフレームのフレーム位置を検出するためのフレームロス検出手段と、フレーム記憶手段からフレームをフレーム順序情報に従った順序で読出して各フレームに含まれる特徴データに対する音声認識を行なうための音声認識手段とを含み、音声認識手段は、フレームロス検出手段によりフレームロスが検出されているか否かに従って、各状態の出力尤度を算出する手法を選択して出力尤度を算出する、隠れマルコフモデル（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：ＨＭＭ）によって音声を認識するための手段を含む。
【００２６】
好ましくは、ＨＭＭによって音声を認識するための手段は、フレームロス検出手段によりフレームロスが検出されていないときには
【００２７】
【数３】
2005062572.tif 000005
によってＨＭＭの各状態Ｓtにおける出力尤度ｐ（Ｘt｜Ｓt）を算出し、ただしＭはＨＭＭの各ノードを構成するガウス混合分布の混合数を表し、ｗjは当該ガウス混合分布の混合要素ｊの混合重みを表し、ｔは順序情報を表し、Ｎ（Ｘt；μj，σj2）はｔ番目のフレームＸtの入力特徴データに対する単変量ガウス分布関数を表し、混合要素ｊは分散σj2及び平均μjを持ち、フレームロス検出手段によりフレームロスが検出されているときには
【００２８】
【数４】
2005062572.tif 000006
ただしＣは予め定められた定数、によりＨＭＭの各状態Ｓtにおける出力尤度ｐ（Ｘt｜Ｓt）を算出する。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の第１の実施の形態及びその変形例、並びに第２の実施の形態について説明する。各実施の形態については、最初に構成を述べ、次に動作を述べる。第１の実施の形態及び第２の実施の形態はいずれもＭｉｓｓｉｎｇ  Ｆｅａｔｕｒｅ  Ｔｈｅｏｒｙ（ＭＦＴ）と呼ばれる理論に基づいて音声認識を行なう。なお、以下の説明において、音声認識に必要な特徴パラメータ（特徴データ）はＲＴＰ／ＵＤＰで送信されるものとする。特徴パラメータは所定長（例えば５０バイト）のフレーム単位で構成され、ＵＤＰのペイロードに複数フレームが格納されている。各ＲＴＰパケットには通し番号が付されている。また、ＵＤＰデータグラムのヘッダには、そのパケットのペイロードサイズが格納されている。
【００３０】
［第１の実施の形態］
‐構成‐
図１に、本発明の第１の実施の形態に係るサーバ‐クライアント型音声認識システムで使用される音声認識サーバ２０のブロック図を示す。この第１の実施の形態に係る音声認識サーバ２０は、ＭＦＴの中でもデータ補間法を用いて、パケットロスがあった場合の音声認識を行なう。
【００３１】
図１を参照して、音声認識サーバ２０は、インターネット網に接続され、この音声認識サーバ２０を送信先として送信されてくるパケットを受信して一時蓄積するための入力バッファ３０と、入力バッファ３０中のＵＤＰから取出される特徴パラメータのフレームをフレーム番号と関連付けて格納するフレームバッファ３６とを含む。フレーム番号はフレームの時間的順序を示す順序情報である。本実施の形態ではフレームバッファ３６はフレーム番号順にフレームを格納する。
【００３２】
音声認識サーバ２０はさらに、入力バッファ３０が受信した一連のパケットにパケットロスが生じているか否かを検出し、さらにパケットロスにより失われたフレームの位置及び数を算出し、フレームロスが生じていることと、どのフレームが失われているかとを示すフレームロス検出信号を出力するためのフレームロス検出部３２と、フレームロス検出部３２によってフレームロスがあったことが検出されたことに応答して、フレームバッファ３６に格納されているフレームに含まれている特徴パラメータを用いたデータ補間法によって失われた各フレームの特徴パラメータを推定し、フレームバッファ３６内のその失われたフレームに相当する所定の位置に、補間された特徴データからなるフレームを挿入する処理を行なうための特徴パラメータ推定部３４と、フレームバッファ３６に格納されている特徴パラメータを順番に読出して音声認識を行なう音声認識部３８とを含む。この音声認識部３８は、従来技術で使用されているものと同一のものでよい。
【００３３】
図２は、フレームロス検出部３２の詳細なブロック図である。図２を参照して、フレームロス検出部３２は、入力バッファ３０に一時蓄積されたＵＤＰデータグラム中に含まれるＲＴＰヘッダを抽出し、ＲＴＰシーケンス番号を調べることによりパケットロスが生じているか否か、及び失われたパケット数がいくつかを検知するためのロスパケット数検知部５０と、入力バッファ３０に一時蓄積されたＵＤＰデータグラム中のＵＤＰヘッダからペイロードサイズを読出すためのペイロードサイズ読出部５２とを含む。
【００３４】
フレームロス検出部３２はさらに、ロスパケット数検知部５０により検知されたロスパケット数と、ペイロードサイズ読出部５２により読出されたＵＤＰデータグラムのペイロードサイズ、及び所定のフレーム長によって、いくつのフレームがパケットロスにより失われたかを算出するためのロスフレーム数算出部５４とを含む。ロスフレーム数算出部５４は、この算出結果に従って前述したフレームロス検出信号を出力する。
【００３５】
図３は、図１に示す特徴パラメータ推定部３４の詳細なブロック図である。図３を参照して、特徴パラメータ推定部３４は、補間計算に使用される、それぞれフレームロス前後のフレーム数を記憶する第１及び第２のフレーム数記憶部８０及び８２を含む。第１のフレーム数記憶部８０はフレームロス前のフレームであって補間計算に使用されるフレームの数を記憶する。第２のフレーム数記憶部８２はフレームロス後のフレームであって補間計算に使用されるフレームの数を記憶する。
【００３６】
特徴パラメータ推定部３４はさらに、フレームロス検出信号及び第１のフレーム数記憶部８０の出力を受け、フレームロスが生じたときに、フレームロス直前の第１のフレーム数記憶部８０に記憶された数だけのフレームをフレームバッファ３６から読出すための前フレーム読出部７０と、同じくフレームロス検出信号及び第２のフレーム数記憶部８２の出力を受け、フレームロスが生じたときに、フレームロス直後の第２のフレーム数記憶部８２に記憶された数だけのフレームをフレームバッファ３６から読出すための後フレーム読出部７２とを含む。
【００３７】
特徴パラメータ推定部３４はさらに、フレームロスが検出されたことに応答して、第１のフレーム数記憶部８０及び第２のフレーム数記憶部８２の出力、並びに前フレーム読出部７０及び後フレーム読出部７２によってフレームバッファ３６から読出されたフレームを受け、後述する計算方法によって、失われたフレームの特徴パラメータを推定するための補間計算部７４と、補間計算部７４により推定された特徴パラメータからなる補間フレームをフレームバッファ３６中の所定位置に挿入する処理を行なう補間フレーム挿入処理部７６とを含む。
【００３８】
第１のフレーム数記憶部８０に記憶されているフレーム数をＮf、第２のフレーム数記憶部８２に記憶されているフレーム数をＮbとする。本実施の形態ではＮf及びＮbはいずれも通信状態に従って以下の様に更新される。フレームロスの数をＮLとする。この数ＮLがあるしきい値Ｓを超えていればＮf及びＮbの両者に定数を加算する。本実施の形態ではこの定数は正の定数１である。ＮLがしきい値Ｓ以下であればＮf及びＮbの両者から１を減算する。すなわち負の定数−１を加算する。ただし、Ｎf及びＮbの最小値をいずれも０とする。
【００３９】
特徴パラメータ推定部３４はそのために、上記したしきい値Ｓを記憶するためのしきい値記憶部８４と、しきい値記憶部８４に記憶されたしきい値Ｓ，第１のフレーム数記憶部８０及び第２のフレーム数記憶部８２に記憶された数Ｎf及びＮb、並びにフレームロス検出信号により表されたフレームロス数に従ってＮf及びＮbを更新するための更新処理部７８と、しきい値記憶部８４に記憶されたしきい値記憶部８４を手操作により更新するためのしきい値入力部８６とを含む。
【００４０】
補間計算部７４が行なう補間計算について説明する。このフレーム補間は、パケットで送信されてくる特徴ベクトルの各要素に対し行なわれる。以下の説明では、特徴ベクトルストリーム中の、時刻ｔNにおけるベクトルｘをｘ＝｛Ｘt1，Ｘt2，…，ＸtN｝で表す。またｍ番目のフレームが失われたものとする（１≦ｍ≦Ｎ）。ｍは連続した複数の場合もあり得る。
【００４１】
補間方法は多数存在するが、受信したデータに基づいてデータ補間を行なうことが有効である。本実施の形態では、図４に示す方法によってデータ補間を行なう。図４を参照して、失われたフレームの特徴ベクトル＾Ｘtmは、ｔ'f＜ｔm＜ｔ'bを満足するｔmを用いて以下の式に従い推定される。
【００４２】
【数５】
2005062572.tif 000007
ただしＸt'f及びＸt'bは、失われた特徴ベクトルのそれぞれ前のＮf個及び後のＮb個の特徴ベクトルの平均ベクトルであり、t'f及びｔ'bはこれらＸt'f及びＸt'bに対応する時刻を示す。
【００４３】
Ｘt'f及びＸt'bは以下の様にして算出される。
【００４４】
【数６】
2005062572.tif 000008
ただしｔf及びｔbはそれぞれフレームロスが生じた直前及び直後のフレームに対応する時間を示す。
【００４５】
図４に示す例はＮf＝Ｎb＝３の例を示している。図４において、実線は特徴ベクトルの一要素の値を示し、×印はロスフレーム前後のそれぞれ３つずつのフレームの平均値を表す。○印は式（２）〜（４）を用いて算出された推定値を示す。
【００４６】
‐動作‐
図１〜図３に示す音声認識システム１０は以下の様に動作する。予め、しきい値記憶部８４には所定のしきい値が設定されているものとする。また第１のフレーム数記憶部８０及び第２のフレーム数記憶部８２にも予め所定の値が設定されているものとする。多くの場合、前回の通信時に更新された値が第１のフレーム数記憶部８０及び第２のフレーム数記憶部８２に設定されているが、例えば電源投入ごとに所定の初期値がこれらに設定される様にしてもよい。
【００４７】
送信されてくるパケットは入力バッファ３０に一時蓄積される。フレームロス検出部３２のペイロードサイズ読出部５２は、ＵＤＰヘッダからペイロードサイズ情報を読出し、ロスフレーム数算出部５４に与える。通常、ペイロードサイズは固定された値である。
【００４８】
ロスパケット数検知部５０は一連のＵＤＰペイロード中のＲＴＰヘッダからパケット番号を読出し、それらの番号が連続しているか否かに基づいてパケットロスがあったか否かを判定する。パケットロスがあった場合、ロスパケット数検知部５０はロスパケット数を算出しロスフレーム数算出部５４に与える。
【００４９】
ロスフレーム数算出部５４は、ペイロードサイズ読出部５２から与えられたペイロードサイズ、及び予め設定されたフレームサイズに基づき、１ＵＤＰデータグラムのペイロード中に含まれるフレーム数を算出する。さらにロスフレーム数算出部５４は、算出されたフレーム数にロスパケット数を乗ずることにより、ロスフレーム数を算出しフレームロス信号として特徴パラメータ推定部３４に与える。
【００５０】
図３を参照して、特徴パラメータ推定部３４の更新処理部７８はフレームロス検出信号により指定されるロスフレーム数ＮLと、しきい値記憶部８４に記憶されているしきい値Ｓとを比較する。ＮL＞Ｓであれば更新処理部７８は第１のフレーム数記憶部８０及び第２のフレーム数記憶部８２に記憶されている値Ｎf及びＮbにそれぞれ１を加算する処理を行なう。それ以外の場合には更新処理部７８は、値Ｎf及びＮbからそれぞれ１を減算する処理を行なう。
【００５１】
特徴パラメータ推定部３４の前フレーム読出部７０及び後フレーム読出部７２は、それぞれ第１のフレーム数記憶部８０及び第２のフレーム数記憶部８２に記憶された値Ｎf及びＮbに基づき、ロスフレームの直前及び直後のフレームをＮf及びＮbにより指定される数だけフレームバッファ３６（図１）から読出す。読出されたフレームは補間計算部７４に与えられる。補間計算部７４は、第１のフレーム数記憶部８０及び第２のフレーム数記憶部８２に記憶された値Ｎf及びＮb及び前フレーム読出部７０及び後フレーム読出部７２から与えられた、ロスフレームの直前及び直後のフレームの情報に基づき、式（１）に従ってロスフレームの特徴ベクトルの各要素を算出する。補間計算部７４は、算出された要素からなる、推定されたロスフレームの特徴ベクトルを補間フレーム挿入処理部７６に与える。
【００５２】
補間フレーム挿入処理部７６は、フレームロス検出信号によって指定されるフレーム位置に補間計算部７４により算出されたロスフレームの特徴ベクトルが挿入される様に、フレームバッファ３６の内容を更新する。
【００５３】
図１に示す音声認識部３８は、フレームバッファ３６からフレームに含まれる特徴ベクトルを順に読出し、ＨＭＭに与えることで音声認識を行なう。
【００５４】
音声認識部３８が連続密度ＨＭＭ（ＣＤＨＭＭ）であるものとする。失われたフレームの状態Ｓtは、補間計算部７４により推定された特徴ベクトル＾Ｘtを用いて計算される。従って、ＨＭＭのノードＳtの尤度関数は以下の式により与えられる。
【００５５】
【数７】
2005062572.tif 000009
ただしＭはガウス混合分布の混合数を表し、ｗjは混合要素ｊの混合重みを表し、Ｎ（Ｘt；μj，σj2）はｔ番目のフレームＸtの入力特徴量に対する単変量ガウス分布関数を表し、混合要素ｊは分散σj2及び平均μjを持つものとする。
【００５６】
この第１の実施の形態の装置によれば、パケットロスが生じ、複数のフレームが失われたときでも、特徴パラメータ推定部３４によってロスフレームの特徴ベクトルが推定され、推定されたフレームが特徴パラメータ推定部３４内のロスフレームの位置に挿入される。音声認識部３８は単にフレームバッファ３６から順にフレームを読出て音声認識を行なうだけでよい。そのため、音声認識部３８の構成を従来のものと変えずに、パケットロスが生じた場合でも音声認識を行なうことができる。また後述する様にその精度は高く、従来よりも頑健な音声認識を実現できる。
【００５７】
なお、上記した実施の形態のシステムでは、値Ｎf及びＮbの更新では、加算又は減算される値は１に限定されている。こうすることにより、ロスパケット数の数の変化によって値Ｎf及びＮbの値が激しく変動し音声認識が不安定になることを防止できる。ただし、この値は１に限定されるわけではなく、応用に応じて適当な値を選択する様にすればよい。値Ｎf及びＮbの更新を行なわず、固定した値（例えば値Ｎf＝Ｎb＝１）としてもよい。
【００５８】
また上記した実施の形態のシステムでは、ロスフレームの前後のフレームを使用した内分によりロスフレームを推定している。しかしこの場合、ロスフレームの後のフレームの情報まで必要とするので推定に時間を要し、音声認識に遅延を生ずる。そこで、音声認識をできるだけ早くすることが必要な場合には、Ｎbの値を０に固定することが考えられる。ロスフレームの前の複数のフレームのデータから、ロスフレームの値を外挿することにより、式（１）を用いた場合と同様の結果を得ることができる。
【００５９】
また上記した説明では、ロスフレーム数の数ＮLがしきい値Ｓを超えていればＮf及びＮbの両者に１を加算し、ＮLがしきい値Ｓ以下であればＮf及びＮbの両者から１を減算している。これは推定の精度を高めることを重視した方法である。しかしＮf及びＮbの数の決め方はこれに限定されるわけではない。例えば、処理のリアルタイム性を推定の精度よりも重視する場合には、ロスフレーム数の数ＮLがしきい値Ｓを超えていればＮf及びＮbの両者から１を減算し、ＮLがしきい値Ｓを超えていればＮf及びＮbの両者から１を減算することも考えられる。
【００６０】
［第１の実施の形態の変形例］
第１の実施の形態のシステムでは、第１のフレーム数記憶部８０及び第２のフレーム数記憶部８２に記憶されたＮf及びＮbの値をパケット数に応じて更新する。しかし本発明はそのような実施の形態に限定されず、パケットロスの数ＮLに応じてＮf及びＮbの値を予め定める様にすることも考えられる。そのためには、ＮLに対するＮf及びＮbの値を予めテーブルにしておけばよい。そのようなシステムで使用される特徴パラメータ推定部１２０のブロック図を図５に示す。この補間計算部１２０は、図１に示す特徴パラメータ推定部３４に代えて使用することができる。
【００６１】
図５を参照して、特徴パラメータ推定部１２０は、上記したパケットロス数ＮLに対するフレームロス前後のフレーム数Ｎf及びＮbを記憶するテーブル１３０と、フレームロス検出信号を受け、フレームロスが生じたときに、ロスフレームの数ＮLに対応する数Ｎfをテーブル１３０から読出し、さらにその数Ｎfに対応するフレームロス直前のフレームをフレームバッファ３６から読出すための前フレーム読出部１３２と、同じくフレームロス検出信号出力を受け、フレームロスが生じたときに、ロスフレームの数ＮLに対応する数Ｎbをテーブル１３０から読出し、さらにその数Ｎbに対応するフレームロス直後のフレームをフレームバッファ３６から読出すための後フレーム読出部１３４とを含む。
【００６２】
特徴パラメータ推定部１２０はさらに、フレームロスが検出されたことに応答して、ロスフレームの数ＮLに対応する数Ｎf及びＮbをテーブル１３０から読出し、さらに前フレーム読出部１３２及び後フレーム読出部１３４によってフレームバッファ３６から読出されたフレームを受け、式（１）と同様の計算方法によって、失われたフレームの特徴パラメータを推定するための補間計算部１３６と、補間計算部１３６により推定された特徴パラメータからなる補間フレームをフレームバッファ３６中の所定位置に挿入する処理を行なう補間フレーム挿入処理部７６とを含む。
【００６３】
この特徴パラメータ推定部１２０は、Ｎf及びＮbの値の定め方以外は第１の実施の形態と同様に動作する。
【００６４】
この変形例では、ロスパケットの数ＮLと内分のための値Ｎf及びＮbとの関係が固定されている。そのため、第１の実施の形態における様にその関係自体を動的に変えることはできない。しかし、予めパケットロスの発生状況と値Ｎf及びＮbとの関係を予測することができる場合には有効である。また、この変形例ではレスポンス時間が一定となるため、一定の精度で安定して音声認識を行なうのに有効である。
【００６５】
［第２の実施の形態］
第１の実施の形態のシステムは、ロスフレームに含まれる特徴ベクトルをロスフレーム群の前後のフレームの特徴ベクトルから推定した。フレームロスがある場合の音声認識の他の方法に、マージナリゼーション方式と呼ばれるものがある。本発明の第２の実施の形態に係るシステムは、マージナリゼーション方式を用いたものである。
【００６６】
マージナリゼーション方式では、一部の音声データが失われた場合、失われたデータを用いずにＨＭＭでの出力尤度を操作することで認識を行なう。これを実現するために、音声認識サーバにフレームロスを検知する機能を持つ必要がある点は第１の実施の形態のシステムと同様である。
【００６７】
図６に、第２の実施の形態に係るサーバ‐クライアント型音声認識システムで使用される音声認識サーバ１４０のブロック図を示す。図６を参照してこの音声認識サーバ１４０は、第１の実施の形態の音声認識サーバ２０と同様の入力バッファ３０、フレームロス検出部３２、及びフレームバッファ３６を含む。さらにこの音声認識サーバ１４０は、第１の実施の形態の音声認識サーバ２０と異なり、フレームロス検出部３２の出力するフレームロス検出信号を直接受け、失われたフレームの特徴ベクトルを推定することなくマージナリゼーション方式で音声認識を行なう音声認識部１５０を含む。
【００６８】
図６において、図１と同じ部品には同じ参照番号を付してある。それらの名称及び機能も同一である。従ってここではそれらについての詳細な説明は繰返さない。
【００６９】
マージナリゼーション手法による音声認識では、次の式によりＨＭＭのノードＳtの出力尤度ｐ（Ｘt｜Ｓt）を求める。
【００７０】
【数８】
2005062572.tif 000010
ただしＭはガウス混合分布の混合数を表し、ｗjは混合要素ｊの混合重みを表し、Ｎ（Ｘt；μj，σj2）はｔ番目のフレームＸtの入力特徴量に対する単変量ガウス分布関数を表し、混合要素ｊは分散σj2及び平均μjを持つものとする。
【００７１】
フレームロスがない場合には、式（５）の上の第１式を用いてＨＭＭの各状態の出力尤度を計算する。フレームロスがある場合には、第１式のＸtが存在しないため、式（５）の第２式により示される様に全ての状態の出力尤度を同じ値「Ｃ」とする。これにより、フレームロスがある場合には、状態遷移は、予め学習された状態遷移確率のみに依存することになる。
【００７２】
音声認識部１５０の構成を模式的に図７に示す。図７を参照して、音声認識部１５０は、ＨＭＭ１６０と、上に示した式（５）の第１式を用いてＨＭＭ１６０の各状態の出力尤度を計算する出力尤度算出部１６４と、定数Ｃを記憶する定数記憶部１６６と、パケットロスがない場合には出力尤度算出部１６４を用い、パケットロスがある場合には定数記憶部１６６の出力Ｃを用い、それぞれ各状態の出力尤度を算出する様にＨＭＭ１６０を制御する選択部１６２とを含む。
【００７３】
フレームロス検出信号が、フレームロス検出を示す値であるときは選択部１６２は定数記憶部１６６の出力をＨＭＭ１６０の各出力尤度とする。フレームロスが検出されていないときには、選択部１６２は、ＨＭＭ１６０の各状態の出力尤度に出力尤度算出部１６４での計算結果を用いる。
【００７４】
この音声認識部１５０により、上記したマージナリゼーションによる音声認識が可能となる。
【００７５】
［実験結果］
上記第１の実施の形態のシステム、及び第２の実施の形態のシステムを用いてフレームロスが生じた場合の音声認識の結果を調べる実験を行なった。実験では、パケットロスがランダムに生じると仮定したランダムロスモデル、及び通常状態とロス状態の２状態の間での遷移確率を定めて得られるギルバートロスモデルについて、パケットロス率と平均バーストロス長に対する単語認識率の傾向を調べた。実験を簡易とするため、１パケットに１フレームが格納されていると仮定した。
【００７６】
実施の形態１の実験では、簡単のためにＮf＝１かつＮb＝０に固定した実験と、Ｎf＝１かつＮb＝１に固定した実験とを行なった。
【００７７】
また、比較のために、第１の実施の形態において、特徴ベクトルを算出するかわりに、予めＨＭＭの学習の時に使用されたデータの平均を求め、この平均ベクトルを失われたフレームのデータとしてＨＭＭで音声認識を行なう実験も行なった。これをベースラインとして実験結果を考察する。
【００７８】
その結果、平均バースト長が長くなると、上記したいずれの実験においても単語認識率は低下した。しかし、本発明による単語認識を行なった場合の単語認識率は、いずれの場合もベースラインの結果を大きく上回った。パケットロス率が大きくなるとその差は大きくなる。また、マージナリゼーション方式（第２の実施の形態）による単語認識率は、他のいずれをも上回った。従ってマージナリゼーション方式はバーストパケットロスに対し、他の方式よりも頑健であると考えられる。
【００７９】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００８０】
【図１】本発明の第１の実施の形態に係る音声認識サーバのブロック図である。
【図２】図１に示すフレームロス検出部３２の詳細なブロック図である。
【図３】図１に示す特徴パラメータ推定部３４の詳細なブロック図である。
【図４】特徴パラメータ推定部３４で実行される特徴ベクトルの推定処理を説明するための図である。
【図５】第１の実施の形態の音声認識サーバの変形例のブロック図である。
【図６】本発明の第２の実施の形態に係る音声認識サーバのブロック図である。
【図７】図６に示す音声認識部１５０の詳細なブロック図である。
【図８】従来のサーバ‐クライアント型音声認識システムの構成を示すブロック図である。
【符号の説明】
【００８１】
２０，１４０，１８２  音声認識サーバ、３０  入力バッファ、３２  フレームロス検出部、３４，１２０  特徴パラメータ推定部、３６  フレームバッファ、３８，１５０  音声認識部、５０  ロスパケット数検知部、５２  ペイロードサイズ読出部、５４  ロスフレーム数算出部、７０，１３２  前フレーム読出部、７２，１３４  後フレーム読出部、７４，１３６  補間計算部、７６  補間フレーム挿入処理部、７８  更新処理部、８０  第１のフレーム数記憶部８０、８２  第２のフレーム数記憶部、１３０  テーブル
【図１】
2005062572.tif 000015
【図２】
2005062572.tif 000016
【図３】
2005062572.tif 000017
【図４】
2005062572.tif 000018
【図５】
2005062572.tif 000019
【図６】
2005062572.tif 000020
【図７】
2005062572.tif 000021
【図８】
2005062572.tif 000022
【手続補正書】
【提出日】平成16年7月7日(2004.7.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声の特徴データとフレームの時間的順序を示すフレーム順序情報とを含むフレームを受信するためのフレーム受信手段と、
前記フレーム受信手段により受信されたフレームをフレーム順序情報と関連付けて記憶するためのフレーム記憶手段と、
前記フレーム受信手段に接続され、前記フレーム順序情報に基づいてフレームロスが発生したことを検出し、さらに当該フレームロスにより失われたフレームのフレーム位置を検出するためのフレームロス検出手段と、
前記フレームロス検出手段によりフレームロスの発生が検出されたことに応答して、前記フレームロス検出手段によりロスが検出されたフレームの数だけのフレームの特徴データを、前記フレーム記憶手段に記憶されているフレームに含まれる特徴データ及び前記フレーム順序情報に基づいて推定し、当該推定された特徴データを含むフレームを生成し、前記フレーム記憶手段内の、当該生成されたフレームのフレーム順序情報により定まるフレーム位置に挿入するための特徴データ推定手段と、
前記フレーム記憶手段からフレームをフレーム順序情報に従った順序で読出して各フレームに含まれる特徴データに対する音声認識を行なうための音声認識手段とを含む、音声認識装置。
【請求項２】
前記特徴データ推定手段は、
第１のフレーム数を記憶するための第１のフレーム数記憶手段と、
前記第１のフレーム数記憶手段に接続され、前記フレーム記憶手段に記憶されたフレームのうち、前記フレームロス検出手段により検出されたフレームロスの前の前記第１のフレーム数のフレームの特徴データを前記フレーム記憶手段から読出すための前フレーム読出手段と、
前記前フレーム読出手段により読出された前記第１のフレーム数のフレームの特徴データに基づいて、前記フレームロス検出手段により検出されたフレームロス中の各フレームに含まれる特徴データを推定するための推定手段と、
推定されたフレームを、前記フレーム記憶手段内のフレーム順序情報により定まるフレーム位置に挿入するためのフレーム挿入手段とを含む、請求項１に記載の音声認識装置。
【請求項３】
前記特徴データ推定手段はさらに、
第２のフレーム数を記憶するための第２のフレーム数記憶手段と、
前記第２のフレーム数記憶手段に接続され、前記フレーム記憶手段に記憶されたフレームのうち、前記フレームロス検出手段により検出されたフレームロスの後の前記第２のフレーム数のフレームの特徴データを前記フレーム記憶手段から読出すための後フレーム読出手段とを含み、
前記推定手段は、前記前フレーム読出手段により読出された前記第１のフレーム数のフレームの特徴データ、及び前記後フレーム読出手段により読出された前記第２のフレーム数のフレームの特徴データに基づいて、前記フレームロス検出手段により検出されたフレームロス中の各フレームに含まれる特徴データを推定するための手段を含む、請求項２に記載の音声認識装置。
【請求項４】
前記フレームロス検出手段により検出された失われたフレームの数と所定のしきい値とを比較し、前記第１のフレーム数記憶手段に記憶されている前記第１のフレーム数、又は前記第２のフレーム数記憶手段に記憶されている前記第２のフレーム数、又はその双方を比較結果に従って定まる所定の更新方法に従って更新するための更新手段を含む、請求項３に記載の音声認識装置。
【請求項５】
前記更新手段は、前記フレームロス検出手段により検出された失われたフレームの数と所定のしきい値とを比較し、前記第１のフレーム数記憶手段に記憶されている前記第１のフレーム数、又は前記第２のフレーム数記憶手段に記憶されている前記第２のフレーム数、又はその双方に、比較結果に従って定まる所定の定数を加算して更新するための手段を含む、請求項４に記載の音声認識装置。
【請求項６】
前記所定の定数は失われたフレームの数が前記しきい値を超えている場合には正の定数であり、それ以外の場合には負の定数である、請求項５に記載の音声認識装置。
【請求項７】
前記所定の定数は失われたフレームの数が前記しきい値を超えている場合には負の定数であり、それ以外の場合には正の定数である、請求項５に記載の音声認識装置。
【請求項８】
前記推定するための手段は、次の式によって失われたフレームの特徴データを算出し、
【数１】
2005062572.tif 000023
ただしＮf及びＮbはそれぞれ前記第１のフレーム数及び前記第２のフレーム数であり、Ｘt'f及びＸt'bは、前記フレームロス検出手段により検出されたフレームロスのそれぞれ前のＮf個及び後のＮb個の特徴データの平均からなる特徴データであり、t'f及びｔ'bはこれらＸt'f及びＸt'bに対応するフレーム順序情報を示し、Ｘt'f及びＸt'bは以下の様にして算出され、
【数２】
2005062572.tif 000024
ただしｔf及びｔbはそれぞれフレームロスが生じた直前及び直後のフレームに対応する時刻を示す、請求項３に記載の音声認識装置。
【請求項９】
前記特徴データ推定手段は、
前記特徴データ推定手段による推定に用いられる第１のフレーム数及び第２のフレーム数を、フレームロスに含まれるフレームの数と対応付けて記憶するためのフレーム数テーブルと、
前記フレーム数テーブル記憶手段に接続され、前記フレームロス検出手段により検出されたフレームロスに含まれるフレームの数に応じた前記第１のフレーム数及び前記第２のフレーム数を前記フレーム数テーブルより読出し、前記フレーム記憶手段に記憶されたフレームのうち、前記フレームロス検出手段により検出されたフレームロスの前の前記第１のフレーム数のフレームの特徴データと、当該フレームロスの後の前記第２のフレーム数のフレームの特徴データとを前記フレーム記憶手段から読出すためのフレーム読出手段と、
前記フレーム読出手段により読出された前記第１のフレーム数のフレーム及び前記第２のフレーム数のフレームの特徴データに基づいて、前記フレームロス検出手段により検出されたフレームロス中の各フレームに含まれる特徴データを推定するための推定手段を含む、請求項１に記載の音声認識装置。
【請求項１０】
音声の特徴データとフレームの時間的順序を示すフレーム順序情報とを含むフレームを受信するためのフレーム受信手段と、
前記フレーム受信手段により受信されたフレームをフレーム順序情報と関連付けて記憶するためのフレーム記憶手段と、
前記フレーム受信手段に接続され、前記フレーム順序情報に基づいてフレームロスが発生したことを検出し、さらに当該フレームロスにより失われたフレームのフレーム位置を検出するためのフレームロス検出手段と、
前記フレーム記憶手段からフレームをフレーム順序情報に従った順序で読出して各フレームに含まれる特徴データに対する音声認識を行なうための音声認識手段とを含み、
前記音声認識手段は、前記フレームロス検出手段によりフレームロスが検出されているか否かに従って、各状態の出力尤度を算出する手法を選択して出力尤度を算出する、隠れマルコフモデル（ＨＭＭ）によって音声を認識するための手段を含む、音声認識装置。
【請求項１１】
前記ＨＭＭによって音声を認識するための手段は、
前記フレームロス検出手段によりフレームロスが検出されていないときには
【数３】
2005062572.tif 000025
によって前記ＨＭＭの各状態Ｓtにおける出力尤度ｐ（Ｘt｜Ｓt）を算出し、ただしＭは前記ＨＭＭの各ノードを構成するガウス混合分布の混合数を表し、ｗjは当該ガウス混合分布の混合要素ｊの混合重みを表し、ｔは順序情報を表し、Ｎ（Ｘt；μj，σj2）はｔ番目のフレームＸtの入力特徴データに対する単変量ガウス分布関数を表し、混合要素ｊは分散σj2及び平均μjを持ち、
前記フレームロス検出手段によりフレームロスが検出されているときには
【数４】
2005062572.tif 000026
ただしＣは予め定められた定数、により前記ＨＭＭの各状態Ｓtにおける出力尤度ｐ（Ｘt｜Ｓt）を算出する、請求項１０に記載の音声認識装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
音声認識サーバ１８２は、受信したパケットのペイロードに含まれる誤り訂正符号を復号化することで圧縮特徴パラメータを復元する復号化処理部２００と、復号化処理部２００により復元された圧縮特徴パラメータを伸張することにより、音響分析結果の特徴パラメータを復元する伸張処理部２０２と、伸張処理部２０２により復元された特徴パラメータを入力として受けて音声認識を行なうための音声認識部２０４とを含む。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
【非特許文献１】遠藤、中村、「分散型認識システムでのデータ補完に関する一検討」、音響学会講演論文集、１−４−９，ｐｐ．１７−１８，２００３年３月．
【非特許文献２】ミルナー  Ｂ．、セムナニ  Ｓ．、「ＩＰネットワーク上での頑健な音声認識」、ＩＥＥＥ  ＩＣＡＳＳＰ予稿集、ｐｐ．１７９１−１７９４、２０００年６月．（Ｍｉｌｌｎｅｒ，Ｂ．  ａｎｄ  Ｓｅｍｎａｎｉ，Ｓ．，”Ｒｏｂｕｓｔ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｏｖｅｒ  ＩＰ  ｎｅｔｗｏｒｋｓ”，Ｐｒｏｃ．ＩＥＥＥ  ＩＣＡＳＳＰ，ｐｐ．１７９１−１７９４，Ｊｕｎｅ  ２０００．）
【非特許文献３】ミルナー  Ｂ．，「バースト的パケットロスにおける頑健な音声認識」、ＩＥＥＥ  ＩＣＡＳＳＰ予稿集、ｐｐ．２６１−２６４、２００１年５月（Ｍｉｌｌｎｅｒ  Ｂ．，”Ｒｏｂｕｓｔ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎ  ｂｕｒｓｔ−ｌｉｋｅ  ｐａｃｋｅｔ  ｌｏｓｓ”，Ｐｒｏｃ．ＩＥＥＥ  ＩＣＡＳＳＰ，ｐｐ．２６１−２６４，Ｍａｙ  ２００１）．
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
好ましくは、特徴データ推定手段は、第１のフレーム数を記憶するための第１のフレーム数記憶手段と、第１のフレーム数記憶手段に接続され、フレーム記憶手段に記憶されたフレームのうち、フレームロス検出手段により検出されたフレームロスの前の第１のフレーム数のフレームの特徴データをフレーム記憶手段から読出すための前フレーム読出手段と、前フレーム読出手段により読出された第１のフレーム数のフレームの特徴データに基づいて、フレームロス検出手段により検出されたフレームロス中の各フレームに含まれる特徴データを推定するための推定手段と、推定された特徴データを含むフレームを生成し、フレーム記憶手段内の、当該生成されたフレームのフレーム順序情報により定まるフレーム位置に挿入するためのフレーム挿入手段とを含む。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
特徴データ推定手段はさらに、第２のフレーム数を記憶するための第２のフレーム数記憶手段と、第２のフレーム数記憶手段に接続され、フレーム記憶手段に記憶されたフレームのうち、フレームロス検出手段により検出されたフレームロスの後の第２のフレーム数のフレームの特徴データをフレーム記憶手段から読出すための後フレーム読出手段とを含んでもよい。推定手段は、前フレーム読出手段により読出された第１のフレーム数のフレームの特徴データ、及び後フレーム読出手段により読出された第２のフレーム数のフレームの特徴データに基づいて、フレームロス検出手段により検出されたフレームロス中の各フレームに含まれる特徴データを推定するための手段を含んでもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
【数６】
2005062572.tif 000027
ただしｔf及びｔbはそれぞれフレームロスが生じた直前及び直後のフレームに対応する時間を示す。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
図４に示す例はＮf＝Ｎb＝３の例を示している。図４において、実線は特徴ベクトルの一要素の値を示し、×印はロスフレーム前後のそれぞれ３つずつのフレームの平均値を表す。○印は式（２）及び（３）を用いて算出された推定値を示す。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
‐動作‐
図１〜図３に示す音声認識システムは以下の様に動作する。予め、しきい値記憶部８４には所定のしきい値が設定されているものとする。また第１のフレーム数記憶部８０及び第２のフレーム数記憶部８２にも予め所定の値が設定されているものとする。多くの場合、前回の通信時に更新された値が第１のフレーム数記憶部８０及び第２のフレーム数記憶部８２に設定されているが、例えば電源投入ごとに所定の初期値がこれらに設定される様にしてもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
この第１の実施の形態の装置によれば、パケットロスが生じ、複数のフレームが失われたときでも、特徴パラメータ推定部３４によってロスフレームの特徴ベクトルが推定され、推定されたフレームが特徴パラメータ推定部３４内のロスフレームの位置に挿入される。音声認識部３８は単にフレームバッファ３６から順にフレームを読出して音声認識を行なうだけでよい。そのため、音声認識部３８の構成を従来のものと変えずに、パケットロスが生じた場合でも音声認識を行なうことができる。また後述する様にその精度は高く、従来よりも頑健な音声認識を実現できる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
［第１の実施の形態の変形例］
第１の実施の形態のシステムでは、第１のフレーム数記憶部８０及び第２のフレーム数記憶部８２に記憶されたＮf及びＮbの値をパケット数に応じて更新する。しかし本発明はそのような実施の形態に限定されず、パケットロスの数ＮLに応じてＮf及びＮbの値を予め定める様にすることも考えられる。そのためには、ＮLに対するＮf及びＮbの値を予めテーブルにしておけばよい。そのようなシステムで使用される特徴パラメータ推定部１２０のブロック図を図５に示す。この特徴パラメータ推定部１２０は、図１に示す特徴パラメータ推定部３４に代えて使用することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
２０，１４０，１８２  音声認識サーバ、３０  入力バッファ、３２  フレームロス検出部、３４，１２０  特徴パラメータ推定部、３６  フレームバッファ、３８，１５０  音声認識部、５０  ロスパケット数検知部、５２  ペイロードサイズ読出部、５４  ロスフレーム数算出部、７０，１３２  前フレーム読出部、７２，１３４  後フレーム読出部、７４，１３６  補間計算部、７６  補間フレーム挿入処理部、７８  更新処理部、８０  第１のフレーム数記憶部、８２  第２のフレーム数記憶部、１３０  テーブル
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2005062572.tif 000028