(57)【特許請求の範囲】
【請求項１】
クライアント側から音声認識すべき音声情報をサーバ側に伝達し、サーバ側で音声認識処理を施し、音声認識結果をクライアント側に返送する手順に従って動作するサーバ・クライアント型音声認識方法において、
前記クライアント側およびサーバ側の双方に予め作成した音声モデルを用意し、クライアント側では無音声区間の信号により雑音モデルを生成する雑音モデル生成処理と、
前記雑音モデル生成処理で生成された雑音モデルをサーバ側へ伝送する雑音モデル送信処理と、
前記雑音モデル生成処理で生成された雑音モデルと前記音声モデルとから雑音重畳音声モデルを生成する第１雑音重畳音声モデル生成処理と、
前記第１雑音重畳音声モデル生成処理で生成した雑音重畳音声モデルを特徴量・コード変換テーブルに変換する特徴量・コード変換テーブル生成処理と、
前記特徴量・コード変換テーブル生成処理で生成した特徴量・コード変換テーブルを記憶する特徴量・コード変換テーブル格納処理と、
音声入力信号から特徴量を抽出する特徴量抽出処理と、
抽出された特徴量を前記特徴量・コード変換テーブル格納処理で記憶した特徴量・コード変換テーブルを参照してコードに符号化する特徴量・コード変換処理と、
前記特徴量・コード変換処理で変換されたコードを前記サーバ側に送信するコード送信処理と、
を実行し、
前記サーバ側では、
前記雑音モデル送信処理で送信された雑音モデルを受信する雑音モデル受信処理と、
前記雑音モデル受信処理で受信された前記クライアント側の前記雑音モデル生成処理で作成された雑音モデルと前記音声モデルとにより雑音重畳音声モデルを生成する第２雑音重畳音声モデル生成処理と、
前記第２雑音重畳音声モデル生成処理で生成された雑音重畳音声モデルを前記特徴量・コード変換テーブルと対をなすコード・特徴量変換テーブルに変換するコード・特徴量変換テーブル生成処理と、
前記コード・特徴量変換テーブル生成処理で生成したコード・特徴量変換テーブルを記憶するコード・特徴量変換テーブル格納処理と、
前記コード送信処理で送信されたコードを受信するコード受信処理と、
受信されたコードを前記コード・特徴量変換テーブル格納部に記憶したコード・特徴量変換テーブルを参照して特徴量に復号化するコード・特徴量変換処理と、
復号化された特徴量を音声認識する音声認識処理と、
認識結果を前記クライアント側に送信する認識結果送信処理と、
を実行することを特徴とするサーバ・クライアント型音声認識方法。
【請求項２】
請求項１記載のサーバ・クライアント型音声認識方法において、
前記クライアント側に雑音抑圧処理、および音声入力・雑音観測スイッチ処理を付加し、
前記クライアント側の特徴量・コード変換テーブル格納処理、及びサーバ側のコード・特徴量変換テーブル格納処理において所定の変換テーブルを格納しておき、
前記雑音抑圧処理における雑音の観測に基づき、雑音が微量である場合には、
前記音声入力・雑音観測スイッチ処理が音声入力・雑音観測スイッチを音声入力用端子に接続し、
前記特徴量・コード変換処理が、前記抽出された特徴量を前記所定の変換テーブルを参照してコードに符号化すること
を特徴とするサーバ・クライアント型音声認識方法。
【請求項３】
請求項１又は２の何れかに記載のサーバ・クライアント型音声認識方法において、
前記クライアント側に音声・非音声判定処理を付加し、この音声・非音声判定処理で入力信号が無音声であることを検出した場合は前記雑音モデル生成処理を実行し、この雑音モデル生成処理で生成した雑音モデルによりクライアント側では前記特徴量・コード変換テーブル格納処理で記憶した特徴量・コード変換テーブルを更新し、サーバ側では前記コード・特徴量変換テーブル格納処理で記憶したコード・特徴量変換テーブルを更新することを特徴とするサーバ・クライアント型音声認識方法。
【請求項４】
請求項１乃至３の何れかに記載のサーバ・クライアント型音声認識方法において、
前記特徴量・コード変換テーブル生成処理およびコード・特徴量変換テーブル生成処理で実行される量子化範囲を、雑音が重畳した特徴量分布の平均値−Ｋ×標準偏差の最小値から、同じく特徴量分布の平均値＋Ｋ×標準偏差の最大値（但しＫ≧０）とすることを特徴とするサーバ・クライアント型音声認識方法。
【請求項５】
クライアント側から音声認識すべき音声情報をサーバ側に伝達し、サーバ側で音声認識処理を施し、音声認識結果をクライアント側に返送する構成とされたサーバ・クライアント型音声認識装置において、
前記クライアント側およびサーバ側の双方に予め作成した音声モデルを記憶した音声モデル格納部を用意し、
クライアント側は、無音声区間の信号により雑音モデルを生成する雑音モデル生成部と、
前記雑音モデル生成部で生成された雑音モデルをサーバ側へ伝送する雑音モデル送信部と、
前記雑音モデル生成部で生成された雑音モデルと前記音声モデルとから雑音重畳音声モデルを生成する第１雑音重畳音声モデル生成部と、
前記第１雑音重畳音声モデル生成部で生成した雑音重畳音声モデルを特徴量・コード変換テーブルに変換する特徴量・コード変換テーブル生成部と、
前記特徴量・コード変換テーブル生成部で生成した特徴量・コード変換テーブルを記憶する特徴量・コード変換テーブル格納部と、
音声入力信号から特徴量を抽出する特徴量抽出部と、
抽出された特徴量を前記特徴量・コード変換テーブル格納処理で記憶した特徴量・コード変換テーブルを参照してコードに符号化する特徴量・コード変換部と、
前記特徴量・コード変換部で変換されたコードを前記サーバ側に送信するコード送信処理部と、
を備え、
前記サーバ側では、
前記雑音モデル送信部で送信された雑音モデルを受信する雑音モデル受信部と、
前記雑音モデル受信部で受信された前記クライアント側の前記雑音モデル生成部で作成された雑音モデルと前記音声モデル格納部に記憶した音声モデルとにより雑音重畳音声モデルを生成する第２雑音重畳音声モデル生成部と、
前記第２雑音重畳音声モデル生成部で生成された雑音重畳音声モデルを前記特徴量・コード変換テーブルと対をなすコード・特徴量変換テーブルに変換するコード・特徴量変換テーブル生成部と、
前記コード・特徴量変換テーブル生成部で生成したコード・特徴量変換テーブルを記憶するコード・特徴量変換テーブル格納部と、
前記コード送信部で送信されたコードを受信するコード受信部と、
受信されたコードを前記コード・特徴量変換テーブル格納部に記憶したコード・特徴量変換テーブルを参照して特徴量に復号化するコード・特徴量変換部と、
復号化された特徴量を音声認識する音声認識部と、
認識結果を前記クライアント側に送信する認識結果送信部と、
を備えることを特徴とするサーバ・クライアント型音声認識装置。
【請求項６】
請求項５記載のサーバ・クライアント型音声認識装置において、
前記クライアント側に雑音抑圧部、および音声入力・雑音観測スイッチを付設し、
前記クライアント側の特徴量・コード変換テーブル格納部、及びサーバ側のコード・特徴量変換テーブル格納部に所定の変換テーブルが格納されており、
前記雑音抑圧部における雑音の観測に基づき、雑音が微量である場合には、
前記音声入力・雑音観測スイッチを音声入力用端子に接続し、
前記特徴量・コード変換部が、前記抽出された特徴量を前記所定の変換テーブルを参照してコードに符号化すること
を特徴とするサーバ・クライアント型音声認識装置。
【請求項７】
請求項５又は６の何れかに記載のサーバ・クライアント型音声認識装置において、
前記クライアント側に音声・非音声判定部を付設し、この音声・非音声判定部で入力信号が無音声であることを検出した場合は前記雑音モデル生成部は雑音モデルを生成し、この雑音モデル生成部で生成した雑音モデルによりクライアント側では前記特徴量・コード変換テーブル格納部に記憶した特徴量・コード変換テーブルを更新し、サーバ側では前記コード・特徴量変換テーブル格納部に記憶したコード・特徴量変換テーブルを更新する構成としたことを特徴とするサーバ・クライアント型音声認識装置。
【請求項８】
請求項５乃至７の何れかに記載のサーバ・クライアント型音声認識装置において、
前記特徴量・コード変換テーブル生成部およびコード・特徴量変換テーブル生成部で実行される量子化の範囲を、雑音が重畳した特徴量分布の平均値−Ｋ×標準偏差の最小値から、同じく特徴量分布の平均値＋Ｋ×標準偏差の最大値（但しＫ≧０）とする構成としたことを特徴とするサーバ・クライアント型音声認識装置。
【請求項９】
コンピュータが解読可能なプログラム言語によって記述され、
コンピュータに前記請求項１乃至４記載のサーバ・クライアント型音声認識方法を実行させるサーバ・クライアント型音声認識プログラム。
【請求項１０】
コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に前記請求項９記載のサーバ・クライアント型音声認識プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、確率モデルを用いた音声認識方法および装置において、音声認識時にクライアント端末とサーバとで処理を分担して音声認識結果を得るサーバ・クライアント型音声認識方法、装置およびサーバ・クライアント型音声認識プログラム、記録媒体に関する。
【背景技術】
【０００２】
音声認識において、認識する音声単位（音素、音節、単語など）を、確率モデルの一つである隠れマルコフモデル（Hidden Markov Model , 以下HMMと記す）を用いてモデル化し、これらを用いて認識する方法（以下HMM法と記す）は、性能が高く、広く用いられている。図１１に、HMM法を用いた音声認識装置の構成例を示す。信号入力端子３０１から入力された音声信号は、Ａ／Ｄ変換部３０２によってディジタル信号に変換される。ディジタル信号は、特徴量抽出部３０３において特徴量に変換され、音声認識部３０６に送られる。音声認識部３０６では、音声単位（例えば音素、音節、単語）ごとに生成したHMMを単位音響モデル格納部３０５より読み出し、音声認識用辞書・言語モデル格納部３０４から認識候補となる文章や単語を参照して、認識候補ごとにHMMを連結して認識候補のモデルが作成される。更に、特徴量抽出部３０３から送られた入力音声の特徴量を用いて、各認識候補モデルに対する尤度が計算される。各認識候補モデルに対する尤度は、認識結果選択部３０７に送られ、最も大きな尤度値を示す認識候補モデルが表現する単語または文章を選び出し、認識結果として、認識結果出力部３０８に送られる。認識結果出力部３０８は、認識結果を利用する装置またはソフトウェアに認識結果を出力する。
【０００３】
以上説明した音声認識結果を得るための一連の処理は、１台の音声認識装置内で処理される場合と、２台以上の複数の音声認識装置で処理される場合がある。複数台で処理する場合は、分散音声認識（Distributed Speech Recognition: DSR）と呼ばれ、クライアントとサーバ構成で実現される。主に、端末（クライアント）の計算処理能力が少ない場合に実施される。サーバクライアント構成では、クライアント側は特徴量抽出部３０３までを具備し、認識結果を得るまでの残りの処理部をサーバで構成することが一般的である。更に、クライアント−サーバ間のデータ伝送容量を削減するため、特徴量は、符号化処理によって、コードに変換されたのちにネットワーク伝送され、サーバ側で再び特徴量に復号化され処理される。コードを表現するために必要なデータ量（記述長）は、特徴量を表現する場合よりも少ないので、特徴量をそのまま伝送するよりも伝送量が少なくてすむという利点がある。コードへの変換手段として、ベクトル量子化、スカラー量子化がある。
【０００４】
図１２にサーバ−クライアント構成の音声認識装置の構成例を示す。特徴量抽出部４０３において計算された特徴量は、特徴量・コード変換テーブル格納部４０４から読み出された特徴量・コード変換テーブルを参照して、特徴量・コード変換部４０５でコードに変換される。クライアントのコード送信部４０６からサーバに送られたコードは、コード受信部４０７によってサーバ側に取り込まれる。サーバ側に送られたコードは、コード・特徴量変換テーブル格納部４０８から読み出されたコード・特徴量変換テーブルを参照してコード・特徴量変換部４０９で、特徴量に復号化される。特徴量に復号化されたあと、音声認識部４１２、認識結果選択部４１３で実施される処理内容は図１１と同様である。サーバ側で得られた認識結果は、認識結果送信部４１４によってクライアント側に送出される。クライアント側は、認識結果を認識結果送信部４１４によってクライアント側に送出される。クライアント側は、認識結果を認識結果受信部４１５で受信し、認識結果出力部４１６によって認識結果が出力される。
【０００５】
図１３は、スカラー量子化を用いたコード・特徴量変換テーブルの例である。特徴量（ベクトル）の次元ｎはＰｎ個のスカラー量子点で量子化されており、各量子点に対する代表特徴量がテーブルに格納されている。各次元のスカラー量子点Ｐｎは、次元を通して共通であっても、次元によって異なっても構わない。特徴量・コード変換テーブルは、特徴量の各次元について、各コードが付与されるデータ値の範囲（上限値と下限値）を示したテーブルであって、コード・特徴量変換テーブルは、各コードの代表値を示すテーブルである。特徴量・コード変換テーブルと、コード・特徴量変換テーブルは対をなすものである。
【０００６】
サーバ−クライアント構成において、符号化処理によってデータ伝送容量を削減する場合、特徴量・コード変換テーブルとコード・特徴量変換テーブルは対をなしている必要があるため、それぞれをサーバとクライアントに事前に設定しておく必要がある。よって、これらの変換テーブルは、雑音のないクリーンな音声データベースをもとに作成されることが多い。
然し乍ら、クライアントの音声認識装置を利用する実環境においては、入力音声に周囲雑音が重畳される。雑音が重畳した入力音声の特徴量の値域は、クリーンな音声と異なるため、特徴量をコードに変換する際に量子化歪みが発生し、音声認識性能が低下するという問題があった。しかも、周囲雑音の種類や特性は、音声認識装置を使用する環境によって異なるため、雑音を想定した変換テーブルを事前に用意することができないという問題があった。
【０００７】
この問題を解決する最も簡便な方法は、特徴量の各次元で、あらゆる雑音特徴に耐え得るように値域が非常に広い変換テーブルを用意しておく方法である。しかしこの方法は、量子化歪みを少なくするためには膨大な量子点数を用意しておく必要がある。各コードを表現するための記述長が長くなるため、クライアントサーバ間のデータ伝送容量が多くなり、伝送時間も増加するため認識結果を得るまでの応答時間が長くなる問題があった。
この問題を解決するため、非特許文献１では、クライアント側のフロントエンドに、雑音抑圧処理部を設けている。雑音抑圧によって、雑音重畳音声から雑音成分を抑圧し、できる限りクリーン音声に近づけて符号化処理することで、量子化歪みを低減する方法となっている。
【非特許文献１】ETSI  標準化プロセス(ETSI ES 202 212 v1.1.1(2003.11))
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、非特許文献１の方法では、様々な雑音に対して有効であり、かつ、雑音成分を完全に除去する雑音抑圧処理を実現することは困難であり、雑音の消し残り（残留雑音）が音声に重畳することになる。残留雑音は、ＳＮ比が悪くなるにつれ増大する傾向にある。残留雑音が多い場合は、依然として、符号化処理における量子化歪みが発生するという問題があった。
【課題を解決するための手段】
【０００９】
本発明の概要は、クライアント側において、発声前に観測した雑音をもとに雑音モデルを作成し、事前に用意した音声モデルとでモデル合成処理を実施して雑音重畳音声モデルを作成し、雑音重畳音声モデルが表現する特徴量分布をもとにコード特徴量変換テーブルを作成する。特徴量分布から、特徴量とコードを対応づけるロジックはクライアント側とサーバ側で同一とする点にある。
【００１０】
具体的には本発明によるサーバ・クライアント型音声認識方法は、クライアント側から音声認識すべき音声情報をサーバ側に伝達し、サーバ側で音声認識処理を施し、音声認識結果をクライアント側に返送する手順に従って動作するサーバ・クライアント型音声認識方法において、クライアント側およびサーバ側の双方に予め作成した音声モデルを用意し、クライアント側では無音声区間の信号により雑音モデルを生成する雑音モデル生成処理と、雑音モデル生成処理で生成された雑音モデルをサーバ側へ伝送する雑音モデル送信処理と、雑音モデル生成処理で生成された雑音モデルと音声モデルとから雑音重畳音声モデルを生成する第１雑音重畳音声モデル生成処理と、この第１雑音重畳音声モデル生成処理で生成した雑音重畳音声モデルを特徴量・コード変換テーブルに変換する特徴量・コード変換テーブル生成処理と、特徴量・コード変換テーブル生成処理で生成した特徴量・コード変換テーブルを記憶する特徴量・コード変換テーブル格納処理と、音声入力信号から特徴量を抽出する特徴量抽出処理と、抽出された特徴量を前記特徴量・コード変換テーブル格納処理で記憶した特徴量・コード変換テーブルを参照してコードに符号化する特徴量・コード変換処理と、特徴量・コード変換処理で変換されたコードをサーバ側に送信するコード送信処理とを実行し、サーバ側では、雑音モデル送信処理で送信された雑音モデルを受信する雑音モデル受信処理と、雑音モデル受信処理で受信されたクライアント側の雑音モデル生成処理で作成された雑音モデルと音声モデルとにより雑音重畳音声モデルを生成する第２雑音重畳音声モデル生成処理と、この第２雑音重畳音声モデル生成処理で生成された雑音重畳音声モデルを特徴量・コード変換テーブルと対をなすコード・特徴量変換テーブルに変換するコード・特徴量変換テーブル生成処理と、コード・特徴量変換テーブル生成処理で生成したコード・特徴量変換テーブルを記憶するコード・特徴量変換テーブル格納処理と、コード送信処理で送信されたコードを受信するコード受信処理と、受信されたコードをコード・特徴量変換テーブル格納部に記憶したコード・特徴量変換テーブルを参照して特徴量に復号化するコード・特徴量変換処理と、復号化された特徴量を音声認識する音声認識処理と、認識結果をクライアント側に送信する認識結果送信処理とを実行することを特徴とする。
【００１１】
本発明によるサーバ・クライアント型音声認識方法は更に、クライアント側に雑音抑圧処理、および音声入力・雑音観測スイッチ処理を付加し、クライアント側の特徴量・コード変換テーブル格納処理、及びサーバ側のコード・特徴量変換テーブル格納処理において所定の変換テーブルを格納しておき、雑音抑圧処理における雑音の観測に基づき、雑音が微量である場合には、音声入力・雑音観測スイッチ処理が音声入力・雑音観測スイッチを音声入力用端子に接続し、特徴量・コード変換処理が、抽出された特徴量を所定の変換テーブルを参照してコードに符号化することを特徴とする。
【００１２】
本発明によるサーバ・クライアント型音声認識方法は更に、クライアント側に音声・非音声判定処理を付加し、この音声・非音声判定処理で入力信号が無音声であることを検出した場合は雑音モデル生成処理を実行し、この雑音モデル生成処理で生成した雑音モデルによりクライアント側では特徴量・コード変換テーブル格納処理により記憶した特徴量・コード変換テーブルを更新し、サーバ側ではコード・特徴量変換テーブル格納部に記憶したコード・特徴量変換テーブルを更新することを特徴とする。
【００１３】
本発明によるサーバ・クライアント型音声認識方法は更に、特徴量・コード変換テーブル生成処理およびコード・特徴量変換テーブル生成処理で実行される量子化範囲を、雑音が重畳した特徴量分布の平均値−Ｋ×標準偏差の最小値から、同じく特徴量分布の平均値＋Ｋ×標準偏差の最大値（但しＫ≧０）とすることを特徴とする。
【００１４】
本発明によるサーバ・クライアント型音声認識装置は、クライアント側から音声認識すべき音声情報をサーバ側に伝達し、サーバ側で音声認識処理を施し、音声認識結果をクライアント側に返送する構成とされたサーバ・クライアント型音声認識装置において、クライアント側およびサーバ側の双方に予め作成した音声モデルを記憶した音声モデル格納部を用意し、
クライアント側は、無音声区間の信号により雑音モデルを生成する雑音モデル生成部と、雑音モデル生成部で生成された雑音モデルをサーバ側へ伝送する雑音モデル送信部と、雑音モデル生成部で生成された雑音モデルと音声モデルとから雑音重畳音声モデルを生成する第１雑音重畳音声モデル生成部と、この第１雑音重畳音声モデル生成部で生成した雑音重畳音声モデルを特徴量・コード変換テーブルに変換する特徴量・コード変換テーブル生成部と、特徴量・コード変換テーブル生成部で生成した特徴量・コード変換テーブルを記憶する特徴量・コード変換テーブル格納部と、音声入力信号から特徴量を抽出する特徴量抽出部と、抽出された特徴量を特徴量・コード変換テーブル格納処理で記憶した特徴量・コード変換テーブルを参照してコードに符号化する特徴量・コード変換部と、特徴量・コード変換部で変換されたコードをサーバ側に送信するコード送信処理部とを備え、
サーバ側では、雑音モデル送信部で送信された雑音モデルを受信する雑音モデル受信部と、雑音モデル受信部で受信されたクライアント側の雑音モデル生成部で作成された雑音モデルと前記音声モデル格納部に記憶した音声モデルとにより雑音重畳音声モデルを生成する第２雑音重畳音声モデル生成部と、この第２雑音重畳音声モデル生成部で生成された雑音重畳音声モデルを特徴量・コード変換テーブルと対をなすコード・特徴量変換テーブルに変換するコード・特徴量変換テーブル生成部と、コード・特徴量変換テーブル生成部で生成したコード・特徴量変換テーブルを記憶するコード・特徴量変換テーブル格納部と、コード送信部で送信されたコードを受信するコード受信部と、受信されたコードをコード・特徴量変換テーブル格納部に記憶したコード・特徴量変換テーブルを参照して特徴量に復号化するコード・特徴量変換部と、復号化された特徴量を音声認識する音声認識部と、認識結果を前記クライアント側に送信する認識結果送信部とを備えることを特徴とする。
【００１５】
本発明によるサーバ・クライアント型音声認識装置は更に、クライアント側に雑音抑圧部、および音声入力・雑音観測スイッチを付設し、クライアント側の特徴量・コード変換テーブル格納部、及びサーバ側のコード・特徴量変換テーブル格納部に所定の変換テーブルが格納されており、雑音抑圧部における雑音の観測に基づき、雑音が微量である場合には、音声入力・雑音観測スイッチを音声入力用端子に接続し、特徴量・コード変換部が、抽出された特徴量を所定の変換テーブルを参照してコードに符号化することを特徴とする。
【００１６】
本発明によるサーバ・クライアント型音声認識装置は更に、クライアント側に音声・非音声判定部を付加し、この音声・非音声判定部で入力信号が無音声であることを検出した場合は雑音モデル生成部は雑音モデルを生成し、この雑音モデル生成部で生成した雑音モデルによりクライアント側では特徴量・コード変換テーブル格納部に記憶した特徴量・コード変換テーブルを更新し、サーバ側ではコード・特徴量変換テーブル格納部に記憶したコード・特徴量変換テーブルを更新することを特徴とする。
【００１７】
本発明によるサーバ・クライアント型音声認識装置は更に、特徴量・コード変換テーブル生成部およびコード・特徴量変換テーブル生成部で実行される量子化の範囲を、雑音が重畳した特徴量分布の平均値−Ｋ×標準偏差の最小値から、同じく特徴量分布の平均値＋Ｋ×標準偏差の最大値（但しＫ≧０）とすることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、
クライアント側で観測した雑音に従って、適応的に変換テーブルを作成するため、クリーン音声データをもとに作成された変換テーブルを使用する場合と比較して、符号化処理の際の量子化歪みを低減できる。
クライアント側からサーバへ雑音モデルのパラメータを伝送して変換テーブルを作成するため、雑音信号やその特徴量を伝送する場合や、例えば、クライアント側からサーバ側へ伝送するのは雑音モデルのパラメータ、すなわち雑音モデルを構成するそれぞれの多次元正規分布の平均値ベクトル、分散であり、特徴量次元（１３次元）×２（平均値と分散）×ｎ（混合分布数）の個数のデータである。
【００１９】
クライアントとサーバ間で、雑音モデルと音声モデルを共有し、変換テーブルをそれぞれで自動生成するため、クライアント側で変換テーブルを作成してサーバ側に伝送する場合と比較して、伝送容量を低減できる。
雑音モデルの作成、および雑音モデルと音声モデルとのモデル合成処理は計算量が少ないため、計算能力が低いクライアント端末でも実施可能である。
【００２０】
クライアント側からサーバへ伝送した雑音モデルは、ある環境で事前に収録された音声から作成された音声認識のための音素モデルを認識対象の音声に重畳する雑音に対応するように雑音適応するためにも利用することもできるため、雑音適応を実施しない場合と比較して音声認識精度を向上できる。
【発明を実施するための最良の形態】
【００２１】
本発明によるサーバ・クライアント型音声認識装置はハードウェアによって構成することも可能であるが、最も簡素に実現するにはコンピュータに本発明で提案するサーバ・クライアント型音声認識プログラムをインストールし、コンピュータに備えられたＣＰＵに解読させ、コンピュータにサーバ・クライアント型音声認識装置として機能させる実施形態が最良の実施形態である。
【００２２】
コンピュータに本発明によるサーバ・クライアント型音声認識装置として機能させる場合、クライアントとして機能させるコンピュータには予め用意した音声モデルを格納する音声モデル格納部と、無音声区間の信号により雑音モデルを生成する雑音モデル生成部と、雑音モデル生成部で生成した雑音モデルをサーバに伝送する雑音モデル送信部と、雑音モデル生成部で生成された雑音モデルと音声モデルとから雑音重畳音声モデルを生成する第１雑音重畳音声モデル生成部と、この第１雑音重畳音声モデル生成処理で生成した雑音重畳音声モデルを特徴量・コード変換テーブルに変換する特徴量・コード変換テーブル生成部と、特徴量・コード変換テーブル生成部で生成した特徴量・コード変換テーブルを記憶する特徴量・コード変換テーブル格納部とを構築する。
【００２３】
更に、サーバとして機能させるコンピュータにはクライアント側から送信された雑音モデルを受信する雑音モデル受信部と、受信された雑音モデルと音声モデルとにより雑音重畳音声モデルを生成する第２雑音重畳音声モデル生成部と、この第２雑音重畳音声モデル生成部で生成された雑音重畳音声モデルをコード・特徴量変換テーブルに変換するコード・特徴量変換テーブル生成部と、コード・特徴量変換テーブル生成部で生成したコード・特徴量変換テーブルを記憶するコード・特徴量変換テーブル格納部とを構築する。
【００２４】
本発明では更に、クライアント側となるコンピュータには音声入力信号から特徴量を抽出する特徴量抽出部と、抽出された特徴量を特徴量・コード変換テーブル格納部に記憶した特徴量・コード変換テーブルを参照してコードに符号化する特徴量・コード変換部と、特徴量・コード変換部で変換されたコードをサーバ側に送信するコード送信部とを構築する。
【００２５】
更に、サーバ側のコンピュータにはコード送信処理で送信されたコードを受信するコード受信処理と、受信されたコードをコード・特徴量変換テーブル格納部に記憶したコード・特徴量変換テーブルを参照して特徴量に復号化するコード・特徴量変換部と、復号化された特徴量を音声認識する音声認識部と、認識結果をクライアント側に送信する認識結果送信部とを構築する。
【実施例１】
【００２６】
図１及び図２を用いて、本発明の第１の実施例を説明する。図１は本発明によるサーバ・クライアント型音声認識装置のクライアント側の構成を示し、図２はサーバ側の構成を示す。
大量の音声データに基づいて、音声特徴量を統計的に表現した音声モデルを予め用意しておき、この音声モデルをクライアント側の音声モデル格納部１０６およびサーバ側の音声モデル格納部１１１に格納しておく。音声モデルは、防音室で収録された音声データや、特定の雑音源がない静かな部屋で収録された音声データを用いて作成するなど、一般的な音声の特徴量を表現するものを用いればよい。また、音声モデルは例えばGMM(Gaussi-an Mixture Model)のようなモデル化で実現する。図３にGMMの例を示す。GMMは、単一正規分布または混合正規分布によって構成され、音声特徴量全体の分布形状を表現する。GMMパラメータの推定には、最尤推定法が利用できる。大量の音声データに基づく音声モデルの作成は処理時間がかかるので、事前に作成しておき、サーバ側およびクライアント側の双方に保有しておく。
【００２７】
音声認識処理を実施する場合、まず、周囲雑音を観測するために、クライアント側の音声入力・雑音観測スイッチ１２６を雑音観測用端子１０３に接続する。信号入力端子１０１から十数秒程度の発声していない状態での信号（＝雑音信号）を入力し、Ａ／Ｄ変換部１０２によってディジタル信号に変換する。変換されたディジタル信号は、特徴量抽出部１１５において、特徴量に変換される。
【００２８】
特徴量抽出部１１５で得られた雑音の特徴量は、音声入力・雑音観測スイッチ１２６を通じて雑音モデル生成部１０４に送られ、この雑音モデル生成部１０４において雑音モデルが作成される。雑音モデル化にもGMMが利用できる。雑音データ長は、高々、数十秒程度でよいので、雑音モデルのパラメータ推定処理には時間がかからない。雑音モデル生成部１０４で得られた雑音モデルと、音声モデル格納部１０６から読み出された音声モデルとを用いて第１雑音重畳音声モデル生成部１２８で雑音重畳音声モデルを作成する。作成された雑音重畳音声モデルは、特徴量・コード変換テーブル生成部１０５に送られ、雑音重畳音声モデルの特徴量分布に基づいて特徴量・コード変換テーブルが作成される。特徴量・コード変換テーブルは、特徴量・コード変換テーブル格納部１０７に保存される。
【００２９】
雑音モデル生成部１０４で作成された雑音モデルのパラメータは、雑音モデル送信部１０８にも送られる。雑音モデル送信部１０８が受信した雑音モデルのパラメータは、ネットワークを介して、図２に示すサーバ側の雑音モデル受信部１０９に送られる。受信した雑音モデルと、音声モデル格納部１１１から読み出された音声モデルとを用いて第２雑音重畳音声モデル生成部１２９で雑音重畳音声モデルが作成される。作成された雑音重畳音声モデルは、コード・特徴量変換テーブル生成部１１０に送られ、雑音重畳音声モデルの特徴量分布に基づいてコード・特徴量変換テーブルが作成される。コード特徴量変換テーブルは、コード・特徴量変換テーブル格納部１１２に保存される。
【００３０】
第１雑音重畳音声モデル生成部１２８および第２雑音重畳音声モデル生成部１２９において、雑音モデルと音声モデルから雑音重畳音声モデルを作成する際には、モデル合成処理法の１つであるＮＯＶＯ合成法（特許第３２４７７４６号明細書「耐雑音音韻モデルの作成方法」）が利用できる。雑音モデルがｎ混合の正規分布で表現され、音声モデルがｍ混合の正規分布で表現されているとき、ＮＯＶＯ合成法によって生成される雑音重畳音声モデルは、ｎ×ｍ混合の正規分布で表現される。
【００３１】
特徴量・コード変換テーブル生成部１０５およびコード・特徴量変換テーブル生成部１１０のそれぞれにおいて、雑音重畳音声モデルを用いて、特徴量・コード変換テーブルおよびコード・特徴量変換テーブルを作成する方法にはいくつか考えられる。図４はその一例であり、GMMを用いてモデル化した例である。作成された雑音重畳音声GMMが表現する多次元特徴量分布の、ある次元に着目した図が図４である。ここでは６つの正規分布によって雑音が重畳した音声の特徴量分布が表現されている。
【００３２】
ここで、各分布の平均値をμｉ−３σｉおよびμｉ＋３σｉ（ｉは分布の番号）を計算し、これら計算した値の全ての中での最小値から最大値の間の範囲をスカラー量子化の対象区間とし、スカラー量子点数で均等に分割し、それぞれの区分された区間に対してコードを割り当てる方法が考えられる。つまり、スカラー量子化の対象区間は（分布の平均値−Ｋ×標準偏差の最小値から分布の平均値＋Ｋ×標準偏差の最大値まで）と定義することができる。図４では、分布１から計算されるμ１−３σ１と、分布６から計算されるμ６＋３σ６との間がスカラー量子化の対象区間となる。
【００３３】
特徴量の各次元において同様の処理を実行し特徴量・コード変換テーブルを作成する。コード・特徴量変換テーブルを作成する場合は、スカラー量子点数で均等に分割したあとの各区間の代表値をコードと対応づければよい。スカラー量子化の方法は、量子点間隔を不均一に設定するような方法であっても、その方法がクライアントとサーバで共通であれば構わない。また、図４に示した例では、平均値から標準偏差の３倍（Ｋ＝３）だけ離れた区間を考慮の対象としたが、３倍に限定されるものではなく、スカラー量子点数との関係、量子化の精度の関係で決定すればよい。
【００３４】
雑音観測の後、ユーザが認識対象音声を発声する前に、音声入力・雑音観測スイッチ１２６を音声入力用端子１１４に接続する。信号入力端子１０１から、認識対象音声データを入力し、Ａ／Ｄ変換部１０２でディジタル信号に変換する。得られたディジタル信号は、特徴量抽出部１１５で特徴量に変換される。変換された特徴量は、音声入力・雑音観測スイッチ１２６を通じて特徴量・コード変換部１１６に送られ、特徴量・コード変換テーブル格納部１０７から読み出された変換テーブルに基づいてコードに変換される。コードはコード送信部１１７からネットワークを介してサーバ側のコード受信部１１８に送られる。コードは、コード・特徴量変換部１１９において、コード・特徴量変換テーブル格納部１１２から読み出されたコード・特徴量変換テーブルに基づいて特徴量に復号化され、音声認識部１２１に送られる。音声認識部１２１では、音声認識用辞書・言語モデル格納部１２０から読み出された言語情報と、単位音響モデル格納部１２７から読み出された音素モデル等に基づいて、復号化された特徴量に対する各認識候補の尤度が計算される。認識結果選択部１２２では、各認識候補から尤度最大の候補を認識結果として選択し、認識結果送信部１２３へ送る。認識結果は、ネットワークを介してクライアント側の認識結果受信部１２４に送られる。更に、認識結果は、クライアント端末の認識結果出力部１２５において音声認識結果を利用するアプリケーションに引き渡される。
【００３５】
尚、クライアントを音声認識装置として再度利用する場合、クライアントの周辺における雑音環境に変化が無ければ前回用いた雑音モデルをそのまま用いることができる。つまりクライアント側及びサーバ側に用意した特徴量・コード変換テーブル及びコード・特徴量変換テーブルをそのまま用いることができる。しかし、雑音環境が変化している場合は再度雑音モデルの生成から行なう必要がある。
【実施例２】
【００３６】
図５を用いて、本発明の実施例２を説明する。図５は実施例２で用いるクライアント側の構成、図６はサーバ側の構成を示す。
第２の実施例の構成は、図５に示すクライアント側に雑音抑圧部２０１を配置したこと以外は、第１の実施例の構成と基本的に同じである。図５と図１とで異なる点は雑音抑圧部２０１を増設した点と、この増設に伴って図５では雑音モデル生成部１０４が残留雑音モデル生成部２０４となった点と、第１雑音重畳音声モデル生成部１２８が残留雑音重畳音声モデル生成部２２８となった点、雑音モデル送信部１０８が残留雑音モデル送信部２０８になった点及び図６では雑音モデル受信部１０９が残留雑音モデル受信部２０９になった点と、第２雑音重畳音声モデル生成部１２９が残留重畳音声モデル生成部２２９に変わった点である。
事前に準備する音声モデルの格納については、第１の実施例と同様に実施する。
【００３７】
音声認識処理を実施する場合、まず、周囲雑音を観測するために、クライアント側の音声入力・雑音観測スイッチ１２６を雑音観測用端子１０３に接続する。信号入力端子１０１から雑音信号を入力し、Ａ／Ｄ変換部１０２によってディジタル信号に変換する。変換された雑音のディジタル信号は、雑音抑圧部２０１において、観測した雑音の一部をリファレンスとして、観測した雑音全体について雑音抑圧処理を実施し、残留雑音信号を得る。雑音抑圧処理には、スペクトルサブトラクション法が代表的であるがこの方法に限らない。雑音抑圧処理後の残留雑音信号は、特徴量抽出部１１５において特徴量に変換される。残留雑音モデル生成部２０４では、残留雑音の特徴量を用いて残留雑音モデルが作成される。残留雑音重畳音声モデル生成部２２８では、作成された残留雑音モデルと、音声モデル格納部１０６から読み出された音声モデルとを用いて残留雑音重畳音声モデルが作成される。雑音抑圧処理を用いた場合の残留雑音を考慮した雑音重畳音声モデルの作成方法は、特許第３２５０６０４号明細書「音声認識方法および装置」に記載されている。
【００３８】
残留雑音重畳音声モデルを用いて、特徴量・コード変換テーブルを作成する手段、残留雑音モデルをサーバに送信し、コード・特徴量変換テーブルを作成する手順などについては、第１の実施例と同じであるため省略する。
尚、周囲雑音が微量である場合に備え、クライアント側の特徴量・コード変換テーブル格納部１０７、およびサーバのコード・特徴量変換テーブル格納部１１２（図６参照）に、比較的雑音が少ない音声データの特徴量に基づいて作成された変換テーブルを初期値として格納しておく方法がある。雑音抑圧部２０１では、周囲雑音が微量であることを観測できる。周囲雑音が微量である場合は、変換テーブルの作成を省略することができる。そのため、雑音抑圧部２０１における雑音量の観測に基づき、微量である場合は、音声入力・雑音観測スイッチ１２６を即座に音声入力用端子１１４に接続して音声認識処理を実施する。
【実施例３】
【００３９】
図７および図８を用いて、本発明の第３の実施例を説明する。図７および図８において図１および図２と対応する部分には同一符号を付して示す。
第３の実施例の構成は、図８に示すサーバ側に雑音重畳音響モデル生成部２３０を配置したこと以外は、第１の実施例の構成と基本的に同じである。
事前に準備する音声モデルの格納、クライアント側の特徴量・コード変換テーブルの作成、サーバ側のコード・特徴量変換テーブルの作成については、第１の実施例と同様に実施する。クライアント側で、雑音モデル受信部１０９（図８参照）において、雑音モデルを受信後、この雑音モデル受信部１０９から雑音モデルを雑音重畳音響モデル生成部２３０に送る。雑音重畳音響モデル生成部２３０はこの雑音モデルと単位音響モデル格納部１２７から読み出した音響モデル（音素モデルや音節モデルなど）とでモデル合成処理を実施し、雑音重畳音響モデルを生成する。得られた雑音重畳音響モデルは、認識対象音声に対する処理の中で、音声認識部１２１において使用され、各認識候補に対する尤度が計算される。認識結果を得るためのその他の処理は、第１の実施例と同様である。
【００４０】
単位音響モデル格納部１２７に格納される音響モデルは、雑音のないクリーンな音声データベースに基づいて作成されることが多い。よって、認識対象音声に雑音が重畳した場合、音響モデルとのマッチング度合が悪くなり、認識精度の劣化を招く。サーバ側で受信した雑音モデルを、コード・特徴量変換テーブルの作成に使用するだけでなく、クリーンな音声に基づく音響モデルの雑音適応にも利用することで、認識対象音声と音響モデルのマッチングの度合を改善し、雑音環境下における認識精度を改善できる。
尚、第３の実施例は、第２の実施例で説明した雑音抑圧処理を適用した場合にも同様に実施することができる。
【実施例４】
【００４１】
図９を用いて、本発明の第４の実施例を説明する。図９において図１と対応する部分には同一符号を付して示す。また、この実施例に用いるサーバは図２に示したサーバ或いは図８に示したサーバを用いることができる。
第４の実施例の構成は、Ａ／Ｄ変換部１０２の後に特徴量抽出部１１５と並列に音声・非音声判定部２０３を置き、音声入力・雑音観測スイッチ１２６の代わりに置いたスイッチ２０４を切り替え動作させる構成とした以外は、第１、第２、第３の実施例の構成と基本的に同じである。以下、第１の実施例と異なる部分についてのみ説明する。
音声・非音声判定部２０３はＡ／Ｄ変換部１０２から出力されるディジタル信号を短時間区間（数１０ｍｓ）毎に音声区間であるか否かを判定する。音声区間であるか否かの判定は、様々な従来技術の何れかを選択して利用することができる。
【００４２】
スイッチ２０４は音声・非音声判定部２０３の判定結果に応じて特徴量抽出部１１５の出力を雑音観測用端子１０３と、音声入力用端子１１４へ供給する状態に切り替えられる。つまり音声・非音声判定部２０３が音声区間であると判定した場合には特徴量抽出部１１５の出力を音声入力用端子１１４に接続する。これにより特徴量は特徴量・コード変換部１１６に伝えられ、特徴量・コード変換部１１６以降で音声認識処理が行われる。音声・非音声判定部２０３が雑音区間であると判定した場合にはスイッチ２０４は特徴量抽出部１１５の出力を雑音観測用端子１０３に接続する。これにより特徴量は雑音モデル生成部１０４に伝えられ、雑音モデル生成部１０４、第１雑音重畳音声モデル生成部１２８，特徴量・コード変換テーブル生成部１０５の処理と、雑音モデル送信部１０８、雑音モデル受信部１０９、第２雑音重畳音声モデル生成部１２９、コード・特徴量変換テーブル生成部１１０の処理が行われ、クライアント側およびサーバ側の双方で特徴量・コード変換テーブルとコード特徴量変換テーブルの更新が行われる。
【００４３】
コード・特徴量変換テーブル生成部１１０（図２又は図８参照）は、クライアントの特徴量・コード変換部１１６（図９）で新たに特徴量・コード変換テーブル格納部１０７に格納された特徴量・コード変換テーブルを利用して変換を行なったコードを図２、図６、図８に示したサーバのコード・特徴量変換部１１９で特徴量に変換する際に、コード特徴量変換テーブル格納部１１２にコード・特徴量変換テーブル生成部１１０で生成された新たなコード・特徴量変換テーブルが利用されるよう、コード・特徴量変換テーブル生成部１１０で生成された新たなコード・特徴量変換テーブルをコード・特徴量変換テーブル格納部１１２に格納する。
【００４４】
これにより、この実施例のように音声認識処理中も周囲の雑音を取り込んで、雑音モデルを生成し、特徴量・コード変換テーブル及びサーバ側にあってはコード・特徴量変換テーブルを更新するから音声認識途中において雑音環境の変化があった場合でもその雑音環境に適応させることが可能となる。
【実施例５】
【００４５】
上述した実施例４では、音声入力がない場合（最初の５０ｍｓ程度の音声が入力されていない区間の場合、または、音声・非音声判定部２０３で音声区間でないと判定された場合）には、スイッチ２０４を雑音観測用端子１０３に接続し、音声入力用端子１１４には接続せず音声認識を行わない形態としたが、図１０のように特徴量抽出部１１５を特徴量・コード変換部１１６に常時接続し、常時音声認識を行なう形態とし、無音声期間ではスイッチ２０４により、無音声信号を雑音モデル生成部１０４に供給するように構成することができる。
【００４６】
以上説明したサーバ・クライアント型音声認識装置はクライアント側及びサーバ側の双方はコンピュータによって実現することができる。コンピュータによって本発明によるサーバ・クライアント型音声認識装置を実現するにはコンピュータに本発明によるサーバ・クライアント型音声認識プログラムをインストールし、クライアント側及びサーバ側の双方で音声認識装置として機能させればよい。
【００４７】
本発明によるサーバ・クライアント型音声認識プログラムはコンピュータが解読可能なプログラム言語によって記述され、コンピュータが読み取り可能な磁気ディスク、ＣＤ−ＲＯＭ、半導体メモリ等の記録媒体に記録される。コンピュータにはこれらの記録媒体から或いは通信回線を通じてインストールされる。インストールされたプログラムはコンピュータに備えられたＣＰＵで解読され、サーバ・クライアント型音声認識装置として機能する。
【産業上の利用可能性】
【００４８】
本発明によるサーバ・クライアント型音声認識装置はパソコンを利用して個人用の音声認識装置として利用することが可能となる。
【図面の簡単な説明】
【００４９】
【図１】本発明によるサーバ・クライアント型音声認識装置のクライアント側の、第１の実施例を説明するためのブロック図。
【図２】本発明によるサーバ・クライアント型音声認識装置のサーバ側の第１の実施例を説明するためのブロック図。
【図３】本発明によるサーバ・クライアント型音声認識装置に用いる量子化技術の一般例を説明するための図。
【図４】図３に示した量子化技術の具体的な例を説明するための図。
【図５】本発明によるサーバ・クライアント型音声認識装置のクライアント側の第２の実施例を説明するためのブロック図。
【図６】本発明によるサーバ・クライアント型音声認識装置のサーバ側の第２の実施例を説明するためのブロック図。
【図７】本発明によるサーバ・クライアント型音声認識装置のクライアント側の第３の実施例を説明するためのブロック図。
【図８】本発明によるサーバ・クライアント型音声認識装置のサーバ側の第３の実施例を説明するためのブロック図。
【図９】本発明によるサーバ・クライアント型音声認識装置のクライアント側の第４の実施例を説明するためのブロック図。
【図１０】本発明によるサーバ・クライアント型音声認識装置のクライアント側の第５の実施例を説明するためのブロック図。
【図１１】一般的な音声認識装置の構成を説明するためのブロック図。
【図１２】従来のサーバ・クライアント型音声認識装置の構成を説明するためのブロック図。
【図１３】音声特徴量の伝送に用いる符号化のコード特徴量変換テーブルを説明するための図。
【符号の説明】
【００５０】
１０２  Ａ／Ｄ変換部                        １１６  特徴量・コード変換部
１０３  雑音観測用端子                      １１７  コード送信部
１０４  雑音モデル生成部                    １１８  コード受信部
１０５  特徴量・コード変換テーブル生成部    １１９  コード・特徴量変換部
１０６  音声モデル格納部                    １２１  音声認識部
１０７  特徴量・コード変換テーブル格納部    １２２  認識結果選択部
１０８  雑音モデル送信部                    １２３  認識結果送信部
１０９  雑音モデル受信部                    １２４  認識結果受信部
１１０  コード・特徴量変換テーブル生成部    １２５  認識結果出力部
１１１  音声モデル格納部                    １２６  音声入力・雑音観測スイッチ
１１２  コード・特徴量変換テーブル格納部    １２８  第１雑音重畳音声モデル生成部
１１４  音声入力用端子                      １２９  第２雑音重畳音声モデル生成部
１１５  特徴量抽出部
【図１】
0004769121.tif 000002
【図２】
0004769121.tif 000003
【図３】
0004769121.tif 000004
【図４】
0004769121.tif 000005
【図５】
0004769121.tif 000006
【図６】
0004769121.tif 000007
【図７】
0004769121.tif 000008
【図８】
0004769121.tif 000009
【図９】
0004769121.tif 000010
【図１０】
0004769121.tif 000011
【図１１】
0004769121.tif 000012
【図１２】
0004769121.tif 000013
【図１３】
0004769121.tif 000014