(57)【特許請求の範囲】
【請求項１】
第１話者の音声を第２話者の音声に変換して話者正規化する話者正規化機能付きの音声認識装置であって、
上記第１話者が発声した第１音声から第１スペクトル包絡を抽出する一方、第２話者が発声した第２音声から第２スペクトル包絡を抽出するスペクトル包絡抽出手段と、
上記抽出された第１スペクトル包絡および第２スペクトル包絡を、音声単位のラベルを付与して格納する第１メモリ手段と、
同一ラベルに関して、上記第１メモリに格納された上記第１スペクトル包絡と第２スペクトル包絡とに対して動的計画法を用いた非線形な周波数伸縮マッチングを行って、両スペクトル包絡の周波数軸の対応付けを表わす周波数ワーピング関数を求める非線形周波数軸スペクトルマッチング手段と、
上記周波数ワーピング関数を、音声単位のラベルを付与して格納する第２メモリ手段と、
上記スペクトル包絡抽出手段によって抽出された認識対象の第１スペクトル包絡が入力されて、この認識対象第１スペクトル包絡の音声単位と同じ音声単位名の周波数ワーピング関数を上記第２メモリから読み出し、この読み出された周波数ワーピング関数に基づいて、上記認識対象第１スペクトル包絡を第２話者に関するスペクトル包絡に変換するスペクトル包絡変換手段と、
上記変換された正規化済みスペクトル包絡に基づいて入力音声を認識する音声認識手段と、
上記第２メモリ手段に格納された周波数ワーピング関数を上記ラベルに基づいて音素,類似音素,有声音区間/無声音区間および話者毎にグループ化し、各グループに属する周波数ワーピング関数の平均値を算出し、得られた平均周波数ワーピング関数を各グループ名のラベルを付与して上記第２メモリ手段に格納させる平均化手段を備えて、
上記スペクトル包絡変換手段は、上記第１メモリに格納された上記認識対象第１スペクトル包絡の音素と同じ音素に関する上記第１話者のデータの量に応じて決定されたグループの平均周波数ワーピング関数を、上記周波数ワーピング関数として用いるようになっている
ことを特徴とする音声認識装置。
【請求項２】
請求項１に記載の音声認識装置において、
上記非線形周波数軸スペクトルマッチング手段は、上記非線形な周波数伸縮マッチングを行うに際して、上記第１スペクトル包絡と第２スペクトル包絡とに関して、夫々のスペクトル包絡を周波数帯域で複数チャネルに分割した際における隣接チャネル間の出力値の差を用いることを特徴とする音声認識装置。
【請求項３】
請求項１あるいは請求項２に記載の音声認識装置において、
上記第１メモリ手段は、上記第１スペクトル包絡および第２スペクトル包絡の傾きをも音声単位のラベルを付与して格納するようになっており、
上記第１話者が発声した第１音声から第１スペクトル包絡の傾きを抽出する一方、第２話者が発声した第２音声から第２スペクトル包絡の傾きを抽出して上記第１メモリ手段に格納させるスペクトル傾き抽出手段と、
上記認識対象第１スペクトル包絡の音声単位と同じ音声単位名の第１スペクトル包絡の傾きと第２スペクトル包絡の傾きとを上記第１メモリから読み出し、両傾きの差に基づいて、上記スペクトル包絡変換手段によって得られた上記正規化済みスペクトル包絡の傾きを補正するスペクトル傾き補正手段を備えて、
上記音声認識手段は、上記傾きが補正された正規化済みスペクトル包絡に基づいて入力音声を認識するようになっていることを特徴とする音声認識装置。
【請求項４】
請求項３に記載の音声認識装置において、
上記音声単位は音素であり、
上記第１メモリ手段に格納された第１スペクトル包絡の傾きおよび第２スペクトル包絡の傾きを上記ラベルに基づいて音素,類似音素,有声音区間/無声音区間および話者毎にグループ化し、各グループに属するスペクトル包絡の傾きの平均値を算出し、得られた平均スペクトル傾きを各話者名および各グループ名のラベルを付与して上記第１メモリ手段に格納させる平均化手段を備えると共に、
上記スペクトル傾き補正手段は、上記認識対象第１スペクトル包絡の音素と同じ音素が属する何れかのグループの平均スペクトル傾きを上記スペクトル包絡の傾きとして用いるようになっている
ことを特徴とする音声認識装置。
【請求項５】
請求項４に記載の音声認識装置において、
上記スペクトル傾き補正手段は、上記第１メモリに格納された上記認識対象第１スペクトル包絡の音素と同じ音素に関する上記第１話者のデータの量に応じて、用いる平均スペクトル傾きのグループを決定するようになっていることを特徴とする音声認識装置。
【請求項６】
請求項１乃至請求項３の何れか一つに記載の音声認識装置において、
上記音声認識手段は、上記周波数ワーピング関数を求めるに際して、上記抽出された第１スペクトル包絡あるいは第２スペクトル包絡の時系列を不特定話者音声認識方法によって認識し、認識結果の音声単位名を上記第１メモリ手段に送出するようになっていることを特徴とする音声認識装置。
【請求項７】
請求項１に記載の音声認識装置において、
上記平均化手段は、平均値算出の対象となる周波数ワーピング関数間の線形変換を行なうことによって上記平均周波数ワーピング関数を算出するようになっていることを特徴とする音声認識装置。
【請求項８】
請求項７に記載の音声認識装置において、
上記周波数ワーピング関数は、上記第１スペクトル包絡と第２スペクトル包絡とを同一周波数帯域で複数チャネルに分割した際における上記第１,第２スペクトルのチャネルから成る平面上におけるＤＰパスに相当する格子点とその他の格子点とに異なる要素値が与えられたマトリクス状のデータ形式を有し、
上記周波数ワーピング関数間の線形変換は、上記平均値算出の対象となる周波数ワーピング関数に相当する複数のマトリクスにおける同一格子点の要素値の和を求め、得られた値を要素値とするマトリクスを上記平均周波数ワーピング関数とする
ことを特徴とする音声認識装置。
【請求項９】
請求項８に記載の音声認識装置において、
上記スペクトル包絡変換手段は、上記第２スペクトル包絡のある周波数帯域における強度に変換する場合には、使用する平均周波数ワーピング関数のマトリクスにおける上記第２スペクトル包絡の該当チャネルに関する行または列の格子点において、各格子点の要素値と当該格子点に対応する上記第１スペクトル包絡のチャネルにおける強度との積和を求め、この積和の値を上記第２スペクトル包絡の当該周波数帯域における強度とすることを特徴とする音声認識装置。
【請求項１０】
請求項１乃至請求項３の何れか一つに記載の音声認識装置において、
上記第１話者は複数居り、
上記第１話者および第２話者の音声を波形分析して韻律情報を抽出する波形分析手段と、
上記周波数ワーピング関数を求める学習モード時には、複数の既知話者の音声から抽出された上記韻律情報およびスペクトル包絡を、各話者のラベルを付与して音声標準パターンとして登録する一方、不特定話者の音声を認識する認識モード時には、認識対象話者の音声から抽出された上記韻律情報およびスペクトル包絡に基づいて、上記登録された音声標準パターンを用いて上記認識対象話者を認識し、認識結果の話者名を出力する話者認識手段を備えて、
上記スペクトル変換手段およびスペクトル傾き補正手段は、上記認識モード時に、上記話者認識手段からの話者名に関する上記周波数ワーピング関数または第１スペクトル傾きを読み出すようになっていることを特徴とする音声認識装置。
【請求項１１】
請求項１乃至請求項３の何れか一つに記載の音声認識装置において、
上記音声認識手段は、上記スペクトル包絡変換手段によって得られた正規化済みスペクトル包絡から抽出された標準パターンを用いて、不特定話者音声認識方法によって音声認識を行うようになっていることを特徴とする音声認識装置。
【請求項１２】
第１話者の声質での音声を第２話者の声質での音声に変換して話者正規化する音声認識装置であって、
上記第１話者が発声した第１音声から第１声道断面積を抽出する一方、第２話者が発声した第２音声から第２声道断面積を抽出する声道断面積抽出手段と、
上記抽出された第１声道断面積および第２声道断面積を、音声単位のラベルを付与して格納する第１メモリ手段と、
同一ラベルに関して、上記第１メモリに格納された上記第１声道断面積と第２声道断面積とに対して動的計画法を用いた非線形な声道軸伸縮マッチングを行って、両声道断面積の声道軸の対応付けを表わす声道軸ワーピング関数を求める非線形声道軸マッチング手段と、
上記声道軸ワーピング関数を、音声単位のラベルを付与して格納する第２メモリ手段と、
上記声道断面積抽出手段によって抽出された認識対象の第１声道断面積が入力されて、この認識対象第１声道断面積の音声単位と同じ音声単位名の声道軸ワーピング関数を上記第２メモリから読み出し、この読み出された声道軸ワーピング関数に基づいて、上記認識対象第１声道断面積を第２話者に関する声道断面積に変換する声道断面積変換手段と、
上記変換された正規化済み声道断面積に基づいて入力音声を認識する音声認識手段と、
上記第２メモリ手段に格納された声道軸ワーピング関数を上記ラベルに基づいて音素,類似音素,有声音区間/無声音区間および話者毎にグループ化し、各グループに属する声道軸ワーピング関数の平均値を算出し、得られた平均声道軸ワーピング関数を各グループ名のラベルを付与して上記第２メモリ手段に格納させる平均化手段を備えて、
上記声道断面積変換手段は、上記第１メモリに格納された上記認識対象第１声道断面積の音素と同じ音素に関する上記第１話者のデータの量に応じて決定されたグループの平均声道軸ワーピング関数を、上記声道軸ワーピング関数として用いるようになっている
ことを特徴とする音声認識装置。
【請求項１３】
第１話者の音声を第２話者の音声に変換して話者正規化する話者正規化機能を有する音声認識方法であって、
上記第１話者が発声した第１音声から第１スペクトル包絡を抽出する一方、第２話者が発声した第２音声から第２スペクトル包絡を抽出するステップと、
同一の音声単位名に関して、上記抽出された上記第１スペクトル包絡と第２スペクトル包絡とに対して動的計画法を用いた非線形な周波数伸縮マッチングを行って、両スペクトル包絡の周波数軸の対応付けを表わす周波数ワーピング関数を求めるステップと、
認識対象の第１スペクトル包絡を抽出するステップと、
上記抽出された認識対象第１スペクトル包絡の音声単位と同じ音声単位名の周波数ワーピング関数に基づいて、上記認識対象第１スペクトル包絡を第２話者に関するスペクトル包絡に変換するステップと、
上記変換された正規化済みスペクトル包絡に基づいて入力音声を認識するステップと、
上記周波数ワーピング関数を上記ラベルに基づいて音素,類似音素,有声音区間/無声音区間および話者毎にグループ化し、各グループに属する周波数ワーピング関数の平均値を算出し、得られた平均周波数ワーピング関数に各グループ名のラベルを付与するステップを備えて、
上記認識対象第１スペクトル包絡を第２話者に関するスペクトル包絡に変換するステップは、上記認識対象第１スペクトル包絡の音素と同じ音素に関する上記抽出された第１話者のデータの量に応じて決定されたグループの平均周波数ワーピング関数を、上記周波数ワーピング関数として用いるようになっている
ことを特徴とする音声認識方法。
【請求項１４】
請求項１３に記載の音声認識方法において、
上記第１話者が発声した第１音声から第１スペクトル包絡の傾きを抽出する一方、上記第２話者が発声した第２音声から第２スペクトル包絡の傾きを抽出するステップと、
上記認識対象第１スペクトル包絡の音声単位と同じ音声単位名の第１スペクトル包絡の傾きと第２スペクトル包絡の傾きとの差に基づいて、上記変換された正規化済みスペクトル包絡の傾きを補正するステップを備えて、
上記入力音声を認識するステップにおいては上記傾き補正後の正規化済みスペクトル包絡を用いることを特徴とする音声認識方法。
【請求項１５】
通信ネットワークを介して音声情報の交換が可能なユーザ端末とセンターシステムとを含む音声認識システムであって、
上記ユーザ端末には、
請求項１乃至請求項１２の何れか一つに記載の音声認識装置と、
上記音声認識装置によって得られた入力音声に関する上記正規化済みスペクトル包絡あるいは上記正規化済み声道断面積を、上記通信ネットワークを介して上記センターシステムへ送信する送信制御手段を備える一方、
上記センターシステムには、
上記通信ネットワークを介して上記ユーザ端末から送信されてくる上記正規化済みスペクトル包絡あるいは上記正規化済み声道断面積を受信する制御部と、
上記正規化済みスペクトル包絡または上記正規化済み声道断面積に基づいて、上記音声認識装置への入力音声を認識する入力音声認識部を備えたことを特徴とする音声認識システム。
【請求項１６】
コンピュータを、
請求項１におけるスペクトル包絡抽出手段,非線形周波数軸スペクトルマッチング手段,スペクトル包絡変換手段,音声認識手段,平均化手段と、請求項３におけるスペクトル傾き抽出手段,スペクトル傾き補正手段と、請求項１０における話者認識手段として機能させる話者正規化音声認識処理プログラムが記録されたことを特徴とするコンピュータ読出し可能なプログラム記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ある話者が発声した音声を標準的な人が発声したかのようにスペクトルを変形(正規化)して学習モード時/認識モード時に利用する話者正規化機能付きの音声認識装置および音声認識方法、音声認識システム、並びに、話者正規化音声認識処理プログラムを記録したプログラム記録媒体に関する。
【０００２】
【従来の技術】
これまでに、予め大量の音声データを学習して構築された音声認識装置において、比較的少量の音声データで話者適応または話者正規化を行なう手法が開発されてきている。また、話者適応や話者正規化を行なうために音声認識装置が必要とする音声データは、提供者の発声負担を考慮して、できるだけ少量であることが望まれる。
【０００３】
非常に少ないデータで話者正規化を行う方法として、声道を前方(口腔側)と後方(咽頭腔側)との２つの区間に分割した夫々の長さを利用して話者正規化を行なう方法(例えば、内藤,Li Deng,匂坂、「音声の生成モデルを用いた話者正規化手法」、日本音響学会講演論文集、pp.99‐100(1999年3月))がある。
【０００４】
一方、音声スペクトルの周波数軸・強度軸の同時非線形伸縮を行なうことによって、話者正規化に関して著しい効果が見られ、不特定話者音声認識性能が向上したという報告がある(例えば、中川,神谷,坂井、「音声スペクトルの時間軸・周波数軸・強度軸の同時非線形伸縮に基づく不特定話者の単語音声の認識」、電子通信学会論文誌、Vol.j64‐D No.2，pp.116‐123(1981))。
【０００５】
また、予め変換元話者と変換先話者とが発声した音声における複数母音のスペクトル包絡系列(ｎ次元ベクトル系列)間で周波数領域におけるＤＰ(動的計画法)マッチングを行ない、求められた―つの最適ＤＰパスを利用して上記変換元話者のスペクトル包絡を変換先話者のスペクトル包絡に変換する方法が提案されている(例えば、特開平４‐１４７３００号公報)。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の話者正規化方法には、以下のような問題がある。すなわち、声道の前方(口腔側)と後方(咽頭腔側)との長さを利用した話者正規化方法においては、話者の個人差の内で声道形状や声道長等の身体上の差に起因する個人差(ハード差)はある程度正規化できるのであるが、調音点や口の開き具合等の発声癖に起因する個人差(ソフト差)は正規化できない。したがって、正規化による認識性能の向上が充分ではないという問題がある。
【０００７】
また、上記音声スペクトルの周波数軸・強度軸の同時非線形伸縮によって話者正規化を行なう方法においては、非線形伸縮の際の制約条件を相当上手く設定しないと、個人差のみならず音韻差まで正規化されてしまい、結果として性能を下げてしまうという問題がある。
【０００８】
また、変換元話者と変換先話者とが発声した音声における複数母音のスペクトル包絡系列(ｎ次元ベクトル系列)間でＤＰマッチングを行なう方法においては、調音点や口の開き具合などの発声癖に起因する個人差(ソフト差)の影響で各母音毎の最適ＤＰパスが異なる場合には、似通った最適ＤＰパス群(例えば、後舌母音)のメンバーが多い方に偏って、他の群にはやや不適切なＤＰパスを抽出し、全体として最適ではないＤＰパスが選択されてしまうという問題がある。また、最適ＤＰパスが偏らないように上手く学習用の母音を選択できた場合には、声道形状や声道長等の身体上の差に起因する個人差(ハード差)のみを正規化するＤＰパスであるため、正規化による認識性能の向上が充分でないという問題がある。さらに、変換元話者と変換先話者とが同じ内容(単語または文：例えば「あいうえお、いえあおう」)を発声するという制約を前提にしているため、変換元話者の発声内容が異なっていたり、音声データが不足している場合には、利用することができないという問題もある。
【０００９】
このように、上記従来の話者正規化方法においては、個人差の正規化性能の点において、十分であるとは言えないのである。
【００１０】
そこで、この発明の目的は、少量の音声データで身体上の差に起因する個人差(ハード差)のみならず発声癖に起因する個人差(ソフト差)も正規化でき且つ音韻差は正規化しない音声認識装置及び音声認識方法、音声認識システム、並びに、話者正規化音声認識処理プログラムを記録したプログラム記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、第１の発明は、第１話者の音声を第２話者の音声に変換して話者正規化する話者正規化機能付きの音声認識装置であって、上記第１話者が発声した第１音声から第１スペクトル包絡を抽出する一方,第２話者が発声した第２音声から第２スペクトル包絡を抽出するスペクトル包絡抽出手段と、上記抽出された第１スペクトル包絡及び第２スペクトル包絡を音声単位のラベルを付与して格納する第１メモリ手段と、同一ラベルに関して,上記第１メモリに格納された上記第１スペクトル包絡と第２スペクトル包絡とに対して動的計画法を用いた非線形な周波数伸縮マッチングを行って,両スペクトル包絡の周波数軸の対応付けを表わす周波数ワーピング関数を求める非線形周波数軸スペクトルマッチング手段と、上記周波数ワーピング関数を音声単位のラベルを付与して格納する第２メモリ手段と、上記スペクトル包絡抽出手段によって抽出された認識対象の第１スペクトル包絡が入力されて,この認識対象第１スペクトル包絡の音声単位と同じ音声単位名の周波数ワーピング関数を上記第２メモリから読み出し,この読み出された周波数ワーピング関数に基づいて上記認識対象第１スペクトル包絡を第２話者に関するスペクトル包絡に変換するスペクトル包絡変換手段と、上記変換された正規化済みスペクトル包絡に基づいて入力音声を認識する音声認識手段と、上記第２メモリ手段に格納された周波数ワーピング関数を上記ラベルに基づいて音素,類似音素,有声音区間/無声音区間および話者毎にグループ化し,各グループに属する周波数ワーピング関数の平均値を算出し,得られた平均周波数ワーピング関数を各グループ名のラベルを付与して上記第２メモリ手段に格納させる平均化手段を備えて、上記スペクトル包絡変換手段は、上記第１メモリに格納された上記認識対象第１スペクトル包絡の音素と同じ音素に関する上記第１話者のデータの量に応じて決定されたグループの平均周波数ワーピング関数を、上記周波数ワーピング関数として用いるようになっていることを特徴としている。
【００１２】
上記構成によれば、第１話者の音声から得られた第１スペクトル包絡と第２話者の音声から得られた第２スペクトル包絡との周波数軸の対応付けを表わす周波数ワーピング関数が用いられ、第１話者による認識対象の第１スペクトル包絡の周波数軸が非線形伸縮されて第２話者によるスペクトル包絡に変換され、この変換された正規化済みスペクトル包絡に基づいて入力音声が認識される。したがって、上記第１話者を不特定話者とし上記第２話者を標準話者とすれば、不特定話者による発声に基づくスペクトル包絡が標準話者のスペクトル包絡に話者正規化され、この正規化されたスペクトル包絡に基づいて精度の高い音声認識が行われる。
【００１３】
その場合、上記周波数ワーピング関数を同一音声単位に関する複数の第１スペクトル包絡の平均値と複数の第２スペクトル包絡の平均値とに基づいて得ることによって、身体上の差に起因する個人差(ハード差)のみならず発声癖に起因する個人差(ソフト差)をも正規化できる。その場合、同じ音素間で非線形伸縮されるので、音韻差は正規化されない。
【００１４】
さらに、上記平均周波数ワーピング関数が「音素」,「類似音素」,「有声音区間/無声音区間」および「話者」毎のグループ別に求められている。したがって、上記第１メモリ手段に保存されている第１話者の発声データの量に応じて、適切なグループの平均周波数ワーピング関数を選択して上記周波数ワーピング関数の代りに用いることができる。例えば、後舌母音/ｏ/の発声データが少ないか全く無い場合には、当該音素/ｏ/の類似音素である後舌母音/ａ/の平均周波数ワーピング関数、または、有声音区間の平均周波数ワーピング関数が選択される。こうして、第１話者の発声データの量が少ない場合でも対処可能になる。さらに、上記音素毎の平均周波数ワーピング関数を求めることによって、発声癖に起因する個人差が正規化される。
【００１５】
また、上記第１の発明の音声認識装置は、上記第１メモリ手段を,上記第１スペクトル包絡および第２スペクトル包絡の傾きをも音声単位のラベルを付与して格納するように成し、上記第１話者が発声した第１音声から第１スペクトル包絡の傾きを抽出する一方,第２話者が発声した第２音声から第２スペクトル包絡の傾きを抽出して上記第１メモリ手段に格納させるスペクトル傾き抽出手段と、上記認識対象第１スペクトル包絡の音声単位と同じ音声単位名の第１スペクトル包絡の傾きと第２スペクトル包絡の傾きとを上記第１メモリから読み出し,両傾きの差に基づいて,上記スペクトル包絡変換手段によって得られた上記正規化済みスペクトル包絡の傾きを補正するスペクトル傾き補正手段を備えて、上記音声認識手段を、上記傾きが補正された正規化済みスペクトル包絡に基づいて入力音声を認識するように成すことが望ましい。
【００１６】
上記構成によれば、上記第１話者による認識対象の第１スペクトル包絡の音声単位と同じ音声単位名での第１,第２スペクトル包絡の傾きの差に基づいて、上記正規化済みスペクトル包絡の傾きが補正されて、より的確に第２話者の音声に話者正規化される。
【００１７】
また、上記第１の発明の音声認識装置は、上記音声単位は音素であり、上記第１メモリ手段に格納された第１スペクトル包絡の傾きおよび第２スペクトル包絡の傾きを上記ラベルに基づいて音素・類似音素・有声音区間/無声音区間および話者毎にグループ化し,各グループに属するスペクトル包絡の傾きの平均値を算出し,得られた平均スペクトル傾きを各話者名および各グループ名のラベルを付与して上記第１メモリ手段に格納させる平均化手段を備えると共に、上記スペクトル傾き補正手段を,上記認識対象第１スペクトル包絡の音素が属する何れかのグループの平均スペクトル傾きを上記スペクトル包絡の傾きとして用いるように成すことが望ましい。
【００１８】
上記構成によれば、平均スペクトル傾きが「音素」,「類似音素」,「有声音区間/無声音区間」および「話者」毎のグループ別に求められている。したがって、上記第１メモリ手段に保存されている第１話者の発声データの量に応じて、適切なグループの平均スペクトル傾きを選択して上記スペクトル包絡の傾きの代りに用いることができる。こうして、第１話者の発声データの量が少ない場合でも対処可能になる。さらに、上記音素毎の平均スペクトル傾きを求めることによって、発声癖に起因する個人差が正規化される。
【００１９】
また、上記第１の発明の音声認識装置は、上記スペクトル傾き補正手段を、上記第１メモリに格納された上記認識対象第１スペクトル包絡の音素と同じ音素に関する上記第１話者のデータの量に応じて、用いる平均スペクトル傾きのグループを決定するように成すことが望ましい。
【００２０】
上記構成によれば、認識対象音素に関する上記第１話者による発声データの量に応じて、最適な範囲内で平均化された平均スペクトル傾きが用いられて、第１話者の発声データの量が少ない場合でも高い認識率が得られる。
【００２１】
また、上記第１の発明の音声認識装置は、上記音声認識手段を、上記周波数ワーピング関数を求めるに際して、上記抽出された第１スペクトル包絡あるいは第２スペクトル包絡の時系列を不特定話者音声認識方法によって認識し、認識結果の音声単位名を上記第１メモリ手段に送出するように成すことが望ましい。
【００２２】
上記構成によれば、上記第１,第２話者の発声から抽出された第１,第２スペクトル包絡から、ラベル用の音声単位名が自動的に得られる。こうして、上記スペクトル包絡あるいはスペクトル包絡の傾きに対するラベル付け処理が容易に行われる。
【００２３】
また、上記第１の発明の音声認識装置は、上記第１話者が複数居り、上記第１話者および第２話者の音声を波形分析して韻律情報を抽出する波形分析手段と、上記周波数ワーピング関数を求める学習モード時には,複数の既知話者の音声から抽出された上記韻律情報およびスペクトル包絡を各話者のラベルを付与して音声標準パターンとして登録する一方,不特定話者の音声を認識する認識モード時には,認識対象話者の音声から抽出された上記韻律情報およびスペクトル包絡に基づいて上記登録された音声標準パターンを用いて上記認識対象話者を認識し,認識結果の話者名を出力する話者認識手段を備えて、上記スペクトル変換手段およびスペクトル傾き補正手段を、上記認識モード時に、上記話者認識手段からの話者名に関する上記周波数ワーピング関数または第１スペクトル傾きを読み出すように成すことが望ましい。
【００２４】
上記構成によれば、認識モード時において、発声話者が認識され、この認識話者に関する上記周波数ワーピング関数あるいは第１スペクトル傾きが読み出されて、認識対象第１スペクトル包絡の正規化に用いられる。したがって、上記第１話者として複数の話者が居って、夫々の第１話者毎に上記周波数ワーピング関数,第１スペクトル包絡および第１スペクトル傾きを格納しておくことによって、不特定話者に対して話者正規化音声認識が行われる。
【００２５】
また、上記第１の発明の音声認識装置は、上記音声認識手段を、上記スペクトル包絡変換手段によって得られた正規化済みスペクトル包絡から抽出された標準パターンを用いて、不特定話者音声認識方法によって音声認識を行うように成すことが望ましい。
【００２６】
上記構成によれば、上記音声認識手段によって、話者正規化された標準パターンを用いて高い識別精度で音声認識が行われる。さらに、上記音声認識手段が混合分布ＨＭＭ(隠れマルコフモデル)を用いる音声認識手段である場合に、音声単位毎の音素標準パターンの分散が小さくなり、遷移確率の混合分布に用いる分布数が「１」または「より少ない数」に抑えられる。したがって、実行時のメモリ容量とプロセッサ負荷とが軽減される。
【００２７】
また、第２の発明は、第１話者の声質での音声を第２話者の声質での音声に変換して話者正規化する音声認識装置であって、上記第１話者が発声した第１音声から第１声道断面積を抽出する一方,第２話者が発声した第２音声から第２声道断面積を抽出する声道断面積抽出手段と、上記抽出された第１声道断面積および第２声道断面積を音声単位のラベルを付与して格納する第１メモリ手段と、同一ラベルに関して,上記第１メモリに格納された上記第１声道断面積と第２声道断面積とに対して動的計画法を用いた非線形な声道軸伸縮マッチングを行って,両声道断面積の声道軸の対応付けを表わす声道軸ワーピング関数を求める非線形声道軸マッチング手段と、上記声道軸ワーピング関数を音声単位のラベルを付与して格納する第２メモリ手段と、上記声道断面積抽出手段によって抽出された認識対象の第１声道断面積が入力されて,この認識対象第１声道断面積の音声単位と同じ音声単位名の声道軸ワーピング関数を上記第２メモリから読み出し,この読み出された声道軸ワーピング関数に基づいて上記認識対象第１声道断面積を第２話者に関する声道断面積に変換する声道断面積変換手段と、上記変換された正規化済み声道断面積に基づいて入力音声を認識する音声認識手段と、上記第２メモリ手段に格納された声道軸ワーピング関数を上記ラベルに基づいて音素,類似音素,有声音区間/無声音区間および話者毎にグループ化し,各グループに属する声道軸ワーピング関数の平均値を算出し,得られた平均声道軸ワーピング関数を各グループ名のラベルを付与して上記第２メモリ手段に格納させる平均化手段を備えて、上記声道断面積変換手段は、上記第１メモリに格納された上記認識対象第１声道断面積の音素と同じ音素に関する上記第１話者のデータの量に応じて決定されたグループの平均声道軸ワーピング関数を上記声道軸ワーピング関数として用いるようになっていることを特徴としている。
【００２８】
上記構成によれば、声道軸ワーピング関数が用いられて、第１話者による認識対象の第１声道断面積の声道軸が非線形伸縮されて第２話者による声道断面積に変換され、この変換された正規化済み声道断面積に基づいて入力音声が認識される。したがって、上記第１話者を不特定話者とし上記第２話者を標準話者とすれば、不特定話者による発声に基づく声道断面積が標準話者の声道断面積に話者正規化され、この正規化された声道断面積に基づいて精度の高い音声認識が行われる。
【００２９】
その場合に、上記声道軸ワーピング関数を同一音声単位に関する複数の第１声道断面積の平均値と複数の第２声道断面積の平均値とに基づいて得ることによって、身体上の差に起因する個人差(ハード差)のみならず発声癖に起因する個人差(ソフト差)をも正規化できる。その場合、同じ音素間で非線形伸縮されるので、音韻差は正規化されない。
【００３０】
さらに、上記平均声道軸ワーピング関数が「音素」,「類似音素」,「有声音区間/無声音区間」および「話者」毎のグループ別に求められている。したがって、上記第１メモリ手段に保存されている第１話者の発声データの量に応じて、適切なグループの平均声道軸ワーピング関数を選択して上記声道軸ワーピング関数の代りに用いることができる。例えば、後舌母音/ｏ/の発声データが少ないか全く無い場合には、当該音素/ｏ/の類似音素である後舌母音/ａ/の平均声道軸ワーピング関数、または、有声音区間の平均声道軸ワーピング関数が選択される。こうして、第１話者の発声データの量が少ない場合でも対処可能になる。さらに、上記音素毎の平均声道軸ワーピング関数を求めることによって、発声癖に起因する個人差が正規化される。
【００３１】
また、第３の発明は、第１話者の音声を第２話者の音声に変換して話者正規化する話者正規化機能を有する音声認識方法であって、上記第１話者が発声した第１音声から第１スペクトル包絡を抽出する一方,第２話者が発声した第２音声から第２スペクトル包絡を抽出するステップと、同一の音声単位名に関して,上記抽出された上記第１スペクトル包絡と第２スペクトル包絡とに対して動的計画法を用いた非線形な周波数伸縮マッチングを行って,両スペクトル包絡の周波数軸の対応付けを表わす周波数ワーピング関数を求めるステップと、認識対象の第１スペクトル包絡を抽出するステップと、上記抽出された認識対象第１スペクトル包絡の音声単位と同じ音声単位名の周波数ワーピング関数に基づいて,上記認識対象の第１スペクトル包絡を第２話者に関するスペクトル包絡に変換するステップと、上記変換された正規化済みスペクトル包絡に基づいて入力音声を認識するステップと、上記周波数ワーピング関数を上記ラベルに基づいて音素,類似音素,有声音区間/無声音区間および話者毎にグループ化し,各グループに属する周波数ワーピング関数の平均値を算出し,得られた平均周波数ワーピング関数に各グループ名のラベルを付与するステップを備えて、上記認識対象第１スペクトル包絡を第２話者に関するスペクトル包絡に変換するステップは、上記認識対象第１スペクトル包絡の音素と同じ音素に関する上記抽出された第１話者のデータの量に応じて決定されたグループの平均周波数ワーピング関数を、上記周波数ワーピング関数として用いるようになっていることを特徴としている。
【００３２】
上記構成によれば、上記第１の発明の場合と同様に、上記周波数ワーピング関数を同一音声単位に関する複数の第１スペクトル包絡の平均値と複数の第２スペクトル包絡の平均値とに基づいて得ることによって、身体上の差に起因する個人差のみならず発声癖に起因する個人差をも正規化できる。その場合、同じ音素間で非線形伸縮されるので、音韻差は正規化されない。
【００３３】
さらに、上記平均周波数ワーピング関数が「音素」,「類似音素」,「有声音区間/無声音区間」および「話者」毎のグループ別に求められている。したがって、保存されている上記第１話者の発声データの量に応じて、適切なグループの平均周波数ワーピング関数を選択して上記周波数ワーピング関数の代りに用いることができる。例えば、後舌母音/ｏ/の発声データが少ないか全く無い場合には、当該音素/ｏ/の類似音素である後舌母音/ａ/の平均周波数ワーピング関数、または、有声音区間の平均周波数ワーピング関数が選択される。こうして、第１話者の発声データの量が少ない場合でも対処可能になる。さらに、上記音素毎の平均周波数ワーピング関数を求めることによって、発声癖に起因する個人差が正規化される。
【００３４】
また、上記第３の発明の音声認識方法は、上記第１話者が発声した第１音声から第１スペクトル包絡の傾きを抽出する一方,上記第２話者が発声した第２音声から第２スペクトル包絡の傾きを抽出するステップと、上記認識対象第１スペクトル包絡の音声単位と同じ音声単位名の第１スペクトル包絡の傾きと第２スペクトル包絡の傾きとの差に基づいて,上記変換された正規化済みスペクトル包絡の傾きを補正するステップを備えて、上記入力音声を認識するステップにおいては上記傾き補正後の正規化済みスペクトル包絡を用いることが望ましい。
【００３５】
上記構成によれば、上記第１の発明の場合と同様にして上記正規化済みスペクトル包絡の傾きが補正されて、より的確に第２話者の音声に話者正規化される。
【００３６】
また、第４の発明は、通信ネットワークを介して音声情報の交換が可能なユーザ端末とセンターシステムとを含む音声認識システムであって、上記ユーザ端末には、上記第１の発明あるいは第２の発明の音声認識装置と、上記音声認識装置によって得られた入力音声に関する上記正規化済みスペクトル包絡あるいは上記正規化済み声道断面積を,上記通信ネットワークを介して上記センターシステムへ送信する送信制御手段を備える一方、上記センターシステムには、上記通信ネットワークを介して上記ユーザ端末から送信されてくる上記正規化済みスペクトル包絡あるいは上記正規化済み声道断面積を受信する制御部と、上記正規化済みスペクトル包絡または上記正規化済み声道断面積に基づいて,上記音声認識装置への入力音声を認識する入力音声認識部を備えたことを特徴としている。
【００３７】
上記構成によれば、上記第１の発明あるいは上記第２の発明の場合と同様にして、個人差の正規化性能が高い音声認識が行われる。さらに、ユーザ端末の音声認識装置によって得られた入力音声に関する上記正規化済みスペクトル包絡あるいは上記正規化済み声道断面積が、通信ネットワークを介してセンターシステムに送信されて、上記センターシステムの入力音声認識部によって上記ユーザ端末への入力音声が認識される。こうして、上記センターシステム側で入力音声を認識することによって、後の言語処理も上記センターシステム側で行われることになり、上記ユーザ端末の構成が簡素化される。
【００３８】
また、第５の発明のプログラム記録媒体は、コンピュータを、上記第１の発明におけるスペクトル包絡抽出手段,非線形周波数軸スペクトルマッチング手段,スペクトル包絡変換手段,音声認識手段,平均化手段,スペクトル傾き抽出手段,スペクトル傾き補正手段および話者認識手段として機能させる話者正規化音声認識処理プログラムが記録されていることを特徴としている。
【００３９】
上記構成によれば、上記周波数ワーピング関数を用いて、第１話者による認識対象の第１スペクトル包絡の周波数軸が非線形伸縮されて第２話者によるスペクトル包絡に変換される。さらに、この変換された正規化済みスペクトル包絡の傾きが、第１,第２スペクトル包絡の傾きの差に基づいて補正される。そして、こうして得られた傾き補正後の正規化済みスペクトル包絡に基づいて入力音声が認識される。したがって、身体上の差に起因する個人差のみならず発声癖に起因する個人差をも正規化でき、個人差の正規化性能が高い音声認識が行われる。
【００４０】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。尚、以下の説明においては、上記音声単位を「音素」としているが、この発明はこれに限定されるものではない。
【００４１】
＜第１実施の形態＞
図１は、本実施の形態における話者正規化機能付きの音声認識装置におけるブロック図である。波形分析部１は、入力された音声の波形を分析し韻律情報(パワー,ピッチ周波数等)およびケプストラム分析結果を出力する。スペクトル包絡・傾き抽出部２は、波形分析部１で得られたケプストラム分析結果を入力し、図３(b),(d)に示すようなスペクトル包絡と、図３(a),(c)に示すようなスペクトル包絡の傾き(以下、スペクトル傾きと言う)とを抽出する。音声認識部３は、波形分析部１からの韻律情報や他のパラメータを受け取って、音素標準パターンメモリ４に格納された音素標準パターンを参照して音声を認識し、音声認識結果を出力する。
【００４２】
話者認識部５には、上記波形分析部１からの韻律情報と、スペクトル包絡・傾き抽出部２からのスペクトル包絡及びスペクトル傾きの時系列とが入力される。そして、学習モード時には、入力された学習対象話者Ｔのスペクトル包絡,スペクトル傾き及び韻律情報の時系列をその話者の話者音声標準パターンとして、話者番号と共に内部メモリ等に蓄積する。一方、認識モード時には、入力された認識対象話者Ｔのスペクトル包絡,スペクトル傾きおよび韻律情報の時系列を、上記学習モード時に蓄積された上記話者音声標準パターン群と比較し、最も尤度の高い話者を認識して認識結果としての話者番号を出力する。
【００４３】
マッチング・平均化処理部６は、上記スペクトル包絡・傾き抽出部２からのスペクトル包絡およびスペクトル傾きの平均化と、後述する周波数ワーピング関数の平均化を行う。さらに、平均スペクトル包絡間の非線形周波数軸スペクトルマッチングを行って周波数ワーピング関数を生成する。スペクトル包絡変換部７は、マッチング・平均化処理部６からの平均周波数ワーピング関数を用いてスペクトル包絡・傾き抽出部２で抽出された認識対象話者のスペクトル包絡を標準話者のスペクトル包絡に変換し、得られた変形スペクトル包絡をスペクトル傾き変換部８に送出する。スペクトル傾き変換部８は、マッチング・平均化処理部６からの平均スペクトル傾きを用いて、スペクトル包絡変換部７からの変形スペクトル包絡の傾きを補正し、得られた正規化済みスペクトル包絡を音声認識部３に送出する。その結果、音声認識部３では、話者正規化した音声認識結果を得ることができるのである。
【００４４】
図２は、上記マッチング・平均化処理部６の詳細なブロック図である。スペクトル包絡・傾きメモリ１１は、スペクトル包絡・傾き抽出部２で抽出されたスペクトル包絡およびスペクトル傾きを、音声認識部３による話者毎の音声認識結果である音素ラベルを付与して格納する。非線形周波数軸スペクトルマッチング部１２は、スペクトル包絡・傾きメモリ１１に格納された標準話者Ｓの平均スペクトル包絡と学習対象話者Ｔの平均スペクトル包絡との非線形周波数マッチングを行う。そして、得られた最適ＤＰパスに相当する周波数ワーピング関数を求め、音素名を付与して周波数ワーピング関数メモリ１３に蓄積する。
【００４５】
平均化処理部１４は、上記スペクトル包絡・傾きメモリ１１に格納された話者毎の各音素のスペクトル包絡およびスペクトル傾きと、周波数ワーピング関数メモリ１３に蓄積された周波数ワーピング関数とを読み出して、線形変換等によって、音素,類似音素,有声音区間/無声音区間および音声区間全体(話者)毎に分類して平均値を算出する。そして、得られた平均スペクトル包絡および平均スペクトル傾きは、対応する音素名,類似音素名,有声音区間/無声音区間あるいは音声区間全体(話者)のラベルを付与してスペクトル包絡・傾きメモリ１１に格納させる。また、得られた平均周波数ワーピング関数は、対応する音素名,類似音素名,有声音区間/無声音区間あるいは音声区間全体(話者)のラベルを付与して周波数ワーピング関数メモリ１３に格納させる。
【００４６】
このように、上記マッチング・平均化処理部６においては、発声者の個人差に起因する正規化の行き過ぎを是正するための周波数ワーピング関数を生成し、スペクトル傾きに関し学習の度合いに応じたパラメータを選択し平均化するのである。
【００４７】
図４〜図７は、上記構成を有する音声認識装置による話者正規化音声認識処理動作のフローチャートである。以下、図４〜図７に従って、上記音声認識装置の動作について説明する。
【００４８】
［学習モード時］
図４および図５は、上記話者正規化音声認識処理動作における学習モード時のフローチャートである。先ず、図４および図５に従って、学習モード時の処理動作について詳細に説明する。
【００４９】
ステップＳ1で、話者番号ｓに初期値「１」が設定される。尚、この話者番号ｓや、後の音素番号ｘ,音素区間番号ｙ,学習/認識対象話者(以下、単に対象話者と言う)番号sＴ,標準話者番号sＳ等は、作業メモリ(図示せず)等に設定される。また、上記話者としては、正規化を行う際の標準話者Ｓ及び対象話者Ｔと成り得る話者が選ばれる。ステップＳ2で、波形分析部１に音声波形が入力される。
【００５０】
ステップＳ3で、上記波形分析部１によって、入力音声波形に対してケプストラム分析が行われ、ケプストラム分析結果と認識用の韻律情報(音素継続時間長,平均パワー,平均ピッチ周波数等)とが抽出される。ステップＳ4で、スペクトル包絡・傾き抽出部２によって、波形分析部１からの低次のケプストラム係数に基づいてスペクトル包絡が抽出される。さらに、上記スペクトル包絡を最小２乗近似直線で近似した場合の近似直線の傾きが、スペクトル傾きとして抽出される。こうすることによって、例えば、横軸を周波数ｆとし、縦軸を標準話者Ｓと対象話者Ｔの音素番号ｘの音素ｘにおけるスペクトル傾きＲx(f)あるいはスペクトル包絡Ｔx(f)とすれば、正規化によって、図３に示すように変換することが可能になるのである。
【００５１】
ステップＳ5で、上記音声認識部５によって、スペクトル包絡・傾き抽出部２で抽出されたスペクトル包絡と波形分析部１で抽出された韻律情報との時系列に基づいて、ＨＭＭを用いて音声認識が行われる。そして、認識結果としての音素番号(音素名)系列が出力される。ここで、上記音素番号は、予め音素名に対応付けて決定されてＲＡＭ(ランダム・アクセス・メモリ)(図示せず)に格納されているものとする。
【００５２】
尚、本実施の形態においては、上記波形分析部１による音声波形分析をケプストラム分析とし、このケプストラム分析結果に基づいてスペクトル包絡およびスペクトル傾きを抽出するようにしている。しかしながら、波形分析部１における音声波形分析法はこれに限定されるものではなく、ＬＰＣ(線形予測分析)等のスペクトル包絡を抽出できる方法であれば何れの音声波形分析法であっても差し支えない。
【００５３】
ステップＳ6で、上記スペクトル包絡・傾き抽出部２で抽出された上記スペクトル包絡およびスペクトル傾きが、話者番号ｓと音声認識部３からの音素番号ｘの対でなるラベルが付与されて、マッチング・平均化処理部６のスペクトル包絡・傾きメモリ１１によって格納される。この場合、教師有り学習であって、発声内容が既知の場合には、音声認識結果としての音素番号ｘの代わりに、スペクトル包絡・傾きメモリ１１に入力される発声内容に対応する音素ラベル列を用いる。
【００５４】
ステップＳ7で、上記話者認識部５によって、上記波形分析部１で抽出された韻律情報の時系列と、スペクトル包絡・傾き抽出部２で抽出されたスペクトル包絡およびスペクトル傾きの時系列とが、話者番号ｓでなるラベルが付与されて、その話者の音声標準パターンとして上記内部メモリに蓄積される。ステップＳ8で、当該話者番号ｓの話者による発声である学習音声があるか否か、つまり同一話者による音声入力があるか否かが判別される。その結果、あれば上記ステップＳ2に戻って、次の音声に関する上記スペクトル包絡及びペクトル傾きの抽出と音声認識と音声標準パターンの蓄積とに移行する。一方、なければステップＳ9に進む。
【００５５】
ステップＳ9で、上記音素番号ｘが、初期値「１」に設定される。ステップＳ10で、平均化処理部１４によって、上記スペクトル包絡・傾きメモリ１１から話者番号ｓと音素番号ｘとが付与されたスペクトル包絡およびスペクトル傾きが読み出される。そして、この読み出されたスペクトル包絡およびスペクトル傾きの夫々が、「音素」,「類似音素」,「有声音区間/無声音区間」及び「音声区間全体」毎に分類される。ステップＳ11で、音素番号ｘが最大値ｘMAX以上であるか否かが判別される。その結果、最大値ｘMAX以上であればステップＳ13に進む一方、そうでなければステップＳ12に進む。ステップＳ12で、音素番号ｘがインクリメントされた後に、上記ステップＳ10に戻って、次の音素のスペクトル包絡およびスペクトル傾きに対する分類に移行する。
【００５６】
ステップＳ13で、上記平均化処理部１４によって、話者番号ｓが付与されたスペクトル包絡およびスペクトル傾きに関する「音素」,「類似音素」,「有声音区間/無声音区間」および「音声区間全体」毎の平均が、線形変換等によって算出される。そして、得られた平均スペクトル包絡および平均スペクトル傾きが、スペクトル包絡・傾きメモリ１１によって対応する音素名,類似音素名,有声音区間/無声音区間および音声区間全体のラベルが付与されて格納される。
【００５７】
ステップＳ14で、上記話者番号ｓが、最大値ｓMAX以上であるか否かが判別される。その結果、最大値ｓMAX以上であればステップＳ16に進む一方、そうでなければステップＳ15に進む。ステップＳ15で、話者番号ｓがインクリメントされる。そうした後、上記ステップＳ2に進んで、次の話者に関して、スペクトル包絡およびスペクトル傾きの抽出、音素認識、音声標準パターンの蓄積、スペクトル包絡およびスペクトル傾きの分類、平均値算出に移行する。そして、上記ステップＳ14において、話者番号ｓが最大値ｓMAX以上であると判別されるとステップＳ16に移行する。
【００５８】
このようにして、標準話者Ｓおよび学習対象話者Ｔの音声データから抽出されたスペクトル包絡およびスペクトル傾きが、話者番号ｓと音素番号ｘとのラベルが付与されて蓄積される。また、「音素」,「類似音素」,「有声音区間/無声音区間」および「音声区間全体」毎の平均スペクトル包絡および平均スペクトル傾きが、話者番号ｓと音素名,類似音素名,有声音区間/無声音区間および音声区間全体とのラベルが付与されて蓄積されるのである。
【００５９】
ステップＳ16で、上記学習対象話者番号sＴに、外部から指示された学習対象話者番号が設定される。ステップＳ17で、標準話者番号sＳに、外部から指示された標準話者番号が設定される。ステップＳ18で、音素番号ｘに初期値「１」が設定される。以下、マッチング・平均化処理部６のみの処理となる。
【００６０】
ステップＳ19で、上記非線形周波数軸スペクトルマッチング部１２によって、スペクトル包絡・傾きメモリ１１から、学習対象話者番号sＴに該当する話者番号ｓと当該音素番号ｘとが付与された平均スペクトル包絡が検索される。そして、この検索結果に基づいて、当該学習対象話者用の当該音素のデータがスペクトル包絡・傾きメモリ１１に保存されているか否かが判別される。その結果、保存されていればステップＳ20に進み、そうでなければステップＳ24に進む。ステップＳ20で、非線形周波数軸スペクトルマッチング部１２によって、スペクトル包絡・傾きメモリ１１から、標準話者番号sＳに該当する話者番号ｓと当該音素番号ｘとが付与された平均スペクトル包絡が検索される。そして、この検索結果に基づいて、当該標準話者用の当該音素のデータがスペクトル包絡・傾きメモリ１１に保存されているか否かが判別される。その結果、保存されていればステップＳ21に進む一方、保存されていなければステップＳ24に進む。
【００６１】
ステップＳ21で、上記非線形周波数軸スペクトルマッチング部１２によって、動的計画法による非線形周波数軸スペクトルマッチングを用いて、当該音素に関して標準話者Ｓの平均スペクトル包絡と対象話者Ｔの平均スペクトル包絡とのマッチングが行われる。そして、最適ＤＰパスに相当する周波数ワーピング関数が求められる。
【００６２】
図８(a)は、上記非線形周波数軸スペクトルマッチング部１２によって実行される動的計画法による非線形周波数軸スペクトルマッチングの概念を示す。同じ音素に関する標準話者Ｓの平均スペクトル包絡Ｓと学習対象話者Ｔの平均スペクトル包絡Ｔとに関して、スペクトル包絡を帯域でＬ等分し、両スペクトル包絡Ｓ,Ｔの各チャネルの出力値(スペクトル強度)を表す要素値を要素値Ｓiおよび要素値Ｔj(１≦ｉ,ｊ≦Ｌ)とする。そして、両スペクトル包絡同士が対応するように周波数軸を動的計画法によって非線形に伸縮する。つまり、対応すべき２つのスペクトル包絡Ｓ,Ｔからなる平面上の格子点ｃ＝(ｉ,ｊ)の系列
Ｆ＝ｃ1,ｃ2,…,ｃK,…,ｃL
を考える。そして、格子点ｃ＝(ｉ,ｊ)に関する要素値Ｓiと要素値Ｔjとの距離ｄ(ｉ,ｊ)＝ｄ(ｃ)の系列Ｆに沿った総和Ｄを最小にする系列Ｆminを、上記最適ＤＰパス(周波数ワーピング関数)とするのである。
【００６３】
ステップＳ22で、上記非線形周波数軸スペクトルマッチング部１２によって、上記周波数ワーピング関数が、音素番号ｘと共に周波数ワーピング関数メモリ１３に送出される。そして、周波数ワーピング関数メモリ１３によって音素番号ｘと話者番号sＴ,sＳとのラベルが付与されて格納される。
【００６４】
本実施の形態において用いる周波数ワーピング関数のデータ形式は、図８(b)に示すように、ＤＰパス上の格子点ｃ(ｉ,ｊ)の要素値は「０」より大きな整数であり、ＤＰパス以外の格子点ｃ(ｉ,ｊ)の要素値は「０」であるようなＬ行Ｌ列のマトリクスである。尚、帯域の分割数Ｌの数は多い方がワーピング精度が上がるので望ましい。しかしながら、あまり多くすると周波数ワーピング関数メモリ１３の記憶容量が大きくなり、処理時間も長くなってしまう。
【００６５】
尚、上述の説明においては、非線形周波数軸スペクトルマッチング部１２は、同じ音素に関する標準話者Ｓの平均スペクトル包絡Ｓと対象話者Ｔの平均スペクトル包絡Ｔとにおける各チャンネルの要素値(スペクトル強度)Ｓi,Ｔjを用いてマッチングを行なっているが、マッチング対象はスペクトル包絡の各チャネルの出力値(スペクトル強度)に限定されるものではない。例えば、平均スペクトル包絡Ｓと平均スペクトル包絡Ｔとに関する隣接チャネル間の出力値の差(スペクトル局所傾き)ΔＳとΔＴとを用いてマッチングを行なっても構わない。
但し、ΔＴj＝Ｔj−Ｔ(j-1)
ΔＳi＝Ｓi−Ｓ(i-1)
ここで、２≦ｉ，ｊ≦Ｌ
【００６６】
ステップＳ23で、音素番号ｘが最大値ｘMAX以上であるか否かが判別される。その結果、最大値ｘMAX以上であればステップＳ25に進む一方、そうでなければステップＳ24に進む。ステップＳ24で、音素番号ｘがインクリメントされる。そうした後、上記ステップＳ19に戻って、次の音素の標準話者Ｓと対象話者Ｔとのスペクトル包絡のマッチング、得られた周波数ワーピング関数の格納の処理に移行する。
【００６７】
ステップＳ25で、上記平均化処理部１４によって、周波数ワーピング関数メモリ１３から各話者毎の周波数ワーピング関数が読み出され、上記ステップＳ11において分類された「類似音素」,「有声音区間/無声音区間」及び「音声区間全体」毎の平均が、線形変換等によって算出される。そして、得られた平均周波数ワーピング関数(図８(c)に示すように周波数ワーピング関数の加算値で代用してもよい)が、対応する類似音素名,有声音区間/無声音区間及び音声区間全体のラベルが付与されて、周波数ワーピング関数メモリ１３によって格納される。そうした後、学習モード時の処理動作を終了する。
【００６８】
以上のごとく、上記学習モード時には、学習対象話者Ｔと標準話者Ｓとの発声から、各音素毎にスペクトル包絡及びスペクトル傾きを抽出する。そして、「音素」,「類似音素」,「有声音区間/無声音区間」および「音声区間全体」毎の平均スペクトル包絡および平均スペクトル傾きが求められる。さらに、同じ音素に関する標準話者Ｓの平均スペクトル包絡と対象話者Ｔの平均スペクトル包絡とにおける非線形周波数軸スペクトルマッチングを行って最適ＤＰパスに相当する周波数ワーピング関数を求め、「音素」,「類似音素」,「有声音区間/無声音区間」および「音声区間全体」毎の平均周波数ワーピング関数を求める。
【００６９】
こうして、上記学習対象話者Ｔの平均スペクトル包絡を標準話者Ｓの平均スペクトル包絡に正規化するための話者正規化関数(平均周波数ワーピング関数)を学習するのである。その際に、上記周波数ワーピング関数は、同一話者および同一音素で平均化された平均スペクトル包絡を用いて得られる。したがって、発声癖に起因する音素毎に異なる個人差が正規化されているのである。
【００７０】
［認識モード時］
図６および図７は、上記話者正規化音声認識処理動作における認識モード時のフローチャートである。以下、図６および図７に従って、認識モード時の処理動作について詳細に説明する。ここで、マッチング・平均化処理部６のスペクトル包絡・傾きメモリ１１には、学習モード時に得られた「音素」,「類似音素」,「有声音区間/無声音区間」および「音声区間全体」毎の平均スペクトル包絡および平均スペクトル傾きが、学習データとして各話者別に格納されている。また、周波数ワーピング関数メモリ１３には、学習モード時に得られた「音素」,「類似音素」,「有声音区間/無声音区間」および「音声区間全体」毎の平均周波数ワーピング関数が学習データとして格納されている。
【００７１】
ステップＳ31〜ステップＳ35で、上記学習時のフローチャートのおける上記ステップＳ1〜ステップＳ5と同様にして、音素区間番号ｙの初期値設定、音声波形の入力、ケプストラム分析結果と韻律情報との抽出、スペクトル包絡及びスペクトル傾きの抽出、音声認識が行われる。そして、認識結果としての音素番号(音素名)系列が出力される。
【００７２】
ステップＳ36で、上記話者認識部５によって、波形分析部１からの韻律情報の時系列と、スペクトル包絡・傾き抽出部２からのスペクトル包絡およびスペクトル傾きの時系列とが、上記内部メモリに蓄積されている音声標準パターン(韻律情報,スペクトル包絡及びスペクトル傾き)群と比較される。そして、最も尤度の高い音声標準パターンに付加されている話者が認識されて、認識結果としての話者番号sＴが出力される。ステップＳ37で、スペクトル包絡・傾き抽出部２で抽出されたスペクトル包絡およびスペクトル傾きの時系列が、音声認識部３からの音素番号ｘと話者認識部５からの話者番号sＴとの対でなるラベルが付与されて、区間位置(始端,終端)と共にスペクトル包絡・傾きメモリ１１に格納される。
【００７３】
ステップＳ38で、上記音素区間番号ｙがインクリメントされる。ステップＳ39で、波形分析部１に対して引き続き音声の入力があるか否かが判別される。その結果、入力音声波形があれば上記ステップＳ32に戻って、次の音声に関する上記スペクトル包絡およびスペクトル傾きの抽出,音声認識および話者認識に移行する。一方、入力波形が無ければステップＳ40に進む。ステップＳ40で、音素区間番号ｙの最大値ｙMAXが、値(ｙ−１)に設定される。
【００７４】
ステップＳ41で、上記音素区間番号ｙに、初期値「１」が設定される。ステップＳ42で、スペクトル包絡変換部７によって、スペクトル包絡・傾きメモリ１１から、上記ステップＳ34において抽出された、ｙ番目の区間の音素ｘに関する話者sＴによるスペクトル包絡およびスペクトル傾きの時系列がロードされる。ステップＳ43で、スペクトル包絡・傾きメモリ１１内に、話者sＴの音素ｘに関する学習データが十分にあるか否かが判別される。その結果、十分にある場合にはステップＳ44に進み、十分ない場合にはステップＳ46に進む。
【００７５】
ステップＳ44で、認識対象話者Ｔ(上記話者認識結果の話者番号sＴに相当)の音素ｘに関する学習データは十分にあるから、上記スペクトル包絡変換部７によって、周波数ワーピング関数メモリ１３から、ｙ番目の区間の音素ｘに関する標準話者Ｓと認識対象話者Ｔとの間の平均周波数ワーピング関数が読み出される。そして、上記ステップＳ42においてロードされた話者番号sＴの認識対象話者Ｔによるスペクトル包絡Ｔが、平均周波数ワーピング関数(要素値ｃ(ｉ,ｊ))を用いて次式
Ｓi＝ΣＴj＊ｃ(ｉ,ｊ)/Σｃ(ｉ,ｊ)
但し、１≦ｊ≦Ｌ（または、ｉ−α≦ｊ≦ｉ＋α、α：正整数)
に従って変形されて、認識対象話者Ｔの変形スペクトル包絡Ｓ(ｉチャネルの要素値Ｓi)が求められる。その結果、図９(a)に示すように、認識対象話者Ｔのスペクトル包絡ＴのピークＴaのチャネル位置(ｊ＝４)が、変形スペクトル包絡Ｓにおいてはチャネル位置(ｉ＝３)にワープされるのである。
【００７６】
ステップＳ45で、上記スペクトル傾き変換部８によって、上記スペクトル包絡・傾きメモリ１１から、ｙ番目の区間の音素ｘに関する標準話者番号sＳが付与された標準話者Ｓの平均スペクトル傾きと話者番号sＴが付与された認識対象話者Ｔの平均スペクトル傾きとが読み出され、両平均スペクトル傾きの差が算出される。そして、図９(b)に示すように、両平均スペクトル傾きの差の分だけ、上記ステップＳ44において得られた変形スペクトル包絡の傾きが補正されて認識対象話者Ｔの正規化済みスペクトル包絡が求められる。こうして、認識対象話者Ｔのスペクトル包絡Ｔが標準話者Ｓのスペクトル包絡Ｓに正規化されるのである。そうした後に、ステップＳ48に進む。
【００７７】
ここで、上記周波数ワーピング関数メモリ１３には、各音素毎,各類似音素毎,有声音区間/無声音区間毎および音声区間全体毎の複数の平均周波数ワーピング関数が格納されている。したがって、以下のように、学習モード時の認識対象話者Ｔの発声データの量に応じて、適切な平均周波数ワーピング関数を選択することができるのである。すなわち、ある音素(例、後舌母音/ｏ/)の発声データが少ないか全く無い場合には、当該音素(/ｏ/)の類似音素(例、後舌母音/ａ/)の平均周波数ワーピング関数、あるいは、有声音区間の平均周波数ワーピング関数および平均スペクトル傾きを選択する。あるいは、当該音素(/ｏ/)の発声データが十分に多い場合には、上述したように、当該音素(/ｏ/)の平均周波数ワーピング関数および平均スペクトル傾きを選択するのである。こうすることによって、認識対象話者Ｔの学習用発声データの量が少ない場合でも対処することができ、認識対象話者Ｔの発声負担を軽減することができるのである。
【００７８】
ステップＳ46で、上記認識対象話者Ｔの音素ｘに関する学習データは不十分であるから、上記スペクトル包絡変換部７によって、周波数ワーピング関数メモリ１３から、ｙ番目の区間の音素ｘに関する標準話者Ｓと認識対象話者Ｔとの間の類似音素,有声音区間/無声音区間あるいは音声区間全体の平均周波数ワーピング関数が読み出される。そして、上記ステップＳ42においてロードされた認識対象話者Ｔのスペクトル包絡Ｔが上記ステップＳ44の場合と同様に変形されて、変形スペクトル包絡Ｓが求められる。
【００７９】
ステップＳ47で、上記認識対象話者Ｔの音素ｘに関する学習データは不十分であるから、上記スペクトル傾き変換部８によって、スペクトル包絡・傾きメモリ１１から、ｙ番目の区間の音素ｘに関する標準話者Ｓおよび認識対象話者Ｔの類似音素,有声音区間/無声音区間あるいは音声区間全体の平均スペクトル傾きが読み出される。そして、上記ステップＳ45の場合と同様にして、上記変形スペクトル包絡の傾きが補正されて認識対象話者Ｔの正規化済みスペクトル包絡が求められる。
【００８０】
ステップＳ48で、上記音声認識部３によって、上記ステップＳ45あるいはステップＳ47において得られた認識対象話者Ｔの上記正規化済みスペクトル包絡と、上記パワー等の韻律情報の時系列とに基づいて、ＨＭＭ等によって再度音声認識が行われる。そして、得られた認識結果の音素系列が正式な認識結果として出力される。ステップＳ49で、音素区間番号ｙが最大値ｙMAX以上であるか否かが判別される。その結果、最大値ｙMAXより小さければステップＳ50に進み、そうでなければ認識モード時の処理動作を終了する。ステップＳ50で、音素区間番号ｙがインクリメントされる。そうした後、上記ステップＳ42に戻って、次の音素区間の変形スペクトル包絡への変換、正規化済みスペクトル包絡への変換、音声認識の処理に移行する。そして、上記ステップＳ49において、音素区間番号ｙが最大値ｙMAX以上であると判別されると認識モード時の処理動作を終了する。
【００８１】
以上のごとく、上記認識モード時には、認識対象話者Ｔの発声から音素区間毎にスペクトル包絡およびスペクトル傾きを抽出し、音声認識と話者認識とを行って音素番号ｘと話者番号sＴとを得る。そして、上記学習モード時に得られた音素番号ｘと話者番号sＴとに該当する認識対象話者Ｔ/標準話者Ｓ間の平均周波数ワーピング関数を用いて、認識対象話者Ｔのスペクトル包絡を標準話者Ｓのスペクトル包絡に変換して変形スペクトル包絡を得る。さらに、上記学習モード時に得られた音素番号ｘと話者番号sＴとに該当する認識対象話者Ｔの平均スペクトル傾きと標準話者Ｓの平均スペクトル傾きと差の分だけ、上記変形スペクトル包絡の傾きを補正して正規化済みスペクトル包絡を得る。以後、この正規化済みスペクトル包絡を用いて、音声認識部３によって再度音声認識を行うのである。
【００８２】
こうして、上記標準話者Ｓに正規化されたスペクトル包絡を用いることによって、正しく入力音声を認識できる。さらに、その際に用いる平均周波数ワーピング関数は、上述のごとく同一話者および同一音素に関する平均スペクトル包絡を用いて求められている。したがって、身体上の差に起因する個人差(ハード差)のみならず発声癖に起因する個人差(ソフト差)も正規化できる。しかしながら、音韻差は正規化されないのである。
【００８３】
また、上記スペクトル包絡変換時に用いる平均周波数ワーピング関数や、上記変形スペクトル包絡の傾き補正時に用いる平均スペクトル傾きは、「音素」,「類似音素」,「有声音区間/無声音区間」および「音声区間全体」毎に求めてある。したがって、スペクトル包絡・傾きメモリ１１に格納されている認識対象話者Ｔのデータ量に応じて、適切な区分での平均周波数ワーピング関数や平均スペクトル傾きを用いることによって、認識対象話者Ｔの学習用発声データの量が少ない場合でも高い精度で音声認識を行うことができる。すなわち、本実施の形態によれば、学習対象話者の発声負担を軽減することができるのである。
【００８４】
尚、上記実施の形態においては、予め、学習対象話者と標準話者との同一音素の平均スペクトル包絡を求め、その平均スペクトル包絡を用いて非線形周波数軸スペクトルマッチングを行って平均周波数ワーピング関数を求めている。しかしながら、同一音素の個々のスペクトル包絡を用いて非線形周波数軸スペクトルマッチングを行って周波数ワーピング関数を求め、その周波数ワーピング関数を同一音素内で平均して平均周波数ワーピング関数を求めても差し支えない。
【００８５】
また、上記実施の形態においては、認識モード時にのみスペクトル包絡の正規化を行っている。しかしながら、この発明はこれに限定されるものではなく、ＨＭＭ等の不特定話者音声認識方法によって音声認識を行う音声認識部３の場合には、以下のように、学習モード時に利用しても構わない。すなわち、上述のようにして周波数ワーピング関数を構築した後、学習用音声データに対して波形分析部１,スペクトル包絡・傾き抽出部２,話者認識部５およびスペクトル包絡変換部７によって上記スペクトル包絡の標準話者方向への正規化を行なう。そして、得られた正規化済みスペクトル包絡から抽出された音素標準パターンを音素標準パターンメモリ４に蓄積するのである。但し、この場合には、未だ音声認識部３の音素識別性能は十分高くはないので、スペクトル包絡の時系列への音素ラベル付けは音声認識部３の認識結果に因らずに教師有りで行う方が望ましい。
【００８６】
このように、上記正規化済みスペクトル包絡から抽出された学習後の音素標準パターンを用いることによって、音声認識部３の音素識別性能を向上できる。更には、音声認識部３が混合分布ＨＭＭを利用する場合に、音素毎の音素標準パターンの分散を小さくし、遷移確率の混合分布に用いる分布数を「１」または「より少ない数」に抑えることができる。したがって、実行時のメモリ容量とプロセッサ負荷とを軽減できるのである。
【００８７】
＜第２実施の形態＞
図１０は、本実施の形態の音声認識装置におけるブロック図である。声道断面積抽出部２２は、波形分析部２１における自己相関分析または共分散分析の結果に基づいて、声門から唇に掛けての声道断面積を抽出する。音声認識部２３は、声道断面積抽出部２２で抽出された声道断面積と波形分析部２１で抽出された韻律情報(パワーやピッチ周波数等)の時系列に基づいて、音素標準パターンメモリ２４の音素標準パターンを参照して音声認識を行なう。
【００８８】
話者認識部２５は、学習モード時には、入力された学習対象話者Ｔの声道断面積および韻律情報の時系列を話者音声標準パターンとして内部メモリ等に蓄積する。一方、認識モード時には、入力された認識対象話者Ｔの声道断面積および韻律情報の時系列を上記話者音声標準パターン群と比較して話者認識を行う。
【００８９】
マッチング・平均化処理部２６は、話者毎の各音素の声道断面積に対して、音素,類似音素,有声音区間/無声音区間および音声区間全体(話者)毎に平均値の算出を行う。また、動的計画法による非線形声道軸マッチングによって、各音素毎に学習対象話者の平均声道断面積と標準話者の平均声道断面積とのマッチングを行い、平均声道軸ワーピング関数を求める。さらに、各音素の平均声道軸ワーピング関数に対して、上記類似音素,有声音区間/無声音区間および音声区間全体毎に平均値の算出を行う。
【００９０】
声道断面積変換部２７は、認識対象話者と標準話者との間の平均声道軸ワーピング関数を用いて、認識対象話者による認識対象音素の声道断面積を標準話者の声道断面積(正規化済み声道断面積)に変換する。そして、音声認識部２３は、認識時において、上記正規化済み声道断面積を用いて再度音声認識を行う。こうして、話者正規化した音声認識結果を得るのである。
【００９１】
このように、第２の実施の形態においては、上記第１実施の形態におけるスペクトル包絡の代りにスペクトル包絡との関連性の高い声道断面積を用い、認識対象話者の声道断面積の声道軸を非線形伸縮して標準話者の声道断面積を求めるようにしている。したがって、上記第１実施の形態の場合と同様に、少量の音声データで、身体上の差に起因する個人差(ハード差)のみならず発声癖に起因する個人差(ソフト差)も正規化し、且つ、音韻差は正規化しない音声認識を行うことができるのである。
【００９２】
＜第３実施の形態＞
図１１は、上記第１実施の形態あるいは第２実施の形態における音声認識方法を用いた音声認識システムのブロック図を示す。話者正規化機能付き音声認識手段３２は、上記第１実施の形態あるいは第２実施の形態における音声認識装置に相当する。但し、得られた正規化済みスペクトル包絡あるいは正規化済み声道断面積は、音声認識部に送出しないようになっている。したがって、上記音声認識部は正規化済みスペクトル包絡あるいは正規化済み声道断面積を用いた最終的な音声認識結果は行わないのである。
【００９３】
送信制御部３３は、上記話者正規化機能付き音声認識手段３２と通信ネットワーク３４との接続を制御する。ここで、話者正規化機能付き音声認識手段３２と送信制御部３３とは一体に構成されていてもよいし、有線や無線で情報の伝達が行えれば切り離されていてもよい。ユーザは、話者正規化機能付き音声認識手段３２と送信制御部３３とをセットとして通信ネットワーク３４に接続するので、話者正規化機能付き音声認識手段３２と送信制御部３３とを一まとめにしてユーザ端末３１と言う。
【００９４】
上記通信ネットワーク３４は、ＬＡＮ(ローカル・エリア・ネットワーク)およびＷＡＮ(ワイド・エリア・ネットワーク)の何れでもよい。また、有線通信および無線通信の何れのネットワークであってもよい。センターシステム３５は、ユーザ端末３１から通信ネットワーク３４を介してアクセスされて種々の情報処理を行い、サービスをユーザ端末３１に返す。
【００９５】
上記センターシステム３５の制御部３６は、上記通信ネットワーク３４とセンターシステム３５との接続を制御する。音素認識部３７は、話者正規化機能付き音声認識手段３２から通信ネットワーク３４を介して送信されてくる話者正規化されたパラメータに基づいて音素を認識する。言語処理部３８は、音素認識部３７で認識された音素列に対して、メモリ３９に蓄積された語彙辞書および文法を用いて言語処理を行い、話者正規化機能付き音声認識手段３２に音声入力された言語を認識する。アプリケーション４０は、言語処理部３８の認識結果に基づいて制御部３６の制御の下に起動されて、ユーザ端末３１にサービスを提供するプログラムである。
【００９６】
図１２は、上記構成を有する音声認識システムにおけるユーザ端末３１およびセンターシステム３５によって行われる話者正規化音声認識/情報処理動作のフローチャートを示す。尚、以下の説明においては、話者正規化機能付き音声認識手段３２は、上記第１実施の形態と同様に機能して、正規化済みスペクトル包絡を上記正規化されたパラメータとして出力するものとする
以下、図１２に従って、話者正規化音声認識/情報処理動作に付いて詳細に説明する。その際に、ユーザ端末３１の話者正規化機能付き音声認識手段３２は、第１実施の形態の場合と同様にして学習が行われ、周波数ワーピング関数メモリには「音素」,「類似音素」,「有声音区間/無声音区間」および「音声区間全体」毎の平均周波数ワーピング関数が格納されているものとする。尚、ステップＳ51〜ステップＳ54はユーザ端末３１側の処理動作であり、ステップＳ55〜ステップＳ59はセンターシステム３５側の処理動作である。
【００９７】
ステップＳ51で、上記話者正規化機能付き音声認識手段３２に対して話者Ｔの発声による音声が入力される。ステップＳ52で、話者正規化機能付き音声認識手段３２によって、第１実施の形態の場合と同様にして、入力された音声が波形分析されて、ケプストラム,パワー等の音響パラメータの時系列が求められる。ステップＳ53で、さらに、上記得られたパラメータの時系列に基づいて、第１実施の形態の場合と同様にして、認識対象話者Ｔと標準話者Ｓとの間の平均周波数ワーピング関数を用いた平均スペクトル包絡の話者正規化が行われ、正規化済みスペクトル包絡が得られる。ステップＳ54で、送信制御部３３によって、上記話者正規化された正規化済みスペクトル包絡が、通信ネットワーク３４を介してセンターシステム３５の制御部３６に送信される。尚、本実施の形態においては音響パラメータとしてスペクトル包絡を送信しているが、スペクトル包絡に逆ＦＦＴ(高速フーリエ変換)処理を行って抽出されるケプストラムや他の処理を施して抽出される別の音響パラメータを送信しても構わない。
【００９８】
ステップＳ55で、上記センターシステム３５の制御部３６によって、通信ネットワーク３４経由で送信されてくる上記正規化済みスペクトル包絡の時系列が受信され、音素認識部３７に送出される。ステップＳ56で、音素認識部３７によって音素認識が行われる。そして、認識結果として音素ラティスが求められて制御部３６に返される。
【００９９】
ステップＳ57で、上記制御部３６によって、受け取った音素ラティスが言語処理部３８に送出される。そして、言語処理部３８によって、メモリ３９に格納された言語ラティスに関係する語彙や文法が参照されて、話者Ｔが発声した単語が認識される。ステップＳ58で、さらに、上記認識された単語に基づいて話者Ｔが発声した文が認識される。そして、認識された文が制御部３６に返される。ステップＳ59で、制御部３６によって、受け取った文の内容に応じてアプリケーション４０が起動される。そして、アプリケーション４０によって、例えば、追加情報の入力あるいは情報の生成が行われ、その結果が制御部３６によって通信ネットワーク３４を介してユーザ端末３１に送信されて、サービスが提供される。そうした後、話者正規化音声認識/情報処理動作を終了する。
【０１００】
このように、本実施の形態においては、ユーザ端末３１側に、上記第１実施の形態あるいは第２実施の形態における音声認識装置と同様に正規化済みスペクトル包絡あるいは正規化済み声道断面積を求めることができる話者正規化機能付き音声認識手段３２を搭載している。そして、得られた正規化済みスペクトル包絡あるいは正規化済み声道断面積を、通信ネットワーク３４を介して、送信制御部３３によって、センターシステム３５に送信する。
【０１０１】
一方、上記センターシステム３５側には、上記音素認識部３６および言語処理部３８を設けて、上記正規化済みスペクトル包絡あるいは正規化済み声道断面積に基づいて、ユーザ端末３１へのユーザの音声入力文を認識し、この認識結果に応じてアプリケーション４０を起動するようにしている。
【０１０２】
したがって、上記ユーザ端末３１側において、ユーザの音声入力文を認識し、この認識結果に応じてアプリケーション４０を起動する指示を、通信ネットワーク３４を介してセンターシステム側に送信する場合に比して、ユーザ端末３１側に言語処理部を搭載する必要が無く、ユーザ端末３１側の構成を簡素化できるのである。
【０１０３】
尚、上記各実施の形態においては、上記音声単位として音素を用いているが、音節であっても適用可能である。
【０１０４】
ところで、上記各実施の形態における波形分析部１・２１,スペクトル包絡・傾き抽出部２,声道断面積抽出部２２,音声認識部３・２３,話者認識部５・２５,非線形周波数軸スペクトルマッチング部１２,平均化処理部１４,スペクトル包絡変換部７,スペクトル傾き変換部８および声道断面積変換部２７による上記話者正規化音声認識処理機能は、プログラム記録媒体に記録された話者正規化音声認識処理プログラムによって実現される。ここで、上記プログラム記録媒体は、ＲＯＭ(リード・オンリ・メモリ)等でなるプログラムメディアである。あるいは、外部補助記憶装置に装着されて読み出されるプログラムメディアであってもよい。尚、何れの場合においても、上記プログラムメディアから話者正規化音声認識処理プログラムを読み出すプログラム読み出し手段は、上記プログラムメディアに直接アクセスして読み出す構成を有していてもよいし、上記ＲＡＭに設けられたプログラム記憶エリア(図示せず)にダウンロードし、上記プログラム記憶エリアにアクセスして読み出す構成を有していてもよい。尚、上記プログラムメディアからＲＡＭの上記プログラム記憶エリアにダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。
【０１０５】
ここで、上記プログラムメディアとは、本体側と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フロッピーディスク,ハードディスク等の磁気ディスクやＣＤ(コンパクトディスク)−ＲＯＭ,ＭＯ(光磁気)ディスク,ＭＤ(ミニディスク),ＤＶＤ(ディジタルビデオディスク)等の光ディスクのディスク系、ＩＣ(集積回路)カードや光カード等のカード系、マスクＲＯＭ,ＥＰＲＯＭ（紫外線消去型ＲＯＭ),ＥＥＰＲＯＭ(電気的消去型ＲＯＭ),フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体である。
【０１０６】
また、上記プログラムメディアは、通信ネットワークからのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワークからダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。あるいは、別の記録媒体からインストールされるものとする。
【０１０７】
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。
【０１０８】
【発明の効果】
以上より明らかなように、第１の発明の音声認識装置は、スペクトル包絡抽出手段によって第１,第２話者の発声に基づく第１,第２スペクトル包絡を抽出し、非線形周波数軸スペクトルマッチング手段によって、第１,第２スペクトル包絡の周波数軸の対応付けを表わす周波数ワーピング関数を求め、スペクトル包絡変換手段によって、認識対象の第１スペクトル包絡を上記周波数ワーピング関数に基づいて第２話者に関するスペクトル包絡に変換し、音声認識手段によって、上記変換された正規化済みスペクトル包絡に基づいて入力音声を認識するので、上記第１話者による認識対象の第１スペクトル包絡の周波数軸を上記周波数軸の対応付けに従って非線形伸縮して、第２話者によるスペクトル包絡に正規化することができる。
【０１０９】
したがって、この発明によれば、上記第１話者を不特定話者とし上記第２話者を標準話者とすれば、不特定話者による発声に基づくスペクトル包絡を標準話者のスペクトル包絡に話者正規化して、精度の高い音声認識を行うことができる。さらに、上記周波数ワーピング関数を同一音声単位に関する複数の第１,第２スペクトル包絡夫々の平均値に基づいて得ることによって、身体上の差に起因する個人差(ハード差)のみならず発声癖に起因する個人差(ソフト差)をも正規化できる。その場合、同じ音素間で非線形伸縮されるので、音韻差は正規化されない。
【０１１０】
さらに、平均化手段によって、上記周波数ワーピング関数を音素,類似音素,有声音区間/無声音区間および話者毎にグループ化し、各グループ別に平均値を算出して平均周波数ワーピング関数を求め、上記スペクトル包絡変換手段を、認識対象第１スペクトル包絡の音素と同じ音素に関する上記第１話者のデータの量に応じて決定されたグループの平均周波数ワーピング関数を上記周波数ワーピング関数として用いるようにしたので、上記第１メモリ手段に保存されている第１話者の発声データ量に応じて、適切なグループの平均周波数ワーピング関数を選択して上記周波数ワーピング関数の代りに用いることができる。したがって、第１話者の発声データ(学習データ)の量が少ない場合でも精度の高い音声認識を行うことができ、話者の発声負担を軽減できる。さらに、上記音素毎の平均周波数ワーピング関数を求めることによって、発声癖に起因する個人差を正規化できる。
【０１１１】
また、上記第１の発明の音声認識装置は、スペクトル傾き抽出手段によって第１,第２話者の発声に基づく第１,第２スペクトル包絡の傾きを抽出し、スペクトル傾き補正手段によって、第１,第２スペクトル包絡の傾きの差に基づいて、上記スペクトル包絡変換手段で得られた上記正規化済みスペクトル包絡の傾きを補正すれば、より的確に第２話者の音声に話者正規化できる。
【０１１２】
また、上記第１の発明の音声認識装置は、上記音声単位を音素とし、平均化手段によって、第１スペクトル包絡の傾きおよび第２スペクトル包絡の傾きを音素,類似音素,有声音区間/無声音区間及び話者毎にグループ化し、各グループ別に平均値を算出して平均スペクトル傾きを求め、上記スペクトル傾き補正手段を、上記認識対象第１スペクトル包絡の音素が属する何れかのグループの平均スペクトル傾きを上記スペクトル包絡の傾きとして用いるように成せば、上記第１メモリ手段に保存されている第１話者の発声データ量に応じて、適切なグループの平均スペクトル傾きを選択して上記スペクトル包絡の傾きの代りに用いることができる。したがって、第１話者の発声データ(学習データ)の量が少ない場合でも精度の高い音声認識を行なうことができる。さらに、上記音素毎の平均スペクトル傾きを求めることによって、発声癖に起因する個人差を正規化できる。
【０１１３】
また、上記第１の発明の音声認識装置は、上記スペクトル傾き補正手段を、上記第１メモリに格納された認識対象音素に関する上記第１話者のデータ量に応じて、用いる平均スペクトル傾きのグループを決定するように成せば、認識対象音素に関する上記第１話者による学習データ量に応じて、最適な範囲内で平均化された平均スペクトル傾きを用いることができる。したがって、第１話者の学習データの量が少ない場合でも、高い認識率を得ることができる。
【０１１４】
また、上記第１の発明の音声認識装置は、上記音声認識手段を、上記周波数ワーピング関数を求めるに際して、上記抽出された第１スペクトル包絡あるいは第２スペクトル包絡の時系列を不特定話者音声認識方法によって認識し、認識結果の音声単位名を上記第１メモリ手段に送出するようにすれば、上記ラベル用の音声単位名を第１,第２スペクトル包絡から自動的に得ることができる。したがって、上記スペクトル包絡あるいはスペクトル包絡の傾きに対するラベル付け処理を容易に行うことができる。
【０１１５】
また、上記第１の発明の音声認識装置は、上記周波数ワーピング関数を求める学習モード時に、複数の既知話者の音声を波形分析手段で波形分析して韻律情報を抽出し、話者認識手段によって上記韻律情報およびスペクトル包絡を音声標準パターンとして登録する一方、認識モード時には、上記話者認識手段によって上記登録された音声標準パターンを用いて上記認識対象話者を認識し、この認識された話者名に関する上記周波数ワーピング関数または第１スペクトル傾きを認識対象第１スペクトル包絡の正規化に使用するように成せば、上記第１話者として複数の話者が居り、夫々の第１話者毎に上記周波数ワーピング関数,第１スペクトル包絡および第１スペクトル傾きを格納しておけば、不特定話者に対して話者正規化音声認識を行うことができる。
【０１１６】
また、上記第１の発明の音声認識装置は、上記音声認識手段を、上記スペクトル包絡変換手段によって得られた正規化済みスペクトル包絡から抽出された標準パターンを用いて音声認識を行うように成せば、話者正規化された標準パターンを用いた高い識別精度での音声認識を行うことができる。さらに、上記音声認識手段が混合分布ＨＭＭを用いる音声認識手段である場合には、音声単位毎の音素標準パターンの分散を小さくして、遷移確率の混合分布に用いる分布数を「１」または「より少ない数」に抑えることができる。したがって、実行時のメモリ容量とプロセッサ負荷とを軽減できる。
【０１１７】
また、第２の発明は、声道断面積抽出手段によって第１,第２話者の発声に基づく第１,第２声道断面積を抽出し、非線形声道軸マッチング手段によって、第１,第２声道断面積の声道軸の対応付けを表わす声道軸ワーピング関数を求め、声道断面積変換手段によって、認識対象の第１声道断面積を上記声道軸ワーピング関数に基づいて第２話者に関する声道断面積に変換するので、上記第１話者による認識対象の第１声道断面積の声道軸を上記声道軸の対応付けに従って非線形伸縮して、第２話者による声道断面積に正規化することができる。
【０１１８】
したがって、この発明によれば、上記第１話者を不特定話者とし上記第２話者を標準話者とすれば、不特定話者による発声に基づく声道断面積を標準話者の声道断面積に話者正規化して、精度の高い音声認識を行うことができる。さらに、上記声道軸ワーピング関数を同一音声単位に関する複数の第１,第２声道断面積夫々の平均値に基づいて得ることによって、身体上の差に起因する個人差のみならず発声癖に起因する個人差をも正規化できる。その場合、声道軸のみを非線形伸縮して強度軸は伸縮しないので、音韻差は正規化されない。したがって、個人差の正規化性能が高い音声認識を行うことができる。
【０１１９】
さらに、平均化手段によって、上記声道軸ワーピング関数を音素,類似音素,有声音区間/無声音区間および話者毎にグループ化し、各グループ別に平均値を算出して平均声道軸ワーピング関数を求め、上記声道断面積変換手段を、認識対象第１声道断面積の音素と同じ音素に関する上記第１話者のデータの量に応じて決定されたグループの平均声道軸ワーピング関数を上記声道軸ワーピング関数として用いるようにしたので、上記第１メモリ手段に保存されている第１話者の発声データ量に応じて、適切なグループの平均声道軸ワーピング関数を選択して上記声道軸ワーピング関数の代りに用いることができる。したがって、第１話者の発声データ(学習データ)の量が少ない場合でも精度の高い音声認識を行うことができ、話者の発声負担を軽減できる。さらに、上記音素毎の平均声道軸ワーピング関数を求めることによって、発声癖に起因する個人差を正規化できる。
【０１２０】
また、第３の発明の音声認識方法は、上記第１,第２話者の発声音から第１,第２スペクトル包絡を抽出し、上記抽出された上記第１,第２スペクトル包絡に対して動的計画法を用いた非線形な周波数伸縮マッチングを行って上記周波数ワーピング関数を求め、認識対象の第１スペクトル包絡を抽出し、この認識対象第１スペクトル包絡を上記周波数ワーピング関数に基づいて第２話者に関するスペクトル包絡に変換し、この変換された正規化済みスペクトル包絡に基づいて入力音声を認識するので、上記第１の発明の場合と同様に、身体上の差に起因する個人差のみならず発声癖に起因する個人差をも正規化できる。その場合、音韻差は正規化されず、個人差の正規化性能が高い音声認識を行うことができる。
【０１２１】
さらに、平均化手段によって、上記周波数ワーピング関数を音素,類似音素,有声音区間/無声音区間および話者毎にグループ化し、各グループ別に平均値を算出して平均周波数ワーピング関数を求め、上記スペクトル包絡の変換時に、認識対象第１スペクトル包絡の音素と同じ音素に関する上記第１話者のデータの量に応じて決定されたグループの平均周波数ワーピング関数を上記周波数ワーピング関数として用いるようにしたので、保存されている上記第１話者の発声データ量に応じて、適切なグループの平均周波数ワーピング関数を選択して上記周波数ワーピング関数の代りに用いることができる。したがって、第１話者の発声データ(学習データ)の量が少ない場合でも精度の高い音声認識を行うことができ、話者の発声負担を軽減できる。さらに、上記音素毎の平均周波数ワーピング関数を求めることによって、発声癖に起因する個人差を正規化できる。
【０１２２】
また、上記第３の発明の音声認識方法は、上記第１,第２話者の発声音から第１,第２スペクトル包絡の傾きを抽出し、上記第１,第２スペクトル包絡の傾きの差に基づいて上記変換された正規化済みスペクトル包絡の傾きを補正し、上記入力音声を認識する場合には上記傾き補正後の正規化済みスペクトル包絡を用いれば、より的確に第２話者の音声に話者正規化することができる。
【０１２３】
また、第４の発明の音声認識システムは、ユーザ端末側で、上記第１の発明あるいは第２の発明の音声認識装置で得られた入力音声に関する上記正規化済みスペクトル包絡あるいは上記正規化済み声道断面積を、送信制御手段によって通信ネットワークを介してセンターシステムへ送信し、上記センターシステム側で、制御部によって受信した上記正規化済みスペクトル包絡あるいは上記正規化済み声道断面積に基づいて、入力音声認識部によって上記音声認識装置への入力音声を認識するので、上記第１の発明あるいは上記第２の発明の場合と同様に、個人差の正規化性能が高い音声認識を行うことができる。
【０１２４】
さらに、上記ユーザ端末側で、入力音声の認識処理および言語処理を行う必要がない。したがって、上記ユーザ端末の構成を簡素化できる。
【０１２５】
また、第５の発明のプログラム記録媒体は、コンピュータを、上記第１の発明におけるスペクトル包絡抽出手段,非線形周波数軸スペクトルマッチング手段,スペクトル包絡変換手段,音声認識手段,平均化手段,スペクトル傾き抽出手段,スペクトル傾き補正手段および話者認識手段として機能させる話者正規化音声認識処理プログラムを記録しているので、上記周波数ワーピング関数を用いて、第１話者による認識対象の第１スペクトル包絡の周波数軸を非線形伸縮して、第２話者によるスペクトル包絡に変換することができる。さらに、この変換された正規化済みスペクトル包絡の傾きを、第１,第２スペクトル包絡の傾きの差に基づいて補正することができる。したがって、上記傾き補正後の正規化済みスペクトル包絡に基づいて高い精度で入力音声を認識することができる。
【０１２６】
すなわち、この発明によれば、上記第１の発明の場合と同様に、身体上の差に起因する個人差のみならず発声癖に起因する個人差をも正規化でき、個人差の正規化性能が高い音声認識を行うことができるのである。
【図面の簡単な説明】
【図１】  この発明の音声認識装置におけるブロック図である。
【図２】  図１におけるマッチング・平均化処理部の詳細なブロック図である。
【図３】  スペクトル傾きおよびスペクトル包絡の例を示す図である。
【図４】  図１に示す音声認識装置による話者正規化音声認識処理動作の学習モード時のフローチャートである。
【図５】  図４に続く学習モード時のフローチャートである。
【図６】  話者正規化音声認識処理動作における認識モード時のフローチャートである。
【図７】  図６に続く認識モード時のフローチャートである。
【図８】  動的計画法による非線形周波数軸スペクトルマッチングの概念を示す図である。
【図９】  スペクトル包絡正規化の概念図である。
【図１０】  図１とは異なる音声認識装置におけるブロック図である。
【図１１】  この発明の音声認識システムのブロック図である。
【図１２】  図１１におけるユーザ端末およびセンターシステムによって行われる話者正規化音声認識/情報処理動作のフローチャートである。
【符号の説明】
１,２１…波形分析部、
２…スペクトル包絡・傾き抽出部、     ３,２３…音声認識部、
４,２４…音素標準パターンメモリ、   ５,２５…話者認識部、
６,２６…マッチング・平均化処理部、  ７…スペクトル包絡変換部、
８…スペクトル傾き変換部、        １１…スペクトル包絡・傾きメモリ、
１２…非線形周波数軸スペクトルマッチング部、
１３…周波数ワーピング関数メモリ、  １４…平均化処理部、
２２…声道断面積抽出部、            ２７…声道断面積変換部、
３１…ユーザ端末、
３２…話者正規化機能付き音声認識手段、
３３…送信制御部、                  ３４…通信ネットワーク、
３５…センターシステム、            ３６…制御部、
３７…音素認識部、                  ３８…言語処理部、
３９…メモリ、                      ４０…アプリケーション。
【図１】
0003689616.tif 000002
【図２】
0003689616.tif 000003
【図３】
0003689616.tif 000004
【図４】
0003689616.tif 000005
【図５】
0003689616.tif 000006
【図６】
0003689616.tif 000007
【図７】
0003689616.tif 000008
【図８】
0003689616.tif 000009
【図９】
0003689616.tif 000010
【図１０】
0003689616.tif 000011
【図１１】
0003689616.tif 000012
【図１２】
0003689616.tif 000013