(57)【要約】【課題】話者特定処理に必要な計算量や記憶容量等を最小限に抑制しつつ、長期間に渡って認識率が低下し難い話者特定装置を提供する。【解決手段】話者による発話の音響的特徴を示す話者モデルと、話者の発話に相当する特徴量信号と、を比較し、当該話者を特定する音声認識装置において、同一の話者について、本来の話者特定に用いられる登録話者モデルＲＭの他に、当該話者に対応し且つ当該話者の認識率が当該登録話者モデルＲＭよりも高い予備話者モデルＲＳＶを予め記憶し（ステップＳ１１）、当該登録話者モデルＲＭにおける認識率が低くなったとき当該登録話者モデルＲＭを予備話者モデルＲＳＶに入れ換えて以降の話者特定を行う（ステップＳ１５）。【選択図】図２
2008262047.tif 000002
【特許請求の範囲】
【請求項１】
一又は複数の話者による発話の音響的特徴を示す話者特徴情報と、当該話者の発話に相当する発話情報と、を比較し、当該話者を特定する話者特定装置において、
前記話者特徴情報を、各前記話者毎に記憶する話者特徴情報記憶手段と、
各前記話者の特定度が各前記話者特徴情報よりも高い予備話者特徴情報を、各前記話者毎に記憶する予備話者特徴情報記憶手段と、
各前記話者特徴情報における前記特定度が予め設定された基準閾値以下となったか否かを、当該各話者特徴情報毎に夫々判定する判定手段と、
前記話者特徴情報における前記特定度が前記基準閾値以下となったと判定されたとき、当該話者特徴情報に対応する前記予備話者特徴情報を、当該話者特徴情報に代えて前記話者特徴情報記憶手段に記憶させる置換手段と、
前記置換された予備話者特徴情報を用いて、当該予備話者特徴情報が置換された以降の前記話者の特定を行う特定手段と、
を備えることを特徴とする話者特定装置。
【請求項２】
請求項１に記載の話者特定装置において、
前記予備話者特徴情報記憶手段は、初期状態における各前記話者特徴情報を、夫々に対応する前記予備話者特徴情報として記憶することを特徴とする話者特定装置。
【請求項３】
請求項２に記載の話者特定装置において、
前記置換手段は、前記話者特徴情報における前記特定度が前記基準閾値以下となったと判定されたとき、当該話者特徴情報に対応する前記予備話者特徴情報を、当該話者特徴情報に代えて前記話者特徴情報記憶手段に複写して記憶させることを特徴とする話者特定装置。
【請求項４】
請求項１に記載の話者特定装置において、
前記話者の特定が実行されるとき、当該特定に用いられた前記話者特徴情報を当該特定に用いられた前記発話に相当する前記発話情報を用いて更新する話者特徴情報更新手段を更に備え、
前記予備話者特徴情報記憶手段は、予め設定された基準更新回数だけ更新された各前記話者特徴情報を、夫々に対応する前記予備話者特徴情報として記憶することを特徴とする話者特定装置。
【請求項５】
請求項１に記載の話者特定装置において、
前記話者特徴情報を用いた前記話者の特定に用いられた当該話者の前記発話に相当する前記発話情報を用いて、当該話者に対応する前記予備話者特徴情報を新たに生成して前記予備話者特徴情報記憶手段に記憶させる予備話者特徴情報生成手段を更に備えることを特徴とする話者特定装置。
【請求項６】
請求項１から５のいずれか一項に記載の話者特定装置において、
前記話者の特定が実行されるとき、当該特定に用いられた前記発話に相当する前記発話情報を用いて当該話者に対応する前記予備話者特徴情報を更新する予備話者特徴情報更新手段を更に備えることを特徴とする話者特定装置。
【請求項７】
請求項１から６のいずれか一項に記載の話者特定装置において、
前記話者の特定が実行されるとき、当該特定に用いられた前記話者特徴情報を当該特定に用いられた前記発話に相当する前記発話情報を用いて更新する話者特徴情報更新手段を更に備え、
前記判定手段は、各前記話者特徴情報の更新回数が前記基準閾値として予め設定されている更新回数以上となったとき、当該話者特徴情報の前記特定度が前記基準閾値以下となったと判定することを特徴とする話者特定装置。
【請求項８】
請求項１から６のいずれか一項に記載の話者特定装置において、
前記話者の特定が実行されるとき、当該特定に用いられた前記話者特徴情報を当該特定に用いられた前記発話に相当する前記発話情報を用いて更新する話者特徴情報更新手段を更に備え、
前記判定手段は、各前記話者特徴情報の生成からの経過期間が前記基準閾値として予め設定されている経過期間以上となったとき、当該話者特徴情報の前記特定度が前記基準閾値以下となったと判定することを特徴とする話者特定装置。
【請求項９】
請求項１から６のいずれか一項に記載の話者特定装置において、
前記特定度は、前記話者特徴情報と、前記発話情報と、の類似度であると共に、
前記話者の特定が実行されるとき、当該特定に用いられた前記話者特徴情報を当該特定に用いられた前記発話に相当する前記発話情報を用いて更新する話者特徴情報更新手段を更に備え、
前記判定手段は、各前記話者特徴情報における前記類似度が前記基準閾値として予め設定されている基準類似度以下となったとき、当該話者特徴情報の前記特定度が前記基準閾値以下となったと判定することを特徴とする話者特定装置。
【請求項１０】
請求項１から９のいずれか一項に記載の話者特定装置において、
前記置換された話者特徴情報を、前記話者特徴情報記憶手段から消去する消去手段を更に備えることを特徴とする話者特定装置。
【請求項１１】
請求項１から１０のいずれか一項に記載の話者特定装置と、
前記発話が入力されることで前記発話情報を生成する入力手段と、
前記特定された話者に対応する前記話者特徴情報を用いて当該発話の内容を認識し、認識結果情報を出力する認識手段と、
前記認識結果情報を、前記特定された話者による前記発話の内容を示す当該認識結果情報として出力する出力手段と、
を備えることを特徴とする音声認識装置。
【請求項１２】
コンピュータを、請求項１から１０のいずれか一項に記載の話者特定装置として機能させることを特徴とする話者特定用プログラム。
【請求項１３】
コンピュータを、請求項１１に記載の音声認識装置として機能させることを特徴とする音声認識用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、話者特定装置及び音声認識装置並びに話者特定用プログラム及び音声認識用プログラムの技術分野に属し、より詳細には、人たる話者の発話から当該話者と特定する話者特定装置及び話者特定用プログラム並びに当該話者の特定結果を用いて当該発話の内容を認識する音声認識装置及び音声認識用プログラムの技術分野に属する。
【背景技術】
【０００２】
従来、例えばカーナビゲーション装置の分野や文章入力装置の分野等において、夫々の装置の操作者が音声により発話した内容を認識して当該ナビゲーション動作や文章作成動作に用いることが行われている。
【０００３】
ここで、当該音声認識においては、その発話の音響的特徴を示すいわゆる話者モデルを発話者毎に生成して記憶しておき、実際の発話からその発話主を特定して対応する話者モデルを選択し、その後、当該選択された話者モデルと実際の発話の音響的特徴とを比較することで、その発話の内容を具体的に装置側で認識することが行われていた。
【０００４】
ここで、一般に、人の音声は、その成長過程や体調等により著しく変動するものである。このため、一つの話者モデルを長く使用して話者を特定し続けていると、その話者モデルを用いた当該話者の認識性能が低下してしまうこととなる。
【０００５】
すなわち、音声の変動に対応するためにはその時々の発話を用いて話者モデルを更新（学習）していくことが考えられるが、色々な状態の当該話者の発話を用いてその話者に対応する話者モデルが更新（学習）されていくということは、その話者の様々な発話に対応することができるように当該話者モデルが変化していく反面、様々な発話に対応できると言うことは、換言すれば、例えばその話者の発話に近い音響的特徴を備える他人の発話が、その話者の発話であると特定される可能性が高まってくることを意味するのである。これはすなわち、その話者としての認識性能が低下することを意味する。
【０００６】
そこで、この発話音声の経時変化に対応するための方法として、話者モデルの再作成処理、又は話者モデルに係るパラメータの逐次的な更新処理が従来から知られている。
【０００７】
すなわち、先ず、話者モデルを再作成することで当該経時変化に対応する方法としては、例えば、下記特許文献１の段落番号［０００４］及び［０００５］や、下記特許文献２の段落番号［０００３］に開示されているように、過去に発話された音声や話者モデル更新用の音声を記憶しておき、これらの音声に相当する音声データを加えて話者モデルを再学習させる方法がある。この方法によれば、音声の経時変化を含んだ話者モデルを作成できることとなる。
【０００８】
次に、話者モデルを構成するパラメータを更新することで当該経時変化に対応する方法としては、例えば、下記特許文献１の段落番号［００１１］乃至［００１６］や、下記特許文献２の段落番号［０００５］乃至［０００７］に開示されているように、過去に発声された音声（すなわち、話者モデルの音声の音響的特徴）と、更新用に改めて発声された音声の音響的特徴と、の双方に最適となるように、当該更新用の発話に相当する音声データだけを用いて話者モデルのパラメータを更新する方法がある。この方法によれば、過去の音声データを記憶せずに、話者モデルを再作成する方法と同等の効果が得られる。
【０００９】
なお、他の従来例としては、例えば、複数の話者モデルを用いて当該経時変化に対応させる方法がある。寄り具体的には、例えば下記特許文献２の段落番号［００３５］乃至［００５４］に開示されているように、一つの発話に対して複数の話者モデルを一度に適用して、類似度が高い方の話者モデルの認識結果を採用し、その認識に用いた発話の音声を用いて当該類似度が高い方の話者モデルの認識パターンを更新する方法がある。
【特許文献１】特開平９−１９８０８４号公報
【特許文献２】特開２００１−２２３７７公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した各特許文献に記載された方法では、以下のような問題点がある。
【００１１】
すなわち、先ず話者モデルを再作成する方法では、上述した如く人の音声が発声の度毎に変動することに起因して、発声変動に頑健な（すなわち、発生変動があっても認識性能が低下しない）話者モデルを作成するには、多量の音声データが必要であり、過去の音声の特徴パラメータを記憶しておくために必要なメモリの容量及び学習のための計算量が共に大きくなる。このため、実使用上では学習に用いる音声データ数が不十分となり、再作成された話者モデルは話者本人の発生の一部の音響的特徴のみが反映された話者モデルとなってしまい、結果として、その話者モデルの再作成直後は、話者本人の発声変動に対応できず認識性能が低下してしまうという問題点があった。
【００１２】
一方、上記パラメータ更新による方法では、話者モデル全体を更新することがないため、過去の音声変動の寄与（影響）がパラメータ更新後の話者モデル内に残置することとなるため、パラメータ更新を多数回行うと、様々な発声変動による音声の音響的特徴をその話者モデルが含むようになり、結果的に音声の個人性が低下して認識性能も低下してしまうという問題点があった。そして、この問題点を解決して長期間高い認識性能を維持する話者モデルを形成するためには、過去の音声が影響しないよう、各時期の音声を用いて話者モデルを再作成する等の対策が必要になる。しかしながら、この話者モデルの再作成は、結果的に上述した問題点を内包することとなる。
【００１３】
そこで、本願は上記の各問題点に鑑みて為されたもので、その課題の一例は、話者特定処理に必要な計算量や記憶容量等を最小限に抑制しつつ、長期間に渡って認識率が低下し難い話者特定装置及び当該話者特定用プログラム並びに当該話者の特定結果を用いて当該発話の内容を正確に認識することが可能な音声認識装置及び当該音声認識用プログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記の課題を解決するために、請求項１に記載の発明は、一又は複数の話者による発話の音響的特徴を示す話者特徴情報と、当該話者の発話に相当する発話情報と、を比較し、当該話者を特定する話者特定装置において、前記話者特徴情報を、各前記話者毎に記憶する登録話者モデル記憶部等の話者特徴情報記憶手段と、各前記話者の特定度が各前記話者特徴情報よりも高い予備話者特徴情報を、各前記話者毎に記憶する予備話者モデル記憶部等の予備話者特徴情報記憶手段と、各前記話者特徴情報における前記特定度が予め設定された基準閾値以下となったか否かを、当該各話者特徴情報毎に夫々判定するモデル劣化判定部等の判定手段と、前記話者特徴情報における前記特定度が前記基準閾値以下となったと判定されたとき、当該話者特徴情報に対応する前記予備話者特徴情報を、当該話者特徴情報に代えて前記話者特徴情報記憶手段に記憶させるモデル劣化判定部等の置換手段と、前記置換された予備話者特徴情報を用いて、当該予備話者特徴情報が置換された以降の前記話者の特定を行う話者認識部等の特定手段と、を備える。
【００１５】
上記の課題を解決するために、請求項１１に記載の発明は、請求項１から１０のいずれか一項に記載の話者特定装置と、前記発話が入力されることで前記発話情報を生成するマイク、音声特徴量変換部等の入力手段と、前記特定された話者に対応する前記話者特徴情報を用いて当該発話の内容を認識し、認識結果情報を出力する話者認識部等の認識手段と、前記認識結果情報を、前記特定された話者による前記発話の内容を示す当該認識結果情報として出力する出力端子等の出力手段と、を備える。
【００１６】
上記の課題を解決するために、請求項１２に記載の発明は、コンピュータを、請求項１から１０のいずれか一項に記載の話者特定装置として機能させる。
【００１７】
上記の課題を解決するために、請求項１３に記載の発明は、コンピュータを、請求項１１に記載の音声認識装置として機能させる。
【発明を実施するための最良の形態】
【００１８】
（Ｉ）実施形態
次に、本願を実施するための最良の形態について、図１乃至図３（ａ）を用いて説明する。なお、以下に説明する実施形態は、例えばカーナビゲーション装置や文章入力装置の一部として用いられる音声認識装置であって、発話者が発した音声の内容を認識し、当該認識した内容に相当する認識結果情報を外部に出力する音声認識装置に対して本願を適用した場合の実施の形態である。
【００１９】
また、図１は実施形態に係る音声認識装置の概要構成を示すブロック図であり、図２は当該音声認識装置の動作を示すフローチャートであり、図３（ａ）は当該動作を示すタイミングチャートである。
【００２０】
（Ａ）全体構成及び動作
始めに、実施形態に係る音声認識装置Ｓの全体構成及び動作について、図１を用いて説明する。
【００２１】
図１に示すように、実施形態に係る音声認識装置Ｓは、上記発話者によりその発話が入力される入力手段としてのマイク１と、増幅部２と、入力手段としての音声特徴量変換部３と、制御部１５からの切換信号Ｓswに基づいて切り換えられるスイッチ４と、特定手段及び認識手段としての話者認識部５と、閾値設定部６と、外部に対して上記認識結果情報Ｓraを出力するための出力手段としての出力端子７と、話者特徴情報更新手段、話者特徴情報更新手段及び予備話者特徴情報更新手段としてのパラメータ更新部８と、予備音声特徴量記憶部９及び登録音声特徴量記憶部１０を含む音声特徴量記憶部Ｍと、話者特徴情報記憶手段としての登録話者モデル記憶部１１及び予備話者特徴情報記憶手段としての予備話者モデル記憶部１２を含む話者モデル記憶部ＭＤと、予備話者特徴情報生成手段としての話者モデル作成部１３と、判定手段、置換手段及び消去手段としてのモデル劣化判定部１４と、音声認識装置Ｓ全体を統括制御する上記制御部１５と、により構成されている。
【００２２】
次に、概要動作について説明する。
【００２３】
先ず、発話の内容を認識させようとする発話者は、マイク１を介して当該発話を入力させる。これにより、当該マイク１は、当該入力された発話に相当するマイク信号Ｓmicを生成して増幅部２に出力する。
【００２４】
これにより、増幅部２は、当該マイク信号Ｓmicを予め設定されている増福率にて増幅し、増幅信号Ｓaを生成して音声特徴量変換部３に出力する。
【００２５】
次に、音声特徴量変換部３は、当該増幅信号Ｓaを用いて上記発話をそれに対応する特徴量（当該発話の音響的特徴量）に変換し、特徴量信号Ｓoを生成する。この特徴量信号Ｓoは、スイッチ４を介して話者認識部５又は音声特徴量記憶部Ｍに出力される。
【００２６】
一方、話者モデル作成部１３は、制御部１５からの制御信号Ｓcdに基づき、音声特徴量記憶部Ｍに記憶されている複数の特徴量信号Ｓoを用いて、予め設定されている学習アルゴリズムを用いて学習処理により、実施形態に係る話者モデルを作成する。この話者モデルは、後述する登録話者モデル情報Ｓrm及び予備話者モデル情報Ｓrsvとして夫々話者モデル記憶部ＭＤに出力され、蓄積記憶される。
【００２７】
そして、話者認識部５は、制御部１５からの制御信号Ｓcrgに基づき、話者モデル記憶部ＭＤから夫々読み出された登録話者モデル情報Ｓrm及び予備話者モデル情報Ｓrsvを用いて、後述する登録話者モデル又は予備話者モデルのいずれかと、スイッチ４を介して音声特徴量変換部３から入力された特徴量信号Ｓoと、の間における類似度（発話としての類似度）を予め設定されている比較アルゴリズムに則って算出し、閾値設定部６において設定されて閾値信号Ｓthとして入力されている閾値を用いてその算出された類似度を比較判定することにより、当該発話の内容を認識する。この認識結果は、上記認識結果情報Ｓraとして出力端子７を介して外部に出力される。
【００２８】
他方、パラメータ更新部８は、制御部１５からの制御信号Ｓcpに基づき、上記特徴量信号Ｓo及び認識結果情報Ｓraを用いて、対応する該当する話者モデルにおける各種パラメータを予め設定された更新アルゴリズムに則って更新する。
【００２９】
更に、モデル劣化判定部１４は、制御部１５からの制御信号Ｓcdに基づき、話者モデル記憶部ＭＤに蓄積記憶されている各話者モデルの性能判定や、当該各話者モデルの更新或いは再登録を制御する。
【００３０】
なお、上記登録音声特徴量記憶部１０及び登録話者モデル記憶部１１は、夫々、実施形態に係る音声認識装置Ｓにおける音声認識処理に通常用いられる特徴量信号Ｓo及び登録話者モデルを記憶するものであり、一方、上記予備音声特徴量記憶部９及び予備話者モデル記憶部１２は、夫々、実施形態に係る音声認識装置Ｓにおいて再登録される予備の話者モデルの作成に用いられる特徴量信号Ｓo及び予備話者モデルを記憶するものである。
【００３１】
（Ｂ）細部動作
次に、実施形態に係る音声認識装置Ｓの具体的な動作について、より詳細に図１乃至図３（ａ）を用いて説明する
（ａ）通常の話者認識処理
先ず、音声認識装置Ｓにおける音声認識処理の一部として実行される、通常の話者認識処理（図２ステップＳ１乃至Ｓ６及びＳ１６）について説明する。
【００３２】
当該通常の話者認識処理において、スイッチ４は、制御信号Ｓswに基づいて話者認識部５側に切り換えられている。
【００３３】
ここで、一般に、話者認識処理においては、事前に話者モデルを登録する必要がある。そして、当該新規に話者モデルを登録する際に、スイッチ４は登録音声特徴量記憶部１０側に切り換えられる。このとき、当該切換のタイミングについては、音声認識装置Ｓの使用者が新規に話者モデルを登録することを選択した場合にはスイッチ４が登録音声特徴量記憶部１０側に切り換えられ、一方、以下に説明する話者認識（特定）を行うことを選択した場合には話者認識部５側に切り換えられることとなる。
【００３４】
より具体的には、新規に話者モデルを登録する（最初期の話者モデルを作成する）際には、その話者モデルの登録用に上記使用者に複数回発話をさせ、それらの音声特徴量を蓄積する必要があり、このときの音声特徴量を特徴量信号Ｓoとして登録音声特徴量記憶部１０に格納するのである。このとき、実施形態に係る音声認識装置Ｓにおいて登録音声特徴量記憶部１０と予備音声特徴量記憶部９とを分けているのは、話者認識処理と話者モデルの新規登録処理とが使用者の意志により任意に行われるので、登録用の音声特徴量の蓄積と予備話者モデル作成用の音声特徴量の蓄積（話者認識を複数回を行う必要がある）が並行して行われる場合からである。
【００３５】
上記スイッチ４が話者認識部５側に切り換えられているときにおいて、音声特徴量変換部３は、マイク１及び増幅部２を介して上記増幅信号Ｓaとして入力されてきた話者の発話音声を、制御信号Ｓcmに基づいて音声特徴量に変換し、上記特徴量信号Ｓoとしてスイッチ４を介して話者認識部５に出力する。当該処理についてより具体的には、図２に示すように、上記増幅信号Ｓaから音声部分を抽出する処理（ステップＳ１）及び当該抽出された音声部分を音声特徴量に変換して特徴量信号Ｓoを生成する処理（ステップＳ２）が実行される。
【００３６】
これにより、話者認識部５は、登録話者モデル記憶部１１に登録されている話者モデルを登録話者モデル情報Ｓrmとして読み出し、入力された特徴量信号Ｓoと読み出した話者モデルとの類似度を、各話者モデル毎に夫々算出する（ステップＳ３及びＳ４）。
【００３７】
そして、夫々算出された類似度と、閾値設定部６において設定され閾値信号Ｓthとして入力されている閾値と、を比較する（ステップＳ４）。これにより、当該比較した類似度と閾値との差が、例えば当該閾値について予め設定された範囲内にある場合に（ステップＳ４；ＹＥＳ）、当該特徴量信号Ｓoに相当する発話音声が、それと比較された登録話者モデルに該当すると判断し、その判断結果（すなわち、認識結果）を上記認識結果情報Ｓraとしてモデル劣化判定部１４、パラメータ更新部８及び出力端子７に出力する（ステップＳ５）。一方、ステップＳ４の判定において、当該比較した類似度と閾値との差が上記予め設定された範囲より大きい場合に（ステップＳ４；ＮＯ）、当該特徴量信号Ｓoに相当する発話音声は比較された登録話者モデルに該当しないと判断し、その判断結果を上記認識結果情報Ｓraとしてモデル劣化判定部１４、パラメータ更新部８及び出力端子７に出力し（ステップＳ１６）、実施形態に係る音声認識処理を終了する。
【００３８】
ここで、上記ステップＳ４の処理としてより具体的には、当該ステップＳ４の処理としては、各話者モデル夫々に対して算出された類似度の中で最も高い類似度となる話者モデルを候補とし、当該候補となった話者モデルの類似度と上記閾値との比較を行い、その閾値よりも比較対象となった類似度が高い場合に（ステップＳ４；ＹＥＳ）当該特徴量信号Ｓoに相当する発話音声が、それと比較された登録話者モデルに該当すると判断し、その逆の場合は比較対象となった類似度に相当する話者モデルを棄却する。この処理を上記類似度と閾値との差として表現するとすると、当該差が「０」以上の場合は上記「該当する」と判定し（ステップＳ４；ＹＥＳ）、一方、当該差が「0」未満の場合は上記「棄却する」と判定する。
【００３９】
また、これと並行して、話者認識部５は、上記入力された特徴量信号Ｓoをそのままパラメータ更新部８に出力する。
【００４０】
これにより、パラメータ更新部８は、話者認識部５から入力された認識結果情報Ｓraの内容を閾値設定部６から閾値信号Ｓthとして入力された閾値と比較し、その時に特徴量信号Ｓoと比較された登録話者モデルにおけるパラメータの更新を行うか否かを、従来の判定アルゴリズム等に則って判定する。そして、当該更新を行う場合、該当する登録話者モデルを登録話者モデル情報Ｓrmとして読み出し、入力された発話音声に相当する特徴量信号Ｓoを用いて当該登録話者モデルのパラメータ更新を行い、その後当該更新された登録話者モデルに相当する登録話者モデル情報Ｓrmを再び登録話者モデル記憶部１１に格納する（ステップＳ６）。
【００４１】
ここで、上記ステップＳ６の処理としてより具体的には、当該ステップＳ６の処理としては、上記認識結果情報Ｓraとしてそのときの類似度を受け取り、上記閾値と比較を行ってパラメータ更新を行うか否かを判定して該当する話者モデルのパラメータ更新を行う。つまり、上記話者認識処理としての該当するか否かの判定と同様の判定を行う。これは、比較された類似度と閾値との比較結果として話者モデルが該当した場合に必ずパラメータ更新を行うこととされている場合は特に上記判定処理（ステップＳ６）は必要ないが、当該話者モデルが該当した場合の中でも、より類似度の高い音声のみを用いてパラメータ更新を行う場合もあり、このような場合に対応すべく、本願では閾値による類似度の判定を上記ステップＳ６の処理して実行している。
【００４２】
（ｂ）登録話者モデルの再登録処理
次に、本願に係る登録話者モデルの再登録処理（リフレッシュ処理。ステップＳ７乃至Ｓ１６）について説明する。
【００４３】
本願では、上記通常の話者認識処理において入力された発話音声に相当する特徴量信号Ｓoを用いて、使用中の登録話者モデルに代えて再登録を行うための予備としての予備話者モデルを作成して予備話者モデル記憶部１２に記憶しておき、今まで使用されていた登録話者モデルを当該記憶されている予備話者モデルを用いて置換することで、登録話者モデルとしての再登録を行う。
【００４４】
このとき、予備話者モデルの作成と再登録は、夫々、制御信号Ｓcrにより動作制御されるモデル劣化判定部１４により制御される。
【００４５】
すなわち、モデル劣化判定部１４は、上述してきた通常の話者認識処理において、その時の発話音声に該当すると判断された登録話者モデル自体及びそれに対応する予備話者モデル自体夫々の作成からの経過時間、各々のパラメータ更新回数並びに過去の認識結果等に基づき、登録話者モデルの再登録準備又は実際に再登録を行うか否かを判断する。
【００４６】
より具体的には、モデル劣化判定部１４は、それまで使用されていた登録話者モデルの再登録の時期が近づき、当該登録話者モデルの再登録のための準備が必要であると判断した場合には、当該再登録用の予備話者モデルの作成を行うべく話者認識部５及び話者モデル作成部１３等を制御する（ステップＳ７）。
【００４７】
このとき、先ずモデル劣化判定部１４は、再登録の検討対象である登録話者モデルを最初に登録（すなわち、登録話者モデル記憶部１１内に最初に記憶）してから経過した時間が予め設定された所定の経過期間（例えば二ヶ月又は六十日）となった場合に、又は当該登録話者モデル自体のパラメータ更新回数が同様に予め設定された更新回数（例えば六十回）を超えた場合に、或いはこれらの組み合わせとしての条件（例えば、上記経過期間又は更新回数の少なくともいずれか一方が満たされた場合等）が満たされた場合に、当該登録話者モデルの再登録準備を行うと判定し、その旨を示す制御信号Ｓckを話者認識部５、話者モデル作成部１３及びパラメータ更新部６に出力する（ステップＳ７；ＹＥＳ）。なお、当該再登録準備と判定されないときは（ステップＳ７；ＮＯ）、実施形態に係る音声認識処理を終了する。
【００４８】
ここで、ステップＳ７の処理における上記所定の経過期間の具体的な決め方について概要を説明する。
【００４９】
一般に、人の音声は二乃至三ヶ月の単位で大きく変動するとされている（例えば、上記特許文献１の段落番号［０００４］又は新美康永著「音声認識」（共立出版、１９７９年１０月）第６章「話者認識」参照）。このことから、新規作成から三カ月以上経過しても話者モデルのパラメータ更新を続けると、初期の音声特徴とは異なる特徴が話者モデルに反映される（その時点においては、過去の異なる音声特徴が残置される）ことになり、その話者モデルが有すべき個人性を失う可能性が高くなると言える。
【００５０】
そのため、話者モデルについての上記所定の経過期間は三ヶ月を上限として設定するのが望ましい。このことから、話者モデルを作成してから三カ月目を再登録の時期として、それよりも前の（例えば）二ヶ月目（予備話者モデルの頑健化には一ヶ月）を再登録準備開始の時期として設定することとした。
【００５１】
次に、上記予め設定された更新回数の決め方について概要を説明する。
【００５２】
当該更新回数につき、本願の発明者による実験では、八十回程度パラメータ更新を実行すると、それ以降は話者モデルの頑健化が飽和することが認定されるので、それ以上の回数のパラメータ更新は（経時変化に追随するためには必要ではあるが）上記個人性の低下を招く危険性の方が高いと判断される。このことから、上記再登録処理までの時期としての更新回数は上述したように八十回、また当該再登録処理のための準備の時期は更新回数六十回（すなわち、予備話者モデルの頑健化としてのパラメータ更新を二十回）と設定する。
【００５３】
なお、再登録処理を頻繁に行うことは使用者のストレスの原因となるとも考えられるので、音声認識装置Ｓとしての認識性能を維持できる範囲で最小の回数に当該再登録処理の回数を抑えるべく、当該再登録処理の時期は個人性の低下が生じない限界に設定することが望ましい。更に、当該再登録処理のための準備開始の条件としては、例えば、上記所定の経過期間を二ヶ月とし、上記更新回数を六十回として設定することが望ましい。すなわち、後述する変形形態の如く、予備話者モデルとして初期の登録モデルを使用する場合は更新回数を六十回とし、一方、本実施形態の如く新たに予備話者モデルを作成する場合は、当該新たな予備話者モデル作成に必要な音声特徴の蓄積のための更新回数を十回、その後の頑健化のためのパラメータ更新のための更新回数を二十回として、登録されている話者モデルの更新回数が五十回を超えたときに再登録準備に入ることが望ましい。
【００５４】
一方、話者認識部５は、当該再登録準備の旨の制御信号Ｓckを受けると、予備話者モデル記憶部１２内に、再登録対象である登録話者モデルに対応する予備話者モデルが既に作成されているかを確認する（ステップＳ８）。
【００５５】
そして、当該予備話者モデルが作成されていない場合（ステップＳ８；ＮＯ）、上記通常の話者認識処理が実行される度に、当該通常の話者認識処理に加えて、その時に入力されている発話音声に相当する特徴量信号Ｓoを、予備話者モデル作成用としての予備音声特徴量記憶部９に記憶させる（ステップＳ９）。このとき、後述する予め設定した音声データ数（例えば１０発話分）に達するまで（ステップＳ１０）、当該特徴量信号Ｓoの予備音声特徴量記憶部９への記憶処理を認識処理で登録話者モデルに該当する度に繰り返す（ステップＳ１０；ＮＯ）。
【００５６】
他方、話者モデル作成部１３は、上記再登録準備の旨の制御信号Ｓckを受けると、上記設定された音声データ数に到達するまで特徴量信号Ｓoが予備音声特徴量記憶部９に記憶されたのを確認した上で（ステップＳ１０；ＹＥＳ）、当該記憶されている特徴量信号Ｓoを複数読み出し、これを用いて予め設定されている学習アルゴリズムに則った学習処理により予備話者モデルを新たに作成し、当該作成した予備話者モデルに相当する予備話者モデル信号Ｓrsvを生成して予備話者モデル記憶部１２に記憶させる（ステップＳ１１）。
【００５７】
次に、本願では、発話音声における音程等の変動（より具体的には、例えば、声変わり等の時間経過に伴う変動や、疾病等に起因する一時的な変動等）に対して作成された予備話者モデルを頑健にするべく、当該新たな作成後に更に予備話者モデルのパラメータ更新を行う（ステップＳ１２乃至Ｓ１６）。
【００５８】
すなわち、上記再登録準備の旨の制御信号Ｓckを受けると、話者認識部５は、再登録対象である登録話者モデルに対応する予備話者モデルが既に作成されているか否かを確認し、これが作成されている場合（ステップＳ８；ＹＥＳ）、上記通常の話者認識処理が実行される度に、当該通常の話者認識処理に加えて、対応する予備話者モデルを予備話者モデル記憶部１２から予備話者モデル情報Ｓrsvとして読み出し、この読み出した予備話者モデルを用いて入力された発話音声に相当する特徴量信号Ｓoに対して話者認識処理を実行し（ステップＳ１２）、その認識結果に相当する認識結果情報Ｓraをモデル劣化判定部１４に出力する。またこれと並行して、当該特徴量信号Ｓoをパラメータ更新部８に出力する。なお、予備話者モデルに対する話者認識結果は、上記通常の話者認識処理の結果には関与しない。
【００５９】
他方、上記再登録準備の旨の制御信号Ｓckを受けたパラメータ更新部６は、対応する予備話者モデルを予備話者モデル記憶部１２から予備話者モデル情報Ｓrsvとして読み出し、入力された発話音声に相当する特徴量信号Ｓoに基づいて当該予備話者モデルのパラメータ更新を予め設定された更新アルゴリズムに則って実行し、当該パラメータが更新された予備話者モデルに相当する予備話者モデル情報Ｓrsvを予備話者モデル記憶部１２に格納する（ステップＳ１３）。
【００６０】
以上説明したパラメータ更新の処理は、再登録準備の旨の制御信号Ｓckが出力されている間、上記通常の話者認識処理が実行される度に、当該通常の話者認識処理に加えて実行される。このパラメータ更新が繰り返し行われるため、予備話者モデルは次第に上記変動等に対して頑健になっていく。
【００６１】
次に、モデル劣化判定部１４は、上記新規作成からの経過時間等に基づき、登録話者モデルの再登録が必要になったか、又は上述してきた登録話者モデルの再登録の準備（すなわち、予備話者モデルのパラメータ更新）が予め設定されている基準まで進行したと判断した場合に（ステップＳ１４；ＹＥＳ）、当該予備話者モデルを、対応する登録話者モデルとして再登録する旨の制御信号Ｓckを、パラメータ更新部８に出力する（ステップＳ１５）。
【００６２】
より具体的には、対象となる登録話者モデルを最初に登録してから経過時間が予め設定された所定の経過期間（例えば三ヶ月又は九十日）となった場合に、又は当該登録話者モデル自体及び対応する予備話者モデル自体のパラメータ更新回数が同様に予め設定された更新回数（例えば登録話者モデルについて八十回、予備話者モデルについて二十回）を超えた場合に、又は話者認識処理で入力された発話音声の内容と対応する予備話者モデルの内容との類似度の過去の所定回数の平均値が、その発話音声の内容と登録話者モデルの内容との類似度の平均値と同程度かそれよりも良好な結果となった場合に、或いはこれら三つのうちの少なくともいずれか二つ以上の条件が満たされた場合に、当該登録話者モデルの再登録を行うと判定し（ステップＳ１４；ＹＥＳ）、その旨を示す制御信号Ｓckをパラメータ更新部６に出力する。
【００６３】
ここで、ステップＳ１４の処理における上記所定の経過期間及び更新回数の具体的な決め方について具体的には、上記ステップＳ７の場合に説明した理由と同一の理由により、ステップＳ１４に係る再登録処理の時期として、登録話者モデルの経過期間を三ヶ月、登録話者モデルの更新回数を八十回、予備話者モデルの更新回数を二十回とするのが望ましい。このとき、予備話者モデルの更新回数は、パラメータ更新を二十回程度行えば、ある程度の頑健化が達成できるという本願の発明者らによる実験結果に基づくものである。
【００６４】
ここで、上記経過期間と更新回数との関係は使用者の使用頻度によって変わりものである。すなわち、使用頻度が低い場合、予備話者モデルの頑健化が進んでいない、その作成すらできていない状態で経過期間により再登録処理の時期を迎えてしまう可能性がある。また、これとは逆に使用頻度が高い場合、パラメータ更新回数が多くなり、さほど経時変化が生じていない場合にも話者モデルの再登録処理が実行されてしまうこととなる。これらのことを考慮すると、望ましい実施形態としては、上記所定の経過期間及び更新回数の両方の条件を満たした場合に話者モデルの再登録処理が実行されることが望ましい。
【００６５】
これにより、上記再登録する旨の制御信号Ｓckを受けると、パラメータ更新部６は、対応する予備話者モデルをパラメータ更新しつつ予備話者モデル記憶部１２に記憶させる際に、対応する登録話者モデルとして登録話者モデル記憶部１１に記憶させる（ステップＳ１５）。その後、当該対応する予備話者モデルを予備話者モデル記憶部１２から削除すると共に、置換された元の（今まで話者特定処理に使用されていた）登録話者モデルを登録話者モデル記憶部１１から削除する。
【００６６】
以上説明したステップＳ７乃至Ｓ１５の処理が実行されると、図３（ａ）に例示するように、ある登録話者モデルＲＭが話者認識処理に使用されている過程において、当該登録話者モデルＲＭの再登録準備時期（図３（ａ）において符号「ｔ０」で示す）が到来したと判定されると（図２ステップＳ７；ＹＥＳ参照）、対応する予備話者モデルＲＳＶが新たに作成される（図２ステップＳ８乃至Ｓ１１参照）。その後は、当該登録話者モデルＲＭ及び予備話者モデルＲＳＶ夫々のパラメータ更新が、当該登録話者モデルＲＭを用いた話者認識処理と同時並行的に実行される（図２ステップＳ６並びにＳ１２及びＳ１３参照）。
【００６７】
そして、当該再登録を実行する時期（図３（ａ）において符号「ｔ１」で示す）が到来したと判定されると（図２ステップＳ１４；ＹＥＳ）、元の登録話者モデルＲＭに代えて対応する予備話者モデルＲＳＶが登録話者モデル記憶部１１に記憶され（図２ステップＳ１５）、以後は、この予備話者モデルＲＳＶを登録話者モデルＲＭとして音声認識処理が継続される。
【００６８】
なお、登録話者モデルＲＭの置換に用いられた予備話者モデルＲＳＶ自体は、予備話者モデル記憶部１２内から削除される。
【００６９】
このように、登録話者モデルＲＭに比して長期間話者特定処理に用いられたことに起因する認識率の低下の影響を受けていない予備話者モデルＲＳＶを当該登録話者モデルＲＭと同時並行的に作成し、当該登録話者モデルＲＭにおける認識率が低下すると思われるタイミングｔ１において当該登録話者モデルＲＭと予備話者モデルＲＳＶとを入れ換えて以後の話者認識をその予備話者モデルＲＳＶを用いて開始するので、元の登録話者モデルＲＭにおける認識率の低下をリフレッシュして音声認識処理を行うことができることになる。
【００７０】
以上夫々説明したように、実施形態に係る音声認識装置Ｓの動作によれば、同一の話者について、本来の話者特定に用いられる登録話者モデルＲＭの他に、当該話者に対応し且つ当該話者の認識率が当該登録話者モデルＲＭよりも高い予備話者モデルＲＳＶを予め記憶し、当該登録話者モデルＲＭにおける認識率が低くなったとき当該登録話者モデルＲＭを予備話者モデルＲＳＶに入れ換えて以降の話者特定を行うので、元の登録話者モデルＲＭが長期間使用されたことに起因してその認識率が低下した場合でも、簡易な構成及び処理により認識率を良好に維持しつつ話者特定処理を行うことができる。
【００７１】
よって、例えば話者特定処理に必要な計算量や記憶容量等を最小限に抑制しつつ、長期間に渡って認識率が低下し難い話者特定処理を実行することができると共に、その話者特定処理に用いられた登録話者モデルＲＭを用いて発話の内容を認識するので、より正確に当該内容を認識することができる。
【００７２】
また、登録話者モデルＲＭを用いた話者特定に用いられた特徴量信号Ｓoを用いて新たに対応する予備話者モデルＲＳＶを生成するので、当該話者についての認識率が最も高い予備話者モデルＲＳＶを生成して置換用に記憶させておくことができる。
【００７３】
更に、特徴量情報Ｓoにより登録話者モデルＲＭが更新されるとき、同じ特徴量情報Ｓoを用いて予備話者モデルＲＳＶの方も更新されるので、より認識率の高い予備話者モデルＲＳＶを置換用に記憶させておくことができる。
【００７４】
なお、予備話者モデルの更新については、話者の特定で該当すると判断されたことを条件として予備話者モデルを更新するように構成しても良い。
【００７５】
更にまた、更新回数、経過期間に基づいて登録話者モデルＲＭにおける認識率の変化（劣化）を判定する場合には、単純且つ簡易な構成で当該変化を判定して置換時期を特定することができる。
【００７６】
また、類似度に基づいて登録話者モデルＲＭにおける認識率の変化を判定する場合には、より正確に当該変化を判定して置換時期を特定することができる。
【００７７】
なお、類似度に基づいた登録話者モデルＲＭにおける認識率の変化の判定としては、上述した閾値との関係を用いる方法の他に、例えば、長期間のパラメータ更新に起因して話者モデルの頑健化が達成され、更新を続けても類似度に変化がみられなくなる現象を検出する方法、又は、本人の発話に対して、最近の発話の特徴を反映している予備話者モデルの類似度の方が、過去の音声特徴が蓄積されている登録話者モデルの類似度よりも高くなる現象を検出する方法、のいずれかを用いることもできる。
【００７８】
更に、予備話者モデルＲＳＶに置換されることにより話者特定に用いられなくなった話者特徴情報を消去するので、登録話者モデルＲＭの記憶手段としての記憶領域を効率的に使用することができる。
【００７９】
（II）変形形態
次に、本願に係る変形形態について、図３（ｂ）及び図４を用いて説明する。
【００８０】
なお、図３（ｂ）及び図４は、夫々、当該変形形態の内容を概念的に説明する図である。
【００８１】
先ず、第一の変形形態として、本願においては、図３（ｂ）に例示するように、予備話者モデルＲＳＶとして、対応する登録話者モデルＲＭのうちの初期状態のもの（すなわち、新たに作成された時点での登録話者モデルＲＭinitial）をそのまま用いても良い。
【００８２】
そして、当該登録話者モデルＲＭinitialでもある予備話者モデルＲＳＶについては、上述した特徴量信号Ｓoを用いたパラメータ更新処理を行うことなくそのまま予備話者モデル記憶部１２内に記憶させておき、上述した再登録のタイミングｔ１が到来したときに、上述したようにそれまで用いられていた登録話者モデルＲＭをその予備話者モデルＲＳＶ（登録話者モデルＲＭinitial）を用いて置換するように構成しても良い。
【００８３】
この第一の変形形態に係る構成によれば、登録話者モデルＲＭを置換する予備話者モデルＲＳＶとして、対応する登録話者モデルＲＭにおける初期状態のものを用いるので、認識率の初期化により長期間における使用の影響が最も除去でき、良好に話者特定処理を行うことができることになる。
【００８４】
なお、この第一の変形形態では、登録話者モデルＲＭの置換に用いた予備話者モデルＲＳＶ（登録話者モデルＲＭinitial）はそのまま予備話者モデル記憶部１２内に残値させる、すなわち、予備話者モデルＲＳＶを登録話者モデルＲＭとして複写するのが好適である。
【００８５】
この構成によれば、予備話者モデルＲＳＶを複写することにより登録話者モデルＲＭの置換を行うので、置換前の予備話者モデルＲＳＶ（登録話者モデルＲＭinitial）を残しつつ登録話者モデルＲＭの置換を行うことができ、爾後の再置換に備えつつ登録話者モデルＲＭの置換処理を行うことができる。
【００８６】
次に、第二の変形形態として、本願においては、図４（ａ）に例示するように、その初期状態から予め設定された更新回数（図４（ａ）に例示するタイミングｔｘ（例えば、更新回数が二十回となるタイミング）までパラメータ更新が進行した登録話者モデルＲＭを、対応する新たな予備話者モデルＲＳＶとして予備話者モデル記憶部１２に記憶させて再登録に用いる構成としても良い。
【００８７】
なお、本変形形態としては、ある程度頑健で且つ最近の発話で更新しても個人性が劣化しない更新回数の話者モデルを使用するのが望ましいと考えられる。よって、後述する更新回数ｎ０（図４（ｂ）参照）の話者モデル（すなわち、更新回数が少なく且つある程度頑健化の進んだ話者モデル）を用いる場合が最も望ましい。本願の発明者らによる実験においては、二十回程度パラメータ更新を行うと発声変動が生じても認識性能が安定するという結果が得られているので、再登録処理に用いる話者モデルの更新回数は上述した如く二十回が望ましい。
【００８８】
この場合にも、当該予備話者モデルＲＳＶについては、上述した特徴量信号Ｓoを用いたパラメータ更新処理を行うことなくそのまま予備話者モデル記憶部１２内に記憶させておき、上述した再登録のタイミングｔ１が到来したときに、上述したようにそれまで用いられていた登録話者モデルＲＭをその予備話者モデルＲＳＶを用いて置換するように構成する。
【００８９】
なお、上記タイミングｔｘについて具体的には、例えば図４（ｂ）に例示するように、本人に対応する登録話者モデルＲＭを用いた話者特定処理において、他人に相当する特徴量信号Ｓoとその登録話者モデルＲＭとを比較したときの類似度が、本人であると判定される基準となる閾値としての類似度以上となる直前の更新回数ｎｘより少なく、且つ当該本人としての類似度が予め設定された値よりも向上する更新回数ｎ０より多い更新回数に相当するタイミングｔｘとするのが好適である。
【００９０】
この第二の変形形態に係る構成によれば、登録話者モデルＲＭを置換する予備話者モデルＲＳＶとして、基準更新回数だけ更新された登録話者モデルＲＭそのものを用いるので、初期状態から更新されることで認識率が向上した登録話者モデルＲＭを予備話者モデルＲＳＶとして用いることで、所望の認識率を確保しつつ且つ長期間における使用の影響が除去でき、良好に話者特定処理を行うことができる。
【００９１】
更に、本変形形態として、話者の特定が実行される度に、更新する条件の判定を行い、その判定結果に基づき話者モデルを更新する構成とすることもできる。この場合、登録話者モデルの更新においては、話者の特定で該当すると判断され、且つその話者モデルの類似度が設定した閾値より高いことを条件として更新を行うこととなる。
【００９２】
更に、図２に示すフローチャートに対応するプログラムを、フレキシブルディスク又はハードディスク等の情報記録媒体に記録しておき、又はインターネット等を介して取得して記録しておき、これらを汎用のコンピュータで読み出して実行することにより、当該コンピュータを各実施形態に係る制御部１５及びモデル劣化判定部１４として活用することも可能である。
【図面の簡単な説明】
【００９３】
【図１】実施形態に係る音声認識処理の概要構成を示すブロック図である。
【図２】実施形態の音声認識処理の動作を示すフローチャートである。
【図３】実施形態及び第一の変形形態に係る話者モデルの再登録を示す概念図であり、（ａ）は実施形態に係る話者モデルの再登録を示す概念図であり、（ｂ）は第一の変形形態に係る話者モデルの再登録を示す概念図である。
【図４】第二の変形形態に係る話者モデルの再登録を示す概念図等であり、（ａ）は当該第二の変形形態に係る話者モデルの再登録を示す概念図であり、（ｂ）は再登録タイミングを例示する図である。
【符号の説明】
【００９４】
１    マイク
２    増幅部
３    音声特徴量変換部
４    スイッチ
５    話者認識部
６    閾値設定部
７    出力端子
８    パラメータ更新部
９    予備音声特徴量記憶部
１０    登録音声特徴量記憶部
１１    登録話者モデル記憶部
１２    予備話者モデル記憶部
１３    話者モデル作成部
１４    モデル劣化判定部
１５    制御部
Ｓ    音声認識装置
Ｍ    音声特徴量記憶部
ＭＤ    話者モデル記憶部
ＲＭ、ＲＭinitial    登録話者モデル
ＲＳＶ    予備話者モデル
【図１】
2008262047.tif 000003
【図２】
2008262047.tif 000004
【図３】
2008262047.tif 000005
【図４】
2008262047.tif 000006