(57)【要約】【課題】大きな記憶領域を必要とせず、かつ、多くの計算を必要とせずにコードブックを作成するコードブック作成方法、コードブック作成装置及び通信端末装置を提供する。【解決手段】登録用音声を分割し、分割された登録用音声それぞれからそれの特徴量ベクトルを作成し、代表ベクトル作成装置は、所定個の特徴量ベクトルを読込み（ステップ２１ｄ）、それに対して小コードブックを作成し（ステップ２１ｅ）、その中のベクトルをコードブックに格納する（ステップ２１ｉ）処理を繰り返すことにより、コードブックを作成する。【選択図】  図２
2004219506.tif 000002
【特許請求の範囲】
【請求項１】
音声信号の特徴量を表すベクトルが格納されるコードブックを作成するコードブック作成方法であって、
前記音声信号を所定時間幅で分割し、
その分割された音声信号毎にその特徴量を表すベクトルを作成し、
その作成された特徴量を表すベクトルからそれらを代表するベクトルを作成し、
その作成された代表するベクトルを前記コードブックに格納することを特徴とするコードブック作成方法。
【請求項２】
前記代表するベクトルの作成日時を前記コードブックに格納し、
入力された第２の音声信号を所定時間幅で分割し、
その分割された第２の音声信号毎にその特徴量を表すベクトルを作成し、
その作成された第２の音声信号の特徴量を表すベクトルからそれらを代表する第２のベクトルを作成し、
前記作成されたベクトルを前記コードブックに格納する際、当該コードブックに格納されてから予め定められた時間が経過しているベクトルの有無を確認し、予め定められた時間を経過しているベクトルがある場合にはこのベクトルを前記コードブックから削除することを特徴とする請求項１記載のコードブック作成方法。
【請求項３】
前記代表するベクトルを前記コードブックに格納する際、
前記代表するベクトルと、前記コードブックに格納されているベクトルとの距離を評価し、
前記距離が予め定められた距離より短い場合は前記代表するベクトルを前記コードブックに格納しないことを特徴とする請求項１記載のコードブック作成方法。
【請求項４】
前記代表するベクトルと最も近い距離にある前記ベクトルの前記コードブックからの削除と、そのベクトルを前記代表するベクトルの方向へ所定距離の移動を行ったベクトルの前記コードブックへの格納を行うことを特徴とする請求項３記載のコードブック作成方法。
【請求項５】
前記代表するベクトルを前記コードブックに格納する際、
前記代表するベクトルと、前記コードブックに格納されているベクトルとの距離を評価し、
前記距離が予め定められた距離より長い場合は前記代表するベクトルを前記コードブックに格納しないことを特徴とする請求項１記載のコードブック作成方法。
【請求項６】
音声信号の特徴量を表すベクトルが格納されるコードブックを作成するコードブック作成装置であって、
前記音声信号を所定時間幅で分割し、当該分割された音声信号毎にその特徴量を表すベクトルを作成する手段と、
前記作成手段によって作成された特徴量を表すベクトルからそれらを代表するベクトルを作成し、当該代表するベクトルを前記コードブックに格納する手段とを具備することを特徴とするコードブック作成装置。
【請求項７】
送話音声からアナログ送話音声信号を出力するマイクロフォンと、
アナログ受話音声信号から受話音声を発生するスピーカと、
前記マイクロフォンから出力される音声信号を所定時間幅で分割し、当該分割された音声信号毎にその特徴量を表すベクトルを作成する手段と、
前記作成手段によって作成された第１の音声信号の特徴量を表すベクトルからそれらを代表するベクトルを作成し、当該代表するベクトルをコードブックに格納する手段と、
前記作成手段によって作成された第２の音声信号の特徴量を表すベクトルと前記コードブックに記憶された前記代表するベクトルとの間の距離を評価する手段とを具備し、
前記評価手段によって得られた評価結果が所定の条件を満たす場合に動作を終了することを特徴とする通信端末装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、小さな記憶領域と少ない計算量でコードブックを作成するコードブック作成方法、コードブック作成装置及び通信端末装置に関する。
【０００２】
【従来の技術】
音声を入力して、それを発話した利用者を特定する音声認証の手法として、ベクトル量子化の手法が用いられている。この手法を用いる音声認証方法では、利用者が登録用に発話した音声信号の特徴量を抽出して特徴量ベクトルを作成し、それらを代表する代表ベクトルにより構成されるコードブックが利用者毎に設けられている。
【０００３】
そして、音声認証の際は、認証用に発話された音声信号の特徴量ベクトルを、あらかじめコードブックに記憶された代表ベクトルと比較し、特徴量ベクトルとそのコードブック中のある代表ベクトルとの間の距離が小さければ、発話者は、そのコードブックに対応する利用者であると判断する。
【０００４】
代表ベクトルは、各利用者が登録用に発話した音声信号から作成された特徴量ベクトルを所定の数にクラスタリングし、それぞれのクラスを代表するベクトルとして作成される。ここで、登録用の音声は、あらゆる認証用の発話に含まれる音素を含む必要があり、登録用には長時間の発話が必要である。
【０００５】
そのため、コードブックの作成には、多量の音声信号を分析して特徴量ベクトルを作成する処理、及び、特徴量ベクトルのクラスタリングのためにそれらの間の距離を計算する処理などが必要となり、その結果、大きな記憶領域を用いた多くの計算が必要となる。
【０００６】
そこで、コードブックの作成には学習方式が用いられている。即ち、仮の代表ベクトルを設定し、登録用音声信号から逐次特徴量ベクトルを作成し、それに基づいて仮の代表ベクトルを改良していくことによって、大きな記憶領域や多くの計算を必要としない処理が行われている（例えば、特許文献１参照。）。
【０００７】
【特許文献１】
特開平５−２０７２９７号公報（第２−３頁、図１）
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、仮の代表ベクトルの初期値が適切でない場合には、それが最適な代表ベクトルに収束するまでに長時間を要する問題点があった。
【０００９】
本発明は、上記問題点を解決するためになされたもので、大きな記憶領域を必要とせず、かつ、多くの計算を必要とせずにコードブックを作成するコードブック作成方法、コードブック作成装置及び通信端末装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明のコードブック作成方法は、音声信号の特徴量を表すベクトルが格納されるコードブックを作成するコードブック作成方法であって、前記音声信号を所定時間幅で分割し、その分割された音声信号毎にその特徴量を表すベクトルを作成し、その作成された特徴量を表すベクトルからそれらを代表するベクトルを作成し、その作成された代表するベクトルを前記コードブックに格納することを特徴とする。
【００１１】
本発明によれば、登録用音声を分割し、分割された登録用音声それぞれからそれを代表するベクトルを作成し、それらを統合してコードブックを作成することにより、大きな記憶領域を用いず、かつ、短い処理時間でコードブックを作成することができる。
【００１２】
【発明の実施の形態】
以下に、本発明によるコードブック作成方法の実施の形態を、図面を参照して説明する。図１は、本発明の実施形態に係るコードブック作成方法が適用された移動通信端末装置の構成を示すブロック図である。
【００１３】
この移動通信端末装置は、装置全体の制御を行う制御装置１と、アンテナ２ａと、通信装置２ｂと、送受信装置３と、スピーカ４ａと、マイクロフォン４ｂと、通話装置４ｃと、特徴量抽出装置４ｄと、特徴量ベクトル記憶部４ｅと、利用者からの操作指示を入力する入力装置５と、利用者へ情報の提示等を行う出力装置６と、代表ベクトル作成装置７と、小コードブック記憶部７ａと、コードブック記憶装置８と、音声認証装置９とからなる。
【００１４】
上記のように構成された、本発明の実施形態に係る移動通信端末装置の動作を説明する。制御装置１は、装置全体の制御を行う。通信装置２ｂは、アンテナ２ａが受信した高周波信号を送受信装置３へ出力し、また、送受信装置３が出力する高周波信号をアンテナ２ａより送信する。
【００１５】
次に、送受信装置３の動作を説明する。送受信装置３は、通信装置２ｂからの高周波信号を増幅、周波数変換及び復調し、それによって得たデジタル音声信号を通話装置４ｃへ送り、また、制御信号を制御装置１へ送る。送受信装置３は、更に、通話装置４ｃが出力するデジタル音声信号、及び制御装置１が出力する制御信号を変調、周波数変換及び増幅し、高周波信号を得てそれを通信装置２ｂへ送る。
【００１６】
次に、通話装置４ｃの動作を説明する。通話装置４ｃは、送受信装置３が出力するデジタル音声信号をアナログ音声信号に変換し、それを増幅してスピーカ４ａに送る。また、マイクロフォン４ｂが出力するアナログ音声信号を増幅し、それをデジタル音声信号に変換して送受信装置３に送る。
【００１７】
次に、特徴量抽出装置４ｄの動作を説明する。特徴量抽出装置４ｄは、マイクロフォン４ｂが出力するアナログ音声信号を分析して、その特徴量ベクトルを特徴量ベクトル記憶部４ｅに格納する装置である。
【００１８】
特徴量抽出装置４ｄは、利用者が入力装置５のキー（図示せず）の操作によってコードブック作成を要求した際、及び、この移動通信端末装置の電源が投入された際に、それに従って制御装置１が起動して、動作を開始する。
【００１９】
その際、制御装置１は、利用者に対して、マイクロフォン４ｂに向かって発話を促す旨の誘導メッセージを出力装置６に表示し、或いは、スピーカ４ａから発生する。また、更に、発話すべきメッセージそのものを出力装置６に表示しても良い。
【００２０】
特徴量抽出装置４ｄは、まず、マイクロフォン４ｂから出力されるアナログ音声信号を増幅し、それを所定時間幅、例えば２０ｍ秒毎に分割し、分割された各々のアナログ音声信号を分析する。
【００２１】
即ち、分割されたアナログ音声信号を線形予測分析（ＬＰＣ、Ｌｉｎｅａｒ  ｐｒｅｄｉｃｔｉｖｅ  ｃｏｄｉｎｇ）し、それによって得られたパワースペクトルから計算したケプストラムを分割されたアナログ音声信号の特徴量とし、それらの特徴量をベクトル形式で表した特徴量ベクトルを特徴量ベクトル記憶部４ｅに格納する。
【００２２】
続いて、次の分割されたアナログ音声信号の分析を繰り返す。なお、アナログ音声信号の分析方法は、上記のＬＰＣケプストラム法に限るものではない。
【００２３】
次に、入力装置５の動作を説明する。入力装置５は、複数のキーからなり、制御装置１の起動により動作を開始し、利用者が操作したキーを識別するコードを制御装置１へ通知して動作を終了する。
【００２４】
次に、出力装置６の動作を説明する。出力装置６は、例えばＬＣＤの表示装置であり、制御装置１より起動されることにより、表示動作を開始する。入力装置５からの入力操作に応答して制御装置１より起動されるまで、同じ表示動作を続ける。
【００２５】
次に、代表ベクトル作成装置７の動作を説明する。代表ベクトル作成装置７は、特徴量抽出装置４ｄによって特徴量ベクトル記憶部４ｅに記憶された特徴量ベクトルから、それらを代表する代表ベクトルを作成し、その作成された代表ベクトルをコードブック記憶装置８に格納することにより、コードブックを作成する装置である。
【００２６】
図２は、代表ベクトル作成装置７の動作のフローチャートを示す。代表ベクトル作成装置７は、利用者が入力装置５のキーの操作によってコードブックの作成を要求した際に、それに従って制御装置１が起動して、動作を開始する（ステップ２１ａ）。
【００２７】
続いて、コードブックが完成したかを判断し（ステップ２１ｂ）、もし、それが完成していたら、動作を終了する（ステップ２１ｃ）。ステップ２１ｂのコードブックが完成したかの判断基準は、コードブック記憶装置８に所定個のベクトルが記憶されていること、または、コードブックが所定量以上の記憶容量を占めていることである。
【００２８】
また、コードブック記憶装置８に記憶されたベクトルの中に、作成されてから一定期間経過したものがあれば、それを削除し、それに代わる代表ベクトルを格納することによって完成と判断しても良い。これによって、コードブックの更新が行われ、利用者の発話する音声の経年変化への対応が可能となる。
【００２９】
一方、ステップ２１ｂで、コードブックが未完と判断されるなら、代表ベクトル作成装置７は、続いて、所定時間幅に分割された音声信号から作成された特徴量ベクトルを、特徴量ベクトル記憶部４ｅから、所定個読込む（ステップ２１ｄ）。
【００３０】
続いて、読込んだ特徴量ベクトルから、それらを代表する所定個の代表ベクトルを作成し、それを小コードブック記憶部７ａに格納することによって、小コードブックを作成する（ステップ２１ｅ）。
【００３１】
ここで、代表ベクトルは、読込んだ全ての特徴量ベクトルに対して、それぞれから最も近い距離にある代表ベクトルとの間の距離を求め、当該距離の総和が最小になる所定個のベクトルとして計算することによって求めるが、これに限るものではない。
【００３２】
なお、２つのベクトル間の距離は、例えばユークリッド距離、即ち、ベクトルの対応する各要素間の差を二乗し、その総和の平方根として求めるが、これに限るものではない。
【００３３】
続いて、代表ベクトル作成装置７は、小コードブック記憶部７ａに記憶された全ての代表ベクトルのコードブック記憶装置８への格納が完了したかを判断し（ステップ２１ｆ）、もし、完了していればステップ２１ｂに戻って処理を繰り返す。一方、完了していなければ、小コードブック記憶部７ａから次の代表ベクトルを読込む（ステップ２１ｇ）。
【００３４】
続いて、読込んだ代表ベクトルをコードブック記憶装置８に格納するか否かの判断を行う（ステップ２１ｈ）。図３は、代表ベクトル３１をコードブック記憶装置８に格納するか否かの判断処理の概念を、代表ベクトル３１及びコードブック記憶装置８に記憶されたベクトルが２次元であると仮定して、即ち、それらのベクトルを点として示す。
【００３５】
代表ベクトル３１をコードブック記憶装置８に格納するか否かの第１の判断基準として、まず、当該代表ベクトル３１（ベクトルＸとする）とコードブック記憶装置８に記憶されたベクトル３２（３２ａはベクトルＹａ、３２ｂはＹｂとする）の間の距離３３（３３ａの距離は｜Ｘ−Ｙａ｜、３３ｂの距離は｜Ｘ−Ｙｂ｜）を計算し、最も近いベクトル間の距離を求める。上記の例では、距離３３ａ｜Ｘ−Ｙａ｜＞距離３３ｂ｜Ｘ−Ｙｂ｜であることから、距離３３ｂが求められる。
【００３６】
ここで、この最も近いベクトル間の距離３３ｂが、所定数Ｃ１より小さい場合に、即ち、
｜Ｘ−Ｙｂ｜＜Ｃ１
が成り立つものであるならば、この代表ベクトル３１をコードブック記憶装置８に格納すると、コードブック中にお互いの間の距離が短い複数のベクトル（３１、３２ｂ）が存在することになり、無駄なベクトルを多数記憶することになる。そこで、代表ベクトル作成装置７は、代表ベクトル３１をコードブック記憶装置８に格納せずにステップ２１ｆに戻り、処理を繰り返す。一方、｜Ｘ−Ｙｂ｜≧Ｃ１が成り立つ場合は、その代表ベクトル３１をコードブック記憶装置８に格納する。
【００３７】
なお、所定数Ｃ１の値は、音声認証装置９の認証誤り率を考慮して、実験により求められる。
【００３８】
ここで、代表ベクトル３１をコードブック記憶装置８に格納しないのみならず、この代表ベクトル３１に基づいて学習処理を行っても良い。例えば、代表ベクトル３１に最も近いコードブック記憶装置８に記憶されたベクトル３２ｂを、両ベクトルの間を所定の比率で内分するベクトルによって置き換えても良い。
【００３９】
また、ステップ２１ｈにおける代表ベクトル３１をコードブック記憶装置８に格納するか否かの第２の判断基準として、代表ベクトル３１とコードブック記憶装置８に記憶されたベクトル３２の間の上記最短距離を計算し、それが所定数Ｃ２より大きければ、即ち、
｜Ｘ−Ｙｂ｜＞Ｃ２
が成り立つものであるならば、この代表ベクトル３１は発話者の発音ではない、即ち、雑音であると判断して、代表ベクトル作成装置７は、代表ベクトル３１をコードブック記憶装置８に格納せずにステップ２１ｆに戻り、処理を繰り返すようにしても良い。一方、｜Ｘ−Ｙｂ｜≦Ｃ２が成り立つ場合は、その代表ベクトル３１をコードブック記憶装置８に格納する。
【００４０】
なお、所定数Ｃ２の値は、音声認証装置９の認証誤り率を考慮して、実験により求められる。
【００４１】
更に、ステップ２１ｈにおける第３の判断基準として、コードブックが既に完成している場合にも、代表ベクトル作成装置７は、代表ベクトル３１をコードブック記憶装置８に格納せずにステップ２１ｆに戻り、処理を繰り返すようにしても良い。コードブックが既に完成しているか否かの判断基準は、ステップ２１ｂで説明した通りである。
【００４２】
一方、ステップ２１ｈの上記の判断基準１〜３（１つの判断基準でも、２つ以上の判断基準を併せ持っても良い）に基づいて、代表ベクトル３１をコードブック記憶装置８に格納すると判断された場合には、代表ベクトル作成装置７は、それをコードブック記憶装置８に格納して（ステップ２１ｉ）、ステップ２１ｆに戻り、処理を繰り返す。
【００４３】
次に、音声認証装置９の動作を説明する。音声認証装置９は、認証の際の発話者がコードブック作成時の発話者と同じであるか否かを判断する装置である。図４は、音声認証装置９の動作のフローチャートを示す。
【００４４】
音声認証装置９は、移動通信端末装置の電源が投入された際に、制御装置１がその他の動作に先立って起動することによって動作を開始し（ステップ４１ａ）、まず、認証の際の発話者から発せられた音声から特徴量抽出装置４ｄによって上述した手順で作成された特徴量ベクトルを、特徴量ベクトル記憶部４ｅから、所定個読込む（ステップ４１ｂ）。
【００４５】
続いて、読込んだ特徴量ベクトルのそれぞれに対してコードブック記憶装置８に記憶されたベクトルの中で最も近い距離にあるベクトルとの間の距離を求める（ステップ４１ｃ）。
【００４６】
続いて、当該距離の合計値を評価し（ステップ４１ｄ）、この合計値が所定値以下であれば、認証の際の発話者はコードブック作成時の発話者と同じと判断し、それを制御装置１に通知して（ステップ４１ｅ）、また、それ以外の場合には、異なると判断し、それを制御装置１に通知して（ステップ４１ｆ）、終了する（ステップ４１ｇ）。
【００４７】
制御装置１は、その判断結果の通知を音声認証装置９から受けると、その通知が認証の際の発話者はコードブック作成時の発話者と同じとの情報であれば、認証の際の発話者は正当な利用者と判断して、移動通信端末装置の動作を継続させる。
【００４８】
一方、その通知が認証の際の発話者はコードブック作成時の発話者と異なるとの情報であれば、制御装置１は、認証の際の発話者は正当な利用者ではないと判断して、正当な利用者の権利の侵害や秘密の漏洩を防止すべく、移動通信端末装置の動作を終了させる。なお、制御装置１は、上記動作の終了に先だって、利用者に再度の発話を促して音声認証装置９を再度起動して認証を行わせる、また、別の手段によって利用者を特定する、などをしても良い。
【００４９】
本実施形態では、代表ベクトル３１をコードブック記憶装置８に格納するか否かの判断は、代表ベクトル３１と最も近い距離にあるベクトルをコードブック記憶装置８に記憶されているベクトルの中から求め、両ベクトル間の距離のみに基づいて行ったが、代表ベクトル３１とコードブック記憶装置８に記憶されている複数のベクトルとの間の距離に基づいて行っても良い。
【００５０】
また、コードブック記憶装置８には、代表ベクトル作成装置７の動作の前に、平均的な音声の特徴量を表すベクトルが初期値として記憶されていても良い。それらのベクトルの作成日時としては、充分に古い日時を併せて記憶させる。充分に古い日時を記憶させることによって、代表ベクトル作成装置７が利用者の発話する音声の特徴量を表す代表ベクトルをコードブック記憶装置８に格納する際に、初期値ベクトルが必ず削除され、利用者の発話する音声の特徴量に基づいたコードブックを効率良く作成できる。
【００５１】
更に、コードブック記憶装置８には、１名の利用者の発話に基づいて作成されたコードブック１つが記憶されているとしたが、複数のコードブックが、それぞれを作成する際に発話した利用者の識別情報と共に、記憶されていても良い。その場合には、音声認証装置９は、認証用の発話を行った利用者が上記複数の利用者のいずれであるかを判断する。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。
【００５２】
なお、以上に本発明を移動通信端末装置に適用した例を説明したが、本発明はＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）などの携帯端末装置にも当然適用可能である。
【００５３】
【発明の効果】
以上述べたように、本発明によれば、登録用音声を分割し、分割された登録用音声それぞれからそれを代表するベクトルを作成し、それらを統合してコードブックを作成することにより、大きな記憶領域を用いず、かつ、短い処理時間でコードブックを作成することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る移動通信端末装置を示すブロック図。
【図２】本発明の実施形態に係る代表ベクトル作成装置の動作を示すフローチャート。
【図３】代表ブロックとコードブック記憶装置に記憶されたベクトルとの距離を示す概念図。
【図４】本発明の実施形態に係る音声認証装置の動作を示すフローチャート。
【符号の説明】
１  制御装置
４ｂ  マイクロフォン
４ｄ  特徴量抽出装置
４ｅ  特徴量ベクトル記憶部
７  代表ベクトル作成装置
７ａ  小コードブック記憶部
８  コードブック記憶装置
９  音声認証装置
【図１】
2004219506.tif 000003
【図２】
2004219506.tif 000004
【図３】
2004219506.tif 000005
【図４】
2004219506.tif 000006