(57)【特許請求の範囲】
【請求項１】
照合の元となる登録モデル・データを格納するモデル・データ格納装置と、
照合対象者の音声データを分析して音声分析データを生成し、記憶装置に格納する手段と、
前記登録モデル・データと前記音声分析データとの照合処理をフレーム毎に実施する照合処理手段であって、前記フレーム毎に算出された、前記登録モデル・データの尤度又は当該登録モデル・データに対する距離である照合処理結果のうち、所定時間以内において所定の基準外である基準外照合処理結果が存在する場合には、前記音声分析データ全体についての前記登録モデル・データの尤度又は当該登録モデル・データに対する距離である全体照合処理結果に対する、当該基準外照合処理結果の影響を低減させる処理を実施する照合処理手段と、
を有する音声照合システム。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、音声照合技術に関する。
【０００２】
【従来の技術】
図１に従来技術の一例を示す。話者の音声は、マイクロフォン等である音声入力部１００により入力される。音声入力部１００では、空気の振動である音声波を電気信号に変換する。音声分析部１０２は、音声の電気信号をディジタル化し、１５ｍｓから３０ｍｓ程度の分析窓（フレームとも言う）で、５ｍｓから３０ｍｓ程度の分析周期（フレーム周期とも言う）毎に分析処理を実施し、例えばＬＰＣ（Linear Predictive Coding）ケプストラム係数の系列を生成する。音声分析部１０２における処理の概要を図２を用いて説明する。図２に示すように、音声波に対して分析窓を分析周期ずつずらして設定し、分析窓毎に所定の分析処理を施し、その分析窓に対応するケプストラム係数Ｃijを出力する。例えば、１回の分析処理により、１０から２０（次元）程度のＬＰＣケプストラム係数が計算される。ここでｉはフレーム番号であり、ｉ＝１〜Ｎで、Ｎはフレーム総数である。ｊはＬＰＣケプストラム係数の次元番号であり、ｊ＝１〜Ｍで、Ｍは次元数である。このように、音声波からＬＰＣケプストラム係数を出力する分析処理については周知であり、例えば社団法人電子情報通信学会出版中山聖一著「確率モデルによる音声認識」の７乃至１２頁に記載されている。
【０００３】
切替部１０４は、現在の処理が話者照合である場合には音声分析部１０２の分析結果を照合部１０８に出力し、一方現在の処理が話者登録である場合には音声分析部１０２の分析結果をモデル生成部１０６に出力する。モデル生成部１０６は、音声分析部１０２の分析結果であるＬＰＣケプストラム係数の系列のモデル化を実施する。モデルの第１の例は平均モデルであり、以下の式にて計算される。なお、上付きのＴは転置を意味する。
μ＝（μ1，μ2，．．．μM）T    （１）
【数１】
0004829414.tif 000002
（１）式で計算されるモデルは、登録モデル格納部１１０に登録される。
【０００４】
そして、第１のモデル例の場合に、照合部１０８で行なわれる計算は、以下の式で表される。
【数２】
0004829414.tif 000003
ｙi＝（Ｃi1，Ｃi2，．．．ＣiM）T  （４）
μrは（１）式で計算され登録モデル格納部１１０に登録された登録モデルであり、全てのμrについて距離Ｄを計算する。そして、照合結果判定部１１２は、例えば最も距離Ｄが短い登録モデル、又は距離Ｄが短い上位所定数の登録モデルを特定する。そして、例えば登録モデルに対応する属性値（例えば顧客名、顧客番号等）が出力される。
【０００５】
また、モデルの第２の例は多次元正規分布モデルであって、モデル生成部１０６は（１）式のμと以下の式にて計算される共分散行列Σとを計算し、登録モデル格納部１１０に格納する。
【数３】
0004829414.tif 000004
なお、μinは（１）式で計算される（inは入力の意味）。ｙiは（４）式で表される。そして、照合部１０８で行なわれる計算は、以下の式で表される。
【数４】
0004829414.tif 000005
μrは（１）式で計算され登録モデル格納部１１０に登録された登録平均ベクトルであり、Σrは（５）式で計算され登録モデル格納部１１０に登録された登録共分散行列である。そして、照合結果判定部１１２は、例えば尤度λが最も大きい登録モデル、又は尤度λが大きい上位所定数の登録モデルを特定する。そして、例えば登録モデルに対応する属性値（例えば顧客名、顧客番号等）が出力される。
【０００６】
【発明が解決しようとする課題】
このような音声照合技術を採用する場合、話者が多くの音素を発音してモデル生成部１０６により登録モデルが作成されればよいが、必ずしも十分な種類の音素に基づき登録モデルが作成されるわけではない。ある音素が発音されずに登録モデルが作成され、照合処理時に話者により登録モデル作成時には発音されなかった音素が発音されると、その音素についての照合結果は著しく悪くなる。よって、正しい話者であっても、上で述べた平均モデルであれば（３）式で計算される距離Ｄが著しく大きな値となり、上で述べた多次元正規分布モデルであれば（６）式で計算される尤度λの値が著しく小さい値となり、照合結果全体として正しくない結果が出力されることになる。
【０００７】
よって、本発明の目的は、登録モデル作成時における音声データの不足により生ずる不正確な照合結果を是正するための技術を提供することである。
【０００８】
【課題を解決するための手段】
本発明の第１の態様に係る音声照合システムは、照合の元となる複数の登録モデル・データを格納するモデル・データ格納装置（例えば実施の形態における登録モデル格納部１５）と、照合対象者の音声データを分析して音声分析データを生成し、記憶装置に格納する手段（例えば実施の形態における音声分析部３）と、登録モデル・データと音声分析データとの照合処理を実施する照合処理手段であって、当該照合処理結果（例えば実施の形態における尤度又は距離）が所定時間以内（例えば実施の形態においては約１音節分の時間以内）において所定の基準外である場合（例えば尤度の場合には所定の閾値未満、距離の場合には所定の閾値を超える場合）には、当該照合処理結果の影響を低減させる処理を実施する照合処理手段（例えば実施の形態における照合部７及び照合結果補正部９）とを有する。
【０００９】
音声分析データと登録モデル・データとの照合結果の結果が所定時間内において所定の基準外である場合には、当該登録モデル・データ作成時に発音されなかった音素が発音された可能性が高い。よって、当該照合処理結果の影響を全体の照合結果の計算において低減若しくは除去させる。これにより正しい照合結果を得ることができるようになる。
【００１０】
なお、上で述べた照合処理手段が、照合処理結果が所定時間以内において所定の基準外である場合には、当該照合処理結果を採用しないようにする構成であってもよい。
【００１１】
また、照合処理手段が、照合処理結果が所定時間以内において所定の基準外である場合には、当該照合処理結果を所定の値（例えば実施の形態においては閾値の値）を有するものとして取り扱うような構成であってもよい。
【００１２】
また、照合結果が尤度として計算される場合には、所定の基準外か否かを所定のしきい値未満であるかで判断するような構成であってもよいし、照合結果が距離として計算される場合には、所定の基準外か否かを所定のしきい値を超えるか否かで判断するような構成であってもよい。
【００１３】
本発明の第２の態様に係る音声照合方法は、照合対象者の音声データを分析して、音声分析データを生成し、記憶装置に格納するステップと、登録モデル・データと音声分析データとの照合処理を実施するステップであって、当該照合処理結果が所定時間以内において所定の基準外である場合には、当該照合処理結果の影響を低減させる処理を実施するステップとを含む。
【００１４】
本発明の第１の態様に係る変形は、本発明の第２の態様に適用可能である。
【００１５】
なお、本発明の第２の態様に係る音声照合方法をプログラムとコンピュータの組み合せにて実現することができ、この場合、当該プログラムは、例えばフロッピー・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、当該プログラムはネットワークを介して送信されることもある。なお、処理途中のデータについては、コンピュータのメモリに一時保管される。
【００１６】
【発明の実施の形態】
本発明の一実施の形態に係るシステム概要図を図３に示す。音声入力部１の出力は音声分析部３に入力される。音声分析部３の出力は、切替部５に入力される。切替部５の出力は、話者照合処理時には照合部７に入力され、話者登録処理時にはモデル生成部１３に入力される。モデル生成部１３により生成された登録モデル・データは登録モデル格納部１５に格納される。照合部７は、登録モデル格納部１５を参照できるようになっており、その出力は、照合結果補正部９に入力される。照合結果補正部９には、外部から閾値が設定される。この照合結果補正部９の処理結果は、照合結果判定部１１に入力される。そして照合結果判定部１１から照合結果が出力される。処理目的が話者照合であるから、照合結果は入力音声の話者が登録話者のうち誰であるかを示す情報である。
【００１７】
このシステムの動作を図４乃至図１１を用いて説明する。話者の音声は、マイクロフォン等である音声入力部１により入力される（ステップＳ１：図４）。音声入力部１では、空気の振動である音声波を電気信号に変換する。次に、音声分析部３は、音声の電気信号をディジタル化し、１５ｍｓから３０ｍｓ程度の分析窓で、５ｍｓから３０ｍｓ程度のフレーム毎に音声分析を実施し、音声分析データ（例えばＬＰＣケプストラム係数の系列Ｃij）を生成する（ステップＳ３）。ここでｉはフレーム番号であり、ｉ＝１〜Ｎで、Ｎはフレーム総数である。ｊはＬＰＣケプストラム係数の次元番号であり、ｊ＝１〜Ｍで、Ｍは次元数である。
【００１８】
もし今回の処理が話者登録である場合には（ステップＳ５：Ｎｏルート）、モデル生成部１３が入力音声に対するモデル・データを生成する（ステップＳ１９）。従来技術の欄でも説明したモデルの第２の例（多次元正規分布モデル）の場合、モデル・データは、（１）式で計算される平均ベクトルμinと（５）式で計算される共分散行列Σinである。共分散行列Σinを計算する（８）式及び（８）式の計算に必要な（４）式を再度示しておく。これらの計算結果は、登録モデル格納部１５に格納される（ステップＳ２１）。
【数５】
0004829414.tif 000006
ｙi＝（Ｃi1，Ｃi2，．．．ＣiM）T    （４）
話者登録の場合にはここで処理を終了する。
【００１９】
一方今回の処理が話者照合である場合には（ステップＳ５：Ｙｅｓルート）、照合部７は、１つの登録モデル・データとステップＳ３で生成された各フレームの音声分析データｙiとの尤度を計算する（ステップＳ７）。すなわち、以下の計算を実行する。
【数６】
0004829414.tif 000007
共分散行列Σr及び平均ベクトルμrは、登録モデル・データを表す。ｙiは上で述べた（４）式で表される。照合部７は、（９）式に従って、１つの登録モデル・データと全てのフレームの音声分析データとの尤度ｆ(ｙi)を計算する。（９）式の計算結果は、各フレームの尤度として照合部７から照合結果補正部９に出力され、記憶装置に格納される。
【００２０】
照合部７の計算結果を尤度の時間変化という形で表すと図５のようになる。図５において、縦軸は尤度を表し、横軸は時間を表す。ここでは分析窓（フレーム）の長さは５ｍｓである。ところどころで尤度が落ち込み、尤度の値−７０を下回っているのが分かる。
【００２１】
尤度の計算結果ｆ(ｙi)を受け取った照合結果補正部９は、所定フレーム数以上は連続しない、閾値未満の尤度を有するフレームが存在するかを検査する（ステップＳ９）。所定フレーム数以上連続して尤度が閾値未満である場合には、上で述べたようにたまたま登録モデル・データ作成時に当該音素を発音しなかったために尤度の値が低いのではなく、全く異なる人の登録モデル・データと照合していると考えられるからである。所定フレーム数は、例えば（約１音節の時間）／（１フレームの時間）であり、１音節の長さが１００ｍｓから２００ｍｓであるから、所定フレーム数は、約３フレームから４０フレーム程度となる。
【００２２】
もし所定フレーム数以上は連続しない、閾値未満の尤度を有するフレームが存在する場合には、照合結果補正部９は当該フレームにおける尤度を補正する（ステップＳ１１）。この補正の仕方は２通りある。例えば、このようなフレームの尤度を、所定の値（例えば閾値）に置き換える方法と、当該フレームは無かったものとする方法とである。これにより、このようなフレームの影響を低減又は除去することができる。
【００２３】
図５の例において、閾値を−７０とし、所定フレーム以上は連続しない閾値未満の尤度を有するフレームの尤度を所定の値（閾値）に置き換える方法を採用した場合の尤度の時間変化を、図６に示す。ここでは所定フレーム以上連続し且つ閾値未満の尤度を有するフレームがないものとする。図６のように−７０より小さい値の尤度は無くなり、全てのフレームの尤度が−７０以上になった。また、閾値未満の尤度を全て閾値に置き換えるようにしたため、フレーム数は減っていない。
【００２４】
一方図７に、所定フレーム数以上は連続しない、閾値未満の尤度を有するフレームを無視する場合の例を示す。図５の例ではおよそ１１％のフレームが閾値である−７０未満の尤度を有していた。よって、そのようなフレームを無視すれば、およそ１１％分のフレームがなくなるので、波形は１１％ほど短くなる。
【００２５】
そしてステップＳ９又はステップＳ１１の後に、照合結果補正部９は、計算された全尤度（ステップＳ１１経由の場合には補正後の尤度を含む）から、１つの登録モデルに対する照合結果を計算する（ステップＳ１３）。この計算は、以下のとおりである。
【数７】
0004829414.tif 000008
これにより１つの登録モデルに対する照合結果λが計算され、記憶装置に格納される。
【００２６】
そして、全ての登録モデル・データについてステップＳ７乃至ステップＳ１３を実行する（ステップＳ１５）。
【００２７】
もし、全ての登録モデル・データについてステップＳ７乃至ステップＳ１３を実行すれば、照合結果補正部９により記憶装置に格納された照合結果を用いて、照合結果判定部１１は、可能性が高い１又は複数の登録モデルを特定し、当該登録モデルの属性を照合結果として出力する（ステップＳ１７）。より具体的には、照合結果λが高い１又は複数の登録モデルを特定する。最も可能性の高い１つの登録モデルを特定するようにしてもよいし、上位５つ等上位所定数の登録モデルを特定するような構成であってもよい。
【００２８】
このようにすれば、全く関係のない登録モデルとの照合の場合には通常と同じように低い尤度が計算され、一方登録モデル作成時に発音しなかった音素が正しい登録モデルとの照合処理時に発音された場合に計算される低い尤度の影響を低減又は除去できるため、より正しい照合結果を得ることができるようになる。
【００２９】
次に図８を用いて、照合処理時に尤度の代わりに距離を計算する場合の処理フローを説明する。話者の音声は、マイクロフォン等である音声入力部１により入力される（ステップＳ３１：図８）。音声入力部１では、空気の振動である音声波を電気信号に変換する。次に、音声分析部３は、音声の電気信号をディジタル化し、１５ｍｓから３０ｍｓ程度の分析窓で、５ｍｓから３０ｍｓ程度のフレーム毎に音声分析を実施し、音声分析データ（例えばＬＰＣケプストラム係数の系列Ｃij）を生成する（ステップＳ３３）。
【００３０】
もし今回の処理が話者登録である場合には（ステップＳ３５：Ｎｏルート）、モデル生成部１３が入力音声に対するモデル・データを生成する（ステップＳ４９）。本例では、（１）式で計算される平均ベクトルμinがモデル・データである。これらの計算結果は、登録モデル格納部１５に格納される（ステップＳ５１）。
μin＝（μ1，μ2，．．．μM）T    （１１）
【数８】
0004829414.tif 000009
話者登録の場合にはここで処理を終了する。
【００３１】
一方今回の処理が話者照合である場合には（ステップＳ３５：Ｙｅｓルート）、照合部７は、１つの登録モデル・データとステップＳ３３で生成された各フレームの音声分析データｙiとの距離を計算する（ステップＳ３７）。すなわち、以下の計算を実行する。
Ｄi＝｜ｙi−μr｜2    （１３）
ｙi＝（Ｃi1，Ｃi2，．．．ＣiM）T    （１４）
平均ベクトルμrは登録モデル・データである。照合部７は、（１３）式に従って、１つの登録モデル・データと全てのフレームの音声分析データｙiとの距離Ｄiを計算する。（１３）式の計算結果は、各フレームの距離Ｄiとして照合部７から照合結果補正部９に出力され、記憶装置に格納される。
【００３２】
照合部７の計算結果を距離の時間変化という形で表すと図９のようになる。図９において、縦軸は距離を表し、横軸は時間を表す。ここではフレームの長さは５ｍｓである。ところどころで距離の値が大きくなって、距離の値５０を上回っているのが分かる。
【００３３】
距離の計算結果を受け取った照合結果補正部９は、所定フレーム数以上は連続しない,、閾値を超える距離を有するフレームが存在するかを検査する（ステップＳ３９）。所定フレーム数以上連続して距離が閾値を超える場合には、上で述べたようにたまたま登録モデル・データ作成時に当該音素を発音しなかったために尤度の値が低いのではなく、全く異なる人の登録モデル・データと照合していると考えられるからである。所定フレーム数は、上で述べたように、例えば（約１音節の時間）／（１フレームの時間）であり、１音節の長さが１００ｍｓから２００ｍｓであるから、所定フレーム数は、約３フレームから４０フレーム程度となる。
【００３４】
もし所定フレーム数以上は連続しない、閾値を超える距離を有するフレームが存在する場合には、照合結果補正部９は当該フレームにおける距離を補正する（ステップＳ４１）。この補正の仕方は２通りある。例えば、このようなフレームの距離を、所定の値（例えば閾値）に置き換える方法と、当該フレームは無かったものとする方法とである。これにより、このようなフレームの影響を低減又は除去することができる。
【００３５】
図９の例において、閾値を５０とし、所定フレーム数以上は連続しない、閾値を超える距離を有するフレームの距離を所定の値（閾値）に置き換える方法を採用した場合の距離の時間変化を、図１０に示す。ここでは、所定フレーム数以上連続し且つ閾値を超える距離を有するフレームは存在しないものとする。図１０のように５０より大きい値の距離は無くなり、全てのフレームの距離が５０以上になった。また、閾値を超える距離を全て閾値に置き換えるようにしたため、フレーム数は減っていない。
【００３６】
一方図１１に、所定フレーム数以上は連続しない、閾値を超える距離を有するフレームを無視する場合の例を示す。図９の例ではおよそ１１％のフレームが閾値である５０を超える距離を有していた。よって、そのようなフレームを無視すれば、およそ１１％分のフレームがなくなるので、波形は１１％ほど短くなる。
【００３７】
そしてステップＳ３９又はステップＳ４１の後に、照合結果補正部９は、計算された全距離（ステップＳ４１経由の場合には補正後の尤度を含む）から、１つの登録モデルに対する照合結果を計算する（ステップＳ４３）。この計算は、以下のとおりである。
【数９】
0004829414.tif 000010
これにより１つの登録モデルに対する照合結果Ｄが計算され、記憶装置に格納される。
【００３８】
そして、全ての登録モデル・データについてステップＳ３７乃至ステップＳ４３を実行する（ステップＳ４５）。
【００３９】
もし、全ての登録モデル・データについてステップＳ３７乃至ステップＳ４３を実行すれば、照合結果補正部９により記憶装置に格納された照合結果を用いて、照合結果判定部１１は、可能性が高い１又は複数の登録モデルを特定し、当該登録モデルの属性を照合結果として出力する（ステップＳ４７）。より具体的には、照合結果Ｄが小さい１又は複数の登録モデルを特定する。最も可能性の高い１つの登録モデルを特定するようにしてもよいし、上位５つ等上位所定数の登録モデルを特定するような構成であってもよい。
【００４０】
このようにすれば、全く関係のない登録モデルとの照合の場合には通常と同じように大きい距離Ｄが計算され、一方登録モデル作成時に発音しなかった音素が正しい登録モデルとの照合処理時に発音された場合に計算される大きい距離の影響を低減又は除去できるため、より正しい照合結果を得ることができるようになる。
【００４１】
以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、音声分析データの例として、ＬＰＣケプストラム係数の系列を例にして説明したが、照合対象に関する他の音声分析データであってもよい。さらに、モデルについては平均モデルと、多次元正規分布モデルとを用いて説明したが、音声分析データを用いて生成される他のモデルを採用することも可能である。また、照合結果が上位所定数の登録モデルとなる例を示したが、具体的な閾値を設定してそれを超える距離又は尤度を有する登録モデルを特定するような構成であってもよい。
【００４２】
各実施の形態のシステムは、１台のコンピュータにて実現することも可能であるし、複数台のコンピュータにて実現することも可能である。さらに、音声入力は、インターネット等のネットワークや、公衆回線網を介しての入力であってもよい。話者識別の結果は様々な用途に用いることができる。
【００４３】
上で述べたような処理は、コンピュータ・ハードウエアとコンピュータ・プログラムの組み合せで実現することも可能であるし、一部又は全部を専用の電子回路で実現することも可能である。コンピュータ・プログラムは、例えばフロッピー・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、当該コンピュータ・プログラムはネットワークを介して送信されることもある。なお、処理途中のデータについては、コンピュータのメモリに一時保管される。
【００４４】
【発明の効果】
以上述べたように、登録モデル作成時における音声データの不足により生ずる不正確な照合結果を是正するための技術を提供することができた。
【図面の簡単な説明】
【図１】従来技術に係るシステム概要図である。
【図２】音声分析部の処理の概要を示す図である。
【図３】実施の形態に係るシステム概要図である。
【図４】実施の形態における処理フロー（その１）を示す図である。
【図５】補正前における尤度の時間変化の一例を示す図である。
【図６】補正後における尤度の時間変化の一例（その１）を示す図である。
【図７】補正後における尤度の時間変化の一例（その２）を示す図である。
【図８】実施の形態における処理フロー（その２）を示す図である。
【図９】補正前における距離の時間変化の一例を示す図である。
【図１０】補正後における距離の時間変化の一例（その１）を示す図である。
【図１１】補正後における距離の時間変化の一例（その２）を示す図である。
【符号の説明】
１  音声入力部    ３  音声分析部    ５  切替部    ７  照合部
９  照合結果補正部    １１  照合結果判定部    １３  モデル生成部
１５  登録モデル格納部
【図１】
0004829414.tif 000011
【図２】
0004829414.tif 000012
【図３】
0004829414.tif 000013
【図４】
0004829414.tif 000014
【図５】
0004829414.tif 000015
【図６】
0004829414.tif 000016
【図７】
0004829414.tif 000017
【図８】
0004829414.tif 000018
【図９】
0004829414.tif 000019
【図１０】
0004829414.tif 000020
【図１１】
0004829414.tif 000021