(57)【要約】課題は、従来の話者照合装置は、予め、利用者が複数の単語に対応する音声をそれぞれ発生して登録するように構成されているので、発声する内容は、利用者が登録した単語に限定されるため、利用者が当該単語を発声した音声を他人に録音された場合には、簡単に詐称されてしまう問題があった。そこで、この発明は、上記のような課題を解決するためになされたものであり、発声した内容を他人に録音されても、詐称されにくくしたものである。【特許請求の範囲】
【請求項１】
認証要求者に発声させるべき音声単位を認証要求者に提示する際に前回提示した音声単位を他の音声単位に切り替えて提示する音声単位提示手段と、
この提示する音声単位と個人識別子とに対応づけて準備される音声標準パターンと、
この準備された音声標準パターンと上記認証要求者が発声した音声とを比較して音声の類似度を計算する音声類似度計算手段と、
この音声類似度計算手段の計算結果に基づいて上記認証要求者が正当な利用者か否かを判定する判定手段と、
を備えたことを特徴とする話者照合装置。
【請求項２】
音声単位提示手段は、画面表示により認証要求者に発声させるべき音声単位を提示するものとし、
この画面表示する内容には、
認証要求者に発声させるべき複数の音声単位により構成される音声単位群と、
この音声単位群の各音声単位に対応づけて配置表示されかつ個人識別子に対応した暗証文字列を構成する文字からなる文字群と、
が含まれることを特徴とする請求項１に記載の話者照合装置。
【請求項３】
判定手段は、
音声単位提示手段の提示内容に対して認証要求者が応答するのにかかった時間及び音声類似度計算手段の計算結果に基づいて認証要求者が正当な利用者か否かを判断する
ことを特徴とする請求項１に記載の話者照合装置。
【請求項４】
音声標準パターンは、
登録利用者の属性情報に基づき作成され、かつ分別された照合用音声標準パターン群を構成し、
音声類似度計算手段は、
個人識別子により特定される属性に基づいて照合用音声標準パターン群集合から選択する音声標準パターンと音声とを比較して類似度を計算する、
ことを特徴とする請求項１に記載の話者照合装置。
【請求項５】
認証要求者に発声させるべき音声単位を認証利用者に提示する際に前回提示した音声単位を他の音声単位に切り替えて提示する音声単位提示手段と、
この提示する音声単位と個人識別子とに対応づけて準備される音声標準パターンと、
この準備された音声標準パターンと上記認証要求者が発声した音声とを比較して音声の類似度を計算する音声類似度計算手段と、
上記提示する音声単位と個人識別子とに対応づけて準備される唇画像標準パターンと、
この準備された唇画像標準パターンと上記認証要求者を撮影した唇画像とを比較して唇画像の類似度を計算する唇画像類似度計算手段と、
上記音声類似度計算手段の結果と上記唇画像類似度計算手段との計算結果に基づいて上記認証要求者が正当な利用者か否かを判定する判定手段と
を備えたことを特徴とする話者照合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者の音声が、申告した本人の音声かどうかを判定することにより、利用者が正当な者か否かを判断する話者照合装置に関するものである。
【背景技術】
【０００２】
従来の話者照合装置においては、予め、利用者が複数の単語に対応する音声をそれぞれ発声して登録するとともに、登録した複数の単語に対してインデックスをつける。照合時においては、利用者がインデックス及び個人識別子を指定し、このインデックスに対応した単語を発声する。この発声した音声とこれに対応し予め登録された音声とを照合することにより、利用者が正当な利用者であるか否かを判断する。【０００３】
【特許文献１】特開２０００−１８１４９０
【特許文献２】特開２００２−２６９０４７
【特許文献３】特開２０００−９９０９０
【特許文献４】特開２０００−３３８９８７
【特許文献５】特開平１１０８２４９２
【特許文献６】特開平１０−２１４０９６
【特許文献７】特開２００１−３３１１９６
【非特許文献１】「音声情報処理」古井  貞煕  森北出版株式会社
【非特許文献２】中村哲、山本英里、永井論、鹿野清宏「ＨＭＭを用いた音声と唇画像の統合による音声認識と唇画像生成」音声言語情報処理研究会Ｐ１５−Ｐ１７
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の話者照合装置は、以上のように構成されているので、発声する内容は、利用者が登録した単語に限定されるため、利用者が当該単語を発声した音声を他人に録音された場合には、簡単に詐称されてしまう問題があった。【０００５】
この発明は、上記のような課題を解決するためになされたものであり、発声した内容を他人に録音されても、詐称されにくくしたものである。
【課題を解決するための手段】
【０００６】
この発明に係る話者照合装置は、認証要求者に発声させるべき音声単位を認証要求者に提示する際に前回提示した音声単位を他の音声単位に切り替えて提示する音声単位提示手段と、この提示する音声単位と個人識別子とに対応づけて準備される音声標準パターンと、この準備された音声標準パターンと上記認証要求者が発声した音声とを比較して音声の類似度を計算する音声類似度計算手段と、この音声類似度計算手段の計算結果に基づいて上記認証要求者が正当な利用者か否かを判定する判定手段と、を備えるものである。
【発明の効果】
【０００７】
この発明に係る話者照合装置は、認証要求者に発声させるべき音声単位を認証要求者に提示する際に前回提示した音声単位を他の音声単位に切り替えて提示するようにしたので、認証要求者が前回発声した内容を他人に録音されても、その録音内容を今回は利用できなくなるため、他人による詐称を防止することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、本発明の実施の形態１による話者照合装置の構成図である。図２、図５、図６は、本発明の実施の形態１による音声単位提示手段による提示内容を示す図である。図３は、本発明の実施の形態１による登録データベースにおける音声標準パターン１１８の格納態様の概念図である。図４は、本発明の実施の形態１による話者照合装置の処理内容を示すフローチャートである。【０００９】
次に、図１乃至３を用いて本実施の形態における話者照合装置の構成を説明する。【００１０】
図１において、１００は、利用者登録手段である。利用者登録手段１００は、登録時において登録要求者１０１が、予め登録要求者音声１０２、個人識別子１０３及び暗証文字列１０４を登録することにより、個人識別子１０３に対応させて音声標準パターン１１８（図３参照）及び暗証文字列１０４を登録データベース１０６に格納する手段である。【００１１】
１０１は、登録要求者である。登録要求者１０１は、例えば、本実施の形態にかかる話者照合装置がビルに入る際の認証に使用される場合には、このビルの居住人等、予めビルに入ることが許可されている者が該当する。【００１２】
１０２は、登録要求者の音声である。この登録要求者音声１０２により後述する音声標準パターン１１８を生成する。音声の録音の仕方は、話者照合装置が指定した文章を登録要求者１０１が読み上げることで得る。なお、話者照合装置が指定する文章は多くの音節の種類が含まれるようにすることで、質の良い音声標準パターン１１８を生成することができる。【００１３】
ここで「音声標準パターン１１８」とは、登録要求者音声１０２の特徴を効率よく表現するものである。音声標準パターンは、例えば、登録要求者音声１０２の音声波形をＡＤ変換してデジタル信号を生成し、この信号に対して特徴量分析を行って得られた音声特徴量によって学習した音節単位のサブワードＨＭＭ（Hidden Markov Model）である。HMMに関しては非特許文献１に詳細が記されている。音声特徴量とは、音声信号を効率よく表現するものであり、例えばケプストラムを用いる。【００１４】
１０３は、個人識別子である。個人識別子１０３は、複数の登録要求者１０１を識別するために登録要求者１０１に割り当てられた符号であり、例えば英数字の組合せを用いる。個人識別子がアルファベットで構成されている場合、最初に登録した「鈴木太郎」には「ＡＡＡ」、二番目に登録した「鈴木次郎」には「ＡＡＢ」、三番目に登録した「鈴木三郎」には「ＡＡＣ」という様に割り当てる。【００１５】
１０４は、暗証文字列である。暗証文字列１０４は、正式な利用者であることを証明するために秘密にし、予め登録しておく符号であり、例えば英数字の組合せを用いる。暗証文字列１０４が４桁の数字列と指定されている場合、「９７６８」「４３６１」などが設定可能である。【００１６】
１０５は、登録手段である。登録手段１０５へ登録要求者音声１０２、個人識別子１０３、暗証文字列１０４を入力することにより、後述する登録データベース１０６へ個人識別子１０３に対応した音声標準パターン１１８及び暗証文字列１０４を登録する。登録手段１０５は、マイクやキーボード等を備えており、各登録要求者１０１はマイクを使用し登録要求者音声１０２を登録し、キーボードを利用し暗証文字列１０４を登録する。【００１７】
１０６は、登録データベースである。登録データベース１０６は、登録手段１０５により生成した音声標準パターン１１８、個人識別子１０３、暗証文字列１０４を格納する。音声標準パターン１１８は、個人識別子１０３と標準パターン音声単位に対応するように格納する。標準パターン音声単位が音節から構成されている場合には、個人識別子１０３及び各音節１１７に対応するように格納する。例えば、図３に示すように個人識別子「ＡＡＢ」で登録した話者の音節単位の音声標準パターン「あ（/a/）」である音声標準パターン１１８のように格納する。このように格納することにより認証個人識別子１０９及び音声単位提示手段１１１で提示された音声単位１３０（図２参照）に対応した音声標準パターン１１８を選択することができる。【００１８】
１５０は、利用者認識手段である。利用者認識手段１５０は、認証時において認証要求者１０７が正当な利用者か否かを判定する手段であり、認証要求者音声１０８と選択された音声標準パターン１１８との類似性を計算するものである。【００１９】
１０７は、認証要求者である。認証要求者１０７は、本実施の形態にかかる話者照合装置がビルに入る際の認証に使用される場合には、このビルに入ろうとする者が該当する。例えば、登録要求者１０１や詐称してビルに侵入しようとする者が該当する。【００２０】
１０８は、認証要求者音声である。認証要求者音声１０８は、後述する音声単位提示手段１１１で提示された音声単位１３０（図２参照）に対応して認証要求者１０７が発声する音声である。【００２１】
１０９は、認証個人識別子である。認証個人識別子１０９は、認証要求者１０７が認証時に申告する話者を識別するための符号であり、登録している個人識別子１０３のいずれかと一致していなければならない。【００２２】
１１０は、認証要求者１０７に提示する音声単位１３０を格納する音声単位データベースである。【００２３】
１１１は、音声単位提示手段である。音声単位提示手段１１１は、図２に示すように、暗証文字列構成文字１２０からなる暗証文字列構成文字群１２１、音声単位１３０、及び両者の対応関係を提示する。ここで「暗証文字列構成文字１２０」とは、暗証文字列１０４を構成する文字である。例えば暗証文字列１０４が１０進数の数字列である場合に、暗証文字列構成文字１２０は「０」、「１」、「２」…「９」が該当する。また、「音声単位１３０」とは、認証要求者１０７が発声させるべき文字列である。文字列が単語に該当する場合には「はちのへ（/hatinohe/）」、「けせんぬま（/keseNnuma/）」、「ゆくはし（/yukuhasi/）」、「さっぽろ（/saQporo/）」等がある。図２は、単語からなる音声単位１３０と暗証文字列構成文字群１２１とを対応させた組合せを複数提示したものである。「はちのへ（/hatinohe/）」という音声単位１３０に対して「０」、「２」、「６」が対応し、「けせんぬま（/keseNnuma/）」には「１」、「９」が対応し、「ゆくはし（/yukuhasi/）」には「３」、「４」、「７」が対応し、「さっぽろ（/saQporo/）」には「５」、「８」が対応するように割り当てる。この対応表に従って、認証要求者１０７は自己の暗証文字列１０４の数字列に対応した音声単位１３０を発声する。認証要求者１０７の暗証文字列１０４が「５２１８」であるならば、最初の数字５に対応した音声単位１３０「さっぽろ（/saQporo/）」を発声し、次に二番目の数字２に対応した「はちのへ（/hatinohe/）」を発声する。更に三番目の数字１に対応した「けせんぬま（/keseNnuma/）」、四番目の数字８に対応した「さっぽろ（/saQporo/）」を連続して発声させる。【００２４】
音声単位提示手段１１１は、認証要求者１０７に提示する際に前回提示した音声単位１３０を他の音声単位１３０に切り替えて提示する。即ち、音声単位提示手段１１１は、利用する毎に音声単位１３０が切り替わる場合、２回利用する毎に切り替わる場合、３回利用する毎に切り替わる場合、ランダムに切り替わる場合、一定の時間毎に切り替わる場合、同一の認証要求者１０７が利用する毎に切り替わる場合がある。【００２５】
１１２は、音声類似度計算手段である。音声類似度計算手段１１２は、認証個人識別子１０９の入力、及び、音声単位提示手段１１１の提示に基づいて登録データベース１０６から音声標準パターン１１８を選択する。例えば、認証要求者１０７が認証個人識別子１０９として「ＡＡＢ」を入力し、音声単位提示手段１１１では暗証文字列１０４により「さっぽろ、はちのへ、けせんぬま、さっぽろ」を連続して発声することを提示された場合には、音声類似度計算手段１１２は、登録データベース１０６から、認証個人識別子１０９「ＡＡＢ」に対応した、「さ（/sa/）」、「っ（/Q/）」、「ぽ（/po/）」、「ろ（/ro/）」、「は（/ha/）」…の音声標準パターン１１８が選択される。この選択された音声標準パターン１１８と認証要求者１０７が発声した認証要求者音声１０８の各音節とを比較し音声類似度を計算し類似度を出力する。音声類似度の計算は、音節ごとの音響的特徴を比較して、文章全体で判断する場合がある。類似度に関しては例えば「音声情報処理」古井  貞煕  １９９８年６月  森北出版株式会社（以下参考文献１とする）の５章に記されている方法によって計算する。【００２６】
１１３は、閾値である。閾値１１３は、予め定められた基準値であって、認証要求者音声１０８が正当な利用者による音声か否かの判定の基準となる。音声類似度計算手段１１２での類似度がこの閾値１１３より大きければ、認証要求者１０７は正当な利用者と判定される。【００２７】
１１４は、認証要求者１０７が、正当な利用者か否かを判定する判定手段である。判定手段１１４は、音声類似度計算手段１１２での結果を基に、認証要求者音声１０８が正当な利用者による音声であるか否かを判定する。類似度が閾値１１３以上の場合に正当な利用者と判断し、逆に閾値１１３より小さい場合には、詐称を目的とする利用者と判定する。【００２８】
１１５は、認証結果である。認証結果１１５は、判定手段１１４からの出力であり、認証要求者１０７が正当な利用者と判断された場合は「受理」、詐称を目的とする利用者と判断された場合は「棄却」となる。例えば、本実施の形態にかかる話者照合装置がビルに入る際の認証に使用された場合、「受理」された場合にはドアのロックが解除され、「棄却」された場合にはロックがされたままとなる。【００２９】
次に、以上の構成からなる話者照合装置の動作について説明をする。図４はこの発明の実施の形態１による話者照合装置の処理内容を示すフローチャートである。以下、図４にしたがって動作を説明する。【００３０】
図４のステップ１１は、登録要求者１０１の情報を登録するステップである。すなわち登録要求者１０１は登録手段１０５へ自己の情報、すなわち登録要求者音声１０２、個人識別子１０３、暗証文字列１０４を入力する。登録手段１０５は、登録要求者音声１０２に基づき音声標準パターン１１８を生成するとともに、この音声標準パターン及び暗証文字列を登録データベース１０６へ格納する。【００３１】
ステップ１２は、認証要求者１０７に発声させる音声単位と認証文字（群）との対応を認証要求者１０７に提示するステップである。すなわち、認証要求者１０７に認証個人識別子１０９を話者照合装置に入力させる。次に、音声単位提示手段１１１は、認証要求者１０７に発声させる音声単位１３０を提示する。音声単位提示手段１１１が、図２に示すように暗証文字列構成文字群１２１と音声単位１３０との両者の対応を提示する。音声単位提示手段１１１は、認証要求者１０７に提示する際に前回提示した音声単位１３０を他の音声単位１３０に切り替えて提示する。即ち、音声単位提示手段１１１は、利用する毎に音声単位１３０が切り替わる場合、２回利用する毎に切り替わる場合、３回利用する毎に切り替わる場合、ランダムに切り替わる場合、一定の時間毎に切り替わる場合、同一の認証要求者１０７が利用する毎に切り替わる場合がある。なお、当該照合装置の管理者は、新たな音声単位１３０を登録したい場合には、音声単位データベース１１０を更新すればよい。音声単位データベース１１０に音声単位１３０を１つ増やせば、当該音声単位１３０を各登録要求者１０１に対して提示することができるという効果を得ることができる。また、登録要求者１０１は一度登録要求者音声１０２を登録すれば、音声標準パターン１１８が自動的に生成されるため、新たな音声単位１３０が追加されても新たに登録要求者音声１０２を録音しなくても良いという効果を得ることができる。【００３２】
ステップ１３は、認証の際に、認証要求者１０７が発声した認証要求者音声１０８とこれに対応する音声標準パターン１１８とを比較するステップである。【００３３】
ステップ１４は、認証の際に、判定手段１１４が、音声類似度計算手段１１２の出力である音声類似度を、予め定められた閾値１１３と比較して、音声類似度が閾値１１３以上であれば正当な利用者であるとして「受理」、一方、音声類似度が閾値１１３より小さければ詐称を目的とする利用者として「棄却」を認証結果１１５として出力するステップである。【００３４】
以上のように、この実施の形態１によれば、前回提示した内容を他の内容に切り替えて提示するので、録音した音声によって他人に詐称されたり、暗証文字列１０４を他人に知られることで詐称されたりする可能性が低くなり安全性の高い話者照合を実現できる。【００３５】
なお、登録手段１０５、音声単位提示手段１１１、音声類似度計算手段１１２、判定手段１１４をハードウェアで構成してもよいが、各手段の処理内容を記述した話者照合プログラムを作成し、コンピュータが当該話者照合プログラムを実行するようにしてもよい。【００３６】
また、１つの閾値１１３によって受理か棄却を決定する場合を説明したが、複数の閾値を設定してもよい。例えば閾値をＡ、Ｂの２種類用意して、音声類似度が閾値Ａより大きい値ならば正当な利用者であると判定し、音声類似度がＡとＢの間なら明瞭な判定不可能であると判定し、Ｂより音声類似度が小さいならば詐称を目的とする者と判定するようにする。このように設定することにより、例えば、当該話者照合装置がビルに入る際の認証に使用する場合には、正当な利用者と判断すればドアのロックを解除し、判定不可能であると判断すれば再度認証要求者１０７に音声単位提示手段１１１を提示し、詐称者と判断した場合には、ドアのロックは解除しない。【００３７】
また、図５に示すように、ひらがな一文字からなる音声単位１３０と１つの暗証文字列構成文字１２０とを１対１に対応させた組合せを複数提示する場合がある。例えば、認証要求者１０７の暗証文字列１０４が「５２１８」であるなら認証要求者１０７は、「せ」、「ゆ」、「け」、「の」と発声することになる。【００３８】
また、図６に示すように、ひらがな一文字からなる音声単位１３０と暗証文字列構成文字群１２１とを対応させた組合せを複数提示する場合がある。例えば、「は」という音声単位１３０に対して、「０」、「２」、「６」が対応し、「け」には、「１」、「９」が対応し、「ゆ」には「３」、「４」、「７」が対応し、「さ」には「５」、「８」が対応するように割り当てられる。この対応表にしたがって認証要求者１０７は自己の暗証文字列１０４の数字列に対応した音声単位１３０を発声する。認証要求者１０７の暗証文字列１０４が「５２１８」であるならば、最初の数字に対応した音声単位１３０「さ」を発声し、次に２に対応した「は」を発声する。さらに３番目の数字である１に対応した「け」、４番目の数字に８対応した「さ」を連続して発声することになる。このように音声単位１３０に対して複数の数字が割り当てられているので、発声した内容を他人に知られたとしても暗証文字列１０４の数字列が一意に知られてしまうことはない。
実施の形態２．【００３９】
図７は、本発明の実施の形態２による話者照合装置の構成図である。図８は、本発明の実施の形態２による話者照合装置の処理内容を示すフローチャートである。図７を用いて本実施の形態における話者照合装置の構成を説明する。なお、実施の形態１と共通する部分については説明を省略する。【００４０】
図７において、２０１は、登録要求者属性である。登録要求者属性２０１は、登録要求者１０１の属性に関する情報であり、性別、年齢、干支、血液型、出身地等の情報である。例えば「男性、２２歳、ねずみ年、Ａ型、東京都出身」等の情報がある。【００４１】
２０２は、登録手段である。登録手段２０２へ登録要求者音声１０２、個人識別子１０３、登録要求者属性２０１を入力することにより、登録データベース２０３へ音声標準パターン１１８を格納する。登録手段２０２はマイクやキーボード等を備えており、各登録要求者１０１は自己の個人識別子１０３に対応させるように、マイクを使用して登録要求者音声１０２を登録し、キーボードを使用して登録要求者属性２０１を登録する。【００４２】
２０３は、登録データベースである。登録データベース２０３は、登録手段２０２により生成した音声標準パターン１１８及び登録要求者属性２０１を格納する。【００４３】
２０４は、音声単位提示手段である。音声単位提示手段２０４は、認証要求者１０７に対して、属性に関する質問を提示する。例えば「あなたの年はおいくつですか？」、「あなたの出身はどちらですか？」、「あなたの血液型はなんですか？」等がある。この質問は、認証要求者１０７が答えるべき音声単位１３０を前回提示した音声単位１３０から他の音声単位１３０に切り替えて提示する。例えば、ある認証要求者１０７に「あなたの年はおいくつですか？」を提示し、その次にこの話者照合装置を利用する認証要求者１０７に「あなたの出身はどちらですか？」を提示する場合がある。【００４４】
２０５は、応答時間計算手段である。応答時間計算手段２０５は、認証要求者１０７が認証要求者音声１０８を発声するのにかかった時間を計る。例えば、音声単位提示手段２０４により質問がなされてから認証要求者１０７が発声開始までの応答するのにかかった時間を計る。【００４５】
２０６は、判定用スコア計算手段である。判定用スコア計算手段２０６は、応答時間計算手段２０５の出力である応答時間と音声類似度計算手段１１２の出力である音声類似度とから判定用スコアＳを計算する。判定用スコアＳは、音声類似度をＬ（大きければ類似度が高い）、応答時間をＴｒとすれば例えば数式１で求める。【００４６】
Ｓ＝Ｌ−α・Ｔｒ………数式１
数式１において、αは重み係数である。数式１によれば、応答時間Ｔｒが長ければ判定用スコアが低くなる。【００４７】
次に、以上の構成からなる話者照合装置の動作を図８を用いて説明をする。図８において、ステップ２１は、登録要求者１０１は登録手段２０２へ自己の登録要求者音声１０２、個人識別子１０３、登録要求者属性２０１を入力するステップである。登録要求者音声１０２及び登録要求者属性２０１は個人識別子１０３に対応するように入力する。次に登録手段２０２は、登録要求者音声１０２に基づき音声標準パターン１１８を生成し登録データベース２０３へ格納する。【００４８】
ステップ２２は、話者照合装置が認証要求者１０７に、属性に関する質問をするステップである。例えば「あなたのお年はおいくつですか？」と質問する。これらの質問は、音声単位提示手段２０４により前回提示した内容から切り替わって提示されるために、他人が認証要求者１０７の発声した音声を録音して、ビルに入ろうとしても同じ音声単位１３０が提示される可能性が少なくなるために詐称される可能性は低くなる。【００４９】
ステップ２３は、認証要求者１０７が認証要求者音声１０８を発声する時間を計るステップである。応答時間計算手段２０５は、認証要求者１０７が認証要求者音声１０８を発声する時間を計る。正当な利用者であれば、自己の属性を把握しているため、一般的に応答時間が短くなる。また他人であれば、この質問に対する正しい答えを準備するのに時間がかかり、応答時間が長くなる。【００５０】
ステップ２４は、判定用スコア計算手段２０６により、応答時間計算手段２０５の応答時間及び音声類似度計算手段１１２の音声の類似度に基づいて、認証要求者１０７が正当な利用者か否かの判定用スコアを算出するステップである。判定手段１１４は、判定用スコア計算手段の出力を、予め定められた閾値１１３と比較して、出力が閾値１１３以上であれば本人であるとして「受理」、一方、音声類似度が閾値より小さければ他人であるとして「棄却」を認証結果１１５として出力する。【００５１】
以上のように、この実施の形態２によれば、前回提示した音声単位１３０を他の音声単位１３０に切り替えて提示されるので、録音した音声によって他人に詐称されにくい。また、認証要求者１０７は質問に答えるという１つの行為だけで、音声の類似度及び応答時間の２つの観点から、認証要求者１０７が正当な利用者か否かが判断されるため、認証要求者１０７は面倒な手続きをすることなく、精度の高い音声照合ができる。【００５２】
実施の形態３．【００５３】
図９は、本発明の実施の形態３による話者照合装置の構成図である。図１０は、本発明の実施の形態３による話者照合装置の処理内容を示すフローチャートである。図９を用いて本実施の形態における話者照合装置の構成を説明する。なお、実施の形態１又は２と共通する部分については説明を省略する。【００５４】
図９において、３０１は、登録要求者唇画像である。登録要求者唇画像３０１は、予め、登録要求者１０１に、新聞や雑誌の記事を読ませ、この時の唇の形、動きを録画することにより作成する。この登録要求者唇画像３０１に基づいて後述する唇画像標準パターンを生成する。【００５５】
ここで「唇画像パターン」は、唇の画像を音節単位のサブワードＨＭＭ（Hidden  Markov  Model）を利用して作成する。【００５６】
また、「唇画像標準パターン」とは、上記パターンの画像特徴を効率よく表現したものをいう（以下、唇画像標準パターンは音節単位で構成されるとして説明する）。唇画像標準パターンは、例えば、中村哲、山本英里、永井論、鹿野清宏「ＨＭＭを用いた音声と唇画像の統合による音声認識と唇画像生成」音声言語情報処理研究会１５−１７、１９９７年２月（以下参考文献２とする）で報告されている方法で作成する。参考文献２によれば唇画像の標準パターン作成は、まず１フレーム（１フレームは３３.３m秒）あたり横１６０×縦１５０＝１９２００画素の画像を２５６階調の濃淡画像に変換し、２５６×２５６のＦＦＴ(Fast Fourier Transform)によって周波数分析を行う。そして空間周波数領域おけるパワースペクトルを計算し、対数スケールのスムージングを行う。さらにフレーム間の差分をとることで動的な特徴を求める。唇画像標準パターンはパワースペクトル２５６分布、その差分に２５６分布の構造を持ったＨＭＭであり、前記のように唇画像より求めたパワースペクトルと差分によって作成する。【００５７】
３０２は、登録手段である。登録手段３０２へ登録要求者音声１０２、個人識別子１０３、登録要求者属性２０１、登録要求者唇画像３０１を入力することにより、後述する登録データベース３０３へ個人識別子１０３に対応するように音声標準パターン１１８、唇画像標準パターン、及び登録要求者属性２０１を格納する。登録手段３０２はマイク及びカメラを備えており、各登録要求者１０１は自己の個人識別子１０３に対応させ、マイクを使用することにより登録要求者音声１０２を登録し、カメラを利用することにより登録要求者唇画像３０１を登録する。【００５８】
３０３は、登録データベースである。登録データベース３０３は、登録手段３０２により生成した音声標準パターン１１８、唇画像標準パターン、及び登録要求者属性２０１を格納する。【００５９】
３０４は、認証要求者唇画像である。認証要求者唇画像３０４は、音声単位提示手段２０４により提示された質問に対して答えた状態の唇画像を録画することにより得る。【００６０】
３０５は、音声及び唇画像類似度計算手段である。音声及び唇画像類似度計算手段３０５は、認証個人識別子１０９の入力、及び、音声単位提示手段２０４の音声単位１３０に基づいて登録データベース３０３から音声標準パターン１１８及び唇画像標準パターンを選択する。例えば、認証要求者１０７が認証個人識別子１０９として「ＡＡＢ」を入力し、音声単位提示手段２０４「あなたの出身はどこですか？」という質問に対して、登録データベース３０３において認証個人識別子１０９の出身地が「札幌」に対応している場合には、音声及び唇画像類似度計算手段３０５は登録データベース３０３から「ＡＡＢ」に対応した「さ（/sa/）」、「っ（/Q/）」、「ぽ（/po/）」、「ろ（/ro/）」の音声標準パターン１１８及び唇画像標準パターンを順次選択する。そしてこの選択された音声標準パターン１１８及び唇画像標準パターンに対応する認証要求者音声１０８及び認証要求者唇画像３０４とを比較する。【００６１】
次に、以上の構成からなる話者照合装置の動作について説明をする。図１０はこの発明の実施の形態３による話者照合装置の処理内容を示すフローチャートである。以下、図１０にしたがって動作を説明する。【００６２】
図１０において、ステップ３１は、登録要求者１０１の情報を登録するステップである。すなわち登録要求者１０１は登録手段３０２へ自己の登録要求者音声１０２、個人識別子１０３、登録要求者属性２０１、登録要求者唇画像３０１を入力する。登録手段３０２は、登録要求者音声１０２に基づき音声標準パターン１１８を生成し、登録要求者唇画像３０１に基づき唇画像標準パターンを生成し、両者を登録データベース３０３へ格納する。次に、格納の仕方は、音声標準パターン１１８及び唇画像標準パターンを個人識別子１０３及び音節１１７に対応するように格納する。このように格納することにより認証個人識別子１０９及び音声単位提示手段２０４に対応した音声標準パターン１１８及び唇画像標準パターンを選択することができる。【００６３】
ステップ３２は、認証要求者１０７が認証個人識別子１０９を話者照合装置に入力するステップである。次に、音声単位提示手段２０４は、属性に関する質問をする。この質問に対して認証要求者１０７は音声単位提示手段２０４で要求された音声単位１３０に対応する認証要求者音声１０８を発声する。【００６４】
ステップ３３は、認証要求者１０７が発声した認証要求者音声１０８とこれに対応する音声標準パターン１１８とを比較するステップである。また、認証要求者１０７が発声した時に撮影した認証要求者唇画像３０４とこれに対応する唇画像標準パターンとを比較する。認証要求者唇画像３０４と唇画像標準パターンとの比較は、例えば、認証要求者１０７が「ＡＡＢ」の認証個人識別子１０９を入力し、音声単位提示手段２０４で「あなたの出身はどちらですか？」と質問された場合には、唇画像類似度計算手段は、登録データベース３０３から、認証個人識別子１０９「ＡＡＢ」に対応した「さ（/sa/）」、「っ（/Q/）」、「ぽ（/po/）」、「ろ（/ro/）」にあたる唇画像標準パターンを選択する。この選択された各唇画像標準パターンとこれに対応した各認証要求者唇画像３０４とを比較し唇画像類似度を計算し類似度を出力する。【００６５】
ここで認証要求者唇画像３０４は、認証要求者１０７が認証要求者音声１０８を発声した唇を撮影した画像であり、特徴量として、パワースペクトルおよびパワースペクトルの動的特徴を抽出する。この認証要求者唇画像３０４と登録データベース３０３から選択した唇画像標準パターンとの類似度計算は、文献１の５章で示される方法で尤度計算を行う。次に、音声による類似度Ｌと唇画像による類似度Ｍを用い、判定用の類似度を求める。判定用類似度は、例えば両者を重み付け加算した数式２に示すスコアとする。【００６６】
【数２】
2006027844.tif 000002
数式２においてβは重み付け係数であり、高い照合精度が得られるように決定する。判定手段１１４は、音声と唇画像による類似度を音声及び唇画像類似度計算手段３０５の出力である類似度Ｓを入力し、予め定めた閾値１１３と比較して、類似度が閾値以上であれば本人であるとして「受理」、一方類似度が閾値より小さいのであるならば他人であるとして「棄却」を認証結果１１５として出力する。【００６７】
ステップ３４は、話者照合装置が、認証要求者１０７を正当な利用者か否かを判断するステップである。【００６８】
以上のように、この実施の形態３によれば、前回提示した音声単位１３０を他の音声単位１３０に切り替えて提示され、音声とともに唇画像も入力して類似度を計算するので、テープレコーダ等で録音した音声によって他人に詐称されにくい。また、認証要求者１０７は質問に答えるという１つの行為だけで、音声及び唇画像の２つの観点から、認証要求者１０７が正当な利用者か否かが判断することができる。
実施の形態４．【００６９】
図１１は、本発明の実施の形態４による話者照合装置の構成図である。図１２は、本発明の実施の形態４による話者照合装置の処理内容を示すフローチャートである。図１１を用いて本実施の形態における話者照合装置の構成を説明する。なお、実施の形態１、２又は３と共通する部分については説明を省略する。【００７０】
図１１において、４０１は、登録手段である。登録手段４０１へ個人識別子１０３、登録要求者属性２０１を入力することにより、後述する登録データベース４０２へ個人識別子１０３に対応させた登録要求者属性２０１を登録する。【００７１】
４０２は、登録データベースである。登録データベース４０２は、個人識別子に対応させて登録要求者属性２０１を格納する。【００７２】
４０３は、照合用音声標準パターン群である。照合用音声標準パターン群４０３とは、属性に依存した音声標準パターンの群である。例えば、属性が年齢と性別である場合には、１０才代男性の音声標準パターンの群、２０才代男性の音声標準パターンの群…というように分別して構成する。照合用音声標準パターン群４０３は、例えば、１０才代男性の音声波形をＡＤ変換したデジタル信号に対して特徴量分析を行って得られる音声特徴量を用いて作成する。４０４は、照合用音声標準パターン群集合である。照合用音声標準パターン群集合４０４は、照合用音声標準パターン群４０３の集合である。【００７３】
４０５は、照合用音声標準パターン選択手段である。照合用音声標準パターン選択手段４０５は、入力された認証個人識別子１０９により登録データベース４０２から登録要求者属性２０１のデータを取り出し、そのデータに基づいて照合用音声標準パターン群集合４０５から照合用音声標準パターン群を選択する。例えば、個人識別子１０３によって申告した認証要求者の属性が、２０代男性であったならば、２０代男性の照合用標準パターン群を選択する。【００７４】
次に、以上の構成からなる話者照合装置の動作について説明をする。図１２はこの発明の実施の形態１による話者照合装置の処理内容を示すフローチャートである。以下、図１２にしたがって動作を説明する。【００７５】
図１２において、ステップ４１は、登録要求者１０１の情報を登録するステップである。すなわち登録要求者１０１は登録手段４０１へ自己の個人識別子１０３、登録要求者属性２０１を入力する。登録要求者属性２０１は個人識別子１０３に対応するように登録する。【００７６】
ステップ４２は、認証要求者１０７は認証個人識別子１０９を話者照合装置に入力するステップである。次に、音声単位提示手段２０４は、属性に関するする質問を提示する。例えば、「あなたの出身はどこですか？」がある。この質問は、発声単位提示手段２０４により前回提示した内容を切り替えて提示する。【００７７】
ステップ４３は、認証要求者１０７が発声した認証要求者音声１０８と、これに対応する照合用音声標準パターン１１８とを比較するステップである。例えば、認証要求者１０７が「ＡＡＢ」の認証個人識別子１０９を入力し、音声単位提示手段２０４では「出身地はどこですか？」と質問した場合には、照合用音声標準パターン選択手段４０５は、照合用音声標準パターン群集合４０５から、認証個人識別子１０９「ＡＡＢ」の属性に対応した、照合用音声標準パターン群を選択し、更にその中から「さ（/sa/）」、「っ（/Q/）」、「ぽ（/po/）」、「ろ（/ro/）」の照合用音声標準パターン１１８を選択する。この選択された照合用音声標準パターン１１８と認証要求者音声１０８の各音節とを比較し音声類似度を計算し類似度を出力する。【００７８】
ステップ４４は、話者照合装置が、認証要求者１０７が正当な利用者か否かを判断するステップである。【００７９】
以上のように、この実施の形態４によれば、前回提示した音声単位１３０を他の音声単位１３０に切り替えて提示されるので、テープレコーダ等で録音した音声によって他人に詐称されにくい。また、属性を利用して話者照合を行うので、事前の音声登録が不要となり、登録要求者１０１が音声を登録できない場合であっても話者照合を実現できる。
【図面の簡単な説明】
【００８０】
【図１】この発明の実施の形態１を示す話者照合装置の構成図である。
【図２】この発明の実施の形態１における音声単位提示手段の概念を示す一例である。
【図３】この発明の実施の形態１における登録データベースにおける音声標準パターンの格納態様の概念図である。
【図４】この発明の実施の形態１における話者照合装置の処理内容を示すフローチャートである。
【図５】この発明の実施の形態１における音声単位提示手段の概念を示す一例である。
【図６】この発明の実施の形態１における音声単位提示手段の概念を示す一例である。
【図７】この発明の実施の形態２を示す話者照合装置の構成図である。
【図８】この発明の実施の形態２における話者照合装置の処理内容を示すフローチャートである。
【図９】この発明の実施の形態３を示す話者照合装置の構成図である。
【図１０】この発明の実施の形態３における話者照合装置の処理内容を示すフローチャートである。
【図１１】この発明の実施の形態４を示す話者照合装置の構成図である。
【図１２】この発明の実施の形態４における話者照合装置の処理内容を示すフローチャートである。
【符号の説明】
【００８１】
１００  利用者登録手段
１０１  登録要求者
１０２  登録要求者音声
１０３  個人識別子
１０４  暗証文字列
１０５  登録手段
１０６  登録データベース
１０７  認証要求者
１０８  認証要求者音声
１０９  認証個人識別子
１１０  音声単位データベース
１１１  音声単位提示手段
１１２  音声類似度計算手段
１１３  閾値
１１４  判定手段
１１５  認証結果
１１７  音節
１１８  音声標準パターン
１２０  暗証文字列構成文字
１２１  暗証文字列構成文字群
１３０  音声単位
２０１  登録要求者属性
２０４  音声単位提示手段
２０５  応答時間計算手段
２０６  判定用スコア計算手段
３０１  登録要求者唇画像
３０４  認証要求者唇画像
３０５  音声及び唇画像類似度計算手段
４０３  照合用音声標準パターン群
４０４  照合用音声標準パターン群集合
４０５  照合用音声標準パターン選択手段
【図１】
2006027844.tif 000003
【図２】
2006027844.tif 000004
【図３】
2006027844.tif 000005
【図４】
2006027844.tif 000006
【図５】
2006027844.tif 000007
【図６】
2006027844.tif 000008
【図７】
2006027844.tif 000009
【図８】
2006027844.tif 000010
【図９】
2006027844.tif 000011
【図１０】
2006027844.tif 000012
【図１１】
2006027844.tif 000013
【図１２】
2006027844.tif 000014
【国際調査報告】
2006027844.tif 000015
2006027844.tif 000016