(57)【要約】声認証および耳認証を組み合わせて、精度の高い認証を早く行える生体認証装置等を提供する。生体認証装置３００は、音を再生するための再生部１１、再生部１１から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出する耳認証部１３、入力されたユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出する声認証部１４、および、耳認証スコアおよび声認証スコアを基に算出する認証統合結果を出力する認証統合部１５を備え、再生部１１による耳穴内部への音の出力の後に、録音部１２によるユーザの音声の入力が行われる。
2020045204.tif 000002
【特許請求の範囲】
【請求項１】
音を再生するための再生手段と、
前記再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出する耳認証手段と、
入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出する声認証手段と、
前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する認証統合手段
とを備え、前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる
生体認証装置。
【請求項２】
前記耳認証手段および前記声認証手段の動作開始を、前記ユーザに対して同時に通知する対話制御手段
を更に備える請求項１に記載の生体認証装置。
【請求項３】
前記対話制御手段は、前記反響音の入力の完了を伝える反響音収録完了通知を前記録音手段から受け取ったことをトリガに、前記声認証手段に動作を開始するよう命令する
請求項２記載の生体認証装置。
【請求項４】
前記反響音の録音および前記ユーザの音声の録音をするための録音手段をさらに備え、
前記対話制御手段は、前記耳認証手段の動作開始命令と同時に、前記声認証手段に対し、前記反響音の録音に必要な時間長を待機した後、前記ユーザの音声の録音を開始するよう命令する
請求項２または３に記載の生体認証装置。
【請求項５】
前記対話制御手段は、前記耳認証手段および前記声認証手段のいずれかに異常があることを検出した場合、前記認証統合手段に、異常ではない方の認証スコアに重み付けするよう命令する
請求項２乃至４のいずれかに記載の生体認証装置。
【請求項６】
再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出し、
入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出し、
前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する
ことを備え、
前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる
生体認証方法。
【請求項７】
再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出し、
入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出し、
前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する
ことを備え、
前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる
ことをコンピュータに実現させるための生体認証プログラムを格納する記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザを認証するための生体認証装置等に関する。
【背景技術】
【０００２】
指紋、虹彩、顔、声紋、耳などのユーザの生体情報を用いた個人認証技術は、パスワードや鍵と比べて、漏えいや盗難のリスクが小さく、また忘れたり紛失したりしないという利点がある。このため、近年はユーザを認証するための様々な生体認証手法が開発されており、その中には声紋（音声）認証（以下、声認証と記載）および耳音響認証（以下、耳認証と記載）が含まれる。【０００３】
声認証では、ユーザの声を用いて認証を行う。例えば、スマートスピーカーなどの機器では、ユーザは、当該機器に搭載されたＡＩ（Artificial intelligence）エージェントとの音声対話を介して、操作を行う。当該機器が提供するサービスへのログイン、または、当該機器が、個々のユーザに対してより適した応答を行う（パーソナライズ）等の目的において、声認証は利用される（特許文献１参照）。【０００４】
耳認証では、ユーザの耳穴内部の反響特性を用いて認証を行う。例えば、ヘッドフォン、イヤフォン等のヒアラブルデバイスは、マイクロフォンを搭載させて耳穴内部の音の反響特性を抽出することで、ユーザの認証を行う。ヒアラブルデバイスのマイクロフォンを使用して、同時に上記の声認証を行うことも可能である（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２２１９９０号公報
【特許文献２】特開２０１５−２０６８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の声認証および耳認証は、単独で行った場合、正確に認証できない場合がある。例えば、背景雑音が大きい時には声認証の精度が落ちるし、イヤフォンが耳穴に十分に密着していない時には耳認証の精度が落ちる。認証に失敗すると、ユーザは認証成功を前提としてアクセス可能な機器（又は機能）を早急に使用することができない。これは早急に当該機器を使用する必要の有るユーザ（例えば、救急医療隊員）にとっては致命的な結果を引き起こすことがある。また、単純に声認証および耳認証を組み合わせた場合、精度は高くなるが認証に掛かる時間はそれら認証時間の合計となり、ユーザはより長い時間待たなくてはならない。【０００７】
本開示は上記の問題に鑑みてなされたものであり、声認証および耳認証を組み合わせて、精度の高い認証を早く行える生体認証装置等を提供することを目的の一つとする。
【課題を解決するための手段】
【０００８】
上記問題点を鑑みて、本開示の第１の観点である生体認証装置は、
音を再生するための再生手段と、
前記再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出する耳認証手段と、
入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出する声認証手段と、
前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する認証統合手段
とを備え、前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる。【０００９】
本開示の第２の観点である生体認証方法は、
再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出し、
入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出し、
前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する
ことを備え、
前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる。【００１０】
本開示の第３の観点である生体認証プログラムは、
再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出し、
入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出し、
前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する
ことを備え、
前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる
ことをコンピュータに実現させる。【００１１】
プログラムは、非一時的なコンピュータ可読の記憶媒体に格納されていてもよい。
【発明の効果】
【００１２】
本開示によれば、声認証および耳認証を組み合わせて、精度の高い認証を早く行える生体認証装置等を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の第一実施形態に係る生体認証装置の構成図である。
【図２】イヤフォンの構成図である。
【図３】本開示の第一実施形態に係る生体認証装置の動作を示すシーケンスチャートである。
【図４】本開示の第二実施形態に係る生体認証装置の構成図である。
【図５】本開示の第二実施形態に係る生体認証装置の動作を示すシーケンスチャートである。
【図６】本開示の第三実施形態に係る生体認証装置の構成図である。
【図７】第一乃至第三実施形態にて使用可能な情報処理装置の構成図である。
【発明を実施するための形態】
【００１４】
以下、各実施形態について図面を参照して詳細に説明する。
【００１５】
＜第一の実施形態＞
（生体認証装置）
第一の実施形態における生体認証装置１００について図１を参照して説明する。生体認証装置１００は、声認証処理、耳認証処理および両方の処理結果を統合する処理が組み込まれた電子回路を搭載する。または、これらの処理を実行するためのプログラムをユーザが所持する通信機器（スマートフォン等）にインストールすることによって実装してもよい。生体認証装置１００は、図１に示すように、スピーカ２およびマイクロフォン３を内蔵したイヤフォン１と、有線ケーブルまたは無線通信を介して接続される。スピーカ２は生体認証装置１００の再生部１１１と接続される。マイクロフォン３は生体認証装置１００の録音部１１２と接続される。
【００１６】
尚、生体認証装置１００は、図２に示すように、スピーカ２およびマイクロフォン３を内蔵したイヤフォン１に搭載されていてもよい。
【００１７】
スピーカ２は、ユーザ側に音を出力する。マイクロフォン３は、耳認証においては、ユーザがイヤフォン１を装着した状態にて、ユーザの耳穴側から反響音を入力する。マイクロフォン３は、声認証においては、ユーザがイヤフォン１を装着した状態において、ユーザの発話を入力する。声認証でユーザの音声を拾いづらい場合、ユーザは、イヤフォン１を口元等に移動させても良い。尚、マイクロフォン３は、声認証用と耳認証用とに別々に準備されてもよい。例えば、ヘッドセット側のイヤフォンを用いて、耳認証用のマイクロフォンはイヤフォン１内部に搭載され、声認証用のマイクロフォンはイヤフォンマイク等のマイク単体がユーザの口元に固定されるようにしてもよい。
【００１８】
ユーザが所持する通信機器（不図示）は、ＡＩ対話プログラムを搭載していてもよい。ＡＩ対話プログラムは、様々なアプリケーションと連携した動作が可能であり、音声を用いた対話を介して、様々な情報取得やアプリケーション機能実行ができる。ＡＩ側の音声はイヤフォン１に内蔵されたスピーカ２を通してユーザに伝えられ、ユーザ側の音声は、イヤフォン１に内蔵されたマイクロフォン３を通してＡＩ対話プログラムに伝えられる。上記の情報取得や機能実行には、正規ユーザのみしかアクセスを許可されない情報や機能が含まれる。例えば、メールアカウントへの接続、銀行アカウントへの接続といった、個人情報を守るために強固なセキュリティを要する機能である。ユーザからこのような機能へのアクセスを求められた時、ＡＩ対話プログラムはアクセス管理のために、生体認証装置１００を起動する。
【００１９】
第一の実施形態に係る生体認証装置１００は、図１に示すように、対話制御部１０１、再生部１１１、録音部１１２、耳認証部１２１、声認証部１３１および認証統合部１４１を備える。
【００２０】
対話制御部１０１は、再生部１１１によるユーザの耳穴内部への音の出力の後に、録音部１１２によるユーザの音声の入力（収録）が行われるように制御を行う。対話制御部１０１は、耳認証通知部１０２、声認証通知部１０３、耳認証命令部１０４、声認証命令部１０５および認証結果記憶部１０６を備える。
【００２１】
耳認証通知部１０２は、ユーザに対し、耳認証（または耳認証と声認証の両方）が始まることを通知する。具体的には、耳認証通知部１０２は、再生部１１１に、ユーザへの認証開始を知らせる音声（録音済みでよい）を再生させる。
【００２２】
声認証通知部１０３は、ユーザに対し、声認証が始まることを通知する。具体的には、声認証通知部１０３は、再生部１１１に、ユーザへの認証開始を知らせる音声（録音済みでよい）を再生させる。
【００２３】
耳認証命令部１０４は、耳認証部１２１に対し、耳認証を開始するよう命令を行う。
【００２４】
声認証命令部１０５は、声認証部１３１に対し、声認証を開始するよう命令を行う。声認証命令部１０５または声認証部１３１は、所定時間しか使用できないワンタイムパスワードを生成してもよい。生成されたワンタイムパスワードは、イヤフォン１を介して音声でユーザに伝えられる、又は、ユーザの通信機器（不図示）のディスプレイ等に表示されることでユーザに伝えられる。
【００２５】
認証結果記憶部１０６は、耳認証部１２１および声認証部１３１から通知された照合スコアを格納する。
【００２６】
再生部１１１は、録音してある音を再生（出力）する。再生部１１１は再生するための音を格納するための記憶部を備えていても良い。
【００２７】
録音部１１２は、入力される音を録音する。録音部１１２は、録音された音を格納するための記憶部を備えていても良い。
【００２８】
耳認証部１２１は、信号発生部１２２、音響特性抽出部１２３、耳照合部１２４および特徴量記憶部１２５を備える。
【００２９】
信号発生部１２２は、再生部１１１から出力される音（プローブ信号等）を発生させる。この音は、認証対象であるユーザの耳穴内部における反響音を取得するために出力される。
【００３０】
音響特性抽出部１２３は、認証対象であるユーザの耳穴内部における反響音を、録音部１１２を介して取得し、当該反響音からユーザの耳穴形状に対応する音響特性を抽出する。
【００３１】
耳照合部１２４は、特徴量記憶部１２５に予め格納される認証対象であるユーザの音響特性と抽出された音響特性とが一致するか照合する。照合の結果は照合スコア（耳認証スコア）として出力される。
【００３２】
特徴量記憶部１２５は、予め取得された、認証対象であるユーザの音響特性を記憶する。
【００３３】
声認証部１３１は、話者特徴量抽出部１３２、声照合部１３３および特徴量記憶部１３４を備える。
【００３４】
話者特徴量抽出部１３２は、録音部１１２を介して録音されたユーザの音声から話者特徴量を抽出する。
【００３５】
声照合部１３３は、特徴量記憶部１３４に予め格納される認証対象であるユーザの話者特徴量と抽出された話者特徴量とが一致するか照合する。照合の結果は照合スコア（声認証スコア）として出力される。
【００３６】
特徴量記憶部１３４は、予め取得された、認証対象であるユーザの話者特徴量を記憶する。
【００３７】
認証統合部１４１は、耳認証スコアおよび声認証スコアを基に認証統合結果を算出し、出力する。
【００３８】
出力される認証統合結果は、セキュリティで保護された機器または機能へのアクセスを管理するプログラム、例えば、上記のＡＩ対話プログラムに引き渡される。認証統合結果が所定の値以上であれば、ＡＩ対話プログラムは、ユーザが所望する機能へのアクセスを許可し、生体認証装置１００を終了させる。
【００３９】
（生体認証装置の動作）
以下、第１の実施形態に係る生体認証装置１００の認証処理の動作について図３に示すシーケンスチャートを参照して説明する。
【００４０】
まずステップＳ１において、ユーザからのリクエスト等により生体認証が必要となったことを対話制御部１０１が受け取ると、対話制御部１０１の耳認証通知部１０２は、再生部１１１に、耳認証および声認証の開始をユーザに通知するための音声を再生するよう命令する。再生部１１１は、当該命令に沿い、耳認証および声認証の開始をユーザに通知するための音声（例えば「これから耳認証、続いて声認証を行います」）を再生する。尚、これは音声のみならず画面上において行っても良い。例えば、ユーザが表示部を備える通信機器（不図示）を所持している場合、当該表示部に「認証を行います」と表示してもよい。
【００４１】
ステップＳ２において、耳認証命令部１０４が、耳認証部１２１に対し、耳認証を開始するよう命令を行う。この命令を受けた耳認証部１２１の信号発生部１２２は、プローブ信号を発生させ、再生部１１１へと送る。
【００４２】
ステップＳ３において、再生部１１１は、プローブ信号をスピーカ２へ送信し、スピーカ２はこれを再生する。尚、プローブ信号は、ピーという音、メロディ等の可聴音であってもよいし、ホワイトノイズであってもよい。超音波などの非可聴音であってもよい。
【００４３】
ステップＳ４において、録音部１１２は、再生されたプローブ信号のユーザの耳穴内における反響音をマイクロフォン３を介して録音し、録音データを耳認証部１２１へと送る。耳認証部１２１の耳照合部１２４は、録音データを用いて耳認証処理を行う。耳認証処理において、耳照合部１２４は、プローブ信号と反響音とを用いて、耳穴内の伝達関数を推定する。さらに、耳照合部１２４は、伝達関数を主成分分析などによって低次元の特徴量に圧縮したり、ＭＦＣＣ(Mel-Frequency Cepstral Coefficients)などの特徴量へと変換したりしてもよい。こうして得られた出力を耳音響特徴量とする。耳照合部１２４は、あらかじめユーザ登録時に、同様の手順で抽出されたユーザ本人の別の耳音響特徴量との比較を行い、耳音響スコアを算出する。スコア算出に用いる距離尺度としてはユークリッド距離やコサイン距離などが考えられる。
【００４４】
ステップＳ５において、耳照合部１２４は、耳認証処理の結果として照合スコアなどを対話制御部１０１へと送る。対話制御部１０１は受信する耳認証の照合スコアを認証結果記憶部１０６に一時的に格納する。
【００４５】
ステップＳ６において、対話制御部１０１の声認証通知部１０３は、再生部１１１に対し、声認証の開始および指示をユーザに通知するための音声を再生するよう命令する。この際、ユーザは既にステップＳ１において認証処理が実行中であることを知っているのだから、「声認証を行います」等の声認証の実行開始を直接的に示す通知を行うのではなく、例えば「パスワードを言ってください」等の具体的な指示を行うのみでよい。再生部１１１は、当該命令に沿い、声認証の開始をユーザに通知するための音声を再生する。
【００４６】
パスワードは、通常はユーザのみしか知らないもの（例えば「母親の旧姓を言ってください」）を用いてもよい。声認証で用いる単語を音声で通知してもよい（例えば「今日の日付を言ってください」）。この他、ユーザの通信機器の表示部（不図示）に、パスワードを表示させてユーザに通知しても良い（例えば『パスワード「ＡＢＣ」を言ってください』を表示する）。尚、声認証命令部１０５は、所定時間経過毎にワンタイムパスワードを生成し、生成したパスワードを再生部１１１に放送させ、イヤフォン１を介して音でユーザに伝える、又は、ユーザの通信機器の表示部（不図示）に表示させてもよい。これによりパスワードの安全度を高めることが出来る。
【００４７】
ステップＳ７において、対話制御部１０１の声認証命令部１０５が、声認証部１３１に対し、声認証を開始するよう命令する。命令を受けた声認証部１３１は、録音部１１２に対し、ユーザの発話（パスワード）の録音を開始するよう命令する。
【００４８】
ステップＳ８において、録音部１１２は、声認証開始通知を聞き発声を開始したユーザの声をマイクロフォン３を介して録音し、録音データを声認証部１３１へと送る。
【００４９】
ステップＳ９において、声認証部１３１は、受け取った録音データを用いて、声認証処理を行う。声認証部１３１は、録音されたユーザの発声音声からi-vectorなどの話者特徴量を抽出する。話者を識別可能なニューラルネットワークを用いて、話者特徴量を抽出してもよい。さらに、あらかじめユーザ登録時に、同様の手順で抽出されたユーザ本人の別の話者特徴量との比較を行い、照合スコアを算出する。スコア算出には、コサイン距離やＰＬＤＡ（Probabilistic Linear Discriminant Analysis）などが用いられる。また、これらのスコア算出の前に、平均正規化や、白色化、ノルム正規化などの前処理を行ってもよい。声認証処理後、声認証部１３１は、照合スコアなどの声認証結果を対話制御部１０１へと送る。
【００５０】
ステップＳ１０において、耳認証と声認証の２種類の認証結果（照合スコア）を対話制御部１０１が受け取ると、対話制御部１０１はこれらの認証結果を認証統合部１４１へと送る。
【００５１】
ステップＳ１１において、認証統合部１４１は、両方の認証結果を統合し、最終的に対象ユーザが本人か他人かを判断する。照合スコアの統合は、スコア平均、重み付き平均などいかなるスコア統合の手法を用いても良い。認証統合部１４１は、算出された認証統合スコアがあらかじめ設定された閾値を超えているか否かを判定し、閾値を超えていた場合は認証成功、閾値を超えない場合は認証失敗と判定する。また、対話制御部１０１は、耳認証または声認証のいずれかに異常または不具合があることをユーザや他の構成部から通知された場合、認証統合部１４１に、認証が正常に完了した照合スコアに重み付けをするように命令しても良い。判定結果は、認証統合結果として、対話制御部１０１に送信される。対話制御部１０１は、認証統合結果が認証成功の場合はユーザに要求された情報取得や機能実行を許可する旨を、アクセスを管理するＡＩ対話プログラム等に通知する。認証統合結果が認証失敗の場合はその旨を上記ＡＩ対話プログラム等に通知する。この際、対話制御部１０１は、認証統合結果を、イヤフォン１などを介してユーザへ通知してもよい。
【００５２】
以上により生体認証装置１００の認証処理の動作を終了する。
【００５３】
尚、本実施形態では、ユーザの所有する通信機器内で動作する処理（プログラム）として、説明を行ったが、これは携帯可能な通信機器内での処理に限られない。例えば、サーバ内に認証処理のプログラムが実装されていて、ユーザの通信機器はネットワークを介して当該サーバから認証統合結果のみを受け取っても構わない。また、イヤフォン１そのものに当該プログラムを実行可能な機器、部品を搭載させてもよい。
【００５４】
（第一の実施形態の効果）
本実施形態に係る生体認証装置１００は、声認証および耳認証を組み合わせて、より精度の高い認証を行うことができる。これは、耳認証部１２１が出力する耳認証スコアおよび声認証部１３１が出力する声認証スコアを基に認証統合部１４１が認証統合結果を算出して出力するからである。声認証および耳認証は、単独で行った場合、諸事情により認証の精度が落ちる。しかし、生体認証装置１００は、イヤフォン１を介して取得するユーザの生体情報を用いて声認証および耳認証を実行し、その認証統合結果を利用することで、精度を落とさずにユーザの認証を行うことができる。しかも更に、生体認証装置１００は、声認証および耳認証の各々の照合結果を統合することで、いずれか片方の認証を行う場合と比較してより高い認証精度を得ることができる。
【００５５】
更に、生体認証装置１００では、耳認証処理の後に声認証処理が実行される、即ち、少なくとも、再生部１１１による耳穴内部への音の出力の後に、録音部１１２による前記ユーザの音声の入力が行われる。これにより、通常の耳認証処理および声認証処理を単純に組み合わせた装置よりも、全体として早く認証処理を完了することができ、ひいてはユーザの待ち時間を短くすることができる。
【００５６】
＜第二の実施形態＞
第一の実施形態においては耳認証の開始時と声認証の開始時との２回、ユーザに音声を通知していた。本実施形態においては、ユーザへの通知回数を減らすことで、認証に要する全体的な時間をより短縮する手法について説明する。
【００５７】
（生体認証装置）
本実施形態に係る生体認証装置２００は、図４に示すように、対話制御部２０１、再生部１１１、録音部１１２、耳認証部１２１、声認証部１３１および認証統合部１４１を備える。
【００５８】
対話制御部２０１は、同時通知部２０２、声認証通知部１０３、耳認証命令部１０４および声認証命令部１０５を備える。同時通知部２０２は、再生部１１１に対し、ユーザに耳認証と声認証を連続して行わせるための指示を音声として再生するように命令する。
【００５９】
その他の部、装置は第一の実施形態と同様である。
【００６０】
（生体認証装置の動作）
本実施形態の生体認証装置２００の認証動作について図５に示すシーケンスチャートを参照して説明する。
【００６１】
まずステップＴ１において、ユーザからのリクエスト等により生体認証が必要となったことを対話制御部２０１が受け取ると、対話制御部２０１の同時通知部２０２は、再生部１１１に対し、「ピーとなった後、パスワードを言ってください」などのユーザに耳認証と声認証を連続して行わせるための指示を音声として再生するように命令する。これは、耳認証用のプローブ音発生の後に速やかに連続して声認証を開始するためである。尚、第一の実施形態ではプローブ信号は非可聴の超音波などであってもよいが、本実施形態では可聴音を用いる。これは可聴音でないと、ユーザがどのタイミングでパスワードを発声し始める（音声認証を開始する）のか分からないし、更に、可聴音のほうが反響音の音響特性の精度が高くなるためである。再生部１１１は、当該命令に従い、耳認証および声認証の開始をユーザに通知するための音声をスピーカ２を介して再生する。
【００６２】
ステップＴ２において、対話制御部２０１の耳認証命令部１０４が、耳認証部１２１に対し、耳認証を開始するよう命令する。
【００６３】
ステップＴ３において、耳認証部１２１の信号発生部１２２はプローブ信号を発生し、再生部１１１へと送る。再生部１１１は、当該プローブ信号を再生し、イヤフォン１のスピーカ２へと出力する。
【００６４】
ステップＴ４において、録音部１１２は、ユーザの耳穴内部にて再生されたプローブ信号の反響音をマイクロフォン３を介して録音し、録音データを耳照合部１２４へと送る。
【００６５】
ステップＴ５において、耳照合部１２４は、録音データを用いて、耳認証を行い、照合スコアなどの耳認証結果を対話制御部２０１へと送る
ステップＴ６において、耳認証が完了すると、対話制御部２０１の声認証命令部1０５が、声認証部１３１に対し、声認証を開始するように命令する。
【００６６】
ステップＴ７において、声認証部１３１は、録音部１１２に対し、ユーザの声の録音を開始するよう命令する。録音部１１２は、当該命令に従い、発声を開始したユーザの発声を録音し、当該録音データを声認証部１３１へと送る。
【００６７】
ステップＴ８において、声認証部１３１は、当該録音データを用いて、声認証を行い、照合スコアなどの声認証結果を対話制御部２０１へと送る。
【００６８】
ステップＴ９において、声認証の認証結果（照合スコア）を対話制御部２０１が受け取ると、耳認証および声認証の認証結果を認証統合部１４１へと送る。
【００６９】
ステップＴ１０において、認証統合部１４１は、耳認証および声認証の認証結果を統合し、最終的に本人か他人かを判断した認証統合結果を、対話制御部２０１へと出力する。
【００７０】
（第二の実施形態の効果）
本実施形態では、第一の実施形態の効果に加えて、認証に要する全体的な時間を短縮することができる。これは、対話制御部２０１の同時通知部２０２が、耳認証と声認証を連続して行えるように、言い換えると、耳認証完了後に声認証の開始通知を行う必要がないように、ユーザに通知するためである。このため、１つのユーザへの指示によって、耳認証と声認証を連続して行うことができ、認証統合結果を得るまでにかかる時間を短縮することができる。
【００７１】
＜第二の実施形態の変形例１＞
上記の第二の実施形態においては、耳認証の照合スコア計算（ステップＴ５）の後に声認証のための音声録音（ステップＴ６、Ｔ７）を行っていたが、耳認証の照合スコア計算および声認証のための音声収録は並列に実行しても良い。具体的に説明すると、耳照合部１２４は、耳認証を行う前に、反響音収録完了通知を対話制御部２０１へと送り、対話制御部２０１は、耳認証の照合スコアでなく、反響音収録完了通知をトリガとして、ステップＴ６を開示してもよい。
【００７２】
これにより、１つのユーザへの指示によって、耳認証と声認証を連続して行うことができ、第二の実施形態と比して、認証統合結果を得るまでにかかる時間を更に短縮することができる。
【００７３】
＜第二の実施形態の変形例２＞
予め、ユーザに「プローブ信号が声認証開始の合図である」ことを周知しておくことで、図５に示すステップＴ１の処理（同時通知部２０２が再生部１１１に対して耳認証と声認証を連続して行わせるための指示を音声として再生する）を不要とすることも可能である。すなわち、ステップＴ１を省略し、ステップＴ２〜ステップＴ１０までを行う順に行う。ユーザへの周知は、ユーザが使用する通信機器の表示部（不図示）に表示したり、生体認証装置２００の開始時に、人手を介したり、紙媒体にて周知させても良い。
【００７４】
これにより、第二の実施形態および第二の実施形態の変形例１と比して、ステップＴ１を省略する分、認証統合結果を得るまでにかかる時間を更に短縮することができる。
【００７５】
＜第二の実施形態の変形例３＞
図５に示すステップＴ６（対話制御部２０１の声認証命令部１０５が、声認証部１３１に声認証の開始を命令）の代わりに、ステップＴ２と同時、または、ステップＴ２の直前か直後に、声認証命令部１０５が、声認証部１３１に対し、プローブ信号の継続長だけ待機した後に声認証を開始するという命令を行ってもよい。これは、プローブ信号は固定の継続長であるため、待機時間も固定時間であり、声認証開始のタイミングを計ることが可能だからである。この時、耳認証の照合スコア計算結果を待たずに、耳認証の照合スコア計算および声認証のための音声収録を並列に実行してもよい。
【００７６】
これにより、第二の実施形態および第二の実施形態の変形例１と比して、ステップＴ６を省略する分、認証統合結果を得るまでにかかる時間を更に短縮することができる。
【００７７】
＜第三の実施形態＞
第三の実施形態における生体認証装置３００について図６を参照して説明する。生体認証装置３００は、音を再生するための再生部１１、音を録音するための録音部１２、再生部から出力される音の、認証対象であるユーザの耳穴内部における反響音を録音部にて録音し、当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出する耳認証部１３、録音部を介して録音されたユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出する声認証部１４、および、耳認証スコアおよび声認証スコアを基に算出する認証統合結果を出力する認証統合部１５を備え、再生部１１による耳穴内部への音の出力の後に、録音部１２によるユーザの音声の入力が行われる。
【００７８】
第三の実施形態によると、声認証および耳認証を組み合わせて、精度の高い認証を早く行うことができる。これは、耳認証スコアおよび声認証スコアを基に認証統合部１５が認証統合結果を算出して出力するからである。更に、生体認証装置３００では、耳認証処理の後に声認証処理が実行される、即ち、少なくとも、再生部１１による耳穴内部への音の出力の後に、録音部１２によるユーザの音声の入力が行われる。これにより、通常の耳認証処理および声認証処理を単純に組み合わせた装置よりも、全体として早く認証処理を完了することができる。
【００７９】
（情報処理装置）
上述した本発明の各実施形態において、図１、４、６等に示す生体認証装置における各構成要素の一部又は全部は、例えば図７に示すような情報処理装置５００とプログラムとの任意の組み合わせを用いて実現することも可能である。情報処理装置５００は、一例として、以下のような構成を含む。
【００８０】
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５０１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０３
・プログラム５０４および他のデータを格納する記憶装置５０５
・記録媒体５０６の読み書きを行うドライブ装置５０７
・通信ネットワーク５０９と接続する通信インターフェース５０８
・データの入出力を行う入出力インターフェース５１０
・各構成要素を接続するバス５１１
本願の各実施形態における生体認証装置の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。生体認証装置の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。
【００８１】
各装置の実現方法には、様々な変形例がある。例えば、生体認証装置は、構成要素毎にそれぞれ別個の情報処理装置とプログラムとの任意の組み合わせにより実現されてもよい。また、生体認証装置が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。
【００８２】
また、生体認証装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【００８３】
生体認証装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【００８４】
生体認証装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【００８５】
以上、本実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００８６】
この出願は２０１８年８月３１日に出願された日本出願特願２０１８−１６２２２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８７】
１  イヤフォン
２  スピーカ
３  マイクロフォン
１００  生体認証装置
１０１  対話制御部
１０２  耳認証通知部
１０３  声認証通知部
１０４  耳認証命令部
１０５  声認証命令部
１０６  認証結果記憶部
１１１  再生部
１１２  録音部
１２１  耳認証部
１２２  信号発生部
１２３  音響特性抽出部
１２４  耳照合部
１２５  特徴量記憶部
１３１  声認証部
１３２  話者特徴量抽出部
１３３  声照合部
１３４  特徴量記憶部
１４１  認証統合部
２００  生体認証装置
２０１  対話制御部
２０２  同時通知部
５００  情報処理装置
５０１  ＣＰＵ
５０３  ＲＡＭ
５０４  プログラム
５０５  記憶装置
５０６  記録媒体
５０７  ドライブ装置
５０８  通信インターフェース
５０９  通信ネットワーク
５１０  入出力インターフェース
５１１  バス
５０７  ドライブ装置
５０８  通信インターフェース
５０９  通信ネットワーク
５１０  入出力インターフェース
５１１  バス
【図１】
2020045204.tif 000003
【図２】
2020045204.tif 000004
【図３】
2020045204.tif 000005
【図４】
2020045204.tif 000006
【図５】
2020045204.tif 000007
【図６】
2020045204.tif 000008
【図７】
2020045204.tif 000009
【手続補正書】
【提出日】令和3年2月9日(2021.2.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音を再生するための再生手段と、
前記再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出する耳認証手段と、
入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出する声認証手段と、
前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する認証統合手段とを備え、
前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる
生体認証装置。
【請求項２】
前記耳認証手段および前記声認証手段の動作開始を、前記ユーザに対して同時に通知する対話制御手段
を更に備える請求項１に記載の生体認証装置。
【請求項３】
前記対話制御手段は、前記反響音の入力の完了を伝える反響音収録完了通知を前記録音手段から受け取ったことをトリガに、前記声認証手段に動作を開始するよう命令する
請求項２記載の生体認証装置。
【請求項４】
前記反響音の録音および前記ユーザの音声の録音をするための録音手段をさらに備え、
前記対話制御手段は、前記耳認証手段の動作開始命令と同時に、前記声認証手段に対し、前記反響音の録音に必要な時間長を待機した後、前記ユーザの音声の録音を開始するよう命令する
請求項２または３に記載の生体認証装置。
【請求項５】
前記対話制御手段は、前記耳認証手段および前記声認証手段のいずれかに異常があることを検出した場合、前記認証統合手段に、異常ではない方の認証スコアに重み付けするよう命令する
請求項２乃至４のいずれかに記載の生体認証装置。
【請求項６】
再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出し、
入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出し、
前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する
ことを備え、
前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる
生体認証方法。
【請求項７】
再生手段から出力される音の、認証対象であるユーザの耳穴内部における反響音を取得して当該反響音から耳音響特徴量を抽出し、抽出された耳音響特徴量と予め格納する耳音響特徴量とを比較して耳認証スコアを算出し、
入力された前記ユーザの音声から話者特徴量を抽出し、抽出された話者特徴量と予め格納する話者特徴量とを比較して声認証スコアを算出し、
前記耳認証スコアおよび前記声認証スコアを基に算出する認証統合結果を出力する
ことを備え、
前記再生手段による前記耳穴内部への前記音の出力の後に、前記ユーザの音声の入力が行われる
ことをコンピュータに実現させるための生体認証プログラム。
【国際調査報告】
2020045204.tif 000010
2020045204.tif 000011
2020045204.tif 000012
2020045204.tif 000013