(57)【要約】【課題】既に登録済のユーザであるか、新規のユーザであるかの話者認識を正確にして、話者に応じた対話を実現する。【解決手段】話者認識用ユーザ音声データベース１１及び個人情報データベース１２を記憶するユーザデータベース記憶部４を用意しておき、ユーザとの間で音声対話をするに際して、話者認識部２により入力した音声信号から話者識別をし、対話制御部２３により、識別した話者に対応したユーザ情報を読み出し、読み出したユーザ情報に基づいて、複数の対話シナリオのうち、ユーザに対応した対話シナリオを選択する。そして、対話制御部２３では、ユーザに応じて選択した対話シナリオを用いた対話を実現する。【選択図】　　　図１
2004101901.tif 000002
【特許請求の範囲】
【請求項１】
ユーザからの音声を入力して、音声信号を生成する音声入力手段と、
音声をユーザに向かって放音する音声出力手段と、
上記音声入力手段にて生成した音声信号から話者識別をする話者認識手段と、ユーザに関するユーザ情報を記憶したユーザデータベースを記憶するデータベース記憶手段と、
上記話者認識手段にて識別した話者に対応した情報を上記データベース記憶手段から読み出し、読み出したユーザ情報に基づいて、複数の対話シナリオのうち、ユーザに対応した対話シナリオを選択して、上記対話シナリオに従った音声を出力させるように上記音声出力手段を制御する対話制御手段と
を備えることを特徴とする音声対話装置。
【請求項２】
上記データベース記憶手段には、上記ユーザデータベースとして、過去に上記音声入力手段にて入力した音声信号をユーザごとに記憶して登録したユーザ音声データベースと、ユーザごとに個人情報を登録した個人情報データベースとが記憶され、
上記話者認識手段は、上記ユーザ音声データベースに登録された音声信号と上記音声入力手段にて生成した音声信号とを照合して話者識別をし、上記対話制御手段は、話者識別結果に基づいて上記個人情報データベースを参照してユーザに対応した対話シナリオを選択することを特徴とする請求項１に記載の音声対話装置。
【請求項３】
上記話者認識手段は、上記音声入力手段にて生成した音声信号を用いて音声認識をして、当該音声認識結果から上記ユーザ音声データベースに登録されたユーザ候補となる音声信号を抽出し、抽出した音声信号と上記音声入力手段にて生成した音声信号とを照合して話者認識をすることを特徴とする請求項２に記載の音声対話装置。
【請求項４】
上記話者認識手段は、話者認識を行った結果、登録されたユーザか、新規のユーザかを判定し、
上記対話制御手段は、上記話者認識手段により登録されたユーザであると判定された場合には、対話シナリオとして登録ユーザ向けシナリオを選択して音声対話をし、上記話者認識手段により新規のユーザであると判定された場合には、対話シナリオとして新規ユーザ向けシナリオを選択して音声対話をすることを特徴とする請求項１に記載の音声対話装置。
【請求項５】
上記話者認識手段は、ユーザの顔画像を撮像する顔画像撮像手段を更に備え、過去に上記音声入力手段にて入力した音声信号をユーザごとに記憶して登録したユーザ音声データベースに登録された音声信号と上記音声入力手段にて生成した音声信号とを照合して話者識別をすると共に、予め顔画像認識用データベースに登録した顔画像と上記顔画像撮像手段にて撮像した顔画像とを照合して話者識別をし、音声信号を用いた話者識別結果と顔画像を用いた話者識別結果とに基づいてユーザを認識をすることを特徴とする請求項１に記載の音声対話装置。
【請求項６】
ユーザとの間で音声対話をするに際して、
入力した音声信号から話者識別をし、
識別した話者に対応した情報を、ユーザに関するユーザ情報を記憶するデータベース記憶手段から読み出し、
読み出したユーザ情報に基づいて、複数の対話シナリオのうち、ユーザに対応した対話シナリオを選択し、
上記対話シナリオに従った音声を出力させる処理をコンピュータに実行させることを特徴とする音声対話プログラム。
【請求項７】
音声信号をユーザごとに登録したユーザ音声データベースから音声信号を読み出して、入力した音声信号とを照合して話者識別をし、
話者識別結果に基づいて、ユーザごとに個人情報を登録した個人情報データベースを参照してユーザに対応した対話シナリオを選択する処理をコンピュータに実行させることを特徴とする請求項６に記載の音声対話プログラム。
【請求項８】
入力した音声信号を用いて音声認識をして、当該音声認識結果から上記ユーザ音声データベースに登録されたユーザ候補となる音声信号を抽出し、
上記抽出した音声信号と上記入力した音声信号とを照合して話者認識をする処理をコンピュータに実行させることを特徴とする請求項７に記載の音声対話プログラム。
【請求項９】
話者認識をすることにより、既に登録されたユーザか、新規のユーザかを判定し、
登録されたユーザであると判定された場合には、対話シナリオとして登録ユーザ向けシナリオを選択して音声対話をし、
新規のユーザであると判定された場合には、対話シナリオとして新規ユーザ向けシナリオを選択して音声対話をする処理をコンピュータに実行させることを特徴とする請求項６に記載の音声対話プログラム。
【請求項１０】
音声信号をユーザごとに記憶して登録したユーザ音声データベースに登録された音声信号と入力した音声信号とを照合して話者識別をすると共に、予め顔画像認識用データベースに登録した顔画像と撮像した顔画像とを照合して話者識別をし、
音声信号を用いた話者識別結果と顔画像を用いた話者識別結果とに基づいてユーザを認識をする処理をコンピュータに実行させることを特徴とする請求項６に記載の音声対話プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ユーザとの音声対話を実現するに際して、ユーザの話者認識をし、話者認識の結果に応じて対話内容を変更可能とする音声対話装置及び音声対話プログラムに関する。
【０００２】
【従来の技術】
従来より、ユーザに対して音声を放音し、更に、ユーザから発せられた音声を入力して、ユーザとの間で対話を実現する音声対話システムが知られている。この従来の音声対話システムでは、現在のユーザが誰であるかを認識せず、新規のユーザである場合や過去に利用経験のあるユーザである場合に拘わらず対話を実行することが多かった。
【０００３】
これに対し、従来の他の音声対話システムでは、例えばユーザにパスワード等のキー入力を促すことで、ユーザを認識していた。
【０００４】
【特許文献１】
特開昭６３−８５６９８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の従来の音声対話システムの多くは、現在の話し相手が誰であるかを認識せずに対話を実行するため、話し相手の固有情報や知識を参照することはなされていない。したがって、従来の音声対話システムでは、ユーザとの間で有効な対話が進行しないことや、以前に対話した内容を再度繰り返し実行するため、性能面や効率面での問題があった。
【０００６】
また、従来の他の音声対話システムでは、ユーザにパスワード入カを促すことでユーザを識別していたが、対話の開始に際してユーザに操作負担を強いることがあるという問題がある。
【０００７】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、既に登録済のユーザであるか、新規のユーザであるかの話者認識を正確にして、話者に応じた対話を実現する音声対話装置及び音声対話プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、ユーザに関するユーザ情報を記憶するデータベース記憶手段を用意しておき、ユーザとの間で音声対話をするに際して、入力した音声信号から話者識別をし、識別した話者に対応したユーザ情報を読み出し、読み出したユーザ情報に基づいて、複数の対話シナリオのうち、ユーザに対応した対話シナリオを選択する。そして、本発明では、ユーザに応じて選択した対話シナリオを用いた対話を実現することにより、上述の課題を解決する。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００１０】
［音声対話装置の構成］
本発明は、例えば図１に示すように構成された音声対話装置１に適用される。この音声対話装置１は、図示しない記憶機構に音声対話プログラムが格納され、図示しないＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等を含むコンピュータにより音声対話プログラムを実行することで後述の話者認識部２、音声対話部３及び音声記憶部５の各部の機能モジュールを構成する。また、ユーザデータベース記憶部４及び、音声対話部３内の対話シナリオ記憶部２１は、音声対話プログラムを実行することで構成される各機能モジュールによりその内容が読み込まれると共に、情報更新や新規情報登録処理などがなされる。
【００１１】
音声対話装置１は、装置正面位置に向かってマイク等の収音機構（図示せず）が設けられ、この収音機構を介してユーザから発せられた音声が電気信号の音声信号として話者認識部２及び音声対話部３に入力される。
【００１２】
この音声対話装置１では、ユーザに関する情報を管理するために、話者認識用ユーザ音声データベース１１と個人情報データベース１２とを予め用意しておき、ユーザデータベース記憶部４に記憶させている。また、この音声対話装置１では、ユーザに応じて異なる対話を実現するための複数の対話シナリオを予め用意し、この対話シナリオを対話シナリオ記憶部２１に記憶させている。なお、本例において、この対話シナリオは、新規ユーザ向け対話シナリオ３１、登録ユーザ向け対話シナリオ３２を用意しておく。
【００１３】
ユーザデータベース記憶部４は、例えばハードディスク等の大容量データが記憶可能な記録媒体からなる。このユーザデータベース記憶部４に記憶されている話者認識用ユーザ音声データベース１１には、過去に音声対話装置１を利用したユーザの音声が音声信号として格納されている。すなわち、話者認識用ユーザ音声データベース１１に記憶されている音声信号は、個人情報データベース１２の個人情報の名称等と対応づけられて登録されて記憶されている。
【００１４】
本例において、話者認識用ユーザ音声データベース１１に記憶されている音声信号としては、ユーザの名前がある。この話者認識用ユーザ音声データベース１１には、同じ名前の複数の音声信号が格納される場合があるが、声の音程等により音声信号の周波数特性が個人ごとに異なるために、後述の話者認識部２にて認識可能となっている。
【００１５】
個人情報データベース１２には、過去に音声対話装置１を利用したユーザの名称を始めとする各種の個人情報が記憶されている。この各種の個人情報とは、音声対話装置１の利用履歴や、利用目的等であって、音声対話装置１の用途によって異なる。なお、この個人情報の具体例については、後述の音声対話装置１の具体的な動作にて説明する。
【００１６】
話者認識部２は、ユーザデータベース記憶部４に格納された話者認識用ユーザ音声データベース１１の内容、外部から入力された音声信号及び音声対話部３からの音声認識結果を用いて話者認識をする。
【００１７】
このとき、話者認識部２は、音声対話部３からの音声認識結果を例えばテキスト形式にて入力すると、このテキストに類似したテキストの音声信号を話者認識用ユーザ音声データベース１１から抽出する話者識別処理をする。次いで、話者認識部２は、抽出したユーザ候補となる音声信号と、入力した音声信号とを照合して、ユーザ候補から単一の話者を決定する話者照合処理をする。
【００１８】
これにより、話者認識部２は、話者認識処理の結果、話者が決定した場合にはその旨の情報を音声対話部３に送り、新規のユーザと判定した場合にはその旨を音声対話部３に送る。
【００１９】
ここで、例えば話者の候補としてＮ人を抽出した場合であっても、実際にはＮ人以外の他人が発声したとき、話者識別処理のみではＮ人のうちの一番似通った音声を持つ人を候補として選んでしまうが、Ｎ人以外の他人（或いは新規の人）であると判断するために、話者の候補を抽出する話者識別処理後に話者照合処理を行い、Ｎ人に含まれる話者か、Ｎ人以外の他人（或いは新規の人）かを判断する。
【００２０】
また、この音声対話装置１は、音声対話部３にて入力した音声信号の音声認識結果を入力して、この音声信号を話者認識用ユーザ音声データベース１１に登録する音声記憶部５を備える。話者認識用ユーザ音声データベース１１は、音声記憶部５からの音声信号を入力すると、個人情報データベース１２に記憶された個人情報と対応させ、話者認識部２での話者認識処理時に参照可能とする。
【００２１】
音声対話部３は、外部からユーザの音声信号をする音声認識部２２、対話制御部２３、音声合成部２４を備える。この音声対話部３では、音声認識部２２により音声信号を入力すると、音声認識部２２により音声認識をする。
【００２２】
このとき、音声認識部２２では、入力した音声信号と予め用意した音声識別用データベースとを比較することで音声認識をし、音声認識結果を話者認識部２、音声記憶部５又は対話制御部２３に送る。ここで、音声認識部２２による音声認識の開始タイミングとしては、音圧レベルが所定値以上となりこの音圧レベルが所定時間以上継続したタイミングとする。そして、音声認識部２２では、音声認識の開始タイミング後に入力した音声信号にフーリエ変換等を施して音声特徴量を抽出し、その音声特徴量を用いて音声認識をする。
【００２３】
音声認識部２２は、話者認識部２にて話者認識をさせるに際して、音声認識結果をテキスト形式にして話者認識部２に送る。このとき、音声認識部２２は、音声認識のスコア（確実度）の高い上位複数のテキストを音声認識結果として話者認識部２に送る。そして、音声認識部２２は、話者認識部２により話者認識をした結果、話者が確定した場合には、そのときの音声信号を音声記憶部５に送る。これにより、音声記憶部５により、話者認識用ユーザ音声データベース１１に音声信号の新規登録や、既に登録されている音声信号の更新をさせる。
【００２４】
音声合成部２４は、例えばスピーカ等の放音機構と接続され、対話制御部２３の制御に従って各種内容の音声をユーザに向かって放音させる。本例では、対話制御部２３により対話シナリオ記憶部２１及び個人情報データベース１２を参照して生成したテキストが音声合成部２４に送られ、音声合成部２４により音声合成をすることで、ユーザに発する音声が生成されることになる。
【００２５】
対話制御部２３は、話者認識部２からの話者認識結果に従って、話者に対応した対話シナリオを対話シナリオ記憶部２１から選択する。このとき、対話制御部２３は、個人情報データベース１２を参照して、ユーザごとの対話シナリオを読み出す。そして、対話制御部２３では、個人情報データベース１２を参照し、音声認識部２２からの音声認識結果に応じて音声合成部２４を制御して話者に対応した音声を放音させる。
【００２６】
対話制御部２３は、話者認識部２から新規のユーザである旨の話者認識結果を入力した場合には、対話シナリオ記憶部２１から新規ユーザ向け対話シナリオ３１を読み出して放音させる。また、対話制御部２３は、話者認識部２からユーザデータベース記憶部４に登録済のユーザである旨の話者認識結果を入力した場合には、対話シナリオ記憶部２１から登録ユーザ向け対話シナリオ３２を読み出して放音させる。ここで、登録ユーザ向け対話シナリオ３２としては、ユーザデータベース記憶部４に登録するユーザごとに用意しても良く、所定のカテゴリなどを設定しておいて用意しても良い。
【００２７】
このような音声対話装置１では、話者認識部２により登録済のユーザと認識した場合に、個人情報データベース１２を参照しながら登録ユーザ向け対話シナリオ３２を用いて音声対話を進行する。これにより、音声対話装置１では、個人に対応した音声対話エージェントとして機能することができる。
【００２８】
すなわち、この音声対話装置１では、ユーザからの音声が入力されたことに応じて音声認識部２２により音声認識をして音声信号をテキストに変換し、このテキストを対話制御部２３に入力させることにより、対話制御部２３により個人情報データベース１２及び対話シナリオを参照することで音声対話装置１からユーザに返答すべきテキストを生成する。これにより、音声合成部２４では、返答するテキストを入力して、音声に変換し、ユーザに返答することになる。
【００２９】
また、この音声対話装置１では、話者認識部２により新規のユーザと認識した場合に、新規ユーザ向け対話シナリオ３１を用いて音声対話を進行する。これにより、音声対話装置１では、登録済のユーザと新規のユーザとを区別して音声対話を進行させる。ここで、新規のユーザの場合には、音声対話中または音声対話終了後に新たに話者認識用ユーザ音声データベース１１及び個人情報データベース１２にユーザに関する情報を登録することになる。
【００３０】
［音声対話装置の他の構成］
つぎに、本発明を適用した他の音声対話装置４０について図２を参照して説明する。なお、上述の図１に示した音声対話装置１と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【００３１】
図２に示す音声対話装置４０は、話者を認識するに際して、ユーザの顔画像を撮像し、顔画像を用いて話者認識をする点で図１に示した音声対話装置１と異なる。
【００３２】
この音声対話装置４０は、図１に示した音声対話装置１に加えて、顔画像認識用データベース４１、顔画像認識部４２、ユーザ認識部４３を備える。このような音声対話装置４０では、ユーザの立ち位置に視野角を有するカメラ機構（図示せず）を備え、このカメラ機構からの顔画像データを顔画像認識部４２にて入力する。ここで、顔画像の入力タイミングとしては、例えば話者認識部２にユーザの音声が入力されて、話者認識部２による話者認識を開始するタイミングなどがある。
【００３３】
顔画像認識部４２では、顔画像データを入力すると、顔画像データから顔特徴量を抽出する。そして、顔画像認識部４２では、抽出した顔特徴量と、顔画像認識用データベース４１に登録されている複数のユーザの顔特徴量とを比較してマッチングすることで、現在音声対話装置４０を利用しようとしている複数のユーザ候補を認識する。そして、顔画像認識部４２では、複数のユーザ候補についてマッチングスコアを作成し、顔画像認識結果としてユーザ認識部４３に送る。顔画像認識用データベース４１には、過去に音声対話装置４０を利用したユーザの顔特徴量が個人情報と対応づけられて蓄積されている。
【００３４】
また、ユーザ認識部４３には、話者認識部２から話者認識結果が送られる。この音声対話装置４０では、音声対話装置１の場合とは異なり、顔画像認識部４２による顔画像を用いたマッチングスコアと総合的にユーザ認識をするために、話者認識部２により音声信号を用いて抽出したユーザ候補ごとにマッチングスコアを作成してユーザ認識部４３に送る。
【００３５】
ユーザ認識部４３は、話者認識部２からのマッチングスコアと、顔画像認識部４２からのマッチングスコアとを用いてユーザ認識をする。この時、ユーザ認識部４３では、ユーザ候補ごとに、顔画像認識部４２からのマッチングスコアと話者認識部２からのマッチングスコアとを用いた複合演算をして、所定のしきい値を超えたマッチングスコアのユーザを話者に決定する。
【００３６】
このような音声対話装置４０では、顔画像及び音声信号の双方を用いて話者認識をするので、音声信号のみを用いて話者認識する場合と比較して話者認識率を向上させる。
【００３７】
［音声対話装置の具体的な動作］
つぎに、上述した音声対話装置による具体的な音声対話処理について図３を参照して説明する。なお、図３を用いた説明では、図２に示した音声対話装置４０による音声対話処理について説明する。
【００３８】
また、本例では、例えば病院の受付案内を代行する音声対話装置４０について説明する。すなわち、音声対話装置４０では、初めての来院者に対しては新規ユーザ向け対話シナリオ３１を用いた音声対話を実行し、過去に音声対話装置４０を利用した来院者については登録ユーザ向け対話シナリオ３２を用いた音声対話を実行する場合について説明する。
【００３９】
先ず、音声対話装置４０では、ユーザの立ち位置に来院者が存在すると認識した場合に、ステップＳ１に処理を進め、対話制御部２３により、「お名前は？」との問いかけをするように音声合成部２４を制御して、ステップＳ２に処理を進める。
【００４０】
ステップＳ２においては、ステップＳ１にて問いかけをしたことに対し、「西山です」と来院者が名乗った場合に、その音声信号をマイクなどの入カデバイス及びＡ／Ｄコンバータを介してデジタルデータとして音声認識部２２及び話者認識部２にて取得して、ステップＳ３に処理を進める。
【００４１】
ステップＳ３においては、音声認識部２２により、ステップＳ２にて入力された音声信号を用いた音声認識処理をすることで音声特徴を抽出して「ニシヤマ」をテキストとして取得し、ユーザの候補として話者認識部２に送ってステップＳ４に処理を進める。なお、本例において、話者の名称を認証ＩＤとしている。なお、音声認識部２２による音声認識手法としてはＨＭＭ（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）やＤＰ（Ｄｙｎａｍｉｃ　Ｐｒｏｇｒａｍｍｉｎｇ）マッチング、又はその他の手法を用いる。
【００４２】
ステップＳ４においては、話者認識部２により、ステップＳ３にて音声認識部２２から取得したユーザ候補となるテキストが話者認識用ユーザ音声データベース１１に登録されているか否かの判定をする。このとき、話者認識部２では、「ニシヤマ」のテキストの他に、「ニシヤマ」に類似した他のテキストもユーザの候補として話者認識用ユーザ音声データベース１１を検索する。話者認識部２によりユーザ候補となるテキストが話者認識用ユーザ音声データベース１１に存在すると判定した場合にはステップＳ５に処理を進め、存在しないと判定した場合にはステップＳ６に処理を進める。
【００４３】
ステップＳ５においては、話者認識部２により、ステップＳ３にて入力したテキスト（名前）と類似するテキスト（名前）と対応づけられた音声信号を話者認識用ユーザ音声データベース１１から読み出して取得し、ステップＳ７に処理を進める。
【００４４】
ステップＳ７においては、話者認識部２により、ステップＳ２にて取得した音声信号と、ステップＳ５にて読み出して取得音声信号とをマッチングしてマッチングスコアＭｓ１を作成して、ユーザ認識部４３に送ってステップＳ８に処理を進める。
【００４５】
ステップＳ８においては、ユーザ認識部４３により、ステップＳ７にて入力した音声信号を用いたマッチングスコアＭｓ１と、顔画像を用いたマッチングスコアＭｓ２とを用いて、双方のマッチングスコアを複合演算した結果の総合スコアＭｓｓを作成して、ステップＳ９に処理を進める。
【００４６】
ここで、ステップＳ１〜ステップＳ３では、話者認識部２によって音声信号に応じたテキストを取得する場合について説明したが、ステップＳ１〜ステップＳ３の処理と平行して顔画像を用いたユーザ候補の抽出をする。このとき、音声対話装置４０では、顔画像認識部４２により顔画像を入力して顔画像の特徴量を抽出し、抽出した顔特徴量と顔画像認識用データベース４１に蓄積された顔特徴量とをマッチングさせて複数のユーザ候補についてのマッチングスコアＭｓ２をユーザ認識部４３に送る。
【００４７】
ステップＳ９においては、ユーザ認識部４３により、ステップＳ８にて演算した総合スコアＭｓｓが予め設定したしきい値よりも大きいか否かを判定する。ここで、しきい値は、音声信号を用いたマッチングスコアＭｓ１と顔画像を用いたマッチングスコアＭｓ２とを複合演算したときに、登録済の話者を特定するマッチングスコアが予め設定されている。なお、このしきい値は、音声対話装置４０のシステム設計時に話者認識部２により作成するマッチングスコアＭｓ１や顔画像認識部４２により作成するマッチングスコアＭｓ２の演算手法、ユーザ認識部４３にて作成する総合スコアＭｓｓの演算手法により変化するものである。
【００４８】
ステップＳ９において、総合スコアＭｓｓがしきい値よりも大きくないと判定した場合には、新規のユーザ又は他の登録済話者と特定するためにステップＳ１０に処理を進め、総合スコアＭｓｓがしきい値よりも大きいと判定した場合には、登録済の話者を特定したと判定してステップＳ１２に処理を進める。
【００４９】
ステップＳ１０においては、ユーザ認識部４３により、話者の候補となる他のテキストが存在するか否かを判定し、存在すると判定した場合には前のステップＳ５〜ステップＳ８での処理対象となっていたテキストを除外してステップＳ５に処理を戻し、存在しないと判定した場合にはステップＳ４に処理を戻す。
【００５０】
そして、この音声対話装置４０では、ユーザの候補として話者認識部２にて取得したテキストが存在する限り、ステップＳ５、ステップＳ７〜ステップＳ１０の処理を繰り返し、ユーザの候補となるテキストが存在しないと判定した場合にステップＳ４に処理を進め、ステップＳ４からステップＳ６に処理を進める。
【００５１】
ステップＳ６においては、ステップＳ５、ステップＳ７〜ステップＳ１０の処理を繰り返した結果、ユーザ候補のテキスト（本例では「ニシヤマ」及びそれに類似したテキスト）が存在しないことから、例えば音声にて新規来院者かどうかを確認し、新規来院者でない場合にはステップＳ１に処理を戻し、新規来院者である場合には新規話者ＩＤを個人情報データベース１２に登録して、ステップＳ１３に処理を進める。
【００５２】
一方、ステップＳ９において、ユーザ認識部４３により総合スコアＭｓｓがしきい値を超えるユーザ候補のテキストが存在すると判定された場合のステップＳ１２においては、当該ユーザ候補のテキストを話者認識部２から対話制御部２３に送る。そして、対話制御部２３により、個人情報データベース１２を参照してユーザ候補のテキストに対応した個人情報を読み出してステップＳ１３に処理を進める。
【００５３】
ステップＳ１３においては、対話制御部２３により、対話シナリオ記憶部２１から新規ユーザ向け対話シナリオ３１又は登録ユーザ向け対話シナリオ３２を選択して読み出す。このとき、対話制御部２３では、ステップＳ１２にて個人情報を取得した場合には登録ユーザ向け対話シナリオ３２を読み出してステップＳ１４に処理を進め、ステップＳ１１にて新規話者ＩＤを取得した場合には新規ユーザ向け対話シナリオ３１を読み出してステップＳ１４に処理を進める。
【００５４】
ステップＳ１４においては、対話制御部２３により、ステップＳ１３にて選択した対話シナリオに応じて音声を合成するように音声合成部２４にテキストデータを送り、ステップＳ１５においては、ステップＳ１４にて音声を放音させたことに対する音声を入力して音声認識部２２により音声認識をする。
【００５５】
このステップＳ１４及びステップＳ１５を実行することで、対話制御部２３では、新規ユーザ向け対話シナリオ３１を用いて、来院者の名前、生年月日、住所、連絡先、既往症などの個人情報を音声対話によって取得する。これに対し、登録ユーザ向け対話シナリオ３２を用いた場合には、新規来院者と同じ個人情報の問い合わせは行わず、前回の来院記録などを個人情報データベース１２から参照しながら、会話を進める。
【００５６】
そして、ステップＳ１４及びステップＳ１５が完了した時点のステップＳ１６において、対話制御部２３により、対話シナリオを用いた対話が終了したか否かを判定する。対話が終了していないと判定した場合にはステップＳ１７に処理を進め、更に個人情報データベース１２を参照してステップＳ１３〜ステップＳ１５の処理を繰り返す。
【００５７】
一方、ステップＳ１６において対話が終了したと判定した場合には、ステップＳ１４及びステップＳ１５での音声対話を反映させるように話者認識用ユーザ音声データベース１１及び個人情報データベース１２の内容を更新する。すなわち、対話制御部２３では、対話が終了したと判定した場合に最新のユーザ音声を個人情報データベース１２に記憶して、最新のユーザ音声に更新させるように音声記憶部５を制御する。また、対話制御部２３では、対話内容に応じて、ユーザの個人情報を更新するように個人情報データベース１２の内容を書き換える。
【００５８】
［実施の形態の効果］
以上詳細に説明したように、本発明を適用した音声対話装置１，４０によれば、入力した音声及び／又は顔画像から登録済のユーザか、新規のユーザかを認識し、登録済のユーザと新規のユーザとで対話シナリオを選択して対話内容を区別することができる。さらに、この音声対話装置１，４０によれば、登録済のユーザについては個人情報データベース１２を参照して個人情報に応じて対話内容を変更することができ、更にユーザに対応した対話を実現することができる。
【００５９】
すなわち、この音声対話装置１，４０によれば、具体的な対話を開始する前に話者認識をすることで、登録済のユーザである場合には以前に対話した同じ内容は対話せず、以前の対話で得たユーザに関する情報や知識を次回の対話に反映させるように対話シナリオを変更することができ、より人間との対話に近い知的な機能を付与することができる。
【００６０】
また、この音声対話装置１，４０によれば、個人情報と対応させて対話シナリオを識別する情報を個人情報データベース１２に登録しておき、対話シナリオ記憶部２１に個人ごとの対話シナリオを用意しておいても良い。このようにすることで、対話制御部２３では、話者認識結果に応じて、話者に対応した個人情報から適切な対話シナリオを対話シナリオ記憶部２１から選択することができる。
【００６１】
これにより、例えば、個人情報として来院回数、来院目的などの情報を取得し、対話制御部２３により、来院者が今回お見舞いで来院したか否かをステップＳ１４及びステップＳ１５にて確認することで、次のステップＳ１３にてお見舞い用の対話シナリオを用いた対話を開始させることができる。この効果に加えて、音声対話装置１，４０では、新規ユーザ向け対話シナリオを用意しておくので、新規のユーザにとっても自然な対話を実現することができる。
【００６２】
また、この音声対話装置１，４０によれば、話者を認識するに際してパスワード入力等を促す必要が無く、ユーザ側の負担を低減することができる。
【００６３】
更に、この音声対話装置１，４０によれば、音声認識部２２により音声認識をして取得したテキストから話者認識部２にてマッチングを行う音声信号を話者認識用ユーザ音声データベース１１から取得するので、入力した音声信号と話者認識用ユーザ音声データベース１１に記憶されている全部の音声信号とのマッチングをする必要なく、話者認識部２での演算量を削減することができる。
【００６４】
更にまた、この音声対話装置１，４０によれば、ユーザの発話開始を音声信号のレベルからのみ判断しても良く、更には、顔画像認識部４２によりユーザの顔画像の口部分の動きを検出してユーザの発話開始を判断しても良い。これにより、ユーザの発話開始及び発話終了を正確に判断して、タイミングよく音声認識及び話者認識を開始及び終了することができ、音声対話装置１，４０の周囲が騒音のある環境であっても音声認識及び話者認識の精度を向上させると共に誤認識を少なくすることができる。
【００６５】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【００６６】
すなわち、上述した一例では、音声対話装置１，４０の具体的な使用例として病院の受付に適用した場合について説明したが、これに限らず、商品紹介や説明エージェントヘの応用、コンビニエンスストアにおけるレジ・エージェントヘの応用、携帯電話での話者照合による電子決裁システムヘの応用などに適用しても、上述と同様の効果を発揮できることは勿論である。
【００６７】
【発明の効果】
本発明によれば、音声から話者認識をし、ユーザ情報に応じて対話シナリオを選択して対話シナリオに従って音声対話をするので、ユーザに応じて対話内容を変更することができ、既に登録済のユーザであるか、新規のユーザであるかの話者認識を正確にして、話者に応じた対話を実現することができる。
【図面の簡単な説明】
【図１】本発明を適用した音声対話装置の構成を示すブロック図である。
【図２】本発明を適用した他の音声対話装置の構成を示すブロック図である。
【図３】本発明を適用した音声対話装置の具体的な処理を説明するためのフローチャートである。
【符号の説明】
１，４０　音声対話装置
２　話者認識部
３　音声対話部
４　ユーザデータベース記憶部
５　音声記憶部
１１　話者認識用ユーザ音声データベース
１２　個人情報データベース
２１　対話シナリオ記憶部
２２　音声認識部
２３　対話制御部
２４　音声合成部
３１　新規ユーザ向け対話シナリオ
３２　登録ユーザ向け対話シナリオ
４１　顔画像認識用データベース
４２　顔画像認識部
４３　ユーザ認識部
【図１】
2004101901.tif 000003
【図２】
2004101901.tif 000004
【図３】
2004101901.tif 000005