(57)【要約】【課題】ユーザに親近感を与える音声対話を実現することが可能な音声応答システムを提供する。【解決手段】音声応答システムは、例えばカーナビゲーション装置や各種の情報端末などに適用することができ、ユーザの発話に基づいてユーザの発話の特性を分析し、その分析結果を反映した音声応答を提供する。音声応答システムの発話認識部は、ユーザの音声入力から発話内容を認識し、認識結果を出力する。認識結果に基づいて、対話制御処理部は、例えば予め用意された対話シナリオなどに従ってユーザとの対話進行を制御し、ユーザに対する応答内容を決定する。また、発話特性分析部は、認識結果に基づいて、ユーザの発話特性を分析して発話特性情報を生成する。そして、音声応答生成部は、応答内容及び発話特性情報に基づいて、ユーザに対する応答音声を生成する。【選択図】　　　図１
2004037721.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの音声入力から発話内容を認識し、認識結果を出力する発話認識部と、
前記認識結果に基づいて、ユーザとの対話進行を制御し、前記ユーザに対する応答内容を決定する対話制御処理部と、
前記認識結果に基づいて、前記ユーザの発話特性を分析して発話特性情報を生成する発話特性分析部と、
前記応答内容及び前記発話特性情報に基づいて、前記ユーザに対する応答音声を生成する応答音声生成部と、を備えることを特徴とする音声応答システム。
【請求項２】
前記発話特性情報は、ユーザの発話特性を複数種類に分類して得られる複数の発話特性カテゴリを含み、
前記発話特性分析部は、前記認識結果に基づいて前記発話特性カテゴリを選択して出力することを特徴とする請求項１に記載の音声応答システム。
【請求項３】
前記発話特性カテゴリは、前記ユーザの地域性に関するカテゴリを含むことを特徴とする請求項２に記載の音声応答システム。
【請求項４】
前記発話特性分析部は、
前記ユーザの発話に関連する前記発話特性カテゴリを選択するために使用される発話特性パラメータを記憶するデータベースと、
前記認識結果に対応する発話特性パラメータを使用して、前記発話特性カテゴリを選択する手段と、を備えることを特徴とする請求項２又は３に記載の音声応答システム。
【請求項５】
コンピュータにより実行可能な音声応答プログラムを記憶した記憶媒体であって、前記音声応答プログラムは、前記コンピュータを、
ユーザの音声入力から発話内容を認識し、認識結果を出力する発話認識部、
前記認識結果に基づいて、ユーザとの対話進行を制御し、前記ユーザに対する応答内容を決定する対話制御処理部、
前記認識結果に基づいて、前記ユーザの発話特性を分析して発話特性情報を生成する発話特性分析部、
前記応答内容及び前記発話特性情報に基づいて、前記ユーザに対する応答音声を生成する応答音声生成部、として機能させることを特徴とする記憶媒体。
【請求項６】
コンピュータにより実行可能な音声応答プログラムであって、前記コンピュータを、
ユーザの音声入力から発話内容を認識し、認識結果を出力する発話認識部、
前記認識結果に基づいて、ユーザとの対話進行を制御し、前記ユーザに対する応答内容を決定する対話制御処理部、
前記認識結果に基づいて、前記ユーザの発話特性を分析して発話特性情報を生成する発話特性分析部、
前記応答内容及び前記発話特性情報に基づいて、前記ユーザに対する応答音声を生成する応答音声生成部、として機能させることを特徴とする音声応答プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ユーザの発話に対して音声応答を提供する音声応答システムに関する。
【０００２】
【従来の技術】
ユーザの発話に対して、音声による応答を行う音声応答システムや音声対話システムが知られている。そのようなシステムとして、方言等の特殊な音声応答を実現するものが提案されているが、それらはユーザの発話情報よりも対話システムから取得できる情報を積極的に利用するものがほとんどである。カーナビゲーションを例に挙げると、カーナビゲーション装置そのものが機能するために取得される情報、例えば走行中の地域情報などを音声応答にも積極的に使用するという手法がそれにあたる（特開２００１−２２７９６２号公報、特開平８−１２４０９２号公報などを参照）。これらの機能は、ユーザが運転している場所における地域情報を聴覚的に体感できるというメリットがあり、運転者や同乗者を楽しませることができるという利点を有する。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記のような音声応答システムが有する問題の一例として、音声対話システムそのものが取得できる情報だけでは、ユーザにとって親密な音声応答を実現することが難しいということが挙げられる。即ち、ユーザによる発話状況や発話内容はユーザの使用環境や心理的状況によって大きく変動するため、現在カーナビゲーション装置などの製品に搭載されている手法や、上記公報に記載のものを含む現在までに提案されている方式では、ユーザ自身の変化に対する柔軟な対応が不完全であるという問題点が挙げられる。
【０００４】
本発明は、以上の点に鑑みてなされたものであり、ユーザに親近感を与える音声対話を実現することが可能な音声応答システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、音声応答システムにおいて、ユーザの音声入力から発話内容を認識し、認識結果を出力する発話認識部と、前記認識結果に基づいて、ユーザとの対話進行を制御し、前記ユーザに対する応答内容を決定する対話制御処理部と、前記認識結果に基づいて、前記ユーザの発話特性を分析して発話特性情報を生成する発話特性分析部と、前記応答内容及び前記発話特性情報に基づいて、前記ユーザに対する応答音声を生成する応答音声生成部と、を備えることを特徴とする。
【０００６】
請求項５に記載の発明は、コンピュータにより実行可能な音声応答プログラムを記憶した記憶媒体であって、前記音声応答プログラムは、前記コンピュータを、ユーザの音声入力から発話内容を認識し、認識結果を出力する発話認識部、前記認識結果に基づいて、ユーザとの対話進行を制御し、前記ユーザに対する応答内容を決定する対話制御処理部、前記認識結果に基づいて、前記ユーザの発話特性を分析して発話特性情報を生成する発話特性分析部、前記応答内容及び前記発話特性情報に基づいて、前記ユーザに対する応答音声を生成する応答音声生成部、として機能させることを特徴とする。
【０００７】
請求項６に記載の発明は、コンピュータにより実行可能な音声応答プログラムであって、前記コンピュータを、ユーザの音声入力から発話内容を認識し、認識結果を出力する発話認識部、前記認識結果に基づいて、ユーザとの対話進行を制御し、前記ユーザに対する応答内容を決定する対話制御処理部、前記認識結果に基づいて、前記ユーザの発話特性を分析して発話特性情報を生成する発話特性分析部、前記応答内容及び前記発話特性情報に基づいて、前記ユーザに対する応答音声を生成する応答音声生成部として機能させることを特徴とする。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【０００９】
図１に、本発明の実施形態にかかる音声応答システムの概略構成を示す。図示のように、本実施形態による音声応答システム１は、ユーザの発話による音声入力に対して、音声応答を出力することにより、ユーザとの間で音声対話などを実行するものであり、例えばカーナビゲーションシステム、家電製品、ＡＶ機器など各種の音声応答機能を有する装置や機器に適用することができる。また、本実施形態の音声応答システムを実現するための音声応答プログラムを構成し、これを記憶媒体や通信手段などを通じて端末装置に導入して実行することにより、当該端末装置を音声応答システムとして機能させることもできる。なお、この場合の端末装置には、ナビゲーション装置、家電製品、ＡＶ機器などの各種の情報端末が含まれる。
【００１０】
この音声応答システム１は、大別して、発話認識部１０と、発話特性分析部２０と、応答音声生成部３０と、対話制御処理部４０とにより構成される。発話音声認識部１０は、ユーザの発話による音声入力を受け取り、音声認識処理などを実行して、発話内容を認識し、認識結果として認識キーワードＳ１を出力する。なお、認識キーワードは、ユーザの発話を単語毎に認識する際における認識結果である。発話認識部１０から出力された認識キーワードＳ１は、発話特性分析部２０及び対話制御処理部４０へ送られる。
【００１１】
発話特性分析部２０は、認識キーワードに基づいて、ユーザの発話特性を分析する。ここで、発話特性とは、例えばユーザの地域性、ユーザの現在の環境など、ユーザの発話に影響を与える各種の特性を含む。発話特性分析部２０は、認識キーワードＳ１に基づいて発話特性を分析し、発話特性情報Ｓ２を生成して応答音声生成部３０へ供給する。
【００１２】
一方、対話制御処理部４０は、認識キーワードＳ１に基づいて、ユーザとの対話進行を制御する。対話進行は、例えば本音声応答システムが搭載された機器などのシステム情報などを考慮して決定され、予め用意された対話シナリオに従って制御することができる。その場合、対話制御処理部４０は、現在の環境に関するシステム情報やその他の情報に基づいて進行させるべき対話シナリオを決定し、ユーザの発話内容に対応する認識キーワードＳ１に基づいて対話シナリオを進行させることにより、対話を行う。そうして、対話制御処理部４０は、対話シナリオの進行に従って、次に出力すべき音声応答を特定する応答音声情報Ｓ３を生成して応答音声生成部３０へ供給する。
【００１３】
応答音声生成部３０は、対話制御処理部４０から与えられた応答音声情報Ｓ３に対応し、かつ、発話特性情報Ｓ２で示される発話特性に対応する形態の応答音声を生成して、スピーカなどの音声出力装置を通じて音声応答を出力する。
【００１４】
こうして、本実施形態の音声応答システム１は、ユーザの発話状況に応じた発話特性に従って応答音声を出力する。
【００１５】
【実施例】
次に、本発明の好適な実施例について説明する。
【００１６】
［システム構成］
図２は、本実施例による、ユーザの発話に合わせた音声応答を実現する音声応答システム１００のブロック図である。図示のように、音声応答システム１００は、大別して、発話認識部１０と、発話特性分析部２０と、応答音声生成部３０と、対話制御処理部４０とから構成されている。
【００１７】
発話認識部１０は、パラメータ変換部１２と、音声認識処理部１４とを有する。パラメータ変換部１２は、ユーザにより発話入力された音声を、その音声の特徴を示す特徴パラメータに変換する。また、音声認識処理部１４は、パラメータ変換部１２で得られた特徴パラメータと、予め音声認識エンジンが持っている各々のキーワードモデルとのマッチング処理を行うことによって、認識キーワードを抽出する。なお、本実施例では、音声認識処理部１４は単語（ワード）単位でキーワードとのマッチングにより認識処理を実行するように構成されており、認識キーワードは、ユーザの発話中に含まれる単語であって、音声認識処理により認識されたキーワードである。
【００１８】
発話特性分析部２０は、発話特性カテゴリ選定部２２と、発話特性データベース（ＤＢ）２４とを有する。発話特性カテゴリ選定部２２は、音声認識処理部１４により抽出された認識キーワードに対応する発話特性パラメータを利用して、発話特性カテゴリを選定する。
【００１９】
ここで、発話特性パラメータには、各要素に分類した特性に関する発生頻度を表した数値が入っている。例えば、発話したユーザが関東人か関西人かを判定する場合を想定すると、発話特性パラメータは、
ｐ＝（関東人が発話する頻度の値，関西人が発話する頻度の値）
のような多次元値の形で発話特性データベース２４に格納されている。発話特性カテゴリ選定部２２は、この発話特性パラメータを使ってユーザの発話特性カテゴリを選定する。
【００２０】
対話制御処理部４０は、ユーザとの間で対話制御を行う。この対話制御処理では、対話制御処理部４０は、システムの情報や認識キーワードを用いて音声応答させる内容を決定し、応答音声生成部３０へ音声出力させる内容の識別情報である参照ＩＤを供給する。なお、対話制御処理は、例えば予め用意された対話シナリオなどに従い、ユーザからの発話内容を考慮して当該シナリオを進行させることにより行われるが、対話制御処理自体は本発明のポイントと関連性が薄いので、さらなる詳細説明は省略する。
【００２１】
応答音声生成部３０は、発話特性カテゴリ選定部２２で得られた発話特性カテゴリと、対話制御処理部４０で得られた音声応答の参照ＩＤとを基にして、音声応答用の音声信号を生成する。そして、応答音声生成部３０で生成された音声が、スピーカなどを介して音声応答としてユーザへ出力される。
【００２２】
［発話特性パラメータ］
次に、発話特性パラメータについて、詳しく説明する。発話特性パラメータは、ユーザの発話の特性を予め数種類に分類して得られた発話特性カテゴリの中から、ユーザの発話がどの発話特性カテゴリに属するかを選定するために用意されたパラメータである。発話特性パラメータは発話特性カテゴリの個数分の要素を持った多次元値の形で表現され、その各要素には、その要素が指し示す発話カテゴリに該当する人がどのくらいの頻度でキーワードを利用するかを表す数値が格納されている。
【００２３】
ここで、発話特性パラメータを求める手順の一例を以下に示す。
【００２４】
（ステップ１）
サンプルをとるために、認識キーワードとして辞書に格納されるキーワードそれぞれに対して普段使用するかどうかをｐ段階評価（よく利用するほど数値が高くなるように設定をし、０〜ｐの範囲で答えてもらう）でアンケート調査を行う。
【００２５】
Ｍ＝（ｍ（１），ｍ（２），・・・，ｍ（Ｎ））
（ｉ＝１，２，・・・，Ｎ）
Ｍ＿ａｌｌ＝　Σｍ（ｉ）
とする。
【００２６】
ただし、Ｎは認識カテゴリの数，ｍ（ｉ）はカテゴリｉの被験者人数である。
【００２７】
（ステップ２）
アンケート調査の結果を集計する。
【００２８】
キーワード番号ｋに関する集計結果の数値を
Ｒｋ＝（ｒｋ（１），ｒｋ（２），・・・，ｒｋ（Ｎ））
とする。ただし、ｒｋ（ｉ）はカテゴリｉに対する集計結果である。
なお、Ｒｋの要素値ｒｋ（ｉ）の計算は、
ｒｋ（ｉ）＝Σｄｋ（ｉ，ｊ）
（ｊ＝１，２，・・・，Ｎ、ｄｋ（ｉ，ｊ）＝０，１，・・・，ｐ・１）
のようにして行う。
【００２９】
ただし、ｄｋ（ｉ，ｊ）は話者カテゴリｉに該当する人がキーワード番号ｋの使用頻度について答えた回答者番号ｊの回答結果を示す。
【００３０】
（ステップ３）
集団を正規化するために、正規化パラメータＬ＝（ｌ（１），・・・，ｌ（Ｎ））を求める。カテゴリｉにおける正規化パラメータは、
Ｍ＿ａｌｌ／ｐ＝ｌ（ｉ）＊ｍ（ｉ）　（ｉ＝１，２，・・・，Ｎ）
が成立するように求められる。
【００３１】
つまり、
ｌ（ｉ）＝　Ｍ＿ａｌｌ／（ｐ＊ｍ（ｉ））
である。
【００３２】
（ステップ４）
ステップ３で求めた正規化パラメータを使って集計結果値Ｒｎを正規化する。
【００３３】
ｒｋ’（ｉ）＝ｌ（ｉ）＊ｒｋ（ｉ）／Σ　ｌ（ｊ）＊ｒｋ（ｊ）
（ステップ５）
正規化された集計結果値をｒｋ’（ｉ）をキーワードｋの発話特性パラメータとして、発話特性データベースに格納する。
【００３４】
＜計算例＞
・想定システム：
ユーザの発話から地域性を抽出し、ユーザの発話にフィットする方言を音声応答する音声対話システム
・前提条件：
Ａ．方言は日本全国で、関東／関西の２パターンだけあるとする。
Ｂ．発話特性パラメータの要素は１次元目から、関東、関西の順で並んでいる。Ｃ．「マクド」というキーワードに関する発話特性パラメータを求める。
【００３５】
（ステップ１）
サンプルをとるために、関東地方出身、関西地方出身の２地方のいずれかに該当する人に対し、認識キーワード「マクド」に対して普段使用するかどうかをアンケート調査を行う。
【００３６】
ここでは、アンケートは全てｙｅｓ／ｎｏで答えるものとする。また、アンケートに答えた被験者人数Ｍは、
Ｍ＝（７３１，６３５）
であり、これより、
Ｍ＿ａｌｌ＝７３１＋６３５＝１３６６
である。
【００３７】
（ステップ２）
ステップ１で行ったアンケート結果に対する集計結果Ｒを求める。
【００３８】
ここでは、ｙｅｓ／ｎｏの２段階評価なので、ｐ＝２である。
【００３９】
つまり、ｙｅｓと答えた人数をＲの値とする。
【００４０】
この結果は、以下のようになったとする。
【００４１】
Ｒマクド＝（９，６１３）
（ステップ３）
正規化パラメータＬを求める。
ステップ１より、アンケートに答えた被験者人数Ｍは
Ｍ＝（７３１，６３５）
であるので、
2004037721.tif 000003
ステップ３で求めた正規化パラメータＬを使って、集計結果Ｒマクドを正規化する。
【００４２】
2004037721.tif 000004
ステップ４で求められた正規化された集計結果Ｒ’マクドを「マクド」に対する発話特性パラメータとして発話特性データベースに格納する。
【００４３】
［発話特性カテゴリ選定部］
図３は、発話特性カテゴリを選定する処理をフローチャート化したものである。この発話特性カテゴリ選定処理は、図２に示す発話特性カテゴリ選定部２２により実行される。
【００４４】
まず、発話特性カテゴリ選定部２２は、音声認識処理部１４から認識キーワードを受け取る（ステップＳ１０）。次に、発話特性カテゴリ選定部２２は、入力された認識キーワードに対応する発話特性パラメータを発話特性データベース２４から取得する（ステップＳ１１）。なお、認識キーワードが複数存在する場合は、それぞれの認識キーワードをデータベースから取得する。
【００４５】
次に、発話特性カテゴリ選定部２２は、ステップＳ１１で得られた発話特性パラメータから、１つの代表発話特性パラメータを求める（ステップＳ１２）。即ち、認識キーワードが１つの場合は、発話特性パラメータそのものも１つなので、その発話特性パラメータそのものを代表発話特性パラメータとして扱う。一方、認識キーワードが複数存在する場合は、複数の認識キーワードそれぞれに対応する発話特性パラメータの全てを利用して、１つの代表発話特性パラメータを生成するようにする。
【００４６】
次に、発話特性カテゴリ選定部２２は、ステップＳ１２で得られた代表発話特性パラメータを利用して特性カテゴリを選定する（ステップＳ１３）。このステップＳ１３で選定された特性カテゴリが、ユーザの発話特性カテゴリとして出力される。
【００４７】
そして、発話特性カテゴリ選定部２２は、ステップＳ１３で選定された発話特性カテゴリを、応答音声生成部３０へ出力する（ステップＳ１４）。こうして、発話特性カテゴリ選定処理が終了する。
【００４８】
以下に、発話特性カテゴリ選定処理の具体例を説明する。
【００４９】
＜例１＞「マクド」と「行きたい」が認識キーワードとして抽出された場合
前提条件：
・「マクド」　の発話特性パラメータ：（０．０１２，０．９８８）
・「行きたい」の発話特性パラメータ：（０．５００，０．５００）
発話特性パラメータの要素は、この例１では
（関東人が発話する頻度の値，関西人が発話する頻度の値）
を表す。
【００５０】
まず、ステップＳ１１において、「マクド」に対する発話特性パラメータｕと「行きたい」の発話特性パラメータｖを発話特性データベースから取得する。このとき、
ｕ＝（０．０１２，０．９８８），　ｖ＝（０．５００，０．５００）
である。
【００５１】
次にステップＳ１２において、代表発話特性パラメータを求める。代表発話特性パラメータの求め方はいろいろと存在するが、ここではＳ１１で取得された発話特性パラメータの各要素中、最大となるものを代表発話特性パラメータの要素とする。
【００５２】
ｕの第１成分は０．０１２、ｖの第１成分は０．５００なので、２つの中で最大となる値は０．５００である。同様にｕの第２成分は０．９８８、ｖの第２成分は０．５００なので、２つの中で最大となる値は０．９８８である。
【００５３】
この手順により代表発話特性パラメータｗは、
ｗ＝（０．５００，０．９８８）
となる。
【００５４】
次に、ステップＳ１３において、発話特性カテゴリを選定する。発話特性カテゴリは代表発話特性パラメータｗの各要素中、最大となっているものを発話特性カテゴリとする。
【００５５】
ここでは、代表パラメータｗで最大となっている要素は第１要素の０．９８８なので、発話特性カテゴリとして「関西人」が選択される。
【００５６】
＜例２＞「うれしい」が認識キーワードとして抽出された場合
前提条件：
・「うれしい」の発話特性パラメータ：（　０．９９８，　０．００２　）
発話特性パラメータの要素は、この例では
（うれしさ，苛立たしさ）
を表す。
【００５７】
まず、ステップＳ１１において、「うれしい」に対する発話特性パラメータｕを発話特性データベースから取得する。このとき、
ｕ＝（０．９９８，０．００２）
である。
【００５８】
次にステップＳ１２において、代表発話特性パラメータを求める。代表発話特性パラメータの求め方はいろいろと存在するが、ここではＳ１１で取得された発話特性パラメータの各要素中、最大となるものを代表発話特性パラメータの要素とする。
【００５９】
この場合は、扱う発話特性パラメータが１つなので、代表発話特性パラメータｗは、発話特性パラメータｕ　自身となるので、
ｗ＝（０．９９８，０．００２）
となる。
【００６０】
次に、ステップＳ１３において、発話特性カテゴリを選定する。発話特性カテゴリは代表発話特性パラメータｗの各要素中、最大となっているものを発話特性カテゴリとする。
【００６１】
ここでは、代表パラメータｗで最大となっている要素は第１要素の０．９９８なので、発話特性カテゴリとして「うれしさ」が選択される。こうして、発話特性カテゴリが選択される。
【００６２】
［応答音声生成部］
次に、応答音声生成部について詳しく説明する。図４は発話特性カテゴリを使った応答音声生成処理を説明するための図であり、応答音声生成部により実行されるフローチャートを、その実行中にアクセスするデータベースなどとの関連付けして示したものである。
【００６３】
図示のように、応答音声生成部３０は、応答データベース群３２と、音素データベース３８を備える。応答データベース群３２は、発話特性カテゴリ毎に別個に構成された複数の応答データベース３３、３４、…を備える。また、各応答データベース３３、３４、…は、読み情報データベース３３ａ、３３ｂ、…と、韻律情報データベース３３ｂ、３４ｂ…を備える。
【００６４】
図４のフローチャートにおいて、まず、応答音声生成部３０は、発話特性カテゴリ選定部２２から発話特性カテゴリを取得し（ステップＳ３０）、その発話特性カテゴリに対応する応答データベースの組を選定する（ステップＳ３１）。前述のように、応答データベースには単語、フレーズの区切れ目、アクセントの位置などの韻律生成のための韻律情報データベースと、読み情報データベースが対で格納されている。例えば、入力された発話特性カテゴリが「関西人」であったとすると、関西人用の応答データベースが選択され、「関東人」の場合ならば、関東人用の応答データベースが選択されることになる。
【００６５】
次に、応答音声生成部３０は、対話制御処理部４０から出力された参照ＩＤを用いて、ステップＳ３１で選定された応答データベースの中から音声応答の読み情報とそれに対応する韻律情報を取得する（ステップＳ３２）。
【００６６】
そして、応答音声生成部３０は、ステップＳ３２で取得した読み情報と韻律情報、及び、合成音声を構成する音素データを格納した音素データベースを用いて、音声応答に使用する合成音声を生成し（ステップＳ３３）、これを音声応答として出力する（ステップＳ３４）。こうして、応答音声が生成、出力される。
【００６７】
なお、図４における処理の流れは、規則合成系の音声合成手法を利用して応答音声を生成するようになっているが、もちろん他の音声合成法を使うこともできる。例えば、予め音声応答用に録音された音声が用意されている場合は、図４に示す読み情報データベースが、図５に示すように、それらの収録音声で構成される応答音声データベース５０に置き換わることになる。即ち、応答音声生成部は、発話特性カテゴリ選定部２２から発話特性カテゴリを受け取り（ステップＳ４０）、応答音声データベース５０を選定して（ステップＳ４１）、応答音声を取得する（ステップＳ４２）。一方、対話制御処理部４０などが対話状況を解釈し（ステップＳ４４）、応答音声生成部は、対話状況や認識キーワードによって選択された応答音声をそのまま出力する（ステップＳ４４）。
【００６８】
以下に、応答音声生成処理の例を示す。なお、この例は図４に示す処理に従うものである。
【００６９】
＜例１＞　発話特性カテゴリが「関西」と判定され、応答音声データベースの参照ＩＤが２という値で入力された場合。
【００７０】
まず、応答音声生成部３０は、ステップＳ３１において応答データベースの選定を行う。ここでは、発話特性カテゴリとして「関西」が入力されているので、このブロックによって応答データベースを関西用にセットする。
【００７１】
次に、応答音声生成部３０は、ステップＳ３２において応答音声データベースの参照ＩＤを受理し、そのＩＤに該当する韻律情報と読み情報を、ステップＳ３１にて選定された応答データベースから取得する。応答データベースには、図６（ａ）に例示するような読み情報が格納されているとする。今回の例では、参照ＩＤは２であり、ステップＳ３１では関西の応答データベースが選択されているので、関西の読みデータベースからは「ほなまくどにいきましょ」が選択される。これと同時に読みデータに対応する単語や区切れ目や句読点の位置、アクセントの位置等の韻律情報も取得する。
【００７２】
次に、応答音声生成部３０は、ステップＳ３３において、ステップＳ３２で出力される読みデータ「ほなまくどにいきましょ」、それに対応する韻律情報、及び音素データベースを用いて応答用の音声を生成する。こうして、ステップＳ３３で生成された音声が、音声応答として出力される。
【００７３】
この例においては、応答データベースが１センテンス毎にデータを格納しているため、ステップＳ３２で取得される参照ＩＤは１つである。しかし、本実施例のシステムは、応答データベースが単語毎にデータを格納している場合においても実現が可能である。その場合は、対話制御処理部４０から参照ＩＤ列が出力される。これら各々の参照ＩＤに該当する読み情報と韻律情報を参照ＩＤ列の順に取得し、ステップＳ３３における音声合成処理にて単語が連結され、１センテンスになった状態で音声出力がなされる。また、応答データベースには韻律情報データベースと読み情報データベースを統合した中間言語（読み情報にアクセントなどの韻律情報を記号で記入したもの）データベースを適用しても良い。
【００７４】
＜例２＞　発話特性カテゴリが「うれしさ」と判定され、応答音声データベースの参照ＩＤが３という値で入力された場合。
【００７５】
まず、応答音声生成部３０は、ステップＳ３１において応答データベースの選定を行う。ここでは、発話特性カテゴリとして「うれしさ」が入力されているので、このブロックによって応答データベースをうれしさ用にセットする。
【００７６】
次に、応答音声生成部３０は、ステップＳ３２において応答音声データベースの参照ＩＤを受理し、そのＩＤに該当する韻律情報と読み情報を、ステップＳ３１にて選定された応答データベースから取得する。応答データベースには、図６（ｂ）に例示するような読み情報が格納されているとする。今回の例では、参照ＩＤは３であり、ステップＳ３１ではうれしさの応答データベースが選択されているので、うれしさの読みデータベースからは「よろこんでくれたみたいでうれしいです」が選択される。これと同時に読みデータに対応する単語や区切れ目や句読点の位置、アクセントの位置等の韻律情報も取得する。
【００７７】
次に、応答音声生成部３０は、ステップＳ３３において、ステップＳ３２で出力される読みデータ「よろこんでくれたみたいでうれしいです」、それに対応する韻律情報、及び音素データベースを用いて応答用の音声を生成する。こうして、ステップＳ３３で生成された音声が、音声応答として出力される。
【００７８】
この例においては、応答データベースが１センテンス毎にデータを格納しているため、ステップＳ３２で取得される参照ＩＤは１つである。しかし、本実施例のシステムは、応答データベースが単語毎にデータを格納している場合においても実現が可能である。その場合は、対話制御処理部４０から参照ＩＤ列が出力される。これら各々の参照ＩＤに該当する読み情報と韻律情報を参照ＩＤ列の順に取得し、ステップＳ３３における音声合成処理にて単語が連結され、１センテンスになった状態で音声出力がなされる。また、応答データベースには韻律情報データベースと読み情報データベースを統合した中間言語（読み情報にアクセントなどの韻律情報を記号で記入したもの）データベースを適用しても良い。
【００７９】
［応用例１］
次に、上記実施例の応用例について説明する。この応用例では、キーワード区間以外の音声区間（不要語）にも発話特性カテゴリの判定処理を行うようにする。具体的には、図７に示される処理フローのように、キーワード抽出処理（ここでは「メインキーワード抽出」と呼ぶ）と並列に、不要語中の発話データから発話特性を表現し得るキーワード（「特徴キーワード」と呼ぶ。）を抽出する処理を行うことによって、ユーザ発話の特性をより反映させることが可能となる。
【００８０】
具体的には、次のような処理となる。
【００８１】
まず、パラメータ変換部１２が、入力された発話データを特徴パラメータに変換する（ステップＳ２０）。次に、音声認識処理部１４は、ステップＳ２０で生成された特徴パラメータとメインキーワードモデルとのマッチングをとり、キーワードを抽出する（ステップＳ２１）。また、音声認識処理部１４は、ステップＳ２１と同様に、ステップＳ２０で生成された特徴パラメータと特徴キーワードモデルとのマッチングをとり、特徴となるキーワードを抽出する（ステップＳ２２）。
【００８２】
次に、発話特性カテゴリ選定部２２は、ステップＳ２１で得られたメインキーワードとステップＳ２２で得られた特性キーワードのそれぞれに対応する発話特性パラメータを利用して最適な発話特性カテゴリを求める（ステップＳ２３）。この際、代表発話特性パラメータは、メインキーワード側の発話特性パラメータと特徴キーワード側の発話特性パラメータを全て使用して求める。
【００８３】
そして、応答音声生成部３０は、ステップＳ２３で得られた発話特性カテゴリ、並びに、ステップＳ２１及びＳ２２で得られた認識キーワードを使って音声応答用の音声を生成する（ステップＳ２４）。こうして生成された音声が音声応答としてユーザへ出力される。
【００８４】
以下に、この応用例における具体的な処理例を説明する。
【００８５】
＜例＞「渋滞情報をたのむわ」と発話された場合
前提条件：
・メインキーワードは「渋滞情報」
・「たのむわ」は発話特性キーワードとして登録されている。
【００８６】
・「渋滞情報」の発話特性パラメータ：（０．５０，０．５０）
・「たのむわ」の発話特性パラメータ：（０．８０，０．２０）
※　なお、この例における発話特性パラメータの要素は
（関西人が発話する頻度の値，関東人が発話する頻度の値）
を表す。
【００８７】
まず、パラメータ変換部１２は、ステップＳ２０にて発話データそのものの特徴パラメータを求める。
【００８８】
次に、音声認識処理部１４は、ステップＳ２１において、メインキーワードモデルと、ステップＳ２０で得られた特徴パラメータとのマッチング処理を行い、メインキーワード「渋滞情報」を抽出する。また、音声認識処理部１４は、ステップＳ２２において、特徴キーワードを特徴キーワードモデルとステップＳ２０で得られた特徴パラメータとのマッチング処理を行い、特徴キーワードである「たのむ」を抽出する。
【００８９】
次に、発話特性カテゴリ選定部２２は、ステップＳ２３において、発話特性カテゴリを抽出する。即ち、まず、メインキーワード「渋滞情報」に対応する発話特徴パラメータｕを発話特性データベースから取得する。同様に特徴キーワード「たのむ」に対応する発話特徴パラメータｖも同じく発話特性データベースから取得する。今回の例で行くと、
ｕ＝（０．５０，０．５０），ｖ＝（０．８０，０．２０）
となる。
【００９０】
この次に、発話特性カテゴリ選定部２２は、発話された音声データ全体に対する代表発話特性パラメータを求める。代表発話特性パラメータは、ステップＳ２２で取得された発話特性パラメータの各要素中、最大となるものを代表発話特性パラメータの要素とする。ｕの第１成分は０．５０、ｖの第１成分は０．８０なので、２つの中で最大となる値は０．８０である。同様にｕの第２成分は０．５０、ｖの第２成分は０．２０なので、２つの中で最大となる値は０．５０である。
【００９１】
この手順により代表発話特性パラメータｗは、
ｗ＝（０．８０，０．５０）
となる。
【００９２】
次に、代表発話特性パラメータｗの要素中最大となる箇所を表すものを発話特性カテゴリとして選定する。ｗのうち最大要素となるのは、第１要素の０．８０であるため、発話特性カテゴリ選定部２２は、発話者を「関西人」と判定し、結果として応答音声生成部に送る。
【００９３】
そして、応答音声生成部３０は、ステップＳ２４において、発話特性カテゴリを反映して音声合成を行い、合成された音声を音声応答として出力する。
【００９４】
［応用例２］
次に、上記実施例の他の応用例について説明する。この応用例２では、発話特性データベースを複数用意し、それぞれにおいて発話特性パラメータを求めるようにすることでユーザ発話のより詳細の特性を音声応答へ反映させることができる。
【００９５】
具体的には、発話特性Ａデータベース（例えば図８における感情表現の発話データベース）と、発話特性Ｂデータベース（例えば図８における地域性の発話特性データベース）を準備しておき、１つのキーワードにつき、発話特性Ａパラメータ，　発話特性Ｂパラメータの２つの発話特性パラメータが求められるようにしておく（図８参照）。
【００９６】
ここで、全てのキーワードにおける発話特性Ａパラメータと発話特性Ｂパラメータから、それぞれの代表発話特性パラメータを求めておけば、発話に対する２つの観点から判断された特性が得られるため、先述の単数の発話特性カテゴリパラメータを使用した場合よりも詳細に発話状況を反映した音声応答を提供することが可能となる。
【００９７】
もちろん、発話特性データベースを３つ以上持たせた場合においても、同様の処理を適用することが可能である。この場合、発話状況がより詳細に音声応答システムに理解されるため、その状況にフィットした音声応答を提供することができる。
【００９８】
以下に、図１のブロック図、および図９のフローチャートに従って各処理の説明を行う。
【００９９】
＜処理例＞
まず、パラメータ変換部１２が、入力された発話データを特徴パラメータに変換する（ステップＳ２０）。次に、音声認識処理部１４は、ステップＳ２０で生成された特徴パラメータとメインキーワードモデルとのマッチングをとり、キーワードを抽出する（ステップＳ２１）。また、音声認識処理部１４は、ステップＳ２１と同様に、ステップＳ２０で生成された特徴パラメータと特徴キーワードモデルとのマッチングをとり、特徴となるキーワードを抽出する（ステップＳ２２）。もちろん、先述のようにメインキーワード部だけに発話特性カテゴリを使うようにしても良い。この場合のシステム構成は、図９で表すフローチャートのうち、Ｓ２１がないものと同等である。
【０１００】
発話特性カテゴリ選定部２２は、ステップＳ２１で得られたメインキーワードとステップＳ２２で得られた特性キーワードのそれぞれに対応する発話特性Ａパラメータを利用して最適な発話特性Ａカテゴリを求める（ステップＳ２３１）。この際、代表発話特性Ａパラメータは、メインキーワード側の発話特性Ａパラメータと特徴キーワード側の発話特性Ａパラメータを全て使用して求める。また、発話特性カテゴリ選定部２２は、ステップＳ２３１の発話特性Ａカテゴリを求める手段と同様に、ステップＳ２１で得られたメインキーワードとステップＳ２２で得られた特性キーワードのそれぞれに対応する発話特性Ｂパラメータを利用して最適な発話特性Ｂカテゴリも求める（ステップＳ２３２）。
【０１０１】
そして、応答音声生成部３０は、ステップＳ２３１で得られた発話特性Ａカテゴリ，　ステップＳ２３２で得られた発話特性Ｂカテゴリ、並びに、ステップＳ２１及びＳ２２で得られた認識キーワードを使って、音声応答用の音声を生成する（ステップＳ２４）。こうして生成された音声が音声応答としてユーザへ出力される。
【０１０２】
以下に、この応用例における具体的な処理例を説明する。
【０１０３】
＜例＞「あかん、渋滞情報をたのむわ」と発話された場合
前提条件：
・　　　　　　メインキーワードは「渋滞情報」である。
・　　　　　　「たのむわ」は発話特性キーワードとして登録されている。
・　　　　　　「渋滞情報」の発話特性Ａパラメータ：（０．５０，０．５０）
・　　　　　　「渋滞情報」の発話特性Ｂパラメータ：（０．５０，０．５０）
・　　　　　　「たのむわ」の発話特性Ａパラメータ：（０．８０，０．２０）
・　　　　　　「たのむわ」の発話特性Ｂパラメータ：（０．５０，０．５０）
・　　　　　　「あかん」　の発話特性Ａパラメータ：（０．９０，０．２０）
・　　　　　　「あかん」　の発話特性Ｂパラメータ：（０．１０，０．９０）
※　なお、この例における発話特性Ａパラメータの要素は
（関西人が発話する頻度の値，関東人が発話する頻度の値）
発話特性Ｂパラメータの要素は
（うれしさを表す頻度の値，苛立たしさを表す頻度の値）
を表す。
【０１０４】
まず、パラメータ変換部１２は、ステップＳ２０にて発話データそのものの特徴パラメータを求める。次に、音声認識処理部１４は、ステップＳ２１において、メインキーワードモデルと、ステップＳ２０で得られた特徴パラメータとのマッチング処理を行い、メインキーワード「渋滞情報」を抽出する。
【０１０５】
また、音声認識処理部１４は、ステップＳ２２において、特徴キーワードを特徴キーワードモデルとステップＳ２０で得られた特徴パラメータとのマッチング処理を行い、特徴キーワードである「あかん」と「たのむ」を抽出する。
【０１０６】
次に、発話特性カテゴリ選定部２２は、ステップＳ２３１において、発話特性Ａカテゴリを抽出する。即ち、まず、メインキーワード「渋滞情報」に対応する発話特徴Ａパラメータｕａを発話特性データベースから取得する。同様に特徴キーワード「たのむ」に対応する発話特性Ａパラメータｖａ（１），　特徴キーワード「あかん」に対応する発話特性Ａパラメータｖａ（２）も同じく発話特性データベースから取得する。
【０１０７】
今回の例で行くと、
ｕａ　　　＝　（０．５０，０．５０）
ｖａ（１）　＝　（０．８０，０．２０）
ｖａ（２）　＝　（０．９０，０．２０）
となる。
【０１０８】
同様にして、発話特性カテゴリ選定部２２は、ステップＳ２３２において、発話特性Ｂカテゴリを抽出する。即ち、まず、メインキーワード「渋滞情報」に対応する発話特徴Ｂパラメータｕｂを発話特性データベースから取得する。同様に特徴キーワード「たのむ」に対応する発話特性Ｂパラメータｖｂ（１），　特徴キーワード「あかん」に対応する発話特性Ｂパラメータｖｂ（２）も同じく発話特性データベースから取得する。
【０１０９】
今回の例で行くと、
ｕｂ　　　＝　（０．５０，０．５０）
ｖｂ（１）　＝　（０．５０，０．５０）
ｖｂ（２）　＝　（０．１０，０．９０）
となる。
【０１１０】
この次に、発話特性カテゴリ選定部２２は、発話された音声データ全体に対する代表発話特性パラメータを求める。ステップＳ２３１，　ステップＳ２３２で取得された発話特性Ａパラメータ，発話特性Ｂパラメータの各要素中、最大となるものをそれぞれ代表発話特性Ａパラメータおよび代表発話特性Ｂパラメータの要素とする。
【０１１１】
まず、発話特性Ａパラメータの代表発話特性Ａパラメータを求める。ｕａの第１成分は０．５０、ｖａ（１）の第１成分は０．８０、ｖａ（２）の第１成分は０．９０なので３つの中で最大となる値は０．９０である。同様にｕａの第２成分は０．５０、ｖａ（１）の第２成分は０．２０、ｖａ（２）の第２成分は０．２０なので、３つの中で最大となる値は０．５０である。
【０１１２】
この手順により代表発話特性Ａパラメータｗａは、
ｗａ　＝　（０．９０，０．５０）
となる。
【０１１３】
同様の手順において発話特性Ｂパラメータの代表発話特性Ｂパラメータｗｂをｕｂ，　ｖｂ（１），　ｖｂ（２）から求めると、
ｗｂ　＝　（０．５０，　０．９０）
となる。
【０１１４】
次に、代表発話特性Ａパラメータｗａおよび代表発話特性Ｂパラメータｗｂの要素中、最大となる箇所を表すものをそれぞれ発話特性カテゴリとして選定する。ｗａのうち最大要素となるのは、第１要素の０．９０であるため、発話特性カテゴリ選定部２２は、発話者を「関西人」と判定し、結果として応答音声生成部に送る。
【０１１５】
同様にして、ｗｂのうち最大要素となるのは、第２要素の０．９０であるから、発話特性カテゴリ選定部２２は、発話者の気分は「苛立ち」と判定し、結果として応答音声生成部に送る。
【０１１６】
そして、応答音声生成部３０は、ステップＳ２４において、２つの発話特性カテゴリを反映して音声合成を行い、合成された音声を音声応答として出力する。
【０１１７】
以上説明したように、本実施例の音声応答システムでは、ユーザの発話を音声認識し、それに基づいてユーザの発話の発話特性カテゴリを選定し、発話特性カテゴリに応じて応答音声を生成するように構成した。よって、ユーザの発話に合わせて出力される音声応答を切り替えるように構成したため、音声対話システムが取得する情報だけで方言等の発話スタイルが切り替わることによるユーザの困惑等を回避しつつ、ユーザに親近感を与える音声対話を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態にかかる音声応答システムの概略構成を示すブロック図である。
【図２】本発明の実施例による音声応答システムのブロック図である。
【図３】発話特性カテゴリ選定処理のフローチャートである。
【図４】応答音声生成処理のフローチャートである。
【図５】応答音声生成処理の他のフローチャートである。
【図６】応答データベース中の読みデータベース内の記憶内容の例を示す。
【図７】応用例１に係る音声応答処理のフローチャートである。
【図８】応用例２に係る処理の流れを示す。
【図９】応用例２に係る音声応答処理のフローチャートである。
【符号の説明】
１０　発話認識部
１２　パラメータ変換部
１４　音声認識処理部
２０　発話特性分析部
２２　発話特性カテゴリ選定部
２４　発話特性データベース
３０　応答音声生成部
３２　応答データベース群
３３、３４　応答データベース
３８　音素データベース
４０　対話制御処理部
５０　応答音声データベース
【図１】
2004037721.tif 000005
【図２】
2004037721.tif 000006
【図３】
2004037721.tif 000007
【図４】
2004037721.tif 000008
【図５】
2004037721.tif 000009
【図６】
2004037721.tif 000010
【図７】
2004037721.tif 000011
【図８】
2004037721.tif 000012
【図９】
2004037721.tif 000013