(57)【要約】【課題】人の発話が長い場合であっても、適切な受け答えをすること。【解決手段】本発明に係る音声対話システムは、外部から入力される音声において、人が発声している音声を認識する音声認識手段と、音声認識手段による音声認識結果に応じた応答音声を発声する音声発声手段を備える。音声認識手段は、外部から入力される音声が、読点であるとして予め定めた第１の音声パターンであるか、句点であるとして予め定めた第２の音声パターンであるかを判断し、第１の音声パターンであると判断した場合には、第１の音声パターンであると判断したときまでの読点単位の区間における音声を認識し、第２の音声パターンであると判断した場合には、第２の音声パターンであると判断したときまでの句点単位の区間における音声を認識する。【選択図】図１
2015087718.tif 000002
【特許請求の範囲】
【請求項１】
外部から入力される音声において、人が発声している音声を認識する音声認識手段と、
前記音声認識手段による音声認識結果に応じた応答音声を発声する音声発声手段と、を備え、
前記音声認識手段は、
前記外部から入力される音声が、読点であるとして予め定めた第１の音声パターンであるか、句点であるとして予め定めた第２の音声パターンであるかを判断し、
前記第１の音声パターンであると判断した場合には、当該第１の音声パターンであると判断したときまでの読点単位の区間における音声を認識し、
前記第２の音声パターンであると判断した場合には、当該第２の音声パターンであると判断したときまでの句点単位の区間における音声を認識する、
音声対話システム。
【請求項２】
前記音声認識手段は、
前記人が音声を発声している音声区間を判断し、
前記第１の音声パターンとして、前記音声区間が終了してから次の音声区間が開始されない時間が、第１の所定時間に達したことを判断し、
前記第２の音声パターンとして、前記音声区間が終了してから次の音声区間が開始されない時間が、前記第１の所定時間よりも長い第２の所定時間に達したことを判断する、
請求項１に記載の音声対話システム。
【請求項３】
前記音声発声手段は、前記読点単位の音声認識結果に応じた応答音声の発声タイミングと、前記句点単位の音声認識結果に応じた応答音声の発声タイミングとが競合した場合、前記句点単位の音声認識結果に応じた応答音声を優先的に発声する、
請求項１又は２に記載の音声対話システム。
【請求項４】
前記音声発声手段は、前記読点単位の音声認識結果に応じた応答音声として、前記読点単位の区間における音声内容について確認する応答文の音声を発声し、
前記音声発声手段は、前記読点単位の音声認識結果に応じた応答音声の発声が連続する場合には、前記応答音声として、前記応答文の音声に代えて相槌の音声を発声する、
請求項１乃至３のいずれか１項に記載の音声対話システム。
【請求項５】
前記音声発声手段は、前記読点単位の音声認識結果に基づいて、前記読点単位の区間における音声内容に含まれる名詞を抽出する名詞抽出手段を有し、
前記音声発声手段は、前記読点単位の音声認識結果に応じた応答音声として、前記名詞抽出手段が抽出した名詞を確認する応答文の音声を発声する、
請求項１乃至４のいずれか１項に記載の音声対話システム。
【請求項６】
前記音声発声手段は、前記読点単位の音声認識結果に応じた応答音声の内容として、前記読点単位の区間における音声内容について確認する応答文を作成する応答文作成手段を有し、
前記音声発声手段は、
前記第１の音声パターンであると判断したときに前記応答文作成手段によって応答文が作成されている場合には、前記読点単位の音声認識結果に応じた応答音声として、当該作成されている応答文の音声を発声し、
前記応答文作成手段によって応答文が作成されていない場合には、次に前記第１の音声パターンであると判断したときに前記応答文作成手段によって応答文が作成されていれば、前記読点単位の音声認識結果に応じた応答音声として、当該作成されている応答文の音声を発声する、
請求項１乃至５のいずれか１項に記載の音声対話システム。
【請求項７】
外部から入力される音声において、人が発声している音声を認識する音声認識ステップと、
前記音声認識ステップによる音声認識結果に応じた応答音声を発声する音声発声ステップと、を備え、
前記音声認識ステップでは、
前記外部から入力される音声が、読点であるとして予め定めた第１の音声パターンであるか、句点であるとして予め定めた第２の音声パターンであるかを判断し、
前記第１の音声パターンであると判断した場合には、当該第１の音声パターンであると判断したときまでの読点単位の区間における音声を認識し、
前記第２の音声パターンであると判断した場合には、当該第２の音声パターンであると判断したときまでの句点単位の区間における音声を認識する、
音声対話方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声対話システム及び音声対話方法に関し、特に、人が発声した音声を認識して、認識した音声に応じた音声を発声する技術に関する。
【背景技術】
【０００２】
特許文献１には、ユーザの音声を認識して、認識された音声に基づいて、ユーザとの対話を行う対話装置が開示されている。特許文献１に開示の対話装置のように、人との対話を行うロボットは、人との対話において、人の発話における文章構造を解析してから、解析結果に基づいてその発話への応答となる音声を発声する。
【０００３】
すなわち、このようなロボットは、人の発話において一文に含まれる全ての音声区間における音声を認識してから、その発話における音声に対する応答を行う。そのため、人がしゃべる一文が長いと、なかなか応答が行われずテンポの悪い対話になってしまい、人の会話意欲を削いでしまうという問題がある。特に、人が一方的にしゃべる場合、音声区間の途切れが分かりづらく、交互にきれいな受け答えを成立させることは困難であった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１１３９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述した知見に基づいてなされたものであって、人の発話が長い場合であっても、適切な受け答えをすることができる音声対話システム及び音声対話方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係る音声対話システムは、外部から入力される音声において、人が発声している音声を認識する音声認識手段と、前記音声認識手段による音声認識結果に応じた応答音声を発声する音声発声手段と、を備え、前記音声認識手段は、前記外部から入力される音声が、読点であるとして予め定めた第１の音声パターンであるか、句点であるとして予め定めた第２の音声パターンであるかを判断し、前記第１の音声パターンであると判断した場合には、当該第１の音声パターンであると判断したときまでの読点単位の区間における音声を認識し、前記第２の音声パターンであると判断した場合には、当該第２の音声パターンであると判断したときまでの句点単位の区間における音声を認識するものである。
【０００７】
本発明の第２の態様に係る音声対話方法は、外部から入力される音声において、人が発声している音声を認識する音声認識ステップと、前記音声認識ステップによる音声認識結果に応じた応答音声を発声する音声発声ステップと、を備え、前記音声認識ステップでは、前記外部から入力される音声が、読点であるとして予め定めた第１の音声パターンであるか、句点であるとして予め定めた第２の音声パターンであるかを判断し、前記第１の音声パターンであると判断した場合には、当該第１の音声パターンであると判断したときまでの読点単位の区間における音声を認識し、前記第２の音声パターンであると判断した場合には、当該第２の音声パターンであると判断したときまでの句点単位の区間における音声を認識するものである。
【発明の効果】
【０００８】
上述した本発明の各態様によれば、人の発話が長い場合であっても、適切な受け答えをすることができる音声対話システム及び音声対話方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態に係る音声対話システムの構成図である。
【図２】実施の形態に係る音声対話システムの処理を示すフローチャートである。
【図３】実施の形態に係る音声対話システムの応答文選択処理を示すフローチャートである。
【図４】実施の形態に係る読点レベルでの応答を実現する処理部分を示すフローチャートである。
【図５】実施の形態に係る読点処理と句点処理の単位を示す図である。
【図６】実施の形態に係る１サイクル目の１段目の処理状態を示す図である。
【図７】実施の形態に係る１サイクル目の２段目の処理状態を示す図である。
【図８】実施の形態に係る２サイクル目の１段目の処理状態を示す図である。
【図９】実施の形態に係る２サイクル目の２段目の処理状態を示す図である。
【図１０】実施の形態に係る３サイクル目の１段目の処理状態を示す図である。
【図１１】実施の形態に係る３サイクル目の２段目の処理状態を示す図である。
【図１２】実施の形態に係る４サイクル目の１段目の処理状態を示す図である。
【図１３】実施の形態に係る４サイクル目の２段目の処理状態を示す図である。
【図１４】実施の形態に係る５サイクル目の１段目の処理状態を示す図である。
【図１５】実施の形態に係る５サイクル目の２段目の処理状態を示す図である。
【図１６】実施の形態に係る句点レベルでの応答を実現する処理部分を示すフローチャートである。
【図１７】実施の形態に係る応答文選択処理の処理状態の一例を示すフローチャートである。
【図１８】実施の形態に係る応答文選択処理の処理状態の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に図面を参照しながら、本発明の好適な実施の形態について説明する。以下の実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、それに限定されるものではない。また、以下の記載及び図面では、説明の明確化のため、当業者にとって自明な事項等については、適宜、省略及び簡略化がなされている。
【００１１】
＜発明の実施の形態＞
図１を参照して、本実施の形態に係る音声対話システム１の構成について説明する。図１は、本実施の形態に係る音声対話システム１の構成図である。音声対話システム１は、例えば、人と対話するロボットに適用することができる。
【００１２】
音声対話システム１は、制御部２、記憶部３、マイク４、スピーカ５、及びＩ／Ｏポート６を有する。制御部２、記憶部３、及びＩ／Ｏポート６は、相互にバスを介して接続されている。マイク４及びスピーカ５は、Ｉ／Ｏポート６と接続されている。
【００１３】
制御部２は、音声対話システム１を統括的に制御する。制御部２は、ＣＰＵ（Central Processing Unit）を有し、記憶部３に格納されたプログラムを実行することによって、本実施の形態１に係る音声対話システム１としての各種処理を実行する。すなわち、記憶部３に格納されたプログラムは、本実施の形態に係る音声対話システム１としての各種処理を、ＣＰＵに実行させるためのコードを含む。制御部２は、読点用音声認識部１１、名詞抽出部１２、読点用応答文作成部１３、発話タイミング判定部１４、句点用音声認識部２１、句点用応答文作成部２２、音声合成部３０として機能する。
【００１４】
読点用音声認識部１１は、人が発声した音声を読点単位で音声認識する。読点用音声認識部１１は、人が音声を発声している発話区間（音声区間）が終了してから次の発話区間が開始されない時間が、第１の所定時間に達した場合、読点で発話区間が終了したと認識する。そして、読点用音声認識部１１は、終了した発話区間を含む読点単位の区間における音声を音声認識する。より厳密には、読点用音声認識部１１は、終了した発話区間の音声を音声認識する。すなわち、読点用音声認識部１１は、一文の開始又は１つ前の読点から、その次の読点までの区間となる、１つの発話区間における音声を音声認識することになる。ここで、第１の所定時間として、例えば人の発話における読点での平均的な発話区間間の時間を採用する等して任意に好適な時間を設定すればよい。
【００１５】
名詞抽出部１２は、読点用音声認識部１１が認識した読点単位の音声から名詞を抽出し、抽出した名詞を示す名詞情報を名詞データベース４２に格納する。
【００１６】
読点用応答文作成部１３は、名詞データベース４２に格納された名詞情報が示す名詞を確認する応答文を作成する。すなわち、読点用応答文作成部１３は、名詞を確認する応答文を示す応答文情報を生成する。
【００１７】
発話タイミング判定部１４は、読点での発話区間の終了を検出し、その検出タイミングにおいて読点用応答文作成部１３によって応答文情報が生成されている場合には、その応答文情報を音声合成部３０に出力する。読点での発話区間の終了を検出は、上述と同様に、人が音声を発声している発話区間が終了してから次の発話区間が開始されない時間が、第１の所定時間に達したことをもって検出するようにすればよい。
【００１８】
句点用音声認識部２１は、人が発声した音声を句点単位で音声認識する。句点用音声認識部２１は、人が音声を発声している発話区間が終了してから次の発話区間が開始されない時間が、第１の所定時間よりも長い第２の所定時間に達した場合、句点で発話区間が終了したと認識する。そして、句点用音声認識部２１は、終了した発話区間を含む句点単位の区間における音声を音声認識する。より厳密には、句点用音声認識部２１は、その句点までの一文の区間に含まれる１つ以上の発話区間における音声を音声認識する。すなわち、句点用音声認識部２１は、一文の開始から句点までの区間に含まれる、少なくとも１つの発話区間における音声を音声認識することになる。ここで、第２の所定時間として、例えば人の発話での句点における平均的な発話区間間の時間を採用する等して任意に好適な時間を設定すればよい。
【００１９】
句点用応答文作成部２２は、句点用音声認識部２１が認識した「動詞」及び「格要素＋格」を確認する応答文を作成する。すなわち、句点用応答文作成部２２は、「動詞」及び「格要素＋格」を確認する応答文を示す応答文情報を生成し、音声合成部３０に出力に格納する。
【００２０】
音声合成部３０は、読点用応答文作成部１３及び句点用応答文作成部２２から出力された応答文情報が示す応答文の音声を示す音声情報を音声合成によって生成し、Ｉ／Ｏポート６を介してスピーカ５に出力する。
【００２１】
記憶部３は、上記のプログラムや、音声対話システム１として処理に必要な各種情報が格納される。記憶部３は、認識用辞書データベース４１、及び名詞データベース４２が構築される。認識用辞書データベース４１は、人が発声した音声中の単語を認識するために、照合用の複数の単語の音声情報が予め格納されている。これらの単語の音声情報は、例えば、複数人の音声をサンプリングすることで算出した平均的な音声を示すように事前に作成してもよい。
【００２２】
すなわち、読点用音声認識部１１及び句点用音声認識部２１は、認識用辞書データベース４１に格納された単語の音声情報と、人が発声した音声の音声情報とを照合することで、人が発声した音声中の各単語を認識することにより、音声認識した区間における音声内容を認識する。認識用辞書データベース４１の単語の種類としては、「動詞」、「格要素」、及び「格」等が用意される。
【００２３】
ここで、読点用音声認識部１１及び句点用音声認識部２１は、音声認識した区間における音声内容として可能性のある複数のパターンの音声内容を音声認識結果として生成する。そして、読点用音声認識部１１は、それらの複数のパターンの音声内容に所定の割合以上で同一の「格要素」（名詞）が含まれている場合には、その「格要素」（名詞）が信頼できると判定する。句点用音声認識部２１は、それらの複数のパターンの音声内容に所定の割合以上で同一の「動詞」又は「格要素＋格」が含まれている場合には、その「動詞」又は「格要素＋格」が信頼できると判定する。例えば、１０パターンの音声内容を生成したときには、８パターン以上の音声内容において同一の「動詞」が含まれている場合であれば、その「動詞」が信頼できると判定し、同一の「動詞」が含まれている音声内容が８パターン未満である場合であれば、その「動詞」が信頼できないと判定するようにしてもよい。
【００２４】
名詞抽出部１２は、読点用音声認識部１１によって信頼できると判定された「格要素」（名詞）を抽出し、読点用応答文作成部１３は、名詞抽出部１２が抽出した「格要素」（名詞）を確認する応答文を示す応答文情報を生成する。一方、句点用応答文作成部２２は、「動詞」及び「格要素＋格」のうち、句点用音声認識部２１によって信頼できると判定されたものを確認する応答文を示す応答文情報を生成する。なお、信頼できると判定された「動詞」が複数検出された場合には、その中で最も信頼できるものを用いて応答文を作成するようにすればよい。ここで、最も信頼できると判定された「動詞」とは、生成した複数のパターンの音声内容に同一の「動詞」が含まれている数が最も多い「動詞」とすればよい。これは、「格要素」（名詞）、又は「格要素＋格」についても同様である。
【００２５】
マイク４は、外部から入力された音声を、その音声を示す音声情報に変換し、Ｉ／Ｏポート６に出力する。スピーカ５は、Ｉ／Ｏポート６から出力された音声情報を音声に変換し、出音する。これにより、制御部２の音声合成部３０によって音声合成された音声が発声される。
【００２６】
Ｉ／Ｏポート６は、マイク４から出力された音声情報をＡ／Ｄ変換し、制御部２に出力する。Ｉ／Ｏポート６は、制御部２から出力された音声情報をＤ／Ａ変換し、スピーカ５に出力する。
【００２７】
本実施の形態は、以上に説明した構成によって、名詞抽出結果に基づいて、読点単位の短い間隔でオウム返しをすることを可能とし、相手の話の腰を折らずに対話を続けることを可能とする。また、これによれば、一文が長くなかなか相手の話に対して総括的な応答をすることができない場合であっても、こまめに短いオウム返しをすることが可能であるため、相手の話を促すことができる。
【００２８】
続いて、図２〜図４を参照して、本発明の実施の形態に係る音声対話システム１の処理について説明する。図２は、本発明の実施の形態に係る音声対話システム１の処理を示すフローチャートである。
【００２９】
マイク４は、継続的に、外部から入力される音声を示す音声情報を生成し、Ｉ／Ｏポート６を介して制御部２に出力する。よって、人から発話入力があった場合（Ｓ１：Ｙｅｓ）、マイク４は、その発話における音声を示す音声情報を生成し、Ｉ／Ｏポート６を介して制御部２に出力する。
【００３０】
読点用音声認識部１１は、読点での発話区間の終了を検出し、その終了した発話区間における音声情報に基づいて、その発話区間における音声情報が示す音声の音声認識を行う（Ｓ２）。具体的には、読点用音声認識部１１は、マイク４から人の発声した音声を示す音声情報が出力されなくなった時間が第１の所定時間に到達したことを、読点での発話区間の終了として検出する。ここで、人の発声した音声を示す音声情報が出力されなくなったか否かの判定は、例えば、音声情報が示す音声の音圧レベルが所定の一定値以下となったか否かによって判定するようにすればよい。そして、読点用音声認識部１１は、発話区間において出力を受けた音声情報が示す音声の音声認識を行う。
【００３１】
名詞抽出部１２は、読点用音声認識部１１が認識した音声内容から、読点用音声認識部１１によって信頼できると判定された名詞を抽出し、抽出した名詞を示す名詞情報を名詞データベース４２に格納する（Ｓ３）。
【００３２】
読点用応答文作成部１３は、名詞データベース４２に格納された名詞情報が示す名詞を確認する応答文を示す応答文情報を生成し、記憶部３に格納する（Ｓ４）。
【００３３】
一方、発話タイミング判定部１４は、読点での発話区間の終了を検出する（Ｓ５）。具体的には、発話タイミング判定部１４は、上述と同様に、マイク４から人の発声した音声を示す音声情報が出力されなくなった時間が第１の所定時間に到達したことを、発話区間の終了として検出する。
【００３４】
発話タイミング判定部１４は、発話区間の終了を検出した場合、名詞を確認する応答文を発話可能であるか否かを判定する（Ｓ６）。具体的は、発話タイミング判定部１４は、読点用応答文作成部１３によって応答文情報が作成済みで記憶部３に格納されている場合、名詞を確認する応答文を発話可能であると判定する。他方、発話タイミング判定部１４は、読点用応答文作成部１３によって応答文情報が作成済みでなく記憶部３に格納されていない場合、名詞を確認する応答文を発話可能でないと判定する。
【００３５】
発話タイミング判定部１４は、名詞を確認する応答文を発話可能であると判定した場合（Ｓ６：Ｙｅｓ）、記憶部３に格納された応答文情報を音声合成部３０に出力する。発話タイミング判定部１４は、名詞を確認する応答文を発話可能でないと判定した場合（Ｓ６：Ｎｏ）、応答文情報が未作成であるため、応答文情報の音声合成部３０への出力は行わない。
【００３６】
一方、句点用音声認識部２１は、句点での発話区間の終了を検出し、その終了した発話区間まで続いた一文の区間に含まれる各音声区間における音声情報に基づいて、それらの発話区間における音声情報が示す音声の音声認識を行う（Ｓ７）。具体的には、句点用音声認識部２１は、マイク４から人の発声した音声を示す音声情報が出力されなくなった時間が第２の所定時間に到達したことを、句点での発話区間の終了として検出する。ここで、人の発声した音声を示す音声情報が出力されなくなったか否かの判定は、例えば、音声情報が示す音声の音圧レベルが所定の一定値以下となったか否かによって判定するようにすればよい。そして、句点用音声認識部２１は、各発話区間において出力を受けた音声情報が示す音声の音声認識を行う。
【００３７】
句点用音声認識部２１は、認識した一文の音声内容において「動詞」及び「格要素＋格」のうち、少なくともいずれかが存在するか否かを判定する（Ｓ８）。
【００３８】
句点用音声認識部２１は、認識した一文の音声内容において「動詞」及び「格要素＋格」のうち、少なくともいずれかが存在すると判定した場合（Ｓ８：Ｙｅｓ）、「動詞」及び「格要素＋格」のうち、存在すると判定したものが信頼できるか否かを判定する（Ｓ９）。
【００３９】
句点用応答文作成部２２は、句点用音声認識部２１によって、認識した一文の音声内容において「動詞」及び「格要素＋格」がいずれも存在し、かつ「動詞」及び「格要素＋格」のいずれも信頼できると判定された場合（Ｓ９：Ｙｅｓ）、「動詞」＋「格要素＋格」を確認する応答文を示す応答文情報を作成し、音声合成部３０に出力する（Ｓ１０）。
【００４０】
一方、句点用応答文作成部２２は、句点用音声認識部２１によって、認識した一文の音声内容において、少なくとも「動詞」が存在し、かつ「動詞」だけが信頼できると判定された場合（Ｓ１１）、「動詞」を確認する応答文を示す応答文情報を作成し、音声合成部３０に出力する（Ｓ１２）。
【００４１】
一方、句点用応答文作成部２２は、句点用音声認識部２１によって、認識した一文の音声内容において、少なくとも「格要素＋格」が存在し、かつ「格要素＋格」だけが信頼できると判定された場合（Ｓ１３）、「格要素＋格」を確認する応答文を示す応答文情報を作成し、音声合成部３０に出力する（Ｓ１４）。
【００４２】
句点用音声認識部２１によって、認識した一文の音声内容において「動詞」及び「格要素＋格」のいずれも存在しないと判定された場合（Ｓ８：Ｎｏ）、及び、認識した一文の音声内容において「動詞」及び「格要素＋格」のうち、存在すると判定されたものの全てが信頼できないと判定された場合（Ｓ９：Ｎｏ）は、応答文情報の作成は行われない。
【００４３】
音声合成部３０は、読点用応答文作成部１３及び句点用応答文作成部２２から出力された応答文情報から、応答する応答文を発声するための応答文情報を選択する（Ｓ１５）。音声合成部３０は、選択した応答文情報を音声合成して、その応答文情報が示す応答文の音声を示す音声情報を生成し、順次Ｉ／Ｏポート６を介してスピーカ５に出力する（Ｓ１６）。これにより、人の発声した音声に対する応答として、その音声の内容を確認する応答文の音声がスピーカ５から発声される。
【００４４】
ここで、図３を参照して、ステップＳ１５の応答文選択処理について、より詳細に説明する。図３は、ステップＳ１５の応答文選択処理を示すフローチャートである。
【００４５】
図３では、読点用応答文作成部１３が作成した応答文情報を「Ａ」として示し、句点用応答文作成部２２が作成した応答文情報を「Ｂ」として示している。音声合成部３０は、読点用応答文作成部１３及び句点用応答文作成部２２の少なくともいずれか１つから応答文情報の出力を受けた場合、その応答文情報が示す応答文の音声合成を開始する。
【００４６】
ここで、音声合成部３０は、応答文情報Ａの音声合成中（応答文情報Ａが示す応答文の音声の発声中）に、応答文情報Ｂの出力を受けた場合には、応答文情報Ａの音声合成を中断して、応答文情報Ｂの音声合成を開始する。それに対して、音声合成部３０は、応答文情報Ｂの音声合成中（応答文情報Ｂが示す応答文の音声の発声中）に、応答文情報Ａの出力を受けた場合には、応答文情報Ｂの音声合成は中断せずに継続し、応答文情報Ａの音声合成は行わない。すなわち、音声合成部３０は、読点用応答文作成部１３によって作成された応答文情報Ａが示す応答文よりも、句点用応答文作成部２２によって作成された応答文情報Ｂが示す応答文を優先的に発声する。応答文情報Ａの応答文よりも、応答文情報Ｂの応答文の方が、人が発声した一文の音声に対する総括的な応答内容となっているため、この応答文情報Ｂが作成し終わっているタイミングのように、人が一文をしゃべり終わったタイミングでの応答内容として、より適切であるからである。
【００４７】
ここで、応答文情報Ａが示す応答文を連続して音声合成する場合には、その応答文を、所定の相槌（間投詞）（例えば「うん」）に置き換えて音声合成を行う。これによって、常に、名詞を確認する応答をする場合と比較して、会話にリズムを持たせることが可能となる。
【００４８】
以上に説明したように、本実施の形態に係る音声対話システム１は、図４に示すように、発話区間終了検出（Ｓ５）及び発話タイミング判定（Ｓ６）を中心とした処理によって、読点レベルの切れ目で応答をすることができ、テンポの良い対話を可能としている。
【００４９】
すなわち、句点を検出する時間（第２の所定時間）よりも短い時間（第１の所定時間）の間、人の発話が無いことを検出するようにすることで、読点単位での発話区間の切れ目を検出することを可能としている。これは、上述したように、例えば、人の発声した音声の音圧レベルが一定値以下の時間が第１の所定時間（例えば０．３ｓｅｃ）の間継続したことをもって検出される。
【００５０】
そして、発話区間の終了検出時に、名詞を確認する応答文が作成済みである場合に、この発話区間の終了タイミングで応答文の音声を発声する。すなわち、人の発話における読点のタイミングで応答文の音声が発声され、テンポの良い対話をすることができる。
【００５１】
続いて、図５〜図１８を参照して、人の発話として一例を挙げて、上述した音声対話システム１の処理の流れについて説明する。
【００５２】
ここでは、人が以下の内容を発話した例について説明する。
【００５３】
「主人がね、親戚のところに行くけども、１１日にね、帰ってくるって言ってね、雨の中出掛けたんですけど。。。」
【００５４】
この場合、図５に示すように、読点用音声認識部１１における音声認識処理（読点処理）は、「主人がね」「親戚のところに行くけども」「１１日にね」「帰ってくるって言ってね」「雨の中出掛けたんですけど」と読点レベルの切れ目の単位で行われる。句点用音声認識部２１における音声認識処理（句点処理）は、「主人がね、親戚のところに行くけども、１１日にね、帰ってくるって言ってね、雨の中出掛けたんですけど」までの句点レベルの切れ目の単位で行われる。すなわち、句点処理が１サイクル回る間に読点処理は５サイクル回る。以下、その読点処理の５サイクルについて説明する。また、以下の説明では、読点処理について発話区間の音声内容における名詞が全て信頼できると判定されるものとして説明する。
【００５５】
（１サイクル目、１段階目：図６）
人によって１発話目「主人がね」まで発話されたときに、読点用音声認識部１１及び発話タイミング判定部１４は、読点単位での発話区間の終了を検出する。このときには、発話タイミング判定部１４は、発話区間の終了は検出されたが、まだ１発話目に対する応答文情報が作成されていないため、音声合成部３０を介した応答文の音声の発声は行わない。読点用音声認識部１１は、１発話目の発話区間における音声「主人がね」の音声認識を実施する。
【００５６】
（１サイクル目、２段階目：図７）
発話タイミング判定部１４は、２発話目の発話区間の終了を待ち合わせる。名詞抽出部１２は、読点用音声認識部１１が認識した１発話目の音声内容から、名詞「ご主人」を抽出する。読点用応答文作成部１３は、名詞抽出部１２が抽出した名詞「ご主人」に基づいて、その名詞「ご主人」を確認する応答文「あーご主人が」の応答文情報を作成する。
【００５７】
（２サイクル目、１段階目：図８）
人によって２発話目「親戚のところに行くけども」まで発話されたときに、読点用音声認識部１１及び発話タイミング判定部１４は、読点単位での発話区間の終了を検出する。このときには、発話タイミング判定部１４は、１発話目に対する応答文情報が作成されているため、その応答文情報を音声合成部３０に送信する。読点用音声認識部１１は、２発話目の発話区間における音声「親戚のところに行くけども」の音声認識を実施する。
【００５８】
（２サイクル目、２段階目：図９）
発話タイミング判定部１４は、３発話目の発話区間の終了を待ち合わせる。名詞抽出部１２は、読点用音声認識部１１が認識した２発話目の音声内容から、名詞「親戚」を抽出する。読点用応答文作成部１３は、名詞抽出部１２が抽出した名詞「親戚」に基づいて、その名詞「親戚」を確認する応答文「親戚ね」の応答文情報を作成する。また、音声合成部３０は、発話タイミング判定部１４から送信された応答文情報が示す応答文「あーご主人が」の音声を音声合成によって生成してスピーカ５を介して発声する。
【００５９】
（３サイクル目、１段階目：図１０）
人によって３発話目「１１日にね」まで発話されたときに、読点用音声認識部１１及び発話タイミング判定部１４は、読点単位での発話区間の終了を検出する。このときには、発話タイミング判定部１４は、２発話目に対する応答文情報が作成されているため、その応答文情報を音声合成部３０に送信する。読点用音声認識部１１は、３発話目の発話区間における音声「１１日にね」の音声認識を実施する。
【００６０】
ここで、音声合成部３０は、発話タイミング判定部１４から送信された応答文情報が示す応答文「１１日」を、定型の相槌「うん」の音声に差し替える。このように、読点における音声認識処理（読点処理）の結果が連続したときには、応答文を、一つ置きに、名詞を確認しない簡易な相槌（間投詞）に差し替えることで、会話にリズムを持たせることができる。
【００６１】
（３サイクル目、２段階目：図１１）
発話タイミング判定部１４は、４発話目の発話区間の終了を待ち合わせる。名詞抽出部１２は、読点用音声認識部１１が認識した３発話目の音声内容から、名詞「１１日」を抽出する。読点用応答文作成部１３は、名詞抽出部１２が抽出した名詞「１１日」に基づいて、その名詞「１１日」を確認する応答文「１１日にね」の応答文情報を作成する。また、音声合成部３０は、差し替え後の応答文「うん」の音声を音声合成によって生成してスピーカ５を介して発声する。このように、音声合成部３０における応答文選択処理では、読点における音声認識処理（読点処理）の結果が連続したときには、「名詞を確認する応答」と、定型の相槌「うん」を交互に音声合成する。
【００６２】
ここで、定型の相槌は、例えば、その相槌の応答文を示す応答文情報を記憶部３に予め格納しておき、音声合成部３０は、その応答文情報が示す応答文（相槌）の音声を音声合成するようにすればよい。また、相槌の内容も上記の例「うん」のみに限られず、他の相槌を用意してもよく、複数の相槌を用意して、それらを所定の順序又はランダムに音声合成するようにしてもよい。
【００６３】
（４サイクル目、１段階目：図１２）
人によって４発話目「帰ってくるって言ってね」まで発話されたときに、読点用音声認識部１１及び発話タイミング判定部１４は、読点単位での発話区間の終了を検出する。このときには、発話タイミング判定部１４は、３発話目に対する応答文情報が作成されているため、その応答文情報を音声合成部３０に送信する。読点用音声認識部１１は、４発話目の発話区間における音声「帰ってくるって言ってね」の音声認識を実施する。
【００６４】
（４サイクル目、２段階目：図１３）
発話タイミング判定部１４は、５発話目の発話区間の終了を待ち合わせる。名詞抽出部１２は、読点用音声認識部１１が認識した４発話目の音声内容には名詞が含まれていないため、名詞を抽出することができない。よって、読点用応答文作成部１３も、４発話目に対する応答文情報は作成しない。また、音声合成部３０は、発話タイミング判定部１４から出力された応答文情報が示す応答文「１１日にね」の音声を音声合成によって生成してスピーカ５を介して発声する。
【００６５】
（５サイクル目、１段階目：図１４）
人によって５発話目「雨の中出掛けたんですけど」まで発話されたときに、読点用音声認識部１１及び発話タイミング判定部１４は、読点単位での発話区間の終了を検出する。このときには、発話タイミング判定部１４は、発話区間の終了は検出されたが、４発話目に対する応答文情報が作成されていないため、音声合成部３０を介した応答文の音声の発声は行わない。読点用音声認識部１１は、５発話目の発話区間における音声「雨の中出掛けたんですけど」の音声認識を実施する。
【００６６】
（５サイクル目、２段階目：図１５）
発話タイミング判定部１４は、６発話目の発話区間の終了を待ち合わせる。名詞抽出部１２は、読点用音声認識部１１が認識した５発話目の音声内容から、名詞「雨」を抽出する。読点用応答文作成部１３は、名詞抽出部１２が抽出した名詞「雨」に基づいて、その名詞「雨」を確認する応答文「雨ね」の応答文情報を作成する。
【００６７】
一方で、５サイクル目では、人による「主人がね、親戚のところに行くけども、１１日にね、帰ってくるって言ってね、雨の中出掛けたんですけど。。。」までの一文の発話が終了するため、句点用音声認識部２１も、句点での発話区間の終了を検出する。よって、句点用音声認識部２１も、図１６に示すように、１発話目〜５発話目までの一文の音声について音声認識処理（句点処理）を実施する。
【００６８】
ここで、句点用音声認識部２１は、信頼できる「格要素＋格」が「主人が」であると判定し、信頼できる動詞は「出掛けた」であると判定したものとする。この場合、句点用応答文作成部２２は、「動詞」と「格要素＋格」の最も信頼できる組み合わせである「ご主人が出掛けたんだね。」という応答文の応答文情報を生成する。そして、句点用応答文作成部２２は、生成した応答文情報を音声合成部３０に送信する。
【００６９】
なお、句点用応答文作成部２２は、「動詞」のみ信頼できた場合は、「出掛けたんだ。」という応答文の応答文情報を生成し、「格要素＋格」のみ信頼できた場合は、「ご主人がね。」という文の応答文情報を生成する。句点用応答文作成部２２は、「動詞」及び「格要素＋格」のどちらも信頼できなかった場合は、応答文情報は生成しない。
【００７０】
（６サイクル目）
６サイクル目では、読点用応答文作成部１３と句点用応答文作成部２２の応答文情報の作成・送信タイミングによっては、音声合成部３０において、読点用応答文作成部１３による応答文「雨ね」の音声合成と、句点用応答文作成部２２の応答文「ご主人が出掛けたんだね」の音声合成とが競合することになる。
【００７１】
上述したように、音声合成部３０は、いずれか一方の応答文情報のみの送信を受けている場合には、その応答文情報の応答文の音声を音声合成し、両方の応答文情報が競合した場合には、句点用応答文作成部２２からの応答文情報を優先的に処理する。すなわち、例えば、図１７に示すように、読点用応答文作成部１３からの応答文情報のみの送信を受けている場合、音声合成部３０は、その応答文情報が示す応答文「雨ね」の音声合成を実施する。
【００７２】
一方、例えば、図１８に示すように、読点用応答文作成部１３からの応答文情報のみの送信を先に受けて、その応答文情報が示す応答文「雨ね」を音声合成中に、句点用応答文作成部２２からの応答文情報の送信を受けた場合には、音声合成部３０は、読点用応答文作成部１３からの応答文情報が示す応答文「雨ね」の音声合成を中断して、句点用応答文作成部２２からの応答文情報が示す応答文「ご主人が出掛けたんだね」の音声合成を開始する。よって、例えば、「あめ、ご主人が出掛けたんだね」といったように発声中であっても強制的に優先度の高い応答文の音声の発声に切り替えられる。
【００７３】
まとめると、例文の対話結果は以下のようになる。「Ａ」は、人の発話内容を示し、「Ｂ」は、音声対話システム１の発話内容を示している。
【００７４】
Ａ：主人がね、（名詞抽出：主人）親戚のところに行くけども、
Ｂ：あーご主人が（読点処理結果）
Ａ：１１日にね、（名詞抽出：１１日）
Ｂ：うん（読点処理結果）
Ａ：帰ってくるって言ってね、
Ｂ：１１日ね（読点処理結果）
Ａ：雨の中出掛けたんですけど。。。（名詞抽出：雨）
Ｂ：ご主人が出掛けたんだね（句点処理結果）
Ａ：そしたら急にね・・・。
【００７５】
このように、本実施の形態では、こまめに応答をして、音声対話システム１が人に対して話を聞いていることを示すことで、対話の継続性を高めることができる。すなわち、読点では、こまめに短い応答文で確認することで、人の話を阻害しないように人の話を促すことができるようにしている。一方で、句点ではそれよりも長い総括的な応答文で確認をすることで、人が話し手として十分な対話感覚が得られるようにしている。
【００７６】
それに対して、本実施の形態を適用しない場合には、例文の対話結果は以下のようになる。
【００７７】
Ａ：主人がね、親戚のところに行くけども、１１日にね、帰ってくるって言ってね、雨の中出掛けたんですけど。。。
Ｂ：ご主人が出掛けたんだね
（ご主人がね、出掛けたんだ、など）
【００７８】
すなわち、句点までの一文の発話が終了するまで、応答が全くなされず、人の会話意欲を削いでしまう。
【００７９】
以上に説明したように、本実施の形態は、人が音声を発声している音声区間における音声を認識する音声認識手段（読点用音声認識部１１及び句点用音声認識部２１に対応する）と、音声認識手段による音声認識結果に応じた応答音声を発声する音声発声手段（名詞抽出部１２、読点用応答文作成部１３、発話タイミング判定部１４、句点用応答文作成部２２、音声合成部３０に対応する）と、を備えるようにしている。そして、音声認識手段は、音声区間が終了してから次の音声区間が開始されない時間が、第１の所定時間に達した場合、終了した音声区間を含む読点単位の区間における音声を認識し、音声区間が終了してから次の音声区間が開始されない時間が、第１の所定時間よりも長い第２の所定時間に達した場合、終了した音声区間を含む句点単位の区間における音声を認識するようにしている。
【００８０】
これによれば、音声区間が終了してから次の音声区間が開始される時間によって、句点と読点とを区別して認識し、人の発話中に読点毎に受け答えをすることができる。したがって、人の発話が長い場合であっても、適切な受け答えをすることができる。
【００８１】
また、本実施の形態では、読点単位の音声認識結果に応じた応答音声の発声タイミングと、句点単位の音声認識結果に応じた応答音声の発声タイミングとが競合した場合、句点単位の音声認識結果に応じた応答音声を優先的に発声するようにしている。これによれば、句読点に応じて適切な音声を発話することができる。
【００８２】
＜本発明の他の実施の形態＞
上記の実施の形態では、読点及び句点を発話が無い時間（音声の音圧レベルが一定値以下である時間）が所定時間に達したか否かによって判定するようにしていたが、これに限られない。例えば、次に説明する（変形例１）又は（変形例２）のように、読点及び句点を判定するようにしてもよい。
【００８３】
（変形例１：周波数による判別）
特定周波数帯域に含まれるスペクトルの割合が第１の割合以下である場合は読点である判断し、特定周波数帯域に含まれるスペクトルの割合が第１の割合よりも低い第２の割合以下である場合は句点であると判断するようにしてよい。例えば、特定周波数帯に含まれるスペクトルの割合が全体の２０％以下の場合は読点である判断し、特定周波数帯に含まれるスペクトルの割合が１０％以下の場合は句点と判断する。
【００８４】
具体的には、読点用音声認識部１１及び発話タイミング判定部１４は、マイク４から出力された音声情報が示す音声において、特定周波数帯域に含まれるスペクトルの割合が第１の割合以下であることを、読点での発話区間の終了として検出する。また、句点用音声認識部２１は、マイク４から出力された音声情報が示す音声において、特定周波数帯域に含まれるスペクトルの割合が第２の割合以下であることを、句点での発話区間の終了として検出する。
【００８５】
なお、上記の特定周波数帯域は、人の発話中にスペクトルの割合が高くなると考えられる任意の周波数帯域を予め定めるようにしてよい。
【００８６】
（変形例２：ＨＭＭ（Hidden Markov Model：隠れマルコフモデル）による判別）
音声に基づいて読点の尤度（読点らしさ）を算出する読点認識用のＨＭＭと、音声に基づいて句点の尤度（句点らしさ）を算出する句点認識用のＨＭＭと、発話の尤度（発話区間らしさ）を算出する発話認識用のＨＭＭ等の各種ＨＭＭを予め用意する。そして、音声に基づいて読点認識用のＨＭＭが算出した尤度が一番高い場合、読点であると判定する。音声に基づいて句点認識用のＨＭＭが算出した尤度が一番高い場合、句点であると判定する。音声に基づいて発話認識用のＨＭＭが算出した尤度が一番高い場合、読点でも句点でもなく、発話中であると判定する。
【００８７】
具体的は、読点認識用のＨＭＭ、句点認識用のＨＭＭ、及び発話認識用のＨＭＭを予め学習により生成しておき、それらのＨＭＭの情報を記憶部３に格納しておく。読点用音声認識部１１及び発話タイミング判定部１４は、マイク４から出力された音声情報が示す音声を、各ＨＭＭへの入力とし、それらのＨＭＭの出力した尤度において、読点認識用のＨＭＭが算出した尤度が一番高いことを、読点での発話区間の終了として検出する。また、句点用音声認識部２１は、マイク４から出力された音声情報が示す音声を、各ＨＭＭへの入力とし、それらのＨＭＭの出力した尤度において、句点認識用のＨＭＭが算出した尤度が一番高いことを、句点での発話区間の終了として検出する。
【００８８】
以上に実施の形態及び他の実施の形態として説明したように、本実施の形態では、人が発声している音声が、読点であるとして予め定めた第１の音声パターン（次の音声区間が開始されない時間が第１の所定時間経過、スペクトルの割合が第１の割合以下、読点認識用のＨＭＭの算出した尤度が一番高い）であると判断した場合に、第１の音声パターンであると判断したときまでの読点単位の区間における音声を認識し、人が発声している音声が、、読点であるとして予め定めた第２の音声パターン（次の音声区間が開始されない時間が第２の所定時間経過、スペクトルの割合が第２の割合以下、句点認識用のＨＭＭの算出した尤度が一番高い）であると判断した場合に、第２の音声パターンであると判断したときまでの読点単位に区間における音声を認識するようにしている。
【００８９】
これによれば、第１の音声パターンであるか第２の音声パターンであるかによって、句点と読点とを区別して認識し、人の発話中に読点毎に受け答えをすることができる。したがって、人の発話が長い場合であっても、適切な受け答えをすることができる。
【００９０】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００９１】
１  音声対話システム
２  制御部
３  記憶部
４  マイク
５  スピーカ
６  Ｉ／Ｏポート
１１  読点用音声認識部
１２  名詞抽出部
１３  読点用応答文作成部
１４  発話タイミング判定部
２１  句点用音声認識部
２２  句点用応答文作成部
３０  音声合成部
【図１】
2015087718.tif 000003
【図２】
2015087718.tif 000004
【図３】
2015087718.tif 000005
【図４】
2015087718.tif 000006
【図５】
2015087718.tif 000007
【図６】
2015087718.tif 000008
【図７】
2015087718.tif 000009
【図８】
2015087718.tif 000010
【図９】
2015087718.tif 000011
【図１０】
2015087718.tif 000012
【図１１】
2015087718.tif 000013
【図１２】
2015087718.tif 000014
【図１３】
2015087718.tif 000015
【図１４】
2015087718.tif 000016
【図１５】
2015087718.tif 000017
【図１６】
2015087718.tif 000018
【図１７】
2015087718.tif 000019
【図１８】
2015087718.tif 000020