(57)【要約】【課題】幼児のような聞き返しの応答文の意味を理解するのが困難なユーザに対しても誤認識の原因が発話速度にあることを直感的に理解させる。【解決手段】音声入力装置に入力されたユーザによる第１発話から変換された音声データに対して音声認識処理を行い、音声認識処理の信頼度が閾値以下である場合、音声データに基づきユーザによる発話の速度である第１発話速度を計測し、第１発話速度に基づき、ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第２発話速度を決定し、第２発話速度で応答文の音声を出力する旨の指示情報を出力する。【選択図】図２
2020177106.tif 000002
【特許請求の範囲】
【請求項１】
音声対話制御装置が行う音声対話制御方法であって、
音声入力装置に入力されたユーザによる第１発話から変換された音声データに対して音声認識処理を行い、
前記音声認識処理の信頼度を算出し、
前記信頼度が所定の閾値以下であるか否かを判定し、
前記信頼度が前記閾値以下である場合、
前記音声データに基づき前記ユーザによる発話の速度である第１発話速度を計測し、
前記第１発話速度に基づき、前記ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第２発話速度を決定し、
前記第２発話速度で前記応答文の音声を出力する旨の指示情報を出力する、
音声対話制御方法。
【請求項２】
前記第１発話速度が第１閾値未満である場合、第２発話速度を、あらかじめ定められた第３発話速度より大きくする、
請求項１記載の音声対話制御方法。
【請求項３】
前記第１発話速度が第２閾値以上である場合、第２発話速度を、あらかじめ定められた第３発話速度より小さくする、
請求項１記載の音声対話制御方法。
【請求項４】
前記第２発話速度で出力された応答文に対する前記ユーザの第２発話から変換された音声データに対して音声認識処理を行い、
前記音声認識処理の信頼度を算出し、
前記信頼度が前記閾値以下であるか否かを判定し、
前記信頼度が前記閾値以下である場合、
前記音声データに基づき前記第２発話の速度である第４発話速度を計測し、
前記第４発話速度に基づき、前記ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第５発話速度を決定し、
前記第５発話速度で前記応答文の音声を出力する旨の指示情報を出力する、
請求項１記載の音声対話制御方法。
【請求項５】
前記信頼度が前記閾値未満である場合、
さらに前記第１発話の音量である第１発話音量を計測し、
さらに前記第１発話速度および前記第１発話音量の少なくとも一方に基づき、前記ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第２発話速度および前記応答文を音声により出力する際の音量である第２発話音量の少なくとも一方を決定し、
さらに前記第２発話速度および前記第２発話音量の少なくとも一方で前記応答文を出力する旨の指示情報を出力する、
請求項１記載の音声対話制御方法。
【請求項６】
前記第２発話速度は、前記第１発話速度が前記第１閾値よりも小さくなるにつれて、前記第３発話速度に対してより大きく設定される、
請求項２記載の音声対話制御方法。
【請求項７】
前記第２発話速度は、前記第１発話速度が前記第２閾値よりも大きくなるにつれて、前記第３発話速度に対してより小さく設定される、
請求項３記載の音声対話制御方法。
【請求項８】
前記第１発話速度は、第１発話のモーラ数を発話時間で割った値である、
請求項１〜７のいずれかに記載の音声対話制御方法。
【請求項９】
前記第２発話速度の決定では、複数の前記第１発話速度のそれぞれに対応する応答文及び前記第２発話速度が登録された第１データベースを参照し、計測された前記第１発話速度に対応する応答文及び前記第２発話速度を決定し、
前記第１データベースにおいて、前記第２発話速度は、前記第１発話速度が第１閾値よりも小さくなるにつれてあらかじめ定められた第３発話速度よりも大きく設定され、前記第１発話速度が第２閾値（＞第１閾値）よりも大きくなるにつれて前記第３発話速度よりも小さく設定されている、
請求項１〜８のいずれかに記載の音声対話制御方法。
【請求項１０】
前記第５発話速度の決定では、複数の前記第４発話速度のそれぞれに対応する応答文及び前記第５発話速度が登録された第２データベースを参照し、計測された前記第４発話速度に対応する応答文及び前記第５発話速度を決定し、
前記第２データベースにおいて、前記応答文は、前記第４発話速度が第１閾値より小さい場合、発話速度の上昇を強調する言葉を含み、前記第４発話速度が第２閾値（＞第１閾値）より大きい場合、前記発話速度の低下を強調する言葉を含み、
前記第２データベースにおいて、前記第５発話速度は、前記第４発話速度が前記第１閾値よりも小さい場合、あらかじめ定められた第３発話速度よりも大きく設定され、前記第４発話速度が前記第２閾値よりも大きい場合、前記第３発話速度よりも小さく設定されている、
請求項４記載の音声対話制御方法。
【請求項１１】
前記第２発話音量の決定では、複数の前記第１発話音量のそれぞれに対応する応答文及び前記第２発話音量が登録された第３データベースを参照し、計測された前記第１発話音量に対応する応答文及び前記第２発話音量を決定し、
前記第３データベースにおいて、前記第２発話音量は、前記第１発話音量が第３閾値よりも小さくなるにつれてあらかじめ定められた第３発話音量よりも大きく設定され、前記第１発話音量が第４閾値よりも大きくなるにつれて前記第３発話音量よりも小さく設定されている、
請求項５記載の音声対話制御方法。
【請求項１２】
音声対話制御装置であって、
音声入力装置に入力されたユーザによる第１発話から変換された音声データに対して音声認識処理を行う音声認識部と、
前記音声認識処理の信頼度を算出する算出部と、
前記信頼度が所定の閾値以下であるか否かを判定する判定部と、
前記信頼度が前記閾値以下である場合、前記音声データに基づき前記ユーザによる発話の速度である第１発話速度を計測する計測部と、
前記第１発話速度に基づき、前記ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第２発話速度を決定し、前記第２発話速度で前記応答文を出力する旨の指示情報を出力する応答文生成部と、
を備える音声対話制御装置。
【請求項１３】
コンピュータを、音声対話制御装置として機能させるプログラムであって、
前記コンピュータに、
音声入力装置に入力されたユーザによる第１発話から変換された音声データに対して音声認識処理を行い、
前記音声認識処理の信頼度を算出し、
前記信頼度が所定の閾値以下であるか否かを判定し、
前記信頼度が前記閾値以下である場合、
前記音声データに基づき前記ユーザによる発話の速度である第１発話速度を計測し、
前記第１発話速度に基づき、前記ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第２発話速度を決定し、
前記第２発話速度で前記応答文を出力する旨の指示情報を出力する、
ことを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は音声によりユーザと対話する技術に関するものである。
【背景技術】
【０００２】
従来の音声対話装置では、ユーザの音声入力において音声認識が誤認識であると推定された場合、ユーザに言い直しを促す聞き返しのメッセージが出力される。しかし、聞き返しのメッセージを出力するだけでは、ユーザに対して音声認識の誤認識が生じた原因を認識させるには不十分である。したがって、ユーザによる再度の発話において誤認識が生じた原因が改善されず、音声対話装置による聞き返しが繰り返されるという課題がある。
【０００３】
音声認識の誤認識が生じた原因をユーザに認識させるための技術として、例えば特許文献１、特許文献２、および特許文献３の技術がある。
【０００４】
特許文献１では、音声認識結果に誤認識が含まれると推定された場合、誤認識が生じた原因を分析し、誤認識の原因を強調した発声変換が施された音声認識結果を含む応答を音声合成して出力することが開示されている。これにより、入力された音声において、誤認識が生じた部分及び原因をユーザに対して直観的に認識させることができる。例えば、入力された音声の一部のみ音量が小さいことが原因で誤認識が生じた場合、音声認識結果において音量が小さいと推定された部分の音量が意図的に小さくされた音声認識結果の音声が応答として出力される。これにより、ユーザは誤認識が生じた部分及び原因を認識できる。
【０００５】
特許文献２では、音声認識結果に誤認識が含まれると推定された場合、誤認識が生じた原因を分析し、この原因の改善方法を音声でユーザに通知することが開示されている。これにより、ユーザに対して、言い直しを行う際に発話の改善方法を認識させることができる。例えば、入力された音声の発話速度が不適正であった場合、「もっとゆっくり話して下さい」と音声対話装置が応答をすることで、ユーザは音声入力の改善方法を認識できる。
【０００６】
特許文献３では、ユーザとの情報のやりとりを音声によって行う音声対話装置であって、ユーザの発話音量が所定の音量より小さい場合は出力する音楽の音量を大きくし、ユーザの発話音量が所定の音量より大きい場合は出力する音楽の音量を小さくする音声対話装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２５１０６１号公報
【特許文献２】特開２００６−１１３４３９号公報
【特許文献３】特許第４７６５３９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、幼児のような聞き返しの応答文の意味を理解するのが困難なユーザに対して誤認識の原因が発話速度にあることを直感的に理解させるためには、更なる改善が必要である。
【０００９】
本開示の目的は、幼児のような聞き返しの応答文の意味を理解するのが困難なユーザに対しても誤認識の原因が発話速度にあることを直感的に理解させ、聞き返しが繰り返されることを抑制する技術を提供することにある。
【課題を解決するための手段】
【００１０】
本開示の一態様は、音声対話制御装置が行う音声対話制御方法であって、音声入力装置に入力されたユーザによる第１発話から変換された音声データに対して音声認識処理を行い、前記音声認識処理の信頼度を算出し、前記信頼度が所定の閾値以下であるか否かを判定し、前記信頼度が前記閾値以下である場合、前記音声データに基づき前記ユーザによる発話の速度である第１発話速度を計測し、前記第１発話速度に基づき、前記ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第２発話速度を決定し、前記第２発話速度で前記応答文の音声を出力する旨の指示情報を出力する。
【発明の効果】
【００１１】
本開示によれば、幼児のような聞き返しの応答文の意味を理解するのが困難なユーザに対しても誤認識の原因が発話速度にあることを直感的に理解させ、聞き返しが繰り返されることを抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の実施の形態１における音声対話システムの全体像を示す図である。
【図２】本開示の実施の形態１における音声対話システムの構成の一例を示す図である。
【図３】音声認識処理の誤認識の改善を促す場面の一例を示す図である。
【図４】音声認識候補と信頼度との一例を示す図である。
【図５】発話時間とモーラ数との一例を示す図である。
【図６】第１データベースのデータ構成の一例を示す図である。
【図７】本開示の実施の形態１における音声対話システムの処理の一例を示すフローチャートである。
【図８】本開示の実施の形態１の変形例に係る音声対話システムの構成の一例を示すブロック図である。
【図９】第２データベースのデータ構成の一例を示す図である。
【図１０】本開示の実施の形態１における音声対話システムの処理の一例を示すフローチャートである。
【図１１】ユーザの最初の発話である第１発話に対して、音声対話システムが発話速度の改善を促したが、改善されなかった場面の一例を示す図である。
【図１２】本開示の実施の形態２における音声対話システムの構成の一例を示す図である。
【図１３】第３データベースのデータ構成の一例を示す図である。
【図１４】実施の形態２において最終応答文が決定される場面の一例を示す図である。
【図１５】本開示の実施の形態２における音声対話システムの処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
（本発明の基礎となった知見）
ユーザの発話を音声認識し、音声認識結果を基に自然な応答文を返すことで、ユーザとの自然な対話の実現を図ったり、機器の制御及び情報提供などのサービスをユーザに提供したりする音声対話装置に関する技術が検討されている。音声対話装置は、ユーザの入力発話を受け取ると音声認識を行う。この時、音声対話装置は、音声認識結果に対する複数の候補を決定し、各候補に対する音声認識結果の確からしさを表す信頼度を確率的に計算し、最も信頼度が高い候補を音声認識結果として選択する。
【００１４】
ここで、全ての候補において信頼度が一定の閾値以下であった場合、音声認識結果に誤認識が含まれると判断され、ユーザへ「もう一度発話してください」などの聞き返しの応答文が出力される。これにより、ユーザが発話を言い直すことで、正しい音声認識が可能となる。一方で、聞き返しの応答文のみでは、ユーザはどのように発話を改善すればよいのか認識できない。したがって、ユーザが再び同じような発話を繰り返してしまうと、音声認識結果の信頼度が改善されず、聞き返しの応答文が繰り返されるという課題が存在する。
【００１５】
このような課題に対し、特許文献１に係る技術では、上述したように、入力された音声の一部の音量が小さいことが原因で誤認識が生じた場合、誤認識が生じた部分の音量が意図的に小さくされた音声認識結果の音声を応答文として出力する技術が開示されている。
【００１６】
しかしながら、特許文献１では、単に音量調整を行うだけであるため、誤認識の原因がユーザの発話速度にある場合、そのことをユーザに直感的に理解させることはできない。
【００１７】
特許文献２に係る技術では、上述したように、入力された音声の発話速度が不適正であった場合、「もっとゆっくり話してください」といった応答文の音声を出力する技術が開示されている。
【００１８】
しかしながら、特許文献２では、誤認識の原因が応答文によって通知されているため、幼児のような言葉の認識能力が未発達なユーザの場合、「もっと」の意味を理解できず、発話速度を適性速度にまで改善できない可能性がある。したがって、このようなユーザに対して発話速度を適性速度にまで改善させるには、応答文の意味によって誤認識の原因を知らせる特許文献２の手法は不十分である。
【００１９】
特許文献３では、上述したように、ユーザの発話音量が所定の音量より小さい場合は出力する音楽の音量を大きくし、ユーザの発話音量が所定の音量より大きい場合は出力する音楽の音量を小さくする音声対話装置が開示されている。これは、人が周囲の音量に合わせて発話音量を変更するというランバード効果を利用したものである。
【００２０】
しかしながら、特許文献３は、単に音量調整を行うだけであるため、誤認識の原因がユーザの発話速度にある場合、そのことをユーザに直感的に理解させることはできない。
【００２１】
そこで、本発明者は、音声認識結果の誤認識の原因がユーザの発話速度にある場合、聞き返しの音声の発話速度を調整することで、幼児のような応答文の意味を理解するのが困難なユーザに対してもその原因が発話速度であることを直感的に理解させることができるとの知見を得た。例えば、発話速度が適性速度よりも遅ければ、聞き返しの音声の発話速度を速くする一方、発話速度が適性速度よりも速ければ、聞き返しの音声の発話速度を遅くすることで、幼児のような応答文の意味を理解するのが困難なユーザに対しても誤認識の原因が発話速度であることを直感的に理解させることができるとの知見を得て、下記に示す各種態様を想到するに至った。
【００２２】
本開示の一態様は、音声対話制御装置が行う音声対話制御方法であって、音声入力装置に入力されたユーザによる第１発話から変換された音声データに対して音声認識処理を行い、前記音声認識処理の信頼度を算出し、前記信頼度が所定の閾値以下であるか否かを判定し、前記信頼度が前記閾値以下である場合、前記音声データに基づき前記ユーザによる発話の速度である第１発話速度を計測し、前記第１発話速度に基づき、前記ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第２発話速度を決定し、前記第２発話速度で前記応答文の音声を出力する旨の指示情報を出力する。
【００２３】
本構成によれば、音声認識処理の信頼度が閾値以下の場合、ユーザの発話速度である第１発話速度に基づいて、ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第２発話速度が決定され、決定された第２発話速度により応答文の音声を出力させることができる。このように、本態様は、再度の発話を促す旨の応答文、すなわち聞き返しの応答文の音声が、ユーザの発話速度に応じた速度に設定されたうえで出力されている。そのため、幼児のように聞き返しの応答文の意味を理解するのが困難なユーザに対しても誤認識の原因が発話速度にあることを直感的に理解させることができ、聞き返しが繰り返されることを抑制できる。
【００２４】
上記態様において、前記第１発話速度が第１閾値未満である場合、第２発話速度を、あらかじめ定められた第３発話速度より大きくしてもよい。
【００２５】
本構成によれば、第１発話速度が第１閾値未満である場合、第２発話速度が予め定められた第３発話速度より大きくされるため、誤認識の原因が自身の発話速度が遅いことにあることをユーザに対してより直感的に理解させることができる。
【００２６】
上記態様において、前記第１発話速度が第２閾値以上である場合、第２発話速度を、あらかじめ定められた第３発話速度より小さくしてもよい。
【００２７】
本構成によれば、第１発話速度が第２閾値以上である場合、第２発話速度が予め定められた第３発話速度より小さくされるため、誤認識の原因が自身の発話速度が速いことにあることをユーザに対してより直感的に理解させることができる。
【００２８】
上記態様において、前記第２発話速度で出力された応答文に対する前記ユーザの第２発話から変換された音声データに対して音声認識処理を行い、前記音声認識処理の信頼度を算出し、前記信頼度が前記閾値以下であるか否かを判定し、前記信頼度が前記閾値以下である場合、前記音声データに基づき前記第２発話の速度である第４発話速度を計測し、前記第４発話速度に基づき、前記ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第５発話速度を決定し、前記第５発話速度で前記応答文の音声を出力する旨の指示情報を出力してもよい。
【００２９】
本構成によれば、聞き返しに対するユーザの第２発話の信頼度が閾値以下の場合、第２発話の発話速度である第４発話速度に基づいて第５発話速度が決定され、その第５発話速度で再度の発話を促す旨の応答文の音声が出力される。そのため、聞き返しによっても発話速度の改善が見られなかった場合、さらに聞き返しを行うことによって、ユーザに誤認識の原因が発話速度にあることをより確実に理解させることができる。
【００３０】
上記態様において、前記信頼度が前記閾値未満である場合、さらに前記第１発話の音量である第１発話音量を計測し、さらに前記第１発話速度および前記第１発話音量の少なくとも一方に基づき、前記ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第２発話速度および前記応答文を音声により出力する際の音量である第２発話音量の少なくとも一方を決定し、さらに前記第２発話速度および前記第２発話音量の少なくとも一方で前記応答文を出力する旨の指示情報を出力してもよい。
【００３１】
本構成によれば、音声認識の信頼度が閾値未満である場合、第１発話の第１発話速度及び第１発話の第１発話音量の少なくとも一方に基づいて、第２発話速度及び第２発話音量の少なくとも一方が決定され、第２発話速度及び第２発話音量の少なくとも一方により再度の発話を促す旨の応答文の音声が出力される。そのため、誤認識の原因が発話速度及び発話音量の一方にある場合、発話速度及び発話音量の一方が改善されるように音量調整された応答文の音声を出力できる。
【００３２】
上記態様において、前記第２発話速度は、前記第１閾値よりも小さくなるにつれて、前記第３発話速度に対してより大きく設定されてもよい。
【００３３】
本構成によれば、第１発話速度が第１閾値よりも小さくなるにつれて、第３発話速度に対して第２発話速度がより大きくされるため、ユーザに対して誤認識の原因が発話速度の遅さにあることをさらに直感的に理解させることができる。
【００３４】
上記態様において、前記第２発話速度は、前記第１発話速度が前記第２閾値よりも大きくなるにつれて、前記第３発話速度に対してより小さく設定されてもよい。
【００３５】
本構成によれば、第１発話速度が第２閾値よりも大きくなるにつれて、第３発話速度に対して第２発話速度がより小さくされるため、ユーザに対して誤認識の原因が発話速度の速さにあることをさらに直感的に理解させることができる。
【００３６】
上記態様において、前記第１発話速度は、第１発話のモーラ数を発話時間で割った値であってもよい。
【００３７】
本構成によれば、第１発話速度を正確に計測できる。
【００３８】
上記態様において、前記第２発話速度の決定では、複数の前記第１発話速度のそれぞれに対応する応答文及び前記第２発話速度が登録された第１データベースを参照し、計測された前記第１発話速度に対応する応答文及び前記第２発話速度を決定し、前記第１データベースにおいて、前記第２発話速度は、前記第１発話速度が第１閾値よりも小さくなるにつれてあらかじめ定められた第３発話速度よりも大きく設定され、前記第１発話速度が第２閾値（＞第１閾値）よりも大きくなるにつれて前記第３発話速度よりも小さく設定されてもよい。
【００３９】
本構成によれば、複数の第１発話速度のそれぞれに対応する応答文及び第２発話速度が登録された第１データベースを参照することで応答文及び第２発話速度が決定されているため、妥当な応答文及び第２発話速度を正確且つ速やかに決定できる。
【００４０】
上記態様において、前記第５発話速度の決定では、複数の前記第４発話速度のそれぞれに対応する応答文及び前記第５発話速度が登録された第２データベースを参照し、計測された前記第４発話速度に対応する応答文及び前記第５発話速度を決定し、前記第２データベースにおいて、前記応答文は、前記第４発話速度が第１閾値より小さい場合、前記発話速度の上昇を強調する言葉を含み、前記第４発話速度が第２閾値（＞第１閾値）より大きい場合、前記発話速度の低下を強調する言葉を含み、前記第２データベースにおいて、前記第５発話速度は、前記第４発話速度が前記第１閾値よりも小さい場合、あらかじめ定められた第３発話速度よりも大きく設定され、前記第４発話速度が前記第２閾値よりも大きい場合、前記第３発話速度よりも小さく設定されてもよい。
【００４１】
本構成によれば、複数の第４発話速度のそれぞれに対応する応答文及び第５発話速度が登録された第２データベースを参照することで応答文及び第５発話速度が決定されているため、妥当な応答文及び第５発話速度を正確且つ速やかに決定できる。
【００４２】
上記態様において、前記第２発話音量の決定では、複数の前記第１発話音量のそれぞれに対応する応答文及び前記第２発話音量が登録された第３データベースを参照し、計測された前記第１発話音量に対応する応答文及び前記第２発話音量を決定し、前記第３データベースにおいて、前記第２発話音量は、前記第１発話音量が第３閾値よりも小さくなるにつれてあらかじめ定められた第３発話音量よりも大きく設定され、前記第１発話音量が第４閾値よりも大きくなるにつれて前記第３発話音量よりも小さく設定されてもよい。
【００４３】
本構成によれば、複数の第１発話音量のそれぞれに対応する応答文及び第２発話音量が登録された第３データベースを参照することで応答文及び第２発話音量が決定されているため、妥当な応答文及び第２発話音量を正確且つ速やかに決定できる。
【００４４】
本開示は、このような音声対話制御方法に含まれる特徴的な各構成をコンピュータに実行させるプログラム、或いはこのプログラムによって動作する音声対話制御装置として実現することもできる。また、このようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【００４５】
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
【００４６】
（実施の形態１）
図１は、本開示の実施の形態１における音声対話システムの全体像を示す図である。図１に示す音声対話システムは、音声入出力装置１００及び音声対話制御装置２００を含む。音声入出力装置１００及び音声対話制御装置２００は、ネットワーク３００を介して相互に通信可能に接続されている。音声入出力装置１００は、ユーザの発話を音声データに変換して、入力音声データ２０としてネットワーク３００を介して音声対話制御装置２００に送信する。また、音声入出力装置１００は、音声対話制御装置２００から応答音声データ３０をネットワーク３００を介して受信し、応答音声４０を出力する。
【００４７】
例えば、音声入出力装置１００（音声入力装置）は、「今日の天気は？」と入力されたユーザ発話１０の入力音声データ２０を、ネットワーク３００を介して音声対話制御装置２００へ送信する。そして、音声入出力装置１００は、音声対話制御装置２００で作成された応答音声データ３０を、ネットワーク３００を介して受信し、「晴れです」という応答音声４０を出力する。
【００４８】
音声対話制御装置２００は、受け取った入力音声データ２０への応答となる応答音声データ３０を生成する。図１の例では、音声入出力装置１００からネットワーク３００を介して受信した入力音声データ２０に対して、「晴れです」という応答音声４０を示す応答音声データ３０を作成し、ネットワーク３００を介して音声入出力装置１００へ送信する。
【００４９】
ネットワーク３００は、音声入出力装置１００と音声対話制御装置２００とを接続し、入力音声データ２０と応答音声データ３０とを流す。ここでネットワーク３００は、光ファイバ、無線又は、公衆電話回線など任意のネットワークで実現されてよく、宅内のローカルネットワークに閉じた環境で構築されてもよいし、インターネットなどの構成で構築されてもよい。
【００５０】
図２は、本開示の実施の形態１における音声対話システムの構成の一例を示す図である。図２に示す音声対話システムは、音声入出力装置１００及び音声対話制御装置２００を含む。音声入出力装置１００は、通信部１０１、マイク１０２、及びスピーカ１０３を含む。音声入出力装置１００は、少なくとも、集音機能と音声出力機能と通信機能とを備える装置で構成され、例えばスマートスピーカ、スマートフォン、タブレット端末などである。また、音声入出力装置１００は、ロボットに実装されてもよい。
【００５１】
通信部１０１は、図１に示すネットワーク３００を介して、音声対話制御装置２００の通信部２０１と通信する。通信部１０１は、マイク１０２より取得された入力音声データの送信及び音声対話制御装置２００からの応答音声データの受信を行う。通信部１０１は、例えば、通信インターフェースで構成される。
【００５２】
マイク１０２は、ユーザの発話を集音し、入力音声データを取得する。マイク１０２は、ロボット、スマートフォン、又はスマートスピーカに備え付けられたもので構成される。但し、これは一例であり、マイク１０２は、音声入出力装置１００の本体部の外部に設けられたハンドマイク及びピンマイクなど任意の集音デバイスであってもよい。
【００５３】
スピーカ１０３は、ユーザの発話に対する応答音声を再生する。スピーカ１０３は、例えばロボット、スマートフォン、スマートスピーカに備え付けられている。但し、これは一例であり、スピーカ１０３は、音声入出力装置１００の本体部の外部に設けられた任意の音声再生デバイスであってもよい。
【００５４】
音声対話制御装置２００は、例えば通信部２０１、プロセッサ２１０、及びメモリ２０５を含むサーバ装置である。プロセッサ２１０は、例えばＣＰＵ、ＡＳＩＣなどの電気回路である。プロセッサ２１０は、音声認識部２０２、意図理解部２０３、発話速度計測部２０４、応答文生成部２０６、及び音声合成部２０７を含む。メモリ２０５は、例えばＥＥＰＲＯＭなどの書き換え可能な不揮発性の記憶装置である。メモリ２０５は、第１データベースＴ１を記憶する。
【００５５】
音声対話制御装置２００を構成する全部又は一部の要素は音声入出力装置１００に実装されてもよいし、音声対話制御装置２００を構成する一部の要素（例えば、音声認識部２０２）は、別のサーバに実装されてもよい。この場合、音声対話制御装置２００は、複数のサーバで構成される。
【００５６】
通信部２０１は、図１に示すネットワーク３００を介して、音声対話制御装置２００の通信部１０１と通信し、音声入出力装置１００から入力音声データの受信及び音声合成部２０７で作成された応答音声データの送信を行う。
【００５７】
音声認識部２０２は、通信部２０１から入力された入力音声データに音声認識処理を行ことで入力音声データを音声認識結果であるテキストデータへ変換する。音声認識処理としては、例えばＪｕｌｉｕｓなどのオープンソースソフトウェアが採用できる。
【００５８】
このとき、音声認識部２０２は、入力音声データを解析し、１以上の単語の組み合わせからなる複数の音声認識候補と、各音声認識候補に対する信頼度とを取得する。そして、音声認識部２０２は、複数の音声認識候補の中から信頼度が最大の音声認識候補を音声認識結果として採用する。信頼度は、音声認識の確からしさを示す確率である。
【００５９】
例えば、図３に示すように「今日はいい天気だね」とユーザが発話することにより、音声認識部２０２は、図４に示す音声認識候補と信頼度とを取得したとする。図４の例では、信頼度が高い順に「今日はいい天気だね」、「今日はいい敵だね」、及び「こうはいい天気でね」の３つの音声認識候補が取得されている。このとき、音声認識部２０２は、信頼度が最も高い「０．８」の音声認識候補「今日はいい天気だね」を、音声認識結果として決定する。
【００６０】
一方で、全ての音声認識候補の信頼度が一定の閾値未満の場合、音声認識部２０２は、音声認識結果に誤認識が含まれる確率が高いため、音声認識結果を出力せず、音声認識に誤認識が生じたと判断する。例えば、閾値が「０．９」で設定されていた場合、図４に示す全ての音声認識候補の信頼度が閾値未満であるため、音声認識部２０２は、音声認識に誤認識が生じたと判断する。音声認識部２０２は、信頼度が閾値未満と判断した場合、音声認識結果を発話速度計測部２０４に入力する一方、信頼度が閾値以上と判断した場合、音声認識結果を意図理解部２０３に入力する。
【００６１】
さらに、音声認識部２０２は、通信部２０１から入力された入力音声データにおいて、発話開始時点から発話終了時点までの区間を発話区間として抽出し、抽出した発話区間におけるサンプル点の数に予め設定されたサンプリング周期を乗じることでユーザの発話時間を算出する。なお、音声認識部２０２は、算出した発話時間を音声認識結果に含ませて発話速度計測部２０４に入力する。
【００６２】
図２に参照を戻す。意図理解部２０３は、音声認識部２０２から入力された音声認識結果を解析する意図理解処理を行い、ユーザの発話の意図を解析する。意図理解処理としては、あらかじめ決められたルールに基づいて発話内容を理解するルールベースの方式、又は機械学習手法であるディープラーニング若しくはＡｄａＢｏｏｓｔなどの手法を用いて、想定される複数の意図から一意の意図を選択する方式などが採用できる。意図理解部２０３は、意図理解結果を応答文生成部２０６に入力する。意図理解結果は、例えば天気予報、経路探索、及び食事などの発話内容を大まかにジャンル分けしたジャンル情報及び理解した意図を示す意図情報などが含まれる。
【００６３】
発話速度計測部２０４は、信頼度が閾値未満の場合に音声認識部２０２から入力された音声認識結果に含まれるテキストデータ及び発話時間を用いてユーザの発話に対する発話速度を計測する。発話速度は、例えば数１に示すように単位時間当たりのモーラ数で定義される。モーラ数とは日本語において拗音を除く、かなの一字に相当する長さの単位である。したがって、発話速度計測部２０４は、音声認識結果に含まれるテキストデータからモーラ数を決定し、決定したモーラ数を音声認識結果に含まれる発話時間で割ることで発話速度を計測する。
【００６４】
【数１】
2020177106.tif 000003
【００６５】
図５を用いて、ユーザ発話の音声速度を計測する方法の一例を説明する。ユーザが「今日はいい天気だね」と発話した場合、この発話は、図５の上部に例示するように、「きょ／う／は／い／い／て／ん／き／だ／ね」と１０個に区切られる。したがって、この発話のモーラ数は１０モーラとなる。この発話の発話時間が２秒であった場合、ユーザの発話速度は５モーラ／秒となる。また、図５の下部に例示するように「今日はいい天気だね」が「きょうはいい敵だね」と誤認識された場合、この発話は、「きょ／う／は／い／い／て／き／だ／ね」と区切られ、モーラ数が９モーラとなる。したがって、入力発話に対する発話速度は４．５モーラ／秒となる。誤認識をしても正しく認識できた場合と比較し、単位時間当たりのモーラ数は近い値になる。そのため、誤認識をした場合、認識できた場合と同じ発話速度の計測方法が適用可能となる。なお、この発話速度計測方法は一例であり、他の発話速度の計測方法が採用されてもよい。
【００６６】
図２に参照を戻す。第１データベースＴ１は、発話速度計測部２０４により計測された発話速度に応じた発話速度の改善を促すための応答文を記憶する。図６は、第１データベースＴ１のデータ構成の一例を示す図である。具体的には、第１データベースＴ１は、入力発話速度と、応答文と、出力発話速度とを対応付けて記憶する。入力発話速度は、発話速度計測部２０４で計測された発話速度が属する速度条件を示す。応答文は、計測された発話速度に応じた応答文を示す。出力発話速度は、応答文の音声を出力する際の発話速度を示す。
【００６７】
例えば、１行目のレコードは、音声認識に誤認識が生じた際に計測された発話速度が６モーラ／秒以上だった場合に、応答文として「もっとゆっくりと話してください」が決定され、この応答文が２．５モーラ／秒の発話速度で出力されることを示している。
【００６８】
図６の例では、第１データベースＴ１は、５つの速度条件に応じた５つのレコードを含む。上から３行目の入力発話速度が「４モーラ／秒以上、５モーラ／秒未満」のレコードは、発話速度が適性速度にあるため、応答文は「もう一度発話してください」となっており、発話速度の改善を促す内容になっていない。また、３行目のレコードは発話速度が適性速度にあり、発話速度を改善する必要がないため、出力発話速度が入力発話速度の範囲の中間値である４．５モーラ／秒に設定されている。
【００６９】
ここで、適性速度は、音声認識部２０２が音声認識処理を行ううえで適切な発話速度であり、音声認識部２０２の能力に応じて予め設定される。例えば、音声認識部２０２が４．５モーラ／秒の音声データを多く用いて機械学習された学習モデルを用いて音声認識処理を行うものであるとすると、４．５モーラ／秒程度の発話速度が適性速度になる。
【００７０】
一方、入力発話速度が適性速度に比べて速い２行目、１行目の応答文は、「ゆっくりと発話してください」、「もっとゆっくりと発話してください」というように、発話速度を遅くすることを促す内容になっている。また、２行目の出力発話速度は適性速度よりも遅い３．５モーラ／秒に設定され、３行目の出力発話速度は２行目よりもさらに遅い２．５モーラ／秒となっている。このように、図６の例では、入力発話速度が適性速度に比べて速くなるほど、出力発話速度は、適性速度に比べてより遅くなるように設定されている。これにより、発話速度が適性速度に比べて速いために誤認識が生じた場合、そのことをユーザに対してより直感的に理解させることができる。
【００７１】
また、２行目よりも入力発話速度がさらに速い１行目の応答文は、２行目の応答文に対して強調語「もっと」を含んでいる。したがって、入力発話速度が適性速度に比べて速くなるほど、応答文は発話速度の低下の度合いをより強調する言葉を含んでいる。これにより、発話速度が適性速度に比べてどの程度遅くすればよいのかをユーザに知らせることができる。
【００７２】
一方、入力発話速度が適性速度に比べて遅い４行目、５行目の応答文は、「はやく発話してください」、「もっとはやく発話してください」というように、発話速度を速くすることを促す内容になっている。また、４行目の出力発話速度は適性速度よりも速い５．５モーラ／秒に設定され、５行目の出力発話速度は４行目よりもさらに速い６．５モーラ／秒に設定されている。このように、図６の例では、入力発話速度が適性速度に比べて遅くなるほど、出力発話速度は、適性速度に比べてもより速くなるように設定されている。これにより、発話速度が適性速度に比べて遅いために誤認識が生じた場合、そのことをユーザに対してより直感的に理解させることができる。
【００７３】
また、４行目よりも入力発話速度がさらに遅い５行目の応答文は、４行目の応答文に対して強調語「もっと」を含んでいる。したがって、入力発話速度が適性速度に比べて遅くなるほど、応答文は発話速度の上昇の度合いをより強調する言葉を含んでいる。これにより、発話速度が適性速度に比べてどの程度速くすればよいのかををユーザに知らせることができる。
【００７４】
図２に参照を戻す。応答文生成部２０６は、音声認識部２０２により信頼度が閾値以上と判断された場合に意図理解部２０３から入力された意図理解結果に対して、適切な応答文を生成する。例えば、応答文生成部２０６は、複数のジャンルごとに予め作成された応答文テーブル（図略）のうち、意図理解結果に含まれるジャンル情報に対応する応答文テーブルをメモリ２０５から取得し、取得した応答文テーブルと意図情報などに基づいて意図理解結果に対する手適切な応答文を生成し、音声合成部２０７に出力する。
【００７５】
一方、応答文生成部２０６は、音声認識部２０２により信頼度が閾値未満と判断された場合に発話速度計測部２０４から入力された発話速度に応じた応答文を第１データベースＴ１から取得することで生成し、音声合成部２０７に出力する。
【００７６】
音声合成部２０７は、発話速度計測部２０４で計測された発話速度に応じた出力発話速度を第１データベースＴ１から取得することで、出力発話速度を決定する。そして、音声合成部２０７は、決定した出力発話速度で応答文生成部２０６から入力された応答文が出力されるように応答文に対して音声合成処理を行い、応答音声データを生成する。生成された応答音声データは通信部２０１を介して音声入出力装置１００に送信され、スピーカ１０３から応答音声として出力される。
【００７７】
例えば、発話速度計測部２０４で計測された発話速度が３モーラ／秒であった場合、図６に示す入力発話速度の条件が「３モーラ／秒以上、４モーラ／秒未満」に合致する。このとき、応答文生成部２０６は、合致した入力発話速度に対応する「はやく発話してください」を応答文として生成して音声合成部２０７に入力する。一方、音声合成部２０７は、合致した入力発話速度に対応する出力発話速度である５．５モーラ／秒で応答文の音声が出力されるように音声を合成し、応答音声データを生成する。これにより、スピーカ１０３から図３に例示するように「はやく発話してください」との応答音声が出力される。
【００７８】
なお、図２において、音声認識部２０２は、音声入力装置に入力されたユーザによる第１発話から変換された音声データに対して音声認識処理を行う音声認識部の一例に相当する。また、音声認識部２０２は、音声認識処理の信頼度を算出する算出部の一例に相当する。さらに、音声認識部２０２は、信頼度が所定の閾値以下であるか否かを判定する判定部の一例に相当する。
【００７９】
発話速度計測部２０４は、信頼度が閾値以下である場合、音声データに基づきユーザによる発話の速度である第１発話速度を計測する計測部の一例に相当する。応答文生成部２０６及び音声合成部２０７は、第１発話速度に基づき、ユーザに対して再度の発話を促す旨の応答文を音声により出力する際の速度である第２発話速度を決定し、第２発話速度で応答文を出力する旨の指示情報を出力する応答文生成部の一例に相当する。また、応答音声データは指示情報の一例に相当する。発話速度計測部２０４で計測された発話速度は第１発話速度の一例に相当する。また、音声合成部２０７が発話速度に応じて決定した出力発話速度は第２発話速度の一例に相当する。
【００８０】
また、図６において、３行目の入力発話速度「４モーラ／秒以上、５モーラ秒／未満」の「４モーラ／秒」は第１閾値の一例であり、「５モーラ／秒」は第２閾値の一例である。また、３行目の「４．５モーラ／秒」はあらかじめ定められた第３発話速度の一例である。
【００８１】
図７は、本開示の実施の形態１における音声対話システムの処理の一例を示すフローチャートである。図７を用いて音声対話システムにおいてユーザが発話した音声に対する応答音声が出力される処理が説明される。
【００８２】
まず、音声入出力装置１００の通信部１０１は、マイク１０２が取得したユーザの発話を示す入力音声データを音声対話制御装置２００の通信部２０１に送信する（ステップＳ１０１）。次に、音声認識部２０２は、通信部２０１により受信された入力音声データに対して音声認識処理を行う（ステップＳ１０２）。
【００８３】
次に、音声認識部２０２は、音声認識結果の信頼度が閾値以上であるか否かを判断する（ステップＳ１０３）。信頼度が閾値以上の場合（ステップＳ１０３：ＹＥＳ）、音声認識部２０２は、音声認識結果を意図理解部２０３へ入力する。次に、意図理解部２０３は入力された音声認識結果に対して意図理解処理を行う（ステップＳ１０４）。
【００８４】
次に、応答文生成部２０６は、意図理解部２０３から入力された意図理解結果に基づき応答文を生成する（ステップＳ１０５）。
【００８５】
次に、音声合成部２０７は、応答文生成部２０６から入力された応答文に対して音声合成処理を行い、応答音声データを生成する（ステップＳ１０９）、応答音声データは、通信部２０１を介して音声入出力装置１００に送信され、スピーカ１０３から出力される（ステップＳ１１０）。
【００８６】
一方、音声認識結果の信頼度が閾値未満であった場合（ステップＳ１０３：ＮＯ）、発話速度計測部２０４は、数１を用いてユーザの発話に対する発話速度を計測する（ステップＳ１０６）。次に、応答文生成部２０６は、計測された発話速度に応じた応答文を第１データベースＴ１から取得することで応答文を生成する（ステップＳ１０７）。
【００８７】
次に、音声合成部２０７は、計測された発話速度に応じた出力発話速度を第１データベースＴ１から取得することで出力音声速度を決定する（ステップＳ１０８）。図６に示すように、計測された発話速度が例えば３モーラ／秒の場合、応答文は「はやく発話してください」となり、出力発話速度は５．５モーラ／秒となる。また、計測された発話速度が例えば４．２モーラ／秒で誤認識の原因が発話速度でなかった場合、応答文は「もう一度発話してください」となり、出力発話速度は４．５モーラ／秒となる。
【００８８】
次に、音声合成部２０７は、出力発話速度を満たすように、応答文生成部２０６により決定された応答文に対して音声合成処理を行い、応答音声データを生成する（ステップＳ１０９）。次に、音声合成部２０７は、応答音声データを通信部２０１を介して音声入出力装置１００に送信し、スピーカ１０３から応答音声を出力させる（ステップＳ１１０）。
【００８９】
以上で述べた本実施の形態１の音声対話システムによれば、発話速度が原因で音声認識に誤認識が生じた場合、聞き返しの応答文の音声が、ユーザの発話速度に応じた速度に設定されたうえで出力されている。そのため、幼児のように聞き返しの応答文の意味を理解するのが困難なユーザに対しても誤認識の原因が発話速度にあることを直感的に理解させることができ、聞き返しが繰り返されることを抑制できる。
【００９０】
（実施の形態１の変形例）
実施の形態１の変形例は、一度目の聞き返しの実施に対するユーザの発話に改善が見られなかった場合、一度目よりもさらに発話速度を改善するように発話内容及び出力発話速度が変更された二度目の聞き返しを行うものである。
【００９１】
図８は、本開示の実施の形態１の変形例に係る音声対話システムの構成の一例を示すブロック図である。図８において図２との相違点は、メモリ２０５に第１データベースＴ１に代えて第２データベースＴ２が記憶されている点にある。図９は、第２データベースＴ２のデータ構成の一例を示す図である。
【００９２】
図９に示す第２データベースＴ２は、第１データベースＴ１に対してさらに「改善されなかった場合の応答文」の列を備えている。なお、第２データベースＴ２において、入力発話速度、応答文、出力発話速度は第１データベースＴ１と同じである。「改善されなかった場合の応答文」の列には、聞き返しによって発話速度の改善が見られなかった場合において再度の聞き返しを行う場合に選択される応答文が記憶されている。
【００９３】
図８に参照を戻す。応答文生成部２０６は、最初の発話（第１発話）に対して聞き返しを受けたユーザによる再度の発話（第２発話）に対する音声認識結果の信頼度が音声認識部２０２により閾値未満と判断された場合であって、聞き返しによる改善が見られなかったと判断した場合、第２データベースＴ２の「改善されなかった場合の応答文」の列を参照し、発話速度計測部２０４により計測された発話速度に応じた応答文を選択する。
【００９４】
ここで、聞き返しによる改善がみられなかった場合としては、例えば第１発話及び第２発話の発話速度が共に適性速度に比べて遅い場合、又は第１発話及び第２発話の発話速度が共に適性速度に比べて速い場合が該当する。具体的には、図９の例では、第１発話の発話速度が５モーラ／秒以上の場合において、第２発話の発話速度も５モーラ／秒以上になる場合、又は、第１発話の発話速度が４モーラ／秒未満の場合において、第２発話の発話速度も４モーラ／秒未満の場合が該当する。
【００９５】
図９の例では、１行目、２行目のレコードに示されるように、入力発話速度が５モーラ／秒以上の場合、「改善されなかった場合の応答文」の列には、「もっとゆっくりと発話して下さい」が記憶されている。そのため、応答文生成部２０６は、第２発話の発話速度が５モーラ／秒以上の場合、「もっとゆっくりと発話して下さい」を選択する。このとき、音声合成部２０７は、第２発話の発話速度が５モーラ／秒以上且つ６モーラ／秒未満であれば、応答文「もっとゆっくりと発話して下さい」を、発話速度「３．５モーラ／秒」で出力する応答音声データを生成し、第２音声の発話速度が６モーラ／秒以上であれば、応答文「もっとゆっくりと発話して下さい」を、発話速度「２．５モーラ／秒」で出力する応答音声データを生成する。
【００９６】
一方、４行目、５行目のレコードに示されるように、入力発話速度が４モーラ／秒未満の場合、「改善されなかった場合の応答文」の列には、「もっとはやくと発話して下さい」が記憶されている。そのため、応答文生成部２０６は、第２発話の発話速度が４モーラ／秒未満の場合、「もっとはやく発話して下さい」を選択する。このとき、音声合成部２０７は、第２発話の発話速度が３モーラ／秒以上且つ４モーラ／秒未満の場合、応答文「もっとゆっくりと発話して下さい」を、発話速度「５．５モーラ／秒」で出力する応答音声データを生成し、第２発話の発話速度が３モーラ／秒未満であれば、応答文「もっとゆっくりと発話して下さい」を発話速度「６．５モーラ／秒」で出力する応答音声データを生成する。
【００９７】
一方、第２発話の発話速度が４モーラ／秒以上且つ５モーラ／秒未満であれば、応答文生成部２０６は、誤認識の原因が発話速度以外にあるため、応答文「もう一度発話してください」が４．５モーラ／秒で出力される。
【００９８】
なお、図９の例では、「改善されなかった場合の応答文」の列には、入力発話速度が適性速度（４モーラ／秒以上且つ５モーラ／秒未満）に対して速い場合に１つの応答文が記憶され、入力発話速度が適性速度に対して遅い場合に１つの応答文が記憶されているが、これは一例であれ、それぞれの場合において複数の応答文が記憶されていてもよい。また、改善されなかった場合の応答文「もっとゆっくり発話してください」は、第２発話の応答速度に応じて出力発話速度「２．５モーラ／秒」又は「３．５モーラ／秒」が対応付けられているが、これは一例であり、両出力発話速度のうち一方が対応付けられていてもよい。
【００９９】
図１０は、本開示の実施の形態１における音声対話システムの処理の一例を示すフローチャートである。なお、図１０において、図７と同じステップには同じ符号を付して説明を省略する。ステップＳ１０６に続くステップＳ２００１において、応答文生成部２０６は、ステップＳ１０６により計測された第２発話の発話速度（第４発話速度の一例）に基づいて第２発話によって発話速度が改善したか否かを判定する。第２発話の発話速度が改善していない場合（ステップＳ２００１：ＹＥＳ）、応答文生成部２０６は、第２データベースＴ２の「改善されなかった場合の応答文」の列から、第２発話の発話速度に応じた応答文を取得することで、改善されなかった場合の応答文を生成する（ステップＳ２００２）。一方、第２発話の発話速度が改善した場合又はステップＳ１０１において第１発話が取得されている場合（ステップＳ２００１：ＮＯ）、応答文生成部２０６は、第２データベースＴ２の「応答文」の列から、第２発話又は第１発話の発話速度に応じた応答文を取得することで応答文を生成する（ステップＳ２００３）。
【０１００】
ステップＳ２００４において、音声合成部２０７は、ステップＳ１０６により計測された発話速度に応じた出力発話速度（第５発話速度の一例）を第２データベースＴ２から決定する（ステップＳ２００４）。これにより、ステップＳ１０９では、ステップＳ２００２又はステップＳ２００３で生成された応答文をステップＳ２００４で決定された出力発話速度で出力するための応答音声データが生成されることになる。
【０１０１】
図１１は、ユーザの最初の発話である第１発話に対して、音声対話システムが発話速度の改善を促したが、改善されなかった場面の一例を示す図である。
【０１０２】
図１１の例では、ユーザは、第１発話「きょうはいいてんきだね？」を発話速度「３．０モーラ／秒」で実施している（ステップＳ１００１）。この第１発話の信頼度が閾値未満であり、誤認識と判断されたため、第２データベースＴ２から、この発話速度に対応する第１応答文「はやく発話してください」が選択され、この第１応答文が発話速度「５．５モーラ／秒」でスピーカ１０３から出力され、１回目の聞き返しが実施されている（ステップＳ１００２）。
【０１０３】
この１回目の聞き返しを受けてユーザは、第１発話を言い直して第２発話「きょうはいいてんきだね？」を実施している（ステップＳ１００３）。しかし、第２発話の発話速度が３．５モーラ／秒であり、適性速度よりも遅く、発話速度に改善が見られなかった。そこで、第２データベースＴ２が参照され、発話速度「３．５モーラ／秒」に対応する「改善されなかった場合の応答文」の列の応答文「もっとはやく発話してください」が第２応答文として選択され、この第２応答文が発話速度「５．５モーラ／秒」でスピーカ１０３から出力され、２回目の聞き返しが実施されている（ステップＳ１００４）。
【０１０４】
これに対して、１回目の聞き返しを受けたユーザにより実施された第２発話「きょうはいいてんきだね？」の発話速度が５．２モーラ／秒となり適性速度に比べて速くなったとする。この場合、第２データベースＴ２が参照され、「５．２モーラ／秒」に対応する応答文の列の応答文「ゆっくり発話してください」が選択され、発話速度「３．５モーラ／秒」で２回目の聞き返しが実施される。すなわち、この場合、適性速度に比べて第２発話が速いため２回目の聞き返しが行われるが、発話速度に改善が見られたため、「改善されなかった場合の応答文」の列ではなく、第１発話の場合と同様、「応答文」の列から応答文が選択されることになる。
【０１０５】
以上で述べた本実施の形態１に係る音声対話システムの変形例によれば、聞き返しによっても発話速度の改善が見られなかった場合、さらに聞き返しを行うことによって、ユーザに誤認識の原因が発話速度にあることをより確実に理解させることができる。さらに、発話速度の改善がみられなかった場合における聞き返しの応答文には、「もっとゆっくりと発話してください」及び「もっとはやく発話してください」というように、第２発話の発話速度に拘わらず強調語「もっと」が含まれている。そのため、発話速度の改善の程度が足りない旨をユーザに通知することができる。さらに、聞き返しの応答文は、第２発話の発話速度に応じた出力発話速度でスピーカ１０３から出力される。そのため、発話速度の程度が足りない旨を直感的にユーザに伝えることができる。その結果、ユーザの再発話による誤認識が繰り返されることを防止できる。
【０１０６】
（実施の形態２）
図１２は、本開示の実施の形態２における音声対話システムの構成の一例を示す図である。図１０において、図２との相違点は、発話音量計測部１２０８がさらに追加され、メモリ１２０５、応答文生成部１２０６、及び音声合成部１２０７が置き換えられている点にある。実施の形態２は音声認識に誤認識が生じた場合、誤認識の原因が発話速度及び発話音量のいずれにあるのかを判断し、判断結果に応じた聞き返しを行うものである。
【０１０７】
発話音量計測部１２０８は、信頼度が閾値未満の場合に音声認識部２０２から入力される音声認識結果に基づいて発話音量（第１発話音量の一例）を計測する。発話音量は、入力音声データから抽出された発話区間に亘る音量の平均値が採用される。発話区間の音量としては、音声のパワー又は音圧等の音声の大きさ又は強度を表すパラメータが採用される。ここでは、発話区間における音量の平均値が採用されたが、これに代えて、発話区間における音量の積算値、最大値、又は最小値などが採用されてもよい。なお、本実施の形態において、音声認識部２０２は、入力音声データを音声認識結果に含ませて発話音量計測部１２０８に入力すればよい。
【０１０８】
メモリ１２０５は、第１データベースＴ１に加えて第３データベースＴ３をさらに記憶する。第３データベースＴ３は、発話音量に対して適切な発話の改善を促すための応答文を決定するために必要な情報を記憶する。図１３は、第３データベースＴ３のデータ構成の一例を示す図である。第３データベースＴ３は、入力音量と応答文と出力音量とを対応付けて記憶する。入力音量は、発話音量計測部１２０８で計測された発話音量が属する音量条件を示す。応答文は、計測された発話音量に応じた応答文を示す。出力音量は、計測された発話音量に応じた応答文の音声を出力する際の発話音量を示している。例えば、１行目のレコードは、音声認識に誤認識が生じた際の発話音量が５０ｄｂ以上だった場合に、応答文として「もっと小さな声で発話してください」が決定され、この応答文が１５ｄｂの音量で出力されることを示している。
【０１０９】
図１３の例では、第３データベースＴ３は、５つの速度条件に応じた５つのレコードを含む。上から３行目の入力音量が「３０ｄｂ以上、４０ｄｂ未満」のレコードは、発話音量が適性音量にあるため、応答文は「もう一度発話してください」となっており、発話音量の改善を促す内容になっていない。また、３行目のレコードは、発話音量が適性音量にあり、発話音量を改善する必要がないため、出力音量が入力音量の範囲の中間値である３５ｄｂに設定されている。
【０１１０】
一方、入力音量が適性音量に比べて大きい２行目、１行目の応答文は、「ちいさな声で発話してください」、「もっと小さな声で発話してください」というように、発話音量の増大を促す内容になっている。また、２行目の出力音量は適性音量よりも小さい２５ｄｂに設定され、１行目の出力音量は２行目よりもさらに小さい１５ｄｂとなっている。このように、図１３の例では、入力音量が適性音量に比べて大きくなるほど、出力音量は、適性音量に比べてより小さくなるように設定されている。これにより、発話音量が適性音量に比べて大きいために誤認識が生じた場合、そのことをユーザに対して直感的に理解させることができる。
【０１１１】
また、２行目よりも入力音量がさらに大きい１行目の応答文は、２行目の応答文に対して強調語「もっと」を含んでいる。したがって、入力音量が適性音量に比べて大きくなるほど、応答文は発話音量の低下の度合いをより強調する言葉を含んでいる。これにより、発話音量が適性音量に比べてどの程度小さくすればよいのかをユーザに知らせることができる。
【０１１２】
一方、入力音量が適性音量に比べて遅い４行目、５行目の応答文は、「大きな声で発話してください」、「もっと大きな声で発話してください」というように、発話音量を大きくすることを促す内容になっている。また、４行目の出力音量は適性音量よりも大きい４５ｄｂに設定され、５行目の出力音量は４行目よりもさらに大きい５５ｄｂに設定されている。このように、図１３の例では、入力音量が適性音量に比べて小さくなるほど、出力発音量は、適性音量に比べてもより大きくなるように設定されている。これにより、発話音量が適性音量に比べて小さいために誤認識が生じた場合、そのことをユーザに対して直感的に理解させることができる。
【０１１３】
また、４行目よりも入力音量がさらに小さい５行目の応答文は、４行目の応答文に対して強調語「もっと」を含んでいる。したがって、入力音量が適性音量に比べて小さくなるほど、応答文は発話音量の上昇の度合いをより強調する言葉を含んでいる。これにより、発話音量が適性音量に比べてどの程度大きくすればよいかをユーザに知らせることができる。
【０１１４】
図１３において、３行目の入力音量「３０ｄｂ以上、４０ｄｂ未満」の「３０ｄｂ」は第３閾値の一例であり、「４０ｄｂ」は第４閾値の一例であり、３行目の「３５ｄｂ」はあらかじめ定められた第３発話音量の一例である。
【０１１５】
図１２に参照を戻す。応答文生成部１２０６は、実施の形態１と同様、意図理解部２０３から入力された意図理解結果に対して適切な応答文を生成する。また、応答文生成部１２０６は、発話速度計測部２０４により計測された発話速度に応じた応答文を第１データベースＴ１から取得すると共に、発話音量計測部１２０８により計測された発話音量に応じた応答文を第３データベースＴ３から取得し、取得した応答文に基づいて最終応答文を生成し、音声合成部１２０７に入力する。
【０１１６】
音声合成部１２０７は、発話速度計測部２０４により計測された発話速度に応じた出力発話速度を第１データベースＴ１から取得すると共に、発話音量計測部１２０８により計測された発話音量に応じた出力音量（第２発話音量の一例）を第３データベースＴ３から取得する。そして、音声合成部１２０７は、取得した出力発話速度及び出力音量で応答文生成部２０６から入力された最終応答文が出力されるように最終応答文に対して音声合成処理を行い、応答音声データを生成する。生成された応答音声データは通信部２０１を介して音声入出力装置１００に送信され、スピーカ１０３から応答音声として出力される。
【０１１７】
図１４は、実施の形態２において最終応答文が決定される場面の一例を示す図である。図１４の第１例では、ユーザは、ゆっくりした大きい音量である３モーラ／秒、４５ｄｂで「今日はいい天気だね」の発話を実施している（ステップＳ１４０１）。この発話の信頼度が閾値未満であり、誤認識と判断されたため、応答文生成部１２０６は、第１データベースＴ１から、発話速度「３モーラ／秒」に対応する応答文「はやく発話してください」を取得すると共に第３データベースＴ３から発話音量「４０ｄｂ」に対応する応答文「小さな声で発話してください」を取得する。そして、応答文生成部１２０６は、応答文「はやく発話してください」と、応答文「小さな声で発話してください」とを組み合わせて最終応答文「小さな声ではやく発話してください」を生成する。具体的に、応答文生成部１２０６は、取得した２つの応答文において相互に不足する単語を補うことで最終応答文を生成する。例えば、応答文「はやく発話してください」は、応答文「小さな声で発話してください」に対して、「小さな声で」が不足する。そのため、応答文生成部１２０６は、応答文「はやく発話してください」に「小さな声で」を追加して、最終応答文「小さな声ではやく発話してください」を生成する。
【０１１８】
音声合成部１２０７は、第１データベースＴ１から発話速度「３モーラ／秒」に対応する出力発話速度「５．５モーラ／秒」を取得すると共に第３データベースＴ３から発話音量「４０ｄｂ」に対応する出力音量「２５ｄｂ」を取得する。そして、音声合成部１２０７は、最終応答文「小さな声ではやく発話してください」を発話速度「５．５モーラ／秒」且つ発話音量「２５ｄｂ」で出力するための応答音声データを生成する。これによりスピーカ１０３からは最終応答文「小さな声ではやく発話してください」が発話速度「５．５モーラ／秒」且つ出力音量「２５ｄｂ」で出力される（ステップＳ１４０２）。
【０１１９】
図１４の第２例では、ユーザは、適性な発話速度（４．５モーラ／秒）且つ小さい音量（２５ｄｂ）で「今日はいい天気だね」の発話を実施している（ステップＳ１５０１）。この発話の信頼度が閾値未満であり、誤認識と判断されたため、応答文生成部１２０６は、第１データベースＴ１から発話速度「４．５モーラ／秒」に対応する応答文「もう一度発話してください」を取得すると共に第３データベースＴ３から発話音量「２５ｄｂ」に対応する応答文「大きな声で発話してください」を取得する。
【０１２０】
そして、応答文生成部１２０６は、発話速度は改善の必要がないため、応答文「もう一度発話してください」を用いずに応答文「大きな声で発話してください」のみを用いて最終応答文を生成する。なお、応答文生成部１２０６は、応答文「もう一度発話してください」と応答文「大きな声で発話してください」とを組み合わせ、最終応答文「大きな声でもう一度発話して下さい」を生成してもよい。
【０１２１】
音声合成部１２０７は、第１データベースＴ１から発話速度「４．５モーラ／秒」に対応する出力発話速度「４．５モーラ／秒」を取得すると共に第３データベースＴ３から発話音量「２５ｄｂ」に対応する出力音量「４５ｄｂ」を取得する。そして、音声合成部１２０７は、最終応答文「大きな声で発話して下さい」を出力発話速度「４．５モーラ／秒」且つ「４５ｄｂ」で出力するための応答音声データを生成する。これにより、スピーカ１０３からは、最終応答文「大きな声で発話して下さい」が出力発話速度「４．５モーラ／秒」且つ「４５ｄｂ」で出力される（ステップＳ１５０２）。
【０１２２】
図１５は、本開示の実施の形態２における音声対話システムの処理の一例を示すフローチャートである。ステップＳ１０１〜ステップＳ１０６の処理は、図７に示すステップＳ１０１〜ステップＳ１０６の処理と同じである。
【０１２３】
ステップＳ１０６に続くステップＳ２０７では、発話音量計測部１２０８は前述した手法を用いてユーザの発話に対する発話音量を計測する（ステップＳ２０７）。次に、応答文生成部１２０６は、第１データベースＴ１及び第３データベースＴ３を参照し、ステップＳ１０６で計測された発話速度とステップＳ２０７で計測された発話音量とに対応する応答文を取得し、最終応答文を生成する（ステップＳ２０８）。
【０１２４】
次に、音声合成部１２０７は、第１データベースＴ１及び第３データベースＴ３を参照し、ステップＳ１０６で計測された発話速度とステップＳ２０７で計測された発話音量に対応する出力発話速度と出力音量とを決定する（ステップＳ２０９）。次に、音声合成部１２０７は、ステップＳ２０８で生成された最終応答文をステップＳ２０９で決定された発話速度及び出力音量で出力するための応答音声データを生成する（ステップＳ２１０）。なお、ステップＳ１０５において意図理解結果に基づく応答文が生成された場合、ステップＳ２１０において、音声合成部１２０７は、ステップＳ１０５で生成された応答文に対する応答音声データを生成する。次に、音声合成部１２０７は、応答音声データを通信部２０１を介して音声入出力装置１００に送信し、スピーカ１０３から応答音声を出力させる。
【０１２５】
以上で述べた本実施の形態２の音声対話システムによれば、発話速度と発話音量との一方または双方が原因で音声認識に誤認識が生じた場合において、発話速度と発話音量との一方または双方により聞き返しの音声が出力される。そのため、誤認識の原因が発話速度及び発話音量の一方又は両方にある場合、発話速度及び発話音量の一方又は両方が改善されるように発話速度及び出力音量の一方又は両方が調整された応答文の音声を出力できる。これにより、誤認識の原因が発話速度及び発話音量の一方又は両方にある場合であっても、その原因及び改善の程度を直観的にユーザに認識させることができ、誤認識が繰り返されることが防止できる。
【０１２６】
本開示は下記の変形例が採用できる。
【０１２７】
（１）図６の例では、第１データベースＴ１は５つのレコードにより構成されているが、これは一例であり、６つ以上、４つ以下のレコードで構成されていてもよい。また、図６の例では、５モーラ／秒以上の入力発話速度に対して、１行目及び２行目の２つのレコードが設けられており、応答文及び出力発話速度は２段階で調整可能に構成されているが、これは一例であり、応答文及び出力発話速度は１段階又は３段階以上で調整可能に構成されてもよい。また、４モーラ／秒未満の入力発話速度に対して、４行目及び５行目の２つのレコードが設けられており、応答文及び出力発話速度は２段階で調整可能に構成されているが、これは一例であり、応答文及び出力発話速度は１段階又は３段階以上で調整可能に構成されてもよい。これらのことは、図８に示す第２データベースＴ２及び第３データベースＴ３についても同じである。さらに、出力発話速度及び出力音量に関しては連続的に調整可能に構成されてもよい。
【０１２８】
（２）第１データベースＴ１において発話速度を規定する各種数値及び応答文は一例に過ぎず、他の数値及び応答文が採用されてもよい。このことは、第２データベースＴ２及び第３データベースＴ３も同じである。
【０１２９】
（３）実施の形態１の変形例では、第１データベースＴ１に代えて第２データベースＴ２が用いられているが本開示はこれに限定されない。例えば、第２データベースＴ２は、図９に示す「応答文」の列が省かれて構成されてもよい。この場合、応答文生成部２０６は、第１発話に対しては第１データベースＴ１を参照して発話速度に応じた応答文及び出力発話速度を決定し、第２発話に対しては「応答文」の列が省かれた第２データベースＴ２を参照して改善されなかった場合の応答文及び出力発話速度を決定すればよい。
【０１３０】
（４）実施の形態２では、図１２に示すようにメモリ１２０５は、第１データベースＴ１を含んでいるが、本開示はこれに限定されず、第１データベースＴ１に代えて図９に示す第２データベースＴ２を含んでいてもよい。この場合、応答文生成部１２０６は、聞き返しにより実施された第２発話において、発話速度の改善がみられない場合、第２データベースＴ２の「改善されなかった場合の応答文」の列を参照して発話速度に応じた応答文を取得すればよい。そして、この場合、応答文生成部１２０６は、第２データベースＴ２から取得した応答文と第３データベースＴ３から取得した発話音量に応じた応答文とを組み合わせて最終応答文を生成すればよい。
【０１３１】
（５）第１データベースＴ１において、３行目の出力発話速度「４．５モーラ／秒」は、３行目の入力発話速度「４モーラ／秒以上、５モーラ／秒未満」の中間値が採用されているが、本開示はこれに限定されない。例えば、３行目の出力発話速度は３行目の入力発話速度の範囲外の所定の値が採用されてもよい。この場合、１行目、２行目の出力発話速度は、３行目の出力発話速度の値を基準として相対的に遅い値が採用され、４行目、５行目の出力発話速度は、３行目の出力発話速度の値を基準として相対的に速い値が採用されてもよい。これは、応答文の音声の発話速度を変更することで発話速度の改善を促すに際して、出力発話速度は基準となる出力発話速度に対して相対的に速い又は遅ければそれで足り、必ずしも入力発話速度を基準に設定しなくてもよいという考えに基づいている。この考えは第２データベースＴ２及び第３データベースＴ３についても適用可能である。
【産業上の利用可能性】
【０１３２】
本開示は、幼児のような聞き返しの応答文の意味を理解するのが困難なユーザに対しても誤認識の原因が発話速度にあることを直感的に理解させることができるため、このようなユーザと音声によりインタラクションを図るうえで有用である。
【符号の説明】
【０１３３】
１００      ：音声入出力装置
１０１      ：通信部
１０２      ：マイク
１０３      ：スピーカ
２００      ：音声対話制御装置
２０１      ：通信部
２０２      ：音声認識部
２０３      ：意図理解部
２０４      ：発話速度計測部
２０５      ：メモリ
２０６      ：応答文生成部
２０７      ：音声合成部
２１０      ：プロセッサ
１２０５    ：メモリ
１２０６    ：応答文生成部
１２０７    ：音声合成部
１２０８    ：発話音量計測部
Ｔ１        ：第１データベース
Ｔ２        ：第２データベース
Ｔ３        ：第３データベース
【図１】
2020177106.tif 000004
【図２】
2020177106.tif 000005
【図３】
2020177106.tif 000006
【図４】
2020177106.tif 000007
【図５】
2020177106.tif 000008
【図６】
2020177106.tif 000009
【図７】
2020177106.tif 000010
【図８】
2020177106.tif 000011
【図９】
2020177106.tif 000012
【図１０】
2020177106.tif 000013
【図１１】
2020177106.tif 000014
【図１２】
2020177106.tif 000015
【図１３】
2020177106.tif 000016
【図１４】
2020177106.tif 000017
【図１５】
2020177106.tif 000018