(57)【要約】【課題】オペレータでの対応に迅速に切り替えることができる音声認識システム及び音声認識方法を提供すること。【解決手段】ユーザの発話音声データを音声認識する音声認識手段と、発話音声データの音声認識結果に基づき、ユーザの発話の意図を理解する意図理解手段と、を有する音声認識システムにおいて、意図理解手段が理解したユーザの発話の意図に基づいて、ユーザに対して対話回答生成手段が行う回答の信頼度を評価し、回答の信頼度が閾値以下の場合に、ユーザの通話先を制御する呼接続制御手段に対して、ユーザの通話先をオペレータ端末に切り替える指示を行う切替え指示手段を有することにより上記課題を解決する。【選択図】図１
2019020683.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの発話音声データを音声認識する音声認識手段と、
前記発話音声データの音声認識結果に基づき、前記ユーザの発話の意図を理解する意図理解手段と、
を有する音声認識システムにおいて、
前記意図理解手段が理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して対話回答生成手段が行う回答の信頼度を評価し、前記回答の信頼度が閾値以下の場合に、前記ユーザの通話先を制御する呼接続制御手段に対して、前記ユーザの通話先をオペレータ端末に切り替える指示を行う切替え指示手段
を有する音声認識システム。
【請求項２】
前記切替え指示手段は、前記ユーザの通話先を前記オペレータ端末に切り替える指示を行う場合に、前記ユーザの発話と前記対話回答生成手段が行う回答との履歴情報を、前記オペレータ端末に送信し、前記オペレータ端末に表示させること
を特徴とする請求項１記載の音声認識システム。
【請求項３】
前記切替え指示手段は、前記ユーザの発話の意図が、前記ユーザに対して前記対話回答生成手段が回答を行うことのできるユーザ要求として登録されていなければ、前記ユーザの通話先をオペレータ端末に切り替える指示を行うこと
を特徴とする請求項１又は２記載の音声認識システム。
【請求項４】
前記切替え指示手段は、前記ユーザの発話の意図が、検索に関するユーザ要求として登録されていれば、検索結果の候補又は再検索の回数が多くなるほど、前記回答の信頼度を低くすること
を特徴とする請求項１乃至３何れか一項記載の音声認識システム。
【請求項５】
前記意図理解手段が理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して行う回答を生成する対話回答生成手段と、
前記ユーザに対して行う回答を音声合成する音声合成手段と、
を更に有する請求項１乃至４何れか一項記載の音声認識システム。
【請求項６】
ユーザの発話音声データを音声認識し、前記発話音声データの音声認識結果に基づき、前記ユーザの発話の意図を理解する音声認識システムが、
前記理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して対話回答生成手段が行う回答の信頼度を評価する手順と、
前記回答の信頼度が閾値以下の場合に、前記ユーザの通話先を制御する呼接続制御手段に対して、前記ユーザの通話先をオペレータ端末に切り替える指示を行う手順と
を実行する音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識システム及び音声認識方法に関する。
【背景技術】
【０００２】
従来より、例えば音声認識部が、顧客の通話音声を音声認識した認識結果の確からしさが閾値以下であることを検出した場合に、認識エラーと判定し、オペレータでの対応に切り替える電話応対システムがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−４９３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の電話応対システムは顧客の通話音声を音声認識した認識結果の確からしさが閾値以下でないことを検出した場合であっても、顧客に対して適切な応答処理ができるとは限らない。したがって、従来の電話応対システムはオペレータでの対応に迅速に切り替えることができない場合があった。
【０００５】
本発明は上記した課題に鑑みなされたものであり、オペレータでの対応に迅速に切り替えることができる音声認識システム及び音声認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施の形態は、ユーザの発話音声データを音声認識する音声認識手段と、前記発話音声データの音声認識結果に基づき、前記ユーザの発話の意図を理解する意図理解手段と、を有する音声認識システムにおいて、前記意図理解手段が理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して対話回答生成手段が行う回答の信頼度を評価し、前記回答の信頼度が閾値以下の場合に、前記ユーザの通話先を制御する呼接続制御手段に対して、前記ユーザの通話先をオペレータ端末に切り替える指示を行う切替え指示手段を有する。
【０００７】
このため、ユーザの発話の意図を理解した場合であっても、ユーザの発話の意図に対する回答の信頼度が閾値以下の場合に、ユーザの通話先をオペレータ端末に切り替える指示を行うことができる。したがって、オペレータでの対応に迅速に切り替えることができる音声認識システムを提供できる。
【０００８】
本発明の他の実施の形態において、前記切替え指示手段は、前記ユーザの通話先を前記オペレータ端末に切り替える指示を行う場合に、前記ユーザの発話と前記対話回答生成手段が行う回答との履歴情報を、前記オペレータ端末に送信し、前記オペレータ端末に表示させてもよい。
【０００９】
このため、ユーザの通話先をオペレータ端末に切り替える指示を行う場合に、ユーザの発話と回答との履歴情報をオペレータ端末に表示させることができる。したがって、オペレータへの引き継ぎをスムーズに行うことができる。
【００１０】
本発明の他の実施の形態において、前記切替え指示手段は、前記ユーザの発話の意図が、前記ユーザに対して前記対話回答生成手段が回答を行うことのできるユーザ要求として登録されていなければ、前記ユーザの通話先をオペレータ端末に切り替える指示を行うようにしてもよい。
【００１１】
このため、ユーザの発話の意図が、ユーザに対して回答を行うことのできるユーザ要求として登録されていない場合、迅速に、ユーザの通話先をオペレータ端末に切り替える指示を行うことができる。したがって、オペレータでの対応に迅速に切り替えることができる音声認識システムを提供できる。
【００１２】
本発明の他の実施の形態において、前記切替え指示手段は、前記ユーザの発話の意図が、検索に関するユーザ要求として登録されていれば、検索結果の候補又は再検索の回数が多くなるほど、前記回答の信頼度を低くしてもよい。
【００１３】
このため、ユーザの発話の意図が、検索に関するユーザ要求として登録されている場合であっても、検索結果の候補又は再検索の回数が多ければ、迅速に、ユーザの通話先をオペレータ端末に切り替える指示を行うことができる。したがって、オペレータでの対応に迅速に切り替えることができる音声認識システムを提供できる。
【００１４】
本発明の他の実施の形態において、前記意図理解手段が理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して行う回答を生成する対話回答生成手段と、前記ユーザに対して行う回答を音声合成する音声合成手段と、を更に有してもよい。
【００１５】
このため、対話回答生成手段と音声合成手段とを有する音声認識システムを実現することができる。したがって、オペレータでの対応に切り替えるまで、ユーザの発話の意図に基づいた回答を音声合成できる。
【００１６】
本発明の実施の形態の音声認識方法は、ユーザの発話音声データを音声認識し、前記発話音声データの音声認識結果に基づき、前記ユーザの発話の意図を理解する音声認識システムが、前記理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して対話回答生成手段が行う回答の信頼度を評価する手順と、前記回答の信頼度が閾値以下の場合に、前記ユーザの通話先を制御する呼接続制御手段に対して、前記ユーザの通話先をオペレータ端末に切り替える指示を行う手順とを実行する。
【００１７】
このため、ユーザの発話の意図を理解した場合であっても、ユーザの発話の意図に対する回答の信頼度が閾値以下の場合に、ユーザの通話先をオペレータ端末に切り替える指示を行うことができる。したがって、オペレータでの対応に迅速に切り替えることができる音声認識方法を提供できる。
【発明の効果】
【００１８】
オペレータでの対応に迅速に切り替えることができる音声認識システム及び音声認識方法を提供できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る音声認識システムの一例の構成図である。
【図２】コンピュータの一例のハードウェア構成図である。
【図３】本発明の実施の形態に係る音声認識システムの一例の機能構成図である。
【図４】ＳＩＰを利用する通話先切替え処理の一例のシーケンス図である。
【図５】本発明の実施の形態に係る音声認識システムが実行する処理の一例のフローチャートである。
【図６】意図理解辞書の一例の構成図である。
【図７】回答信頼度評価処理の一例のフローチャートである。
【図８】オペレータ用の画面の一例のイメージ図である。
【図９】音声エージェント又はオペレータとユーザとの対話内容の一例を示した説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明の音声認識システム及び音声認識方法を適用した実施の形態について説明する。
【００２１】
図１は本発明の実施の形態に係る音声認識システムの一例の構成図である。音声認識システム１は、センタ１０、車両２０、オペレータ端末３０及びコンテンツプロバイダ４０を含む。車両２０は、ＤＣＭ(Data Communication Module)２１、車載器２２、マイク２３及びスピーカ２４を搭載している。なお、図１では車両２０、オペレータ端末３０及びコンテンツプロバイダ４０が一台の例を示したが、一台以上であればよい。
【００２２】
ＤＣＭ２１及び車載器２２は一例としてＣＡＮ(Controller Area Network)２５により互いに通信可能に接続される。マイク２３及びスピーカ２４は、車載器２２に直接接続されており、音声データを入出力する。センタ１０、車両２０に搭載されたＤＣＭ２１、オペレータ端末３０及びコンテンツプロバイダ４０は移動体通信網やインターネット網などのネットワーク５０を介して接続されている。
【００２３】
センタ１０は一台以上のコンピュータ（情報処理装置）により構成される。センタ１０は各車両２０の車載器２２からユーザの発話音声データを収集し、ユーザの発話の意図を理解して音声エージェントによる対話サービス又はオペレータによる対話サービスを提供する。
【００２４】
車両２０に搭載された車載器２２はナビゲーションシステムを含んでいてもよく、ナビゲーションＥＣＵ（ナビゲーション電子制御装置）であってもよい。車載器２２はＣＡＮ２５、ＤＣＭ２１及びネットワーク５０を介してセンタ１０又はオペレータ端末３０と通信を行う。ＤＣＭ２１は車両２０に搭載される通信部又は無線通信装置の一例であり、例えば３Ｇ(3rd Generation)、ＬＴＥ(Long Term Evolution)、４Ｇ(4th Generation)、又は５Ｇ(5th Generation)等の通信回線を介して無線通信を行う。
【００２５】
オペレータ端末３０はオペレータが操作する端末装置であり、コンピュータにより構成される。また、コンテンツプロバイダ４０はセンタ１０に検索機能などを提供する一台以上のコンピュータにより構成される。
【００２６】
なお、車両２０のＣＡＮ２５は一例であって、ＣＡＮ２５の代わりに、Ethernet（登録商標）プロトコルを採用したバス等のＣＡＮ２５以外のバスを用いてもよい。また、車両２０には、これら以外にも様々な装置や機器が搭載されるが、本発明の実施の形態の説明に必要な構成要素を抜き出して示している。
【００２７】
図１のセンタ１０、車両２０に搭載された車載器２２、オペレータ端末３０及びコンテンツプロバイダ４０を構成するコンピュータは、例えば図２に示すようなハードウェア構成により実現される。図２はコンピュータの一例のハードウェア構成図である。
【００２８】
図２に示したコンピュータ５００は、入力装置５０１、表示装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７及びＨＤＤ５０８などを備え、それぞれがバスＢで相互に接続されている。なお、入力装置５０１及び表示装置５０２は必要なときに接続して利用する形態であってもよい。
【００２９】
入力装置５０１はキーボードやマウス、タッチパネルなどであり、ユーザ等が各操作信号を入力するのに用いられる。表示装置５０２はディスプレイ等であり、コンピュータ５００による処理結果を表示する。通信Ｉ／Ｆ５０７はコンピュータ５００をネットワークに接続するインタフェースである。ＨＤＤ５０８は、プログラムやデータを格納している不揮発性の記憶装置の一例である。
【００３０】
外部Ｉ／Ｆ５０３は、外部装置とのインタフェースである。コンピュータ５００は外部Ｉ／Ｆ５０３を介してＳＤメモリカードなどの記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。ＲＯＭ５０５は、プログラムやデータが格納された不揮発性の半導体メモリ（記憶装置）の一例である。ＲＡＭ５０４はプログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）の一例である。
【００３１】
ＣＰＵ５０６は、ＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムやデータをＲＡＭ５０４上に読み出し、処理を実行することで、コンピュータ５００全体の制御や機能を実現する演算装置である。図１のセンタ１０、車載器２２、オペレータ端末３０及びコンテンツプロバイダ４０は例えば図２に示すコンピュータ５００のハードウェア構成により、後述するような各種処理を実現できる。
【００３２】
なお、車載器２２を実現するコンピュータ５００は更にＧＰＳ（Global Positioning System）受信機を有する構成としてもよい。ＧＰＳ受信機は、ＧＰＳ衛星から送信されるＧＰＳ信号を受信し、そのＧＰＳ信号に基づき車両２０の現在位置を測定する。
【００３３】
図３は本発明の実施の形態に係る音声認識システムの一例の機能構成図である。図３においてセンタ１０は送受信部１０１、呼接続制御部１０２、音声認識部１０３、意図理解部１０４、対話回答生成部１０５、音声合成部１０６、切替え指示部１０７、音声認識辞書１１１、意図理解辞書１１２及び対話履歴記憶部１１３を有する。なお、音声認識辞書１１１、意図理解辞書１１２及び対話履歴記憶部１１３は、センタ１０の記憶装置で実現してもよいし、センタ１０とネットワークを介して接続されている記憶装置で実現してもよい。
【００３４】
図３において音声認識部１０３、意図理解部１０４、対話回答生成部１０５、音声合成部１０６、切替え指示部１０７、音声認識辞書１１１、意図理解辞書１１２及び対話履歴記憶部１１３は音声エージェント１００を実現している。なお、図３の音声エージェント１００は音声認識辞書１１１、意図理解辞書１１２及び対話履歴記憶部１１３を有する構成であるが、音声エージェント１００の外部にある音声認識辞書１１１、意図理解辞書１１２及び対話履歴記憶部１１３を利用する構成であってもよい。
【００３５】
送受信部１０１は車両２０、オペレータ端末３０及びコンテンツプロバイダ４０との通信を制御する。呼接続制御部１０２はＳＩＰ（Session Initiation Protocol）を利用して車両２０のユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替える呼接続制御を行う。ＳＩＰはＩＰネットワークを介した通話における呼接続制御プロトコルの一例である。
【００３６】
呼接続制御部１０２は車両２０から受信したユーザの発話音声データを、通話先である音声エージェント１００又はオペレータ端末３０に送信する。ネットワーク５０を利用した発話音声データのやり取りには、例えばＶｏＩＰ（Voice over Internet Protocol）を利用する。
【００３７】
音声エージェント１００の音声認識部１０３は音声認識辞書１１１を用いてユーザの発話音声データを音声認識し、音声認識結果である発話テキストを意図理解部１０４及び対話履歴記憶部１１３に出力する。なお、音声認識辞書１１１を用いた音声認識処理は既存の技術であるため、説明を省略する。
【００３８】
意図理解部１０４は入力された発話テキストを形態素解析し、文脈（何に対する問い合わせであるか等）を理解する。また、意図理解部１０４は理解した文脈や意図理解辞書１１２により、問い合わせ内容や問いかけ内容等、ユーザの発話の意図を理解する。意図理解部１０４は理解したユーザの発話の意図（ユーザ要求）に基づき、ユーザの発話に対する回答を検索する。意図理解部１０４は意図理解の結果、回答の検索結果を切替え指示部１０７及び対話回答生成部１０５に出力する。
【００３９】
対話回答生成部１０５は入力された意図理解の結果、回答の検索結果に基づき、後述するように対話回答データを生成し、音声合成部１０６に出力する。対話回答生成部１０５は必要があれば、対話回答データの生成に検索機能などのコンテンツプロバイダ４０の機能を利用する。また、対話回答生成部１０５は対話回答データを生成する処理の結果（検索機能により検索された候補数など）を切替え指示部１０７に出力する。音声合成部１０６は、入力された対話回答データから対話回答音声データを音声合成し、車両２０に応答する。
【００４０】
このように、音声エージェント１００による対話サービスは呼接続制御部１０２が車両２０から受信したユーザの発話音声データを音声エージェント１００に振り分け、音声認識部１０３、意図理解部１０４、対話回答生成部１０５及び音声合成部１０６の順番に処理することで実現される。
【００４１】
また、音声エージェント１００の切替え指示部１０７は意図理解部１０４から意図理解の結果、回答の検索結果を入力される。また、切替え指示部１０７は対話回答生成部１０５から対話回答データを生成する処理の結果（検索機能により検索された候補数など）を入力される。
【００４２】
切替え指示部１０７は入力された意図理解の結果、回答の検索結果及び対話回答データを生成する処理の結果に基づき、意図理解辞書１１２を利用して、音声エージェント１００による回答の信頼度を評価する。例えば意図理解が正しく行われても、施設の予約などの音声エージェント１００が実行できないユーザ要求であった場合、切替え指示部１０７は信頼度を低く評価する。また、施設の検索などの音声エージェント１００が実行できるユーザ要求であった場合でも、検索機能により検索された候補数が多い場合や再検索の回数が多くなった場合に、切替え指示部１０７は信頼度を低く評価する。
【００４３】
切替え指示部１０７は音声エージェント１００による対話サービスからオペレータによる対話サービス（有人オペレータ対話サービス）に切り替えた方がよい回答の信頼度を閾値として設定されている。切替え指示部１０７は回答の信頼度が閾値以下になると、車両２０のユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替えるように呼接続制御部１０２に指示（例えばＳＩＰのＲＥＦＥＲリクエスト）を行う。
【００４４】
このように、オペレータによる対話サービスは、車両２０から受信したユーザの発話音声データをオペレータ端末３０に振り分けるように、切替え指示部１０７が呼接続制御部１０２に指示を行うことで実現される。また、切替え指示部１０７は対話履歴記憶部１１３から対話履歴を読み出し、その対話履歴又はその対話履歴の要約をオペレータ端末３０に送信する。
【００４５】
図３において車両２０の車載器２２は通話制御部１２１を有する。通話制御部１２１はマイク２３から入力されたユーザの発話を発話音声データに変換してセンタ１０の呼接続制御部１０２に送信する。また、通話制御部１２１は呼接続制御部１０２から受信した対話回答音声データ又はオペレータによる対話回答音声データをスピーカから出力する。
【００４６】
オペレータ端末３０の送受信部１３１はセンタ１０との通信を制御する。通話制御部１３２はマイクから入力されたオペレータの発話を対話回答音声データに変換してセンタ１０の呼接続制御部１０２に送信する。また、通話制御部１３２は呼接続制御部１０２から受信した発話音声データをスピーカから出力する。画面制御部１３３はオペレータ端末３０にオペレータ用の画面を表示する。
【００４７】
オペレータ用の画面には、音声エージェント１００による対話履歴、又は、その対話履歴の要約が情報として表示される。このため、オペレータはユーザ要求と、そのユーザ要求に対する音声エージェント１００の回答とを画面上で確認し、引き継ぎをスムーズに行うことができる。
【００４８】
なお、呼接続制御部１０２はユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替える処理を例えば図４のシーケンス図の手順で行う。図４はＳＩＰを利用する通話先切替え処理の一例のシーケンス図である。
【００４９】
ユーザからの発話があると車載器２２はステップＳ１０１においてＩＮＶＩＴＥリクエストをセンタ１０の呼接続制御部１０２に送信する。ステップＳ１０２において呼接続制御部１０２は事前の登録情報からＩＮＶＩＴＥリクエスト中の発信先ＳＩＰ  ＵＲＩに対するＩＰアドレスへＩＮＶＩＴＥリクエストを転送することで音声エージェント１００に着信させる。
【００５０】
ステップＳ１０３、Ｓ１０４において、音声エージェント１００は接続応答を行う「２００  ＯＫ」レスポンスを発信元の車載器２２に返す。ステップＳ１０５、Ｓ１０６において、発信元の車載器２２は「２００  ＯＫ」レスポンスを受け取った確認としてＡＣＫリクエストを発信先の音声エージェント１００に返す。
【００５１】
ステップＳ１０７において、車載器２２と音声エージェント１００とはＩＮＶＩＴＥリクエストや「２００  ＯＫ」レスポンスのボディ部で取り交わしたＳＤＰ（Session Description Protocol）情報からユーザエージェント（ＵＡ）間で音声データなどのマルチメディアデータを送受信する。
【００５２】
ステップＳ１０８において、音声エージェント１００の切替え指示部１０７は回答の信頼度が閾値以下になると、車両２０のユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替えるように呼接続制御部１０２に指示を行う。ステップＳ１０９に進み、呼接続制御部１０２はユーザの通知先を音声エージェント１００からオペレータ端末３０に切り替えるように車載器２２に指示を行う。
【００５３】
ステップＳ１１０〜Ｓ１１５において車載器２２はステップＳ１０１〜Ｓ１０６と同様な手順によりユーザの通知先を音声エージェント１００からオペレータ端末３０に切り替える。ステップＳ１１６に進み、音声エージェント１００は車載器２２にＢＹＥリクエストを送信することで車載器２２との通話を切断する。その後、車載器２２とオペレータ端末３０とは音声データなどのマルチメディアデータを送受信する。
【００５４】
また、音声認識システム１は例えば図５に示す手順で処理を行う。図５は本発明の実施の形態に係る音声認識システムが実行する処理の一例のフローチャートである。ユーザからの発話音声データを受信するとステップＳ１１からステップＳ１２に進み、センタ１０の音声認識部１０３は、音声認識辞書１１１を用いてユーザの発話音声データを音声認識する。
【００５５】
ステップＳ１３に進み、意図理解部１０４は音声認識結果である発話テキストを形態素解析し、ユーザの発話の意図を理解するための意図理解処理を行う。意図理解処理は音声認識結果である発話テキストの文脈（何に対する問い合わせであるか等）を理解する。
【００５６】
ステップＳ１４に進み、意図理解部１０４は理解した文脈や意図理解辞書１１２により問い合わせ内容や問いかけ内容等、ユーザの発話の意図を理解できたか判定する。例えば発話テキストの文脈が「ＸＸＸＸ施設を探して」であると判定した場合、意図理解部１０４は意図に対する回答検索（ＸＸＸＸ施設の場所の情報の検索）が可能であるため、意図理解できたと判定する。また、発話テキストの文脈が「ＸＸＸＸ施設を目的地にして」であると判定した場合も、意図理解部１０４は意図に対する回答検索（ＸＸＸＸ施設の目的地設定）が可能であるため、意図理解できたと判定する。
【００５７】
発話テキストが「あいうえお」であると判定した場合、意図理解部１０４は文脈が理解できず意図に対する回答検索ができないため、意図理解できないと判定する。発話テキストが「ＸＸＸＸ施設」だけであれば、文脈がないが、場所として理解できるため、意図に対する回答検索（ＸＸＸＸ施設の場所の情報の検索）が可能であるため、意図理解できたと判定する。発話テキストが「ＸＸＸＸ施設の天気」であれば、文脈と合わなくても「施設周辺の天気」と読み替えることができるため、意図理解できたと判定する。発話テキストが「ＸＸＸＸ施設は、天気」であれば、意図に対する回答検索ができないため、意図理解できないと判定する。
【００５８】
ユーザの発話の意図を理解できたと判定すると、意図理解部１０４はステップＳ１５に進み、理解したユーザの発話の意図（ユーザ要求）に基づき、例えば図６の意図理解辞書１１２を利用して、ユーザの発話に対する回答を検索する。図６は意図理解辞書の一例の構成図である。図６の意図理解辞書は項目として、ユーザ発話の意図、回答のための処理及び回答を有する。項目「ユーザ発話の意図」はユーザの発話の意図（ユーザ要求）を表している。項目「回答のための処理」はユーザの発話の意図（ユーザ要求）に対する回答のための処理を表している。項目「回答」はユーザの発話に対する回答を表している。
【００５９】
例えば図６の例ではユーザ発話の意図が「施設の検索」であれば、認識した施設名で検索を行い、検索結果を音声で応答するという回答が設定されている。また、ユーザ発話の意図が「施設の予約」であれば、音声エージェント１００が実行できないユーザ要求であるため、項目「回答のための処理」と項目「回答」とに未設定を表す「−」が設定されている。
【００６０】
ステップＳ１６に進み、切替え指示部１０７は音声エージェント１００による回答の信頼度を例えば図７のフローチャートの処理手順で評価する。図７は回答信頼度評価処理の一例のフローチャートである。
【００６１】
ステップＳ１０１に進み、切替え指示部１０７は図６の意図理解辞書１１２に、ユーザの発話の意図に対する回答が登録されていないか判定する。ユーザの発話の意図に対する回答が登録されていなければ、切替え指示部１０７はステップＳ１０２に進み、回答の信頼度を例えば「０」に評価する。ステップＳ１０２における回答の信頼度の評価「０」は一例であって、ステップＳ１７の閾値よりも小さい値であればよい。ユーザの発話の意図に対する回答が登録されていれば、切替え指示部１０７はステップＳ１０３に進み、回答に応じた信頼度を算出する。
【００６２】
例えば発話テキストが著名なレジャーランドの名称の一部「ＹＹＹ」であれば「場所の情報の検索」の候補が「ＹＹＹランド」や「ＹＹＹストア」など、候補数が多くなるために回答の信頼度の評価を、低めに設定する。ただし、一回目の検索で回答の信頼度の評価が閾値よりも小さな値にならないように設定することが望ましい。このように、一回目の検索で回答の信頼度の評価が閾値よりも小さな値にならないように設定しておけば、音声エージェント１００は「ＹＹＹランドですか？ＹＹＹストアですか？それ以外の施設の場合は正式名でお話し下さい。」などの施設の再確認を行う回答が可能となる。そして、二回目以降の再検索で回答の信頼度の評価が閾値よりも小さな値となるように設定しておくことにより、切替え指示部１０７は音声エージェント１００による少なくとも一回の施設の再確認を許容できる。
【００６３】
図５のステップＳ１７に戻り、切替え指示部１０７はステップＳ１６で評価した回答の信頼度が、閾値以下であるか否かを判定する。閾値以下でなければ、切替え指示部１０７は音声エージェント１００による対話サービスからオペレータによる対話サービスに切り替える必要がないと判定し、ステップＳ１８の音声エージェント１００に回答を行わせるための処理を行う。音声エージェント１００は回線が切断されるか、又は、オペレータによる対話サービスに切り替えられるまで、図５のフローチャートの処理を繰り返す。
【００６４】
ステップＳ１７において、切替え指示部１０７はステップＳ１６で評価した回答の信頼度が閾値以下であればステップＳ２０に進み、対話履歴記憶部１１３に記憶されている音声エージェント１００とユーザとの対話履歴を読み出し、対話履歴の要約をオペレータ端末３０に送信する。ステップＳ２１に進み、切替え指示部１０７は回答の信頼度が閾値以下になると、車両２０のユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替えるように呼接続制御部１０２に指示を行う。呼接続制御部１０２はユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替える。
【００６５】
ステップＳ２２において、オペレータ端末３０は例えば図８のようなオペレータ用の画面１０００を表示する。図８は、オペレータ用の画面の一例のイメージ図である。図８のオペレータ用の画面１０００は、ユーザとの対話履歴の要約１００２が表示されている。オペレータ用の画面１０００を参照することで、オペレータは音声エージェント１００とユーザとの対話内容を容易に把握でき、引き継ぎをスムーズに行うことができる。
【００６６】
オペレータ用の画面１０００はユーザ要求と、そのユーザ要求に対する音声エージェント１００の回答とを紐付けて表示することが望ましい。例えば図８のオペレータ用の画面１０００は音声エージェント１００とユーザとの対話内容が図９のような場合の画面例である。
【００６７】
図９は音声エージェント又はオペレータとユーザとの対話内容の一例を示した説明図である。図９ではユーザ要求「イタリアンレストランの予約」により音声エージェント１００による対話サービスからオペレータによる対話サービスに切り替えられている。ユーザの発話「近くのレストランを教えて」に対して音声エージェント１００は「お調べしました。イタリアンレストランＸＸ、中華レストランＺＺＺ、ＹＹＹレストラン…」を回答している。
【００６８】
また、ユーザの発話「イタリアンレストラン、予約して」に対して音声エージェント１００は「オペレータに繋ぎます」を回答し、ユーザの通話先をオペレータ端末３０に自動で切り替えている。図８のオペレータ用の画面１０００は、図９のような対話内容である場合に、図８のような対話履歴の要約１００２を表示する。
【００６９】
本発明の実施の形態に係る音声認識システム１によれば、ユーザ要求の一次受付として音声エージェント１００を利用できる。その後、施設の予約などの音声エージェント１００により適切な対応が困難なユーザ要求を受け付けると、音声エージェント１００による回答の信頼度は閾値以下となる。したがって、本発明の実施の形態に係る音声認識システム１によれば、音声エージェント１００により適切な対応が困難なユーザ要求を受け付けると、音声エージェント１００による対話サービスをオペレータによる対話サービスに自動で切り替えることができる。
【００７０】
本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば本発明の実施形態に係る音声認識システム１は、ユーザが車載器２２を利用して音声エージェント１００又はオペレータと対話を行う例を示したが、スマートフォンなどの携帯端末を利用して対話を行うようにしてもよい。また、本発明の実施形態に係る音声認識システム１のセンタ１０で行う音声認識、形態素解析、意図理解、意図に対する回答の評価などの処理は、センタ１０以外にあってもよく、例えば車載器２２にあってもよい。
【符号の説明】
【００７１】
１    音声認識システム
１０    センタ
２０    車両
２１    ＤＣＭ(Data Communication Module)
２２    車載器
２３    マイク
２４    スピーカ
２５    ＣＡＮ(Controller Area Network)
３０    オペレータ端末
４０    コンテンツプロバイダ
５０    ネットワーク
１０１、１３１    送受信部
１０２    呼接続制御部
１０３    音声認識部
１０４    意図理解部
１０５    対話回答生成部
１０６    音声合成部
１０７    切替え指示部
１１１    音声認識辞書
１１２    意図理解辞書
１１３    対話履歴記憶部
１２１、１３２    通話制御部
１３３    画面制御部
【図１】
2019020683.tif 000003
【図２】
2019020683.tif 000004
【図３】
2019020683.tif 000005
【図４】
2019020683.tif 000006
【図５】
2019020683.tif 000007
【図６】
2019020683.tif 000008
【図７】
2019020683.tif 000009
【図８】
2019020683.tif 000010
【図９】
2019020683.tif 000011