(57)【要約】【課題】合成音声による対話と、オペレータの音声による対話とを、適切に切り替えることができるようにする。【解決手段】音声対話システムは、利用者の音声情報が入力されるマイク２１と、音声情報毎の内容に応じた合成音声を予め格納した合成音声記録部４と、マイクから入力された音声情報の内容に基づいて、合成音声記録部から合成音声を抽出すると共に、抽出した合成音声との利用者との対話が円滑か否かを解析する制御サーバ５と、利用者毎の属性情報を予め格納した顧客情報記録部６と、顧客情報記録部を参照して利用者の属性情報を抽出する管理サーバ７と、利用者に対してオペレータが応答可能なオペレータ端末８と、合成音声およびオペレータの発話音声を出力可能なスピーカ２２と、を備える。制御サーバは、制御サーバによる音声情報の解析結果と、利用者の属性情報とに基づいて、マイクおよびスピーカをオペレータ端末に接続する。【選択図】図１
2020170123.tif 000002
【特許請求の範囲】
【請求項１】
利用者の音声情報が入力される入力部と、
前記音声情報毎の内容に応じた合成音声を予め格納した合成音声記録部と、
前記入力部から入力された前記音声情報の内容に基づいて、前記合成音声記録部から前記合成音声を抽出すると共に、当該抽出した合成音声との前記利用者との対話が円滑か否かを解析する制御部と、
前記利用者毎の属性情報を予め格納した顧客情報記録部と、
前記顧客情報記録部を参照して前記利用者の属性情報を抽出する管理部と、
前記利用者に対してオペレータが応答可能なオペレータ端末と、
前記合成音声および前記オペレータの発話音声を出力する出力部と、を備えた音声対話システムであって、
前記制御部は、前記制御部による前記音声情報の解析結果と、前記利用者の前記属性情報とに基づいて、前記入力部および前記出力部を前記オペレータ端末に接続する音声対話システム。
【請求項２】
前記入力部に隣接して設けられ、前記利用者が商取引可能な商取引端末を備え、
前記制御部は、前記商取引端末に入力された前記利用者の登録情報が前記顧客情報記録部に予め格納されていた場合、前記入力部および前記出力部を前記オペレータ端末に接続する、
請求項１に記載の音声対話システム。
【請求項３】
前記制御部は、当該制御部による前記音声情報の解析結果と、前記利用者の前記属性情報との合算値が、所定の閾値以上の場合、前記入力部および前記出力部を前記オペレータ端末に接続する、
請求項２記載の音声対話システム。
【請求項４】
前記制御部は、前記音声情報の解析結果と、前記利用者の前記属性情報とに重みを付ける、
請求項３記載の音声対話システム。
【請求項５】
前記制御部は、前記所定の閾値を所定のタイミングで変更する、
請求項３記載の音声対話システム。
【請求項６】
前記制御部は、前記オペレータの人数に応じて前記所定の閾値を変更する、
請求項５記載の音声対話システム。
【請求項７】
前記利用者を撮像する撮像部を備え、
前記オペレータ端末には、前記撮像部が撮像した画像を表示する、
請求項１記載の音声対話システム。
【請求項８】
入力部から入力された利用者の音声情報の内容に応じた合成音声を合成音声記録部から抽出すると共に、当該抽出した合成音声との前記利用者との対話が円滑か否かを解析する制御部を有する音声対話装置であって、
前記制御部は、前記音声情報の解析結果と、顧客情報格納部から抽出する前記利用者の属性情報とに基づいて、前記入力部と、前記合成音声およびオペレータの発話音声を出力する出力部とを、前記利用者に対して前記オペレータが応答可能なオペレータ端末に接続する音声対話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声対話システム、及び、音声対話装置に関する。
【背景技術】
【０００２】
昨今、コンピュータ処理速度の向上、情報容量の拡大、並びに音声認識技術の進歩によって、簡単な会話レベルの音声認識であれば、実用に問題なく使用できるようになっている。例えば、自動音声対話を利用した音声対話インタフェース（音声チャットボット）を用いた場合、種々の課題を解決することが可能となっている。この音声チャットボット技術は、様々な場所で利用されており、現金自動預金支払機（ＡＴＭ：Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）への利用も検討されている。
【０００３】
しかし、音声チャットボットのみでは、すべての課題を解決することは難しく、オペレータ（第三者）による音声対話も必要な場合がある。特許文献１には、応答内容に応じた合成音声を作成する音声対話システムであって、利用者の対話が円滑に行われているか否かを常時監視し、利用者の対話が円滑に行われていないと判断された場合に、利用者の対話に第三者の参加を可能する技術が開示されている。
【０００４】
さらに、社会問題として、各種の詐欺被害は、未だ減少傾向では無く、ＡＴＭを使用した振込詐欺も発生している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２０２８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術では、利用者の対話が円滑に行われているか否かに基づいて、利用者の会話への第三者の参加を判断している。
【０００７】
例えば、ＡＴＭ利用者の内、音声チャットボットに不慣れな高齢者、および振込詐欺被害の注意が必要な者などには、利用者に応じた詳細な説明が必要な場合がある。この場合、音声チャットボットではなく、オペレータによる直接対話に早期に切り替える必要がある。
【０００８】
本発明は、上記課題を解決するためのものであり、その目的は、合成音声による対話と、オペレータの音声による対話とを、適切に切り替えることができる技術を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、一の観点に係る音声対話システムは、利用者の音声情報が入力される入力部と、前記音声情報毎の内容に応じた合成音声を予め格納した合成音声記録部と、前記入力部から入力された前記音声情報の内容に基づいて、前記合成音声記録部から前記合成音声を抽出すると共に、当該抽出した合成音声との前記利用者の対話が円滑か否かを解析する制御部と、前記利用者毎の属性情報を予め格納した顧客情報記録部と、前記顧客情報記録部を参照して前記利用者の属性情報を抽出する管理部と、前記利用者に対してオペレータが応答可能なオペレータ端末と、前記合成音声および前記オペレータの発話音声を出力可能な出力部と、を備えた音声対話システムであって、前記制御部は、当該制御部による前記音声情報の解析結果と、前記利用者の前記属性情報とに基づいて、前記入力部および前記出力部を前記オペレータ端末に接続する。
【発明の効果】
【００１０】
本発明によれば、合成音声による対話と、オペレータの音声による対話とを、適切に切り替えることができる。
【図面の簡単な説明】
【００１１】
【図１】音声対話システムの構成図。
【図２】合成音声記録部の合成音声テーブルの構成図。
【図３】顧客情報記録部の顧客情報テーブルの構成図。
【図４】音声対話システムのシーケンス図。
【図５】音声対話システムによる切替処理のフローチャート。
【発明を実施するための形態】
【００１２】
以下、実施形態に係る音声対話システム及び音声対話装置について、図面を用いて説明する。本実施形態は、本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。
【００１３】
図１は、音声対話システムの構成図である。
【００１４】
音声対話システムは、「商取引端末」の一例としての現金自動預金支払機（ＡＴＭ：Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）１で商取引を開始した利用者が、ＡＴＭ１に隣接して設けられた音声装置２を用いて問合せをするときに使用するシステムである。この音声対話システムは、音声チャットと、オペレータによる介入とを切り替えることが可能に構成されている。
【００１５】
音声対話システムは、複数のＡＴＭ１と、複数の音声装置２と、ネットワーク３と、合成音声記録部４と、「制御部」及び「音声対話装置」の一例としての制御サーバ５と、顧客情報記録部６と、「管理部」の一例としての管理サーバ７と、オペレータ端末８とを備えている。
【００１６】
ＡＴＭ１は、金融機関およびコンビニの店舗等に設置されている。音声装置２は、ＡＴＭ１に隣接して設けられている。音声装置２は、「入力部」の一例としてのマイク２１と、「出力部」の一例としてのスピーカ２２と、「撮像部」の一例としてのカメラ２３とを備えている。マイク２１は、利用者の音声情報が入力される。スピーカ２２は、マイク２１の下方に設けられ、合成音声およびオペレータの発話音声を出力する。カメラ２３は、マイク２１の情報に設けられ、利用者を撮像する。
【００１７】
ネットワーク３は、複数のＡＴＭ１と、複数の音声装置２と、制御サーバ５と、管理サーバ７と、オペレータ端末８とを通信可能に接続している。ネットワーク３は、例えば、ＬＡＮ（Local Area Network）またはインターネットでよい。
【００１８】
合成音声記録部４は、制御サーバ５と通信可能に接続されている。合成音声記録部４は、図５に後述するように、音声情報の内容に応じた合成音声、およびマイク２１をオペレータ端末８に接続するときの基準となる閾値等を予め格納する。
【００１９】
制御サーバ５は、マイク２１から入力された音声情報の内容に基づいて、合成音声記録部４から合成音声を抽出すると共に、抽出した合成音声との利用者の対話が円滑か否かを解析する。制御サーバ５は、制御サーバ５による音声情報の解析結果と、利用者の属性情報とに基づいて、出力部２２をオペレータ端末８に接続する。属性情報は、ＡＴＭの利用者に関する情報であって、例えば、ATM操作介助の要否、振込詐欺警戒の要否、および重要顧客か否かに関する情報でよい。
【００２０】
顧客情報記録部６は、管理サーバ７と通信可能に接続されている。顧客情報記録部６は、図６に後述するように、利用者毎の属性情報を予め格納する。
【００２１】
管理サーバ７は、顧客情報記録部６を参照して利用者の属性情報を抽出する。
【００２２】
オペレータ端末８は、利用者に対してオペレータが応答するときに使用される。オペレータ端末８は、マイク２１から入力された利用者の音声情報に対して、オペレータが、カメラ２３で撮像した画像を見ながら、スピーカ２２で利用者に対して応答する。オペレータ端末８は、複数のオペレータが使用可能に複数設けられてよい。
【００２３】
利用者がＡＴＭ１の取引を開始し、音声チャットをした後に、オペレータによる介入に切り替える場合の操作について説明する。
【００２４】
図２は、合成音声記録部の合成音声テーブルの構成図である。
合成音声記録部４の合成音声テーブル２００は、項目値（またはカラム値。以下同じ）として、利用者位置情報２１０、利用者口座番号２２０、利用者属性情報２３０、解析結果２４０、オペレータ介入要否２５０、および閾値２６０を含んでよい。
【００２５】
利用者位置情報２１０は、ＡＴＭ金融機関番号２１１、ＡＴＭ支店番号２１２、およびＡＴＭ機番号２１３を含んでよい。ＡＴＭ金融機関番号２１１は、利用者が利用しているＡＴＭ１が属する金融機関を特定する識別子である。ＡＴＭ支店番号２１２は、利用者が利用しているＡＴＭ１が属する金融機関の支店を特定する識別子である。ＡＴＭ機番号２１３は、利用者が利用しているＡＴＭ１を特定する識別子である。
【００２６】
利用者口座番号２２０は、金融機関番号２２１、支店番号２２２、科目２２３、および口座番号２２４を含んでよい。金融機関番号２２１は、金融機関を特定する識別子である。支店番号２２２は、金融機関の支店を特性するための識別子である。科目２２３は、口座の種別である。科目２２３は、例えば、普通、当座、貯蓄等でよい。口座番号２２４は、利用者の口座を特性するための識別子である。
【００２７】
利用者属性情報２３０は、ＡＴＭ操作介助要否２３１、振込詐欺警戒要否２３２、および重要顧客２３３を含んでよい。ＡＴＭ操作介助要否２３１は、操作の介助が必要か否かを表す。振込詐欺警戒要否２３２は、振込詐欺に対する警戒が必要か否かを表す。重要顧客２３３は、重要顧客が否かを表す。
解析結果２４０は、合成音声との利用者の対話が円滑化否かを制御サーバ５が解析した結果を表す。オペレータ介入要否２５０は、合成音声と利用者との対話にオペレータが介入するか否かを表す。閾値２６０は、オペレータ介入要否２５０を判断するために予め設定された基準値である。
【００２８】
図３は、顧客情報記録部の顧客情報テーブルの構成図である。
【００２９】
顧客情報記録部６の顧客情報テーブル３００は、項目値（またはカラム値。以下同じ）として、利用者口座情報３１０と、利用者属性情報３２０と、を含んでよい。利用者口座情報３１０は、金融機関番号３１１、支店番号３１２、科目３１３、および口座番号３１４を含んでよい。利用者属性情報３２０は、ＡＴＭ操作介助要否３２１、振込詐欺警戒要否３２２、および重要顧客３２３を含んでよい。
【００３０】
金融機関番号３１１は、金融機関を特定する識別子である。支店番号３１２は、金融機関の支店を特性するための識別子である。科目３１３は、口座の種別である。科目３１３は、例えば、普通、当座、貯蓄等でよい。口座番号３１４は、利用者の口座を特性するための識別子である。ＡＴＭ操作介助要否３２１、振込詐欺警戒要否３２２、および重要顧客３２３は、ＡＴＭ操作介助要否２３１、振込詐欺警戒要否２３２、および重要顧客２３３と同様である。
【００３１】
図４は、音声対話システムのシーケンス図である。
【００３２】
まず、利用者は、ＡＴＭ１のメニュー画面にある取引ボタンを押下して、商取引を開始する（Ｓ１０１）。
【００３３】
次いで、利用者は、キャッシュカード等の金融系カードまたは通帳をＡＴＭ１に挿入する。ＡＴＭ１は、挿入媒体内に記録されたデータを読み取る（Ｓ１０２）。
【００３４】
次いで、ＡＴＭ１は、挿入媒体を読み取り、媒体内にある口座情報をＡＴＭ１の内部データに格納後、制御サーバ５に利用者取引開始通知を送信する（Ｓ１０３）。利用者取引開始通知には、利用者位置情報と、利用者口座情報とが含まれてよい。
【００３５】
次いで、制御サーバ５は、合成音声記録部４（図５）にテーブルを追加し、受信した利用者取引開始通知の利用者位置情報と、利用者口座情報とを格納する（Ｓ１０４）。
【００３６】
次いで、利用者は、マイク２１およびスピーカ２２を利用して、音声チャットを開始する（Ｓ１０５）。
【００３７】
次いで、利用者は、マイク２１およびスピーカ２２から制御サーバ５に音声チャット開始通知を送信する（Ｓ１０６）。音声チャット開始通知には、利用者位置情報が含まれてよい。
【００３８】
次いで、制御サーバ５は、受信した音声チャット開始通知の利用者位置情報に基づいて、合成音声記録部４のテーブルを検索し、該当するテーブルの口座情報を抽出した後、管理サーバ７に顧客属性取得要求を送信する（Ｓ１０７）。顧客属性取得要求には、先記の口座情報が含まれてよい。
【００３９】
次いで、管理サーバ７は、顧客属性取得要求を受信し、顧客属性取得要求の口座情報に基づいて、顧客情報記録部６のテーブル（図６）を検索し、該当するテーブルの利用者属性情報を抽出した後、制御サーバ５に顧客属性取得回答を送信する（Ｓ１０８）。顧客情報記録部６のテーブルには、利用者毎の利用者口座情報と、利用者属性情報とが複数テーブルに予め記録されている。顧客属性取得回答には、先記の利用者属性情報が含まれてよい。
【００４０】
次いで、制御サーバ５は、受信した顧客属性取得回答の利用者属性情報を合成音声記録部４のテーブルに格納する（Ｓ１０９）。
【００４１】
次いで、利用者は、マイク２１から入力された音声情報を制御サーバ５に入力する（Ｓ１１０）。
【００４２】
次いで、制御サーバ５は、受信した音声情報を解析し、オペレータを介入するか否かを判定する（Ｓ１１１）。Ｓ１１１の判定結果が真の場合、Ｓ１１４を実行し、Ｓ１１１の判定結果が偽の場合、Ｓ１１２を実行する。
【００４３】
次いで、制御サーバ５は、入力された音声情報に応答する合成音声を作成する（Ｓ１１２）。
【００４４】
次いで、制御サーバ５は、音声チャットの経路をオペレータ端末８に切り替え、オペレータ端末８に音声情報を送信する（Ｓ１１３）。
【００４５】
次いで、オペレータ端末８は、オペレータの発話音声を、自動音声対話制御サーバ４に送信する（Ｓ１１４）。
【００４６】
次いで、制御サーバ５は、合成音声またはオペレータの発話音声を、スピーカ２２に出力する（Ｓ１１５）。
【００４７】
次いで、ＡＴＭ１は、利用者による商取引が終了し、利用者のカード・通帳媒体を返却受取する（Ｓ１１６）。
【００４８】
次いで、ＡＴＭ１は、制御サーバ５に利用者取引終了通知を送信する（Ｓ１１７）。利用者取引終了通知には、利用者位置情報と、利用者口座情報とが含まれてよい。
【００４９】
次いで、制御サーバ５は、受信した利用者取引開始通知の利用者位置情報および利用者口座情報に対応する合成音声記録部４のテーブルをクリアし、自動音声対話制御を終了する（Ｓ１１８）。
【００５０】
次に、制御サーバ５が合成音声からオペレータの発話に切り替える切替処理について説明する（図４の符号５００に相当する）。
【００５１】
図５は、音声対話システムによる切替処理のフローチャートである。
【００５２】
まず、利用者は、マイク２１から音声を音声情報として制御サーバ５に入力する（Ｓ５０１）。
【００５３】
制御サーバ５は、受信した音声情報を解析して、合成音声との利用者の対話が円滑か否かの解析結果を求め、合成音声記録部４のテーブルに格納する（Ｓ５０２）。
【００５４】
制御サーバ５は、合成音声記録部４のテーブルから、解析結果、利用者属性情報（ATM操作介助要、振込詐欺警戒要、重要顧客）、閾値を取得する。制御サーバ５は、それぞれの値に対して任意の重み付けを行い数値化し、その数値の合算を介入値として求める（Ｓ５０３）。
【００５５】
制御サーバ５は、Ｓ５０３で求めた介入値がオペレータ介入が必要な閾値以上か否かを判定する（Ｓ５０４）。Ｓ５０４の判定結果が真の場合、Ｓ５０５を実行する。Ｓ１１１の判定結果が偽の場合、Ｓ５０６を実行する。
【００５６】
制御サーバ５は、音声チャットの経路をオペレータ端末８に切り替え、制御サーバ５からオペレータ端末８に音声情報を送信し、オペレータの発話を受信する（Ｓ５０５）。
【００５７】
制御サーバ５は、音声情報に対する合成音声を作成する（Ｓ５０６）。
【００５８】
制御サーバ５は、Ｓ５０５のオペレータの発話またはＳ５０６の合成音声を、スピーカ２２に出力する（Ｓ５０７）。
【００５９】
この構成によれば、制御サーバ５は、制御サーバ５による音声情報の解析結果と、利用者の属性情報とに基づいて、マイク２１およびスピーカ２２をオペレータ端末８に接続する。これにより、予め格納された利用者の属性情報に応じて、合成音声と、オペレータとを切り替えることができる。
【００６０】
さらに、ＡＴＭ１に入力された利用者の登録情報が顧客情報記録部６に予め格納されていた場合、マイク２１およびスピーカ２２をオペレータ端末８に接続する。これにより、利用者が本人であることを確認することができる。
【００６１】
さらに、制御サーバ５は、制御サーバ５による音声情報の解析結果と、利用者の属性情報との合算値が、所定の閾値以上の場合、マイク２１およびスピーカ２２をオペレータ端末８に接続する。これにより、合成音声に対する利用者の意思疎通状況と、利用者の属性情報とに基づいて、合成音声と、オペレータとを切り替えることができる。
【００６２】
さらに、制御サーバ５は、音声情報の解析結果と、利用者の属性情報とに重みを付ける。これにより、合成音声と、オペレータとの切り替えを調整することができる。
【００６３】
利用者を撮像するカメラ２３を備え、オペレータ端末８には、カメラ２３が撮像した画像を表示する。これにより、オペレータが利用者の姿を確認でき、コミュニケーションを取り易くなる。
【００６４】
尚、本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。
【００６５】
例えば、制御サーバ５は、閾値を所定のタイミングで変更してもよい。所定のタイミングは、例えば、１日毎でもよいし、１時間毎でもよい。これにより、適宜、合成音声と、オペレータとの切り替えを調整することができる。
【００６６】
例えば、制御サーバ５は、オペレータの人数に応じて閾値を変更してもよい。これにより、オペレータが変動に応じて、合成音声と、オペレータとの切り替えを調整することができる。
【００６７】
上記した実施形態では、ＡＴＭ１を商取引端末の一例として説明した。しかし、商取引端末は、自動契約機、券売機、ガソリンスタンドの支払機等、商取引が可能な各種端末であってもよい。
【符号の説明】
【００６８】
１…ＡＴＭ、２１…マイク、２２…スピーカ、４…合成音声記録部、５…制御サーバ、
６…顧客情報記録部、７…管理サーバ、８…オペレータ端末
【図１】
2020170123.tif 000003
【図２】
2020170123.tif 000004
【図３】
2020170123.tif 000005
【図４】
2020170123.tif 000006
【図５】
2020170123.tif 000007