(57)【要約】【課題】センターのヒューマンリソースの不足を低減することができる対話装置及びプログラムを提供することを目的とする。【解決手段】対話装置は、話者の発話を収音する収音部と、収音部によって収音された発話を音声認識する音声認識部と、音声認識された内容に基づいて発話内容を理解する発話内容理解部と、発話内容に応じて応答文を生成する応答文生成部と、応答文を出力する出力部と、話者と当該装置との間で発話が破綻したことを検出する検出部と、発話が破綻した場合に、発話内容理解部が理解した発話内容と、センターの担当者の空き状態とに基づいて、話者と前記センターの担当者との接続制御を行う接続制御部と、を備える。【選択図】図１
2019174616.tif 000002
【特許請求の範囲】
【請求項１】
話者の発話を収音する収音部と、
前記収音部によって収音された発話を音声認識する音声認識部と、
前記音声認識された内容に基づいて発話内容を理解する発話内容理解部と、
前記発話内容に応じて応答文を生成する応答文生成部と、
前記応答文を出力する出力部と、
前記話者と当該装置との間で発話が破綻したことを検出する検出部と、
前記発話が破綻した場合に、前記発話内容理解部が理解した発話内容と、センターの担当者の空き状態とに基づいて、前記話者と前記センターの担当者との接続制御を行う接続制御部と、
を備える対話装置。
【請求項２】
前記接続制御部は、前記収音部によって収音された前記話者の発話の音の韻律の変動、前記話者の発話の速度の変動、および前記話者の発話の音量の変動のうちの少なくとも１つに基づいて、前記センターの担当者と対話が必要である前記発話であるか否かを判断して、判断した結果に基づいて前記センターの担当者に接続を行う、請求項１に記載の対話装置。
【請求項３】
前記接続制御部は、発話内容に応じて優先度を判定し、その優先度に基づいて、センターに接続する順番を設定する、請求項１または請求項２に記載の対話装置。
【請求項４】
発話内容に応じた優先度は、当該対話装置が用いられる環境に応じて変更される、請求項３に記載の対話装置。
【請求項５】
画像を撮像する撮像部、をさらに備え、
前記接続制御部は、前記撮像部が撮像した画像に基づいて、優先度を判定し、その優先度に基づいて、センターに接続する順番を設定する、請求項１または請求項２に記載の対話装置。
【請求項６】
対話装置のコンピュータに、
話者の発話を収音する収音ステップと、
前記収音ステップによって収音された発話を音声認識する音声認識ステップと、
前記音声認識された内容に基づいて発話内容を理解する発話内容理解ステップと、
前記発話内容に応じて応答文を生成する応答文生成ステップと、
前記応答文を出力する出力ステップと、
前記話者と当該装置との間で発話が破綻したことを検出する検出ステップと、
前記発話が破綻した場合に、前記発話内容理解ステップによって理解された発話内容と、センターの担当者の空き状態とに基づいて、前記話者と前記センターの担当者との接続制御を行う接続制御ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話装置及びプログラムに関する。
【背景技術】
【０００２】
企業や展示場等の受付に設置される音声認識チャットボット（Ｃｈａｔ  Ｂｏｔ）であって、訪問者の発話した内容を理解し、それに対応した応答を音声またはテキストにて訪問者に提示する受付システムがある。
【０００３】
このような受付システムでは、訪問者の発話内容によって、その音声認識結果により受付システムが発話内容を理解できない等の理由により、該受付システムと訪問者との間の発話が破綻することがある。そのような場合は、オンラインで接続されているセンターにいる担当者と直接対話をすることにより、訪問者の要求を満たすことができる。このため、利用者の知識レベルに対応して、オペレータの介在するタイミングを自動的に制御する音声対話システムが提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８５７０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、受付システムを多くの拠点に配置し、同時に多くの訪問者が使用する場合、受付システム毎に対話が破綻した際にセンターに接続していたのでは、ヒューマンリソースの不足により対応できない可能性がある。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであって、センターのヒューマンリソースの不足を低減することができる対話装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）上記目的を達成するため、本発明の一態様に係る対話装置（１，１Ａ，１Ｂ）は、話者の発話を収音する収音部（２１）と、前記収音部によって収音された発話を音声認識する音声認識部（１０３）と、前記音声認識された内容に基づいて発話内容を理解する発話内容理解部（１０４１，１０４Ａ）と、前記発話内容に応じて応答文を生成する応答文生成部（１０６）と、前記応答文を出力する出力部（１０９）と、前記話者と当該装置との間で発話が破綻したことを検出する検出部（会話破綻検出部１０７）と、前記発話が破綻した場合に、前記発話内容理解部が理解した発話内容と、センターの担当者の空き状態とに基づいて、前記話者と前記センターの担当者との接続制御を行う接続制御部（１０８，１０８Ａ，１０８Ｂ）と、を備える。
【０００８】
（２）また、本発明の一態様に係る対話装置において、前記接続制御部は、前記収音部によって収音された前記話者の発話の音の韻律の変動、前記話者の発話の速度の変動、および前記話者の発話の音量の変動のうちの少なくとも１つに基づいて、前記センターの担当者と対話が必要である前記発話であるか否かを判断して、判断した結果に基づいて前記センターの担当者に接続を行うようにしてもよい。
【０００９】
（３）また、本発明の一態様に係る対話装置において、前記接続制御部は、発話内容に応じて優先度を判定し、その優先度に基づいて、センターに接続する順番を設定するようにしてもよい。
【００１０】
（４）また、本発明の一態様に係る対話装置において、発話内容に応じた優先度は、当該対話装置が用いられる環境に応じて変更されるようにしてもよい。
【００１１】
（５）また、本発明の一態様に係る対話装置は、画像を撮像する撮像部（２４）、をさらに備え、前記接続制御部は、前記撮像部が撮像した画像に基づいて、優先度を判定し、その優先度に基づいて、センターに接続する順番を設定するようにしてもよい。
【００１２】
（６）上記目的を達成するため、本発明の一態様に係るプログラムは、対話装置のコンピュータに、話者の発話を収音する収音ステップと、前記収音ステップによって収音された発話を音声認識する音声認識ステップと、前記音声認識された内容に基づいて発話内容を理解する発話内容理解ステップと、前記発話内容に応じて応答文を生成する応答文生成ステップと、前記応答文を出力する出力ステップと、前記話者と当該装置との間で発話が破綻したことを検出する検出ステップと、前記発話が破綻した場合に、前記発話内容理解ステップによって理解された発話内容と、センターの担当者の空き状態とに基づいて、前記話者と前記センターの担当者との接続制御を行う接続制御ステップと、を実行させる。
【発明の効果】
【００１３】
上述した（１）または（６）の構成によれば、センターの担当者の空き状況に応じて、必要な話者と通話させることができる。
【００１４】
上述した（２）の構成によれば、音声信号に基づいてオペレータとの対話をする必要がある話者（真剣な方）のみとオペレータに接続させることができる。
上述した（３）の構成によれば、優先度が高い会話を行っている話者から、オペレータに順番に接続させることができる。
【００１５】
上述した（４）の構成によれば、設置場所に応じた優先度が高い会話を行っている話者から、オペレータに順番に接続させることができる。
上述した（５）の構成によれば、画像に基づいてオペレータとの対話をする必要がある話者（真剣な方）のみとオペレータに接続させることができる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態に係る対話装置の構成例を示す図である。
【図２】第１実施形態に係る連絡先記憶部が記憶する情報例を示す図である。
【図３】第１実施形態に係る対話装置と話者（来客者）との対話例を示す図である。
【図４】第１実施形態に係る対話装置が行う処理手順例を示すフローチャートである。
【図５】第１実施形態の変形例における対話装置が行う処理手順例を示すフローチャートである。
【図６】第２実施形態に係る対話装置の構成例を示す図である。
【図７】第３実施形態に係る対話装置の構成例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１８】
［第１実施形態］
図１は、本実施形態に係る対話装置１の構成例を示す図である。図１に示すように、対話装置１は、処理部１０、収音部２１、および出力部２２を備える。処理部１０は、有線回線または無線の通信回線を介してセンター３０に接続されている。また、処理部１０には、撮像部が接続されていてもよい。センター３０は、電話機３０１、電話機３０２、・・・を備える。なお、以下の説明において、電話機３０１、電話機３０２、・・・のうち１つを特定しない場合、電話機３００という。なお、センター３０は、少なくとも１つの電話機３００を備えている。
また、対話装置１は、例えば受け付けに複数台、設置されているとする。
【００１９】
処理部１０は、音声取得部１０１、音声認識辞書１０２、音声認識部１０３、発話内容理解部１０４、シナリオ記憶部１０５、応答文生成部１０６、会話破綻検出部１０７（検出部）、接続制御部１０８、出力部１０９、連絡先記憶部１１０、呼出部１１１、および音声合成部１１２を備える。
出力部２２は、表示部２２１と音声出力部２２２を備える。
【００２０】
収音部２１は、マイクロホンである。収音部２１は、話者の発話を収音し、収音した音声信号を処理部１０に出力する。収音部２１は、センター３０の電話機３００と接続が完了した後、収音した音声信号を接続制御部１０８に出力する。なお、収音部２１は、２つ以上のマイクロホンによって構成されるマイクロホンアレイであってもよい。なお、収音部２１がマイクロホンアレイの場合、対話装置１が、音源定位部、音源分離部、および音源同定部をさらに備える。
【００２１】
出力部２２は、処理部１０が出力する文字情報を表示する。または、出力部２２は、処理部１０が出力する音声情報を再生する。
表示部２２１は、例えば液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置や電子インク表示装置等である。表示部２２１は、処理部１０が出力する文字情報を表示する。
音声出力部２２２は、スピーカーである。音声出力部２２２は、処理部１０の音声合成部１１２が出力する音声情報を再生する。または、音声出力部２２２は、処理部１０の出力部１０９が出力する音声信号を再生する。
【００２２】
処理部１０は、収音部２１が出力する音声信号の発話内容を理解し、話者の発話に対する応答を出力する。処理部１０は、話者の発話内容が破綻していると判定した場合、発話内容とセンターの空き状況（回線の使用状態）に基づいてセンターの電話機３００に接続する。
【００２３】
音声取得部１０１は、収音部２１が出力する音声信号を取得し、取得した音声信号を音声認識部１０３に出力する。なお、音声取得部１０１は、取得した音声信号がアナログ信号の場合、アナログ信号をデジタル信号に変換して音声認識部１０３に出力する。
【００２４】
音声認識辞書１０２には、例えば音響モデル、言語モデル、単語辞書等が格納されている。音響モデルとは、音の特徴量に基づくモデルであり、言語モデルとは、単語とその並び方の情報のモデルである。また、単語辞書とは、多数の語彙による辞書であり、例えば大語彙単語辞書である。
【００２５】
音声認識部１０３は、音声取得部１０１が出力する音声信号を取得する。音声認識部１０３は、音声取得部１０１が出力した音声信号から発話区間の音声信号を検出する。発話区間の検出は、例えば所定のしきい値以上の音声信号を発話区間として検出する。なお、音声認識部１０３は、発話区間の検出を周知の他の手法を用いて行ってもよい。音声認識部１０３は、検出した発話区間の音声信号に対して、音声認識辞書１０２を参照して、周知の手法を用いて音声認識を行う。なお、音声認識部１０３は、例えば特開２０１５−６４５５４号公報に開示されている手法等を用いて音声認識を行う。音声認識部１０３は、認識した認識結果と音声信号を発話内容理解部１０４と会話破綻検出部１０７とに出力する。また、音声認識部１０３は、音声信号を接続制御部１０８に出力する。なお、音声認識部１０３は、認識結果と音声信号とを、例えば１文毎に、または発話句間毎に出力する。
【００２６】
発話内容理解部１０４は、音声認識部１０３が出力した認識結果（音声信号）を、音声認識辞書１０２を参照してテキストに変換する。発話内容理解部１０４は、変換したテキスト情報を応答文生成部１０６に出力する。なお、発話内容理解部１０４は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を含めてテキストに変換するようにしてもよい。
【００２７】
シナリオ記憶部１０５は、対話装置１が用いられる環境で行われる対話を、例えばテキスト形式で記憶する。対話装置１が例えば企業の受け付けに用いられる場合、対話は、例えば担当者の呼び出しにおける話者との対話である。対話装置１が例えば病院の受け付けに用いられる場合、対話は、例えば予約の受け付けにおける話者との対話である。このようなシナリオは、予めシナリオ記憶部１０５に記憶させておいてもよく、使用環境に応じて書き換えや追記してもよく、話者との対話に基づいて学習した結果を記憶するようにしてもよい。
【００２８】
応答文生成部１０６は、発話内容理解部１０４が出力するテキスト情報と認識結果（音声信号）を取得する。応答文生成部１０６は、シナリオ記憶部１０５が記憶するシナリオを参照して、取得したテキスト情報に対する応答分を生成する。応答文生成部１０６は、取得した話者のテキスト情報と、生成した応答文（テキスト情報）と、を対話の順に従って会話破綻検出部１０７に出力する。
【００２９】
会話破綻検出部１０７は、応答文生成部１０６が出力する話者のテキスト情報と生成した応答文（テキスト情報）を用いて、話者と対話装置１との対話が破綻しているか否かを判別する。または、会話破綻検出部１０７は、音声認識部１０３が出力する音声信号を用いて、話者と対話装置１との対話が破綻しているか否かを判別する。なお、話者と対話装置１との対話が破綻しているか否かを判別方法については後述する。会話破綻検出部１０７は、対話が破綻していると判別した場合、破綻していることを示す情報を接続制御部１０８に出力する。会話破綻検出部１０７は、対話が破綻していないと判別した場合、対話が破綻していないことを示す情報を接続制御部１０８に出力する。
【００３０】
接続制御部１０８は、音声認識部１０３が出力する音声信号に基づいて真剣度スコアを推定する。なお、真剣度の推定方法については後述する。接続制御部１０８は、例えば所定周期で、センター３０から電話機３００の回線の使用状態を取得し、取得した回線の使用状態を更新して連絡先記憶部１１０に記憶させる。接続制御部１０８は、連絡先記憶部１１０が記憶する回線の使用状態を示す情報を読み出す。接続制御部１０８は、回線の使用状態に基づいてセンターの混雑度を求める。なお、センター３０の回線の使用状態は、電話機３００の使用状態を表し、電話機３００の使用状態は電話機３００を使用する担当者が対話中であるか否かを表している。なお、混雑度の求め方は後述する。接続制御部１０８は、推定した真剣度スコアと、求めた混雑度とを用いて、センター接続スコアを算出する。接続制御部１０８は、算出したセンター接続スコアと閾値を比較して、センターに接続するか対話を継続するか判定する。接続制御部１０８は、センターに接続する場合、呼び出し要求を呼出部１１１に出力する。なお、呼出部１１１に出力する呼び出し要求には、例えば内線番号を示す情報が含まれている。また、接続制御部１０８は、センター３０に接続する場合、センター３０に接続していることを示す呼出応答文（テキスト情報）を生成し、生成したと、呼び出し要求と、を呼び出し応答文（テキスト情報）と、を出力部１０９に出力する。接続制御部１０８は、対話を継続する場合、対話を継続する要求を出力部１０９に出力する。接続制御部１０８は、センター３０の電話機３００と接続が完了した後、収音部２１が出力する音声信号を接続した電話機３００に出力する。
【００３１】
出力部１０９は、接続制御部１０８から対話を継続する要求を受け取った場合、応答文生成部１０６が生成した応答文（テキスト情報）を表示部２２１に出力する。なお、出力部１０９は、接続制御部１０８から対話を継続する要求を受け取った場合、応答文生成部１０６が生成した応答文を音声合成部１１２に出力するようにしてもよい。
出力部１０９は、接続制御部１０８から呼び出し要求を受け取った場合、応答文生成部１０６が生成した応答文（テキスト情報）と呼出応答文（テキスト情報）とを表示部２２１に出力する。なお、出力部１０９は、接続制御部１０８から呼び出し要求を受け取った場合、応答文生成部１０６が生成した応答文と呼出応答文とを音声合成部１１２に出力するようにしてもよい。
出力部１０９は、センター３０の電話機３００と接続が完了した後、電話機３０１が出力する音声信号を取得し、取得した音声信号を音声出力部２２２に出力する。
【００３２】
連絡先記憶部１１０は、センター３０の例えば電話機３００の内線番号を記憶する。また、連絡先記憶部１１０は、接続したセンター３０の電話機３００の内線番号、または接続していないセンター３０の電話機３００の内線番号を記憶する。連絡先記憶部１１０は、回線の使用状態を記憶する。
【００３３】
呼出部１１１は、接続制御部１０８が出力する呼び出し要求に含まれる内線番号の電話機３００と接続する。
【００３４】
音声合成部１１２は、出力部１０９が出力する音声情報を例えばフォルマント合成の手法等によって音声信号に変換し、変換した音声信号を音声出力部２２２に出力する。
【００３５】
電話機３００は、受話器（マイクロフォン、スピーカー）、番号を入力する装置等を含む。電話機３００は、例えばオペレータが使用する。電話機３００は、対話装置１と接続が完了した後、対話装置１が出力する音声信号を再生し、オペレータが発話した音声信号を対話装置１に出力する。
【００３６】
図２は、本実施形態に係る連絡先記憶部１１０が記憶する情報例を示す図である。
図２に示すように、連絡先記憶部１１０は、内線番号に接続中であるか未接続であるかを示す情報を対応付けて記憶する。図２において、記号＊（アスタリスク）は、接続中の状態または未接続の状態を表している。図２に示す例は、内線番号「１１１１」が接続状態であり、内線番号「１１１２」と「１１１３」が未接続の状態である。
【００３７】
次に、対話装置１と話者（来客者）との対話例を説明する。
図３は、本実施形態に係る対話装置１と話者（来客者）との対話例を示す図である。図３において、符号Ｒｎ（ｎは１以上の整数）は対話装置の発話（応答文）であり、符号Ｈｎは話者（来客者）の発話である。なお、図３に示す例では、対話装置１が、企業の受付に設置されている例である。対話装置１は、応答文を表示部２２１に表示させるか、音声出力部２２２から再生する。
【００３８】
図３に示すように、対話装置１は、話者が発話した内容を理解した結果が正しいか否かを確認するため、理解した結果を応答文として、符号Ｒ２やＲ４のように話者の発話後に繰り返す。対話装置１は、符号Ｒ２の後の話者の発話から理解が正しかったと判別して対話を継続する。さらに、対話装置１は、符号Ｒ４の後の話者の発話から理解が誤っていたと判別し、さらに符号Ｈ４の話者の発話からピッチが変化したことを検出し、かつ「至急」をキーワードとして抽出する。この例では、対話装置１が、真剣度スコアが高く、センターが空いていたため、オペレータに接続を行う。オペレータ呼び出しを行う際、対話装置１は、応答文に「オペレータにおつなぎいたします。」を追加する。
なお、図３に示した対話は一例であり、これに限らない。
【００３９】
次に、話者と対話装置１との対話が破綻しているか否かを判別方法例を説明する。
会話破綻検出部１０７は、話者と対話装置１との対話が破綻しているか否かの判別を、例えば参考文献に記載の手法によって、話者が同じ発話を繰り返したか否かに基づいて行う。または、会話破綻検出部１０７は、話者が所定時間黙った（発話がない）状態であること検出できた場合に、対話が破綻していると判別する。または、会話破綻検出部１０７は、話者のテキスト情報に、言いよどみや応答分に対する困惑を表す言葉（例「困ったな」、「そうではなくて」）がある場合に、対話が破綻していると判別する。あるいは、会話破綻検出部１０７は、話者の話し方が変わったかどうかのスコアを判定情報に基づいて算出し，閾値を超えているかどうかを検出できた場合に、対話が破綻していると判別する。なお、判定情報は、「話者の発話の速度の変化」、「話者の発話の韻律（Ｆ０）の変化」、および「話者の発話の音量の変化」のうち少なくとも１つである。会話破綻検出部１０７は、音声認識部１０３が出力する認識結果（音声信号）に対して、「話者の発話の速度の変化」を検出して、変化の大きさに基づいてスコアを求める。会話破綻検出部１０７は、音声認識部１０３が出力する認識結果（音声信号）に対して、「話者の発話の韻律（Ｆ０）の変化」を検出して、変化の大きさに基づいてスコアを求める。会話破綻検出部１０７は、音声認識部１０３が出力する認識結果（音声信号）に対して、「話者の発話の音量の変化」を検出して、変化の大きさに基づいてスコアを求める。
【００４０】
［参考文献］“音声対話システムの誤認識に対するユーザの繰り返し訂正発話の検出と認識”、北岡教英，角谷直子，中川聖一、電子情報通信学会論文誌（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８７−Ｄ−ＩＩ  Ｎｏ．７，１４４１−１４５０，Ｊｕｌ．，２００４
【００４１】
次に、センター３０の混雑度の求め方を説明する。
例えば、センター３０に電話機３００が１０台設置されているとする。この場合、接続制御部１０８は、各電話機３０１、３０２、・・・３１０のうち、１台が接続されている場合、混雑度を１｛＝（１／１０）×１０｝として求める。また、９台が接続されている場合、接続制御部１０８は、混雑度を９｛＝（９／１０）×１０｝として求める。なお、接続制御部１０８は、混雑度に使用状態を対応付けて例えば表形式で連絡先記憶部１１０に記憶させ、この記憶されている情報を参照して混雑度を求めるようにしてもよい。
【００４２】
次に、センター接続スコアの算出方法について説明する。
ここで、真剣度スコアをＸ、混雑度をＹとする。接続制御部１０８は、センター接続スコアを、例えば式（γＸ＋δＹ）によって算出する。ここで、γは真剣度スコアの重み係数であり、δは混雑度の重み係数であり、なお、重み係数は機械学習によって求めた値である。
【００４３】
次に、対話装置１が行う処理手順例を説明する。
図４は、本実施形態に係る対話装置１が行う処理手順例を示すフローチャートである。
【００４４】
（ステップＳ１）音声認識部１０３は、取得された話者の発話に対して音声認識辞書１０２を用いて音声認識処理を行う。
（ステップＳ２）発話内容理解部１０４は、音声認識部１０３によって認識された話者の発話を、音声認識辞書１０２を用いてテキスト情報に変換する（発話内容理解の処理ともいう）。
【００４５】
（ステップＳ３）応答文生成部１０６は、シナリオ記憶部１０５が記憶するシナリオに基づいてテキスト情報に対する応答文を生成する。
（ステップＳ４）出力部１０９は、応答文を表示部２２１に出力する。続けて、表示部２２１は、応答文を表示する。
【００４６】
（ステップＳ５）会話破綻検出部１０７は、応答文生成部１０６が出力する話者のテキスト情報と応答文に基づいて、上述した手法によって対話装置１と話者との対話が破綻しているか否を検出する。または、会話破綻検出部１０７は、音声認識部１０３が出力する認識結果（話者の音声信号）に基づいて、上述した手法によって対話装置１と話者との対話が破綻しているか否を検出する。
【００４７】
（ステップＳ６）会話破綻検出部１０７は、対話装置１と話者との対話が破綻しているか否かを検出した結果、破綻している場合（ステップＳ６；ＹＥＳ）、ステップＳ７の処理に進め、破綻していない場合（ステップＳ６；ＮＯ）、ステップＳ１１の処理に進める。
【００４８】
（ステップＳ７）接続制御部１０８は、センター３０の回線の使用状態を取得し、取得した回線の使用状態に基づいてセンターの混雑度を求める。
（ステップＳ８）接続制御部１０８は、会話破綻検出部１０７が出力する破綻していることを示す情報を受け取る。続けて、接続制御部１０８は、発話内容理解部１０４が出力するキーワード、会話破綻検出部１０７が出力する話者の発話のテキスト情報、話者の音声信号を用いて、上述した手法によって真剣度スコアを推定する。
【００４９】
（ステップＳ９）接続制御部１０８は、推定した真剣度スコアと求めた混雑度とを用いて、上述したようにセンター接続スコアを算出する。
（ステップＳ１０）接続制御部１０８は、算出したセンター接続スコアが閾値より大きいか否かを判別する。接続制御部１０８は、センター接続スコアが閾値より大きいと判別した場合（ステップＳ１０；ＹＥＳ）、ステップＳ１２の処理に進め、センター接続スコアが閾値未満であると判別した場合（ステップＳ１０；ＮＯ）、ステップＳ１１の処理に進める。
【００５０】
（ステップＳ１１）接続制御部１０８は、ステップＳ１〜Ｓ１０を繰り返して対話を継続する。このため、接続制御部１０８は、呼出要求を呼出部１１１に出力しない。すなわち、対話装置１は、センター３０の電話機３００に接続しない。
【００５１】
（ステップＳ１２）接続制御部１０８は、呼出要求を呼出部１１１に出力する。続けて、呼出部１１１は、呼出要求に含まれる内線番号の電話機３００に接続することで、センターに接続する。
【００５２】
なお、上述した例では、混雑度を求めた後に真剣度スコアを推定する例を説明したが、これに限らない。接続制御部１０８は、真剣度スコアを推定した後に混雑度を求めてもよく、真剣度スコアを推定と混雑度を求める処理を並列に行ってもよい。
【００５３】
また、ステップＳ１０における閾値は、センター３０が有する電話機３００の数、混雑度、真剣度スコアに応じて、予め対話装置１の利用者が設定しておく。なお、閾値は、センター３０の勤務時間に応じて使用可能な電話機３００の数が変動する場合や、オペレータの経験レベル等に応じて対話装置１が変更するようにしてもよい。
【００５４】
以上のように、本実施形態では、センター３０が有する電話機３００の空き状態、すなわちセンター３０にいる担当者の空き状態により、話者とセンター３０の担当者との接続制御を行うようにした。
【００５５】
これにより、本実施形態によれば、センター３０の電話機３００の空き状況、すなわち担当者の空き状況に応じて、担当者との通話が必要な話者と担当者との通話を行うことができる。
【００５６】
また、従来技術では、対話装置１を多くの拠点に配置し、同時に多くの訪問者が使用する場合、対話装置１毎に対話が破綻した際に、全ての話者をセンター３０に接続してしまうとヒューマンリソースの不足により対応できない可能性があった。
一方、本実施形態によれば、担当者の空き状況に応じて、担当者との通話が必要な話者と担当者とを接続するため、ヒューマンリソースの不足を低減することができる。
【００５７】
＜変形例＞
実施形態では、センター接続スコアを算出した後にセンターの接続可否を判別する例を説明したが、これに限らない。先にセンター３０の回線の使用状態を確認するようにしてもよい。図５は、本実施形態の変形例における対話装置１が行う処理手順例を示すフローチャートである。なお、対話装置１の構成は、図１と同じである。また、図４と同じ処理については、同じ符号を用いて説明を省略する。
【００５８】
（ステップＳ１〜Ｓ６）対話装置１は、ステップＳ１〜Ｓ６の処理を行う。処理後、対話装置１は、ステップＳ１０１の処理に進める。
【００５９】
（ステップＳ１０１）接続制御部１０８は、センター３０の回線の使用状態を取得する。続けて、接続制御部１０８は、センター３０に未接続の電話機３００があるか確認する。接続制御部１０８は、未接続の電話機３００がない、すなわち空きがないと判別した場合（ステップＳ１０１；ＹＥＳ）、センター３０への接続ができないためステップＳ１１の処理に進める。接続制御部１０８は、未接続の電話機３００がある、すなわち空きがあると判別した場合（ステップＳ１０１；ＮＯ）、センター３０への接続が可能であるためステップＳ７の処理に進める。
【００６０】
（ステップＳ７〜Ｓ１２）以下、対話装置１は、ステップＳ７〜Ｓ１２の処理を行う。
【００６１】
以上のように変形例によれば、センター３０の担当者が空いている場合且つ対話が破綻した場合に、センター３０の担当者へ接続し、センター３０の担当者が空いていない場合、話者との対話を継続することができる。
【００６２】
［第２実施形態］
第１実施形態では、話者の発話の韻律の変動、話者の発話の速度の変化、話者の発話の音量の変化のうち少なくとも１つに基づいて真剣度を推定する例を説明したが、これに限らない。真剣度の推定は、話者の発話内容に基づくものであってもよい。
【００６３】
図６は、本実施形態に係る対話装置１Ａの構成例を示す図である。図６に示すように、対話装置１Ａは、処理部１０Ａ、収音部２１、および出力部２２を備える。なお、第１実施形態の対話装置１と同じ機能を有する機能部には同じ符号を用いて説明を省略する。
【００６４】
処理部１０Ａは、音声取得部１０１、音声認識辞書１０２Ａ、音声認識部１０３、発話内容理解部１０４Ａ、シナリオ記憶部１０５、応答文生成部１０６、会話破綻検出部１０７（検出部）、接続制御部１０８Ａ、出力部１０９、連絡先記憶部１１０、呼出部１１１、音声合成部１１２、および通信部１１４を備える。
【００６５】
通信部１１４は、他の対話装置１Ａからの情報を取得し、取得した情報を接続制御部１０８Ａに出力する。また通信部１１４は、接続制御部１０８Ａが出力する情報を他の対話装置１Ａに出力する。なお、対話装置１Ａと他の対話装置１Ａとは、有線または無線のネットワークで接続されている。
【００６６】
音声認識辞書１０２Ａには、さらにキーワードが格納されている。キーワードとは、緊急性が高い用語である。緊急性が高い用語は、対話装置１Ａが用いられる環境によって異なる。例えば、対話装置１Ａが公共の場で用いられる場合、緊急性が高い用語は、例えば「助けてください」、「警察を呼んでください」、「病院に連れて行ってください」等である。また、音声認識辞書１０２Ａは、キーワードに優先度を対応付けて記憶している。なお、キーワードと優先度は、対話装置１Ａが設置される環境に応じて変更される。
【００６７】
発話内容理解部１０４Ａは、さらに音声認識辞書１０２Ａを参照して認識結果にキーワードが含まれているか否かを判別する。発話内容理解部１０４Ａは、キーワードが含まれている場合、キーワードが含まれていることを示す情報と、キーワードと、そのキーワードの優先度を示す情報を接続制御部１０８Ａに出力する。
【００６８】
接続制御部１０８Ａは、発話内容理解部１０４Ａが出力するキーワードが含まれていることを示す情報と、キーワードと、そのキーワードの優先度を示す情報に基づいて、真剣度スコアを推定する。なお、接続制御部１０８Ａは、「話者の発話の速度の変化」と「話者の発話の韻律の変化」と「話者の発話の音量の変化」とキーワードの優先度とのうち少なくとも１つに基づいて真剣度スコアを推定するようにしてもよい。または、接続制御部１０８Ａは、キーワードと、「話者の発話の速度の変化」と「話者の発話の韻律の変化」と「話者の発話の音量の変化」のうちの少なくとも１つとに基づいて真剣度スコアを推定するようにしてもよい。なお、真剣度スコアの推定式は，データから機械学習で求める。接続制御部１０８Ａは、センターの混雑度を求める。接続制御部１０８Ａは、前述した混雑度と、推定した真剣度スコアとに基づいてセンター接続スコアを算出する。接続制御部１０８Ａは、算出したセンター接続スコアと閾値を比較して、センター３０に接続するか対話を継続するか判定する。
【００６９】
なお、複数の対話装置１Ａが同時に使用されている場合、対話装置１Ａは、予め複数の中の１つの対話装置１Ａをマスターに設定する。なお、マスターの設定は、対話装置１Ａのシステムの管理者が行ってもよい。
そして、接続制御部１０８Ａは、センター３０に接続する前に、自装置で抽出したキーワードの優先度を、他の対話装置１Ａへ通信部１１４を介して出力する。そして、接続制御部１０８Ａは、他の対話装置１Ａが出力するキーワードの優先度を通信部１１４を介して取得する。接続制御部１０８Ａは、自装置の優先度と他装置の優先度を比較し、比較した結果に基づいて、センター３０への接続の順番を決定し、決定した順番を他の対話装置１Ａに出力する。各対話装置１Ａは、取得した接続順番に基づいて、センター３０に接続する。
【００７０】
以上のように、本実施形態では、話者の発話に含まれるキーワードの優先度に基づいて真剣度スコアを推定するようにした。
これにより、本実施形態によれば、対話装置１Ａが複数台設置され、複数の話者が各対話装置１Ａを使用している場合に、優先度が高い会話を行っている話者からオペレータに順番に接続させることができる。
【００７１】
［第３実施形態］
第１実施形態と第２実施形態では、話者が発話した音声信号に基づいて真剣度スコアを推定する例を説明したが、真剣度スコアの推定に画像を用いてもよい。
【００７２】
図７は、本実施形態に係る対話装置１Ｂの構成例を示す図である。図７に示すように、対話装置１Ｂは、処理部１０Ｂ、収音部２１、および出力部２２を備える。処理部１０Ｂには、撮像部２４が接続されている。なお、図７に示す構成は、第２実施形態で説明した対話装置１Ａに適用した例であるが、第１実施形態の対話装置１に適用することも可能である。また、対話装置１または対話装置１Ａと同じ機能を有する機能部には同じ符号を用いて説明を省略する。
【００７３】
処理部１０Ｂは、音声取得部１０１、音声認識辞書１０２Ａ、音声認識部１０３Ａ、発話内容理解部１０４Ａ、シナリオ記憶部１０５、応答文生成部１０６、会話破綻検出部１０７（検出部）、接続制御部１０８Ｂ、出力部１０９、連絡先記憶部１１０、呼出部１１１、音声合成部１１２、および画像取得部１１３を備える。
【００７４】
撮像部２４は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ）イメージセンサカメラやＣＣＤ（Ｃｏｌｏｎｙ  Ｃｏｌｌａｐｓｅ  Ｄｉｓｏｒｄｅｒ）イメージセンサカメラである。撮像部２４は撮像した画像を画像取得部１１３に出力する。画像は、所定周期で撮像された静止画であってもよく、動画であってもよい。
【００７５】
画像取得部１１３は、撮像部２４が出力する画像を取得し、取得した画像を接続制御部１０８Ｂに出力する。
【００７６】
接続制御部１０８Ｂは、画像取得部１１３が出力する画像を取得し、取得した画像に基づいて真剣度スコアを推定する。接続制御部１０８Ｂは、センターの混雑度を求める。接続制御部１０８Ｂは、算出したセンター接続スコアと閾値を比較して、センターに接続するか対話を継続するか判定する。
【００７７】
ここで、画像を用いた真剣度スコアの推定方法例を説明する。
接続制御部１０８Ｂは、取得した画像を用いて、発話中の話者の姿勢・視線の変動の大きさに基づいて、真剣度スコアを推定する。または、接続制御部１０８Ｂは、取得した画像を用いて、発話後に対話装置１Ｂが応答するまでの話者の姿勢・視線の変動の大きさに基づいて、真剣度スコアを推定する。あるいは、接続制御部１０８Ｂは、取得した画像を用いて、発話後に対話装置１Ｂが応答中の話者の姿勢・視線の変動の大きさに基づいて、真剣度スコアを推定する。なお、接続制御部１０８Ｂは、「発話中の話者の姿勢・視線の変動」、「発話後に対話装置１Ｂが応答するまでの話者の姿勢・視線の変動」、「発話後に対話装置１Ｂが応答中の話者の姿勢・視線の変動」を、周知の画像認識手法によって検出する。また、スコアの推定式は，データから機械学習で求める。
【００７８】
なお、接続制御部１０８Ｂは、センター３０に接続する前に、自装置で推定した真剣度スコアを、他の対話装置１Ｂへ通信部１１４を介して出力する。そして、接続制御部１０８Ｂは、他の対話装置１Ｂが出力する真剣度スコアを通信部１１４を介して取得する。接続制御部１０８Ｂは、自装置の真剣度スコアと他装置の真剣度スコアを比較し、比較した結果に基づいて、センター３０への接続の順番を決定し、決定した順番を他の対話装置１Ｂに出力する。各対話装置１Ｂは、取得した接続順番に基づいて、センター３０に接続する。
【００７９】
なお、接続制御部１０８Ｂは、画像による真剣度スコアの推定に加えて、上述した「話者の発話の速度の変化」と「話者の発話の韻律の変化」と「話者の発話の音量の変化」とキーワードの優先度とのうち少なくとも１つに基づいて真剣度スコアを推定するようにしてもよい。
【００８０】
以上のように、本実施形態では、発話中の話者を撮像した画像を用いて、話者の発話の真剣度スコアを推定するようにした。
これにより、本実施形態によれば、発話中の話者を撮像した画像を用いるため、より精度良く真剣度スコアを推定することができる。
【００８１】
＜真剣度スコア＞
ここで、上述した第１実施形態〜第３実施形態で用いる真剣度スコアの推定方法を更に説明する。接続制御部１０８（または１０８Ａ、１０８Ｂ）は、以下のような情報のうち少なくとも１つによって真剣度スコアを推定する。
（ｉ）話者発話の中に含まれる緊急を表すキーワード；Ａ
（ｉｉ）話者の発話の韻律（Ｆ０）の変動；Ｂ
（ｉｉｉ）話者発話の速度の変化；Ｃ
（ｉｖ）話者発話の音量の変化；Ｄ
（ｖ）発話中の話者の姿勢・視線の変動；Ｅ
（ｖｉ）発話後に対話装置１が応答するまでの話者の姿勢・視線の変動；Ｆ
（ｖｉｉ）発話後に対話装置１が応答中の話者の姿勢・視線の変動；Ｇ
なお、接続制御部１０８（または１０８Ａ、１０８Ｂ）は、（ｉ）〜（ｖｉｉ）のスコアの推定式をデータから機械学習で求める。これらの推定式は、予め学習させて接続制御部１０８（または１０８Ａ、１０８Ｂ）が記憶する。また、接続制御部１０８（または１０８Ａ、１０８Ｂ）は、（ｖ）〜（ｖｉｉ）の情報を用いる場合は、画像取得部１１３が取得した画像情報を用いて、上記変動を検出して、変動の大きさに基づいて真剣度スコアを求める。
【００８２】
接続制御部１０８（または１０８Ａ、１０８Ｂ）は、上記の情報のうち複数の情報を用いて真剣度スコアを推定するようにしてもよい。例えば（ｉｉ）と（ｉｖ）を用いる場合、接続制御部１０８（または１０８Ａ、１０８Ｂ）は、それぞれに重み係数を用いて、αＢ＋βＤによって真剣度スコアを推定するようにしてもよい。ここで、αがＢの重み係数であり、βがＤの重み係数である。なお、重み係数は機械学習によって求めた値である。
【００８３】
なお、上述した対話装置１（または１Ａ、１Ｂ）は、例えば二足歩行の人型ロボット、上半身のみの人型ロボット、タブレット端末、スマートフォン等に適用するようにしてもよい。
【００８４】
なお、本発明における処理部１０（または１０Ａ、１０Ｂ）の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより処理部１０（または１０Ａ、１０Ｂ）が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００８５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００８６】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【００８７】
１，１Ａ，１Ｂ…対話装置、１０，１０Ａ，１０Ｂ…処理部、２１…収音部、２２…出力部、２４…撮像部、１０１…音声取得部、１０２，１０２Ａ…音声認識辞書、１０３，１０３Ａ…音声認識部、１０４，１０４Ａ…発話内容理解部、１０５…シナリオ記憶部、１０６…応答内容理解部、１０７…会話破綻検出部、１０８，１０８Ａ，１０８Ｂ…接続制御部、１０９…出力部、１１０…連絡先記憶部、１１１…呼出部、１１２…音声合成部、１１３…画像取得部、２２１…表示部、２２２…音声出力部、３０…センター、３００，３０１，３０２…電話機
【図１】
2019174616.tif 000003
【図２】
2019174616.tif 000004
【図３】
2019174616.tif 000005
【図４】
2019174616.tif 000006
【図５】
2019174616.tif 000007
【図６】
2019174616.tif 000008
【図７】
2019174616.tif 000009