(57)【要約】【課題】システム発話が会話を破綻させている程度をより精度よく求める。【解決手段】発話システムが発した発話であるシステム発話と、システム発話に対してユーザが応答した発話である応答発話とを取得する取得部３１１と、一の応答発話に基づいて、一の応答発話の直前のシステム発話が会話の流れを破綻させている尤度を示す破綻尤度を特定する特定部３１２と、特定した破綻尤度を一の応答発話の直前のシステム発話に関連付けて出力する出力部３１５と、を備える。【選択図】図２
2020098534.tif 000002
【特許請求の範囲】
【請求項１】
発話システムが発した発話であるシステム発話と、当該システム発話に対してユーザが応答した発話である応答発話とを取得する取得部と、
一の前記応答発話に基づいて、前記一の応答発話の直前の前記システム発話が会話の流れを破綻させている尤度を示す破綻尤度を特定する特定部と、
特定した前記破綻尤度を前記一の応答発話の直前の前記システム発話に関連付けて出力する出力部と、を備える、
評価装置。
【請求項２】
前記特定部は、前記一の前記応答発話に含まれる特徴的単語に基づいて会話の破綻の種別を特定し、
前記出力部は、特定した前記破綻尤度と特定した種別とを前記システム発話に関連付けて出力する、
請求項１に記載の評価装置。
【請求項３】
前記特定部は、取得した前記応答発話を機械学習の学習済みモデルに入力し、前記学習済みモデルから出力される破綻尤度を取得することにより、前記破綻尤度を特定する、
請求項１又は２に記載の評価装置。
【請求項４】
前記一の応答発話に含まれる特徴的単語を抽出する抽出部をさらに備え、
前記特定部は、特徴的単語と前記破綻尤度とを関連付けた辞書情報を参照し、前記抽出部が抽出した特徴的単語と同一の特徴的単語に関連付けられている前記破綻尤度を特定し、特定した前記破綻尤度に基づいて、前記一の応答発話の直前の前記システム発話の前記破綻尤度を特定する、
請求項１から３のいずれか一項に記載の評価装置。
【請求項５】
前記応答発話を発したユーザの破綻尤度の特性を示すユーザ特性情報と、複数の他のユーザにおける破綻尤度の平均的特性を示す平均的特性情報とに基づいて、当該ユーザの破綻尤度の特性が当該平均的特性に近付くように、前記特定部が特定した前記破綻尤度を調整する特性調整部をさらに備える、
請求項１から４のいずれか一項に記載の評価装置。
【請求項６】
システム発話と、当該システム発話に関連付けられた破綻尤度と、応答発話と、を含む対話履歴を示す破綻尤度履歴情報を参照し、前記取得部が取得した前記システム発話を含む対話の文脈に類似する前記対話履歴に含まれる前記システム発話に関連付けられた前記破綻尤度に基づいて、前記特定部が特定した前記破綻尤度を調整する類型調整部をさらに備える、
請求項１から５のいずれか一項に記載の評価装置。
【請求項７】
前記発話システムと前記ユーザとの間の対話の終了を検知する検知部と、
前記ユーザが前記対話において前記発話システムに指示した依頼事項に対し、前記発話システムが当該依頼事項の実行を前記対話の終了時に完了しているか否かを判定する判定部と、をさらに備え、
前記特定部は、前記発話システムが前記依頼事項の実行を完了していないと前記判定部が判定した場合に、前記対話の終了の直前の前記システム発話の前記破綻尤度を、前記システム発話が会話の流れを破綻させていることを示す値とする、
請求項１から５のいずれか一項に記載の評価装置。
【請求項８】
前記判定部は、対話を終了させるための前記応答発話に基づいて、前記対話の終了時に前記依頼事項の実行が完了しているか否かを判定する、
請求項７に記載の評価装置。
【請求項９】
前記判定部は、１以上のシステム発話と、前記依頼事項の実行が完了したか否かの依頼事項完了情報と、応答発話と、を含む対話履歴を含む対話終了状況情報を参照し、前記対話の終了の直前の文脈に類似する当該対話履歴に含まれる前記依頼事項完了情報に基づいて、前記対話の終了時に前記依頼事項の実行が完了しているか否かを判定する、
請求項７又は８に記載の評価装置。
【請求項１０】
前記特定部が特定した前記破綻尤度が基準値より高い場合に、対話が破綻していたか否かをユーザに確認するためのシステム発話を発し、当該システム発話に対するユーザの応答発話に基づいて、対話が破綻していたか否かを検証する検証部をさらに備える、
請求項１から９のいずれか一項に記載の評価装置。
【請求項１１】
システム発話と、当該システム発話に関連付けられた破綻尤度と、応答発話と、を含む対話履歴を示す破綻尤度履歴情報を参照し、最新のユーザの応答発話を含む対話の文脈に類似する前記対話履歴に含まれ、当該対話履歴において前記最新のユーザの応答発話の直後に発せられ、且つ、所定の閾値より高い前記破綻尤度が関連付けられている前記システム発話をユーザに対して発する能動収集部と、
前記能動収集部が発した前記システム発話にユーザが応答した応答発話を記憶部に記憶させる記憶制御部と、をさらに備える、
請求項１から１０のいずれか一項に記載の評価装置。
【請求項１２】
コンピュータが実行する、
発話システムが発した発話であるシステム発話と、当該システム発話に対してユーザが応答した発話である応答発話とを取得するステップと、
一の前記応答発話に基づいて、前記一の応答発話の直前の前記システム発話が会話の流れを破綻させていることを示す破綻尤度を特定するステップと、
特定した前記破綻尤度を前記一の応答発話の直前の前記システム発話に関連付けて出力するステップと、を備える、
評価方法。
【請求項１３】
コンピュータに、
発話システムが発した発話であるシステム発話と、当該システム発話に対してユーザが応答した発話である応答発話とを取得するステップと、
一の前記応答発話に基づいて、前記一の応答発話の直前の前記システム発話が会話の流れを破綻させていることを示す破綻尤度を特定するステップと、
特定した前記破綻尤度を前記一の応答発話の直前の前記システム発話に関連付けて出力するステップと、
を実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話システムが発したシステム発話を評価するための評価装置、評価方法及びプログラムに関する。
【背景技術】
【０００２】
ユーザの発話に応答して発話システムが発しようとしているシステム発話が適切であるか否かを判定するための判定方法に関する研究開発が行われている。例えば、特許文献１及び非特許文献１には、発しようとしているシステム発話より前の対話の文脈の特徴を解析することによりシステム発話が対話を破綻させるか否かを推定することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１４７２８８号公報
【非特許文献】
【０００４】
【非特許文献１】杉山  弘晃、ＮＴＴコミュニケーション科学基礎研究所、”発話生成における誤りパターンの分析に基づく対話破綻検出”、人工知能学会、言語・音声理解と対話処理研究会 78、2016年10月、p.81-84
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来の技術では、発しようとしているシステム発話より前の対話の文脈の特徴を解析することによりシステム発話が対話の流れを破綻させるか否かを予測している。しかしながら、対話のパターンは多様であり、対話のパターンを網羅することが困難であるため、従来の技術では、対話の流れを破綻させるか否かの予測の精度が低いという問題があった。
【０００６】
そこで、本発明は、この点に鑑みてなされたものであり、システム発話が会話を破綻させている程度をより精度よく求めることができる評価装置、評価方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様の評価装置は、発話システムが発した発話であるシステム発話と、当該システム発話に対してユーザが応答した発話である応答発話とを取得する取得部と、一の前記応答発話に基づいて、前記一の応答発話の直前の前記システム発話が会話の流れを破綻させている尤度を示す破綻尤度を特定する特定部と、特定した前記破綻尤度を前記一の応答発話の直前の前記システム発話に関連付けて出力する出力部と、を備える。
【０００８】
前記特定部は、前記一の前記応答発話に含まれる特徴的単語に基づいて会話の破綻の種別を特定し、前記出力部は、特定した前記破綻尤度と特定した種別とを前記システム発話に関連付けて出力してもよい。前記特定部は、取得した前記応答発話を機械学習の学習済みモデルに入力し、前記学習済みモデルから出力される破綻尤度を取得することにより、前記破綻尤度を特定してもよい。
【０００９】
前記一の応答発話に含まれる特徴的単語を抽出する抽出部をさらに備え、前記特定部は、特徴的単語と前記破綻尤度とを関連付けた辞書情報を参照し、前記抽出部が抽出した特徴的単語と同一の特徴的単語に関連付けられている前記破綻尤度を特定し、特定した前記破綻尤度に基づいて、前記一の応答発話の直前の前記システム発話の前記破綻尤度を特定してもよい。
【００１０】
前記応答発話を発したユーザの破綻尤度の特性を示すユーザ特性情報と、複数の他のユーザにおける破綻尤度の平均的特性を示す平均的特性情報とに基づいて、当該ユーザの破綻尤度の特性が当該平均的特性に近付くように、前記特定部が特定した前記破綻尤度を調整する特性調整部をさらに備えてもよい。
【００１１】
システム発話と、当該システム発話に関連付けられた破綻尤度と、応答発話と、を含む対話履歴を示す破綻尤度履歴情報を参照し、前記取得部が取得した前記システム発話を含む対話の文脈に類似する前記対話履歴に含まれる前記システム発話に関連付けられた前記破綻尤度に基づいて、前記特定部が特定した前記破綻尤度を調整する類型調整部をさらに備えてもよい。
【００１２】
前記発話システムと前記ユーザとの間の対話の終了を検知する検知部と、前記ユーザが前記対話において前記発話システムに指示した依頼事項に対し、前記発話システムが当該依頼事項の実行を前記対話の終了時に完了しているか否かを判定する判定部と、をさらに備え、前記特定部は、前記発話システムが前記依頼事項の実行を完了していないと前記判定部が判定した場合に、前記対話の終了の直前の前記システム発話の前記破綻尤度を、前記システム発話が会話の流れを破綻させていることを示す値としてもよい。
【００１３】
前記判定部は、対話を終了させるための前記応答発話に基づいて、前記対話の終了時に前記依頼事項の実行が完了しているか否かを判定してもよい。前記判定部は、１以上のシステム発話と、前記依頼事項の実行が完了したか否かの依頼事項完了情報と、応答発話と、を含む対話履歴を含む対話終了状況情報を参照し、前記対話の終了の直前の文脈に類似する当該対話履歴に含まれる前記依頼事項完了情報に基づいて、前記対話の終了時に前記依頼事項の実行が完了しているか否かを判定してもよい。
【００１４】
前記評価装置は、前記特定部が特定した前記破綻尤度が基準値より高い場合に、対話が破綻していたか否かをユーザに確認するためのシステム発話を発し、当該システム発話に対するユーザの応答発話に基づいて、対話が破綻していたか否かを検証する検証部をさらに備えてもよい。
【００１５】
前記評価装置は、システム発話と、当該システム発話に関連付けられた破綻尤度と、応答発話と、を含む対話履歴を示す破綻尤度履歴情報を参照し、最新のユーザの応答発話を含む対話の文脈に類似する前記対話履歴に含まれ、当該対話履歴において前記最新のユーザの応答発話の直後に発せられ、且つ、所定の閾値より高い前記破綻尤度が関連付けられている前記システム発話をユーザに対して発する能動収集部と、前記能動収集部が発した前記システム発話にユーザが応答した応答発話を記憶部に記憶させる記憶制御部と、をさらに備えてもよい。
【００１６】
本発明の第２の態様による評価方法は、コンピュータが実行する、発話システムが発した発話であるシステム発話と、当該システム発話に対してユーザが応答した発話である応答発話とを取得するステップと、一の前記応答発話に基づいて、前記一の応答発話の直前の前記システム発話が会話の流れを破綻させていることを示す破綻尤度を特定するステップと、特定した前記破綻尤度を前記一の応答発話の直前の前記システム発話に関連付けて出力するステップと、を備える。
【００１７】
本発明の第３の態様によるプログラムは、コンピュータに、発話システムが発した発話であるシステム発話と、当該システム発話に対してユーザが応答した発話である応答発話とを取得するステップと、一の前記応答発話に基づいて、前記一の応答発話の直前の前記システム発話が会話の流れを破綻させていることを示す破綻尤度を特定するステップと、特定した前記破綻尤度を前記一の応答発話の直前の前記システム発話に関連付けて出力するステップと、を実行させる。
【発明の効果】
【００１８】
本発明によれば、システム発話が会話を破綻させている程度をより精度よく求めることができるという効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】第１実施形態に係る評価システムの概要について説明するための図である。
【図２】評価装置の構成を示す図である。
【図３】特定部が破綻尤度と破綻の種別とを特定する方法を説明するための図である。
【図４】辞書情報に用いる場合の特定部の構成を示す。
【図５】特性調整部の構成を示す図である。
【図６】類型調整部の構成を示す図である。
【図７】第２尤度調整部による破綻尤度の調整方法について説明するための図である。
【図８】検証部の構成を示す図である。
【図９】能動収集部によるシステム発話のユーザへの提示方法を説明するための図である。
【図１０】評価装置による破綻尤度の出力処理を示すフローチャートである。
【図１１】第２実施形態の評価装置の構成を示す図である。
【図１２】検知部による対話の終了の類型を説明するための図である。
【発明を実施するための形態】
【００２０】
＜第１実施形態＞
［評価システムＳの概要］
図１は、第１実施形態に係る評価システムＳの概要について説明するための図である。評価システムＳは、発話生成装置３００の発話システムによる発話が会話の流れを破綻させているか否かを評価する。評価システムＳは、複数の携帯端末１００、評価装置２００及び発話生成装置３００を備える。携帯端末１００は、ネットワークＮを介して、評価装置２００と通信可能であり、例えば、スマートフォンである。携帯端末１００は、発話生成装置３００と連携することにより、ユーザとシステムとの対話を実現する。例えば、携帯端末１００は、ユーザが発した発話を発話生成装置３００へ送信し、発話生成装置３００がシステム発話を取得し、内蔵のスピーカにより携帯端末１００のユーザに対して音声出力する。携帯端末１００は、ユーザから発話に対応するテキストの入力を受け付け、システム発話を示すテキストをディスプレイに表示してもよい。
【００２１】
携帯端末１００は、システム発話に対して携帯端末１００のユーザが発した発話である応答発話をマイクロホンにより電気信号に変換し、変換した電気信号を既知の音声認識技術によりテキスト情報に変換する。携帯端末１００は、ネットワークＮを介して、発話生成装置３００の発話システムによるシステム発話と、システム発話に対してユーザが発した発話である応答発話との時系列順の履歴を示す対話履歴情報をテキスト情報として評価装置２００へ送信する。携帯端末１００は、例えば、数秒ごとに対話履歴情報を評価装置２００へ送信する。
【００２２】
評価装置２００は、ネットワークＮを介して、携帯端末１００及び発話生成装置３００と通信する。評価装置２００は、携帯端末１００から対話履歴情報を取得する。評価装置２００は、取得した対話履歴情報に含まれる応答発話に基づいて、この応答発話の直前のシステム発話が会話の流れを破綻させている尤度を示す破綻尤度を特定する。破綻尤度は、会話の流れを破綻させているもっともらしさ（尤度）を示す指標である。破綻尤度は、例えば、０から１までの数値で表され、数値が高いほど会話の流れを破綻させている尤度が高いことを示す。
【００２３】
評価装置２００は、破綻尤度を特定するときに用いた応答発話の直前のシステム発話に特定した破綻尤度を関連付けて発話生成装置３００へ出力する。このとき、評価装置２００は、システム発話を含む対話履歴を発話生成装置３００へ出力する。評価装置２００は、システム発話の直後のユーザの応答発話に基づいて、このシステム発話の破綻尤度を特定する。システム発話の直後のユーザの応答発話は多様性が小さいので、評価装置２００は、システム発話より前の応答発話及びシステム発話の対話履歴を参照して破綻尤度を特定する場合に比べて高い精度で破綻尤度を特定することができる。
【００２４】
発話生成装置３００は、発話システムが搭載されたサーバであり、携帯端末１００において出力するためのシステム発話を生成する。発話生成装置３００は、携帯端末１００及び評価装置２００と通信する。発話生成装置３００は、携帯端末１００からユーザが発した発話を取得し、ユーザの発話の内容に基づいて、システム発話を生成する。発話生成装置３００は、生成したシステム発話を携帯端末１００へ送信する。また、発話生成装置３００は、評価装置２００が特定した破綻尤度をシステム発話にフィードバックさせる。発話生成装置３００は、一例としては、閾値より低い破綻尤度が関連付けられたシステム発話を含む対話履歴をシナリオデータとし、当該シナリオデータをシステム発話を生成するために利用する。
【００２５】
一方、発話生成装置３００は、閾値以上の破綻尤度が関連付けられたシステム発話を含む対話履歴をシナリオデータとして利用しない。閾値は、ユーザと発話システムとの対話においてユーザに許容される破綻尤度の値として当分野の専門家が定める。このような構成により、発話生成装置３００は、破綻尤度が比較的低いシステム発話を含む対話履歴をシナリオデータとして利用することにより、発話システムによる多様な対話を実現しつつ、システム発話により会話の流れが破綻するリスクを低減させることができる。
【００２６】
［評価装置の構成］
図２は、評価装置２００の構成を示す図である。評価装置２００は、通信部１、記憶部２及び制御部３を備える。通信部１は、携帯端末１００及び発話生成装置３００と通信するための通信インターフェースである。記憶部２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部２は、制御部３が実行するプログラムを記憶している。制御部３は、例えばＣＰＵ（Central Processing Unit）である。制御部３は、記憶部２に記憶されたプログラムを実行することにより、破綻検出部３１及び応答収集部３２として機能する。
【００２７】
破綻検出部３１は、システム発話による会話の流れの破綻を検出する。破綻検出部３１は、取得部３１１、特定部３１２、特性調整部３１３、類型調整部３１４及び出力部３１５を備える。取得部３１１は、発話システムが発した発話であるシステム発話と、このシステム発話に対してユーザが応答した発話である応答発話とを携帯端末１００から取得する。例えば、取得部３１１は、システム発話と応答発話との時系列順の履歴を示す対話履歴情報をテキスト情報として数秒ごとに取得する。
【００２８】
［破綻の種別、破綻尤度の特定］
特定部３１２は、一の応答発話に基づいて、この一の応答発話の直前のシステム発話が会話の流れを破綻させている尤度を示す破綻尤度と、破綻の種別とを特定する。特定部３１２は、一の応答発話を解析することにより、この応答発話に特徴的単語が出現する回数を抽出する。特徴的単語は、例えば、破綻尤度の算出に有用な一部の単語であるが、機械学習の場合、学習した全学習データ中に出現する全ての単語であってもよい。例えば、特定部３１２は、応答発話の発話内容「カフェではないです。スーパーですよ。」を解析した場合、「カフェ」「では」「ない」の特徴的単語の出現する回数をそれぞれ１回とする。特定部３１２は、抽出した特徴的単語に基づいて、ユーザの応答発話の直前のシステム発話の破綻の種別と破綻尤度とを算出する。
【００２９】
図３は、特定部３１２が破綻尤度と破綻の種別とを特定する方法を説明するための図である。図３には、システム発話とユーザの応答発話とを時系列に沿って示す。特定部３１２は、図３に示すように、発話ＩＤと、システム発話の発話内容と、破綻の種別と、破綻尤度とを関連付けた出力データを生成する。発話ＩＤ「Ｓ１」〜「Ｓ４」は、システム発話であることを示し、発話ＩＤ「Ｕ１」〜「Ｕ４」は、ユーザの応答発話であることを示す。
【００３０】
例えば、上から１段目では、発話ＩＤ「Ｓ１」と、システム発話の発話内容「学生時代に何かアルバイトしていましたか？」と、破綻の種別「ＮＡ（No applicable）」と、破綻尤度「０」とが関連付けられている。ＮＡは、どの破綻の種別にも該当しないことを示す。破綻尤度は、０から１までの数字で示され、数字が大きいほど会話の流れを破綻させているもっともらしさが高いことを示す。
【００３１】
また、発話ＩＤ「Ｓ２」と、システム発話の発話内容「カフェでどんなアルバイトをされたんですか？」と、破綻の種別「訂正」と、破綻尤度「０．８」とが関連付けられている。破綻の種別「訂正」は、システム発話の発話内容「カフェでどんなアルバイトをされたんですか？」の直後のユーザの応答発話の発話内容「カフェではないです。スーパーですよ。」においてシステム発話の発話内容が訂正されたことを示す。特定部３１２は、発話内容が訂正されたため、発話内容「カフェでどんなアルバイトをされたんですか？」に発話内容「学生時代に何かアルバイトしていましたか？」よりも高い０．８の破綻尤度を関連付けている。
【００３２】
また、システム発話の発話内容「ランチもやってるカフェなんですね」に関連付けられた破綻の種別「不明」は、このシステム発話の直後のユーザの応答発話の発話内容「ちょっと何の話をしてるか分かりません。」においてシステム発話の内容が理解できないことをユーザから指摘されたことを示す。特定部３１２は、発話内容が不明であることをユーザから指摘されたことから、発話内容「ランチもやってるカフェなんですね」に発話内容「学生時代に何かアルバイトしていましたか？」よりも高い１．０の破綻尤度を関連付けている。
【００３３】
他の破綻の種別としては、例えば、システム発話の直後のユーザの応答発話においてこのシステム発話の発話内容が否定されたことを示す「否定」や、システム発話の直後のユーザの応答発話においてこのシステム発話の不足している情報（何が／どこ／どのなど）を確認しようとしたことを示す「詳細確認」が挙げられる。
【００３４】
より詳しくは、特定部３１２は、記憶部２が記憶している辞書情報を参照して、システム発話の破綻の種別及び破綻尤度を特定する。図４は、辞書情報に用いる場合の特定部３１２の構成を示す。特定部３１２は、単語特徴抽出部１４１及び尤度算出部１４２を備える。
【００３５】
単語特徴抽出部１４１は、一の応答発話に含まれる特徴的単語を抽出する。記憶部２には、特徴的単語と、破綻尤度と、破綻の種別の特定に有効なスコアとを関連付けた辞書情報が記憶されている。例えば、特徴的単語「ない」には、種別「否定」の１０点のスコアが関連付けられている。特徴的単語「何を」には、種別「詳細確認」の５点のスコアが関連付けられている。
【００３６】
尤度算出部１４２は、単語特徴抽出部１４１が抽出した特徴的単語と同一の特徴的単語に記憶部２において関連付けられている破綻の種別を特定する。尤度算出部１４２は、応答発話に含まれる特徴的単語のスコアを種別ごとに合計する。尤度算出部１４２は、応答発話においてスコアの合計が最も高い種別をこの応答発話の種別として特定する。
【００３７】
例えば、図３の発話ＩＤ「Ｕ４」の応答発話の発話内容「ちょっと何の話をしてるか分かりません。」の特徴的単語「何の」には、種別「詳細確認」の５点のスコアが関連付けられている。また、この応答発話の特徴的単語「分かりません」には、種別「不明」の１０点のスコアが関連付けられている。この場合、尤度算出部１４２は、種別「不明」のスコアが１０点で最も高いことから、図３の応答発話「ちょっと何をしてるか分かりません。」の直前のシステム発話「ランチもやってるカフェなんですね。」の破綻の種別を「不明」であると特定する。
【００３８】
尤度算出部１４２は、単語特徴抽出部１４１が抽出した特徴的単語と同一の特徴的単語に記憶部２において関連付けられている破綻尤度を特定する。尤度算出部１４２は、特定した破綻尤度に基づいて、一の応答発話の直前のシステム発話の破綻尤度を特定する。例えば、尤度算出部１４２は、応答発話に含まれる特徴的単語に関連付けられた破綻尤度の合計をこの応答発話の直前のシステム発話の破綻尤度として特定する。このような構成により、尤度算出部１４２は、辞書情報を用いてシステム発話の破綻尤度を特定する。この場合、尤度算出部１４２は、ユーザの応答発話と破綻尤度との関係を予め機械学習により学習させる必要がないので、このような学習が困難な場合に特に好適である。
【００３９】
また、記憶部２は、破綻の種別ごとに辞書情報を記憶していてもよい。例えば、尤度算出部１４２は、特定したシステム発話の破綻の種別が「訂正」である場合には、訂正用の辞書情報を用いて破綻尤度を特定し、特定したシステム発話の破綻の種別が「否定」である場合には、否定用の辞書情報を用いて破綻尤度を特定してもよい。
【００４０】
一例としては、尤度算出部１４２は、特定したシステム発話の破綻の種別が「訂正」の場合には、特徴的単語「カフェ」に破綻尤度０．２が関連付けられた辞書情報を用いて破綻尤度を特定し、特定したシステム発話の破綻の種別が「否定」である場合には、特徴的単語「カフェ」に破綻尤度０．４が関連付けられた辞書情報を用いて破綻尤度を特定してもよい。
【００４１】
なお、単語特徴抽出部１４１及び尤度算出部１４２は、辞書データを参照して、システム発話の破綻の種別及び破綻尤度を特定する例に限定されない。例えば、単語特徴抽出部１４１及び尤度算出部１４２は、機械学習により、システム発話の破綻の種別及び破綻尤度を特定してもよい。この場合、単語特徴抽出部１４１及び尤度算出部１４２は、応答発話と破綻の種別と破綻尤度とを関連付けた学習データを機械学習手段によって事前に学習した学習済みモデルにより実現される。
【００４２】
単語特徴抽出部１４１及び尤度算出部１４２は、取得部３１１が取得した応答発話を機械学習の学習済みモデルに入力し、学習済みモデルから出力される破綻尤度を取得することにより、破綻尤度を特定する。機械学習手段は、例えば、ニューラルネットワークやSupport Vector Machineを用いる。単語特徴抽出部１４１及び尤度算出部１４２は、取得部３１１が取得したユーザの一の応答発話を入力データとし、破綻の種別と破綻尤度とを出力データとして算出する。
【００４３】
［ユーザの特性による調整］
発話システムによる会話の流れの破綻を許容する範囲は、ユーザによって異なる。例えば、軽微な破綻でも「よく分からない」等の応答発話を発するユーザもいれば、そのまま対話を継続するユーザもいる。また、「訂正」等の特定の種別の破綻応答を返しやすい傾向にあるユーザもいる。特性調整部３１３は、応答発話を発したユーザの破綻尤度の特性を示すユーザ特性情報と、複数の他のユーザにおける破綻尤度の平均的特性を示す平均的特性情報とに基づいて、応答発話を発したユーザの破綻尤度の特性が平均的特性に近付くように、特定部３１２が特定した破綻尤度を調整する。
【００４４】
図５は、特性調整部３１３の構成を示す図である。記憶部２は、発話システムが発したシステム発話及びユーザが発した応答発話の時系列順の対話履歴と、このシステム発話に関連付けられた破綻の種別及び破綻尤度とを破綻尤度履歴情報として記憶している。特性調整部３１３は、記憶部２が記憶している破綻尤度履歴情報を用いてユーザの特性を把握し、破綻尤度を重み付けする。特性調整部３１３は、平均尤度算出部１５１及び第１尤度調整部１５２を備える。平均尤度算出部１５１は、破綻の種別iにおけるユーザuの平均破綻尤度
2020098534.tif 000003
を下記の式（１）で算出する。ここで、N(u)は、ユーザuの全発話数、p(u, i,j)はユーザuのj番目の発話に対する発話の種別iの破綻尤度を示す。
【数１】
2020098534.tif 000004
例えば、平均尤度算出部１５１は、ユーザuが発話システムと１００件の対話を行った場合、１００件の全ての対話における破綻の種別iの平均破綻尤度
2020098534.tif 000005
を求める。平均尤度算出部１５１は、破綻種別iにおける全ユーザの平均破綻尤度
2020098534.tif 000006
を下記の式（２）により算出する。式中、Mは、ユーザ数を示す。
【数２】
2020098534.tif 000007
【００４５】
第１尤度調整部１５２は、平均尤度算出部１５１が求めたユーザuの平均破綻尤度
2020098534.tif 000008
と、全ユーザの平均破綻尤度
2020098534.tif 000009
とを参照して、ユーザuが特定の破綻の種別に反応しやすい場合、他のユーザの平均的特性に近付くように、ユーザuの破綻尤度を調整する。第１尤度調整部１５２は、調整関数rを用いて、ユーザuのj番目の発話に対する破綻種別iの破綻尤度p(u,i, j)を下記の式（３）のように調整する。
【数３】
2020098534.tif 000010
【００４６】
調整関数rは、ユーザuの特性を全ユーザの平均的特性にどの程度近付けるかを決める係数であり、調整関数rが大きいほど強い調整が行われる。第１尤度調整部１５２は、このような構成により、ユーザの特性による破綻尤度のばらつきを抑制することができる。例えば、他のユーザに比べて破綻を示す反応が大きい傾向があるユーザの応答発話から特定した破綻尤度をより小さく調整し、他のユーザに比べて破綻を示す反応が小さい傾向があるユーザの応答発話から特定した破綻尤度をより大きく調整することができる。
【００４７】
［類似事例の参照］
システム発話に対するユーザの反応は、必ずしも一貫性が保たれず、個々の事例で異なる。例えば、発話システムが同じ対話の文脈において同じシステム発話を発した場合においても、ユーザは「よく分からない。」と応答する場合もあれば、話題転換などによりそのまま対話を継続する場合もある。そこで、類型調整部３１４は、類似事例の破綻尤度を参考にすることにより、複数の類似事例間において破綻尤度のばらつきを小さくする。
【００４８】
類型調整部３１４は、記憶部２が記憶している破綻尤度履歴情報を参照して、取得部３１１が取得したシステム発話を含む対話の文脈に類似する対話履歴を特定する。類型調整部３１４は、特定した対話履歴に含まれるシステム発話に関連付けられた破綻尤度に基づいて、特定部３１２が特定した破綻尤度を調整する。
【００４９】
図６は、類型調整部３１４の構成を示す図である。類型調整部３１４は、類似度算出部１６１及び第２尤度調整部１６２を備える。類似度算出部１６１は、最新のシステム発話を含む対話の文脈と、記憶部２が記憶している破綻尤度履歴情報の文脈との文脈類似度を算出する。
【００５０】
類似度算出部１６１は、最新のシステム発話を含む直近のシステム発話及び応答発話の計Ｎ件について、各発話の類似度の平均を求めることにより、文脈類似度を算出する。このとき、類似度算出部１６１は、例えば、word2vecなど、既知の単語分散表現に基づく類似度算出方式により発話間の類似度を算出する。また、類似度算出部１６１は、より新しい発話の類似度がより古い発話の類似度よりも優先される重み付き平均により、文脈類似度を算出してもよい。類似度算出部１６１は、破綻尤度履歴情報において、最新のシステム発話を含む文脈との文脈類似度が閾値以上の対話履歴を特定する。閾値は、破綻尤度のばらつきを小さくするために適した値として当分野の専門家が定める。
【００５１】
第２尤度調整部１６２は、システム発話の破綻尤度を調整する。図７は、第２尤度調整部１６２による破綻尤度の調整方法について説明するための図である。図７には、取得部３１１が取得した最新のシステム発話を含む対話（対話１）と、破綻尤度履歴情報中の対話履歴（対話２）とを対比して時系列順に示す。対話１と対話２との間において類似度算出部１６１が算出した文脈類似度は、閾値以上であるものとする。
【００５２】
類似度の欄には、同じ列において隣り合う２つの発話の間において類似度算出部１６１が算出した類似度を示す。例えば、対話１におけるシステム発話「学生時代に何かアルバイトをしていましたか？」と、対話２におけるシステム発話「学生時代に何かアルバイトをしていましたか？」との間において類似度算出部１６１が算出した類似度は、完全一致を示す１である。また、対話１におけるシステム発話「スーパーでレジ打ちのバイトをしていました。」と、対話２におけるシステム発話「スーパーで、清掃のアルバイトをしていましたよ。」との間において類似度算出部１６１が算出した類似度は、ほぼ一致することを示す０．８５である。
【００５３】
第２尤度調整部１６２は、取得部３１１が取得した一のシステム発話を含む対話との文脈類似度が閾値以上の対話履歴を全て特定する。第２尤度調整部１６２は、特定した対話履歴において取得部３１１が取得した一のシステム発話に対応し、且つ、当該システム発話と同じ破綻の種別iのシステム発話を全て特定する。第２尤度調整部１６２は、特定したシステム発話に関連付けられた破綻尤度の平均値
2020098534.tif 000011
を求める。
【００５４】
第２尤度調整部１６２は、ユーザuのj番目の発話に対する破綻の種別iの破綻尤度p(u, i, j)を下記の式（４）のように調整する。
【数４】
2020098534.tif 000012
式中、rは、平均値
2020098534.tif 000013
の重みであり、１より小さい値である。rが１に近いほど、平均値
2020098534.tif 000014
が調整後の破綻尤度p’(u, i, j)に強く反映される。第２尤度調整部１６２は、第１尤度調整部１５２による調整後の破綻尤度を式（４）により調整してもよい。類型調整部３１４は、このような構成により、複数の類似事例間において破綻尤度のばらつきを小さくすることができる。
【００５５】
［破綻の種別、破綻尤度の出力］
出力部３１５は、特定部３１２が特定した破綻尤度をこの破綻尤度を特定するときに用いた一の応答発話の直前のシステム発話に関連付けて出力する。例えば、出力部３１５は、特定部３１２が特定した破綻の種別と、特性調整部３１３及び類型調整部３１４が調整した後の破綻尤度と、この破綻尤度の元の応答発話の直前のシステム発話とを関連付けて発話生成装置３００へ出力する。
【００５６】
出力部３１５は、複数のシステム発話及び応答発話の時系列順の対話履歴情報を携帯端末１００から取得部３１１が取得した場合には、この対話履歴情報に含まれるシステム発話に特定部３１２が特定した破綻の種別と、特定した破綻尤度とを関連付けて発話生成装置３００へ出力してもよい。
【００５７】
応答収集部３２は、ユーザとのインタラクションを利用して、破綻の有無の検証や、破綻尤度の高い対話を収集する。応答収集部３２は、検証部３２１、能動収集部３２２及び記憶制御部３２３を備える。
【００５８】
［対話が破綻していたか否かの検証］
検証部３２１は、特定部３１２が特定した破綻尤度が基準値より高い場合に、対話が破綻していたか否かをユーザに確認するためのシステム発話を発する。基準値は、例えば、ユーザが定める。検証部３２１は、このシステム発話に対するユーザの応答発話に基づいて、対話が破綻していたか否かを検証する。
【００５９】
図８は、検証部３２１の構成を示す図である。検証部３２１は、シナリオ選択部１１及び第２判定部１２を備える。記憶部２には、対話が破綻していたか否かをユーザに確認するためのシステム発話として用いる複数のシナリオが記憶されている。シナリオ選択部１１は、特定部３１２が特定した破綻尤度が基準値より高い場合に、記憶部２が記憶しているシナリオのうち、特定部３１２が特定した破綻の種別や尤度に対応するシナリオを選択する。
【００６０】
例えば、特定部３１２が特定した破綻の種別が「不明」、尤度が基準値より所定値だけ高い値であった場合、シナリオ「もしかして、分かりにくかったでしょうか。」を選択する。シナリオ選択部１１は、選択したシナリオを携帯端末１００へ送信し、携帯端末１００のスピーカからシステム発話として発させる。シナリオ選択部１１は、基準値より破綻尤度が高いシステム発話を発した直後に選択したシナリオをユーザに発することが望ましい。
【００６１】
第２判定部１２は、シナリオ選択部１１が選択したシナリオに対するユーザの応答発話を携帯端末１００から取得する。第２判定部１２は、取得した応答発話においてユーザが会話の流れが破綻していたことを肯定したか否定したかを判定する。第２判定部１２は、取得した応答発話においてユーザが会話の流れが破綻していたことを肯定したと判定した場合に、対話履歴情報において、会話の流れが破綻していたことをユーザが肯定したシステム発話と、会話の流れの破綻が生じたことを示す情報とを関連付けて記憶部２に記憶させることを記憶制御部３２３に指示する。
【００６２】
例えば、システム発話が会話の流れを破綻させているか否かをより精度よく判定するための機械学習の学習モデルを作成するには、機械学習のための学習データを準備する必要がある。第２判定部１２は、この学習データとして用いることが可能な情報として、システム発話が会話の流れを破綻させたか否かを示す確度の高い情報を準備することができる。
【００６３】
また、第２判定部１２は、取得した応答発話においてユーザが会話の流れが破綻していたことを肯定したと判定した場合に、会話の流れの修復を試みるリカバリ部として機能してもよい。例えば、第２判定部１２は、ユーザに謝罪したり、話題の転換を図ったりすることにより、発話システムとユーザとの間の対話の流れの修復を試みてもよい。
【００６４】
［破綻尤度の高いシステム発話の提示］
単語特徴抽出部１４１及び尤度算出部１４２が機械学習によりシステム発話の破綻尤度を精度よく特定するためには、破綻尤度が高いシステム発話に対するユーザの多様な応答発話を機械学習の学習データとして準備しておくことが望ましい。そこで、能動収集部３２２は、記憶部２が記憶している破綻尤度履歴情報において所定の閾値より高い破綻尤度が関連付けられたシステム発話を意図的にユーザに発して、発したシステム発話に対するユーザの応答発話を収集することにより、このシステム発話に対する応答発話を含む対話履歴を能動的に収集する。閾値は、収集したい対話の内容に応じて当分野の専門家が定める。
【００６５】
図９は、能動収集部３２２によるシステム発話のユーザへの提示方法を説明するための図である。能動収集部３２２は、記憶部２が記憶している破綻尤度履歴情報を参照して、取得部３１１が取得した最新の応答発話を含む対話の文脈との文脈類似度が基準値より高い複数の対話履歴を特定する。基準値は、対話の状況が類似することを示す値として当分野の専門家が定める。図９の例では、能動収集部３２２は、最新の応答発話を含む対話（対話Ａ）の文脈に類似する対話履歴として対話履歴１及び対話履歴２を特定したものとする。
【００６６】
能動収集部３２２は、特定した複数の対話履歴において取得部３１１が取得した最新の応答発話に対応する応答発話の直後に発せられたシステム発話が閾値より高い破綻尤度に関連付けられているか否かを判定する。図９の例において最新の応答対話は、「スーパーでレジ打ちのバイトをしていました。」である。この例において閾値は０．５であるものとする。能動収集部３２２は、最新の応答対話「スーパーでレジ打ちのバイトをしていました。」に対応する対話履歴１の応答発話「スーパーで清掃のアルバイトをしていましたよ。」の直後に発せられたシステム発話「カフェでどんなアルバイトをされたんですか？」に関連付けられた破綻尤度が閾値より高いか否かを判定する。
【００６７】
システム発話「カフェでどんなアルバイトをされたんですか？」に関連付けられた破綻尤度は０．８であるため、能動収集部３２２は、このシステム発話に関連付けられた破綻尤度が閾値より高いと判定する。この場合、能動収集部３２２は、このシステム発話「カフェでどんなアルバイトをされたんですか？」を携帯端末１００へ送信し、ユーザに対し、携帯端末１００のスピーカから発させる。
【００６８】
一方、最新の応答対話「スーパーでレジ打ちのバイトをしていました。」に対応する対話履歴２の応答対話「レストランで調理のアルバイトをしていました。」の直後のシステム発話「アルバイト先では忙しかったんですか」に関連付けられた破綻尤度は、０である。この場合、能動収集部３２２は、このシステム発話に関連付けられた破綻尤度が閾値以下であると判定し、このシステム発話を携帯端末１００へ送信しない。能動収集部３２２は、対話の開始から終了までの間において、閾値より高い破綻尤度が関連付けられたシステム発話をユーザへ発する回数を１回程度にとどめることが望ましい。
【００６９】
記憶制御部３２３は、能動収集部３２２が発させたシステム発話に対するユーザの応答発話を携帯端末１００から取得する。記憶制御部３２３は、取得した応答発話を記憶部２に記憶させる。例えば、記憶制御部３２３は、会話の流れに破綻が生じた確度が高い対話履歴として、能動収集部３２２が発させたシステム発話と取得した応答発話とを含む時系列順の対話履歴を記憶部２に記憶させる。
【００７０】
このような構成により、能動収集部３２２は、破綻尤度が高いシステム発話に対する多様な応答発話を収集することができる。能動収集部３２２は、このような応答発話を含む対話履歴を収集し、この対話履歴を機械学習の学習データとして用いることにより、単語特徴抽出部１４１及び尤度算出部１４２が機械学習を利用してシステム発話の破綻尤度の特定する場合の特定の精度を向上させることができる。
【００７１】
また、記憶制御部３２３は、第２判定部１２が取得した応答発話においてユーザが会話の流れが破綻していたことを肯定したと判定した場合に、会話の流れが破綻していたことをユーザが肯定したシステム発話と、会話の流れの破綻が生じたことを示す情報とを関連付けて記憶部２に記憶させる。
【００７２】
［破綻尤度の出力処理］
図１０は、評価装置２００による破綻尤度の出力処理を示すフローチャートである。この処理手順は、例えば、ユーザが携帯端末１００においてシステム発話のためのアプリを起動したときに開始される。
【００７３】
まず、取得部３１１は、発話システムが発した発話であるシステム発話と、このシステム発話に対してユーザが応答した発話である応答発話とを携帯端末１００から取得する（Ｓ１０１）。次に、特定部３１２は、取得部３１１が取得した一の応答発話に基づいて、この一の応答発話の直前のシステム発話が会話の流れを破綻させている尤度を示す破綻尤度と、破綻の種別とを特定する（Ｓ１０２）。出力部３１５は、特定部３１２が特定した破綻尤度と、破綻の種別とを元の応答発話の直前のシステム発話に関連付けて発話生成装置３００へ出力する（Ｓ１０３）。
【００７４】
［本発明による効果］
本実施形態によれば、特定部３１２は、システム発話が対話の流れを破綻させた場合と、破綻させていない場合とでは直後にユーザが発する応答発話が異なることに着目し、直後のユーザの応答発話を利用してシステム発話の破綻尤度を特定している。
【００７５】
従来の方法では、発しようとしているシステム発話より前の対話の文脈において、例えば、発話システムにより発しようとしている発話内容とそれ以前にユーザが発した発話内容との類似度や、対話行為の遷移パターン等の特徴を解析することにより、システム発話が対話を破綻させるか否かを推定していた。しかしながら、対話のパターンは多様であるため、これらの特徴は、一般的な多くの対話システムにおいて有効に働くとは限らないという問題があった。また、発話システムが発するシステム発話を選択する段階で類似度や対話行為の遷移パターンを参照している場合には、冗長な処理となるという問題があった。
【００７６】
これに対し、本実施形態によれば、特定部３１２は、発生システムが発したシステム発話の直後のユーザの応答発話を利用して破綻尤度を特定する。ユーザの応答発話のパターンは多様性が小さいことから、特定部３１２は、比較的少数の学習データを準備することにより、破綻尤度の特定の精度を向上させることができる。特定部３１２は、辞書情報を用いて破綻尤度を特定する場合には、辞書情報のデータ量が小さい場合においても比較的高い精度で破綻尤度を特定することができる。
【００７７】
また、発話システムでは、多様なシステム発話を実現するために、多数の対話履歴をシナリオデータとして準備する必要がある。本実施の形態では、特定部３１２が破綻尤度を特定するので、出力部３１５は、低い破綻尤度が関連付けられた対話履歴を自動獲得することができ、会話の流れを破綻させることを抑制しつつ、発話システムによる多様なシステム発話を実現することができる。
【００７８】
また、特定部３１２は、システム発話により会話の流れを破綻させたことを特定することができる。このとき、リカバリ部は、対話の流れの破綻が生じたことをユーザに謝罪したり、話題を転換させて対話の流れを修正したりすることができる。
【００７９】
＜第２実施形態＞
第２実施形態では、特定部３１２が、対話の終了時にユーザが対話において発話システムに指示した依頼事項としてのタスクの実行を完了したか否かに基づいて、破綻尤度を特定する場合の例について説明する。図１１は、第２実施形態の評価装置４００の構成を示す図である。第２実施形態の破綻検出部３１は、図２の破綻検出部３１と比較すると、検知部４０１及び第１判定部４０２をさらに備える点で異なる。図２と同一の機能ブロックには同じ符号を付して説明を省略する。
【００８０】
［対話の終了の検知］
検知部４０１は、発話システムとユーザとの間の対話の終了を検知する。図１２は、検知部４０１による対話の終了の類型を説明するための図である。対話の終了には、ユーザが応答発話において対話の終了を指示する場合（明示的）と、ユーザが対話以外の操作により発話システムのアプリを終了させる場合（非明示的）とがある。
【００８１】
検知部４０１は、明示的な対話の終了と、非明示的な対話の終了との両方を検知する。例えば、検知部４０１は、ユーザの応答発話において「さようなら」や「もういいよ」等の特定のキーワードが含まれていると判定した場合に、明示的な対話の終了を検知する。また、検知部４０１は、ユーザが対話以外の操作により発話システムのアプリを終了させたことを示す情報を携帯端末１００から取得した場合に、非明示的な対話の終了を検知する。
【００８２】
第１判定部４０２は、ユーザが対話において発話システムに指示した依頼事項としてのタスクに対し、発話システムが当該依頼事項（タスク）の実行を対話の終了時に完了しているか否かを判定する。タスクは、例えば、現在の時刻を通知することや、用語をインターネットにおいて検索することである。図１２に示すように、ユーザが対話を終了させる類型としては、ユーザが発話システムに指示したタスクが完了した後に対話を終了する場合（完了）と、ユーザがタスクの完了を断念して対話を終了する場合（非完了）とがある。図１２には、対話の終了の４つの類型を示す。
【００８３】
図１２の例では、ユーザが指示したタスクは、ユーザの発話の発話内容「今の時刻を教えて」に示すように、現在の時刻を通知することである。完了／明示的の類型では、発話システムは、ユーザの発話に対し、システム発話の発話内容「１６時２４分です。」のとおり現在の時刻を通知しており、タスクを完了している。発話システムは、完了／非明示的の類型においても同様にタスクを完了している。
【００８４】
非完了／明示的の類型では、発話システムは、ユーザの発話に対し、システム発話の発話内容「よく分かりません。」に示すように現在の時刻を通知しておらず、タスクを完了していない。発話システムは、非完了／非明示的の類型においても同様にタスクを完了していない。
【００８５】
第１判定部４０２は、対話を終了させるための応答発話に基づいて、対話の終了時にタスクの実行が完了しているか否かを判定する。第１判定部４０２は、検知部４０１が検知した対話の終了の直前のユーザの応答発話の特徴的単語を抽出する。
【００８６】
例えば、第１判定部４０２は、タスクが完了したことを示す完了スコアと、タスクが完了していないことを示す非完了スコアとを比較することにより、依頼事項を完了したか否かを判定する。第１判定部４０２は、図１２の完了／明示的の類型では、対話の終了直前の応答発話「ありがとう。さようなら」において「ありがとう」をタスクが完了したことを示す特徴的単語として抽出する。この場合、第１判定部４０２は、タスクが完了したことを示す完了スコアを加算する。一方、この応答発話には、タスクを完了していないことを示す特徴的単語は含まれておらず、第１判定部４０２は、タスクが完了していないことを示す非完了スコアを加算しない。第１判定部４０２は、完了スコアが非完了スコアよりも大きいため、タスクを完了したと判定する。
【００８７】
これに対し、第１判定部４０２は、図１２の非完了／明示的の類型では、対話の終了直前の応答発話「ごめん、もういいよ。」において「ごめん」及び「もういいよ。」をタスクが完了していないことを示す特徴的単語として抽出する。この場合、第１判定部４０２は、非完了スコアを加算する。
【００８８】
一方、この応答発話には、タスクを完了したことを示す特徴的単語は含まれておらず、第１判定部４０２は、完了スコアを加算しない。第１判定部４０２は、非完了スコアがタスクを完了したことを示すスコアより大きいため、タスクを完了していないと判定する。なお、第１判定部４０２は、タスクを完了したか否かを記憶部２に記憶された特徴的単語により判定する例に限定されない。例えば、第１判定部４０２は、機械学習の学習済みモデルに対話の終了直前の応答発話を入力することにより、タスクを完了したか否かの判定結果を出力させてもよい。
【００８９】
第１判定部４０２は、検知部４０１が非明示的な対話の終了を検知した場合、対話の終了直前の応答発話においてタスクを完了したか否かを判定することができないことが多い。このため、第１判定部４０２は、対話の終了の直前の対話の文脈に類似する過去の履歴を参照することにより、対話の終了時にタスクの実行が完了しているか否かを判定する。
【００９０】
記憶部２には、時系列順に示された１以上のシステム発話及び応答発話と、タスクの実行が完了したか否かを示す依頼事項完了情報としてのタスク完了情報とを含む対話履歴を含む対話終了状況情報が記憶されている。第１判定部４０２は、この対話終了状況情報を参照し、検知部４０１が検知した対話の終了の直近の文脈との文脈類似度が閾値より高い対話履歴を特定する。例えば、第１判定部４０２は、対話の終了時の直近のシステム発話及び応答発話の計Ｎ件について、各発話の類似度の平均を求めることにより、文脈類似度を算出する。
【００９１】
第１判定部４０２は、対話終了状況情報において検知部４０１が検知した対話の終了の直近の文脈との文脈類似度が閾値以上の対話履歴を特定する。閾値は、例えば、対話の状況が類似していることを示す値として当分野の専門家が定める。第１判定部４０２は、特定した対話履歴に含まれるタスク完了情報に基づいて、対話の終了時にタスクの実行が完了しているか否かを判定する。
【００９２】
例えば、第１判定部４０２は、特定した対話履歴に含まれるタスク完了情報がタスクの実行を完了したことを示している場合に、タスクの実行を完了したと判定し、当該タスク完了情報がタスクの実行を完了していないことを示している場合に、タスクの実行を完了していないと判定する。第１判定部４０２は、対話終了状況情報において対話の終了の直近の文脈との文脈類似度が最も高い対話履歴に含まれるタスク完了情報に基づいて、対話の終了時にタスクの実行が完了しているか否かを判定してもよい。
【００９３】
特定部３１２は、第１実施形態と同様の方法によりシステム発話の破綻尤度と、破綻の種別とを特定する。また、特定部３１２は、対話の終了時の状況により破綻尤度を特定する。ユーザが対話において発話システムに指示したタスクを発話システムが完了していない場合、ユーザと発話システムとの間で会話の流れが破綻しているとみなすことができる。そこで、特定部３１２は、発話システムがタスクの実行を完了していないと第１判定部４０２が判定した場合に、対話の終了の直前のシステム発話の破綻尤度を、システム発話が会話の流れを破綻させていることを示す値とする。このような構成により、特定部３１２は、対話の終了の直前のシステム発話の破綻尤度を精度よく特定することができる。
【００９４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
【符号の説明】
【００９５】
１  通信部
２  記憶部
３  制御部
１１  シナリオ選択部
１２  第２判定部
３１  破綻検出部
３２  応答収集部
１００  携帯端末
１４１  単語特徴抽出部
１４２  尤度算出部
１５１  平均尤度算出部
１５２  第１尤度調整部
１６１  類似度算出部
１６２  第２尤度調整部
２００  評価装置
３００  発話生成装置
３１１  取得部
３１２  特定部
３１３  特性調整部
３１４  類型調整部
３１５  出力部
３２１  検証部
３２２  能動収集部
３２３  記憶制御部
４００  評価装置
４０１  検知部
４０２  第１判定部
【図１】
2020098534.tif 000015
【図２】
2020098534.tif 000016
【図３】
2020098534.tif 000017
【図４】
2020098534.tif 000018
【図５】
2020098534.tif 000019
【図６】
2020098534.tif 000020
【図７】
2020098534.tif 000021
【図８】
2020098534.tif 000022
【図９】
2020098534.tif 000023
【図１０】
2020098534.tif 000024
【図１１】
2020098534.tif 000025
【図１２】
2020098534.tif 000026