(57)【要約】【課題】ユーザの状況に応じて適切に対話途絶の原因を通知する。【解決手段】対話システムは、ユーザとの対話が所定時間以上途切れている場合に、会話途絶状態と判定する会話状態判定手段（１１０）と、会話途絶状態となった原因を特定する原因特定手段（１２０）と、ユーザの感情を判定する感情判定手段（１３０，１４０）と、特定された原因と判定された感情との組み合わせに基づいて、ユーザへの通知内容を決定する決定手段（１５０）と、通知内容をユーザに通知する通知手段（２００）と備える。【選択図】図１
2019095546.tif 000002
【特許請求の範囲】
【請求項１】
ユーザとの対話を行う対話システムであって、
前記ユーザとの対話が所定時間以上途切れている場合に、会話途絶状態と判定する会話状態判定手段と、
前記会話途絶状態となった原因を特定する原因特定手段と、
前記ユーザの感情を判定する感情判定手段と、
前記特定された原因と前記判定された感情との組み合わせに基づいて、前記ユーザへの通知内容を決定する決定手段と、
前記通知内容を前記ユーザに通知する通知手段と
を備えることを特徴とする対話システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザと対話することが可能な対話システムの技術分野に関する。
【背景技術】
【０００２】
この種のシステムとして、異常発生時において、その原因に応じた所定の動作を行うものが知られている。例えば特許文献１では、認識異常が発生した場合に、複数の要因のうち、その認識以上を引き起こしたのがいずれの要因であるかを、各要因を直観的にイメージさせるキャラクタの動作でディスプレイに表示するという装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−０２２９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
対話システムにおいては、システム故障や通信不良によって対話が一時的に途絶してしまうことがある。この場合、対話の途絶の原因が不明な状態が続くことによりユーザは不満を感じてしまうため、どのような原因で対話が途絶しているのかユーザに通知すべきである。しかしながら、対話が途絶した原因をそのまま通知するだけでは、その時のユーザの状況次第で、適切に不満を解消できない可能性もある。
【０００５】
本発明は、例えば上記問題点に鑑みてなされたものであり、ユーザの状況に応じて適切に対話途絶の原因を通知することが可能な対話システムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る対話システムの一態様では、ユーザとの対話を行う対話システムであって、前記ユーザとの対話が所定時間以上途切れている場合に、会話途絶状態と判定する会話状態判定手段と、前記会話途絶状態となった原因を特定する原因特定手段と、前記ユーザの感情を判定する感情判定手段と、前記特定された原因と前記判定された感情との組み合わせに基づいて、前記ユーザへの通知内容を決定する決定手段と、前記通知内容を前記ユーザに通知する通知手段とを備える。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係る対話システムの構成を示すブロック図である。
【図２】本実施形態に係る対話システムの会話途絶時の動作の流れを示すフローチャートである。
【図３】通信以上に寄る会話途絶の原因を判定する方法を示す表である。
【図４】車両が渋滞中のユーザの感情パラメータの一例を示す表である。
【図５】家族とケンカしたユーザの感情パラメータの一例を示す表である。
【図６】感情レベル判定に用いる閾値の初期値の一例を示す表である。
【図７】感情が表に出にくい人の感情レベル判定に用いる閾値の一例を示す表である。
【図８】感情表現が豊かな人の感情レベル判定に用いる閾値の一例を示す表である。
【図９】ユーザの感情が「楽しい」と判定された場合の通知内容の一例を示す表である。
【図１０】ユーザの感情が「イライラ」と判定された場合の通知内容の一例を示す表である。
【図１１】ユーザの感情が「疲労」と判定された場合の通知内容の一例を示す表である。
【図１２】ユーザの感情が「悲しい」と判定された場合の通知内容の一例を示す表である。
【図１３】ユーザの感情が「平常」と判定された場合の通知内容の一例を示す表である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して対話システムの実施形態について説明する。
【０００９】
＜システム構成＞
まず、本実施形態に係る対話システムの全体構成について、図１を参照して説明する。ここに図１は、本実施形態に係る対話システムの構成を示すブロック図である。
【００１０】
図１に示すように、本実施形態に係る対話システムは、サーバ１０と、車両２０と、個人情報データベース３０とで構成されている。サーバ１０は、異常判定モジュール１００及び会話モジュール２００を備えている。車両２０は、通信装置３００、乗員状態検知部４００、ナビゲーション装置５００、異常検知部６００、及びＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）７００を備えている。個人情報データベース３０は、サーバ１０において利用される個人情報を記憶している。なお、このようなシステム構成はあくまで一例であり、例えばサーバ１０及び個人情報データベース３０の一部又は全ての機能が、車両２０に搭載されていてもよい。
【００１１】
異常判定モジュール１００は、システムの異常の原因を特定すると共に、ユーザに対して特定した異常の原因を通知するためのモジュールである。異常判定モジュール１００は、会話途絶判定部１１０、原因判定部１２０、感情判定部１３０、感情レベル判定部１４０、通知内容決定部１５０、及びフィードバック部１６０を備えている。これらの各部位の動作については、後に詳細に説明する。
【００１２】
会話モジュール２００は、車両の搭乗者（即ち、システムのユーザ）との対話を行うためのモジュールである。対話モジュール２００は、主な構成要素として、ユーザの音声を認識するための音声認識部２１０、及びユーザに向けて音声を出力するための音声出力部２２０を備えている。
【００１３】
通信装置３００は、サーバ１０と車両２０との間で通信を行うための装置であり、例えばインターネットを介して情報の送信及び受信を行うことが可能とされている。通信装置は、サーバ１０における異常判定モジュール１００及び会話モジュール２００、車両２０における乗員状態検知部４００、ナビゲーション装置５００、及び異常検知部６００の各々と通信可能に構成されている。
【００１４】
乗員状態検知部４００は、ユーザの状態を検出するために設けられているものであり、カメラ４１０、マイク４２０、及びセンサ４３０を備えて構成されている。カメラ４１０は、車載カメラとして構成されており、ユーザの顔の表情（具体的には、眉、目、口の動き等）や、体の動き（具体的には、体全体、腕、顔の動き等）を撮像する。マイク４２０は、ユーザの声（会話だけでなく、ため息等も含む）を取得する。センサ４３０は、非接触生体センサやハンドル内に内蔵されたセンサとして構成されており、ユーザの心拍や脳波を取得する。乗員状態検知部４００の各部において検出された情報は、通信装置３００を介して、サーバ１０に送信される構成となっている。
【００１５】
ナビゲーション装置５００は、走行経路の表示等によって車両の走行を支援するための装置であり、マイク５１０、スピーカー５２０、及びディスプレイ５３０を備えている。ナビゲーション装置５００は、ＧＰＳ７００から取得される位置情報等を利用してナビゲーションを行うことが可能である。また、本実施形態に係るナビゲーション装置は、マイク５１０、スピーカー５２０を用いて、ユーザとの対話を行うことが可能に構成されている。具体的には、マイク５１０で取得されたユーザの声は、通信装置３００を介して、会話モジュール２００の音声認識部に送信される。一方、音声出力部２２０から出力される音声信号は、通信装置を介して、スピーカー５２０から音声として出力される。
【００１６】
異常検知部６００は、システムの異常を検知する。異常検知部６００は、故障検知部６１０でシステムの故障を検知可能であると共に、通信異常検知部６２０によって通信状況による異常を検知可能である。異常検知部６００で検知された異常に関する情報は、通信装置３００を介して、サーバ１０の異常判定モジュール１００に送信される構成となっている。
【００１７】
＜動作説明＞
次に、本実施形態に係る対話システムの動作（特に、会話途絶状態となった際の動作）について、図２を参照して具体的に説明する。図２は、本実施形態に係る対話システムの会話途絶時の動作の流れを示すフローチャートである。
【００１８】
図２に示すように、本実施形態に係る対話システムの動作時には、会話途絶判定部１１０が、ユーザとの会話が所定時間以上途絶しているか否かを判定する（ステップＳ１１）。なお、ここでの所定時間は、ユーザとの会話において何らかの異常が発生していることを判定するための閾値であり、事前のシミュレーション等によって適切な値（例えば、数秒）設定されている。会話が所定時間以上途絶していないと判定された場合には（ステップＳ１１：ＮＯ）、以降の処理は省略され、一連の処理は終了する。この場合、所定期間後に再びステップＳ１１から処理が開始されてもよい。一方、会話が所定時間以上途絶していないと判定された場合には（ステップＳ１１：ＹＥＳ）、現在のシステムは「会話途絶状態」であると判定され、ステップＳ１２以降の処理が開始される。なお、ここでの会話途絶判定部１１０は、後述する付記における「会話状態判定手段」の一具体例である。
【００１９】
システムが会話途絶状態となった場合には、原因判定部１２０が、会話途絶状態の原因を判定する。原因判定部１２０は、異常検知部６００の故障検知部６１０及び通信異常検知部６２０から入力される情報に基づいて、会話途絶状態の原因を判定する。原因判定部１２０は、例えば故障検知部６１０から通信素子の異常又は故障のダイアグが立っていることを示す情報を受け取った場合、ハードに異常が発生していると判定する一方で、特にダイアグ異常が無い場合には、ハードは正常であると判定する。
【００２０】
ハードが正常である場合、原因判定部１２０は、通信異常検知部からの情報に基づいて、通信異常の原因を判定する。以下では、通信異常の判定方法について、図３を参照して具体的に説明する。図３は、通信異常による会話途絶の原因を判定する方法を示す表である。
【００２１】
図３に示すように、原因判定部１２０は、「通信」、「サーバ」、「アンテナ」、「ＧＰＳ（例えば、道路種別）」に関する情報を用いて、通信異常の原因を判定する。例えば、現象１のように、通信が遅延、サーバが正常、アンテナが正常、ＧＰＳが一般道である場合には、「通信遅延」が異常の原因であると判定する。現象２のように、通信が正常、サーバが処理中（遅延）、アンテナが正常、ＧＰＳが高速道路である場合には、「サーバ処理中」が異常の原因であると判定する。現象３のように、通信がなし、サーバが正常、アンテナが圏外、ＧＰＳが一般道である場合には、「アンテナ圏外」が異常の原因であると判定する。
【００２２】
なお、上述した会話途絶状態の原因やその判定方法はあくまで一例であり、原因判定部１２０は、その他の原因で会話途絶状態になっていることを判定してもよいし、その他の方法で会話途絶状態の原因を判定してもよい。なお、ここでの原因判定部１２０は、後述する付記における「原因特定手段」の一具体例である。
【００２３】
図２に戻り、続いて感情判定部１３０が、ユーザの感情を判定するための情報を乗員状態検知部４００から取得する（ステップＳ１３）。具体的には、感情判定部１３０は、乗員状態検知部４００におけるカメラ４１０、マイク４２０、及びセンサ４３０から、ユーザの顔の表情、体の動き、会話内容、声、心拍、脳波等に関する情報を取得する。なお、これらのユーザに関する情報の具体的な取得方法については、既存の技術を適宜採用することが可能であるため、ここでの詳細な説明は省略する。
【００２４】
続いて、感情判定部１３０は、ユーザから取得した情報に基づいて、現在のユーザの感情（正確には、感情の種類）を判定する（ステップＳ１４）。以下では、図４及び図５を参照して、ユーザの感情を判定する際の動作について具体的に説明する。図４は、車両が渋滞中のユーザの感情パラメータの一例を示す表である。図５は、家族とケンカしたユーザの感情パラメータの一例を示す表である。なお、ここでは、ユーザの感情を、「楽しい」、「イライラ」、「疲れ」、「悲しい」、「平常」の５種類に分類するものとする。
【００２５】
図４に示すように、感情判定部１３０は、例えばユーザの眉、目、口の動き、声、会話、手の動き、心拍の各々について、現在のユーザの感情が５種類のうちいずれの感情に近いかをスコアリングする。車両が渋滞中となっているユーザは、ため息をついたり、「渋滞ムカつく」等の声を発したり、ハンドルをタップしたりしており、心拍数も早めになっている。これらの情報から各感情のスコアリングを行うと、合計スコアは、「楽しい」が２０、「イライラ」が５１０、「疲れ」が１００、「悲しい」が７０、「平常」が０となる。この結果、感情判定部１３０は、最も合計スコアが大きい「イライラ」が現在のユーザの感情であると判定する。
【００２６】
図５に示すように、感情判定部１３０は、例えばユーザの眉、目、口の動き、声、会話、肩の動き、心拍の各々について、現在のユーザの感情が５種類のうちいずれの感情に近いかをスコアリングしてもよい。家族とケンカしたユーザは、泣き声を出したり、「怒らせちゃった」等の声を発したり、肩を上下させたりしており、心拍数は普通である。これらの情報から各感情のスコアリングを行うと、合計スコアは、「楽しい」が２０、「イライラ」が１０、「疲れ」が１２０、「悲しい」が５１０、「平常」が３０となる。この結果、感情判定部１３０は、最も合計スコアが大きい「悲しい」が現在のユーザの感情であると判定する。
【００２７】
再び図２に戻り、感情判定部１３０は、現在のユーザの感情レベルを判定する（ステップＳ１５）。即ち、ステップＳ１４で判定した感情の種類が、どれだけ強いものであるかを判定する。以下では、図６から図８を参照して、ユーザの感情レベルを判定する方法について、具体的に説明する。図６は、感情レベル判定に用いる閾値の初期値の一例を示す表である。図７は、感情が表に出にくい人の感情レベル判定に用いる閾値の一例を示す表である。図８は、感情表現が豊かな人の感情レベル判定に用いる閾値の一例を示す表である。なお、ここでは、ユーザの感情レベルをレベル１から３の３段階で判定するものとする。
【００２８】
図６に示すように、感情判定部１３０は、ステップＳ１４において感情の種類を判定する際に用いた合計スコアを用いて感情レベルを判定する。具体的には、感情判定部１３０は、合計スコアが０〜２５０であればレベル１、２５１〜５００であればレベル２、５０１〜７００であればレベル３であると判定する。このように感情レベルを判定すれば、例えばユーザの感情が「楽しい」と判定された場合に、ユーザがどの程度楽しさを感じているのかを正確に知ることができる。例えば、レベル１の場合は少し楽しい、レベル２の場合はまあまあ楽しい、レベル３の場合はとても楽しいのように、感情の強さを判別できる。
【００２９】
なお、各レベルに対応する合計スコアの値（閾値）は、固定値として設定されるものではなく、状況に応じて変動してもよい。具体的には、フィードバック部１６０によるフィードバック処理によって、より高い精度で感情レベルを判定できるような閾値へと変更されてもよい。フィードバック処理は、例えば後述するシステムによる通知に対するユーザの満足度に基づいて、感情レベルの閾値を調整するようなものであってもよい。この場合、ユーザの満足度は、ユーザの入力によって得られるものであってもよいし、乗員状態検知部４００から得られるユーザの状態に関する情報を用いてもよい。
【００３０】
図７に示すように、フィードバック処理の結果、ユーザが感情を表に出さない人であることが判明した場合、感情レベルを判定するための閾値は、低めに設定される。この場合、図６の初期値と比べると、感情レベルが高く判定されやすくなる。よって、感情が表には出にくいようなユーザであっても、適切に感情レベルを判定できる。なお、図を見ても分かるように、感情の種類によって閾値の下げ幅には差があってもよい。
【００３１】
図８に示すように、フィードバック処理の結果、ユーザが感情表現豊かな人であることが判明した場合、感情レベルを判定するための閾値は、高めに設定される。この場合、図６の初期値と比べると、感情レベルが低く判定されやすくなる。よって、感情表現が豊かなユーザであっても、適切に感情レベルを判定できる。なお、図を見ても分かるように、感情の種類によって閾値の上げ幅には差があってもよい。
【００３２】
以上のように、感情判定部１３０は、感情の種類に加えて、感情レベルを判定する。ただし、感情の種類だけを判定して、感情レベルを判定しない場合であっても、後述する本発明の技術的効果は相応に得られる。ここでの感情判定部１３０は、「感情判定手段」の一具体例である。
【００３３】
再び図２に戻り、続いて通知内容決定部１４０が、ユーザに対する通知内容を決定する（ステップＳ１６）。ここでの通知内容は、会話途絶の原因を含むものであるが、ユーザの感情の種類及び感情レベルに応じて、それぞれ異なる通知内容（通知態様）が決定される。通知内容決定部１４０は、決定した通知内容を車両２０に出力する（ステップＳ１７）。この結果、例えばスピーカー５２０やディスプレイ５３０によってユーザに会話途絶の原因が通知される。なお、ここでの通知内容決定部１４０は、後述する付記における「決定手段」の一具体例であり、スピーカー５２０やマイク５３０は、「通知手段」の一具体例である。
【００３４】
なお、通知内容は、ユーザの感情及び感情レベルだけでなく、例えば個人情報データベースに記憶された特性、性格、好み等を考慮して決定されてもよい。
【００３５】
＜通知内容の具体例＞
次に、ユーザの感情に応じて決定される通知内容について、図９から図１３を参照して具体的に説明する。図９はユーザの感情が「楽しい」と判定された場合の通知内容の一例を示す表である。図１０は、ユーザの感情が「イライラ」と判定された場合の通知内容の一例を示す表である。図１１は、ユーザの感情が「疲労」と判定された場合の通知内容の一例を示す表である。図１２は、ユーザの感情が「悲しい」と判定された場合の通知内容の一例を示す表である。図１３は、ユーザの感情が「平常」と判定された場合の通知内容の一例を示す表である。なお、ここでは、会話途絶状態の原因が、「通信遅延」、「サーバ処理中」、「アンテナ圏外」のいずれかであった場合について説明する。また、一度説明した通知内容と全く同じ通知内容については詳しい説明を省略する。
【００３６】
図９に示すように、ユーザの感情が「楽しい」、感情レベルが「レベル１」、異常原因が「通信遅延」である場合、通知内容は「無回答」として決定される。この場合、ユーザに気にする素振りがないので特に対応はしない（即ち、異常原因は通知されない）。ユーザの感情が「楽しい」、感情レベルが「レベル２」、異常原因が「通信遅延」である場合、通知内容は「場をつなぐ返答」として決定される。この場合、「返答がありませんね。状況を調べます」等の通知がなされる。ユーザの感情が「楽しい」、感情レベルが「レベル３」、異常原因が「通信遅延」である場合、通知内容は「状況報告」として決定される。この場合、「通信が遅延しているようです。少しお待ち下さい」等の通知がなされる。ユーザの感情が「楽しい」、感情レベルが「レベル１」、異常原因が「サーバ処理中」である場合、通知内容は「無回答」として決定される。ユーザの感情が「楽しい」、感情レベルが「レベル２」、異常原因が「サーバ処理中」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「楽しい」、感情レベルが「レベル３」、異常原因が「サーバ処理中」である場合、通知内容は「状況報告」として決定される。この場合、「サーバ処理中のようです。少しお待ち下さい」等の通知がなされる。ユーザの感情が「楽しい」、感情レベルが「レベル１」、異常原因が「アンテナ圏外」である場合、通知内容は「無回答」として決定される。ユーザの感情が「楽しい」、感情レベルが「レベル２」、異常原因が「アンテナ圏外」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「楽しい」、感情レベルが「レベル３」、異常原因が「アンテナ圏外」である場合、通知内容は「状況報告」として決定される。この場合、「ただいま圏外のようです。しばらくすると圏内になります」等の通知がなされる。
【００３７】
上記のように、ユーザの感情が「楽しい」である場合には、会話途絶状態になることによってユーザが不満を感じる可能性は低いと考えられる。このため、通知内容は、比較的簡素なものとして決定される。
【００３８】
図１０に示すように、ユーザの感情が「イライラ」、感情レベルが「レベル１」、異常原因が「通信遅延」である場合、通知内容は「場をつなぐ返答」として決定される。この場合、「返答がありませんね。直ぐに状況を調べます」等の通知がなされる。ユーザの感情が「イライラ」、感情レベルが「レベル２」、異常原因が「通信遅延」である場合、通知内容は「状況報告」として決定される。この場合、「通信が遅延しているようです。２分程お待ち下さい」等の通知がなされる。ユーザの感情が「イライラ」、感情レベルが「レベル３」、異常原因が「通信遅延」である場合、通知内容は「別アプリを提案」として決定される。この場合、「返答が返ってくるまでに、音楽に切り替えますか」等の提案がなされ、ユーザの選択により音楽アプリが起動される。ユーザの感情が「イライラ」、感情レベルが「レベル１」、異常原因が「サーバ処理中」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「イライラ」、感情レベルが「レベル２」、異常原因が「サーバ処理中」である場合、通知内容は「状況報告」として決定される。この場合、「サーバ処理中のようです。２分程お待ち下さい」等の通知がなされる。ユーザの感情が「イライラ」、感情レベルが「レベル３」、異常原因が「サーバ処理中」である場合、通知内容は「別アプリを提案」として決定される。ユーザの感情が「イライラ」、感情レベルが「レベル１」、異常原因が「アンテナ圏外」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「イライラ」、感情レベルが「レベル２」、異常原因が「アンテナ圏外」である場合、通知内容は「状況報告」として決定される。この場合、「ただいま圏外のようです。１ｋｍ先は圏内になります」等の通知がなされる。ユーザの感情が「イライラ」、感情レベルが「レベル３」、異常原因が「アンテナ圏外」である場合、通知内容は「別アプリの提案」として決定される。
【００３９】
上記のように、ユーザの感情が「イライラ」である場合には、会話途絶状態になることによってユーザが不満を感じる可能性が高いと考えられる。このため、通知内容は、ユーザの感情が「楽しい」である場合と比べると、よりレベルの高いものとして決定される（例えば、「イライラ」がレベル１の場合には、「楽しい」のレベル２の通知内容が選択されている）。また、「直ぐに状況を調べます」という丁寧な表現を使ったり、「２分程お待ち下さい」、「１ｋｍ先は圏内になります」のように具体的な数値を出して通知を行うようにしている。更に、レベル３の場合の通知内容として、イライラを解消させるような音楽をかける提案がなされている。
【００４０】
図１１に示すように、ユーザの感情が「疲労」、感情レベルが「レベル１」、異常原因が「通信遅延」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「疲労」、感情レベルが「レベル２」、異常原因が「通信遅延」である場合、通知内容は「状況報告」として決定される。この場合、「通信が遅延しているようです。少々お待ち下さい」等の通知がなされる。ユーザの感情が「疲労」、感情レベルが「レベル３」、異常原因が「通信遅延」である場合、通知内容は「別アプリを提案」として決定される。この場合、「返答が返ってくるまでに、ヒーリング音楽に切り替えますか」等の提案がなされ、ユーザの選択により音楽アプリが起動される。ユーザの感情が「疲労」、感情レベルが「レベル１」、異常原因が「サーバ処理中」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「疲労」、感情レベルが「レベル２」、異常原因が「サーバ処理中」である場合、通知内容は「状況報告」として決定される。この場合、「サーバ処理中のようです。少々お待ち下さい」等の通知がなされる。ユーザの感情が「疲労」、感情レベルが「レベル３」、異常原因が「サーバ処理中」である場合、通知内容は「別アプリを提案」として決定される。ユーザの感情が「疲労」、感情レベルが「レベル１」、異常原因が「アンテナ圏外」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「疲労」、感情レベルが「レベル２」、異常原因が「アンテナ圏外」である場合、通知内容は「状況報告」として決定される。ユーザの感情が「疲労」、感情レベルが「レベル３」、異常原因が「アンテナ圏外」である場合、通知内容は「別アプリの提案」として決定される。
【００４１】
上記のように、ユーザの感情が「疲労」である場合には、会話途絶状態になることによってユーザが不満を感じる可能性が高いと考えられる。ただし、ユーザの感情が「イライラ」である場合と比べると、「少々お待ち下さい」等の多少柔らかい表現が用いられている。また、レベル３の場合の通知内容として、疲れを癒す効果があるヒーリング音楽をかける提案がなされている。
【００４２】
図１２に示すように、ユーザの感情が「悲しい」、感情レベルが「レベル１」、異常原因が「通信遅延」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「悲しい」、感情レベルが「レベル２」、異常原因が「通信遅延」である場合、通知内容は「状況報告」として決定される。ユーザの感情が「悲しい」、感情レベルが「レベル３」、異常原因が「通信遅延」である場合、通知内容は「無回答で見守る」又は「別アプリを提案」として決定される。この場合、「お気に入り又は癒しのアロマをたく」等の動作が行われる。ユーザの感情が「悲しい」、感情レベルが「レベル１」、異常原因が「サーバ処理中」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「悲しい」、感情レベルが「レベル２」、異常原因が「サーバ処理中」である場合、通知内容は「状況報告」として決定される。ユーザの感情が「悲しい」、感情レベルが「レベル３」、異常原因が「サーバ処理中」である場合、通知内容は「無回答で見守る」又は「別アプリを提案」として決定される。ユーザの感情が「悲しい」、感情レベルが「レベル１」、異常原因が「アンテナ圏外」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「悲しい」、感情レベルが「レベル２」、異常原因が「アンテナ圏外」である場合、通知内容は「状況報告」として決定される。ユーザの感情が「悲しい」、感情レベルが「レベル３」、異常原因が「アンテナ圏外」である場合、通知内容は「無回答で見守る」又は「別アプリを提案」として決定される。
【００４３】
上記のように、ユーザの感情が「悲しい」である場合には、会話途絶状態になることによってユーザが不満を感じる可能性が高いと考えられる。特に、レベル３の場合の通知内容として、「無回答で見守る」或いは「お気に入り又は癒しのアロマをたく」という提案がなされることで、悲しんでいるユーザをなぐさめるような通知態様が実現されている。
【００４４】
図１３に示すように、ユーザの感情が「平常」、感情レベルが「レベル１」、異常原因が「通信遅延」である場合、通知内容は「無回答」として決定される。ユーザの感情が「平常」、感情レベルが「レベル２」、異常原因が「通信遅延」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「平常」、感情レベルが「レベル３」、異常原因が「通信遅延」である場合、通知内容は「状況報告」として決定される。ユーザの感情が「平常」、感情レベルが「レベル１」、異常原因が「サーバ処理中」である場合、通知内容は「無回答」として決定される。ユーザの感情が「平常」、感情レベルが「レベル２」、異常原因が「サーバ処理中」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「平常」、感情レベルが「レベル３」、異常原因が「サーバ処理中」である場合、通知内容は「状況報告」として決定される。ユーザの感情が「平常」、感情レベルが「レベル１」、異常原因が「アンテナ圏外」である場合、通知内容は「無回答」として決定される。ユーザの感情が「平常」、感情レベルが「レベル２」、異常原因が「アンテナ圏外」である場合、通知内容は「場をつなぐ返答」として決定される。ユーザの感情が「平常」、感情レベルが「レベル３」、異常原因が「アンテナ圏外」である場合、通知内容は「状況報告」として決定される。
【００４５】
上記のように、ユーザの感情が「平常」である場合には、会話途絶状態になることによってユーザが不満を感じる可能性は低いと考えられる。このため、通知内容は、ユーザの感情が「楽しい」である場合と同様に、比較的簡素なものとして決定される。
【００４６】
＜技術的効果＞
次に、本実施形態に係る対話システムによって得ることのできる技術的効果について詳細に説明する。
【００４７】
図１から図１３を参照して説明したように、本実施形態に係る対話システムによれば、会話途絶状態の原因が、ユーザの感情の種類及び感情レベルに応じて適切な態様で通知される。従って、予期せぬ異常の発生によってユーザとの会話が途絶してしまった場合でも、ユーザに不満を感じさせることなく、その原因を適切に通知することが可能である。特に、ユーザの感情が「イライラ」、「疲労」、「悲しい」のように不満を感じやすくなっている状況においては、会話途絶の原因を簡単に通知しただけでは、かえってユーザの反感を買ってしまうおそれもある。本実施形態に係る対話システムでは、ユーザの感情及び感情レベルによって通知内容を変更することで、ユーザにできるだけ不満を感じさせないような、適切な対応を実現することができる。
【００４８】
＜付記＞
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。
【００４９】
（付記１）
付記１に記載の対話システムは、ユーザとの対話を行う対話システムであって、前記ユーザとの対話が所定時間以上途切れている場合に、会話途絶状態と判定する会話状態判定手段と、前記会話途絶状態となった原因を特定する原因特定手段と、前記ユーザの感情を判定する感情判定手段と、前記特定された原因と前記判定された感情との組み合わせに基づいて、前記ユーザへの通知内容を決定する決定手段と、前記通知内容を前記ユーザに通知する通知手段とを備える。
【００５０】
付記１に記載の対話システムによれば、会話途絶状態の原因（例えば、「通信遅延」や「アンテナ圏外」等）を、ユーザの感情（例えば、「楽しい」や「イライラ」等）に応じた通知内容で通知することができる。これにより、会話が途絶することによるユーザの不満を効果的に低減させることが可能である。
【００５１】
本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う対話システムもまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００５２】
１０  サーバ
２０  車両
３０  個人情報データベース
１００  異常判定モジュール
１１０  会話途絶判定部
１２０  原因判定部
１３０  感情判定部
１４０  感情レベル判定部
１５０  通知内容決定部
１６０  フィードバック部
２００  会話モジュール
２１０  音声認識部
２２０  音声出力部
３００  通信装置
４００  乗員状態検知部
４１０  カメラ
４２０  マイク
４３０  センサ
５００  ナビゲーション装置
５１０  マイク
５２０  スピーカー
５３０  ディスプレイ
６００  異常検知部
６１０  故障検知部
６２０  通信異常検知部
７００  ＧＰＳ
【図１】
2019095546.tif 000003
【図２】
2019095546.tif 000004
【図３】
2019095546.tif 000005
【図４】
2019095546.tif 000006
【図５】
2019095546.tif 000007
【図６】
2019095546.tif 000008
【図７】
2019095546.tif 000009
【図８】
2019095546.tif 000010
【図９】
2019095546.tif 000011
【図１０】
2019095546.tif 000012
【図１１】
2019095546.tif 000013
【図１２】
2019095546.tif 000014
【図１３】
2019095546.tif 000015