(57)【要約】【課題】  適切な返答を行うことのできる電子機器、返答方法及び返答プログラムを提供する。【解決手段】  電子機器１０３は、ユーザにより発せられた第１の音声及び第１の音声の後にユーザにより発せられた第２の音声を受信するマイク２０３と、マイク２０３が受信した第１の音声を解析する解析部３０１と、解析部３０１の第１の音声の解析結果に基づいて、第１の返答を決定する制御部３０１と、第２の音声を受信した場合に、第１の返答を出力するスピーカ２０１と、を備える。【選択図】図３
2017173482.tif 000002
【特許請求の範囲】
【請求項１】
ユーザにより発せられた第１の音声及び当該第１の音声の後に前記ユーザにより発せられた第２の音声を受信するマイクと、
前記マイクが受信した前記第１の音声を解析する解析部と、
前記解析部の前記第１の音声の解析結果に基づいて、第１の返答を決定する制御部と、
前記第２の音声を受信した場合に、前記第１の返答を出力する出力部と、を備える電子機器。
【請求項２】
画像を撮像するカメラを備え、
前記解析部は、前記カメラにより撮像された画像を解析し、
前記制御部は、
前記解析部による前記画像の解析結果に基づいて前記第１の返答を決定する請求項１記載の電子機器。
【請求項３】
前記制御部は、
前記解析部の解析結果に基づいて、
前記マイクが受信した音声の種類を、複数の種類のうちのいずれかの種類に決定し、当該決定した音声の種類に基づいて前記第１の返答の内容を決定する、請求項１記載の電子機器。
【請求項４】
前記制御部は、
前記第１の音声の解析部による解析部による解析結果と、
前記第２の音声の解析部による解析部による解析結果とに基づいて、第２の返答を決定し、
前記出力部は、前記第２の音声の受信を開始した場合に前記第２の返答を出力する、請求項１記載の電子機器。
【請求項５】
画像を撮像するカメラを備え、
前記解析部は、前記カメラにより撮像された画像を解析し、
前記制御部は、
前記カメラにより撮像された画像の前記解析部による解析結果に基づいて前記第２の返答を決定する請求項４記載の電子機器。
【請求項６】
第１の画像を撮像するカメラと、
前記カメラにより前記第１の画像を撮像した後にユーザにより発せられた第２の音声を受信するマイクと、
前記第１の画像を解析する解析部と、
前記解析部の前記第１の画像の解析結果に基づいて、第１の返答を決定する制御部と、
前記第２の音声の受信した場合に、前記第１の返答を出力する出力部と、を備える電子機器。
【請求項７】
ユーザにより発せられた第１の音声及び当該第１の音声の後に前記ユーザにより発せられた第２の音声を受信する受信工程と、
前記受信した前記第１の音声を解析する解析工程と、
前記解析部の前記第１の音声の解析結果に基づいて、第１の返答を決定する決定工程と、
前記第２の音声の受信した場合に、前記第１の返答を出力する出力工程と、を備える返答方法。
【請求項８】
コンピュータを、
ユーザにより発せられた第１の音声及び当該第１の音声の後に前記ユーザにより発せられた第２の音声を受信するマイクが受信した前記第１の音声を解析する解析部、
前記解析部の前記第１の音声の解析結果に基づいて、第１の返答を決定する制御部、及び、
前記第２の音声の受信した場合に、前記第１の返答を出力する出力部として機能させる、返答プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、適切な返答を行うことができる電子機器、返答方法及び返答プログラムに関する。
【背景技術】
【０００２】
従来、人間とコンピュータとの間で対話を行う技術が開発されている。例えば、人の発声する音声のキーワードに反応して、会話中に返答としてのあいづちを出力する技術が開発されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２１１９８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の技術では、対話相手の発話が完了した後で無ければあいづちを作成することができず、適切な返答ではなかった。また、あいづち後の返答の内容が、あいづちと無関係となる場合もあり、この場合、あいづちと返答との間の関連性が乏しく適切な返答ではなかった。
【０００５】
本発明は、上記事情に鑑みなされたもので、適切な返答を行うことのできる電子機器、返答方法及び返答プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、電子機器の一態様は、ユーザにより発せられた第１の音声及び当該第１の音声の後に前記ユーザにより発せられた第２の音声を受信するマイクと、前記マイクが受信した前記第１の音声を解析する解析部と、前記解析部の前記第１の音声の解析結果に基づいて、第１の返答を決定する制御部と、前記第２の音声を受信した場合に、前記第１の返答を出力する出力部と、を備える。
【０００７】
また、返答方法の一態様は、ユーザにより発せられた第１の音声及び当該第１の音声の後に前記ユーザにより発せられた第２の音声を受信する受信工程と、前記受信した前記第１の音声を解析する解析工程と、前記解析部の前記第１の音声の解析結果に基づいて、第１の返答を決定する決定工程と、前記第２の音声の受信した場合に、前記第１の返答を出力する出力工程と、を備える。
【０００８】
また、返答プログラムの一態様は、コンピュータを、ユーザにより発せられた第１の音声及び当該第１の音声の後に前記ユーザにより発せられた第２の音声を受信するマイクが受信した前記第１の音声を解析する解析部、前記解析部の前記第１の音声の解析結果に基づいて、第１の返答を決定する制御部、及び、前記第２の音声の受信した場合に、前記第１の返答を出力する出力部として機能させる。
【発明の効果】
【０００９】
本発明は、適切な返答を行うことのできる電子機器、返答方法及び返答プログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る電子機器の一実施形態を用いた返答システムの概略図である。
【図２】図１に示される電子機器の外観図である。
【図３】図１に示される電子機器の機能ブロック図である。
【図４】図１に示される返答システムの動作の概略図である。
【図５】図１に示される返答システムの動作のフローチャートである。
【図６】図１に示される返答システムで利用される音声・表情画像の内容と解析結果との関係を示す表である。
【図７】図１に示される返答システムで利用されるユーザの表情と感情との対応関係を示した表である。
【図８】図１に示される返答システムで利用される表情と文意及びワードとの組み合わせによる評価の関係を示す表である。
【図９】図１に示される返答システムで利用される音声・表情の解析結果とあいづちとの関係を示す表である。
【図１０】図１に示される返答システムで利用される音声・表情の解析結果と感情の関係を示す表である。
【図１１】図１に示される返答システムで利用される音声・表情の解析結果と返答内容の関係を示す表である。
【図１２】図１に示される返答システムで利用される音声・表情の解析結果と返答画像の関係を示す表である。
【図１３】図１に示される電子機器の変形例で表示される顔画像を示す画面例である。
【図１４】図１に示される返答システムで利用される音声・表情の解析結果と返答内容の関係を示す図１１の表に対応した英語訳を示す表である。
【発明を実施するための形態】
【００１１】
以下、本発明に係る電子機器、返答方法及び返答プログラムの一実施形態について図面を参照して説明する。図１は、本発明に係る電子機器の一実施形態を用いた返答システムの概略図である。なお、以下の説明は、本発明に係る返答方法及び返答プログラムの一実施形態の説明も兼ねる。
【００１２】
図１に示されるように、本実施形態の電子機器１０３を用いた返答システムでは、ユーザ１００の表情１１１、音声１０５を解析して、あいづちとしての第１の返答１０７と、第２の返答１０９を出力する電子機器１０３とから構成される。
【００１３】
なお、本発明における返答には、音声での返答の他に、装置の動きや発光や画像等の視覚的なものこれらを任意に組み合わせたものその他の出力も含まれる。また、電子機器１０３は、あいづちや返答を１つしか出力しないものではなく、それぞれ２つ以上の任意の数を出力することができる。
【００１４】
また、第１の返答１０７であるあいづちとは、相手の発話に合わせてなされる返答のことであり、会話中に投入される返答を含む。
【００１５】
図２に、図１に示される電子機器１０３の外観図を示す。電子機器１０３は、音声を出力するスピーカ２０１と、音を取得する受信部としてのマイク２０３と、外部画像を取得するカメラ２０５と、画像２０７を表示するディスプレイ２０９とを有する。
【００１６】
図３に、図１に示される電子機器の機能ブロック図を示す。図３に示されるように、電子機器１０３は、音声を出力するスピーカ２０１と、音を取得するマイク２０３と、外部画像を取得するカメラ２０５と、画像を表示するディスプレイ２０９と、電子機器全体の動作を制御する制御部３０１と、データや各種プログラム等を記憶する記憶部３０３と、マイク２０３から取得された音声に基づいてユーザ１００が発声した音声１０５の内容を解析する解析部３０５とを備える。これら、スピーカ２０１、マイク２０３、カメラ２０５、ディスプレイ２０９と、制御部３０１、記憶部３０３及び解析部３０５は、互いにバス３０７で接続され、相互にデータや命令の授受が可能となっている。また、無線通信部をもち、記憶部と解析部のいずれかまたは両方を、それぞれの全部もしくは部分的に外部サーバーに置く構成をとるとしても良い。
【００１７】
図４は、図１に示される返答システムの動作の概略図である。なお、図４において、図面で左から右に示される矢印は、矢印方向に時間が流れる時間軸を示す。
【００１８】
図４に示されるように、電子機器１０３は、発話者であるユーザが音声を発声する前の表情画像をカメラ２０５を介して取得すると、この取得した第１の表情画像を解析する。電子機器１０３は、ユーザが音声を発声する前の表情画像として、ユーザが音声を発声する所定時間前、例えば発話の５秒前の表情画像とする。なお、ユーザが音声を発声する前の秒数としては５秒に限定するものではなく、その他適宜な時間に設定することができる。
【００１９】
そして、電子機器１０３は、第１の表情画像の解析結果に基づいて第１の返答としてのあいづちを作成する。
【００２０】
次に、ユーザが音声を発声し、電子機器１０３がユーザが発声した音声とユーザの表情を第２の音声・表情画像として受信した場合、電子機器１０３は、第１の表情画像の解析結果に基づいて第１の返答としてのあいづちを出力する。図４に示される動作では、「ふんふん。」というあいづちが出力されている。「ふんふん。」というあいづちは、英語で表現すると「Ｕｈ−ｈｕｈ．」となる。
【００２１】
また、電子機器１０３は、ユーザが発声した音声とユーザの表情を第２の音声・表情画像として受信して、これを解析する。そして、電子機器１０３は、第１の表情画像の解析結果と、第２の音声・表情の解析結果とに基づいて、第２の返答を出力する。図４に示される動作では、「さすが。やったね。」という返答が出力されている。「さすが。やったね。」という返答は、英語で表現すると「Ｗａｙ  ｔｏ  ｇｏ！  」や「Ａｗｅｓｏｍｅ！」などとなる。
【００２２】
また、電子機器１０３は、第２の音声・表情画像の解析結果に基づいて第３の返答としてのあいづちを作成する。図４に示される動作では、「ふんふん。」というあいづちが作成されている。「ふんふん。」というあいづちは、英語で表現すると「Ｕｈ−ｈｕｈ．」となる。
【００２３】
次に、ユーザが音声を発声し、電子機器１０３がユーザが発声した音声とユーザの表情を第３の音声・表情画像として受信した場合、電子機器１０３は、第３の返答としてのあいづちを出力する。図４に示される動作では、「ふんふん。」というあいづちが出力されている。
【００２４】
また、電子機器１０３は、ユーザが発声した音声とユーザの表情を第３の音声・表情画像として受信して、これを解析する。そして、電子機器は、第３の音声・表情画像の解析結果と、第２の音声・表情の解析結果とに基づいて、第４の返答を出力する。図４に示される動作では、「さすが。やったね。」という返答が出力されている。「さすが。やったね。」という返答は、英語で表現すると「Ｗａｙ  ｔｏ  ｇｏ！  」や「Ａｗｅｓｏｍｅ！」などとなる。以後、図４に示される一連の動作がて適宜繰り返されて実行される。
【００２５】
図５は、図１に示される返答システムの動作のフローチャートである。図５に示されるように、制御部３０１は、カメラ２０５によりユーザの第１の表情画像を取得したか否かを判断する（Ｓ５０１）。
【００２６】
制御部３０１は、第１の表情画像を取得していればステップＳ５０３に移行し（ステップＳ５０１、ＹＥＳ）、第１の表情画像を受信していなければ、待機する（ステップＳ５０１、ＮＯ）。
【００２７】
制御部３０１は、ステップＳ５０３において、第１の表情画像中の表情を解析する。そして、制御部３０１は、ステップＳ５０５において、ステップＳ５０３での第１の表情画像の解析結果に基づいて第１の返答（あいづち）を決定する。ここでの制御部３０１の解析は、例えば表情画像中の、眉、目、口など顔要素の大きさ、形状、位置の変化等に基づいて行われ、画像中の表情分析の周知の技術を用いて実行される。
【００２８】
制御部３０１は、ステップＳ５０７において、第２の音声・表情画像を受信したか否かを判断する。制御部３０１は、第２の音声・表情画像を受信していればステップＳ５０９に移行し（ステップＳ５０７、ＹＥＳ）、第２の音声・表情画像を受信していなければ、待機する（ステップＳ５０７、ＮＯ）。なお、第２の音声・表情画像を受信したか否かを判断するとあるが、第２の音声・表情画像には少なくとも音声情報は含まれているものとする。また、制御部３０５が、表情画像を受信したか否かは、カメラ２０５によりユーザの表情画像が取得できたか否かにより判断する。
【００２９】
制御部３０１は、ステップＳ５０９において、例えばスピーカ２０１からステップＳ５０５にて決定された、第１の返答（あいづち）を出力する。また、図１３等を用いて後述するように、このステップＳ５０９での出力の際、制御部３０１は、音声による返答に加えてディスプレイ２０９から顔画像、光等の音声以外を出力するとしても良い。また、制御部３０１は、ステップＳ５１１において、第２の音声、表情画像中の音声、表情を解析する。
【００３０】
ステップＳ５１３において、制御部３０１は、第１の表情画像の解析結果と、第２の音声・表情画像の解析結果とに基づいて第２の返答を決定する。なお、ステップＳ５０９の処理とステップＳ５１１の処理とは処理順序の前後が入れ替わっても良いし、平行して行っても良い。
【００３１】
制御部３０１は、ステップＳ５１５において、例えばスピーカ２０１から第２の返答を出力する。また、このステップＳ５１５での出力の際、制御部３０１は、音声による返答に加えてディスプレイ２０９から顔画像、光等の音声以外を出力するとしても良い。
【００３２】
制御部３０１は、ステップＳ５１７において、ステップＳ５１１での第２の音声・表情画像の解析結果に基づいて第３の返答（あいづち）を決定する。
【００３３】
制御部３０１は、ステップＳ５１９において、第３の音声・表情画像を受信したか否かを判断する。制御部３０１は、第３の音声・表情画像を受信していればステップＳ５２１に移行し（ステップＳ５１９、ＹＥＳ）、第３の音声・表情画像を受信していなければ、待機する（ステップＳ５１９、ＮＯ）。なお、第３の音声・表情画像を受信したか否かを判断するとあるが、第３の音声・表情画像には少なくとも音声情報は含まれているものとする。また、制御部３０５が、表情画像を受信したか否かは、カメラ２０５によりユーザの表情画像が取得できたか否かにより判断する。
【００３４】
制御部３０１は、ステップＳ５２１において、例えばスピーカ２０１からステップＳ５１７にて決定された第３の返答（あいづち）を出力する。また、また、図１３等を用いて後述するように、このステップＳ５２１での出力の際、制御部３０１は、音声による返答に加えてディスプレイ２０９から顔画像、光等の音声以外を出力するとしても良い。
【００３５】
ステップＳ５２３において、制御部３０１は、第３の音声、表情画像中の音声、表情を解析する。ステップＳ５２５において、制御部３０１は、第２の音声・表情画像の解析結果と、第３の音声・表情画像の解析結果とに基づいて第４の返答を決定する。なお、ステップＳ５２３の処理とステップＳ５２５の処理とは処理順序の前後が入れ替わっても良いし、平行して行っても良い。
【００３６】
制御部３０１は、ステップＳ５２７において、例えばスピーカ２０１から第４の返答を出力する。また、このステップＳ５２７での出力の際、制御部３０１は、音声による返答に加えてディスプレイ２０９から顔画像、光等の音声以外を出力するとしても良い。
【００３７】
図６は、図１に示される返答システムで利用される音声・表情画像の内容と解析結果との関係を示す表である。図６で、最上行が解析結果を示し、２行目以下が音声・表情画像の内容を示す。
【００３８】
制御部３０１は、図６に示される表を利用して、受信した音声・表情画像を解析する。解析結果は、肯定的な評価であるポジティブと、肯定的でも否定的でもない評価であるニュートラルと、否定的な評価であるネガティブとの３種類を有する。
【００３９】
図６に示されるように、制御部３０１は、受信した音声を解析して名詞を抽出する。なお、本実施形態において、名詞その他の品詞、文意の抽出方法は周知の構文解析技術等を利用して行われる。そして、制御部３０１は、名詞として、例えば、カルパッチョ、すしなどの食事、スキー、野球などのレクレーション、温泉、名物などの旅行、彼氏、結婚などの恋愛、歓喜、幸せなどのプラス感情などが受信した音声に含まれている場合は、その音声の種類をポジティブと評価する。
【００４０】
図６に示されるように、制御部３０１は、受信した音声を解析して名詞を抽出する。そして、制御部３０１は、名詞として、例えば、ポジティブ、ネガティブに分類されないもの例えば、ビル、人、草などが受信した音声に含まれている場合は、その音声の種類をニュートラルと評価する。
【００４１】
図６に示されるように、制御部３０１は、受信した音声を解析して名詞を抽出する。そして、制御部３０１は、名詞として、例えば、紛失、殺人などの事故や事件、骨折、風邪などの病気や怪我、失敗、失望、失恋などの後ろ向きの言葉、ごみ、汚染などの不衛生
嫌悪、妬みなどの悪感情、悲しみ、絶望などの負の感情、いじめ、悪口などの社会的否定などの言葉が受信した音声に含まれている場合は、その音声の種類をネガティブと評価する。
【００４２】
図６に示されるように、制御部３０１は、受信した音声を解析してその他の品詞を抽出する。そして、制御部３０１は、その他の品詞として、例えば、いい、すてき、うまいなどの修飾、嬉しい、楽しいなどの感情などが受信した音声に含まれている場合は、その音声の種類をポジティブと評価する。
【００４３】
図６に示されるように、制御部３０１は、受信した音声を解析してその他の品詞を抽出する。そして、制御部３０１は、その他の品詞として、例えば、ポジティブ、ネガティブに分類されないもの、例えば長い、重いなどが受信した音声に含まれている場合は、その音声の種類をニュートラルと評価する。
【００４４】
図６に示されるように、制御部３０１は、受信した音声を解析してその他の品詞を抽出する。そして、制御部３０１は、その他の品詞として、例えば、まずい、汚いなどの修飾、悲しい、嫌などの感情、裏切る、殺す、壊すなどの動詞などが受信した音声に含まれている場合は、その音声の種類をネガティブと評価する。
【００４５】
図６に示されるように、制御部３０１は、受信した音声を解析して文意を抽出する。そして、制御部３０１は、その文意として、例えば、ネガティブ語＋好転（回復、改善など）、例えば、「「犯人」が、「捕まった」。」、「「骨折」が「治った」。」、「「ごみ」が「なくなった」。」などが受信した音声に含まれている場合は、その音声の種類をポジティブと評価する。
【００４６】
図６に示されるように、制御部３０１は、受信した音声を解析して文意を抽出する。そして、制御部３０１は、その文意として、例えば、ポジティブ語又はネガティブ語＋否定、例えば、「きれいではない。」、「まずくはない。」などが受信した音声に含まれている場合は、その音声をニュートラルの種類と評価する。
【００４７】
図６に示されるように、制御部３０１は、受信した音声を解析して文意を抽出する。そして、制御部３０１は、その文意として、例えば、ポジティブ語＋暗転（とりけしなど）、例えば、「「スキー」が「中止」になった。」、「「希望」が「消えた」。」などが受信した音声に含まれている場合は、その音声をネガティブの種類と評価する。なお、中止そのものはニュートラルの評価となる。
【００４８】
図６に示されるように、制御部３０１は、取得した表情画像を解析して表情の種類を抽出する。そして、制御部３０１は、笑顔の場合はポジティブ、怒り・嫌悪・哀しみの場合はネガティブ、そのいずれでもない場合はニュートラルと評価する。
【００４９】
ここで、制御部３０１は、カメラ２０５により撮像された顔画像の表情から、例えば図７に示されるような顔の各要素の状態を抽出することにより感情の種類を判定する。図７は、図１に示される返答システムで利用されるユーザの表情と感情との対応関係を示した表である。図７で、左端列がユーザの感情を示す。
【００５０】
図７に示されるように、制御部３０１は、眉の状態として、眉の間隔があいた場合を笑顔とし、眉の間隔がノーマルとした場合をニュートラル（無感情）とし、眉の間隔が狭まった場合を怒り、嫌悪、哀しむ等とする。なお、以下の説明で、笑顔はポジティブの評価であり、怒り、嫌悪、悲しむはネガティブの評価である。
【００５１】
また、図７に示されるように、制御部３０１は、目／ほおの状態として、ほおがあがる状態を笑顔とし、目が通常状態をニュートラルとし、目が開かれる状態を怒る、細くなる状態を嫌悪、まぶたが下がる状態を哀しむ等とする。
【００５２】
また、図７に示されるように、制御部３０１は、口の状態として、口角があがる状態を笑顔とし、口角が平坦な状態をニュートラルとし、口が閉じた状態、口を開けて歯はを閉じる状態を嫌悪、口角がさがる状態を哀しむ等とする。
【００５３】
なお、制御部３０１は、解析した音声・表情の中に、複数のポジティブ、ニュートラル、ネガティブの解析結果が混ざって含まれていた場合は、例えば、それぞれの個数が最も多い解析結果の種類を選択するとしても良い。例えば、制御部３０１は、受信した音声の中に、ポジティブの名詞が２つあり、ネガティブの名詞が１つであり、怒りの表情を受信した場合は、その音声は、ポジティブの種類の音声と評価する。
【００５４】
また、制御部３０１は、解析した音声の中に、複数のポジティブ、ニュートラル、ネガティブの解析結果が混ざって含まれていた場合は、例えば、ポジティブ、ニュートラル、ネガティブに優先順位をつけておき、この優先順位にしたがってポジティブ、ニュートラル、ネガティブのいずれかを選択するとしても良い。例えば、制御部３０１は、ポジティブを第１順位、ニュートラルを第２順位、ネガティブを第３順位の優先順位としておく。そして、制御部３０１は、受信した音声の中に、ポジティブの名詞が１つあり、ニュートラルの名詞が２つあり、ネガティブの名詞が５つあり、ニュートラルの表情画像を受信した場合は、ポジティブが第１優先順位であることから、この音声をポジティブの種類と評価する。また、例えば、制御部３０１は、受信した音声の中に、ニュートラルの名詞が２つあり、ネガティブの名詞が５つあり、ネガティブの表情画像を受信した場合は、ニュートラルが第２優先順位であることから、この音声の種類をニュートラルと評価する。
【００５５】
また、制御部３０１は、図８に示されるように、文意及びワード（図６にいう、名詞とその他の品詞のことをいう。以下同じ。）と表情画像との組み合わせにより、ポジティブ、ニュートラル、ネガティブを判定しても良い。図８は、図１に示される返答システムで利用される表情と文意及びワードとの組み合わせによる評価の関係を示す表である。
【００５６】
制御部３０１は、図８に示されるように、文意、ワードにより評価されたポジティブ、ニュートラル、ネガティブと、表情の解析結果により得られたポジティブ、ニュートラル、ネガティブの評価とを組み合わせて、ユーザのポジティブ、ニュートラル、ネガティブを評価する。
【００５７】
図８に示されるように、制御部３０１は、文意・ワードがポジティブであり、表情がポジティブの場合、ポジティブと評価する。
【００５８】
図８に示されるように、制御部３０１は、文意・ワードがポジティブであり、表情がニュートラルの場合、ポジティブと評価する。
【００５９】
図８に示されるように、制御部３０１は、文意・ワードがポジティブであり、表情がネガティブの場合、ニュートラルと評価する。
【００６０】
図８に示されるように、制御部３０１は、文意・ワードがニュートラルであり、表情がポジティブの場合、ポジティブと評価する。
【００６１】
図８に示されるように、制御部３０１は、文意・ワードがニュートラルであり、表情がニュートラルの場合、ニュートラルと評価する。
【００６２】
図８に示されるように、制御部３０１は、文意・ワードがニュートラルであり、表情がネガティブの場合、ニュートラルと評価する。
【００６３】
図８に示されるように、制御部３０１は、文意・ワードがネガティブであり、表情がポジティブの場合、ニュートラルと評価する。
【００６４】
図８に示されるように、制御部３０１は、文意・ワードがネガティブであり、表情がニュートラルの場合、ネガティブと評価する。
【００６５】
図８に示されるように、制御部３０１は、文意・ワードがネガティブであり、表情がネガティブの場合、ネガティブと評価する。
【００６６】
図８に示されるように、制御部３０１は、文意・ワードがポジティブであり、表情がネガティブの場合、ニュートラルと評価し、文意・ワードがニュートラルであり、表情がニュートラルの場合、ニュートラルと評価し、文意・ワードがニュートラルであり、表情がネガティブの場合、ニュートラルと評価し、文意・ワードがネガティブであり、表情がポジティブの場合、ニュートラルと評価するのは、これらの場合は、ユーザの話題の本筋がまだ見えてないと推定されるためニュートラルで様子見をするためである。
【００６７】
なお、制御部３０１は、上記判定方法以外にも、例えば、ワードの評価よりも文意の評価を優先させるとしても良いし、ワードが複数あって、文意がない場合、ワードの品詞として、動詞、形容詞、名詞の優先順位でポジティブ、ニュートラル、ネガティブの評価するとしても良い。
【００６８】
また、制御部３０１は、同じ品詞が複数ある場合で反意接続詞がある場合、反意接続詞の後ろの品詞の評価を優先し、同じ品詞が複数ある場合で反意接続詞がない場合、文末から順にピックアップしポジティブ、ニュートラル、ネガティブで最初に２個そろった品詞の評価を選択するとしても良い。
【００６９】
図９は、図１に示される返答システムで利用される音声・表情の解析結果とあいづちとの関係を示す表である。図９の表は、図５に示されるステップＳ５０５、ステップＳ５１７のあいづちの決定動作に利用される表である。なお、図９に示されるように、あいづちは、ユーザが話している最中に出力されるものであるため、制御部３０１は、あいづちとして出力される音声の出力される速さと、あいづちとして出力される画像の表情により、ポジティブ、ニュートラル、ネガティブの間での変化を表現するしている。なお、音声の出力される速さとは、例えば一単位文字が出力される時間、例えば［文字／秒］により定義される。また、日本語の表記で使用される約物、例えば図９に示される長音符などは一文字として音声の出力される速さを計算して良い。なお、図９に示される表情は、例えば電子機器１０３のディスプレイ２０９に表示される表情画像の表現に利用される。
【００７０】
図９に示されるように、制御部３０１は、受信した音声・表情の種類をポジティブと評価した場合は、感情として喜びを選択し、出力するあいづちを「ふんふん。」に決定する。この「ふんふん。」は、英語で表現すると、「Ｕｈ−ｈｕｈ．」となる。また、この場合、制御部３０１は、あいづちの出力の速さをニュートラルの場合のあいづちの出力の速さよりも速くする。また、この場合の表情画像は笑顔となる。
【００７１】
図９に示されるように、制御部３０１は、受信した音声・表情の種類をニュートラルと評価した場合は、出力するあいづちを「ふーん。」に決定する。この「ふんふん。」は、英語で表現すると、「Ｕｈ−ｈｕｈ．」となる。また、この場合、制御部３０１は、あいづちの出力の速さを、ポジティブの場合の速さよりも遅く、かつ、ネガティブの速さよりも早い、中間の速さとする。また、この場合の表情画像は真面目となる。
【００７２】
図９に示されるように、制御部３０１は、受信した音声・表情の種類をネガティブと評価した場合は、出力するあいづちを「ふんふん。」に決定する。この「ふんふん。」は、英語で表現すると、「Ｕｈ−ｈｕｈ．」となる。また、この場合、制御部３０１は、あいづちの出力の速さを、ニュートラルの場合の速さよりも遅いゆっくりの速さとする。また、この場合の表情画像は心配となる。
【００７３】
図１０は、図１に示される返答システムで利用される音声・表情の解析結果と感情の関係を示す表である。図１０の表は、図５に示されるステップＳ５１３の第２の返答の決定動作、及びステップＳ５２５第４の返答の決定動作に利用される表である。制御部３０１は、図１０に示される表を用いて、例えばディスプレイ２０９に表示される画像を変更したりするなどの、第２の返答及び第４の返答の内容を決定する。なお、以下の説明は、図５に示されるステップＳ５１３の第２の返答の決定動作を例に説明するが、ステップＳ５２５の第４の返答の決定動作でも同様に成立する。図１０において、左端列が、第１の表情画像の解析結果であり、最上行が第２の音声・表情画像の解析結果を示している。
【００７４】
図１０に示されるように、制御部３０１は、第１の表情画像の解析結果がポジティブであり、第２の音声・表情画像の解析結果がポジティブである場合は、感情として納得と喜びを選択する。
【００７５】
図１０に示されるように、制御部３０１は、第１の表情画像の解析結果がポジティブであり、第２の音声・表情画像の解析結果がニュートラルである場合は、感情として特になしとする。
【００７６】
図１０に示されるように、制御部３０１は、第１の表情画像の解析結果がポジティブであり、第２の音声・表情画像の解析結果がネガティブである場合は、感情として大きな驚きと同情を選択する。
【００７７】
図１０に示されるように、制御部３０１は、第１の表情画像の解析結果がニュートラルであり、第２の音声・表情画像の解析結果がポジティブである場合は、感情として驚きと喜びを選択する。
【００７８】
図１０に示されるように、制御部３０１は、第１の表情画像の解析結果がニュートラルであり、第２の音声・表情画像の解析結果がニュートラルである場合は、感情として特になしとする。
【００７９】
図１０に示されるように、制御部３０１は、第１の表情画像の解析結果がニュートラルであり、第２の音声・表情画像の解析結果がネガティブである場合は、感情として驚きと同情を選択する。
【００８０】
図１０に示されるように、制御部３０１は、第１の表情画像の解析結果がネガティブであり、第２の音声・表情画像の解析結果がポジティブである場合は、感情として大きな驚きと喜びを選択する。
【００８１】
図１０に示されるように、制御部３０１は、第１の表情画像の解析結果がネガティブであり、第２の音声・表情画像の解析結果がニュートラルである場合は、感情として安堵を選択する。
【００８２】
図１０に示されるように、制御部３０１は、第１の表情画像の解析結果がネガティブであり、第２の音声・表情画像の解析結果がネガティブである場合は、大きな同情を選択する。
【００８３】
図１１は、図１に示される返答システムで利用される音声・表情の解析結果と返答内容の関係を示す表である。図１１の表は、図５に示されるステップＳ５１３の第２の返答の決定動作、及びステップＳ５２５の第４の返答の決定動作に利用される表である。制御部３０１は、図１１に示される表を用いて第２の返答及び第４の返答の内容を決定する。なお、以下の説明は、図５に示されるステップＳ５１３の第２の返答の決定動作を例に説明するが、ステップＳ５２５第４の返答の決定動作でも同様に成立する。図１１において、左端列が、第１の表情画像の解析結果であり、最上行が第２の音声・表情画像の解析結果を示している。
【００８４】
図１１に示されるように、制御部３０１は、第１の表情がポジティブ評価（つまり第１の返答であるあいづちがポジティブの出力）であり、第２の音声・表情画像の解析結果がポジティブである場合は、返答として「さすが。やったね。」を選択する。
【００８５】
図１１に示されるように、制御部３０１は、第１の表情がポジティブ評価であり、第２の音声・表情画像の解析結果がニュートラルである場合は、返答として「そうなんだ。」を選択する。
【００８６】
図１１に示されるように、制御部３０１は、第１の表情がポジティブ評価であり、第２の音声・表情画像の解析結果がネガティブである場合は、返答として「げ！！そんなあ。残念。」を選択する。
【００８７】
図１１に示されるように、制御部３０１は、第１の表情がニュートラル評価であり、第２の音声・表情画像の解析結果がポジティブである場合は、返答として「え？やったじゃん。」を選択する。
【００８８】
図１１に示されるように、制御部３０１は、第１の表情がニュートラル評価であり、第２の音声・表情画像の解析結果がニュートラルである場合は、返答として「ふーん。」とする。
【００８９】
図１１に示されるように、制御部３０１は、第１の表情がニュートラル評価であり、第２の音声・表情画像の解析結果がネガティブである場合は、返答として「え？残念。」を選択する。
【００９０】
図１１に示されるように、制御部３０１は、第１の表情がネガティブ評価であり、第２の音声・表情画像の解析結果がポジティブである場合は、返答として「ほんとに〜？すごいね。」を選択する。
【００９１】
図１１に示されるように、制御部３０１は、第１の表情がネガティブ評価であり、第２の音声・表情画像の解析結果がニュートラルである場合は、返答として「よかったじゃない。」を選択する。
【００９２】
図１１に示されるように、制御部３０１は、第１の表情がネガティブ評価であり、第２・表情画像の音声の解析結果がネガティブである場合は、「あ〜、しょうがないよ〜。」を選択する。
【００９３】
図１２は、図１に示される返答システムで利用される音声・表情の解析結果と返答画像の関係を示す表である。返答画像とは、図２に示されるディスプレイ２０９に表示される例えば人の顔の表情などによる返答を示す画像２０７である。制御部３０１は、図１２に示される表を用いて第２の返答の画像及び第４の返答の画像の内容を決定する。
【００９４】
図１２の表は、図５に示されるステップＳ５１３の第２の返答の決定動作、及びステップＳ５２５の第４の返答の決定動作、に利用される表である。なお、以下の説明は、図５に示されるステップＳ５１３の第２の返答の決定動作を例に説明するが、ステップＳ５２５第４の返答の決定動作でも同様に成立する。図１２おいて、左端列が、第１の表情画像の解析結果であり、最上行が第２の音声・表情画像の解析結果を示している。
【００９５】
図１２に示されるように、制御部３０１は、第１の表情がポジティブ評価（つまり第１の返答であるあいづちがポジティブの出力）であり、第２の音声・表情画像の解析結果がポジティブの評価である場合は、返答画像として「眉；大きくあげる、目；見開く、ほお；あげる、口；口角あげて大きく開き、歯をみせる、あたま；下にうなづく」を選択する。
【００９６】
図１２に示されるように、制御部３０１は、第１の表情がポジティブ評価であり、第２の音声・表情画像の解析結果がニュートラルの評価である場合は、返答画像として「眉；通常間隔、平坦、目；通常、口；通常、あたま；かすかに揺れる程度」を選択する。
【００９７】
図１２に示されるように、制御部３０１は、第１の表情がポジティブ評価であり、第２の音声・表情画像の解析結果がネガティブの評価である場合は、返答画像として「眉；さげて、間隔せまく、目；まぶたさげる、ほお；−、口；あごを落として開く、あたま；うしろへのけぞる」を選択する。
【００９８】
図１２に示されるように、制御部３０１は、第１の表情がニュートラルの評価であり、第２の音声・表情画像の解析結果がポジティブである場合は、返答として「眉；あげる
目；見開く、ほお；あげる、口；口角あげて開く、あたま；うしろに軽くのけぞる」を選択する。
【００９９】
図１２に示されるように、制御部３０１は、第１の表情がニュートラル評価であり、第２の音声・表情画像の解析結果がニュートラルである場合は、返答として「眉；通常間隔、平坦、目；通常、口；通常、あたま；かすかに揺れる程度」とする。
【０１００】
図１２に示されるように、制御部３０１は、第１の表情がニュートラル評価であり、第２の音声・表情画像の解析結果がネガティブである場合は、返答として「眉；あげる、目；見開く、ほお；−、口；口角さげてて開く、あたま；うしろに軽くのけぞる」を選択する。
【０１０１】
図１２に示されるように、制御部３０１は、第１の表情がネガティブ評価であり、第２の音声・表情画像の解析結果がポジティブである場合は、返答として「眉；大きくあげる
目；見開く、ほお；あげる、口；口角あげて開き、歯をみせる、あたま；うしろへのけぞる」を選択する。
【０１０２】
図１２に示されるように、制御部３０１は、第１の表情がネガティブ評価であり、第２の音声・表情画像の解析結果がニュートラルである場合は、返答として「眉；間隔あける
目；−、口；口角少しあげ、少しあける、あたま：軽く下にうなづく」を選択する。
【０１０３】
図１２に示されるように、制御部３０１は、第１の表情がネガティブ評価であり、第２・表情画像の音声の解析結果がネガティブである場合は、「眉；さげて、間隔せまく、目；まぶたさげる、ほお；−、口；口角さげて、すこしひらく、あたま：したにうなづく」を選択する。
【０１０４】
以上のように、本実施形態の電子機器によれば、第１の表情画像を取得した場合に、第１の返答であるあいづちを決定し、第２の音声・表情画像を取得した場合に、第１の返答であるあいづちを出力する。これにより本実施形態の電子機器は、第２の音声・表情画像を受信した場合にすばやくあいづちを出力することができ、ユーザに時間的な遅れを感じさせることなく適切な返答を行うことができる。また、ユーザが音声を発する前にユーザの表情画像を取得しているため、ユーザが話し始める前にあいづちの出力内容を決定することができる。
【０１０５】
また、本実施形態の電子機器によれば、第１の表情画像の解析結果と、第２の音声・表情の解析結果とに基づいて第２の返答を決定して出力する。そのため、本実施形態の電子機器は、第１の表情画像の解析結果に基づいて出力された第１の返答であるあいづちと関連性のある第２の返答を出力することができ、適切な返答を行うことができる。
【０１０６】
また、本実施形態の電子機器によれば、第２の音声・表情画像を取得した場合に、第３の返答であるあいづちを決定し、第３の音声・表情画像を取得した場合に、第３の返答であるあいづちを出力する。これにより本実施形態の電子機器は、第３の音声・表情画像を受信した場合にすばやくあいづちを出力することができ、ユーザに時間的な遅れを感じさせることなく適切な返答を行うことができる。
【０１０７】
また、本実施形態の電子機器によれば、第２の音声・表情画像の解析結果と、第３の音声・表情の解析結果とに基づいて第４の返答を決定して出力する。そのため、本実施形態の電子機器は、第２の音声・表情の解析結果に基づいて出力された第３の返答であるあいづちと関連性のある第４の返答を出力することができ、適切な返答を行うことができる。
【０１０８】
［変形例］
図１３を用いて上記実施形態の電子機器の変形例について説明する。図１３は、図１に示される電子機器の変形例で表示される顔画像を示す画面例である。なお、以下の変形例の説明では、図１から図１２を用いて説明した電子機器の実施形態と異なる点を説明する。また、この変形例は、以下に説明する異なる点以外は、前述の実施形態と同様の構成、効果を有する。
【０１０９】
図１３に示されるように、電子機器の変形例では、第１の返答であるあいづちとして、音声による返答に代えて、若しくは、音声による返答と共に、ディスプレイ２０９に表示される画像によりあいづちを行う。
【０１１０】
例えば、図１３（ａ）に示されるように、制御部３０１は、第１の音声の解析結果がポジティブの種類である場合は、ディスプレイに表示する返答の画像として笑顔の顔画像１００１を選択して出力する。
【０１１１】
例えば、図１３（ｂ）に示されるように、制御部３０１は、第１の音声の解析結果がニュートラルの種類である場合は、ディスプレイに表示する返答の画像として真面目の顔画像１００３を選択して出力する。
【０１１２】
例えば、図１３（ｃ）に示されるように、制御部３０１は、第１の音声の解析結果がネガティブの種類である場合は、ディスプレイに表示する返答の画像として心配の顔画像１００５を選択して出力する。
【０１１３】
このように、上記変形例では、前述の実施形態の効果と同様の効果を得ることができると共に、顔画像による適切なあいづちを出力することができる。
【０１１４】
ここで、上記実施形態の図１１に示される、図１に示される返答システムで利用される音声・表情の解析結果と返答内容の関係を示す表の文言の英語訳したものを図１４を参照して説明する。図１４は、図１に示される返答システムで利用される音声・表情の解析結果と返答内容の関係を示す図１１の表に対応した英語訳を示す表である。なお、以下に説明する図１４に示される英語訳は一例であり、適宜他の英訳を用いるとしても良い。
【０１１５】
図１４に示されるように、制御部３０１は、第１の表情がポジティブ評価（つまり第１の返答であるあいづちがポジティブの出力）であり、第２の音声・表情画像の解析結果がポジティブである場合は、返答として「Ｗａｙ  ｔｏ  ｇｏ！」または「Ａｗｅｓｏｍｅ！」を選択する。
【０１１６】
図１４に示されるように、制御部３０１は、第１の表情がポジティブ評価であり、第２の音声・表情画像の解析結果がニュートラルである場合は、返答として「Ｉ  ｇｏｔ  ｉｔ．」を選択する。
【０１１７】
図１４に示されるように、制御部３０１は、第１の表情がポジティブ評価であり、第２の音声・表情画像の解析結果がネガティブである場合は、返答として「Ｎｏ  ｗａｙ！」または「Ｉ’ｍ  ｓｏｒｒｙ  ｔｏ  ｈｅａｒ  ｔｈａｔ．」を選択する。
【０１１８】
図１４に示されるように、制御部３０１は、第１の表情がニュートラル評価であり、第２の音声・表情画像の解析結果がポジティブである場合は、返答として「Ｔｈａｔ’ｓ  ｇｒｅａｔ！」を選択する。
【０１１９】
図１４に示されるように、制御部３０１は、第１の表情がニュートラル評価であり、第２の音声・表情画像の解析結果がニュートラルである場合は、返答として「Ｉ  ｓｅｅ．」とする。
【０１２０】
図１４に示されるように、制御部３０１は、第１の表情がニュートラル評価であり、第２の音声・表情画像の解析結果がネガティブである場合は、返答として「Ｕｈ−ｏｈ．」または「Ｔｈａｔ’ｓ  ａ  ｓｈａｍｅ．」を選択する。
【０１２１】
図１４に示されるように、制御部３０１は、第１の表情がネガティブ評価であり、第２の音声・表情画像の解析結果がポジティブである場合は、返答として「Ｒｅａｌｌｙ？」または「Ｔｈａｔ’ｓ  ｉｎｃｒｅｄｉｂｌｅ．」を選択する。
【０１２２】
図１４に示されるように、制御部３０１は、第１の表情がネガティブ評価であり、第２の音声・表情画像の解析結果がニュートラルである場合は、返答として「Ｇｏｏｄ  ｆｏｒ  ｙｏｕ．」を選択する。
【０１２３】
図１４に示されるように、制御部３０１は、第１の表情がネガティブ評価であり、第２・表情画像の音声の解析結果がネガティブである場合は、「Ｏｈ  ｎｏ！」または「Ｔｈａｔ’ｓ  ｕｎｆｏｒｔｕｎａｔｅ．」を選択する。
【０１２４】
なお、上記各実施形態は上記内容に限定されるものではなく本発明の趣旨を逸脱しない範囲で変形実施が可能である。
【０１２５】
たとえば、上記電子機器の実施形態は、単体で用いられていても良いが、その他にも、携帯電話、スマートホン、ゲーム機、オーディオ機器、タブレット、ＰＣ、健康器具、時計、テレビ等に組み合わせて搭載されているとしても良い。
【０１２６】
また、上記電子機器の実施形態は、音声の解析結果として、ポジティブ、ニュートラル、ネガティブの３種類としてが、音声の解析結果としてこの３種類に限定されるものではなく、２種類であったり、４種類以上であっても良い。
【符号の説明】
【０１２７】
１００  ユーザ
１０３  電子機器
１０５  音声
１０７  第１の返答（あいづち）
１０９  第２の返答
２０１  スピーカ
２０３  マイク
２０５  カメラ
２０７  画像
２０９  ディスプレイ
３０１  制御部
３０３  記憶部
３０５  解析部
３０７  バス
１００１  喜びの顔画像
１００３  無表情の顔画像
１００５  同情の顔画像
【図１】
2017173482.tif 000003
【図２】
2017173482.tif 000004
【図３】
2017173482.tif 000005
【図４】
2017173482.tif 000006
【図５】
2017173482.tif 000007
【図６】
2017173482.tif 000008
【図７】
2017173482.tif 000009
【図８】
2017173482.tif 000010
【図９】
2017173482.tif 000011
【図１０】
2017173482.tif 000012
【図１１】
2017173482.tif 000013
【図１２】
2017173482.tif 000014
【図１３】
2017173482.tif 000015
【図１４】
2017173482.tif 000016