(57)【要約】【課題】ユーザへの応答精度の向上を図ること。【解決手段】応答装置は、プログラムを実行するプロセッサと、プログラムを記憶する記憶デバイスと、を有し、生体データを取得する取得デバイスと、画像を表示する表示デバイスと、に接続される応答装置であって、プロセッサは、取得デバイスによって取得された応答装置を使用するユーザの生体データに基づいて、ユーザの感情表出対象を特定する対象特定処理と、ユーザの顔画像データに基づいて、ユーザの感情を特定する感情特定処理と、対象特定処理によって特定された感情表出対象と、感情特定処理によって特定されたユーザの感情と、に基づいて、表示デバイスに表示させる画像が示す感情を決定する決定処理と、決定処理によって決定された感情を示す画像データを生成して表示デバイスに出力する生成処理と、を実行することを特徴とする。【選択図】図１１
2020135786.tif 000002
【特許請求の範囲】
【請求項１】
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、生体データを取得する取得デバイスと、画像を表示する表示デバイスと、に接続される応答装置であって、
前記プロセッサは、
前記取得デバイスによって取得された前記応答装置を使用するユーザの生体データに基づいて、前記ユーザの感情表出対象を特定する対象特定処理と、
前記ユーザの顔画像データに基づいて、前記ユーザの感情を特定する感情特定処理と、
前記対象特定処理によって特定された感情表出対象と、前記感情特定処理によって特定された前記ユーザの感情と、に基づいて、前記表示デバイスに表示させる画像が示す感情を決定する決定処理と、
前記決定処理によって決定された感情を示す画像データを生成して前記表示デバイスに出力する生成処理と、
を実行することを特徴とする応答装置。
【請求項２】
請求項１に記載の応答装置であって、
前記対象特定処理では、前記プロセッサは、前記生体データが前記ユーザの顔の画像データである場合に、前記ユーザの顔の画像データに基づいて前記ユーザの顔の向きを特定することにより、前記ユーザの感情表出対象を特定する、
ことを特徴とする応答装置。
【請求項３】
請求項１に記載の応答装置であって、
前記対象特定処理では、前記プロセッサは、前記生体データが前記ユーザの顔の画像データである場合に、前記ユーザの顔の画像データに基づいて前記ユーザの視線方向を特定することにより、前記ユーザの感情表出対象を特定する、
ことを特徴とする応答装置。
【請求項４】
請求項１に記載の応答装置であって、
前記対象特定処理では、前記プロセッサは、前記生体データが前記ユーザの手の画像データである場合に、前記ユーザの手の画像データに基づいて前記ユーザの指さし方向を特定することにより、前記ユーザの感情表出対象を特定する、
ことを特徴とする応答装置。
【請求項５】
請求項１に記載の応答装置であって、
前記対象特定処理では、前記プロセッサは、前記生体データが前記ユーザの音声データを含む場合に、少なくとも前記ユーザの音声データに基づいて、前記ユーザの感情表出対象を特定する、
ことを特徴とする応答装置。
【請求項６】
請求項１に記載の応答装置であって、
前記対象特定処理では、前記プロセッサは、前記ユーザの感情の変化に基づいて、前記ユーザの感情表出対象を特定する、
ことを特徴とする応答装置。
【請求項７】
請求項６に記載の応答装置であって、
前記対象特定処理では、前記プロセッサは、前記ユーザの感情の変化を示す評価値を算出し、前記評価値に基づいて、前記ユーザの感情表出対象を特定する、
ことを特徴とする応答装置。
【請求項８】
請求項７に記載の応答装置であって、
前記対象特定処理では、前記プロセッサは、変化前の前記ユーザの感情が怒りであり、かつ、前記評価値が変化後の前記ユーザの感情を肯定する値である場合に、前記ユーザの感情表出対象を第三者に特定する、
ことを特徴とする応答装置。
【請求項９】
請求項１に記載の応答装置であって、
前記対象特定処理では、前記プロセッサは、前記表示デバイスによって前記ユーザまたは前記応答装置を指し示す画像が表示された結果、前記取得デバイスによって取得された前記指し示す画像に対する前記ユーザの反応データに基づいて、前記ユーザの感情表出対象を前記ユーザまたは前記応答装置のいずれかに特定する、
ことを特徴とする応答装置。
【請求項１０】
請求項１に記載の応答装置であって、
前記決定処理では、前記プロセッサは、前記ユーザの性別に基づいて、前記表示デバイスに表示させる前記画像が示す感情を決定する、
ことを特徴とする応答装置。
【請求項１１】
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、生体データを取得する取得デバイスと、画像を表示する表示デバイスと、に接続される応答装置が実行する応答方法であって、
前記プロセッサは、
前記取得デバイスによって取得された前記応答装置を使用するユーザの生体データに基づいて、前記ユーザの感情表出対象を特定する対象特定処理と、
前記ユーザの顔画像データに基づいて、前記ユーザの感情を特定する感情特定処理と、
前記対象特定処理によって特定された感情表出対象と、前記感情特定処理によって特定された前記ユーザの感情と、に基づいて、前記表示デバイスに表示させる画像が示す感情を決定する決定処理と、
前記決定処理によって決定された感情を示す画像データを生成して前記表示デバイスに出力する生成処理と、
を実行することを特徴とする応答方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザに応答する応答装置および応答方法に関する。
【背景技術】
【０００２】
特許文献１は、人の心理状態がネガティブな状態でもエージェントが人に対して影響力のあるコミュニケーションを行う感情誘導装置を開示する。この感情誘導装置は、生体情報検出センサと人の状態検出センサの少なくとも１つのセンサを用いて人の心理的状況を検出する心理検出手段と、人の置かれている状況を検出する状況検出手段と、心理検出手段で検出した人の心理的状況及び状況検出手段で検出した人の置かれている状況と当該置かれている状況の継続時間に基づいて人の心理状態が不快と感じる状態か否かを判定する心理状態判定手段とを備え、心理状態判定手段で人の心理状態が不快と感じる状態と判定した場合、エージェントが人の心理状態に同調するコミュニケーションを行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５‐２５８８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、ユーザが感情を表現した対象を推定できないため、エージェントがユーザに対して不適切な応答を返し、行動誘発に繋がらない場合が存在する。
【０００５】
本発明は、ユーザへの応答精度の向上を図ることを目的とする。
【課題を解決するための手段】
【０００６】
本願において開示される発明の一側面となる応答装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、生体データを取得する取得デバイスと、画像を表示する表示デバイスと、に接続される応答装置であって、前記プロセッサは、前記取得デバイスによって取得された前記応答装置を使用するユーザの生体データに基づいて、前記ユーザの感情表出対象を特定する対象特定処理と、前記ユーザの顔画像データに基づいて、前記ユーザの感情を特定する感情特定処理と、前記対象特定処理によって特定された感情表出対象と、前記感情特定処理によって特定された前記ユーザの感情と、に基づいて、前記表示デバイスに表示させる画像が示す感情を決定する決定処理と、前記決定処理によって決定された感情を示す画像データを生成して前記表示デバイスに出力する生成処理と、を実行することを特徴とする。
【発明の効果】
【０００７】
本発明の代表的な実施の形態によれば、ユーザへの応答精度の向上を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【０００８】
【図１】図１は、人が怒りの表情を見せているシーンの例を示す説明図である。
【図２】図２は、応答装置の外観図である。
【図３】図３は、応答装置のハードウェア構成例を示すブロック図である。
【図４】図４は、図１に示した感情応答モデルの一例を示す説明図である。
【図５】図５は、ユーザ感情が喜びである場合のユーザの気分を表す統計結果を示すグラフである。
【図６】図６は、ユーザ感情が悲しみである場合のユーザの気分を表す統計結果を示すグラフである。
【図７】図７は、ユーザ感情が驚きである場合のユーザの気分を表す統計結果を示すグラフである。
【図８】図８は、ユーザ感情が怒りである場合のユーザの気分を表す統計結果を示すグラフである。
【図９】図９は、応答装置の機能的構成例を示すブロック図である。
【図１０】図１０は、対象の特定結果を示す図表である。
【図１１】図１１は、視線方向の算出例を示す説明図である。
【図１２】図１２は、ユーザの感情強度の経時的変化を示すグラフである。
【図１３】図１３は、第１対象特定テーブルの一例を示す説明図である。
【図１４】図１４は、第２対象特定テーブルの一例を示す説明図である。
【図１５】図１５は、ユーザ感情特定部による特徴点の抽出例を示す説明図である。
【図１６】図１６は、表情動作特定テーブルの一例を示す説明図である。
【図１７】図１７は、感情定義テーブルの一例を示す説明図である。
【図１８】図１８は、エージェント顔画像の一例を示す説明図である。
【図１９】図１９は、応答装置による応答処理手順例を示すフローチャートである。
【図２０】図２０は、図１９に示した対象特定処理（ステップＳ１９０１）の詳細な処理手順例を示すフローチャートである。
【図２１】図２１は、図２０に示したユーザの生体データに基づく対象特定処理（ステップＳ２００１）の詳細な処理手順例を示すフローチャートである。
【図２２】図２２は、［ユーザとのインタラクションに基づく対象特定処理（１）］の詳細の処理手順例を示すフローチャートである。
【図２３】図２３は、［ユーザとのインタラクションに基づく対象特定処理（２）］の詳細の処理手順例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
＜人が怒りの表情を見せているシーンの例＞
図１は、人が怒りの表情を見せているシーンの例を示す説明図である。（Ａ）は、対話型ロボット１０２が感情応答モデル１０４を適用していない例であり、（Ｂ）は、対話型ロボット１０２が感情応答モデル１０４を適用した例である。感情応答モデル１０４とは、対話型ロボット１０２がユーザ感情に適した感情を表出するためのモデルである。
【００１０】
（Ａ）において、（Ａ１）は、対話型ロボット１０２を使用するユーザ１０１の怒りの対象が第三者１０３である例を示す。対話型ロボット１０２は、ユーザ１０１の怒りを検知すると、その表情を模倣して、同じように怒りを示す顔画像を表示する。これにより、対話型ロボット１０２は、ユーザ１０１とともに、第三者１０３に対して怒りを表出するため、ユーザ１０１は味方が増えたことにより安心感を得ることができ、また、対話型ロボット１０２を見ることで、自分の感情を客観的に見ることができる。したがって、対話型ロボット１０２は、ユーザ１０１の自発的な行動を誘発する。
【００１１】
（Ａ２）は、対話型ロボット１０２を使用するユーザ１０１の怒りの対象が対話型ロボット１０２である例を示す。ユーザ１０１は、対話型ロボット１０２に対して怒りを表出しているにもかかわらず、（Ａ１）と同様に、対話型ロボット１０２は、ユーザ１０１の怒りを検知すると、その表情を模倣して、同じように怒りを示す顔画像を表示する。この場合、対話型ロボット１０２はユーザ１０１の感情を逆なでする。このため、たとえば、ユーザ１０１がさらに怒る、ユーザ１０１が対話型ロボット１０２の使用をやめるなど、対話型ロボット１０２の不適切な応答により、ユーザ１０１の自発的な行動誘発が抑制される。
【００１２】
（Ｂ）において、（Ｂ１）は、対話型ロボット１０２を使用するユーザ１０１の怒りの対象がユーザ１０１自身である例を示す。対話型ロボット１０２は、ユーザ１０１の怒りを検知すると、感情応答モデル１０４により応答すべき感情を悲しみに決定し、悲しみを示す顔画像を表示する。これにより、対話型ロボット１０２は、自分自身に憤りを感じているユーザ１０１に対し、悲しみを表出して、ユーザ１０１の怒りを抑制する。これにより、対話型ロボット１０２は、ユーザ１０１を落ち着かせることができ、ユーザ１０１の自発的な行動を誘発する。
【００１３】
（Ｂ２）は、対話型ロボット１０２を使用するユーザ１０１の怒りの対象が対話型ロボット１０２である例を示す。この場合、対話型ロボット１０２は、（Ｂ１）と同様、ユーザ１０１の怒りを検知すると、感情応答モデル１０４により応答すべき感情を悲しみに決定し、悲しみを示す顔画像を表示する。これにより、対話型ロボット１０２は、（Ａ２）のように、対話型ロボット１０２に憤りを感じているユーザ１０１の怒りを模倣して怒りを表出するのではなく、悲しみを表出して、ユーザ１０１の怒りを抑制する。これにより、対話型ロボット１０２は、ユーザ１０１を落ち着かせることができ、ユーザ１０１の自発的な行動を誘発する。
【００１４】
（Ｂ３）は、対話型ロボット１０２を使用するユーザ１０１の怒りの対象が第三者１０３である例を示す。（Ａ１）と同様、対話型ロボット１０２は、ユーザ１０１の怒りを検知すると、その表情を模倣して、同じように怒りを示す顔画像を表示する。これにより、対話型ロボット１０２は、ユーザ１０１とともに、第三者１０３に対して怒りを表出するため、ユーザ１０１は味方が増えたことにより安心感を得ることができ、また、対話型ロボット１０２を見ることで、ユーザ１０１自身の感情を客観的に見ることができる。したがって、対話型ロボット１０２は、ユーザ１０１の自発的な行動を誘発する。
【００１５】
このように、本実施例では、対話型ロボット１０２は、ユーザ感情表出の対象を特定することにより、ユーザ１０１に対して適切な応答を返し、自発的な行動誘発に繋げるようにする。
【００１６】
＜応答装置の外観＞
図２は、応答装置の外観図である。応答装置２００は、対話型ロボット１０２そのもの、または対話型ロボット１０２に設けられる。応答装置２００は、その正面２００ａに、カメラ２０１、マイク２０２、表示デバイス２０３、およびスピーカ２０４を有する。カメラ２０１は、応答装置２００の正面２００ａからの外観や正面２００ａに到来した対象者を撮像する。カメラ２０１の設置個数は、１個に限らず、周囲を撮像できるようにするため、複数個でもよい。また、カメラ２０１は、超広角カメラでもよく、光の飛行時間を利用して三次元情報を計測可能なＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）カメラでもよい。
【００１７】
マイク２０２は、応答装置２００の正面２００ａにおける音声を入力する。表示デバイス２０３は、対話型ロボット１０２を擬人化したエージェント２３０を表示する。エージェント２３０は、表示デバイス２０３に表示される顔の画像（動画像を含む）である。スピーカ２０４は、エージェント２３０の発話音声やその他音声を出力する。
【００１８】
＜応答装置２００のハードウェア構成例＞
図３は、応答装置２００のハードウェア構成例を示すブロック図である。応答装置２００は、プロセッサ３０１と、記憶デバイス３０２と、駆動回路３０３と、通信インターフェース（通信ＩＦ）３０４と、表示デバイス２０３と、カメラ２０１と、マイク２０２と、センサ３０５と、入力デバイス３０６と、スピーカ２０４と、を有し、バス３０７により接続される。
【００１９】
プロセッサ３０１は、応答装置２００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータ（対象者の顔画像を含む）を記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、フラッシュメモリがある。
【００２０】
駆動回路３０３は、プロセッサ３０１からの指令により応答装置２００の駆動機構を駆動制御することで、対話型ロボット１０２を移動させる。通信ＩＦ３０４は、ネットワークと接続し、データを送受信する。センサ３０５は、物理現象や対象の物理状態を検出する。センサ３０５には、たとえば、対象者との距離を測定する測距センサ、対象者の存否を検出する赤外線センサがある。
【００２１】
入力デバイス３０６は、対象者が接触してデータ入力するためのボタンやタッチパネルである。カメラ２０１、マイク２０２、センサ３０５、入力デバイス３０６を総称して、生体データなど、対象者に関する情報を取得する「取得デバイス３１０」とする。また、通信ＩＦ３０４、表示デバイス２０３、スピーカ２０４を総称して、対象者に情報を出力する「出力デバイス３２０」とする。
【００２２】
なお、駆動回路３０３、取得デバイス３１０および出力デバイス３２０は、応答装置２００外、たとえば、ネットワークを介して応答装置２００と通信可能に接続される対話型ロボット１０２に設けられてもよい。
【００２３】
＜感情応答モデル１０４の一例＞
図４は、図１に示した感情応答モデル１０４の一例を示す説明図である。感情応答モデル１０４は、対象４０１とユーザ感情４０２との組み合わせにより、対話型ロボット１０２が表示するエージェント２３０の応答感情を決定するモデルである。対象４０１とは、ユーザ１０１がユーザ感情４０２を表出する相手であり、たとえば、ユーザ１０１、対話型ロボット１０２、第三者１０３に分類される。ユーザ感情４０２は、ユーザ１０１の感情であり、たとえば、喜び４２１、悲しみ４２２、怒り４２３、および驚き４２４に分類される。
【００２４】
ユーザ感情４０２が喜び４２１、悲しみ４２２、および驚き４２４であれば、対象４０１がユーザ１０１、対話型ロボット１０２、および第三者１０３にかかわらず、対話型ロボット１０２が表示するエージェント２３０の応答感情もそれぞれ「喜び」、「悲しみ」、および「驚き」となる。すなわち、対話型ロボット１０２は、あたかもエージェント２３０がユーザ１０１に共感したかのような感情をエージェント２３０の表情として表出する。
【００２５】
ユーザ感情４０２が怒り４２３である場合、対象４０１が第三者１０３であれば、対話型ロボット１０２が表示するエージェント２３０の応答感情も「怒り」となる。一方、対象４０１がユーザ１０１および対話型ロボット１０２であれば、対話型ロボット１０２が表示するエージェント２３０の応答感情は「悲しみ」となる。特に、ユーザ１０１が男性である場合、対象４０１がユーザ１０１自身であれば、「悲しみ」ではなく、「怒り」になる。
【００２６】
感情応答モデル１０４は、以下に示す図５〜図８に示した統計結果を反映したモデルである。感情応答モデル１０４は、記憶デバイス３０２に格納される。
【００２７】
図５は、ユーザ感情４０２が喜びである場合のユーザ１０１の気分を表す統計結果を示すグラフである。縦軸は、ポジティブ（肯定的、積極的）およびネガティブ（否定的、消極的）の度合いを示す（以下、図６〜図８も同様）。ユーザ１０１の気分を最もポジティブにするエージェント２３０の表情は、対象４０１が（１）ユーザ１０１、（２）対話型ロボット１０２、および（３）第三者１０３にかかわらず、「喜び」である。
【００２８】
図６は、ユーザ感情４０２が悲しみである場合のユーザ１０１の気分を表す統計結果を示すグラフである。ユーザ１０１の気分を最もポジティブにするエージェント２３０の表情は、対象４０１が（１）ユーザ１０１、（２）対話型ロボット１０２、および（３）第三者１０３にかかわらず、「悲しみ」である。
【００２９】
図７は、ユーザ感情４０２が驚きである場合のユーザ１０１の気分を表す統計結果を示すグラフである。ユーザ１０１の気分を最もポジティブにするエージェント２３０の表情は、対象４０１が（１）ユーザ１０１、（２）対話型ロボット１０２、および（３）第三者１０３にかかわらず、「驚き」である。
【００３０】
図８は、ユーザ感情４０２が怒りである場合のユーザ１０１の気分を表す統計結果を示すグラフである。対象４０１が（１）ユーザ１０１である場合、ユーザ１０１の気分を最もポジティブにするエージェント２３０の表情は、「悲しみ」である。ただし、ユーザ１０１が男性である場合、ユーザ１０１の気分を最もポジティブにするエージェント２３０の表情は、「怒り」である。対象４０１が（２）対話型ロボット１０２である場合、ユーザ１０１の気分を最もポジティブにするエージェント２３０の表情は、「悲しみ」である。対象４０１が（３）第三者１０３である場合、ユーザ１０１の気分を最もポジティブにするエージェント２３０の表情は、「怒り」である。
【００３１】
＜応答装置２００の機能的構成例＞
図９は、応答装置２００の機能的構成例を示すブロック図である。応答装置２００は、感情応答モデル１０４と、対象特定部９０１と、ユーザ感情特定部９０２と、決定部９０３と、生成部９０４と、を有する。対象特定部９０１、ユーザ感情特定部９０２、決定部９０３、および生成部９０４は、具体的には、たとえば、図３に示した記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより実現される機能である。
【００３２】
［ユーザ１０１の生体データに基づく対象特定処理］
対象特定部９０１は、取得デバイスによって取得された応答装置２００を使用するユーザ１０１の生体データに基づいて、ユーザ１０１の感情表出の対象４０１を特定する対象特定処理を実行する。ユーザ１０１とは、応答装置２００に顔画像データが記憶デバイス３０２に登録された者である。顔画像データは、応答装置２００のカメラ２０１で撮像された顔画像データとする。顔画像データのほか、ユーザ名（実名でなくてもよい）やユーザ名の音声データが記憶デバイス３０２に登録されていてもよい。
【００３３】
生体データとは、ユーザ１０１の顔や手の画像データやユーザ１０１が発話した音声データを含む。画像データは、対話型ロボット１０２がユーザ１０１と対面する場合に、対話型ロボット１０２の正面に設置されたカメラ２０１により撮像されたデータとする。
【００３４】
図１０は、対象４０１の特定結果を示す図表１０００である。対象特定部９０１は、生体データからユーザ１０１の顔の向きである顔方向１００１、ユーザ１０１の視線方向１００２、ユーザ１０１の手のジェスチャ（指さし方向）１００３、ユーザ１０１の音声１００４を特定することにより、対象４０１を、ユーザ１０１、対話型ロボット１０２、および第三者１０３のいずれかに特定する。
【００３５】
具体的には、たとえば、対象特定部９０１は、生体データがユーザ１０１の顔画像データである場合に、ユーザ１０１の顔画像データに基づいてユーザ１０１の顔方向１００１を特定することにより、ユーザ１０１の感情表出の対象４０１を特定する。たとえば、対象特定部９０１は、ユーザ１０１の顔画像データから、両目頭と鼻尖を示す３つの特徴点を抽出し、当該３つの特徴点の相対的な位置関係からユーザ１０１の顔方向１００１を特定する。そして、対象特定部９０１は、顔方向１００１に基づいて、対象４０１ごとに確信度を算出する。
【００３６】
たとえば、顔方向１００１が正面方向である場合、対象特定部９０１は、ユーザ１０１が対話型ロボット１０２のエージェント２３０を見ていると判断する。したがって、対象特定部９０１は、ユーザ１０１の感情表出の対象４０１が対話型ロボット１０２である確信度：１００％を算出し、ユーザ１０１の感情表出の対象４０１が第三者１０３である確信度：０％を算出する。両確信度は、合計が１００％となるように算出される。
【００３７】
一方、顔方向１００１が正面方向から水平方向に外れるほど、対象特定部９０１は、顔方向１００１に第三者１０３が存在する可能性が高くなる。したがって、顔方向１００１が正面方向から水平方向に外れるほど、対象特定部９０１は、ユーザ１０１の感情表出の対象４０１が対話型ロボット１０２である確信度を低くし、ユーザ１０１の感情表出の対象４０１が第三者１０３である確信度を高くする。そして、対象特定部９０１は、確信度が高い方をユーザ１０１の感情表出の対象４０１として特定する。なお、両確信度が５０％である場合、対象特定部９０１は、対象４０１を特定できなかったことになる。
【００３８】
なお、対象特定部９０１は、第三者１０３の存在を、たとえば、センサ３０５の一例である赤外線センサの検出結果により判断してもよい。たとえば、ユーザ１０１以外の人物の存在を赤外線センサで検出した場合に限り、対象特定部９０１は、ユーザ１０１の感情表出の対象４０１が第三者１０３である確信度を算出してもよい。
【００３９】
また、赤外線センサを使用し、かつ、ユーザ１０１以外の人物の存在が検出されなかった場合に、顔方向１００１が正面方向から外れるほど、ユーザ１０１は、誰も注視していない可能性が高くなる。この場合は、対象特定部９０１は、顔方向１００１が正面方向から外れるほど、ユーザ１０１の感情表出の対象４０１が対話型ロボット１０２である確信度を低くし、ユーザ１０１の感情表出の対象４０１が第三者１０３である確信度を高くすればよい。この場合も、両確信度は、合計が１００％となるように算出される。そして、対象特定部９０１は、確信度が高い方をユーザ１０１の感情表出の対象４０１として特定する。なお、両確信度が５０％である場合、対象特定部９０１は、対象４０１を特定できなかったことになる。
【００４０】
また、対象特定部９０１は、生体データがユーザ１０１の顔画像データである場合に、ユーザ１０１の顔画像データに基づいてユーザ１０１の視線方向１００２を特定することにより、ユーザ１０１の感情表出の対象４０１を特定してもよい。対象特定部９０１は、ユーザ１０１の眼（左右いずれかでよい）の画像データからユーザ１０１の視線方向１００２を特定してもよい。
【００４１】
図１１は、視線方向１００２の算出例を示す説明図である。図１１は、ユーザ１０１の左眼の画像データ１１００を示す。対象特定部９０１は、ユーザ１０１の左眼の画像データ１１００から、目頭１１０１（目尻１１０３でもよい）と虹彩の中心位置１１０２とを特徴点として抽出し、目頭１１０１と虹彩の中心位置１１０２との距離ｄを算出する。
【００４２】
左眼の視線方向１００２が正面を向いている場合の虹彩の中心位置１１０２ａは、たとえば、目頭１１０１と目尻１１０３の中間点とする。この場合、目頭１１０１と虹彩の中心位置１１０２ａとの距離ｄを距離ｄａとする。ｄ＝ｄａの場合、視線方向１００２が正面を向いているものとし、対象特定部９０１は、ユーザ１０１の感情表出の対象４０１が対話型ロボット１０２である確信度：１００％を算出し、ユーザ１０１の感情表出の対象４０１が第三者１０３である確信度：０％を算出する。両確信度は、合計が１００％となるように算出される。
【００４３】
ユーザ１０１が正面より右側に視線を向けると、虹彩の中心位置１１０２ａが右方向に移動する（移動後の虹彩の中心位置１１０２を１１０２ｂとする）。この場合、距離ｄが距離ｄｂ（＜ｄａ）になる。同様に、ユーザ１０１が正面より左側に視線を向けると、虹彩の中心位置１１０２が左方向に移動する（移動後の虹彩の中心位置１１０２を１１０２ｃとする）。この場合、距離ｄが距離ｄｃ（＞ｄａ）になる。
【００４４】
このように、対象特定部９０１は、距離ｄがｄａより短くなると、ユーザ１０１の視線方向１００２が正面から右方向に外れ、距離ｄがｄａより長くなると正面から左方向に外れる。したがって、ユーザ１０１の視線方向１００２が正面から水平方向にずれるほど対象特定部９０１は、ユーザ１０１が対話型ロボット１０２のエージェント２３０を見ている可能性が高くなる。
【００４５】
したがって、対象特定部９０１は、距離ｄがｄａから離れるほど、ユーザ１０１の感情表出の対象４０１が対話型ロボット１０２である確信度を低くし、ユーザ１０１の感情表出の対象４０１が第三者１０３である確信度を高くする。この場合、両確信度は、合計が１００％となるように算出される。そして、対象特定部９０１は、確信度が高い方をユーザ１０１の感情表出の対象４０１として特定する。なお、両確信度が５０％である場合、対象特定部９０１は、対象４０１を特定できなかったことになる。
【００４６】
なお、対象特定部９０１は、第三者１０３の存在を、たとえば、センサ３０５の一例である赤外線センサの検出結果により判断してもよい。たとえば、ユーザ１０１以外の人物の存在を赤外線センサで検出した場合に限り、対象特定部９０１は、ユーザ１０１の感情表出の対象４０１が第三者１０３である確信度を算出してもよい。
【００４７】
また、赤外線センサを使用し、かつ、ユーザ１０１以外の人物の存在が検出されなかった場合に、ユーザ１０１の視線方向１００２が正面方向から外れるほど、ユーザ１０１は、誰も注視していない可能性が高くなる。この場合は、対象特定部９０１は、視線方向１００２が正面方向から外れるほど、ユーザ１０１の感情表出の対象４０１が対話型ロボット１０２である確信度を低くし、ユーザ１０１の感情表出の対象４０１が第三者１０３である確信度を高くすればよい。この場合も、両確信度は、合計が１００％となるように算出される。そして、対象特定部９０１は、確信度が高い方をユーザ１０１の感情表出の対象４０１として特定する。なお、両確信度が５０％である場合、対象特定部９０１は、対象４０１を特定できなかったことになる。
【００４８】
また、対象特定部９０１は、生体データがユーザ１０１の手の画像データである場合に、ユーザ１０１の手の画像データに基づいてユーザ１０１の指さし方向１００３を特定することにより、ユーザ１０１の感情表出の対象４０１を特定してもよい。具体的には、たとえば、対象特定部９０１は、カメラ２０１の一例であるＴＯＦカメラでユーザ１０１の手の画像データを取得し、たとえば人差し指の指さし方向１００３を深層学習の学習モデルを用いて特定する。そして、対象特定部９０１は、指さし方向１００３に基づいて、対象４０１ごとに確信度を算出する。
【００４９】
これにより、指さし方向１００３が正面方向である場合、対象特定部９０１は、ユーザ１０１が対話型ロボット１０２のエージェント２３０を指さしていると判断する。したがって、対象特定部９０１は、ユーザ１０１の感情表出の対象４０１が対話型ロボット１０２である確信度：１００％を算出し、ユーザ１０１の感情表出の対象４０１が第三者１０３である確信度：０％を算出する。両確信度は、合計が１００％となるように算出される。
【００５０】
一方、指さし方向１００３が正面方向から外れるほど、対象特定部９０１は、その方向に第三者１０３が存在すると可能性が高くなる。したがって、指さし方向１００３が正面方向から水平方向に外れるほど、対象特定部９０１は、ユーザ１０１の感情表出の対象４０１が対話型ロボット１０２である確信度を低くし、ユーザ１０１の感情表出の対象４０１が第三者１０３である確信度を高くする。そして、対象特定部９０１は、確信度が高い方をユーザ１０１の感情表出の対象４０１として特定する。なお、両確信度が５０％である場合、対象特定部９０１は、対象４０１を特定できなかったことになる。
【００５１】
なお、対象特定部９０１は、第三者１０３の存在を、たとえば、センサ３０５の一例である赤外線センサの検出結果により判断してもよい。たとえば、ユーザ１０１以外の人物の存在を赤外線センサで検出した場合に限り、対象特定部９０１は、ユーザ１０１の感情表出の対象４０１が第三者１０３である確信度を算出してもよい。
【００５２】
また、対象特定部９０１は、生体データが音声データである場合に、音声認識に基づいて対象４０１を特定してもよい。具体的には、たとえば、まず、対象特定部９０１は、その取得した音声データがユーザ１０１の音声データであるか否かを、あらかじめ登録されたユーザ１０１の音声データに基づいて音声認識により判断する。
【００５３】
ユーザ１０１からの音声データであると判断されると、図１０の音声１００４に示したように、ユーザ１０１からの音声データの認識結果が、「わたし」、「僕」、「俺」などの一人称であれば、対象特定部９０１は、ユーザ１０１の感情表出の対象４０１がユーザ１０１であると特定する（この場合、ユーザ１０１は独り言を言っていると推定される）。また、ユーザ１０１からの音声データの認識結果が、対話型ロボット１０２（またはエージェント２３０）の名称であれば、対象特定部９０１は、ユーザ１０１の感情表出の対象４０１が対話型ロボット１０２であると特定する。また、ユーザ１０１からの音声データの認識結果が、第三者１０３の名前であれば、対象特定部９０１は、ユーザ１０１の感情表出の対象４０１がユーザ１０１であると特定する。
【００５４】
［ユーザ１０１とのインタラクションに基づく対象特定処理（１）］
また、対象特定部９０１は、ユーザ１０１とのインタラクションにより対象４０１を特定してもよい。具体的には、たとえば、対象特定部９０１は、ユーザ感情４０２の変化に基づいて、ユーザ１０１の感情表出の対象４０１を特定する。この場合、対話型ロボット１０２は、ユーザ１０１の表情をカメラ２０１で撮像して、ユーザ感情特定部９０２によりユーザ感情４０２を特定する。対話型ロボット１０２は、生成部９０４により、ユーザ感情特定部９０２によって特定されたユーザ感情４０２を表出するエージェント２３０の顔画像データを生成し、表示デバイス２０３に出力して、ユーザ感情４０２を表出するエージェント２３０の顔画像を表示させる。
【００５５】
この場合、ユーザ感情特定部９０２は、ユーザ感情４０２ごとに感情強度を算出する。感情強度は、ユーザ１０１の表情から推定したユーザ感情４０２の確からしさを示す。ユーザ感情特定部９０２は、後述するＦＡＣＳ（Ｆａｃｉａｌ  Ａｃｔｉｏｎ  Ｃｏｄｉｎｇ  Ｓｙｓｔｅｍ）を適用して感情強度を算出してもよい。また、ユーザ感情特定部９０２は、顔画像データとユーザ感情４０２の正解ラベルとの学習データセットを畳み込みニューラルネットワークに与えて学習した深層学習の学習モデルを、当該畳み込みニューラルネットワークに適用してもよい。この場合、ユーザ感情特定部９０２は、ユーザ１０１の顔画像データを当該畳み込みニューラルネットワークに入力し、当該畳み込みニューラルネットワークからの出力値（たとえば、ソフトマックス関数の出力値）を感情強度としてもよい。
【００５６】
ユーザ感情特定部９０２は、怒り４２３のユーザ感情４０２の感情強度が他のユーザ感情４０２よりも高い状態が継続し、その後、他のユーザ感情４０２に変化した場合、ユーザ感情４０２の変化を示す評価値として、ポジネガ度を算出する。ポジネガ度は、ユーザ感情４０２のポジティブさ（肯定的、積極的）およびネガティブさ（否定的、消極的）を示す指標値であり、ポジティブさを表す喜び４２１の感情強度の変化量Ｊと、ネガティブさを表す悲しみ４２２の感情強度の変化量Ｓとの差である。ポジネガ度が大きいほどユーザ感情４０２はポジティブであり、値が小さいほどユーザ感情４０２はネガティブである。
【００５７】
図１２は、ユーザ１０１の感情強度の経時的変化を示すグラフである。図１２は、ユーザ感情４０２が怒り４２３であるときに対話型ロボット１０２がその怒り４２３を模倣した場合に、ユーザ感情４０２が怒り４２３から悲しみ４２２に変化した場合の怒り４２３の強度波形１２０１、悲しみ４２２の強度波形１２０２、および喜び４２１の強度波形１２０３を示す。表情変化点ｔｃでユーザ感情４０２が怒り４２３から悲しみ４２２に変化したとすると、怒り４２３および喜び４２１の感情強度が下降し、悲しみ４２２の感情強度が上昇する。この場合のポジネガ度は、喜び４２１の感情強度の変化量Ｊよりも悲しみ４２２の感情強度の変化量Ｓの方が大きいため、負の値、すなわち、ネガティブな値となる。
【００５８】
より具体的には、ポジネガ度の絶対値がしきい値以上であり、かつ、ポジネガ度が正の値であれば、対象特定部９０１は、ユーザ感情４０２は怒り４２３から喜び４２１に変化したポジティブな状態になっていると判断する。
【００５９】
一方、ポジネガ度の絶対値がしきい値以上であり、かつ、ポジネガ度が負の値であれば、対象特定部９０１は、ユーザ感情４０２は怒り４２３から悲しみ４２２に変化したネガティブな状態になっていると判断する。なお、ポジネガ度の絶対値がしきい値以上でない場合は、対象特定部９０１は、ユーザ感情４０２：怒り４２３が他のユーザ感情４０２の感情強度よりも高い状態が継続していると判断する。
【００６０】
図１３は、第１対象特定テーブルの一例を示す説明図である。第１対象特定テーブルは、ユーザ感情４０２が怒り４２３である場合に、対話型ロボット１０２がその怒り４２３を感情模倣したときのユーザ反応（以下、単に「ユーザ反応」）１３０１に応じて、対象４０１を特定するためのテーブルである。ユーザ反応１３０１には、ポジティブとネガティブがあり、ポジネガ度により決定される。たとえば、ポジネガ度のしきい値を０とし、ポジネガ度が０以上であれば、ユーザ反応１３０１はポジティブとし、ポジネガ度が０よりも低い値であれば、ユーザ反応１３０１はネガティブとする。ユーザ反応１３０１がポジティブであれば、対象特定部９０１は、対象４０１が第三者１０３であると特定する。
【００６１】
一方、ユーザ反応１３０１がネガティブであれば、対象特定部９０１は、対象４０１がユーザ１０１または対話型ロボット１０２であると特定する。この場合、対象特定部９０１は、対話による対象特定処理を実行する。
【００６２】
［対話による対象特定処理］
ユーザ１０１との対話により、対象４０１をユーザ１０１または対話型ロボット１０２のいずれかに特定する。具体的には、たとえば、対象特定部９０１は、ユーザ１０１に対し音声出力または表示デバイス２０３での返答を促す文字列を表示する。対象特定部９０１は、音声認識により、ユーザ１０１からの返答がない、または、対話型ロボット１０２との対話を否定する内容のユーザ１０１からの音声であると認識した場合に、対象４０１がユーザ１０１であると特定する。一方、対象特定部９０１は、音声認識により、対話型ロボット１０２との対話を肯定する内容のユーザ１０１からの音声であると認識した場合に、対象４０１がユーザ１０１であると特定する。
【００６３】
［ユーザ１０１とのインタラクションに基づく対象特定処理（２）］
また、対象特定部９０１は、表示デバイス２０３によってユーザ１０１または対話型ロボット１０２を指し示す画像が表示された結果、取得デバイス３１０によって取得された指し示す画像に対するユーザ反応を示すデータに基づいて、ユーザ１０１の感情表出の対象４０１をユーザ１０１または対話型ロボット１０２のいずれかに特定する。
【００６４】
具体的には、たとえば、生成部９０４が、対話型ロボット１０２のジェスチャとして、対話型ロボット１０２の表示デバイス２０３にユーザ１０１を指さすエージェント２３０の顔画像データまたは対話型ロボット１０２（またはエージェント２３０）自身を指さすエージェント２３０の顔画像データを生成し、表示デバイス２０３に当該エージェント２３０の顔画像を表示させる。
【００６５】
対象特定部９０１は、当該エージェント２３０の顔画像を表示した結果、ユーザ１０１の表情や音声をユーザ反応を示すデータとして取得デバイス３１０で取得し、ユーザ反応が賛同（うなずきを示す動作または賛同を意味する音声）または否定（首を横に振る動作または否定を意味する音声）であるかを特定する。
【００６６】
図１４は、第２対象特定テーブルの一例を示す説明図である。対話型ロボット１０２のジェスチャ１４０１がエージェント２３０の顔画像がユーザ１０１を指し示す内容で、かつ、対話型ロボット１０２がジェスチャした時のユーザ反応（以下、単に「ユーザ反応」）１４０２が賛同であれば、対象特定部９０１は、対象４０１をユーザ１０１であると特定する。対話型ロボット１０２のジェスチャ１４０１がエージェント２３０の顔画像がユーザ１０１を指し示す内容で、かつ、ユーザ反応１４０２が否定であれば、対象特定部９０１は、対象４０１を対話型ロボット１０２であると特定する。
【００６７】
対話型ロボット１０２のジェスチャ１４０１がエージェント２３０の顔画像が対話型ロボット１０２（またはエージェント２３０）自身を指し示す内容で、かつ、ユーザ反応１４０２が否定であれば、対象特定部９０１は、対象４０１をユーザ１０１であると特定する。対話型ロボット１０２のジェスチャ１４０１がエージェント２３０の顔画像が対話型ロボット１０２（またはエージェント２３０）自身を指し示す内容で、かつ、ユーザ反応１４０２が賛同であれば、対象特定部９０１は、対象４０１を対話型ロボット１０２であると特定する。
【００６８】
なお、対話型ロボット１０２のジェスチャとして、ユーザ１０１または対話型ロボット１０２（またはエージェント２３０）自身を指さすエージェント２３０の顔画像を用いた例について説明した。これに替えて、対象特定部９０１は、駆動回路３０３からの駆動制御により、対話型ロボット１０２の腕および指を動かすことで、対話型ロボット１０２のジェスチャとして、ユーザ１０１または対話型ロボット１０２（またはエージェント２３０）自身を指さすポーズをとるように制御してもよい。
【００６９】
なお、対象特定部９０１は、上述した［ユーザ１０１とのインタラクションに基づく対象特定処理（１）、（２）］のいずれか一方を、［ユーザ１０１の生体データに基づく対象特定処理］により対象４０１が特定できなかった場合に実行してもよい。また、対象特定部９０１は、［ユーザ１０１の生体データに基づく対象特定処理］とは別に、［ユーザ１０１とのインタラクションに基づく対象特定処理（１）、（２）］のいずれか一方を実行してもよい。
【００７０】
ユーザ感情特定部９０２は、ユーザ１０１の顔画像データに基づいて、ユーザ感情４０２を特定する感情特定処理を実行する。具体的には、たとえば、ユーザ感情特定部９０２は、カメラ２０１によりユーザ１０１の顔画像データを取得し、当該顔画像データから多数、たとえば、６４個の特徴点を抽出する。ユーザ感情特定部９０２は、６４個の特徴点の組み合わせとその変化により、ユーザ感情４０２を特定する。
【００７１】
図１５は、ユーザ感情特定部９０２による特徴点の抽出例を示す説明図である。ユーザ感情特定部９０２は、ユーザ１０１の画像データ１５００を取得し、ユーザ１０１の顔画像データ１５０１を特定する。そして、ユーザ感情特定部９０２は、ユーザ１０１の顔画像データ１５０１から特徴点を抽出して、特徴点を連結した特徴点データ１５０２を生成する。特徴点には対応する固有の番号が付与される。ユーザ感情特定部９０２は、特徴点データ１５０２と表情動作特定テーブルと感情定義テーブルとを用いて、ユーザ感情４０２を特定する。
【００７２】
図１６は、表情動作特定テーブルの一例を示す説明図である。表情動作特定テーブル１６００は、ＡＵ（Ａｃｔｉｏｎ  Ｕｎｉｔ）番号１６０１に、対象特徴点１６０２と、表情動作１６０３とを対応付けたテーブルである。表情動作特定テーブル１６００は、記憶デバイス３０２に格納される。対象特徴点１６０２は、特定の特徴点の組み合わせである。表情動作１６０３は、解剖学的に独立し、視覚的に識別可能な表情動作の最小単位である。たとえば、ＡＵ番号１６０１が「１」のエントリの対象特徴点１６０２は、「２２」および「２３」であり、この対象特徴点１６０２の表情動作１６０３は、『眉の内側を上げる』である。
【００７３】
図１７は、感情定義テーブルの一例を示す説明図である。感情定義テーブル１７００は、ユーザ感情４０２と計算対象ＡＵ番号１７０１とを対応付けたテーブルである。感情定義テーブル１７００は、記憶デバイス３０２に格納される。計算対象ＡＵ番号１７０１は、ユーザ感情４０２の感情強度を計算するために用いられる１以上のＡＵ番号１６０１の組み合わせである。図１７では、喜び４２１が２通りの計算対象ＡＵ番号１７０１、驚き４２４が２通りの２通りの計算対象ＡＵ番号１７０１、悲しみ４２２が５通りの計算対象ＡＵ番号１７０１、怒り４２３が７通りの計算対象ＡＵ番号１７０１に基づいて、計算される。
【００７４】
ユーザ感情特定部９０２は、ユーザ感情４０２ごとに、複数通りの計算対象ＡＵ番号の各々について感情強度を計算する。そして、ユーザ感情特定部９０２は、ユーザ感情４０２ごとに、計算された複数通りの感情強度の統計量を算出する。統計量とは、たとえば、計算された複数通りの感情強度の平均値、最大値、最小値、中央値の少なくとも１つである。ユーザ感情特定部９０２は、ユーザ感情４０２の中から、ユーザ感情４０２ごとに算出された感情強度の統計量のうち最大の統計量のユーザ感情４０２を特定し、決定部９０３に出力する。
【００７５】
決定部９０３は、対象特定部９０１によって特定された感情表出の対象４０１と、ユーザ感情特定部９０２によって特定されたユーザ感情４０２と、に基づいて、表示デバイス２０３に表示させる顔画像が示すエージェント２３０の応答感情を決定する決定処理を実行する。具体的には、たとえば、決定部９０３は、感情応答モデル１０４を参照し、対象特定部９０１によって特定された感情表出の対象４０１と、ユーザ感情特定部９０２によって特定されたユーザ感情４０２と、に対応するエージェント２３０の応答感情を決定する。
【００７６】
また、決定部９０３は、ユーザ１０１の性別に基づいて、表示デバイス２０３に表示させるエージェント２３０の顔画像が示すエージェント２３０の応答感情を決定してもよい。ユーザ１０１の性別は、あらかじめ、ユーザ１０１が入力デバイス３０６を用いてユーザ１０１の性別が記憶デバイス３０２に登録されている場合には、決定部９０３は、ユーザ１０１の性別に応じて、エージェント２３０の応答感情を決定してもよい。
【００７７】
たとえば、性別を適用しない場合、対象４０１がユーザ１０１で、ユーザ感情４０２が怒り４２３であれば、決定部９０３は、エージェント２３０の応答感情を「悲しみ」に決定するが、性別を適用する場合であってユーザ１０１の性別が男性である場合、対象４０１がユーザ１０１で、ユーザ感情４０２が怒り４２３であれば、エージェント２３０の応答感情を「怒り」に決定する。
【００７８】
また、決定部９０３は、顔画像データと性別の正解ラベルとの学習データセットを畳み込みニューラルネットワークに与えて学習した深層学習の学習モデルを、当該畳み込みニューラルネットワークに適用してもよい。この場合、決定部９０３は、ユーザ１０１の顔画像データ１５０１を当該畳み込みニューラルネットワークに入力し、当該畳み込みニューラルネットワークからの出力値を性別の判定結果として適用する。
【００７９】
生成部９０４は、決定部９０３によって決定された感情を示すエージェント２３０の顔画像データを生成して表示デバイス２０３に出力する生成処理を実行する。エージェント２３０の顔画像の一例を図１８に示す。
【００８０】
図１８は、エージェント２３０の顔画像の一例を示す説明図である。エージェント２３０の顔画像２３０ａは「怒り」を表出する顔画像であり、エージェント２３０の顔画像２３０ｂは「驚き」を表出する顔画像であり、エージェント２３０の顔画像２３０ｃは「喜び」を表出する顔画像であり、エージェント２３０の顔画像２３０ｄは「悲しみ」を表出する顔画像である。
【００８１】
＜応答装置２００による応答処理手順例＞
図１９は、応答装置２００による応答処理手順例を示すフローチャートである。応答装置２００は、対象特定部９０１により、対象特定処理を実行し（ステップＳ１９０１）、ユーザ感情特定部９０２により、ユーザ感情４０２を特定し（ステップＳ１９０２）、決定部９０３により、エージェント２３０の応答感情を決定し（ステップＳ１９０３）、生成部９０４により、決定されたエージェント２３０の応答感情を表す顔画像データを生成し、その顔画像を表示デバイス２０３に表示させる（ステップＳ１９０４）。
【００８２】
＜対象特定処理（Ｓ１９０１）＞
図２０は、図１９に示した対象特定処理（ステップＳ１９０１）の詳細な処理手順例を示すフローチャートである。応答装置２００は、上述した［ユーザ１０１の生体データに基づく対象特定処理］を実行する（ステップＳ２００１）。応答装置２００は、ステップＳ２００１で対象４０１を特定できたか否かを判断する（ステップＳ２００２）。対象４０１を特定できた場合（ステップＳ２００２：Ｙｅｓ）、ステップＳ１９０２に移行する。
【００８３】
一方、対象４０１を特定できなかった場合（ステップＳ２００２：Ｎｏ）、応答装置２００は、上述した［ユーザ１０１とのインタラクションに基づく対象特定処理（（１）、（２）のいずれか）］を実行する（ステップＳ２００３）。対象４０１を特定できた場合（ステップＳ２００４：Ｙｅｓ）、ステップＳ１９０２に移行する。
【００８４】
一方、対象４０１を特定できなかった場合（ステップＳ２００２：Ｎｏ）、応答装置２００は、対話による対象特定処理を実行する（ステップＳ２００５）。そして、ステップＳ１９０２に移行する。なお、ステップＳ２００３で［ユーザ１０１とのインタラクションに基づく対象特定処理（２）］を実行した場合には、対象４０１は特定されるため、ステップＳ２００４、Ｓ２００５を実行せずに、ステップＳ１９０２に移行する。
【００８５】
＜ユーザ１０１の生体データに基づく対象特定処理（ステップＳ２００１）＞
図２１は、図２０に示したユーザ１０１の生体データに基づく対象特定処理（ステップＳ２００１）の詳細な処理手順例を示すフローチャートである。応答装置２００は、ステップＳ２１０１〜Ｓ２１０４のいずれかを実行する。たとえば、取得デバイス３１０によりユーザ１０１の顔画像データ１５０１を取得した場合には、応答装置２００は、ユーザ１０１の顔方向１００１を特定する（ステップＳ２１０１）。この場合、応答装置２００は、特定したユーザ１０１の顔方向１００１から対象４０１ごとの確信度を算出し、当該確信度に基づいて対象４０１を特定する（ステップＳ２１０５）。そして、ステップＳ２００２に移行する。
【００８６】
また、たとえば、取得デバイス３１０によりユーザ１０１の顔画像データ１５０１を取得した場合には、応答装置２００は、ユーザ１０１の視線方向１００２を特定する（ステップＳ２１０２）。この場合、応答装置２００は、特定したユーザ１０１の視線方向１００２から対象４０１ごとの確信度を算出し、当該確信度に基づいて対象４０１を特定する（ステップＳ２１０６）。そして、ステップＳ２００２に移行する。
【００８７】
また、たとえば、取得デバイス３１０によりユーザ１０１の手の画像データを取得した場合には、応答装置２００は、ユーザ１０１の指さし方向１００３を特定する（ステップＳ２１０３）。この場合、応答装置２００は、特定したユーザ１０１の指さし方向１００３から対象４０１ごとの確信度を算出し、当該確信度に基づいて対象４０１を特定する（ステップＳ２１０７）。そして、ステップＳ２００２に移行する。
【００８８】
また、たとえば、取得デバイス３１０により音声データを取得した場合には、応答装置２００は、その取得した音声データがユーザ１０１からの音声データであることを、あらかじめ登録されたユーザ１０１の音声データに基づいて音声認識により特定する（ステップＳ２１０４）。この場合、応答装置２００は、特定したユーザ１０１からの音声データの音声認識結果に基づいて発話内容を特定し、発話内容から対象４０１を特定する（ステップＳ２１０８）。そして、ステップＳ２００２に移行する。
【００８９】
＜ユーザ１０１とのインタラクションに基づく対象特定処理＞
図２２は、［ユーザ１０１とのインタラクションに基づく対象特定処理（１）］の詳細の処理手順例を示すフローチャートである。応答装置２００は、ユーザ感情特定部９０２により、図１２に示したように、ユーザ１０１の感情強度の特定を開始する（ステップＳ２２０１）。応答装置２００は、対象特定部９０１により、ユーザ感情４０２が怒り４２３であるか否かを判断する（ステップＳ２２０２）。具体的には、たとえば、応答装置２００は、最大感情強度を示すユーザ感情４０２が怒り４２３であるか否かを判断する。ユーザ感情４０２が怒り４２３でない場合（ステップＳ２２０２：Ｎｏ）、ステップＳ２００４に移行する。
【００９０】
一方、ユーザ感情４０２が怒り４２３である場合（ステップＳ２２０２：Ｙｅｓ）、応答装置２００は、生成部９０４により、ユーザ感情４０２（怒り４２３）の顔画像データを生成して、表示デバイス２０３に「怒り」のエージェント２３０の顔画像２３０ａを表示させる（ステップＳ２２０３）。そして、応答装置２００は、対象特定部９０１により、ポジネガ度を算出する（ステップＳ２２０４）。応答装置２００は、対象特定部９０１により、ポジネガ度の絶対値がしきい値以上であるか否かを判断する（ステップＳ２２０５）。
【００９１】
しきい値以上でない場合（ステップＳ２２０５：Ｎｏ）、応答装置２００は、対象特定部９０１により、最大感情強度を示すユーザ感情４０２である怒り４２３が継続していると判断して、ステップＳ２２０４に戻る。一方、しきい値以上である場合（ステップＳ２２０５：Ｙｅｓ）、応答装置２００は、対象特定部９０１により、最大感情強度を示すユーザ感情４０２である怒り４２３が継続していると判断して、ステップＳ２２０４に戻る。
【００９２】
一方、しきい値以上である場合（ステップＳ：Ｙｅｓ）、応答装置２００は、ユーザ感情４０２が怒り４２３から喜び４２１または悲しみ４２２に変化したと判断し、対象特定部９０１により、ユーザ感情４０２がポジティブであるか否かを判断する（ステップＳ２２０６）。具体的には、たとえば、応答装置２００は、対象特定部９０１により、ポジネガ度が正の値であればポジティブ、負の値であればネガティブと判断する。
【００９３】
ポジティブである場合（ステップＳ２２０６：Ｙｅｓ）、応答装置２００は、対象特定部９０１により、ユーザ感情４０２は怒り４２３から喜び４２１に変化したと判断するため、図１３の第１対象特定テーブルを参照して、対象４０１を第三者１０３に特定し（ステップＳ２２０７）、ステップＳ２００４に移行する。一方、ネガティブである場合（ステップＳ２２０６：Ｎｏ）、図１３の第１対象特定テーブル１３００を参照すると、対象４０１は、ユーザ１０１または対話型ロボット１０２であるため、対象４０１を一意に特定することができない。このため、ステップＳ２００４に移行する。
【００９４】
図２３は、［ユーザ１０１とのインタラクションに基づく対象特定処理（２）］の詳細の処理手順例を示すフローチャートである。応答装置２００は、ユーザ１０１の顔を検知したか否かを判断する（ステップＳ２３０１）。具体的には、たとえば、応答装置２００は、あらかじめユーザ１０１の顔画像データ１５０１を記憶デバイス３０２に登録しており、カメラ２０１で撮像したユーザ１０１の顔画像データ１５０１と照合する。応答装置２００は、照合結果により、ユーザ１０１の顔を検知したか否かを判断する。
【００９５】
ユーザ１０１の顔を検知しなかった場合（ステップＳ２３０１：Ｎｏ）、対象４０１を特定せずに、ステップＳ２００４に移行する。一方、ユーザ１０１の顔を検知した場合（ステップＳ２３０１：Ｙｅｓ）、応答装置２００は、生成部９０４により、ユーザ１０１を指さすエージェント２３０の顔画像データを生成して、表示デバイス２０３にユーザ１０１を指さすエージェント２３０の顔画像を表示させる（ステップＳ２３０２）。
【００９６】
つぎに、応答装置２００は、対象特定部９０１により、取得デバイス３１０から取得された生体データに基づいて、ユーザ１０１が賛同したか否かを判断する（ステップＳ２３０３）。具体的には、応答装置２００は、対象特定部９０１により、図１４に示したユーザ反応１４０２が賛同であるか否かを判断する。
【００９７】
ユーザ１０１が賛同した場合（ステップＳ２３０３：Ｙｅｓ）、応答装置２００は、対象特定部９０１により、対象４０１をユーザ１０１に特定して（ステップＳ２３０４）、ステップＳ２００４に移行する。
【００９８】
ユーザ１０１が賛同しない場合（ステップＳ２３０３：Ｎｏ）、応答装置２００は、対象特定部９０１により、ステップＳ２３０３と同様、取得デバイス３１０から取得された生体データに基づいて、ユーザ１０１が否定したか否かを判断する（ステップＳ２３０５）。具体的には、応答装置２００は、対象特定部９０１により、図１４に示したユーザ反応１４０２が否定であるか否かを判断する。
【００９９】
ユーザ１０１が否定しない場合（ステップＳ２３０５：Ｎｏ）、対象４０１を特定せずに、ステップＳ２００４に移行する。ユーザ１０１が否定した場合（ステップＳ２３０５：Ｙｅｓ）、応答装置２００は、対象特定部９０１により、エージェント２３０自身を指さすエージェント２３０の顔画像データを生成して、エージェント２３０自身を指さすエージェント２３０の顔画像を表示デバイス２０３に表示させる（ステップＳ２３０６）。そして、応答装置２００は、対象特定部９０１により、ステップＳ２３０３と同様、取得デバイス３１０から取得された生体データに基づいて、ユーザ１０１が賛同したか否かを判断する（ステップＳ２３０７）。
【０１００】
ユーザ１０１が賛同した場合（ステップＳ２３０７：Ｙｅｓ）、応答装置２００は、対象特定部９０１により、対象４０１を対話型ロボット１０２に特定して（ステップＳ２３０８）、ステップＳ２００４に移行する。
【０１０１】
ユーザ１０１が賛同しない場合（ステップＳ２３０７：Ｎｏ）、応答装置２００は、対象特定部９０１により、ステップＳ２３０３と同様、取得デバイス３１０から取得された生体データに基づいて、ユーザ１０１が否定したか否かを判断する（ステップＳ２３０９）。
【０１０２】
ユーザ１０１が否定しない場合（ステップＳ２３０９：Ｎｏ）、対象４０１を特定せずに、ステップＳ２００４に移行する。ユーザ１０１が否定した場合（ステップＳ２３０９：Ｙｅｓ）、応答装置２００は、対象特定部９０１により、対象４０１を第三者１０３に特定して（ステップＳ２３１０）、ステップＳ２００４に移行する。
【０１０３】
（１）このように、本実施例の応答装置２００は、ユーザ１０１の感情表出の対象４０１を特定し、ユーザ感情４０２を特定し、対象４０１とユーザ感情４０２とに基づいてエージェント２３０の顔画像が示す感情を決定し、決定した感情を示すエージェント２３０の顔画像データを生成し、そのエージェント２３０の顔画像を表示デバイス２０３に表示させる。これにより、ユーザ１０１への応答精度の向上を図ることができる。
【０１０４】
（２）また、上記（１）において、応答装置２００は、ユーザ１０１の顔画像データ１５０１からユーザ１０１の顔方向１００１を特定することにより、ユーザ１０１の感情表出の対象４０１を特定してもよい。これにより、ユーザ１０１が顔を向けている相手をユーザ１０１の感情表出の対象４０１として推定することができる。
【０１０５】
（３）また、上記（１）において、応答装置２００は、ユーザ１０１の顔画像データ１５０１からユーザ１０１の視線方向１００２を特定することにより、ユーザ１０１の感情表出の対象４０１を特定してもよい。これにより、ユーザ１０１が視線を向けている相手をユーザ１０１の感情表出の対象４０１として推定することができる。
【０１０６】
（４）また、上記（１）において、応答装置２００は、ユーザ１０１の手の画像データからユーザ１０１の指さし方向１００３を特定することにより、ユーザ１０１の感情表出の対象４０１を特定してもよい。これにより、ユーザ１０１が指さしている相手をユーザ１０１の感情表出の対象４０１として推定することができる。
【０１０７】
（５）また、上記（１）において、応答装置２００は、ユーザ１０１の音声データに基づいて、ユーザ１０１の感情表出の対象４０１を特定してもよい。これにより、ユーザ１０１が話している相手をユーザ１０１の感情表出の対象４０１として推定することができる。
【０１０８】
（６）また、上記（１）において、応答装置２００は、ユーザ感情４０２の変化に基づいて、ユーザ１０１の感情表出の対象４０１を特定してもよい。これにより、変化後のユーザ感情４０２がポジティブであれば、ユーザ１０１の感情表出の対象４０１を第三者１０３に特定することができる。
【０１０９】
（７）また、上記（６）において、応答装置２００は、ユーザ感情４０２の変化を示すポジネガ度を算出し、ポジネガ度に基づいて、ユーザ１０１の感情表出の対象４０１を特定してもよい。これにより、ユーザ感情４０２の変化を数値化できるため、対象特定精度の向上を図ることができる。
【０１１０】
（８）また、上記（７）において、応答装置２００は、変化前のユーザ感情４０２が怒り４２３であり、かつ、ポジネガ度が変化後のユーザ感情４０２がポジティブであることを示す値である場合に、ユーザ１０１の感情表出の対象４０１を第三者１０３に特定してもよい。これにより、ユーザ感情４０２が怒り４２３である場合に対話型ロボット１０２がユーザ感情４０２（怒り４２３）を模倣した時のユーザ反応１３０１がポジティブであれば、ユーザ１０１の感情表出の対象４０１を第三者１０３に特定することができる。
【０１１１】
（９）また、上記（１）において、応答装置２００は、表示デバイス２０３にユーザ１０１またはエージェント２３０自身を指し示すエージェント２３０の顔画像が表示された結果、取得デバイス３１０によって取得されたユーザ反応１４０２に基づいて、ユーザ１０１の感情表出の対象４０１をユーザ１０１または対話型ロボット１０２のいずれかに特定してもよい。これにより、ユーザ１０１と対話型ロボット１０２との対話により、ユーザ１０１の感情表出の対象４０１を特定することができる。
【０１１２】
（１０）また、上記（１）において、応答装置２００は、ユーザ１０１の性別に基づいて、表示デバイス２０３に表示させるエージェント２３０の顔画像が示す感情を決定してもよい。これにより、性別に違いを考慮して、エージェント２３０の顔画像が示す感情を決定することができる。
【０１１３】
なお、上述した実施例では、エージェント２３０を顔のみの画像で感情を表現したが、顔のみの画像に限らず、たとえば、人型の画像とし、その動きや行動により、怒り、驚き、悲しみ、喜びの感情を表現してもよい。
【０１１４】
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。
【０１１５】
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
【０１１６】
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）の記録媒体に格納することができる。
【０１１７】
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
【符号の説明】
【０１１８】
１０１  ユーザ
１０２  対話型ロボット
１０３  第三者
１０４  感情応答モデル
２００  応答装置
２０３  表示デバイス
２３０  エージェント
３０１  プロセッサ
３０２  記憶デバイス
３１０  取得デバイス
４０１  対象
４０２  ユーザ感情
９０１  対象特定部
９０２  ユーザ感情特定部
９０３  決定部
９０４  生成部
１３００  対象特定テーブル
１６００  表情動作特定テーブル
１７００  感情定義テーブル
【図１】
2020135786.tif 000003
【図２】
2020135786.tif 000004
【図３】
2020135786.tif 000005
【図４】
2020135786.tif 000006
【図５】
2020135786.tif 000007
【図６】
2020135786.tif 000008
【図７】
2020135786.tif 000009
【図８】
2020135786.tif 000010
【図９】
2020135786.tif 000011
【図１０】
2020135786.tif 000012
【図１１】
2020135786.tif 000013
【図１２】
2020135786.tif 000014
【図１３】
2020135786.tif 000015
【図１４】
2020135786.tif 000016
【図１５】
2020135786.tif 000017
【図１６】
2020135786.tif 000018
【図１７】
2020135786.tif 000019
【図１８】
2020135786.tif 000020
【図１９】
2020135786.tif 000021
【図２０】
2020135786.tif 000022
【図２１】
2020135786.tif 000023
【図２２】
2020135786.tif 000024
【図２３】
2020135786.tif 000025